JP2007033205A

JP2007033205A - 複数物体の位置または位置姿勢計測装置および方法

Info

Publication number: JP2007033205A
Application number: JP2005216147A
Authority: JP
Inventors: Kazuhiko Kobayashi; 一彦小林; Kiyohide Sato; 清秀佐藤; Shinichi Araya; 真一荒谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-07-26
Filing date: 2005-07-26
Publication date: 2007-02-08

Abstract

【課題】位置または位置姿勢計測において，複数の計測対象物体が同じ指標を持っているときに各物体の位置または位置姿勢が計測できなくなる。
【解決手段】撮像装置によって計測対象空間を撮像し、該撮像画像中に撮像されている前記計測対象物体の投影像の画像特徴を抽出する手段と、撮像装置とは別の手段によって夫々の計測対象物体の概略の位置を検出する手段と，得られた夫々の計測対象の位置情報を利用して前記画像特徴が前記複数の計測対象のうちのいずれの計測対象の投影像から得られたものであるかを区別する手段と、区別された前記画像特徴を利用して個々の計測対象の位置または位置姿勢を算出する手段とにより，複数の計測対象を区別しながら位置または位置姿勢の計測を実現する。
【選択図】図２

Description

本発明は、複数の計測対象物体の位置または位置姿勢を計測する位置姿勢計測技術に関するものである。

複数の計測対象物体の位置姿勢を計測する位置姿勢技術は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。

複合現実感技術では現実空間に存在する物体の位置関係とコンピュータで合成される画像との間に幾何学的なずれが生じていないことが望ましい。そのためには、物体の正確な位置姿勢を求める技術が必要となる。

特許文献１では、計測対象物体の位置及び姿勢を精度良く算出する位置姿勢計測方法が開示されている。位置が固定された客観視点から計測対象物体を撮像する撮像手段を用いて、計測対象物体上にある指標を客観視点から撮像した画像中の２次元画像座標位置として検出し、さらに、計測対象物体に固定された主観視点カメラからの撮像画像から現実空間に設置された指標の２次元画像座標位置を検出し、これらの検出結果を用いて、カメラ座標と世界座標の透視投影変換の誤差を小さくするように繰り返し計算を用いて計測対象物体の位置姿勢を精度良く求める方法が述べられている。本手法においては、指標を撮像した撮像画像中の座標位置が重要であり、撮像画像から指標を識別する手段が必要となる。それにより、指標と撮像画面の指標の座標位置との対応がとれ、計測対象物体の位置姿勢を求めることができる（以下、手法１と呼ぶ）。

また、計測対象物体の位置姿勢計測を行う方法として、非特許文献１で開示されるように、現実空間に存在する２次元の指標をカメラで撮像して、図形の頂点位置と方向を求めることで撮像装置の位置姿勢を計測する手法がある。２次元の指標は識別子の違いが画像処理により判別できるような図形要素を用いて構成されている。例として、矩形領域内に白もしくは黒の情報の点の配置を用いて、配置の組み合わせで識別子を判別する。撮像画像において異なる識別子を有することで複数の計測対象物体の位置姿勢計測を行う手法として手法２と呼ぶ。
特開２００４−２３３３３４号公報暦本純一，「２次元マトリックスコードを利用した拡張現実感システムの構成手法」，インタラクティブシステムとソフトウェアＩＶ、近代科学社，ｐｐ．１９９−２０８，Ｄｅｃ．１９９６。

手法１は、撮像装置に計測対象物体が撮像されたときに、それぞれの計測対象物体の識別する指標を手がかりにして区別した後に、撮像画像に投影された位置から現実空間の位置または位置姿勢を求めている。撮像画像に同じ指標が複数撮像された場合は、計測対象物体との対応がとれないため、個別の計測対象物体を識別する手段があれば、位置または位置姿勢を求めることが可能となる。

また、手法２では、事前に指標が区別できるようにしたものを利用することで、複数の指標が存在する場合でも、区別ができる指標が計測対象物体に貼付されていれば、各々の計測対象物体の位置姿勢を求めることができる。しかし、区別ができる指標であることを前提条件としているため、撮像画像で同じ指標として見える場合は手法１と同様に指標と計測対象の対応を取る別の手段が必要となる。

手法１および手法２では、計測対象物体上の指標を撮像した画像を用いて、計測対象物体の位置または位置姿勢を計測するという手段は同じであるが、いずれにおいても、撮像画像から指標の画面座標を求める手段において、複数の同一指標とそれを有する計測対象物体との対応付けをすることが必要となる。位置を求めるためにカメラを複数台設置して三点測量の原理で計測対象物体の位置を計測する場合においても、複数の計測対象物体が撮像されている条件では、対応付けが必要となり、指標の重複による誤検出が発生する。

撮像画像中の指標が同一で無いという条件において、手法１および２は複数の計測対象物体の位置または位置姿勢を求めることができるが、必ずしも同一で無い条件がそろっているとは限らない。

例として、位置計測手段が広く一般的に利用される状況においては、量産製品としての計測対象物体の指標は計測対象物体本体の一部として構造上一体化していることが考えられる。高精度に位置姿勢を計測するためには、計測対象物体と指標の位置関係が精度良く求められている必要がある。そのため、計測対象物体と指標を一体化することでその問題が解決する。しかし、撮像装置で撮像する指標には物理的な大きさが必要であるが、一方で指標を大きくすることによる制限としてデザインや配置位置の問題も発生する。指標を識別するための情報量は指標の面積に比例するため、量産製品の一つ一つに個別の識別子を２次元の指標として入れることは難しく、商品管理用のバーコードのように一般的には同一の指標を印刷等の手段で構成することが考えられる。つまり、撮像装置を用いて位置姿勢を計測する場合に、実際の利用では複数の計測対象物体上にある指標が同一の識別子を有し、撮像装置の撮像画像中には同一の識別子が複数観察されることが容易に想定される。

また、位置のみを求める例として、指標として赤外線発光素子を用いて、客観カメラに赤外線カメラを用いた場合、撮像した画像中では指標は点として検出されるため、複数の計測対象物体が計測範囲に存在した場合は、各々の対象がどちらであるかを分別することが難しい。赤外線を時分割発光させて発光のパターンから識別する方法も考えられているが、カメラの時間分解能を高めた高価な撮像装置を用いる必要があり、そのような高性能なカメラを複数設置することを考えるとコストが高くなる。

図１に撮像装置により複数の計測物体上の指標を撮像して位置姿勢計測している例を示す。位置姿勢計測装置１０１はカメラ１００により計測対象物体の指標を撮像し、撮像画面１０２における画像の特徴抽出を行って指標の位置を検出する手段である画像特徴手段２０１と撮像画像の指標の点の位置から高精度に位置または位置姿勢を算出する手段である高精度位置計測手段２０２から構成されている。計測対象物体１１０が２つ存在し（１１０Ａと１１０Ｂ）、ともに移動可能である。計測対象物体１１０には、画像による位置姿勢計測装置１０１が検出する画像特徴を有する指標１１１を貼付している。ここで指標１１１は、色の異なる４つの円を平面に直線上にならないように配置したものであり、円の色領域の重心を求めることで１つの画面上の位置を求めることができるものである。便宜上４つの円で構成されている部分を指標と呼ぶ。計測対象物体１１０Ａには指標１１１Ａが、計測対象物体１１０Ｂには指標１１１Ｂが物体に貼付されているとする。ここで、指標１１１Ａと指標１１１Ｂが同じ構成を有している場合は、画像特徴抽出手段２０１で処理される撮像画面１０２において、同一の指標を持つ物体が２つ撮像されていることになる。計測対象物体１１０Ａと計測対象物体１１０Ｂは、位置姿勢計測対象物体としては別々に位置姿勢が計測されることが要求されるため、撮像画面１０２の撮像画像では、それぞれの指標と計測物体との対応を取ることは困難となる。

上述する問題を鑑みて、複数の測定対象の指標が撮像装置により撮像された画面では同一の指標として識別されている場合において、複数の計測対象物体の概略位置を検出する別の手段を利用して複数の計測対象物体を個別に区別する手段を利用して、複数の計測対象物体の位置または位置姿勢を計測することを目的とする。

撮像装置により計測対象物体を撮像し、撮像画像中に撮像されている計測対象の投影像の画像特徴を抽出する画像特徴抽出手段により、計測対象物体の位置または位置姿勢を計測する計測方法において、可動する複数の計測対象物体が撮像装置により撮像された画像において同一の対象として認識されてしまう複数の計測対象物体の位置または位置姿勢を計測する装置であって、複数の計測対象物体の概略の位置または位置姿勢を検出する撮像装置以外の別の手段により、計測対象物体の概略の位置または位置姿勢を検出する概略位置検出手段と、概略位置検出手段を基に、複数の計測対象物体を個別に区別する対象区別手段と、各々のより精度の高い位置または位置姿勢を撮像装置により、計測する高精度位置計測手段とを有することを特徴とする複数計測対象物体の位置姿勢推定装置および方法により課題を解決することができる。

また、上述の目的は、本発明の位置姿勢計測方法をコンピュータ装置に実現されるためのコンピュータプログラム及び、このコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体によっても達成される。

本発明によれば、撮像画像により高精度に位置姿勢を計測する方法において、撮像画像中の画像特徴量で同一のものとして区別することのできない複数の計測対象物体の指標が同時に観測されている状況においても、個々の計測対象物体の位置姿勢計測を実現することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

図２に、本実施形態における位置姿勢計測装置２００を適用した位置姿勢計測の模式図を示す。カメラ１００は計測対象物体を撮像するための撮像装置である。撮像装置としては、例えば、光を電子的な信号に変換するＣＣＤやＣＭＯＳなどの電子素子とレンズを用いたカメラを使用する。

本発明における一実施例である位置姿勢計測装置２００は、カメラ１００で撮像した画像の信号を受け取り、画像中に含まれる指標を検出し、画像中の指標が存在する座標を求める画像特徴抽出手段２０１と、指標を撮像した撮像画像中の投影面の座標値を利用して、計測対象物体の位置または位置姿勢を演算により求める手段を含む高精度位置計測手段２０２と、複数の測定対象物体の概略位置または位置姿勢を検出器により検出する概略位置検出手段２０３と、複数の計測対象物体を個別に区別する対象区別手段２０４で構成されている。

以下では、位置姿勢計測装置２００による計測の対象である夫々の計測対象物体（図２の例では二つの計測対象物体１１０Ａ、１１０Ｂ）に、高精度位置計測手段２０２による位置姿勢計測の手がかりとして用いる指標（図２の例では指標１１１Ａ、１１１Ｂ）と、概略位置検出手段２０３による概略位置検出のためのタグ（図２の例ではタグ１３２Ａ、１３２Ｂ）が貼付されているものとする。本実施形態では、異なる色に着色された４つの円形状の指標を計測対象物体の位置姿勢を計測する手がかりとして用いている。図２の例では、計測対象物体１１０Ａと計測対象物体１１０Ｂには同じ（見かけ上は区別することができない）指標が貼付されている。

画像特徴抽出手段２０１は、カメラ１００の撮像画像を入力し、当該画像に撮像されている夫々の指標を検出し、検出された夫々の指標がいずれの計測対象物体に対応するものであるかの識別を行う。高精度位置計測手段２０２は、さらに、検出された指標の画面座標値から夫々の指標の位置または位置姿勢を高精度に求め、識別された計測対象物体の位置または位置姿勢としてこれを出力する。前記の識別工程において、画像特徴抽出手段２０１は、カメラ１００による撮像画像から、画像上で検出されている指標がどの計測対象物体の指標であるかを判断することができない場合には、画像上における指標の検出位置を対象区別手段２０４に引渡し、当該指標に対応する計測対象物体の識別子を計測対象物体区別手段２０４から取得する。

概略位置検出手段を実施するために、カメラ１００の撮像範囲１０３内に検出器を複数配置し、計測対象物体と一緒になった検出対象を各検出器が検出するか否かの情報を基に概略位置を推定する。本実施例では指向性のある微弱な無線を用いたＲＦＩＤを用いた例を説明する。ＲＦＩＤはタグと呼ばれる検出対象が、読み取り部分からの電波を受け取り、自己の識別子を返送する仕組みで、非接触で識別子を読み取ることができる。

図２には、設置されている複数の検出部１３０のうちの一部（検出部１３０Ａと１３０Ｂ）が示されている。ＲＦＩＤの夫々の検出部１３０は、電波の強度からタグを読み取れる範囲である指向範囲１３１（図２の例では指向範囲１３１Ａ、１３１Ｂ）を有しており、指向範囲内に識別子を有するタグが存在する場合に、タグの識別子を読み取ることができる。

検出部は、本実施例においては床面に設置され指向範囲を上方に向けて設置されているが、その設置場所や指向範囲の方向は位置姿勢計測装置の撮像範囲内の識別子が検出できれば良く、特に限定はしていない。例として、天井に検出部を設置し、その指向範囲を下方へ向くように配置していても構わない。

また、夫々の検出部の検出手段が異なっていても構わない。検出部同士が近接することにより干渉が発生する場合は、異なる検出手段を用いることで干渉の問題を回避できる。

図２の例では、計測対象物体１１０Ａにはタグ１３２Ａが貼付しており、同様に計測対象物体１１０Ｂにはタグ１３２Ｂが貼付されている。これにより、図２に示したような状況下においては、検出部１３０Ａの検出範囲１３１Ａには、タグ１３２Ａが存在することが検出され、検出部１３０Ｂの検出範囲１３１Ｂには、タグ１３２Ｂが存在することが検出される仕組みになっている。

各検出部の検出した結果は概略位置検出手段２０３へ伝えられる。伝達する手段としては有線を用いて電気信号により送信しても構わないし、無線や赤外線などを用いても構わない。

概略位置検出手段２０３は、夫々の検出部が検出したタグの識別子を入力し、検出されたタグの識別子と検出した検出部の識別子との組のリスト（以下、タグの検出情報）を作成する。概略位置検出手段２０３の情報は、複数の計測対象物体を個別に区別する対象区別手段２０４に通知される。

対象区別手段２０４は、画像上における指標の検出位置を画像特徴抽出手段２０１より通知され、検出されたタグの情報を概略位置検出手段２０３から取得し、夫々の検出部の検出範囲が撮像画面１０２のどの領域に対応しているかという情報に基づいて、入力した指標を有する計測対象物体がいずれの物体であるかの識別を行い、結果として得られた計測対象物体の識別子を高精度位置計測手段２０２へと出力する。対象区別手段２０４では、タグが何個存在するか、タグの識別子の情報、タグが存在していた領域の履歴などの情報を管理する手段を有する。

なお、対象区別手段２０４が常に高精度位置計測手段２０２に検出部の結果を通知していても構わない。検出部１３０での検出結果をまとめた概略位置検出手段２０３の情報を用いて画像特徴抽出手段２０１では、画像処理を行う範囲を狭くすることや従来の計測対象物体の検出結果が急変したことを知るための手がかりとして利用することも可能である。

なお、検出部１３０の検出範囲１３１とカメラ１００が撮像する領域の対応関係は、３次元空間中における当該検出部の検出範囲の位置と形状、カメラ１００の位置姿勢、カメラ１００の画角等の情報から得ることができる。また、検出部１３０の感度や設置位置・姿勢などのばらつきを考慮するのであれば、タグ１３２を３次元空間中に移動させて検出を計測する補正手段を追加することで、より精度の良い概略位置検出が可能となる。

対象区別手段２０４は、夫々の検出部の検出範囲とカメラ１００の撮像範囲の部分領域との対応関係に基づいて複数の計測対象物体を区別している。そのため、検出部の配置方法にも工夫が必要となる。

図３に、カメラ１００の撮像範囲１０３における検出部１３０（１３０Ａ、１３０Ｂ、１３０Ｃ等）の配置例を示す。検出範囲１３１（１３１Ａ、１３１Ｂ、１３１Ｃ等）はＲＦＩＤタグを検出する範囲である。図のように、検出範囲の円が撮像範囲１０３に隙間が無いように等間隔に配置することで、識別子が検出されない領域を無くすことができる。さらに、検出範囲が重複する部分は複数の検出部の検出結果より、その重複する部分にタグが存在することがわかることから、重なりあう領域に計測対象物体が存在することがわかることから、その情報を基に検出精度を向上することも期待できる。

図４では、さらに測定対象が存在する確立の高い領域、もしくは、カメラ１００のレンズの歪みが小さい撮像画像中心領域などの特定の領域に検出部を密に配置し、計測物体の識別を高めるための配置例である。中心付近の密に配置した検出部の検出範囲を小さくすることで、当該領域に複数の計測物体が存在する場合でも計測物体が存在する領域を識別することが可能となる。

上述の構成では、検出範囲の指向方向を全て同一としていたが、複数の物体が近接する場合の識別を可能とするには、指向方向を変えることも効果的である。例えば、図５に例示するように、床面に設置され上方に指向方向がある検出部１３０Ａと、壁面の下方に設置され水平方向に指向方向がある検出１３０Ｄと、壁面の上方に設置され水平方向に指向方向がある検出部１３０Ｆとを用いることで、計測対象物体１１０Ａと１１０Ｂが鉛直方向に重なり合って検出部１３０Ａに２つのタグが検出され、それぞれの概略位置が求められない場合に、検出部１３０Ｄと１３０Ｆの検出結果を用いることで、計測対象物体１１０Ａと１１０Ｂが存在する領域を区別することが可能となる。この場合、検出部１３０Ａで検出され、なおかつ検出部１３０Ｄで検出されたタグ１３２Ａは床面に近い位置に、検出部１３０Ａで検出され、なおかつ検出部１３０Ｆで検出されタグ１３２Ｂは床面から遠い位置にそれぞれ存在していることを検出することができる。

引き続いて、上記構成における画像特徴抽出手段２０１と高精度位置計測手段２０２が行う処理について、図６に示したフローチャートを参照して説明する。図６に示す処理は、本実施形態の一つの処理例である。

画像特徴抽出手段２０１はステップＳ１０１からＳ１０４までの工程を実行する。ステップＳ１０１では、カメラ１００を用いて位置姿勢計測装置２００が計測する領域１０３を撮像した撮像画像１０２を取得する。ステップＳ１０２では、撮像画像１０２に含まれる指標を画像処理により検出する。上述の構成では、指標は色が異なる円であるため、撮像画像を色空間による分解を行って、それぞれの対応する色空間での検出画素のまとまりの重心位置を算出することで指標を検出することができる。以下、ステップＳ１０３からステップＳ１０９までは、検出された夫々の指標に対して処理が実行される。ステップＳ１０３では、検出された指標の画像情報に基づいて計測対象物体の識別を試み、一意に識別できた場合には対応する計測対象物体の識別子番号ｓを当該指標へと割り当てる。ステップＳ１０４では、ステップＳ１０３における識別が成功したか否かの判定を行い、識別できた場合はステップＳ１０７に処理を進め、識別できなかった場合（検出された指標が複数の計測対象物体に貼付されている可能性がある場合）には、ステップＳ１０５以降の処理を行う。ステップＳ１０５では、ステップＳ１０２で得た指標の撮像画像中の座標値を、対象区別手段２０４に入力する。本実施例のように、指標が複数の点の集合で構成されている場合には、例えば、それらの点の画像座標値の重心を代表値として利用すればよい。ステップＳ１０６では、対象区別手段２０４から、対象区別手段２０４が画像座標値との対応から検索した計測対象物体の識別子番号ｓを取得し、処理している指標との対応をつける。ステップＳ１０７では、ステップＳ１０２で得た指標の撮像画像中の座標値に基づいて、指標の位置姿勢を推定する。ステップＳ１０８では、ステップＳ１０７で推定した位置姿勢を、識別番号ｓの計測対象物体の位置姿勢として出力する。ステップＳ１０９では、全ての指標が処理されたかどうかをチェックする。未処理の指標が存在する場合は、ステップＳ１０３へ処理が戻る。全ての指標の処理が終了すれば、本処理は終了する。なお、識別子番号ｓと計測対象物体との対応は事前に既知であるとする。

位置姿勢計測装置での処理は、基本的にはカメラ１００からの入力画像の取り込みの時間に合わせて処理が行われている。しかし、検出部の機構はカメラの信号と必ずしも同期している必要は無い。そのため、検出部からの概略位置検出手段２０３は、非同期で処理することが可能となる。

次に、概略位置検出手段２０３の処理を図７のフローチャートを用いて説明する。検出部の総数をＮとし、処理対象となる検出部の番号をｎとする。ステップＳ２０１では、初期値としてｎ＝１とする。ステップＳ２０２では、検出部ｎの検出範囲にタグが存在しているかどうかを検出する。ステップＳ２０３では検出範囲にタグが存在するかどうかを判断し、タグが存在する場合はステップＳ２０４へと処理を進め、存在しない場合はステップＳ２０５へと処理を進める。ステップＳ２０４では、検出部が検出したタグの識別子番号ｓを取得し、検出部の番号ｎと対応させた組み合わせを保存する。次に、ステップＳ２０５において、ｎ＝ｎ＋１により番号を１つ増加させる。ステップＳ２０６では全ての検出部が処理されたかどうかをチェックして、未処理の部分がある場合は、ステップＳ２０２以降の処理を繰り返す。全ての検出部が処理された場合は、ステップＳ２０７において、タグの検出情報（ステップＳ２０４で得られた全ての組み合わせのリスト）を対象区別手段２０４へと出力し、本処理を終了させる。

対象区別手段２０４は、撮像画像１０２の撮像領域に対する夫々の検出部の検出範囲との対応を保持することにより、入力指標と計測対象物体の識別子との対応づけを行っている。図８に、検出部ｎにおける撮像画像領域の検出範囲保持の例を示す。図８の（ａ）は、画像により検出範囲を保持する例を示している。この例では、検出部の検出領域が円や任意の図形である場合に撮像画像との対応を画像の形で保持しておく。指標の座標が入力された場合は、１対１に対応させることができるため、検出範囲が複雑な形状であった場合でも容易に対応関係を検索することができる。これは、検出器の感度が一般的にばらついている場合や、設置方向の精度が悪い場合などに、事前に検出対象を３次元空間中に移動させて撮像領域との対応を求めることで、概略位置検出の対応を求めることができる。一方、検出部の総数Ｎが多い場合や、概略位置検出の補正が大変な場合は、３次元空間を移動させて検出部の検出範囲を求めることまでしなくても良い場合もある。そこで、領域を矩形などの領域にして指標の座標値から判断式等を用いて領域を検索する手法（図８の（ｂ））も考えられる。この場合、検出部の総数Ｎが多い場合でも保持しておく記憶領域を少なくさせることができる。しかし、領域の境界における精度は若干落ちる。いずれの保持手法においても、計測物体が撮像画像の粗い位置関係が把握できれば本発明で実施する手法を構成することが可能であることから、保持手法は計測対象物体の測定精度や数量などにより調整して利用できれば構わない。

対象区別手段２０４の処理を図９のフローチャートを用いて説明する。なお、対象区別手段２０４は、本フローチャートで示す処理を行うのとは別の（非同期の）処理として、概略位置検出手段２０３が出力するタグの検出情報を随時入力しているものとする。

ステップＳ４０１では、識別の対象となる指標の撮像画面１０２での座標値（指標座標）を、画像特徴抽出手段２０１から入力する。ステップＳ４０２では図８で説明した領域保持リストから指標座標が存在する領域を持つ検出部ｎを検索する。検出部の検出範囲が重なる場合は、複数のｎが求められる。ステップＳ４０３では、検出部ｎが１つか複数かの判定を行い、検出部が１つの場合にはステップＳ４０４に、複数の場合はステップＳ４０５へと処理を進める。もし、１つの検出部ｎだけが検索された場合は、ステップＳ４０４において、概略位置検出手段２０３から入力したタグの検出情報から、ステップＳ４０３で得た検出部ｎにおいて検出されているタグの識別子番号ｓを取得し、問い合わせられた指標に対応する計測対象物体の識別子として高精度位置計測手段２０２へと返す。もし、複数の検出部ｎが存在する場合は、ステップＳ４０５において、概略位置検出手段２０３から入力したタグの検出情報から、ステップＳ４０３で得た複数の検出部ｎのいずれにおいても検出されているタグを検索して、その識別子番号ｓを返す。識別子番号ｓを返して処理は終了するが、検出部が稼働していなかった場合などは、識別子番号ｓは未検出として返す。なお、本実施形態では説明の便宜上、計測対象物体に貼付された夫々のタグの識別子番号がそのまま計測対象物体の識別子番号を表しているものとしている。計測対象物体がタグとは異なる独自の識別子番号を有している場合には、例えば、タグの識別子番号と計測対象物体の識別子番号との対応テーブルを作成しておいて、これを参照するようにすればよい。

対象区別手段２０４は概略位置検出手段２０３が非同期で処理することも可能であるため、最新の検出結果を高精度位置計測手段に常に通知するような構成でも構わない。

さらに、本手段を実行するためにプログラム等の手段を用いて、コンピュータ上で本実施例を実現するソフトウェアを実行することで実現することも可能である。

前記実施例ではＲＦＩＤを用いる例を示しているが、計測対象物体の概略位置または位置姿勢を検出する手段を有していれば本発明の要件は満たされる。例として、検出部にコイルやホール素子などの磁界検出素子を用いて、磁界の強さや向きを用いて概略の位置または位置姿勢を検出する構成でも構わない。図１０に前記実施例における計測対象物体として人を想定し、検出部として靴に設置したホール素子と、床面に電磁コイルの極性が時系列に変化するパターンを識別子とした構成を示す。複数の計測対象物体の位置を計測するため、複数台のカメラによる三角測量の原理を用いた計測を実現する例を示す。カメラ１００Ａとカメラ１００Ｂは、レンズの歪みや設置位置・姿勢などのパラメータが既知であるとする。計測対象物体として指標３００Ａと３００Ｂを２台のカメラで同時に撮像することにより、それぞれの位置を検出するものとする。ここで、指標３００Ａと３００Ｂは、赤外線ＬＥＤなどとし、撮像画像中では同一の形態として撮像されるため、上述の構成と同様に同じ指標が撮像されているものとする。検出部は測定対象に設置したホール素子１４０Ａと１４１Ｂであり、近接する磁場の変化を検出することができる素子である。床面に設置した電磁コイル１４１Ａと１４１Ｂは電流の向きの変化により磁場の方向を変化させることができる。電磁コイル１４１Ａは例として時系列に磁場の方向１４２Ａのように変化させているものとし、同様に電磁コイル１４１Ｂも磁場の方向１４２Ｂのように変化させているものとする。指標３００Ａを有する計測対象物体はホール素子１４０Ａにより磁場の変化の向きを磁場の方向１４２Ａのように検出した場合、電磁コイル１４１Ａが存在する領域に存在するとして検知できる。同様に指標３００Ｂを有する計測対象物体も電磁コイル１４１Ｂの領域に存在するとして検知される。磁場の方向を、床面に対して垂直方向に設定しているために、電磁コイルの上にいる場合に局所的な領域として検出することが可能である。また、コイルの形状は円である必要はなく、矩形等にして床面をもれなく設置することも可能である。

さらに、位置姿勢を高精度に検出手段が対象とする頭部の指標と、概略位置を検出するための足下の検出部とは必ずしも固定されている必要はなく、人の姿勢の変化が許容される概略位置が検出されれば本発明での効果は満たされる。

実施例の構成としては、色を検出する検出部を装着し床面の領域を色分けして、計測対象物体である人がどの床面の領域に立っているかを検出する構成でも、上述の構成と類似した効果が期待できる。

さらに、床面の加重を計測する検出部と計測対象物体の重量を識別子の情報として用いる構成でも構わない。図１１に、床面に鉛直方向にかかる荷重を検出するロードセル（荷重センサ）を検出部として、計測対象物体の重量を識別子とした構成を示す。前述の実施例２と同様に計測対象物体の位置を計測するために、カメラ１００Ａとカメラ１００Ｂがそれぞれの設置パラメータ等が既知の状態でステレオ計測することが可能な状態で配置されているものとする。計測対象物体の重量は既知として、静止時の荷重がどの領域で計測されたかを検知することで、撮像装置１００Ａおよび１００Ｂにより撮像された画像中の指標３００Ａと３００Ｂが同一の指標として撮像されていても、計測対象物体の分別が可能となる。なお、図では検出部の領域を矩形にし、床面のタイルの下にロードセルを配置する構成としているが、薄膜状の圧電素子を床面に配置しても同様な効果が得られる。

さらに、ロードセルの代わりに音波を検出する検出部を用いて、測定対象に個別の波長を発生する識別子を保持させ検出する構成でも構わない。波長の違いのほか、パルス状に構成した波長を用いて識別子の音を発生することでも構わない。

また、本発明の実施形態における概略位置検出手段に、磁気センサによる計測対象物体の位置姿勢を求める手段を用いても構わない。複合現実感を実現する上で良く利用される磁気センサは、金属などの干渉物体や計測距離が長い場合に計測精度が悪くなることが知られている。本実施例の構成では、計測対象物体の位置姿勢は撮像装置の撮像画像に投影される指標の画面上の位置から求める手段を用いているため、磁気センサによる計測結果は必ずしも高精度に求められている必要はなく、複数対象の概略位置計測の手段としては十分に利用することができる。例として、図１２に示すように磁場による位置姿勢合わせ用の検出部を用いて識別子の位置を検出することでも構わない。

磁気センサのトランスミッタ５００は磁場を発生して、計測物体１１０Ａにあるレシーバ５０１Ａと計測対象物体１１０Ｂにあるレシーバ５０１Ｂはトランスミッタ５００に対する相対位置を検出する。トランスミッタ５００とレシーバ５０１Ａと５０１Ｂとの間に、鉄などの金属製の構造物が存在すると、磁場が歪められて検出精度が低下する。しかし、本構成ではおおよその位置が確認できれば良いため、本来の三次元位置計測の精度よりも低い精度でも構わない。

この場合、概略位置検出手段２０３は、夫々のレシーバの計測位置を対応する計測対象物体の概略位置として対象区別手段２０４へと出力する。あるいは、レシーバの位置姿勢計測値を用いて、レシーバと指標との位置のオフセットを加味して、レシーバではなく指標自身の概略位置を求め、対応する計測対象物体の概略位置として出力してもよい。

対象区別手段２０４は、計測対象物体の概略位置を中心としてセンサの誤差を加味した計測対象物体の推定存在範囲を設定し、これを画像上に投影した撮像領域を求め、これらの情報を実施例１における検出部の検出範囲とその撮像領域と同様に取り扱えばよい。あるいは、夫々の計測対象物体の概略位置を画像上に再投影した座標と、評価の対象となる指標座標との距離を求め、その距離が最も短くなる物体に指標を対応付けることでも同様な効果を得ることができる。

＜変形例１＞
上記の各実施例における対象区別手段２０４は、ステップＳ４０４及びステップＳ４０５で必ず１つのタグのみが選択されることを前提としているが、複数のタグが同一の検出領域内に存在する場合には、指標に対応するタグおよび計測対象物体を一意に特定することができない。このような状況に対応するために、例えば、ステップＳ４０４及びステップＳ４０５では、条件を満たす全てのタグの識別子を返すようにして、画像特徴抽出手段２０１において、対応の候補として得られた複数の計測対象物体の指標がどのようが画像特徴を有しているかという情報に基づいて、画像処理による識別を行ってもよい。以上の工程を追加することで、指標にいくつかのバリエーションが存在する場合であれば、同一の指標が同一検出部で検出されない限りにおいては、計測対象物体の識別が可能となる。

また、本実施例の対象区別手段２０４を、画像処理による指標の識別（図６のステップＳ１０３）のベリファイの手段としてのみ用いるような構成を取ることも可能である。反対に、ステップＳ１０３およびステップＳ１０４を省略し、対象区別手段２０２に基づく識別処理（ステップＳ１０５及びステップＳ１０６）を全ての指標に対して行う構成としてもよいし、対象区別手段２０４による識別を画像処理による識別の前処理としての一次分別（候補の絞込み）に用いても良い。

＜変形例２＞
実施例で述べた指標は、色の違う円を４つ平面に配置したものや、赤外線ＬＥＤなどの点として画像特徴抽出手段２０１で画像処理により判別できるようにしているが、画像処理で特徴抽出ができる構成が満たされて良く、非特許文献１で述べられている黒縁の四角い白領域を指標としても良いし、撮像画像上での画像の濃度勾配などの変化の組み合わせなどを用いても良く、いずれにしても画像処理にて特徴抽出できれば後段の処理が可能となる。

＜変形例３＞
上記の各実施例で記述した一実施形態における高精度位置計測手段への画像入力としてカメラ１００の１台もしくはステレオ計測で２台のカメラによる構成を記述したが、実際にはより多くの複数台の固定カメラおよび計測対象物体に付している移動カメラの画像を入力としても構わない。複数のカメラを用いることで、計測対象物体が近接する場合の隠れが発生したときに別のアングルから撮影しているカメラの画像を利用することで、高精度位置計測手段での処理を滞りなく行うことが可能となる。さらに、カメラの位置が固定されている客観視点カメラを実施例として述べたが、移動物体に取り付けられたカメラも画像入力として利用し複数計測対象物体の同一指標における処理の入力としても構わないし、それらが組み合わされて利用されている環境において実施しても構わない。

＜変形例４＞
さらに、計測対象物体もしくは検出部と位置姿勢計測装置２００との間を有線もしくは無線通信さらには赤外線などによる光通信による情報伝達手段を用いて情報を伝送することで、計測対象物体の移動が拘束されないので本発明を実施するにあたり効果がある。

（その他の実施例）
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実現されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するために記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記録媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記録し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためにプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが読み出したプログラムを実現することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

従来技術における複数の計測対象物体の位置姿勢計測方法の図である。実施形態に係る複数の計測対象物体と識別子を検出する検出部と概略位置検出手段と対象区別手段と高精度位置計測手段を含む位置姿勢計測装置の構成を示す図である。実施形態に係る複数の検出部を現実空間に等間隔に配置した場合を説明した図である。実施形態に係る検出範囲が異なる検出部を複数配置した場合を説明した図である。実施形態に係る検出範囲の指向方向が異なる検出部を複数配置した場合を説明した図である。実施形態に係る位置姿勢計測装置２００の工程を説明したフローチャート図である。実施形態に係る概略位置検出手段２０３における検出部が識別子を検出する工程を説明したフローチャート図である。実施形態に係る対象区別手段２０４における検出部の検出領域と撮像画面との対応を保持する手段を説明した図である。実施形態に係る対象区別手段２０４における撮像画像にて検出された指標の座標を入力として，識別子番号を出力する工程を説明したフローチャート図である。実施形態に係る複数の計測対象物体を，床面に配置した電磁コイルとホール素子で検出する構成を説明した図である。実施形態に係る複数の計測対象物体を，床面に配置した荷重センサで検出する構成を説明した図である。実施形態に係る複数の計測対象物体を，磁場を用いた位置計測装置で検出する構成を説明した図である。

Claims

可動する複数の計測対象物体の位置または位置姿勢を計測する装置であって、
撮像装置によって計測対象空間を撮像し、該撮像画像中に撮像されている前記計測対象の投影像の画像特徴を抽出する画像特徴抽出手段と、
前記撮像装置以外の別の手段により、前記夫々の計測対象の概略の位置または位置姿勢を検出する概略位置検出手段と、
前記概略位置検出手段によって得られた前記夫々の計測対象の位置情報を利用して、前記画像特徴抽出手段で検出された前記画像特徴が前記複数の計測対象のうちのいずれの計測対象の投影像から得られたものであるかを区別する対象区別手段と、
前記対象区別手段によって区別された前記画像特徴を利用して、前記各々の計測対象のより精度の高い位置または位置姿勢を算出する高精度位置姿勢算出手段とを有することを特徴とする複数計測対象の位置姿勢計測装置。
前記概略位置検出手段は、指向性を有する一つまたは複数の検出器であり、計測対象が検出範囲に存在するかどうかを検知することによって実現されることを特徴とする請求項１記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段の複数の検出器を前記高精度位置計測手段の測定範囲に等間隔に配置することを特徴とする請求項１または２に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段の複数の検出器を前記高精度位置計測手段の測定範囲において計測対象物体をより的確に区別したい範囲に密に配置することを特徴とする請求項１または２に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段で複数の検出器測の検出範囲である指向方向を異なる向きに配置し、複数の計測対象物体が近接した場合に識別できることを特徴とする請求項１乃至４に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段は、無線通信によって識別子を通信する手段であるＲＦＩＤを利用することを特徴とする請求項１乃至５に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段は、磁気を利用したセンサであることを特徴とする請求項１乃至５に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段は、音もしくは超音波を利用したセンサであることを特徴とする請求項１乃至５に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段は、加重を電気信号に変換するセンサを利用することを特徴とする請求項１乃至５に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段は、色を識別するセンサを利用することを特徴とする請求項１乃至５に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段は、赤外線を検出するセンサを利用することを特徴とする請求項１乃至５に記載の複数物体の位置姿勢計測装置。
前記概略位置検出手段として請求項２乃至請求項１１記載の概略位置検出手段を組み合わせて利用することを特徴とする請求項１記載の複数物体の位置姿勢計測装置。
前記対象区別手段において、前記概略検出手段の概略位置と高精度位置計測手段の計測範囲とを関連づける情報を事前に保持することを特徴とする請求項１記載の複数物体の位置姿勢計測装置。
前記対象区別手段において、前記概略検出手段の概略位置と高精度位置計測手段の計測範囲とを関連づける情報を判別式もしくは演算式の形で保持することを特徴とする請求項１記載の複数物体の位置姿勢計測装置。
前記対象区別手段が、前記概略位置検出手段において２つ以上の計測対象物体が存在する時にだけ稼働することを特徴とする請求項１記載の複数物体の位置姿勢計測装置。
請求項１乃至請求項１５のいずれか１項に記載の位置姿勢計測装置の各手段を実現させるための方法。
請求項１乃至請求項１５のいずれか１項に記載の位置姿勢計測装置における各手段をコンピュータ装置に実行させるためのプログラム。
請求項１７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。