JP2010060494A

JP2010060494A - 姿勢計測装置

Info

Publication number: JP2010060494A
Application number: JP2008228192A
Authority: JP
Inventors: Hiroki Yokoi; 宏紀横井; Toshio Endo; 利生遠藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-09-05
Filing date: 2008-09-05
Publication date: 2010-03-18
Anticipated expiration: 2028-09-05
Also published as: EP2161537B1; JP5141452B2; US8472701B2; US20100061623A1; EP2161537A2; EP2161537A3

Abstract

【課題】多関節の物体の姿勢を様々な場面において高速、高精度に、かつ低コストの装置によって計測する。
【解決手段】測定対象の物体に面放射光を照射する面放射光照明部と、測定対象の物体にパターン光を照射するパターン光照明部と、測定対象の物体を撮像する撮像部と、面放射光を照射した場合と照射していない場合の面放射光照明差分画像、および、パターン光を照射した場合と照射していない場合のパターン光照明差分画像を生成する照明差分画像処理部と、面放射光照明差分画像から測定対象の物体の輪郭および特徴点を抽出する輪郭・特徴点抽出部と、パターン光照明差分画像から測定対象の物体上の反射点の３次元座標を算出する３次元パターン反射位置算出部と、抽出された輪郭および特徴点、ならびに、算出された反射点の３次元座標に基づき、予め測定対象の物体の姿勢パラメタをモデル化したモデルデータとマッチングを行うことにより、姿勢パラメタを特定するモデルマッチング処理部とを備える。
【選択図】図１

Description

本発明は、人間の手や腕、ロボットのアーム等の多関節の物体の姿勢を計測する技術に関する。

物体の形状・姿勢の自動計測技術としては、一般に３次元形状計測法に基づく方式が知られている。

第１の方式として、ライン状のレーザ光をガルバノミラーで動かしつつ対象物体に照射しながら対象物体をカメラで撮像し、画像中のライン光反射位置（曲線）から対象物体の詳細な３次元形状を計測する光切断法が知られている。この方式の利点は、極めて高精度に対象物体の形状を計測できることである。

また、第２の方式として、対象物体へ一様な光を照射し、その際の対象物体をカメラで撮像し、近い箇所は明るく、遠い箇所は暗く写る性質を利用して画像上の各位置での奥行きを求める方式がある。

また、３次元形状計測法に基づかない第３の方式として、対象物体に複数のマーカを取り付け、そのマーカの位置を計測する方式が知られている。

これらの方式により、対象物体の形状等を計測し、形状のデータから関節位置を検出し、その角度を求める等の計算処理により物体の姿勢を求めることができる。
特開２００４−３２８６５７号公報特開２００７−１７４５６６号公報

上述した従来の方式には、それぞれ以下のような問題点がある。

第１の方式は、レーザ照射機構等が必要となり、装置が特殊であり、装置のサイズが大きい、コストが非常に高い、スキャンに時間がかかる、といった問題があり、適用範囲は特殊用途に限られるという問題がある。

第２の方式は、対象物体の表面の材質、模様等が個体等によらず不変であることが仮定されており、個体差や表面の物性変化等がある場合には正確に計測ができなくなるため、適用範囲は極めて限定されるという問題がある。

第３の方式は、対象物体にマーカを取り付ける必要があるため手間がかかり、またそもそもマーカの取り付けが不可能な場合には適用できないという問題がある。

一方、特許文献１には、撮影対象にストロボ光を照射して第１画像を撮像し、同対象に光を照射せずに第２画像を撮像し、両画像の差分から第３画像を得て、この第３画像から同対象の奥行き情報を算出する技術が開示されている。しかしながら、奥行きを輝度から算出しているため、対象の反射率、形状等により正確に計測することができないという、上述した第２の方式と同様の問題がある。

また、特許文献２には、フラッシュに切替前の個眼像と切替後の個眼像との差分に基づき、フラッシュで赤くなる目を検出し、検出された目の位置に基づいて画像中の顔領域を抽出する技術が開示されている。しかしながら、顔輪郭は通常の画像処理により検出しているため、対象の状態、背景の変化等により正確に検出できず、精度が低くなるという問題がある。

上記の従来の問題点に鑑み、人間の手や腕、ロボットのアーム等の多関節の物体の姿勢を様々な場面において高速、高精度に、かつ低コストの装置によって計測することを目的とする。

この姿勢計測装置の一実施態様では、測定対象の物体に面放射光を照射する面放射光照明部と、測定対象の物体にパターン光を照射するパターン光照明部と、測定対象の物体を撮像する撮像部と、面放射光を照射した場合と照射していない場合の面放射光照明差分画像、および、パターン光を照射した場合と照射していない場合のパターン光照明差分画像を生成する照明差分画像処理部と、面放射光照明差分画像から測定対象の物体の輪郭および特徴点を抽出する輪郭・特徴点抽出部と、パターン光照明差分画像から測定対象の物体上の反射点の３次元座標を算出する３次元パターン反射位置算出部と、抽出された輪郭および特徴点、ならびに、算出された反射点の３次元座標に基づき、予め測定対象の物体の姿勢パラメタをモデル化したモデルデータとマッチングを行うことにより、姿勢パラメタを特定するモデルマッチング処理部とを備える。

開示の姿勢計測装置にあっては、多関節の物体の姿勢を様々な場面において高速、高精度に、かつ低コストの装置によって計測することができる。

以下、本発明の好適な実施形態につき説明する。

<構成>
図１は本発明の一実施形態にかかる姿勢計測装置の構成例を示す図である。

図１において、姿勢計測装置１は、照明・撮像制御部１０１と面放射光照明部１０２とパターン光照明部１０３と撮像部１０４と画像記録部１０５と照明差分画像処理部１０６と輪郭・特徴点抽出部１０７と３次元パターン反射位置算出部１０８とカメラ・パターン照明位置関係パラメタ保持部１０９とモデルマッチング処理部１１０とモデルデータ保持部１１１と姿勢パラメタ出力部１１２とを備えている。

照明・撮像制御部１０１は、面放射光照明部１０２およびパターン光照明部１０３による照明のオン・オフの制御と、撮像部１０４による撮像の制御を行う機能を有している。

面放射光照明部１０２は、測定対象となる多関節物体２に対し、撮影範囲を隙間なく照らす面放射光を照射する機能を有している。

パターン光照明部１０３は、測定対象となる多関節物体２に対し、反射箇所を識別可能な局所離散的な２次元のパターン光を照射する機能を有している。

撮像部１０４は、測定対象となる多関節物体２を撮像し、画像データを出力する機能を有している。撮像する画像は、基本的には、面放射光照明部１０２による面放射光を照射した状態と、パターン光照明部１０３によるパターン光を照射した状態と、いずれの照明も行わない状態との３種類である。ただし、面放射光照明部１０２による面放射光とパターン光照明部１０３によるパターン光の強度を変える等により、面放射光照明部１０２による面放射光とパターン光照明部１０３によるパターン光を同時に照射した状態と、いずれの照明も行わない状態との２種類とすることもできる。

図２は面放射光照明部１０２、パターン光照明部１０３および撮像部１０４の構成例を示す図である。（ａ）は撮像部１０４の前面（撮像方向側）に設けられた面放射光照明部１０２から多関節物体２に対して面放射光を照射している状態を示している。（ｂ）は撮像部１０４の前面に設けられたパターン光照明部１０３から、複数のスポット光からなるパターン光を照射している状態を示している。各スポット光の多関節物体２上の反射点は、スポット光の配置を円環状にする等により、撮像画像（後述する差分画像）の解析によりパターン上の箇所（照射元）を識別できるようになっている。（ｃ）は（ｂ）に代わる例を示しており、撮像部１０４の前面に設けられたパターン光照明部１０３から、格子状のパターン光を照射している状態を示している。この場合も、各格子光の多関節物体２上の反射点は、撮像画像（差分画像）の解析によりパターン上の箇所（格子座標Ｘ、Ｙ）を識別できるようになっている。なお、対象の多関節物体２が曲がっている場合や、傾いている場合には格子もそれに応じて歪むが、隣接する格子点の位置関係は不変なため、それらの変動によらず対応を求めることができる。その他に、図示はしていないが、モアレパターン光をパターン光として用いることもできる。モアレパターン光は上記の格子光に類似するが、レーザ光を回折格子に通すなどすると、格子の形状や間隔により様々なモアレと呼ばれるパターンを投影することができる。

パターン光に含まれる各パターンの識別は、大別して、トポロジー性による識別と、局所判別性による識別とがある。トポロジー性による識別とは、パターン光に含まれる各パターンの配置（隣接関係）から各パターンを識別することをいう。トポロジー性による識別が行えるパターン光にはトポロジー連続性があるといえる。パターン光に含まれる各パターンの照射元（照射原点）の３次元座標および２次元画像上の２次元座標と、各パターンの照射方向の３次元方向および２次元画像上の２次元方向は既知であり、照射原点座標が小さい光線の反射点ほど内側に現れる性質を持つため、２次元画像上で照射原点が内側（カメラ光軸に近い）のパターンの照射元から順に照射方向に沿って辿り、そこに反射点があれば、その照射元からのパターンに対応する反射点であると特定することができる。多関節物体２の関節変動が小さく、凸形状的な性質が満たされる対象の場合には、このトポロジー性による識別を用いることができる。ただし、このような性質を満たさず、複雑な形状変化を起こし、観測パターン中にトポロジー性を失う形の欠損が発生する場合には、次の局所判別性による識別を用いる必要がある。

局所判別性による識別とは、パターン光に含まれるパターンの各々の、形状、大きさ、位置等についてのユニークさから各パターンを識別することをいう。局所判別性による識別が行えるパターン光には局所判別性があるといえる。

図２（ｂ）に示したスポット光によるパターン光の例では、トポロジー性による識別が行える場合には、各スポット光に違いを付ける必要はない。局所判別性による識別が必要な場合には、スポット光の場所に応じ、形状を変える（異なる一部に欠けもしくは突出を設ける等）、形状を同じにして大きさを変える等の工夫を行えばよい。

図２（ｃ）に示した格子光によるパターン光の例では、トポロジー性による識別が行える場合には、各格子光に違いを付ける必要はない。局所判別性による識別が必要な場合には、格子光の場所毎に格子の形状を変える、格子の間隔を変える等の工夫を行えばよい。

なお、モアレパターン光をパターン光として用いる場合には、モアレパターン自体にユニークさを有しているため、トポロジー性による識別と局所判別性による識別の両者に用いることができる。

図１に戻り、画像記録部１０５は、撮像部１０４で撮像された３種類もしくは２種類の画像データを記憶する機能を有している。

照明差分画像処理部１０６は、画像記録部１０５に記憶された３種類もしくは２種類の画像データから、面放射光を照射した場合と照射していない場合の画像データの差分である面放射光照明差分画像データと、パターン光を照射した場合と照射していない場合の画像データの差分であるパターン光照明差分画像データとを生成する機能を有している。面放射光とパターン光とを同時に照射した場合には、強度等の違いを利用して差分画像データを生成する。

輪郭・特徴点抽出部１０７は、照明差分画像処理部１０６で得られた面放射光照明差分画像データから、画像処理により多関節物体２の輪郭と関節の曲がり部分の特徴点を抽出する機能を有している。輪郭および特徴点は、輪郭特徴点座標データリストとして次段に出力される。

３次元パターン反射位置算出部１０８は、照明差分画像処理部１０６で得られたパターン光照明差分画像データから、画像処理および数値計算によりパターン光による各反射点の３次元座標を算出する機能を有している。各反射点の３次元座標は、パターン反射点３次元座標リストとして次段に出力される。

カメラ・パターン照明位置関係パラメタ保持部１０９は、３次元パターン反射位置算出部１０８による数値計算に必要となるパラメタを保持している。具体的には、後述する計算式で用いられる、撮像部１０４のレンズの焦点距離ｆ、距離比率（３次元上の距離と２次元画像上の距離（画素数等）の比率）Ｃ_ｐｘ、Ｃ_ｐｙ、各光源（識別子ｉ）についての照射原点座標（Ｌ_ｘｉ、Ｌ_ｙｉ、Ｌ_ｚｉ）、照射方向ベクトル（Ｌ_ｘｄｉ、Ｌ_ｙｄｉ、Ｌ_ｚｄｉ）等が保持されている。これらは、予め測定されて求められた値が保持される。

モデルマッチング処理部１１０は、輪郭・特徴点抽出部１０７で抽出された輪郭および特徴点を示す輪郭特徴点座標データリストと、３次元パターン反射位置算出部１０８で算出された各反射点の３次元座標を示すパターン反射点３次元座標リストとから、モデルデータ保持部１１１に保持された多関節物体２のモデルデータとマッチング処理を行うことにより、多関節物体２の姿勢パラメタを決定する機能を有している。

モデルデータ保持部１１１は、多関節物体２を構成する各パーツ（ブロック）の特徴点の座標および多関節物体２全体の傾き、各関節の角度等のデータを保持している。図３はモデルデータ保持部１１１に保持されるモデルデータの例を示す図であり、パーツ表面座標リスト、全体の傾き、関節の角度等が含まれている。なお、上記のように形状を離散的な数値列で表す方法には多種多様な既存の方法がある。例えば、複数の閉じた平面の組み合わせで表現する方法や、それをさらに進め、双三次のスプライン曲面表現等により、比較的少数の点で代表的に表現することにより、曲がった形状も効率的に表現することができる。そのような表現を適用することで、一般に後段のモデルマッチングにおいて、より高速に処理を行うことができる。

図１に戻り、姿勢パラメタ出力部１１２は、モデルマッチング処理部１１０で決定された姿勢パラメタを外部に出力する機能を有している。

多関節物体２は、面放射光照明部１０２による面放射光やパターン光照明部１０３によるパターン光をある程度拡散的に反射する性質を有していることを前提としている。すなわち、光を吸収するような材質や、鏡面反射のみで反射光が撮像部１０４で捉えられないような材質である場合は除外される。なお、人体表面は拡散反射する性質を有するため、適用可能である。また、多関節物体２は撮像部１０４に近接し、その他の物体が多関節物体２と撮像部１０４の間に入らず、多関節物体２のすぐ後ろ等の照明差分画像中の輪郭やパターン反射点の抽出を妨げる位置にその他の物体がないこと（照明差分画像から、面放射光照明差分画像には多関節物体２のシルエットが明暗境界として映ること、またパターン光照明差分画像には多関節物体２に反射したパターンが映ること）を仮定する。

<動作>
図４は姿勢計測装置１の全体的な処理例を示すフローチャートである。

図４において、先ず、照明・撮像制御部１０１は面放射光照明部１０２およびパターン光照明部１０３のオン・オフを制御し、撮像部１０４により多関節物体２の撮像を行う（ステップＳ１）。より詳しくは、面放射光照明部１０２のみをオンして面放射光による照明下で撮像部１０４により多関節物体２の撮像を行い（ステップＳ１１）、パターン光照明部１０３のみをオンしてパターン光による照明下で撮像部１０４により多関節物体２の撮像を行い（ステップＳ１２）、面放射光照明部１０２およびパターン光照明部１０３をオフして無照明下（自然光は存在してよい）で多関節物体２の撮像を行う（ステップＳ１３）。なお、これらの撮像の順序は自由に変えてよい。面放射光による照明下での撮像で面放射光照射画像データが得られ、パターン光による照明下での撮像でパターン光照射画像データが得られ、無照明下での撮像で照明非照射画像データが得られ、これらは画像記録部１０５に一時的に記録される。

図５は面放射光照射画像、パターン光照射画像および照明非照射画像の例を示す図であり、（ａ）は面放射光照射画像、（ｂ）はパターン光照射画像、（ｃ）は照明非照射画像の例である。（ａ）の面放射光照射画像では、面放射光の照射により多関節物体（２）が明るく撮像されるが、外光によるノイズも含まれている。なお、この時点では画像の２値化は行っていないため、多関節物体（２）の表面には凹凸に起因する陰影や関節部分の切れ目等も映されるが、図面上は省略してある。（ｂ）のパターン光照射画像では、パターン光の照射により多関節物体（２）上の反射点が明るく撮像されるが、外光によるノイズも含まれている。なお、反射点の部分には多関節物体（２）の凹凸に起因する陰影や関節部分の切れ目等も映されるが、図面上は省略してある。（ｃ）の照明非照射画像では、外光による多関節物体（２）およびその他の部分の画像が撮像されている。

次いで、図４に戻り、照明差分画像処理部１０６は画像記録部１０５に記憶された画像データから差分画像を生成する（ステップＳ２）。すなわち、照明差分画像処理部１０６は、面放射光照射画像データと照明非照射画像データとから両者の差分である面放射光照明差分画像データを生成し（ステップＳ２１）、パターン光照射画像データと照明非照射画像データとから両者の差分であるパターン光照明差分画像データを生成する（ステップＳ２２）。

図６は面放射光照明差分画像およびパターン光照明差分画像の例を示す図であり、（ａ）は面放射光照明差分画像データ、（ｂ）はパターン光照明差分画像データの例である。すなわち、（ａ）の面放射光照明差分画像データでは、図５（ａ）（ｃ）の差分をとることにより、外光によるノイズが相殺され、面放射光による反射成分のみが残る。なお、この時点では画像の２値化は行っていないため、多関節物体（２）の表面には凹凸に起因する陰影や関節部分の切れ目等も映されているが、図面上は省略してある。図６（ｂ）のパターン光照明差分画像データでは、図５（ｂ）（ｃ）の差分をとることにより、外光によるノイズが相殺され、パターン光による反射成分のみが残る。なお、反射点の部分には多関節物体（２）の凹凸に起因する陰影や関節部分の切れ目等も映されるが、図面上は省略してある。

次いで、図４に戻り、輪郭・特徴点抽出部１０７および３次元パターン反射位置算出部１０８は、照明差分画像処理部１０６で得られた面放射光照明差分画像データおよびパターン光照明差分画像データに基づき、特徴位置の算出を行う（ステップＳ３）。すなわち、輪郭・特徴点抽出部１０７は照明差分画像処理部１０６で得られた面放射光照明差分画像データから、画像処理により多関節物体２の輪郭と関節の曲がり部分の特徴点を抽出し（ステップＳ３１）、３次元パターン反射位置算出部１０８は照明差分画像処理部１０６で得られたパターン光照明差分画像データから、画像処理および数値計算によりパターン光による各反射点の３次元座標を算出する（ステップＳ３２）。

以下、輪郭・特徴点抽出部１０７の処理をより詳細に説明する。先ず、輪郭・特徴点抽出部１０７は面放射光照明差分画像から２値化、境界検出等により輪郭位置を抽出する（ステップＳ３１１）。すなわち、２値化により多関節物体２の表面と背景が分離されることになり、表面と背景のシルエット境界に沿って画素を辿ることにより輪郭を抽出する。次いで、輪郭・特徴点抽出部１０７は抽出した輪郭位置に沿って関節による曲がりの発生する特徴点を抽出し、輪郭特徴点座標データリストを作成する（ステップＳ３１２）。輪郭特徴点座標データリストは、（ｘ_２１、ｙ_２１、Ｐ１）、（ｘ_２２、ｙ_２２、Ｐ２）、・・といった形式をしており、ｘ_２１、ｘ_２２、・・は特徴点の２次元画像上のｘ座標、ｙ_２１、ｙ_２２、・・は特徴点の２次元画像上のｙ座標、Ｐ１、Ｐ２、・・は特徴点の識別子である。図７は輪郭・特徴点抽出の例を示す図であり、（ａ）の面放射光照明差分画像から（ｂ）のように輪郭を抽出し、（ｃ）のように特徴点（○で表示）を抽出する。特徴点が対向する部分は関節に相当し、対向する特徴点を線で結ぶことによりパーツに分割することができる。

以下、３次元パターン反射位置算出部１０８の処理をより詳細に説明する。先ず、３次元パターン反射位置算出部１０８はパターン光照明差分画像データから２値化、境界検出等により反射点の個々のパターンを抽出し（ステップＳ３２１）、画像中を探索することで照明照射元ＩＤと対応付けを行い（ステップＳ３２２）、カメラ・パターン照明位置関係パラメタ保持部１０９のパラメタに基づいて各パターン反射位置の３次元座標を算出し、パターン反射点３次元座標リストを作成する（ステップＳ３２３）。パターン反射点３次元座標リストは（ｘ_３１、ｙ_３１、ｚ_３１）、（ｘ_３２、ｙ_３２、ｚ_３２）、・・といった形式をしており、ｘ_３１、ｘ_３２、・・は反射点の３次元上のｘ座標、ｙ_３１、ｙ_３２、・・は反射点の３次元上のｙ座標、ｚ_３１、ｚ_３２、・・は反射点の３次元上のｚ座標である。

反射点の照明照射元ＩＤとの対応付け（ステップＳ３２２）は、トポロジー性による識別と、局所判別性による識別とでは手法が異なる。局所判別性による識別の場合は、反射点のパターンの形状、大きさ等から直接に照明照射元ＩＤとの対応付けを行うことができる。トポロジー性による識別の場合は以下のように行う。

図８は焦点Ｐ_Ｆ、照射原点Ｐ_Ｌおよび反射点Ｐ_Ｒの３次元的関係と画像上の２次元的関係の例を示す図である。（ａ）は撮像方向に対して横方向から見た図であり、基準点となる焦点Ｐ_Ｆから若干ずれた位置にある照射原点Ｐ_Ｌから照射方向ベクトルＶ_Ｌの方向にパターン光の１パターンが照射され、多関節物体２の表面に当たって反射点Ｐ_Ｒとなる。（ｂ）は（ａ）の状態を撮像側の２次元画像上に投影したものであり、照射原点Ｐ_Ｌの延長線上に反射点Ｐ_Ｒが存在する。なお、焦点Ｐ_Ｆを基準とした反射点Ｐ_Ｒの２次元座標をｘ_２、ｙ_２としている。

２次元画像上の照射原点Ｐ_Ｌの２次元座標および照射方向ベクトルＶ_Ｌの方向（２次元座標成分）はパターン光の個々のパターンにつき既知であるため、各パターンの照射原点Ｐ_Ｌから照射方向ベクトルＶ_Ｌの方向を辿って反射点Ｐ_Ｒに行き着くかどうかを確認することにより、反射点Ｐ_Ｒがどのパターン光の中のどのパターンに対応するかを識別することができる。

図９はスポット状のパターン光の場合の照射元の特定の例を示す図であり、（ａ）のパターン光照明差分画像から、（ｂ）のように照射元の光線が特定できた状態を示している。図１０は格子状のパターン光の場合の照射元の特定の例を示す図であり、（ａ）のパターン光照明差分画像から、（ｂ）のように照射元の格子座標が特定できた状態を示している。

図４に戻り、各パターン反射位置の３次元座標の算出（ステップＳ３２３）は次のように行う。すなわち、図８（ａ）の３次元的な配置関係から、ｉを照明照射元ＩＤとし、照射原点Ｐ_Ｌの３次元座標を（Ｌ_ｘｉ、Ｌ_ｙｉ、Ｌ_ｚｉ）、照射方向ベクトルＶ_Ｌを（Ｌ_ｘｄｉ、Ｌ_ｙｄｉ、Ｌ_ｚｄｉ）、反射点Ｐ_Ｒの３次元座標を（ｘ_３ｉ、ｙ_３ｉ、ｚ_３ｉ）、照射原点Ｐ_Ｌから反射点Ｐ_Ｒまでの距離（スカラ値）を変数ｌ（エル）とすると、
の関係式がある。

また、反射点Ｐ_Ｒの２次元画像上の２次元座標（画像上から測定）を（ｘ_２ｉ、ｙ_２ｉ）、撮像部１０４のレンズの焦点距離をｆ、３次元上の距離と２次元画像上の距離（画素数等）の比率をｘ座標、ｙ座標方向それぞれＣ_ｐｘ、Ｃ_ｐｙとすることで、
の関係式がある。

これらの式のうち、未知数はｘ_３ｉ、ｙ_３ｉ、ｚ_３ｉ、ｌ（エル）の４個であり、式の数は５個（ベクトル式（１）は３個に分解可）であるため、解くことが可能であり、反射点Ｐ_Ｒの３次元座標（ｘ_３ｉ、ｙ_３ｉ、ｚ_３ｉ）を求めることができる。

次いで、図４に戻り、モデルマッチング処理部１１０は、輪郭・特徴点抽出部１０７で抽出された輪郭および特徴点を示す輪郭特徴点座標データリストと、３次元パターン反射位置算出部１０８で算出された各反射点の３次元座標を示すパターン反射点３次元座標リストとから、モデルデータ保持部１１１に保持された多関節物体２のモデルデータとマッチング処理を行うことで、全体姿勢パラメタと各関節角度リストを生成する（ステップＳ４）。全体姿勢パラメタは（Ｘａ，Ｙａ，Ｚａ，Ｄ０，Ｄ１，Ｄ２）といった形式をしており、Ｘａ、Ｙａ、Ｚａは３次元位置、Ｄ０、Ｄ１、Ｄ２は傾きを示している。各関節角度リストは（ｄ０，ｄ１，ｄ２，ｄ４，・・）といった形式をしており、ｄ０、ｄ１、ｄ２、ｄ４、・・は各関節の角度を示している。

図１１はモデルマッチングの概要を示す図であり、輪郭および特徴点の２次元画面上の位置による制約、各パーツ上の反射点の３次元座標による制約をモデルデータに当てはめることにより、モデルデータの姿勢パラメタが決定される様子を示している。すなわち、特徴点により分割された領域と、各領域の輪郭座標値と、対応付けられたパターン点３次元座標値の組を単位として、モデルデータ（数値モデル）の平行移動・回転・各関節角度の各パラメタの内、適合する姿勢・形状パラメタを部分毎に当てはめ、算出することで、多関節物体２の姿勢、形状パラメタを求める。一般に、多関節物体の各部位は剛体と仮定でき、従って内部数点の３次元位置および輪郭の画像上位置から部分的な平行移動、位置、傾きのパラメタを算出することができる。ただし、本処理では、関節を介して剛体の部位が連結しているため、パラメタ算出においては各部位のパラメタを整合させる必要がある。このような制約の下での複数部位のパラメタ算出は、例えばロボットの姿勢制御等で用いられる、一般的な動的パラメタマッチング手法を用いて算出することができる。

ブロック（剛体部分）の輪郭特徴候補位置の座標リストに対しモデルデータを適合させ、３次元平行移動・回転変換パラメタ（姿勢パラメタ）を求める方法は、各種既存の技術がある。それを用いる場合の例を以下に示す。
（ｉ）中央のブロックの輪郭特徴の画像上特徴位置等に対し、モデルデータの該当ブロックを適合させる姿勢パラメタを求める。
（ii）中央ブロックに連結するブロックの姿勢パラメタは、中央ブロックの姿勢パラメタを基準として連結部の関節角度パラメタ分の自由度になる。既存の変換パラメタ計算技法を応用し、（ｉ）で求めた中央ブロックの姿勢パラメタとモデルデータおよび各ブロックの輪郭特徴候補位置データからこの関節角度パラメタを求める。これにより、各ブロックの姿勢パラメタが求まる。
（iii）姿勢パラメタが既に求まっているブロックに未計算のブロックが連結していれば、（ii）と同様に、既計算ブロックを基準（（ii）の中央ブロックにあたる）として、未計算ブロックの姿勢パラメタを計算する。
（iv）全ブロックの姿勢パラメタが計算完了すれば終了する。

なお、（ｉ）〜（iii）は、途中で端のパラメタから、全体の当てはまりが良くなるよう、逆に内側のパラメタを補正する等、様々なバリエーションが存在するが、基本的な性質として、連結するブロック間で整合が取れるよう、パラメタを徐々に求めることで、一般に精度良く、かつ高速にパラメタを求めることができる。

次いで、図４に戻り、姿勢パラメタ出力部１１２はモデルマッチング処理部１１０の生成した全体姿勢パラメタおよび各関節角度リストを外部に出力し（ステップＳ５）、一連の処理を終了する。

<総括>
以上説明したように、開示の実施形態によれば、次のような利点がある。
（１）照明差分画像中の輪郭および少数のパターン反射位置の３次元座標値を求め、これらから姿勢を計測するため、データ量が必要最小限となり、高速に処理することができる。
（２）輪郭およびパターン反射位置は、照明反射の有無により計測するため、個体によって様々に変化する部位毎の反射特性に拠らず高精度に計測可能である。従って、各部位の光学特性が様々に異なっていても適用可能である。
（３）レーザスキャン機構のような特殊な装置を必要としないため、低コストで実現することができる。
（４）総じて、様々に変形する多関節物体の姿勢を、低コストで、高速かつ高精度に計測することができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
（付記１）
測定対象の物体に面放射光を照射する面放射光照明部と、
測定対象の物体にパターン光を照射するパターン光照明部と、
測定対象の物体を撮像する撮像部と、
面放射光を照射した場合と照射していない場合の面放射光照明差分画像、および、パターン光を照射した場合と照射していない場合のパターン光照明差分画像を生成する照明差分画像処理部と、
面放射光照明差分画像から測定対象の物体の輪郭および特徴点を抽出する輪郭・特徴点抽出部と、
パターン光照明差分画像から測定対象の物体上の反射点の３次元座標を算出する３次元パターン反射位置算出部と、
抽出された輪郭および特徴点、ならびに、算出された反射点の３次元座標に基づき、予め測定対象の物体の姿勢パラメタをモデル化したモデルデータとマッチングを行うことにより、姿勢パラメタを特定するモデルマッチング処理部と
を備えたことを特徴とする姿勢計測装置。
（付記２）
前記照明差分画像処理部は、面放射光による照明下で撮像した面放射光照射画像と、パターン光による照明下で撮像したパターン光照射画像と、無照明下で撮像した照明非照射画像とに基づき、面放射光照射画像と照明非照射画像とから面放射光照明差分画像を生成し、パターン光照射画像と照明非照射画像とからパターン光照明差分画像を生成する
ことを特徴とする付記１に記載の姿勢計測装置。
（付記３）
前記照明差分画像処理部は、面放射光とパターン光とを同時に照射して撮像した画像から、面放射光とパターン光の強度の違いを利用して面放射光照明差分画像およびパターン光照明差分画像を生成する
ことを特徴とする付記１に記載の姿勢計測装置。
（付記４）
前記パターン光は、トポロジー連続性を有し、
前記３次元パターン反射位置算出部は、トポロジー性による識別によりパターン光に含まれるパターンと反射位置との対応関係を特定し、既知の位置関係より反射位置の３次元座標を算出する
ことを特徴とする付記１乃至３のいずれか一項に記載の姿勢計測装置。
（付記５）
前記パターン光は、局所判別性を有し、
前記３次元パターン反射位置算出部は、局所判別性による識別によりパターン光に含まれるパターンと反射位置との対応関係を特定し、既知の位置関係より反射位置の３次元座標を算出する
ことを特徴とする付記１乃至３のいずれか一項に記載の姿勢計測装置。
（付記６）
前記パターン光は、複数のスポット光である
ことを特徴とする付記１乃至５のいずれか一項に記載の姿勢計測装置。
（付記７）
前記パターン光は、格子光である
ことを特徴とする付記１乃至５のいずれか一項に記載の姿勢計測装置。
（付記８）
前記パターン光は、モアレパターン光である
ことを特徴とする付記１乃至５のいずれか一項に記載の姿勢計測装置。
（付記９）
測定対象の物体に面放射光もしくはパターン光を照射する照明工程と、
測定対象の物体を撮像する撮像工程と、
面放射光を照射した場合と照射していない場合の面放射光照明差分画像、および、パターン光を照射した場合と照射していない場合のパターン光照明差分画像を生成する照明差分画像処理工程と、
面放射光照明差分画像から測定対象の物体の輪郭および特徴点を抽出する輪郭・特徴点抽出工程と、
パターン光照明差分画像から測定対象の物体上の反射点の３次元座標を算出する３次元パターン反射位置算出工程と、
抽出された輪郭および特徴点、ならびに、算出された反射点の３次元座標に基づき、予め測定対象の物体の姿勢パラメタをモデル化したモデルデータとマッチングを行うことにより、姿勢パラメタを特定するモデルマッチング処理工程と
を備えたことを特徴とする姿勢計測方法。
（付記１０）
前記照明差分画像処理工程は、面放射光による照明下で撮像した面放射光照射画像と、パターン光による照明下で撮像したパターン光照射画像と、無照明下で撮像した照明非照射画像とに基づき、面放射光照射画像と照明非照射画像とから面放射光照明差分画像を生成し、パターン光照射画像と照明非照射画像とからパターン光照明差分画像を生成する
ことを特徴とする付記９に記載の姿勢計測方法。
（付記１１）
前記照明差分画像処理工程は、面放射光とパターン光とを同時に照射して撮像した画像から、面放射光とパターン光の強度の違いを利用して面放射光照明差分画像およびパターン光照明差分画像を生成する
ことを特徴とする付記９に記載の姿勢計測方法。
（付記１２）
前記パターン光は、トポロジー連続性を有し、
前記３次元パターン反射位置算出工程は、トポロジー性による識別によりパターン光に含まれるパターンと反射位置との対応関係を特定し、既知の位置関係より反射位置の３次元座標を算出する
ことを特徴とする付記９乃至１１のいずれか一項に記載の姿勢計測方法。
（付記１３）
前記パターン光は、局所判別性を有し、
前記３次元パターン反射位置算出工程は、局所判別性による識別によりパターン光に含まれるパターンと反射位置との対応関係を特定し、既知の位置関係より反射位置の３次元座標を算出する
ことを特徴とする付記９乃至１１のいずれか一項に記載の姿勢計測方法。

本発明の一実施形態にかかる姿勢計測装置の構成例を示す図である。面放射光照明部、パターン光照明部および撮像部の構成例を示す図である。モデルデータ保持部に保持されるモデルデータの例を示す図である。姿勢計測装置の全体的な処理例を示すフローチャートである。面放射光照射画像、パターン光照射画像および照明非照射画像の例を示す図である。面放射光照明差分画像およびパターン光照明差分画像の例を示す図である。輪郭・特徴点抽出の例を示す図である。焦点、照射原点および反射点の３次元的関係と画像上の２次元的関係の例を示す図である。スポット状のパターン光の場合の照射元の特定の例を示す図である。格子状のパターン光の場合の照射元の特定の例を示す図である。モデルマッチングの概要を示す図である。

符号の説明

１姿勢計測装置
１０１照明・撮像制御部
１０２面放射光照明部
１０３パターン光照明部
１０４撮像部
１０５画像記録部
１０６照明差分画像処理部
１０７輪郭・特徴点抽出部
１０８３次元パターン反射位置算出部
１０９カメラ・パターン照明位置関係パラメタ保持部
１１０モデルマッチング処理部
１１１モデルデータ保持部
１１２姿勢パラメタ出力部

Claims

測定対象の物体に面放射光を照射する面放射光照明部と、
測定対象の物体にパターン光を照射するパターン光照明部と、
測定対象の物体を撮像する撮像部と、
面放射光を照射した場合と照射していない場合の面放射光照明差分画像、および、パターン光を照射した場合と照射していない場合のパターン光照明差分画像を生成する照明差分画像処理部と、
面放射光照明差分画像から測定対象の物体の輪郭および特徴点を抽出する輪郭・特徴点抽出部と、
パターン光照明差分画像から測定対象の物体上の反射点の３次元座標を算出する３次元パターン反射位置算出部と、
抽出された輪郭および特徴点、ならびに、算出された反射点の３次元座標に基づき、予め測定対象の物体の姿勢パラメタをモデル化したモデルデータとマッチングを行うことにより、姿勢パラメタを特定するモデルマッチング処理部と
を備えたことを特徴とする姿勢計測装置。
前記照明差分画像処理部は、面放射光による照明下で撮像した面放射光照射画像と、パターン光による照明下で撮像したパターン光照射画像と、無照明下で撮像した照明非照射画像とに基づき、面放射光照射画像と照明非照射画像とから面放射光照明差分画像を生成し、パターン光照射画像と照明非照射画像とからパターン光照明差分画像を生成する
ことを特徴とする請求項１に記載の姿勢計測装置。
前記照明差分画像処理部は、面放射光とパターン光とを同時に照射して撮像した画像から、面放射光とパターン光の強度の違いを利用して面放射光照明差分画像およびパターン光照明差分画像を生成する
ことを特徴とする請求項１に記載の姿勢計測装置。
前記パターン光は、トポロジー連続性を有し、
前記３次元パターン反射位置算出部は、トポロジー性による識別によりパターン光に含まれるパターンと反射位置との対応関係を特定し、既知の位置関係より反射位置の３次元座標を算出する
ことを特徴とする請求項１乃至３のいずれか一項に記載の姿勢計測装置。
前記パターン光は、局所判別性を有し、
前記３次元パターン反射位置算出部は、局所判別性による識別によりパターン光に含まれるパターンと反射位置との対応関係を特定し、既知の位置関係より反射位置の３次元座標を算出する
ことを特徴とする請求項１乃至３のいずれか一項に記載の姿勢計測装置。
測定対象の物体に面放射光もしくはパターン光を照射する照明工程と、
測定対象の物体を撮像する撮像工程と、
面放射光を照射した場合と照射していない場合の面放射光照明差分画像、および、パターン光を照射した場合と照射していない場合のパターン光照明差分画像を生成する照明差分画像処理工程と、
面放射光照明差分画像から測定対象の物体の輪郭および特徴点を抽出する輪郭・特徴点抽出工程と、
パターン光照明差分画像から測定対象の物体上の反射点の３次元座標を算出する３次元パターン反射位置算出工程と、
抽出された輪郭および特徴点、ならびに、算出された反射点の３次元座標に基づき、予め測定対象の物体の姿勢パラメタをモデル化したモデルデータとマッチングを行うことにより、姿勢パラメタを特定するモデルマッチング処理工程と
を備えたことを特徴とする姿勢計測方法。