JP2005279804A - 対象物認識装置 - Google Patents

Abstract

【構成】 対象物がＣＣＤカメラ２０および２２によって撮影されると、撮影対象物に埋め込まれた無線タグのタグ情報がタグリーダ４０または５４によって検出される。ＣＰＵは、検出されたタグ情報に基づいて、撮影対象物に対応する３次元モデルデータを外部サーバから取得する。撮影対象物の姿勢は、ＣＣＤカメラ２０または２２によって撮影された対象物画像データと外部サーバから取得された３次元モデルデータとのパターンマッチングによって特定される。
【効果】 対象物の姿勢を速やかに特定することができる。
【選択図】 図１

Description

この発明は、対象物認識装置に関し、特にたとえば自律移動ロボットに適用され、カメラによって捉えられた対象物の画像に基づいて対象物の姿勢を認識する、対象物認識装置に関する。

従来のこの種の装置の一例が、特許文献１に開示されている。この従来技術は、空中からカメラによって撮影された構造物の形状や撮影位置を、カメラの位置データおよび姿勢データと記憶手段に記憶された構造物の３Ｄデータとに基づいて推定しようとするものである。
特開２００３−８３７４４号

しかし、従来技術では、撮影される構造物の種類が多くなるほど、この構造物の３Ｄデータの特定に時間がかかり、処理動作の迅速性に欠けてしまう。

それゆえに、この発明の主たる目的は、対象物の姿勢を迅速に特定することができる、対象物認識装置を提供することである。

請求項１の発明に従う対象物認識装置は、識別情報が割り当てられた対象物を撮影するカメラ、カメラによって撮影された撮影対象物の識別情報を検出する検出手段、検出手段によって検出された識別情報に基づいて撮影対象物に対応する３次元モデルデータを外部から取得する取得手段、およびカメラによって撮影された対象物画像データと取得手段によって取得された３次元モデルデータとに基づいて撮影対象物の姿勢を特定する特定手段を備える。

対象物がカメラによって撮影されると、撮影対象物に割り当てられた識別情報が検出手段によって検出される。取得手段は、検出された識別情報に基づいて、撮影対象物に対応する３次元モデルデータを外部から取得する。撮影対象物の姿勢は、カメラによって撮影された対象物画像データと取得手段によって取得された３次元モデルデータとに基づいて特定される。

このように、撮影対象物に対応する３次元モデルデータは、撮影対象物に割り当てられた識別情報に基づいて取得される。これによって、対象物の姿勢を速やかに特定することができる。

請求項２の発明に従う対象物認識装置は、請求項１に従属し、３次元モデルデータに基づくモデルを複数の視点で眺めたときにそれぞれ認識される複数画面の２次元画像データを作成する作成手段、および作成手段によって作成された複数画面の２次元画像データの各々と対象物データとの近似度を算出する算出手段をさらに備え、特定手段は算出手段の算出結果に基づいて撮影対象物の姿勢を特定する。

請求項３の発明に従う対象物認識装置は、請求項２に従属し、撮影対象物までの距離を測定する測定手段をさらに備え、モデルから複数の視点の各々までの距離は測定手段によって測定された距離に相当する。これによって、近似度の算出精度が向上する。

請求項４の発明に従う対象物認識装置は、請求項１または２に従属し、撮影対象物を把持する少なくとも２つの把持部材、および特定手段の特定結果に基づいて２つの把持部材の把持角度を調整する調整手段をさらに備える。これによって、対象物を的確には把持することができる。

請求項５の発明に従う対象物認識装置は、請求項４に従属し、特定手段の特定結果に基づいて撮影対象物に基準軸を割り当てる割り当て手段をさらに備え、調整手段は割り当て手段によって割り当てられた基準軸を参照して把持角度を調整する。

この発明によれば、撮影対象物に対応する３次元モデルデータを撮影対象物に割り当てられた識別情報に基づいて取得するようにしたため、対象物の姿勢を速やかに特定することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

本発明対象物認識装置を採用したロボット１０を示す図１とその内部構成を示す図２とを参照して、この実施例のロボット１０は、台車１６を含み、この台車１６の下面には、このロボット１０を自律移動させる車輪１８が設けられる。この車輪１８は、走行用モータ７２によって駆動され、台車１６すなわちロボット１０を前後左右任意の方向に動かすことができる。

台車１６の上には、ロボット１０の胴体１４が直立するように取り付けられる。胴体１４の両肩には、それぞれ、肩関節２８および４２によって、上腕３０および４４が取り付けられる。肩関節３０および４４はそれぞれ右肩モータ５６および左肩モータ６４によって駆動され、１軸の自由度を有する。すなわち、肩関節３０および４４は、ロボット１２の前後に伸びる軸の廻りを回転することができる。

上腕３０および４４の先端には、肘関節３２および４６を介して、前腕３４および４８が取り付けられる。肘関節３２は、右肘モータ５８によって駆動され、肩関節２８の回転軸と上腕３０の長さ方向に伸びる軸とに直交する軸の廻りを回転することができる。肘関節４６は、左肘モータ６６によって駆動され、肩関節４２の回転軸と上腕４４の長さ方向に伸びる軸とに直交する軸の廻りを回転することができる。

前腕３４および４８の先端には、手首関節３６および５０を介して、２指ハンド３８および５２が取り付けられる。手首関節３６および５０はそれぞれ、右手首モータ６０および左手首モータ６８によって駆動され、前腕３４および４８の長さ方向に伸びる軸の廻りを回転することができる。

右手の２指ハンド３８は右手モータ６２によって駆動され、指３８ａおよび３８ｂの間隔を縮小方向または拡大方向に調整することができる。左手の２指ハンド５２は左手モータ７０によって駆動され、指５２ａおよび５２ｂの間隔を縮小方向または拡大方向に調整することができる。かかる２指ハンド３８または５２によって任意の対象物の把持動作が可能となる。

指３８ａおよび５２ａには、タグリーダ４０および５４がそれぞれ装着される。把持される対象物には無線タグが埋め込まれており、この無線タグから発信されたタグ情報はかかるタグリーダ４０または５４によって検出される。

胴体１４の中央上方には、首関節２４および２６を介して、頭部１２が取り付けられる。首関節２４は、首上下モータ７４によって駆動され、首から左右に伸びる軸の廻りを回転することができる。首関節２６は、首左右モータ７６によって駆動され、首から上下に伸びる軸の廻りを回転することができる。かかる首関節２４および２６によって、頭部１２は上下左右の任意の方向を向くことができる。

頭部１２の目に相当する位置には、ＣＣＤカメラ２０および２２が設けられる。ＣＣＤカメラ２０および２２は、頭部１２が向く方向の被写界を撮影し、撮影画像データを出力する。

図２を参照して、モータ５６〜７６は、バスＢＳに接続されたドライバ７８〜９８によってそれぞれ駆動される。バスＢＳにはまた、ＣＣＤカメラ２０および２２，タグリーダ４０および５４，通信Ｉ／Ｆ１００，ＣＰＵ１０２，およびメモリ１０４が接続される。

ＣＣＤカメラ２０および２２によって対象物が視覚的に捕捉されたとき、ＣＰＵ１０２は、図３〜図５に示すフロー図に従う処理を実行する。なお、このフロー図に対応する制御プログラムは、図示しないフラッシュメモリに記憶される。

まずステップＳ１で対象物の方向ＤＲ１と対象物までの距離ＤＳ１とを検出する。方向ＤＲ１は現時点の頭部１２の向きであり、ドライバ９６および９８の制御情報に基づいて検出される。距離ＤＳ１は、ＣＣＤカメラ２０および２２から出力された撮影画像データに基づく三角測量によって検出される。

ステップＳ３では、ドライバ９４を制御してロボット１０を捕捉された対象物の近傍に移動させ、ステップＳ５では、対象物の把持に用いる２指ハンドを決定する。以下の説明では、右手の２指ハンド３８が選択されたことを前提として説明する。

ステップＳ７では、ドライバ７８〜８２を制御して、右手の２指ハンド３８つまりタグリーダ４０を対象物の近傍に配置し、ステップＳ９では、タグリーダ４０を能動化して、対象物に埋め込まれた無線タグから発信されるタグ情報を取得する。タグリーダ４０によって読み取られたタグ情報は、バスＢＳを介してメモリ１０４に書き込まれる。

ステップＳ１１では、２指ハンド３８つまり対象物の方向ＤＲ２および２指ハンド３８つまり対象物までの距離ＤＳ２を検出する。検出方法は、上述のステップＳ１と同じである。方向ＤＲ２および距離ＤＳ２が検出されるとステップＳ１３に進み、ドライバ７８および８０を制御して２指ハンド３８をＣＣＤカメラ２０および２２の撮影範囲外に移動させる。移動が完了すると、ＣＣＤカメラ２０および２２の一方から出力された撮影画像データつまり対象物画像データをメモリ１０４に書き込む。メモリ１０４には、たとえば図６に示す対象物画像データＯＢＪが格納される。

ステップＳ１７では、ステップＳ９で取得したタグ情報を通信Ｉ／Ｆ１００を通してサーバ（図示せず）に送信する。サーバは、複数の対象物の３Ｄモデルデータ（ポリゴンデータＰＬＧ）を管理しており、ステップＳ１７で送信されたタグ情報に対応する３Ｄモデルデータをロボット１０に返送する。返送された３Ｄモデルデータが通信Ｉ／Ｆ１００によって受信されると、ステップＳ１９でＹＥＳと判断し、返送された３ＤモデルデータをステップＳ２１でメモリ１０４に書き込む。メモリ１０４には、たとえば図７に示す３ＤモデルデータＰＬＧが格納される。なお、３Ｄモデルデータには、互いに直交するＸＹＺ軸が割り当てられる。

こうして同じ対象物の３Ｄモデルと実際に撮影された対象物画像とが取得されると、ステップＳ２３に進み、取得された３Ｄモデルを距離ＤＳ２の間隔を保って複数の視点座標（図７参照）から眺めたときに認識される複数の２次元画像を作成する。作成された各々の２次元画像には、識別番号が割り当てられる。

ステップＳ２５では変数Ｎを“１”に設定し、ステップＳ２７では対象物画像とＮ番目の２次元画像とがどの程度近似するかを示す近似度（適正度）を算出する。この算出には、周知のパターンマッチングの手法を用いる。ステップＳ２９では、変数Ｎが識別番号の最大値に相当するＮｍａｘに達したか否か判別する。ここでＮＯであれば、ステップＳ３１で変数ＮをインクリメントしてからステップＳ２７に戻る。これによって変数ＮがＮｍａｘに達するまでステップＳ２７の処理が繰り返され、ステップＳ２３で作成された全ての２次元画像について近似度が算出される。

変数ＮがＮｍａｘに達するとステップＳ２９からステップＳ３３に進み、上述の複数の２次元画像の中から近似度が最大の２次元画像を特定する。ステップＳ３５では、特定された２次元画像を作成したときの視点座標を、上述の複数の視点座標の中から検出する。ステップＳ３７では、検出された視点座標に基づいて、３次元画像データに割り当てられたＸ軸と同じ方向に伸びる基準軸を対象物に割り当てる。

ステップＳ３９では右肩モータ５６および右肘モータ５８を制御して２指ハンド３８を対象物の真上に移動させる。ステップＳ４１では右手首モータ６０を制御して２指ハンド３８の把持角度を調整する。把持角度は、対象物に割り当てられた基準軸に直交することになる。

角度調整が完了すると、ステップＳ４３で右手モータ６２を動作させて対象物ＯＢＪを把持する。つまり、右肩モータ５６および右肘モータ５８を制御して２指ハンド３８を対象物ＯＢＪの位置に配置し、右手モータ６０を制御して対象物ＯＢＪを指３８ａおよび３８ｂによって挟む。ステップＳ４５では右肩モータ５６および右肘モータ５８を制御して対象物ＯＢＪを持ち上げ、その後、処理を終了する。

以上の説明から分かるように、対象物がＣＣＤカメラ２０および２２によって撮影されると、撮影対象物に埋め込まれた無線タグのタグ情報がタグリーダ４０または５４によって検出される。ＣＰＵ１０２は、検出されたタグ情報に基づいて、撮影対象物に対応する３次元モデルデータを外部サーバから取得する。撮影対象物の姿勢は、ＣＣＤカメラ２０または２２によって撮影された対象物画像データと外部サーバから取得された３次元モデルデータとに基づいて特定される。

このように、撮影対象物に対応する３次元モデルデータを撮影対象物に割り当てられたタグ情報に基づいて取得するようにしたため、対象物の姿勢を速やかに特定することができる。

なお、この実施例では、近似度が最大の２次元画像の視点座標をＣＣＤカメラの視点とみなすようにしているが、近似度が閾値を上回る視点座標に対する重み付け加算によって視点座標を新たに検出し、この新規の視点座標をＣＣＤカメラの視点とみなすようにすれば、基準軸をより正確に対象物に割り当てることができる。

また、この実施例では、外部のサーバに複数の３次元モデルデータを準備するようにしているが、これに代えて内部の記憶媒体に複数の３次元モデルデータを準備するようにしてもよい。

この発明の一実施例を示す外観図である。 図１実施例の構成の一例を示すブロック図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例の２指ハンドによって把持される対象物の撮影画像の一例を示す斜視図である。 図６に示す対象物に対応する３Ｄモデルを示す斜視図である。

符号の説明

１０ … 自律移動ロボット
１２ … 頭部
２０，２２ … ＣＣＤカメラ
３８，５２ … ２指ハンド
４０，５４ … タグリーダ
１００ … 通信Ｉ／Ｆ
１０２ … ＣＰＵ

Claims (5)

1. 識別情報が割り当てられた対象物を撮影するカメラ、
   前記カメラによって撮影された撮影対象物の識別情報を検出する検出手段、
   前記検出手段によって検出された識別情報に基づいて前記撮影対象物に対応する３次元モデルデータを取得する取得手段、および
   前記カメラによって撮影された対象物画像データと前記取得手段によって取得された３次元モデルデータとに基づいて前記撮影対象物の姿勢を特定する特定手段を備える、対象物認識装置。
2. 前記３次元モデルデータに基づくモデルを複数の視点で眺めたときにそれぞれ認識される複数画面の２次元画像データを作成する作成手段、および
   前記作成手段によって作成された複数画面の２次元画像データの各々と前記対象物データとの近似度を算出する算出手段をさらに備え、
   前記特定手段は前記算出手段の算出結果に基づいて前記撮影対象物の姿勢を特定する、請求項１記載の対象物認識装置。
3. 前記撮影対象物までの距離を測定する測定手段をさらに備え、
   前記モデルから前記複数の視点の各々までの距離は前記測定手段によって測定された距離に相当する、請求項２記載の対象物認識装置。
4. 前記撮影対象物を把持する少なくとも２つの把持部材、および
   前記特定手段の特定結果に基づいて前記２つの把持部材の把持角度を調整する調整手段をさらに備える、請求項１または２記載の対象物認識装置。
5. 前記特定手段の特定結果に基づいて前記撮影対象物に基準軸を割り当てる割り当て手段をさらに備え、
   前記調整手段は前記割り当て手段によって割り当てられた基準軸を参照して前記把持角度を調整する、請求項４記載の対象物認識装置。

Images