JP2018097889A

JP2018097889A - 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット

Info

Publication number: JP2018097889A
Application number: JP2018005434A
Authority: JP
Inventors: 智紀原田; Tomonori Harada; 橋本　浩一; Koichi Hashimoto; 浩一橋本; 翔悟荒井; Shogo Arai; 敦藤平; Atsushi Fujihira
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2018-01-17
Filing date: 2018-01-17
Publication date: 2018-06-21
Anticipated expiration: 2033-10-17
Also published as: JP6489243B2

Abstract

【課題】対象物の位置や姿勢を正確に推定する。【解決手段】テンプレート記憶部は対象物の形状を示すテンプレートを記憶し、窓領域設定部は撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定し、平面抽出部は前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出し、選択部は平面抽出部が抽出した平面のうち最も大きい平面を選択し、照合部は選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する。【選択図】図２

Description

本発明は、物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボットに関する。

ロボットが組み付け作業を行う際、乱雑に積まれた対象物を一つ一つ取り出す動作を行うことがある。このような動作には、例えば、ピンピッキングがある。対象物を取り出す際、治具や専用の装置を用いて、乱雑に積まれた対象物を整列し直し、組み付け作業の対象物が一定の位置や姿勢をとるようにして、ロボットアームに把持させることがある。しかし、かかる治具や装置として、対象物の形状・大きさによって個々に異なる専用のものが必要になるため、経済的、時間的なコストが増大してしまう。

そこで、プロジェクターやレーザー光発生器等の光源を用いて対象物に光線を照射し、対象物からの反射光を処理することで対象物の３次元情報を取得し、取得した３次元情報に基づいて対象物の位置や姿勢を求めることが試みられてきた。３次元情報は、例えば、対象物が含まれる空間内の３次元点群を示す画像データである。位置や姿勢を求める際に、所定の対象物のテンプレートと３次元点群とのマッチングを行うことがある。しかし３次元点群のマッチングは、２次元画像のマッチングと比較して、演算すべき次元数が増加する。つまり、マッチングの対象が２次元から３次元に増加したことに応じて、対象物の位置や姿勢を求める際の次元数が３次元から６次元に増加する。同種の計算手法を用いるのであれば、計算量や計算時間が対象物の次元数に応じて指数関数的に増加する。そのために、３次元点群に対する位置や姿勢の推定では、現実的ではない計算量や計算時間を要することがある。

この問題を解決するため、位置や姿勢の推定において、対象物が有する平面や、その法線方向を用いる方法が提案されている。
例えば、特許文献１には、対象物の点群データを取得し、取得した点群データより対象物の位置情報として中心点を算出し、法線情報として表面の法線を算出するロボットシステムが記載されている。

特開２０１１−１６７８１５号公報

しかしながら、特許文献１に記載のロボットシステムでは、対象物の各平面の中心点が、マッチングの対象となるテンプレートが示す対象物の対応する平面の中心点とがずれることがある。このような中心点のずれは、複数の対象物が重なり合い、そのうちの１つの対象物が、もう１つの対象物に遮蔽されている場合に起こりがちである。この中心点のずれのために、対象物の位置や姿勢が正しく推定できないという問題が生じることがあった。

そこで、本発明は、上記問題に鑑みてなされたものであり、対象物の位置や姿勢を正確に推定することを可能とする物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボットを提供することを課題とする。

（１）本発明の一態様は、対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備えることを特徴とする物体認識装置である。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

（２）本発明の一態様は、上記に記載の物体認識装置において、前記テンプレート記憶部は、前記対象物が有する平面のいずれかに射影された前記対象物の形状を示すテンプレートを記憶し、前記照合部は、前記テンプレート記憶部に記憶されたテンプレートと、前記窓領域に含まれる画像を前記選択部が選択した平面に射影した変換画像とを照合することを特徴とする。
この構成によれば、テンプレートとの照合が対象物の形状が選択された平面に射影された変換画像との間で行われる。そのため、３次元の照合よりも照合に係る自由度が低減されるため、これに応じて処理量を格段に低減することができる。

（３）本発明の一態様は、上記に記載の物体認識装置において、前記窓領域設定部は、前記撮像部の撮像領域に含まれる対象物の分布に応じて関心領域を定め、前記関心領域内で前記窓領域を設定することを特徴とする。
この構成によれば、対象物の分布に応じて定めた関心領域からテンプレートとの照合がなされる対象物の平面が抽出される。これにより、関心領域に含まれる対象物がロボットの動作の対象となる対象物として優先して選択することができる。

（４）本発明の一態様は、物体認識装置における物体認識方法であって、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定過程と、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出過程と、前記平面抽出過程で抽出した平面のうち最も大きい平面を選択する選択過程と、前記選択過程で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合過程とを有することを特徴とする物体認識方法である。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

（５）本発明の一態様は、物体認識装置のコンピューターに、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定手順、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出手順、前記平面抽出手順で抽出した平面のうち最も大きい平面を選択する選択手順、前記選択手順で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合手順、を実行させるための物体認識プログラムである。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

（６）本発明の一態様は、ロボットと、対象物を撮像する撮像部と、前記撮像部の出力結果に基づいて前記対象物の状態を認識する物体認識装置と、前記物体認識装置の出力結果に基づいて前記ロボットの動作を制御するロボット制御装置と、を備えるロボットシステムであって、前記物体認識装置は、前記対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、前記撮像部が撮像した前記対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、前記窓領域に含まれる画像に基づいて前記対象物の平面を抽出する平面抽出部と、前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備え、前記ロボット制御装置は、前記照合部が照合した結果に基づいて前記ロボットの動作を制御すること、を特徴とするロボットシステムである。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

（７）本発明の一態様は、対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備えることを特徴とするロボットである。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

本実施形態に係るロボットシステムの概略斜視図である。本実施形態に係る物体認識装置の構成を示す概略ブロック図である。画像データと窓領域の一例を示す図である。窓領域に含まれる点群画像の一例を示す図である。本実施形態に係るマッチング部が行う処理を示すフローチャートである。２次元変換画像の一例を示す図である。画像データの他の例を示す図である。本実施形態に係る物体認識処理を示すフローチャートである。関心領域の例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、本実施形態に係るロボットシステム１の概略斜視図である。
図１に示すように、ロボットシステム１は、撮像装置１０、制御装置２０及び多関節ロボット（以下、ロボットともいう）３０を備える。なお、図１における部品や構造等の縮尺は、図を明瞭なものとするために実際のものとは異なっている。

撮像装置１０は、被写体の３次元の形状を撮像し、撮像した３次元の形状を示す画像データを生成する。生成された画像データは、その３次元の形状を所定の解像度でサンプリングした複数のサンプル点毎の位置情報で形成されるデータである。各サンプル点は、被写体の表面をサンプリングした３次元の座標を示す。つまり、生成された画像データは、複数のサンプル点データを含む点群データである。サンプル点データは、被写体の表面をサンプリングしたサンプル点毎の位置を示すデータである。サンプル点は、２次元の画像データにおける画素に相当する。この画像データが示す画像は点群画像とも呼ばれる。

撮像装置１０は、例えば、形状検査用３次元センサーである。撮像装置１０は、被写体として、例えば、ロボット３０による操作対象となる物体（以下、対象物という）Ｗｋが重なり合った領域を光学的に観察できる位置に設置されている。対象物Ｗｋは、ワークとも呼ばれる。撮像装置１０は、その撮影方向が、例えば、水平面に対して垂直（下方）に向くように設置されている。撮像装置１０は、少なくとも１つの対象物を含む領域であって、予め定めた大きさを有する３次元の領域を撮像領域Ｉｒとして１フレームの３次元の画像として撮像する。なお、撮像領域Ｉｒのうち処理の対象となる領域を関心領域（ＲＯＩ：ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ、着目領域ともいう）と呼ぶ。関心領域は、撮像領域Ｉｒの全体であってもよいし、撮像領域Ｉｒの一部であってもよい。
撮像装置１０は、撮像により得られた撮像画像（以下、カメラ画像ともいう）を示す画像データを制御装置２０へ出力する。

制御装置２０は、撮像装置１０から入力された画像データに基づいてロボット３０の動作を制御する。制御装置２０は、物体認識装置２１とロボット制御装置２２とを含んで構成される。

物体認識装置２１は、撮像装置１０から入力された画像データから対象物の位置及び配置されている方向（姿勢）を検出する。以下の説明では、位置、方向、又は位置ならびに方向を空間状態と総称することがある。物体認識装置２１は、検出した空間状態を示す空間データを生成し、生成した空間データをロボット制御装置２２に出力する。物体認識装置２１の構成については、後述する。

ロボット制御装置２２は、物体認識装置２１から入力された空間データが示す対象物の位置及び方向に基づいてロボット３０の動作を制御する。ロボット制御装置２２は、例えば、ロボット３０の把持部３０ｄ（後述）を作業開始位置に移動させ、把持部３０ｄが備える２つの先端部が互いに向かい合う方向を作業開始方向に回転させる。作業開始位置は、例えば、その空間データが示す位置から予め定めた距離及び方向だけ離れた位置である。作業開始方向は、例えば、その空間データが示す方向と同一の方向である。ここで、ロボット制御装置２２は、ロボット３０から入力された各関節の角度に基づいて把持部３０ｄの位置と方向を算出する。ロボット制御装置２２は、算出した位置と作業開始位置との差分、及び算出した方向と作業開始位置との差分が、それぞれ０に近似するようにロボット３０の各構成の動作を制御する。

また、ロボット制御装置２２は、ロボット３０から入力された把持部負荷情報が示す力をさらに用いて２つの先端部の位置及び方向を制御する。例えば、２個の先端部が互いに離間しているとき、ロボット制御装置２２は、２個の先端部間の距離を互いに狭めて対象物を把持する。ロボット制御装置２２は、先端部で検知された力が予め定めた目標値となるように対象物を挟む力を制御する。対象物が把持されているとき、ロボット制御装置２２は、対象物を挟む力を解除し、２個の先端部間の距離を互いに広げるように制御することで対象物を解放する。

ロボット３０は、例えば、６軸の垂直多関節ロボットであり、支持台３０ａ、アーム部３０ｂ、ハンド部３０ｃ及び把持部３０ｄを含んで構成される。ロボット３０は、支持台３０ａとアーム部３０ｂとハンド部３０ｃとの連係した動作によって６軸の自由度を有し、把持部３０ｄが把持する部品の位置および姿勢を自在に変更することができる。また、ロボット３０は、ロボット制御装置２２が行う制御によって、アーム部３０ｂとハンド部３０ｃと把持部３０ｄとのうちいずれか一つまたはそれらの組み合わせを動かす。把持部３０ｄは、２個の先端部を備え、２個の先端部は各々の長手方向が互いに向かい合うように配置される。
ロボット３０の自由度は６軸に限られず、その自由度は７軸であってもよい。また、支持台３０ａは、壁や天井等、床面に対して固定された場所に設置されてもよい。

ロボット３０は、把持部３０ｄに加わる力とモーメントを、予め定めた時間間隔（例えば、１ｍｓ）で検出する力センサー（図示せず）を備え、検出した力及びモーメントを示す把持部負荷情報をロボット制御装置２２に出力する。ロボット３０は、エンコーダー（図示せず）を備える。エンコーダーは、ロボット３０の各関節の角度を検出し、検出した各関節の角度をロボット制御装置２２に出力する。

次に、本実施形態に係る物体認識装置２１の構成について説明する。
図２は、本実施形態に係る物体認識装置２１の構成を示す概略ブロック図である。
物体認識装置２１は、画像データ取得部２１１、窓領域設定部２１２、平面抽出部２１３、対象決定部（選択部）２１４、テンプレート記憶部２１５、マッチング部（照合部）２１６、画像情報排除部２１７、空間状態算出部２１８及び空間データ出力部２１９を含んで構成される。

画像データ取得部２１１には、撮像装置１０から画像データが入力され、入力された画像データを窓領域設定部２１２及び画像情報排除部２１７に出力する。画像データ取得部２１１は、例えば、データ入力インターフェイスである。

窓領域設定部２１２は、画像データ取得部２１１から画像データが入力される。窓領域設定部２１２は、撮像領域において予め定めた大きさの窓領域を設定する。窓領域とは、平面抽出部２１３で平面を抽出する処理の対象となる３次元の領域である。窓領域設定部２１２は、関心領域において予め定めた空間間隔（設定間隔）で各方向に順次ずらして窓領域を設定する。これにより、関心領域の全体について処理が行われるとともに、一度に行われる処理の処理量を低減する。
窓領域設定部２１２は、入力された画像データが示す撮像領域のうち、設定した窓領域のそれぞれに含まれるサンプル点毎のサンプル点データからなる点群データを抽出する。窓領域設定部２１２は、窓領域毎に抽出した点群データを平面抽出部２１３に出力する。

平面抽出部２１３には、窓領域設定部２１２から点群データが窓領域毎に入力される。平面抽出部２１３は、点群データが示す３次元の表面から平面を窓領域毎に抽出する。
ここで、平面抽出部２１３は、点群データに含まれるサンプル点のうち任意の３点を通る平面を抽出する。平面抽出部２１３は、その３点の座標に基づいて３点を通る平面の法線ベクトルを算出し、算出した法線ベクトルをもって平面が一意に定められる。平面抽出部２１３は、その平面から予め定めた距離の範囲内にあるサンプル点の数を計数することにより面積を算出する。
平面抽出部２１３は、窓領域毎に抽出した平面を示す係数、その平面の基準点を示す座標、及びその平面の面積を示す平面データを生成する。平面の基準点は、例えば、その平面の中心点である。平面抽出部２１３は、生成した平面データと点群データを対象決定部２１４に出力する。

対象決定部２１４には、平面抽出部２１３から窓領域毎に平面データが入力される。対象決定部２１４は、入力された平面データが示す平面の面積が最も大きい平面を対象物の取得平面として選択する。対象決定部２１４は、例えば、ＲＡＮＳＡＣ（ＲａｎｄｏｍＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ）法を用いて最も面積が大きい平面を選択する。対象決定部２１４は、選択した平面に係る窓領域についての平面データと、その窓領域についての点群データをマッチング部２１６に出力する。なお、対象決定部２１４は、選択部に相当する。

テンプレート記憶部２１５には、予め対象物の３次元形状を示すテンプレートデータが記憶されている。このテンプレートデータは、対象物を所定の視点方向から観察して与えられる２次元の画像データであって、サンプル点毎の輝度値を含むデータである。所定の視点方向は、例えば、その対象物が有する平面の法線方向であって、その対象物の形状の特徴を最も示す視点方向である。対象物が複数の平面を有する場合には、その複数の平面のうち最も面積の大きい平面である。例えば、対象物が歯車である場合には、その回転軸の方向である。

テンプレートデータに含まれるサンプル点毎の輝度値は、対象物の表面をサンプリングしたサンプル点の座標のうち、その視点方向の座標値を所定の関数を用いて変換した値である。その座標値は、例えば、平面からの変位（高さ）を示す値である。対象物が存在しない領域に係る画素には、その視点方向の座標値が無限大であると仮定して得られる値（例えば、０）が与えられる。つまり、テンプレートデータは、対象物の表面を、その表面に接する平面に射影した画像を示し、その画像の輝度が、その平面からの変位を示す。以下の説明では、テンプレートデータが示す画像をテンプレートと呼ぶことがある。
テンプレートデータは、例えば、ＣＡＤ（ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｅｓｉｇｎ）技術を用いて生成した対象物の３次元形状を２次元の画像データに変換したＣＡＤモデルであってもよい。

所定の関数は、入力値である座標に対して単調に増加又は減少する関数であって、出力値の最大値が輝度値の最大値（例えば、８ビットの場合には、２５５）となり、かつ、出力値の最小値が輝度値の最小値（例えば、０）となる関数であればよい。所定の関数は、例えば、その視点方向の座標値ｒに対して線形な関係を有する実数値を、所定の量子化幅で離散化して得られる整数値を出力値として返す関数である。但し、座標値が所定の上限値を超える場合には、輝度値の最小値と最大値のうちの一方が返され、座標値が所定の上限値を下回る場合には、輝度値の最小値と最大値のうちの他方が返されるようにしてもよい。

マッチング部２１６には、対象決定部２１４から入力された平面データと点群データとが入力される。マッチング部２１６は、点群データが示すサンプル点毎の座標のそれぞれについて、入力された平面データが示す平面の法線方向の座標値（高さ）を算出する。マッチング部２１６は、算出した座標値を上述した所定の関数を用いて輝度値に変換する。マッチング部２１６は、サンプル点毎の輝度値からなる２次元の画像データを生成する。以下の説明では、生成された画像データを２次元変換画像データと呼び、生成された画像データが示す画像を２次元変換画像と呼ぶ。従って、２次元変換画像データは、選択された窓領域内に含まれる対象物の表面を、その表面に接する平面に射影した画像を示す。その画像の輝度が、その平面からの法線方向への変位を示す。

マッチング部２１６は、所定の手法を用いて２次元変換画像データとテンプレート記憶部２１５に記憶されたテンプレートデータとをマッチング（照合）して、２次元変換画像とテンプレートが最も類似するときの変位及び回転量をマッチング結果として算出する。変位は、その平面に平行な方向の成分に係る基準点からの変位である。回転量は、その平面の法線まわりの所定の方向（例えば、水平方向）を基準とする回転量である。つまり、マッチングにおいて、マッチング部２１６は、テンプレートデータが示すテンプレートを、入力された平面データが示す平面を入力された平面データが示す平面内で変位させ、かつ、その法線まわりに回転させる。

所定の手法として、例えば、ニュートン法などの非線形最適化法を用いることができる。２次元変換画像とテンプレートとの類似度を示す指標として、例えば、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅｓ）を用いることができる。ＳＳＤは、２次元変換画像とテンプレートとが類似するほど小さい値を示す指標値であり、ＳＳＤの最小値は０である。ここで、マッチング部２１６は、それぞれの変位及び回転量について指標値を算出し、算出した最も小さい指標値を与える変位及び回転量の組を特定する。

マッチング部２１６は、入力された平面データと、算出した変位ならびに回転量を示すマッチングデータとを空間状態算出部２１８に出力する。
マッチング部２１６は、２次元変換画像データのうちテンプレートデータとのマッチングに成功したサンプル点（２次元）を抽出する。マッチング部２１６は、例えば、２次元変換画像データに係る輝度値とテンプレートデータに係る輝度値との差分の絶対値が、予め定めた差分の閾値よりも小さいサンプル点（２次元）を、マッチングに成功したサンプル点（２次元）と判定する。マッチング部２１６は、点群データに含まれるサンプル点（３次元）のうち、マッチングに成功したサンプル点（２次元）に対応するサンプル点（３次元）を特定する。マッチング部２１６は、特定したサンプル点（３次元）を示すマッチングサンプルデータを画像情報排除部２１７に出力する。

画像情報排除部２１７は、画像データ取得部２１１から入力された画像データのうち、マッチング部２１６から入力されたマッチングサンプルデータが示すサンプル点に係るサンプル点データを排除する。画像情報排除部２１７は、サンプル点を排除した画像データを窓領域設定部２１２に出力する。そして、窓領域設定部２１２は、その画像データについて窓領域を設定する。設定された窓領域のそれぞれについて、上述した処理を行われてもよい。

空間状態算出部２１８は、マッチング部２１６から入力された平面データとマッチングデータに基づいて対象物の位置及び方向を算出する。ここで、空間状態算出部２１８は、入力された平面データが示す法線方向ならびに基準点の座標と、入力されたマッチングデータが示す変位に基づいて対象物の位置を算出する。空間状態算出部２１８は、入力された平面データが示す法線方向と入力されたマッチングデータが示す回転量に基づいて対象物の方向を算出する。算出された対象物の位置及び方向が、カメラ座標系に基づく座標値及び方位角で示されている場合には、空間状態算出部２１８は、算出した座標値及び方位角をロボット座標系に基づく座標値及び方位角に変換してもよい。カメラ座標系は撮像装置１０の位置及び方向を基準とする座標系であり、ロボット座標系はロボット３０の位置及び方向を基準とする座標系である。空間状態算出部２１８には、カメラ座標系からロボット座標系に変換する変換データを予め設定しておく。
空間状態算出部２１８は、算出した対象物の位置及び方向を示す空間データを空間データ出力部２１９に出力する。
空間データ出力部２１９は、空間状態算出部２１８から入力された空間データをロボット制御装置２２に出力する。空間データ出力部２１９は、例えば、データ出力インターフェイスである。

（画像データの例）
図３は、画像データと窓領域の一例を示す図である。
図３に示す画像データは、所定の撮像領域Ｉｒ内の被写体の３次元形状を示す点群画像を示す。この点群画像は、複数のサンプル点からなり、サンプル点の各々は対象物の表面を所定の分解能でサンプリングした点である。サンプル点の濃淡は、撮像装置１０からの距離を示す。濃いサンプル点ほど撮像装置１０からの距離が短く、薄いサンプル点ほど撮像装置１０からの距離が長いことを示す。この点群画像は、８個の対象物を示す画像である。８個の対象物は、同じ形状の部材（歯車）である。８個の対象物は、それぞれ異なる方向を向いて置かれている。
図３の右側に示されている破線の四角形で囲まれた領域は、窓領域Ｗｄを示す。窓領域Ｗｄには、１個の対象物Ｗｋの表面を示す領域が含まれている。

図４は、窓領域Ｗｄに含まれる点群画像の一例を示す図である。
窓領域Ｗｄの大きさは、検出対象の候補である対象物Ｗｋの大きさに応じて定めておいてもよい。図４に示すように、窓領域Ｗｄの大きさは、対象物Ｗｋの大きさよりも大きく、かつ、関心領域（例えば、撮像領域Ｉｒ）の大きさよりも小さければよい。窓領域Ｗｄの大きさを対象物の大きさよりも大きくすることで、窓領域Ｗｄに対象物の全体が含まれ、窓領域Ｗｄの大きさを関心領域の大きさよりも小さくすることで一度に行われる処理量を低減することができる。

窓領域Ｗｄの形状は、例えば、立方体である。窓領域Ｗｄの一辺の長さは、例えば、対象物Ｗｋの大きさを示す特性長の１．２倍から１．６倍までの間である。特性長とは、対象物Ｗｋの大きさを代表する長さである。特性長は、例えば、その対象物に外接する直方体の幅、高さ、厚さ、又はこれらのうちの最大値である。対象物Ｗｋが歯車である場合には、例えば、その歯先円直径が特性長である。

上述したように、窓領域設定部２１２は、３次元の空間である関心領域の全体を網羅するように所定の設定間隔で窓領域の位置を定める。各方向に互いに隣接する窓領域の設定間隔は、窓領域の大きさと等しくてもよいし、窓領域の大きさよりも小さくてもよい。設定間隔が窓領域の大きさよりも小さくすると、撮影領域内で複数の窓領域が重複するので、認識対象物の検出漏れを回避することができる。窓領域の設定間隔は、例えば、窓領域の一辺の長さの０．４倍から０．６倍までの間である。一度に窓領域をずらす方向は、例えば、互いに直交する３つの方向のうちの１つの方向である。窓領域の設定間隔は、３つの方向について共通であってもよいし、互いに異なっていてもよい。

（マッチング部２１６が行う処理）
次に、本実施形態に係るマッチング部２１６が行う処理について説明する。
図５は、本実施形態に係るマッチング部２１６が行う処理を示すフローチャートである。
（ステップＳ１０１）マッチング部２１６は、対象決定部２１４から入力された点群データが示すサンプル点毎の座標のそれぞれについて、入力された平面データが示す平面の法線方向の座標値を算出する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）マッチング部２１６は、算出した座標値をサンプル点毎の輝度値からなる２次元変換画像データを生成する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）マッチング部２１６は、所定の手法を用いて生成した２次元変換画像データとテンプレート記憶部２１５に記憶されたテンプレートデータとをマッチングする。ここで、マッチング部２１６は、テンプレートデータが示すテンプレートを、入力された平面データが示す平面内で変位させ、かつ、その平面に垂直な法線まわりに回転さる。マッチング部２１６は、それぞれの変位及び回転角についてテンプレートと２次元変換画像との類似度を算出し、両者が最も類似する類似度を耐える変位及び回転量をマッチング結果として算出する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）マッチング部２１６は、算出した変位ならびに回転量を示すマッチングデータを空間状態算出部２１８に出力する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）マッチング部２１６は、２次元変換画像データのうちテンプレートデータとのマッチングに成功したサンプル点（２次元）を抽出する。マッチング部２１６は、点群データに含まれるサンプル点（３次元）のうちマッチングに成功したサンプル点（２次元）に対応するものを示すマッチングサンプルデータを画像情報消去部２０７に出力する。その後、図５に示す処理を終了する。

図６は、２次元変換画像の一例を示す図である。
図６に示す２次元変換画像は、図４に示す点群画像に基づいて生成された画像である。
この画像には、撮像装置１０からの距離が短いサンプル点ほど高い輝度値が与えられ、その距離が長いサンプル点ほど低い輝度値が与えられている。図６に示す２次元変換画像のうち、網掛けで示されている領域は、テンプレートとのマッチングに成功した領域を示す。このように、３次元の形状を示す点群データを２次元変換画像データに変換し、２次元のマッチングを行うことで、マッチングの自由度を平面に平行な２次元の変位と、その平面の法線まわりの回転量に縮退させることができる。これにより、マッチングの演算量を低減できるため、正確かつ高速に対象物の位置及び方向を検出することができる。また、２次元画像のマッチングの手法を適用することが可能である。

図７は、画像データの他の例を示す図である。
図７に示す画像データは、図３に示す画像データからマッチングに成功したサンプル点のサンプル点データが排除されたデータである。この例では、最も右側の対象物の画像が排除されている。このように、マッチングに成功したサンプル点を順次排除した画像データを処理することで、処理済みの対象物についての処理が繰り返されることを避けることができる。

（物体認識処理）
次に、本実施形態に係る物体認識処理について説明する。
図８は、本実施形態に係る物体認識処理を示すフローチャートである。
（ステップＳ２０１）画像データ取得部２１１には、撮像装置１０から画像データが入力され、入力された画像データを窓領域設定部２１２及び画像情報排除部２１７に出力する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）窓領域設定部２１２は、予め定めた条件に基づいて処理を継続するか否かを判定する。処理を継続すると判定された場合には（ステップＳ２０２ＹＥＳ）ステップＳ２０３に進む。処理を継続しないと判定された場合には（ステップＳ２０２ＮＯ）、図８に示す処理を終了する。

（ステップＳ２０３）窓領域設定部２１２は、画像データ取得部２１１又は画像情報排除部２１７から入力された画像データの関心領域ＲＯＩのうち未処理の領域の有無を判定する。未処理の領域があると判定された場合には（ステップＳ２０３ＹＥＳ）、ステップＳ２０４に進む。未処理の領域がないと判定された場合には（ステップＳ２０３ＮＯ）、ステップＳ２０６に進む。
（ステップＳ２０４）窓領域設定部２１２は、前回の窓領域の位置から予め定めた設定間隔だけずれた位置を現在の窓領域の位置として設定する。但し、窓領域設定部２１２は、初期値として予め定めた位置（例えば、カメラ座標系の原点に最も近い位置）を用いる。その後、ステップＳ２０５に進む。
（ステップＳ２０５）平面抽出部２１３には、窓領域設定部２１２が設定した窓領域に含まれるサンプル点毎のサンプル点データからなる点群データについて、その点群データが示す３次元の表面から、所定の手法を用いて平面を抽出する。その後、ステップＳ２０３に進む。

（ステップＳ２０６）対象決定部２１４は、各窓領域で選択された平面のうち最も面積が大きい平面を対象物の取得平面として決定し、その平面に係る窓領域を選択する。その後、ステップＳ２０７に進む。
（ステップＳ２０７）マッチング部２１６は、選択された窓領域の点群データが示すサンプル点毎の座標を輝度値に変換し、選択された平面上に射影されたサンプル点毎の輝度値からなる２次元変換画像データを生成する。マッチング部２１６は、所定の手法を用いて２次元変換画像データとテンプレート記憶部２１５に記憶されたテンプレートデータとをマッチングして、２次元変換画像とテンプレートが最も類似するときの変位及び回転量をマッチング結果として算出する。その後、ステップＳ２０８に進む。

（ステップＳ２０８）空間状態算出部２１８は、マッチング結果として算出された変位と、それらの算出に用いられた平面の法線方向と基準点の座標に基づいて対象物の位置を算出する。また、空間状態算出部２１８は、その法線方向とマッチング結果として算出された回転量に基づいて対象物の方向を算出する。空間状態算出部２１８は、算出した対象物の位置、回転量を示す空間データを、空間データ出力部２１９を介してロボット制御装置２２に出力する。その後、ステップＳ２０９に進む。
（ステップＳ２０９）画像情報排除部２１７は、撮像装置１０から入力された画像データのうち、マッチングに成功したサンプル点に係るサンプル点データを排除する。その後、ステップＳ２０２に進む。

ステップＳ２０２で用いられる予め定めた条件とは、例えば、予め定めた処理の繰り返し回数（例えば、５回）に達したことである。また、その条件は、マッチングにより排除されずに残った点群データが示す対象物の面積が、当初の点群データが示す対象物の面積に対する比が、予め定めた比（例えば、６０％）を下回ったことであってもよい。また、その条件は、対象決定部２１４が選択した平面が撮像装置１０に最も近い対象物の平面であってもよい。

（関心領域の例）
次に、関心領域ＲＯＩの他の例について説明する。関心領域ＲＯＩの大きさは、撮像領域Ｉｒの大きさよりも小さくてもよい。窓領域設定部２１２は、撮影領域Ｉｒに含まれる対象物の分布に応じて関心領域ＲＯＩを定めてもよい。関心領域ＲＯＩは、例えば、複数の対象物からなる対象物群のうち表面に位置している対象物を含む領域が主となる領域である。このような領域は、ロボット３０にとり対象物のいずれかを把持するうえで好適である。

図９は、関心領域ＲＯＩの例を示す図である。
図９に示す例では、関心領域ＲＯＩは、撮像領域Ｉｒに含まれる領域であって、その表面及び底面が水平面に平行な直方体の領域である。複数の対象物からなる対象物群Ｗｐが水平面に平行な基盤Ｂｓ上に積み重ねられている。また、撮像装置１０の撮像方向は、この例では、下方、つまり水平面に垂直であって水平面に向かう方向である。窓領域設定部２１２は、例えば、対象物群Ｗｐのうち、その上端から予め定めた間隔だけ低い領域に少なくともその一部が窓領域に含まれるように関心領域ＲＯＩを定める。つまり、撮像領域Ｉｒに含まれる対象物群Ｗｐのうち最も撮像装置１０に近い対象物から予め定めた間隔ｈ’だけ撮像装置１０から離れた距離までの間で対象物が占める領域を含んだ関心領域ＲＯＩが設定される。これにより、対象物群Ｗｐのうち最も撮像装置１０に近い対象物、つまり、基盤Ｂｓからの高さが最も高い対象物の平面が優先して抽出される。

図９（ａ）は、関心領域ＲＯＩを示す側面図である。
関心領域ＲＯＩの上下方向の両端は、対象物群Ｗｐの上端の座標値ｗ₀に基づいて定めることができる。関心領域ＲＯＩの上端は、対象物群Ｗｐの上端から窓領域Ｗｄの高さｗ_hだけ高い。ここで、窓領域設定部２１２は、画像データ取得部２１１から入力された画像データが示す対象物の座標値のうち、最も撮像装置１０に近いサンプル点の座標値ｗ₀から窓領域Ｗｄの高さｗ_hを減算した値ｗ₁を、その上端の座標値と定めることができる。
関心領域ＲＯＩの下端の高さは、対象物群Ｗｐの上端から予め定めた間隔ｈ’及び窓領域Ｗｄの高さｗ_hだけ低い。従って、窓領域設定部２１２は、画像データ取得部２１１から入力された画像データが示す対象物の座標値のうち、最も撮像装置１０に近いサンプル点の座標値ｗ₀に間隔ｈ’及び高さｗ_hを加算した値ｗ₂を、関心領域ＲＯＩの下端の座標値として定めることができる。

図９（ｂ）は、関心領域ＲＯＩを示す平面図である。関心領域ＲＯＩの左右方向の両端及び奥行方向の両端は、対象物群Ｗｐの上端から予め定めた間隔ｈ’だけ低い点を通る対象物群Ｗｐの断面に基づいて定めることができる。図９（ｂ）には、対象物群Ｗｐの断面が楕円で示されている。関心領域ＲＯＩの左端は、対象物群Ｗｐの断面の左端から対象物群Ｗｐの幅ｗ_uだけ左側にあり、関心領域ＲＯＩの右端は、対象物群Ｗｐの断面の右端から対象物群Ｗｐの幅ｗ_uだけ右側にある。従って、窓領域設定部２１２は、関心領域ＲＯＩの左端の座標ｕ₁を、入力された画像データが示す対象物の座標値のうち、高さｗ₀＋ｈ’のサンプル点であって左右方向の座標値のうち最も小さい座標値ｐ₁から対象物群Ｗｐの幅ｗ_uを減算して算出する。また、窓領域設定部２１２は、関心領域ＲＯＩの右端の座標ｕ₂を、入力された画像データが示す対象物の座標値のうち、高さｗ₀＋ｈ’のサンプル点であって左右方向の座標値のうち最も大きい座標値ｐ₂に対象物群Ｗｐの幅ｗ_uを加算して算出する。

関心領域ＲＯＩの最奥端は、対象物群Ｗｐの断面の最奥端から対象物群Ｗｐの奥行ｗ_vだけ奥にあり、関心領域ＲＯＩの最近端は、対象物群Ｗｐの断面の最近端から対象物群Ｗｐの奥行ｗ_vだけ手前にある。従って、窓領域設定部２１２は、関心領域ＲＯＩの最奥端の座標ｖ₁を、入力された画像データが示す対象物の座標値のうち、高さｗ₀＋ｈ’のサンプル点であって奥行方向の座標値のうち最も小さい座標値ｑ₁から対象物群Ｗｐの幅ｗ_vを減算して算出する。また、窓領域設定部２１２は、関心領域ＲＯＩの最近端の座標ｖ₂を、入力された画像データが示す対象物の座標値のうち、高さｗ₀＋ｈ’のサンプル点であって奥行方向の座標値のうち最も大きい座標値ｑ₂に対象物群Ｗｐの幅ｗ_vを加算して算出する。
このようにすることで、ロボット３０の当面の動作の対象になりうる対象物を、対象物群Ｗｐのうち、その上端から予め定めた高さだけ低い領域に限定することで処理量が低減する。また、この限定された領域に含まれる対象物を確実に検出することができる。

以上、説明したように、本実施形態は、対象物の形状を示すテンプレートを記憶するテンプレート記憶部（例えば、テンプレート記憶部２１５）を備え、撮像部（例えば、撮像装置１０）が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部（例えば、窓領域設定部２１２）を備える。また、本実施形態は、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部（例えば、平面抽出部２１３）を備え、抽出した平面のうち最も大きい平面を選択する選択部（例えば、対象決定部２１４）を備える。また、本実施形態は、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートとに基づいて前記窓領域に含まれる画像が示す対象物の空間状態を算出する空間状態算出部（例えば、空間状態算出部２１８）を備える。

これにより、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化すること、例えば、その処理を高速化することができる。また、テンプレートとの照合が対象物の形状が選択された平面に射影された変換画像との間で行われる。そのため、３次元の照合よりも照合に係る自由度が低減されるため、これに応じて処理量が格段に低減される。

上述では、主にテンプレート記憶部２１５に１つのテンプレートデータが記憶されている場合について説明したが、これには限られない。テンプレート記憶部２１５には、複数のテンプレートデータが記憶され、マッチング部２１６は複数のテンプレートデータのそれぞれについて２次元変換画像データとマッチングして、２次元変換画像と最も類似するテンプレートを選択してもよい。その場合、マッチング部２１６は、選択したテンプレートが２次元変換画像に最も類似するときの変位及び回転量をマッチング結果として算出する。

ここで、複数のテンプレートデータのそれぞれは、互いの異なる対象物の形状を示す画像（例えば、歯車、ボルト、等）の形状を示す画像を示すデータであってもよい。また、複数のテンプレートデータのそれぞれは、同一の対象物であって互いに異なる面（例えば、凸部を有する歯車の表面と、凹部を有する歯車の裏面）の形状を示す画像をテンプレートとして示すデータであってもよい。これにより、マッチング部２１６は、２次元変換画像が示す対象物、又は対象物の面を識別することができる。マッチング部２１６は、そのテンプレートを識別するテンプレート識別データを、空間データ出力部２１９を介してロボット制御装置２２に出力してもよい。これにより、ロボット制御装置２２は、そのテンプレートに係る対象物の種類や面に応じた制御を行うことができる。

上述では、画像情報排除部２１７がマッチングに成功したサンプル点に係るサンプル点データを画像データから排除し、排除した画像データについて順次処理が行われる場合を例にとって説明したが、これには限られない。物体認識装置２１は、ロボット３０によってその対象物が除去された後に、撮像装置１０から入力された画像データについて上述した処理を行ってもよい。ここで、ロボット制御装置２２は、空間データ出力部２１９から入力された空間データに応じて対象物を把持し、把持した対象物を撮像領域Ｉｒの外部に移動するようにロボット３０の動作を制御する。その場合、マッチング部２１６においてマッチングに成功したサンブル点を特定する処理や、画像情報排除部２１７を省略することができる。

上述では、対象決定部２１４が、平面を選択する際、ＲＡＮＳＡＣ（ＲａｎｄｏｍＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ）法を用いる場合を例にとって説明したが、これには限られない。対象決定部２１４は、その他の手法、例えば、最小二乗法を用いてもよい。
平面抽出部２１３は、抽出した平面データの面積が予め定めた面積（例えば、対象物の表面の面積の０．５倍）よりも小さい場合には、その窓領域について平面データの生成、出力を省略してもよい。このような場合には、平面の抽出が成功していない可能性があるため、その平面データを用いた無用な処理を省略することができる。
平面抽出部２１３は、平面毎に算出した面積を、その平面の方向θの余弦ｃｏｓθで除算して面積を補正してもよい。ここで、平面の方向θは、撮像装置１０の光学軸の方向を基準とする方向である。これにより、算出される面積が、対象物が置かれている向きに依存せずに対象物の表面の面積を算出することができる。

テンプレート記憶部２１５には、物体認識装置２１の外部から入力されたテンプレートデータが記憶されることがある。その場合には、窓領域設定部２１２は、テンプレートデータが示す対象物の特性長を、上述したように算出し、算出した特性長に基づいて窓領域の大きさを定めてもよい。

マッチング部２１６は、テンプレートと２次元変換画像とをマッチングする際、テンプレートを変位及び回転させることに代えて、２次元変換画像を変位及び回転させてもよい。テンプレートデータは、撮影した対象物までの距離（奥行値）に応じた輝度値を画素毎に有するデプスマップ（ｄｅｐｔｈｍａｐ）であってもよい。

撮像装置１０は、各フレームの画像データを、個々に制御装置２０に出力してもよいし、予め定めた時間間隔で逐次に制御装置２０に出力してもよい。撮像装置１０は、ステレオカメラであってもよい。また、撮像装置１０は、物体認識装置２１の一部として物体認識装置２１と一体であってもよい。
上述では、物体認識装置２１とロボット制御装置２２が一体である場合を例にとって説明したが、これには限られない。物体認識装置２１とロボット制御装置２２は別体であってもよい。
また、物体認識装置２１とロボット制御装置２２は、ロボット３０と一体化したロボットとして構成されてもよい。

また、各実施形態の物体認識装置２１の一部、例えば、窓領域設定部２１２、平面抽出部２１３、対象決定部２１４、マッチング部２１６、画像情報排除部２１７、及び空間状態算出部２１８の各処理を実行するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより、物体認識装置２１に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピューターシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。また、「コンピューターシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリー等の書き込み可能な不揮発性メモリー、ＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリー（例えば、ＤＲＡＭ：ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ロボットシステム１０撮像装置２０制御装置２１物体認識装置２１１画像データ取得部２１２窓領域設定部２１３平面抽出部２１４対象決定部２１５テンプレート記憶部２１６マッチング部２１７画像情報排除部２１８空間状態算出部２１９空間データ出力部２２ロボット制御装置３０ロボット３０ａ支持台３０ｂアーム部３０ｃハンド部３０ｄ把持部

Claims

対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、
撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、
前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、
前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、
前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部と
を備えることを特徴とする物体認識装置。
前記テンプレート記憶部は、前記対象物が有する平面のいずれかに射影された前記対象物の形状を示すテンプレートを記憶し、
前記照合部は、前記テンプレート記憶部に記憶されたテンプレートと、前記窓領域に含まれる画像を前記選択部が選択した平面に射影した変換画像とを照合することを特徴とする請求項１に記載の物体認識装置。
前記窓領域設定部は、前記撮像部の撮像領域に含まれる対象物の分布に応じて関心領域を定め、前記関心領域内で前記窓領域を設定することを特徴とする請求項１又は２に記載の物体認識装置。
物体認識装置における物体認識方法であって、
撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定過程と、
前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出過程と、
前記平面抽出過程で抽出した平面のうち最も大きい平面を選択する選択過程と、
前記選択過程で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合過程と
を有することを特徴とする物体認識方法。
物体認識装置のコンピューターに、
撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定手順、
前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出手順、
前記平面抽出手順で抽出した平面のうち最も大きい平面を選択する選択手順、
前記選択手順で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合手順、
を実行させるための物体認識プログラム。
ロボットと、対象物を撮像する撮像部と、前記撮像部の出力結果に基づいて前記対象物の状態を認識する物体認識装置と、前記物体認識装置の出力結果に基づいて前記ロボットの動作を制御するロボット制御装置とを備えるロボットシステムであって、
前記物体認識装置は、
前記対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、
前記撮像部が撮像した前記対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、
前記窓領域に含まれる画像に基づいて前記対象物の平面を抽出する平面抽出部と、
前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、
前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備え、
前記ロボット制御装置は、前記照合部が照合した結果に基づいて前記ロボットの動作を制御すること、
を特徴とするロボットシステム。
対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、
撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、
前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、
前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、
前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部と
を備えることを特徴とするロボット。