JP2015079374A - 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット - Google Patents

物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット Download PDF

Info

Publication number
JP2015079374A
JP2015079374A JP2013216462A JP2013216462A JP2015079374A JP 2015079374 A JP2015079374 A JP 2015079374A JP 2013216462 A JP2013216462 A JP 2013216462A JP 2013216462 A JP2013216462 A JP 2013216462A JP 2015079374 A JP2015079374 A JP 2015079374A
Authority
JP
Japan
Prior art keywords
object
unit
plane
template
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013216462A
Other languages
English (en)
Inventor
智紀 原田
Tomonori Harada
智紀 原田
橋本 浩一
Koichi Hashimoto
浩一 橋本
翔悟 荒井
Shogo Arai
翔悟 荒井
敦 藤平
Atsushi Fujihira
敦 藤平
Original Assignee
セイコーエプソン株式会社
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社, Seiko Epson Corp filed Critical セイコーエプソン株式会社
Priority to JP2013216462A priority Critical patent/JP2015079374A/ja
Publication of JP2015079374A publication Critical patent/JP2015079374A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】対象物の位置や姿勢を正確に推定する。
【解決手段】テンプレート記憶部は対象物の形状を示すテンプレートを記憶し、窓領域設定部は撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定し、平面抽出部は前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出し、選択部は平面抽出部が抽出した平面のうち最も大きい平面を選択し、照合部は選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する。
【選択図】図2

Description

本発明は、物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボットに関する。

ロボットが組み付け作業を行う際、乱雑に積まれた対象物を一つ一つ取り出す動作を行うことがある。このような動作には、例えば、ピンピッキングがある。対象物を取り出す際、治具や専用の装置を用いて、乱雑に積まれた対象物を整列し直し、組み付け作業の対象物が一定の位置や姿勢をとるようにして、ロボットアームに把持させることがある。しかし、かかる治具や装置として、対象物の形状・大きさによって個々に異なる専用のものが必要になるため、経済的、時間的なコストが増大してしまう。

そこで、プロジェクターやレーザー光発生器等の光源を用いて対象物に光線を照射し、対象物からの反射光を処理することで対象物の3次元情報を取得し、取得した3次元情報に基づいて対象物の位置や姿勢を求めることが試みられてきた。3次元情報は、例えば、対象物が含まれる空間内の3次元点群を示す画像データである。位置や姿勢を求める際に、所定の対象物のテンプレートと3次元点群とのマッチングを行うことがある。しかし3次元点群のマッチングは、2次元画像のマッチングと比較して、演算すべき次元数が増加する。つまり、マッチングの対象が2次元から3次元に増加したことに応じて、対象物の位置や姿勢を求める際の次元数が3次元から6次元に増加する。同種の計算手法を用いるのであれば、計算量や計算時間が対象物の次元数に応じて指数関数的に増加する。そのために、3次元点群に対する位置や姿勢の推定では、現実的ではない計算量や計算時間を要することがある。

この問題を解決するため、位置や姿勢の推定において、対象物が有する平面や、その法線方向を用いる方法が提案されている。
例えば、特許文献1には、対象物の点群データを取得し、取得した点群データより対象物の位置情報として中心点を算出し、法線情報として表面の法線を算出するロボットシステムが記載されている。

特開2011−167815号公報

しかしながら、特許文献1に記載のロボットシステムでは、対象物の各平面の中心点が、マッチングの対象となるテンプレートが示す対象物の対応する平面の中心点とがずれることがある。このような中心点のずれは、複数の対象物が重なり合い、そのうちの1つの対象物が、もう1つの対象物に遮蔽されている場合に起こりがちである。この中心点のずれのために、対象物の位置や姿勢が正しく推定できないという問題が生じることがあった。

そこで、本発明は、上記問題に鑑みてなされたものであり、対象物の位置や姿勢を正確に推定することを可能とする物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボットを提供することを課題とする。

(1)本発明の一態様は、対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備えることを特徴とする物体認識装置である。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

(2)本発明の一態様は、上記に記載の物体認識装置において、前記テンプレート記憶部は、前記対象物が有する平面のいずれかに射影された前記対象物の形状を示すテンプレートを記憶し、前記照合部は、前記テンプレート記憶部に記憶されたテンプレートと、前記窓領域に含まれる画像を前記選択部が選択した平面に射影した変換画像とを照合することを特徴とする。
この構成によれば、テンプレートとの照合が対象物の形状が選択された平面に射影された変換画像との間で行われる。そのため、3次元の照合よりも照合に係る自由度が低減されるため、これに応じて処理量を格段に低減することができる。

(3)本発明の一態様は、上記に記載の物体認識装置において、前記窓領域設定部は、前記撮像部の撮像領域に含まれる対象物の分布に応じて関心領域を定め、前記関心領域内で前記窓領域を設定することを特徴とする。
この構成によれば、対象物の分布に応じて定めた関心領域からテンプレートとの照合がなされる対象物の平面が抽出される。これにより、関心領域に含まれる対象物がロボットの動作の対象となる対象物として優先して選択することができる。

(4)本発明の一態様は、物体認識装置における物体認識方法であって、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定過程と、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出過程と、前記平面抽出過程で抽出した平面のうち最も大きい平面を選択する選択過程と、前記選択過程で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合過程とを有することを特徴とする物体認識方法である。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

(5)本発明の一態様は、物体認識装置のコンピューターに、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定手順、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出手順、前記平面抽出手順で抽出した平面のうち最も大きい平面を選択する選択手順、前記選択手順で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合手順、を実行させるための物体認識プログラムである。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

(6)本発明の一態様は、ロボットと、対象物を撮像する撮像部と、前記撮像部の出力結果に基づいて前記対象物の状態を認識する物体認識装置と、前記物体認識装置の出力結果に基づいて前記ロボットの動作を制御するロボット制御装置と、を備えるロボットシステムであって、前記物体認識装置は、前記対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、前記撮像部が撮像した前記対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、前記窓領域に含まれる画像に基づいて前記対象物の平面を抽出する平面抽出部と、前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備え、前記ロボット制御装置は、前記照合部が照合した結果に基づいて前記ロボットの動作を制御すること、を特徴とするロボットシステムである。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

(7)本発明の一態様は、対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備えることを特徴とするロボットである。
この構成によれば、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化することができる。

本実施形態に係るロボットシステムの概略斜視図である。 本実施形態に係る物体認識装置の構成を示す概略ブロック図である。 画像データと窓領域の一例を示す図である。 窓領域に含まれる点群画像の一例を示す図である。 本実施形態に係るマッチング部が行う処理を示すフローチャートである。 2次元変換画像の一例を示す図である。 画像データの他の例を示す図である。 本実施形態に係る物体認識処理を示すフローチャートである。 関心領域の例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。
図1は、本実施形態に係るロボットシステム1の概略斜視図である。
図1に示すように、ロボットシステム1は、撮像装置10、制御装置20及び多関節ロボット(以下、ロボットともいう)30を備える。なお、図1における部品や構造等の縮尺は、図を明瞭なものとするために実際のものとは異なっている。

撮像装置10は、被写体の3次元の形状を撮像し、撮像した3次元の形状を示す画像データを生成する。生成された画像データは、その3次元の形状を所定の解像度でサンプリングした複数のサンプル点毎の位置情報で形成されるデータである。各サンプル点は、被写体の表面をサンプリングした3次元の座標を示す。つまり、生成された画像データは、複数のサンプル点データを含む点群データである。サンプル点データは、被写体の表面をサンプリングしたサンプル点毎の位置を示すデータである。サンプル点は、2次元の画像データにおける画素に相当する。この画像データが示す画像は点群画像とも呼ばれる。

撮像装置10は、例えば、形状検査用3次元センサーである。撮像装置10は、被写体として、例えば、ロボット30による操作対象となる物体(以下、対象物という)Wkが重なり合った領域を光学的に観察できる位置に設置されている。対象物Wkは、ワークとも呼ばれる。撮像装置10は、その撮影方向が、例えば、水平面に対して垂直(下方)に向くように設置されている。撮像装置10は、少なくとも1つの対象物を含む領域であって、予め定めた大きさを有する3次元の領域を撮像領域Irとして1フレームの3次元の画像として撮像する。なお、撮像領域Irのうち処理の対象となる領域を関心領域(ROI: Region of Interest、着目領域ともいう)と呼ぶ。関心領域は、撮像領域Irの全体であってもよいし、撮像領域Irの一部であってもよい。
撮像装置10は、撮像により得られた撮像画像(以下、カメラ画像ともいう)を示す画像データを制御装置20へ出力する。

制御装置20は、撮像装置10から入力された画像データに基づいてロボット30の動作を制御する。制御装置20は、物体認識装置21とロボット制御装置22とを含んで構成される。

物体認識装置21は、撮像装置10から入力された画像データから対象物の位置及び配置されている方向(姿勢)を検出する。以下の説明では、位置、方向、又は位置ならびに方向を空間状態と総称することがある。物体認識装置21は、検出した空間状態を示す空間データを生成し、生成した空間データをロボット制御装置22に出力する。物体認識装置21の構成については、後述する。

ロボット制御装置22は、物体認識装置21から入力された空間データが示す対象物の位置及び方向に基づいてロボット30の動作を制御する。ロボット制御装置22は、例えば、ロボット30の把持部30d(後述)を作業開始位置に移動させ、把持部30dが備える2つの先端部が互いに向かい合う方向を作業開始方向に回転させる。作業開始位置は、例えば、その空間データが示す位置から予め定めた距離及び方向だけ離れた位置である。作業開始方向は、例えば、その空間データが示す方向と同一の方向である。ここで、ロボット制御装置22は、ロボット30から入力された各関節の角度に基づいて把持部30dの位置と方向を算出する。ロボット制御装置22は、算出した位置と作業開始位置との差分、及び算出した方向と作業開始位置との差分が、それぞれ0に近似するようにロボット30の各構成の動作を制御する。

また、ロボット制御装置22は、ロボット30から入力された把持部負荷情報が示す力をさらに用いて2つの先端部の位置及び方向を制御する。例えば、2個の先端部が互いに離間しているとき、ロボット制御装置22は、2個の先端部間の距離を互いに狭めて対象物を把持する。ロボット制御装置22は、先端部で検知された力が予め定めた目標値となるように対象物を挟む力を制御する。対象物が把持されているとき、ロボット制御装置22は、対象物を挟む力を解除し、2個の先端部間の距離を互いに広げるように制御することで対象物を解放する。

ロボット30は、例えば、6軸の垂直多関節ロボットであり、支持台30a、アーム部30b、ハンド部30c及び把持部30dを含んで構成される。ロボット30は、支持台30aとアーム部30bとハンド部30cとの連係した動作によって6軸の自由度を有し、把持部30dが把持する部品の位置および姿勢を自在に変更することができる。また、ロボット30は、ロボット制御装置22が行う制御によって、アーム部30bとハンド部30cと把持部30dとのうちいずれか一つまたはそれらの組み合わせを動かす。把持部30dは、2個の先端部を備え、2個の先端部は各々の長手方向が互いに向かい合うように配置される。
ロボット30の自由度は6軸に限られず、その自由度は7軸であってもよい。また、支持台30aは、壁や天井等、床面に対して固定された場所に設置されてもよい。

ロボット30は、把持部30dに加わる力とモーメントを、予め定めた時間間隔(例えば、1ms)で検出する力センサー(図示せず)を備え、検出した力及びモーメントを示す把持部負荷情報をロボット制御装置22に出力する。ロボット30は、エンコーダー(図示せず)を備える。エンコーダーは、ロボット30の各関節の角度を検出し、検出した各関節の角度をロボット制御装置22に出力する。

次に、本実施形態に係る物体認識装置21の構成について説明する。
図2は、本実施形態に係る物体認識装置21の構成を示す概略ブロック図である。
物体認識装置21は、画像データ取得部211、窓領域設定部212、平面抽出部213、対象決定部(選択部)214、テンプレート記憶部215、マッチング部(照合部)216、画像情報排除部217、空間状態算出部218及び空間データ出力部219を含んで構成される。

画像データ取得部211には、撮像装置10から画像データが入力され、入力された画像データを窓領域設定部212及び画像情報排除部217に出力する。画像データ取得部211は、例えば、データ入力インターフェイスである。

窓領域設定部212は、画像データ取得部211から画像データが入力される。窓領域設定部212は、撮像領域において予め定めた大きさの窓領域を設定する。窓領域とは、平面抽出部213で平面を抽出する処理の対象となる3次元の領域である。窓領域設定部212は、関心領域において予め定めた空間間隔(設定間隔)で各方向に順次ずらして窓領域を設定する。これにより、関心領域の全体について処理が行われるとともに、一度に行われる処理の処理量を低減する。
窓領域設定部212は、入力された画像データが示す撮像領域のうち、設定した窓領域のそれぞれに含まれるサンプル点毎のサンプル点データからなる点群データを抽出する。窓領域設定部212は、窓領域毎に抽出した点群データを平面抽出部213に出力する。

平面抽出部213には、窓領域設定部212から点群データが窓領域毎に入力される。平面抽出部213は、点群データが示す3次元の表面から平面を窓領域毎に抽出する。
ここで、平面抽出部213は、点群データに含まれるサンプル点のうち任意の3点を通る平面を抽出する。平面抽出部213は、その3点の座標に基づいて3点を通る平面の法線ベクトルを算出し、算出した法線ベクトルをもって平面が一意に定められる。平面抽出部213は、その平面から予め定めた距離の範囲内にあるサンプル点の数を計数することにより面積を算出する。
平面抽出部213は、窓領域毎に抽出した平面を示す係数、その平面の基準点を示す座標、及びその平面の面積を示す平面データを生成する。平面の基準点は、例えば、その平面の中心点である。平面抽出部213は、生成した平面データと点群データを対象決定部214に出力する。

対象決定部214には、平面抽出部213から窓領域毎に平面データが入力される。対象決定部214は、入力された平面データが示す平面の面積が最も大きい平面を対象物の取得平面として選択する。対象決定部214は、例えば、RANSAC(Random Sample Consensus)法を用いて最も面積が大きい平面を選択する。対象決定部214は、選択した平面に係る窓領域についての平面データと、その窓領域についての点群データをマッチング部216に出力する。なお、対象決定部214は、選択部に相当する。

テンプレート記憶部215には、予め対象物の3次元形状を示すテンプレートデータが記憶されている。このテンプレートデータは、対象物を所定の視点方向から観察して与えられる2次元の画像データであって、サンプル点毎の輝度値を含むデータである。所定の視点方向は、例えば、その対象物が有する平面の法線方向であって、その対象物の形状の特徴を最も示す視点方向である。対象物が複数の平面を有する場合には、その複数の平面のうち最も面積の大きい平面である。例えば、対象物が歯車である場合には、その回転軸の方向である。

テンプレートデータに含まれるサンプル点毎の輝度値は、対象物の表面をサンプリングしたサンプル点の座標のうち、その視点方向の座標値を所定の関数を用いて変換した値である。その座標値は、例えば、平面からの変位(高さ)を示す値である。対象物が存在しない領域に係る画素には、その視点方向の座標値が無限大であると仮定して得られる値(例えば、0)が与えられる。つまり、テンプレートデータは、対象物の表面を、その表面に接する平面に射影した画像を示し、その画像の輝度が、その平面からの変位を示す。以下の説明では、テンプレートデータが示す画像をテンプレートと呼ぶことがある。
テンプレートデータは、例えば、CAD(Computer Aided Design)技術を用いて生成した対象物の3次元形状を2次元の画像データに変換したCADモデルであってもよい。

所定の関数は、入力値である座標に対して単調に増加又は減少する関数であって、出力値の最大値が輝度値の最大値(例えば、8ビットの場合には、255)となり、かつ、出力値の最小値が輝度値の最小値(例えば、0)となる関数であればよい。所定の関数は、例えば、その視点方向の座標値rに対して線形な関係を有する実数値を、所定の量子化幅で離散化して得られる整数値を出力値として返す関数である。但し、座標値が所定の上限値を超える場合には、輝度値の最小値と最大値のうちの一方が返され、座標値が所定の上限値を下回る場合には、輝度値の最小値と最大値のうちの他方が返されるようにしてもよい。

マッチング部216には、対象決定部214から入力された平面データと点群データとが入力される。マッチング部216は、点群データが示すサンプル点毎の座標のそれぞれについて、入力された平面データが示す平面の法線方向の座標値(高さ)を算出する。マッチング部216は、算出した座標値を上述した所定の関数を用いて輝度値に変換する。マッチング部216は、サンプル点毎の輝度値からなる2次元の画像データを生成する。以下の説明では、生成された画像データを2次元変換画像データと呼び、生成された画像データが示す画像を2次元変換画像と呼ぶ。従って、2次元変換画像データは、選択された窓領域内に含まれる対象物の表面を、その表面に接する平面に射影した画像を示す。その画像の輝度が、その平面からの法線方向への変位を示す。

マッチング部216は、所定の手法を用いて2次元変換画像データとテンプレート記憶部215に記憶されたテンプレートデータとをマッチング(照合)して、2次元変換画像とテンプレートが最も類似するときの変位及び回転量をマッチング結果として算出する。変位は、その平面に平行な方向の成分に係る基準点からの変位である。回転量は、その平面の法線まわりの所定の方向(例えば、水平方向)を基準とする回転量である。つまり、マッチングにおいて、マッチング部216は、テンプレートデータが示すテンプレートを、入力された平面データが示す平面を入力された平面データが示す平面内で変位させ、かつ、その法線まわりに回転させる。

所定の手法として、例えば、ニュートン法などの非線形最適化法を用いることができる。2次元変換画像とテンプレートとの類似度を示す指標として、例えば、SSD(Sum of Squared Differences)を用いることができる。SSDは、2次元変換画像とテンプレートとが類似するほど小さい値を示す指標値であり、SSDの最小値は0である。ここで、マッチング部216は、それぞれの変位及び回転量について指標値を算出し、算出した最も小さい指標値を与える変位及び回転量の組を特定する。

マッチング部216は、入力された平面データと、算出した変位ならびに回転量を示すマッチングデータとを空間状態算出部218に出力する。
マッチング部216は、2次元変換画像データのうちテンプレートデータとのマッチングに成功したサンプル点(2次元)を抽出する。マッチング部216は、例えば、2次元変換画像データに係る輝度値とテンプレートデータに係る輝度値との差分の絶対値が、予め定めた差分の閾値よりも小さいサンプル点(2次元)を、マッチングに成功したサンプル点(2次元)と判定する。マッチング部216は、点群データに含まれるサンプル点(3次元)のうち、マッチングに成功したサンプル点(2次元)に対応するサンプル点(3次元)を特定する。マッチング部216は、特定したサンプル点(3次元)を示すマッチングサンプルデータを画像情報排除部217に出力する。

画像情報排除部217は、画像データ取得部211から入力された画像データのうち、マッチング部216から入力されたマッチングサンプルデータが示すサンプル点に係るサンプル点データを排除する。画像情報排除部217は、サンプル点を排除した画像データを窓領域設定部212に出力する。そして、窓領域設定部212は、その画像データについて窓領域を設定する。設定された窓領域のそれぞれについて、上述した処理を行われてもよい。

空間状態算出部218は、マッチング部216から入力された平面データとマッチングデータに基づいて対象物の位置及び方向を算出する。ここで、空間状態算出部218は、入力された平面データが示す法線方向ならびに基準点の座標と、入力されたマッチングデータが示す変位に基づいて対象物の位置を算出する。空間状態算出部218は、入力された平面データが示す法線方向と入力されたマッチングデータが示す回転量に基づいて対象物の方向を算出する。算出された対象物の位置及び方向が、カメラ座標系に基づく座標値及び方位角で示されている場合には、空間状態算出部218は、算出した座標値及び方位角をロボット座標系に基づく座標値及び方位角に変換してもよい。カメラ座標系は撮像装置10の位置及び方向を基準とする座標系であり、ロボット座標系はロボット30の位置及び方向を基準とする座標系である。空間状態算出部218には、カメラ座標系からロボット座標系に変換する変換データを予め設定しておく。
空間状態算出部218は、算出した対象物の位置及び方向を示す空間データを空間データ出力部219に出力する。
空間データ出力部219は、空間状態算出部218から入力された空間データをロボット制御装置22に出力する。空間データ出力部219は、例えば、データ出力インターフェイスである。

(画像データの例)
図3は、画像データと窓領域の一例を示す図である。
図3に示す画像データは、所定の撮像領域Ir内の被写体の3次元形状を示す点群画像を示す。この点群画像は、複数のサンプル点からなり、サンプル点の各々は対象物の表面を所定の分解能でサンプリングした点である。サンプル点の濃淡は、撮像装置10からの距離を示す。濃いサンプル点ほど撮像装置10からの距離が短く、薄いサンプル点ほど撮像装置10からの距離が長いことを示す。この点群画像は、8個の対象物を示す画像である。8個の対象物は、同じ形状の部材(歯車)である。8個の対象物は、それぞれ異なる方向を向いて置かれている。
図3の右側に示されている破線の四角形で囲まれた領域は、窓領域Wdを示す。窓領域Wdには、1個の対象物Wkの表面を示す領域が含まれている。

図4は、窓領域Wdに含まれる点群画像の一例を示す図である。
窓領域Wdの大きさは、検出対象の候補である対象物Wkの大きさに応じて定めておいてもよい。図4に示すように、窓領域Wdの大きさは、対象物Wkの大きさよりも大きく、かつ、関心領域(例えば、撮像領域Ir)の大きさよりも小さければよい。窓領域Wdの大きさを対象物の大きさよりも大きくすることで、窓領域Wdに対象物の全体が含まれ、窓領域Wdの大きさを関心領域の大きさよりも小さくすることで一度に行われる処理量を低減することができる。

窓領域Wdの形状は、例えば、立方体である。窓領域Wdの一辺の長さは、例えば、対象物Wkの大きさを示す特性長の1.2倍から1.6倍までの間である。特性長とは、対象物Wkの大きさを代表する長さである。特性長は、例えば、その対象物に外接する直方体の幅、高さ、厚さ、又はこれらのうちの最大値である。対象物Wkが歯車である場合には、例えば、その歯先円直径が特性長である。

上述したように、窓領域設定部212は、3次元の空間である関心領域の全体を網羅するように所定の設定間隔で窓領域の位置を定める。各方向に互いに隣接する窓領域の設定間隔は、窓領域の大きさと等しくてもよいし、窓領域の大きさよりも小さくてもよい。設定間隔が窓領域の大きさよりも小さくすると、撮影領域内で複数の窓領域が重複するので、認識対象物の検出漏れを回避することができる。窓領域の設定間隔は、例えば、窓領域の一辺の長さの0.4倍から0.6倍までの間である。一度に窓領域をずらす方向は、例えば、互いに直交する3つの方向のうちの1つの方向である。窓領域の設定間隔は、3つの方向について共通であってもよいし、互いに異なっていてもよい。

(マッチング部216が行う処理)
次に、本実施形態に係るマッチング部216が行う処理について説明する。
図5は、本実施形態に係るマッチング部216が行う処理を示すフローチャートである。
(ステップS101)マッチング部216は、対象決定部214から入力された点群データが示すサンプル点毎の座標のそれぞれについて、入力された平面データが示す平面の法線方向の座標値を算出する。その後、ステップS102に進む。
(ステップS102)マッチング部216は、算出した座標値をサンプル点毎の輝度値からなる2次元変換画像データを生成する。その後、ステップS103に進む。

(ステップS103)マッチング部216は、所定の手法を用いて生成した2次元変換画像データとテンプレート記憶部215に記憶されたテンプレートデータとをマッチングする。ここで、マッチング部216は、テンプレートデータが示すテンプレートを、入力された平面データが示す平面内で変位させ、かつ、その平面に垂直な法線まわりに回転さる。マッチング部216は、それぞれの変位及び回転角についてテンプレートと2次元変換画像との類似度を算出し、両者が最も類似する類似度を耐える変位及び回転量をマッチング結果として算出する。その後、ステップS104に進む。

(ステップS104)マッチング部216は、算出した変位ならびに回転量を示すマッチングデータを空間状態算出部218に出力する。その後、ステップS105に進む。
(ステップS105)マッチング部216は、2次元変換画像データのうちテンプレートデータとのマッチングに成功したサンプル点(2次元)を抽出する。マッチング部216は、点群データに含まれるサンプル点(3次元)のうちマッチングに成功したサンプル点(2次元)に対応するものを示すマッチングサンプルデータを画像情報消去部207に出力する。その後、図5に示す処理を終了する。

図6は、2次元変換画像の一例を示す図である。
図6に示す2次元変換画像は、図4に示す点群画像に基づいて生成された画像である。
この画像には、撮像装置10からの距離が短いサンプル点ほど高い輝度値が与えられ、その距離が長いサンプル点ほど低い輝度値が与えられている。図6に示す2次元変換画像のうち、網掛けで示されている領域は、テンプレートとのマッチングに成功した領域を示す。このように、3次元の形状を示す点群データを2次元変換画像データに変換し、2次元のマッチングを行うことで、マッチングの自由度を平面に平行な2次元の変位と、その平面の法線まわりの回転量に縮退させることができる。これにより、マッチングの演算量を低減できるため、正確かつ高速に対象物の位置及び方向を検出することができる。また、2次元画像のマッチングの手法を適用することが可能である。

図7は、画像データの他の例を示す図である。
図7に示す画像データは、図3に示す画像データからマッチングに成功したサンプル点のサンプル点データが排除されたデータである。この例では、最も右側の対象物の画像が排除されている。このように、マッチングに成功したサンプル点を順次排除した画像データを処理することで、処理済みの対象物についての処理が繰り返されることを避けることができる。

(物体認識処理)
次に、本実施形態に係る物体認識処理について説明する。
図8は、本実施形態に係る物体認識処理を示すフローチャートである。
(ステップS201)画像データ取得部211には、撮像装置10から画像データが入力され、入力された画像データを窓領域設定部212及び画像情報排除部217に出力する。その後、ステップS202に進む。
(ステップS202)窓領域設定部212は、予め定めた条件に基づいて処理を継続するか否かを判定する。処理を継続すると判定された場合には(ステップS202 YES)ステップS203に進む。処理を継続しないと判定された場合には(ステップS202 NO)、図8に示す処理を終了する。

(ステップS203)窓領域設定部212は、画像データ取得部211又は画像情報排除部217から入力された画像データの関心領域ROIのうち未処理の領域の有無を判定する。未処理の領域があると判定された場合には(ステップS203 YES)、ステップS204に進む。未処理の領域がないと判定された場合には(ステップS203 NO)、ステップS206に進む。
(ステップS204)窓領域設定部212は、前回の窓領域の位置から予め定めた設定間隔だけずれた位置を現在の窓領域の位置として設定する。但し、窓領域設定部212は、初期値として予め定めた位置(例えば、カメラ座標系の原点に最も近い位置)を用いる。その後、ステップS205に進む。
(ステップS205)平面抽出部213には、窓領域設定部212が設定した窓領域に含まれるサンプル点毎のサンプル点データからなる点群データについて、その点群データが示す3次元の表面から、所定の手法を用いて平面を抽出する。その後、ステップS203に進む。

(ステップS206)対象決定部214は、各窓領域で選択された平面のうち最も面積が大きい平面を対象物の取得平面として決定し、その平面に係る窓領域を選択する。その後、ステップS207に進む。
(ステップS207)マッチング部216は、選択された窓領域の点群データが示すサンプル点毎の座標を輝度値に変換し、選択された平面上に射影されたサンプル点毎の輝度値からなる2次元変換画像データを生成する。マッチング部216は、所定の手法を用いて2次元変換画像データとテンプレート記憶部215に記憶されたテンプレートデータとをマッチングして、2次元変換画像とテンプレートが最も類似するときの変位及び回転量をマッチング結果として算出する。その後、ステップS208に進む。

(ステップS208)空間状態算出部218は、マッチング結果として算出された変位と、それらの算出に用いられた平面の法線方向と基準点の座標に基づいて対象物の位置を算出する。また、空間状態算出部218は、その法線方向とマッチング結果として算出された回転量に基づいて対象物の方向を算出する。空間状態算出部218は、算出した対象物の位置、回転量を示す空間データを、空間データ出力部219を介してロボット制御装置22に出力する。その後、ステップS209に進む。
(ステップS209)画像情報排除部217は、撮像装置10から入力された画像データのうち、マッチングに成功したサンプル点に係るサンプル点データを排除する。その後、ステップS202に進む。

ステップS202で用いられる予め定めた条件とは、例えば、予め定めた処理の繰り返し回数(例えば、5回)に達したことである。また、その条件は、マッチングにより排除されずに残った点群データが示す対象物の面積が、当初の点群データが示す対象物の面積に対する比が、予め定めた比(例えば、60%)を下回ったことであってもよい。また、その条件は、対象決定部214が選択した平面が撮像装置10に最も近い対象物の平面であってもよい。

(関心領域の例)
次に、関心領域ROIの他の例について説明する。関心領域ROIの大きさは、撮像領域Irの大きさよりも小さくてもよい。窓領域設定部212は、撮影領域Irに含まれる対象物の分布に応じて関心領域ROIを定めてもよい。関心領域ROIは、例えば、複数の対象物からなる対象物群のうち表面に位置している対象物を含む領域が主となる領域である。このような領域は、ロボット30にとり対象物のいずれかを把持するうえで好適である。

図9は、関心領域ROIの例を示す図である。
図9に示す例では、関心領域ROIは、撮像領域Irに含まれる領域であって、その表面及び底面が水平面に平行な直方体の領域である。複数の対象物からなる対象物群Wpが水平面に平行な基盤Bs上に積み重ねられている。また、撮像装置10の撮像方向は、この例では、下方、つまり水平面に垂直であって水平面に向かう方向である。窓領域設定部212は、例えば、対象物群Wpのうち、その上端から予め定めた間隔だけ低い領域に少なくともその一部が窓領域に含まれるように関心領域ROIを定める。つまり、撮像領域Irに含まれる対象物群Wpのうち最も撮像装置10に近い対象物から予め定めた間隔h’だけ撮像装置10から離れた距離までの間で対象物が占める領域を含んだ関心領域ROIが設定される。これにより、対象物群Wpのうち最も撮像装置10に近い対象物、つまり、基盤Bsからの高さが最も高い対象物の平面が優先して抽出される。

図9(a)は、関心領域ROIを示す側面図である。
関心領域ROIの上下方向の両端は、対象物群Wpの上端の座標値wに基づいて定めることができる。関心領域ROIの上端は、対象物群Wpの上端から窓領域Wdの高さwだけ高い。ここで、窓領域設定部212は、画像データ取得部211から入力された画像データが示す対象物の座標値のうち、最も撮像装置10に近いサンプル点の座標値wから窓領域Wdの高さwを減算した値wを、その上端の座標値と定めることができる。
関心領域ROIの下端の高さは、対象物群Wpの上端から予め定めた間隔h’及び窓領域Wdの高さwだけ低い。従って、窓領域設定部212は、画像データ取得部211から入力された画像データが示す対象物の座標値のうち、最も撮像装置10に近いサンプル点の座標値wに間隔h’及び高さwを加算した値wを、関心領域ROIの下端の座標値として定めることができる。

図9(b)は、関心領域ROIを示す平面図である。関心領域ROIの左右方向の両端及び奥行方向の両端は、対象物群Wpの上端から予め定めた間隔h’だけ低い点を通る対象物群Wpの断面に基づいて定めることができる。図9(b)には、対象物群Wpの断面が楕円で示されている。関心領域ROIの左端は、対象物群Wpの断面の左端から対象物群Wpの幅wだけ左側にあり、関心領域ROIの右端は、対象物群Wpの断面の右端から対象物群Wpの幅wだけ右側にある。従って、窓領域設定部212は、関心領域ROIの左端の座標uを、入力された画像データが示す対象物の座標値のうち、高さw+h’のサンプル点であって左右方向の座標値のうち最も小さい座標値pから対象物群Wpの幅wを減算して算出する。また、窓領域設定部212は、関心領域ROIの右端の座標uを、入力された画像データが示す対象物の座標値のうち、高さw+h’のサンプル点であって左右方向の座標値のうち最も大きい座標値pに対象物群Wpの幅wを加算して算出する。

関心領域ROIの最奥端は、対象物群Wpの断面の最奥端から対象物群Wpの奥行wだけ奥にあり、関心領域ROIの最近端は、対象物群Wpの断面の最近端から対象物群Wpの奥行wだけ手前にある。従って、窓領域設定部212は、関心領域ROIの最奥端の座標vを、入力された画像データが示す対象物の座標値のうち、高さw+h’のサンプル点であって奥行方向の座標値のうち最も小さい座標値qから対象物群Wpの幅wを減算して算出する。また、窓領域設定部212は、関心領域ROIの最近端の座標vを、入力された画像データが示す対象物の座標値のうち、高さw+h’のサンプル点であって奥行方向の座標値のうち最も大きい座標値qに対象物群Wpの幅wを加算して算出する。
このようにすることで、ロボット30の当面の動作の対象になりうる対象物を、対象物群Wpのうち、その上端から予め定めた高さだけ低い領域に限定することで処理量が低減する。また、この限定された領域に含まれる対象物を確実に検出することができる。

以上、説明したように、本実施形態は、対象物の形状を示すテンプレートを記憶するテンプレート記憶部(例えば、テンプレート記憶部215)を備え、撮像部(例えば、撮像装置10)が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部(例えば、窓領域設定部212)を備える。また、本実施形態は、前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部(例えば、平面抽出部213)を備え、抽出した平面のうち最も大きい平面を選択する選択部(例えば、対象決定部214)を備える。また、本実施形態は、前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートとに基づいて前記窓領域に含まれる画像が示す対象物の空間状態を算出する空間状態算出部(例えば、空間状態算出部218)を備える。

これにより、対象物が有する平面のうち最も大きい平面がテンプレートとの照合に用いられる領域として限定されるため、対象物の認識に係る処理を効率化すること、例えば、その処理を高速化することができる。また、テンプレートとの照合が対象物の形状が選択された平面に射影された変換画像との間で行われる。そのため、3次元の照合よりも照合に係る自由度が低減されるため、これに応じて処理量が格段に低減される。

上述では、主にテンプレート記憶部215に1つのテンプレートデータが記憶されている場合について説明したが、これには限られない。テンプレート記憶部215には、複数のテンプレートデータが記憶され、マッチング部216は複数のテンプレートデータのそれぞれについて2次元変換画像データとマッチングして、2次元変換画像と最も類似するテンプレートを選択してもよい。その場合、マッチング部216は、選択したテンプレートが2次元変換画像に最も類似するときの変位及び回転量をマッチング結果として算出する。

ここで、複数のテンプレートデータのそれぞれは、互いの異なる対象物の形状を示す画像(例えば、歯車、ボルト、等)の形状を示す画像を示すデータであってもよい。また、複数のテンプレートデータのそれぞれは、同一の対象物であって互いに異なる面(例えば、凸部を有する歯車の表面と、凹部を有する歯車の裏面)の形状を示す画像をテンプレートとして示すデータであってもよい。これにより、マッチング部216は、2次元変換画像が示す対象物、又は対象物の面を識別することができる。マッチング部216は、そのテンプレートを識別するテンプレート識別データを、空間データ出力部219を介してロボット制御装置22に出力してもよい。これにより、ロボット制御装置22は、そのテンプレートに係る対象物の種類や面に応じた制御を行うことができる。

上述では、画像情報排除部217がマッチングに成功したサンプル点に係るサンプル点データを画像データから排除し、排除した画像データについて順次処理が行われる場合を例にとって説明したが、これには限られない。物体認識装置21は、ロボット30によってその対象物が除去された後に、撮像装置10から入力された画像データについて上述した処理を行ってもよい。ここで、ロボット制御装置22は、空間データ出力部219から入力された空間データに応じて対象物を把持し、把持した対象物を撮像領域Irの外部に移動するようにロボット30の動作を制御する。その場合、マッチング部216においてマッチングに成功したサンブル点を特定する処理や、画像情報排除部217を省略することができる。

上述では、対象決定部214が、平面を選択する際、RANSAC(Random Sample Consensus)法を用いる場合を例にとって説明したが、これには限られない。対象決定部214は、その他の手法、例えば、最小二乗法を用いてもよい。
平面抽出部213は、抽出した平面データの面積が予め定めた面積(例えば、対象物の表面の面積の0.5倍)よりも小さい場合には、その窓領域について平面データの生成、出力を省略してもよい。このような場合には、平面の抽出が成功していない可能性があるため、その平面データを用いた無用な処理を省略することができる。
平面抽出部213は、平面毎に算出した面積を、その平面の方向θの余弦cosθで除算して面積を補正してもよい。ここで、平面の方向θは、撮像装置10の光学軸の方向を基準とする方向である。これにより、算出される面積が、対象物が置かれている向きに依存せずに対象物の表面の面積を算出することができる。

テンプレート記憶部215には、物体認識装置21の外部から入力されたテンプレートデータが記憶されることがある。その場合には、窓領域設定部212は、テンプレートデータが示す対象物の特性長を、上述したように算出し、算出した特性長に基づいて窓領域の大きさを定めてもよい。

マッチング部216は、テンプレートと2次元変換画像とをマッチングする際、テンプレートを変位及び回転させることに代えて、2次元変換画像を変位及び回転させてもよい。
テンプレートデータは、撮影した対象物までの距離(奥行値)に応じた輝度値を画素毎に有するデプスマップ(depth map)であってもよい。

撮像装置10は、各フレームの画像データを、個々に制御装置20に出力してもよいし、予め定めた時間間隔で逐次に制御装置20に出力してもよい。撮像装置10は、ステレオカメラであってもよい。また、撮像装置10は、物体認識装置21の一部として物体認識装置21と一体であってもよい。
上述では、物体認識装置21とロボット制御装置22が一体である場合を例にとって説明したが、これには限られない。物体認識装置21とロボット制御装置22は別体であってもよい。
また、物体認識装置21とロボット制御装置22は、ロボット30と一体化したロボットとして構成されてもよい。

また、各実施形態の物体認識装置21の一部、例えば、窓領域設定部212、平面抽出部213、対象決定部214、マッチング部216、画像情報排除部217、及び空間状態算出部218の各処理を実行するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより、物体認識装置21に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものであってもよい。また、「コンピューターシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、フラッシュメモリー等の書き込み可能な不揮発性メモリー、CD(Compact Disc)−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリー(例えば、DRAM:Dynamic Random Access Memory)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

1 ロボットシステム
10 撮像装置
20 制御装置
21 物体認識装置
211 画像データ取得部
212 窓領域設定部
213 平面抽出部
214 対象決定部
215 テンプレート記憶部
216 マッチング部
217 画像情報排除部
218 空間状態算出部
219 空間データ出力部
22 ロボット制御装置
30 ロボット
30a 支持台
30b アーム部
30c ハンド部
30d 把持部

Claims (7)

  1. 対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、
    撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、
    前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、
    前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、
    前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部と
    を備えることを特徴とする物体認識装置。
  2. 前記テンプレート記憶部は、前記対象物が有する平面のいずれかに射影された前記対象物の形状を示すテンプレートを記憶し、
    前記照合部は、前記テンプレート記憶部に記憶されたテンプレートと、前記窓領域に含まれる画像を前記選択部が選択した平面に射影した変換画像とを照合することを特徴とする請求項1に記載の物体認識装置。
  3. 前記窓領域設定部は、前記撮像部の撮像領域に含まれる対象物の分布に応じて関心領域を定め、前記関心領域内で前記窓領域を設定することを特徴とする請求項1又は2に記載の物体認識装置。
  4. 物体認識装置における物体認識方法であって、
    撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定過程と、
    前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出過程と、
    前記平面抽出過程で抽出した平面のうち最も大きい平面を選択する選択過程と、
    前記選択過程で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合過程と
    を有することを特徴とする物体認識方法。
  5. 物体認識装置のコンピューターに、
    撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定手順、
    前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出手順、
    前記平面抽出手順で抽出した平面のうち最も大きい平面を選択する選択手順、
    前記選択手順で選択された平面とテンプレート記憶部に記憶された対象物の形状を示すテンプレートが示す対象物の形状を照合する照合手順、
    を実行させるための物体認識プログラム。
  6. ロボットと、対象物を撮像する撮像部と、前記撮像部の出力結果に基づいて前記対象物の状態を認識する物体認識装置と、前記物体認識装置の出力結果に基づいて前記ロボットの動作を制御するロボット制御装置とを備えるロボットシステムであって、
    前記物体認識装置は、
    前記対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、
    前記撮像部が撮像した前記対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、
    前記窓領域に含まれる画像に基づいて前記対象物の平面を抽出する平面抽出部と、
    前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、
    前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部とを備え、
    前記ロボット制御装置は、前記照合部が照合した結果に基づいて前記ロボットの動作を制御すること、
    を特徴とするロボットシステム。
  7. 対象物の形状を示すテンプレートを記憶するテンプレート記憶部と、
    撮像部が撮像した対象物の形状を示す画像内で予め定めた大きさの窓領域を設定する窓領域設定部と、
    前記窓領域に含まれる画像に基づいて当該対象物の平面を抽出する平面抽出部と、
    前記平面抽出部が抽出した平面のうち最も大きい平面を選択する選択部と、
    前記選択部が選択した平面と前記テンプレート記憶部に記憶されたテンプレートが示す対象物の形状を照合する照合部と
    を備えることを特徴とするロボット。
JP2013216462A 2013-10-17 2013-10-17 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット Pending JP2015079374A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013216462A JP2015079374A (ja) 2013-10-17 2013-10-17 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013216462A JP2015079374A (ja) 2013-10-17 2013-10-17 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット

Publications (1)

Publication Number Publication Date
JP2015079374A true JP2015079374A (ja) 2015-04-23

Family

ID=53010744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013216462A Pending JP2015079374A (ja) 2013-10-17 2013-10-17 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット

Country Status (1)

Country Link
JP (1) JP2015079374A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108789499A (zh) * 2017-04-28 2018-11-13 发那科株式会社 物品取出系统
EP3460715A1 (en) 2017-09-22 2019-03-27 Omron Corporation Template creation apparatus, object recognition processing apparatus, template creation method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028489A1 (ja) * 2007-08-30 2009-03-05 Kabushiki Kaisha Yaskawa Denki 物体検出方法と物体検出装置およびロボットシステム
JP2010146357A (ja) * 2008-12-19 2010-07-01 Panasonic Electric Works Co Ltd 3次元画像処理方法および3次元画像処理装置
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009028489A1 (ja) * 2007-08-30 2009-03-05 Kabushiki Kaisha Yaskawa Denki 物体検出方法と物体検出装置およびロボットシステム
JP2010146357A (ja) * 2008-12-19 2010-07-01 Panasonic Electric Works Co Ltd 3次元画像処理方法および3次元画像処理装置
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白石 一成: "三次元ロボットビジョン", 技報 安川電機, vol. 第58巻, JPN6017033935, 20 March 1995 (1995-03-20), JP, pages 195 - 203 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108789499A (zh) * 2017-04-28 2018-11-13 发那科株式会社 物品取出系统
JP2018187687A (ja) * 2017-04-28 2018-11-29 ファナック株式会社 物品取出システム
CN108789499B (zh) * 2017-04-28 2019-12-31 发那科株式会社 物品取出系统
US10518417B2 (en) 2017-04-28 2019-12-31 Fanuc Corporation Article retrieval system
EP3460715A1 (en) 2017-09-22 2019-03-27 Omron Corporation Template creation apparatus, object recognition processing apparatus, template creation method, and program

Similar Documents

Publication Publication Date Title
JP6004809B2 (ja) 位置姿勢推定装置、情報処理装置、情報処理方法
CN104249371B (zh) 信息处理装置和信息处理方法
US9697607B2 (en) Method of estimating imaging device parameters
JP5977544B2 (ja) 情報処理装置、情報処理方法
Davison Real-time simultaneous localisation and mapping with a single camera
US9432655B2 (en) Three-dimensional scanner based on contours from shadow images
EP2531980B1 (en) Depth camera compatibility
JP6192261B2 (ja) 情報処理装置及び情報処理方法
KR101298915B1 (ko) 정보처리장치, 그 처리 방법 및 컴퓨터 판독가능한 기억매체
JP5172010B2 (ja) Rgb及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知
JP2015079518A (ja) マシンビジョンを用いたオブジェクトの3次元アライメントのためのシステムと方法
JP5778237B2 (ja) ポイントクラウド内の埋め戻しポイント
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP5812599B2 (ja) 情報処理方法及びその装置
US5577130A (en) Method and apparatus for determining the distance between an image and an object
ES2384609T3 (es) Clasificación de objetos así como reconocimiento de su posición y orientación en el espacio
JP5618569B2 (ja) 位置姿勢推定装置及びその方法
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
KR101364874B1 (ko) 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법 및 관련 장치
KR20130102080A (ko) 워크 취출 장치
Pavlidis et al. Methods for 3D digitization of cultural heritage
JP4708752B2 (ja) 情報処理方法および装置
US10562182B2 (en) Robot, robot system, control device, and control method
Rabbani et al. Efficient hough transform for automatic detection of cylinders in point clouds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171107