JP2012026974A

JP2012026974A - ３次元物体認識装置及び３次元物体認識方法

Info

Publication number: JP2012026974A
Application number: JP2010168493A
Authority: JP
Inventors: Xu Gang; 剛徐; Tomohiro Nakamichi; 朋弘仲道; Yuto Senba; 勇人千馬
Original assignee: 3D Media Co Ltd
Current assignee: Kyoto Robotics Corp
Priority date: 2010-07-27
Filing date: 2010-07-27
Publication date: 2012-02-09
Anticipated expiration: 2030-07-27
Also published as: CN102472612A; JP4940461B2; WO2012014545A1

Abstract

【課題】認識対象物を認識するための処理速度を向上させることができる３次元物体認識装置及び３次物体認識方法を提供する。
【解決手段】認識対象の３次元モデルを中心に置いた空間を複数のボクセルに分割し、夫々のボクセルに３次元モデル表面の最近点までの距離及び最近点を示すＩＤを記録させたディスタンスフィールドを記憶し、３次元センサの位置姿勢を仮定して、３次元センサにより計測した点群を３次元モデルに設定されるモデル座標系に変換した各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより最近点との距離を取得し、前記３次元センサのあらゆる位置姿勢に対して、前記各計測点と対応するボクセルに記録にされた最近点までの点群間距離の自乗和を算出し、その結果に基づいて３次元センサの位置姿勢の評価における極値を求め、該極値を用いて最適化を行う。
【選択図】図１

Description

本発明は、形状が既知の認識対象となる３次元物体を認識するための３次元物体認識装置及び３次元物体認識方法に関する。

生産ラインにおいてロボットアームによる部品等の正確な操作を可能とするため、山積みにされた部品等を個々に認識し、各部品の位置及び姿勢を認識する３次元物体認識装置が近年開発されている。

従来、このような３次元物体認識装置としては、例えば、オフライン段階において、あらゆる位置姿勢における認識対象物の２次元画像を取得し、各画像に対して２次元モデルを算出し、多数の２次元モデルを３次元モデルにおいて保存し、オンライン段階において、２次元モデルをマッチングして認識対象物の３次元位置姿勢を得るものがある（例えば、特許文献１参照）。

特開２００９−０９３６１１号公報

特許文献１の３次元物体認識装置では、漏れを無くし、認識精度を高めるためには、認識対象物体のあらゆる位置姿勢に対して、探索を行う必要がある。しかしながら、特許文献１のように輪郭による３次元認識の場合、細かく探索を行う必要があるため、探索空間が大きくなり過ぎて、十分な処理速度を得ることができないという問題がある。

本発明は、上記のような課題に鑑みてなされたものであって、認識対象物を認識するための処理速度を向上させることができる３次元物体認識装置及び３次物体認識方法を提供することを目的とする。

上記目的を達成するために、請求項１記載の３次元物体認識装置は、認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドを記憶するディスタンスフィールド記憶手段と、前記認識対象物の表面の点の３次元座標を示す点群を計測する３次元センサと、前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換する座標系変換手段と、前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得する最近点距離取得手段と、前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求める位置姿勢評価手段と、前記位置姿勢評価手段により求められた前記極大値の前記３次元センサの位置姿勢を初期値として用いて、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和が最小となるように前記３次元センサの位置姿勢の最適化を行う第１の最適化手段と、を備えることを特徴としている。

請求項２記載の３次元物体認識装置は、前記３次元センサにより前記認識対象物の画像を取得し、該画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、前記第１の最適化手段により得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は前記第１の最適化手段により得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭類似度の評価関数に対して、前記第１の最適化手段により得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化手段を備えることを特徴としている。

請求項３記載の３次元物体認識装置は、前記３次元センサにより前記認識対象物の画像を取得し、該画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、前記第１の最適化手段により得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群が前記座標変換手段により前記モデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和とを統合した評価関数に対して、前記第１の最適化手段により得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化手段を備えることを特徴としている。

請求項４記載の３次元物体認識装置は、認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドを記憶するディスタンスフィールド記憶手段と、前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得する３次元センサと、前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換する座標系変換手段と、前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得する最近点距離取得手段と、前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求める位置姿勢評価手段と、前記３次元センサにより取得した前記画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、前記位置姿勢評価手段により求められた前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は位置姿勢評価手段により求められた前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭類似度の評価関数に対して、前記位置姿勢評価手段により求められた前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化手段を備えることを特徴としている。

請求項５記載の３次元物体認識装置は、認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドを記憶するディスタンスフィールド記憶手段と、前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得する３次元センサと、前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換する座標系変換手段と、前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得する最近点距離取得手段と、前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求める位置姿勢評価手段と、前記３次元センサにより前記認識対象物の画像を取得し、該画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、前記位置姿勢評価手段により求められた前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群が前記座標変換手段により前記モデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和とを統合した評価関数に対して、前記位置姿勢評価手段により求められた前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化手段を備えることを特徴としている。

請求項６記載の３次元物体認識方法は、認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドをディスタンスフィールド記憶手段に記憶するステップと、３次元センサにより前記認識対象物の表面の点の３次元座標を示す点群を計測するステップと、前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換するステップと、前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得するステップと、前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記モデル座標系に変換された各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求めるステップと、前記極大値の前記３次元センサの位置姿勢を初期値として用いて、前記３次元センサにより計測された点群を前記モデル座標系に変換した各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和が最小となるように前記３次元センサの位置姿勢の最適化を行う第１の最適化ステップと、を備えることを特徴としている。

請求項７記載の３次元物体認識方法は、前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、前記第１の最適化ステップにより得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は前記第１の最適化ステップにより得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭類似度の評価関数に対して、前記第１の最適化ステップにより得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化ステップを備えることを特徴としている。

請求項８記載の３次元物体認識方法は、前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、前記第１の最適化ステップにより得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群を前記モデル座標系に変換した各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和とを統合した評価関数に対して、前記第１の最適化ステップにより得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化ステップを備えることを特徴としている。

請求項９記載の３次元物体認識方法は、認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドをディスタンスフィールド記憶手段に記憶するステップと、３次元センサにより前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得するステップと、前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換するステップと、前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得するステップと、前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記モデル座標系に変換された各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求めるステップと、前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点の輪郭類似度の評価関数に対して、前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化ステップとを備えることを特徴としている。

請求項１０記載の３次元物体認識方法は、認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドをディスタンスフィールド記憶手段に記憶するステップと、３次元センサにより前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得するステップと、前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換するステップと、前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得するステップと、前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記モデル座標系に変換された各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求めるステップと、前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群を前記モデル座標系に変換した各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群冠距離の自乗和とを統合した評価関数に対して、前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化ステップとを備えることを特徴としている。

請求項１及び６記載の発明によれば、認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドを予め作成して記憶しておく。そして、３次元センサの位置姿勢を仮定し、この３次元センサにより計測した認識対象物の表面の点の３次元座標を示す点群をモデル座標系に変換して、この変換した各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得することにより点群間距離を取得して３次センサの位置姿勢に関する点群間の類似度評価を行う。この評価を３次元センサのあらゆる位置姿勢に対して行うことによりその極大値を求める。このように、３次元センサにより計測した点群を用いて３次元センサの位置姿勢に関する点群間類似度評価における極大値を求めているので、位置姿勢の全探索を大まかに行うことができ、処理速度を向上させることができる。また、ディスタンスフィールドを用いているので、各計測点を対応する夫々のボクセルに入れることにより容易に夫々のボクセルから３次元モデル表面の最近点までの距離を取得することができるので、探索が効率化され処理速度を向上させることができる。

請求項２及び７記載の発明によれば、点群間距離を取得し、その結果に基づいて求めた極大値の前記３次センサの位置姿勢を初期値として用いて、点群間距離の自乗和が最小となるように最適化した後、更に、輪郭間距離の自乗和を用いた評価関数、又は輪郭類似度の評価関数にこの最適化の結果を初期値として用いて３次元センサの位置姿勢の最適化を行うので、より高精度に位置姿勢の認識を行うことができる。

請求項３及び８記載の発明によれば、点群間距離を取得し、その結果に基づいて求めた極大値の前記３次センサの位置姿勢を初期値として用いて、点群間距離の自乗和が最小となるように最適化した後、更に、輪郭間距離の自乗和と、点群間距離の自乗和とを統合した評価関数にこの最適化の結果を初期値として用いて３次元センサの位置姿勢の最適化を行うので、より高精度に位置姿勢の認識を行うことができる。

請求項４及び９記載の発明によれば、点群間距離を取得し、その結果に基づいて求めた極大値の前記３次センサの位置姿勢を初期値として輪郭間距離の自乗和を用いた評価関数、又は輪郭類似度の評価関数に用いて３次元センサの位置姿勢の最適化を行うので、処理速度を向上させることができるとともに、高精度に位置姿勢の認識を行うことができる。

請求項５及び１０記載の発明によれば、点群間距離の自乗和を算出し、その算出結果に基づいて求めた極大値の前記３次センサの位置姿勢を初期値として輪郭間距離の自乗和と、点群間距離の自乗和とを統合した評価関数に用いて３次元センサの位置姿勢の最適化を行うので、処理速度を向上させることができるとともに、高精度に位置姿勢の認識を行うことができる。

本発明の第１の実施形態に係る３次元物体認識装置の構成の一例を示す概略模式図である。第１の実施形態に係る３次元物体認識装置による処理の流れを示すフローチャートである。ディスタンスフィールドについて説明するための概略説明図である。ディスタンスマップについて説明するための概略説明図である。３次元センサの位置姿勢の全探索について説明するための概略説明図である。本発明の第２の実施形態に係る３次元物体認識装置の構成の一例を示す概略模式図である。第２の実施形態に係る３次元物体認識装置による処理の流れを示すフローチャートである。本発明の第３の実施形態に係る３次元物体認識装置の構成の一例を示す概略模式図である。第３の実施形態に係る３次元物体認識装置による処理の流れを示すフローチャートである。

以下に本発明の第１の実施形態に係る３次元物体認識装置１について、図面を参照しつつ説明する。図１に示すように、３次元物体認識装置１は、作業台２の上に載置された３次元形状を有する認識対象物３を認識するためのものであって、この認識対象物３の表面の点の３次元座標を示す点群の計測及び認識対象物３の画像を取得するための３次元センサ４と、認識対象物３を把持するためのロボットアーム５と、３次元センサ４から入力される点群データや画像に基づいてロボットアーム５の動作を制御するコンピュータ６と備えるものである。

３次元センサ４としては、例えば、認識対象物３に対してパターン光を投光する投光手段（不図示）と、このパターン光が投光された認識対象物３を異なる位置に設けられた基準カメラと参照カメラとからなるステレオカメラ（不図示）とを備えるものであり、該ステレオカメラにより撮像して得られた複数の画像間で対応する画素を特定し、対応付けられた基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラから当該画素に対応する計測対象物上の点までの距離を計測して認識対象物３の３次元点群を取得する。また、このような３次元センサ４の代わりに３次元点群を計測する従来公知の技術を適用するようにしても良い。

コンピュータ６は、図１に示すように、３次元センサにより得られた画像データ等を記憶する画像メモリ７と認識対象物３の認識を行うための処理プログラム等を格納するハードディスク８と、該ハードディスク８から読み出された処理プログラムを一時記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９と、この処理プログラムに従って３次元認識処理を行うＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｅｓｓｉｎｇＵｎｉｔ）１０と、画像メモリ７に記憶された画像データやＣＰＵ１０による算出結果等を表示するための表示部１１と、マウスやキーボード等で構成される操作部１２と、これら各部を互いに接続するシステムバス１３とを有している。尚、本実施形態では、３次元物体３の認識を行う処理プログラムをハードディスク８に格納している例を示しているが、これに代えて、コンピュータ読み取り可能な記憶媒体（不図示）に格納しておき、この記録媒体から処理プログラムを読み出すように構成することも可能である。

以下、３次元物体認識装置１による処理の流れについて図２のフローチャートを用いながら説明する。本実施形態に係る３次元物体認識装置１では、図２に示すように、まずオフラインで認識対象物３の３次元モデル及びディスタンスフィールドを作成して夫々３次元モデル記憶手段１４及びディスタンスフィールド記憶手段１５に記憶しておく（Ｓ１０１，Ｓ１０２）。認識対象物３の３次元モデルは、輪郭点データを有しており、３次元ＣＡＤ等を利用して作成される。ここでは、あらゆる姿勢（３自由度）における３次元モデルを３次元モデル記憶手段１４に記憶しておく（Ｓ１０１）。

図３に示すように、ディスタンスフィールド１７は、認識対象物３の３次元モデルを中心に置いた３次元空間を複数のボクセル１８に分割し、該夫々のボクセル１８に３次元モデルの表面の３次元的な最近点（ユークリッド距離が最小）までの距離（自乗）及びこの最近点を示すＩＤを記録させたものである。図３では、３次元モデルの表面が含まれるボクセル１８ａは斜線を引いて示している。従って、斜線が引かれているボクセル１８ａは、そのボクセル１８ａ自身が最近点になるので、距離として零が記録される。このようなディスタンスフィールド１７は、ディスタンスフィールド記憶手段１５に記憶され（Ｓ１０２）、後述する３次元センサ４の位置姿勢を評価する際に用いられる。このディスタンスフィールド１７は、例えば、１９９５年１２月発刊の電子情報通信学会論文誌Vol.J７８、No.１２の「ユークリッド距離変換アルゴリズムの効率化」、加藤敏洋、平田富夫、斉藤豊文、吉瀬謙二、第１７５０〜１７５７頁に記載されている方法に基づいて作成されるものであり、ここではその詳細な作成の仕方の説明については省略する。尚、本実施形態では、ディスタンスフィールド記憶手段１５の容量の負担等を考慮して、夫々のボクセル１８に最近点までの距離の自乗を記録させているが、最近点までの距離そのものを記録させておいても良い。

次に、３次元センサにより認識対象物の表面の点の３次元座標を示す点群の計測及び認識対象物３の画像を取得する（Ｓ１０３）。この際、３次元センサにより計測した点群は３次元モデルのどこかということはまだ分からない。また、３次元センサ４による計測により点群は得られるが、どのような位置姿勢で点群を計測したかは分からない。そこで、座標系変換手段２１では、３次元センサの位置姿勢を仮定して、３次元センサにより計測した点群を３次元モデルに設定されるモデル座標系へと変換する（Ｓ１０４）。

そして、最近点距離取得手段２２では、このモデル座標系に変換した計測点を予め作成しておいたディスタンスフィールド１７の対応するボクセル１８に夫々入れることにより、夫々のボクセル１８から最近点を表すＩＤ及び最近点までの距離を取得する（Ｓ１０５）。

位置姿勢評価手段２３では、下記数式（１）の点群間類似度評価関数に示すように、モデル座標系に変換した各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和を算出し、３次元センサ４の位置姿勢を評価する。この位置姿勢の評価処理を３次元センサ４の位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサ４の姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して繰り返して、非極値抑制を行うことにより３次元センサ４の位置姿勢に関する点群間類似度評価における極大値を求める（Ｓ１０６）。図５は、３次元センサ４が認識対象物３を計測する際の位置姿勢を概略的に示すものであり、Ｘ^Ｍはモデル座標系、Ｘ^Ｃはセンサ座標系を表している。また、３次元センサ４の姿勢は、緯度α、経度β、Ｚｃ軸回りの回転γで表される。この位置姿勢評価手段２３では、図５に示すように、３次元センサ４のあらゆる位置姿勢（６自由度）について、数式（１）を用いて評価を行うことになる。

次に、第１の最適化手段２４では、Ｓ１０６の処理により求められた極大値の３次元センサ４の位置姿勢を初期値として下記の数式（２）で表される評価関数Ｃ１に用いて、この自乗和が最小となるように３次元センサ４の位置姿勢の最適化を行う（Ｓ１０７）。評価関数Ｃ１は、座標系変換手段２１によりモデル座標系に変換された各計測点と最近点距離取得手段２２により取得した各計測点に対応する夫々のボクセル１８に記録された最近点との点群間距離の自乗和を用いた評価関数であり、第１の最適化手段２４では、最適化の手段として、例えば、従来公知のＩＣＰ（ＩｔｅｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）法やマーカード法が用いられる。

次に、エッジ抽出手段２５では、３次元センサ４により取得した認識対象物３の画像に対して認識対象物のエッジを抽出して（Ｓ１０８）、ディスタンスマップ１９を作成する。ディスタンスマップ１９は、図４に示すように、３次元センサ４により取得した認識対象物３の画像について認識対象物のエッジ２０ａ（斜線で示す部分）を抽出して、画像を構成する各画素２０に抽出したエッジ２０ａのうち最も近い最近エッジ点までの距離（自乗）及びこの最近エッジ点を示すＩＤを記録させたものである。このディスタンスマップ１９は、２次元的に表現されるものであり、３次元的に表現される点でディスタンスフィールド１７とは異なるが、ディスタンスフィールド１７と同様に前述の論文誌に記載の方法に基づいて作成することができる。このように作成されたディスタンスマップ１９は、ディスタンスマップ記憶手段１６へと記憶される。

そして、第２の最適化手段２６では、Ｓ１０７の処理により最適化された回転行列Ｒ及び並進ベクトルｔを初期値として、下記の数式（３）で表される評価関数Ｃ２に用いて３次元センサの位置姿勢の最適化を行う（Ｓ１０９）。この評価関数Ｃ２は、第１の最適化手段２４により得られた３次元センサ４の位置姿勢に合致する画像上に射影された３次元モデルの輪郭点と抽出した画像上のエッジ点との輪郭間距離の自乗和を用いたものである。この輪郭点に対応する画像上のエッジ点は、Ｓ１０８のエッジ抽出処理から作成したディスタンスマップ１９から読み出すことができる。この第２の最適化手段２６では、評価関数Ｃ２に従来公知のマーカード法を用いることにより、最適化を行う。Ｓ１０９の処理では、このように第１の最適化手段２４で得られた結果を初期値として、輪郭間距離の自乗和を用いた評価関数Ｃ２に用いて最適化を行うので、高精度に位置姿勢の認識を行うことができる。

本実施形態では、第２の最適化手段２６として、数式（３）で表される輪郭間距離の自乗和を用いた評価関数Ｃ２を用いて３次元センサ４の位置姿勢の最適化を行っているが、輪郭間距離の自乗和を用いた評価関数Ｃ２の代わりに、数式（４）のような輪郭類似度を用いた評価関数Ｓを用いて３次元センサ４の位置姿勢の最適化を行うことも可能である。

評価関数Ｓは、第１の最適化手段２４により得られた３次元センサ４の位置姿勢に合致する画像上に射影された３次元モデルの輪郭点と画像上のエッジ点との輪郭類似度を表すものであり、Ｓ_１（ｊ）では、画像上に射影された３次元モデルの輪郭点とその輪郭点に最も近いエッジ点との差が小さい時には、１に近い数字を出力し、差が大きくなるにつれて０に近づくような結果を出力する。そして、この差の絶対値が予め設定された閾値τ_ｄより大きくなる場合には、０を出力結果とする。画像上に射影された３次元モデルの輪郭点に最も近いエッジ点はディスタンスマップ１９を参照することにより、取得することが可能であるが、他の従来公知の方法を用いて輪郭点に最も近いエッジ点を得るように構成しても良い。また、Ｓ_２（ｊ）は、画像上に射影された３次元モデルの輪郭点における勾配角度と輪郭点に最も近いエッジ点における勾配角度の差が小さい時には、１に近い数字を出力し、差が大きくなるにつれて０に近づくような結果を出力する。そして、この差の絶対値が予め設定された閾値τ_θより大きくなる場合には、０を出力結果とする。このような、評価関数Ｓに第１の最適化手段２４により得られた結果を初期値として、３次元センサ４の位置姿勢を、Ｓ１０６の処理で用いた間隔よりも細かい間隔でサンプリングして、夫々の位置姿勢における類似度を評価し、その中で類似度Ｓが最大となる３次元センサ４の位置姿勢を求めることにより、３次元センサ４の位置姿勢の最適化を行う。

また、本実施形態では、ディスタンスフィールド１７の夫々のボクセル１８には、３次元モデルの表面の３次元的な最近点（ユークリッド距離が最小）までの距離（自乗）及びこの最近点を示すＩＤを記録させているが、この夫々のボクセル１８に更に最近点における３次元モデルの表面に垂直な方向である法線方向の情報も記録させておき、この法線方向の情報も用いて位置姿勢の評価を行うようにしても良い。また、第１の最適化手段２４における、最適化の手段としてマーカード法を用いる場合には、夫々のボクセル１８に少なくとも最近点までの距離を記録させておれば良く、最近点を示すＩＤについては省略することも可能である。また、ディスタンスマップ１９を画像上の距離を評価する手段として用いているが、これに限定されるものではなく、その他にも従来公知の方法を用いても良い。また、処理速度を向上させるために、Ｓ１０７の第１の最適化による結果を得た時点で処理を終えるようにしても良い。

次に、第２の実施形態に係る３次元物体認識装置１ａについて図６及び図７を用いて説明する。図６に示すように、第２の実施形態に係る３次元物体認識装置１ａは、第１の実施形態に係る３次元物体認識装置１と略同様の構成を備えるものであり、第２の最適化手段２６の代わりに第３の最適化手段２７を備えるものである。従って、第１の実施形態に係る３次元物体認識装置１と同様の構成等については、同一の符号を付し、その詳細な説明は省略する。

図７のフローチャートに示すように、第２の実施形態に係る３次元物体認識装置１ａでも、第２の最適化手段２６による処理（Ｓ１０９）の前までは、第１の実施形態と同様の処理（Ｓ２０１〜Ｓ２０８）が行われる。その後、３次元物体認識装置１ａでは、第１の最適化手段２４により最適化された回転行列Ｒ及び並進ベクトルｔを初期値として用いて、第３の最適化手段２７により最適化を行う（Ｓ２０９）。この第３の最適化手段２７では、第２の最適化手段２６で用いた評価関数Ｃ２の代わりに、下記の数式（５）で表される評価関数Ｃ３を用いて３次元センサ４の位置姿勢の最適化を行う。この評価関数Ｃ３は、第１の最適化手段２４により得られた３次元センサ４の位置姿勢に合致する画像上に射影された３次元モデルの輪郭点と画像上のエッジ点との輪郭間距離の自乗和と、３次元センサ４により計測された点群が座標変換手段２１によりモデル座標系に変換された各計測点と最近点距離取得手段２２により取得した各計測点に対応する夫々のボクセル１８に記録された最近点との点群間距離の自乗和とを統合したものである。このような輪郭間距離の自乗和と、点群間距離の自乗和とを統合した評価関数Ｃ３に第１の最適化手段２４により最適化された回転行列Ｒ及び並進ベクトルｔを初期値として用いて３次元センサ４の位置姿勢の最適化を行うことにより、高精度に位置姿勢の認識を行うことができる。尚、第３の最適化手段２７でも評価関数Ｃ３に対して、従来公知のマーカード法を用いることにより、最適化を行う。

また、第３の最適化手段２７で用いた評価関数Ｃ３の代わりに、下記の数式（６）で表される評価関数Ｃ４を用いて最適化を行っても良い。この評価関数Ｃ４も評価関数Ｃ３と同様に、輪郭間距離と、点群間距離の双方を統合した評価関数であって、具体的には、第１の最適化手段２４により得られた３次元センサ４の位置姿勢に合致する画像上に射影された３次元モデルの輪郭点と画像上のエッジ点との輪郭間距離の自乗和と、３次元センサ４の位置姿勢に対して、座標変換手段２１によりモデル座標系に変換された各計測点と最近点距離取得手段２２により取得した各計測点に対応する夫々のボクセル１８に記録された最近点とを夫々画像上に射影して得られた画像上の距離の自乗和とを統合したものである。この評価関数Ｃ４に第１の最適化手段２４により得られた結果を初期値として用いて最適化を行う。尚、この場合も評価関数Ｃ４に従来公知のマーカード法を用いることにより、最適化を行う。

次に、第３の実施形態に係る３次元物体認識装置１ｂについて図８及び図９を用いて説明する。図８に示すように、第３の実施形態に係る３次元物体認識装置１ｂは、第１の実施形態に係る３次元物体認識装置１と略同様の構成を備えるものであり、第１の最適化手段２４が省略されている点で３次元物体認識装置１と構成が異なるものである。従って、第１の実施形態に係る３次元物体認識装置１と同様の構成等については、同一の符号を付し、その詳細な説明は省略する。

図９に示すように、第３の実施形態に係る３次元物体認識装置１ｂでも、位置姿勢評価手段２３による処理までは、第１の実施形態と同様の処理（Ｓ３０１〜Ｓ３０６）が行われる。その後、３次元物体認識装置１ｂでは、図４に示すように、３次元センサ４により取得した認識対象物３の画像について認識対象物のエッジ２０ａ（斜線で示す部分）を抽出して、画像を構成する各画素２０に抽出したエッジ２０ａのうち最も近い最近エッジ点までの距離（自乗）及びこの最近エッジ点を示すＩＤを記録させたディスタンスマップ１９が作成されディスタンスマップ記憶手段１６に記憶される（Ｓ３０７）。

そして、第２の最適化手段２６では、位置姿勢評価手段２３により求められた３次元センサ４の位置姿勢に関する点群間類似度評価における極大値に合致する画像上に射影された３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた数式（３）で表される評価関数Ｃ２に対して、位置姿勢評価手段２３により求められた極大値の３次元センサ４の位置姿勢を初期値として用いて３次元センサ４の位置姿勢の最適化を行う（Ｓ３０９）。このように第３の実施形態に係る３次元物体認識装置１ｂでは、位置姿勢評価手段２３により極大値が求められた後に、第１の最適化手段２４による最適化を行うことなく、求められた極大値の３次元センサ４の位置姿勢を初期値として第２の最適化手段２６で用いて最適化を行うので、処理速度を向上させることができるとともに、高精度な認識を行うことができる。

尚、本実施形態では、位置姿勢評価手段２３により極大値が求められた後に、第２の最適化手段２６により評価関数Ｃ２を用いて最適化を行っているが、評価関数Ｃ２の代わりに数式（４）で表される輪郭類似度を用いた評価関数Ｓを用いて３次元センサ４の位置姿勢の最適化を行うようにしても良い。また、位置姿勢評価手段２３により極大値が求められた後に、第２の最適化手段２６の代わりに第３の最適化手段２７により評価関数Ｃ３又はＣ４を用いて最適化を行うように構成することも当然可能である。

また、以上の説明では、作業台２に載置された認識対象物３のまわりに３次元センサ４を設定する場合を例に説明してきたが、例えば、部屋のような３次元物体の内部を認識する場合にも、３次元センサ４を部屋の内部に設定して、部屋の壁を見るようにして同様の処理を行うことにより、３次元センサ４の位置姿勢を特定することができる。

また、本発明の実施の形態は上述の形態に限るものではなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができることは云うまでもない。

本発明に係る３次元物体認識装置及び３次元物体認識方法は、生産ライン等における部品等の認識を行うための技術として有効に利用することができる。また、サービスロボットが部屋の中等で自分の位置姿勢を特定する技術としても有効に利用することができる。

１、１ａ３次元物体認識装置
３認識対象物
４３次元センサ
１４３次元モデル記憶手段
１５ディスタンスフィールド記憶手段
１６ディスタンスマップ記憶手段
１７ディスタンスフィールド
１８ボクセル
１９ディスタンスマップ
２０画素
２１座標系変換手段
２２最近点距離取得手段
２３位置姿勢評価手段
２４第１の最適化手段
２５エッジ抽出手段
２６第２の最適化手段
２７第３の最適化手段

Claims

認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドを記憶するディスタンスフィールド記憶手段と、
前記認識対象物の表面の点の３次元座標を示す点群を計測する３次元センサと、
前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換する座標系変換手段と、
前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得する最近点距離取得手段と、
前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求める位置姿勢評価手段と、
前記位置姿勢評価手段により求められた前記極大値の前記３次元センサの位置姿勢を初期値として用いて、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和が最小となるように前記３次元センサの位置姿勢の最適化を行う第１の最適化手段と、を備えることを特徴とする３次元物体認識装置。
前記３次元センサにより前記認識対象物の画像を取得し、該画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、
前記第１の最適化手段により得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は前記第１の最適化手段により得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭類似度の評価関数に対して、前記第１の最適化手段により得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化手段を備えることを特徴とする請求項１記載の３次元物体認識装置。
前記３次元センサにより前記認識対象物の画像を取得し、該画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、
前記第１の最適化手段により得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群が前記座標変換手段により前記モデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和とを統合した評価関数に対して、前記第１の最適化手段により得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化手段を備えることを特徴とする請求項１記載の３次元物体認識装置。
認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドを記憶するディスタンスフィールド記憶手段と、
前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得する３次元センサと、
前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換する座標系変換手段と、
前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得する最近点距離取得手段と、
前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求める位置姿勢評価手段と、
前記３次元センサにより取得した前記画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、
前記位置姿勢評価手段により求められた前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は位置姿勢評価手段により求められた前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭類似度の評価関数に対して、前記位置姿勢評価手段により求められた前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化手段を備えることを特徴とする３次元物体認識装置。
認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドを記憶するディスタンスフィールド記憶手段と、
前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得する３次元センサと、
前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換する座標系変換手段と、
前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得する最近点距離取得手段と、
前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記座標系変換手段によりモデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求める位置姿勢評価手段と、
前記３次元センサにより前記認識対象物の画像を取得し、該画像に対して前記認識対象物のエッジを抽出するエッジ抽出手段と、
前記位置姿勢評価手段により求められた前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群が前記座標変換手段により前記モデル座標系に変換された各計測点と前記最近点距離取得手段により取得した前記各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和とを統合した評価関数に対して、前記位置姿勢評価手段により求められた前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化手段を備えることを特徴とする３次元物体認識装置。
認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドをディスタンスフィールド記憶手段に記憶するステップと、
３次元センサにより前記認識対象物の表面の点の３次元座標を示す点群を計測するステップと、
前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換するステップと、
前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得するステップと、
前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記モデル座標系に変換された各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求めるステップと、
前記極大値の前記３次元センサの位置姿勢を初期値として用いて、前記３次元センサにより計測された点群を前記モデル座標系に変換した各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和が最小となるように前記３次元センサの位置姿勢の最適化を行う第１の最適化ステップと、を備えることを特徴とする３次元物体認識方法。
前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、
前記第１の最適化ステップにより得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は前記第１の最適化ステップにより得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭類似度の評価関数に対して、前記第１の最適化ステップにより得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化ステップを備えることを特徴とする請求項６記載の３次元物体認識方法。
前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、
前記第１の最適化ステップにより得られた前記３次元センサの位置姿勢に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群を前記モデル座標系に変換した各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離の自乗和とを統合した評価関数に対して、前記第１の最適化ステップにより得られた結果を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化ステップを備えることを特徴とする請求項６記載の３次元物体認識方法。
認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドをディスタンスフィールド記憶手段に記憶するステップと、
３次元センサにより前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得するステップと、
前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換するステップと、
前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得するステップと、
前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記モデル座標系に変換された各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求めるステップと、
前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、
前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和を用いた評価関数、又は前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点の輪郭類似度の評価関数に対して、前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第２の最適化ステップとを備えることを特徴とする３次元物体認識方法。
認識対象物の３次元モデルを中心に置いた３次元空間を複数のボクセルに分割し、該夫々のボクセルに前記３次元モデル表面の最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを記録させたディスタンスフィールドをディスタンスフィールド記憶手段に記憶するステップと、
３次元センサにより前記認識対象物の表面の点の３次元座標を示す点群を計測、及び前記認識対象物の画像を取得するステップと、
前記３次元センサの位置姿勢を仮定して、前記３次元センサにより計測した点群を前記３次元モデルに設定されるモデル座標系に変換するステップと、
前記モデル座標系に変換された各計測点を対応する前記ディスタンスフィールドの夫々のボクセルに入れることにより、該夫々のボクセルから前記最近点までの距離又は該最近点までの距離及び前記最近点を示すＩＤを取得するステップと、
前記３次元センサの位置の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての位置及び前記３次元センサの姿勢の３自由度の夫々に対して、その存在し得る範囲に渡って所定間隔でサンプリングした全ての姿勢に対して、前記モデル座標系に変換された各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群間距離を取得し、その結果に基づいて前記３次元センサの位置姿勢に関する点群間類似度評価における極大値を求めるステップと、
前記３次元センサにより取得した前記認識対象物の画像に対して前記認識対象物のエッジを抽出するステップと、
前記３次元センサの位置姿勢の評価における極大値に合致する前記画像上に射影された前記３次元モデルの輪郭点と前記画像上のエッジ点との輪郭間距離の自乗和と、前記３次元センサにより計測された点群を前記モデル座標系に変換した各計測点と該各計測点に対応する夫々のボクセルに記録された最近点との点群冠距離の自乗和とを統合した評価関数に対して、前記極大値の前記３次元センサの位置姿勢を初期値として用いて前記３次元センサの位置姿勢の最適化を行う第３の最適化ステップとを備えることを特徴とする３次元物体認識方法。