JP2012220271A5 - 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、撮像部を用いて形状が既知の物体の３次元姿勢を認識する姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体に関する。

Claims (9)

1. 載置面上に載置された物体の姿勢を認識する姿勢認識装置において、
   前記物体を撮像する撮像部と、
   前記物体に対応した３次元モデルの情報を記憶する３次元モデル情報記憶部と、
   前記３次元モデル情報記憶部から前記３次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記３次元モデルの安定姿勢を計算する安定姿勢計算部と、
   安定姿勢の前記３次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算部で計算された安定姿勢の前記３次元モデルを観測して得られる２次元投影画像を生成する２次元投影画像生成部と、
   前記２次元投影画像生成部により生成された前記２次元投影画像を記憶する２次元投影画像記憶部と、
   前記撮像部により撮像されて得られた撮像画像と、前記２次元投影画像記憶部に記憶された前記２次元投影画像との一致度を計算する画像照合部と、
   前記２次元投影画像記憶部に記憶された２次元投影画像のうち、前記一致度が最も高い２次元投影画像を特定し、特定した２次元投影画像に対応する前記３次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識部と、を備えたことを特徴とする姿勢認識装置。
2. 前記安定姿勢計算部は、
   前記仮想空間において重力方向に延びる第１の座標軸と、前記第１の座標軸に直交する第２の座標軸と、前記第１の座標軸及び前記第２の座標軸に直交する第３の座標軸とで表される３次元座標系を定義し、前記第１の座標軸、前記第２の座標軸及び前記第３の座標軸のそれぞれの軸まわりに０度以上３６０度未満の角度範囲内で前記３次元モデルを回転させる複数の姿勢情報のうち、１つの姿勢情報を選択する３次元モデル姿勢選択部と、
   前記３次元モデル姿勢選択部で選択された姿勢情報を基に前記仮想空間における前記３次元モデルの姿勢を設定して、前記３次元モデルの前記重力方向の最下点の位置座標を計算する３次元モデル最下点計算部と、
   前記第２の座標軸及び前記第３の座標軸を含む仮想平面に前記最下点を投影した投影点の凸包を計算する凸包計算部と、
   前記仮想空間における前記３次元モデルの重心点の位置座標を計算する３次元モデル重心点計算部と、
   前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記３次元モデルの姿勢を安定姿勢と判別する安定姿勢判別部と、を有し、
   前記３次元モデル姿勢選択部は、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
   前記３次元モデル最下点計算部、前記凸包計算部、前記３次元モデル重心点計算部、及び前記安定姿勢判別部は、前記３次元モデル姿勢選択部により姿勢情報の選択が変更される度に処理を実行する、
   ことを特徴とする請求項１に記載の姿勢認識装置。
3. 前記安定姿勢計算部は、
   前記仮想空間において重力方向に延びる第１の座標軸と、前記第１の座標軸に直交する第２の座標軸と、前記第１の座標軸及び前記第２の座標軸に直交する第３の座標軸とで表される３次元座標系を定義し、前記第１の座標軸、前記第２の座標軸及び前記第３の座標軸のそれぞれの軸まわりに０度以上３６０度未満の角度範囲内で前記３次元モデルを回転させる複数の姿勢情報のうち、１つの姿勢情報を選択する３次元モデル姿勢選択部と、
   前記３次元モデル姿勢選択部で選択された姿勢情報を基に前記仮想空間における前記３次元モデルの姿勢を設定する３次元モデル姿勢設定部と、
   前記３次元モデル姿勢設定部で姿勢が設定された前記３次元モデルの前記重力方向の最下点における前記第１の座標軸の第１の座標値を抽出する最下点座標抽出部と、
   前記第１の座標値と、前記第１の座標値よりも一定値大きい値に設定された第２の座標値との間に含まれる前記３次元モデルの構造点を前記第２の座標軸と前記第３の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出部と、
   前記投影点の凸包を計算する凸包計算部と、
   前記仮想空間における前記３次元モデルの重心点の位置座標を計算する３次元モデル重心点計算部と、
   前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記３次元モデルの姿勢を安定姿勢と判別する安定姿勢判別部と、を有し、
   前記３次元モデル姿勢選択部は、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
   前記３次元モデル姿勢設定部、前記最下点座標抽出部、前記投影点座標抽出部、前記凸包計算部、前記３次元モデル重心点計算部、及び前記安定姿勢判別部は、前記３次元モデル姿勢選択部により前記３次元モデルの姿勢情報の選択が変更される度に処理を実行する、
   ことを特徴とする請求項１に記載の姿勢認識装置。
4. ロボット本体と、
   前記ロボット本体を制御するコントローラと、
   請求項１乃至３のいずれか１項に記載の姿勢認識装置と、を備えた作業ロボット。
5. 載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置が行う姿勢認識方法において、
   前記物体に対応した３次元モデルの情報を３次元モデル情報記憶部に記憶させる３次元モデル情報記憶工程と、
   前記３次元モデル情報記憶部から前記３次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記３次元モデルの安定姿勢を計算する安定姿勢計算工程と、
   安定姿勢の前記３次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記３次元モデルを観測して得られる２次元投影画像を生成する２次元投影画像生成工程と、
   前記２次元投影画像生成工程により生成された前記２次元投影画像を２次元投影画像記憶部に記憶させる２次元投影画像記憶工程と、
   前記撮像部により撮像されて得られた撮像画像と、前記２次元投影画像記憶部に記憶された前記２次元投影画像との一致度を計算する画像照合工程と、
   前記２次元投影画像記憶部に記憶された２次元投影画像のうち、前記一致度が最も高い２次元投影画像を特定し、特定した２次元投影画像に対応する前記３次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を備えたことを特徴とする姿勢認識方法。
6. 前記安定姿勢計算工程は、
   前記仮想空間において重力方向に延びる第１の座標軸と、前記第１の座標軸に直交する第２の座標軸と、前記第１の座標軸及び前記第２の座標軸に直交する第３の座標軸とで表される３次元座標系を定義し、前記第１の座標軸、前記第２の座標軸及び前記第３の座標軸のそれぞれの軸まわりに０度以上３６０度未満の角度範囲内で前記３次元モデルを回転させる複数の姿勢情報のうち、１つの姿勢情報を選択する３次元モデル姿勢選択工程と、
   前記３次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記３次元モデルの姿勢を設定して、前記３次元モデルの前記重力方向の最下点の位置座標を計算する３次元モデル最下点計算工程と、
   前記第２の座標軸及び前記第３の座標軸を含む仮想平面に前記最下点を投影した投影点の凸包を計算する凸包計算工程と、
   前記仮想空間における前記３次元モデルの重心点の位置座標を計算する３次元モデル重心点計算工程と、
   前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記３次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を有し、
   前記３次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
   前記３次元モデル最下点計算工程、前記凸包計算工程、前記３次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記３次元モデル姿勢選択工程により前記３次元モデルの姿勢の選択が変更される度に実行する、
   ことを特徴とする請求項５に記載の姿勢認識方法。
7. 前記安定姿勢計算工程は、
   前記仮想空間において重力方向に延びる第１の座標軸と、前記第１の座標軸に直交する第２の座標軸と、前記第１の座標軸及び前記第２の座標軸に直交する第３の座標軸とで表される３次元座標系を定義し、前記第１の座標軸、前記第２の座標軸及び前記第３の座標軸のそれぞれの軸まわりに０度以上３６０度未満の角度範囲内で前記３次元モデルを回転させる複数の姿勢情報のうち、１つの姿勢情報を選択する３次元モデル姿勢選択工程と、
   前記３次元モデル姿勢選択工程で選択された姿勢情報を基に前記仮想空間における前記３次元モデルの姿勢を設定する３次元モデル姿勢設定工程と、
   前記３次元モデル姿勢設定工程で姿勢が設定された前記３次元モデルの前記重力方向の最下点における前記第１の座標軸の第１の座標値を抽出する最下点座標抽出工程と、
   前記第１の座標値と、前記第１の座標値よりも一定値大きい値に設定された第２の座標値との間に含まれる前記３次元モデルの構造点を前記第２の座標軸と前記第３の座標軸とを含む仮想平面に投影したときの投影点の座標を抽出する投影点座標抽出工程と、
   前記投影点の凸包を計算する凸包計算工程と、
   前記仮想空間における前記３次元モデルの重心点の位置座標を計算する３次元モデル重心点計算工程と、
   前記重心点を前記仮想平面に投影した重心投影点が前記凸包に含まれるときの前記３次元モデルの姿勢を安定姿勢と判別する安定姿勢判別工程と、を有し、
   前記３次元モデル姿勢選択工程では、前記複数の姿勢情報の全てを選択し終えるまで、姿勢情報を順次変更して選択し、
   前記３次元モデル姿勢設定工程、前記最下点座標抽出工程、前記投影点座標抽出工程、前記凸包計算工程、前記３次元モデル重心点計算工程、及び前記安定姿勢判別工程を、前記３次元モデル姿勢選択工程により前記３次元モデルの姿勢情報の選択が変更される度に実行する、
   ことを特徴とする請求項５に記載の姿勢認識方法。
8. 載置面上に載置された物体を撮像する撮像部を有し、前記物体の姿勢を認識する姿勢認識装置のコンピュータに、
   前記物体に対応した３次元モデルの情報を３次元モデル情報記憶部に記憶させる３次元モデル情報記憶工程と、
   前記３次元モデル情報記憶部から前記３次元モデルの情報を読み出して、前記物体が前記載置面上で静止すると予測される前記物体の姿勢に対応する前記３次元モデルの安定姿勢を計算する安定姿勢計算工程と、
   安定姿勢の前記３次元モデルが配置される仮想空間において前記撮像部により前記物体を撮像する撮像方向に対応する方向から、前記安定姿勢計算工程で計算された安定姿勢の前記３次元モデルを観測して得られる２次元投影画像を生成する２次元投影画像生成工程と、
   前記２次元投影画像生成工程により生成された前記２次元投影画像を２次元投影画像記憶部に記憶させる２次元投影画像記憶工程と、
   前記撮像部により撮像されて得られた撮像画像と、前記２次元投影画像記憶部に記憶された前記２次元投影画像との一致度を計算する画像照合工程と、
   前記２次元投影画像記憶部に記憶された２次元投影画像のうち、前記一致度が最も高い２次元投影画像を特定し、特定した２次元投影画像に対応する前記３次元モデルの姿勢を、前記物体の姿勢として認識する姿勢認識工程と、を実行させるためのプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。