JP2019063984A5

JP2019063984A5 - 情報処理装置及び情報処理方法

Info

Publication number: JP2019063984A5
Application number: JP2018182214A
Authority: JP
Filing date: 2018-09-27
Publication date: 2021-11-04

Description

本発明は、把持装置が対象物体を把持する際の把持位置を求めるための情報処理装置及び情報処理方法に関する。

上記課題を解決するために、本発明の情報処理装置は、把持装置が把持する対象物体を撮像して得られる撮像画像を取得する画像取得手段と、前記撮像画像における画像特徴を複数検出する画像特徴検出手段と、複数の前記画像特徴から、お互いに類似する画像特徴群を生成する生成手段と、前記画像取得手段による撮像画像において繰り返し現れている前記画像特徴群に対応する様々なサイズの単位候補を前記撮像画像内から検出する単位検出手段と、前記単位検出手段が検出した単位候補のうち少なくとも何れか１つの単位候補に対応する対象物体に対して前記把持装置の把持位置を決定する把持位置決定手段と、を有することを特徴とする。

Claims

把持装置が把持する対象物体を撮像して得られる撮像画像を取得する画像取得手段と、
前記撮像画像における画像特徴を複数検出する画像特徴検出手段と、
複数の前記画像特徴から、お互いに類似する画像特徴群を生成する生成手段と、
前記画像取得手段による撮像画像において繰り返し現れている前記画像特徴群に対応する様々なサイズの単位候補を前記撮像画像内から検出する単位検出手段と、
前記単位検出手段が検出した単位候補のうち少なくとも何れか１つの単位候補に対応する対象物体に対して前記把持装置の把持位置を決定する把持位置決定手段と、を有する情報処理装置。
前記単位検出手段は、前記画像特徴の相対位置関係から前記複数の画像特徴をクラスタリングすることで、前記画像特徴群の単位を検出することを特徴とする、
請求項１記載の情報処理装置。
前記単位検出手段は、前記画像特徴の特徴量をもとに画像特徴をクラスタリングすることで、前記画像特徴群の単位を検出することを特徴とする、
請求項１または２に記載の情報処理装置。
前記把持位置決定手段は、前記画像特徴群から構成される前記単位候補に基づき把持位置を決定することを特徴とする、
請求項１乃至３のいずれか１項に記載の情報処理装置。
前記把持位置決定手段は、複数の把持位置に対して、把持を行うための優先順位を付けることを特徴とする、
請求項１乃至４のいずれか１項記載の情報処理装置。
前記把持装置は、マニピュレータを備えたロボットシステムの前記マニピュレータに設けられており、
前記情報処理装置は、前記マニピュレータを制御する制御手段を更に有することを特徴とする、
請求項５記載の情報処理装置。
前記マニピュレータには撮像装置が設けられており、前記マニピュレータまたは前記撮像装置の姿勢情報を取得する姿勢情報取得手段を更に備え、
前記把持位置決定手段は、前記姿勢情報をもとに前記複数の把持位置に優先順位を付けることを特徴とする、
請求項６記載の情報処理装置。
前記把持装置が前記対象物体の把持に成功したか否かを判定する把持成否判定手段を更に備え、
前記把持位置決定手段は、前記把持成否判定手段が把持に失敗したと判定した場合に、前記把持位置とは異なる別の把持位置を決定することを特徴とする、
請求項１乃至７のいずれか１項記載の情報処理装置。
前記把持位置決定手段は、複数の把持位置を決定し、
前記把持装置が前記対象物体の把持に成功したか失敗したかを判定する把持成否判定手段を更に備え、
前記把持位置決定手段は、前記把持成否判定手段で把持が失敗したと判定された場合に、前記複数の把持位置の中から、把持に失敗した前記把持位置とは異なる別の把持位置を選択することを特徴とする、
請求項１乃至７のいずれか１項に記載の情報処理装置。
前記別の把持位置は、前記把持成否判定手段で把持が失敗したと判定された把持位置の決定に用いられた前記画像特徴群とは別の画像特徴群から前記別の把持位置を決定することを特徴とする、
請求項８または９のいずれかに記載の情報処理装置。
前記単位検出手段は前記単位候補を複数算出し、
前記別の把持位置は、前記把持成否判定手段で把持が失敗と判定された把持位置の決定に用いられた前記単位候補とは別の単位候補から前記別の把持位置を決定することを特徴とする、
請求項８または９のいずれか１項に記載の情報処理装置。
前記把持装置が前記対象物体の把持に成功したか失敗したかを判定する把持成否判定手段、および、
前記画像取得手段により取得した複数の撮像画像から前記対象物体の変位を検出し、検出された変位から前記撮像画像における前記対象物体に対応する領域を求める変位検出手段を備え、
前記把持成否判定手段で把持が失敗したと判定された場合に、
前記把持位置決定手段は、仮把持位置を設定し、
前記制御手段は、前記マニピュレータを制御して前記把持装置を前記仮把持位置に移動させて前記対象物体の把持を試行し、把持に成功した場合には、把持された対象物体を所定の微小距離で変位させ、
前記変位検出手段は、前記画像取得手段により取得した前記変位の前後の画像から前記対象物体に対応する領域を求め、
前記把持位置決定手段は、前記対象物体に対応する領域から前記把持位置を決定することを特徴とする、請求項６または７に記載の情報処理装置。
前記把持装置が前記対象物体の把持に成功したか否かを判定する把持成否判定手段、対象物体の画像特徴情報を保持する画像特徴情報保持手段、および前記単位検出手段が検出した前記画像特徴情報を画像特徴情報保持手段に登録する画像特徴情報登録手段を更に備え、
前記画像特徴情報登録手段は、前記把持成否判定手段が前記対象物体の把持に成功したと判定した場合に、前記対象物体の前記画像特徴情報を前記画像特徴情報保持手段に保持し、
前記単位検出手段は、前記画像特徴情報保持手段が保持する画像特徴情報をもとに単位を検出することを特徴とする、
請求項１から１２のいずれか１項に記載の情報処理装置。
前記画像特徴情報保持手段は、更に、前記対象物体の把持に成功した位置の位置情報と前記単位のサイズとを保持することを特徴とする、
請求項１３に記載の情報処理装置。
前記把持装置が前記対象物体の把持に成功したか否かを判定する把持成否判定手段、前記画像取得手段により取得した画像から前記対象物体のモデルを生成するモデル生成手段、前記モデルを保持するモデル保持手段、および、
前記モデルを用いて前記対象物体の位置姿勢を算出する位置姿勢算出手段を更に有し、
前記モデル生成手段は、前記把持成否判定手段が前記対象物体の把持に成功したと判定した場合に前記モデルを生成し、生成された前記モデルを前記モデル保持手段に入力して保持させ、
前記位置姿勢算出手段は、前記モデル保持手段が保持する前記モデルをもとに前記対象物体の位置姿勢を算出することを特徴とする、
請求項１乃至１４のいずれか1項に記載の情報処理装置。
前記単位候補または前記把持位置をユーザに対して表示するための表示手段を更に備えることを特徴とする、
請求項１乃至１５のいずれか１項に記載の情報処理装置。
ユーザが前記単位候補または把持位置を入力するための入力手段を更に備えることを特徴とする、
請求項１５項記載の情報処理装置。
把持装置が把持する対象物体を撮像して得られる撮像画像を取得する画像取得工程と、
前記撮像画像における画像特徴を複数検出する画像特徴検出工程と、
複数の前記画像特徴から、お互いに類似する画像特徴群を生成する生成工程と、
前記画像取得工程での撮像画像において繰り返し現れている前記画像特徴群に対応する様々なサイズの単位候補を前記撮像画像内から検出する単位検出工程と、
前記単位検出工程で検出した単位候補のうち少なくとも何れか１つの単位候補に対応する対象物体に対して前記把持装置の把持位置を決定する把持位置決定工程と、を有することを特徴とする情報処理方法。