JP2018039059A - 把持装置、把持方法、及びプログラム - Google Patents

Abstract

【課題】対象物を把持できたが対象物が大きく変形した場合を把持失敗として正確に判定すること。
【解決手段】把持装置は、把持手段が対象物を把持でき、かつ対象物の変形量が小さい把持成功、把持手段が対象物を把持でき、かつ対象物の変形量が大きい第１の把持失敗、および、把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された、把持手段による対象物の把持開始から把持完了までの画像情報の特徴量を、記憶し、その記憶された把持手段による対象物の把持開始から把持完了までの画像情報の特徴量のそれぞれと、特徴量算出手段により算出された把持手段による判定対象の対象物の把持開始から把持完了までの画像情報の特徴量と、の相関を算出し、判定対象の対象物の把持成否パターンが、最も相関の高い特徴量に対応付けられた把持成否パターンと判定する。
【選択図】図１

Description

本発明は、対象物の把持成否の判定を行う把持装置、把持方法、及びプログラムに関する。

対象物を把持するエンドエフェクタのセンサからの出力に基づいて、対象物の把持の成功及び失敗を判定し、把持を行う把持装置が知られている（例えば、特許文献１参照）。

特開２０１３−０１０１５５号公報

ところで、対象物が、例えば、布製品や紙製品などの、把持手段による把持前後において形状変化し易い物体であることが想定される。この場合、把持手段が対象物を把持できない場合は把持失敗と判定されるが、一方で、把持手段が対象物を把持できたが、このとき対象物が大きく変形した場合も把持失敗と考えられる。しかしながら、上記把持装置において、このような対象物が把持手段によって把持前後で形状変化する場合が想定されていない。このため、把持手段が対象物を把持できたが、対象物が大きく変形した場合を把持成功として誤判定される虞がある。

本発明は、かかる課題を解決するためになされたものであり、対象物を把持できたが対象物が大きく変形した場合を把持失敗として正確に判定できる把持装置、把持方法、及びプログラムを提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、対象物を把持する把持手段と、判定対象の対象物の画像情報を取得する画像取得手段と、前記画像取得手段により取得された判定対象の対象物の画像情報の特徴量を算出する特徴量算出手段と、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された、前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを、記憶する記憶手段と、前記記憶手段に記憶された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、前記特徴量算出手段により算出された把持手段による判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定する成否判定手段と、を備える、ことを特徴とする把持装置である。
この一態様において、前記成否判定手段により前記把持成功の把持成否パターンであると判定されたとき、前記把持手段が次のタスクを実行するように、該把持手段を制御し、前記成否判定手段により前記第１の把持失敗の把持成否パターンであると判定されたとき、前記把持手段の動作を停止する制御を行う制御手段を更にを備えていてもよい。
この一態様において、前記記憶手段は、更に、前記把持手段が対象物を移動させることができ、かつ該対象物の変形量が所定量未満で小さい移動成功、前記把持手段が対象物を移動させることができ、かつ該対象物の変形量が所定量以上で大きい第１の移動失敗、および、前記把持手段が対象物を移動させることができない第２の移動失敗、を含む移動成否パターンのそれぞれについて、予め取得された前記把持手段による対象物の把持完了から、該把持完了後、前記把持手段による対象物の移動が完了する移動完了までの画像情報の特徴量の時系列データを記憶しており、前記成否判定手段は、前記記憶手段に記憶された前記把持手段による対象物の把持完了から移動完了までの画像情報の特徴量の時系列データのそれぞれと、前記特徴量算出手段により算出された把持手段による判定対象の対象物の把持完了から移動完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた移動成否パターンと判定してもよい。
この一態様において、前記成否判定手段により前記第１の把持失敗の把持成否パターンであると判定されたとき、該第１の把持失敗の内容を報知する報知手段を更に備えていてもよい。
上記目的を達成するための本発明の一態様は、対象物を把持する把持手段と、前記対象物の画像情報を取得する画像取得手段と、前記画像取得手段により取得された対象物の画像情報の特徴量を算出する特徴量算出手段と、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンの判定を行う成否判定手段と、を備える把持装置であって、前記成否判定手段は、前記画像取得手段により取得された把持完了時の把持手段の画像情報に基づいて、前記把持完了時に前記把持手段が前記対象物を把持していると判定し、かつ、前記特徴量算出手段により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量が第１所定変化量未満であると判定したとき、前記把持成功の把持成否パターンであると判定し、前記画像取得手段により取得された把持完了時の把持手段の画像情報に基づいて、前記把持完了時に前記把持手段が前記対象物を把持していないと判定し、かつ、前記特徴量算出手段により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量が第１所定変化量以上であると判定したとき、前記第１の把持失敗の把持成否パターンであると判定し、前記画像取得手段により取得された把持完了時の把持手段の画像情報に基づいて、前記把持完了時に前記把持手段が前記対象物を把持していないと判定したとき、前記第２の把持失敗の把持成否パターンであると判定する、ことを特徴とする把持装置であってもよい。
上記目的を達成するための本発明の一態様は、判定対象の対象物の画像情報を取得するステップと、前記取得された判定対象の対象物の画像情報の特徴量を算出するステップと、把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを、記憶するステップと、前記記憶された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、前記算出された把持手段による判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定するステップと、を含む、ことを特徴とする把持方法であってもよい。
上記目的を達成するための本発明の一態様は、判定対象の対象物の画像情報を取得する処理と、前記取得された判定対象の対象物の画像情報の特徴量を算出する処理と、把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを、記憶する処理と、前記記憶された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、前記算出された把持手段による判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定する処理と、をコンピュータに実行させる、ことを特徴とするプログラムであってもよい。

本発明によれば、対象物を把持できたが対象物が大きく変形した場合を把持失敗として正確に判定できる把持装置、把持方法、及びプログラムを提供することができる。

本発明の実施形態１に係る把持装置の概略的なシステム構成を示すブロック図である。 ロボットアームの概略的構成を示すブロック図である。 本発明の実施形態１に係る把持方法の処理フローの一例を示すフローチャートである。

実施形態１
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態１に係る把持装置の概略的なシステム構成を示すブロック図である。本実施形態１に係る把持装置１は、例えば、布製品や紙製品などの形状変化し易い対象物の把持を行い、その把持の成否を判定する。

把持装置１は、まず、［１］対象物の画像情報の学習データを生成し記憶部５に記憶させる学習処理と、学習処理後に、［２］把持開始から把持完了までの対象物の画像情報に基づいて、その把持動作の成否を判定する判定処理と、を実行する。

把持装置１は、例えば、制御処理、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム、制御プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、それぞれ、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。

把持装置１は、対象物の画像を取得する画像取得部２と、ロボットアーム３の把持動作を実行する把持実行部４と、対象物を把持するロボットアーム３と、学習データを記憶する記憶部５と、対象物の把持位置を設定する把持位置設定部６と、対象物の把持の成否を判定する成否判定部７と、画像情報の特徴量を算出する特徴量算出部８と、ユーザに対して報知を行う報知部９と、を備えている。

画像取得部２は、画像取得手段の一具体例である。画像取得部２は、例えば、距離画像センサを用いて、対象物の画像情報を取得する。なお、画像情報は、距離情報を含んでいてもよい。例えば、画像情報は、センサ（計測点）から計測対象を撮像した画像情報とセンサから計測対象までの距離情報とを含んでおり、１画素につき、“ＲＧＢＤ（カラー＋距離）”または“グレースケール（輝度値）＋距離“を含んでいる。距離画像センサは、例えば、ステレオカメラ（３次元カメラ）、ＬＲＦ（レーザレンジファインダ）＋カメラ、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）などで構成される。

把持実行部４は、制御手段の一具体例である。把持実行部４は、ロボットアーム３の駆動を制御することで、対象物の把持を実行する。

ロボットアーム３は、把持手段の一具体例である。ロボットアーム３は、例えば、複数のリンク３１と、各リンク３１を回動可能に連結する関節部（手首関節、肘関節、肩関節など）３２と、その先端に設けられ対象物を把持するエンドエフェクタ３３と、を有する（図２）。

各関節部３２には、各関節部３２の回転情報を検出するエンコーダなどの回転センサ３４と、各関節部３２を駆動するサーボモータなどのアクチュエータ３５と、各関節部３２の操作力を検出する力センサ３６と、が設けれている。力センサ３６は、例えば、各関節部３２のトルクを検出するトルクセンサなどである。各関節部３２には、減速機構が設けられている。エンドエフェクタ３３は、例えば、複数の指部などで構成され、指部で挟み込むことで対象物を把持することができる。エンドエフェクタ３３には、エンドエフェクタ３３を駆動するアクチュエータ３７と、エンドエフェクタ３３の操作力を検出する力センサ３８と、が設けられている。

把持実行部４は、制御手段の一具体例である。把持実行部４は、例えば、各関節部３２の回転センサ３４からの回転情報（回転角など）と、力センサ３６からの操作力と、に基づいて、各関節部３２及びエンドエフェクタ３３のアクチュエータ３５、３７を制御することで、ロボットアーム３をフィードバック制御する。これにより、ロボットアーム３は、対象物を把持し、移動させることができる。

特徴量算出部８は、特徴量算出手段の一具体例である。特徴量算出部８は、画像取得部２により取得された画像情報に基づいて、その画像情報の特徴量を算出する。特徴量算出部８は、対象物形状（エッジ）の変化を捉えるのに好適な、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量を算出するのが好ましい。これにより、後述の形状変化する対象物のエッジの特徴を良好に捉え、より高精度のその把持成否判定を行うことができる。なお、特徴量算出部８は、ＳＵＲＦ（Speeded Up Robust Features）特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）特徴量などの特徴量を算出してもよく、任意の特徴量を算出してもよい。

記憶部５は、記憶手段の一具体例である。記憶部５は、対象物の画像情報、その特徴量などの学習データを、予め記憶する。記憶部５は、例えば、上記メモリなどで構成されている。

学習データは、例えば、以下のように対応付けられている。
（１）ロボットアーム３による把持前の対象物の画像情報と、その対象物を把持するのに最適な対象物の把持位置（把持姿勢）と、が複数組、対応付けられている。

（２）ロボットアーム３が対象物の把持を開始（把持開始）してから、その把持が完了（把持完了）するまでの、対象物の画像情報の特徴量の時系列データと、以下の把持成否パターン（ａ）〜（ｃ）のいずれかと、が、複数組対応付けられている。

上記把持成否パターンは、（ａ）ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、（ｂ）ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および（ｃ）ロボットアーム３が対象物を把持できない第２の把持失敗、を含む。

なお、上記ロボットアーム３が対象物を把持できるとは、例えば、ロボットアーム３のエンドエフェクタ３３の指部が対象物を挟み込み把持（保持）できた状態を指す。一方、ロボットアーム３が対象物を把持できないとは、例えば、ロボットアーム３のエンドエフェクタ３３の指部が対象物から外れ把持（保持）できていない状態を指す。

上記把持成否パターン（ｃ）の第２の把持失敗は、（ｃ−１）ロボットアーム３が対象物に接触できないため対象物を把持できず、対象物の形状変化がない把持失敗と、（ｃ−２）ロボットアーム３が対象物を把持しようとしたが、対象物が形状変化し把持できなかった把持失敗と、を含んでいる。対象物の変形量とは、例えば、対象物が直方体である場合、縦方向、横方向、あるいは高さ方向の対象物の寸法変化量であり、対象物が球形である場合、その直径の寸法変化量である。また、所定量は、対象物の性質等を考慮して適宜設定される。

把持位置設定部６は、記憶部５に記憶された学習データである把持前の対象物の画像情報と、画像取得部２により取得された対象物の画像情報と、に基づいて、対象物の把持位置を設定する。例えば、把持位置設定部６は、記憶部５に記憶された学習データである把持前の対象物の画像情報と、画像取得部２により取得された対象物の画像情報とのマッチングを行う。把持位置設定部６は、マッチングの結果、画像取得部２により取得された対象物の画像情報と最も尤度が高い、記憶部５の学習データの対象物の画像情報を選択する。そして、把持位置設定部６はその選択した対象物の画像情報に対応付けられた把持位置を、対象物の把持位置として設定する。把持実行部４は、把持位置設定部６により設定された対象物の把持位置に基づいて、逆運動力学を用いて、ロボットアーム３の各関節の回転角を算出し、算出した回転角に基づいて、ロボットアーム３を制御し、該対象物の把持を開始する。

成否判定部７は、成否判定手段の一具体例である。成否判定部７は、記憶部５に記憶された学習データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データに基づいて、特徴量算出部８により算出された、判定データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データが、把持成否パターン（ａ）〜（ｃ）のいずれに該当するかを判定する。

［学習処理］
上述したように、本実施形態１に係る把持装置１は、まず、対象物の画像情報の学習データを生成し記憶部５に記憶させる処理を行う。

画像取得部２は、ロボットアーム３による把持前の対象物の画像情報を取得する。把持実行部４は、上述したロボットアーム３を制御して、対象物を把持する。このとき、画像取得部２は、対象物の把持開始から把持完了までの画像情報の時系列データを取得する。特徴量算出部８は、画像取得部２により取得されたロボットアーム３の把持開始から把持完了までの画像情報の時系列データに基づいて、その画像情報の特徴量の時系列データを夫々算出する。上記処理は複数回繰り返される。

記憶部５は、上述のように、画像取得部２に取得された把持前の対象物の画像情報と、その対象物を把持するのに最適な対象物の把持位置と、を複数組、対応付けて、学習データとして記憶する。記憶部５は、上述のように、画像取得部２に取得された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、把持成否パターン（ａ）〜（ｃ）のいずれかと、を、複数組対応付けて、学習データとして記憶する。
上記対応付けの学習には、例えば、ＳＶＭ（support vector machine）又はランダムフォレスト（Random Forest）などが用いられている。

［判定処理］
続いて、本実施形態１に係る把持装置１は、上記[学習処理]を行った後、把持開始から把持完了までの対象物の画像情報に基づいて、その把持動作の成否を判定する判定処理を行う。

把持実行部４は、ロボットアーム３の駆動を制御することで、対象物の把持を行う。
画像取得部２は、判定データとなる対象物の把持開始から把持完了までの画像情報の時系列データを取得する。そして、特徴量算出部８は、画像取得部２により取得されたロボットアーム３の把持開始から把持完了までの画像情報の時系列データに基づいて、その画像情報の特徴量の時系列データを算出する。

成否判定部７は、記憶部５に記憶された学習データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、特徴量算出部８により算出された判定データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の比較を行う。

例えば、成否判定部７は、記憶部５の学習データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、特徴量算出部８により算出された判定データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関値をそれぞれ算出する。そして、成否判定部７は、記憶部５の学習データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの中から、算出した相関値が最も大きい特徴量の時系列データを選択し、該選択した特徴量の時系列データに対応付けられた把持成否パターン（ａ）〜（ｃ）であると判定する。なお、成否判定部７は、上記相関値として、例えば、ピアソンの積率相関係数を算出する。

ところで、対象物が、例えば、布製品や紙製品などの、ロボットアームによる把持前後において形状変化し易い物体であることが想定される。この場合、ロボットアームが対象物を把持できない場合は把持失敗と判定されるが、一方で、ロボットアームが対象物を把持できたが、このとき対象物が大きく変形した場合も把持失敗と考えられる。しかしながら、従来の把持装置において、このような対象物がロボットアームによって把持前後で形状変化し易い場合が想定されていない。このため、ロボットアームが対象物を把持できたが、このとき対象物が大きく変形した場合を把持成功として誤判定される虞がある。

これに対し、本実施形態に係る把持装置１においては、上述の如く、[学習処理]において、記憶部５は、（ａ）ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、（ｂ）ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および（ｃ）ロボットアーム３が対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された、ロボットアーム３による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを記憶する。

そして、[判定処理]において、成否判定部７は、記憶部５に記憶されたロボットアーム３による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、特徴量算出部８により算出された、判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関値を算出する。そして、成否判定部７は、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定する。

これにより、把持成否パターンに、上記（ａ）把持成功および、特に（ｃ）第２の把持失敗と、明確に区別して、（ｂ）ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量以上である第１の把持失敗、を含めることができる。したがって、対象物を把持できたが対象物が所定量以上で大きく変形した場合を把持失敗として正確に判定できる。

続いて、上記把持成否パターン（ａ）〜（ｃ）の判定後の処理について説明する。
成否判定部７が把持成功（把持成否パターン（ａ）の把持成功）と判定したとき、把持実行部４は、ロボットアーム３が次のタスクを実行するように、ロボットアーム３を制御する。この場合、ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が小さいため、ロボットアーム３は次のタスクをそのまま実行できる。

一方、成否判定部７が把持成否パターン（ｂ）の第１の把持失敗であると判定する場合、ロボットアーム３が対象物を把持できているが、対象物の変形量が所定量以上で大きい。この場合、例えば、ロボットアーム３が、その後、対象物を移動するなどの次のタスクを行うと、対象物の変形量が更に大きくなり、さらには把持している対象物を落とすなどの、その後の動作失敗に繋がる可能性が高い。このため、把持実行部４は、一旦、ロボットアーム３の動作を停止する制御を行う。

このとき、例えば、ユーザは自らの手で、あるいはロボットアーム３などを用いて、対象物を、元の形状に戻すあるいは近付ける修正を行ってもよい。この場合、把持位置設定部６は、再度学習データのマッチングを行い、対象物の把持位置の再設定を行う。具体的には、把持位置設定部６は、前回選択した対象物の画像情報を除いて、画像取得部２により取得された対象物の画像情報と最も尤度が高い、記憶部５の学習データの対象物の画像情報を選択する。そして、把持位置設定部６はその選択した対象物の画像情報に対応付けられた把持位置を、対象物の把持位置として再設定する。把持実行部４は、把持位置設定部６により再設定された対象物の把持位置に基づいて、ロボットアーム３を制御し、該対象物の把持を再度開始する。
以上のようにして、ロボットアーム３に把持された対象物の変形量が大きい場合に、ロボットアーム３のその後の動作を確実に停止できる。さらに、対象物の形状が修正等された場合は、ロボットアーム３はその対象物を再把持できる。
なお、成否判定部７は、（ｂ）ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量以上である第１の把持失敗の把持成否パターンと判定したとき、その旨をユーザに報知してもよい。成否判定部７は、例えば、スピーカ、表示装置、などの報知部９を用いて、ユーザに対して報知を行う。これにより、対象物を把持できたが、対象物が大きく変形したために把持失敗であることをユーザに明確に報知できる。

成否判定部７が把持成否パターン（ｃ）の第２の把持失敗であると判定すると、把持位置設定部６は、再度学習データのマッチングを行い、対象物の把持位置の再設定を行う。
ここで、把持成否パターン（ｃ）の第２の把持失敗は、上述の如く、（ｃ−１）ロボットアーム３が対象物に接触できないため対象物を把持できず、対象物の形状変化がない場合と、（ｃ−２）ロボットアーム３が対象物を把持しようとしたが対象物が形状変化し把持できなかった場合と、を含んでいる。

この場合、記憶部５は、例えば、ロボットアーム３による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、（ｃ−１）ロボットアーム３が対象物に接触できないため対象物を把持できず、対象物の形状変化がない把持失敗と、（ｃ−２）ロボットアーム３が対象物を把持しようとしたが対象物が形状変化し把持できなかった把持失敗と、を対応付けて更に記憶していてもよい。

成否判定部７は、記憶部５の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、特徴量算出部８により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関値をそれぞれ算出する。そして、成否判定部７は、記憶部５の学習データである把持開始から把持完了までの画像情報の特徴量の時系列データの中から、算出した相関値が最も大きい特徴量の時系列データを選択し、該選択した特徴量の時系列データに対応付けられた（ｃ−１）又は（ｃ−２）の第２の把持失敗であると判定する。

成否判定部７が、（ｃ−１）の第２の把持失敗であると判定を行ったとき、対象物は形状変化していない。このため、把持実行部４は、次のように対象物の再把持を実行する。
例えば、把持位置設定部６は、前回選択した対象物の画像情報を除いて、画像取得部２により取得された対象物の画像情報と最も尤度が高い、記憶部５の学習データの対象物の画像情報を選択する。そして、把持位置設定部６はその選択した対象物の画像情報に対応付けられた把持位置を、対象物の把持位置として再設定する。把持実行部４は、把持位置設定部６により再設定された対象物の把持位置に基づいて、ロボットアーム３を制御し、該対象物の把持を再度開始する。

一方、成否判定部７が、把持成否パターン（ｃ−２）の第２の把持失敗であると判定を行ったとき、対象物は大きく形状変化している。このため、ロボットアーム３が、その形状変化した対象物の把持を行った場合、再度、把持失敗となる可能性が高い。したがって、把持実行部４は、一旦、ロボットアーム３の動作を停止する制御を行う。

その後、例えば、ユーザは自らの手で、あるいはロボットアーム３などを用いて、対象物を元の形状に戻すあるいは近付ける修正を行ってもよい。この場合、上記把持成否パターン（ｃ−１）と同様に、把持位置設定部６は、再度学習データのマッチングを行い、対象物の把持位置の再設定を行う。例えば、把持位置設定部６は、前回選択した対象物の画像情報を除いて、画像取得部２により取得された対象物の画像情報と最も尤度が高い、記憶部５の学習データの対象物の画像情報を選択する。そして、把持位置設定部６はその選択した対象物の画像情報に対応付けられた把持位置を、対象物の把持位置として再設定する。把持実行部４は、把持位置設定部６により再設定された対象物の把持位置に基づいて、ロボットアーム３を制御し、該対象物の把持を再度開始する。
以上のようにして、ロボットアーム３が対象物を把持できなかった場合でも、その対象物を再把持できる。

図３は、本実施形態１に係る把持方法の処理フローの一例を示すフローチャートである。
把持位置設定部６は、マッチングを行い、画像取得部２により取得された対象物の画像情報と最も尤度が高い、記憶部５の学習データの対象物の画像情報を選択する。そして、把持位置設定部６はその選択した対象物の画像情報に対応付けられた把持位置を、対象物の把持位置として設定する（ステップＳ１０１）。

把持実行部４は、把持位置設定部６により設定された対象物の把持位置に基づいて、ロボットアーム３を制御し、該対象物の把持を開始する（ステップＳ１０２）。
画像取得部２は、判定データとなる対象物の把持開始から把持完了までの対象物の画像情報の時系列データを取得する（ステップＳ１０３）。

特徴量算出部８は、画像取得部２により取得された対象物の時系列の画像情報に基づいて、判定データである画像情報の特徴量を算出する（ステップＳ１０４）。

成否判定部７は、記憶部５の学習データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、特徴量算出部８により算出された判定データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関値をそれぞれ算出する。そして、成否判定部７は、記憶部５の学習データである対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの中から、算出した相関値が最も大きい特徴量の時系列データを選択し、該選択した特徴量の時系列データに対応付けられた把持成否パターン（ａ）〜（ｃ）であると判定する（ステップＳ１０５）。

把持実行部４は、成否判定部７により判定された把持成否パターン（ａ）〜（ｃ）に基づいて、ロボットアーム３の動作を制御する（ステップＳ１０６）。

以上、本実施形態１に係る把持装置１において、記憶部５は、ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、ロボットアーム３が対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、ロボットアーム３が対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された、ロボットアーム３による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを記憶する。成否判定部７は、記憶部５に記憶されたロボットアーム３による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、特徴量算出部８により算出された、判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関値を算出する。そして、成否判定部７は、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定する。
これにより、把持成功、第１の把持失敗、及び第２の把持失敗を明確に区別して判定できる。したがって、対象物を把持できたが対象物が所定量以上で大きく変形した場合を把持失敗として正確に判定できる。

実施形態２
本発明の実施形態２において、成否判定部７は、ロボットアーム３が対象物の把持を完了（把持完了）してから、その対象物の移動（持上げ、持下げ、水平方向にスライド、など）を完了（移動完了）するまでの、移動動作の成否を判定する。これにより、把持完了後の移動動作についても、対象物を移動できたが対象物が所定量以上で大きく変形した場合を移動失敗として正確に判定できる。

画像取得部２は、学習データとなる、対象物の把持完了から移動完了までの、その対象物の画像情報の時系列データを複数取得する。特徴量算出部８は、画像取得部２により取得されたロボットアーム３の把持完了から移動完了までの画像情報の時系列データに基づいて、その画像情報の特徴量の時系列データを夫々算出する。

記憶部５は、上記算出された、対象物の把持完了から移動完了までの画像特徴量の時系列データと、以下の移動成否パターン（ｄ）〜（ｆ）のいずれかと、を対応付けて学習データとして記憶している。上記移動成否パターンは、（ｄ）ロボットアーム３が対象物を移動させることができ、かつ該対象物の変形量が所定量未満で小さい移動成功、（ｅ）ロボットアーム３が対象物を移動させることができ、かつ該対象物の変形量が所定量以上で大きい第１の移動失敗、および（ｆ）ロボットアーム３が対象物を移動させることができない第２の移動失敗、を含む。なお、上記（ｆ）の第２の移動失敗は、例えば、ロボットアーム３のエンドエフェクタ３３が、移動中に把持している対象物を落とした場合などが含まれる。

把持実行部４は、ロボットアーム３の駆動を制御することで、対象物を把持完了の状態から移動させる。
画像取得部２は、判定データとなる、対象物の把持完了から移動完了までの、その対象物の画像情報の時系列データを取得する。特徴量算出部８は、画像取得部２により取得されたロボットアーム３の把持完了から移動完了までの画像情報の時系列データに基づいて、その画像情報の特徴量の時系列データを算出する。

成否判定部７は、記憶部５に記憶された学習データである対象物の把持完了から移動完了までの画像情報の特徴量の時系列データと、特徴量算出部８により算出された判定データである対象物の把持完了から移動完了までの画像情報の特徴量の時系列データと、の比較を行う。例えば、成否判定部７は、記憶部５の学習データである把持完了から移動完了までの画像情報の特徴量の時系列データと、特徴量算出部８により算出された判定データである対象物の把持完了から移動完了までの画像情報の特徴量の時系列データと、の相関値をそれぞれ算出する。そして、成否判定部７は、記憶部５の学習データである把持完了から移動完了までの画像情報の特徴量の時系列データの中から、算出した相関値が最も大きい特徴量の時系列データを選択し、該選択した特徴量の時系列データに対応付けられた移動成否パターン（ｄ）〜（ｆ）であると判定する。

把持実行部４は、例えば、成否判定部７により把持成功（把持成否パターン（ａ）の把持成功）と判定されたとき、ロボットアーム３が移動動作を行うように、ロボットアーム３を制御する。その後、成否判定部７は、対象物の把持完了から移動完了までの移動動作の成否を判定する。

把持実行部４は、成否判定部７により移動成否パターン（ｄ）の移動成功と判定されると、ロボットアーム３が次のタスクを実行するように、ロボットアーム３を制御する。この場合、ロボットアーム３が対象物を移動でき、かつ該対象物の変形量が小さいため、ロボットアーム３は次のタスクをそのまま実行できる。

一方で、成否判定部７が移動成否パターン（ｅ）及び（ｆ）の第１及び第２の移動失敗であると判定すると、例えば、把持実行部４は、ロボットアーム３が次のタスクを停止するように、ロボットアーム３を制御する。この場合、対象物は大きく形状変化しているため、把持実行部４は、一旦、ロボットアーム３の動作を停止する制御を行う。

以上のように、ロボットアーム３が対象物を把持でき、かつ該対象物の変形が小さい把持成功であることを確認した上で、その後の対象物の移動を行い、さらに、対象物の形状変化を考慮してその移動動作の成否を判定する。これにより、対象物の把持開始から把持完了までだけでなく、対象物の把持完了から移動完了までについても、対象物が所定量以上で大きく変形した場合を失敗として正確に判定でき、ロボットアーム３の動作を確実に停止できる。
なお、本実施形態２において、他の構成は上記実施形態１と略同一であるため、同一部分には同一符号を付して詳細な説明は省略する。

実施形態３
本発明の実施形態３において、成否判定部７は、特徴量算出部８により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量と、把持完了時のロボットアーム３による対象物の把持の有無と、に基づいて、把持成否パターン（ａ）〜（ｃ）を判定してもよい。

例えば、把持成否パターン（ａ）の把持成功の場合、対象物の把持開始から把持完了まで、対象物の変形量は小さく、対象物の形状は略維持された状態である。このため、把持開始から把持完了まで、時系列の画像情報の特徴量の変化は小さい。さらに、把持完了時において、ロボットアーム３のエンドエフェクタ３３は、対象物を把持している。

把持成否パターン（ｂ）の第１の把持失敗の場合、把持開始から把持完了まで、対象物の変形量は、所定量以上で大きい。このため、把持開始から把持完了まで、時系列の画像情報の特徴量の変化は大きい。さらに、把持完了時において、ロボットアーム３のエンドエフェクタ３３は、対象物を把持している。

把持成否パターン（ｃ）の第２の把持失敗の場合、把持完了時において、ロボットアーム３のエンドエフェクタ３３は、対象物を把持していない。

上述した、把持開始から把持完了までの画像情報の特徴量の時系列データの変化量と、把持完了時のロボットアーム３による対象物の把持の有無と、に着目して、次のように、把持成否パターン（ａ）〜（ｃ）の判定を行う。

成否判定部７は、画像取得部２により取得された把持完了時のロボットアーム３のエンドエフェクタ３３の画像情報に基づいて、把持完了時にロボットアーム３のエンドエフェクタ３３が対象物を把持していると判定し、かつ、特徴量算出部８により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量が第１所定変化量未満で小さいと判定したとき、把持成否パターン（ａ）の把持成功であると判定する。なお、第１所定変化量は、例えば、対象物の性質などに基づいて記憶部５などに予め設定されている。

成否判定部７は、画像取得部２により取得された把持完了時のロボットアーム３のエンドエフェクタ３３の画像情報に基づいて、把持完了時にロボットアーム３のエンドエフェクタ３３が対象物を把持していると判定し、かつ、特徴量算出部８により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量が第１所定変化量以上で大きいと判定したとき、把持成否パターン（ｂ）の第１の把持失敗であると判定する。

成否判定部７は、画像取得部２により取得された把持完了時のロボットアーム３のエンドエフェクタ３３の画像情報に基づいて、把持完了時にロボットアーム３のエンドエフェクタ３３が対象物を把持していないと判定したとき、把持成否パターン（ｃ）の第２の把持失敗であると判定する。

なお、記憶部５は、ロボットアーム３のエンドエフェクタ３３が対象物を把持しているときと、対象物を把持していないとき、のエンドエフェクタ３３の画像情報を予め記憶していてもよい。成否判定部７は、記憶部５に記憶されたこれら画像情報と、画像取得部２により取得された把持完了時のエンドエフェクタ３３の画像情報と、を比較することで、把持完了時にロボットアーム３のエンドエフェクタ３３が対象物を把持していかるか否かを判定できる。
本実施形態３によれば、対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量と、把持完了時のロボットアーム３による対象物の把持の有無と、に基づいて、対象物を把持できたが対象物が所定量以上で大きく変形した場合を把持失敗として正確に判定できる。
なお、本実施形態３において、他の構成は上記実施形態１と略同一であるため、同一部分には同一符号を付して詳細な説明は省略する。

本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

本発明は、例えば、図３に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ 把持装置、２ 画像取得部、３ ロボットアーム、４ 把持実行部、５ 記憶部、６ 把持位置設定部、７ 成否判定部、８ 特徴量算出部、９ 報知部

Claims (7)

1. 対象物を把持する把持手段と、
   判定対象の対象物の画像情報を取得する画像取得手段と、
   前記画像取得手段により取得された判定対象の対象物の画像情報の特徴量を算出する特徴量算出手段と、
   前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された、前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを、記憶する記憶手段と、
   前記記憶手段に記憶された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、前記特徴量算出手段により算出された把持手段による判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定する成否判定手段と、
   を備える、ことを特徴とする把持装置。
2. 請求項１記載の把持装置であって、
   前記成否判定手段により前記把持成功の把持成否パターンであると判定されたとき、前記把持手段が次のタスクを実行するように、該把持手段を制御し、前記成否判定手段により前記第１の把持失敗の把持成否パターンであると判定されたとき、前記把持手段の動作を停止する制御を行う制御手段を更にを備える、
   ことを特徴とする把持装置。
3. 請求項１又は２記載の把持装置であって、
   前記記憶手段は、更に、
   前記把持手段が対象物を移動させることができ、かつ該対象物の変形量が所定量未満で小さい移動成功、前記把持手段が対象物を移動させることができ、かつ該対象物の変形量が所定量以上で大きい第１の移動失敗、および、前記把持手段が対象物を移動させることができない第２の移動失敗、を含む移動成否パターンのそれぞれについて、予め取得された前記把持手段による対象物の把持完了から、該把持完了後、前記把持手段による対象物の移動が完了する移動完了までの画像情報の特徴量の時系列データを記憶しており、
   前記成否判定手段は、
   前記記憶手段に記憶された前記把持手段による対象物の把持完了から移動完了までの画像情報の特徴量の時系列データのそれぞれと、前記特徴量算出手段により算出された把持手段による判定対象の対象物の把持完了から移動完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた移動成否パターンと判定する、
   ことを特徴とする把持装置。
4. 請求項１乃至３のうちのいずれか１項記載の把持装置であって、
   前記成否判定手段により前記第１の把持失敗の把持成否パターンであると判定されたとき、該第１の把持失敗の内容を報知する報知手段を更に備える、
   ことを特徴とする把持装置。
5. 対象物を把持する把持手段と、
   前記対象物の画像情報を取得する画像取得手段と、
   前記画像取得手段により取得された対象物の画像情報の特徴量を算出する特徴量算出手段と、
   前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンの判定を行う成否判定手段と、
   を備える把持装置であって、
   前記成否判定手段は、
   前記画像取得手段により取得された把持完了時の把持手段の画像情報に基づいて、前記把持完了時に前記把持手段が前記対象物を把持していると判定し、かつ、前記特徴量算出手段により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量が第１所定変化量未満であると判定したとき、前記把持成功の把持成否パターンであると判定し、
   前記画像取得手段により取得された把持完了時の把持手段の画像情報に基づいて、前記把持完了時に前記把持手段が前記対象物を把持していないと判定し、かつ、前記特徴量算出手段により算出された対象物の把持開始から把持完了までの画像情報の特徴量の時系列データの変化量が第１所定変化量以上であると判定したとき、前記第１の把持失敗の把持成否パターンであると判定し、
   前記画像取得手段により取得された把持完了時の把持手段の画像情報に基づいて、前記把持完了時に前記把持手段が前記対象物を把持していないと判定したとき、前記第２の把持失敗の把持成否パターンであると判定する、
   ことを特徴とする把持装置。
6. 判定対象の対象物の画像情報を取得するステップと、
   前記取得された判定対象の対象物の画像情報の特徴量を算出するステップと、
   把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを、記憶するステップと、
   前記記憶された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、前記算出された把持手段による判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定するステップと、
   を含む、ことを特徴とする把持方法。
7. 判定対象の対象物の画像情報を取得する処理と、
   前記取得された判定対象の対象物の画像情報の特徴量を算出する処理と、
   把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量未満で小さい把持成功、前記把持手段が前記対象物を把持でき、かつ該対象物の変形量が所定量以上で大きい第１の把持失敗、および、前記把持手段が前記対象物を把持できない第２の把持失敗、を含む把持成否パターンのそれぞれについて予め取得された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データを、記憶する処理と、
   前記記憶された前記把持手段による対象物の把持開始から把持完了までの画像情報の特徴量の時系列データのそれぞれと、前記算出された把持手段による判定対象の対象物の把持開始から把持完了までの画像情報の特徴量の時系列データと、の相関を算出し、前記判定対象の対象物の把持成否パターンが、最も相関の高い特徴量の時系列データに対応付けられた把持成否パターンと判定する処理と、
   をコンピュータに実行させる、ことを特徴とするプログラム。

Images