JP2020082253A - 画像情報処理装置、把持システム、および画像情報処理方法 - Google Patents

Abstract

【課題】ハンド機構による把持の対象となる対象物において、該ハンド機構の指部をアプローチさせることが可能な部分を把握する。【解決手段】画像情報処理装置において、画像から、第１探索枠を用いて収容容器を探索し、第２探索枠を用いて対象物を探索する。第２探索枠には複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されている。そして、第２探索枠内に存在する一の対象物について、該第２探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された所定のアプローチ方向からハンド機構の指部をアプローチさせることが可能か否かが判定される。【選択図】図１８

Description

本発明は、複数の指部を有するハンド機構によって対象物を把持する把持システム、および、該把持システムにおいて該対象物を含む画像情報を処理するための画像情報処理装置、画像情報処理方法に関する。

従来、複数の指部を有するハンド機構によって対象物を把持する把持システムが開発されている。また、把持システムとして、対象物を含む画像を撮像する撮像装置を備えたものが知られている。このような撮像装置を備えた把持システムでは、該撮像装置によって取得された画像情報に基づいて対象物を認識する。さらに、認識された対象物を把持すべく、画像情報に基づいてハンド機構を制御する。

例えば、特許文献１には、複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラを備えたピッキングシステム（把持システム）が開示されている。この特許文献１に記載のピッキングシステムは、単眼カメラに加えて、複数の箱状ワーク全体の三次元形状を計測する距離センサを備えている。そして、単眼カメラが取得した全体画像から箱状ワークのエッジ部分を検出し、検出されたエッジ部分を境界として、該エッジ部分に対応する、距離センサによる計測点の点群を抽出する。さらに、抽出された点群に基づいて、距離センサによって計測された三次元形状から各箱状ワークの位置と姿勢とを認識する。その上で、ピッキングの対象となる箱状ワークの位置と姿勢を出力する。

特許第５４２９６１４号公報

ハンド機構によって対象物を把持しようとした場合、先ずは、該ハンド機構の指部を該対象物にアプローチさせた上で、該指部を該対象物に接触させる必要がある。しかしながら、対象物の載置状況によっては、該対象物において、ハンド機構の指部をアプローチさせることが困難な部分が生じる場合がある。つまり、対象物におけるいずれかの部分が、他の対象物、または、該対象物を収容する収容容器に接触した状態で、該対象物が載置されている場合、その接触部分にハンド機構の指部をアプローチさせることは困難である。また、対象物におけるいずれかの部分が、他の対象物または収容容器に接触はしていない場合であっても、その部分と他の対象物または収容容器との間の距離（間隔）が小さすぎる場合は、やはり、その部分にハンド機構の指部をアプローチさせることは困難である。したがって、ハンド機構によって対象物を把持しようとした場合、該対象物において、ハンド機構の指部をアプローチさせることが可能な部分を把握する必要がある。

本発明は、上記問題に鑑みてなされたものであって、ハンド機構による把持の対象となる対象物において、該ハンド機構の指部をアプローチさせることが可能な部分を把握することが可能な技術を提供することを目的とする。

本発明に係る画像情報処理装置は、収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持する把持システムであって、該収容容器と、該収容容器に収容された少なくとも一つの該対象物と、を含んだ画像を撮像する撮像装置を有する把持シス
テムに適用され、該撮像装置によって取得された画像情報を処理する画像情報処理装置において、予め記憶された、前記収容容器の形状情報と、前記対象物の形状情報と、に基づいて、前記撮像装置によって撮像された画像から、前記収容容器探索用の探索枠である第１探索枠を用いて前記収容容器を探索し、前記対象物探索用の探索枠である第２探索枠を用いて前記対象物を探索する探索部と、前記収容容器に収容された一の対象物において、前記ハンド機構の前記指部をアプローチさせることが可能な部分を、前記探索部による探索結果から得られる、一の対象物と、他の対象物および前記収容容器それぞれとの接触状態に基づいて検出する検出部と、を備え、前記第２探索枠における所定の位置に複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されており、前記検出部が、前記第２探索枠内に存在する一の対象物について、該第２探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された前記所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることが可能か否かを判定する。

本発明によれば、ハンド機構による把持の対象となる対象物において、該ハンド機構の指部をアプローチさせることが可能な部分を把握することができる。

実施例に係る把持システムの概略構成を示す図である。 実施例に係るロボットアームの概略構成を示す図である。 実施例に係るハンド機構の斜視図である。 実施例に係るハンド機構の上面図である。 実施例に係るハンド機構の指部における第２関節部の可動範囲を示す図である。 実施例に係るハンド機構の指部における第１関節部の可動範囲を示す図である。 実施例に係るアーム制御装置、ハンド制御装置、画像情報処理装置に含まれる各機能部を示すブロック図である。 直接把持によって対象物を把持したときのハンド機構および該対象物の状態を示す図である。 傾倒把持によって対象物を把持すべく、ハンド機構の第１指部によって該対象物を傾倒させる際の動作を示す第１の図である。 傾倒把持によって対象物を把持すべく、ハンド機構の第１指部によって該対象物を傾倒させる際の動作を示す第２の図である。 ハンド機構の第２指部、第３指部、および第４指部によって対象物を把持した状態を示す図である。 ずらし把持によって対象物を把持すべく、ハンド機構の第１指部によって該対象物の位置をずらす際の動作を示す第１の図である。 ずらし把持によって対象物を把持すべく、ハンド機構の第１指部によって該対象物の位置をずらす際の動作を示す第２の図である。 画像情報処理の第１の具体例における、撮像装置によって撮像された画像を示す図である。 画像情報処理の第１の具体例における、収容容器の正面を視点としたときの投影画像を示す図である。 図１５に示す投影画像から収容容器および対象物が探索された様子を示す図である。 画像情報処理の第１の具体例における、第２探索枠に設定された複数の判定ポイント、および、各判定ポイントに対して設定された所定のアプローチ方向を示す図である。 画像情報処理の第１の具体例における、アプローチ判定処理の結果の一部を示す図である。 画像情報処理の第２の具体例における、撮像装置によって撮像された画像を示す図である。 画像情報処理の第２の具体例における、収容容器の天面を視点としたときの投影画像を示す図である。 図２０に示す投影画像から収容容器および対象物が探索された様子を示す図である。 画像情報処理の第２の具体例における、アプローチ判定処理の結果の一部を示す図である。 画像情報処理の第３の具体例における、撮像装置によって撮像された画像を示す図である。 画像情報処理の第３の具体例における、収容容器の天面を視点としたときの投影画像を示す図である。 図２４に示す投影画像から収容容器および対象物が探索された様子を示す図である。 画像情報処理の第３の具体例における、第２探索枠に設定された複数の判定ポイント、および、各判定ポイントに対して設定された所定のアプローチ方向を示す図である。 判定距離の具体例について説明するための図である。 画像情報処理の第３の具体例における、アプローチ判定処理の結果の一部を示す図である。 画像情報処理装置において行われる画像情報処理のフローを示すフローチャートである。 ハンド機構によって対象物を把持する際にハンド制御装置によって行われるハンド制御のフローを示すフローチャートである。 実施例の変形例における、収容容器１１と、該収容容器１１に収容された二個の対象物との様子を示す図である。 実施例の変形例における、第１アプローチ形態を示す図である。 実施例の変形例における、第２アプローチ形態を示す図である。 ロボットアームの平面側斜視図である。 ロボットアームの底面側斜視図である。 ロボットアームの正面図である。 ロボットアームの背面図である。 ロボットアームの平面図である。 ロボットアームの底面図である。 ロボットアームの右側面図である。 ロボットアームの左側面図である。 ハンド機構の正面側斜視図である。 ハンド機構の背面側斜視図である。 ハンド機構の正面図である。 ハンド機構の背面図である。 ハンド機構の平面図である。 ハンド機構の底面図である。 ハンド機構の右側面図である。 ハンド機構の左側面図である。 台座部の平面側斜視図である。 台座部の底面側斜視図である。 台座部の正面図である。 台座部の背面図である。 台座部の平面図である。 台座部の底面図である。 台座部の右側面図である。 台座部の左側面図である。

本発明に係る把持システムは、収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持するシステムである。この把持システムは、収容容器と、該収容容器に収容された少なくとも一つの対象物と、を含んだ画像を撮像する撮像装置を有している。そして、本発明に係る画像情報処理装置では、探索部が、収容容器の形状情報と対象物の形状情報とに基づいて、撮像装置によって撮像された画像から、該収容容器と該対象物とを探索する。さらに、画像情報処理装置では、検出部が、収容容器に収容された一の対象物において、ハンド機構の指部をアプローチさせることが可能な部分を、一の対象物と、他の対象物および収容容器それぞれとの接触状態に基づいて検出する。

より詳細には、画像情報処理装置には、収容容器の形状情報と対象物の形状情報とが予め記憶されている。なお、それぞれの形状情報には、収容容器または対象物の形状に関する情報のみならず、その寸法に関する情報も含まれている。そして、探索部が、これらの形状情報に基づいて、撮像装置によって撮像された画像上において収容容器と対象物とを探索する。このとき、探索部は、第１探索枠を用いて収容容器を探索し、第２探索枠を用いて対象物を探索する。第１探索枠は収容容器探索用の探索枠であり、第２探索枠は対象物探索用の探索枠である。より詳しくは、探索部は、第１探索枠によって画像上を探索したときに、該第１探索枠内に、収容容器の形状情報と合致する形状が検出された場合に、該第１探索枠内に収容容器が存在すると認識する。なお、第１探索枠は、収容容器における対象物を収容する部分を探索するための探索枠であってもよい。また、探索部は、第２探索枠によって画像上を探索したときに、該第２探索枠内に、対象物の形状情報と合致する形状が検出された場合に、該第２探索枠内に対象物が存在すると認識する。

また、第２探索枠には、その所定の位置に複数の判定ポイントが予め設定されている。さらに、各判定ポイントに対して所定のアプローチ方向が設定されている。ここで、各判定ポイントは、第２探索枠内に存在する一の対象物（つまり、第２探索枠によって画像上においてその存在が認識された対象物）において、ハンド機構の指部をアプローチさせることが可能か否かを判定すべき位置を示している。また、所定のアプローチ方向は、第２探索枠内に存在する一の対象物における各判定ポイントに対応する部分にハンド機構の指部をアプローチさせるときのアプローチ方向を示している。

そして、検出部は、第２探索枠内に存在する一の対象物について、該第２探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された所定のアプローチ方向からハンド機構の指部をアプローチさせることが可能か否かを判定する。このように、第２探索枠に複数設定されている判定ポイントそれぞれについて、該第２探索枠内に存在する一の対象物における各判定ポイントに対応する部分へのハンド機構の指部のアプローチが可能か否かを判定することで、一の対象物において、該ハンド機構の該指部をアプローチさせることが可能な部分を検出することができる。

その結果、一の対象物における、ハンド機構の指部をアプローチさせることが可能な部分の検出結果に基づいて、一の対象物に対してハンド機構をアプローチさせるときのハンド機構の形態や、一の対象物をハンド機構によって把持する際の把持態様を決定することができる。これにより、ハンド機構によって対象物を把持する際の安定性やタクトタイムの向上を図ることができる。

以下、本発明の具体的な実施例について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。

＜実施例１＞
ここでは、本発明を、ロボットアームを備えた把持システムに適用した場合について説明する。図１は、本実施例に係る把持システムの概略構成を示す図である。把持システム１００は、ロボットアーム１と撮像装置８とを含んでいる。撮像装置８は、例えばカメラである。撮像装置８は、収容容器１１と、該収容容器１１に収容された少なくとも一つの対象物１０と、を含んだ画像を撮像する。このとき、撮像装置８は、収容容器１１と、該収容容器１１に収容された対象物１０と、が含まれる画像を所定の方向から撮像する。なお、撮像装置８は、必ずしも、図１に示すようにロボットアーム１と別体で設けられる必要はない。つまり、撮像装置８は、ロボットアーム１に取り付けられていてもよい。また、ロボットアーム１は、対象物１０を把持するためのハンド機構２、アーム機構３、および台座部４を備えている。ここで、ロボットアーム１における、アーム機構３、ハンド機構２、および台座部４の詳細な構成について説明する。

（アーム機構）
図２は、ロボットアーム１の概略構成を示す図である。アーム機構３の一端にはハンド機構２が取り付けられている。また、アーム機構３の他端は台座部４に取り付けられている。アーム機構３は、第１アームリンク部３１、第２アームリンク部３２、第３アームリンク部３３、第４アームリンク部３４、第５アームリンク部３５、および接続部材３６を備えている。そして、ハンド機構２のベース部２０が、アーム機構３の第１アームリンク部３１の一端側に形成された第１関節部３０ａに接続されている。第１関節部３０ａには、第１アームリンク部３１に対してハンド機構２を該第１アームリンク部３１の軸周りに回転させるためのモータ（図示略）が設けられている。第１アームリンク部３１の他端側は、第２関節部３０ｂで第２アームリンク部３２の一端側に接続されている。第１アームリンク部３１と第２アームリンク部３２とはその中心軸が垂直に交わるように接続されている。そして、第２関節部３０ｂには、第２アームリンク部３２に対して、第１アームリンク部３１を、その他端側を中心に該第２アームリンク部３２の軸周りに回転させるためのモータ（図示略）が設けられている。また、第２アームリンク部３２の他端側は、第３関節部３０ｃで第３アームリンク部３３の一端側に接続されている。第３関節部３０ｃには、第３アームリンク部３３に対して第２アームリンク部３２を相対的に回転させるためのモータ（図示略）が設けられている。

同じように、第３アームリンク部３３の他端側は、第４関節部３０ｄで第４アームリンク部３４の一端側に接続されている。また、第４アームリンク部３４の他端側は、第５関節部３０ｅで第５アームリンク部３５に接続されている。そして、第４関節部３０ｄには、第４アームリンク部３４に対して第３アームリンク部３３を相対的に回転させるためのモータ（図示略）が設けられている。また、第５関節部３０ｅには、第５アームリンク部３５に対して第４アームリンク部３４を相対的に回転させるためのモータ（図示略）が設けられている。さらに、第５アームリンク部３５は、台座部４から垂直に配置された接続部材３６に第６関節部３０ｆで接続されている。第５アームリンク部３５と接続部材３６とは、それぞれの中心軸が同軸となるように接続されている。そして、第６関節部３０ｆには、第５アームリンク部３５を、該第５アームリンク部３５および接続部材３６の軸回りに回転させるためのモータ（図示略）が設けられている。アーム機構３をこのような構成とすることで、例えば、該アーム機構３を６自由度の自由度を有する機構とすることができる。

（ハンド機構）
次に、ハンド機構２の構成について図３から図６に基づいて説明する。図３はハンド機構２の斜視図である。図４はハンド機構２の上面図である。なお、図４において、矢印は、各指部２１の回転可動範囲を示している。ハンド機構２は、アーム機構３に接続されるベース部２０と、該ベース部２０に設けられた４本の指部２１とを備えている。また、図３および図４に示すように、ハンド機構２においては、ベース部２０に４本の指部２１が、ハンド機構２の長手方向（図４において紙面に垂直な方向）の軸を中心とした円周上に、等角度間隔（すなわち９０ｄｅｇ間隔）に配置されている。また、４本の指部２１は全て同一の構造を有し且つ同一の長さである。但し、各指部２１の動作は、それぞれ独立して制御される。

図３に示すとおり、各指部２１は、第１指リンク部２１１、第２指リンク部２１２、および基端部２１３を有している。そして、指部２１の基端部２１３がベース部２０に接続されている。ここで、基端部２１３は、図４において矢印で示すように、ベース部２０に対して指部２１の長手方向（図４において紙面に垂直な方向）の軸回りに回転可能に接続されている。また、指部２１において、基端部２１３に第２指リンク部２１２の一端が接続されている。そして、この第２指リンク部２１２と基端部２１３との接続部に第２関節部２３が形成されている。ベース部２０の内部には、基端部２１３を回転駆動させるモータ、および、第２指リンク部２１２を基端部２１３に対して相対的に回転駆動させるモータが設けられている。このような構成により、基端部２１３が回転駆動され、それに伴って、図４において矢印で示す範囲で指部２１全体が回転駆動される。また、図５に示すように、第２関節部２３が屈曲および伸展可能に形成されている。

また、図３、図５、および図６に示すように、指部２１においては、第２指リンク部２１２の他端に第１指リンク部２１１の一端が接続されている。そして、この第１指リンク部２１１と第２指リンク部２１２との接続部に第１関節部２２が形成されている。第２指リンク部２１２の内部には、第１指リンク部２１１を第２指リンク部２１２に対して相対的に回転駆動させるモータが設けられている。このような構成により、図６に示すように、第１関節部２２は屈曲および伸展可能に形成されている。

また、図３に示すように、本実施例では、指部２１の第１指リンク部２１１の先端側に感圧センサ７０が設けられている。感圧センサ７０は、第１指リンク部２１１の先端部に作用する外力（圧力）を検出するセンサである。

（台座部）
次に、台座部４に内蔵された、アーム制御装置４２、ハンド制御装置４３、および画像情報処理装置４４の構成について図７に基づいて説明する。アーム制御装置４２はロボットアーム１のアーム機構３を制御するための制御装置である。ハンド制御装置４３はロボットアーム１のハンド機構２を制御するための制御装置である。画像情報処理装置４４は、撮像装置８によって収容容器１１および対象物１０を含む画像が撮像されることで取得される画像情報を処理するための処理装置である。図７は、アーム制御装置４２、ハンド制御装置４３、および画像情報処理装置４４に含まれる各機能部を示すブロック図である。

アーム制御装置４２は、アーム機構３の各関節部に設けられたモータを駆動するための駆動信号を生成する複数のドライバを含み、各ドライバからの駆動信号が対応する各モータに供給されるように構成される。また、アーム制御装置４２は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、アーム制御装置４２は、機能部として、アーム制御部４２０およびモータ状態量取得部４２１を有している。これらの機能部は、アーム制御装置４２に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。

アーム制御部４２０は、ハンド制御装置４３が有する機能部である後述の対象物情報取得部４３０によって取得された対象物情報に基づいて各ドライバから駆動信号を供給することで、アーム機構３の各関節部３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ、３０ｆに設けられたモータを制御する。そして、アーム制御部４２０は、各モータを制御することでアーム機構３を動かし、それによって、ハンド機構２の位置を所望の位置（ハンド機構２によって対象物１０を把持することが可能な位置）に移動させる。また、アーム機構３の各関節部３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ、３０ｆに設けられたモータには、それぞれの回転状態に関する状態量（モータの回転軸の回転位置や回転速度等）を検出するエンコーダ（図示略）が設けられている。そして、各モータのエンコーダによって検出された各モータの状態量が、アーム制御装置４２のモータ状態量取得部４２１に入力される。そして、アーム制御部４２０は、モータ状態量取得部４２１に入力された各モータの状態量に基づいて、ハンド機構２が所望の位置に移動するように各モータをサーボ制御する。

また、ハンド制御装置４３は、ハンド機構２に設けられた各モータを駆動するための駆動信号を生成する複数のドライバを含み、各ドライバからの駆動信号が対応する各モータに供給されるように構成される。また、ハンド制御装置４３は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、ハンド制御装置４３は、機能部として、対象物情報取得部４３０、ハンド制御部４３１、モータ状態量取得部４３２、およびセンサ情報取得部４３３を有している。これらの機能部は、ハンド制御装置４３に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。

対象物情報取得部４３０は、ハンド機構２によって把持すべき対象物に関する情報である対象物情報を画像情報処理装置４４から取得する。また、ハンド制御部４３１は、対象物情報取得部４３０によって取得された対象物情報に基づいて各ドライバから駆動信号を供給することで、ハンド機構２の各指部２１を駆動させる各モータを制御する。これにより、ハンド機構２の複数の指部２１によって対象物１０が把持される。また、ハンド機構２の各モータには、それぞれの回転状態に関する状態量（モータの回転軸の回転位置や回転速度等）を検出するエンコーダ（図示略）が設けられている。そして、各モータのエンコーダによって検出された各モータの状態量が、ハンド制御装置４３のモータ状態量取得部４３２に入力される。そして、ハンド制御部４３１は、モータ状態量取得部４３２に入力された各モータの状態量に基づいて、複数の指部２１によって対象物を把持するように、各指部２１における各モータをサーボ制御する。

さらに、ハンド制御装置４３はセンサ情報取得部（図示略）を有している。センサ情報取得部には、ハンド機構２の各指部２１の第１指リンク部２１１に設けられた感圧センサ７０の検出値が入力される。そして、ハンド制御部４３１は、各感圧センサ７０によって、各指部２１の対象物への接触が検知された場合に、その検知信号に基づいて各指部２１における各モータを制御することもできる。

画像情報処理装置４４は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、画像情報処理装置４４は、機能部として、画像情報取得部４４０、探索部４４１、および検出部４４２を有している。これらの機能部は、画像情報処理装置４４に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。さらに、画像情報処理装置４４は記憶部４４３を有している。記憶部４４３は、収容容器１１の形状情報および対象物１０の形状情報等を記憶する手段である。記憶部４４３によって記憶される収容容器１１の形状情報および対象物１０の形状情報はユーザによって予め登録される。なお、それぞれの形状情報には、収容容器１１または対象物１０の形状に関する情報のみならず、その寸法に関する情報も含まれている。また、画像情報処理装置４４に
よる画像情報の処理結果が対象物情報としてハンド制御部４３１の対象物情報取得部４３０に入力される。なお、画像情報処理装置４４における各機能部が果たす機能については後述する。

なお、図７では、把持システムに含まれる制御装置として、アーム制御装置４２とハンド制御装置４３とが区別して示されているが、別法として、各機能部が、両装置が一体化された一の制御装置内に形成される構成を採用することもできる。また、把持システムに含まれる制御装置が、アーム制御装置４２とハンド制御装置４３とに区別される場合でも、図７に示す各機能部は、技術的な齟齬が生じない限りにおいて実質的に何れかの制御装置内に形成されればよく、必要に応じてアーム制御装置４２とハンド制御装置４３との間で適切な情報の授受を行うことができる。また、アーム制御装置４２またはハンド制御装置４３における各機能部のうちの一部が、アーム制御装置４２およびハンド制御装置４３とは別体の制御装置内に形成される構成を採用することもできる。

（把持形態）
ここで、本実施例に係る把持システム１００において、ロボットアーム１のハンド機構２によって対象物１０を把持する際に実現される把持形態の具体例について図８〜図１３に基づいて説明する。図８は、対象物１０を載置された状態のままでハンド機構２によって把持する把持形態である直接把持について説明するための図である。また、図９〜図１１は、対象物１０を傾倒させてからハンド機構２によって把持する把持形態である傾倒把持について説明するための図である。図１２および図１３は、対象物１０の位置をずらしてからハンド機構２によって把持する把持形態であるずらし把持について説明するための図である。なお、ここでは、ハンド機構２の各指部２１を、それぞれ、第１指部２１Ａ、第２指部２１Ｂ、第３指部２１Ｃ、第４指部２１Ｄと称する。

図８は、直接把持によって対象物１０を把持したときのハンド機構２および該対象物１０の状態を示している。図８に示すように、直接把持では、載置された対象物１０を、そのままの状態でハンド機構２の指部２１によって挟み込んで把持する。なお、必ずしもハンド機構２の４本の指部２１全てで対象物１０を挟み込む必要はなく、少なくとも２本の指部２１で対象物１０を挟み込むことが可能であれば直接把持が成立する。このような直接把持による対象物１０の把持は、該対象物１０において互いに対向する部分それぞれにハンド機構２の指部２１を接触させることが可能な状況であれば実施可能である。

また、図９および図１０は、傾倒把持によって対象物１０を把持すべく、ハンド機構２の第１指部２１Ａによって該対象物１０を傾倒させる際の動作を示している。また、図１１は、ハンド機構２の第２指部２１Ｂ、第３指部２１Ｃ、および第４指部２１Ｄによって対象物１０を把持した状態を示している。

より詳細には、図９では、対象物１０が隣接する他の対象物１０´と接触した状態で並んで載置されている。このような場合でも、対象物１０の上面Ｓ１にはハンド機構２の指部２１を接触させることができる。そこで、先ず、図９に示すように、第１指部２１Ａの第１指リンク部２１１Ａを対象物１０の上面Ｓ１に接触させる。なお、このときに、第１指部２１Ａを対象物１０の上面Ｓ１に接触させた状態では、ハンド機構２における他の指部２１Ｂ、２１Ｃ、２１Ｄは、対象物１０には接触していない。そして、次に、図１０に示すように、第１指部２１Ａによって、その第１指リンク部２１１Ａを対象物１０の上面Ｓ１に接触させた状態で、該対象物１０を手前に傾ける。このように、第１指部２１Ａによって対象物１０の姿勢を変更することで、該対象物１０と、隣接する対象物１０´との間隔を大きくすることができる。これにより、対象物１０において、隣接する対象物１０´と接触しており、載置された状態のままでは、ハンド機構２の指部２１を接触させることができなかった側面にも、該ハンド機構２の指部２１を接触させることが可能な状況と
なる。そして、次に、図１１に示すように、第１指部２１Ａによって対象物１０を傾倒させた状態で、第２指部２１Ｂ、第３指部２１Ｃ、および第４指部２１Ｄによって該対象物１０を挟み込んで把持する。このような傾倒把持による対象物１０の把持は、該対象物１０が、互いに対抗する部分それぞれにハンド機構２の指部２１を接触させることができない状態であっても、該ハンド機構２によって該対象物１０を傾倒させることが可能な状態であれば実施可能である。

また、図１２および図１３は、ずらし把持によって対象物１０を把持すべく、ハンド機構２の第１指部２１Ａによって該対象物１０の位置をずらす際の動作を示している。

より詳細には、図１２では、対象物１０が隣接する他の対象物１０´と接触した状態で並んで載置されている。このような場合でも、対象物１０における、他の対象物１０´と接触している側面Ｓ３と対向する側面Ｓ２にはハンド機構２の指部２１を接触させることができる。そこで、先ず、図１２に示すように、第１指部２１Ａの第１指リンク部２１１Ａを、対象物１０の側面Ｓ２に接触させる。そして、そのまま、第１指部２１Ａによって対象物１０の側面Ｓ２を押圧することで該対象物１０を他の対象物１０´に押し当てつつ、該第１指部２１Ａによって該対象物１０の位置を白抜き矢印で示す方向にずらす。

これにより、図１３に示すように、対象物１０の位置が上方に移動し、その結果、該対象物１０が、他の対象物１０´の上面Ｓ１の高さよりも上方に突出した状態となる。つまり、対象物１０において、他の対象物１０´と接触している側面Ｓ３の上方部分が露出した状態となる。これにより、対象物１０における側面Ｓ２のみならず、該側面Ｓ２と対抗している側面Ｓ３にも、ハンド機構２の指部２１（第１指部２１Ａ以外の指部２１）を接触させることが可能となる。そこで、図１６に示すような状態となった対象物１０に対して、ハンド機構２の指部２１を側面Ｓ２および側面Ｓ３それぞれに接触させて、該対象物１０を挟み込んで把持する。このような傾倒把持による対象物１０の把持は、該対象物１０が、互いに対抗する部分それぞれにハンド機構２の指部２１を接触させることができない状態であっても、該ハンド機構２によって該対象物１０の位置をずらすことが可能な状態であれば実施可能である。

上記のように、本実施例に係る把持システム１００では、ハンド機構２によって実現される直接把持、傾倒把持、およびずらし把持を含む様々な把持形態によって対象物１０を把持することができる。なお、図８〜図１３では、対象物１０の形状が直方体となっているが、対象物１０が他の形状であっても、直接把持のみならず、傾倒把持やずらし把持は実施可能である。

そして、上記のような様々な把持形態によって対象物１０を把持するためには、いずれにしても、該対象物１０に対してハンド機構２の指部２１を接触させる必要がある。そのためには、収容容器１１に収容されている対象物１０において、ハンド機構２の指部２１をアプローチさせることが可能な部分（以下、「アプローチ可能部分」と称する場合もある。）を把握する必要がある。そこで、本実施例に係る把持システム１００では、画像情報処理装置４４において、撮像装置８によって収容容器１１および対象物１０を含む画像が撮像されることで取得される画像情報を処理することで、収容容器１１に収容された対象物１０におけるアプローチ可能部分を検出する。

（画像情報処理）
以下、画像情報処理装置４４において行われる画像情報処理の具体例について説明する。先ず、第１の具体例について図１４〜図１８に基づいて説明する。図１４は、第１の具体例における、収容容器１１と、該収容容器１１に収容された複数の対象物１０とを撮像装置８によって撮像したときの画像を示す図である。図１４に示すように、本具体例では
、収容容器１１が、前方部分（前方側面）および上方部分（天面）が開放された箱型の形状を有している。また、対象物１０の形状は直方体である。そして、収容容器１１内に１２個の対象物１０が隙間なく並んで収容されている。なお、上述したように、収容容器１１の形状情報および対象物１０の形状情報は、画像情報処理装置４４の記憶部４４３に予め記憶されている。

把持システム１００では、上記のような状態の収容容器１１および対象物１０を含む画像を、その前面が見える方向から撮像装置８によって撮像する。図１５は、撮像装置８によって撮像された画像を、収容容器１１の前方からの視点で投影した画像（すなわち、図１４における白抜き矢印の方向からの投影画像）を示す図である。図１５に示すように、この投影画像には、収容容器１１と、該収容容器１１内における最も前方の部分に配置されていた３個の対象物１０ａ〜１０ｃが含まれることになる。

画像情報処理装置４４においては、図１４に示すような画像が画像情報として画像情報取得部４４０によって取得される。そして、画像情報処理装置４４では、探索部４４１によって、図１５に示すような、撮像装置８によって撮像された画像を元に得られる投影画像から、収容容器１１および対象物１０が探索される。図１６は、図１５に示す投影画像から収容容器１１および対象物１０が探索された様子を示す図である。

画像情報処理装置４４において、探索部４４１は、収容容器探索用の探索枠である第１探索枠を用いて収容容器１１を探索し、対象物探索用の探索枠である第２探索枠を用いて対象物１０を探索する。図１６においては、二点鎖線で示す枠ｆ１が第１探索枠を示しており、一点鎖線で示す枠ｆ２が第２探索枠を示している。ここで、第１探索枠ｆ１は、記憶部４４３に登録された収容容器１１の形状情報に基づいて設定される。なお、図１６に示すように、第１探索枠ｆ１は、収容容器１１における対象物１０を収容する部分を探索するための探索枠として設定されている。また、第２探索枠ｆ２は、記憶部４４３に登録された対象物１０の形状情報に基づいて設定される。なお、図１６に示すように、第２探索枠ｆ２は、対象物１０の画像上の大きさ（すなわち、対象物１０を前方から見たときの該対象物１０の外周の大きさ）に応じて設定される。また、第１探索枠ｆ１および第２探索枠ｆ２は、いずれも四角形状である。ただし、第１探索枠ｆ１および第２探索枠ｆ２は、必ずしも四角形状である必要はなく、他の多角形状であってもよい。

そして、図１６に示すように、探索部４４１は、第１探索枠ｆ１によって画像上を探索したときに、該第１探索枠ｆ１内に、収容容器１１における対象物１０を収容する部分について形状情報と合致する形状が検出された場合に、該第１探索枠ｆ１内に、該収容容器１１における対象物１０を収容する部分が存在すると認識する。また、探索部４４１は、第２探索枠ｆ２によって画像上を探索したときに、該第２探索枠ｆ２内に、対象物１０の形状情報と合致する形状が検出された場合に、該第２探索枠ｆ２内に対象物１０が存在すると認識する。このような探索部４４１による探索の結果、画像情報処理装置４４においては、収容容器１１内において３個の対象物１０ａ〜１０ｃが隙間なく並んで配置されていることが認識されることになる。

また、第２探索枠ｆ２には、その所定の位置に複数の判定ポイントが予め設定されている。さらに、各判定ポイントに対して所定のアプローチ方向が設定されている。図１７は、第２探索枠ｆ２に設定された複数の判定ポイント、および、各判定ポイントに対して設定された所定のアプローチ方向を示す図である。

ここで、各判定ポイントは、第２探索枠ｆ２内に存在する一の対象物１０において、ハンド機構２の指部２１をアプローチさせることが可能か否かを判定すべき位置を示している。図１７では、第２探索枠ｆ２の各黒丸が判定ポイントを示している。図１７に示すよ
うに、判定ポイントは、第２探索枠ｆ２における、各頂点、および、各辺上に二箇所ずつ、計１２箇所に設定されている。また、所定のアプローチ方向は、第２探索枠ｆ２内に存在する一の対象物１０における各判定ポイントに対応する部分にハンド機構２の指部２１をアプローチさせるときのアプローチ方向を示している。図１７では、各黒丸に対して設定されている矢印が所定のアプローチ方向を示している。図１７に示すように、第２探索枠ｆ２の各辺上に設定されている判定ポイントに対しては、各辺に直交する方向が所定のアプローチ方向に設定されている。また、第２探索枠ｆ２の各頂点に設定されている判定ポイントに対しては、各頂点を形成する二辺それぞれに対して直交する二方向が所定のアプローチ方向に設定されている。

そして、画像情報処理装置４４においては、探索部４４１による探索の結果、図１６に示すように画像上においてその存在が認識された各対象物１０について、アプローチ可能部分が検出部４４２によって検出される。このとき、検出部４４２は、一の対象物１０におけるアプローチ可能部分を、探索部４４１による探索の結果から得られる、一の対象物１０と、他の対象物１０および収容容器１１それぞれとの接触状態に基づいて検出する。

より詳細には、検出部４４２は、第２探索枠ｆ２内に存在する一の対象物１０について、該第２探索枠ｆ２に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された所定のアプローチ方向からハンド機構２の指部２１をアプローチさせることが可能か否かを判定する。以下においては、このような検出部４４２によって行われる判定処理を「アプローチ判定処理」と称する場合もある。また、アプローチ判定処理についての説明の便宜上、該アプローチ判定処理において、対象物１０における判定ポイントに対応する部分に、該判定ポイントに対して設定された所定のアプローチ方向からハンド機構２の指部２１をアプローチさせることが可能と判定された場合のことを、「アプローチベクトルが成立」と称する場合もある。また、アプローチ判定処理において、対象物１０における判定ポイントに対応する部分に、該判定ポイントに対して設定された所定のアプローチ方向からハンド機構２の指部２１をアプローチさせることが不可能と判定された場合のことを、「アプローチベクトルが不成立」と称する場合もある。

図１８は、検出部４４２によって行われたアプローチ判定処理の結果の一部を示す図である。図１８では、図１６に示す対象物１０ｂ、１０ｃそれぞれについて行われたアプローチ判定処理の結果が示されている。図１８において、所定のアプローチ方向を示す矢印上の丸印は、アプローチベクトルが成立していることを示している。また、図１８において、所定のアプローチ方向を示す矢印上の×印は、アプローチベクトルが不成立であることを示している。なお、実線の×印は、探索枠ｆ２内に存在する一の対象物１０が収容容器１１と接触していることでアプローチベクトルが不成立となっていることを示している。また、一点鎖線の×印は、探索枠ｆ２内に存在する一の対象物１０が他の対象物１０と接触していることでアプローチベクトルが不成立となっていることを示している。上述したように、本実施例では、探索部４４１が、収容容器１１と対象物１０とをそれぞれ探索する。そして、検出部４４２は、この探索部４４１による探索結果に基づいて各対象物１０についてアプローチ判定処理を実行する。そのため、探索枠ｆ２内に存在する一の対象物１０の接触相手が収容容器１１であるのか他の対象物１０であるのかを区別することができる。

上述したように、収容容器１１内においては、３個の対象物１０ａ〜１０ｃが隙間なく並んで配置されている。したがって、図１８に示すように、対象物１０ｂ、１０ｃのいずれにおいても、該対象物１０ｂ、１０ｃの下面および側面に対応する位置に設定されている各判定ポイントについては、アプローチベクトルが不成立となっている。つまり、アプローチ判定処理においては、第２探索枠ｆ２内に存在する一の対象物１０における該第２探索枠ｆ２に設定された判定ポイントに対応する部分に対して、該判定ポイントに設定さ
れた所定のアプローチ方向から、他の対象物１０または収容容器１１が接触していれば、検出部４４２は、一の対象物１０における該判定ポイントに対応する部分に該所定のアプローチ方向からハンド機構２の指部２１をアプローチさせることは不可能であると判定する。

一方で、対象物１０ｂ、１０ｃのいずれにおいても、該対象物１０ｂ、１０ｃの上面に対応する位置に設定されている各判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、基本的には、アプローチベクトルが成立している。つまり、対象物１０ｂ、１０ｃにおいては、いずれも、探索枠ｆ２の上辺上に設定された二箇所の判定ポイントについてアプローチベクトルが成立している。

また、対象物１０ｂにおいては、探索枠ｆ２の上辺の両端となっている二つの頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向についても、アプローチベクトルが成立している。また、対象物１０ｃにおいては、探索枠ｆ２の上辺の両端となっている二つの頂点のうち、対象物１０ｂ側（図１８において向って左側）の頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが成立している。ただし、対象物１０ｃにおいては、探索枠ｆ２の上辺の両端となっている二つの頂点のうち、収容容器１１の側壁側（図１８において向って右側）の頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが不成立となっている。これは、図１４、図１５に示すように、対象物１０ｃの高さよりも、該対象物１０ｃが接触している収容容器１１の側壁の高さが高いためである。この場合、収容容器１１の上方が開放されていても、対象物１０ｃの上面における収容容器１１の側壁側の端部には、該収容容器１１の側壁が障害となるために、ハンド機構２の指部２１を接触させることが出来ない。そのため、上記のように、対象物１０ｃにおいては、探索枠ｆ２の上辺の両端となっている二つの頂点のうち収容容器１１の側壁側の頂点に設定された判定ポイントにおける、上方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが不成立となる。

つまり、アプローチ判定処理においては、一の対象物１０の画像上の外周における、収容容器１１と接触している辺と他の辺とで形成される頂点については、検出部４４２が、該頂点に対応する第２探索枠ｆ２の頂点に設定された判定ポイントに対して設定されている二方向の所定のアプローチ方向のいずれからも、ハンド機構２の指部２１をアプローチさせることが不可能であると判定する。

次に、第２の具体例について図１９〜図２２に基づいて説明する。図１９は、第２の具体例における、収容容器１１と、該収容容器１１に収容された複数の対象物１０とを撮像装置８によって撮像したときの画像を示す図である。図１９に示すように、本具体例では、収容容器１１が、上方部分（天面）のみが開放された箱型の形状を有している。また、対象物１０の形状は、第１の具体例と同様、直方体である。そして、収容容器１１内には９個の対象物１０が並んで収容されている。ここで、収容容器１１内においては、９個との対象物１０が前方側に詰めて収容されている。そのため、収容容器１１内における９個の対象物１０が収容されている部分では、対象物１０同士、および、対象物１０と収容容器１１との間に隙間は形成されていない。ただし、収容容器１１内における後方部分には、対象物１０が載置されていない空間が形成されている。なお、上述したように、本具体例においても、収容容器１１の形状情報および対象物１０の形状情報は、画像情報処理装置４４の記憶部４４３に予め記憶されている。

把持システム１００では、上記のような状態の収容容器１１および対象物１０を含む画像を、その上面が見える方向から撮像装置８によって撮像する。図２０は、撮像装置８に
よって撮像された画像を、収容容器１１の上方からの視点で投影した画像（すなわち、図１９における白抜き矢印の方向からの投影画像）を示す図である。図２０に示すように、この投影画像には、収容容器１１と、該収容容器１１に収容された９個の対象物１０ａ〜１０ｉが含まれることになる。

画像情報処理装置４４においては、図１９に示すような画像が画像情報として画像情報取得部４４０によって取得される。そして、画像情報処理装置４４では、探索部４４１によって、図２０に示すような、撮像装置８によって撮像された画像を元に得られる投影画像から、収容容器１１および対象物１０が探索される。図２１は、図２０に示す投影画像から収容容器１１および対象物１０が探索された様子を示す図である。

第１の具体例と同様、本具体例においても、探索部４４１が、収容容器探索用の探索枠である第１探索枠ｆ１を用いて収容容器１１を探索し、対象物探索用の探索枠である第２探索枠ｆ２を用いて対象物１０を探索する。また、図２１に示すように、第１探索枠ｆ１は、収容容器１１における対象物１０を収容する部分を探索するための探索枠として設定されている。また、図２１に示すように、第２探索枠ｆ２は、対象物１０の画像上の大きさ（すなわち、対象物１０を上方から見たときの該対象物１０の外周の大きさ）に応じて設定される。そして、探索部４４１による探索の結果、画像情報処理装置４４においては、収容容器１１内の前方部分において９個の対象物１０ａ〜１０ｉが隙間なく並んで配置されていることが認識されることになる。

また、本具体例においても、第２探索枠ｆ２には、第１の具体例と同様に、複数の判定ポイントが設定されており、且つ、各判定ポイントに対しては、第１の具体例と同様に、所定のアプローチ方向が設定されている。そして、本具体例においても、探索部４４１による探索の結果から得られる、一の対象物１０と、他の対象物１０および収容容器１１それぞれとの接触状態に基づいて、検出部４４２によってアプローチ判定処理が行われる。

図２２は、検出部４４２によって行われたアプローチ判定処理の結果の一部を示す図である。図２２では、図２１に示す対象物１０ｂ、１０ｃそれぞれについて行われたアプローチ判定処理の結果が示されている。なお、図１８と同様、図２２では、第２探索枠ｆ２の各黒丸が判定ポイントを示している。また、図２２では、各黒丸に対して設定されている矢印が所定のアプローチ方向を示している。また、図２２において、所定のアプローチ方向を示す矢印上の丸印は、アプローチベクトルが成立していることを示している。また、図２２において、所定のアプローチ方向を示す矢印上の×印は、アプローチベクトルが不成立であることを示している。なお、実線の×印は、探索枠ｆ２内に存在する一の対象物１０が収容容器１１と接触していることでアプローチベクトルが不成立となっていることを示している。また、一点鎖線の×印は、探索枠ｆ２内に存在する一の対象物１０が他の対象物１０と接触していることでアプローチベクトルが不成立となっていることを示している。

上述したように、収容容器１１内においては、その前方部分に９個の対象物１０ａ〜１０ｉが隙間なく並んで配置されている。したがって、図２２に示すように、対象物１０ｂ、１０ｃのいずれにおいても、該対象物１０ｂ、１０ｃの前方側面、右側側面、および左側側面に対応する位置に設定されている各判定ポイントについては、アプローチベクトルが不成立となっている。

一方で、図２１に示すように、収容容器１１内において、対象物１０ａ〜１０ｃより後方部分には空間が形成されている。そのため、対象物１０ｂ、１０ｃのいずれにおいても、該対象物１０ｂ、１０ｃの後方側面に対応する位置に設定されている各判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向については、基本的には、ア
プローチベクトルが成立している。つまり、対象物１０ｂ、１０ｃにおいては、いずれも、探索枠ｆ２の後方の辺上に設定された二箇所の判定ポイントについてアプローチベクトルが成立している。

また、対象物１０ｂにおいては、探索枠ｆ２の後方の辺の両端となっている二つの頂点に設定された判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向についても、アプローチベクトルが成立している。また、対象物１０ｃにおいては、探索枠ｆ２の後方の辺の両端となっている二つの頂点のうち、対象物１０ｂ側（図２２において向って左側）の頂点に設定された判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが成立している。ただし、対象物１０ｃにおいては、探索枠ｆ２の後方の辺の両端となっている二つの頂点のうち、収容容器１１の側壁側（図２２において向って右側）の頂点に設定された判定ポイントにおける、後方からのアプローチを示す所定のアプローチ方向については、アプローチベクトルが不成立となっている。これは、図２１に示すように、収容容器１１内における対象物１０ａ〜１０ｃより後方部分には空間が形成されていても、対象物１０ｃの後方側面における収容容器１１の側壁側の端部には、該収容容器１１の側壁が障害となるために、ハンド機構２の指部２１を接触させることが出来ないためである。

なお、上述した第１および第２の具体例では、第２探索枠ｆ２内に存在する一の対象物１０に対して、他の対象物１０または収容容器１１が接触している場合に、アプローチベクトルが不成立であると判定した。しかしながら、一の対象物１０と、他の対象物１０または収容容器１１とが接触していなくとも、両者の間の間隔が小さすぎる部分においては、ハンド機構２の指部２１を一の対象物に１０に対してアプローチさせることは出来ない。そこで、アプローチ判定処理においては、第２探索枠ｆ２内に存在する一の対象物１０における該第２探索枠ｆ２に設定された判定ポイントに対応する部分と、他の対象物１０または収容容器１１との間の、該判定ポイントに対して設定された所定のアプローチ方向における距離（以下、「判定距離」と称する場合もある。）が所定の閾値以下であれば、一の対象物１０における該判定ポイントに対応する部分に該所定のアプローチ方向からハンド機構２の指部２１をアプローチさせることは不可能であると判定してもよい。

次に、第３の具体例について図２３〜図２８に基づいて説明する。図２３は、第３の具体例における、収容容器１１と、該収容容器１１に収容された複数の対象物１０とを撮像装置８によって撮像したときの画像を示す図である。図２３に示すように、本具体例では、収容容器１１が、上方部分（天面）のみが開放された箱型の形状を有している。また、対象物１０の形状は円柱形である。そして、収容容器１１内には、９個の対象物１０が、隣り合う対象物１０同士が互いに接触した状態で並んで収容されている。また、収容容器１１内において、該収容容器１１の側壁と隣り合う位置に配置されている各対象物１０は該収容容器１１とも接触した状態となっている。なお、上述したように、本具体例においてでも、収容容器１１の形状情報および対象物１０の形状情報は、画像情報処理装置４４の記憶部４４３に予め記憶されている。

把持システム１００では、上記のような状態の収容容器１１および対象物１０を含む画像を、その上面が見える方向から撮像装置８によって撮像する。図２４は、撮像装置８によって撮像された画像を、収容容器１１の上方からの視点で投影した画像（すなわち、図２３における白抜き矢印の方向からの投影画像）を示す図である。図２４に示すように、この投影画像には、収容容器１１と、該収容容器１１に収容された９個の対象物１０ａ〜１０ｉが含まれることになる。

画像情報処理装置４４においては、図２３に示すような画像が画像情報として画像情報取得部４４０によって取得される。そして、画像情報処理装置４４では、探索部４４１に
よって、図２４に示すような、撮像装置８によって撮像された画像を元に得られる投影画像から、収容容器１１および対象物１０が探索される。図２５は、図２４に示す投影画像から収容容器１１および対象物１０が探索された様子を示す図である。

第１の具体例と同様、本具体例においても、探索部４４１が、収容容器探索用の探索枠である第１探索枠ｆ１を用いて収容容器１１を探索し、対象物探索用の探索枠である第２探索枠ｆ２を用いて対象物１０を探索する。また、図２５に示すように、第１探索枠ｆ１は、収容容器１１における対象物１０を収容する部分を探索するための探索枠として設定されている。また、図２５に示すように、第２探索枠ｆ２は、対象物１０の画像上の大きさ（すなわち、対象物１０を上方から見たときの該対象物１０の外周の大きさ）に応じて設定される。なお、本具体例においては、対象物１０の形状は円柱状であるため、図２５に示すように、該対象物１０を上方からみたときの該対象物１０の外周の形状は円形となる。ただし、この場合でも、第２探索枠ｆ２は四角形状である。なお、この場合でも、第２探索枠ｆ２は、四角形状以外の他の多角形状であってもよい。

そして、探索部４４１による探索の結果、画像情報処理装置４４においては、収容容器１１内に、９個の対象物１０ａ〜１０ｉが、隣り合う対象物１０同士が互いに接触した状態で並んで収容されており、且つ、該収容容器１１の側壁と隣り合う位置に配置されている各対象物１０ａ〜１０ｄ、１０ｆ〜１０ｉは該収容容器１１とも接触した状態となっていることが認識されることになる。

また、本具体例においても、第２探索枠ｆ２には、第１の具体例と同様に、複数の判定ポイントが設定されている。さらに、各判定ポイントに対して所定のアプローチ方向が設定されている。ただし、本具体例では、対象物１０の形状が円柱状であるために、判定ポイントに対する所定のアプローチ方向の設定のされ方が、第１の具体例とは一部異なっている。具体的には、第２探索枠ｆ２の頂点に設定された判定ポイントに対して設定される所定のアプローチ方向が、第１の具体例とは異なっている。

図２６は、第２探索枠ｆ２に設定された複数の判定ポイント、および、各判定ポイントに対して設定された所定のアプローチ方向を示す図である。図１７と同様、図２６では、第２探索枠ｆ２の各黒丸が判定ポイントを示している。また、図２６では、各黒丸に対して設定されている矢印が所定のアプローチ方向を示している。図２６に示すように、本具体例においても、第１の具体例と同様、判定ポイントは、第２探索枠ｆ２における、各頂点、および、各辺上に二箇所ずつ、計１２箇所に設定されている。また、図２６に示すように、第２探索枠ｆ２の各辺上に設定されている判定ポイントに対しては、各辺に直交する方向が所定のアプローチ方向に設定されている。そして、第２探索枠ｆ２の各頂点に設定されている判定ポイントに対しては、各頂点から延びる対角線の方向が所定のアプローチ方向に設定されている。

そして、本具体例においても、探索部４４１による探索の結果から得られる、一の対象物１０と、他の対象物１０および収容容器１１それぞれとの接触状態に基づいて、検出部４４２によってアプローチ判定処理が行われる。ただし、本具体例では、対象物１０の形状が円柱状であるために、一の対象物１０における判定ポイントに対応する部分は、他の対象物１０または収容容器１１と接触はしていない。しかしながら、上述したように、一の対象物１０と、他の対象物１０または収容容器１１とが接触していなくとも、両者の間の間隔が小さすぎる部分においては、ハンド機構２の指部２１を一の対象物に１０に対してアプローチさせることは出来ない。そこで、本具体例では、各判定ポイントについての判定距離に基づいてアプローチ判定処理が行われる。

図２７は、判定距離の具体例について説明するための図である。ここでは、図２５に示
す対象物１０ｆを例に挙げて判定距離について説明する。図２７は、対象物１０ｆがその枠内に存在する第２探索枠ｆ２の一部を拡大した図である。この拡大部分には、判定ポイントＰ１、Ｐ２、Ｐ３が含まれている。上述したように、判定距離は、第２探索枠ｆ２内に存在する一の対象物１０における該第２探索枠ｆ２に設定された判定ポイントに対応する部分と、他の対象物１０または収容容器１１との間の、該判定ポイントに対して設定された所定のアプローチ方向における距離である。したがって、図２７に示す判定ポイントＰ１についての判定距離は、対象物１０ｆと収容容器１１の側壁との間の所定のアプローチ方向における距離であるｄ１となる。また、図２７に示す判定ポイントＰ２についての判定距離は、対象物１０ｆと収容容器１１の側壁との間の所定のアプローチ方向における距離であるｄ２となる。図２７に示す判定ポイントＰ３についての判定距離は、対象物１０ｆと、隣接する対象物１０ｉとの間の所定のアプローチ方向における距離であるｄ３となる。そして、第２探索枠ｆ２の頂点に設定されている判定ポイントＰ１についての判定距離ｄ１は、該第２探索枠ｆ２の各辺上に設定されている判定ポイントＰ２、Ｐ３についての判定距離ｄ２、ｄ３よりも大きい。そのために、判定距離ｄ１は所定の閾値よりも大きくなっている。また、判定距離ｄ２および判定距離ｄ３は所定の閾値以下となっている。したがって、アプローチ判定処理においては、判定ポイントＰ１についてはアプローチベクトルが成立していると判定され、判定ポイントＰ２、Ｐ３についてはアプローチベクトルが不成立であると判定される。

図２８は、検出部４４２によって行われたアプローチ判定処理の結果の一部を示す図である。図２８では、図２５に示す対象物１０ｆについて行われたアプローチ判定処理の結果が示されている。なお、図１８と同様、図２８において、所定のアプローチ方向を示す矢印上の丸印は、アプローチベクトルが成立していることを示している。また、図２８において、所定のアプローチ方向を示す矢印上の×印は、アプローチベクトルが不成立であることを示している。また、実線の×印は、探索枠ｆ２内に存在する対象物１０ｆと収容容器１１との間の判定距離が所定の閾値以下であることでアプローチベクトルが不成立となっていることを示している。また、一点鎖線の×印は、探索枠ｆ２内に存在する対象物１０ｆと他の対象物１０との間の判定距離が所定の閾値以下であることでアプローチベクトルが不成立となっていることを示している。

上述したように、収容容器１１内においては、９個の対象物１０ａ〜１０ｉが、隣り合う対象物１０同士が互いに接触した状態で並んで収容されており、且つ、該収容容器１１の側壁と隣り合う位置に配置されている各対象物１０ａ〜１０ｄ、１０ｆ〜１０ｉは該収容容器１１とも接触した状態となっている。したがって、判定距離が所定の閾値より大きくなるのは、第２探索枠ｆ２の頂点に設定されている判定ポイントについての判定距離のみである。そのため、図２８に示すように、対象物１０ｆにおいては、第２探索枠ｆ２の各頂点に設定された判定ポイントについてのみアプローチベクトルが成立している。そして、第２探索枠ｆ２の各辺上に設定されている各判定ポイントについては、アプローチベクトルが不成立となっている。

上述した第１〜第３の具体例ように、第２探索枠ｆ２に複数設定されている判定ポイントそれぞれについて、該第２探索枠ｆ２内に存在する一の対象物１０における各判定ポイントに対応する部分へのハンド機構２の指部２１のアプローチが可能か否かを判定することで、一の対象物１０において、該ハンド機構２の該指部２１をアプローチさせることが可能な部分を検出することができる。

（画像情報処理のフロー）
次に、画像情報処理装置４４において行われる画像情報処理のフローについて図２９に示すフローチャートに基づいて説明する。この画像情報処理のフローは、画像情報処理装置４４において所定の処理プログラムが実行されることで実現される。本フローでは、先
ずＳ１０１において、画像情報取得部４４０によって撮像装置８から画像情報が取得される。

次に、Ｓ１０２において、探索部４４１によって、撮像装置８によって撮像された画像から収容容器１１および対象物１０が探索される。ここでは、上述したように、記憶部４４３に記憶されている収容容器１１の形状情報および対象物１０の形状情報に基づいて収容容器１１および対象物１０の探索が行われる。また、撮像装置８によって撮像された画像に複数の対象物１０が含まれていれば、探索部４４１は、該複数の対象物１０を個々に認識する。

次に、Ｓ１０３において、探索部４４１によって探索された各対象物１０について、検出部４４２によって、上述したようなアプローチ判定処理が実行される。その結果、各対象物１０について、図１８、図２２、図２８に例示するような、アプローチ判定処理の結果が導出される。これにより、各対象物１０におけるアプローチ可能部分を検出することができる。

（ハンド制御）
次に、ハンド機構２によって対象物１０を把持する際にハンド制御装置４３によって行われるハンド制御のフローについて、図３０に示すフローチャートに基づいて説明する。このハンド制御のフローは、ハンド制御装置４３において所定の処理プログラムが実行されることで実現される。

本フローでは、先ずＳ２０１において、対象物１０に関する情報である対象物情報が画像情報処理装置４４から取得される。このときに取得される対象物情報には、対象物１０の形状情報のみならず、画像情報処理装置４４の検出部４４２による、収容容器１１に収容されている各対象物１０におけるアプローチ可能部分の検出結果（すなわち、上記の画像情報処理によって導出される、各対象物１０についてのアプローチ判定処理の結果）が含まれている。

次に、Ｓ２０２において、画像情報処理装置４４から取得された対象物情報に基づいて、収容容器１１に収容された一の対象物１０をハンド機構２によって把持する際の把持形態が決定される。さらに、Ｓ２０３において、画像情報処理装置４４から取得された対象物情報に基づいて、収容容器１１に収容された一の対象物１０をハンド機構２によって把持する際に、一の対象物１０において該ハンド機構２の指部２１を接触させる部分が決定される。

例えば、画像情報処理装置４４の検出部４４２によるアプローチ可能部分の検出結果が、上述した画像情報処理の第１の具体例で説明したような結果だった場合、図１５に示す画像に含まれる対象物１０ｂ、１０ｃについては、その上面にハンド機構２の指部２１をアプローチさせることが可能と判断できる。さらには、対象物１０ｂまたは対象物１０ｃの上面にハンド機構２の指部２１を接触させた上で、対象物１０ｂまたは対象物１０ｃを手前に傾けることで、これらに対して傾倒把持を行うことが可能であると判断できる。そこで、この場合は、ハンド制御において、対象物１０ｂまたは対象物１０ｃをハンド機構２によって把持する際の把持態様が傾倒把持に決定される。また、対象物１０ｂまたは対象物１０ｃに対して傾倒把持を行う際に、これらにおいてハンド機構２の指部２１を接触させる部分が、その上面に決定される。

また、例えば、画像情報処理装置４４の検出部４４２によるアプローチ可能部分の検出結果が、上述した画像情報処理の第２の具体例で説明したような結果だった場合、図２０に示す画像に含まれる対象物１０ｂ、１０ｃについては、その後方側面にハンド機構２の
指部２１をアプローチさせることが可能と判断できる。さらには、対象物１０ｂまたは対象物１０ｃの後方側面にハンド機構２の指部２１を接触させた上で、対象物１０ｂまたは対象物１０ｃをその前方に載置された他の対象物１０（すなわち、対象物１０ｅまたは対象物１０ｆ）に押し当てつつ、対象物１０ｂまたは対象物１０ｃの位置を上方にずらすことで、これらに対してずらし把持を行うことが可能であると判断できる。そこで、この場合は、ハンド制御において、対象物１０ｂまたは対象物１０ｃをハンド機構２によって把持する際の把持態様がずらし把持に決定される。また、対象物１０ｂまたは対象物１０ｃに対してずらし把持を行う際に、これらにおいてハンド機構２の指部２１を接触させる部分が、その後方側面に決定される。

また、例えば、画像情報処理装置４４の検出部４４２によるアプローチ可能部分の検出結果が、上述した画像情報処理の第３の具体例で説明したような結果だった場合、図２４に示す画像に含まれる対象物１０ｆについては、その側面における互いに対向する部分にハンド機構２の指部２１をアプローチさせることが可能と判断できる。そのため、対象物１０ｆに対しては直接把持を行うことが可能であると判断できる。そこで、この場合は、ハンド制御において、対象物１０ｆをハンド機構２によって把持する際の把持態様が直接把持に決定される。また、対象物１０ｆに対して直接把持を行う際に、これにおいてハンド機構２の指部２１を接触させる部分が、その側面における互いに対向する部分に決定される。

このように、ハンド制御においては、画像情報処理装置４４の検出部４４２によるアプローチ可能部分の検出結果を取得することで、収容容器１１に収容された一の対象物１０をハンド機構２によって把持する際の、把持形態、および、一の対象物１０において該ハンド機構２の指部２１を接触させる部分を決定することが可能となる。

＜変形例＞
次に、本実施例に係る、ハンド制御装置によって行われるハンド制御の変形例について図３１〜図３３に基づいて説明する。図３１は、本変形例における、収容容器１１と、該収容容器１１に収容された二個の対象物１０ａ、１０ｂとの様子を示す図である。本変形例では、収容容器１１が、上方部分のみが開放された箱型の形状を有している。また、対象物１０ａ、１０ｂの形状は直方体である。なお、図３１は、収容容器１１、および、該収容容器１１に収容された二個の対象物１０ａ、１０ｂを、上方から見た場合の様子を示している。

また、図３２は、図３１に示す対象物１０ａを把持する際に、該対象物１０ａに対してハンド機構２の指部２１をアプローチさせるときの該ハンド機構２の形態を示している。以下においては、図３２に示すハンド機構２の形態を「第１アプローチ形態」と称する場合もある。また、図３３は、図３１に示す対象物１０ｂを把持する際に、該対象物１０ｂに対してハンド機構２の指部２１をアプローチさせるときの該ハンド機構２の形態を示している。以下においては、図３３に示すハンド機構２の形態を「第２アプローチ形態」と称する場合もある。なお、図３２、図３３では、便宜上、第１指部２１Ａおよび第３指部２１Ｃのみを図示し、第２指部２１Ｂおよび第４指部２１Ｄの図示は省略する。

また、以下においては、ハンド機構２の形態を、図３２に示す第１アプローチ形態、または、図３３に示す第２アプローチ形態としたときの、第３指部３１Ｃにおける、その先端部（第１指リンク部２１１Ｃの先端部）と、その第１関節部２２Ｃの外側部との間の距離を、「指幅」と称する場合もある。なお、図３２においては、第１アプローチ形態における指幅をｄｆ１で示している。また、図３３においては、第１アプローチ形態における指幅をｄｆ２で示している。

図３１に示すように、本変形例においては、収容容器１１内において、二個の対象物１０ａ、１０ｂは、いずれも、その左側側面Ｓ２および右側側面Ｓ３が該収容容器１１の側壁から離間した状態で載置されている。そのため、画像情報処理装置４４において行われる画像情報処理では、対象物１０ａ、１０ｂについて、その左側側面Ｓ２および右側側面Ｓ３がアプローチ可能部分として検出される。その結果、ハンド制御装置４３によって行われるハンド制御においては、対象物１０ａ、１０ｂをハンド機構２によって把持する際の把持態様が直接把持に決定される。また、対象物１０ａ、１０ｂに対して直接把持を行う際に、これらにおいてハンド機構２の指部２１を接触させる部分が、その左側側面Ｓ２および右側側面Ｓ３に決定される。

ここで、図３１に示すように、収容容器１１内において、対象物１０ａは、該収容容器１１の横方向の略中央部分に載置されている。つまり、対象物１０ａの左側側面Ｓ２から収容容器１１の側壁までの距離ｄＬ１と、対象物１０ａの右側側面Ｓ３から収容容器１１の側壁までの距離ｄＲ１は略等しくなっている。したがって、対象物１０ａについては、その左側側面Ｓ２および右側側面Ｓ３のいずれも、収容容器１１の側壁から距離が十分に確保されている。そのため、ハンド制御装置４３は、対象物１０ａに対してハンド機構２の指部２１をアプローチさせるときの該ハンド機構２の形態を、図３２に示す第１アプローチ形態に決定する。この第１アプローチ形態では、図３２に示すように、対象物１０ａを把持する際に、該対象物１０ａの左側側面Ｓ２に接触させる第１指部２１Ａと、該対象物１０ａの右側側面Ｓ３に接触させる第３指部２１Ｃとが、略左右対称の形状に開かれた状態となっている。

なお、ハンド機構２の第１指部２１Ａおよび第３指部２１Ｃによって対象物１０ａ（または対象物１０ｂ）を挟み込んで把持すべく、該ハンド機構２の第１指部２１Ａおよび第３指部２１Ｃを対象物１０ａ（または対象物１０ｂ）にアプローチさせる場合、第１指部２１Ａおよび第３指部２１Ｃのそれぞれの先端部（第１指部２１Ａの第１指リンク部２１１Ａの先端部と第３指部２１Ｃの第１指リンク部２１１Ｃの先端部）の互いの間隔Ｗ２を、対象物１０ａ（または対象物１０ｂ）における左側側面Ｓ２と右側側面Ｓ３との間の幅Ｗ１よりも大きく広げた状態とする。

一方、図３１に示すように、収容容器１１内において、対象物１０ｂは、該収容容器１１の右側の側壁に近い位置に載置されている。したがって、対象物１０ｂの左側側面Ｓ２から収容容器１１の側壁までの距離ｄＬ２は、対象物１０ａの左側側面Ｓ２から収容容器１１の側壁までの距離ｄＬ１よりもかなり大きくなっている。また、対象物１０ｂの右側側面Ｓ３から収容容器１１の側壁までの距離ｄＲ２は、対象物１０ａの右側側面Ｓ３から収容容器１１の側壁までの距離ｄＲ１よりもかなり小さくなっている。

そのために、対象物１０ｂの右側側面Ｓ３から収容容器１１の側壁までの距離ｄＲ２が、図３２に示す第１アプローチ形態における指幅ｄｆ１よりも小さくなっている。したがって、ハンド機構２の形態を、図３２に示す第１アプローチ形態とした状態では、対象物１０ｂに対して該ハンド機構２の指部２１を対象物１０ｂにアプローチさせることができない。

そこで、ハンド制御装置４３は、対象物１０ｂに対してハンド機構２の指部２１をアプローチさせるときの該ハンド機構２の形態を、図３３に示す第２アプローチ形態に決定する。この第２アプローチ形態では、図３３に示すように、対象物１０ｂを把持する際に、該対象物１０ｂの左側側面Ｓ２に接触させる第１指部２１Ａと、該対象物１０ｂの右側側面Ｓ３に接触させる第３指部２１Ｃとが、左右非対称の形状に開かれた状態となっている。そして、この第２アプローチ形態では、指幅ｄｆ２が、対象物１０ｂの右側側面Ｓ３から収容容器１１の側壁までの距離ｄＲ２よりも小さくなっている。ただし、第２アプロー
チ形態においても、第１指部２１Ａおよび第３指部２１Ｃのそれぞれの先端部の互いの間隔Ｗ２は、図３２に示す第１アプローチ形態における該間隔Ｗ２と同等に維持されている。ハンド機構２の形態を、このような第２アプローチ形態とすることで、対象物１０ｂに対して該ハンド機構２の指部２１をアプローチさせることが可能となる。

以上説明したように、本変形例では、把持対象の対象物１０においてハンド機構２の指部２１を接触させる部分と収容容器１１（または他の対象物１０）との間の距離の大きさに基づいて、ハンド制御装置４３が、該対象物１０に対して該ハンド機構２の指部２１をアプローチさせるときの該ハンド機構２の形態を決定する。これによって、収容容器１１内における把持対象の対象物１０の載置状況に応じた形態で、ハンド機構２の指部２１を該対象物１０にアプローチさせることが可能となる。

なお、該ハンド機構２の指部２１をアプローチさせるときの該ハンド機構２の形態は、図３２に示す第１アプローチ形態、および、図３３に示す第２アプローチ形態に限られるものではなく、該ハンド機構２において取り得る形態であればどのような形態であってもよい。

＜構成の具体例＞
図３４〜図４１は、本発明に係るロボットアームの具体的な構成の一例を示す図である。図３４は、ロボットアームの平面側斜視図である。図３５は、ロボットアームの底面側斜視図である。図３６は、ロボットアームの正面図である。図３７は、ロボットアームの背面図である。図３８は、ロボットアームの平面図である。図３９は、ロボットアームの底面図である。図４０は、ロボットアームの右側面図である。図４１は、ロボットアームの左側面図である。

図４２〜図４９は、本発明に係るハンド機構の具体的な構成の一例を示す図である。図４２は、ハンド機構の正面側斜視図である。図４３は、ハンド機構の背面側斜視図である。図４４は、ハンド機構の正面図である。図４５は、ハンド機構の背面図である。図４６は、ハンド機構の平面図である。図４７は、ハンド機構の底面図である。図４８は、ハンド機構の右側面図である。図４９は、ハンド機構の左側面図である。

図５０〜図５７は、本発明に係る台座部の具体的な構成の一例を示す図である。図５０は、台座部の平面側斜視図である。図５１は、台座部の底面側斜視図である。図５２は、台座部の正面図である。図５３は、台座部の背面図である。図５４は、台座部の平面図である。図５５は、台座部の底面図である。図５６は、台座部の右側面図である。図５７は、台座部の左側面図である。

１・・・ロボットアーム、２・・・ハンド機構、８・・・撮像装置、２０・・・ベース部、２１・・・指部、２２・・・第１関節部、２３・・・第２関節部、２１１・・・第１指リンク部、２１２・・・第２指リンク部、２１３・・・基端部、３・・・アーム機構、３０ａ・・・第１関節部、３０ｂ・・・第２関節部、３０ｃ・・・第３関節部、３０ｄ・・・第４関節部、３０ｅ・・・第５関節部、３０ｆ・・・第６関節部、３１・・・第１アームリンク部、３２・・・第２アームリンク部、３３・・・第３アームリンク部、３４・・・第４アームリンク部、３５・・・第５アームリンク部、３６・・・接続部材、４・・・台座部、４２・・・アーム制御装置、４２０・・・アーム制御部、４２１・・・モータ状態量取得部、４３・・・ハンド制御装置、４３０・・・対象物情報取得部、４３１・・・ハンド制御部、４３２・・・モータ状態量取得部、４４・・・画像情報処理装置、４４０・・・画像情報取得部、４４１・・・探索部、４４２・・・検出部、４４３・・・記憶部、７０・・・感圧センサ、１００・・・把持システム

Claims (13)

1. 収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持する把持システムであって、該収容容器と、該収容容器に収容された少なくとも一つの該対象物と、を含んだ画像を撮像する撮像装置を有する把持システムに適用され、該撮像装置によって取得された画像情報を処理する画像情報処理装置において、
   予め記憶された、前記収容容器の形状情報と、前記対象物の形状情報と、に基づいて、前記撮像装置によって撮像された画像から、前記収容容器探索用の探索枠である第１探索枠を用いて前記収容容器を探索し、前記対象物探索用の探索枠である第２探索枠を用いて前記対象物を探索する探索部と、
   前記収容容器に収容された一の対象物において、前記ハンド機構の前記指部をアプローチさせることが可能な部分を、前記探索部による探索結果から得られる、一の対象物と、他の対象物および前記収容容器それぞれとの接触状態に基づいて検出する検出部と、を備え、
   前記第２探索枠における所定の位置に複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されており、
   前記検出部が、前記第２探索枠内に存在する一の対象物について、該第２探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された前記所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることが可能か否かを判定する画像情報処理装置。
2. 前記第２探索枠内に存在する一の対象物における該第２探索枠に設定された判定ポイントに対応する部分に対して、該判定ポイントに設定された前記所定のアプローチ方向から、他の対象物または前記収容容器が接触していれば、前記検出部が、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項１に記載の画像情報処理装置。
3. 前記第２探索枠内に存在する一の対象物における該第２探索枠に設定された判定ポイントに対応する部分と、他の対象物または前記収容容器との間の、該判定ポイントに対して設定された前記所定のアプローチ方向における距離が所定の閾値以下であれば、前記検出部が、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項１に記載の画像情報処理装置。
4. 前記第２探索枠が、前記対象物の前記画像上の外周の大きさに応じて設定される多角形の枠であって、
   前記第２探索枠における、各辺上および各頂点に前記判定ポイントが設定されている請求項１から３のいずれか一項に記載の画像情報処理装置。
5. 前記対象物の前記画像上の外周の形状が四角形である場合、該対象物の該外周の頂点に対応する前記第２探索枠の頂点に設定された前記判定ポイントに対しては、該第２探索枠の頂点を形成する二辺それぞれに対して直交する二方向が前記所定のアプローチ方向に設定される請求項４に記載の画像情報処理装置。
6. 前記第２探索枠内に存在する一の対象物が前記収容容器と接触している場合、前記検出部が、一の対象物の前記画像上の外周における、前記収容容器と接触している辺と他の辺とで形成される頂点については、該頂点に対応する前記第２探索枠の頂点に設定された前記判定ポイントに対して設定されている二方向の前記所定のアプローチ方向のいずれからも、前記ハンド機構の前記指部をアプローチさせることが不可能であると判定する請求項５に記載の画像情報処理装置。
7. 前記対象物の前記画像上の外周の形状が円形である場合、前記第２探索枠の頂点に設定された前記判定ポイントに対しては、該頂点から延びる対角線の方向が前記所定のアプローチ方向に設定される請求項４に記載の画像情報処理装置。
8. 前記ハンド機構と、
   前記撮像装置と、
   請求項１から７のいずれか一項に記載の画像情報処理装置と、
   前記収容容器に収容された一の対象物を前記ハンド機構によって把持する際の把持形態を、前記画像情報処理装置の前記検出部による検出結果に基づいて決定するハンド制御装置と、を備える把持システム。
9. 前記ハンド機構と、
   前記撮像装置と、
   請求項１から７のいずれか一項に記載の画像情報処理装置と、
   前記収容容器に収容された一の対象物を前記ハンド機構によって把持する際に、一の対象物において該ハンド機構の前記指部を接触させる部分を、前記画像情報処理装置の前記検出部による検出結果に基づいて決定するハンド制御装置と、を備える把持システム。
10. 一の対象物において該ハンド機構の前記指部を接触させる部分と、他の対象物または前記収容容器との間の距離の大きさに基づいて、前記ハンド制御装置が、一の対象物に対して該ハンド機構の指部をアプローチさせるときの該ハンド機構の形態を決定する請求項８に記載の把持システム。
11. 収容容器に収容された対象物を、複数の指部を有するハンド機構によって把持する把持システムにおいて、該収容容器と、該収容容器に収容された少なくとも一つの該対象物と、を含んだ画像を撮像する撮像装置によって取得された画像情報を処理する画像情報処理方法であって、
    予め記憶された、前記収容容器の形状情報と、前記対象物の形状情報と、に基づいて、前記撮像装置によって撮像された画像から、前記収容容器探索用の探索枠である第１探索枠を用いて前記収容容器を探索し、前記対象物探索用の探索枠である第２探索枠を用いて前記対象物を探索する探索ステップと、
    前記収容容器に収容された一の対象物において、前記ハンド機構の前記指部をアプローチさせることが可能な部分を、前記探索部による探索結果から得られる、一の対象物と他の対象物および前記収容容器それぞれとの接触状態に基づいて検出する検出ステップと、を有し、
    前記第２探索枠における所定の位置に複数の判定ポイントが予め設定されており、且つ、各判定ポイントに対して所定のアプローチ方向が設定されており、
    前記検出ステップにおいて、前記第２探索枠内に存在する一の対象物について、該第２探索枠に設定されている各判定ポイントに対応する部分に、各判定ポイントに対して設定された前記所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることが可能か否かを判定する画像情報処理方法。
12. 前記検出ステップにおいて、前記第２探索枠内に存在する一の対象物における該第２探索枠に設定された判定ポイントに対応する部分に対して、該判定ポイントに設定された前記所定のアプローチ方向から、他の対象物または前記収容容器が接触していれば、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項１１に記載の画像情報処理方法。
13. 前記検出ステップにおいて、前記第２探索枠内に存在する一の対象物における該第２探索枠に設定された判定ポイントに対応する部分と、他の対象物または前記収容容器との間の、該判定ポイントに対して設定された前記所定のアプローチ方向における距離が所定の閾値以下であれば、一の対象物における該判定ポイントに対応する部分に該所定のアプローチ方向から前記ハンド機構の前記指部をアプローチさせることは不可能であると判定する請求項１１に記載の画像情報処理方法。

Images