JP2021041513A - ハンドリング装置、制御装置、および保持方法 - Google Patents

Abstract

【課題】対象とする領域に対してアクセス可能領域や取り得る姿勢の量を変更可能とすることができるハンドリング装置、制御装置、および保持方法を提供することである。【解決手段】実施形態のハンドリング装置は、アーム部と保持部と記憶部と検出部と制御部とを持つ。アーム部は関節を備える。保持部は、アーム部に取り付けられ、物体を保持可能である。記憶部は、保持部によって保持可能な位置の情報および保持部が取れる姿勢の情報のうち少なくとも１つを機能マップとして記憶する。制御部は、検出部が検出した検出結果に基づいて保持可能な候補点を生成する。制御部は、生成した保持可能な候補点に対応する機能マップにおける物体が存在する環境内の位置を探索した結果に基づいて保持部の保持姿勢を決定する。機能マップは物体が存在する環境内の位置それぞれに可操作度が関連づけられている。可操作度は保持部の関節角度から計算されるパラメータである。【選択図】図１

Description

本発明の実施形態は、ハンドリング装置、制御装置、および保持方法に関する。

物流現場における移載動作の自動化には、多種多様な形状や大きさ、重さを有した物体を把持できることが求められる。ロボットを用いてこれらの物体を保持する際には、物体の表面を例えば吸着パッドにて吸引して保持する方法がある。小型で軽量なワークの把持のためには、１個パッドを備えたエンドエフェクタが望ましい。特に、ロボットハンド先端をオフセットさせることで、狭い領域に対してアクセスすることが可能となる。しかし、ハンドがオフセットされることによりリンク長が増大することで、取り得る姿勢の範囲が制限されるなどの制約が発生する。そのため対象領域に適したハンド機構や、保持の方法を規定した保持計画によって、ロボットの保持時の位置や姿勢を考慮した戦略を立てる必要があるという課題があった。

国際公開第２００８／１４６９３０号

Zacharias, F., Borst, C., & Hirzinger, G. (2007, October). Capturing robot workspace structure: representing robot capabilities. In 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems (pp. 3229-3236). Ieee.

本発明が解決しようとする課題は、対象とする領域に対してアクセス可能領域や取り得る姿勢の量を変更可能とすることができるハンドリング装置、制御装置、および保持方法を提供することである。

実施形態のハンドリング装置は、アーム部と、保持部と、記憶部と、検出部と、制御部とを持つ。前記アーム部は、関節を備える。前記保持部は、前記アーム部に取り付けられ、物体を保持可能である。前記記憶部は、前記保持部によって保持可能な位置の情報および前記保持部が取れる姿勢の情報のうち少なくとも１つを機能マップとして記憶する。前記制御部は、前記検出部が検出した検出結果に基づいて保持可能な候補点を生成する。前記制御部は、生成した前記保持可能な候補点に対応する前記機能マップにおける前記物体が存在する環境内の位置を探索して、前記探索した結果に基づいて前記保持部の保持姿勢を決定する。前記機能マップは、前記物体が存在する環境内の位置それぞれに可操作度が関連づけられている。前記可操作度は、前記保持部の関節角度から計算されるパラメータである。

実施形態のハンドリング装置を含む搬送システムを模式的に示す図。 実施形態の保持部を示す斜視図。 限定的な領域にアクセス可能な例を示す図。 取り得る姿勢は限定的だがアクセス可能な領域は概括的な例を示す図。 実施形態の複数の吸着部の配置レイアウトを示す下面図。 複数のモデルを示す図。 物体Ｏの表面（吸着面、対象面）において検出された保持可能な対象領域Ｔａを示す図。 三つの吸着部を含むモデル５において吸着部が対象領域Ｔａと面するパッド領域Ｐａを示す図。 図８の対象領域Ｔａと図８のモデル５のパッド領域Ｐａとの重畳度の演算結果を示す図。 実施形態に係る可操作度マップの構成例を示す図。 可操作度マップ生成時の点数配置による等間隔マップの例を示す図。 可操作度マップ生成時の点数配置による不等間隔マップの例を示す図。 実施形態に係る可操作度マップが分割されている例または統合されている例を示す図。 表面形状プリミティブを定義し、特徴的な表面形状の姿勢のみを探索する例を説明するための図。 実施形態に係る制御部を備える搬送システムのシステム構成を示すブロック図。 実施形態に係る保持計画における可操作度マップの利用の処理のフローチャート。 実施形態に係る可操作度評価部の処理のフローチャート。 実施形態に係る可操作度マップにおける保持点の高速探索処理のフローチャート。 実施形態に係る可操作度マップの生成方法と可視化処理のフローチャート。 実施形態に係る操作度マップの生成時に表示装置上に提示されるモデル例を示す図。 実施形態に係る可操作度マップの生成時に表示装置上に表示される画像例を示す図である。

以下、実施形態のハンドリング装置、制御装置、および保持方法を、図面を参照して説明する。なお以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

図１は、本実施形態のハンドリング装置１０を含む搬送システム１を模式的に示す図である。図１に示すように、搬送システム１は、ハンドリング装置１０と、１つ以上の第１検出器１１と、１つ以上の第２検出器１２と、管理装置１３を備える。ハンドリング装置１０は、移動機構１００、保持部２００、および制御部３００を備える。移動機構１００は、複数のアーム部材１０１と、複数のアーム部材１０１を回動可能に連結した複数の回動部１０２を備える。保持部２００は、吸引装置２０３と、吸着部２０５を備える。

次に、搬送システム１の概要と、搬送システム１の動作の概要を説明する。
搬送システム１は、例えば、物流用のハンドリングシステム（ピッキングシステム）である。搬送システム１は、移動元Ｂ１に位置する物体（保持対象物、搬送対象物）Ｏを、移動先コンテナＢ２に移動させる。

移動元Ｂ１は、例えば、各種のコンベアや各種のパレット、またはトートやビンやオリコンのようなコンテナなどであるが、これらに限定されない。移動元Ｂ１には、大きさや重さが異なる多種類の物体Ｏがランダムに置かれる。本実施形態では、保持対象の物体Ｏは、例えば、５ｃｍ角から３０ｃｍ角まで様々である。また、物体Ｏは、例えば数十ｇから数ｋｇまで様々である。ただし、物体Ｏの大きさや重さは、上記例に限定されない。

移動先コンテナＢ２は、例えば、トートやオリコンのようなコンテナであるが、これらに限定されない。「コンテナ」とは、物体Ｏを収容可能な部材（例えば箱状の部材）を広く意味する。ただし、ハンドリング装置１０および搬送システム１は、コンテナ以外の移動先コンテナＢ２に物体Ｏを移動させるものでもよい。

次に、搬送システム１の構成について説明する。
ハンドリング装置１０は、例えばロボット装置であり、移動元Ｂ１に位置する物体Ｏを保持し、保持した物体Ｏを移動先コンテナＢ２に移動させる。ハンドリング装置１０は、有線または無線で管理装置１３と通信可能である。

まず、ハンドリング装置１０について説明する。
移動機構１００は、保持部２００を所望の位置に移動させる機構である。移動機構１００は、例えば６軸の垂直多関節ロボットアームである。ただし、移動機構１００は、例えば３軸の直交ロボットアームでもよいし、その他の構成により保持部２００を所望の位置に移動させる機構でもよい。また、移動機構１００は、各関節の関節角度を検出するセンサ等を備えている。

保持部２００は、移動元Ｂ１に位置する物体Ｏを保持する保持機構であり、例えばロボットハンドである。保持部２００は、移動機構１００が６軸の垂直多関節ロボットアームの場合、移動機構１００の６軸フランジ面から鉛直下向きにオフセットされている。保持部２００は、後述する回動部２０２を介して移動機構１００に連結されている。保持部２００は、例えば吸着パッドで吸着により物体Ｏを保持する。ただし、保持部２００は、複数の挟持部材で物体Ｏを挟持することで物体Ｏを保持する保持部でもよいし、その他の機構により物体Ｏを保持する保持部でもよい。なお以下では、保持部２００が吸着部２０５を備える例について説明する。例えば５ｃｍ角の物体Ｏを吸着できる吸着パッドの直径は例えば４ｃｍである。また、保持部２００は、保持部２００の回転角度を検出するセンサと、吸着しているか否かを検出するためのセンサ等を備えている。

第１検出器１１は、移動元Ｂ１の近く（例えば、移動元Ｂ１の直上や斜め上方）に配置されたセンサである。センサは、例えば、ＲＧＢ−Ｄセンサや、カメラ、接触センサ、距離センサ等である。第１検出器１１は、例えば、移動元Ｂ１に位置する物体Ｏに関する情報と、移動元Ｂ１に関する情報とを取得する。第１検出器１１により取得される情報は、例えば、「画像データ」、「距離画像データ」、および「形状データ」である。または、第１検出器１１により取得される情報は、例えば、「画像データ」、「距離画像データ」、または「形状データ」である。「距離画像データ」とは、１つ以上の方向の距離情報（例えば、移動元Ｂ１の上方に設定された任意の基準面からの深さ情報）を持つ画像データである。「形状データ」とは、物体Ｏの外形形状などを示す情報である。第１検出器１１により検出された情報は、管理装置１３に出力される。なお、第１検出器１１は、ハンドリング装置１０の一部として設けられてもよい。この場合、第１検出器１１により検出された情報は、ハンドリング装置１０の制御部３００に直接出力されてもよい。

第２検出器１２は、移動先コンテナＢ２の近く（例えば、移動先コンテナＢ２の直上や斜め上方）に配置されたセンサである。センサは、例えば、ＲＧＢ−Ｄセンサや、カメラ、接触センサ、距離センサ等である。第２検出器１２は、例えば、移動先コンテナＢ２の形状（内壁面や仕切りの形状を含む）に関する情報と、移動先コンテナＢ２内に先に置かれた物体Ｏに関する情報とを検出する。第２検出器１２により取得される情報は、例えば、「画像データ」、「距離画像データ」、および「形状データ」である。または、第２検出器１２により取得される情報は、例えば、「画像データ」、「距離画像データ」、または「形状データ」である。なお、第２検出器１２は、ハンドリング装置１０の一部として設けられてもよい。この場合、第２検出器１２により検出された情報は、ハンドリング装置１０の制御部３００に直接出力されてもよい。

管理装置１３は、搬送システム１の全体の管理および制御を行う。例えば、管理装置１３は、第１検出器１１および第２検出器１２により検出された情報を取得し、取得した情報をハンドリング装置１０の制御部３００に出力する。

なお、ハンドリング装置１０および搬送システム１は、物流用のハンドリングシステムに限定されず、産業用ロボットシステムやその他のシステムなどにも広く適用可能である。本願でいう「ハンドリング装置」、「搬送システム」、および「保持方法」とは、物体の搬送を主目的とした装置やシステム、方法に限定されず、製品組立や別の目的の一部として物体の搬送（移動）を伴う装置やシステム、方法も含む。

図２は、本実施形態の保持部２００を示す斜視図である。保持部２００は、例えば、ベース２０１、回動部２０２、吸引装置２０３、切換弁２０４、吸着部２０５（例えば吸着パッド）を備える。なお、保持部２００は、複数の切換弁２０４および複数の吸着部２０５を備えていてもよい。以下の説明において、保持部２００の手先座標系を（ｘ、ｙ、ｚ）とする。保持部２００の手先座標系は、例えば垂直方向をｚ軸方向とし、奥行き方向をｘ軸方向とし、紙面に対して左右方向をｙ軸方向とする。

ベース２０１は、例えば立方体状の外形を有し、保持部２００の外郭を形成している。
ベース２０１は、回動部２０２を介して移動機構１００に連結されている。ベース２０１は、箱状に形成されてもよく、フレームのみで構成されてもよい。

回動部２０２は、ベース２０１と移動機構１００との間に設けられ、移動機構１００に対してベース２０１を回動可能に連結している。回動部２０２の回動中心軸Ｃは、移動機構１００の先端部とベース２０１とが並ぶ方向と略一致する。回動部２０２は、移動機構１００に対して保持部２００のベース２０１を、図中のα方向およびその反対方向に回動させることができる。なお、回動部２０２は、保持部２００の一部としてではなく、移動機構１００の一部として設けられてもよい。

吸引装置２０３は、ベース２０１の内側に設けられている。吸引装置２０３は、例えば真空ポンプである。吸引装置２０３は、ホースなどを介して複数の吸着部２０５の各々と連通している。吸引装置２０３が駆動されることで、各吸着部２０５内の圧力が大気圧よりも低くなり、吸着部２０５により物体Ｏが吸着保持される。

複数の切換弁２０４は、複数の吸着部２０５に対して１対１で設けられている。切換弁２０４の各は、対応する吸着部２０５と吸引装置２０３と連通させる第１状態と、吸着部２０５と吸引装置２０３との間の連通を遮断するとともに吸着部２０５をハンドリング装置１０の外部（大気圧空間）に連通させる第２状態との間で切り替え可能である。ハンドリング装置１０は、物体Ｏが比較的小さい場合、複数の吸着部２０５のなかから選択された１つまたは少数の吸着部２０５のみを、保持に用いる吸着部２０５（以下、「有効吸着部２０５Ｅ」と称する）として機能させる。なお、以下に説明するいくつかの図では、複数の吸着部２０５のなかで、有効吸着部２０５Ｅにドット模様を付することで、有効吸着部２０５Ｅと、それ以外の吸着部２０５とを区別して図示している。

吸着部２０５は、ベース２０１の一端部において配置されている。吸着部２０５は、移動元Ｂ１に位置する最小の物体よりも小さい外形を持つ。ハンドリング装置１０は、物体Ｏが比較的小さくて軽い場合、複数の吸着部２０５のなかから選択された１つ以上の有効吸着部２０５Ｅのみを用いて物体Ｏを吸着保持する。

なお、個々の吸着部２０５が単体で吸着保持できる物体Ｏの重量には上限がある。ハンドリング装置１０は、物体Ｏが比較的大きくて重い場合、複数の吸着部２０５のなかで２つ以上の有効吸着部２０５Ｅを併せて使用することで、重い物体Ｏを吸着保持するようにしてもよい。
なお、以下の説明で吸着部２０５が５つの場合を説明するが、吸着部２０５の個数は１つであってもよい。

次に、ロボット姿勢の表現度合いを変更可能な保持計画の概要について説明する。
本実施形態では、対象とする環境に応じて取り得る姿勢やアクセス可能領域の程度を選択可能な可操作度マップ（機能マップ）を利用して保持計画時の成功率を向上させる。なお、可操作度マップとは、例えば移動元Ｂ１内の位置それぞれの可操作度を表すマップである。また、可操作度とは、回転型関節のみを有するロボットが、ある姿勢でどの位運動できるかを表す指標であり、関節角度から計算されるパラメータである（参考文献；吉川恒夫、“ロボットアームの可操作度”、日本ロボット学会、Ｖｏｌ２、Ｎｏ．１、ｐ６３−６７、１９８４）。
これにより、本実施形態では、図３，図４に示すように、可操作度マップの利用によりアクセス可能領域を変化させる。図３、図４において、符号Ａ１、Ａ２は、ハンドリング装置１０がアクセス可能な領域を示している。

図３は、限定的な領域にアクセス可能な例を示す図である。図３に示す例では、移動機構１００に第１の保持部２００ａが取り付けられている。第１の保持部２００ａは、ｚ軸方向にアクセス可能な範囲を拡大している。

図４は、取り得る姿勢は限定的だがアクセス可能な領域は概括的な例を示す図である。図４に示す例では、移動機構１００に第２の保持部２００ｂが取り付けられている。第２の保持部２００ｂは、ｚ軸方向とｘｙ方向にアクセス可能な範囲を拡大している。
このように、本実施形態では、基準となる６自由度ロボットである移動機構１００にオフセットハンドである保持部２００を付与することで、特定の環境におけるアクセス可能領域を変更した保持計画を実行する。

次に、複数の吸着部２０５の配置レイアウト例を説明する。
図５は、本実施形態の複数の吸着部の配置レイアウトを示す下面図である。図５に示すように実施形態の吸着部２０５の数は五つである。四つの吸着部２０５Ａ〜吸着部２０５Ｄが、図５中に破線で示す仮想正方形Ｓの角部に位置するように配置されている。一つの吸着部２０５Ｅが、当該仮想正方形Ｓの中心（二つの対角線の交点）に位置するように配置されている。よって、複数の吸着部２０５は、それらの図心Ｃｆ０（図５における重心）を中心とする回転対称（４回対称）に配置されている。
制御部３００は、保持部２００を、図心Ｃｆ０を通り吸着部２０５の先端が略沿う仮想平面（または端面２００ｆ）と直交する軸Ａｘ回りに回転させることにより、複数の吸着部２０５の同一配置を、軸Ａｘ回りの複数（四つ）の回転角度で得ることができる。なお、軸Ａｘは、保持部２００の回動部２０２（関節）における回転軸とは限らない。

本実施形態では、保持部２００による物体Ｏの保持形態をモデルという。以下にモデルの例を説明する。
図６は、複数のモデルを示す図である。モデルは、吸着部２０５の数および配置によって定まる吸着部２０５による保持形態の区分である。図６の各モデル１〜８に示されるＣｆ１〜Ｃｆ８は、吸着部２０５の図心（重心）である。

モデルにおいては、使用される吸着部２０５は完全には特定されていない。図６の各モデルにおいて実線の円で示されているのが作動中の吸着部２０５であり、破線の円で示されているのが非作動中の吸着部２０５である。本実施形態では、符号ｇ１０１とｇ１０２のように、一つの吸着部２０５を用いた保持形態としてモデル１およびモデル２が設定されている。符号ｇ１０３とｇ１０４のように、二つの吸着部２０５を用いた保持形態としてモデル３およびモデル４が設定されている。符号ｇ１０５とｇ１０６のように、三つの吸着部２０５を用いた保持形態としてモデル５およびモデル６が設定されている。符号ｇ１０７のように、四つの吸着部２０５を用いた保持形態としてモデル７が設定されている。符号ｇ１０８のように、五つの吸着部２０５を用いた保持態様としてモデル８が設定されている。

モデル１となる吸着部２０５の組み合わせは、複数の吸着部２０５のレイアウトの回転対称を考慮すると四通りある。すなわち、吸着部２０５Ａ（図５参照）が作動し他の吸着部２０５Ｂ〜２０５Ｅ（図５参照）が非作動の場合、吸着部２０５Ｂが作動し他の吸着部２０５Ａ，２０５Ｃ〜２０５Ｅが非作動の場合、吸着部２０５Ｃが作動し他の吸着部２０５Ａ，２０５Ｂ，２０５Ｄ，２０５Ｅが非作動の場合、吸着部２０５Ｄが作動し他の吸着部２０５Ａ〜２０５Ｃ，２０５Ｅが非作動の場合である。各モデルに属する組み合わせは、保持形態を満たす吸着部２０５の使用形態（候補）を示しており、当該使用形態（候補）をパターンと称する。モデル１には、このように四つのパターンが含まれる。パターンにおいては、使用される吸着部２０５は特定される。

同様に回転対称を考慮すると、モデル２、モデル５、モデル６、モデル７、およびモデル８となる吸着部２０５の組み合わせは、それぞれ四通りである。言い換えると、モデル２、モデル５、モデル６、モデル７、およびモデル８には、それぞれ四つのパターンが含まれる。なお、モデル２には、非作動の吸着部２０５Ａ〜２０５Ｄの位置が異なる四つのパターンが含まれる。

また、モデル３およびモデル４では、回転対称を考慮すると、吸着部２０５の組み合わせは四通りであるが、二つの吸着部２０５の位置の入れ替え（反転）を考慮すると、組み合わせはさらに倍になる。したがって、モデル３およびモデル４となる吸着部２０５の組み合わせは、それぞれ八通りである。言い換えると、モデル３およびモデル４には、それぞれ八つのパターンが含まれる。

このようにモデルには、非作動の中央の吸着部２０５Ｅの両側に作動させる吸着部２０５を配置する保持形態、すなわち、モデル６，７，８において中央の吸着部２０５Ｅを非作動とする保持形態は、含まれていない。物体Ｏの表面において中央の吸着部２０５Ｅを配置可能な場合にあっては、当該吸着部２０５Ｅを作動させた方が物体Ｏをより確実に保持できるからである。

図７は、物体Ｏの表面（吸着面、対象面）において検出された保持可能な対象領域Ｔａを示す図である。また、図８は、三つの吸着部２０５を含むモデル５において吸着部２０５が対象領域Ｔａと面するパッド領域Ｐａを示す図である。対象領域Ｔａは、保持可能領域ともいう。対象領域Ｔａは、例えば、物体Ｏの表面のうち平面度が第一閾値以内であって面積が第二閾値以上の領域である。図７は、二値化されたデータを示しており、当該図７では、数値が「１」の場所が対象領域Ｔａであり、数値が「０」の場所が非対象領域Ｔｎ（保持不能領域）である。また、図８も二値化されたデータを示しており、図８では、数値が「１」の場所がパッド領域Ｐａであり、数値が「０」の場所が非パッド領域Ｐｎである。

次に、モデルのパッド領域Ｐａとの重畳度の演算結果例を説明する。
図９は、図８の対象領域Ｔａと図８のモデル５のパッド領域Ｐａとの重畳度の演算結果を示す図である。図８内の各ピクセルに示される数値は、当該ピクセルの位置にパッド領域Ｐａの図心Ｃｆｐ（図８における重心）が位置した場合における重畳度を示している。重畳度は、互いに重なりあっているピクセルについて、対象領域Ｔａを含む図７のデータにおけるピクセルの値（１または０）と、パッド領域Ｐａを含む図８のデータにおけるピクセルの値（１または０）とを乗算した値の、全ピクセル分の合計値（積算値）である。図９中に太枠Ｆｐで示されるように、保持位置は、対象領域Ｔａ内で、重畳度が最も高い位置、図９においては、パッド領域Ｐａの図心が太枠Ｆｐ内となる位置に設定される。なお、制御部３００は、パッド領域Ｐａを含むデータを回転角度を変更しながら、各角度位置について上記と同様の演算を実行することで、重畳度が最も高い回転角度（姿勢）を保持姿勢に決定する。

次に、可操作度マップの構成例を説明する。
図１０は、本実施形態に係る可操作度マップの構成例を示す図である。図１０に示すように、可操作度マップは、移動元Ｂ１の位置Ｎｏ（番号）毎に、手先位置・姿勢、アーム可動域、関節角度が関連付けられている。手先位置・姿勢は、例えば関節角度をオイラー角で表す場合、（ｘ、ｙ、ｚ、α、β、γ）で表される。また、アーム可動域は、Ｋ（ｍｍ）で表される。関節角度は、θ（ｄｅｇ）で表される。

図１１は、可操作度マップ生成時の点数配置による等間隔マップの例を示す図である。図１２は、可操作度マップ生成時の点数配置による不等間隔マップの例を示す図である。図１１と図１２において、点は、移動元Ｂ１内の位置のインデックスを表している。

図１１に示すように、等間隔マップでは、移動元Ｂ１内の位置のインデックスが等間隔に設定されている。なお、図１１では、移動元Ｂ１内を二次元（ｙｚ平面）で表しているが、奥行き方向（ｘ軸方向）にも移動元Ｂ１内の位置のインデックスが等間隔に設定されている。また、図１２に示すように、不等間隔マップでは、移動元Ｂ１内の位置のインデックスが移動元Ｂ１中央で疎であり移動元Ｂ１端で密に設定されている。なお、図１２では、移動元Ｂ１内を二次元（ｙｚ平面）で表しているが、奥行き方向（ｘ軸方向）にも移動元Ｂ１内の位置のインデックスが移動元Ｂ１中央で疎であり移動元Ｂ１端で密に設定されている。

このように、本実施形態では、移動元Ｂ１の内部に対して、移動機構１００と保持部２００によって移動元Ｂ１内の位置毎に、可操作度を関連付けたマップを可操作度マップとして作成する。この可操作度マップは、図１１、１２に示したように、移動元Ｂ１内の位置のインデックスが等間隔、不等間隔なものに限らず、後述するように手先の位置の可操作度マップと、手先の姿勢の可操作度マップを分けて生成して保持するようにしてもよい。また、可操作度マップは、姿勢を限定したもの、位置を限定したものであってもよい。

次に、可操作度について説明する。
ロボットの可操作度ωは、次式（１）のように定義される。

なお、式（１）において、ｄｅｔは行列式を表す記号である。また、符号Ｔは、転置行列を表す。また、Ｊ（θ）＝ｄｆ（θ）／ｄθ∈Ｒ^ｍ×ｎ（ｍ×ｎ実行列の集合）であり、Ｊ（θ）はヤコビ行列である。また、θは関節角度のベクトルである。またｆ（θ）＝ｒであり、ｒは、手先効果器（保持部２００）状態ベクトルであり、ロボットシステムの基準座標系における手先の位置およびオイラー角などによる姿勢を表す変数からなる。なお、ヤコビ行列Ｊ（θ）は、ロボット毎に予め求めておく。また、移動元Ｂ１内の位置毎に可操作度を予め求めて、可操作度マップを作成しておく。

なお、可操作度ωは０であることの意味合いは、解無しであり、ロボットが取れない姿勢を意味している。また、可操作度ωが大きいほど、ロボットが取りやすい姿勢を意味している。

ここで、手先の現在位置Ｘから目標位置Ｘｒまでの軌道上の微少ステップをΔＸとすると、６自由度ロボットにおける関節角度の微少変化Δθは、次式（２）のように表される。

式（２）の逆行列は、次式（３）のように表される。

なお、式（３）において、右辺が入力であり、左辺が出力である。なお、Ｊ（θ）は、６行１列の行列である。式（３）を用いれば、手先がある位置・姿勢に到達したとき、ロボットの各関節の関節角度を求めることができる。

ここで、可操作度が算出できているということは、その位置・姿勢における逆運動学が解けることを意味している。本実施形態では、移動元Ｂ１から物体Ｏを保持部２００で吸着して移動先コンテナＢ２に移動させる際に、後述するように移動元Ｂ１の内部の状態を撮影する。そして、本実施形態では、撮影された画像を解析した結果と可操作度マップに基づいて、どのような位置・姿勢で物体Ｏを吸着するか保持計画を生成する。
また本実施形態では、同時に移動元Ｂ１と、移動機構１００と保持部２００と、の干渉チェックも行う。

次に、可操作度マップの例を説明する。
図１３は、本実施形態に係る可操作度マップが分割されている例または統合されている例を示す図である。
本実施形態では、図１３の符号ｇ２１０が示す領域のように、制御部３００が、手先の位置それぞれと姿勢それぞれで計算された可操作度マップを別々のマップとして記憶部３４０に保持する。可操作度マップは、データベースとして保存され、保持計画時に利用される。これにより、制御部３００は、アクセス可能範囲に特化した可操作度マップを利用するのか、様々な姿勢に対応した可操作度マップを利用するかが選択可能となる。なお、符号ｇ２１１が示す領域は、手先の位置に関する可操作度マップ（ｗ_{ｔｒａｎｓｒａｔｉｏｎ}）を表す。符号ｇ２１２が示す領域は、手先の姿勢に関する可操作度マップ（ｗ_{ｒｏｔｉｏｎ}）を表す。また、図１３の符号ｇ２２０が示す領域のように、制御部３００が、手先の位置の可操作度マップと手先の姿勢の可操作度マップとを統合した可操作度マップ（ｗ＝ｗ_{ｔｒａｎｓｒａｔｉｏｎ}＊ｗ_{ｒｏｔｉｏｎ}）としても保持することができる。

制御部３００は、可操作度マップを、アクセス可能領域を最大にしたいとき、取り得る姿勢を最大にしたいとき、リリースしやすさを最大にしたいときなど様々な状況に応じて生成して保持する。例えば、アクセス可能領域を細かく調べたい場合、制御部３００は、可操作度マップのサイズを拡大、可操作度マップにおける移動元Ｂ１内の位置の間隔を、等間隔または不等間隔にするなどの変更により、利用シーンに合わせた可操作度マップが保持計画時に利用する。

次に、表面形状プリミティブについて説明する。
また図１４に示すように、姿勢を探索する場合、制御部３００は、表面形状のうち特徴的な曲率形状を表現した表面形状プリミティブを導入し、特徴的な姿勢の可操作度を調べることにより、表現する姿勢の数を減少させる。図１４は、表面形状プリミティブを定義し、特徴的な表面形状の姿勢のみを探索する例を説明するための図である。図１４において、横軸は、表面形状の基本形状（プリミティブ）の種類の例を表している。表面形状プリミティブは、例えば、ふくらみの底（ｃｕｐ、符号ｇ２３１）、くぼみ（ｒｕｔ、符号ｇ２３２）、鞍部（ｓａｄｄｌｅ、符号ｇ２３３）、膨らみの背（ｒｉｄｇｅ、符号ｇ２３４）、ふくらみの頂（ｃａｐ、符号ｇ２３５）である。なお、図１４に示した表面形状プリミティブの種類や数は一例であり、これに限らない。
これにより、本実施形態によれば、物体Ｏの形状に応じて姿勢を限定することで、可操作度マップにおける探索数が減少し、ピッキング時の探索を高速化できる。

次に、スコアの算出方法例を説明する。
制御部３００は、各パターン（候補）について、パターンを選択する指標（決定する指標）としてのスコアを算出する。制御部３００は、スコアの各項の変数（数値、物理量）をｘ_ｉ（ｉ＝１，２，・・・，ｎ）、各項の係数（重み付け係数）をａ_ｉ（ｉ＝１，２，・・・，ｎ）として、スコアｘを次式（４）により算出する。

変数は、例えば、各パターンについて、保持部２００の数や、保持部２００の図心（重心）と物体Ｏの図心（重心）との距離、現在位置および現在姿勢から保持位置および保持姿勢に至るまでの動作量（移動長、移動角度、エネルギ消費量）、現在位置および現在姿勢から保持位置および保持姿勢に至るまでの所要時間、保持位置および保持姿勢における保持部２００から障害物までの距離、対象領域Ｔａの水平面との角度、対象領域Ｔａの高さ等である。各係数は、保持部２００の数が多いほどスコアが高くなるように設定される。各係数は、保持部２００の図心（重心）と物体Ｏの図心（重心）との距離が短いほどスコアが高くなるように設定される。各係数は、保持部２００から障害物までの距離が短いほどスコアが低くなるように設定される。各係数は、ハンドリング装置１０と対象領域Ｔａの水平面との角度が小さいほどスコアが高くなるように設定される。各係数は、対象領域Ｔａの高さが高いほどスコアが高くなるように設定される。なお、変数（数値、物理量）は、物体Ｏの情報、ハンドリング装置１０の情報、および障害物の情報のうち少なくとも一つの情報に基づく物理量である。変数（数値、物理量）は、保持や搬送の、可否、効率、迅速性、エネルギ消費、確実性、ロバスト性、信頼性等に関与する物理量であればよく、上記例には限定されない。また、式（４）には少なくとも一つの項が含まれればよいし、変数の種類や数、指標毎の係数の大きさ等は、使用環境等に応じて、適宜に調整することができる。

次に、制御部３００の構成例について説明する。
図１５は、本実施形態に係る制御部３００を備える搬送システム１のシステム構成を示すブロック図である。図１５に示すように、制御部３００には、管理装置１３、移動機構１００、保持部２００、および表示装置４００が接続されている。なお、保持部２００は、移動機構１００を介して接続されていてもよい。

また、制御部３００は、操作部３１０、取得部３２０、可操作度マップ生成部３３０、記憶部３４０、計画生成部３５０、動作制御部３６０、および画像生成部３７０を備える。記憶部３４０は、可操作度マップ記憶部３４１、物体ＤＢ３４２、モデルパターンＤＢ３４３、および可視化モデルＤＢ３４４を備える。また、計画生成部３５０は、解析部３５１、モデル選択部３５２、保持位置決定部３５３、可操作度評価部３５４、パターン選択部３５５、経路算出部３５６、干渉判断部３５７、スコア算出部３５８、および保持計画生成部３５９を備える。

表示装置４００は、例えば液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、携帯型の端末等である。表示装置４００は、制御部３００が出力する画像を表示する。

操作部３１０は、例えばマウス、キーボード、機械式スイッチ、表示装置４００上に設けられたタッチパネルセンサのうちの少なくとも１つである。操作部３１０は、利用者によって操作された操作結果を検出し、検出した検出結果を可操作度マップ生成部３３０、計画生成部３５０、および動作制御部３６０に出力する。

取得部３２０は、管理装置１３が出力する画像またはセンサが検出した検出値を取得する。取得部３２０は、移動機構１００と保持部２００それぞれが備えるセンサが検出した検出値を取得する。取得部３２０は、取得した画像、検出値を可操作度マップ生成部３３０、計画生成部３５０、および動作制御部３６０に出力する。

可操作度マップ生成部３３０は、操作部３１０が出力する操作結果に応じて、取得部３２０が出力する画像や検出結果、記憶部３４０の可視化モデルＤＢ３４４が記憶する情報に基づいて、可操作度マップを作成する。可操作度マップ生成部３３０は、生成した可操作度マップを可操作度マップ記憶部３４１に記憶させる。なお、可操作度マップおよび可操作度マップの生成方法については後述する。

記憶部３４０は、各種設定値、画像、検出値等を一時記憶する。記憶部３４０は、重畳度に対する閾値を記憶する。

可操作度マップ記憶部３４１は、例えば、姿勢と位置とが統合された可操作度マップ、姿勢の可操作度マップ、位置の可操作度マップ、アクセス可能領域を最大化する対応の場合の可操作度マップ、移動機構１００と保持部２００の取り得る姿勢を最大化した対応の可操作度マップ、移動先コンテナＢ２に物体Ｏをリリースする際のリリースのしやすさを最大化して対応の可操作度マップのうち少なくとも１つの可操作度マップを記憶する。なお、各可操作度マップについでは後述する。

物体ＤＢ３４２は、データベースである。物体ＤＢ３４２には、例えば、移動元Ｂ１に位置する物体Ｏの種類または識別情報と、その物体Ｏの重量情報とを関連付けられて登録されている。

モデルパターンＤＢ３４３は、データベースである。モデルパターンＤＢ３４３には、吸着部２０５に関するモデルパターンが登録されている。モデルパターンＤＢ３４３には、移動機構１００や保持部２００に関する情報（形状やモデル等）、移動元Ｂ１に関する情報（内寸、モデル等）、移動先コンテナＢ２に関する情報（内寸、モデル等）等が登録されている。モデルパターンＤＢ３４３は、各モデルについて、図７に示されるようなモデルを収容可能な外接四角形Ｑｐの長辺Ｌｌｐおよび短辺Ｌｓｐを示す情報を記憶する。

可視化モデルＤＢは、データベースである。可視化モデルＤＢには、可視化を行う際に表示装置４００上に表示されるロボットモデルの画像、ロボットハンドの画像、移動元Ｂ１の画像、可操作度マップの初期値の画像等が保存されている。

計画生成部３５０は、可操作度マップの生成時に、例えば、管理装置１３を介して第１検出器１１に移動元Ｂ１を含む画像を撮影させる。計画生成部３５０は、物体Ｏを移動元Ｂ１から移動先コンテナＢ２に搬送する際、管理装置１３を介して第１検出器１１に移動元Ｂ１を含む画像を撮影させ、撮影された画像を解析した結果と可操作度マップに基づいて保持計画を生成する。

解析部３５１は、取得部３２０が出力する検出結果を取得し、取得した検出結果に基づいて、保持対象の物体Ｏに関する情報を解析する。検出結果が画像の場合、解析部３５１は、取得した画像に対して画像処理（例えば二値化、エッジ検出、特徴料検出、クラスタリング処理等）を行う。なお、解析部３５１は、撮影された画像から、例えば、表面に関する情報、奥行きに関する情報を用いる。解析部３５１は、画像処理した結果に基づいて、記憶部３４０の物体ＤＢ３４２に保持されている情報を用いて、保持対象の物体Ｏの画像を選択する。続けて、解析部３５１は、選択した保持対象である物体Ｏの曲面の状態を解析する。

モデル選択部３５２は、物体Ｏの対象領域Ｔａの形状や大きさに基づいて、モデルを選択する。具体的には、モデル選択部３５２は、第１検出器１１が検出した検出値に基づいて得られた対象領域Ｔａを示す情報から、対象領域Ｔａ内に含まれる最大の四角形Ｑｔ（内接四角形）の大きさを示す情報、例えば、図７に示されるような長辺Ｌｌｔ（長さ）および短辺Ｌｓｔ（長さ）を取得する。長辺Ｌｌｔおよび短辺Ｌｓｔは、対象領域Ｔａを示す情報の一例である。そして、モデル選択部３５２は、長辺Ｌｌｔおよび短辺Ｌｓｔに基づいて、四角形Ｑｔ内に配置可能な少なくとも一つのモデルを選択する。モデル選択部３５２は、複数のモデルの中から四角形Ｑｔの長辺Ｌｌｔが外接四角形Ｑｐの長辺Ｌｌｐ以上であり（Ｌｌｔ≧Ｌｌｐ）、かつ四角形Ｑｔの短辺Ｌｓｔが外接四角形Ｑｐの短辺Ｌｓｐ以上である（Ｌｓｔ≧Ｌｓｐ）モデルを、対象領域Ｔａの保持形態の候補として選択する。

保持位置決定部３５３は、対象領域Ｔａとモデルのパッド領域Ｐａとの重畳度を算出する。保持位置決定部３５３は、算出した重畳度に基づいて保持形態の候補として選択されたモデルにおける保持部２００の吸着位置（保持位置）を決定する。なお、保持位置決定部３５３は、例えば重畳度が所定値（閾値）以上の位置を保持位置として決定する。このため、候補の保持位置は複数存在する場合もある。保持位置決定部３５３は、複数の保持位置（保持点）を保持点リストとして生成し、生成した保持点リストを記憶部３４０に記憶させる。保持位置決定部３５３は、パッド領域Ｐａを含むデータを回転角度を変更しながら、各角度位置について重畳度の演算を実行することで、重畳度が最も高い回転角度（姿勢）を保持姿勢に決定する。なお、保持位置決定部３５３は、候補の保持位置が複数の場合、候補の保持位置毎に保持姿勢を決定する。

可操作度評価部３５４は、例えば利用者が操作部３１０を操作した操作結果に基づいて可操作度マップを選択する。または、可操作度評価部３５４は、保持部２００の種類や形状や大きさや、移動前のハンドリング装置１０の位置や姿勢等に基づいて可操作度マップを選択する。可操作度評価部３５４は、保持位置決定部３５３が決定した保持点リストと、可操作度マップとを比較して、保持点の候補毎に可操作度の評価を行う。なお、可操作度の評価方法については後述する。

パターン選択部３５５は、モデルが複数のパターンを有する場合、複数のパターンの中から１つを選択する。パターン選択部３５５は、干渉判断部３５７の判断結果に基づいて、選択したパターンが干渉する場合、選択したパターンを除外する。パターン選択部３５５は、干渉判断部３５７の判断結果に基づいて、選択したパターンが干渉しない場合、選択したパターンに決定する。

経路算出部３５６は、保持部２００の現在位置および現在姿勢から、保持位置および保持姿勢に至る移動経路を算出する。

干渉判断部３５７は、経路算出部３５６が算出した移動経路での保持部２００の移動について、保持部２００およびハンドリング装置１０と障害物との干渉の有無を判断する。

スコア算出部３５８は、各パターン（候補）について、パターン選択部３５５においてパターンを選択する指標（決定する指標）としてのスコアを、上述した式（４）を用いて算出する。

保持計画生成部３５９は、選択されたモデルと、記憶部３４０が記憶する情報に基づいて保持計画を生成する。保持計画生成部３５９は、生成した保持計画のデータのフォーマットを移動機構１００と保持部２００の制御に用いることが可能なデータのフォーマットに変換し、変換した保持計画のデータを動作制御部３６０に出力する。

動作制御部３６０は、保持計画生成部３５９が出力する保持計画の情報に基づいて駆動指示を生成し、生成した駆動指示を移動機構１００や保持部２００に出力する。

画像生成部３７０は、利用者が操作部３１０を操作した操作結果に基づいて、例えば可操作度マップ生成時に、作業状態を示す情報の画像、可操作度マップの画像、可動領域等の画像を生成する。画像生成部３７０は、生成した作業状態を示す情報の画像、可操作度マップの画像、可動領域等の画像を表示装置４００に表示させる。

次に、保持計画における可操作度マップの利用の処理手順例を説明する。図１５は、本実施形態に係る保持計画における可操作度マップの利用の処理のフローチャートである。図１５に示す例では、移動元Ｂ１に入っている物体Ｏを保持部２００で吸着して移動先コンテナＢ２に移動させる際の保持計画の例である。なお、以下の処理は、予め可操作度マップ、モデル等が記憶部３４０に記憶されている。また、保持対象の物体Ｏが、例えば操作部３１０の操作によって決定しているとする。

なお、上述した例では、撮影された画像に基づいて保持対象の物体Ｏの位置、姿勢、形状、保持面、保持点等を検出する例を説明したが、これに限らない。第１検出器１１が例えばレーザ等を用いた物体検出器である場合、解析部３５１は、第１検出器１１が検出した検出結果に基づいて、物体Ｏの位置、姿勢、形状、保持面、保持点等を検出するようにしてもよい。

（ステップＳ１）制御部３００は、設定値を初期化する。

（ステップＳ２）計画生成部３５０は、例えば、管理装置１３を介して第１検出器１１に移動元Ｂ１を含む画像を撮影させる。続けて、取得部３２０は、管理装置１３から第１検出器１１が検出した検出結果と第２検出器１２が検出した検出結果を取得する。第１検出器１１が検出した検出結果には、物体Ｏに関する情報（位置、大きさ等）が含まれている。取得部３２０は、移動機構１００と保持部２００からハンドリング装置１０に関する情報（位置、姿勢）を取得する。なお、第１検出器１１の検出結果、第２検出器１２の検出結果に画像が含まれている場合、解析部３５１が画像処理を行って、物体Ｏに関する情報を取得する。また、解析部３５１は、取得部３２０が出力する情報に基づいて、物体Ｏの曲率形状を解析する。

（ステップＳ３）モデル選択部３５２は、物体Ｏに関する情報に基づいて、保持部２００による保持形態であるモデルを選択する。なお、選択されたモデルには、上述したように複数のパターンが含まれている場合がある。

（ステップＳ４）保持位置決定部３５３は、対象領域Ｔａとモデルのパッド領域Ｐａとの重畳度を算出する。続けて、保持位置決定部３５３は、算出した重畳度に基づいて選択されたモデルにおける保持部２００の絶対座標系における吸着位置（保持位置）と絶対座標系における保持姿勢を決定する。なお、以下の説明において、保持位置と姿勢を表す点を保持点という。なお、複数の候補の保持位置がある場合がある。このような場合、保持位置決定部３５３は、保持位置毎に、保持位置の候補と、候補の保持位置の保持姿勢を示す情報を関連付けて保持点とし、複数の保持点の情報を保持点リストとして記憶させる。なお、保持点は、例えば、ハンドリング装置１０を動作させながらオンラインで取得する。

（ステップＳ５）可操作度評価部３５４は、用途や装着されている保持部２００に応じて、使用する可操作度マップを選択する。続けて、可操作度評価部３５４は、選択した可操作度マップを用いて、保持点それぞれに対して、可操作度の評価を行って、位置・姿勢に関する可操作度スコアを付与する。なお、可操作度の評価については、図１７を用いて後述する。なお、可操作度評価部３５４は、評価したした結果に基づいて、保持できない姿勢や位置の保持点を除外する。

（ステップＳ６）パターン選択部３５５は、選択されたモデルに含まれる複数のパターンの中から１つを選択する。

（ステップＳ７）経路算出部３５６は、保持部２００の現在位置および現在姿勢から、決定した保持位置および保持姿勢に至る移動経路を算出する。続けて、干渉判断部３５７は、算出された移動経路での保持部２００の移動について、保持部２００およびハンドリング装置１０と保持対象の物体Ｏ以外の障害物との干渉の有無を判断する。

（ステップＳ８）干渉判断部３５７は、ステップＳ７に基づいて、保持部２００およびハンドリング装置１０と保持対象の物体Ｏ以外の物体である障害物と干渉しているか否かを判断する。干渉判断部３５７は、干渉無く到達可能であると判断した場合（ステップＳ８；ＹＥＳ）、ステップＳ９の処理に進める。干渉判断部３５７は、干渉無く到達可能ではない、すなわち干渉すると判断した場合（ステップＳ８；ＮＯ）、ステップＳ１０の処理に進める。

（ステップＳ９）スコア算出部３５８は、選択されたパターンについて、式（４）を用いて候補の保持点毎に可操作度に関するスコアを算出する。なお、式（４）において、変数ａは係数であり、ｘ_ｉは物理量である。ｘ_ｉは、パッドの形状や、重心からの距離などである。式（４）は、例えば、ｘ＝ａ_１ｘ_１（パッド形状）＋ａ_２ｘ_２（重心からの距離）＋ａ_３ｘ_３（可操作度スコア）＋…のように表され、物理量ｘ_ｉに並列する形で可操作度のスコアが追加される。可操作度スコアは保持点毎に生成されるが、その際にｘ_ｉの式自体も更新されるので、保持点毎にｘが存在するような形になる。例えば、ｆ（１）は第一の保持点の位置スコアであり、ｆ（２）は第一の保持点における姿勢スコアであり、ｆは一つの保持点に関するスコアである。ｘ＝ａ_１ｘ_１（パッド形状）＋ａ_２ｘ_２（重心からの距離）＋ａ_３ｘ_３（可操作度スコア）＋…において、ｘ_３が可操作度スコアｆである。なお、可操作度スコアｆは、後述する図１７のステップＳ１１６で保持点毎に付与される。なお、スコア算出部３５８は、例えば、可操作度評価で付与された位置・姿勢に関する可操作スコアを正規化して、統一のスコアで計算できるようにする。続けて、スコア算出部３５８は、スコア関数をｘと定義した場合、重みｗｊ（ｊ＝１，２，・・・，ｎ、候補の保持点の番号）をつけた可操作度スコアｆｊを、次式（５）のように非線形関数で表現する。

処理後、スコア算出部３５８は、ステップＳ１１の処理に進める。

（ステップＳ１０）パターン選択部３５５は、選択されたパターンを除外する。処理後、パターン選択部３５５は、ステップＳ１１の処理に進める。

（ステップＳ１１）パターン選択部３５５は、他のパターンの候補があるか否か判断する。パターン選択部３５５は、他のパターンの候補があると判断した場合（ステップＳ１１；ＹＥＳ）、ステップＳ６に処理を戻す。パターン選択部３５５は、他のパターンの候補がない判断した場合（ステップＳ１１；ＮＯ）、ステップＳ１２に処理を進める。

（ステップＳ１２）パターン選択部３５５は、スコアが最も高いパターンの使用形態（候補）を、制御に用いるパターンとして選択する。

（ステップＳ１３）保持計画生成部３５９は、選択されたモデルと、記憶部３４０が記憶する情報に基づいて保持計画を生成する。続けて、保持計画生成部３５９は、生成した保持計画のデータのフォーマットを移動機構１００と保持部２００の制御に用いることが可能なデータのフォーマットに変換する。続けて、動作制御部３６０は、保持計画生成部３５９が出力する保持計画の指示に基づいて、移動機構１００と保持部２００を制御して移動元Ｂ１にある物体Ｏを吸着させ、吸着させた物体Ｏを移動先コンテナＢ２に移動させる。動作制御部３６０は、取得部３２０が取得した結果等に基づいて、目標を達成したことを確認し、目標達成終了状態を設定する。

次に、図１６のステップＳ５で行う可操作度評価で行う処理について説明する。
図１７は、本実施形態に係る可操作度評価部の処理のフローチャートである。なお、図１７に示す例では、可操作度マップ記憶部３４１に、複数の可操作度マップが記憶されているとする。

（ステップＳ１０１）可操作度評価部３５４は、保持点リストから１つの保持点を抽出する。なお、可操作度評価部３５４は、全ての保持点について、ステップＳ１０１〜Ｓ１１６の処理を繰り返す。

（ステップＳ１０２）可操作度評価部３５４は、例えば移動機構１００に取り付けられている保持部２００の種類に応じて機能を選択する。可操作度評価部３５４は、基本スペックで対応の場合に機能０を選択し、ステップＳ１０３の処理に進める。可操作度評価部３５４は、ある程度取り得る姿勢を限定してもアクセス可能領域を最大化して対応の場合に機能１を選択し、ステップＳ１０５の処理に進める。可操作度評価部３５４は、移動機構１００と保持部２００の取り得る姿勢を最大化した対応の場合に機能２を選択し、ステップＳ１０８の処理に進める。可操作度評価部３５４は、移動先コンテナＢ２に物体Ｏをリリースする際のリリースのしやすさを最大化して対応の場合に機能３を選択し、ステップＳ１１１の処理に進める。

（ステップＳ１０３）可操作度評価部３５４は、基本スペックでの対応を選択する。処理後、可操作度評価部３５４は、ステップＳ１０４の処理に進める。

（ステップＳ１０４）可操作度評価部３５４は、可操作度マップ記憶部３４１から基本可操作度マップを読み込む。なお、基本可操作度マップは、位置の可操作度マップと姿勢の可操作度マップが統合されたマップである。処理後、可操作度評価部３５４は、ステップＳ１１５の処理に進める。

（ステップＳ１０５）可操作度評価部３５４は、アクセス可能領域を最大化する対応を選択する。なお、この機能を選択した場合は、移動元Ｂ１端へのアクセス率が高まる。この機能選択は、例えば、保持部２００としてオフセットハンドなどを用いた場合など、より広い領域にアクセスさせたい場合に効果がある。処理後、可操作度評価部３５４は、ステップＳ１０６の処理に進める。

（ステップＳ１０６）可操作度評価部３５４は、可操作度マップ記憶部３４１から位置概括可操作度マップを読み込む。なお、位置概括可操作度マップは、位置の可操作度マップであり、到達可能性のある位置が不等間隔である。処理後、可操作度評価部３５４は、ステップＳ１０７の処理に進める。

（ステップＳ１０７）可操作度評価部３５４は、可操作度マップ記憶部３４１から姿勢限定可操作度マップを読み込む。なお、姿勢限定可操作度マップは、形状プリミティブ、すなわち、形状を限定し姿勢を限定し幾何学的な形状を曲率によって分類したマップである。処理後、可操作度評価部３５４は、ステップＳ１１５の処理に進める。

（ステップＳ１０８）可操作度評価部３５４は、取り得る姿勢を最大化する対応を選択する。この機能選択は、例えば、保持点が移動元Ｂ１に対して垂直方向にあるような場合に、限られた範囲における特徴的な姿勢の保持成功率を向上させることができる。処理後、可操作度評価部３５４は、ステップＳ１０９の処理に進める。

（ステップＳ１０９）可操作度評価部３５４は、可操作度マップ記憶部３４１から位置限定可操作度マップを読み込む。なお、位置限定可操作度マップは、基本位置における可操作度マップである。処理後、可操作度評価部３５４は、ステップＳ１１０の処理に進める。

（ステップＳ１１０）可操作度評価部３５４は、可操作度マップ記憶部３４１から姿勢概括可操作度マップを読み込む。なお、姿勢概括可操作度マップは、姿勢を網羅したマップである。処理後、可操作度評価部３５４は、ステップＳ１１３の処理に進める。

（ステップＳ１１１）可操作度評価部３５４は、リリースのしやすさを最大化する対応を選択する。この機能選択は、例えば、ピッキング後の動作のしやすさへの成功率を向上させることができる。これは、指定された位置・組成を表現する際の移動機構１００（アーム）の関節角度が、可動域全体の中心付近にあることを保証する。これにより、この機能選択は、次の動作を行う際の可用性を高める効果がある。処理後、可操作度評価部３５４は、ステップＳ１１２の処理に進める。

（ステップＳ１１２）可操作度評価部３５４は、可操作度マップ記憶部３４１から基本可操作度マップを読み込む。処理後、可操作度評価部３５４は、ステップＳ１１３の処理に進める。

（ステップＳ１１３）可操作度評価部３５４は、取得部３２０を介して保持する際の関節角度情報を取得する。なお、アクセス可能領域を最大化する対応の場合は、姿勢が限定的（例えば水平状態）であるため、関節角度情報を取得しない。処理後、可操作度評価部３５４は、ステップＳ１１４の処理に進める。

（ステップＳ１１４）可操作度評価部３５４は、読み込んだ各可操作度マップの各可操作度と、読み込んだ関節角度情報とに基づいて、ステップＳ１０１で選択した保持点に対しての関節可動領域のスコアを算出する。処理後、可操作度評価部３５４は、ステップＳ１１５の処理に進める。

（ステップＳ１１５）可操作度評価部３５４は、ステップＳ１０１で抽出した保持点と、読み込んだ可操作度マップそれぞれにおける移動元Ｂ１内の位置と姿勢それぞれとの距離を計算する。具体的には、可操作度評価部３５４は、基本スペックで対応する場合、保持点の位置と基本可操作度マップにおける最近傍点とのノルムを距離ｆ１として計算し、保持点の姿勢と基本可操作度マップにおける最近傍姿勢とのノルムを距離ｆ２として計算する。可操作度評価部３５４は、アクセス可能領域最大化で対応する場合、保持点の位置と位置概括可操作度マップにおける最近傍点とのノルムを距離ｆ３として計算し、保持点を含む物体表面と姿勢限定可操作度マップ（形状プリミティブ）から曲率をｆ４として計算する。可操作度評価部３５４は、取り得る姿勢最大化で対応する場合、保持点の位置と位置限定可操作度マップにおける最近傍点とのノルムを距離ｆ３として計算し、保持点の姿勢と姿勢概括可操作度マップにおける最近傍姿勢とのノルムを距離ｆ４として計算する。可操作度評価部３５４は、リリースしやすさ最大化で対応する場合、保持点の位置と基本可操作度マップにおける最近傍点とのノルムを距離ｆ３として計算し、保持点の姿勢と基本可操作度マップにおける最近傍姿勢とのノルムを距離ｆ４として計算する。また、可操作度評価部３５４は、関節可動領域の中心からどれだけ領域に余裕があるかを示す値をｆ５として計算する。

（ステップＳ１１６）可操作度評価部３５４は、ステップＳ１０１で抽出した保持点に対して可操作度スコアを算出する。なお、可操作度評価部３５４は、保持点と可操作度マップにおける位置との距離、関節可動領域のスコアと、可操作度マップに関連付けられている可操作度と、に基づいて可操作度スコアを算出する。続けて、可操作度評価部３５４は、ステップＳ１０１で抽出した保持点に対して算出した可操作度スコアを付与する。具体的には、可操作度評価部３５４は、位置に関する距離ｆ１、姿勢に関する距離ｆ２、形状プリミティブに関する曲率ｆ３、および関節可動領域に関する値ｆ４の各々の次元の違う量を正規化し関数とする。次に、可操作度評価部３５４は、これらの関数ｆ１〜ｆ４それぞれに重みをかけて足し合わせて、次式（６）のように可操作度スコアｆを算出する。

なお、式（６）において、ｗ１はｆ１の重み、ｗ２はｆ２の重み、ｗ３はｆ３の重み、ｗ４はｆ４の重みである。また、可操作度評価部３５４は、基本スペックで対応する場合にｆ１とｆ２を用いて可操作度スコアｆを算出する。可操作度評価部３５４は、アクセス可能領域最大化で対応する場合にｆ１とｆ３を用いて可操作度スコアｆを算出する。可操作度評価部３５４は、取り得る姿勢最大化で対応する場合にｆ１とｆ２とｆ４を用いて可操作度スコアｆを算出する。可操作度評価部３５４は、リリースしやすさ最大化で対応する場合にｆ１とｆ２を用いて可操作度スコアｆを算出する。

本実施形態では、図１７のように機能に応じて（例えばハンドの種類や保持する物体Ｏに応じて）、保持位置を評価する際に用いる可操作度マップを選択するようにした。このように、本実施形態では、可操作度マップを選択することで、姿勢や位置が限定されるが、可操作度マップに含まれる情報も限定されるため、候補の保持点に対応する可操作度マップの探索時間を低減することができる。また、本実施形態によれば、姿勢や位置が限定されるが、可操作度マップに含まれる情報も限定されるため、可操作度マップの情報を低減することができる。

次に、可操作度マップにおける保持点の高速探索処理について説明する。
保持点候補である位置と姿勢をロボットが表現できるか否かを評価する際には、オンラインで実行できる必要がある。なお、可操作度マップはオフラインにて生成されている。保持計画の処理は、リアルタイム実行し、ｍｓオーダーで処理を行う必要がある。可操作度マップを６次元で表現すると、探索の回数が膨大になり処理に時間がかかってしまうので高速探索処理が必要である。このため、以下に説明する例では、可操作度マップを位置の３次元、姿勢の３次元に分け、それぞれのマップに対して高速近傍点探索を行うことで、実時間処理を実現する。これにより、ピッキング時における姿勢決定を高速化することができる。

図１８は、本実施形態に係る可操作度マップにおける保持点の高速探索処理のフローチャートである。

（ステップＳ２０１）可操作度評価部３５４は、保持点リストから１つの保持点を抽出する。可操作度評価部３５４は、ステップＳ２０２〜Ｓ２０３の処理と、ステップＳ２０４〜Ｓ２０５の処理とを例えば並行して行う。

（ステップＳ２０２）可操作度評価部３５４は、位置の可操作度マップを読み込む。処理後、可操作度評価部３５４は、ステップＳ２０３の処理に進める。

（ステップＳ２０３）可操作度評価部３５４は、抽出した保持点を用いて、位置の可操作度マップに対して高速最近傍点探索を行う。なお、高速最近傍点探索とは、例えばＫ近傍探索法の高速な近似計算アルゴリズムであるＦＬＡＮＮ（Ｆａｓｔ Ｌｉｂｒａｒｙ ｆｏｒ Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ；近似最近傍探索のための高速ライブラリ）を用いた探索である。処理後、可操作度評価部３５４は、ステップＳ２０６の処理に進める。

（ステップＳ２０４）可操作度評価部３５４は、姿勢の可操作度マップを読み込む。処理後、可操作度評価部３５４は、ステップＳ２０５の処理に進める。

（ステップＳ２０５）可操作度評価部３５４は、抽出した保持点を用いて、姿勢の可操作度マップに対して高速最近傍点探索を行う。処理後、可操作度評価部３５４は、ステップＳ２０６の処理に進める。

（ステップＳ２０６）可操作度評価部３５４は、ステップＳ２０１で抽出した保持点と、読み込んだ可操作度マップにおける位置それぞれとの距離を算出する。なお、可操作度評価部３５４は、図１７のステップＳ１１５で説明したように、保持点の位置とマップにおける位置との距離と、保持点の姿勢とマップにおける姿勢との距離を算出する。続けて、可操作度評価部３５４は、算出した結果に基づいて、保持点に対する位置の可操作度マップによるスコア（評価値）を付与し、保持点に対する姿勢の可操作度マップによるスコア（評価値）を付与する。可操作度評価部３５４は、全ての保持点を抽出していない場合、ステップＳ２０１の処理に戻す。可操作度評価部３５４は、全ての保持点を抽出した場合、ステップＳ２０７の処理に進める。

（ステップＳ２０７）可操作度評価部３５４は、ステップＳ２０３で付与された可操作度スコアと、ステップＳ２０５で付与された可操作度スコアとを、式（６）のように正規化して重みを用いて足し合わせることで統合する。

次に、可操作度マップの生成方法と可視化について説明する。
図１９は、本実施形態に係る可操作度マップの生成方法と可視化処理のフローチャートである。図２０は、本実施形態に係る操作度マップの生成時に表示装置４００上に提示されるモデル例を示す図である。図２０において、符号ｇ３１０が示す領域の図は、ロボットタイプの選択時に提示されるモデルの例である。符号ｇ３１１が第１のタイプのロボットのモデルであり、符号ｇ３１２が第２のタイプのロボットのモデルである。符号ｇ３２０が示す領域の図は、ロボットハンド（保持部２００）の選択時に提示されるモデルの例である。符号ｇ３２１が第１のタイプのロボットハンドのモデルであり、符号ｇ３２２が第２のタイプのロボットハンドのモデルであり、符号ｇ３２３が第３のタイプのロボットハンドのモデルである。符号ｇ３３０が示す領域の図は、環境情報設定時に提示される移動元Ｂ１のモデルの例である。符号ｇ３３１が第１のタイプの移動元Ｂ１のモデルであり、符号ｇ３３２が第２のタイプの移動元Ｂ１のモデルである。

（ステップＳ３０１）可操作度マップ生成部３３０は、利用者が操作部３１０を操作した操作結果に基づいて、ロボットタイプを選択する。ロボットタイプは、例えば３軸のロボットアーム、６軸の垂直多関節ロボットアーム等である。なお、可操作度マップ生成部３３０は、選択可能なロボットタイプの画像情報を記憶部３４０の可視化モデルＤＢ３４４から読み出し、読み出したロボットタイプの画像情報を画像生成部３７０に出力する。画像生成部３７０は、受け取ったロボットタイプの画像情報に基づいて、ロボットタイプの画像（例えば図１５のｇ３１０）を表示装置４００上に表示させる。

（ステップＳ３０２）可操作度マップ生成部３３０は、利用者が操作部３１０を操作した操作結果に基づいて、ロボットハンドを選択する。ロボットハンドは、例えばｚ軸方向にアクセス可能な可動範囲を拡大するハンド、ｘｙｚ軸方向に可動範囲を拡大するハンド等である。なお、可操作度マップ生成部３３０は、選択可能なロボットハンドの画像情報を記憶部３４０の可視化モデルＤＢ３４４から読み出し、読み出したロボットハンドの画像情報を画像生成部３７０に出力する。画像生成部３７０は、受け取ったロボットハンドの画像情報に基づいて、ロボットハンドの画像（例えば図２０のｇ３２０）を表示装置４００上に表示させる。

（ステップＳ３０３）可操作度マップ生成部３３０は、利用者が操作部３１０を操作した操作結果に基づいて、環境情報を設定する。なお、環境情報とは、用いられる移動元Ｂ１に関する情報（移動元Ｂ１の名称または識別情報、移動元Ｂ１が配置されている位置情報等）である。なお、可操作度マップ生成部３３０は、管理装置１３を介して第１検出器１１を操作して撮影された画像に基づいて環境情報を取得するようにしてもよい。

（ステップＳ３０４）可操作度マップ生成部３３０は、利用者が操作部３１０を操作した操作結果に基づいて機能を選択する。選択される機能は、例えば、図１７を用いて説明した基本スペックで対応、アクセス可能領域を最大化で対応、取り得る姿勢を最大化で対応、リリースしやすさを最大化で対応のうちの少なくとも１つである。

（ステップＳ３０５）可操作度マップ生成部３３０は、ステップＳ３０１〜Ｓ３０４で設定、選択された結果に基づいて、記憶部３４０の可視化モデルＤＢ３４４が記憶する情報を用いて、移動元Ｂ１に対するシミュレーションを行う。なお、可操作度マップ生成部３３０は、記憶部３４０の可視化モデルＤＢ３４４が記憶する情報を用いて、ハンドリング装置１０の状態（位置、姿勢）をシミュレーションする。

（ステップＳ３０６）可操作度マップ生成部３３０は、シミュレーションによって移動元Ｂ１内の位置それぞれの可操作度を算出することで可操作度マップを生成する。続けて、可操作度マップ生成部３３０は、生成した可操作度マップの情報を画像生成部３７０に出力する。続けて、画像生成部３７０は、取得した可操作度マップの情報に基づいて可操作度マップの画像を生成し、生成した可操作度マップの画像を表示装置４００上に表示させる。

（ステップＳ３０７）可操作度マップ生成部３３０は、生成した可操作度マップを可操作度マップ記憶部３４１に記憶させる。

（ステップＳ３０８）可操作度マップ生成部３３０は、利用者が操作部３１０を操作した操作結果に基づいてアクセス可能領域を示す画像を生成し、生成した画像を表示装置４００上に表示させる。なお、アクセス可能領域は、可操作度が０で無い領域である。

（ステップＳ３０８）可操作度マップ生成部３３０は、利用者が操作部３１０を操作した操作結果に基づいて機能が変更されたか否かを判別する。可操作度マップ生成部３３０は、機能が変更されたと判別した場合（ステップＳ３０８；ＹＥＳ）、ステップＳ３０３の処理に戻す。可操作度マップ生成部３３０は、機能が変更されていないと判別した場合（ステップＳ３０８；ＮＯ）、処理を終了する。

次に、可操作度マップの生成時に表示装置４００上に表示される画像例を説明する。
図２１は、本実施形態に係る可操作度マップの生成時に表示装置４００上に表示される画像ｇ４１０例を示す図である。図２１において、符号ｇ４１１が示す画像は、図１９における各処理過程におけるテキスト表示例である。符号ｇ４１２が示す画像は、アクセス可能領域の例である。
なお、図２１に示す例では、符号ｇ４１２としてアクセス可能領域の画像を表示しているが、処理手順に応じて選択可能なロボットタイプの画像、選択可能なロボットハンドの画像、選択可能な機能の画像、可操作度マップの画像等に切り替わるようにしてもよい。

なお、図１５の処理において、図２１の符号ｇ４１１のように可操作度マップを生成するか否かが選択可能であってもよい。また、図１９の処理において、図２１の符号ｇ４１１のように可操作度マップを保存するか否かが選択可能であってもよい。

以上のように、本実施形態では、可操作度マップを生成し、対象とする領域に対してアクセス可能領域や取り得る姿勢の量を変更可能とする保持計画を生成するようにした。
これにより、本実施形態によれば、例えば位置と姿勢を別々に評価できる機能マップを定義して、姿勢の探索を高速化することで、ワークの保持を高速化することができる。または、本実施形態によれば、例えば位置または姿勢を限定して評価できる機能マップを定義して、姿勢の探索を高速化することで、ワークの保持を高速化することができる。

なお、本発明における制御部３００の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部３００が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１…搬送システム、１０…ハンドリング装置、３００…制御部、１３…管理装置、１００…移動機構、２００…保持部、４００…表示装置、３１０…操作部、３２０…取得部、３３０…可操作度マップ生成部、３４０…記憶部、３５０…計画生成部、３６０…動作制御部、３７０…画像生成部、３４１…可操作度マップ記憶部、３４２…物体ＤＢ、３４３…モデルパターンＤＢ、３４４…可視化モデルＤＢ、３５１…解析部、３５２…モデル選択部、３５３…保持位置決定部、３５４…可操作度評価部、３５５…パターン選択部、３５６…経路算出部、３５７…干渉判断部、３５８…スコア算出部、３５９…保持計画生成部

Claims (8)

1. 関節を備えるアーム部と、
   前記アーム部に取り付けられ、物体を保持可能な保持部と、
   前記保持部によって保持可能な位置の情報および前記保持部が取れる姿勢の情報のうち少なくとも１つを機能マップとして記憶する記憶部と、
   前記物体に関する情報を検出する検出部と、
   前記検出部が検出した検出結果に基づいて保持可能な候補点を生成し、生成した前記保持可能な候補点に対応する、前記機能マップにおける前記物体が存在する環境内の位置を探索して、前記探索した結果に基づいて前記保持部の保持姿勢を決定する制御部と、
   を備え、
   前記機能マップは、前記物体が存在する環境内の位置それぞれに可操作度が関連づけられており、
   前記可操作度は、前記保持部の関節角度から計算されるパラメータである、
   ハンドリング装置。
2. 前記記憶部は、
   前記位置の情報および前記姿勢の情報のうち少なくとも１つについて、前記環境内の位置が等間隔な前記機能マップまたは不等間隔な前記機能マップを記憶する、
   請求項１に記載のハンドリング装置。
3. 前記記憶部は、
   前記位置の情報の機能マップと、前記姿勢の情報の機能マップ、前記位置の情報の機能マップと前記姿勢の情報機能マップとが統合された機能マップ、前記保持部がアクセス可能な領域を最大化する機能マップ、前記保持部の取り得る姿勢を最大化する機能マップ、および前記物体を保持した後に前記物体のリリースのしやすさを最大化する機能マップのうちの少なくとも１つを記憶する、
   請求項１または請求項２に記載のハンドリング装置。
4. 前記記憶部は、
   前記姿勢を限定した姿勢の情報の機能マップを記憶し、
   前記制御部は、
   前記物体の表面形状のうち特徴的な曲率形状を表面形状プリミティブとして定義し、
   前記検出部が検出した検出結果に基づいて前記物体の表面形状を解析し、解析した結果に基づいて前記物体の表面における前記表面形状プリミティブである位置を推定し、推定した位置に対応する、前記姿勢を限定した姿勢の情報の機能マップにおける前記物体が存在する環境内の位置を探索して、前記探索した結果に基づいて前記保持部の保持姿勢を決定する、
   請求項１から請求項３のいずれか１項に記載のハンドリング装置。
5. 前記制御部は、
   前記保持部の種類に基づいて、前記記憶部が記憶する複数の前記機能マップの中から少なくとも１つの前記機能マップを選択する、
   請求項１から請求項４のいずれか１項に記載のハンドリング装置。
6. 前記制御部は、
   当該ハンドリング装置の状態を、モデルを用いてシミュレーションし、
   前記シミュレーションした結果に基づいて、前記保持部がアクセス可能な領域の画像を生成し、生成した画像を表示装置に出力する、
   請求項１から請求項５のいずれか１項に記載のハンドリング装置。
7. 関節を備えるアーム部と、前記アーム部に取り付けられ、物体を保持可能な保持部と、前記物体に関する情報を検出する検出部と、を備えるハンドリング装置における制御装置であって、
   前記保持部によって保持可能な位置の情報および前記保持部が取れる姿勢の情報のうち少なくとも１つを機能マップとして記憶する記憶部と、
   前記検出部によって検出された検出結果に基づいて保持可能な候補点を生成し、生成した前記保持可能な候補点に対応する、前記機能マップにおける前記物体が存在する環境内の位置を探索して、前記探索した結果に基づいて前記保持部の保持姿勢を決定する制御部と、
   を備え、
   前記機能マップは、前記物体が存在する環境内の位置それぞれに可操作度が関連づけられており、
   前記可操作度は、前記保持部の関節角度から計算されるパラメータである、
   制御装置。
8. 関節を備えるアーム部と、前記アーム部に取り付けられ、物体を保持可能な保持部と、前記物体に関する情報を検出する検出部と、前記保持部によって保持可能な位置の情報および前記保持部が取れる姿勢の情報のうち少なくとも１つを機能マップとして記憶する記憶部と、を備えるハンドリング装置における制御装置であって、
   前記機能マップは、前記物体が存在する環境内の位置それぞれに可操作度が関連づけられており、
   前記可操作度は、前記保持部の関節角度から計算されるパラメータであり、
   前記検出部によって検出した検出結果に基づいて保持可能な候補点を生成し、生成した前記保持可能な候補点に対応する前記機能マップにおける前記物体が存在する環境内の位置を探索し、前記探索した結果に基づいて前記保持部の保持姿勢を決定する、
   保持方法。

Images