JP2022131750A - ハンドリングシステム、搬送システム、制御装置、制御プログラム、およびハンドリング方法 - Google Patents

Abstract

【課題】ハンドリング装置の動作時間を短縮できるハンドリングシステム、搬送システム、制御装置、制御プログラム、およびハンドリング方法を提供する。【解決手段】実施形態のハンドリングシステムは、可動アームと、保持部と、センサと、制御部と、を持つ。前記保持部は、前記可動アームに取り付けられ、複数の保持方法のうち一つ以上を選択して物体を保持することが可能である。前記センサは、複数の前記物体を検出可能である。前記制御部は、前記可動アームおよび前記保持部を制御する。前記制御部は、前記センサから取得した情報に基づいて、前記物体ごとおよび保持方法ごとに、選択されている保持方法を基準としたスコアを算出する。前記制御部は、前記スコアに基づいて、次に保持する前記物体および保持方法を選択する。前記制御部は、選択された前記物体を保持する位置および前記可動アームの姿勢を算出する。【選択図】図１

Description

本発明の実施形態は、ハンドリングシステム、搬送システム、制御装置、制御プログラム、およびハンドリング方法に関する。

従来、エンドエフェクタが対象物を保持するハンドリング装置が知られている。物流現場における移載動作の自動化には、多種多様な形状や大きさ、重さを有した対象物を保持できることが求められる。ハンドリング装置を用いてこれらの対象物を保持する際には、保持位置、保持手法、ロボットアームの姿勢などの保持戦略の決定に多く演算が必要である。対象物の積載状態が複雑になると、保持戦略の決定に必要な演算の所要時間が長くなる。

また、複数の保持用ツールを選択的に使用して作業を行う場合において、保持方法の切替え回数が多すぎると、ツールの交換動作の分だけ作業全体に要する時間が長くなる可能性がある。

特許第５１３０５０９号公報 特開２０１９－１８８５１６号公報

本発明が解決しようとする課題は、ハンドリング装置の動作時間を短縮できるハンドリングシステム、搬送システム、制御装置、制御プログラム、およびハンドリング方法を提供する。

実施形態のハンドリングシステムは、可動アームと、保持部と、センサと、制御部と、を持つ。前記保持部は、前記可動アームに取り付けられ、複数の保持方法のうち一つ以上を選択して物体を保持することが可能である。前記センサは、複数の前記物体を検出可能である。前記制御部は、前記可動アームおよび前記保持部を制御する。前記制御部は、前記センサから取得した情報に基づいて、前記物体ごとおよび保持方法ごとに、選択されている保持方法を基準としたスコアを算出する。前記制御部は、前記スコアに基づいて、次に保持する前記物体および保持方法を選択する。前記制御部は、選択された前記物体を保持する位置および前記可動アームの姿勢を算出する。

別の実施形態のハンドリングシステムは、可動アームと、保持部と、センサと、制御部と、を持つ。前記保持部は、前記可動アームに取り付けられ、複数の保持機構のうち一つ以上を選択して保持対象物を保持することが可能である。前記センサは、前記保持対象物を検出可能である。前記制御部は、前記可動アームおよび前記保持部を制御する。前記制御部は、前記センサから取得した情報に基づいて、保持対象物の何れかと、前記保持機構の何れかから、選択される保持機構を基準としたスコアを算出する。前記制御部は、前記スコアに基づいて、保持対象物、および前記選択される保持機構の後に前記保持対象物を保持する保持機構を選択する。前記制御部は、前記選択される保持機構の後に前記保持対象物を保持する保持機構が、前記保持対象物を保持する位置、および前記可動アームの姿勢を算出する。

第１の実施形態のハンドリングシステムを含む搬送システムを模式的に示す斜視図。 第１の実施形態のハンドリングシステムを含む搬送システムのシステム構成を示すブロック図。 第１の実施形態の制御装置による制御フローチャート。 「挟持」によって物体Ｏを保持する場合における、物体の画像データにおける仮マスク領域を示す図。 物体の画像データにおけるマスク領域を示す図。 物体のデプス画像を示す図。 物体の３次元位置および姿勢を説明する図。 ３次元位置および姿勢に関する情報が付加されたマスク領域を示す図。 第１の実施形態に係る制御装置による保持戦略計画工程の制御フローチャート。 第２の実施形態に係る制御装置による保持戦略計画工程の制御フローチャート。

以下、実施形態のハンドリングシステム、搬送システム、制御装置、制御プログラム、およびハンドリング方法を、図面を参照して説明する。
なお、以下の説明では、同一または類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

（第１の実施形態）
図１～９を参照して、一実施形態について説明する。図１は、本実施形態のハンドリング装置１０（「ハンドリングシステム」の一例）を含む搬送システム１を模式的に示す斜視図である。

搬送システム１は、例えば物流用のハンドリングシステム（ピッキングシステム）である。搬送システム１は、移動元Ｖ１に位置する物体（保持対象物、搬送対象物）Ｏを、移動先Ｖ２に移動させる。例えば、搬送システム１は、移動元Ｖ１などに収納された多種類の物体Ｏを、指定された数だけ取り出して移動先Ｖ２に積載する作業を行う。

移動元Ｖ１は、例えば、各種のコンベアや各種のパレット、またはトートやオリコンのようなコンテナなどである。「コンテナ」とは、物体Ｏを収容可能な部材（例えば箱状の部材）を広く意味する。ただし、移動元Ｖ１は、上記例に限定されない。以下の説明では、「移動元Ｖ１」を「取り出し元コンテナＶ１」と称する場合がある。

移動元Ｖ１には、大きさや重さが異なる多種類の物体Ｏがランダムに置かれる。例えば、保持対象の物体Ｏは、物体Ｏ表面の少なくとも一部に凹凸形状を有する。本実施形態では、物体Ｏの外形形状は、５ｃｍ角のような小さなものから、３０ｃｍ角のような大きなものまで様々である。また、物体Ｏは、数十ｇのような軽いものから数ｋｇのような重いものまで様々である。ただし、物体Ｏの大きさや重さは、上記例に限定されない。

移動先Ｖ２は、例えば、トートやオリコンのようなコンテナである。ただし、移動先Ｖ２は、上記例に限定されない。以下の説明では、「移動先Ｖ２」を「搬送先コンテナＶ２」と称し、「移動元Ｖ１」および「移動先Ｖ２」を単に「コンテナ」と総称する場合がある。なお、搬送システム１は、コンテナ以外の移動先Ｖ２に物体Ｏを移動させるものでもよい。

搬送システム１は、物流用のハンドリングシステムに限定されない。搬送システム１は、産業用ロボットシステムやその他のシステムなどにも広く適用可能である。本願でいう「搬送システム」、「ハンドリングシステム」、および「ハンドリング装置」とは、物体の搬送を主目的としたシステムや装置に限定されず、製品組立や別の目的の一部として物体の搬送（移動）を伴うシステムやシステムも含む。

搬送システム１は、図１に示すように、ハンドリング装置１０と、センサ１１と、制御装置１２（「制御部」の一例）と、を有する。制御装置１２は、ハンドリング装置１０に組み込まれていてもよい。

ハンドリング装置１０は、例えばロボット装置である。ハンドリング装置１０は、取り出し元コンテナＶ１に位置する物体Ｏを保持し、保持した物体Ｏを搬送先コンテナＶ２（保管領域）に移動させる。ハンドリング装置１０は、有線または無線で制御装置１２と通信可能である。本実施形態においては、ハンドリング装置１０は、第１ハンドリング装置１０Ａ、第２ハンドリング装置１０Ｂと、を有する。

第１ハンドリング装置１０Ａは、例えば、可動アーム１００と、可動アーム１００の先端に設けられた第１保持部２００Ａと、を有する。

可動アーム１００は、第１保持部２００Ａを所望の位置に移動させる移動機構である。例えば、可動アーム１００は、６軸の垂直多関節ロボットアームである。可動アーム１００は、様々な位置姿勢をとることが可能である。人間の腕や手と同様に、可動アーム１００も、物体を保持するためのより様々な姿勢を取ることができる。可動アーム１００は、例えば、複数のアーム部材１０１と、複数のアーム部材１０１を回動可能に連結した複数の回動部１０２とを含む。

可動アーム１００は、３軸の直交ロボットアームでもよい。可動アーム１００は、その他の構成により第１保持部２００Ａを所望の位置に移動させる機構でもよい。例えば、可動アーム１００は、回転翼により第１保持部２００Ａを持ち上げて移動させる飛行体（例えばドローン）などでもよい。

第１保持部２００Ａは、取り出し元コンテナＶ１に位置する物体Ｏを保持する保持機構（エンドエフェクタ）である。第１保持部２００Ａは、挟持ハンド２０２を有する。

挟持ハンド２０２は、２本指で物体Ｏを挟んで把持するグリッパ型ハンドであり、可動アーム１００の先端に設けられている。挟持ハンド２０２の構成はこれに限定されず、例えば３本指で物体Ｏを挟んで把持するグリッパ型ハンドであってもよい。

なお、第１保持部２００Ａは、吸引装置および吸引装置に連通した吸着部をさらに有し、挟持および／または吸着により物体Ｏを保持するハイブリッド型ハンドであってもよい。この場合、吸着部は、挟持ハンド２０２の指先端に設けられ得る。吸着部は、挟持ハンド２０２の指先端に複数設けられていてもよい。

第２ハンドリング装置１０Ｂは、例えば、アーム（第２アーム）１００と、可動アーム１００の先端に設けられた第２保持部２００Ｂと、を有する。第２ハンドリング装置１０Ｂの可動アーム１００は、第１ハンドリング装置１０Ａの可動アーム１００と同様の構成を有する。

第２保持部２００Ｂは、取り出し元コンテナＶ１に位置する物体Ｏを保持する保持機構（エンドエフェクタ）である。例えば、第２保持部２００Ｂは、吸引装置２０３と、吸引装置２０３に連通した吸着部２０５と、を有する。第２保持部２００Ｂは、吸着により物体Ｏを保持する吸着型ハンドである。

第２保持部２００Ｂは、その他の保持方法により物体Ｏを保持する機構であってもよい。例えば、第２保持部２００Ｂは、磁力を利用して物体Ｏを保持できる保持部でもよい。例えば、第２保持部２００Ｂは、粉体を詰め込んだ柔軟膜と、柔軟膜内から空気を抜き出す真空ポンプとで構成され、ジャミング現象を利用して物体Ｏを保持できる保持部（例えばジャミンググリッパ）でもよい。

吸引装置２０３は、例えば真空ポンプである。吸引装置２０３は、ホースなどを介して複数の吸着部２０５の各々と連通している。吸引装置２０３が駆動されることで、各吸着部２０５内の圧力が大気圧よりも低くなり、吸着部２０５により物体Ｏが吸着保持される。

吸着部２０５は、第２保持部２００Ｂの先端に設けられている。例えば、吸着部２０５は、第２保持部２００Ｂの先端に複数設けられている。吸着部２０５は、取り出し元コンテナＶ１に位置する最小の物体Ｏよりも小さい外形を持つ。第２ハンドリング装置１０Ｂは、複数の吸着部２０５から選択された１つ以上の吸着部２０５のみを用いて物体Ｏを吸着保持する。

以降の説明において、「第１保持部２００Ａ」および「第２保持部２００Ｂ」を「保持部２００」と総称する。すなわち、「保持部２００」は「第１保持部２００Ａ」および「第２保持部２００Ｂ」を含むものとする。なお、ここでは第１保持部２００Ａを挟持型ハンド、第２保持部２００Ｂを吸着型ハンドとして説明したが、保持部２００の構成は、上記のような挟持型ハンドの第１保持部２００Ａと吸着型ハンドの第２保持部２００Ｂとを一つずつ備えるものに限定されない。本実施形態において、第１保持部２００Ａと第２保持部２００Ｂとが両方ともに挟持型ハンド、あるいは吸着型ハンドである場合も含む。この場合保持部２００は、例えば、構成、構造、形状、寸法、配置などの特性のうち、少なくとも何れかにおいて異なる複数の挟持型ハンドを有する構成であってもよい。具体的には、例えば、第１保持部２００Ａおよび第２保持部２００Ｂが、爪の長さや開き幅が異なる二つ以上の挟持型ハンドであってもよい。また、保持部２００は、例えば、構成、構造、形状、寸法、配置などの特性のうち、少なくとも何れかにおいて異なる複数の吸着型ハンドを有する構成であってもよい。具体的には、例えば、第１保持部２００Ａおよび第２保持部２００Ｂが、吸着パッドの配置や吸着パッドの径やベローズの構造などが異なる二つ以上の吸着型ハンドであってもよい。これらのような場合でも、本実施形態においては同様に実施して同等の効果を得ることが可能である。

センサ１１は、制御装置１２に制御されることで、複数の物体Ｏおよび／または保持部２００の状態を検出できる。センサ１１は、第１センサ１１Ａと、第２センサ１１Ｂと、第３センサ１１Ｃと、第４センサ１１Ｄと、第５センサ１１Ｅと、を有する。第１センサ１１Ａ、第２センサ１１Ｂ、第３センサ１１Ｃ、第４センサ１１Ｄ、および第５センサ１１Ｅは、有線または無線で制御装置１２に接続されている。

第１センサ１１Ａは、移動元Ｖ１の近く（例えば、移動元Ｖ１の直上や斜め上方）に配置されたカメラまたは各種センサである。第１センサ１１Ａは、例えば、移動元Ｖ１に位置する物体Ｏに関する情報と、移動元Ｖ１に関する情報とを取得する。第１センサ１１Ａにより取得される情報は、例えば、「画像データ」、「距離画像データ」、「形状データ」などである。「距離画像データ」とは、１つ以上の方向の距離情報（例えば、移動元Ｖ１の上方に設定された任意の基準面からの深さ情報）を持つ画像データである。「形状データ」とは、物体Ｏの外形形状などを示す情報である。第１センサ１１Ａにより検出された情報は、制御装置１２に出力される。なお、第１センサ１１Ａは、ハンドリング装置１０の一部として設けられてもよい。

第２センサ１１Ｂは、移動先コンテナＶ２の近く（例えば、移動先コンテナＶ２の直上や斜め上方）に配置されたカメラまたは各種センサである。第２センサ１１Ｂは、例えば、移動先コンテナＶ２の形状（内壁面や仕切りの形状を含む）に関する情報と、移動先コンテナＶ２内に先に置かれた物体Ｏに関する情報とを検出する。第２センサ１１Ｂにより取得される情報は、例えば、「画像データ」、「距離画像データ」、「形状データ」などである。第２センサ１１Ｂにより検出された情報は、制御装置１２に出力される。なお、第２センサ１１Ｂは、ハンドリング装置１０の一部として設けられてもよい。

第３センサ１１Ｃは、第１保持部２００Ａまたは第１保持部２００Ａの近くに設けられた各種センサである。第３センサ１１Ｃは、例えば、第１保持部２００Ａの歪み、第１保持部２００Ａに加わる圧力、第１保持部２００Ａの表面状態など、第１保持部２００Ａの物理的な状態に関する情報を取得する。第３センサ１１Ｃは、例えば、歪みセンサ、圧力センサ、近接触センサなど一つ以上の物理的なセンサを含む。第３センサ１１Ｃはさらに、物体Ｏの物理的な情報を取得してもよい。第３センサ１１Ｃにより検出された情報は、制御装置１２に出力される。なお、第３センサ１１Ｃは、ハンドリング装置１０の一部として設けられてもよい。

第４センサ１１Ｄは、第２保持部２００Ｂまたは第２保持部２００Ｂの近くに設けられた各種センサである。第４センサ１１Ｄは、例えば、第２保持部２００Ｂの歪み、第２保持部２００Ｂに加わる圧力、第２保持部２００Ｂの表面状態など、第２保持部２００Ｂの物理的な状態に関する情報を取得する。第４センサ１１Ｄは、例えば、歪みセンサ、圧力センサ、近接触センサなど一つ以上の物理的なセンサを含む。第４センサ１１Ｄはさらに、物体Ｏの物理的な情報を取得してもよい。第４センサ１１Ｄにより検出された情報は、制御装置１２に出力される。なお、第４センサ１１Ｄは、ハンドリング装置１０の一部として設けられてもよい。

第５センサ１１Ｅは、保持部２００の使用状況に関する情報を取得する。例えば、第５センサ１１Ｅは、例えば、第１保持部２００Ａおよび第２保持部２００Ｂのうち現在使用されているかまたは使用するために選択されている保持部２００を検出する（以下、現在使用されているかまたは使用するために選択されている保持部を「現在選択されている保持部」または単に「選択されている保持部」と総称する場合がある。）。第５センサ１１Ｅにより検出された情報は、制御装置１２に出力される。なお、第５センサ１１Ｅは、ハンドリング装置１０の一部として設けられてもよい。また、現在選択されている保持部２００は、第５センサ１１Ｅではなくハンドリング装置１０の制御履歴や第３センサ１１Ｃまたは第４センサ１１Ｄにより取得された情報など、他の情報に基づき判定されてもよい。この場合、第５センサ１１Ｅは省略可能である。また、保持部２００が挟持、吸着、および挟持と吸着との両方を実行することが可能なハイブリッドハンドである場合には、制御装置１２は、第５センサ１１Ｅからの情報または他の情報に基づいて、保持部２００が物体Ｏを挟持するのに適した状態であるのか、吸着するのに適した状態であるのか、両方を行うのに適した状態であるのか、を判定する。

制御装置１２は、搬送システム１の全体の管理および制御を行う。例えば、制御装置１２は、第１センサ１１Ａ～第５センサ１１Ｅにより検出された情報を取得し、取得した情報に基づいてハンドリング装置１０を制御する。制御装置１２は、例えば、プロセッサ、メモリなどを備えたプログラム実行可能な装置（コンピュータ）である。

図２は、搬送システム１のシステム構成を示すブロック図である。
制御装置１２は、入力部３００、認識処理部３０１、記憶部３０２、動作制御部３０３、スコア生成部３０４、閾値生成部３０５、判定部３０６、および保持戦略決定部３０７を含む。

入力部３００は、操作者やシステムからの保持対象の物体Ｏに関するオーダーリスト、第１センサ１１Ａ～第５センサ１１Ｅにより取得された情報などを受け付ける。

認識処理部３０１は、第１センサ１１Ａ～第５センサ１１Ｅにより取得された情報を処理する。例えば、認識処理部３０１は、第１センサ１１Ａにより取得された画像データに基づき、移動元Ｖ１における物体Ｏの位置、姿勢、形状、特性などを判定する。

記憶部３０２は、ピッキング対象の物体Ｏに関する形状データ、操作者またはシステムから受領したオーダーリスト、スコア生成部３０４により生成された各種スコア、閾値生成部３０５により生成された閾値、判定部３０６による判定結果、保持戦略決定部３０７により決定された保持戦略、ハンドリング装置１０の制御履歴や動作履歴などを記録する。なお、記憶部３０２に記憶された形状データは、物体Ｏのローカル座標系で定義される。

動作制御部３０３は、ハンドリング装置１０の可動アーム１００、第１保持部２００Ａ、第２保持部２００Ｂなどの動作を制御する。例えば、動作制御部３０３は、特定の保持方法により特定の物体Ｏを保持するために適切な、物体Оを保持する位置および保持する際の可動アーム１００の姿勢を具体的に算出する。また、動作制御部３０３は、ハンドリング装置１０に指示して、算出した物体Оを保持する位置および保持する際の可動アーム１００の姿勢に基づき、第１保持部２００Ａまたは第２保持部２００Ｂに特定の物体Ｏの保持動作を行わせる。

スコア生成部３０４は、保持対象の物体Ｏおよび保持方法の優先度を決定するためのスコアを生成する。例えば、スコア生成部３０４は、後述の第１スコアおよび第２スコアを算出する。

閾値生成部３０５は、保持方法の切替えが必要か否かを判定するための閾値を生成する。例えば、閾値生成部３０５は、後述の第２スコアのための閾値を生成する。

判定部３０６は、スコア生成部３０４により生成されたスコアや閾値生成部３０５により生成された閾値などに基づいて、保持方法の切替えが必要か否かなどを判定する。

保持戦略決定部３０７は、スコア生成部３０４により生成されたスコアや閾値生成部３０５により生成された閾値、判定部３０６による判定の結果などに基づいて、優先度の高い保持対象および保持方法、保持対象を保持する順番、保持動作および保持方法の切替え動作の順番などを含む保持戦略を決定する。

制御装置１２の各機能の全部または一部は、例えばＣＰＵ（Central Processing Unit；中央処理装置）またはＧＰＵ（Graphics Processing Unit；グラフィックスプロセッサ）のような１つ以上のプロセッサがプログラムメモリに記憶されたプログラムを実行することにより実現される。ただし、これら機能の全部または一部は、ＬＳＩ（Large ScaleIntegration；大規模集積回路）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）などのハードウェア（例えば回路部；circuity）により実現されてもよい。また、上記機能の全部または一部は、ソフトウェアとハードウェアとの組み合わせで実現されてもよい。記憶部３０２は、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory；読み出し専用メモリ）、またはＲＡＭ（Random Access Memory；読み書き可能なメモリ）などにより実現される。

次に、搬送システム１の動作を説明する。図３に示す制御装置１２の制御フローチャートに沿って説明を行う。

制御装置１２が起動されると、制御装置１２はハンドリング装置１０やセンサ１１の初期化を実施した後にハンドリング装置１０の制御を開始する（ステップＳ０）。次に、制御装置１２はステップＳ１を実行する。

ステップＳ１において、制御装置１２の入力部３００は、ピッキング対象の物体Ｏのオーダーリストを操作者またはシステムから受け付ける（オーダーリスト受領工程）。

次に、制御装置１２はステップＳ２を実行する。ステップＳ２において、制御装置１２の入力部３００は、取り出し元コンテナＶ１の物体Ｏに関する画像データ、距離画像データ、形状データなどを第１センサ１１Ａから受け取る。制御装置１２の認識処理部３０１は、入力部３００が受け取ったデータに基づいて、取り出し元コンテナＶ１にオーダーリストにある物体Ｏがあるかを判定する。また、認識処理部３０１は、入力部３００が受け取ったデータに基づいて、ピッキング対象の物体Ｏの形状、位置、姿勢などに関する情報を取得する（情報取得工程）。

図４は、「挟持」によって物体Ｏを保持する場合における、物体Ｏの画像データにおける仮マスク領域Ｒ１を示す図である。
制御装置１２の認識処理部３０１は、公知の画像セグメンテーションの手法を用いて、画像データからピッキング対象の物体Ｏが外接する矩形領域（外接矩形領域）を「仮マスク領域Ｒ１」として設定する。画像セグメンテーションは、機械学習を使用した手法であってもよい。

図５は、物体Ｏの画像データにおけるマスク領域Ｒ２を示す図である。
認識処理部３０１は、仮マスク領域Ｒ１の縦横方向に拡張した領域を「マスク領域Ｒ２」として設定する。マスク領域Ｒ２は、外接矩形領域の縦横方向にマージンＭだけ拡張されている。例えば、マージンＭは１００ｍｍである。認識処理部３０１は、拡張されたマスク領域Ｒ２を用いることで、保持部２００による保持方法が挟持である場合において、挟持ハンド２０２が物体Ｏの周辺に侵入できる空間があるかどうかを判定できる。

図６は、物体Ｏのデプス画像Ｄを示す図である。
認識処理部３０１は、距離画像データを用いて、マスク領域Ｒ２における物体Ｏの深さ情報を可視化したデプス画像Ｄを生成する。デプス画像Ｄは、ワールド座標系（Ｘ軸、Ｙ軸、Ｚ軸）の原点を基準とした高さを値として有する。デプス画像Ｄのスケールは、保持部２００による保持方法に応じて変更できる。デプス画像Ｄのスケールは、例えば、１ピクセルあたり１ｍｍに設定できる。

図７は、物体Ｏの３次元位置および姿勢を説明する図である。図７において、形状の異なる物体Ｏを「О１」および「О２」と記載している。
認識処理部３０１は、取得された物体Ｏ１の画像データから、物体Ｏ１の３次元位置および姿勢を算出する。認識処理部３０１は、記憶部３０２に記録された物体Ｏ１のローカル座標系における形状データを、変換行列を用いてワールド座標系（Ｘ軸、Ｙ軸、Ｚ軸）に変換する。ワールド座標系のＺ軸方向は、図７に示すように、取り出し元コンテナＶ１の上方に設定された任意の基準面からの深さ方向である。認識処理部３０１は、取得された物体Ｏ１の画像データと、ワールド座標系に変換された形状データと、を比較することで、物体Ｏ１の３次元位置および姿勢を算出する。

図８は、３次元位置および姿勢に関する情報が付加されたマスク領域Ｒ２を示す図である。認識処理部３０１は、物体Ｏ１の基準となる３次元位置ｐｏｓｅをマスク画像Ｒ２における外接矩形領域（仮マスク領域Ｒ１）の中心ＣＯとする。また、認識処理部３０１は、挟持ハンド２０２の挟持しやすさを考慮して、外接矩形領域の中心ＣＯとは別に、物体Ｏ１の図心ＦＯを算出して利用してもよい。

一方、「吸着」により物体Ｏを保持する場合においては、仮マスク領域Ｒ１は、物体Ｏの表面上の吸着対象となり得るマスク平面ごとに分割される。認識処理部３０１は、マスク平面ごとにマスク画像Ｒ２およびデプス画像Ｄを生成し、マスク平面に垂直な方向を法線方向として規定する。認識処理部３０１は、例えば、３次元センサの点群から平面用領域を抽出し、例えば主成分分析により、短軸方向をｘ、長軸方向をｙ、平面の法線方向をｚとすることにより位置および姿勢を決定することができる。「挟持」の場合には一つの物体Ｏに対して一つの保持領域しか定義されない場合もあるが、「吸着」の場合には一つの物体Ｏに対して複数の保持領域が存在し得る。したがって、「吸着」における保持対象は物体Ｏの一領域であってよい。なお、例えば「挟持」の保持領域が複数存在するような場合、「挟持」における保持対象も物体Ｏの一領域であってよい。

「吸着」により物体Ｏを保持する場合、認識処理部３０１は、複数の吸着部２０５のうち何個を使用するか、吸着部２０５をどの角度で物体Ｏに接触させるのか、などを算出するための畳み込み処理を行うことができる。

認識処理部３０１は、以前に物体Ｏのピッキングに成功した場合における物体Ｏの３次元位置および姿勢などが記録されたデータベースを利用してもよい。認識処理部３０１は、データベースを利用して、物体Ｏに関するお勧めの保持方法や保持する位置を出力することもできる。

入力部３００は、必要に応じて、第１保持部２００Ａの物理的な状態に関する情報を第３センサ１１Ｃから受け取るとともに、第２保持部２００Ｂの物理的な状態に関する情報を第４センサ１１Ｄから受け取る。また、入力部３００は、必要に応じて、現在選択されている保持部など保持部２００の使用状況に関する情報を第５センサ１１Ｅから受け取る。認識処理部３０１は、第５センサ１１Ｅからの情報および／または他の情報に基づいて、第１保持部２００Ａおよび第２保持部２００Ｂのいずれが現在選択されている保持部２００であるかを判定する。なお、第１保持部２００Ａおよび第２保持部２００Ｂの物理的な状態に関する情報や現在選択されている保持部２００に関する情報は、ステップＳ２以外の別のタイミングで適宜取得されてもよい。

また、入力部３００は、保持対象の物体Ｏの物理情報をデータベースから受け取る。例えば、入力部３００は、物体Ｏの外形情報、重量、表面の材質、摩擦特性などに関する情報をデータベースから受け取ることができる。データベースは、個別の物体Ｏごとに定義されてもよく、基本情報プリミティブ（例えば、直方体、円柱、球、四角錐など）などを規定し、その形状に近い情報を当てはめて利用してもよい。

次に、制御装置１２は、ステップＳ３を実行する。ステップＳ３において、制御装置１２は、物体Ｏまたは物体Ｏの領域ごと、および保持方法ごとにスコアを計算し、次に保持すべき物体Ｏおよび保持方法を決定する（保持戦略計画工程）。図９は、制御装置１２による保持戦略計画工程の制御フローチャートであり、ステップＳ３の詳細な内容を示す。

ステップＳ３０１において、制御装置１２のスコア生成部３０４は、ステップＳ２で取得した情報に基づいて、保持部２００が物体Ｏを保持する保持しやすさを「第１スコア」として算出する。スコア生成部３０４は、（１）物体Ｏまたは物体Ｏの領域ごと（以下、単に「物体Ｏごと」ともいう。）、および（２）保持方法ごとに第１スコアを算出する。例えば、保持方法は、第１ハンドリング装置１０Ａの「挟持」または第２ハンドリング装置１０Ｂによる「吸着」である。保持方法が「挟持」の場合、例えば物体Ｏごとに第１スコアを算出し、保持方法が「吸着」の場合、例えば物体Ｏの領域ごとに第１スコアを算出する。

ステップＳ３０１において算出する第１スコアＳ_Ｈ（Ｉ）は、例えば、数式１に示す評価関数により算出される。

数式１において、Ｈは、第１スコアの評価対象である保持方法（第１ハンドリング装置１０Ａによる挟持、第２ハンドリング装置１０Ｂによる吸着など）である。Ｉは、第１スコアの評価対象である物体Ｏまたは物体Ｏの領域を示すマスク領域Ｒ２である。ｆ_ｉは評価関数の評価項目であり、ｗ_ｉは評価関数の重みである。すなわち、上記の評価関数は、各評価項目の線形結合で表される。ただし、評価関数は上記例に限定されず、評価項目で平均値を用いてもよいし、非線形関数を用いてもよく、任意の評価関数が使用可能である。また、評価項目は、数式１に記載された項目に限定されず、例えば、物体Ｏや挟持ハンド２０２の物理特定に依存した量であってもよい。

保持方法が「挟持」の場合（Ｈ＝ｐとする）、第１スコアＳ_ｐ（Ｉ）は、例えば、数式２に示す評価関数により算出される。

数式２において、ｗ_ｐ１＋ｗ_ｐ２＋ｗ_ｐ３＋ｗ_ｐ４＋ｗ_ｐ５＋ｗ_ｐ６＝１であり、ｗ_ｐｉ≧０（ｉ＝１，２，３，４，５，６）である。ｆ_ｐ１は、物体Ｏの位置（例えば、物体Ｏの中心位置および物体Ｏの高さ）である。ｆ_ｐ２は、物体Ｏの凹凸率である。ｆ_ｐ３は、物体Ｏの扁平度である。ｆ_ｐ４は、物体Ｏと物体Ｏの周辺とのデプスの差である。ｆ_ｐ５は、薄い物体Ｏか否かの判定結果である。ｆ_ｐ６は、機械学習を利用する場合において使用する評価項目であり、上記ｆ_ｐ１～ｆ_ｐ５などの各評価項目をすべて入れ込んだものである。このため、例えばｆ_ｐ６を使用する場合にはｗ_ｐ１～ｗ_ｐ５はすべてゼロとしてよい。各物体Ｏを示す様々なマスク領域Ｉに対して「挟持」の第１スコアＳ_ｐ（Ｉ）が計算される。

保持方法が「吸着」の場合（Ｈ＝ｓとする）、第１スコアＳ_ｓ（Ｉ）は、例えば、数式３に示す評価関数により算出される。

数式３において、ｗ_ｓ１＋ｗ_ｓ２＋ｗ_ｓ３＋ｗ_ｓ４＋ｗ_ｓ５＋ｗ_ｓ６＝１であり、ｗ_ｓｉ≧０（ｉ＝１，２，３，４，５，６）である。ｆ_ｓ１は、物体Ｏの領域の位置（例えば、物体Ｏの領域の中心位置および物体Ｏの高さ）である。ｆ_ｓ２は、物体Ｏの領域の凹凸率である。ｆ_ｓ３は、物体Ｏの領域の面積である。ｆ_ｓ４は、物体Ｏの領域に対するアプローチ角度（例えば、物体Ｏの領域の法線方向と鉛直方向とのなす角）である。ｆ_ｓ５は、薄い物体Ｏか否かの判定結果である。ｆ_ｓ６は、機械学習を利用する場合において使用する評価項目であり、上記ｆ_ｓ１～ｆ_ｓ５などの各評価項目をすべて入れ込んだものである。このため、例えばｆ_ｓ６を使用する場合にはｗ_ｓ１～ｗ_ｓ５はすべてゼロとしてよい。物体Ｏの領域を示す様々なマスク領域Ｉに対して「吸着」の第１スコアＳ_ｓ（Ｉ）が計算される。

このようにして、スコア生成部３０４は、各保持方法（ここでは、第１ハンドリング装置１０Ａによる挟持および第２ハンドリング装置１０Ｂによる吸着）に対して、物体Ｏまたは物体Ｏの領域ごとに第１スコアＳ_Ｈ（Ｉ）を算出する。

次に、制御装置１２は、ステップＳ３０２を実行する。ステップＳ３０２において、制御装置１２のスコア生成部３０４は、ステップＳ２で取得した情報およびステップＳ３０１で算出した第１スコアに基づいて、現在選択されている保持方法を基準とした「第２スコア」として算出する。スコア生成部３０４は、（１）物体Ｏまたは物体Ｏの領域ごと、および（２）保持方法ごとに第２スコアを算出する。

ステップＳ３０２において算出する第２スコアＴ_Ｈ，Ｈ０（Ｉ）は、例えば、数式４に示す評価関数により算出される。

数式４において、Ｈは、第２スコアの評価対象である保持方法である。Ｈ_０は、現在選択されている保持方法である。Ｉは、第２スコアの評価対象である物体Ｏまたは物体Ｏの領域を示すマスク領域Ｒ２である。すなわち、数式４の評価関数は、現在選択されている保持方法の第１スコアＳ_Ｈ０（Ｉ）と、第２スコアの評価対象である保持方法の第１スコアＳ_Ｈ（Ｉ）と、の比である。ただし、第２スコアの評価関数は上記例に限定されず、任意の関数が使用可能であり、例えば現在選択されている保持方法Ｈ_０の第１スコアＳ_Ｈ０（Ｉ）および第２スコアの評価対象である保持方法Ｈの第１スコアＳ_Ｈ（Ｉ）に依存する任意の関数であってよい。

第１スコアＳ_Ｈ（Ｉ）は対象の保持方法Ｈによる対象のマスク領域Ｉの「保持しやすさ」の指標であるので、上記の数式４の評価関数を使用する場合、第２スコアＴ_Ｈ，Ｈ０（Ｉ）は、現在選択されている保持方法Ｈ_０による保持しやすさと対象の保持方法Ｈによる保持しやすさとの比である。すなわち、数式４の第２スコアが１より大きい場合には、対象の保持方法Ｈよりも現在選択されている保持方法Ｈ_０の方が保持が容易である。数式４の第２スコアが１より小さい場合には、対象の保持方法Ｈの方が現在選択されている保持方法Ｈ_０よりも保持が容易である。例えば、数式４の第２スコアが０．５である場合には、現在選択されている保持方法Ｈ_０による保持しやすさが対象の保持方法Ｈによる保持しやすさの０．５倍であるといえる。すなわち、対象の保持方法Ｈによる保持しやすさが現在選択されている保持方法Ｈ_０による保持しやすさの２倍であるといえる。

次に、制御装置１２は、ステップＳ３０３を実行する。ステップＳ３０３において、制御装置１２の判定部３０６は、第２スコアＴ_Ｈ，Ｈ０（Ｉ）に基づいて保持方法の切替えの必要性を判定する。上記の数式４の第２スコアＴ_Ｈ，Ｈ０（Ｉ）を使用する場合、例えば、判定部３０６は、下記の数式５の条件式を満たす場合には保持方法を現在選択されている保持方法Ｈ_０から対象の保持方法Ｈに切り替える必要があると判定し、数式５の条件式を満たさない場合には保持方法を現在選択されている保持方法Ｈ_０から対象の保持方法Ｈに切り替える必要がないと判定する。

数式５において、Ｔｈは、閾値生成部３０５により生成された所定の閾値である。すなわち、判定部３０６は、第２スコアＴ_Ｈ，Ｈ０（Ｉ）が閾値を下回る場合には、現在選択されている保持方法Ｈ_０から対象の保持方法Ｈに切り替える必要があると判定し、第２スコアＴ_Ｈ，Ｈ０（Ｉ）が閾値以上である場合には、現在選択されている保持方法Ｈ_０から対象の保持方法Ｈに切り替える必要がないと判定する。

第１スコアＳ_Ｈ（Ｉ）のみで保持方法を選択する場合、現在選択されている保持方法Ｈ_０の情報が第１スコアＳ_Ｈ（Ｉ）に反映されないので、単純に保持の成功率が高い保持方法が選択されることになる。このため、場合によっては物体Ｏの保持を行うたびに保持方法の切替えが必要と判定される可能性があり、そのような場合には保持方法の切替えに時間を要する可能性がある。一方、第２スコアＴ_Ｈ，Ｈ０（Ｉ）は、現在選択されている保持方法Ｈ_０の情報を含み、現在選択されている保持方法Ｈ_０を基準として算出されるスコアである。例えば、上記の数式４の第２スコアＴ_Ｈ，Ｈ０（Ｉ）を使用する場合において、第２スコアＴ_Ｈ，Ｈ０（Ｉ）が１より小さい場合（すなわち、対象の保持方法Ｈによる保持しやすさが現在選択されている保持方法Ｈ_０による保持しやすさよりも大きい場合）であっても、判定部３０６は、第２スコアＴ_Ｈ，Ｈ０（Ｉ）がそれほど小さくない場合（すなわち、所定の閾値Ｔｈ以上である場合）には保持方法を切り替える必要がないと判定する。これにより、制御装置１２は、現在選択されている保持方法Ｈ_０でもそれなりに保持しやすい場合には、できるだけ現在選択されている保持方法Ｈ_０により保持を行うようにハンドリング装置１０を制御することができる。

判定部３０６は、保持対象の物体Ｏまたは物体Ｏの領域を示す各マスク領域Ｉについて計算した第２スコアＴ_Ｈ，Ｈ０（Ｉ）の平均値と閾値Ｔｈとの大小関係に基づいて保持方法の切替えの必要性を判定してもよく、各マスク領域Ｉについての第２スコアＴ_Ｈ，Ｈ０（Ｉ）の各々と閾値Ｔｈとの大小関係に基づいて保持方法の切替えの必要性を判定してもよい。例えば、上記例において、判定部３０６は、各マスク領域Ｉについての第２スコアＴ_Ｈ，Ｈ０（Ｉ）のうち少なくとも一つが閾値Ｔｈよりも小さい場合に、保持方法の切替えが必要であると判定することができる。

次に、保持方法の切替えが必要でないと判定された場合（ステップＳ３０４：Ｎｏ）、制御装置１２は、ステップＳ３０５を実行する。ステップＳ３０５において、制御装置１２の保持戦略決定部３０７は、保持対象の複数の物体Ｏに対して保持を行う順番を含む保持戦略を決定する。現在選択されている保持方法Ｈ_０が「挟持」である場合、保持戦略決定部３０７は、例えば、物体Ｏの保持の順番を「挟持」についての第１スコアＳ_ｐ（Ｉ）が大きい順番とすることができる。また、現在選択されている保持方法Ｈ_０が「吸着」である場合、保持戦略決定部３０７は、例えば、物体Ｏの保持の順番を「吸着」についての第１スコアＳ_ｓ（Ｉ）が大きい順番とすることができる。すなわち、保持戦略決定部３０７は、現在選択されている保持方法Ｈ_０を切り替えることなく、例えば第１スコアＳ_Ｈ０（Ｉ）が大きい順番で、現在選択されている保持方法Ｈ_０により物体Ｏのピックアップを行うという保持戦略を決定することができる。

次に、制御装置１２は、ステップＳ３０７を実行する。ステップＳ３０７において、制御装置１２は、ステップＳ３０５で保持戦略決定部３０７が決定した保持の順番を含む保持戦略を記憶部３０２に格納する。

次に、制御装置１２は、ステップＳ３０８を実行する。ステップＳ３０８において、制御装置１２の保持戦略決定部３０７は、次の保持動作を決定する。例えば、保持戦略決定部３０７は、ステップＳ３０５で決定した保持戦略における最先の保持動作（上記例では、第１スコアＳ_Ｈ０（Ｉ）が最大である物体Ｏを現在選択されている保持方法Ｈ_０によって保持すること）を次の保持動作として設定する。その後、制御装置１２は、ステップＳ４に進む。

一方、保持方法の切替えが必要であると判定された場合（ステップＳ３０４：Ｙｅｓ）、制御装置１２は、ステップＳ３０７を実行する。ステップＳ３０７において、保持戦略決定部３０７は、保持および保持方法の切替えの順番を含む保持戦略を決定する。すなわち、保持戦略決定部３０７は、保持対象の複数の物体Ｏに対する保持動作および保持方法の切替え動作をどのような順番で行うかを含む保持戦略を決定する。一例として、保持戦略決定部３０７は、保持および保持方法の切替えの順番を以下のように決定することができる。
（１）現在選択されている保持方法Ｈ_０による第１スコアＳ_Ｈ０（Ｉ）が切替え後の保持方法Ｈ_１による第１スコアＳ_Ｈ１（Ｉ）よりも大きい物体Ｏまたは物体Ｏの領域に対して、第１スコアＳ_Ｈ０（Ｉ）が大きい順番で保持動作を行う。
（２）保持方法を現在選択されている保持方法Ｈ_０から切替え先の保持方法Ｈ_１に切り替える。
（３）現在選択されている保持方法Ｈ_０による第１スコアＳ_Ｈ０（Ｉ）が切替え後の保持方法Ｈ_１による第１スコアＳ_Ｈ１（Ｉ）よりも小さい物体Ｏまたは物体Ｏの領域に対して、第１スコアＳ_Ｈ１（Ｉ）が大きい順番で保持動作を行うことができる。

これにより、１回の保持方法の切替えで、保持対象の物体Ｏをすべてピックアップすることができる保持戦略を作成することができ、保持方法の切替え回数を最小限に抑えることができる。

なお、保持戦略の決定方法は、上記例に限定されない。例えば、保持戦略決定部３０７は、第２スコアＴ_{Ｈ１，Ｈ０}（Ｉ）が閾値Ｔｈ以上である保持対象に対して現在選択されている保持方法Ｈ_０による保持を行った後、保持方法を切り替えて、第２スコアＴ_Ｈ，Ｈ０（Ｉ）が閾値Ｔｈを下回る保持対象に対して切替え後の保持方法Ｈ_１による保持を行うように保持戦略を決定してもよい。保持戦略決定部３０７は、その他の任意の方法で保持戦略を決定してもよい。

次に、制御装置１２は、ステップＳ３０７を実行する。ステップＳ３０７において、制御装置１２は、ステップＳ３０６で保持戦略決定部３０７が決定した保持および保持方法の切替えの順番を含む保持戦略を記憶部３０２に格納する。

次に、制御装置１２は、ステップＳ３０８を実行する。ステップＳ３０８において、制御装置１２の保持戦略決定部３０７は、次の保持動作を決定する。例えば、保持戦略決定部３０７は、ステップＳ３０６で決定した保持戦略における最先の保持動作を次の保持動作として設定する。例えば、上記（１）～（３）で示した例では、保持戦略決定部３０７は、現在選択されている保持方法Ｈ_０による第１スコアＳ_Ｈ０（Ｉ）が切替え後の保持方法Ｈ_１による第１スコアＳ_Ｈ１（Ｉ）よりも大きい物体Ｏまたは物体Ｏの領域のうち第１スコアＳ_Ｈ０（Ｉ）が最大であるものを、現在選択されている保持方法Ｈ_０によって保持することを、次の保持動作として設定することができる。なお、現在選択されている保持方法Ｈ_０による第１スコアＳ_Ｈ０（Ｉ）が切替え後の保持方法Ｈ_１による第１スコアＳ_Ｈ１（Ｉ）よりも大きい物体Ｏまたは物体Ｏの領域が存在しない場合には、保持戦略決定部３０７は、切替え後の保持方法Ｈ_１による第１スコアＳ_Ｈ１（Ｉ）が最大である物体Ｏまたは物体Ｏの領域を切替え後の保持方法Ｈ_１で保持することを、次の保持動作として設定することができる。その後、制御装置１２は、ステップＳ４に進む。

ここまでのステップにおいて、制御装置１２は、好ましくは、物体Оを保持する位置や可動アーム１００の姿勢などを具体的に算出せずに、次の保持動作を決定する。

なお、上記例では、制御装置１２は、保持の順番全体を決定してからその中の最先の保持動作を次の動作として選択するものと説明したが、保持の順番の決定を省略して、次の動作のみを決定してもよい。例えば、保持戦略決定部３０７は、ステップＳ３０５において、保持の順番を決定することなく、第１スコアＳ_Ｈ（Ｉ）が最大のものを次の動作として選択してもよい。

制御装置１２は、ステップＳ３０５またはステップＳ３０６で保持戦略を決定するにあたり、第１スコアＳ_Ｈ（Ｉ）または第２スコアＴ_Ｈ，Ｈ０（Ｉ）に対して物体Ｏの重量などで補正を行った補正スコアを使用してもよい。

なお、上述のとおり「挟持」と「吸着」とで第１スコアＳ_Ｈ（Ｉ）を算出するための評価項目や想定される保持対象（物体Ｏか物体Ｏの領域か、など）が異なっているように、保持方法によって第１スコアＳ_Ｈ（Ｉ）の算出基準は異なり得る。このため、制御装置１２は、異なる保持方法のスコアであっても比較可能なように、適宜スコアの正規化を行ってもよい。制御装置１２は、スコアの正規化処理を、第１スコアを算出するステップＳ３０１、第２スコアを算出するステップＳ３０２、保持戦略を決定するステップＳ３０５、Ｓ３０６など、任意のステップで行ってよい。

以上、ステップＳ３の詳細について説明してきたが、ここで一例として、選択可能な保持方法が「挟持」および「吸着」のいずれか一方であり、現在選択されている保持方法Ｈ_０が「挟持」であり、閾値Ｔｈを０．５と設定した場合における、上記の数式４の第２スコアＴ_Ｈ，Ｈ０（Ｉ）による計算例を以下の表１～３に示す。表１～３は、スコア計算の一例を示す表である。表１～３は、物体Ｏまたは物体Ｏの領域を表す保持対象１～５に対して、保持方法「挟持」による保持しやすさを示す第１スコア、保持方法「吸着」による保持しやすさを示す第１スコア、これらの第１スコアから算出した第２スコア、および閾値Ｔｈによる判定結果を示す。判定結果において、「Ｔｒｕｅ」は、第２スコアＴ_Ｈ，Ｈ０（Ｉ）が閾値Ｔｈよりも小さいこと（すなわち、保持方法の切替えが必要であること）を意味し、「Ｆａｌｓｅ」は、第２スコアＴ_Ｈ，Ｈ０（Ｉ）が閾値Ｔｈよりも大きいこと（すなわち、保持方法の切替えが必要でないこと）を意味する。

表１に示す例の場合、第２スコアＴ_Ｈ，Ｈ０（Ｉ）の対象１～５の平均値は１．０３で１を上回っているので、平均としては現在選択されている保持方法Ｈ_０（挟持）による保持しやすさが評価対象の保持方法（吸着）による保持しやすさを上回っているといえる。また、対象１～５の第２スコアＴ_Ｈ，Ｈ０（Ｉ）およびその平均値はいずれも閾値Ｔｈ＝０．５を上回っているので、制御装置１２の判定部３０６は、保持方法の切替えは必要でないと判定する。

次に、保持戦略決定部３０７が、保持の順番を第１スコアＳ_Ｈ０（Ｉ）が大きい順番に設定し、現在選択されている保持方法である「挟持」によって「対象３→対象２および対象４→対象１および対象５」の順番に保持を行うように保持戦略を決定する。次に、制御装置１２は、決定した保持戦略を記憶部３０２に格納する。次に、保持戦略決定部３０７は、保持戦略において最先の保持動作である「挟持によって対象３を保持すること」を次の保持動作と決定する。なお、表１の例では、２以上の対象で「挟持」の第１スコアＳ_Ｈ０（Ｉ）が同じ値であるところ、保持戦略においてどちらを優先するかは、物体Ｏの位置や重量など任意の要素を考慮して適宜決定され得る。

表２に示す例の場合、第２スコアＴ_Ｈ，Ｈ０（Ｉ）の対象１～５の平均値は０．７９で１を下回っているので、平均としては現在選択されている保持方法Ｈ_０（挟持）による保持しやすさが評価対象の保持方法（吸着）による保持しやすさを下回っているといえる。しかしながら、対象１～５の第２スコアＴ_Ｈ，Ｈ０（Ｉ）およびその平均値はいずれも閾値Ｔｈ＝０．５を上回っているので、制御装置１２の判定部３０６は、保持方法の切替えは必要でないと判定する。

次に、表１の場合と同様に、保持戦略決定部３０７が、保持の順番を第１スコアＳ_Ｈ０（Ｉ）が大きい順番に設定し、現在選択されている保持方法である「挟持」によって「対象５→対象１→対象２→対象３および対象４」の順番に保持を行うように保持戦略を決定する。次に、制御装置１２は、決定した保持戦略を記憶部３０２に格納する。次に、保持戦略決定部３０７は、保持戦略において最先の保持動作である「挟持によって対象５を保持すること」を次の保持動作と決定する。

表３に示す例の場合、第２スコアＴ_Ｈ，Ｈ０（Ｉ）の対象１～５の平均値は０．３８で１を下回っているので、平均としては現在選択されている保持方法Ｈ_０（挟持）による保持しやすさが評価対象の保持方法（吸着）による保持しやすさを下回っているといえる。また、対象１～４の第２スコアＴ_Ｈ，Ｈ０（Ｉ）およびその平均値はいずれも閾値Ｔｈ＝０．５を下回っているので、制御装置１２の判定部３０６は、保持方法の切替えが必要であると判定する。

次に、保持戦略決定部３０７が、各対象１～５について「挟持」と「吸着」とで第１スコアＳ_Ｈ（Ｉ）の大小を比較する。この例では、すべての対象１～５で「吸着」の第１スコアＳ_Ｈ（Ｉ）が現在選択されている保持方法である「挟持」の第１スコアＳ_Ｈ０（Ｉ）を上回っているので、保持戦略決定部３０７は、まず保持方法の切替えを行うように保持戦略を決定する。さらに、保持戦略決定部３０７は、保持方法の切替え後の保持の順番を、切替え後の保持方法である「吸着」の第１スコアＳ_Ｈ（Ｉ）が大きい順番に設定し、「対象１および対象５→対象２→対象３→対象４」の順番に保持を行うように保持戦略を決定する。次に、制御装置１２は、決定した保持戦略を記憶部３０２に格納する。次に、保持戦略決定部３０７は、保持戦略において最先の保持動作である「吸着によって対象１を保持すること」または「吸着によって対象５を保持すること」を次の保持動作と決定する。ここで、対象１および対象５は吸着の第１スコアＳ_Ｈ（Ｉ）が等しいので、どちらを優先するかは、対象１および対象５の位置や重量など任意の要素を考慮して適宜決定され得る。

再び図３を参照すると、次に、制御装置１２は、ステップＳ４を実行する。ステップＳ４において、制御装置１２は、ステップＳ３において決定された対象物体Оを保持する位置および保持する際の可動アーム１００の姿勢を具体的に算出する（保持位置姿勢計画工程）。

ステップＳ３において選択された物体Оの保持方法が「挟持」である場合、ステップＳ４において、制御装置１２の動作制御部３０３は、公知の手法から適宜選択した手法により、物体Оを挟持する位置および挟持する際の可動アーム１００の姿勢を具体的に算出する。

ステップＳ３において選択された物体Оの保持方法が「吸着」である場合、ステップＳ４において、制御装置１２の動作制御部３０３は、公知の手法から適宜選択した手法により、物体Оを吸着する位置および吸着する際の可動アーム１００の姿勢を具体的に算出する。

なお、本実施形態では、選択可能な保持方法は「挟持」および「吸着」のいずれか一方であるが、例えば「挟持および吸着（ハイブリッド）」が利用可能な場合には、ステップＳ４において、制御装置１２の動作制御部３０３は、公知の手法から適宜選択した手法により、物体Оを挟持および吸着する位置および挟持および吸着する際の可動アーム１００の姿勢を具体的に算出することができる。

動作制御部３０３は、物体Ｏを保持する位置および保持する際の１００の姿勢を算出した後、計算された保持動作が実際のロボットの動作として可能か否かを計算し、実際の動作が不可能と判定された場合には、再度物体Ｏを保持する位置および保持する際の１００の姿勢の算出を行う。なお、実際の動作が不可能と判定された場合には、ステップＳ３まで戻って保持戦略の計画から再度やり直してもよい。

物体Оを保持する位置や可動アーム１００の姿勢の算出は演算量が非常に多い。制御装置１２は、選択された物体Оについてのみ、物体Оを保持する位置や可動アーム１００の姿勢を算出すればよい。そのため、搬送システム１は、保持する物体Оを選択するために物体Оを保持する位置や可動アーム１００の姿勢を算出する他の搬送システムと比較して、必要な演算量を著しく削減できる。

次に、制御装置１２は、ステップＳ５を実行する。ステップＳ５において、制御装置１２の判定部３０６は、保持方法の切替えが必要か否かを判定する。判定部３０６が保持方法の切替えが必要であると判定した場合（ステップＳ５：Ｙｅｓ）、すなわち、現在選択されている保持方法と次の保持動作における保持方法とが異なる場合、制御装置１２は、ステップＳ６を実行する。ステップＳ６では、動作制御部３０３が保持方法の切替えを行う（保持方法切替え工程）。例えば、「挟持」を「吸着」に切り替える場合には、動作制御部３０３は、取り出し元コンテナＶ１に向いている第１保持部２００Ａに代えて第２保持部２００Ｂを取り出し元コンテナＶ１に向けるようにハンドリング装置１０の可動アーム１００を制御する。一方、判定部３０６が保持方法の切替えが必要でないと判定した場合（ステップＳ５：Ｎｏ）、すなわち、現在選択されている保持方法と次の保持動作における保持方法とが同一である場合、制御装置１２は、ステップＳ６を実行せずにステップＳ７に進む。

次に、制御装置１２は、ステップＳ７を実行する。ステップＳ７において、制御装置１２は、ステップＳ４において算出された物体Оを保持する位置および可動アーム１００の姿勢に基づいて保持部２００および可動アーム１００を制御する（動作制御工程）。選択された物体Оは、ハンドリング装置１０によって取り出し元コンテナＶ１から搬送先コンテナＶ２に搬送される。

次に、制御装置１２は、ステップＳ８を実行する。ステップＳ８において、制御装置１２の判定部３０６は、オーダーリストに記載されたオーダーが完了したか否かを判定する。例えば、判定部３０６は、取り出し元コンテナＶ１に物体Оが残っているか否かを判定する。判定部３０６が取り出し元コンテナＶ１に物体Оが残っていると判定した場合（ステップＳ８：Ｎｏ）、制御装置１２は、ステップＳ２を再度実行する。すなわち、制御装置１２は、物体Ｏをピックアップした後の取り出し元コンテナＶ１の状態、各保持部２００Ａ、２００Ｂの状態などに関する情報を再度取得し、これに基づいて次の保持戦略を作成する。なお、制御装置１２は、保持戦略計画工程を行わずに、既に作成した保持の順番を含む保持戦略に基づいて次の保持動作を決定してもよい。また、制御装置１２は、同じ保持戦略計画工程を行う代わりに、取得した情報に基づき既に作成した保持戦略を修正・更新してもよい。また、制御装置１２は、１回以上の保持動作の実行後、スコア生成部３０４にスコア生成時のパラメータの値を変更させたり、閾値生成部３０５に閾値Ｔｈを変更させたりしてもよい。

一方、判定部３０６がオーダーリストに記載されたオーダーが完了したと判定した場合（ステップＳ８：Ｙｅｓ）、制御装置１２は、ステップＳ９を実行して制御を終了する。例えば、判定部３０６が取り出し元コンテナＶ１に物体Оが残っていないと判定した場合、制御装置１２は、ステップＳ９を実行して制御を終了する。

以上のような第１の実施形態の構成によれば、保持方法の切替え回数を抑えながら物体Оを保持する保持戦略を効率的に決定できる。搬送システム１の制御装置１２は、物体Оを保持する位置や可動アーム１００の姿勢などを具体的に算出せずに、保持戦略を選択する。保持戦略とは、例えば、使用するハンドリング装置１０の種類、保持する物体О、保持方法を選択することである。搬送システム１の制御装置１２は、選択された物体Оについてのみ、物体Оを保持する位置や可動アーム１００の姿勢を算出すればよく、必要な演算量を著しく削減できる。また、現在選択されている保持方法でも保持がそれなりに容易である場合には、保持方法を切り替えずに現在選択されている保持方法を優先的に使用するように保持戦略を作成することにより、保持方法の切替えに要する時間を節約することができるので、全体の作業時間を短縮することができる。

また、本実施形態では、複数の保持方法は、挟持および吸着を含む。これにより、ハンドリング装置１０は、挟持では保持しにくい薄い物体Ｏや、吸着では保持しにくい凹凸形状を有する物体Ｏなど、様々な物体Ｏを保持することができる。

また、本実施形態では、制御装置１２は、保持方法の切替え回数が小さくなるように、スコアに基づいて、保持する物体Ｏと保持方法とを選択する。また、制御装置１２は、スコアに基づいて、保持方法の切替えの要否（有無）を判定する。これにより、ハンドリング装置１０は、保持方法の切替え回数ができるだけ小さくなるように一連の保持動作を実行することができ、全体の作業に要する時間を低減することができる。

また、本実施形態では、制御装置１２は、スコアと所定の閾値Ｔｈとの大小関係に基づいて保持方法の切替えの要否（有無）を判定する。これにより、制御装置１２は、保持方法の切替えの必要性を容易に判定することができる。また、制御装置１２は、閾値Ｔｈを調整することにより、状況に応じた保持戦略を作成することができる。

また、本実施形態では、制御装置１２は、スコアに基づいて、物体Ｏを保持する順番を決定する。これにより、制御装置１２は、オーダーリストで指定されたピックアップ作業全体を考慮して、次の保持動作を選択することができる。

また、本実施形態では、制御装置１２は、前記物体の保持方法の切替えの順番を決定する。これにより、制御装置１２は、オーダーリストで指定されたピックアップ作業全体を考慮して、保持方法の切替えを行う最適なタイミングを選択することができる。

また、本実施形態では、制御装置１２は、保持方法が吸着である場合についてスコアを算出するとき、物体Ｏの領域ごとにスコアを算出する。これにより、制御装置１２は、同じ物体Ｏのうち最も保持しやすい領域を保持対象領域として選択することができるので、保持効率が向上し得る。

また、本実施形態では、制御装置１２は、物体Ｏごとおよび保持方法ごとに、保持しやすさを第１スコアとして算出し、選択されている保持方法を基準としたスコアは、物体Ｏごとおよび保持方法ごとに第１スコアに基づき算出される第２スコアである。これにより、制御装置１２は、第１スコアによって表される物体Ｏの保持しやすさと、第２スコアによって表される現在選択されている保持方法を基準とした優先度と、の二つの観点に基づいて、保持動作を決定することができる。

また、本実施形態では、物体Ｏおよび保持方法についての第２スコアは、当該物体Ｏまたは当該物体Ｏの領域および選択されている保持方法についての第１スコアを、当該物体Ｏまたは当該物体Ｏの領域および当該保持方法についての第１スコアで割った値である。これにより、制御装置１２は、保持方法の切替えの必要性を判定するための第２スコアを容易に算出することができる。

（第２の実施形態）
次に、図１０を参照して、第２の実施形態について説明する。第２の実施形態では、保持戦略が複数作成される点で、第１の実施形態とは異なる。なお、以下に説明する以外の構成は、第１の実施形態と同様である。
図１０は、第２の実施形態に係る制御装置１２による保持戦略計画工程の制御フローチャートである。

第２の実施形態では、制御装置１２は、第１の実施形態のステップＳ３０６に代えてステップＳ３１６～Ｓ３１８を実行する。制御装置１２は、保持戦略計画工程（ステップＳ３）において、第１の実施形態と同様に、第１スコアＳ_Ｈ（Ｉ）を算出し（ステップＳ３１１）、第２スコアＴ_Ｈ，Ｈ０（Ｉ）を算出し（ステップＳ３１２）、保持方法の切替えの必要性を判定する（ステップＳ３１３）。判定部３０６が保持方法の切替えが不要であると判定した場合（Ｓ３１４：Ｎｏ）、制御装置１２の保持戦略決定部３０７は、第１の実施形態と同様に保持の順番を含む保持戦略を決定し（ステップＳ３１５）、保持戦略を記憶部３０２に格納し（ステップＳ３１９）、保持戦略に基づき次の保持動作を決定する（ステップＳ３２０）。すなわち、判定部３０６が保持方法の切替えが不要であると判定した場合の制御装置１２の制御内容は、第１の実施形態と同様である。

一方、判定部３０６が保持方法の切替えが必要であると判定した場合（Ｓ３１４：Ｙｅｓ）、制御装置１２は、ステップＳ３１６を実行する。ステップＳ３１６において、制御装置１２の保持戦略決定部３０７は、保持および切替の順番を含む保持戦略案を複数作成する。例えば、保持戦略決定部３０７は、第１スコアＳ_Ｈ（Ｉ）に基づいて、全体的な成功率が相対的に低い、切替えを１回行う保持戦略案と、全体的な成功率が相対的に高い、切替えを２回行う保持戦略案と、を作成する。

次に、制御装置１２は、ステップＳ３１７を実行する。ステップＳ３１７において、制御装置１２のスコア生成部３０４は、保持戦略決定部３０７が作成した各保持戦略案のスコアを算出する。例えば、スコア生成部３０４は、保持戦略案における保持方法の切替え回数、各保持動作についての第１スコアＳ_Ｈ（Ｉ）の平均値、最大値、最小値などの値、保持戦略を完了するのに要すると予想される時間などを評価項目として、各保持戦略案のスコアを算出する。スコア生成部３０４は、操作者の入力に応じて、評価項目の重みを適宜変更することもできる。

次に、制御装置１２は、ステップＳ３１７を実行する。ステップＳ３１７において、制御装置１２の保持戦略決定部３０７は、スコア生成部３０４が生成した各保持戦略案のスコアに基づき、最適な保持戦略を決定する。例えば、保持戦略決定部３０７は、スコアが最大である保持戦略案を保持戦略として選択する。

その後、制御装置１２は、保持戦略決定部３０７により決定された保持戦略を記憶部３０２に格納し（ステップＳ３１９）、保持戦略に基づき次の保持動作を決定する（ステップＳ３２０）。

なお、制御装置１２は、第２スコアの算出および／または切替えの必要性の判定（ステップＳ３１２～Ｓ３１４）を省略して、第１スコアに基づき保持戦略案を複数作成してもよい。例えば、保持戦略決定部３０７は、全体的な成功率が最も低い、切替えを行わない保持戦略案と、全体的な成功率が次に低い、切替えを１回行う保持戦略案と、全体的な成功率が最も高い、切替えを２回行う保持戦略案と、を作成することができる。スコア生成部３０４が、各保持戦略案のスコアを算出し、このスコアに基づき保持戦略決定部３０７が保持戦略を決定する。これにより、制御装置１２は、保持方法の切替えの判定を行わなくても保持方法の切替え回数を抑えるための保持戦略を決定することができる。

本実施形態の構成によれば、制御装置１２は、物体Ｏを保持する順番および保持方法の切替えの順番の少なくとも一方を含む保持戦略を複数作成し、複数の保持戦略のうち一つの保持戦略を選択する。これにより、制御装置１２は、幅広い保持戦略を比較検討して、成功率や保持方法の切替え回数などの点で最も優れた保持戦略を選択することができる。

また、本実施形態では、制御装置１２は、保持方法の切替え回数が小さくなるように、複数の保持戦略のうち一つの保持戦略を選択する。これにより、ハンドリング装置１０は、保持方法の切替え回数ができるだけ小さくなるように一連の保持動作を実行することができ、全体の作業に要する時間を低減することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態では、各保持方法の使用頻度に基づいて保持方法が選択される点で、第１の実施形態とは異なる。なお、以下に説明する以外の構成は、第１の実施形態と同様である。

制御装置１２は、各保持方法の使用頻度を記憶部３０２に記録する。例えば、制御装置１２は、保持動作を行うたびに、使用した保持方法を記憶部３０２に記録し、保持方法の使用履歴に基づいて各保持方法の使用頻度を算出することができる。あるいは、制御装置１２は、保持方法の切替えが行われたことを記憶部３０２に記録し、保持方法の切替えの履歴に基づいて各保持方法の使用頻度を算出してもよい。これにより、制御装置１２は、それぞれの保持方法が過去にどの程度の頻度で使用されたかを確認できる。

制御装置１２は、算出した各保持方法の使用頻度に偏りがある場合や、保持方法の使用限度に近づいていると判定された場合に、頻繁に使用されている保持方法の使用頻度を下げることができる。例えば、制御装置１２は、図９のステップＳ３０２において第２スコアＴ_Ｈ，Ｈ０（Ｉ）を算出する際に、頻繁に使用されている保持方法が選択される優先度を下げるように第２スコアＴ_Ｈ，Ｈ０（Ｉ）中のパラメータを調整することができる。あるいは、制御装置１２は、例えば、図９のステップＳ３０３において第２スコアＴ_Ｈ，Ｈ０（Ｉ）と閾値Ｔｈとを比較する場合に、頻繁に使用されている保持方法が選択される優先度を下げるように、閾値生成部３０５に閾値Ｔｈを調整させることができる。あるいは、制御装置１２は、例えば、図９のステップＳ３０６において保持および切替えの順番を含む保持戦略を決定する場合に、頻繁に使用されている保持方法をできるだけ使用しないように、別の保持方法による第１スコアＳ_Ｈ（Ｉ）がそれなりに高い物体Ｏについては当該別の保持方法により保持するようにすることができる。あるいは、制御装置１２は、例えば、図１０のステップＳ３１７において各保持戦略案のスコアを算出する場合に、頻繁に使用されている保持方法が選択される優先度を下げるように当該スコア中のパラメータを調整することができる。

例えば、制御装置１２は、下記の数式６により挟持および吸着のスコアを算出することができる。

数式６において、ｗ_１ｈ_１＋ｗ_２ｈ_２＋ｗ_３＝１であり、ｗ_ｉ≧０（ｉ＝１，２，３）、ｈ_ｊ≧０（ｊ＝１，２）である。Ｓ_ｐ（Ｉ）は、物体Ｏまたは物体Ｏの領域を示すマスク領域Ｉを「挟持」により保持を行う場合の第１スコアである。Ｓ_ｐ（Ｉ）は、物体Ｏまたは物体Ｏの領域を示すマスク領域Ｉを「吸着」により保持を行う場合の第１スコアである。ｇ（Ｓ_Ｈ（Ｉ），Ｓ_Ｈ０（Ｉ））は、第２スコアを算出するための関数である。ｆ_ｉｔｅｍは、物体Ｏの重量に係数を乗じて正規化した値である。ｈ_１およびｈ_２は、現在の保持方法の利用度合いを調整する重みである。ｈ_１およびｈ_２は、例えば、その重みを以下のようなテーブル情報としてデータベースなどに保持することができる。また、制御装置１２は、第１スコアＳ_ｐ（Ｉ）またはＳ_ｓ（Ｉ）の計算結果から重みを調整してもよい。

以上のような第３の実施形態の構成によれば、制御装置１２は、各保持方法の使用頻度に基づいて、保持する物体Ｏと保持方法とを選択する。これにより、制御装置１２は、頻繁に使用されている保持方法の優先度を下げるといった調整により、特定の保持方法に偏ることを抑制することができるので、保持部２００の寿命を延ばすことができる。

また、本実施形態では、制御装置１２は、各保持方法の使用頻度に基づいて、スコアを算出する。あるいは、制御装置１２は、各保持方法の使用頻度に基づいて閾値Ｔｈを決定し、スコアと閾値Ｔｈとの大小関係に基づいて保持方法の切替えの要否（有無）を判定する。これにより、制御装置１２は、各保持方法の使用頻度に基づいてスコアまたは閾値を修正することにより、頻繁に使用されている保持方法の優先度を下げるといった調整を容易に行うことができる。

（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態では、各保持部２００Ａ、２００Ｂの物理状態の検出結果に基づいて保持方法が選択される点で、第１の実施形態とは異なる。なお、以下に説明する以外の構成は、第１の実施形態と同様である。

制御装置１２は、第３センサ１１Ｃおよび第４センサ１１Ｄから第１保持部２００Ａおよび第２保持部２００Ｂの物理的な状態に関する情報を受け取る。特定の保持部２００を繰り返し使用すると、保持部２００の歪み、形状変化、表面状態の変化などにより、第３センサ１１Ｃおよび第４センサ１１Ｄの物理センサの測定値が変化し得る。制御装置１２は、このような物理状態に関する情報に基づいて、保持部２００Ａ、２００Ｂの摩耗状態などの使用状態を推定する。制御装置１２は、劣化や損傷が生じていると推定された保持部２００Ａ、２００Ｂを用いた保持方法について、第３の実施形態と同様に、当該保持方法が選択される優先度または頻度を下げるように、スコア、閾値、保持戦略における保持および切替えの順番などを調整する。

以上のような第４の実施形態の構成によれば、制御装置１２は、保持部２００の物理的な情報に基づいて、保持する物体Ｏと保持方法とを選択する。これにより、保持部２００の物理的な劣化などを実際に測定しながら保持方法の優先度を調整することができるので、保持部２００の寿命を延ばすことができる。

（第５の実施形態）
次に、第５の実施形態について説明する。第５の実施形態では、ルールベースのアルゴリズムに代えて機械学習を用いたアルゴリズムを利用する点で、第１の実施形態とは異なる。なお、以下に説明する以外の構成は、第１の実施形態と同様である。

本実施形態では、第１の実施形態における第１スコアや第２スコアの算出が機械学習により実行される。例えば教師あり学習を想定した場合、上記にて規定した評価関数を学習時の評価値として利用することも可能である。学習アルゴリズムに関しては、教師あり学習に限らず、教師なし学習、強化学習など学習の種類によって変更することが可能である。

制御装置１２は、センサ１１から取得した情報、第１スコアにより得られた情報、第２スコアにより得られた情報、保持方法の切替え回数に必要な情報などをもとに、学習ネットワークを構成することによって、保持動作の成功率、保持方法の切替え回数、および保持方法の使用頻度の評価を両立するための学習を行い、これらの間のバランスを調整することができる。例えば、機械学習により訓練された制御装置１２は、センサ１１による情報取得工程（ステップＳ１）において取得した情報を入力として受け取り、保持動作の成功率を大きくし、保持方法の切替えを抑え、保持方法の使用頻度の偏りを抑えるのに適した、保持対象ごとおよび保持方法ごとのスコアや、保持および切替えの順番を含む一つ以上の保持戦略などを出力することができる。

機械学習を利用する場合、数式２および数式３の第１スコアの評価関数においてｗ_ｐ１＝ｗ_ｐ２＝ｗ_ｐ３＝ｗ_ｐ４＝ｗ_ｐ５＝０とし、ｗ_ｓ１＝ｗ_ｓ２＝ｗ_ｓ３＝ｗ_ｓ４＝ｗ_ｓ５＝０とする。

以上のような第５の実施形態の構成によれば、制御装置１２は、繰り返し機械学習を行うことにより、より適切なスコアや保持戦略を効率的に出力することができるようになる。

上記各実施形態では、制御装置１２は、第２スコアＴ_Ｈ，Ｈ０（Ｉ）と閾値Ｔｈとを比較することにより切替えの必要性を判定した後で保持動作および切替え動作の順番を決定しているが、切替えの必要性の判定を行わずに、切替え回数が小さくなるように保持動作および切替え動作の順番を決定してもよい。例えば、制御装置１２のスコア生成部３０４は、現在選択されている保持方法を考慮しない単純な保持しやすさを示す第１スコアＳ_Ｈ（Ｉ）に対して、現在選択されている保持方法Ｈ_０による第１スコアＳ_Ｈ０（Ｉ）のみ値を補正し（例えば、ｎ倍（ｎ＞１）とし）、それ以外の保持方法による第１スコアＳ_Ｈ（Ｉ）はそのままの値とした第２スコアＴ_Ｈ，Ｈ０（Ｉ）を生成し、この第２スコアＴ_Ｈ，Ｈ０（Ｉ）に基づいて、切替え回数ができるだけ小さくなるように保持動作および切替え動作の順番を含む保持戦略を決定してもよい。この場合、制御装置１２が保持方法の切替えの必要性を判定する必要はない。なお、第１スコアＳ_Ｈ（Ｉ）の補正方法を含む第２スコアＴ_Ｈ，Ｈ０（Ｉ）の生成方法は上記例に限定されず、現在選択されている保持方法を優先的に使用するように何らかのバイアスが掛かるものであれば任意の方法を利用可能である。

上記各実施形態では、ハンドリング装置１０は、「挟持」を実行する第１ハンドリング装置１０Ａと「吸着」を実行する第２ハンドリング装置１０Ｂとを有するが、ハンドリング装置１０の構成はこれに限定されず、複数の保持方法のうち一つ以上を選択して物体を保持できるものである限り、任意の保持方法を実行する一つ以上の保持部を有するものであってよい。例えば、ハンドリング装置１０は、第１ハンドリング装置１０Ａおよび第２ハンドリング装置１０Ｂに加えて別のハンドリング装置をさらに有してもよい。ハンドリング装置１０は、第１ハンドリング装置１０Ａおよび第２ハンドリング装置１０Ｂに代えて、「挟持」および「吸着」の両方を実行することができる一つのハイブリッドハンドを有してもよい。また、第１ハンドリング装置１０Ａおよび第２ハンドリング装置１０Ｂの少なくとも一方が、「挟持」および「吸着」の両方を実行することができるハイブリッドハンドであってもよい。このようなハイブリッドハンドは、例えば、挟持部と吸着部とを１８０°回転する回転部によって切り替える構成であってもよく、光学顕微鏡のようなリボルバー式の構成であってもよく、その他の構成であってもよい。ハンドリング装置１０は、大きさ、形状、特性などが異なる２種類の吸着用ハンドリング装置を有してもよい。あるいは、ハンドリング装置１０は、挟持および吸着以外の保持方法で物体Ｏの保持を行うハンドリング装置を有してもよい。

以上説明した少なくともひとつの実施形態によれば、現在選択されている保持方法を基準とするスコアに基づいて現在選択されている保持方法を優先的に使用するように保持戦略を作成することにより、ハンドリング装置の動作時間を短縮することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…搬送システム、１０…ハンドリング装置（ハンドリングシステム）、１０Ａ…第１ハンドリング装置、１０Ｂ…第２ハンドリング装置、１１…センサ、１１Ａ…第１センサ、１１Ｂ…第２センサ、１１Ｃ…第３センサ、１１Ｄ…第４センサ、１１Ｅ…第５センサ、１２…制御装置（制御部）、１００…アーム、１０１…アーム部材、１０２…回動部、２００…保持部、２００Ａ…第１保持部、２００Ｂ…第２保持部、２０２…挟持ハンド、２０３…吸引装置、２０５…吸着部、３００…入力部、３０１…認識処理部、３０２…記憶部、３０３…動作制御部、３０４…スコア生成部、３０５…閾値生成部、３０６…判定部、３０７…保持戦略決定部。

Claims (21)

1. 可動アームと、
   前記可動アームに取り付けられ、複数の保持方法のうち一つ以上を選択して物体を保持することが可能な保持部と、
   複数の前記物体を検出可能なセンサと、
   前記可動アームおよび前記保持部を制御する制御部と、
   を備え、
   前記制御部は、
   前記センサから取得した情報に基づいて、前記物体ごとおよび保持方法ごとに、選択されている保持方法を基準としたスコアを算出し、
   前記スコアに基づいて、次に保持する前記物体および保持方法を選択し、
   選択された前記物体を保持する位置および前記可動アームの姿勢を算出する、
   ハンドリングシステム。
2. 前記複数の保持方法は、挟持および吸着を含む、
   請求項１に記載のハンドリングシステム。
3. 前記制御部は、保持方法の切替え回数が小さくなるように、次に保持する前記物体および保持方法を選択する、
   請求項１または２に記載のハンドリングシステム。
4. 前記制御部は、前記スコアに基づいて、保持方法の切替えの要否を判定する、
   請求項１～３のいずれか一項に記載のハンドリングシステム。
5. 前記制御部は、前記スコアと所定の閾値との大小関係に基づいて保持方法の切替えの要否を判定する、
   請求項４に記載のハンドリングシステム。
6. 前記制御部は、前記スコアに基づいて、前記物体を保持する順番を決定する、
   請求項１～５のいずれか一項に記載のハンドリングシステム。
7. 前記制御部は、さらに前記物体の保持方法の切替えの順番を決定する、
   請求項６に記載のハンドリングシステム。
8. 前記制御部は、前記物体を保持する順番、および前記保持方法の切替えの順番の少なくとも一方を含む保持戦略を複数作成し、複数の保持戦略のうち一つの保持戦略を選択する、
   請求項６または７に記載のハンドリングシステム。
9. 前記制御部は、保持方法の切替え回数が小さくなるように、前記複数の保持戦略のうちの一つの保持戦略を選択する、
   請求項８に記載のハンドリングシステム。
10. 前記制御部は、各保持方法の使用頻度に基づいて、次に保持する前記物体および保持方法を選択する、
    請求項１～９のいずれか一項に記載のハンドリングシステム。
11. 前記制御部は、各保持方法の使用頻度に基づいて、前記スコアを算出する、
    請求項１０に記載のハンドリングシステム。
12. 前記制御部は、各保持方法の使用頻度に基づいて閾値を決定し、前記スコアと前記閾値との大小関係に基づいて保持方法の切替えの要否を判定する、
    請求項１０に記載のハンドリングシステム。
13. 前記制御部は、前記保持部の物理的な情報に基づいて、次に保持する前記物体および保持方法を選択する、
    請求項１～１２のいずれか一項に記載のハンドリングシステム。
14. 前記制御部は、保持方法が吸着である場合について前記スコアを算出するとき、前記物体の領域ごとに前記スコアを算出する、
    請求項１～１３のいずれか一項に記載のハンドリングシステム。
15. 前記制御部は、前記物体ごとおよび保持方法ごとに、保持しやすさを第１スコアとして算出し、
    前記選択されている保持方法を基準とした前記スコアは、前記物体ごとおよび保持方法ごとに前記第１スコアに基づき算出される第２スコアである、
    請求項１～１４のいずれか一項に記載のハンドリングシステム。
16. 前記物体および保持方法についての前記第２スコアは、当該物体および前記選択されている保持方法についての前記第１スコアを、当該物体および当該保持方法についての前記第１スコアで割った値である、
    請求項１５に記載のハンドリングシステム。
17. 可動アームと、
    前記可動アームに取り付けられ、複数の保持方法のうち一つ以上を選択して物体を保持することが可能な保持部と、
    複数の前記物体を検出可能なセンサと、
    前記可動アームおよび前記保持部を制御する制御部と、
    を備え、
    前記制御部は、
    前記センサから取得した情報に基づいて、前記物体ごとおよび保持方法ごとに、選択されている保持方法を基準としたスコアを算出し、
    前記スコアに基づいて、次に保持する前記物体および保持方法を選択し、
    選択された前記物体を保持する位置および前記可動アームの姿勢を算出して、前記物体を第１の位置から第２の位置に移動させる、
    搬送システム。
18. 可動アームと、
    前記可動アームに取り付けられ、複数の保持方法のうち一つ以上を選択して物体を保持することが可能な保持部と、
    複数の前記物体を検出可能なセンサと、
    を備える搬送システムを制御する制御装置であって、
    前記センサから取得した情報に基づいて、前記物体ごとおよび保持方法ごとに、選択されている保持方法を基準としたスコアを算出し、
    前記スコアに基づいて、次に保持する前記物体および保持方法を選択し、
    選択された前記物体を保持する位置および前記可動アームの姿勢を算出する、
    制御装置。
19. 可動アームと、
    前記可動アームに取り付けられ、複数の保持方法のうち一つ以上を選択して物体を保持することが可能な保持部と、
    複数の前記物体を検出可能なセンサと、
    前記可動アームおよび前記保持部を制御する制御部と、
    を備える搬送システムを制御する制御プログラムであって、
    前記制御部に、
    前記センサから取得した情報に基づいて、前記物体ごとおよび保持方法ごとに、選択されている保持方法を基準としたスコアを算出させ、
    前記スコアに基づいて、次に保持する前記物体および保持方法を選択させ、
    選択された前記物体を保持する位置および前記可動アームの姿勢を算出させる、
    制御プログラム。
20. 可動アームと、
    前記可動アームに取り付けられ、複数の保持方法のうち一つ以上を選択して物体を保持することが可能な保持部と、
    複数の前記物体を検出可能なセンサと、
    前記可動アームおよび前記保持部を制御する制御部と、
    を備える搬送システムにより物品をハンドリングするハンドリング方法であって、
    前記制御部は、
    前記センサから取得した情報に基づいて、前記物体ごとおよび保持方法ごとに、選択されている保持方法を基準としたスコアを算出し、
    前記スコアに基づいて、次に保持する前記物体および保持方法を選択し、
    選択された前記物体を保持する位置および前記可動アームの姿勢を算出する、
    ハンドリング方法。
21. 可動アームと、
    前記可動アームに取り付けられ、複数の保持機構のうち一つ以上を選択して保持対象物を保持することが可能な保持部と、
    前記保持対象物を検出可能なセンサと、
    前記可動アームおよび前記保持部を制御する制御部と、を備え、
    前記制御部は、
    前記センサから取得した情報に基づいて、保持対象物の何れかと、前記保持機構の何れかから、選択される保持機構を基準としたスコアを算出し、
    前記スコアに基づいて、保持対象物、および前記選択される保持機構の後に前記保持対象物を保持する保持機構を選択し、
    前記選択される保持機構の後に前記保持対象物を保持する保持機構が、前記保持対象物を保持する位置、および前記可動アームの姿勢を算出する、
    ハンドリングシステム。

Images