JP2023063110A - ピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法 - Google Patents

Abstract

【課題】ピッキング操作の効率性を向上させることができるピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法を提供する。【解決手段】実施形態のピッキングシステムは、保持部、制御部、及びセンサを持つ。保持部は、物品を保持する。制御部は、保持部の動作を制御する。センサは、物品の情報を取得する。制御部の失敗検知部は、保持操作計画の生成における失敗又は保持部による物品の保持操作における失敗を検知する。制御部の判定部は、失敗検知部が保持操作計画の生成における失敗を検知した場合に、リトライのための操作を決定する第１リトライ判定を行い、失敗検知部が保持部による物品のピックアップにおける失敗を検知した場合に、リトライのための操作を決定する第２リトライ判定であって第１リトライ判定と異なる第２リトライ判定を行う。【選択図】図１

Description

本発明の実施形態は、ピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法に関する。

物流現場などにおいて、指定された物品のオーダに従って、１以上の物品を収納場所からピックアップし、別の領域に搬送するピッキング作業が行われる。ピッキング操作を実行するピッキング装置が知られている。

特許第５１９６１５６号公報 特開２０２０－１２４８００号公報 特開２０１９－１８８５１６号公報 特開２０２１－０９１０３６号公報

本発明が解決しようとする課題は、ピッキング操作の効率性を向上させることができるピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法を提供することである。

実施形態のピッキングシステムは、第１領域に配置された物品のピッキングを行うピッキングシステムである。ピッキングシステムは、保持部、制御部、及びセンサを持つ。保持部は、物品を保持する。制御部は、保持部の動作を制御する。センサは、物品の情報を取得する。制御部は、取得部と、計画部と、動作制御部と、失敗検知部と、判定部と、を持つ。取得部は、センサから情報を取得する。計画部は、情報に基づいて、保持部により物品を保持する保持操作計画を生成する。動作制御部は、保持操作計画に基づいて、保持部が物品のピックアップ操作及び搬送操作を行うように保持部の動作を制御する。失敗検知部は、保持操作計画の生成における失敗又は保持部による物品の保持操作における失敗を検知する。判定部は、失敗検知部が保持操作計画の生成における失敗を検知した場合に、リトライのための操作を決定する第１リトライ判定を行う。判定部は、失敗検知部が保持部による物品のピックアップにおける失敗を検知した場合に、リトライのための操作を決定する第２リトライ判定であって第１リトライ判定と異なる第２リトライ判定を行う。

本実施形態に係るピッキングシステムを示す概略図。 本実施形態に係るピッキングシステムのシステム構成を示すブロック図。 本実施形態に係るピッキングシステムにおける位置姿勢テーブルを示す図。 本実施形態に係るピッキングシステムによるピッキング処理における経路情報の一例を示す概略図。 本実施形態に係るピッキングシステムによるオーダ処理を示すフローチャート。 本実施形態に係るピッキングシステムによるピッキング処理を示すフローチャート。 本実施形態に係るピッキングシステムによるピッキング処理の計画段階を示すフローチャート。 本実施形態に係るピッキングシステムによるピッキング処理のピックアップ段階を示すフローチャート。 本実施形態に係るピッキングシステムによる第２リトライ判定における動作の一例を示す概略図。 本実施形態に係るピッキングシステムによるピッキング処理の搬送段階を示すフローチャート。 本実施形態に係るピッキングシステムによる第３リトライ判定における動作の一例を示す概略図。 変形例に係るピッキングシステムによる第２リトライ判定における動作の一例を示す概略図。 変形例に係るピッキングシステムによる第２リトライ判定における動作の一例を示す概略図。

以下、実施形態のピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法を、図面を参照して説明する。

まず、図１及び図２を参照して、ピッキングシステム１の構成について説明する。図１は、本実施形態に係るピッキングシステム１を示す概略図である。図２は、本実施形態に係るピッキングシステム１のシステム構成を示すブロック図である。

ピッキングシステム１は、例えば倉庫などの物流現場において、与えられたオーダに従って、物品Ｐが収納された第１容器１０Ａ（「第１領域」の一例）から１以上の物品Ｐをピックアップし、第２容器１０Ｂ（「第２領域」の一例）に搬送するピッキング操作を行う。本明細書において、「ピッキング」とは、対象の物品Ｐを保持した状態で持ち上げるピックアップ操作と、持ち上げた物品Ｐを保持した状態で目的地まで運ぶ搬送操作と、を含む操作を意味する。「オーダ」は、ピッキングを行うべき物品Ｐのリストを含む。

なお、ピッキングシステム１は、物流用のシステムに限定されず、産業用ロボットシステムやその他のシステムなどにも広く適用可能である。本明細書における「ピッキングシステム」及び「ピッキング装置」は、物体の搬送を主目的としたシステムや装置に限定されず、製品の組立など別の目的の一部として物体の搬送（移動）を伴うシステムや装置も含む。

図１及び図２に示すように、ピッキングシステム１は、ピッキング装置１００、第１領域センサ２００、第２領域センサ２１０、通過センサ２２０、制御装置３００（「制御部」の一例）、及び管理装置４００を含む。ピッキングシステム１は、第１容器１０Ａ（移動元）に収納された物品Ｐを、第２容器１０Ｂ（移動先）に移載する。第１容器１０Ａ及び第２容器１０Ｂは、物品Ｐを収納可能な任意の容器であり、特に限定されない。

ピッキング装置１００は、物品Ｐのピッキング操作を実行する。ピッキング装置１００は、図１に示すようなロボット装置であってもよく、回転翼により保持部を持ち上げて移動させるドローンなどの飛行体であってもよく、特に限定されない。ピッキング装置１００は、有線又は無線で制御装置３００と通信可能である。図１に示すように、ピッキング装置１００は、基体１１０、アーム１２０、関節部１３０、及び保持部１４０を含む。

基体１１０は、ピッキング装置１００の本体であり、図１のように可動式であってもよく、床面に固定されてもよい。アーム１２０は、一端が基体１１０の上面から延在し、他端に保持部１４０が設けられた可動式アームである。アーム１２０は、複数のアーム部材が関節部１３０を介して連結された構造であり、人間の腕や手と同様に、物品Ｐを保持するための様々な位置姿勢を取ることができる。例えば、アーム１２０は、６軸の垂直多関節ロボットアームである。

保持部１４０は、第１容器１０Ａに収納された物品Ｐを保持する保持機構（エンドエフェクタ）である。図１に示す例では、保持部１４０は、吸着式の保持機構であり、吸着部１４２、吸引装置１４４、接触センサ１４６、及び保持状態センサ１４８を含む。

吸着部１４２は、保持部１４０の先端に設けられ、物品Ｐの表面に吸着するように構成される。例えば、１つ又は複数の吸着部１４２が設けられてよい。好ましくは、吸着部１４２の吸着面積は、第１容器１０Ａに収納された最小の物品Ｐよりも小さい。吸着部１４２は、保持部１４０の内部に設けられた吸引装置１４４に連通する。

吸引装置１４４は、例えば真空ポンプである。保持部１４０は、吸着部１４２を保持対象の物品Ｐの表面に接触させて吸引装置１４４を駆動することにより、保持部１４０内部の圧力を大気圧よりも低くして、吸着部１４２により物品Ｐを吸着保持することができる。

接触センサ１４６は、保持部１４０が対象物に物理的に接触したことを検出するセンサである。接触センサ１４６は、例えば吸着部１４２に取り付けられる。接触センサ１４６としては、物体との接触を検知可能な任意のセンサが使用可能である。

保持状態センサ１４８は、保持部１４０が物品Ｐを保持している場合に、保持状態の変化を検出するセンサである。例えば、保持状態センサ１４８は、吸着部１４２と吸引装置１４４とを連結する保持部１４０の内部空間の圧力を検出することにより、吸引装置の吸引力の変化を検出する圧力センサである。保持状態センサ１４８は、例えば、保持部１４０内部の圧力が急激に減少した場合に、吸着部１４２により吸着されていた物品Ｐが離脱し、保持部１４０が物品Ｐを保持している状態から物品Ｐを保持していない状態に変化したと判定することができる。また、保持状態センサ１４８は、例えば、保持部１４０内部の圧力が急激に上昇した場合に、吸着部１４２による物品Ｐの吸着が行われ、保持部１４０が物品Ｐを保持していない状態から物品Ｐを保持している状態に変化したと判定することができる。

なお、保持部１４０の構成は上記例に限定されない。例えば、保持部１４０は、２以上の指で物品Ｐを把持する挟持ハンドであってもよい。あるいは、保持部１４０は、吸着機構と挟持機構とを併せ持つハイブリッド型ハンドであってもよい。例えば、保持部１４０は、挟持ハンドの指の先端に設けられた吸着機構を有する構成であってもよく、保持部１４０の一端に吸着部が設けられ、他端に挟持部が設けられる構成であってもよい。あるいは、保持部１４０は、磁力やジャミング現象など他の機構を利用して物品Ｐを保持する構成であってもよい。また、ピッキング装置１００は、２以上の保持部１４０を有してもよい。その場合、各保持部１４０は、同一の保持機構を有してもよく、保持原理、構造、形状、寸法、配置などが互いに異なる保持機構を有してもよい。

第１領域センサ２００（「センサ」の一例）は、第１容器１０Ａ及び第１容器１０Ａ内の物品Ｐの情報を取得する。例えば、第１領域センサ２００は、第１容器１０Ａの画像を取得する画像センサである。図１に示す例では、第１領域センサ２００は、第１容器１０Ａの上方に設けられたカメラであり、第１容器１０Ａを上方から撮影する。第１領域センサ２００は、例えば、２次元画像データ、距離画像データ、形状データなどを取得することができる。「２次元画像データ」とは、通常のカメラで撮影されるような、平面上に表現できる画像データである。「距離画像データ」とは、１つ以上の方向の距離情報（例えば、第１容器１０Ａの上方に設定された任意の基準面からの深さ情報）を持つ画像データである。「形状データ」とは、物品Ｐなどの対象物の外形形状を示すデータである。深さ方向の距離情報を含む距離画像データから、第１容器１０Ａ及び第１容器１０Ａに収納された物品Ｐの３次元形状の情報を取得することができる。なお、形状データは、例えば距離画像データに基づいて後述の認識部３１０により生成されてもよい。第１領域センサ２００は、有線又は無線で制御装置３００に接続される。第１領域センサ２００により検出された情報は、制御装置３００に出力される。

第２領域センサ２１０（「センサ」の一例）は、第２容器１０Ｂ及び第２容器１０Ｂ内の物品Ｐの情報を取得する。例えば、第２領域センサ２１０は、第２容器１０Ｂの画像を取得する画像センサである。図１に示す例では、第２領域センサ２１０は、第２容器１０Ｂの上方に設けられたカメラであり、第２容器１０Ｂを上方から撮影する。第２領域センサ２１０は、例えば、２次元画像データ、距離画像データ、形状データなどを取得することができる。第２領域センサ２１０は、有線又は無線で制御装置３００に接続される。第２領域センサ２１０により検出された情報は、制御装置３００に出力される。

通過センサ２２０は、第１容器１０Ａの上方に設けられ、物体が第１容器１０Ａの上方を通過したことを検出する。例えば、通過センサ２２０は、光を照射する発光部と光を検出する受光部とを含むライトセンサである。この場合、通過センサ２２０の発光部は、第１容器１０Ａの上方を横切るように赤外光や可視光などの光を受光部に向けて常時照射する。通過センサ２２０は、受光部において発光部からの光の途切れを検出することにより、物体が第１容器１０Ａの上方を通過したことを検出する。これにより、通過センサ２２０は、例えば、保持部１４０が上方から第１容器１０Ａ内に進入したこと、保持部１４０が第１容器１０Ａ内から上方に脱出したこと、物品Ｐが上方から第１容器１０Ａ内に落下したことなどを検出することができる。通過センサ２２０は、有線又は無線で制御装置３００に接続される。通過センサ２２０により検出された情報は、制御装置３００に出力される。なお、通過センサ２２０は上記例に限定されず、通常のカメラや磁気センサなど任意の構成であってよい。また、通過センサ２２０は、単に物体の通過の有無を検知するだけでなく、通過した物体の形状を含む情報を（例えば、画像データや形状データとして）取得してもよい。

なお、第１領域センサ２００、第２領域センサ２１０、及び通過センサ２２０は、必ずしも別個のセンサとして設けられる必要はなく、特定のセンサが単独で第１領域センサ２００、第２領域センサ２１０、及び通過センサ２２０のうち２以上のセンサの機能を果たしてもよい。また、第１領域センサ２００、第２領域センサ２１０、及び通過センサ２２０のうち１以上は、ピッキング装置１００の一部として設けられてもよい。

制御装置３００は、ピッキングシステム１全体の制御を行う。制御装置３００は、第１領域センサ２００、第２領域センサ２１０、及び通過センサ２２０により検出された情報を取得し、取得した情報に基づいて、ピッキング装置１００を制御する。制御装置３００は、例えば、プロセッサ、メモリ、ストレージなどを備えたプログラム実行可能な情報処理装置（コンピュータ）である。制御装置３００は、ピッキング装置１００など任意の装置に組み込まれてもよい。

図２に示すように、制御装置３００は、入力部３０２、処理部３０４、記憶部３０６、及び出力部３０８を含む。

入力部３０２（「取得部」の一例）は、入出力インタフェースを含んで構成され、制御装置３００への入力を受け付ける。例えば、入力部３０２は、操作者やシステムから保持対象の物品Ｐに関するオーダ情報を受け付ける。また、入力部３０２は、第１領域センサ２００、第２領域センサ２１０、通過センサ２２０などの各種センサにより取得された情報を受け付ける。

処理部３０４は、入力部３０２が受け付けた入力に対して所定の演算処理を行う。処理部３０４は、認識部３１０、計画部３１２、動作制御部３１４、失敗検知部３１６、判定部３１８、画像比較部３２０、及び位置推定部３２２を含む。

認識部３１０は、第１領域センサ２００及び第２領域センサ２１０により取得された情報を処理する。例えば、認識部３１０は、第１領域センサ２００により取得された距離画像データ３６０や２次元画像データ３６２に基づいて、第１容器１０Ａの位置、形状などを判定するとともに、第１容器１０Ａ内の物品Ｐの位置、姿勢、形状、特性などを判定する。また、認識部３１０は、第２領域センサ２１０により取得された距離画像データ３６０や２次元画像データ３６２に基づいて、第２容器１０Ｂの位置、形状などを判定するとともに、第２容器１０Ｂ内の物品Ｐの位置、姿勢、形状、特性などを判定する。例えば、認識部３１０は、距離画像データ３６０や２次元画像データ３６２から、第１容器１０Ａ、第２容器１０Ｂ、及び各物品Ｐの形状データ３６４を生成することができる。また、認識部３１０は、距離画像データ３６０や形状データ３６４に基づいて、各物品Ｐについて、保持部１４０によって保持可能な領域（保持領域）を認識することができる。例えば、吸着部１４２により吸着可能な２つの平面領域を有する物品Ｐについては、認識部３１０は、２つの平面領域をそれぞれ別々の保持領域として認識する。

計画部３１２は、認識部３１０の認識結果などに基づいて、ピッキング装置１００の保持部１４０が物品Ｐのピッキング処理を行う保持操作計画を生成する。保持操作計画は、保持部１４０による物品Ｐの保持操作の計画である。保持操作は、ピックアップ操作及び搬送操作を含む。例えば、保持操作計画は、保持部１４０が第１容器１０Ａ内の物品Ｐをピックアップする位置まで移動する経路の情報、物品Ｐをピックアップする際の保持部１４０の位置姿勢の情報、物品Ｐをピックアップしてから第２容器１０Ｂまで物品Ｐを搬送する経路の情報などを含む。計画部３１２は、位置姿勢計算部３２４、位置姿勢選択部３２６、及び経路計算部３２８を含む。

位置姿勢計算部３２４は、第１容器１０Ａ内の各物品Ｐに対して、当該物品Ｐをピックアップするための保持部１４０の位置姿勢を計算し、位置姿勢情報として取得する。例えば、位置姿勢計算部３２４は、第１領域センサ２００により取得された距離画像データ３６０や２次元画像データ３６２、認識部３１０が判定した第１容器１０Ａ内の各物品Ｐの位置、姿勢、形状などを示す形状データ３６４、予め入力された第１容器１０Ａの情報などに基づいて、保持部１４０の位置姿勢を計算する。位置姿勢計算部３２４は、物品Ｐが保持部１４０によって保持可能な２以上の保持領域を有する場合には、それぞれの保持領域に対して、保持部１４０の位置姿勢を計算することができる。位置姿勢計算部３２４は、計算した各位置姿勢についてスコアを計算することができる。位置姿勢計算部３２４は、各位置姿勢のスコアを任意の基準により計算してよい。例えば、位置姿勢計算部３２４は、保持部１４０の現在の位置から計算された位置までの距離、保持部１４０の現在の姿勢と計算された姿勢との相違、計算された姿勢における保持部１４０の傾きなどに基づいて、各位置姿勢のスコアを計算する。

位置姿勢計算部３２４は、取得した位置姿勢情報を、記憶部３０６に記憶された位置姿勢テーブル３６６に書き込む。図３は、位置姿勢テーブル３６６を示す図である。位置姿勢テーブル３６６は、「位置姿勢情報Ｎｏ．」、「位置姿勢情報」、「状態」、及び「スコア」の列を含む。「位置姿勢情報Ｎｏ．」の列には、位置姿勢計算部３２４により生成された位置姿勢情報の識別番号が記載される。「位置姿勢情報」の列には、位置姿勢計算部３２４により生成された位置姿勢情報の内容が記載される。「状態」の列には、対応する位置姿勢情報に基づく保持操作の実行状態が記載される。例えば、対応する位置姿勢情報に基づく保持操作が成功した場合には「成功」と記載され、保持操作が失敗した場合には「失敗」と記載され、保持操作がまだ実行されていない場合には「未判定」と記載される。「スコア」の列には、位置姿勢計算部３２４により計算された各位置姿勢のスコアが記載される。

同様に、位置姿勢計算部３２４は、第２容器１０Ｂへ搬送した物品Ｐを解放するための保持部１４０の第２容器１０Ｂにおける位置姿勢を計算し、位置姿勢情報として取得することができる。例えば、位置姿勢計算部３２４は、第２領域センサ２１０により取得された第２容器１０Ｂの距離画像データ３６０や２次元画像データ３６２、認識部３１０により生成された形状データ３６４、予め入力された第２容器１０Ｂの情報などに基づいて、第２容器１０Ｂにおいて物品Ｐを解放するための保持部１４０の位置姿勢を計算する。例えば、位置姿勢計算部３２４は、第２容器１０Ｂに既に配置された物品Ｐと干渉しないように、物品Ｐを解放するための位置姿勢を計算する。

位置姿勢選択部３２６は、位置姿勢計算部３２４により計算された各位置姿勢のうち、保持操作計画を生成するための位置姿勢を選択する。位置姿勢選択部３２６による位置姿勢の選択基準は特に限定されない。例えば、位置姿勢選択部３２６は、位置姿勢テーブル３６６に列挙された位置姿勢のうち、「状態」の列が「未判定」であって、「スコア」の列が最も大きい位置姿勢を選択することができる。すなわち、位置姿勢選択部３２６は、既に保持操作に成功又は失敗した位置姿勢（「状態」が「成功」又は「失敗」のもの）を選択対象から除外した上で、「スコア」が大きい順に位置姿勢の優先順位を設定することができる。

経路計算部３２８は、位置姿勢選択部３２６により選択された位置姿勢に基づいて、保持部１４０が物品Ｐのピックアップ及び搬送を実行するための移動経路を計算し、経路情報３６８として取得する。経路情報３６８の形式は特に限定されず、例えば、経路に沿って実質的に連続した多数の空間座標の組で表されてもよく、経路の代表的な経由点のみを示す少数の空間座標の組で表されてもよい。

図４は、ピッキングシステム１によるピッキング処理における経路情報の一例を示す概略図である。図４に示す例では、経路情報３６８が１１個の経由点の空間座標の組で表されている。保持部１４０の移動経路は、例えば、１１個の経由点を順番に直線で結んだ経路である。保持部１４０の初期位置をＧＡＰ０とすると、図４では、保持部１４０は、ＧＡＰ０→ＧＡＰ１→ＧＡＰ２→ＧＰ’→ＧＡＰ３→ＧＡＰ４→ＲＡＰ０→ＲＡＰ１→ＲＡＰ２→ＲＰ’→ＲＡＰ３→ＧＡＰ０→……という経路に沿って移動する。

動作制御部３１４は、保持部１４０の位置姿勢情報や経路情報３６８に基づいて、ピッキング装置１００の動作を制御する。例えば、動作制御部３１４は、ピッキング装置１００に設けられたモータなどの動力源を駆動することにより、基体１１０、アーム１２０、関節部１３０、及び保持部１４０の動作を制御する。これにより、動作制御部３１４は、経路情報３６８に従って保持部１４０を移動させ、物品Ｐのピックアップ及び搬送を実行させることができる。また、動作制御部３１４は、第１容器１０Ａ内の物品Ｐをピックアップする際に吸引装置１４４を駆動し、搬送した物品Ｐを第２容器１０Ｂ内で解放する際に吸引装置１４４の駆動を停止することができる。

失敗検知部３１６は、ピッキング装置１００によるピッキング処理における種々の失敗を検知する。例えば、失敗検知部３１６は、計画部３１２による保持操作計画の生成における失敗を検知することができる。また、失敗検知部３１６は、動作制御部３１４による保持操作（すなわち、物品Ｐのピックアップ操作や搬送操作）の実行における失敗を検知することができる。失敗検知部３１６は、計画判定部３３０、ピックアップ判定部３３２、及び保持状態監視部３３４を含む。

計画判定部３３０は、計画部３１２による保持操作計画の生成が成功したか否かを判定する。例えば、計画判定部３３０は、経路計算部３２８により生成された経路情報３６８と、第１容器１０Ａの形状データ３６４とを比較して、経路に干渉があるか否かを判定する。例えば、保持部１４０が計算された経路に沿って移動すると第１容器１０Ａの壁などに接触すると予想される場合には、計画判定部３３０は、経路に干渉があると判定し、計画部３１２による保持操作計画の生成が失敗したと判定する。保持部１４０が計算された経路に沿って移動しても第１容器１０Ａに接触しないと予想される場合には、計画判定部３３０は、経路に干渉がないと判定し、計画部３１２による保持操作計画の生成が成功したと判定する。

ピックアップ判定部３３２は、保持部１４０による物品Ｐのピックアップ操作が成功したか否かを判定する。例えば、ピックアップ判定部３３２は、動作制御部３１４が保持部１４０に物品Ｐのピックアップ操作を実行させた際に、保持部１４０に設けられた保持状態センサ１４８の出力結果を参照して、保持部１４０が物品Ｐをピックアップできたか否かを判定する。例えば、ピックアップ操作の前後で保持状態センサ１４８から出力される保持部１４０内部の圧力に変化が見られない場合には、ピックアップ判定部３３２は、保持部１４０が物品Ｐを吸着することができず、ピックアップ操作に失敗したと判定する。また、ピックアップ操作時に保持部１４０内部の圧力が減少した後すぐにピックアップ操作前の圧力に戻った場合には、ピックアップ判定部３３２は、保持部１４０が物品Ｐを一瞬吸着したものの、すぐに物品Ｐが落下してしまい、ピックアップ操作に失敗したと判定する。ピックアップ操作の前後で保持部１４０内部の圧力が減少し、その後も減少した圧力値が保たれた場合には、ピックアップ判定部３３２は、保持部１４０が物品Ｐを適切に吸着できており、ピックアップ操作に成功したと判定する。

保持状態監視部３３４は、保持部１４０による物品Ｐの保持状態を監視することにより、物品Ｐの搬送操作の失敗を検知する。例えば、保持状態監視部３３４は、ピックアップ操作後、動作制御部３１４が保持部１４０に物品Ｐの搬送操作を実行させている間、保持状態センサ１４８の出力結果を定期的に参照して、保持部１４０内部の圧力を監視する。例えば、搬送操作の実行中に、保持状態監視部３３４が保持部１４０内部の圧力の上昇を検知した場合には、保持状態監視部３３４は、保持部１４０による物品Ｐの保持状態が変化したと判定し、搬送される物品Ｐが保持部１４０から離脱して落下したと推定する。

判定部３１８は、ピッキング処理における種々の判定を行う。例えば、判定部３１８は、失敗検知部３１６により保持操作計画の生成、ピックアップ操作の実行、又は搬送操作の実行における失敗が検知された場合に、リトライが可能か否かを判定するとともに、リトライのために必要な操作を判定することができる。本明細書では、このようにピッキング処理中に何らかの失敗が起こった場合におけるリトライのための判定処理を「リトライ判定」という。特に、保持操作計画の生成が失敗した場合のリトライ判定を「第１リトライ判定」といい、ピックアップ操作の実行が失敗した場合のリトライ判定を「第２リトライ判定」といい、搬送操作の実行が失敗した場合のリトライ判定を「第３リトライ判定」という。

画像比較部３２０は、複数の画像データを比較する。画像比較部３２０は、複数の画像データの間の一致点及び相違点を抽出することができる。

位置推定部３２２は、保持部１４０から物品Ｐが落下した場合における落下位置を推定する。例えば、位置推定部３２２は、保持部１４０が経路情報３６８における経由点を通過したタイミングの情報を動作制御部３１４から受け付けるとともに、経時的な保持状態の監視結果の情報を保持状態監視部３３４から受け付ける。位置推定部３２２は、これらの情報を照らし合わせることにより、物品Ｐが保持部１４０から落下した落下位置を推定することができる。

記憶部３０６は、メモリやストレージを含んで構成され、任意の情報を記憶する。例えば、記憶部３０６は、制御装置３００のプロセッサに所定の命令を実行させるプログラム３５０、保持対象の物品Ｐに関するオーダ情報３５２、ピッキングリスト３５４、収納部情報３５６、物品情報３５８、距離画像データ３６０、２次元画像データ３６２、形状データ３６４、位置姿勢テーブル３６６、経路情報３６８などを記憶する。ピッキングリスト３５４は、オーダ情報３５２に基づいて生成される、ピッキング処理の対象物品Ｐのリストである。例えば、ピッキングリスト３５４は、オーダ情報３５２に複数種類の物品Ｐが含まれる場合において、物品Ｐの種類ごとにオーダ情報３５２を分割したものである。収納部情報３５６は、物品Ｐが収納される第１容器１０Ａなどの収納部の情報である。例えば、収納部情報３５６は、どの種類の物品Ｐがどの収納部に収納されているかを示す情報である。物品情報３５８は、収納部に収納された各物品Ｐの種類、個数などを示す情報である。

出力部３０８は、入出力インタフェースを含んで構成され、処理部３０４における演算処理の結果などを出力する。例えば、出力部３０８は、動作制御部３１４によるピッキング装置１００の制御信号やモータ駆動信号などを出力する。出力部３０８は、テキスト、画像、音声などを用いてユーザへの報知を行ってもよい。

管理装置４００は、ピッキング装置１００の動作状況、オーダ情報３５２、物品Ｐの在庫状況などを管理する。例えば、管理装置４００は、ユーザからオーダ情報３５２を受け付けて、当該オーダ情報３５２をピッキング装置１００や制御装置３００に送信することができる。管理装置４００は、オーダ情報３５２に基づいて、ピッキング装置１００のための１以上のピッキングリスト３５４を生成してもよい。制御装置３００は、管理装置４００にピッキング処理における種々の失敗の状況をフィードバックすることができる。管理装置４００は、制御装置３００からのフィードバック情報に基づいて、ピッキング装置１００によるピッキング処理の成功率が上昇するように、又はピッキング処理の所要時間が短くなるように、次のオーダ情報３５２を生成することができる。

次いで、図５～図９を参照して、ピッキングシステム１によるピッキング処理の流れを説明する。図５は、本実施形態に係るピッキングシステム１によるオーダ処理を示すフローチャートである。図６は、本実施形態に係るピッキングシステム１によるピッキング処理を示すフローチャートである。図７は、本実施形態に係るピッキングシステム１によるピッキング処理の計画段階を示すフローチャートである。図８は、本実施形態に係るピッキングシステム１によるピッキング処理のピックアップ段階を示すフローチャートである。図９は、本実施形態に係るピッキングシステム１によるピッキング処理の搬送段階を示すフローチャートである。

まず、図５を参照して、ピッキングシステム１がオーダを受け付けてから当該オーダを完了するまでの全体的な流れを説明する。ステップＳ０５０１において、入力部３０２は、管理装置４００又はユーザからオーダ情報３５２を受け付ける。なお、管理装置４００がユーザからオーダ情報３５２を受け付けてもよい。ステップＳ０５０２において、制御装置３００又は管理装置４００は、オーダ情報３５２に基づいてピッキングリスト３５４を生成する。管理装置４００がピッキングリスト３５４を生成した場合、管理装置４００は、制御装置３００に当該ピッキングリスト３５４を送信する。ステップＳ０５０３において、制御装置３００は、取得したピッキングリスト３５４に基づいて、ピッキング処理を行うようにピッキング装置１００を制御する。ステップＳ０５０４において、制御装置３００の判定部３１８は、ピッキング装置１００によるピッキング処理が成功したか否かを判定する。ピッキング処理が成功したと判定された場合（Ｓ０５０４：Ｙｅｓ）、ステップＳ０５０５において、判定部３１８は、ピッキングリスト３５４に次のピッキング対象物品Ｐが存在するかを判定する。次の物品Ｐが存在すると判定された場合（Ｓ０５０５：Ｙｅｓ）、制御装置３００は、次の物品Ｐのピッキング処理を行うようにピッキング装置１００を制御する（Ｓ０５０３）。一方、次の物品Ｐが存在しないと判定された場合（Ｓ０５０５：Ｎｏ）、すなわちピッキングリスト３５４の全物品Ｐのピッキング処理が完了した場合には、ステップＳ０５０６において、判定部３１８は、オーダ情報３５２を参照して、残っているオーダがあるか否かを判定する。オーダが残っていると判定された場合（Ｓ０５０６：Ｙｅｓ）、制御装置３００又は管理装置４００は、次のピッキングリスト３５４を生成する（Ｓ０５０２）。一方、残っているオーダがないと判定された場合（Ｓ０５０６：Ｎｏ）、出力部３０８がオーダ完了を報知する（Ｓ０５０７）。

一方、ステップＳ０５０４において、ピッキング処理が失敗したと判定された場合（Ｓ０５０４：Ｎｏ）、ステップＳ０５０８において、判定部３１８は、ピッキング処理が継続可能か否かを判定する。例えば、物品Ｐが第１容器１０Ａ及び第２容器１０Ｂの外部に落下したことが推定される場合のように、物品Ｐの在庫数にずれが生じる可能性がある場合や、保持部１４０が動作不能な状態に陥った場合には、判定部３１８は、ピッキング処理の継続が不可能であると判定する（Ｓ０５０８：Ｎｏ）。この場合には、出力部３０８が警告を出力し、制御装置３００がピッキング装置１００の動作制御を中断する（Ｓ０５１０）。一方、ピッキング処理が継続可能と判定された場合には（Ｓ０５０８：Ｙｅｓ）、ピッキング装置１００の移動速度、保持部１４０による保持力（例えば、吸引装置１４４の吸引力や挟持ハンドを使用した場合の挟持力）など、ピッキング装置１００の各種パラメータを調整することによって物品Ｐが保持できるようになる可能性がある。そこで、ステップＳ０５０９において、制御装置３００又は管理装置４００は、更新されたパラメータ情報を生成し、ステップＳ０５０２に戻って、ピッキング処理が未完了の個数だけ物品Ｐをピッキングするための新たなピッキングリスト３５４を生成する。

このようにして、ピッキングシステム１は、オーダが完了するか、ピッキング処理が継続不可能と判定されるまで、ピッキング処理を繰り返す。

次いで、図６を参照して、ピッキング処理（Ｓ０５０３）及びその成功判定（Ｓ０５０４）の詳細な流れを説明する。図６に示すように、ステップＳ０５０２で制御装置３００がピッキングリスト３５４を取得した後、ステップＳ０６０１において、第１領域センサ２００が、第１容器１０Ａ内の物品Ｐの情報を取得する。例えば、第１領域センサ２００は、第１容器１０Ａを含む領域を様々な深度で撮影することにより、第１容器１０Ａの距離画像データ３６０を取得する。距離画像データ３６０は、第１容器１０Ａ内の物品Ｐの情報を含む。同様に、第２領域センサ２１０は、第２容器１０Ｂ内の物品Ｐの情報を、例えば距離画像データ３６０として、取得する。

次いで、フローは計画段階に進む。ステップＳ０６０２では、計画部３１２が、距離画像データ３６０に基づいて、保持部１４０が物品Ｐのピックアップ及び搬送を行うための保持操作計画を生成する。ステップＳ０６０３では、失敗検知部３１６の計画判定部３３０が、保持操作計画の生成に成功したか否かを判定する。保持操作計画の生成に失敗したと判定された場合には（Ｓ０６０３：Ｎｏ）、ステップＳ０６０４において、判定部３１８が、リトライが可能か否か、及びリトライのための操作を決定するための第１リトライ判定を行う。第１リトライ判定の結果、リトライが不可能であると判定された場合には（Ｓ０６０５：Ｎｏ）、判定部３１８は、ピッキング失敗と判定して、ステップＳ０５０８（図５）に進む。一方、第１リトライ判定の結果、リトライが可能であると判定された場合には（Ｓ０６０５：Ｙｅｓ）、ステップＳ０６０６において、判定部３１８が、第１容器１０Ａ内の物品Ｐの情報を取得することが必要か否かを判定する。物品Ｐの情報の取得が必要でないと判定された場合には（Ｓ０６０６：Ｎｏ）、ステップＳ０６０２に戻り、保持操作計画の再生成を行う。一方、物品Ｐの情報の取得が必要であると判定された場合には（Ｓ０６０６：Ｙｅｓ）、ステップＳ０６０１に戻り、第１領域センサ２００が第１容器１０Ａ内の物品Ｐの情報を再取得する。一方、保持操作計画の生成に成功したと判定された場合には（Ｓ０６０３：Ｙｅｓ）、フローはピックアップ段階に進む。このようにして、ピッキングシステム１は、保持操作計画の生成に成功するか、リトライが不可能であると判定されるまで、物品Ｐの情報取得及び／又は保持操作計画の生成を繰り返す。

ピックアップ段階では、ステップＳ０６０７において、動作制御部３１４が、生成された保持操作計画に基づいて、ピッキング装置１００の制御情報を生成し、物品Ｐのピックアップ操作を行うように保持部１４０を制御する。ステップＳ０６０８では、失敗検知部３１６のピックアップ判定部３３２が、保持部１４０がピックアップ操作に成功したか否かを判定する。ピックアップ操作に失敗したと判定された場合には（Ｓ０６０８：Ｎｏ）、ステップＳ０６０９において、判定部３１８が、リトライが可能か否か、及びリトライのための操作を決定するための第２リトライ判定を行う。第２リトライ判定の結果、リトライが不可能であると判定された場合には（Ｓ０６１０：Ｎｏ）、判定部３１８は、ピッキング失敗と判定して、ステップＳ０５０８（図５）に進む。一方、第２リトライ判定の結果、リトライが可能であると判定された場合には（Ｓ０６１０：Ｙｅｓ）、ステップＳ０６１１において、判定部３１８が、第１容器１０Ａ内の物品Ｐの情報を取得することが必要か否かを判定する。物品Ｐの情報の取得が必要でないと判定された場合には（Ｓ０６１１：Ｎｏ）、ステップＳ０６０２に戻り、保持操作計画の再生成を行う。一方、物品Ｐの情報の取得が必要であると判定された場合には（Ｓ０６１１：Ｙｅｓ）、ステップＳ０６０１に戻り、第１領域センサ２００が第１容器１０Ａ内の物品Ｐの情報を再取得する。一方、ピックアップ操作に成功したと判定された場合には（Ｓ０６０８：Ｙｅｓ）、フローは搬送段階に進む。このようにして、ピッキングシステム１は、ピックアップ操作に成功するか、リトライが不可能であると判定されるまで、物品Ｐの情報取得及び／又は保持操作計画の生成を繰り返す。

搬送段階では、ステップＳ０６１２において、動作制御部３１４が、保持操作計画に基づいて、物品Ｐの搬送操作を行うように保持部１４０を制御する。ステップＳ０６１３では、失敗検知部３１６の保持状態監視部３３４が、保持部１４０による搬送操作の失敗を検知する。搬送操作に失敗したと判定された場合には（Ｓ０６１３：Ｎｏ）、ステップＳ０６１４において、判定部３１８が、リトライが可能か否か、及びリトライのための操作を決定するための第３リトライ判定を行う。第３リトライ判定の結果、リトライが不可能であると判定された場合には（Ｓ０６１５：Ｎｏ）、判定部３１８は、ピッキング失敗として、ステップＳ０５０８（図５）に進む。一方、第３リトライ判定の結果、リトライが可能であると判定された場合には（Ｓ０６１５：Ｙｅｓ）、ステップＳ０６１６において、判定部３１８が、第１容器１０Ａ内の物品Ｐの情報を取得することが必要か否かを判定する。物品Ｐの情報の取得が必要でないと判定された場合には（Ｓ０６１６：Ｎｏ）、ステップＳ０６０２に戻り、保持操作計画の再生成を行う。一方、物品Ｐの情報の取得が必要であると判定された場合には（Ｓ０６１６：Ｙｅｓ）、ステップＳ０６０１に戻り、第１領域センサ２００が第１容器１０Ａ内の物品Ｐの情報を再取得する。一方、搬送操作の失敗が検出されなかった場合には（Ｓ０６１３：Ｙｅｓ）、判定部３１８は、ピッキング成功と判定して、ステップＳ０５０５（図５）に進む。

このように、ピッキングシステム１は、失敗検知部３１６により検知された失敗の種類に応じて第１リトライ判定～第３リトライ判定を行い、リトライが可能か否か、及びリトライのための操作を決定する。リトライのための操作を決定するために、判定部３１８は、物品Ｐの情報取得が必要か否かを判定する。第１領域センサ２００による物品Ｐの情報取得が必要と判定された場合において、ピッキング装置１００が第１領域センサ２００の撮影領域内に位置する場合（例えば、保持部１４０が第１容器１０Ａ内又は第１容器１０Ａの上方に位置する場合）、ピッキング装置１００が第１領域センサ２００による第１容器１０Ａの撮影の邪魔になる可能性がある。そのため、このような場合には、動作制御部３１４が、保持部１４０が第１領域センサ２００による第１容器１０Ａの情報取得を阻害しない位置（領域情報取得位置）に移動（すなわち退避）するようにピッキング装置１００を制御することができる。

次いで、図７を参照して、計画段階における処理をさらに詳細に説明する。図７に示すように、ステップＳ０６０１で第１領域センサ２００が第１容器１０Ａ内の物品Ｐの情報（例えば、第１容器１０Ａの距離画像データ３６０）を取得し、第２領域センサ２１０が第２容器１０Ｂ内の物品Ｐの情報（例えば、第２容器１０Ｂの距離画像データ３６０）を取得した後、ステップＳ０７０１において、認識部３１０は、第１容器１０Ａ内の物品Ｐの保持領域を認識する。ステップＳ０７０２では、位置姿勢計算部３２４が、認識された各保持領域について、当該保持領域を保持するための保持部１４０の位置姿勢を計算し、位置姿勢情報として位置姿勢テーブル３６６（図３参照）に記憶する。ステップＳ０７０３では、位置姿勢選択部３２６が、生成された位置姿勢情報のうち実行する位置姿勢情報を選択する。ステップＳ０７０４では、経路計算部３２８が、保持部１４０の現在位置及び選択された位置姿勢情報に基づいて、保持部１４０が物品Ｐをピックアップして第２容器１０Ｂに搬送するための経路を計算し、経路情報３６８として取得する。ステップＳ０７０５では、計画判定部３３０が、計算された経路に干渉があるか否かを判定する。例えば、計画判定部３３０は、経路情報３６８と第１容器１０Ａの形状データ３６４とを比較して、計算された経路が第１容器１０Ａと物理的に干渉するか否かを判定する。経路に干渉がないと判定された場合には（Ｓ０７０５：Ｙｅｓ）、判定部３１８が、保持操作計画の生成が成功したと判定し、図６のステップＳ０６０７（すなわち、図８のステップＳ０８０１）に進む。

一方、経路に干渉があると判定された場合には（Ｓ０７０５：Ｎｏ）、判定部３１８は、第１リトライ判定を行う。具体的には、ステップＳ０７０６において、判定部３１８は、経路計算部３２８によって別の経路が生成可能か否かを判定する。別の経路が生成可能であると判定された場合には（Ｓ０７０６：Ｙｅｓ）、ステップＳ０７０４に戻り、経路計算部３２８が別の経路情報３６８を生成する。一方、別の経路が生成不可能であると判定された場合には（Ｓ０７０６：Ｎｏ）、ステップＳ０７０７において、判定部３１８が、位置姿勢テーブル３６６（図３参照）において、現在選択されている位置姿勢情報の状態を「失敗」と判定する。また、判定部３１８は、位置姿勢選択部３２６により選択可能な位置姿勢が存在するか否かを判定する。選択可能な位置姿勢が存在すると判定された場合には（Ｓ０７０７：Ｙｅｓ）、ステップＳ０７０３に戻り、位置姿勢選択部３２６が位置姿勢情報を選択する。一方、選択可能な位置姿勢が存在しないと判定された場合には（Ｓ０７０７：Ｎｏ）、ステップＳ０７０８において、判定部３１８は、リトライ回数が所定の基準値を超えたか否かを判定する。リトライ回数とは、失敗検知部３１６により検知された同種の失敗に対して実行されたリトライ操作の実行回数である。基準値は、任意に設定可能であり、例えば３回、５回、１０回などであってよい。リトライ回数が基準値以下であると判定された場合には（Ｓ０７０８：Ｎｏ）、第１領域センサ２００が第１容器１０Ａの物品Ｐの情報を再取得するステップＳ０６０１からリトライが実行される。一方、リトライ回数が基準値を超えていると判定された場合には（Ｓ０７０８：Ｙｅｓ）、ステップＳ０７０９において、判定部３１８は、リトライ不可能であると判定し、ピッキング失敗と判定して、ステップＳ０５０８（図５）に進む。

このようにして、保持操作計画段階では、ピッキングシステム１は、保持操作を実行可能な経路情報３６８が生成されるか、リトライ回数が基準値を超えるまで計画生成のリトライを繰り返す。計画生成の失敗に応答した第１リトライ判定では、複数の判定ステップＳ０７０６、Ｓ０７０７、Ｓ０７０８によって、状況に応じて具体的なリトライ操作が選択される。例えば、第１リトライ判定において、判定部３１８は、選択された位置姿勢に基づく別の経路を計算するリトライを行い、別の経路が計算可能でない場合には、選択された位置姿勢とは別の位置姿勢を選択するリトライを行い、別の位置姿勢が選択可能でない場合には、物品Ｐの情報を再取得するリトライを行う。

次いで、図８を参照して、ピックアップ段階における処理をさらに詳細に説明する。図８に示すように、ステップＳ０６０３で経路情報３６８を含む保持操作計画の生成に成功した後、ステップＳ０８０１において、動作制御部３１４が、当該保持操作計画に基づく制御情報を生成し、当該制御情報に基づいて、保持部１４０が第１容器１０Ａ内の物品Ｐのピックアップ操作を行うようにピッキング装置１００を制御する。ステップＳ０８０２では、ピックアップ判定部３３２が、ピックアップ操作が成功したか否かを判定する。例えば、ピックアップ判定部３３２は、保持状態センサ１４８によりピックアップ操作後に保持部１４０内部の圧力が減少し、圧力が減少した状態が維持されていることが検出された場合に、保持部１４０が物品Ｐをピックアップして適切に保持しているとみなし、ピックアップ操作が成功したと判定する。また、ピックアップ判定部３３２は、保持状態センサ１４８により保持部１４０内部の圧力減少が検出されなかった場合、又は圧力減少が検出された後に基準値を超える圧力の増加が検出された場合には、保持部１４０による物品Ｐのピックアップ操作が失敗したと判定する。ピックアップに成功したと判定された場合（Ｓ０８０２：Ｙｅｓ）、判定部３１８は、ピックアップ成功として、図６のステップＳ０６１２（すなわち、図９のステップＳ０９０１）に進む。

一方、ピックアップに失敗したと判定された場合には（Ｓ０８０２：Ｎｏ）、判定部３１８が、ピックアップ操作にリトライするための第２リトライ判定を行う。ステップＳ０８０３では、判定部３１８が、保持部１４０が物品Ｐに接触したか否かを判定する。例えば、判定部３１８は、接触センサ１４６からの出力に基づいて、保持部１４０と物品Ｐとの接触の有無を判定する。なお、接触センサ１４６の出力による判定が難しい場合は、安全性の観点から、接触ありと判定することが好ましい。保持部１４０が物品Ｐに接触したと判定された場合（Ｓ０８０３：Ｙｅｓ）、ステップＳ０８０４において、動作制御部３１４が、保持部１４０が第１領域センサ２００による第１容器１０Ａ内の物品Ｐの情報の取得を阻害しない位置に移動するように、ピッキング装置１００を制御する。例えば、動作制御部３１４は、ピッキング装置１００に指示して、保持部１４０が第１領域センサ２００による第１容器１０Ａの撮影領域内に位置しないように、保持部１４０を撮影領域の外部に移動させる。ステップＳ０８０５では、第１領域センサ２００が、第１容器１０Ａを含む領域を撮影することにより、第１容器１０Ａ及び第１容器１０Ａ内の物品Ｐの２次元画像データ３６２を取得する。ステップＳ０８０６では、画像比較部３２０が、取得した２次元画像データ３６２と、ピックアップ操作前に撮影した画像データとを比較する。ピックアップ操作前に撮影した画像データは、ステップＳ０６０１で取得した距離画像データ３６０から生成した２次元画像データ３６２であってもよく、ステップＳ０６０１において第１領域センサ２００が距離画像データ３６０とは別途取得した２次元画像データ３６２であってもよい。あるいは、ステップＳ０８０１の前に第１領域センサ２００が第１容器１０Ａの２次元画像データ３６２を取得してもよい。画像比較部３２０は、ピックアップ操作の前後の２次元画像データ３６２を比較した結果として、ステップＳ０８０７において、第１容器１０Ａ内で物品Ｐの位置が変化した領域（以下、「崩れ領域Ｃ」という。）があるか否かを判定し、崩れ領域Ｃが存在する場合には当該崩れ領域Ｃを特定する。崩れ領域Ｃが存在すると判定された場合には（Ｓ０８０７：Ｙｅｓ）、ステップＳ０８０８において、判定部３１８が、位置姿勢テーブル３６６（図３参照）において、崩れ領域Ｃ内の物品Ｐについての位置姿勢情報の状態を「失敗」と判定する。崩れ領域Ｃが存在しないと判定された場合には（Ｓ０８０７：Ｎｏ）、このような「失敗」判定は行われない。次いで、ステップＳ０８０９において、判定部３１８が、選択可能な位置姿勢が存在するか否かを判定する。選択可能な位置姿勢が存在すると判定された場合には（Ｓ０８０９：Ｙｅｓ）、ステップＳ０７０３に戻って、位置姿勢選択部３２６が、位置姿勢情報を再選択する。一方、選択可能な位置姿勢が存在しないと判定された場合には（Ｓ０８０９：Ｎｏ）、ステップＳ０８１０において、判定部３１８は、リトライ回数が所定の基準値を超えたか否かを判定する。リトライ回数が基準値以下であると判定された場合には（Ｓ０８１０：Ｎｏ）、ステップＳ０８１１において、入力部３０２が、第１領域センサ２００や保持部１４０に設けられた位置センサなどから保持部１４０の現在位置を取得する。ステップＳ０８１２では、動作制御部３１４が、保持部１４０の位置情報に基づいて、保持部１４０が第１領域センサ２００の情報取得を阻害しない領域情報取得位置に移動するように、ピッキング装置１００を制御する。その後、第１領域センサ２００が第１容器１０Ａの物品Ｐの情報を再取得するステップＳ０６０１からリトライが実行される。一方、リトライ回数が基準値を超えていると判定された場合には（Ｓ０８１０：Ｙｅｓ）、ステップＳ０８１３において、判定部３１８は、リトライ不可能であると判定し、ピッキング失敗と判定して、ステップＳ０５０８（図５）に進む。

一方、保持部１４０が物品Ｐに接触しなかったと判定された場合（Ｓ０８０３：Ｎｏ）、判定部３１８は、第１容器１０Ａ内の物品Ｐの位置がピックアップ操作の前後で変わらなかったと判定する。この場合、崩れ領域Ｃの判定ステップを実行せずにステップＳ０８０９に進み、選択可能な位置姿勢が存在すれば当該位置姿勢を選択して保持操作計画を再生成する。このように、ピッキングシステム１は、保持部１４０が物品Ｐに接触したか否かによって、ピックアップ操作の前後で第１容器１０Ａ内の物品Ｐの位置が変化したかを判定することができる。接触ありと判定された場合には、位置が変化した物品Ｐについて計算された位置姿勢情報は無効となるので、判定部３１８は、例えば上記の崩れ領域Ｃの判定により、既に計算した位置姿勢情報のうち利用可能なものがあるか否かを判定する。位置が変化していない物品Ｐについては、既に計算した位置姿勢情報が流用できるので、改めて物品Ｐの情報取得及び位置姿勢情報の計算を行う必要がなく、別の物品Ｐに対してピックアップ操作のリトライを行うことができる。

このようにして、ピックアップ段階では、ピッキングシステム１は、ピックアップ操作が成功するか、リトライ回数が基準値を超えるまでピックアップ操作のリトライを繰り返す。ピックアップ操作の失敗に応答した第２リトライ判定では、複数の判定ステップＳ０８０２、Ｓ０８０３、Ｓ０８０７、Ｓ０８０９、Ｓ０８１０によって、状況に応じて具体的なリトライ操作が選択される。

ここで、図１０を参照して、ステップＳ０８０４～Ｓ０８０８の崩れ領域Ｃの判定について説明する。図１０は、本実施形態に係るピッキングシステム１による第２リトライ判定における動作の一例を示す概略図である。図１０は、ピックアップ操作が失敗した場合の崩れ領域Ｃの判定の流れを５つの段階（ａ）～（ｅ）に分けて示す。第１段階（ａ）では、第１領域センサ２００が、上方から見た第１容器１０Ａの２次元画像データ３６２を取得する。取得された２次元画像データ３６２の概略図を図の下段に示す。第２段階（ｂ）では、保持部１４０が物品Ｐのピックアップ操作を実行する。第３段階（ｃ）では、ピックアップ操作が失敗し、物品Ｐが保持部１４０から離脱する。第４段階（ｄ）では、保持部１４０が領域情報取得位置に退避した後、第１領域センサ２００が、上方から見た第１容器１０Ａの２次元画像データ３６２を取得する。取得された２次元画像データ３６２の概略図を図の下段に示す。画像比較部３２０は、第１段階（ａ）で取得された２次元画像データ３６２と、第４段階（ｄ）で取得された２次元画像データ３６２とを比較して、物品Ｐの位置が変化した領域を崩れ領域Ｃとして特定する。判定部３１８は、崩れ領域Ｃ内に位置する物品Ｐについての位置姿勢情報の状態を「失敗」と判定するので、位置姿勢選択部３２６が選択可能な位置姿勢情報は、右側の物品Ｐについての位置姿勢情報のみとなる。したがって、第５段階（ｅ）では、ピックアップ操作のリトライとして、保持部１４０が右側の物品Ｐのピックアップを行う。このような崩れ領域Ｃを特定する判定処理によれば、位置姿勢情報を再計算するために必要な距離画像データ３６０に比べて取得に要する時間が短い２次元画像データ３６２が利用される。したがって、リトライ処理の時間を短縮することができる。なお、第１容器１０Ａ内の物品Ｐの数が少ない場合など、明らかに崩れが発生していると判定可能な場合には、ピッキングシステム１は、崩れ判定処理を省略して、物品Ｐの情報を取得するステップＳ０６０１に戻ってもよい。

次いで、図９を参照して、搬送段階における処理をさらに詳細に説明する。図９に示すように、ステップＳ０６０７で物品Ｐのピックアップ操作に成功した後、ステップＳ０９０１において、動作制御部３１４が、経路情報３６８を含む保持操作計画に基づいて、保持部１４０がピックアップした物品Ｐを第２容器１０Ｂまで搬送するようにピッキング装置１００を制御する。搬送操作の間、保持状態監視部３３４が、保持部１４０による物品Ｐの保持状態を監視する（Ｓ０９０２）。保持状態監視部３３４が物品Ｐの落下を検知しないまま、第２容器１０Ｂへの物品Ｐの搬送が完了したと判定された場合には（Ｓ０９０３：Ｙｅｓ）、判定部３１８は、位置姿勢テーブル３６６（図３参照）において、現在選択されている位置姿勢情報の状態を「成功」と判定し、ステップＳ０５０５へ進む。搬送の完了は、例えば、第２領域センサ２１０により取得された第２容器１０Ｂの画像、保持部１４０に設けられた位置センサからの情報、保持状態センサ１４８により検知された吸着部１４２の吸着状態の変化などに基づいて判定されてよい。

一方、保持状態監視部３３４が物品Ｐの落下を検知した（すなわち、搬送に失敗した）場合には（Ｓ０９０２：Ｙｅｓ）、判定部３１８が、搬送操作にリトライするための第３リトライ判定を行う。ステップＳ０９０４では、判定部３１８が、通過センサ２２０が第１容器１０Ａ内への物品Ｐの落下を検知したか否かを判定する。通過センサ２２０は、第１容器１０Ａの上方で物体の通過を検知することができる。したがって、保持部１４０が通過センサ２２０の検出領域を通過した後に何らかの物体の通過が検知された場合や、保持部１４０が通過センサ２２０の検出領域を通過した際に保持部１４０が何も保持していないことが検知された場合（例えば、通過センサ２２０が保持部１４０の先端において吸着部１４２の形状のみを検知し、物品Ｐの形状を検知しなかった場合など）には、位置推定部３２２は、保持部１４０が保持する物品Ｐが保持部１４０から第１容器１０Ａに落下したと推定することができる。ここで、物品Ｐが第１容器１０Ａに落下した場合には、落下の衝撃によって第１容器１０Ａ内の各物品Ｐの位置が変化すると予想される。そこで、通過センサ２２０により物品Ｐの落下が検知された場合（Ｓ０９０４：Ｙｅｓ）、動作制御部３１４は、保持部１４０の動作を停止し（Ｓ０９０５）、保持部１４０の現在位置を取得する（Ｓ０９０６）。保持部１４０が第１領域センサ２００の撮影領域内に位置する場合には、動作制御部３１４は、第１領域センサ２００による第１容器１０Ａの上方の再取得のために、保持部１４０が領域情報取得位置に退避するようにピッキング装置１００を制御する。その後、第１領域センサ２００が第１容器１０Ａの物品Ｐの情報を再取得するステップＳ０６０１からリトライが実行される。なお、ピッキングシステム１は、ステップＳ０６０１に戻る前に、ピックアップ段階と同様に、２次元画像データ３６２を取得して崩れ領域Ｃを特定し、第１容器１０Ａ内の位置が変わっていない物品Ｐが存在する場合には、当該物品Ｐの位置姿勢情報を利用してリトライを行ってもよい。

通過センサ２２０が物品Ｐの落下を検知していない場合には（Ｓ０９０４：Ｎｏ）、ステップＳ０９０８において、位置推定部３２２が、動作制御部３１４から保持部１４０の経由点通過情報を取得する。例えば、経路情報３６８が、図４に示すような１１個の経由点により特定されている場合において、動作制御部３１４は、保持部１４０が順次経由点を通過して移動するようにピッキング装置１００を制御する。位置推定部３２２は、動作制御部３１４の制御履歴や保持部１４０に設けられた位置センサなどから、保持部１４０が各経由点を通過したタイミングを、経由点通過情報として取得する。ステップＳ０９０９において、この経由点通過情報と、保持状態監視部３３４が物品Ｐの落下を検知したタイミングとを比較することにより、位置推定部３２２は、物品Ｐが落下した位置を推定する。

ここで、図１１を参照して、位置推定部３２２による落下位置の推定処理について説明する。図１１は、本実施形態に係るピッキングシステム１による第３リトライ判定における動作の一例を示す概略図である。図１１には、経路情報３６８に含まれる経由点ＧＰ’、ＧＡＰ３、ＧＡＰ４、ＲＡＰ０と、物品Ｐが保持部１４０から落下した位置ＤＰとが示されている。経由点通過情報は、保持部１４０が経由点ＧＰ’、ＧＡＰ３、ＧＡＰ４を通過したタイミングｔ_ＧＰ’、ｔ_ＧＡＰ３、ｔ_ＧＡＰ４の情報を含む。なお、物品Ｐの落下後に保持部１４０がそのまま移動を続けた場合には、経由点通過情報は、保持部１４０が経由点ＲＡＰ０を通過したタイミングｔ_ＲＡＰ０の情報も含み得る。一方、保持状態監視部３３４は、物品Ｐが落下したと推定されるタイミングｔ_ＤＰの情報を出力する。位置推定部３２２は、これらのタイミングを比較することにより、経路情報３６８から、落下位置ＤＰの直前の経由点ＧＡＰ４及び直後の経由点ＲＡＰ０を取得する。これにより、位置推定部３２２は、物品Ｐが２つの経由点ＧＡＰ４、ＲＡＰ０の間で保持部１４０から落下したと推定する。位置推定部３２２は、物品Ｐの落下位置をさらに詳細に推定することができる。例えば、位置推定部３２２は、動作制御部３１４による制御情報などに基づいて、保持部１４０の移動速度を取得する。位置推定部３２２は、保持部１４０の移動速度ｖと、落下位置ＤＰの直前の経由点ＧＡＰ４から経路上の第１容器１０Ａの縁までの距離ｌとに基づいて、許容時間ｔ＝ｌ／ｖを計算する。例えば、位置推定部３２２は、許容時間ｔと、落下位置ＤＰの直前の経由点ＧＡＰ４を通過したタイミングｔ_ＧＡＰ４と、保持状態監視部３３４が物品Ｐの落下を検知したタイミングｔ_ＤＰと、に基づいて、物品Ｐの落下位置を次のとおり推定することができる。
（１）ｔ_ＤＰ＜ｔ_ＧＡＰ４＋ｔの場合：落下位置を第１容器１０Ａ内と推定する
（２）ｔ_ＧＡＰ４＋ｔ≦ｔ_ＤＰ＜ｔ_ＲＡＰ１の場合：落下位置を第１容器１０Ａ及び第２容器１０Ｂの外と推定する
（３）ｔ_ＲＡＰ１≦ｔ_ＤＰの場合：落下位置を第２容器１０Ｂ内と推定する

なお、位置推定部３２２による落下位置の推定方法は上記例に限定されない。例えば、図４の例では、位置推定部３２２は、保持状態監視部３３４が落下を検知した落下検知タイミングが経由点ＧＡＰ４の通過前であれば、物品Ｐが第１容器１０Ａ内に落下したと推定し、落下検知タイミングが経由点ＧＡＰ４の通過後であって経由点ＲＡＰ１の通過前であれば、物品Ｐが第１容器１０Ａ及び第２容器１０Ｂの外に落下したと推定し、落下検知タイミングが経由点ＲＡＰ１の通過後であれば、物品Ｐが第２容器１０Ｂ内に落下したと推定してもよい。また、経路計算部３２８が、経路情報３６８の生成時に、図４の１１個の経由点に加えて、第１容器１０Ａ内外の境界及び第２容器１０Ｂ内外の境界となる境界経由点を設定し、位置推定部３２２は、この境界経由点を基準として落下位置を推定してもよい。また、位置推定部３２２は、許容時間ｔを計算することに代えて、経由点ＧＡＰ４からの移動距離を計算し、図１１の距離ｌとの大小関係を比較してもよい。

図９のフローに戻ると、ピッキングシステム１は、位置推定部３２２による推定結果に基づいてリトライ操作を選択することができる。具体的には、位置推定部３２２が物品Ｐの落下位置を第１容器１０Ａ内と推定した場合には（Ｓ０９０９：Ｙｅｓ）、通過センサ２２０が第１容器１０Ａ内への落下を検知した場合と同様に、ステップＳ０９０５に進む。位置推定部３２２が物品Ｐの落下位置を第２容器１０Ｂ内と推定した場合には（Ｓ０９１０：Ｙｅｓ）、判定部３１８は、物品Ｐが搬送先の第２容器１０Ｂに搬送されたので搬送が完了したと判定し、ステップＳ０５０５に進む。位置推定部３２２が物品Ｐの落下位置を第１容器１０Ａ及び第２容器１０Ｂの外であると推定した場合には（Ｓ０９１１）、ステップＳ０９１２において、判定部３１８は、リトライ不可能と判定し、ピッキング失敗と判定して、ステップＳ０５０８（図５）に進む。

このようにして、搬送段階では、ピッキングシステム１は、搬送操作が成功するか、物品Ｐが第１容器１０Ａ及び第２容器１０Ｂの外に落下したと推定されるまで、搬送操作のリトライを繰り返す。搬送操作の失敗に応答した第３リトライ判定では、複数の判定ステップＳ０９０４、Ｓ０９０９、Ｓ０９１０によって、状況に応じて具体的なリトライ操作が選択される。例えば、判定部３１８は、位置推定部３２２により推定された物品Ｐの落下位置が第１容器１０Ａ内か、第２容器１０Ｂ内か、第１容器１０Ａ及び第２容器１０Ｂの外かに応じて状況を判定し、次のアクションを決定することができる。

以上説明した実施形態によれば、ピッキングシステム１は、計画段階、ピックアップ段階、及び搬送段階のそれぞれにおいて、失敗検知部３１６により失敗を検知するとともに、段階に応じて異なるリトライ判定を行い、失敗発生時の状態に応じて適切なリトライ操作を決定することができる。ピッキングシステム１は、エラーが発生した場合に、ピッキング装置１００の状態やセンサからの情報を用いて適切な状態へ遷移することにより、無駄なリトライ動作を削減し、ピッキング処理を高速化するとともに、物体の破損といった強制停止の発生を抑え、生産性を向上させることができる。

また、ピッキングシステム１は、距離画像データ３６０の再取得、位置姿勢情報の再計算といった時間のかかる処理を行う前に、既に計算された位置姿勢情報を利用して実行可能なリトライ操作が存在するか否かを判定することができる。そのようなリトライ操作が存在する場合には、ピッキングシステム１は、距離画像データ３６０の再取得や位置姿勢情報の再計算に優先して当該リトライ操作を実行する。例えば、ピッキングシステム１は、判定部３１８により、第１容器１０Ａ内の物品Ｐのうち前回の情報取得時から位置が変化していない物品Ｐが存在しているか否かを判定することができる。位置が変化していない物品Ｐが存在する場合には、ピッキングシステム１は、既に計算された位置姿勢情報を利用して、当該物品Ｐのピッキング処理を優先的に実行することができる。これにより、効率的なピッキング操作が可能となる。

一実施形態によれば、第２リトライ判定において、判定部３１８は、ピックアップ操作の前後で第１容器１０Ａ（第１領域）内の物品Ｐの位置が変化したか否かを判定する。このような構成によれば、位置が変化していない物品Ｐへのリトライを優先的に試みることにより、ピッキング操作の効率性が向上する。

一実施形態によれば、第２リトライ判定において、判定部３１８は、保持部１４０が物品Ｐに接触したか否かを判定し、保持部１４０が物品Ｐに接触しなかったと判定した場合には、ピックアップ操作の前後で第１容器１０Ａ（第１領域）内の物品Ｐの位置が変化しなかったと判定する。このような構成によれば、接触センサ１４６からの検出結果によって簡便に位置変化の有無を判定することができるので、ピッキング操作の効率性がさらに向上する。

一実施形態によれば、第２リトライ判定において、判定部３１８が、ピックアップ操作の前後で第１容器１０Ａ（第１領域）内の物品Ｐの位置が変化したと判定した場合に、入力部３０２（取得部）は、第１容器１０Ａ（第１領域）内の物品Ｐの画像を取得する。一実施形態によれば、画像は、第１容器１０Ａ（第１領域）を少なくとも部分的に含む２次元画像であり、第２リトライ判定において、判定部３１８は、２次元画像に基づいて、ピックアップ操作の前後で第１容器１０Ａ（第１領域）において物品Ｐの位置が変化した領域Ｃを特定する。このような構成によれば、位置姿勢計算のために必要な距離画像データ３６０よりも簡便に取得できる２次元画像データ３６２によって、位置が変化した物品Ｐと位置が変化しなかった物品Ｐとを簡便に識別することができる。

一実施形態によれば、計画部３１２は、情報に基づいて、物品Ｐをピックアップするための保持部１４０の１以上の位置姿勢を計算する位置姿勢計算部３２４と、１以上の位置姿勢から、保持操作計画を生成するための位置姿勢を選択する位置姿勢選択部３２６と、を備え、第２リトライ判定において、位置姿勢選択部３２６は、特定された領域内の物品Ｐをピックアップするための位置姿勢を選択対象から除外する。このような構成によれば、ピックアップ操作により位置が変化しなかった物品Ｐへのリトライを優先的に試みることにより、ピッキング操作の効率性がさらに向上する。

一実施形態によれば、第２リトライ判定において、位置姿勢選択部３２６が選択可能な位置姿勢が存在しない場合に、入力部３０２（取得部）は、第１容器１０Ａ（第１領域）を少なくとも部分的に含む距離画像データ３６０を取得し、位置姿勢計算部３２４は、距離画像データ３６０に基づいて、物品Ｐをピックアップするための保持部１４０の１以上の位置姿勢を再計算する。このような構成によれば、距離画像データ３６０の取得及び位置姿勢の再計算よりも既に計算された位置姿勢情報を利用したリトライを優先することにより、ピッキング操作の効率性がさらに向上する。

一実施形態によれば、計画部３１２は、情報に基づいて、物品Ｐをピックアップするための保持部１４０の１以上の位置姿勢を計算する位置姿勢計算部３２４と、１以上の位置姿勢から、保持操作計画を生成するための位置姿勢を選択する位置姿勢選択部３２６と、位置姿勢選択部３２６により選択された位置姿勢に基づいて、保持部１４０が移動する経路を計算する経路計算部３２８と、を備える。一実施形態によれば、失敗検知部３１６が、経路計算部３２８による経路の計算における失敗を検知した場合に、第１リトライ判定において、判定部３１８は、位置姿勢選択部３２６により選択された位置姿勢に基づいて、経路とは別の経路が計算可能か否かを判定する。一実施形態によれば、第１リトライ判定において、判定部３１８が経路とは別の経路が計算可能でないと判定した場合に、判定部３１８は、選択された位置姿勢とは別の位置姿勢が選択可能か否かを判定する。このような構成によれば、位置姿勢を変えずに別の経路が計算できないか、経路が計算できない場合には、位置姿勢を新たに計算せずに別の位置姿勢が選択できないか、といった優先順位でリトライ判定を行うことができる。これにより、ピッキング操作の効率性がさらに向上する。

一実施形態によれば、判定部３１８は、失敗検知部３１６が保持部１４０による物品Ｐの搬送操作における失敗を検知した場合に、リトライのための操作を決定する第３リトライ判定であって第１リトライ判定及び第２リトライ判定と異なる第３リトライ判定を行う。一実施形態によれば、制御部は、物品Ｐの搬送中に物品Ｐが落下した場合に落下位置を推定する位置推定部３２２をさらに備える。一実施形態によれば、第３リトライ判定において、位置推定部３２２が落下位置が第１容器１０Ａ（第１領域）内であると推定した場合に、入力部３０２（取得部）は、第１容器１０Ａ（第１領域）内の物品Ｐの情報を取得する。一実施形態によれば、第３リトライ判定において、位置推定部３２２が落下位置が物品Ｐの搬送先である第２容器１０Ｂ（第２領域）内であると推定した場合に、判定部３１８は、ピッキングを継続すると決定する。このような構成によれば、位置推定部３２２により推定された物品Ｐの落下位置に応じて、最適なリトライ操作を選択することができる。これにより、ピッキング操作の効率性がさらに向上する。

一実施形態によれば、入力部３０２（取得部）は、第１容器１０Ａ（第１領域）の上方で物体が所定の高さを通過したことを検知する通過センサ２２０からの出力を取得し、第３リトライ判定において、位置推定部３２２は、少なくとも通過センサ２２０からの出力に基づいて、物品Ｐが第１容器１０Ａ（第１領域）内に落下したと推定する。このような構成によれば、複雑な推定を行うことなく、物品Ｐの落下位置を簡便に推定することができる。

一実施形態によれば、判定部３１８は、計画部３１２が保持操作計画を生成できなくなった場合に、保持部１４０の動作パラメータの変更によりピッキングが継続可能か否かを判定する。このような構成によれば、ピッキング装置１００の動作パラメータの調整を含む幅広いリトライ操作が可能となる。

次いで、図１２及び図１３を参照して、上記実施形態の変形例を説明する。図１２及び図１３は、変形例に係るピッキングシステム１による第２リトライ判定における動作の一例を示す概略図である。

図１２では、保持部１４０が２次元画像センサ２３０（「センサ」の一例）を有する。２次元画像センサ２３０は、２次元画像データ３６２を取得する画像センサである。例えば、２次元画像センサ２３０は、保持部１４０の位置から撮影した第１容器１０Ａ、第２容器１０Ｂ、物品Ｐなどの２次元画像データ３６２を取得することができる。例えば、２次元画像センサ２３０は、上記の崩れ領域Ｃを判定するための２次元画像データ３６２を取得することができる。２次元画像センサ２３０を用いて２次元画像データ３６２が取得される場合には、第１領域センサ２００による情報取得を行わないので、保持部１４０が第１領域センサ２００の撮影領域外に退避する必要がない。したがって、本変形例によれば、上記実施形態におけるステップＳ０８０４（図８参照）を省略することができ、崩れ領域Ｃの判定を簡便に行うことができる。これにより、ピッキングシステム１の効率性がさらに向上する。

図１３では、２次元画像センサ２３０（「センサ」の一例）が第１容器１０Ａの外壁の上端に設けられている。２次元画像センサ２３０は、第１容器１０Ａ内の物品Ｐの２次元画像データ３６２を取得する。好ましくは、２次元画像センサ２３０は、第１容器１０Ａの底面全体を撮影することができる。２次元画像センサ２３０を用いて２次元画像データ３６２が取得される場合には、第１領域センサ２００による情報取得を行わないので、保持部１４０は、２次元画像センサ２３０の撮影領域外に退避すればよい。２次元画像センサ２３０が第１容器１０Ａの外壁上端から斜め方向に第１容器１０Ａ内部を撮影するので、保持部１４０は上方に移動するだけで２次元画像センサ２３０の撮影領域から退避することができる。これに対し、第１容器１０Ａの上方に位置する第１領域センサ２００が撮影を行う場合には、保持部１４０はさらに水平方向においても第１容器１０Ａと位置が重ならないように移動する必要がある。したがって、本変形例によれば、上記実施形態におけるステップＳ０８０４（図８参照）を簡便にすることができ、崩れ領域Ｃの判定を簡便に行うことができる。これにより、ピッキングシステム１の効率性がさらに向上する。

上記では、通過センサ２２０が第１容器１０Ａのみに設けられた例を説明したが、第２容器１０Ｂにも通過センサ２２０が設けられてよい。この場合、位置推定部３２２は、保持状態監視部３３４が物品Ｐの落下を検知した場合において、第１容器１０Ａの通過センサ２２０が落下を検知した場合には第１容器１０Ａに落下したと推定し、第２容器１０Ｂの通過センサ２２０が落下を検知した場合には第２容器１０Ｂに落下したと推定し、いずれの通過センサ２２０も落下を検知しなかった場合には第１容器１０Ａ及び第２容器１０Ｂの外に落下したと推定してもよい。

上記の制御装置３００の機能部は、必ずしも単独の制御装置３００により実現される必要はなく、機能部の一部が別の制御装置により実現されてもよい。

以上説明した少なくともひとつの実施形態によれば、状況に応じて異なるリトライ判定を行うことにより、ピッキング操作の効率性を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…ピッキングシステム、１０Ａ…第１容器（第１領域）、１０Ｂ…第２容器（第２領域）、１００…ピッキング装置、１４０…保持部、１４２…吸着部、１４４…吸引装置、１４６…接触センサ、１４８…保持状態センサ、２００…第１領域センサ（センサ）、２１０…第２領域センサ（センサ）、２２０…通過センサ、２３０…２次元画像センサ（センサ）、３００…制御装置（制御部）、３０２…入力部（取得部）、３０４…処理部、３０６…記憶部、３０８…出力部、３１０…認識部、３１２…計画部、３１４…動作制御部、３１６…失敗検知部、３１８…判定部、３２０…画像比較部、３２２…位置推定部、３２４…位置姿勢計算部、３２６…位置姿勢選択部、３２８…経路計算部、３３０…計画判定部、３３２…ピックアップ判定部、３３４…保持状態監視部、４００…管理装置。

Claims (20)

1. 第１領域に配置された物品のピッキングを行うピッキングシステムであって、
   前記物品を保持する保持部と、
   前記保持部の動作を制御する制御部と、
   前記物品の情報を取得するセンサと、
   を備え、
   前記制御部は、
   前記センサから前記情報を取得する取得部と、
   前記情報に基づいて、前記保持部により前記物品を保持する保持操作計画を生成する計画部と、
   前記保持操作計画に基づいて、前記保持部が前記物品のピックアップ操作及び搬送操作を行うように前記保持部の動作を制御する動作制御部と、
   前記保持操作計画の生成における失敗又は前記保持部による前記物品の保持操作における失敗を検知する失敗検知部と、
   前記失敗検知部が前記保持操作計画の生成における失敗を検知した場合に、リトライのための操作を決定する第１リトライ判定を行い、前記失敗検知部が前記保持部による前記物品のピックアップ操作における失敗を検知した場合に、リトライのための操作を決定する第２リトライ判定であって前記第１リトライ判定と異なる第２リトライ判定を行う判定部と、
   を備える、
   ピッキングシステム。
2. 前記第２リトライ判定において、前記判定部は、ピックアップ操作の前後で前記第１領域内の物品の位置が変化したか否かを判定する、
   請求項１に記載のピッキングシステム。
3. 前記第２リトライ判定において、前記判定部は、前記保持部が前記物品に接触したか否かを判定し、前記保持部が前記物品に接触しなかったと判定した場合には、ピックアップ操作の前後で前記第１領域内の物品の位置が変化しなかったと判定する、
   請求項２に記載のピッキングシステム。
4. 前記第２リトライ判定において、前記判定部が、ピックアップ操作の前後で前記第１領域内の物品の位置が変化したと判定した場合に、前記取得部は、前記第１領域内の前記物品の画像を取得する、
   請求項２又は３に記載のピッキングシステム。
5. 前記画像は、前記第１領域を少なくとも部分的に含む２次元画像であり、
   前記第２リトライ判定において、前記判定部は、前記２次元画像に基づいて、ピックアップ操作の前後で前記第１領域において物品の位置が変化した領域を特定する、
   請求項４に記載のピッキングシステム。
6. 前記計画部は、
   前記情報に基づいて、前記物品をピックアップするための前記保持部の１以上の位置姿勢を計算する位置姿勢計算部と、
   前記１以上の位置姿勢から、前記保持操作計画を生成するための位置姿勢を選択する位置姿勢選択部と、
   を備え、
   前記第２リトライ判定において、前記位置姿勢選択部は、前記特定された領域内の物品をピックアップするための位置姿勢を選択対象から除外する、
   請求項５に記載のピッキングシステム。
7. 前記第２リトライ判定において、前記位置姿勢選択部が選択可能な位置姿勢が存在しない場合に、前記取得部は、前記第１領域を少なくとも部分的に含む距離画像データを取得し、
   前記位置姿勢計算部は、前記距離画像データに基づいて、前記物品をピックアップするための前記保持部の１以上の位置姿勢を再計算する、
   請求項６に記載のピッキングシステム。
8. 前記計画部は、
   前記情報に基づいて、前記物品をピックアップするための前記保持部の１以上の位置姿勢を計算する位置姿勢計算部と、
   前記１以上の位置姿勢から、前記保持操作計画を生成するための位置姿勢を選択する位置姿勢選択部と、
   前記位置姿勢選択部により選択された前記位置姿勢に基づいて、前記保持部が移動する経路を計算する経路計算部と、
   を備える、
   請求項１～５のいずれか一項に記載のピッキングシステム。
9. 前記失敗検知部が、前記経路計算部による前記経路の計算における失敗を検知した場合に、前記第１リトライ判定において、前記判定部は、前記位置姿勢選択部により選択された位置姿勢に基づいて、前記経路とは別の経路が計算可能か否かを判定する、
   請求項８に記載のピッキングシステム。
10. 前記第１リトライ判定において、前記判定部が前記経路とは別の経路が計算可能でないと判定した場合に、前記判定部は、前記選択された位置姿勢とは別の位置姿勢が選択可能か否かを判定する、
    請求項９に記載のピッキングシステム。
11. 前記判定部は、前記失敗検知部が前記保持部による前記物品の搬送操作における失敗を検知した場合に、リトライのための操作を決定する第３リトライ判定であって前記第１リトライ判定及び前記第２リトライ判定と異なる第３リトライ判定を行う、
    請求項１～１０のいずれか一項に記載のピッキングシステム。
12. 前記制御部は、前記物品の搬送中に前記物品が落下した場合に落下位置を推定する位置推定部をさらに備える、
    請求項１１に記載のピッキングシステム。
13. 前記第３リトライ判定において、前記位置推定部が前記落下位置が前記第１領域内であると推定した場合に、前記取得部は、前記第１領域内の前記物品の情報を取得する、
    請求項１２に記載のピッキングシステム。
14. 前記第３リトライ判定において、前記位置推定部が前記落下位置が前記物品の搬送先である第２領域内であると推定した場合に、前記判定部は、ピッキングを継続すると決定する、
    請求項１２又は１３に記載のピッキングシステム。
15. 前記取得部は、前記第１領域の上方で物体が所定の高さを通過したことを検知する通過センサからの出力を取得し、
    前記第３リトライ判定において、前記位置推定部は、少なくとも前記通過センサからの出力に基づいて、前記物品が前記第１領域内に落下したと推定する、
    請求項１２～１４のいずれか一項に記載のピッキングシステム。
16. 前記判定部は、前記計画部が保持操作計画を生成できなくなった場合に、前記保持部の動作パラメータの変更によりピッキングが継続可能か否かを判定する、
    請求項１～１５のいずれか一項に記載のピッキングシステム。
17. 物品のピッキングを行うピッキング装置であって、
    前記物品を保持する保持部と、
    前記保持部の動作を制御する制御部と、
    を備え、
    前記制御部は、
    前記物品の情報を取得する取得部と、
    前記情報に基づいて、前記保持部により前記物品を保持する保持操作計画を生成する計画部と、
    前記保持操作計画に基づいて、前記保持部が前記物品のピックアップ操作及び搬送操作を行うように前記保持部の動作を制御する動作制御部と、
    前記保持操作計画の生成における失敗又は前記保持部による前記物品の保持操作における失敗を検知する失敗検知部と、
    前記失敗検知部が前記保持操作計画の生成における失敗を検知した場合に、リトライのための操作を決定する第１リトライ判定を行い、前記失敗検知部が前記保持部による前記物品のピックアップにおける失敗を検知した場合に、リトライのための操作を決定する第２リトライ判定であって前記第１リトライ判定と異なる第２リトライ判定を行う判定部と、
    を備える、
    ピッキング装置。
18. 物品を保持する保持部によって物品のピッキングを行うピッキング装置を制御する制御装置であって、
    前記物品の情報を取得する取得部と、
    前記情報に基づいて、前記保持部により前記物品を保持する保持操作計画を生成する計画部と、
    前記保持操作計画に基づいて、前記保持部が前記物品のピックアップ操作及び搬送操作を行うように前記保持部の動作を制御する動作制御部と、
    前記保持操作計画の生成における失敗が検知された場合に、リトライのための操作を決定する第１リトライ判定を行い、前記保持部による前記物品のピックアップ操作における失敗が検知された場合に、リトライのための操作を決定する第２リトライ判定であって前記第１リトライ判定と異なる第２リトライ判定を行う判定部と、
    を備える、
    制御装置。
19. 物品を保持する保持部によって物品のピッキングを行うピッキング装置を制御するためのプログラムであって、
    コンピュータのプロセッサに、
    前記物品の情報を取得することと、
    前記情報に基づいて、前記保持部により前記物品を保持する保持操作計画を生成することと、
    前記保持操作計画に基づいて、前記保持部が前記物品のピックアップ操作及び搬送操作を行うように前記保持部の動作を制御することと、
    前記保持操作計画の生成における失敗が検知された場合に、リトライのための操作を決定する第１リトライ判定を行い、前記保持部による前記物品のピックアップ操作における失敗が検知された場合に、リトライのための操作を決定する第２リトライ判定であって前記第１リトライ判定と異なる第２リトライ判定を行うことと、
    を実行させる、
    プログラム。
20. 物品を保持する保持部によって物品のピッキングを行う方法であって、
    コンピュータのプロセッサが、
    前記物品の情報を取得することと、
    前記情報に基づいて、前記保持部により前記物品を保持する保持操作計画を生成することと、
    前記保持操作計画に基づいて、前記保持部が前記物品のピックアップ操作及び搬送操作を行うように前記保持部の動作を制御することと、
    前記保持操作計画の生成における失敗が検知された場合に、リトライのための操作を決定する第１リトライ判定を行い、前記保持部による前記物品のピックアップ操作における失敗が検知された場合に、リトライのための操作を決定する第２リトライ判定であって前記第１リトライ判定と異なる第２リトライ判定を行うことと、
    を実行する、
    方法。

Images