JP2020064335A - 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法 - Google Patents

Abstract

【課題】トラック、コンテナなどの荷台に荷物を積み込んだり、当該荷台から積荷を取り出したりするピッキングシステムを備えた物流システムにおいて、荷物の全体形状が不明な状態でも、荷崩れを抑制しつつ、荷物を取り出すことができるようにする。【解決手段】物流管理システムにおいて、積み降しシステムの制御部は、積み上げられた複数の物品を第１地点から撮像又は走査して得られた、複数の物品の表面の第１領域の３次元情報を取得する第１情報取得部と、複数の物品を第２地点から撮像又は走査して得られた、複数の物品の表面の第２領域の３次元情報を取得する第２情報取得部と、第１情報取得部が取得した第１領域の３次元情報、及び、第２情報取得部が取得した第２領域の３次元情報に基づいて、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成部とを備える。【選択図】図３

Description

本発明は、形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法に関する。

ピッキングハンド及びロボットアームを利用して、容器に収納されたワークを取り出し、当該ワークを他の容器内の特定の位置に配置するピッキングシステムが知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１６−０９１０５３号公報
［特許文献２］ 特開２０１６−１４７３３０号公報
［特許文献３］ 特開２０１７−０３３４２９号公報

ピッキングシステムを、トラック、コンテナなどの荷台に荷物を積み込んだり、当該荷台から積荷を取り出したりすることに応用することが検討されている。この場合、荷物の全体形状が不明な状態でも、荷崩れを抑制しつつ、荷物を取り出すことが要求される。

本発明の第１の態様においては、形状情報生成装置が提供される。上記の形状情報生成装置は、例えば、積み上げられた複数の物品を第１地点から撮像又は走査して得られた、複数の物品の表面の第１領域の３次元情報を取得する第１情報取得部を備える。上記の形状情報生成装置は、例えば、複数の物品を第２地点から撮像又は走査して得られた、複数の物品の表面の第２領域の３次元情報を取得する第２情報取得部を備える。上記の形状情報生成装置は、例えば、第１情報取得部が取得した第１領域の３次元情報、及び、第２情報取得部が取得した第２領域の３次元情報に基づいて、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成部を備える。上記の形状情報生成装置において、第１地点及び第２地点の位置は、互いに異なってよい。第１地点及び第２地点の位置は、互いに異なってよい。合成部は、第１領域の３次元情報及び第２領域の３次元情報の一方を他方により補完して、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成してよい。

本発明の第２の態様においては、制御装置が提供される。上記の制御装置は、例えば、ロボットを制御するための制御装置である。上記のロボットは、例えば、マニピュレータを用いて、積み上げられた複数の物品の中から、少なくとも１つの物品を取り出す。上記の制御装置は、例えば、複数の物品を第１地点から撮像又は走査して得られた、複数の物品の表面の第１領域の３次元情報を取得する第１情報取得部を備える。上記の制御装置は、例えば、複数の物品を第２地点から撮像又は走査して得られた、複数の物品の表面の第２領域の３次元情報を取得する第２情報取得部を備える。上記の制御装置は、例えば、第１情報取得部が取得した第１領域の３次元情報、及び、第２情報取得部が取得した第２領域の３次元情報に基づいて、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成部を備える。上記の制御装置において、第１地点及び第２地点の位置は、互いに異なってよい。上記の制御装置において、合成部は、第１領域の３次元情報及び第２領域の３次元情報の一方を他方により補完して、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成してよい。

上記の制御装置において、合成部は、第１情報取得部が取得した第１領域の３次元情報から、マニピュレータの表面に関する情報を除去してよい。上記の制御装置において、合成部は、第２情報取得部が取得した第２領域の３次元情報から、マニピュレータの表面に関する情報を除去してよい。上記の制御装置において、合成部は、マニピュレータの表面に関する情報が除去された、第１領域の３次元情報及び第２領域の３次元情報の一方を、他方により補完して、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成してよい。

上記の制御装置において、合成部は、第１情報取得部が取得した第１領域の３次元情報に基づいて、ロボットの作業空間に仮想的に設定された複数のボクセルのそれぞれについて、（ａ）当該ボクセル内に複数の物品の表面の一部が存在することを示す占有情報、（ｂ）当該ボクセル内に複数の物品の表面が存在しないことを示す空白情報、又は、（ｃ）当該ボクセル内における複数の物品の表面の一部の存否が不明であることを示す不明情報が対応付けられた、第１マップ情報を生成してよい。上記の制御装置において、合成部は、第２情報取得部が取得した第２領域の３次元情報に基づいて、複数のボクセルのそれぞれについて、（ａ）占有情報、（ｂ）空白情報、又は、（ｃ）不明情報が対応付けられた、第２マップ情報を生成してよい。上記の制御装置において、合成部は、第１マップ情報及び第２マップ情報の一方を他方により補完して、複数のボクセルのそれぞれについて、（ａ）占有情報、（ｂ）空白情報、又は、（ｃ）不明情報が対応付けられた、合成マップ情報を生成してよい。

上記の制御装置において、合成部は、第１情報取得部が取得した、複数の時点における第１領域の３次元情報に基づいて、第１マップ情報を生成してよい。上記の制御装置において、合成部は、第２情報取得部が取得した、複数の時点における第２領域の３次元情報に基づいて、第２マップ情報を生成してよい。

上記の制御装置において、合成部は、第１情報取得部が取得した、１以上の時点における第１領域の３次元情報に基づいて、第１マップ情報を生成してよい。上記の制御装置において、合成部は、第２情報取得部が取得した、１以上の時点における第２領域の３次元情報に基づいて、第２マップ情報を生成してよい。上記の制御装置において、同一のボクセルに関して、第１マップ情報及び第２マップ情報が異なる場合、合成部は、（ｉ）時間的に新しい方の情報を利用して、合成マップ情報を生成してよい、又は、（ｉｉ）マニピュレータの設置位置に近い方の情報を利用して、合成マップ情報を生成してよい。

上記の制御装置は、マニピュレータによる取出作業の対象となる物品を決定する取出対象決定部を備えてよい。上記の制御装置は、取出対象決定部が決定した物品を取り出す方向を決定する取出方向決定部を備えてよい。

本発明の第３の態様においては、積み降ろし装置が提供される。上記の積み降ろし装置は、例えば、上記の制御装置を備える。上記の積み降ろし装置は、例えば、マニピュレータを備える。

本発明の第４の態様においては、物流システムが提供される。上記の物流システムは、例えば、上記の制御装置を備える。上記の物流システムは、例えば、マニピュレータを備える。上記の物流システムは、例えば、複数の物品の少なくとも１つを搬送する搬送装置を備える。

本発明の第５の態様においては、制御方法が提供される。上記の制御方法は、例えば、ロボットを制御するための制御方法である。上記のロボットは、例えば、マニピュレータを用いて、積み上げられた複数の物品の中から、少なくとも１つの物品を取り出す。上記の制御方法は、例えば、複数の物品を第１地点から撮像又は走査して得られた、複数の物品の表面の第１領域の３次元情報を取得する第１情報取得段階を有する。上記の制御方法は、例えば、複数の物品を第２地点から撮像又は走査して得られた、複数の物品の表面の第２領域の３次元情報を取得する第２情報取得段階を有する。上記の制御方法は、例えば、第１情報取得段階において取得された第１領域の３次元情報、及び、第２情報取得段階において取得された第２領域の３次元情報に基づいて、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成段階を有する。上記の制御方法において、第１地点及び第２地点の位置は、互いに異なってよい。上記の制御方法において、合成段階は、第１領域の３次元情報及び第２領域の３次元情報の一方を他方により補完して、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する段階を含んでよい。

本発明の第６の態様においては、プログラムが提供される。上記のプログラムを格納する非一時的コンピュータ可読媒体が提供されてもよい。上記のプログラムは、コンピュータを、上記の形状情報生成装置として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータを、上記の制御装置として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータに、上記の制御方法を実行させるためのプログラムであってよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

物流管理システム１００のシステム構成の一例を概略的に示す。 バンニングシステム１２０の内部構成の一例を概略的に示す。 デバンニングシステム１４０の内部構成の一例を概略的に示す。 積み降ろしシステム１４２のシステム構成の一例を概略的に示す。 積み降ろしシステム１４２のシステム構成の一例を概略的に示す。 システム制御部２１０の内部構成の一例を概略的に示す。 点群データの一例を概略的に示す。 点群データの一例を概略的に示す。 点群データの一例を概略的に示す。 合成マップ生成部６３０における情報処理の一例を概略的に示す。 データテーブル１１００の一例を概略的に示す。 管理サーバ１６０の内部構成の一例を概略的に示す。 データテーブル１３００の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。

［物流管理システム１００の概要］
図１は、物流管理システム１００のシステム構成の一例を概略的に示す。本実施形態において、物流管理システム１００は、バンニングシステム１２０と、デバンニングシステム１４０と、管理サーバ１６０とを備える。本実施形態において、バンニングシステム１２０は、積み降ろしシステム１２２を有する。本実施形態において、デバンニングシステム１４０は、積み降ろしシステム１４２を有する。

物流管理システム１００は、物流システムの一例であってよい。デバンニングシステム１４０は、物流システムの一例であってよい。積み降ろしシステム１２２は、積み降ろし装置及びロボットの一例であってよい。積み降ろしシステム１４２は、積み降ろし装置及びロボットの一例であってよい。本願明細書において、「１以上」という用語は、「１又は複数」を意味する。

本実施形態において、バンニングシステム１２０は、積み降ろしシステム１２２を利用して、トラック１２に、１又は複数の荷物を積み込む。バンニングシステム１２０は、トラック１２に積み込まれた１以上の荷物のそれぞれについて、当該荷物のサイズに関する情報を取得してよい。バンニングシステム１２０は、トラック１２に積み込まれた１以上の荷物のそれぞれについて、当該荷物を認識するための特徴点に関する情報を取得してもよい。バンニングシステム１２０は、トラック１２に積み込まれた１以上の荷物のそれぞれについて、当該荷物の質量に関する情報を取得してもよい。

バンニングシステム１２０が各荷物に関する上記の情報を取得する方法は、特に限定されない。一実施形態において、上記の情報は、荷物の荷主の端末又は荷物の配送業者の端末に入力され、当該端末からバンニングシステム１２０又は管理サーバ１６０に送信される。他の実施形態において、上記の情報は、バンニングシステム１２０に配されたセンサにより取得される。上記のセンサは、荷物の画像又は荷物表面の点群を取得するためのセンサであってよい。上記のセンサは、荷物質量を取得するためのセンサであってよい。

バンニングシステム１２０は、例えば、通信ネットワーク１０を介して、上記の情報を管理サーバ１６０に送信する。バンニングシステム１２０の詳細は後述される。

本実施形態において、デバンニングシステム１４０は、積み降ろしシステム１４２を利用して、トラック１２から、１又は複数の荷物を取り出す。デバンニングシステム１４０は、例えば、通信ネットワーク１０を介して管理サーバ１６０にアクセスして、管理サーバ１６０から、トラック１２に積み込まれた１以上の荷物のそれぞれのサイズに関する情報を取得する。デバンニングシステム１４０は、管理サーバ１６０から、トラック１２に積み込まれた１以上の荷物のそれぞれの特徴点に関する情報を取得してもよい。デバンニングシステム１４０は、管理サーバ１６０から、トラック１２に積み込まれた１以上の荷物のそれぞれの質量に関する情報を取得してもよい。

デバンニングシステム１４０は、管理サーバ１６０から取得した各種の情報を利用して、トラック１２から１以上の荷物を取り出してよい。なお、デバンニングシステム１４０は、上記の各種の情報を、バンニングシステム１２０、荷物の荷主の端末、又は、荷物の配送業者の端末から取得してもよい。デバンニングシステム１４０の詳細は後述される。

本実施形態において、管理サーバ１６０は、バンニングシステム１２０及びデバンニングシステム１４０との間で、互いに情報を送受する。例えば、管理サーバ１６０は、バンニングシステム１２０から、トラック１２の積荷に関する情報を取得する。管理サーバ１６０は、トラック１２の積荷に関する情報を、記憶装置に格納してよい。管理サーバ１６０は、例えば、デバンニングシステム１４０からの要求に応じて、トラック１２の積荷に関する情報を、デバンニングシステム１４０に送信してよい。管理サーバ１６０の詳細は後述される。

本実施形態において、通信ネットワーク１０は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信ネットワーク１０は、無線パケット通信網、インターネット、Ｐ２Ｐネットワーク、専用回線、ＶＰＮ、電力線通信回線などを含んでもよい。通信ネットワーク１０は、（ｉ）携帯電話回線網などの移動体通信網を含んでもよく、（ｉｉ）無線ＭＡＮ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などの無線通信網を含んでもよい。無線ＭＡＮは、ＷｉＭＡＸ（登録商標）であってよい。無線ＬＡＮは、ＷｉＦｉ（登録商標）であってよい。

なお、本実施形態においては、バンニングシステム１２０の積み降ろしシステム１２２が、トラック１２に荷物を積み込み、デバンニングシステム１４０の積み降ろしシステム１４２が、トラック１２から荷物を取り出す場合を例として、物流管理システム１００の詳細が説明される。しかしながら、積み降ろしシステム１２２及び積み降ろしシステム１４２は本実施形態に限定されない。他の実施形態において、積み降ろしシステム１２２及び積み降ろしシステム１２２の少なくとも一方が、トラック１２への荷物の積込作業、及び、トラック１２からの荷物の取出作業の両方の作業を実施することができるように構成される。

［物流管理システム１００の各部の具体的な構成］
物流管理システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエア及びソフトウエアにより実現されてもよい。物流管理システム１００の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。物流管理システム１００の各部は、その少なくとも一部が、仮想サーバ上又はクラウドシステム上で実現されてもよい。物流管理システム１００の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどを例示することができる。物流管理システム１００の各部は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。

物流管理システム１００を構成する構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したプログラムを起動することにより実現されてよい。上記の一般的な構成の情報処理装置は、（ｉ）ＣＰＵ、ＧＰＵなどのプロセッサ、ＲＯＭ、ＲＡＭ、通信インタフェースなどを有するデータ処理装置と、（ｉｉ）キーボード、ポインティングデバイス、タッチパネル、カメラ、音声入力装置、ジェスチャ入力装置、各種センサ、ＧＰＳ受信機などの入力装置と、（ｉｉｉ）表示装置、音声出力装置、振動装置などの出力装置と、（ｉｖ）メモリ、ＨＤＤ、ＳＳＤなどの記憶装置（外部記憶装置を含む。）とを備えてよい。上記の一般的な構成の情報処理装置において、上記のデータ処理装置又は記憶装置は、上記のプログラムを記憶してよい。上記のプログラムは、プロセッサによって実行されることにより、上記の情報処理装置に、当該プログラムによって規定された動作を実行させる。上記のプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。上記のプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリ、ハードディスクなどのコンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。

上記のプログラムは、コンピュータを、物流管理システム１００又はその一部として機能させるためのプログラムであってよい。上記のプログラムは、物流管理システム１００の各部の動作を規定したモジュールを備えてよい。これらのプログラム又はモジュールは、データ処理装置、入力装置、出力装置、記憶装置等に働きかけて、コンピュータを物流管理システム１００の各部として機能させたり、コンピュータに物流管理システム１００の各部における情報処理方法を実行させたりする。上記のプログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、物流管理システム１００の少なくとも一部を構成するコンピュータにインストールされてよい。上記のプログラムが実行されることにより、コンピュータが、物流管理システム１００の各部の少なくとも一部として機能してもよい。上記のプログラムに記述された情報処理は、当該プログラムがコンピュータに読み込まれることにより、当該プログラムに関連するソフトウエアと、物流管理システム１００又はその一部の各種のハードウエア資源とが協働した具体的手段として機能する。そして、上記の具体的手段が、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、当該使用目的に応じた物流管理システム１００が構築される。

上記のプログラムは、コンピュータに、物流管理システム１００又はその一部における情報処理方法を実行させるためのプログラムであってよい。一実施形態において、物流管理システム１００又はその一部における情報処理方法は、物品の３次元形状を示す情報を生成する方法であってよい。

上記の情報を生成する方法は、例えば、積み上げられた複数の物品を第１地点から撮像又は走査して得られた、複数の物品の表面の第１領域の３次元情報を取得する第１情報取得段階を有する。上記の情報を生成する方法は、例えば、複数の物品を第２地点から撮像又は走査して得られた、複数の物品の表面の第２領域の３次元情報を取得する第２情報取得段階を有する。上記の情報を生成する方法は、例えば、第１情報取得段階において取得された第１領域の３次元情報、及び、第２情報取得段階において取得された第２領域の３次元情報に基づいて、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成段階を有する。上記の情報を生成する方法において、第１地点及び第２地点の位置は、互いに異なってよい。上記の情報を生成する方法において、合成段階は、第１領域の３次元情報及び第２領域の３次元情報の一方を他方により補完して、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する段階を含んでよい。

他の実施形態において、物流管理システム１００又はその一部における情報処理方法は、ロボットを制御するための制御方法であってよい。上記のロボットは、例えば、マニピュレータを用いて、積み上げられた複数の物品の中から、少なくとも１つの物品を取り出す。

上記の制御方法は、例えば、複数の物品を第１地点から撮像又は走査して得られた、複数の物品の表面の第１領域の３次元情報を取得する第１情報取得段階を有する。上記の制御方法は、例えば、複数の物品を第２地点から撮像又は走査して得られた、複数の物品の表面の第２領域の３次元情報を取得する第２情報取得段階を有する。上記の制御方法は、例えば、第１情報取得段階において取得された第１領域の３次元情報、及び、第２情報取得段階において取得された第２領域の３次元情報に基づいて、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成段階を有する。上記の制御方法において、第１地点及び第２地点の位置は、互いに異なってよい。上記の制御方法において、合成段階は、第１領域の３次元情報及び第２領域の３次元情報の一方を他方により補完して、複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する段階を含んでよい。

図２は、バンニングシステム１２０の内部構成の一例を概略的に示す。本実施形態において、バンニングシステム１２０は、積み降ろしシステム１２２と、積み降ろしシステム１２２を制御するシステム制御部２１０とを備える。バンニングシステム１２０は、荷物２０を搬送するコンベア２７０を備えてよい。バンニングシステム１２０は、コンベア２７０が搬送する荷物２０を撮像又は走査する３次元カメラ２８０を備えてもよい。

本実施形態において、積み降ろしシステム１２２は、マニピュレータ２２０と、台座２３０と、レール２３２と、駆動部２４０と、駆動制御部２５０とを備える。本実施形態において、マニピュレータ２２０は、ロボットハンド２２２と、ロボットアーム２２４とを有する。

本実施形態において、積み降ろしシステム１２２は、マニピュレータ２２０を用いて、トラック１２のコンテナ２２に、少なくとも１つの荷物２０を積み込む。荷物２０は、物品の一例であってよい。

例えば、積み降ろしシステム１２２は、まず、コンベア２７０により搬送されてきた荷物２０の形状及び現在位置を特定する。積み降ろしシステム１２２は、例えば、３次元カメラ２８０が撮像した画像を取得し、当該画像に基づいて、荷物２０の形状及び現在位置を特定する。３次元カメラ２８０は、荷物２０の距離画像又は点群データを取得してもよい。

次に、積み降ろしシステム１２２は、荷物２０の形状に基づいて、コンテナ２２の内部における荷物２０の配置を決定する。荷物２０の配置としては、荷物２０の位置及び姿勢が例示される。積み降ろしシステム１２２は、例えば、管理サーバ１６０から、コンテナ２２の内部における荷物２０の配置に関する情報を取得してもよい。その後、積み降ろしシステム１２２は、コンベア２７０から荷物２０をピックアップして、コンテナ２２の内部の特定の位置に配置する。

積み降ろしシステム１２２は、単一のマニピュレータ２２０を備えてもよく、複数のマニピュレータ２２０を備えてもよい。積み降ろしシステム１２２は、単一のマニピュレータ２２０を用いて単一の荷物２０を積み込んでもよく、複数のマニピュレータ２２０を用いて単一の荷物２０を積み込んでもよい。積み降ろしシステム１２２は、単一のマニピュレータ２２０を用いて、一度に複数の荷物２０を積み込んでもよい。

本実施形態において、マニピュレータ２２０のロボットハンド２２２は、荷物２０を把持する。ロボットハンド２２２の把持方式は特に限定されるものではない。ロボットハンド２２２の把持方式としては、低圧により荷物２０を吸着する方式、複数の指モジュールにより荷物２０を把持する方式などを例示することができる。ロボットハンド２２２は、作業内容によって交換されてもよい。ロボットハンド２２２は、接触センサ、質量計測センサ、負荷計測センサなどの各種センサを有してよい。ロボットハンド２２２は、カメラを有してもよい。上記のカメラは、距離画像又は点群データを取得する３次元カメラを含んでよい。３次元カメラは、複数の撮像素子を有してよい。３次元カメラは、測距用のレーザ照射機を有してもよい。

本実施形態において、マニピュレータ２２０のロボットアーム２２４は、ロボットハンド２２２に連結され、ロボットハンド２２２の位置及び姿勢を調整する。ロボットアーム２２４の構造は特に限定されるものではないが、例えば、複数の関節を有する多関節ロボットアームが用いられる。ロボットアーム２２４は、質量計測センサ、負荷計測センサなどの各種センサを有してよい。負荷計測センサは、ロボットアーム２２４の各関節を駆動する駆動部２４０のトルク、電流値又は電圧値を計測するセンサであってよい。

本実施形態において、台座２３０は、マニピュレータ２２０を支持する。台座２３０は、固定式の台座であってもよく、可動式の台座であってもよい。本実施形態において、台座２３０は、レール２３２の延伸方向に沿って、レール２３２の上を移動することができる。これにより、ロボットハンド２２２が、コンテナ２２の奥まで到達し得る。台座２３０は、その内部に、駆動部２４０の少なくとも一部を収容してよい。台座２３０は、その内部に、駆動制御部２５０の少なくとも一部を収容してよい。

本実施形態において、駆動部２４０は、マニピュレータ２２０を駆動する。一実施形態において、駆動部２４０は、ロボットハンド２２２を駆動する。例えば、駆動部２４０は、ロボットハンド２２２に空気を供給したり、ロボットハンド２２２から空気を吸引したりする。駆動部２４０は、ポンプであってよい。駆動部２４０は、１以上のポンプを有してよい。他の実施形態において、駆動部２４０は、ロボットアーム２２４を駆動する。例えば、駆動部２４０は、ロボットアーム２２４の各関節の角度を調整する。駆動部２４０は、モータであってよい。駆動部２４０は、１以上のモータを有してよい。

本実施形態において、駆動部２４０は、台座２３０を駆動する。例えば、駆動部２４０は、コンテナ２２と、台座２３０との相対位置を調整する。駆動部２４０は、モータであってよい。駆動部２４０は、１以上のモータを有してよい。

駆動制御部２５０は、駆動部２４０を制御する。例えば、駆動制御部２５０は、システム制御部２１０から、積み降ろしシステム１２２の動作を制御するための命令を受信する。駆動制御部２５０は、システム制御部２１０からの命令に基づいて、駆動部２４０を制御する。

積み降ろしシステム１２２の動作を制御するための命令は、ロボットハンド２２２の軌道を示す情報であってよい。ロボットハンド２２２の軌道を示す情報としては、（ｉ）ロボットハンド２２２の初期配置、通過配置及び最終配置、並びに、移動時間を示す情報、（ｉｉ）初期配置、通過配置及び最終配置におけるロボットハンド２２２の各関節の角度、並びに、移動時間を示す情報、（ｉｉｉ）移動時間中の各時刻におけるロボットハンド２２２の配置を示す情報、（ｉｖ）移動時間中の各時刻におけるロボットハンド２２２の各関節の角度を示す情報などを例示することができる。ロボットハンド２２２の配置は、例えば、ロボットハンド２２２の位置及び姿勢により特定される。

図３は、デバンニングシステム１４０の内部構成の一例を概略的に示す。本実施形態において、デバンニングシステム１４０は、積み降ろしシステム１４２と、積み降ろしシステム１４２を制御するシステム制御部２１０を備える。デバンニングシステム１４０は、荷物２０を搬送するコンベア２７０を備えてよい。デバンニングシステム１４０は、コンベア２７０が搬送する荷物２０を撮像又は走査する３次元カメラ２８０を備えてもよい。

本実施形態において、積み降ろしシステム１４２は、マニピュレータ２２０と、台座２３０と、レール２３２と、駆動部２４０と、駆動制御部２５０とを備える。本実施形態において、マニピュレータ２２０は、ロボットハンド２２２と、ロボットアーム２２４とを有する。

システム制御部２１０は、形状認識装置、及び、制御措置の一例であってよい。駆動制御部２５０は、形状認識装置、及び、制御措置の一例であってよい。

本実施形態において、積み降ろしシステム１４２は、トラック１２のコンテナ２２の内部に積み上げられた複数の荷物２０の中から、少なくとも１つの荷物２０を取り出す。積み降ろしシステム１４２は、コンテナ２２から取り出された荷物２０を、例えば、コンベア２７０の上に配置する。

積み降ろしシステム１４２は、単一のマニピュレータ２２０を備えてもよく、複数のマニピュレータ２２０を備えてもよい。積み降ろしシステム１４２は、単一のマニピュレータ２２０を用いて単一の荷物２０を取り出してもよく、複数のマニピュレータ２２０を用いて単一の荷物２０を取り出してもよい。積み降ろしシステム１４２は、単一のマニピュレータ２２０を用いて、一度に複数の荷物２０を取り出してもよい。

積み降ろしシステム１４２の各部は、積み降ろしシステム１２２の各部と同様の構成を有してよい。積み降ろしシステム１４２の詳細は後述される。なお、積み降ろしシステム１２２の各部は、技術的に矛盾が生じない範囲において、積み降ろしシステム１４２の各部と同様の構成を有してよい。

本実施形態において、システム制御部２１０は、積み降ろしシステム１４２を制御する。システム制御部２１０の詳細は後述される。なお、積み降ろしシステム１２２のシステム制御部２１０は、技術的に矛盾が生じない範囲において、積み降ろしシステム１４２のシステム制御部２１０と同様の構成を有してよい。

図４及び図５を用いて、積み降ろしシステム１４２のシステム構成の一例が説明される。図４は、積み降ろしシステム１４２の側面図の一例を概略的に示す。図５は、積み降ろしシステム１４２の上面図を概略的に示す。

図４及び図５に関連して説明される実施形態によれば、積み降ろしシステム１４２は、３次元カメラ２６０として、３次元カメラ４６２、３次元カメラ４６４、３次元カメラ４６６及び３次元カメラ４６８を備える。本実施形態において、３次元カメラ４６２、３次元カメラ４６４、３次元カメラ４６６及び３次元カメラ４６８は、それぞれ、架台４３０の異なる位置に配される。

３次元カメラ４６２、３次元カメラ４６４、３次元カメラ４６６及び３次元カメラ４６８の１つは、第１情報取得部の一例であってよい。３次元カメラ４６２、３次元カメラ４６４、３次元カメラ４６６及び３次元カメラ４６８の他の１つは、第２情報取得部の一例であってよい。架台４３０上の各カメラが配された位置は、第１地点又は第２地点の一例であってよい。

３次元カメラ４６２は、当該カメラの設置位置から、コンテナ２２の内部を撮像又は走査する。これにより、コンテナ２２の内部に積み上げられた複数の荷物２０の表面の一部の領域に関する３次元情報が取得される。３次元情報としては、点群データ、距離画像などが例示される。点群データは、計測点の３次元座標値の集合であってよい。３次元カメラ４６２は、複数の撮像素子を利用して３次元情報を取得してよい。３次元カメラ４６２は、レーザ照射機を有してもよい。

同様に、３次元カメラ４６４は、当該カメラの設置位置から、コンテナ２２の内部を撮像又は走査する。３次元カメラ４６６は、当該カメラの設置位置から、コンテナ２２の内部を撮像又は走査する。３次元カメラ４６８は、当該カメラの設置位置から、コンテナ２２の内部を撮像又は走査する。３次元カメラ４６４、３次元カメラ４６６及び３次元カメラ４６８のそれぞれは、３次元カメラ４６２と同様の構成を有してよい。

図６は、システム制御部２１０の内部構成の一例を概略的に示す。本実施形態において、システム制御部２１０は、点群情報取得部６２０と、合成マップ生成部６３０と、取出作業決定部６４０と、ロボット制御部６５０と、格納部６６０とを備える。

点群情報取得部６２０は、第１情報取得部及び第２情報取得部の一例であってよい。合成マップ生成部６３０は、合成部の一例であってよい。取出作業決定部６４０は、取出対象決定部及び取出方向決定部の一例であってよい。

本実施形態において、点群情報取得部６２０は、３次元カメラ４６２、３次元カメラ４６４、３次元カメラ４６６及び３次元カメラ４６８のそれぞれが、コンテナ２２の内部を撮像又は走査して得られた情報を取得する。例えば、点群情報取得部６２０は、３次元カメラ４６２、３次元カメラ４６４、３次元カメラ４６６及び３次元カメラ４６８のそれぞれが取得した、コンテナ２２の内部の点群データを取得する。

これにより、点群情報取得部６２０は、コンテナ２２の内部に積み上げられた複数の荷物２０の表面に関する、複数セットの点群データを取得することができる。複数のセットの点群データのそれぞれは、複数の荷物２０の表面の一部を、互いに異なる地点から撮像又は走査することで得られる。

小型のワークのピッキング装置においては、容器に収容されたワークが、主に、当該ワークの上方から撮像又は走査される。また、ピッキング装置のロボットハンドは、ワークの上方から当該ワークに接近する。これに対して、本実施形態によれば、上下方向に積み上げられた複数の荷物２０が、主に、荷物２０の側面の側から撮像又は走査される。また、ロボットハンド２２２は、荷物２０の側面の側から荷物２０に接近する。

本実施形態において、合成マップ生成部６３０は、点群情報取得部６２０が取得した、コンテナ２２の内部の状況を示す複数セットの点群データに基づいて、コンテナ２２の内部の状況を示す単一の点群データ（合成点群データと称される場合がある。）を生成する。合成マップ生成部６３０は、複数セットの点群データのうち、一のセットの点群データを、他のセットの点群データにより補完して、合成点群データを生成してよい。合成マップ生成部６３０は、（ｉ）複数セットの点群データのそれぞれから、マニピュレータ２２０の表面に関する点群データを除去した後、（ｉｉ）当該複数セットの点群データに基づいて、合成点群データを生成してもよい。

合成点群データによれば、コンテナ２２の内部の複数の荷物２０の表面の少なくとも一部の３次元形状が示される。例えば、合成点群データは、（ｉ）複数の荷物２０の上面の一部の３次元形状と、（ｉｉ）複数の荷物２０の側面のうち、取り出し口側を向いた面の３次元形状とを示す。

合成マップ生成部６３０は、（ｉ）複数セットの点群データ、又は、（ｉｉ）当該複数セットの点群データを利用して生成された合成点群データに基づいて、コンテナ２２の内部の表面形状の一部、又は、複数の荷物２０の表面形状の一部を示す３次元マップを生成してよい。例えば、合成マップ生成部６３０は、コンテナ２２の内部に仮想的に設定された複数のボクセルのそれぞれについて、（ａ）占有情報、（ｂ）空白情報、又は、（ｃ）不明情報が対応付けられたマップ情報（合成デプスマップと称される場合がある）を生成する。

（ａ）占有情報は、当該ボクセルの内部に、荷物２０の表面の一部に対応する点群が存在することを示す情報であってよい。これにより、当該ボクセルの位置に、荷物２０の表面の一部が存在することが示される。（ｂ）空白情報は、当該ボクセルの内部に、荷物２０の表面の一部に対応する点群が存在しないことを示す情報であってよい。空白情報は、当該ボクセルの内部に点群が存在しないことを示す情報であってもよい。これにより、当該ボクセルの位置に、荷物２０の表面が存在しないことが示される。（ｃ）不明情報は、当該ボクセルの内部に、荷物２０の表面の一部に対応する点群の存否が不明であることを示す情報であってよい。これにより、当該ボクセルの位置における、荷物２０の表面の一部の存否が不明であることが示される。

コンテナ２２の内部に積み上げられた複数の荷物２０の中には、サイズの異なる荷物が含まれる。そのため、複数の荷物２０の表面の凹凸によって、複数の荷物２０の表面に、単一の３次元カメラでは点群データを取得できない領域が存在し得る。また、積み降ろしシステム１２２の各３次元カメラは、マニピュレータ２２０がコンテナ２２の外部に位置する場合だけでなく、マニピュレータ２２０がコンテナ２２の内部に配されたコンテナ２２を取り出すための作業を実行している間にも、コンテナ２２の内部を撮像又は走査する。そのため、各３次元カメラの画角にマニピュレータ２２０が写り込むことによって、複数の荷物２０の表面に、単一の３次元カメラでは点群データを取得できない領域が存在し得る。

本実施形態によれば、合成マップ生成部６３０が、互いに異なる地点から撮像又は走査されて得られた複数セットの点群データを合成して、複数の荷物２０の表面の少なくとも一部の３次元形状を示す合成点群データが生成される。これにより、例えば、システム制御部２１０は、複数の荷物２０の表面のより広い領域に関する点群データに基づいて、積み降ろしシステム１４２を制御することができる。

本実施形態においては、説明を簡単にすることを目的として、合成マップ生成部６３０が、３次元カメラ４６２が取得した点群データと、３次元カメラ４６６が取得した点群データとに基づいて、合成点群データを生成する場合を例として、合成マップ生成部６３０の詳細が説明される。しかしながら、合成マップ生成部６３０は、本実施形態に限定されない。他の実施形態において、合成マップ生成部６３０は、４つの３次元カメラの他の組み合わせに係る、複数セットの点群データに基づいて、合成点群データを生成してよい。合成マップ生成部６３０は、３以上のセットの点群データに基づいて、合成点群データを生成してもよい。

［複数の点群データの合成］
例えば、合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データと、３次元カメラ４６６が取得した点群データとを取得する。一実施形態において、合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データ、及び、３次元カメラ４６６が取得した点群データの一方を、他方の点群データにより補完して、合成点群データを生成する。

他の実施形態において、合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データから、マニピュレータ２２０の表面に関する点群データを除去する。合成マップ生成部６３０は、３次元カメラ４６６が取得した点群データから、マニピュレータ２２０の表面に関する点群データを除去する。一実施形態において、合成マップ生成部６３０は、特定の点群データを削除、消去又は除外することで、当該特定の点群データを除去する。他の実施形態において、合成マップ生成部６３０は、特定の点群データに含まれる距離情報を、距離が不明であることを示す情報に書き換えることで、当該点群データを除去する。

次に、合成マップ生成部６３０は、（ｉ）マニピュレータ２２０の表面に関する点群が除去された、３次元カメラ４６２が取得した点群データ、及び、（ｉｉ）マニピュレータ２２０の表面に関する点群が除去された、３次元カメラ４６６が取得した点群データの一方を他方により補完して、合成点群データを生成する。補完処理は、例えば、下記の手順により生成される。

本実施形態によれば、合成マップ生成部６３０は、格納部６６０から、３次元カメラ４６２及び３次元カメラ４６６のそれぞれについて、積み降ろしシステム１４２の任意の位置（基準位置と称される場合がある。）に対する、三次元空間における相対位置を示す情報を取得する。３次元カメラ４６２が取得した点群データは、例えば、コンテナ２２の内部に存在する物体の表面上の各点に関する３次元カメラ４６２からの角度及び距離を示す。３次元カメラ４６６が取得した点群データは、例えば、コンテナ２２の内部に存在する物体の表面上の各点に関する３次元カメラ４６６からの角度及び距離を示す。

合成マップ生成部６３０は、３次元カメラ４６２及び３次元カメラ４６６のそれぞれの上記相対位置を示す情報と、３次元カメラ４６２及び３次元カメラ４６６のそれぞれが取得した点群データに基づいて、３次元カメラ４６６が取得した各点群データにより示される点の位置と、３次元カメラ４６６が取得した各点群データにより示される点の位置とを算出する。合成マップ生成部６３０は、３次元カメラ４６６が取得した各点群データにより示される点の位置と、３次元カメラ４６６が取得した各点群データにより示される点の位置とを比較する。合成マップ生成部６３０は、比較結果に基づいて、（ｉ）マニピュレータ２２０の表面に関する点群が除去された、３次元カメラ４６２が取得した点群データと、（ｉｉ）マニピュレータ２２０の表面に関する点群が除去された、３次元カメラ４６６が取得した点群データであって、３次元カメラ４６２が取得した点群データにより示される点とは異なる点を示す点群データとを結合又は併合することで、合成点群データを生成する。

［合成デプスマップの生成］
例えば、合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データと、３次元カメラ４６６が取得した点群データとを取得する。合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データに基づいて、コンテナ２２の内部に仮想的に設定された複数のボクセルのそれぞれについて、（ａ）占有情報、（ｂ）空白情報、又は、（ｃ）不明情報が対応付けられた第１デプスマップを生成してよい。合成マップ生成部６３０は、３次元カメラ４６６が取得した点群データに基づいて、コンテナ２２の内部に仮想的に設定された複数のボクセルのそれぞれについて、（ａ）占有情報、（ｂ）空白情報、又は、（ｃ）不明情報が対応付けられた第２デプスマップを生成してよい。

合成マップ生成部６３０は、第１デプスマップ及び第２デプスマップの一方を他方により補完して、複数のボクセルのそれぞれについて、（ａ）占有情報、（ｂ）空白情報、又は、（ｃ）不明情報が対応付けられた、合成デプスマップを生成してよい。例えば、合成マップ生成部６３０は、コンテナ２２の内部に仮想的に設定された複数のボクセルのそれぞれについて、第１デプスマップの情報と、第２デプスマップの情報とを結合又は併合することで、合成デプスマップを生成する。

コンテナ２２の内部は、積み降ろしシステム１４２の作業空間の一例であってよい。第１デプスマップは、第１マップ情報の一例であってよい。第２デプスマップは、第２マップ情報の一例であってよい。合成デプスマップは、合成マップ情報の一例であってよい。

他の実施形態において、合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データから、マニピュレータ２２０の表面に関する点群を除去した後、第１デプスマップを生成してよい。合成マップ生成部６３０は、３次元カメラ４６６が取得した点群データから、マニピュレータ２２０の表面に関する点群を除去した後、第２デプスマップを生成してよい。

他の実施形態において、合成マップ生成部６３０は、３次元カメラ４６２が取得した、複数の時点における点群データに基づいて、第１デプスマップを生成してよい。合成マップ生成部６３０は、３次元カメラ４６６が取得した、複数の時点における点群データに基づいて、第２デプスマップを生成してよい。

例えば、３次元カメラ４６２が時刻ｔ２において取得した点群データから、マニピュレータ２２０の表面に関する点群が除去されると、荷物２０の表面に関する点群の数が極端に減少する場合がある。そこで、合成マップ生成部６３０は、時刻ｔ２よりも前の時刻である時刻ｔ１において、３次元カメラ４６２が取得した点群データを利用して、３次元カメラ４６２が時刻ｔ２において取得した点群データを補完する。具体的には、例えば、合成マップ生成部６３０は、３次元カメラ４６２が時刻ｔ２において取得した点群データに基づいて生成された第１デプスマップの「不明情報」の少なくとも一部を、時刻ｔ１において、３次元カメラ４６２が取得した点群データに基づいて、「占有情報」又は「空白情報」に置き換える。

他の実施形態において、合成マップ生成部６３０は、３次元カメラ４６２が取得した、１以上の時点における点群データに基づいて、第１デプスマップを生成してよい。合成マップ生成部６３０は、３次元カメラ４６６が取得した、１以上の時点における点群データに基づいて、第２デプスマップを生成してよい。

合成マップ生成部６３０が、第１デプスマップ及び第２デプスマップに基づいて、合成デプスマップを生成する場合に、同一のボクセルに関して、第１デプスマップのデータと、第２デプスマップのデータとが異なることもあり得る。また、同一のボクセルに関して、第１の時刻における第１デプスマップのデータと、第２の時刻における第１デプスマップのデータとが異なることもあり得る。同様に、同一のボクセルに関して、第３の時刻における第２デプスマップのデータと、第４の時刻における第２デプスマップのデータとが異なることもあり得る。

そこで、一実施形態によれば、合成マップ生成部６３０は、時間的に新しい方の情報を利用して、合成デプスマップを生成する。他の実施形態において、合成マップ生成部６３０は、マニピュレータ２２０の設置位置に近い方の情報を利用して、合成デプスマップを生成してもよい。

なお、本実施形態においては、合成デプスマップが、第１デプスマップ及び第２デプスマップに基づいて生成される場合が説明された。しかしながら、合成デプスマップの生成方法は、本実施形態に限定されない。他の実施形態において、合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データと、３次元カメラ４６６が取得した点群データとを取得する。合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データ、及び、３次元カメラ４６６が取得した点群データに基づいて、合成点群データを生成する。合成マップ生成部６３０は、合成点群データに基づいて、合成デプスマップを生成してよい。

本実施形態において、取出作業決定部６４０は、マニピュレータ２２０の作業の内容を決定する。例えば、取出作業決定部６４０は、マニピュレータ２２０による取出作業の対象となる荷物２０を決定する。取出作業決定部６４０は、取出作業の対象となった荷物２０を取り出す方向（取出方向と称される場合がある。）を決定してもよい。取出作業決定部６４０は、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方を決定できない場合、その旨を示す情報を、物流管理システム１００の管理者又はユーザの端末に送信してよい。

一般的には、コンテナ２２の中で、マニピュレータ２２０の設置位置に近い側（コンテナ２２の取出口側と称される場合がある。）に配された荷物２０ほど、３次元カメラ２６０を介して得られる情報量が多い。また、上方に位置する荷物２０ほど、３次元カメラ２６０を介して得られる情報量が多い。そのため、取出作業決定部６４０は、例えば、取出作業の対象として、最上面に位置する荷物２０であって、コンテナ２２の取出口側に最も近い位置にある荷物２０を選択し、選択された荷物２０をコンテナ２２の取出口側に向かって取り出す。しかしながら、取出対象の決定、及び、取出方向の決定は、本実施形態に限定されない。

一実施形態において、取出作業決定部６４０は、積み上げられた複数の荷物２０のそれぞれの位置関係に基づいて、取出作業の対象となる荷物２０を決定する。取出作業決定部６４０は、積み上げられた複数の荷物２０における、上下方向の位置関係に基づいて、取出作業の対象となる荷物２０を決定してよい。例えば、取出作業決定部６４０は、上方に配されている荷物２０ほど、より優先的に取出作業の対象となるように、取出作業の対象となる荷物２０を決定する。取出作業決定部６４０は、中程の位置に配されている荷物と比較して、中心よりも下方に配されている荷物２０が優先的に取出作業の対象となるように、取出作業の対象となる荷物２０を決定してもよい。なお、優先順位は、最上面に配された荷物２０が最も優先されるように設定されてもよく、最上面以外の位置に配された荷物２０が最も優先されるように設定されてもよい。

取出作業決定部６４０は、積み上げられた複数の荷物２０における、コンテナ２２の奥行方向の位置関係に基づいて、取出作業の対象となる荷物２０を決定してもよい。例えば、取出作業決定部６４０は、コンテナ２２の取出口側に配された荷物２０ほど、より優先的に取出作業の対象となるように、取出作業の対象となる荷物２０を決定する。なお、優先順位は、コンテナ２２の取出口側に最も近い位置に配された荷物２０が最も優先されるように設定されてもよく、コンテナ２２の中の特定の領域に配された荷物２０が最も優先されるように設定されてもよい。

次に、取出作業決定部６４０は、取出作業の対象とされた荷物２０の取出方向を決定する。なお、荷物２０の取出方向は、特に限定されない。

荷物２０の取出方向は、鉛直方向上向きであってもよく、水平方向に略平行な一方向であってもよい。荷物２０の取出方向は、鉛直方向又は水平方向に対して傾斜を有してもよい。荷物２０の取出方向は、コンテナ２２の奥行方向（図３の左右方向である。）に略平行であってもよく、コンテナ２２の幅方向（図３の紙面に垂直な方向である。）に略平行であってもよい。荷物２０の取出方向は、コンテナ２２の奥行方向又は幅方向に対して傾斜を有してもよい。荷物２０の取出方向は、荷物２０の長手方向に略平行であってもよく、荷物２０の短手方向に略平行であってもよい。荷物２０の取出方向は、荷物２０の長手方向又は短手方向に略平行であってもよい。

なお、取出方向が「上方」であるとは、取出方向が鉛直方向上向きの場合だけでなく、取出方向と、鉛直方向とのなす角度が、９０度未満である場合をも含む。取出方向と、鉛直方向とのなす角度は、６０度以下であってもよく、４５度以下であってもよい。また、取出方向が「奥行方向」若しくは「幅方向」である、又は、取出方向が「奥行方向」若しくは「幅方向」に沿うとは、取出方向が水平方向に平行である場合だけでなく、取出方向と、水平方向とのなす角度が、９０度未満である場合をも含む。取出方向と、水平方向とのなす角度は、６０度以下であってもよく、４５度以下であってもよい。

荷物２０の取出方向に関する複数の候補が存在する場合、取出作業決定部６４０は、取出作業の対象となる荷物２０及びマニピュレータ２２０と、他の荷物２０又はコンテナ２２の壁とが干渉せずに、荷物２０を取り出すことのできる経路（取出経路と称される場合がある。）の有無を判定してよい。取出作業決定部６４０は、取出経路の有無に関する判定結果の確からしさを示す指標を算出してもよい取出作業決定部６４０は、各取出経路に沿って荷物２０を取り出す場合に、当該取出作業に要する時間を推定してもよい。

取出作業決定部６４０は、荷物２０の取出方向に関する複数の候補のうち、取出経路を確立することのできる候補を、取出方向として決定してよい。取出経路を確立することのできる候補の数が２以上である場合、取出作業決定部６４０は、上記の判定結果の確からしさを示す指標に基づいて、より確からしい取出経路に対応する候補を、取出方向として決定してよい。取出作業決定部６４０は、荷物２０の取出方向に関する複数の候補のうち、取出経路を確立することができ、取出作業に要する時間の最も小さな候補を、取出方向として決定してもよい。

取出作業決定部６４０は、例えば、積み上げられた複数の荷物２０のそれぞれの位置関係に基づいて、荷物２０の取出方向を決定する。取出作業決定部６４０は、積み上げられた複数の荷物２０における、上下方向の位置関係に基づいて、荷物２０の取出方向を決定してよい。例えば、最上面に配された荷物２０が取り出される場合、取出作業決定部６４０は、荷物２０が上方に向かって引き抜かれるように、荷物２０を取り出すことを決定する。中心よりも下方の位置に配されている荷物２０が取り出される場合、取出作業決定部６４０は、荷物２０がマニピュレータ２２０の側に向かって引き抜かれるように、又は、荷物２０がコンテナ２２の幅方向に沿って引き抜かれるように、荷物２０を取り出すことを決定してよい。

取出作業決定部６４０は、積み上げられた複数の荷物２０における、コンテナ２２の奥行方向の位置関係に基づいて、荷物２０の取出方向を決定してもよい。例えば、コンテナ２２の取出口側に最も近い位置に配された荷物２０が取り出される場合、取出作業決定部６４０は、荷物２０が取出口側に向かって引き抜かれるように、荷物２０を取り出すことを決定する。取出作業の対象となる荷物２０と、コンテナ２２の取出口側との間に他の荷物２０が存在する場合、取出作業決定部６４０は、荷物２０が上方に向かって引き抜かれるように、又は、荷物２０がコンテナ２２の幅方向に沿って引き抜かれるように、荷物２０を取り出すことを決定する。

本実施形態においては、積み上げられた複数の荷物２０のそれぞれの位置関係に基づいて、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方が決定される場合を例として、取出作業決定部６４０の詳細が説明された。しかしながら、取出作業決定部６４０は、本実施形態に限定されない。

他の実施形態において、取出作業決定部６４０は、荷物２０のサイズに基づいて、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方を決定してよい。例えば、取出作業決定部６４０は、複数の行又は列のそれぞれの最上面に位置する複数の荷物２０のうち、サイズが小さい荷物２０ほど、より優先的に取出作業の対象となるように、取出作業の対象となる荷物２０を決定する。取出作業決定部６４０は、複数の行又は列のそれぞれの最上面に位置する複数の荷物２０のうち、特定の範囲のサイズを有する荷物２０ほど、より優先的に取出作業の対象となるように、取出作業の対象となる荷物２０を決定してもよい。

取出作業決定部６４０は、一の荷物２０のサイズと、当該一の荷物２０よりも取出口側に位置する他の荷物２０のサイズとに基づいて、当該一の荷物２０を取出対象として選択するか否かを決定してよい。上記の他の荷物２０は、上記の一の荷物２０と同一の列に配された荷物２０であってもよく、上記の一の荷物２０とは異なる列に配された荷物２０であってもよい。

例えば、サイズの大きな荷物２０がコンテナ２２の取出口に近い位置に存在すると、マニピュレータ２２０が他の荷物２０を取り出したり、３次元カメラ２６０がコンテナ２２の内部を撮像又は走査したりする際に、当該大きな荷物２０が上記の作業の邪魔になることも考えられる。そこで、一の荷物２０のサイズが、他の荷物２０のサイズよりも大きい場合、取出作業決定部６４０は、当該一の荷物２０を取出対象として選択しないことを決定する。これにより、サイズのより大きな荷物２０が先に取り出される。その結果、コンテナ２２に搭載された複数の荷物２０の取り出しに要する時間が短縮される。また、上記の荷物２０により生じていた３次元カメラ２６０の死角が消滅し、合成点群データ又は合成デプスマップの内容がより充実する。

他の実施形態において、取出作業決定部６４０は、管理サーバ１６０から、コンテナ２２に積み込まれた複数の荷物２０のそれぞれのサイズに関する情報を取得する。取出作業決定部６４０は、複数の荷物２０のそれぞれのサイズに関する情報と、複数の荷物２０の合成点群データ又は合成デプスマップとに基づいて、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方を決定してよい。

例えば、取出作業決定部６４０は、複数の荷物２０の合成点群データ又は合成デプスマップを解析して、一の荷物２０と他の荷物２０との境界の少なくとも一部を検出する。取出作業決定部６４０は、検出された境界の情報に基づいて、一の荷物２０の少なくとも１辺の長さを推定する。取出作業決定部６４０は、推定された少なくとも１辺の長さの情報と、複数の荷物２０のそれぞれのサイズに関する情報とに基づいて、一の荷物２０のサイズを推定する。

これにより、３次元カメラ２６０が、一の荷物２０の一部分を撮像又は走査できない場合であっても、取出作業決定部６４０は、複数の荷物２０のそれぞれのサイズに関する情報を利用することで、一の荷物２０のサイズの候補を絞り込むことができる。その結果、取出作業決定部６４０は、一の荷物２０のサイズの推定値を示す情報と、合成点群データ又は合成デプスマップとに基づいて、一の荷物２０と、他の荷物２０との重なり具合を推定することができる。

上記の重なり具合は、一の荷物２０のサイズの候補として絞り込まれた値の統計値により示されてよい。統計値としては、最大値、最小値、平均値、中央値、最頻値などが例示される。例えば、上記の重なり具合は、一の荷物２０と、他の荷物２０との重複部分の長さの推定値の最小値及び最大値の少なくとも一方により示される。

例えば、取出作業決定部６４０は、３次元カメラ２６０が取得した情報に基づいて認識された１又は複数の荷物２０のそれぞれについて、より上方に存在する他の荷物２０との重なり具合を推定する。取出作業決定部６４０は、他の荷物２０との重なり具合に基づいて、取出作業の対象となる荷物２０を決定してよい。例えば、取出作業決定部６４０は、他の荷物２０との重なり具合が小さい荷物２０ほど、より優先的に取出作業の対象となるように、取出作業の対象となる荷物２０を決定する。

荷物Ａの上に、荷物Ｂが積み重なっている場合において、荷物Ａと、荷物Ｂとの重なり具合が、予め定められた程度よりも軽度であるとき、取出作業決定部６４０は、荷物Ａを荷物Ｂよりも先に取り出すことを決定してもよく、荷物Ｂを荷物Ａよりも先に取り出すことを決定してもよい。一方、荷物Ａと、荷物Ｂとの重なり具合が、予め定められた程度よりも重度であるとき、取出作業決定部６４０は、荷物Ｂを荷物Ａよりも先に取り出すことを決定する。

取出作業決定部６４０は、一の荷物２０と、当該一の荷物２０より上方に存在する他の荷物２０の重なり具合を示す情報に基づいて、荷物２０の取出方向を決定してよい。上記の重なり具合が、予め定められた程度よりも軽度であるとき、取出作業決定部６４０は、一の荷物２０の取出方向として、任意の方向を決定してよい。一方、上記の重なり具合が、予め定められた程度よりも重度であるとき、取出作業決定部６４０は、一の荷物２０の取出方向として、上方以外の方向を決定してよい。

取出作業決定部６４０は、上記の重なり具合に基づいて、取出方向及び鉛直方向のなす角度の許容範囲又は許容値を決定してもよい。取出作業決定部６４０は、上記の重なり具合を示す情報に基づいて、一の荷物２０を特定の方向に引き出した場合における取出経路の有無を判定してもよい。

他の実施形態において、取出作業決定部６４０は、一の荷物２０と、他の荷物２０との境界における影を評価する。取出作業決定部６４０は、影の形、影の大きさ及び影の濃さの少なくとも１つに基づいて、影を評価してよい。取出作業決定部６４０は、上記の影に関する評価に基づいて、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方を決定してよい。

例えば、取出作業決定部６４０は、３次元カメラ２６０が撮像した画像を解析して、一の荷物２０と、他の荷物２０との境界又は隙間に生じている影を認識する。上記の影の形、大きさ及び濃さは、光源の位置及び数、一の荷物２０のサイズ、他の荷物２０のサイズ、並びに、一の荷物２０と、他の荷物２０との位置関係に応じて変化する。

そこで、取出作業決定部６４０は、影の形、影の大きさ及び影の濃さの少なくとも１つに基づいて、一の荷物２０又は他の荷物２０の少なくとも１辺の長さを推定してよい。取出作業決定部６４０は、推定された少なくとも１辺の長さの情報と、複数の荷物２０のそれぞれのサイズに関する情報とに基づいて、一の荷物２０のサイズを推定してよい。また、取出作業決定部６４０は、影の形、影の大きさ及び影の濃さの少なくとも１つに基づいて、一の荷物２０と、他の荷物２０との重なり具合を推定してもよい。取出作業決定部６４０は、上述された手順と同様の手順により、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方を決定してよい。

上述のとおり、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方を決定するための考慮要素としては、（ｉ）積み上げられた複数の荷物２０のそれぞれの位置関係、（ｉｉ）複数の荷物２０のそれぞれのサイズ、（ｉｉｉ）３次元カメラ２６０がコンテナ２２の内部を撮像又は走査して得られた情報の解析結果（例えば、合成点群データ又は合成デプスマップである）、（ｉｖ）３次元カメラ２６０がコンテナ２２の内部を撮像して得られた画像の解析結果（例えば、影の評価結果である）、（ｖ）一の荷物２０と、他の荷物２０との重なり具合、（ｖｉ）取出経路の有無に関する判定結果の確からしさ、（ｖｉｉ）取出作業に要する時間などが例示される。取出作業決定部６４０は、２以上の考慮要素の組み合わせに基づいて、取出作業の対象となる荷物２０及び荷物２０の取出方向の少なくとも一方を決定してもよい。

本実施形態において、ロボット制御部６５０は、マニピュレータ２２０を制御する。例えば、ロボット制御部６５０は、マニピュレータ２２０を制御して、取出作業決定部６４０が決定した荷物２０を、複数の荷物２０の中から取り出して、コンベア２７０の上に配置する。ロボット制御部６５０は、上記の作業を実施するためのロボットハンド２２２の軌道を決定してよい。ロボット制御部６５０は、ロボットハンド２２２の軌道を示す命令を生成して、当該命令を駆動制御部２５０に送信してよい。

本実施形態において、格納部６６０は、各種の情報を格納する。例えば、格納部６６０は、管理サーバ１６０から、コンテナ２２に積み込まれた複数の荷物２０のそれぞれのサイズに関する情報を取得し、当該情報を格納してよい。格納部６６０は、管理サーバ１６０から、コンテナ２２に積み込まれた複数の荷物２０のそれぞれの特徴点に関する情報を取得し、当該情報を格納してよい。

図７、図８及び図９を用いて、点群データについて説明する。図７及び図８は、特定の高さの位置における点群データの一例を概略的に示す。図７は、マニピュレータ２２０がカメラの画角に入っていない場合の例を示す。図７は、マニピュレータ２２０がカメラの画角に入っている場合の例を示す。図９は、複数の時点における点群データの一例を概略的に示す。

図７は、３次元カメラ４６６が取得した点群データ７０２を、コンテナ２２の内部に配された荷物７２、荷物７４及び荷物７６とともに示す。同様に、図７は、３次元カメラ４６２が取得した点群データ７０４を、コンテナ２２の内部に配された荷物７２、荷物７４及び荷物７６とともに示す。図７において、小さな丸７１０は、点群を構成する点を示す。図７に示されるとおり、複数の荷物の凹凸の具合によって、単一の３次元カメラでは点群を取得することのできない領域が存在する。

図８は、３次元カメラ４６６が取得した点群データ８０２を、コンテナ２２の内部に配された荷物７２、荷物７４及び荷物７６、並びに、マニピュレータ２２０とともに示す。同様に、図７は、３次元カメラ４６２が取得した点群データ８０４を、コンテナ２２の内部に配された荷物７２、荷物７４及び荷物７６、並びに、マニピュレータ２２０とともに示す。図８に示されるとおり、マニピュレータ２２０が３次元カメラの画角に入り込むことによって、単一の３次元カメラでは点群を取得することのできない領域が存在する。

図９は、時刻ｔ１において、３次元カメラ４６６が点群データ７０２を取得し、３次元カメラ４６２が点群データ７０４を取得したことを示す。同様に、図９は、時刻ｔ２において、３次元カメラ４６６が点群データ８０２を取得し、３次元カメラ４６２が点群データ８０４を取得したことを示す。図９において、太線は、点群を示す。図９において、点線で囲まれた領域は、荷物２０の表面の一部に対応する点群の存否が不明である領域を示す。

図１０は、合成マップ生成部６３０における情報処理の一例を概略的に示す。上述のとおり、合成マップ生成部６３０は、３次元カメラ４６２から、３次元カメラ４６２が取得した点群データを取得する。同様に、合成マップ生成部６３０は、３次元カメラ４６６から、３次元カメラ４６６が取得した点群データを取得する。

合成マップ生成部６３０は、３次元カメラ４６２が取得した点群データと、３次元カメラ４６６が取得した点群データとに基づいて、合成デプスマップ１０００を生成する。合成マップ生成部６３０は、１以上の時点において３次元カメラ４６２が取得した点群データと、１以上の時点において３次元カメラ４６６が取得した点群データとに基づいて、合成デプスマップ１０００を生成してもよい。合成デプスマップ１０００において、占有情報が格納されている複数のボクセルを結ぶことで、複数の荷物２０の表面形状１０１０が得られる。

図１１は、データテーブル１１００の一例を概略的に示す。本実施形態において、データテーブル１１００は、第１デプスマップ、第２デプスマップ及び合成デプスマップの一例であってよい。本実施形態において、データテーブル１１００は、各ボクセルを識別するためのボクセルＩＤ１１２０と、各ボクセルに関連する点群に関する情報１１４０と、合成結果を示す情報１１６０とを対応付けて格納する。

本実施形態において、各ボクセルに関連する点群に関する情報１１４０は、当該点群を取得した３次元カメラを識別するためのカメラＩＤと、当該点群が取得された時刻を示す情報と、当該点群に基づいて定められたボクセルの評価を示す情報とを含んでよい。ボクセルの評価を示す情報としは、占有情報、空白情報、不明情報などが例示される。

なお、合成デプスマップのデータテーブルは、ボクセルＩＤ１１２０と、合成結果を示す情報１１６０とを対応付けて格納してよい。第１デプスマップ及び第２デプスマップのデータテーブルは、ボクセルＩＤ１１２０と、点群情報１１４０とを対応付けて格納してよい。

図１２は、管理サーバ１６０の内部構成の一例を概略的に示す。本実施形態において、管理サーバ１６０は、通信制御部１２１０と、荷物情報管理部１２２０とを備える。

本実施形態において、通信制御部１２１０は、管理サーバ１６０と、バンニングシステム１２０及びデバンニングシステム１４０の少なくとも一方との間の通信を制御する。通信制御部１２１０は、通信インタフェースであってよい。

本実施形態において、荷物情報管理部１２２０は、トラック１２に積み込まれた複数の荷物２０のそれぞれに関する情報を管理する。例えば、荷物情報管理部１２２０は、トラック１２に積み込まれた複数の荷物２０のそれぞれのサイズに関する情報を、バンニングシステム１２０から取得する。荷物情報管理部１２２０は、トラック１２に積み込まれた複数の荷物２０のそれぞれの特徴点に関する情報を、バンニングシステム１２０から取得してもよい。荷物情報管理部１２２０は、トラック１２に積み込まれた複数の荷物２０のそれぞれの質量に関する情報を、バンニングシステム１２０から取得してもよい。荷物情報管理部１２２０は、トラック１２の積荷に関する各種の情報を、記憶装置に格納してよい。荷物情報管理部１２２０は、例えば、デバンニングシステム１４０からの要求に応じて、トラック１２の積荷に関する情報を、デバンニングシステム１４０に送信してよい。

図１３は、データテーブル１３００の一例を概略的に示す。本実施形態において、データテーブル１３００は、トラック１２の積荷に関する情報の一例であってよい。本実施形態において、データテーブル１３００は、各荷物が積み込まれたコンテナを識別するためのコンテナＩＤ１３２０と、各荷物を識別するための荷物ＩＤ１３３０と、各荷物のサイズに関する情報１３４０と、各荷物の形状に関する情報１３５０と、各荷物の特徴点に関する情報１３６０とを対応付けて格納する。各荷物の特徴点に関する情報１３６０は、各荷物の特徴点を示す電子データのＵＲＩであってもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。また、各構成要素は、名称が同一で、参照符号が異なる他の構成要素と同様の特徴を有してもよい。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 通信ネットワーク、１２ トラック、２０ 荷物、２２ コンテナ、７２ 荷物、７４ 荷物、７６ 荷物、１００ 物流管理システム、１２０ バンニングシステム、１２２ 積み降ろしシステム、１４０ デバンニングシステム、１４２ 積み降ろしシステム、１６０ 管理サーバ、２１０ システム制御部、２２０ マニピュレータ、２２２ ロボットハンド、２２４ ロボットアーム、２３０ 台座、２３２ レール、２４０ 駆動部、２５０ 駆動制御部、２６０ ３次元カメラ、２７０ コンベア、２８０ ３次元カメラ、４３０ 架台、４６２ ３次元カメラ、４６４ ３次元カメラ、４６６ ３次元カメラ、４６８ ３次元カメラ、６２０ 点群情報取得部、６３０ 合成マップ生成部、６４０ 取出作業決定部、６５０ ロボット制御部、６６０ 格納部、７０２ 点群データ、７０４ 点群データ、７１０ 丸、８０２ 点群データ、８０４ 点群データ、１０００ 合成デプスマップ、１０１０ 表面形状、１１００ データテーブル、１１２０ ボクセルＩＤ、１１４０ 情報、１１６０ 情報、１２１０ 通信制御部、１２２０ 荷物情報管理部、１３００ データテーブル、１３２０ コンテナＩＤ、１３３０ 荷物ＩＤ、１３４０ 情報、１３５０ 情報、１３６０ 情報

Claims (13)

1. 積み上げられた複数の物品を第１地点から撮像又は走査して得られた、前記複数の物品の表面の第１領域の３次元情報を取得する第１情報取得部と、
   前記複数の物品を第２地点から撮像又は走査して得られた、前記複数の物品の表面の第２領域の３次元情報を取得する第２情報取得部と、
   前記第１情報取得部が取得した前記第１領域の３次元情報、及び、前記第２情報取得部が取得した前記第２領域の３次元情報に基づいて、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成部と、
   を備え、
   前記第１地点及び前記第２地点の位置は、互いに異なり、
   前記合成部は、前記第１領域の３次元情報及び前記第２領域の３次元情報の一方を他方により補完して、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する、
   形状情報生成装置。
2. マニピュレータを用いて、積み上げられた複数の物品の中から、少なくとも１つの物品を取り出すロボットを制御するための制御装置であって、
   前記複数の物品を第１地点から撮像又は走査して得られた、前記複数の物品の表面の第１領域の３次元情報を取得する第１情報取得部と、
   前記複数の物品を第２地点から撮像又は走査して得られた、前記複数の物品の表面の第２領域の３次元情報を取得する第２情報取得部と、
   前記第１情報取得部が取得した前記第１領域の３次元情報、及び、前記第２情報取得部が取得した前記第２領域の３次元情報に基づいて、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成部と、
   を備え、
   前記第１地点及び前記第２地点の位置は、互いに異なり、
   前記合成部は、前記第１領域の３次元情報及び前記第２領域の３次元情報の一方を他方により補完して、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する、
   制御装置。
3. 前記合成部は、
   前記第１情報取得部が取得した前記第１領域の３次元情報から、前記マニピュレータの表面に関する情報を除去し
   前記第２情報取得部が取得した前記第２領域の３次元情報から、前記マニピュレータの表面に関する情報を除去し、
   前記マニピュレータの表面に関する情報が除去された、前記第１領域の３次元情報及び前記第２領域の３次元情報の一方を、他方により補完して、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する、
   請求項２に記載の制御装置。
4. 前記合成部は、
   前記第１情報取得部が取得した前記第１領域の３次元情報に基づいて、前記ロボットの作業空間に仮想的に設定された複数のボクセルのそれぞれについて、（ａ）当該ボクセル内に前記複数の物品の表面の一部が存在することを示す占有情報、（ｂ）当該ボクセル内に前記複数の物品の表面が存在しないことを示す空白情報、又は、（ｃ）当該ボクセル内における前記複数の物品の表面の一部の存否が不明であることを示す不明情報が対応付けられた、第１マップ情報を生成し、
   前記第２情報取得部が取得した前記第２領域の３次元情報に基づいて、前記複数のボクセルのそれぞれについて、（ａ）前記占有情報、（ｂ）前記空白情報、又は、（ｃ）前記不明情報が対応付けられた、第２マップ情報を生成し、
   前記第１マップ情報及び前記第２マップ情報の一方を他方により補完して、前記複数のボクセルのそれぞれについて、（ａ）前記占有情報、（ｂ）前記空白情報、又は、（ｃ）前記不明情報が対応付けられた、合成マップ情報を生成する、
   請求項２又は請求項３に記載の制御装置。
5. 前記合成部は、前記第１情報取得部が取得した、複数の時点における前記第１領域の３次元情報に基づいて、前記第１マップ情報を生成する、
   請求項４に記載の制御装置。
6. 前記合成部は、前記第２情報取得部が取得した、複数の時点における前記第２領域の３次元情報に基づいて、前記第２マップ情報を生成する、
   請求項４又は請求項５に記載の制御装置。
7. 前記合成部は、
   前記第１情報取得部が取得した、１以上の時点における前記第１領域の３次元情報に基づいて、前記第１マップ情報を生成し、
   前記第２情報取得部が取得した、１以上の時点における前記第２領域の３次元情報に基づいて、前記第２マップ情報を生成し、
   同一のボクセルに関して、前記第１マップ情報及び前記第２マップ情報が異なる場合、
   （ｉ）時間的に新しい方の情報を利用して、前記合成マップ情報を生成する、又は、
   （ｉｉ）前記マニピュレータの設置位置に近い方の情報を利用して、前記合成マップ情報を生成する、
   請求項４から請求項６までの何れか一項に記載の制御装置。
8. 前記マニピュレータによる取出作業の対象となる物品を決定する取出対象決定部をさらに備える、
   請求項２から請求項６までの何れか一項に記載の制御装置。
9. 前記取出対象決定部が決定した物品を取り出す方向を決定する取出方向決定部をさらに備える、
   請求項８に記載の制御装置。
10. 請求項２から請求項９までの何れか一項に記載の制御装置と、
    前記マニピュレータと、
    を備える、積み降ろし装置。
11. 請求項２から請求項９までの何れか一項に記載の制御装置と、
    前記マニピュレータと、
    前記複数の物品の少なくとも１つを搬送する搬送装置と、
    を備える、物流システム。
12. コンピュータを、請求項２から請求項９までの何れか一項に記載の制御装置として機能させるためのプログラム。
13. マニピュレータを用いて、積み上げられた複数の物品の中から、少なくとも１つの物品を取り出すロボットを制御するための制御方法であって、
    前記複数の物品を第１地点から撮像又は走査して得られた、前記複数の物品の表面の第１領域の３次元情報を取得する第１情報取得段階と、
    前記複数の物品を第２地点から撮像又は走査して得られた、前記複数の物品の表面の第２領域の３次元情報を取得する第２情報取得段階と、
    前記第１情報取得段階において取得された前記第１領域の３次元情報、及び、前記第２情報取得段階において取得された前記第２領域の３次元情報に基づいて、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成段階と、
    を有し、
    前記第１地点及び前記第２地点の位置は、互いに異なり、
    前記合成段階は、前記第１領域の３次元情報及び前記第２領域の３次元情報の一方を他方により補完して、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する段階を含む、
    制御方法。