JP2020151780A - ハンドリングシステム、ロボット管理システム、およびロボットシステム - Google Patents

Abstract

【課題】より不都合の少ない新規なハンドリングシステムを得る。【解決手段】実施形態において、ロボットシステムは、可動部とエンドエフェクタとを有し当該対象物を把持して移動させるロボットと、対象物を計測するセンサと、を有し、複数の動作モードで対象物を処理可能である。データ解析部は、センサによる対象物の計測によって得られた当該対象物の第一データを解析して当該対象物の第二データを算出する。データベースは、対象物の第一データが得られた際のロボットシステムの動作モードに対応して定まる対象物のデータのステータスと関連付けて対象物の第二データを記憶する。動作指示部は、対象物を処理するロボットシステムに対して、データベースに記憶された当該対象物のステータスに応じて定まる動作モードで、当該対象物の第二データに応じて決定された動作指令に従って、当該対象物を処理するよう動作指示を与える。【選択図】図２

Description

実施形態は、ハンドリングシステム、ロボット管理システム、およびロボットシステムに関する。

従来、物体のハンドリング作業を自動化するシステムが知られている。

特表２０１８−５０４３３３号公報

例えば、新規アイテムをハンドリングする際の手間を減らすことができるなど、より不都合の少ない新規な構成のハンドリングシステムが得られれば、有益である。

実施形態のハンドリングシステムは、ロボットシステムと、データ解析部と、データベースと、動作指示部と、を備える。ロボットシステムは、可動部と当該可動部に取り付けられ対象物を把持するエンドエフェクタとを有し当該対象物を把持して移動させるロボットと、対象物を計測するセンサと、を有し、複数の動作モードで対象物を処理可能である。データ解析部は、センサによる対象物の計測によって得られた当該対象物の第一データを解析して当該対象物の第二データを算出する。データベースは、対象物の第一データが得られた際のロボットシステムの動作モードに対応して定まる対象物のデータのステータスと関連付けて対象物の第二データを記憶する。動作指示部は、対象物を処理するロボットシステムに対して、データベースに記憶された当該対象物のステータスに応じて定まる動作モードで、当該対象物の第二データに応じて決定された動作指令に従って、当該対象物を処理するよう動作指示を与える。

図１は、実施形態のハンドリングシステムの模式的かつ例示的な構成図である。 図２は、実施形態のロボット統合管理システムの例示的なブロック図である。 図３は、実施形態のピッキングロボットシステムの模式的かつ例示的な構成図である。 図４Ａは、実施形態のエンドエフェクタの模式的かつ例示的な構成図である。 図４Ｂは、実施形態の図４Ａとは別のエンドエフェクタの模式的かつ例示的な構成図である。 図４Ｃは、実施形態の図４Ａ，図４Ｂとは別のエンドエフェクタの模式的かつ例示的な構成図である。 図４Ｄは、実施形態の図４Ａ〜図４Ｃとは別のエンドエフェクタの模式的かつ例示的な構成図である。 図４Ｅは、実施形態のエンドエフェクタ情報の一例を示す図である。 図５は、実施形態のピッキングロボットシステムのコントローラの例示的なブロック図である。 図６は、実施形態の統合アイテムデータベースにおけるデータの記録状態およびエンドエフェクタの登録状態に関する例示的な状態遷移図である。 図７Ａは、実施形態の統合アイテムデータベース中のアイテム情報テーブルの一例を示す図である。 図７Ｂは、実施形態の統合アイテムデータベース中のエンドエフェクタ情報テーブルの一例を示す図である。 図８は、実施形態のハンドリングシステムにおける新規アイテムの登録からピッキングまでの手順および統合アイテムデータベースの更新の手順を示す例示的なフローチャートである。 図９は、実施形態のピッキングロボットシステムの撮影登録モードでの処理の手順を示す例示的なフローチャートである。 図１０Ａは、実施形態のエンドエフェクタの模式的かつ例示的な斜視図である。 図１０Ｂは、実施形態の図１０Ａのエンドエフェクタによる吸着パターンの例示的な説明図である。 図１０Ｃは、実施形態のピッキングロボットシステムのコントローラによるアイテムの認識例を示す説明図である。 図１１Ａは、実施形態の容器内に配置されたアイテムを示す例示的な説明図である。 図１１Ｂは、実施形態の図１１Ａ中に示される複数のアイテムについて得られた評価値等のデータを示す図である。 図１１Ｃは、実施形態のエンドエフェクタの仮決定処理の手順を示す例示的なフローチャートである。 図１１Ｄは、実施形態の統合アイテムデータベース中のアイテム情報テーブルの一例を示す図であって、エンドエフェクタ仮決定状態での図である。 図１１Ｅは、実施形態の統合アイテムデータベース中のエンドエフェクタ情報テーブルの一例を示す図であって、エンドエフェクタ仮決定状態での図である。 図１２は、実施形態のピッキングロボットシステムの形状登録モードでの処理の手順を示す例示的なフローチャートである。 図１３Ａは、実施形態の統合アイテムデータベース中のアイテム情報の更新の手順を示す例示的なフローチャートである。 図１３Ｂは、実施形態のロボット統合管理システムでモデル化されたアイテムモデルの模式的かつ例示的な斜視図である。 図１３Ｃは、実施形態の統合アイテムデータベース中のエンドエフェクタ情報テーブルの一例を示す図であって、エンドエフェクタ評価値が付与された状態を示す図である。 図１４Ａは、実施形態の統合アイテムデータベース中のアイテム情報テーブルの一例を示す図であって、エンドエフェクタ確定状態での図である。 図１４Ｂは、実施形態の統合アイテムデータベース中のエンドエフェクタ情報テーブルの一例を示す図であって、エンドエフェクタ適合性および登録状態が付与された状態を示す図である。 図１５は、実施形態のアイテムタイプの判定処理の手順を示す例示的なフローチャートである。 図１６は、実施形態のアイテムの属性を示すフラグ情報の判定処理の手順を示す例示的なフローチャートである。 図１７は、実施形態のロボット統合管理システムがエンドエフェクタ確定状態となったアイテムを処理する手順を示す例示的なフローチャートである。 図１８は、実施形態のピッキングロボットシステムの通常モードでの処理の手順を示す例示的なフローチャートである。 図１９は、実施形態のエンドエフェクタの選択処理の手順を示す例示的なフローチャートである。 図２０Ａは、実施形態のハンドリングシステムに対するピッキングオーダの一例を示す図である。 図２０Ｂは、実施形態のハンドリングシステムに対するピッキングオーダ中の未処理アイテムに対するプライマリエンドエフェクタおよびケイパブルエンドエフェクタの一例を示す図である。 図２１は、実施形態のピッキングロボットシステムによるアイテムの把持態様の切り替えの手順を示す例示的なフローチャートである。 図２２は、実施形態のピッキングロボットシステムによるアイテムの箱詰めの手順を示す例示的なフローチャートである。 図２３Ａは、実施形態のハンドリングシステムにおけるボックスタイプのアイテムの模式的かつ例示的な斜視図である。 図２３Ｂは、実施形態のハンドリングシステムにおけるソリッドタイプのアイテムの模式的かつ例示的な斜視図である。 図２３Ｃは、実施形態のハンドリングシステムにおけるデフォーマブルタイプのアイテムの模式的かつ例示的な斜視図である。 図２３Ｄは、実施形態のピッキングロボットシステムによって図２３Ａ〜図２３Ｃのアイテムが箱詰めされた容器の模式的かつ例示的な平面図である。 図２４は、実施形態のロボット統合管理システムによる物流システム改善提案処理の手順を示す例示的なフローチャートである。 図２５は、実施形態のロボット統合管理システムによる物流システム改善提案機能において表示された画像の一例を示す説明図である。 図２６は、実施形態のロボット統合管理システム、マスタ装置、スレーブ装置、およびコントローラを構成するコンピュータのハードウエア構成を示す例示的なブロック図である。

以下、ハンドリングシステムの例示的な実施形態が開示される。以下に示される実施形態の構成や制御（技術的特徴）、ならびに当該構成や制御によってもたらされる作用および結果（効果）は、一例である。

［ハンドリングシステムの概要］
図１は、実施形態のハンドリングシステム１の概要を示す。図１に示されるように、ハンドリングシステム１は、ロボット統合管理システム１００、外部システム３１０、上位システム３２０、ロボット２００、およびマテリアルハンドリング機器２５０を備えている。ハンドリングシステム１は、物体ハンドリングシステムや、アイテムハンドリングシステムとも称されうる。

外部システム３１０は、例えば、自動倉庫や、外部搬送装置等である。また、上位システム３２０は、例えば、倉庫管理システムや、在庫管理システム、輸送管理システム等である。

ロボット統合管理システム１００には、複数のロボット２００（自動化ロボット）や、コンベアシステムや昇降システムのようなマテリアルハンドリング機器２５０の他、ＯＣＲのような情報読み取り検査システムや、ソーティングシステム等（不図示）が接続されている。ロボット統合管理システム１００は、ロボット管理システムの一例である。

ロボット統合管理システム１００は、外部システム３１０からの対象物１０の移送や、外部システム３１０への対象物１０の移送に際し、上位システム３２０と連携して、対象物１０のハンドリングを実行するよう、上述した接続されたシステムや機器を、統合的に管理あるいは制御する。具体的に、ロボット統合管理システム１００は、例えば、各種のアイテムや、製品、荷物、箱のような対象物１０について、搬送、ピッキング、箱詰め、荷降ろし、荷積み、開梱、検査、検品等の処理を実行するよう、ロボット２００やマテリアルハンドリング機器２５０を制御する。アイテムは、対象物１０の一例であり、物品や物体とも称される。また、ロボット２００およびマテリアルハンドリング機器２５０は、ロボットシステムとも称されうる。

ロボット統合管理システム１００は、マスタ装置１１０、複数のスレーブ装置１２０、および統合管理データベース１３０を備えている。

マスタ装置１１０は、外部システム３１０と統合管理データベース１３０とのインタフェースとして機能する。また、マスタ装置１１０は、ロボット２００やマテリアルハンドリング機器２５０のような異なる装置間でのアイテムの搬送のようなオペレーションを実行したり、当該オペレーションの最適化を実行したりする。

スレーブ装置１２０は、それぞれ、ロボット２００やマテリアルハンドリング機器２５０と接続され、当該接続された機器を管理または制御する。
マスタ装置１１０は、ロボット統合管理システム１００に接続される装置を切り替える際には、制御対象としてのスレーブ装置１２０を切り替えることにより、マスタ装置１１０や統合管理データベース１３０の変更を最小限に抑えることができる。

［ロボット統合管理システムの概要］
図２は、ロボット統合管理システム１００の構成を示す。図２に示されるように、ロボット統合管理システム１００は、データ管理部１００ａ、データ解析部１００ｂ、オペレーション部１００ｃ、サービス・ＵＩ部１００ｄ、業務管理部１００ｅ、およびＳｏＳ＿ＡＰＩ１００ｆを備えている。

データ管理部１００ａは、データベースを管理する、言い換えると統合管理データベース１３０についてデータの取得、保存、および更新を実行する。

データ管理部１００ａが管理する統合管理データベース１３０は、統合管理データベース１３０と称されうる。統合管理データベース１３０は、例えば、アイテムデータ、ロボットデータ、エンドエフェクタデータ、および稼働データを含む。

アイテムデータは、端末としてのロボット２００やマテリアルハンドリング機器２５０が処理するアイテムの情報である。

ロボットデータは、ロボット２００の情報であり、エンドエフェクタデータは、ロボット２００の一部としてのエフェクタの情報である。エンドエフェクタ２２０は、ハンドとも称されうる。

稼働データは、例えば、ロボット２００の稼働状況やアイテムの処理結果等のような、システムの運用中に発生する情報である。

データ解析部１００ｂは、データ管理部１００ａから必要なデータを取得し、オペレーション部１００ｃによるオペレーションの実行に必要となるデータ解析を実行する。データ解析部１００ｂの解析によって得られたアイテム（対象物１０）に関連付けられたデータは、第二データの一例である。

オペレーション部１００ｃは、データ更新オペレーション、および動作指令オペレーションを実行する。

オペレーション部１００ｃは、データ更新オペレーションにおいては、データ解析部１００ｂでの解析に基づいて、データベースに保存されたデータの成否を判断して当該データを取捨選択したり、複数のデータから新たなデータを生成したりすることにより、データベースのデータを更新する。

オペレーション部１００ｃは、動作指令オペレーションにおいては、データ解析部１００ｂでの解析結果に基づいて、ロボット２００やマテリアルハンドリング機器２５０のそれぞれの稼働状態を制御したり、ロボット２００やマテリアルハンドリング機器２５０のそれぞれに投入するアイテムを制御したり、投入するアイテムに合わせて各ロボット２００のエンドエフェクタ２２０を変更したり、各ロボット２００に動作モードの指示を出したりすることで、ロボットシステムやマテリアルハンドリング機器２５０の制御を実行する。
サービス・ＵＩ部１００ｄは、ユーザインタフェースを介して、データ管理部１００ａに対するデータの入出力を行ったり、データ解析部１００ｂで実施された解析に基づいてメンテナンス情報を外部に提供したり、現場改善情報を外部に提供したりする。また、サービス・ＵＩ部１００ｄは、データ管理部１００ａおよびデータ解析部１００ｂからの情報に基づいて、オペレーション状態を可視化する機能や、遠隔オペレーションを実現するオペレーションデータを受信あるいは送信するオペレーションＵＩ機能を有してもよい。
業務管理部１００ｅは、サービス・ＵＩ部１００ｄやデータ管理部１００ａのデータを活用して、computer aided engineering（ＣＡＥ）や、製品ライフサイクル管理（ＰＬＭ）、enterprise asset management（ＥＡＭ）のような機能を実行する。
system of systems application programing interface（ＳｏＳ＿ＡＰＩ１００ｆ）は、warehouse management system（ＷＭＳ）や、manufacturing execution system）、ＴＭＳ（transportation management system（ＭＥＳ）等の外部のＩＴシステムに接続するためのインタフェースを提供する。

［ピッキングロボットシステムの概要］
図３は、ピッキングロボットシステム２の概略構成図である。ピッキングロボットシステム２は、コントローラ２０１、ロボット２００、センサ２３０、筐体２４０、およびマテリアルハンドリング機器２５０を、備えている。ピッキングロボットシステム２は、対象物１０を把持位置Ｐｈで把持して搬送し、解放位置Ｐｒで解放する。このような動作は、対象物１０の搬送、あるいは対象物１０のピッキングと称されうる。ロボット２００は、マニピュレータとも称されうる。また、コントローラ２０１は、ハンド制御装置とも称されうる。

ロボット２００は、アーム２１０と、エンドエフェクタ２２０と、を備えている。

アーム２１０は、例えば、複数（例えば６個）のサーボモータで回転駆動される回転部２１０ａ〜２１０ｆを有した多関節ロボットである。アーム２１０は、これには限定されず、スカラロボットあるいは直動ロボットであってもよい。また、アーム２１０は、多関節ロボット、スカラロボット、および直動ロボットのうち少なくとも二つの組み合わせであってもよい。アーム２１０は、可動部の一例である。なお、ロボット２００は、ロボットアームとも称されうる。

エンドエフェクタ２２０は、一例としては、図３に示されるような吸着機構を有するが、これには限定されず、例えば、ジャミング機構、挟み込み機構、または多指機構を有してもよい。また、エンドエフェクタ２２０は、吸着機構、ジャミング機構、挟み込み機構、および多指機構のうち少なくとも二つを有してもよい。なお、エンドエフェクタ２２０は、ハンドとも称されうる。

センサ２３０は、力センサ２３１の他、回転部２１０ａ〜２１０ｆに設けられるモータの、トルクセンサや、回転センサ、電流センサであってもよい。コントローラ２０１は、エンドエフェクタ２２０に作用する力を、力センサ２３１の検出値から得てもよいし、各モータの電流値や回転値（回転センサの検出値）から算出してもよい。

また、図３に示されるように、ピッキングロボットシステム２は、複数のカメラ２３２を備えている。カメラ２３２は、センサ２３０の一例であり、画像センサとも称されうる。カメラ２３２は、例えば、ＲＧＢ画像カメラや、距離画像カメラ、レーザーレンジファインダ、laser imaging detection and ranging（ＬｉＤＡＲ）など、画像情報や距離情報（３次元情報）を取得可能なセンサである。カメラ２３２は、観測部の一例である。

また、センサ２３０による対象物１０の計測によって得られたデータは、第一データの一例である。

ピッキングロボットシステム２は、カメラ２３２として、例えば、把持用のカメラ２３２ａ、把持状態確認用あるいはキャリブレーション用のカメラ２３２ｂ、解放用のカメラ２３２ｃ、および仮置き用のカメラ２３２ｄを、備えている。

把持用のカメラ２３２ａは、把持（搬出）する対象物１０が存在している把持位置Ｐｈにおいて、対象物１０およびその周辺領域を撮影かつ検出する。当該把持位置Ｐｈにおいて、対象物１０は、例えばコンテナやパレットのような把持用の容器１１ａ内に収容されている。その場合、把持用のカメラ２３２ａは、容器１１ａ内の一部または全部を撮影かつ検出する。把持位置Ｐｈは、対象物１０の移動開始位置や出発位置とも称されうる。なお、図３では、容器１１ａは、例えばベルトコンベアのような搬送機構としての容器搬送部２５１上に載置されているが、これには限定されない。容器搬送部２５１は、マテリアルハンドリング機器２５０の一例である。容器１１ａは、物品容器や搬入容器とも称されうる。

キャリブレーション用のカメラ２３２ｂは、把持用の容器１１ａ外であるとともに把持位置Ｐｈよりも上方に設定された対象物１０のキャリブレーション位置において、対象物１０を撮影かつ検出する。

解放用のカメラ２３２ｃは、対象物１０を解放（搬入）する解放位置Ｐｒにおいて、当該解放位置Ｐｒおよびその周辺領域を撮影かつ検出する。解放位置Ｐｒにおいて、対象物１０は、例えばコンテナやパレットのような解放用の容器１１ｂ内に収容される。その場合、解放用のカメラ２３２ｃは、容器１１ｂ内の一部または全部を撮影かつ検出する。解放位置Ｐｒは、対象物１０の移動終了位置や到着位置とも称されうる。なお、図３では、容器１１ｂは、例えばベルトコンベアのような搬送機構としての容器搬送部２５２上に載置されているが、これには限定されない。容器搬送部２５２は、マテリアルハンドリング機器２５０の一例である。容器１１ｂは、集荷容器や搬出容器とも称されうる。

仮置き用のカメラ２３２ｄは、把持位置Ｐｈと解放位置Ｐｒとの間で対象物１０を一時的に置いておく仮置位置Ｐｔおよびその周辺領域を撮影かつ検出する。仮置位置Ｐｔにおいて、対象物１０は、例えばテーブルやステージのような仮置き面２６０上に置かれる。その場合、仮置き用のカメラ２３２ｄは、仮置き面２６０の一部または全部を撮影かつ検出する。仮置位置Ｐｔは、対象物１０の途中位置や経由位置とも称されうる。なお、仮置位置Ｐｔは、載置面で無くてもよい。

また、ピッキングロボットシステム２は、センサ２３０として、対象物１０の重量を計測する重量計２３３を備えてもよい。重量計２３３は、把持位置Ｐｈにおいて対象物１０の重量を計測する重量計２３３ａと、解放位置Ｐｒにおいて対象物１０の重量を計測する重量計２３３ｂと、を含む。

筐体２４０内には、例えば、モータのような電動アクチュエータを駆動させるための電源装置や、流体アクチュエータを駆動させるためのボンベ、タンク、コンプレッサー、ユーザインタフェース、各種安全機構など、ピッキングロボットシステム２の種々の部品や機器類が収容されうる。なお、筐体２４０内には、コントローラ２０１が収容されてもよい。

図４Ａ〜図４Ｄは、ロボット２００で使用可能なエンドエフェクタ２２０の例を示す。図４Ａ〜図４Ｃは、吸着式のエンドエフェクタ２２０Ａ〜２２０Ｃを例示する。図４Ａのエンドエフェクタ２２０Ａは、屈曲部２２０ｂを有しているが、図４Ｂのエンドエフェクタ２２０Ｂおよび図４Ｃのエンドエフェクタ２２０Ｃは、屈曲部２２０ｂを有していない。図４Ｂのエンドエフェクタ２２０Ｂは、一つの吸着パッド２２０ａを有するのに対し、図４Ａのエンドエフェクタ２２０Ａおよび図４Ｃのエンドエフェクタ２２０Ｃは、複数の吸着パッド２２０ａを有している。また、図４Ｄは、把持式のエンドエフェクタ２２０Ｄを例示する。エンドエフェクタ２２０Ｄは、複数のフィンガー２２０ｃを有した挟持機構を有している。

ただし、エンドエフェクタ２２０は、図４Ａ〜図４Ｄの例には限定されない。例えば、エンドエフェクタ２２０は、伸縮機構を有してもよい。エンドエフェクタ２２０における吸着パッド２２０ａの大きさや、数、位置のようなスペックは、種々に変更することができる。力センサ２３１はアーム２１０の先端に設けられてもよい。エンドエフェクタ２２０は、力センサ２３１以外のセンサ２３０を有してもよい。エンドエフェクタ２２０に屈曲部２２０ｂを動かすアクチュエータとしてのモータのトルクを計測するトルクセンサが設けられてもよい。また、コントローラ２０１は、モータの電流値やエンコード信号から、エンドエフェクタ２２０に作用する力を検出したり推定したりしてもよい。

図４Ｅは、エンドエフェクタ情報の例を示す。エンドエフェクタ２２０には、それぞれ、エンドエフェクタＩＤが付与されている。エンドエフェクタ２２０の特徴情報には、エンドエフェクタ２２０のタイプ、関節情報、吸着パッド数、吸着パッド情報、フィンガー数、フィンガー情報、外形情報、力センサ２３１の有無の区別、等がある。特徴情報を示すデータは、それぞれ、エンドエフェクタＩＤに対応付けて、統合管理データベース１３０に記憶されている。ロボット２００は、アーム２１０に、複数の異なるエンドエフェクタ２２０を交換して装着できるよう、構成されている。エンドエフェクタチェンジャ（不図示）は、ロボット統合管理システム１００からの指示にしたがって、エンドエフェクタ２２０を交換することができる。

［ピッキングロボットシステムのコントローラ］
図５は、コントローラ２０１のブロック図である。コントローラ２０１は、例えば、統合部２０１ａ、画像処理部２０１ｂ、信号処理部２０１ｃ、把持計画生成部２０１ｄ、解放計画生成部２０１ｅ、動作計画生成部２０１ｆ、ロボット制御部２０１ｇ、周辺機器・Ｉ／Ｏ制御部２０１ｈ（I／Ｏ：インプットアウトプット）、学習制御部２０１ｉ、エラー検出部２０１ｊ、および内部データベース２０１ｋを有している。コントローラ２０１は、制御装置とも称されうる。

統合部２０１ａは、ロボット統合管理システム１００からの入力情報や、ピッキングロボットシステム２の状態、センサ２３０による検出値に基づいて、ピッキングロボットシステム２の作業計画の生成や、運用、管理を実行する。

画像処理部２０１ｂは、カメラ２３２から得られた画像や情報（検出値）を処理し、動作計画や、動作制御、エラー検出、学習等に必要な情報を生成する。

信号処理部２０１ｃは、センサ２３０から得られた情報（検出値）を処理し、動作計画や、動作制御、エラー検出、等に必要な情報を生成する。

把持計画生成部２０１ｄは、ロボット２００による対象物１０の把持方法や、把持位置Ｐｈや把持姿勢、必要な個所が周囲環境に干渉することなく把持位置Ｐｈおよび把持姿勢に移動可能な経路および経由点を算出する処理を、実行する。ここで、必要な個所とは、例えば、ロボット２００の全体やアーム２１０等の一部である。一方で、本実施形態のピッキングロボットシステム２では、力の制御が可能であるため、吸着パッド２２０ａや弾性関節部などある程度の柔軟性を持つ部分に関しては、多少の接触を許容してもよい。

解放計画生成部２０１ｅは、ロボット２００が把持した対象物１０を容器１４０ｂに箱詰めしたり設置したりする場所における例えば押し付けのような設置方法や、把持方法、解放方法、解放位置Ｐｒや解放姿勢、必要な個所が周囲環境に干渉することなく解放位置Ｐｒおよび解放姿勢に移動可能な経路および経由点を算出する処理を、実行する。解放計画生成部２０１ｅは、計画生成部の一例である。なお、解放姿勢は、解放する直前までの把持姿勢と略同じである。

動作計画生成部２０１ｆは、統合部２０１ａからの指示にしたがって、ロボット２００が現在位置から移動可能な経路（経由点）を経由して把持位置Ｐｈや、仮置位置Ｐｔ、解放位置Ｐｒ等に移動するよう、動作方法や、動作速度、動作経路等のロボット動作情報の算出を実行する。

ロボット制御部２０１ｇは、把持計画生成部２０１ｄ、解放計画生成部２０１ｅ、あるいは動作計画生成部２０１ｆで生成されたロボット動作情報および統合部２０１ａからの各種の動作切り替え指示等にしたがって、ロボット２００を含むピッキングロボットシステム２を制御する。また、ロボット制御部２０１ｇは、統合部２０１ａから取得した各種姿勢情報や軌道計画情報等に従い、ロボット２００を制御する。

周辺機器・Ｉ／Ｏ制御部２０１ｈは、各種搬送機器の制御や、安全ドアなどの周辺機器４００の制御、各種センサ情報の取得、照明の制御等のための、インプットアウトプット（Ｉ／Ｏ）制御を実行する。

学習制御部２０１ｉは、ロボット２００の振動抑制など動作精度向上のためのロボットモデル学習や、対象物１０の把持性能向上のための把持制御パラメータ学習、把持データベース学習、作業計画の実施性能を向上のためのエラー検知学習、等の学習機能を制御する。本実施形態では、力制御において、状況に応じてパラメータの最適な値が選択される。これらの値は人間が経験値から設定してもよいが、機械学習の結果を適用することで、より省力化しながら、より効率の高い処理を実現することができる。

エラー検出部２０１ｊは、ピッキングロボットシステム２の状態、作業計画の実施状態、駆動制御状態、対象物１０の把持、搬送の状態等を観測し、エラーを検知する。このエラー検知は、例えば、力センサ２３１の出力や当該出力を手先座標に変換した値、それらの値をローパスフィルタに通したものを観測し、既定の値を超えたらエラーと判断することで実現できる。この結果、処理中の作業を中断し、その後リカバリ動作に移るなどの処理が可能となる。

内部データベース２０１ｋは、例えば、ロボットデータベース、ハンドデータベース、アイテムデータベース、把持データベース、および環境データベース（いずれも不図示）を含んでいる。

ロボットデータベースには、例えば、ピッキングロボットシステム２の構造、各部の寸法や重量、慣性モーメント、各駆動部の動作範囲や速度、およびトルク性能が、保存されている。

エンドエフェクタデータベースには、例えば、エンドエフェクタ２２０の機能、およびエンドエフェクタ２２０の把持の特性に関する情報が、保存されている。

アイテムデータベースには、例えば、対象物１０の名称、識別番号、カテゴリ、全面の画像情報、ＣＡＤモデル情報、重量情報、および把持時の特性情報（柔らかい、壊れやすい、形が変わる等）が、保存されている。

把持データベースには、例えば、対象物１０について、エンドエフェクタ２２０の把持方法ごとに、把持可能位置、把持可能姿勢、把持のしやすさなどのスコア情報、把持時の押し込み可能量、把持判定のための判定閾値、およびエラー検知のための判定閾値が、保存されている。ここで、把持方法は、例えば、吸着方式、並行２指方式、平行４指方式、または多関節方式である。

環境データベースには、例えば、ピッキングロボットシステム２が対応している作業台情報、およびピッキングロボットシステム２の動作範囲や周囲の障害物Ｏを示すような周囲環境情報が、保存されている。

学習制御部２０１ｉでの学習結果や、内部データベース２０１ｋの情報は、逐次、ロボット統合管理システム１００のデータ管理部１００ａと関連付けられたロボット統合管理システム１００の統合管理データベース１３０の情報と共有される。

このような構成において、オペレーション部１００ｃは、データ管理部１００ａで管理されている統合管理データベース１３０におけるデータの有無やデータ量に応じて、ロボット２００の動作モードの変更やエンドエフェクタ２２０の交換を、コントローラ２０１に指示する。コントローラ２０１は、当該指示にしたがって、対象物１０に対する処理内容を変更する。すなわち、本実施形態では、ロボット２００の動作は、統合管理データベース１３０におけるデータの蓄積状態に応じて変化する。

本実施形態のハンドリングシステム１では、データ管理部１００ａによって管理されている統合管理データベース１３０におけるデータの記録状態、言い換えると、記録されているデータの種別や、データの有無、データのステータス、データの値、等に基づいて、オペレーション部１００ｃは、ロボット２００の動作モードの変更やエンドエフェクタ２２０の交換指示を実行する。そして、ロボット２００は指示内容にしたがって、ハンドリング対象に対する処理内容を変更する（データベースのデータの記録状態でロボット動作を切り替え）。

［統合アイテムデータベースおよび状態遷移］
図６は、統合管理データベース１３０のコンテンツのひとつである統合アイテムデータベースのデータの記録状態およびエンドエフェクタ２２０の設定に関する状態遷移図を示す。また、図７Ａおよび図７Ｂは、統合アイテムデータベースのレコードの例を示す。アイテムは、エンドエフェクタ２２０による処理の対象物１０の一例である。統合アイテムデータベースのレコードは、アイテムＩＤ毎に生成される。

図７Ａは、アイテム情報テーブルと称される。アイテム情報テーブルは、ステータスや、アイテムの分類であるアイテムタイプ、アイテム重量の他、各種の取り扱いフラグ等について、情報（データ）のフィールドを有している。また、図７Ｂは、エンドエフェクタ情報テーブルと称される。エンドエフェクタ情報テーブルは、アイテムの各把持面について、把持面のサイズや、各エンドエフェクタ２２０の適合性等について、情報（データ）のフィールドを有している。

図６に示されるように、統合アイテムデータベースは、基本状態として、「ＳＴ１：アイテム初期登録状態」、「ＳＴ２：エンドエフェクタ仮決定状態」、「ＳＴ３：エンドエフェクタ確定状態」、「ＳＴ４：ハンドリング非対応」を有するとともに、それら基本状態の間の中間状態として、「ＳＴ５：アイテム登録更新中状態」、「ＳＴ６：モデル更新中状態」、「ＳＴ７：エンドエフェクタ登録更新中状態」、および「ＳＴ８：新エンドエフェクタ更新中状態」を有しており、統合アイテムデータベースは、これら八つのステータスの間で遷移する。なお、本実施形態では、データ管理部１００ａが、統合アイテムデータベースの記録の登録や書き換え等を実行する。

「ＳＴ１：アイテム初期登録状態」は、データ管理部１００ａが、処理対象のアイテムに対し、新たなアイテムＩＤを発行し、新規にレコードを生成した状態である。

「ＳＴ２：エンドエフェクタ仮決定状態」は、データ管理部１００ａが、処理対象のアイテムに対し、当該アイテムを把持できる可能性のあるエンドエフェクタ２２０を一つ以上仮登録した状態である。エンドエフェクタ仮決定状態は、第一状態の一例である。

「ＳＴ３：エンドエフェクタ確定状態」は、処理対象のアイテムのピッキング動作が一回以上実行され、データ解析部１００ｂが、当該アイテムの形状情報を取得する等のモデル化を完了し、データ管理部１００ａが、当該アイテムを把持するのに適したエンドエフェクタ２２０を確定した状態である。エンドエフェクタ確定状態は、第二状態の一例である。

「ＳＴ４：ハンドリング非対応」は、データ解析部１００ｂが、処理対象のアイテムのロボット２００によるピッキングが困難であると判定し、ロボット２００によるハンドリングを実行しないことを決定した状態である。

「ＳＴ５：アイテム登録更新中状態」は、データ解析部１００ｂが、処理対象のアイテムについて、当該処理対象のアイテムが撮影された情報等に基づいて、エンドエフェクタ２２０のそれぞれについて把持できる可能性を、計算機上で演算しかつ評価し、かつデータ管理部１００ａが、レコードの状態を変更している途中の状態である。

「ＳＴ６：モデル更新中状態」は、データ解析部１００ｂが、複数回のピッキングにおいて計測された処理対象のアイテムの形状に基づいて、当該アイテムのモデル化を行い、かつデータ管理部１００ａが、レコードの状態を変更している途中の状態である。

「ＳＴ７：エンドエフェクタ登録更新中状態」は、データ管理部１００ａが、モデル化されたアイテムのデータに基づいて、処理対象のアイテムの把持に適したエンドエフェクタ２２０やアイテムの把持面毎に適したエンドエフェクタ２２０の情報を変更している状態である。

「ＳＴ８：新エンドエフェクタ更新中状態」は、データ管理部１００ａが、モデル化されたアイテムのデータのデータおよび実際の把持の成功や失敗などの稼働データに基づいて、新たなエンドエフェクタ２２０に関連した情報を変更している状態である。

［ピッキング統合管理処理］
図８は、ハンドリングシステム１による新規アイテムの登録からピッキングまでの手順、および統合アイテムデータベースの更新の手順を示すフローチャートである。

Ｓ０−１のステップにおいて、ロボット統合管理システム１００は、ＳｏＳ＿ＡＰＩ１００ｆを通して、ＷＭＳのような外部システム３１０からピッキング作業指示を受ける。オペレーション部１００ｃは、受信したピッキング作業指示データを、データ管理部１００ａで管理されている統合管理データベース１３０の情報と照合する。ピッキング作業指示のあったアイテムが未登録アイテムであった場合、データ管理部１００ａは、新規アイテムＩＤを発行し、統合管理データベース１３０の統合アイテムデータベースにレコードを追加する。この際、データ管理部１００ａは、統合アイテムデータベースのステータスのフィールドを「ＳＴ１：アイテム初期登録状態」に設定する。

Ｓ０−２のステップにおいて、オペレーション部１００ｃは、複数のロボット２００のうち作業指示受付が可能なロボット２００のコントローラ２０１に、撮影登録モードを実行するよう指示を出すとともに、マテリアルハンドリング機器２５０に対して、当該ロボット２００の容器搬送部２５１に容器１１ａを移動するよう、指示を出す。指示を受けたコントローラ２０１は、撮影登録モードによる動作を実行する。この動作では、ロボット２００は、指定されたアイテムのピッキング動作は行わず、カメラ２３２によるアイテムの撮影と、把持計画等の計画作成を実行する。そして、コントローラ２０１は、撮影データおよび作成された計画等の関連情報を、ロボット統合管理システム１００に返信する。データ管理部１００ａは、受信したデータに基づいて、統合アイテムデータベースにおける当該アイテムＩＤに対応するレコードを更新する。この更新作業中は統合アイテムデータベースの状態は「ＳＴ５：アイテム登録更新中」の状態である。撮影登録モードは、動作モードおよび第一モードの一例であって、形状登録モードは、動作モードおよび第二モードの一例である。

Ｓ０−３のステップにおいて、データ解析部１００ｂは、統合管理データベース１３０の情報を用いて、当該アイテムを処理可能なエンドエフェクタ２２０を仮決定するためのエンドエフェクタ仮決定処理を実行する。このエンドエフェクタ仮決定処理において、データ解析部１００ｂは、把持計画に対応した各エンドエフェクタ２２０による把持の評価値に基づいて、最も安定して把持できる可能性のあるエンドエフェクタ２２０をプライマリエンドエフェクタと仮決定し、当該プライマリエンドエフェクタよりも評価値は低いものの把持できる可能性のあるエンドエフェクタ２２０をケイパブルエンドエフェクタと仮決定する。

データ解析部１００ｂが、Ｓ０−３の仮決定処理において、処理可能なエンドエフェクタ２２０が無いと判断した場合（Ｓ０−４でＮ）、オペレーション部１００ｃは、統合アイテムデータベースの撮影登録処理の失敗カウントをインクリメントし、手順はＳ０−１５へ移行する。

Ｓ０−１５のステップにおいて、撮影登録処理の失敗カウントが規定回数を超えた場合（Ｓ０−１５でＮ）、手順はＳ０−１６に移行し、データ管理部１００ａは、当該アイテムのステータスのフィールドを「ＳＴ４：ハンドリング非対応状態」に変更し、処理を完了する。他方、Ｓ０−１５のステップにおいて、撮影登録処理の失敗カウントが規定回数を超えていない場合には（Ｓ０−１５でＹ）、ステータスのフィールドは「ＳＴ１：アイテム初期登録状態」のまま維持され、手順はＳ０−２へ戻る。

データ解析部１００ｂが、Ｓ０−３の仮決定処理において、処理可能なエンドエフェクタ２２０を仮決定した場合（Ｓ０−４でＹ）、Ｓ０−５のステップにおいて、データ管理部１００ａは、アイテム情報テーブルのステータスのフィールドを「ＳＴ２：エンドエフェクタ仮決定状態」に変更する。

Ｓ０−６のステップにおいて、仮決定された全てのプライマリエンドエフェクタおよびケイパブルエンドエフェクタが、現在処理を行っているロボット２００に装着可能なエンドエフェクタ２２０でない場合、データ管理部１００ａは、当該エンドエフェクタ２２０が装着可能なロボット２００を検索し、オペレーション部１００ｃは、当該エンドエフェクタ２２０が装着可能なロボット２００（言い換えると別のロボット２００）に対して形状登録モードでの動作の実行を指示する。さらに、マテリアルハンドリング機器２５０に対して、当該する機体の容器搬送部２５１に容器１１ａを移動するよう、指示を出す。仮決定されたエンドエフェクタ２２０が現在処理を行っているロボット２００に装着可能なエンドエフェクタ２２０である場合には、オペレーション部１００ｃは当該ロボット２００に形状登録モードでの動作の実行を指示する。

Ｓ０−７のステップにおいて、指示を受けたロボット２００は、形状登録モードでの動作を実行する。この動作では、指定された仮決定エンドエフェクタを用いて、実際にアイテムのピッキングを実行する。ただし、この時点では、アイテム統合データベース中のアイテムデータが不完全あるいは不足気味であるため、動作速度が所定速度以下に制限される。また、アイテムの形状をより詳細に把握するため、ピッキングロボットシステム２（コントローラ２０１）は、把持用のカメラ２３２ａや重量計２３３ａ等により、アイテムのより詳細な計測処理を実行する。形状登録モードでのピッキング動作では、ピッキングロボットシステム２は、処理対象のアイテムの把持動作を実施し、把持が可能であった場合には、把持したアイテムを把持用のカメラ２３２ｂの計測可能領域に運び、把持しているアイテムの形状や特性を計測する。その後、ピッキングロボットシステム２は、把持したアイテムを集荷用（解放用）の容器１１ｂ内に箱詰めし、重量計２３３ｂにより、重量の計測を実施する。そして、ピッキング処理結果およびアイテムの計測結果等の関連情報をロボット統合管理システム１００に返信する。データ管理部１００ａは、受信したデータにより、統合管理データベース１３０の統合アイテムデータベースにおける当該アイテムＩＤに関する情報を更新する。この更新作業中は、統合アイテムデータベースの状態は「ＳＴ６：モデル更新中」の状態である。

Ｓ０−８のステップにおいて、データ解析部１００ｂは、形状登録モードでの動作により得られたデータを解析し、アイテム情報を更新する。計測された形状や重量等のデータに基づいて、アイテムをモデル化し、それらの情報からアイテムの各把持面に対して、複数種のエンドエフェクタ２２０の把持適合性等を評価する。そして、データ管理部１００ａは、実際に把持が可能であったエンドエフェクタ２２０、または最も安定して把持が可能と推定されるエンドエフェクタ２２０を、アイテム統合データベースに、当該アイテムにおけるプライマリエンドエフェクタとして登録する。また、データ管理部１００ａは、当該プライマリエンドエフェクタよりも評価値は低いものの把持できる可能性が高いエンドエフェクタ２２０を、アイテム統合データベースに、当該アイテムにおけるケイパブルエンドエフェクタとして登録する。さらに、データ解析部１００ｂは、アイテムの形状および特性情報を解析し、アイテムのタイプを判定する。

Ｓ０−９のステップにおいて、形状登録モードでの動作が失敗であった場合には、オペレーション部１００ｃは、形状登録処理の失敗カウントをインクリメントし、手順はＳ０−１７へ移行する。

Ｓ０−１７において、全てのエンドエフェクタの形状登録処理の失敗カウントが規定回数を超えた場合（Ｓ０−１７でＮ）、手順はＳ０−１６に移行し、データ管理部１００ａは、当該アイテムのステータスのフィールドを「ＳＴ４：ハンドリング非対応状態」に変更し、処理を完了する。また、当該アイテムに対するプライマリエンドエフェクタの形状登録処理の失敗カウントが規定回数を超えた場合、ケイパブルエンドエフェクタの中で最も安定して把持できる可能性の高いエンドエフェクタ２２０をプライマリエンドエフェクタに変更する。また、形状登録モードでの動作が成功した場合、形状登録処理の成功カウントをインクリメントする。この更新作業中は統合アイテムデータベースの状態は「ＳＴ８：新エンドエフェクタ登録更新中」の状態である。

Ｓ０−１０のステップにおいて、データ解析部１００ｂによる解析によりアイテムがモデル化され、アイテム統合データベース中の各種のフラグ、適合性等のような、アイテムデータの特性関連の情報が充足したような場合には、手順はＳ０−１１のステップに移行し、データ管理部１００ａは、統合アイテムデータベースのステータスのフィールドを「ＳＴ３：エンドエフェクタ確定状態」に変更する。他方、Ｓ０−１０のステップにおいて、アイテム統合データベース中のアイテムのデータが充足していない場合には、ステータスのフィールドは、「ＳＴ２：エンドエフェクタ仮決定状態」のまま維持される。また、形状登録処理の結果、受け取ったピッキング作業指示に対応する動作がすべて完了した場合、オペレーション部１００ｃは、ロボット２００に対して、容器１１ｂの掃き出し指示を出し、さらに、データ管理部１００ａは、業務管理部１００ｅおよびＳｏＳ＿ＡＰＩ１００ｆを通して、外部システム３１０にピッキング作業の完了を通知する。

Ｓ０−１２のステップにおいて、オペレーション部１００ｃは、ピッキング作業指示が完了していない場合、ピッキングロボットシステム２（コントローラ２０１）に対して、次のアイテムのピッキング処理の実行を指示する。その際、更新された統合アイテムデータベースの情報に従い、ステータスのフィールドが「ＳＴ３：エンドエフェクタ確定状態」である場合、オペレーション部１００ｃは、通常モードでの動作の実行を指示する。ステータスのフィールドが「ＳＴ２：エンドエフェクタ仮決定状態」の場合、手順はＳ０−５からＳ０−６に移行し、オペレーション部１００ｃは、形状登録モードでの動作の実行を指示する。通常モードは、動作モードおよび第三モードの一例である。

Ｓ０−１３のステップにおいて、ロボット２００は、通常モードで動作する場合、アイテムの形状計測などの詳細な計測は実行せず、把持対象物の姿勢推定のみを行い、より高速にピッキング処理を実行する。そして、随時ピッキングの成功および失敗や処理時間のような処理にかかわる情報をロボット統合管理システム１００に通知する。通常モードは、姿勢推定モードとも称されうる。通常モードでのアイテムの移動速度は、形状登録モードでの同じアイテムの移動速度よりも高く設定される。

Ｓ０−１４のステップにおいて、データ管理部１００ａは、これらの処理結果をデータベースに蓄積する。データ解析部１００ｂおよびオペレーション部１００ｃは、蓄積された情報から、処理の成功率などに合わせて、プライマリエンドエフェクタとケイパブルエンドエフェクタの変更、更新等を行う。そして、オペレーション部１００ｃは、容器１１ｂが満杯になった場合には、容器１１ｂの交換指示を行うとともに、オーダーされたピッキング作業指示がすべて完了した場合、容器１１ｂの掃き出し指示を行い、さらに、データ管理部１００ａは、業務管理部１００ｅおよびＳｏＳ＿ＡＰＩ１００ｆを通してピッキング作業完了を外部システム３１０に通知する。

このように、実施形態のハンドリングシステム１は、エンドエフェクタ２２０の特性をモデル化し、統合管理データベース１３０において管理している。また、統合管理データベース１３０は複数のロボット２００間で共用されている。よって、本実施形態によれば、アイテムデータの更新の処理を各ロボット２００が行う必要はなく、ロボット統合管理システム１００は、統合管理データベース１３０を、異なるエンドエフェクタ２２０を持った複数のロボット２００で得られたデータによって更新するので、より迅速に、データベースを拡充することができる。

［撮影登録モードでの動作］
図９は、ピッキングロボットシステム２の撮影登録モードでの処理の手順を示す。撮影登録モードでの動作において、ピッキングロボットシステム２は、アイテム（対象物１０）の撮影と、ロボット２００の内部データベース２０１ｋで設定された条件に対して、把持計画などの計画演算の評価値の算出と、を行う。

Ｓ１−１において、ロボット統合管理システム１００から撮影登録モードでの動作指示を受け取ると、コントローラ２０１は、内部データベース２０１ｋの更新を実行する。

Ｓ１−２において、ピッキングロボットシステム２は、カメラ２３２ｂ、あるいは光電センサやマイクロスイッチのようなセンサによって、容器１１ａの到着を確認すると、Ｓ１−３において、カメラ２３２ｂによって、容器１１ａの内部を撮影する。

Ｓ１−４において、画像処理部２０１ｂは、撮影した画像から、アイテムの有無を判定するとともに、アイテムの把持可能面の識別を実行する。さらに、画像処理部２０１ｂは、アイテムの把持可能面の形状や大きさ、３次元空間内での位置姿勢等の把持面情報を算出する。

Ｓ１−５において、把持計画生成部２０１ｄは、把持面情報から、ロボット２００がアイテムの把持可能面を把持するための複数の把持位置姿勢情報を算出する把持計画演算を実行する。この際、更新された内部データベース２０１ｋに登録されたすべての種類のエンドエフェクタモデルに対して、把持計画演算を行う。ここで、把持計画生成部２０１ｄは、把持位置姿勢情報に、各把持位置姿勢の安定性や信頼性などを示す評価値を付与するとともに、コンテナや把持対象以外のアイテムなどの周囲環境の情報や把持面情報やアイテム統合データベースの情報に基づいて、力制御を伴うエンドエフェクタ２２０の押しつけ方向や押し付ける力の大きさ、力制御の移動許容範囲等の情報を付加する。

Ｓ１−６において、統合部２０１ａは、把持対象となるアイテム、把持位置、および把持姿勢を選択し、動作計画生成部２０１ｆは、ロボット２００の現在位置から把持位置姿勢に至るロボット動作情報を生成する。統合部２０１ａは、ロボット動作情報に、衝突の可能性や、処理速度の推定値のような、経路の評価値を付与する。

Ｓ１−７において、統合部２０１ａは、外部インタフェースを介して、内部データベース２０１ｋに登録されたすべての種類のエンドエフェクタモデルにおける把持位置姿勢やロボット動作情報を、ロボット統合管理システム１００に通知し、撮影登録モードの処理を完了する。

［把持計画］
図１０Ａは、エンドエフェクタ２２０の一例を示し、図１０Ｂは、吸着パッド２２０ａによる吸着パターンを示す。図１０Ａに示されるエンドエフェクタ２２０は、平面に沿う５つの吸着パッド２２０ａを有しており、これら吸着パッド２２０ａは、それぞれ、吸着のオンおよびオフを切り替えることができる。よって、図１０Ｂに示されるように、様々な状態の吸着パターンによってアイテムを吸着することができる。図１０Ｂにおいては、ドットパターンが付与された円が吸着を実行するオンの吸着パッド２２０ａであり、白抜きの円が吸着を実行しないオフの吸着パッド２２０ａであり、外周の正方形がエンドエフェクタ２２０の外周を示している。把持計画を行うためのエンドエフェクタ２２０のモデル化にあたっては、エンドエフェクタ２２０の吸着端面の中心（図心、重心）に対する各吸着パッド２２０ａの位置、吸着パッド２２０ａの直径、エンドエフェクタ２２０の外形寸法などを指定すれば良い。図１０Ｃは、コントローラ２０１による画像処理に基づく容器１１ａ内に置かれたアイテムの画像処理による認識例を示す。ここで、破線の領域は、把持の可能性がある把持平面の外接四角形すなわち把持可能領域Ａ１である。破線内の実線の領域が実際に計測され認識された平面Ｐ１であり、これは把持可能領域Ａ１のマスク情報と称される。把持計画では、図１０Ｂに示されるように、指定されたエンドエフェクタモデルをもとに、図中（Ａ）〜（Ｈ）のような吸着パッド２２０ａのパターンをリスト化する。そして、各把持可能面の把持可能領域Ａ１を示すマスク情報に対し、リスト化された各パターンにおけるオンの吸着パッド２２０ａの領域が内包されるか否かを、エンドエフェクタ２２０の姿勢を変化させながら、チェックする。

把持計画生成部２０１ｄは、オンの吸着パッド２２０ａの領域がマスク情報に内包されている状態を把持可能状態と判定し、そのパッドパターンと把持位置姿勢を把持位置姿勢候補とする。把持計画生成部２０１ｄは、これらの判定を、例えばマスク領域を０と１で表したビットマップとし、かつ有効な吸着パッド２２０ａの領域を０と１で表したビットマップとし、両者のコンボリューションを行うことで、実行することができる。ここで、コンボリューション後の値が、オンの吸着パッド２２０ａのビットマップの１の総和と一致している部分が、オンの吸着パッド２２０ａの領域がマスク情報に内包された部分であると判定することができる。

次に、把持位置姿勢候補ごとに算出される把持の安定性や信頼性を示す評価値の具体例について説明する。例えば、内包されるオンの吸着パッド２２０ａの領域がより広いほどより安定的に把持できると考えられるため、オンの吸着パッド２２０ａの領域の面積が大きいほど評価値が高く設定される。また、把持力は、オンの吸着パッド２２０ａの領域の面積とそこに発生する真空度の積で求めることができるため、把持対象となるアイテムの重量に対する把持力の比が大きいほど評価値が高く設定されてもよい。また、把持位置が物体の重心に近いほどより安定的に把持できると考えられるため、把持位置が重心（図心）に近いほど評価値が高く設定されてもよい。また、把持時にエンドエフェクタ２２０が周囲の物体に衝突する可能性を考慮し、エンドエフェクタ２２０の外周（外縁）の周囲の物体からの距離が大きいほど評価値が高く設定されてもよい。なお、ここでは、吸着型のエンドエフェクタ２２０について説明されたが、＜ｈｔｔｐｓ：／／ｗｗｗ．ｊｓｔａｇｅ．ｊｓｔ．ｇｏ．ｊｐ／ａｒｔｉｃｌｅ／ｊｒｓｊ１９８３／９／１／９＿１＿８５／＿ｐｄｆ／−ｃｈａｒ／ｊａ＞にあるように、多指タイプのエンドエフェクタ２２０についても同様に把持計画を作成することができる。この場合、フィンガー２２０ｃの開く幅が狭いほど評価値が高く設定されてもよいし、フィンガー２２０ｃの接触面積が大きいほど評価値が高く設定されてもよい。

このような把持計画処理は、エンドエフェクタ２２０のモデルが統合管理データベース１３０に登録されていれば、ハンドリングシステム１に実際に設置されていないエンドエフェクタ２２０や、エンドエフェクタ２２０とは交換可能ではないエンドエフェクタ２２０についても、把持計画を作成することができる。

［エンドエフェクタ仮決定処理］
図１１Ａは、容器１１ａ内に配置された同種の複数のアイテムを示し、図１１Ｂは、図１１Ａの複数のアイテムについて撮影登録モードの動作で得られた評価値のリストを示す。ここでは、同種の複数のアイテムについての評価値について検討する。このため、図１１Ａの容器１１ａに収められているアイテム（対象物１０）は、全て同じ種類の、同一アイテムであり、アイテムＩＤは同一である。図１１Ｂのリストでは、図４Ａ〜図４Ｄに示された４つの異なるエンドエフェクタ２２０Ａ〜２２０Ｄ（２２０）に対して、計測された把持面毎に各エンドエフェクタ２２０の把持計画による評価値の評価値最大値および評価値平均値が記録されている。また、これらの処理は、計測の結果であるため、データの登録状態は、計測結果を示す”Ｄ”というラベルが付与されている。

図１１Ｃに仮決定処理の手順の一例を示す。Ｓ２−１では、データ解析部１００ｂは、エンドエフェクタ仮決定のために、検出された把持面の計測結果のグルーピングまたは、クラスタリング処理を行う。これは、あらかじめ定められた条件へのマッチングや、統計的な評価、ディープニューラルネットワーク等の機械学習を用いて実行することが可能である。

ここで、図１１Ｄは、統合管理データベース１３０に含まれる統合アイテムデータベースのアイテム情報であり、図１１Ｅは、統合アイテムデータベースのエンドエフェクタ情報である。図１１Ｄおよび図１１Ｅの例では、データ解析部１００ｂは、アイテム（対象物１０）は、３辺の長さが異なる直方体と分類したため、図１１Ｄのアイテム情報中のアイテムタイプは、ＢＯＸ型である。また、データ解析部１００ｂは、同アイテムのサイズが十分に大きいと判断したため、図１１Ｄのアイテム情報中の小物フラグは、小物でないことを示す０である。

次に、図１１ＣのＳ２−２では、データ解析部１００ｂは、把持面の計測結果を分類する。ここでは、データ解析部１００ｂは、複数の把持面の計測結果を、異なるサイズである直方体の３面に分類し、識別番号を付ける。

Ｓ２−３では、データ解析部１００ｂは、エンドエフェクタ２２０の適合性を評価し、エンドエフェクタ情報に記録して、処理を終了する。ここで、エンドエフェクタ仮決定処理で行われる処理は、暫定的な評価であるため、各データの登録状態には、仮決定を表す“Ｐ”というラベルが記録される。

Ｓ２−３の適合性評価では、あらかじめ決められた評価値の基準を用いて、把持可能と予測されるエンドエフェクタ２２０、把持が不可能と予測されるエンドエフェクタ２２０を分類することができる。例えば、データ解析部１００ｂは、各把持面に対し、評価値が０．３以下のものは把持できない可能性が高いとみなして、適合性を「非ケイパブル」とする。データ解析部１００ｂは、評価値が０．３より大きいものは、把持が可能であるとみなして、適合性を「ケイパブル」とする。さらに、データ解析部１００ｂは、各把持面に対して、最も評価値の最大値が大きいケイパブルであるエンドエフェクタを「プライマリ」とする。例えば、把持面ＴＳ２が、把持面ＭＳ２に分類されており、当該把持面ＴＳ２に対する最も評価値の最大値が大きいエンドエフェクタ２２０が、エンドエフェクタｃである場合、データ解析部１００ｂは、把持面ＴＳ２についてエンドエフェクタｃの適合性を「プライマリ」であると判定する。同様に、把持面ＴＳ２が、計測データである把持面ＭＳ２，ＭＳ３に分類されており、当該把持面ＴＳ２に対する最も評価値の最大値が大きいエンドエフェクタ２２０が、エンドエフェクタａである場合、データ解析部１００ｂは、把持面ＴＳ２についてエンドエフェクタａの適合性を「プライマリ」であると判定する。最後に、データ解析部１００ｂは、総合評価として、いずれかの把持面が「ケイパブル」または「プライマリ」であるエンドエフェクタ２２０の総合的な適合性を「ケイパブル」とする。ここで、全ての把持面に対して「非ケイパブル」である場合、データ解析部１００ｂは、当該エンドエフェクタ２２０の総合的な適合性を「非ケイパブル」とし、最も評価値の最大値が大きいエンドエフェクタ２２０の総合的な適合性を「プライマリ」とする。ここで、「プライマリ」、「ケイパブル」、「非ケイパブル」等の判定を、評価値の最大値を用いて説明した。最大値を利用した方法は、処理が簡便で、高速であるという特徴がある。一方で、平均値を用いたり、最大値、最小値、平均値等の組み合わせを用いたり、複数のデータの分散、外れ値を考慮したり、クラスタリングを用いるなど、統計的な評価を行ったり、ディープニューラルネットワーク等の機械学習を行ったりすることにより、より精度の高い判定を実施可能な場合もある。

［形状登録モードでの動作］
図１２は、ハンドリングシステム１の形状登録モードでの処理の手順を示す。形状登録モードでの動作では、ピッキングロボットシステム２は対象物１０の把持動作を実行する。この際、ピッキングロボットシステム２（コントローラ２０１）は、把持用のカメラ２３２ａ、キャリブレーション用のカメラ２３２ｂ、解放用のカメラ２３２ｃ、仮置き用のカメラ２３２ｄ、重量計２３３によるアイテム（対象物１０）の計測処理を実行する。

まず、Ｓ３−１において、統合部２０１ａは、外部インタフェースを経て、外部システム３１０からアイテムの搬送指示（ピッキング指示）を受け取る。

Ｓ３−２において、統合部２０１ａは、カメラ２３２ａのようなセンサ２３０や、光電センサ、マイクロスイッチ等により、容器１１ａの把持位置Ｐｈへの到着を検知する。

Ｓ３−３において、統合部２０１ａは、アイテムの把持位置Ｐｈおよびその周辺、例えばアイテムが収容されている容器１４０ａ内を、撮像するよう、カメラ２３２ａを制御する。

Ｓ３−４において、画像処理部２０１ｂは、カメラ２３２ａが撮影した画像から、アイテムの有無の判定、アイテムの把持可能面の識別を実行する。さらに、画像処理部２０１ｂは、アイテムの把持可能面の形状や、大きさ、３次元空間内での位置や姿勢のような、把持面情報を算出する。

Ｓ３−５において、把持計画生成部２０１ｄは、把持面情報に基づいて、ロボット２００がアイテムの把持可能面を把持するための複数の把持情報を算出する。把持情報には、把持位置情報や把持姿勢情報が含まれる。ここで、把持計画生成部２０１ｄは、容器１１ａ内のアイテム以外の物体（周辺部品）などの把持位置Ｐｈの周辺情報や、把持面情報やアイテムデータベースの情報に基づいて、例えば、後述の力制御を実行する際の、エンドエフェクタ２２０の移動方向や、押付力の大きさ、移動許容範囲のような付加情報を算出し、これを把持情報に付加する。

Ｓ３−６において、統合部２０１ａは、把持情報に基づいて、把持対象とするアイテム、その把持位置Ｐｈ、および把持姿勢を、選択あるいは決定する。そして、動作計画生成部２０１ｆは、ロボット２００の現在位置から、把持位置Ｐｈおよび把持姿勢に至るロボット動作情報を生成する。ここで、統合部２０１ａは、ロボット２００とアイテム以外の物体との干渉あるいは衝突の虞が無いあるいは干渉あるいは衝突の確率が比較的低い領域では、より高速な動作を選択する。他方、統合部２０１ａは、例えば、エンドエフェクタ２２０が容器１１ａに近付いたり容器１１ａ内に入ったりするなど、エンドエフェクタ２２０またはアイテムと当該アイテム以外の物体との干渉あるいは衝突の虞がある、あるいは干渉あるいは衝突の確率が比較的高い領域では、より低速な動作を選択する。さらに、動作計画生成部２０１ｆは、この領域でエンドエフェクタ２２０に発生する力の目標値を決定する。また、この場合、形状登録モードではアイテムの重量等が不確定であることから、動作計画生成部２０１ｆは、動作速度を速度可変範囲内での下限に設定してもよい。

Ｓ３−７において、ロボット制御部２０１ｇは、生成されたロボット動作情報にしたがって動作し、把持位置Ｐｈおよび把持姿勢でアイテムを把持するよう、ロボット２００およびエンドエフェクタ２２０を制御する。アイテムの把持位置Ｐｈの周辺領域では、力制御のみによるエンドエフェクタ２２０の押付動作が実行され、吸着パッド２２０ａやフィンガー２２０ｃがアイテムに十分に接触した状態で、吸着や挟み込み等の把持動作が実行される。把持位置Ｐｈの周辺領域では、エンドエフェクタ２２０が、アイテム以外の物体のような障害物に当たった場合には、ロボット制御部２０１ｇは、所定の動作、例えば、力の目標値にしたがってエンドエフェクタ２２０が障害物から逃げる動作を、実行する。また、把持対象面が予期せぬ傾きを持っている場合などにおいても、ロボット制御部２０１ｇは、所定の押し付け方法や押し付け力によりエンドエフェクタ２２０を把持対象面に倣わせる動作を実行する。

ロボット制御部２０１ｇおよび統合部２０１ａは、ロボット２００の動作やエンドエフェクタ２２０によるアイテムの把持の状態を監視している。Ｓ３−８において、エンドエフェクタ２２０によるアイテムの把持が成功した場合には（Ｓ３−８でＹ）、手順はＳ３−１０に移行する。他方、Ｓ３−８において、アイテムの把持が失敗した場合には（Ｓ３−８でＮ）、手順はＳ３−９に移行する。

Ｓ３−９において、統合部２０１ａは、ロボット２００の退避動作や、把持の失敗を示す情報をアイテムデータベースに登録する登録処理などのリトライ準備動作を実行し、Ｓ３−９の後、手順はＳ３−３へ戻る。

Ｓ３−１０において、ロボット制御部２０１ｇは、エンドエフェクタ２２０によるアイテムの把持状態が撮影可能な位置に移動するよう、ロボット２００を制御する。そして、統合部２０１ａは、当該位置で、アイテムを把持したエンドエフェクタ２２０を撮影するよう、カメラ２３２ｂを制御する。

Ｓ３−１１において、画像処理部２０１ｂは、把持用のカメラ２３２ａやキャリブレーション用のカメラ２３２ｂが撮影した画像から、例えば、エンドエフェクタ２２０に対するアイテムの相対位置、エンドエフェクタ２２０に対するアイテムの相対姿勢、およびアイテムの状態や形状のような、把持アイテム情報の計測および生成を実行する。また、信号処理部２０１ｃは、把持位置Ｐｈに設けられた重量計２３３ａの計測結果から、アイテムの持ち上げ前後の重量の差分を計算することにより、アイテムの重量を計測することができる。

Ｓ３−１２において、統合部２０１ａは、力センサ２３１のリセットのような重力補償動作を実行する。ここで、既に次の解放姿勢が決定している場合には、統合部２０１ａは、エンドエフェクタ２２０の姿勢を次の解放姿勢と同じか、それと近い状態にして、重力補償動作を実行することにより、より精度の高い重力補償動作を実行することができる。この際、統合部２０１ａは、さらに、力センサ２３１による把持されたアイテムの重量計測を実行しても良い。

Ｓ３−１３において、統合部２０１ａは、容器１１ｂの内部を撮影するよう、カメラ２３２ｂを制御する。そして、画像処理部２０１ｂは、カメラ２３２ｂが撮影した画像から、解放位置Ｐｒおよびその周辺における、アイテム以外の物体の有無を判定するとともに、当該物体の大きさや、位置、当該物体の表面の位置を示す周辺情報を生成する。

Ｓ３−１４において、解放計画生成部２０１ｅは、把持アイテム情報、把持データベースの情報、周辺情報等を用いて、ロボット２００が把持しているアイテムの解放方法や、解放位置、解放姿勢、経由位置、経由姿勢等を含む解放情報を生成する。解放計画生成部２０１ｅは、さらに、解放情報に、力制御を伴うエンドエフェクタ２２０の押し付け方向や押し付ける力の大きさ、力制御の移動許容範囲等の情報を付加することができる。

Ｓ３−１５において、統合部２０１ａは、解放位置および解放方法を選択し、動作計画生成部２０１ｆは、ロボット２００の現在位置から解放位置姿勢に至るロボット動作情報を生成する。ここで、統合部２０１ａは、ロボット２００の周囲の物体との干渉あるいは衝突の虞が無いあるいは干渉あるいは衝突の確率が比較的低い領域では、把持アイテムの重さのような把持アイテム情報や、把持データベースの情報、把持状態等を考慮した上で、可能な限り高速な動作を選択する。他方、統合部２０１ａは、例えば、エンドエフェクタ２２０や把持したアイテムが容器１１ｂに近付いたり当該容器１１ｂ中に入ったりするなど、エンドエフェクタ２２０またはアイテムと当該アイテム以外の物体との干渉あるいは衝突の虞がある、あるいは干渉あるいは衝突の確率が比較的高い領域では、より低速な動作を選択する。さらに、この領域では解放情報等に基づいて、エンドエフェクタ２２０に発生する力の目標値を与える。

Ｓ３−１６において、ロボット制御部２０１ｇは、生成されたロボット動作情報にしたがって動作し、解放位置Ｐｒおよび解放姿勢でアイテムを解放するよう、ロボット２００およびエンドエフェクタ２２０を制御する。アイテムを容器１１ｂ内により高密度に配置するため、アイテムの到達位置の周辺では、容器１１ｂの壁や、既に置かれている十分な大きさの荷物等、がある場合には、エンドエフェクタ２２０による把持アイテムの押し付け動作が実施される。解放位置Ｐｒの周辺領域では、エンドエフェクタ２２０や把持アイテムが、既に置かれている物体のような予期せぬ障害物に当たった場合には、ロボット制御部２０１ｇは、所定の動作、例えば、力の目標値にしたがってエンドエフェクタ２２０が障害物から逃げる動作を、実行する。また、押付対象面が予期せぬ傾きを持っている場合などでも、ロボット制御部２０１ｇは、所定の押付方法や押し付け力により把持アイテムを容器１１ｂの壁のような押付対象面に倣わせ、密着した状態で解放する動作を実行する。

Ｓ３−１７において、ロボット制御部２０１ｇは、アイテムの解放後、容器１１ｂから脱出するようエンドエフェクタ２２０を制御し、待機姿勢をとるロボット２００を制御する。この際、ロボット制御部２０１ｇは、力センサ２３１の検出値のリセット（この状態での検出値を０とする）のような、重力補償を実行する。ここで、次のアイテムの把持姿勢が既に決定している場合には、ロボット制御部２０１ｇは、エンドエフェクタ２２０が把持姿勢と略同じかあるいは近いキャリブレーション姿勢となるよう、ロボット２００およびエンドエフェクタ２２０を制御し、この状態で、重力補償を実行する。

Ｓ３−１８において、統合部２０１ａが外部システム３１０から次のアイテムのピッキング指示を受け取った場合には（Ｓ３−１８でＮ）、手順はＳ３−２へ移行し、次のアイテムに対する一連の制御を開始する。Ｓ３−１８において、次のアイテムが無い場合には（Ｓ３−１８でＹ）、一連の制御が終了される。

ここでは、カメラ２３２ａのような把持用のセンサ２３０を用いてアイテムの形状を計測する処理が例示されたが、カメラ２３２ｄのような仮置き用のセンサ２３０を用いてアイテムの形状が計測されてもよい。この場合、ロボット２００は、エンドエフェクタ２２０が把持したアイテムを仮置位置Ｐｔへ移動する。仮置位置Ｐｔに、回転テーブルや、スキャナ、重量計２３３等の機器が設置されることにより、当該仮置位置Ｐｔにおいて、アイテムの形状や重量のデータの取得が可能となる。アイテムのデータを取得する処理が終了し、仮置位置Ｐｔに置いたアイテムを、エンドエフェクタ２２０が把持し、ロボット２００が容器１１ｂに移動し、エンドエフェクタ２２０が容器１１ｂ内で解放することにより、一連の制御が終了される。

［アイテム情報更新処理：アイテムのカテゴリ分け］
撮影登録モードでの動作では、容器１１ａの撮影情報からアイテムの形状や特徴情報を抽出しているが、このような状況では、容器１１ａの壁やアイテムの重なりによるオクルージョン等によって、アイテム全体の情報が得られない場合がある。他方、形状登録モードでの動作では、アイテムを持ち上げたり仮置位置Ｐｔに置いたりした状態で、当該アイテム単体で、容器１１ａ内では隠れていた領域も含めた全体的な情報を撮影したり計測したりすることが可能である。そこで、アイテム情報更新処理では、撮影登録モードでの動作で取得した情報に基づいて生成された仮の情報を、形状登録モードでの動作で取得した情報によって更新する。

図１３Ａは、アイテム情報更新処理の手順を示す。また、図１３Ｂは、アイテムモデルを示し、図１３Ｃは、評価値のリストを示す。まず、Ｓ４−１において、データ管理部１００ａは、形状登録モードでの動作で取得した各種データから、図１３Ｂに示されるようなアイテムモデルおよび図１３Ｃに示されるような評価値のリストを生成する。ここで、図１３Ｂの実線Ｃｒはアイテムの外接直方体を示し、ドットパターンの領域Ｍｏは３次元のモデルデータを示す。

Ｓ４−２において、データ管理部１００ａは、モデル化された情報にしたがって、図１１Ｂに示された評価値のリストを、図１３Ｃに示される評価値のリストに更新する。ここで、各把持面の登録状態は、モデル化されたことを示す”Ｍ”と記録されており、把持面のサイズは、モデル化の結果にしたがって、更新されている。また、計測の結果により重量情報が記録されているほか、形状情報がＢＯＸ型と登録されている。さらに、各ハンドの評価値が、モデル化された情報をもとに再計算され、更新されている。

Ｓ４−３において、データ管理部１００ａは、統合アイテムデータベースを更新する。図１４Ａは、統合アイテムデータベースのアイテム情報を示す。アイテムタイプは、モデル化後の分類結果によりＢＯＸ型と登録されている、アイテム重量は、計測結果とモデル化による確認の結果、計測値が記録されている。これらの分類方法は後述する。また、データ管理部１００ａは、モデル化された情報をもとに、小物フラグおよび重量物フラグを更新する。図１４Ｂは、統合アイテムデータベースのエンドエフェクタ情報を示す。把持面情報の登録状態は、モデル化された情報により更新されたことを示す”Ｍ”と記録されている。また、データ管理部１００ａは、更新された評価値のリストにしたがって、各エンドエフェクタ２２０の適合性を更新する。ここで、把持面ＭＤＳ１の適合性は、実際に把持が実行されるとともに把持に成功した結果であるため、登録状態は把持成功を示す“Ｇ”となっている。

図１５は、アイテムタイプを判定する手順の一例を示す。まず、Ｓ５−１において、データ解析部１００ｂは、モデル化データを取得する。Ｓ５−２において、データ解析部１００ｂは、モデル化データから形状変化に関する情報を取得し、形状変化を確認する。この形状変化は、把持時（挟持時、吸着時）や移送時（方向変化時、加速度変化時、終点到着時）における形状変化の計測や、形状登録モードでの計測中における形状変化の計測、複数回の形状登録モードでの動作の結果の差異や変化等によって、確認することができる。

Ｓ５−３において、データ解析部１００ｂは、形状変化に対する判定を行う。Ｓ５−３で形状変化、例えば、所定の大きさの外力に対する変形量が、閾値以上であると判定された場合（Ｓ５−４でＹ）、手順はＳ５−４に移行する。Ｓ５−４のステップでは、アイテムタイプをデフォーマブルに設定し、処理を終了する。

他方、Ｓ５−３で形状変化が閾値未満であると判定された場合（Ｓ５−４でＮ）、手順はＳ５−５に移行する。Ｓ５−５において、データ解析部１００ｂは、形状確認または分類を行う。分類は、あらかじめ定められたテンプレートとのマッチングなどによって実現可能である。

Ｓ５−６において、データ解析部１００ｂは、形状が略直方体であるか否かを判定する。Ｓ５−６で、形状が略直方体である、例えば、各面が直方体に近い３次元的な所定範囲内に存在する、と判定された場合（Ｓ５−６でＹ）、手順はＳ５−７に移行する。Ｓ５−７のステップでは、データ管理部１００ａは、アイテムタイプをボックスと登録し、アイテムタイプの判定を終了する。

Ｓ５−６において、形状が上記所定の直方体でないと判定された場合（Ｓ５−６でＮ）、手順はＳ５−８に移行する。Ｓ５−８では、データ管理部１００ａは、アイテムタイプをソリッドに設定し、アイテムタイプの判定処理を終了する。

本明細書において、”ボックス”とは、アイテムの形状が略直方体であるもの、”ソリッド”とは、アイテムが形状変化し難いものであり、略直方体ではないものを示す。また”デフォーマブル”とは、衣類や柔らかい袋など形の定まらないものを示す。ここで、”ボックス”のような直方体状のアイテムの場合には、ＢＬ法に代表されるような箱詰めアルゴリズムを、比較的容易に適用できる。また、”ソリッド”のように形状が変形し難いアイテムの場合には、計測された結果やデータベースに登録されたモデル情報を用いて、箱詰めの計画を比較的容易に計算することができる。また、”デフォーマブル”のような形の定まらないアイテムの場合には、当該アイテム自体が周囲の形に倣うことを考慮した箱詰め処理が必要となる。このように本実施形態のハンドリングシステム１では、ピッキング後の箱詰めまでを考慮したアイテムの分類を行うことで、より効率的なハンドリング処理が実現できる。”ボックス”、”ソリッド”、および”デフォーマブル”は、それぞれ、アイテムの、所定の大きさの外力に対する変形量（変形しやすさ）および外形状に応じた分類の一例である。なお、ここでは、一例として、データ解析部１００ｂは、アイテムを、外形状に関し、略直方体であるか否かについて分析して分類したが、直方体には限定されず、例えば薄い四角形の板や、円筒、円柱などのような他の形状であるか否かについて分析して分類してもよいし、種々の形状とのマッチングによってアイテムを分類してもよい。

図１６は、アイテムの属性を示すフラグ情報の判定手順を示す。Ｓ６−１において、データ解析部１００ｂは、統合アイテムデータベースから、モデル化されたアイテム情報を取得する。

ここで、Ｓ６−２において、データ解析部１００ｂは、取得した情報に基づいて、対象となるアイテムが小物フラグを立てるアイテムであるか否かの判定を開始する。まず、Ｓ６−３において、データ解析部１００ｂは、アイテムの外接直方体の３辺サイズを判定する。ここで、３辺のそれぞれのサイズ及び合計のサイズがサイズ規定値以下であった場合（Ｓ６−３でＹ）、手順はＳ６−４に移行する。Ｓ６−４において、データ解析部１００ｂは、アイテムの重量が重量規定値以下であるか否かを判定する。ここで、アイテムの重量が重量規定値以下であった場合（Ｓ６−４でＹ）、データ解析部１００ｂは対象となるアイテムは小物であると判定し、データ管理部１００ａは、Ｓ６−５において、統合アイテムデータベースの当該アイテムの小物フラグを「１」に設定する。

Ｓ６−３でＮまたはＳ６−４でＮの場合、すなわち、データ解析部１００ｂが、アイテムのサイズがサイズ規定値未満であるか、またはアイテムの重量が重量規定値未満であると判定した場合、Ｓ６−６において、データ解析部１００ｂは、対象となるアイテムは小物ではないと判定し、データ管理部１００ａは、統合アイテムデータベースの当該アイテムの小物フラグを「０」に設定する。

次に、Ｓ６−７において、データ解析部１００ｂは、易損品フラグの判定を開始する。まず、データ解析部１００ｂは、Ｓ６−８において、易損品判定が可能なデータが存在するか否かを確認する。易損品判定が可能なデータは、例えば、易損品リストのような外部データベースのデータや、易損品分類が可能なアイテムの写真情報、外部ユーザインタフェースを通したユーザからの入力情報等である。

データ解析部１００ｂは、易損品判定が可能なデータがあると判定した場合（Ｓ６−８でＹ）、Ｓ６−９において、対象アイテムが易損品であるか否かを判定する。この判定は、外部からデータを取得した場合には、そのデータを直接活用することにより実行できるし、写真情報などの１次データを用いる場合には、機械学習等を用いた易損品判定の識別器を用いることにより実行できる。

Ｓ６−９で易損品であると判定された場合（Ｓ６−９でＹ）、データ管理部１００ａは、Ｓ６−１０において、統合アイテムデータベースの当該アイテムの易損品フラグを「１」に設定する。他方、Ｓ６−９で易損品でないと判定された場合（Ｓ６−９でＮ）、データ管理部１００ａは、Ｓ６−１１において、統合アイテムデータベースの当該アイテムの易損品フラグを「０」に設定する。

また、Ｓ６−８において、判定に有効なデータが存在しないことが確認された場合（Ｓ６−８でＮ）、データ管理部１００ａは、Ｓ６−１２において、統合アイテムデータベースの当該アイテムの易損品フラグを「ＮＡ」に設定する。ここで、ＮＡとは、未判定を意味する。

次に、Ｓ６−１３では、データ解析部１００ｂは、重量物フラグの判定を開始する。まず、データ解析部１００ｂは、Ｓ６−１４において、アイテムの外接直方体の３辺サイズを判定する。ここで、３辺のそれぞれのサイズ及び合計のサイズがサイズ規定値以上であった場合（Ｓ６−１４でＹ）、手順はＳ６−１５に移行する。Ｓ６−１５において、データ解析部１００ｂは、アイテムの重量が重量規定値以上であるか否かを判定する。アイテムの重量が重量規定値以上であった場合（Ｓ６−１５でＹ）、Ｓ６−１６において、データ解析部１００ｂは、対象となるアイテムは重量物であると判定し、データ管理部１００ａは、統合アイテムデータベースの当該アイテムの重量物フラグを「１」に設定し、処理を完了する。

Ｓ６−１４でＮまたはＳ６−１５Ｎの場合、すなわち、データ解析部１００ｂが、アイテムのサイズがサイズ規定値未満であるか、またはアイテムの重量が重量規定値未満であると判定した場合、Ｓ６−１７において、データ解析部１００ｂは、対象となるアイテムは重量物ではないと判定し、データ管理部１００ａは、統合アイテムデータベースの当該アイテムの重量物フラグを「０」に設定し、処理を完了する。

このように、ロボット統合管理システム１００では、ピッキングロボットシステム２が、撮影登録モードでの動作および形状登録モードでの動作で得られた情報に基づいてモデル化されたアイテム情報を用いて、逐次データベースの情報を更新することにより、自動的に処理効率を向上することができる。

ロボット統合管理システム１００では、このように、データ解析部１００ｂにおいて解析を実施し、オペレーション部１００ｃによりデータベース更新処理を行うことで、データベースにおけるデータを補充したり、更新したりすることが可能である。この結果、処理が進むごとに、ハンドリングシステム１による処理効率の向上が可能となる。また、上記説明では、主に、ハンドリングシステム１が、データベースの各種の情報を自動で生成したり補充したり更新したりする例について述べたが、ハンドリングシステム１は、サービス・Ｕ１００ｄＩ部を介してユーザの直接入力によって得られた情報や、ＳｏＳ＿ＡＰＩ１００ｆを介して外部のデータベース等から得られた情報に基づいて、統合管理データベース１３０を作成したり更新したりすることも可能である。

［データベース更新後のハンドリングシステムのピッキング統合管理］
図１７は、ロボット統合管理システム１００が、統合管理データベース１３０において「エンドエフェクタ確定状態」であるアイテムを処理する手順を示す。

Ｓ７−１において、ロボット統合管理システム１００は、ＳｏＳ＿ＡＰＩ１００ｆを介して、ＷＭＳ等の外部システム３１０からピッキング作業指示を受ける。

Ｓ７−２において、オペレーション部１００ｃは、受信したピッキング作業指示データとデータ管理部１００ａで管理されている統合管理データベース１３０の情報を照合する。ピッキング作業指示のあったアイテムのＩＤがロボット統合管理データベースに登録済みのアイテムであった場合、登録されたアイテムの情報を確認する。

Ｓ７−２において、アイテムデータの状態が「エンドエフェクタ確定状態」である場合には、データ解析部１００ｂは、Ｓ７−３において、ピッキング対象となるアイテムに最適なエンドエフェクタ２２０および当該最適なエンドエフェクタ２２０を有するピッキングロボットシステム２を決定する。

Ｓ７−４において、オペレーション部１００ｃは、最適であると決定されたピッキングロボットシステム２のコントローラ２０１に対し、最適であると決定されたエンドエフェクタ２２０を用いて、通常モードでのピッキングを実行するよう指令する。

Ｓ７−５において、データ管理部１００ａは、ロボット２００によるピッキング作業の実行中は、ピッキング動作に応じて、統合管理データベース１３０を更新する。例えば、登録状態が“Ｍ”の把持面とエンドエフェクタ２２０との組み合わせで、ピッキングが実行され、把持が成功した場合、データ管理部１００ａは、登録状態を“Ｍ”から“Ｇ”に更新する。また、把持面とエンドエフェクタ２２０との組み合わせがケイパブルであっても、複数回把持に失敗した場合には、適合性を非ケイパブルに更新し、登録状態を、再度確認が必要であることを示す“Ｃ”とする。

Ｓ７−６において、ロボット統合管理システム１００は、終了処理を実行する。具体的には、オーダーされたピッキング作業指示がすべて完了した場合には、マテリアルハンドリング機器２５０に容器１１ｂの掃き出し指示を行う。また、ロボット統合管理システム１００は、データ管理部１００ａ、業務管理部１００ｅ、ＳｏＳ＿ＡＰＩ１００ｆを介してピッキング作業完了を外部に通知する。なお、ピッキング作業の途中でピッキングに失敗した場合には、ロボット統合管理システム１００は、データ管理部１００ａ、業務管理部１００ｅ、ＳｏＳ＿ＡＰＩ１００ｆを介して外部システム３１０にエラーを通知するか、サービス・ＵＩ部１００ｄを通じて、ユーザにエラーを通知する。

［通常モードでの動作］
図１８は、ピッキングロボットシステム２の通常モードでの処理の手順を示す。

まず、Ｓ８−１において、統合部２０１ａは、外部インタフェースを経て、外部システム３１０からアイテムの搬送指示（ピッキング指示）を受け取る。

Ｓ８−２において、統合部２０１ａは、カメラ２３２ａのようなセンサ２３０や、光電センサ、マイクロスイッチ等により、容器１１ａの把持位置Ｐｈへの到着を検知する。

Ｓ８−３において、統合部２０１ａは、アイテムの把持位置Ｐｈおよびその周辺、例えばアイテムが収容されている容器１４０ａ内を、撮像するよう、カメラ２３２ａを制御する。

Ｓ８−４において、画像処理部２０１ｂは、カメラ２３２ａが撮影した画像から、アイテムの有無の判定、アイテムの把持可能面の識別を実行する。さらに、画像処理部２０１ｂは、アイテムの把持可能面の形状や、大きさ、３次元空間内での位置や姿勢のような、把持面情報を算出する。

Ｓ８−５において、把持計画生成部２０１ｄは、把持面情報に基づいて、ロボット２００がアイテムの把持可能面を把持するための複数の把持情報を算出する。把持情報には、把持位置情報や把持姿勢情報が含まれる。ここで、把持計画生成部２０１ｄは、容器１１ａ内のアイテム以外の物体（周辺部品）などの把持位置Ｐｈの周辺情報や、把持面情報やアイテムデータベースの情報に基づいて、例えば、後述の力制御を実行する際の、エンドエフェクタ２２０の移動方向や、押付力の大きさ、移動許容範囲のような付加情報を算出し、これを把持情報に付加する。

Ｓ８−６において、統合部２０１ａは、把持情報に基づいて、把持対象とするアイテム、その把持位置Ｐｈ、および把持姿勢を、選択あるいは決定する。そして、動作計画生成部２０１ｆは、ロボット２００の現在位置から、把持位置Ｐｈおよび把持姿勢に至るロボット動作情報を生成する。ここで、統合部２０１ａは、ロボット２００とアイテム以外の物体との干渉あるいは衝突の虞が無いあるいは干渉あるいは衝突の確率が比較的低い領域では、より高速な動作を選択する。他方、統合部２０１ａは、例えば、エンドエフェクタ２２０が容器１１ａに近付いたり容器１１ａ内に入ったりするなど、エンドエフェクタ２２０またはアイテムと当該アイテム以外の物体との干渉あるいは衝突の虞がある、あるいは干渉あるいは衝突の確率が比較的高い領域では、より低速な動作を選択する。さらに、動作計画生成部２０１ｆは、この領域でエンドエフェクタ２２０に発生する力の目標値を決定する。

Ｓ８−７において、ロボット制御部２０１ｇは、生成されたロボット動作情報にしたがって動作し、把持位置Ｐｈおよび把持姿勢でアイテムを把持するよう、ロボット２００およびエンドエフェクタ２２０を制御する。アイテムの把持位置Ｐｈの周辺領域では、力制御のみによるエンドエフェクタ２２０の押付動作が実行され、吸着パッド２２０ａやフィンガー２２０ｃがアイテムに十分に接触した状態で、吸着や挟み込み等の把持動作が実行される。把持位置Ｐｈの周辺領域では、エンドエフェクタ２２０が、アイテム以外の物体のような障害物に当たった場合には、ロボット制御部２０１ｇは、所定の動作、例えば、力の目標値にしたがってエンドエフェクタ２２０が障害物から逃げる動作を、実行する。また、把持対象面が予期せぬ傾きを持っている場合などにおいても、ロボット制御部２０１ｇは、所定の押し付け方法や押し付け力によりエンドエフェクタ２２０を把持対象面に倣わせる動作を実行する。

ロボット制御部２０１ｇおよび統合部２０１ａは、ロボット２００の動作やエンドエフェクタ２２０によるアイテムの把持の状態を監視している。Ｓ８−８において、エンドエフェクタ２２０によるアイテムの把持が成功した場合には（Ｓ１−８でＹ）、手順はＳ８−１０に移行する。他方、Ｓ８−８において、アイテムの把持が失敗した場合には（Ｓ１−８でＮ）、手順はＳ８−９に移行する。

Ｓ８−９において、統合部２０１ａは、ロボット２００の退避動作や、把持の失敗を示す情報をアイテムデータベースに登録する登録処理などのリトライ準備動作を実行し、Ｓ８−９の後、手順はＳ８−３へ戻る。

Ｓ８−１０において、Ｓ８−３において把持対象のアイテムの姿勢が確定していない場合には、ロボット制御部２０１ｇは、エンドエフェクタ２２０によるアイテムの把持状態が撮影可能な位置に移動するよう、ロボット２００を制御する。そして、統合部２０１ａは、当該位置で、アイテムを把持したエンドエフェクタ２２０を撮影するよう、カメラ２３２ｂを制御する。

Ｓ８−１１において、統合部２０１ａは、把持用のカメラ２３２ａやキャリブレーション用のカメラ２３２ｂが撮影した画像、および統合管理データベース１３０に登録されたアイテムの形状情報に基づいて、エンドエフェクタ２２０とアイテムとの相対的な位置および相対的な姿勢を取得する。

Ｓ８−１２において、統合部２０１ａは、力センサ２３１のリセットのような重力補償動作を実行する。ここで、既に次の解放姿勢が決定している場合には、統合部２０１ａは、エンドエフェクタ２２０の姿勢を次の解放姿勢と同じか、それと近い状態にして、重力補償動作を実行することにより、より精度の高い重力補償動作を実行することができる。この際、統合部２０１ａは、さらに、力センサ２３１による把持されたアイテムの重量計測を実行しても良い。

Ｓ８−１３において、統合部２０１ａは、容器１１ｂの内部を撮影するよう、カメラ２３２ｂを制御する。そして、画像処理部２０１ｂは、カメラ２３２ｂが撮影した画像から、解放位置Ｐｒおよびその周辺における、アイテム以外の物体の有無を判定するとともに、当該物体の大きさや、位置、当該物体の表面の位置を示す周辺情報を生成する。

Ｓ８−１４において、解放計画生成部２０１ｅは、把持アイテム情報、把持データベースの情報、周辺情報等を用いて、ロボット２００が把持しているアイテムの解放方法や、解放位置、解放姿勢、経由位置、経由姿勢等を含む解放情報を生成する。解放計画生成部２０１ｅは、さらに、解放情報に、力制御を伴うエンドエフェクタ２２０の押し付け方向や押し付ける力の大きさ、力制御の移動許容範囲等の情報を付加することができる。

Ｓ８−１５において、統合部２０１ａは、解放位置および解放方法を選択し、動作計画生成部２０１ｆは、ロボット２００の現在位置から解放位置姿勢に至るロボット動作情報を生成する。ここで、統合部２０１ａは、ロボット２００の周囲の物体との干渉あるいは衝突の虞が無いあるいは干渉あるいは衝突の確率が比較的低い領域では、把持アイテムの重さのような把持アイテム情報や、把持データベースの情報、把持状態等を考慮した上で、可能な限り高速な動作を選択する。他方、統合部２０１ａは、例えば、エンドエフェクタ２２０や把持したアイテムが容器１１ｂに近付いたり当該容器１１ｂ中に入ったりするなど、エンドエフェクタ２２０またはアイテムと当該アイテム以外の物体との干渉あるいは衝突の虞がある、あるいは干渉あるいは衝突の確率が比較的高い領域では、より低速な動作を選択する。さらに、この領域では解放情報等に基づいて、エンドエフェクタ２２０に発生する力の目標値を与える。

Ｓ８−１６において、ロボット制御部２０１ｇは、生成されたロボット動作情報にしたがって動作し、解放位置Ｐｒおよび解放姿勢でアイテムを解放するよう、ロボット２００およびエンドエフェクタ２２０を制御する。アイテムを容器１１ｂ内により高密度に配置するため、アイテムの到達位置の周辺では、容器１１ｂの壁や、既に置かれている十分な大きさの荷物等、がある場合には、エンドエフェクタ２２０による把持アイテムの押し付け動作が実施される。解放位置Ｐｒの周辺領域では、エンドエフェクタ２２０や把持アイテムが、既に置かれている物体のような予期せぬ障害物に当たった場合には、ロボット制御部２０１ｇは、所定の動作、例えば、力の目標値にしたがってエンドエフェクタ２２０が障害物から逃げる動作を、実行する。また、押付対象面が予期せぬ傾きを持っている場合などでも、ロボット制御部２０１ｇは、所定の押付方法や押し付け力により把持アイテムを容器１１ｂの壁のような押付対象面に倣わせ、密着した状態で解放する動作を実行する。

Ｓ８−１７において、ロボット制御部２０１ｇは、アイテムの解放後、容器１１ｂから脱出するようエンドエフェクタ２２０を制御し、待機姿勢をとるロボット２００を制御する。この際、ロボット制御部２０１ｇは、力センサ２３１の検出値のリセット（この状態での検出値を０とする）のような、重力補償を実行する。ここで、次のアイテムの把持姿勢が既に決定している場合には、ロボット制御部２０１ｇは、エンドエフェクタ２２０が把持姿勢と略同じかあるいは近いキャリブレーション姿勢となるよう、ロボット２００およびエンドエフェクタ２２０を制御し、この状態で、重力補償を実行する。

Ｓ８−１８において、統合部２０１ａが外部システム３１０から次のアイテムのピッキング指示を受け取った場合には（Ｓ８−１８でＮ）、手順はＳ８−２へ移行し、次のアイテムに対する一連の制御を開始する。Ｓ８−１８において、次のアイテムが無い場合には（Ｓ８−１８でＹ）、一連の制御が終了される。

［データベースの統合システム上でのオンライン活用：エンドエフェクタ選択］
図１９は、ロボット統合管理システム１００による最適なエンドエフェクタ２２０を決定する手順を示す。Ｓ９−１において、オペレーション部１００ｃは、対象となるピッキングロボットシステム２のロボット２００に、エンドエフェクタ２２０が接続されているか否かを判定する。

ロボット２００にエンドエフェクタ２２０が接続されている場合（Ｓ９−１でＹ）、Ｓ９−２において、オペレーション部１００ｃは、ロボット２００に接続されているエンドエフェクタ２２０が、ピッキングオーダに指定されたアイテムのうち、次に処理対象となるアイテムを処理可能であるか否か、を確認する。オペレーション部１００ｃは、対象アイテムに対して、エンドエフェクタ２２０がプライマリまたはケイパブルであれば、処理可能と判断し、ピッキングロボットシステム２に当該エンドエフェクタ２２０を用いたピッキングの実行指示を出す（Ｓ９−３）。

ロボット２００にエンドエフェクタ２２０が接続されていないと確認された場合（Ｓ９−１でＮ）、あるいはＳ９−２において接続されているエンドエフェクタ２２０がプライマリまたはケイパブルではなかった場合（Ｓ９−２でＮ）には、手順はＳ９−４に移行する。Ｓ９−４において、データ解析部１００ｂは、まずは、統合アイテムデータベースのエンドエフェクタ情報から、ピッキングオーダで指定されたアイテムのうち、まだ処理されていないアイテムに対するプライマリエンドエフェクタとケイパブルエンドエフェクタをピックアップする。そして、データ解析部１００ｂは、指定された全てのアイテムを処理可能なプライマリエンドエフェクタがあるかどうかを判定する。

Ｓ９−４において、全てのアイテムを処理可能なプライマリエンドエフェクタが存在することが判明した場合（Ｓ９−４でＹ）、手順はＳ９−５のステップに移行する。Ｓ９−５において、オペレーション部１００ｃは、ピッキングロボットシステム２に、プライマリエンドエフェクタと判定されているエンドエフェクタ２２０の接続の指示を行い、接続の完了を確認する。そして、オペレーション部１００ｃは、ピッキングロボットシステム２に、当該エンドエフェクタ２２０によってピッキングを行うよう指示する（Ｓ９−９）。

他方、Ｓ９−４において、全てのアイテムを処理可能なエンドエフェクタ２２０が存在しないことが判明した場合（Ｓ９−４でＮ）、手順はＳ９−６に移行する。Ｓ９−６において、データ解析部１００ｂは、ピッキングオーダで指定されたアイテムのうち未処理である全てのアイテムを処理可能なケイパブルエンドエフェクタがあるかどうかを判定する。

Ｓ９−６において、全てのアイテムを処理可能なケイパブルエンドエフェクタが存在することが判明した場合（Ｓ９−６でＹ）、手順はＳ９−７に移行する。Ｓ９−７において、オペレーション部１００ｃは、ピッキングオーダで指示されたアイテムの内、ピッキングオーダで指定されたアイテムのうち未処理である全てのアイテムを処理可能なエンドエフェクタ２２０の中から、プライマリエンドエフェクタと判定されている数が最も多い物など、優先度の一番高いエンドエフェクタ２２０を選択し、ピッキングロボットシステム２に、当該優先度の一番高いエンドエフェクタ２２０をロボット２００に接続するよう、接続指示を出す。また、オペレーション部１００ｃは、ピッキングロボットシステム２に、当該接続したエンドエフェクタ２２０によってピッキングを行うよう指示する（Ｓ９−９）。

Ｓ９−７において、全てのアイテムを処理可能なケイパブルエンドエフェクタが存在しないことが判明した場合（Ｓ９−７でＹ）、手順はＳ９−８に移行する。Ｓ９−８では、オペレーション部１００ｃは、ピッキングオーダの中で、次に処理の対象となるアイテムのプライマリエンドエフェクタを接続するよう、ピッキングロボットシステム２に指示を出す。そして、オペレーション部１００ｃは、ピッキングロボットシステム２に、当該エンドエフェクタ２２０によってピッキングを行うよう指示する（Ｓ９−９）。

図２０Ａは、ピッキングオーダの一例を示し、図２０Ｂは、統合アイテムデータベースのエンドエフェクタ情報に基づいて、ピッキングオーダで指定されたアイテムのうち未処理アイテムに対するプライマリエンドエフェクタおよびケイパブルエンドエフェクタの一例を示している。

図２０Ｂの状態でＳ９−４が実行された場合、４種類の商品全てに対し処理可能なプライマリエンドエフェクタは存在しないため、Ｓ９−６へ移行する。Ｓ９−６では、タイプＢのエンドエフェクタ２２０が４種類全てのアイテムを処理可能な（ケイパブルである）エンドエフェクタ２２０であると判定される。この場合、Ｓ９−７およびＳ９−１０において、オペレーション部１００ｃは、ピッキングロボットシステム２に、ロボット２００に対するエンドエフェクタ２２０（タイプＢ）への接続と、当該接続したタイプＢのエンドエフェクタ２２０によってピッキングを行うよう指示する。

このように、ロボット統合管理システム１００は、統合アイテムデータベースの情報を活用して、ピッキングロボットシステム２（ロボット２００）に接続するエンドエフェクタ２２０を切り替えることで、複数のアイテムを処理する際にもエンドエフェクタ２２０の切り替え回数を最小限に抑えながら、より効率の高い処理を実行することができる。

［ピッキングロボットでのデータベース情報活用：把持処理］
図２１にデータベースを活用した、ピッキングロボットシステム２によるアイテムの把持処理のパラメータを切り替える手順を示す。

ピッキングロボットシステム２（コントローラ２０１）は、ピッキングのような物体ハンドリング処理にあたり、ロボット統合管理システム１００の統合アイテムデータベースの最新情報を用いて、コントローラ２０１内の内部データベース２０１ｋを更新する。そして、コントローラ２０１は、ピッキングのような物体ハンドリング処理時に、更新された内部データベース２０１ｋの情報を活用する。

Ｓ１０−１において、アイテムの把持動作を開始するにあたり、統合部２０１ａは、内部データベース２０１ｋのアイテム情報に基づいて、対象となるアイテムの易損品フラグの判定を行う。

Ｓ１０−１において、易損品フラグが「１」であった場合（Ｓ１０−１でＮ）、ロボット制御部２０１ｇは、Ｓ１０−２において、吸着圧力を切り替えることにより吸着力を制御するとともに、吸着パッド２２０ａのアイテムへの押付力またはアイテムをフィンガー２２０ｃによって挟む場合の挟持圧力を、アイテムを保持可能な範囲における最小値に設定し、アイテムの把持動作を続行する。

他方、Ｓ１０−１において、易損品フラグが「０」であった場合（Ｓ１０−１でＹ）、統合部２０１ａは、Ｓ１０−３において、内部データベース２０１ｋのアイテム情報から、アイテムタイプを判定する。

Ｓ１０−３において、アイテムタイプが「ボックス」と判定された場合には、手順はＳ１０−４に移行し、「ソリッド」と判定された場合には、手順はＳ１０−５に移行し、「デフォーマブル」と判定された場合には、手順はＳ１０−６に移行する。

Ｓ１０−４において、ロボット制御部２０１ｇは、吸着パッド２２０ａのアイテムへの押付力またはアイテムを挟み込むフィンガー２２０ｃを挿入する挿入力の目標値を比較的に大きな値に設定して、アイテムの把持動作を続行する。これは、アイテムがボックスの場合、アイテムの設置状態が安定しており、ある程度の力でエンドエフェクタ２２０を押し当てても、アイテムが壊れたり、置いてあるアイテムが崩れたりする可能性が低いためである。

Ｓ１０−５において、ロボット制御部２０１ｇは、吸着パッド２２０ａのアイテムへの押付力またはアイテムを挟み込むフィンガー２２０ｃを挿入する挿入力の目標値を比較的に小さな値、言い換えるとＳ１０−４の場合よりも小さな値に設定して、アイテムの把持動作を続行する。これは、アイテムがソリッドの場合、アイテムの設置状態が安定しないため、強い力で押し込むとおいてあるアイテムが崩れたりする虞があるからである。

Ｓ１０−６において、ロボット制御部２０１ｇは、吸着パッド２２０ａのアイテムへの押付力またはアイテムを挟み込むフィンガー２２０ｃを挿入する挿入力の目標値を略０（ゼロ）に設定して、アイテムの把持動作を続行する。これは、アイテムがデフォーマブルの場合、強い力で押し当てても、アイテムの形が変わってしまい、押し当ての効果が発揮されないからである。

このように本実施形態のピッキングロボットシステム２は、データベースのアイテムタイプデータを活用することで、より効果的なパラメータで物体ハンドリング処理を実行することが可能となる上、易損品フラグ等のフラグデータを用いることで、ハンドリング処理に伴ってアイテムを破損するなどの不都合が生じるのを抑制できる。

［ピッキングロボットでのデータベース情報活用：箱詰め処理］
図２２は、データベースを活用した、ピッキングロボットシステム２によるアイテムの箱詰め処理の手順を示す。

ピッキングロボットシステム２（コントローラ２０１）は、ピッキングのような物体ハンドリング処理にあたり、ロボット統合管理システム１００の統合アイテムデータベースの最新情報を用いて、コントローラ２０１内の内部データベース２０１ｋを更新する。そして、コントローラ２０１は、箱詰めのような物体ハンドリング処理時に、更新された内部データベース２０１ｋの情報を活用する。

Ｓ１１−１において、アイテムの箱詰めを開始するにあたり、統合部２０１ａは、内部データベース２０１ｋのアイテム情報から、対象となるアイテムのアイテムタイプの判定を行う。

Ｓ１１−１において、アイテムタイプが「ボックス」と判定された場合には、手順はＳ１１−２に移行し、「ソリッド」と判定された場合には、手順はＳ１１−３に移行し、「デフォーマブル」と判定された場合には、手順はＳ１１−４に移行する。

Ｓ１１−２において、統合部２０１ａは、ボックスと判定されたアイテムを容器１１ｂ内に箱詰めするアルゴリズムのパラメータをセットする。アルゴリズムは、アイテムがボックス形状であることを考慮したものであって、例えば、ＢＬ法のような箱詰めアルゴリズムが用いられる。このアルゴリズムは、より適切な箱詰め位置を算出し、力制御等の押し付け動作により、当該箱詰め位置にアイテムを設置する（第一箱詰めモード）。

Ｓ１１−３において、統合部２０１ａは、ソリッドと判定されたアイテムを容器１１ｂ内に箱詰めするアルゴリズムのパラメータをセットする。アルゴリズムは、アイテムがボックス形状ではないことを考慮したものであって、例えば、アイテムの外接直方体情報等を用いて対象物が収まる箱詰め位置を算出し、力制御等の押し付け動作により、算出した箱詰め位置付近にアイテムを押し当てて設置する（第二箱詰めモード）。

Ｓ１１−４において、統合部２０１ａは、デフォーマブルと判定されたアイテムを容器１１ｂ内のデフォーマブル領域に箱詰めするアルゴリズムのパラメータをセットする。アルゴリズムは、形状が変形するアイテムであることを考慮したものであって、例えば、アイテムの外接直方体情報等を用いて対象物が収まる箱詰め位置を算出し、力制御によらない位置制御により、当該箱詰め位置およびその周辺に力が掛からないよう、箱詰め位置にアイテムを設置する（第三箱詰めモード）。

第三箱詰めモードでの押付力は、第二箱詰めモードでの押付力よりも小さく、第二箱詰めモードでの押付力は、第一箱詰めモードでの押付力よりも小さい。押付力の差は、移動するアイテムの加速度の差となる。よって、第三箱詰めモードでの移送の終点に到着する際の加速度は、第二箱詰めモードでの移送の終点に到着する際の加速度よりも小さく、第二箱詰めモードでの移送の終点に到着する際の加速度は、第一箱詰めモードでの移送の終点に到着する際の加速度よりも小さい。

Ｓ１１−５において、統合部２０１ａは、容器１１ｂの内部に既に置かれているアイテムの有無を確認するとともに、アイテムが存在する場合、当該既存アイテムの位置情報および姿勢情報を取得する。これらの位置情報および姿勢情報は、既存アイテム情報と称される。

Ｓ１１−６において、統合部２０１ａは、内部データベース２０１ｋのアイテム情報から、箱詰めの対象となるアイテムについて、小物フラグの判定を行う。小物フラグが「１」であった場合（Ｓ１１−６でＮ）、手順はＳ１１−７に移行する。また、小物フラグが「０」であった場合（Ｓ１１−６でＹ）、手順はＳ１１−８に移行する。

Ｓ１１−７において、統合部２０１ａは、Ｓ１１−２、Ｓ１１−３、またはＳ１１−４で所定の記憶領域にセットされた情報を、小物専用の箱詰め処理のための情報によって、上書きする。

Ｓ１１−１０において、統合部２０１ａは、Ｓ１１−７で上書きされた情報をもとに、小物を配置可能な領域を探索する。ここで、小物専用の情報による探索とは、例えば、小物フラグが「１」のアイテムに関しては、そのアイテムタイプがボックスであっても、デフォーマブル領域の既存アイテムの上に重畳可能とするという条件での探索である。

Ｓ１１−８において、統合部２０１ａは、内部データベース４０１ｋのアイテム情報から、対象となるアイテムの重量物フラグの判定を行う。ここで、重量物フラグが「０」であった場合（Ｓ１１−８でＹ）、手順はＳ１１−９に移行する。他方、重量物フラグが「１」であった場合（Ｓ１−８でＮ）、手順はＳ１１−１３に移行する。

Ｓ１１−９において、統合部２０１ａは、既存アイテム情報から既存アイテムに易損品があるか否かを確認する。ここで、易損品がある場合（Ｓ１１−９）でＹ、手順はＳ１１−１１に移行する。他方、易損品が無い場合（Ｓ１１−９でＮ）、手順はＳ１１−１２に移行する。

Ｓ１１−１１において、統合部２０１ａは、Ｓ１１−２、Ｓ１１−３、またはＳ１１−４で指定された領域のうち易損品と接触しない領域に対して、セットされた箱詰めアルゴリズムによりアイテムの設置位置を探索する。このＳ１１−１１の処理は、これから配置するアイテムを上に載せたり、押し当てたりすることにより、易損品である既存アイテムを破壊することが無いようにするための処理である。

Ｓ１１−１２において、統合部２０１ａは、Ｓ１１−２、Ｓ１１−３、またはＳ１１−４で指定された領域に対して、セットされた箱詰めアルゴリズムによりアイテムの設置位置を探索する。

Ｓ１１−１３において、統合部２０１ａは、Ｓ１１−２、Ｓ１１−３、またはＳ１１−４で指定された領域のうち、既存アイテムが存在しない領域に対して、セットされた箱詰めアルゴリズムによりアイテムの設置位置を探索する。Ｓ１１−１３の処理は、重量が大きいアイテムを既存のアイテムの上に乗せることにより、既存アイテムが損傷することが無いようにするための処理である。

Ｓ１１−１４において、統合部２０１ａは、Ｓ１１−１０、Ｓ１１−１１、Ｓ１１−１２、またはＳ１１−１３の探索の成功および失敗を確認する。探索が成功し、アイテムの配置位置が決定した場合（Ｓ１１−１４でＹ）、手順はＳ１１−１５に移行する。他方、探索が失敗し、アイテムの配置位置が決定しなかった場合（Ｓ１１−１４でＮ）、一旦箱詰め処理を中止し、容器１１ｂの切り替えなど、次の処理に移行する。

Ｓ１１−１５において、統合部２０１ａは、Ｓ１１−２、Ｓ１１−３、Ｓ１１−４、またはＳ１１−７で設定された各アイテムに適したバラメータを用いて、探索された設置位置にアイテムを箱詰めし、箱詰め処理を完了する。

このように本実施形態のピッキングロボットシステム２は、データベースのアイテムタイプデータを活用することで、より効果的なパラメータで物体ハンドリング処理を実行することが可能となる上、易損品フラグ等のフラグデータを用いることで、ハンドリング処理に伴ってアイテムを破損するなどの不都合が生じるのを抑制できる。

図２３Ａは、例えば段ボール箱や厚紙の箱など、アイテムタイプがボックスであるアイテム１０ａを示す。図２３Ｂは、例えば液体容器やブリスターパックなど、アイテムタイプがソリッドであるアイテム１０ｂを示す。図２３Ｃは、例えば衣類や詰め替え容器など、アイテムタイプがデフォーマブルであるアイテム１０ｃを示す。

また、図２３Ｄは、ピッキングロボットシステム２が図２２のフローにしたがって、箱詰めした場合の容器１１ｂの平面図である。図２３Ｄに示されるように、容器１１ｂ内には、図２３Ａのアイテム１０ａ、図２３Ｂのアイテム１０ｂ、および図２３Ｃのアイテム１０ｃが、それぞれ同種毎に纏められるとともに、互いに異なる位置に、互いに干渉しない状態に配置されている。このように、本実施形態のハンドリングシステム１によれば、アイテムの特性に関する情報を活用した箱詰め動作により、より効率の良い箱詰めを実現することができる。

［データベースの統合システム上でのオフライン活用：現場改善予測］
図２４は、物流システム改善提案処理の手順を示す。Ｓ１２−１において、データ管理部１００ａは、業務管理部１００ｅのＣＡＥ機能等を通じて取得した新規ロボットデータやエンドエフェクタデータにより、統合管理データベース１３０を更新する。データ解析部１００ｂは、それらの新規ロボットデータやエンドエフェクタデータを取得する。

Ｓ１２−２において、データ解析部１００ｂは、エンドエフェクタ２２０の適合性評価に必要な統合アイテムデータベースのアイテム情報等を取得する。

Ｓ１２−３において、データ解析部１００ｂは、取得したアイテム情報とエンドエフェクタデータを用いて、新規なエンドエフェクタ２２０と統合アイテムデータベースに登録された複数のアイテムの適合性を評価し、図１４Ｂの場合と同様に、各アイテムに対する統合アイテムデータベースのエンドエフェクタ情報テーブルを更新する。

Ｓ１２−４において、データ解析部１００ｂは、更新したエンドエフェクタ情報テーブルから、登録されたアイテムに対して、夫々処理可能であるか、不可能であるかを判定する。この場合、複数の把持面に対して、一つでもプライマリもしくはケイパブルと判定された面がある場合には、当該アイテムは処理可能なアイテムであると判定しても良いし、把持面の全数に対する処理可能な把持面の数の比率を判定の結果としてもよい。

Ｓ１２−５において、データ解析部１００ｂは、Ｓ１２−４の判定結果に基づいて、データベースに登録されたアイテム、または稼働状況のデータベースから当日や直近の一年のような指定期間内に扱われたアイテムのうち、新規なエンドエフェクタ２２０で処理可能と判定されたアイテムの数と、処理不可能であると判定されたアイテムの数をカウントし、全アイテム数に対して新規なエンドエフェクタ２２０を用いた場合に処理可能となるアイテムの比率を算出する。この比率は、推定アイテムカバー率と称される。

Ｓ１２−６において、データ解析部１００ｂは、新規なエンドエフェクタ２２０に対する推定アイテムカバー率と、既存のエンドエフェクタ２２０についての推定アイテムカバー率とを比較することで、新規なエンドエフェクタ２２０を導入した際の、処理可能アイテム比率の改善率を算出する。

Ｓ１２−７において、サービス・ＵＩ部１００ｄは、Ｓ１２−５やＳ１２−６で算出された結果を例えばディスプレイのようなＵＩ（表示部）に表示する。また、ＳｏＳ＿ＡＰＩ１００ｆは、外部システム３１０または上位システム３２０にＳ１２−５やＳ１２−６で算出された結果を通知し、処理を完了する。

図２５は、物流システム改善提案機能としてのＵＩにおける表示例を示す。図２５に示されるように、画像Ｉｍには、新規なエンドエフェクタ２２０であるエンドエフェクタＣに対する、物流システム改善提案機能処理の結果が示されている。画像Ｉｍ中の表において、第一列は、ハンドリングシステム１が処理を行っている処理ラインを示し、第二列は、それぞれのラインで用いられている物体ハンドリングロボットが選択可能なエンドエフェクタ２２０を示している。ここで、ライン１にはエンドエフェクタＡが選択可能なロボット２００が配置されていることがわかる。同様に、ライン２には、エンドエフェクタＡとエンドエフェクタＢとの切り替えおよび選択が可能なピッキングロボットシステム２（ロボット２００）が配置されていることが分かる。

また、表の第三列は、ロボット統合管理システム１００のデータ解析部１００ｂで推定されたそれぞれのラインに流れているアイテムに対する処理可能なアイテムの比率の推定値が表示されている。第四列は、実際のラインに流れたアイテムの稼働状況から、処理が成功した比率の実績値を示す。第三列と第四列の差は、推定と実績の差である。

また、表の第五列は、実際に処理が行われた処理件数を示し、第六列は、それぞれのラインにおけるエンドエフェクタ２２０の設置状態を示す。また、第４行は、ライン２に対して、エンドエフェクタＣを新規に導入した場合の、物流システム改善提案機能の処理結果を示す。この結果から、ライン２にエンドエフェクタＣを導入した場合、自動で処理できるアイテムの比率が現在の８０％程度から、８８％程度に上昇することがわかる。また、実際にエンドエフェクタＣで処理されるアイテムの件数は９００件と推定されていることがわかる。

このようにハンドリングシステム１は、ロボット統合管理システム１００による物流システム改善提案機能を用いることで、新規なエンドエフェクタ２２０の導入効果を実際に導入する前に見積もることが可能となる。さらに、この結果をＵＩに表示することで、顧客とのコミュニケーションを効果的に実施することが可能となる。

以上、説明したように、本実施形態によれば、ハンドリングシステム１は、新しいアイテム（対象物１０）のデータが無いような場合にあっても、当該新しいアイテムを自動的に計測し分析することにより、より適切に処理することができる。

また、本実施形態によれば、ハンドリングシステム１は、アイテムを把持しながら計測する形状登録モード（第二モード）で動作することにより、把持によって生じるアイテムの実際の状態の変化を計測することができるので、アイテムをより適切にあるいはより精度良く処理しやすくなる。

また、本実施形態によれば、ハンドリングシステム１は、アイテムを位相しながら計測する形状登録モードで動作することにより、位相によって生じるアイテムの実際の状態の変化を計測することができるので、アイテムをより適切にあるいはより精度良く処理しやすくなるとともに、アイテムを移送せずに計測するだけのシステムと比較して、スループットをより高くすることができる。

また、本実施形態によれば、データ解析部１００ｂは、アイテムを、変形しやすさ、例えば、所定の大きさの外力に対する変形量に応じて分類し、当該分類に応じた箱詰めを実行できるので、例えば、アイテムへのダメージがより少ない収容状態のような、より不都合の少ない容器１１ｂ内でのアイテムの収容状態が得られる。

また、本実施形態によれば、データ解析部１００ｂは、アイテムを、外形状、例えば、略直方体であるか否か、例えば、外面が略直方体状の所定領域内に収まるか否か、に応じて分類し、当該分類に応じた箱詰めを実行できるので、例えば、よりアイテムの集積度が高い収容状態のような、より不都合の少ない容器１１ｂ内でのアイテムの収容状態が得られる。

また、本実施形態では、ロボット統合管理システム１００（ロボット管理システム）が、複数のピッキングロボットシステム２（ロボットシステム）で共用化されているので、ピッキングロボットシステム２のそれぞれでアイテムを計測したり分析したりするシステムに比べて、より処理効率の高いハンドリングシステム１を実現できる。

実施形態において、ロボット統合管理システム１００、マスタ装置１１０、スレーブ装置１２０、コントローラ２０１は、それぞれ、一つ以上のコンピュータによって構成される。ロボット統合管理システム１００、マスタ装置１１０、スレーブ装置１２０、コントローラ２０１の、それぞれの演算処理や制御は、ソフトウエアによって実行されてもよいし、ハードウエアによって実行されてもよい。また、ロボット統合管理システム１００、マスタ装置１１０、スレーブ装置１２０、コントローラ２０１による演算処理や制御には、ソフトウエアによる演算処理や制御とハードウエアによる演算処理や制御とが含まれてもよい。

ソフトウエアによる処理の場合にあっては、ロボット統合管理システム１００、マスタ装置１１０、スレーブ装置１２０、コントローラ２０１は、それぞれ、図２６に示されるような、コンピュータ１０００によって構成される。コンピュータ１０００は、少なくとも、プロセッサ１００１（回路）、ＲＡＭ１００２、ＲＯＭ１００３、およびＨＤＤやＳＳＤのような補助記憶装置１００４等を有し、プロセッサ１００１は、ＲＯＭ１００３や補助記憶装置１００４に記憶されたプログラム（アプリケーション）を読み出して実行する。プロセッサ１００１は、プログラムにしたがって動作することにより、ロボット統合管理システム１００、マスタ装置１１０、スレーブ装置１２０、コントローラ２０１のそれぞれに含まれる各機能ブロックとして動作する。この場合、プログラムは、上記各機能ブロックに対応するプログラムモジュールを含む。

プログラムは、それぞれインストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭや、ＦＤ、ＣＤ−Ｒ、ＤＶＤ、ＵＳＢメモリのような、コンピュータ１０００で読み取り可能な記録媒体に記録されて提供されうる。記録媒体は、プログラムプロダクトとも称されうる。また、プログラムは、通信ネットワークに接続されたコンピュータの記憶部に記憶され、ネットワーク経由でダウンロードされることによってコンピュータ１０００に導入されうる。また、プログラムは、ＲＯＭ１００３等に予め組み込まれてもよい。

また、コンピュータ１０００の少なくとも一部がハードウエアによって構成される場合、当該コンピュータ１０００には、例えば、field programmable gate array（ＦＰＧＡ）や、application specific integrated circuit（ＡＳＩＣ）等が含まれうる。

また、図示されないが、コンピュータ１０００には、適宜、外部インタフェースや、各種ＵＩ装置が接続され、利用されうる。

上記実施形態のロボット統合管理システム１００では、マスタ装置１１０が、データ管理部１００ａ、データ解析部１００ｂ、サービス・ＵＩ部１００ｄ、業務管理部１００ｅ、およびＳｏＳ＿ＡＰＩ１００ｆとして機能し、スレーブ装置１２０が、オペレーション部１００ｃとして機能した。しかしながら、ロボット統合管理システム１００における機能の区分は、このような態様には限定されない。また、ロボット統合管理システム１００は、一つのコンピュータによって構成されてもよいし、三つ以上のコンピュータによって構成されてもよい。

以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、各構成や形状等のスペック（構造や、種類、方向、型式、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。例えば、上記ハンドリングシステムは、上述した一の容器内から別の容器内に対象物を搬送する物体ハンドリングシステム以外のハンドリングシステムにも適用可能である。

１…ハンドリングシステム、２…ピッキングロボットシステム（ロボットシステム）、１０…対象物、１０ａ，１０ｂ，１０ｃ…アイテム（対象物）、１００…ロボット統合管理システム（ロボット管理システム）、１００ｂ…データ解析部、１００ｃ…オペレーション部（動作指示部）、１３０…統合管理データベース（データベース）、２００…ロボット、２１０…アーム（可動部）、２２０…エンドエフェクタ、２３０…センサ。

Claims (18)

1. 可動部と当該可動部に取り付けられ対象物を把持するエンドエフェクタとを有し当該対象物を把持して移動させるロボットと、前記対象物を計測するセンサと、を有し、複数の動作モードで前記対象物を処理可能なロボットシステムと、
   前記センサによる前記対象物の計測によって得られた当該対象物の第一データを解析して当該対象物の第二データを算出するデータ解析部と、
   前記対象物の前記第一データが得られた際の前記ロボットシステムの前記動作モードに対応して定まる前記対象物のデータのステータスと関連付けて前記対象物の前記第二データを記憶するデータベースと、
   前記対象物を処理する前記ロボットシステムに対して、前記データベースに記憶された当該対象物の前記ステータスに応じて定まる前記動作モードで、当該対象物の前記第二データに応じて決定された動作指令に従って、当該対象物を処理するよう動作指示を与える動作指示部と、
   を備えた、ハンドリングシステム。
2. 前記複数の動作モードは、前記センサが前記エンドエフェクタによって把持されていない前記対象物を計測する第一モードと、前記センサが前記エンドエフェクタによって把持された前記対象物を計測する第二モードまたは前記ロボットが前記対象物を移送する第三モードと、を含む、請求項１に記載のハンドリングシステム。
3. 前記対象物の前記第一データが前記第一モードで得られた場合にあっては当該対象物の前記ステータスは第一状態に設定され、
   前記対象物の前記第一データが前記第二モードで得られた場合にあっては当該対象物の前記ステータスは第二状態に設定され、
   前記データベースに記憶された前記対象物の前記ステータスが前記第一状態の場合にあっては、前記動作指示部は、前記第二モードで当該対象物を処理するよう前記動作指示を与え、
   前記データベースに記憶された前記対象物の前記ステータスが前記第二状態の場合にあっては、前記動作指示部は、前記第三モードで当該対象物を処理するよう前記動作指示を与える、請求項２に記載のハンドリングシステム。
4. 前記第二モードでは、前記ロボットは前記エンドエフェクタによって把持された前記対象物を移送する、請求項２または３に記載のハンドリングシステム。
5. 前記第二モードでの前記対象物の移動速度は、前記第三モードでの前記対象物の移動速度よりも遅い、請求項４に記載のハンドリングシステム。
6. 前記データ解析部は、前記対象物を外力に対する変形量に応じて分類する、請求項１〜５のうちいずれか一つに記載のハンドリングシステム。
7. 前記データ解析部は、前記対象物を外形状に応じて分類する、請求項６に記載のハンドリングシステム。
8. 前記ロボットは、前記分類が同一のものが集合するよう、前記対象物を移送する、請求項６または７に記載のハンドリングシステム。
9. 前記ロボットは、前記対象物を移送の終点に到着する際の加速度が変化可能であり、
   前記動作指令は、前記加速度または前記加速度に関連する制御目標値が前記分類によって異なるよう設定される、請求項６〜８のうちいずれか一つに記載のハンドリングシステム。
10. 前記エンドエフェクタが異なる複数のロボットが接続され、
    前記動作指令では、前記第二データに応じて所定のロボットが指定される、請求項６〜９のうちいずれか一つに記載のハンドリングシステム。
11. 前記ロボットは、複数の前記エンドエフェクタを交換可能であり、
    前記動作指令では、前記分類に応じて選定された前記エンドエフェクタが指定される、請求項６〜１０のうちいずれか一つに記載のハンドリングシステム。
12. 前記データ解析部は、前記対象物については未使用の前記エンドエフェクタである第一エンドエフェクタのスペックデータと、前記対象物について使用済みの前記エンドエフェクタである第二エンドエフェクタのスペックデータおよび当該第二エンドエフェクタの処理実績データに基づいて、前記第一エンドエフェクタの処理実績を予測する、請求項１〜１１のうちいずれか一つに記載のハンドリングシステム。
13. 請求項１〜１２のうちいずれか一つに記載のハンドリングシステムに含まれるロボット管理システムであって、
    前記データ解析部および前記動作指示部を有した、ロボット管理システム。
14. 前記データベースを有した、請求項１３に記載のロボット管理システム。
15. 複数の前記ロボットシステムを制御する請求項１３または１４に記載のロボット管理システム。
16. 請求項１〜１２のうちいずれか一つに記載のハンドリングシステムに含まれるロボットシステムであって、
    前記ロボットおよび前記センサを有した、ロボットシステム。
17. 可動部と当該可動部に取り付けられ対象物を把持するエンドエフェクタとを有し当該対象物を把持して移動させるロボットと、
    前記対象物を計測するセンサと、
    を備え、
    前記センサが前記エンドエフェクタによって把持された前記対象物を計測しながら前記ロボットが前記対象物を移送する第二モード、および前記ロボットが前記第二モードよりも高速で前記対象物を移送する第三モード、で動作可能なロボットシステム。
18. さらに、前記センサが前記エンドエフェクタによって把持されていない前記対象物を計測する第一モードで動作可能な、請求項１７に記載のロボットシステム。

Images