JP2021045811A - ハンドリング装置、ハンドリング方法及びプログラム - Google Patents

Abstract

【課題】効率的なピッキング作業を実現する。【解決手段】実施形態のハンドリング装置は、評価部と行動方式生成部と制御部とを備える。評価部は、１以上の把持対象物を含む画像に基づいて、前記把持対象物を把持する第１行動方式の評価値を算出する。行動方式生成部は、前記画像と、複数の前記第１行動方式の評価値とに基づいて、第２行動方式を生成する。制御部は、前記第２行動方式に従って、前記把持対象物を把持する動作を制御する。【選択図】図６

Description

本発明の実施形態はハンドリング装置、ハンドリング方法及びプログラムに関する。

物流倉庫でバラ積みされた荷物などを扱うピッキング自動化システムなど、物体ハンドリング作業を自動化するロボットシステムが従来から知られている。このようなロボットシステムは、画像情報等のセンサデータを基に、物体の把持位置や姿勢、投入先の箱詰め位置や姿勢を自動的に算出し、把持機構を持つロボットが実際に把持や箱詰めを実行する。近年では、機械学習技術の発展により、学習によって、ロボットの適切な動作を実現する技術が利用されている。

特開２０１８−２０２５５０号公報

しかしながら、従来の技術では、効率的なピッキング作業を実現することが難しかった。具体的には、効率的なピッキング作業を実現するためには、例えば多数の対象のどれを先に取るか、またはその対象物のどの部分を把持するかをロボット毎、作業毎に適切に決定する必要がある。ロボットの機械的な制約、対象を把持する際の安定性、及び、ロボットハンドの対象物への到達の可能性などを複合的に判断して、効率的なピッキング作業を実現することが困難であった。

実施形態のハンドリング装置は、評価部と行動方式生成部と制御部とを備える。評価部は、１以上の把持対象物を含む画像に基づいて、前記把持対象物を把持する第１行動方式の評価値を算出する。行動方式生成部は、前記画像と、複数の前記第１行動方式の評価値とに基づいて、第２行動方式を生成する。制御部は、前記第２行動方式に従って、前記把持対象物を把持する動作を制御する。

実施形態のハンドリングシステム１００の構成の例を示す図。 実施形態のピッキングツール部の例１を示す図。 実施形態のピッキングツール部の例２を示す図。 実施形態のピッキングツール部の例３を示す図。 実施形態のピッキングツール部の例４を示す図。 実施形態のピッキングツール情報の例を示す図。 実施形態のコントローラの機能構成の例を示す図。 実施形態の処理部による画像処理の例を示す図。 実施形態の計画部の機能構成及び動作例を示す図。 実施形態の評価部の処理例を示す図。 実施形態の評価方式更新部の機能構成及び動作例を示す図。 実施形態の学習データセットの例を示す図。 実施形態の行動方式生成部の処理例を示す図。 実施形態の行動方式更新部の機能構成及び動作例を示す図。 実施形態のハンドリング方法の例を示すフローチャート。 実施形態のコントローラのハードウェア構成の例を示す図。

以下に添付図面を参照して、ハンドリング装置、ハンドリング方法及びプログラムの実施形態を詳細に説明する。

はじめに、物体ハンドリングロボットの一例であるハンドリング装置（ピッキングロボット）とロボット統合管理システムとを備えるハンドリングシステムの概要について説明する。

［全体概要］
図１は、実施形態のハンドリングシステム１００の構成の概略図である。実施形態のハンドリングシステム１００は、ハンドリング装置（マニピュレータ１、筐体２及びコントローラ３）、センサ支持部４、物品コンテナ用センサ５、把持物品計測用センサ６、集荷コンテナ用センサ７、一時置場用センサ８、物品コンテナ引き込み部９、物品コンテナ用重量計１０、集荷コンテナ引き込み部１１及び集荷用重量計１２を備える。

センサ支持部４は、センサ類（物品コンテナ用センサ５、把持物品計測用センサ６、集荷コンテナ用センサ７及び一時置場用センサ８）を支持する。

物品コンテナ用センサ５は、物品コンテナ１０１の内部の状態を計測する。物品コンテナ用センサ５は、例えば物品コンテナ引き込み部９の上部に設置された画像センサである。

把持物品計測用センサ６は、物品コンテナ用センサ５の付近に設置され、マニピュレータ１が把持した物体を計測する。

集荷コンテナ用センサ７は、集荷用コンテナの内部の状態を計測する。集荷コンテナ用センサ７は、例えば集荷コンテナ引き込み部１１の上部に設置された画像センサである。

一時置場用センサ８は、一時置場１０３に置かれた物品を計測する。

物品コンテナ引き込み部９は、ハンドリング対象の物品が保管された物品コンテナ１０１を引き込む。

物品コンテナ用重量計１０は、物品コンテナ１０１の重量を計測する。

集荷コンテナ引き込み部１１は、マニュピレータ１により取り出された物品を収める集荷用コンテナ１０２を引き込む。

集荷コンテナ用重量計１２は、集荷コンテナ１０２の重量を計測する。

なお、物品コンテナ用センサ５、把持物品計測用センサ６、集荷コンテナ用センサ７及び一時置場用センサ８は、任意のセンサでよい。例えば、ＲＧＢ画像カメラ、距離画像カメラ、レーザーレンジファインダ、及び、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）など、画像情報及び３次元情報等が取得可能なセンサが用いられる。

なお、図１の概略図では、図示されていないが、上記以外にも、実施形態のハンドリングシステム１００は、各種センサ、各種駆動部を動作させるための電源部、圧縮空気をためるボンベ、コンプレッサー、真空ポンプ、コントローラ及びＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等の外部インターフェース、並びに、ライトカーテンや衝突検知器などの安全機構を備える。

マニピュレータ１は、アーム部とピッキングツール部１４とで構成される。

アーム部は、複数のサーボモータで駆動される多関節ロボットである。これは、図１に示すような６軸（軸１３ａ〜１３ｆ）の垂直多関節ロボットを代表例として、多軸の垂直多関節ロボット、スカラロボット及び直動ロボット等の組み合わせで構成される。

ピッキングツール部１４は、吸着、ジャミング、挟み込み及び多指機構により対象物の把持を実現する機構である。

図２Ａ〜２Ｄは実施形態のピッキングツール部１４の例１〜４を示す図である。図２に示すように、ハンドリング装置のエンドエフェクタとして、屈曲や回転といった駆動部や各種センサを配置してもよい。

図２Ａの例では、ピッキングツール部１４は、力センサ２１、屈曲軸２２及び吸着パッド２３を備える。図２Ｂ及び２Ｃの例では、ピッキングツール部１４は、力センサ２１及び吸着パッド２３を備える。図２Ｄの例では、ピッキングツール部１４は、力センサ２１及び挟持機構２４を備える。

ピッキングツール部１４は、図２Ａ乃至Ｃに示すように、吸着式であっても配置するパッドの数や形状、位置が異なる。またピッキングツール部１４は、図２Ｄに示すように、吸着式以外にも挟み込みや多指機構でもよい。

図３は実施形態のピッキングツール情報の例を示す図である。実施形態のピッキングツール情報は、ピッキングツール番号、タイプ、関節情報、吸着パッド数、吸着パッド情報、挟持指数、挟持指情報、外形情報及び特性情報を含む。

ピッキングツール番号は、ピッキングツール部１４を識別する番号である。タイプは、ピッキングツール部１４の種類を示す。関節情報は、ピッキングツール部１４が備える関節の情報である。吸着パッド数は、ピッキングツール部１４が備える吸着パッドの数である。吸着パッド情報は、ピッキングツール部１４が備える吸着パッドの情報である。挟持指数は、ピッキングツール部１４が備える挟持機構の指の数である。挟持指情報は、ピッキングツール部１４が備える挟持機構の指の情報である。外形情報は、ピッキングツール部１４の外形を示す情報である。特性情報は、ピッキングツール部１４の特性を示す情報である。

図１に戻り、ロボット統合管理システム１５は、ハンドリングシステム１００を管理するシステムである。図３のピッキングツール情報は、ロボット統合管理システムのデータベースに保存される。ピッキングツール部１４は、ピッキングツールチェンジャーを用いることで、アーム部に対して、着脱可能となる。ピッキングツール部１４は、ロボット統合管理システム１５からの指示に従って、任意のピッキングツール部１４に交換することが可能である。

図４は実施形態のコントローラ３の機能構成の例を示す図である。実施形態のコントローラ４は、処理部３１、計画部３２及び制御部３３を備える。

処理部３１は、各種センサによって取得された画像及びセンサ情報を処理し、計画部３に入力されるＲＧＢ−Ｄ画像等の入力画像を生成する。

計画部３２は、処理部３１から入力された入力画像に基づき、ピッキング動作の行動方式（第２行動方式）を生成する。行動方式は、例えばピッキングツールを識別する識別情報と、ピッキングツールによる把持位置姿勢とを含む。

制御部３３は、計画部３２で生成された行動方式（第２行動方式）に従って、マニピュレータ１を含むハンドリング装置が、把持対象物を把持する動作を制御する。具体的には、制御部３３は、行動方式に含まれる識別情報により識別されるピッキングツールを使用して、行動方式に含まれる把持位置姿勢に従って、把持対象物を把持する動作を制御する。

図５は実施形態の処理部３１による画像処理の例を示す図である。処理部３１は、画像やセンサ情報を、計画部３１で使用される画像形式に変換する処理を行う。例えば、処理部３１は、除去処理、調整処理、及び、カメラパラメータ行列に合わせる処理を行う。除去処理は、物体群を収納するビンとビンを支える作業台とコンベヤーとを示す画像部分を、画像から除去する処理である。調整処理は、計画部３１に入力される入力画像のサイズ及びスケールに調整する処理である。カメラパラメータ行列に合わせる処理は、評価部３２１で使用される画像を取ったカメラのパラメータ行列に合わせ、入力画像を再生成する処理である。

図６は実施形態の計画部３２の機能構成及び動作例を示す図である。実施形態の計画部３２は、評価部３２１、評価方式更新部３２２、生成部３２３及び行動方式更新部３２４を備える。

処理部３１は、ｔ回目で把持対象物をピッキングする際に、ビン（物品コンテナ１０１）内の把持対象物群の配置Ｓの情報を含むＲＧＢ−Ｄ画像、評価部３２１で使用される画像形式に変換する。

評価部３２１は、１以上の把持対象物を含む画像に基づいて、把持対象物を把持する行動方式（第１行動方式）の評価値を算出する。評価値は、例えば把持対象物の把持容易性を示すスコアである。具体的には、評価部３２１は、処理部３１から入力されたＲＧＢ−Ｄ画像に基づき、各把持対象物の物体領域、及び、各ピッキング方式（各ツール）の把持容易性の評価値（把持しやすさのヒートマップ）を算出する。実施形態では、ヒートマップの各ピクセルが、ピクセル位置の世界座標系に対する位置で把持する際の姿勢と、把持しやすさ（把持容易性を示すスコア）とを示す。

評価方式更新部３２２は、評価値の正確さを高めるために、評価方式を更新する。例えば評価部３２１が、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて評価値を算出する場合、評価方式更新部３２２は、ＣＮＮの損失関数の値がより小さくなるようにして、ＣＮＮのパラメータを更新することにより、評価値の評価方式を更新する。

生成部３２３は、上述のＲＧＢ−Ｄ画像と、上述のヒートマップとに基づき、把持対象物の現在の配置に対して、より大きな累積報酬を獲得できる行動を示す行動方式を生成する。累積報酬は、例えば同時にピッキング可能な対象物の個数、ピッキングに掛かる時間、及び、ピッキングの成功率等のうち、少なくとも１つ以上が考慮された報酬の累積である。

制御部３３は、計画部３２で生成された行動方式に従って、マニピュレータ１を制御する。

行動方式更新部３２４は、より大きな累積報酬を獲得できるように、行動方式を決定するパラメータの更新を行う。

図７は実施形態の評価部３２１の処理例を示す図である。評価部３２１には、例えばＣＮＮ２００が用いられる。図７の例では、評価部３２１は、処理部３１からＲＧＢ−Ｄ画像（６４０×４８０ピクセル）を受け付けると、ＣＮＮ２００を用いて物体領域２０１ａ及び２０１ｂと、当該物体領域２０１ａ及び２０１ｂのヒートマップ（評価値）を、ピッキングツール−１〜ピッキングツール−ｎ毎に算出する。以下、物体領域２０１ａ及び２０１ｂを区別しない場合は、単に物体領域２０１という。

ヒートマップの各ピクセルは、ピクセル位置に対応する世界座標系の位置でピッキングする際の姿勢（Ｒｏｔ_ｘ，Ｒｏｔ_ｙ，Ｒｏｔ_ｚ）（世界座標系におけるｒｏｗ角度、ｐｉｔｃｈ角度とｙａｗ角度）と、把持しやすさとを示す。ここでは、Ｒｏｔ_ｘ，Ｒｏｔ_ｙ及びＲｏｔ_ｚは、それぞれ世界座標系のＸＹＺ軸に対する回転量を示す。また、把持しやすさは、ロボット物理制約、周囲物体との干渉条項、及び、ピッキング安全性などのいずれかまたは複合的に考慮される。

図８は実施形態の評価方式更新部３２２の機能構成及び動作例を示す図である。実施形態の評価方式更新部３２２は、教師データ生成部３３０、記憶制御部３４０、学習ＤＢ（Ｄａｔａｂａｓｅ）３５０及び訓練部３６０を備える。教師データ生成部３３０は、算出部３３１、候補生成部３３２及び候補評価部３３３を備える。訓練部３６０は、学習部３６１、損失関数評価部３６２及びパラメータ更新部３６３を備える。

評価方式の更新時には、算出部３３１が、処理部３１から画像情報（ＲＧＢ−Ｄ画像）を受け付ける。算出部３３１は、例えば画像認識技術により、ＲＧＢ−Ｄ画像から物体領域２０１を算出する。物体領域２０１は、例えば長方形等によって示される。なお、算出部３３１は、ユーザから物体領域２０１の指定を受け付けてもよい。

次に、候補生成部３３２は、算出部３３１によって算出された物体領域２０１によって示された把持対象物を把持する姿勢の候補を、物体領域２０１のピクセル毎にサンプリングする。姿勢は、例えば上述の世界座標系の姿勢（Ｒｏｔ_ｘ，Ｒｏｔ_ｙ，Ｒｏｔ_ｚ）により表される。

次に、候補評価部３３３は、候補生成部３３２によってサンプリングされた姿勢の候補で把持対象物を把持した場合の把持し易さを示すスコアを、ピッキングツール毎に算出する。把持しやすさのスコアは、例えば把持の可能性、安定性及び安全性を考慮した評価項目（下記式（１））によって算出される。

ここでは、ｄ_ｃｐチルダは、正規化された把持点から当該把持点を含む面の中心の距離である。ｄ_ｅｎｖチルダは、ピッキングツールから周囲干渉物までの正規化された最近傍距離である。ｄ_ｃｐチルダが小さいほど、物体の中心に近いので、把持の安定性が高くなる。また、ｄ_ｅｎｖチルダが大きいほど、ピッキングツールが壁などの障害物から遠くなるので、把持の安全性が高くなる。

Ｆは把持時の把持力のスコアである。例えば、大きな面を吸着する際に、複数吸着パットのほうが単一吸着パッドよりも吸着力が大きいので（Ｆスコアが高い）、より安定的に把持対象物を持てる。一方、吸着パッドが吸着可能な面積より小さな面（例えば細長い物体）を把持する際には、吸着パッドの吸着力は弱くなる（Ｆスコアが低い）。この場合、二指または多指ピンチングハンドの方が、吸着パッドよりも高い挟持力（Ｆスコアが高い）を有し、把持対象物をより安定的に挟むことができる。

挟持によって把持する場合には、把持の可能性、安定性及び安全性を考慮した評価項目以外にも、把持対象物に対する挟持ツールの挿入量を、評価項目に用いても良い。把持対象物に対して、より深い位置で挟み込みを行った方が、安定して物体を把持することが出来る。

記憶制御部３３０は、姿勢の候補から評価値がより大きくなる姿勢を選択し、選択された姿勢と選択された姿勢の評価値とを物体領域２０１の各ピクセルにより示すヒートマップとを教師データとして生成し、教師データとＲＧＢ−Ｄ画像とが関連付けられた学習データセットを学習ＤＢ３５０（記憶部）に記憶する。

図９は実施形態の学習データセットの例を示す図である。実施形態の学習データセットは、ＲＧＢ−Ｄ画像と教師データとを含む。ＲＧＢ−Ｄ画像は、様々な位置に配置された把持対象物を撮像することにより得られる。教師データは、ピッキングツール毎に算出された上述のヒートマップである。

図８に戻り、学習部３６１は、学習データセットを用いて、ＣＮＮによって物体領域２０１とヒートマップとを算出する。具体的には、学習部３６１は、学習ＤＢ３５０からＲＧＢ−Ｄ画像を読み出し、当該ＲＧＢ−Ｄ画像に含まれる各把持対象物の物体領域２０１、及び、各ピッキング方式（各ツール）の把持容易性の評価値を示すヒートマップを算出し、当該ヒートマップを損失関数評価部３６２に入力する。

損失関数評価部３６２は、学習ＤＢ３５０から、ＲＧＢ−Ｄ画像に関連付けられた教師データを読み出し、学習部３６１からヒートマップを受け付ける。損失関数評価部３６２は、教師データと、学習部３６１から受け付けたヒートマップに対し、損失関数を用いることで、学習部３６１の出力を評価する。

パラメータ更新部３６３は、損失関数の値がより小さくなるようにＣＮＮのパラメータを更新する。損失関数は、例えば下記式（２）により定義される。

Ｌ_ｒｏｔは、姿勢の評価項目、Ｌ_ｏｂｊは、物体領域２０１の評価項目、Ｌ_{ｇｒａｓｐａｂｉｌｉｔｙ}は把持しやすさの評価項目である。

評価方式の更新処理は、例えば新しいＲＧＢ−Ｄ画像が計画部３２に入力されるたびに実施してもよい。また例えば、事前に複数（大量）のＲＧＢ−Ｄ画像を学習ＤＢ３５０に記憶し、複数のＲＧＢ−Ｄ画像を用いて、評価方式を更新しても良い。

また例えば、通常のピッキング実施時には、ＲＧＢ−Ｄ画像の保存のみ行い、評価方針の更新処理は実施しなくてもよい。具体的には、通常のピッキング実施時（オンライン時）には、評価方式の更新処理を実施せず、評価方式の更新処理はオフライン時に行ってもよい。これによりピッキングの効率向上と高速な処理とを両立することが可能となる。

なお、評価方式の更新処理に用いられる画像は、上述のＲＧＢ−Ｄ画像に限られず任意でよい。例えば、評価方式の更新処理に用いられる画像は、実際のピッキングの現場環境で得られた画像データでも良いし、シミュレータで構築した環境から得られた画像データでも良い。シミュレータで画像データを取得する場合には、把持対象物を収納するビンのモデルに把持対象物モデル群を乱雑に置き、バラ積みの配置状態を生成する。ビンの上方から、無作為に対象物をビンに投入することで、バラ積みの配置状態を生成することが出来る。

図１０は実施形態の行動方式生成部３２３の処理例を示す図である。行動方式生成部３２３は、画像と、複数の行動方式（第１行動方式）の評価値とに基づいて、行動方式（第２行動方式）を生成する。具体的には、行動方式生成部３２３は、上述のＲＧＢ−Ｄ画像とヒートマップとに基づき、ピッキング動作の行動方式を生成する。行動方式の生成に使用されるアルゴリズムは、複数の行動の順序の評価、及び、複数の行動の累積的な評価が可能な強化学習、機械学習及び最適化のようなアルゴリズムであれば良い。図１０の例は、ＤＱＮ（Ｄｅｅｐ Ｑ−Ｎｅｔｗｏｒｋ）３００を用いて最適な行動方式を生成する場合を示す。行動方式生成部３２３は、ＲＧＢ−Ｄ画像と、各ツール−１〜ｎのヒートマップとをＤＱＮ３００に入力し、より大きい累積報酬を獲得できる行動方式を出力する。累積報酬は、例えばＤＱＮ３００により行動を生成し、複数回の把持動作によって、把持できる把持対象物の個数の和である。図１０の例では、ＤＱＮ３００から出力される行動方式を示す情報は、把持時のツールを選択する情報（図１０ではツール１）、並びに、把持位置及び把持姿勢の情報を有する領域２０２を含む。

図１１は実施形態の行動方式更新部３２４の機能構成及び動作例を示す図である。実施形態の行動方式更新部３２４は、報酬算出部３７１、価値算出部３７２及び更新部３７３を備える。

まず、行動方式生成部３２３が、把持対象物の現在の配置状態Ｓ_ｔに対して、現在の観測状態ｙ_ｔに基づき、後述のπ_θによって行動方式（第２行動方式）を生成し、マニピュレータ１を含むロボット（ハンドリング装置）に把持動作をさせる。

次に、報酬算出部３７１が、報酬を算出し、価値評価部３７２が、累積報酬（価値）を算出し、更新部３７３が、価値を最大化する行動方式のパラメータを更新する。

以下、数式（３）〜（７）を用いて、行動方式更新部３２４（報酬算出部３７１、価値算出部３７２及び更新部３７３）の処理について具体的に説明する。

現在の配置状態Ｓ_ｔ（Ｓ＝ｔ）は、マニュピレータ１が、ｔ回目の把持行動をする際のビン（物品コンテナ１０１）内の把持対象物の配置情報を示す。把持対象物の配置情報は、例えば把持対象物の形状等の幾何的な情報、把持対象物の位置及び姿勢を含む。

現在の観測状態ｙ_ｔは、下記式（３）により表される。

ここで、Ｍ_{ＲＧＢ−Ｄ}は、上述のＲＧＢ−Ｄ画像の行列である。Ｍ_Ｈｉはｉ番目のピッキングツールのヒートマップの行列である。

行動方式ｕは、下記式（４）により表される。

ここで、ｉは、ピッキングツールを識別するツール番号を示す。Ｐｏｓは、ｉ番目のピッキングツールで把持する際の目標位置を示す。Ｒｏｔは、ｉ番目のピッキングツールで把持する際の姿勢を示す。π_θは、把持の行動方式（ＤＱＮとみなす）を示す。θは、ＤＱＮのパラメータを示す。

報酬Ｒは、下記式（５）により表される。

行動方式ｕによる把持動作が成功すれば、報酬Ｒは１となり、行動方式ｕによる把持動作が失敗すれば、報酬Ｒは０となる。把持動作の成功及び失敗は、例えば実機のセンサ情報からの成功又は失敗を示すフィードバック、または、シミュレータ内の動作シミュレーションの結果により判断される。

行動方式生成部３２３は、現在の観測状態ｙ_ｔに基づき、π_θによる行動方式ｕを生成する。報酬算出部３７１は、報酬Ｒを算出する。価値算出部３７２は、配置状態Ｓ_０から配置状態Ｓ_Ｔ−１までの累積報酬の期待値Ｖを、下記式（６）により算出する。

更新部３７３は、累積報酬の期待値Ｖをより大きくするために、ＤＱＮのパラメータθを、下記式（７）を目標関数として更新することにより、行動方式（第２行動方式）を更新する。

ここで、θはＤＱＮのパラメータ空間を示す。

図１２は実施形態のハンドリング方法の例を示すフローチャートである。はじめに、計画部３２が、評価方式及び行動方式の更新が必要か否かを判定する（ステップＳ１）。更新が必要な場合は、例えばハンドリング装置（マニピュレータ１、筐体２及びコントローラ３）の出荷前である。また例えば、更新が必要な場合は、目的とするハンドリング作業の入れ替えなどが行われる場合、及び、これまでのハンドリング作業の性能が不十分だった場合などである。

更新が必要な場合（ステップＳ１，Ｙｅｓ）、評価方式更新部３２２が、評価方式を更新する（ステップＳ２）。具体的には、まず、処理部３１が、実際のピッキングの現場である環境またはシミュレータで構築した環境から得られたＲＧＢ−Ｄ画像の形式を、評価方式更新部３２２で使用される形式に変換する。教師データ生成部３３０が、ＲＧＢ−Ｄ画像から、上述の教師データを生成し、ＲＧＢ−Ｄ画像と教師データとを学習ＤＢ３５０に記憶する。そして、学習部３６１が、学習ＤＢ３５０のＲＧＢ−Ｄ画像を読み出し、現在の行動方式により、物体領域２０１の位置と、各ピッキング方式の把持しやすさのヒートマップとを算出する。パラメータ更新部３６３が、学習部３６１の出力と教師データの真値との差を評価する損失関数の値がより小さくなるように、ＣＮＮのパラメータを更新する。

次に、行動方式更新部３２４が、行動方式を更新する（ステップＳ３）。具体的には、行動方式生成部３２３が、ＲＧＢ−Ｄ画像と、ピッキングツール毎のヒートマップとに基づき、現在のアイテム配置状態に対して、現在の行動方式による把持動作を生成する。制御部３３が、マニピュレータ１を含むピッキング装置にピッキング動作をさせた後（又はシミュレータ内の動作シミュレーションをさせた後）、報酬算出部３７１が、報酬を算出する。価値評価部３７２は、把持動作の生成を複数回行った後、累積報酬の期待値を算出する。そして、更新部３７３が、累積報酬の期待値がより大きくなるように、行動方式のパラメータを更新する。

次に、制御部３３が、ＲＧＢ−Ｄ画像と、ピッキングツール毎のヒートマップとに基づき、現在のアイテム配置状態に対して、現在の行動方式による、より大きい累積報酬を獲得できるような把持動作を生成し、マニピュレータ１を含むピッキング装置を制御する（ステップＳ４）。

次に、計画部３２が、ハンドリング処理が完了しているか否かを判定する（ステップＳ５）。ハンドリング処理を完了していない場合には（ステップＳ５，Ｎｏ）、ステップＳ１の処理に戻り、ハンドリング処理を完了している場合には（ステップＳ５，Ｙｅｓ）、処理を終了する。

以上、説明したように、実施形態のハンドリング装置（マニピュレータ１、筐体２及びコントローラ３）では、評価部３２１が、１以上の把持対象物を含む画像に基づいて、把持対象物を把持する第１行動方式の評価値を算出する。行動方式生成部３２３が、画像と、複数の第１行動方式の評価値とに基づいて、第２行動方式を生成する。そして、制御部３３が、第２行動方式に従って、把持対象物を把持する動作を制御する。

これにより実施形態によれば、効率的なピッキング作業を実現することができる。例えば、多数の把持対象物のどれを先に取るか、その把持対象物のどの部分を、どのピッキングツールを用いて把持するかを適切に決定しながら、把持動作を制御できる。

（変形例）
次に、実施形態の変形例について説明する。上述の実施形態では、行動が把持である場合について説明を行ったが、把持以外にも箱詰め等の動作に上述のコントローラ３を適用してもよい。例えば、箱詰め動作の際には、評価部３２１は、ＲＧＢ−Ｄ画像に基づき、各対象物の物体領域、及び、各把持方式（各ツール）の箱詰め容易性の評価値（箱詰めのしやすさのヒートマップ）を算出する。ここでは、ヒートマップの各ピクセルは、ピクセル位置の世界座標系に対する位置で箱詰めする際の姿勢と把持しやすさの情報を含む。

行動方式生成部３２３は、ＲＧＢ−Ｄ画像と各ツールの箱詰めしやすさを示すヒートマップとに基づき、現在のアイテム配置に対して、より大きな累積報酬を獲得できる行動方式を生成する。ここでは、より大きな累積報酬は将来的に箱詰めできる物体の個数の和、箱詰め時間、及び、箱詰め成功率などのいずれかまたは複合的に考慮した報酬である。行動方式更新部３２４は、より大きな累積報酬を獲得できるように、行動方式のパラメータを更新する。

なお、把持、及び、箱詰め以外にも、組み立てのしやすさや複数の物体の組み立ての成功や時間を評価することで、組み立て動作等に、上述のコントローラ３を適用してもよい。また、評価部３２１は、把持と箱詰めをと統合した指標で評価を行ってもよいし、把持と箱詰めの間の搬送動作を更に考慮した指標で評価を行ってもよい。

最後に、実施形態のコントローラ３のハードウェア構成の例を示す図の例について説明する。

［ハードウェア構成の例］
図１３は実施形態のコントローラ３のハードウェア構成の例を示す図のハードウェア構成の例を示す図である。コントローラ３は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

なお、表示装置３０４、入力装置３０５及び通信装置３０６は備えていなくてもよい。例えば、コントローラ３が他の装置と接続される場合、当該他の装置の表示機能、入力機能及び通信機能を利用してもよい。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。

表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばハードウェアキー等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。

コントローラ３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

またコントローラ３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコントローラ３が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

またコントローラ３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

コントローラ３で実行されるプログラムは、コントローラ３の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なおコントローラ３の機能の一部を、ＩＣ等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ マニュピレータ
２ 筐体
３ コントローラ
４ センサ支持部
５ 物品コンテナ用センサ
６ 把持物品計測用センサ
７ 集荷コンテナ用センサ
８ 一時置場用センサ
９ 物品コンテナ引き込み部
１０ 物品コンテナ用重量計
１１ 集荷コンテナ引き込み部
１２ 集荷用重量計
１３ 軸
１４ ピッキングツール部
１５ ロボット統合管理システム
２１ 力センサ
２２ 屈曲軸
２３ 吸着パッド
２４ 挟持機構
３１ 処理部
３２ 計画部
３３ 制御部
２００ ＣＮＮ
３００ ＤＱＮ
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス
３２１ 評価部
３２２ 評価方式更新部
３２３ 行動方式生成部
３２４ 行動方式更新部
３３０ 教師データ生成部
３３１ 算出部
３３２ 候補生成部
３３３ 候補評価部
３４０ 記憶制御部
３５０ 学習ＤＢ
３６０ 訓練部
３６１ 学習部
３６２ 損失関数評価部
３６３ パラメータ更新部
３７１ 報酬算出部
３７２ 価値評価部
３７３ 更新部

Claims (10)

1. １以上の把持対象物を含む画像に基づいて、前記把持対象物を把持する第１行動方式の評価値を算出する評価部と、
   前記画像と、複数の前記第１行動方式の評価値とに基づいて、第２行動方式を生成する行動方式生成部と、
   前記第２行動方式に従って、前記把持対象物を把持する動作を制御する制御部と、
   を備えるハンドリング装置。
2. 前記評価部は、前記画像から前記把持対象物の物体領域を算出し、前記物体領域によって示された前記把持対象物の把持容易性を示すスコアにより、前記評価値を算出する、
   を備える請求項１に記載のハンドリング装置。
3. 前記画像を取得するセンサと、
   前記画像の画像形式を、前記評価部で使用される画像形式に変換する処理部と、
   を更に備える請求項１に記載のハンドリング装置。
4. 前記第２行動方式は、ピッキングツールを識別する識別情報と、前記ピッキングツールによる把持位置姿勢とを含み、
   前記制御部は、前記識別情報により識別される前記ピッキングツールを使用して、前記把持位置姿勢に従って、前記把持対象物を把持する動作を制御する、
   請求項１に記載のハンドリング装置。
5. 前記評価部は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて前記評価値を算出し、
   前記ＣＮＮの損失関数の値がより小さくなるようにして、前記ＣＮＮのパラメータを更新することにより、前記評価値の評価方式を更新する評価方式更新部、
   を更に備える請求項４に記載のハンドリング装置。
6. 前記評価方式更新部は、
   前記画像から前記把持対象物の物体領域を算出する算出部と、
   前記物体領域によって示された前記把持対象物を把持する姿勢の候補を、前記物体領域のピクセル毎にサンプリングする候補生成部と、
   前記姿勢の候補による把持容易性を示すスコアを前記ピッキングツール毎に算出する候補評価部と、を備え、
   前記姿勢の候補から前記評価値がより大きくなる姿勢を選択し、選択された姿勢と前記選択された姿勢の評価値とを前記物体領域の各ピクセルにより示すヒートマップとを教師データとして生成し、前記教師データと前記画像とが関連付けられた学習データセットを記憶部に記憶する記憶制御部とを更に備える、
   請求項５に記載のハンドリング装置。
7. 前記評価方式更新部は、
   前記学習データセットを用いて、前記ＣＮＮによって前記物体領域と前記ヒートマップとを算出する学習部と、
   前記ＣＮＮの損失関数の値がより小さくなるようにして、前記ＣＮＮのパラメータを更新するパラメータ更新部を更に備える、
   請求項６に記載のハンドリング装置。
8. 前記行動方式生成部は、前記画像と、前記複数の第１行動方式の評価値とに基づいて定まる現在の観測状態から、ＤＱＮ（Ｄｅｅｐ Ｑ−Ｎｅｔｗｏｒｋ）を用いて、より大きい累積報酬の期待値を得られる行動方式を、前記第２行動方式として生成し、
   前記累積報酬の期待値がより大きくなるようにして、前記ＤＱＮのパラメータを更新することにより、前記第２行動方式を更新する行動方式更新部、
   を更に備える請求項１に記載のハンドリング装置。
9. １以上の把持対象物を含む画像に基づいて、前記把持対象物を把持する第１行動方式の評価値を算出するステップと、
   前記画像と、複数の前記第１行動方式の評価値とに基づいて、第２行動方式を生成するステップと、
   前記第２行動方式に従って、前記把持対象物を把持する動作を制御するステップと、
   を含むハンドリング方法。
10. コンピュータを、
    １以上の把持対象物を含む画像に基づいて、前記把持対象物を把持する第１行動方式の評価値を算出する評価部と、
    前記画像と、複数の前記第１行動方式の評価値とに基づいて、第２行動方式を生成する行動方式生成部と、
    前記第２行動方式に従って、前記把持対象物を把持する動作を制御する制御部、
    として機能させるためのプログラム。

Images