JP2021154467A - ピッキング制御装置 - Google Patents

Abstract

【課題】ロボットによるピッキング作業を指示する際に、商品番号とマスタ画像との関連付け作業の負担を軽減して、ピッキング作業の効率化を図る。【解決手段】物品の商品番号とその画像であるマスタ画像とをマスタ画像データベースとして記憶する。そして、商品番号でピッキングの指示があるとき、マスタ画像データベースで商品番号に関連付けられたマスタ画像を抽出し、該当するマスタ画像の物品をロボット３０のアーム３１でピッキングする。ここで、ピッキング対象となる物品の商品番号に関連付けられたマスタ画像が抽出できない場合に、記憶したマスタ画像から、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補を抽出する。そして、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付けてマスタ画像データベースに登録する。【選択図】図１

Description

本発明は、ピッキング制御装置に関する。

近年、物流倉庫などの物流現場において、保管した多数の物品の中から、指定された特定の物品を取り出すピッキング作業を、ロボットを使用して自動化することが各種提案されている。
例えば図１０に示す従来のロボットの制御装置は、マスタ画像抽出部１とマスタ画像データベース２とを備える。マスタ画像抽出部１には、取り出す商品の商品番号のデータが外部から供給される。マスタ画像データベース２には、倉庫が保管した商品の画像であるマスタ画像と商品番号との対応が記憶される。なお、図面では、データベースは「ＤＢ」と記載している。

そして、マスタ画像抽出部１は、入力した商品番号に関連付けられたマスタ画像をマスタ画像データベース２から抽出し、ロボットが備えるカメラが撮影した画像から、該当するマスタ画像と一致する物品の領域を取り出す。そして、マスタ画像抽出部１は、取り出した画像の座標位置などから、該当する物品が配置された位置を判断し、ロボットに対して、判断した位置の物品を掴むピッキング作業を行うためのデータを送る。
図１０に示されるように、ピッキング作業を行うためのデータには、例えば、ロボットが行う作業を指示するワーク認識データｄ１と、ロボットのアームの移動を指示する軌道計画データｄ２と、ロボットを制御するための指令などを示す制御データｄ３が含まれる。

図１１は、マスタ画像データベースのデータ構造の例を示している。
マスタ画像データベースには、個々の商品番号と、その商品番号に関連付けられたマスタ画像との対応が記憶される。
商品番号は、物流現場が扱う商品の種類に対応し、例えば１つの物流現場で数万種類の商品番号が存在する。
マスタ画像は、物流現場が扱う商品を収めた箱の画像であり、商品番号の数よりは少ないが、例えば数十から数百種類のマスタ画像が存在する。例えば、違う商品であっても、同一のブランドの商品で、かつほぼ同一サイズの商品については、包装箱が同じ場合があり、ピッキング作業時に使用するマスタ画像は同じになるため、マスタ画像の数は商品番号の数よりも少なくなる。

従来、このようなピッキング作業に必要な商品番号とマスタ画像との関連付けの作業は、新しい商品番号の商品が登録される毎に、作業員が端末を使って手作業で行っていた。

特許文献１には、物流現場におけるピッキング作業を自動化するために、ピッキングの対象物の基準となる三次元形状のデータをデータベースに記憶し、計測装置が計測した対象物の形状との照合を行う技術が記載されている。また、特許文献１には、計測装置が計測した対象物の三次元形状との照合結果が、予め定められた範囲外であるとき、計測した対象物の三次元形状を、基準となる三次元形状のデータとして登録するように促す推奨処理を行うことも記載されている。

特開２０１９−３８０４７号公報

上述したように、ピッキング作業に必要な商品番号とマスタ画像との関連付けの作業は、現状では手作業で行っているため、事前の関連付けのための登録作業には、多大な手間と時間を要するという問題があった。すなわち、１つの物流倉庫が扱う商品は、数万点という膨大な数であり、非常に多くの商品の関連付け作業が必要であった。また、衣服、靴、スポーツ用品、アクセサリーなどの流行や季節による商品の入れ替わりが激しい業界の商品を扱う場合には、数万点の関連付け作業を数ヶ月ごとに行う必要があり、物流倉庫のピッキング作業を自動化する上で大きな障害になっていた。

特許文献１に記載されたように、ピッキング作業を行う物品の形状が、既に登録された物品の形状と相違する等の条件を満たすとき、その物品の登録を促す処理を行うことは従来から知られている。しかしながら、例え新たな形状の物品の登録を促したとしても、該当する物品について商品番号を登録する作業そのものは作業員が行う必要がある。したがって、商品の関連付け作業が必要であることには変わりがなく、登録作業のための負担が大きいという問題は改善されてはいない。

本発明は、商品番号とマスタ画像との関連付け作業の負担を軽減して、ロボットによるピッキング作業の効率化を図ることができるピッキング制御装置を提供することを目的とする。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、本発明は、管理している物品の商品番号と、物品の画像又は物品を収めた箱の画像であるマスタ画像とが記憶されるマスタ画像データベースと、ピッキング対象となる物品の商品番号を取得し、取得した商品番号に関連付けられたマスタ画像を、マスタ画像データベースから抽出するマスタ画像抽出部と、マスタ画像に基づいて商品の把持位置を認識するワーク認識部と、商品の把持位置に基づいてロボットの軌道を計画する軌道計画部と、計画された軌道に基づいてピッキングをロボットに実行させるロボット制御部と、マスタ画像抽出部でピッキング対象となる物品の商品番号に関連付けられたマスタ画像がマスタ画像データベースから抽出できない場合には、マスタ画像データベースに記憶されているマスタ画像から、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補を抽出し、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付けてマスタ画像データベースに登録するマスタ画像管理部と、を備える。

本発明によれば、商品番号に関連付けられたマスタ画像が存在しない場合に、自動的に適切なマスタ画像を関連付ける作業が行われ、ピッキング作業のためのデータの登録を適切に行うことができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施の形態例によるピッキングシステム全体の概要構成を示す図である。 本発明の一実施の形態例によるピッキング制御装置の構成例を示すブロック図である。 本発明の一実施の形態例によるピッキングシステムのハードウェア構成例を示すブロック図である。 本発明の一実施の形態例によるピッキングシステムの制御動作の流れを示すフローチャート（例１）である。 本発明の一実施の形態例によるピッキングシステムの制御動作の流れを示すフローチャート（例２）である。 本発明の一実施の形態例のデータベースによる商品リストの例（例１）を示す図である。 本発明の一実施の形態例のデータベースによる商品リストの例（例２）を示す図である。 本発明の一実施の形態例のデータベースによる商品リストの例（例３）を示す図である。 本発明の一実施の形態例を複数台のロボットによるシステムに拡張した例を示す構成図である。 従来のピッキングシステムの概要を示す図である。 従来のピッキングシステムによる商品番号とマスタ画像との対応を示す図である。

以下、本発明の一実施の形態例（以下「本例」と称する）を、図１〜図９を参照して説明する。
［ピッキングシステムの全体構成］
図１は、本例のピッキングシステムの全体構成の概略を示す。
本例のピッキングシステムは、物流制御装置１０とピッキング制御装置２０とロボット３０とを備える。
物流制御装置１０は、物流倉庫での物流全体を制御し、物流倉庫から物品の取り出しが必要になったとき、取り出す物品の商品番号の情報を、ピッキング制御装置２０に供給する。
ピッキング制御装置２０は、物流制御装置１０から商品番号の情報が供給されたとき、その商品番号に対応したマスタ画像を抽出して、マスタ画像で示される商品を取り出すピッキング作業を行うように、ロボット３０に対して指示する。

ロボット３０は、所定の範囲内を自在に動くアーム３１を有し、ピッキング制御装置２０の制御により、アーム３１の先端の把持部３２を使って、搬送された商品を把持して取り出す。
例えば、図１に示すように、多数の物品５１，５２，・・・が収められた搬送用の箱５０が物流倉庫内で搬送ライン上を流れて来たとする。ここで、ピッキング制御装置２０には、物品５１の商品番号が指示されたとする。このとき、ロボット３０は、アーム３１の先端の把持部３２により、搬送用の箱５０から指示された物品５１を取り出して、所定のパレット６０などに取り出した物品５１を置く作業を行う。

ロボット３０の近傍には、カメラ４１とＬｉＤＡＲセンサ４２とミリ波レーダ４３とが配置され、カメラ４１が搬送された物品などを撮影すると共に、ＬｉＤＡＲセンサ４２及びミリ波レーダ４３が、物品の位置や形状を計測する。カメラ４１が撮影した画像やＬｉＤＡＲセンサ４２及びミリ波レーダ４３が計測したデータは、ピッキング制御装置２０に供給される。なお、物品の位置や形状を計測するセンサは、上述したセンサの一部でもよく、他のセンサと組合せてもよい。

ピッキング制御装置２０は、ピッキング作業を行う物品の商品番号が供給されたとき、その商品番号に関連付けられたマスタ画像を取得する。取得したマスタ画像は、物品５１が収められた箱の表面の画像であり、ピッキング制御装置２０は、カメラ４１が撮影した画像とマスタ画像との比較により、箱５０内に物品５１が収められた位置を判断する。
そして、ピッキング制御装置２０は、物品５１が収められた位置を判断した後、ロボット３０に、物品５１が収められた位置にアーム３１を動かす軌道計画の情報を送る。ロボット３０は、ピッキング制御装置２０から送られた軌道計画に基づいて、ロボット３０のアーム３１をピッキング用に作動させて、物品５１を掴む作業を実行する。

すなわち、ロボット３０は、ピッキング制御装置２０からの指令に基づいて、アーム３１の先端の把持部３２を使って、搬送用の箱５０から、指定された物品５１を取り出し、取り出した物品５１を、指示されたパレット６０などに載せる作業を行う。

［ピッキング制御装置の構成］
図２は、ピッキング制御装置２０の構成例を示す。
ピッキング制御装置２０は、マスタ画像抽出部２１、マスタ画像データベース２２、マスタ画像管理部２３、ワーク認識部２４、軌道計画部２５、ロボット制御部２６、及び新規マスタ画像生成部２７を備える。
マスタ画像抽出部２１は、物流制御装置１０から商品番号が伝送されるとき、その商品番号に関連付けられたマスタ画像のデータを、マスタ画像データベース２２から抽出する。マスタ画像抽出部２１が抽出したマスタ画像のデータは、マスタ画像管理部２３に送られる。また、マスタ画像のデータが抽出できない場合には、マスタ画像抽出部２１は、マスタ画像管理部２３に、マスタ画像のデータを抽出できないことを示す情報を送信する。

マスタ画像データベース２２には、本例のピッキングシステムが設置された物流倉庫が扱う商品番号の一覧を示す商品リストと、商品リスト中の各商品番号に関連付けられたマスタ画像のデータが記憶されている。なお、マスタ画像データベース２２に記憶される商品リストの具体的な例については後述する。

マスタ画像データベース２２に記憶されるマスタ画像は、商品（物品）を収めた箱の画像や、商品そのものの画像である。商品を収めた箱の画像の場合には、マスタ画像としてピッキング時に認識が必要な特定の面の画像でもよいが、マスタ画像として箱の複数の面の画像を持つようにしてもよい。さらに、箱は四角い形状である必要はなく，袋などの形が一定でない物品でもよい。
なお、ピッキング時に認識が必要な特定の面は、例えば商品の製造会社、ブランド、種類など記載されている面、すなわち特徴量が多い面が好ましい。また、マスタ画像には、物品を収めた箱又は物品そのものの画像の代わりに、視差画像、点群画像でもよい。さらに、マスタ画像に箱又は物品の形状データ（三次元形状データなど）、把持位置などのデータを付加してもよい。

まず、上述の処理でマスタ画像抽出部２１が商品番号に関連付けられたマスタ画像を抽出できた場合について説明する。この場合、マスタ画像管理部２３は、該マスタ画像をワーク認識部２４に送信する。

ワーク認識部２４は、上記マスタ画像およびカメラ４１で撮像した画像に基づいて、物品の位置を認識し、ロボット３０の把持部３２が把持する位置を算出する。ワーク認識部２４が算出した物品の把持位置のデータは、軌道計画部２５に供給される。

軌道計画部２５は、物品の把持位置のデータに基づいて、ロボット３０のアーム３１を移動させる軌道を計画し、作成した軌道計画のデータをロボット制御部２６に送る。ロボット制御部２６は、軌道計画部２５から送られた軌道計画のデータに基づいて、アーム３１を移動させる制御を行うと共に、ロボット３０の把持部３２による物品の把持を制御する。

つづいて、上述の処理でマスタ画像抽出部２１がマスタ画像を抽出できなかった場合、すなわちマスタ画像と商品番号が関連付けられて保存されていない場合について説明する。マスタ画像管理部２３は、マスタ画像抽出部２１よりマスタ画像のデータを抽出できないことを示す情報を受信すると、マスタ画像候補のリクエストをマスタ画像データベース２２に送り、候補となるマスタ画像のデータを抽出する。そして、抽出したマスタ画像の候補をワーク認識部２４に送信する。なお、候補となるマスタ画像のデータをマスタ画像データベース２２から抽出する処理の詳細は後述する。

ワーク認識部２４は、上記のマスタ画像の候補およびカメラ４１で撮像した画像に基づいて物品の把持位置を認識する。上記把持位置を認識できた場合は，上述と同様に把持位置の結果に基づき、軌道計画部２５およびロボット制御部２６が，アーム３１の制御を行うと共に、ロボット３０の把持部３２による物品の把持を制御する。
そして、ワーク認識部２４は、把持位置の認識成功した旨、すなわち扱った物品の商品番号とマスタ画像の候補が対応していることをマスタ画像管理部２３に伝える。マスタ画像管理部２３は、上記商品番号とマスタ画像を関連付けてマスタ画像データベース２２に登録する。

つづいて、ワーク認識部２４が、前述たマスタ画像の候補およびカメラ４１で撮像した画像を照合し、物品の把持位置を認識しようとして、把持位置を認識できなかった場合について述べる。この場合、ワーク認識部は、マスタ画像候補により認識できなかった旨をマスタ画像管理部２３に伝える。マスタ画像管理部２３は，別のマスタ画像の候補をマスタ画像データベース２２にリクエストする。別のマスタ画像候補がある場合は、該マスタ画像候補をワーク認識部に２４に送信し、ワーク認識部２４は上述と同様の処理を繰り返す。照合処理を行っていない別のマスタ画像候補がデータベースにない場合は、マスタ画像管理部２３が、新規マスタ画像生成部２７に、マスタ画像を生成するように指示を出す。新規マスタ画像生成部２７は、カメラ４１の画像、Lidarの点群情報、ミリ波の形状認識結果などに基づき、マスタ画像を生成し、新規マスタ画像をマスタ画像管理部２３に送付する。マスタ画像管理部２３は、新規マスタ画像をワーク認識部に伝えると共に、対象としている商品番号と新規マスタ画像を対応付けてマスタ画像データベース１２に登録する。

なお、図２では図示を省略しているが、ピッキング制御装置２０は、図３に示すように表示部２０ｇや入力部２０ｆを備えており、ピッキング作業状態の表示や作業員に対する告知の表示を行うとともに、作業員からの操作入力も可能にしている。例えば、表示部２０ｇにおける表示に対して、入力部２０ｆにおける作業員からの操作入力の受付けで、作業員が商品番号とマスタ画像との関連付けの登録作業を行うことを可能にしている。あるいは、ピッキング制御装置２０と通信が可能な別の端末装置で、作業員が商品番号とマスタ画像との関連付けの登録作業を行い、その登録作業のデータをピッキング制御装置２０が取得して、マスタ画像データベース２２に登録させるようにしてもよい。

［ピッキング制御装置のハードウェア構成の例］
ピッキング制御装置２０は、例えばコンピュータで構成することができる。
図３は、ピッキング制御装置２０をコンピュータで構成した場合のハードウェア構成を示す。
ピッキング制御装置２０として機能するコンピュータは、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理ユニット）２０ａと、ＲＯＭ（Read Only Memory）２０ｂと、ＲＡＭ（Random Access Memory）２０ｃを備える。さらに、ピッキング制御装置２０は、不揮発性ストレージ２０ｄと、ネットワークインタフェース２０ｅと、入力部２０ｆと、表示部２０ｇとを備える。

ＣＰＵ２０ａは、マスタ画像抽出部２１、マスタ画像管理部２３、新規マスタ画像生成部２７でのマスタ画像についての演算処理や、ワーク認識部２４や軌道計画部２５などでのロボット制御に関する演算処理を実行するソフトウェアのプログラムコードをＲＯＭ２０ｂから読み出して実行する演算処理部である。ＲＡＭ２０ｃには、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。

不揮発性ストレージ２０ｄには、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量の情報記憶部が用いられる。不揮発性ストレージ２０ｄは、マスタ画像や商品リストなどのデータが格納されるマスタ画像データベース２２を構成する。

ネットワークインタフェース２０ｅには、例えば、ＮＩＣ（Network Interface Card）などが用いられる。ネットワークインタフェース２０ｅは、例えば物流制御装置１０から伝送される商品番号のデータを受信する。また、ロボット３０に対する指示を、ネットワークインタフェース２０ｅを介して行う。
入力部２０ｆは、ピッキング制御装置２０としての処理を行う上で、マスタ画像の登録作業などを行うユーザが各種データの入力処理を行う。
表示部２０ｇには、ピッキング制御装置２０の作動状況が表示される。また、表示部２０ｇは、マスタ画像の登録時に、候補画像の表示や、各種警告表示を行う。

なお、ピッキング制御装置２０を図３に示すコンピュータで構成するのは一例であり、コンピュータ以外のその他の演算処理を行う装置で構成してもよい。例えば、ピッキング制御装置２０が行う機能の一部または全部を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアによって実現してもよい。
また、ピッキング制御装置２０が入力部２０ｆや表示部２０ｇを備える構成とした点についても一例であり、ピッキング制御装置２０として、入力部２０ｆや表示部２０ｇのいずれか一方、又は双方を備えないコンピュータとして構成してもよい。

［ピッキング制御装置が行う処理の流れ］
図４は、ピッキング制御装置２０が行う処理動作の流れを示すフローチャートである。
まず、マスタ画像抽出部２１は、物流制御装置１０から商品番号を受信すると、その商品番号に関連付けられたマスタ画像の抽出処理を行う（ステップＳ１１）。そして、マスタ画像抽出部２１は、商品番号に関連付けられたマスタ画像が、マスタ画像データベース２２に存在するか否かを判断する（ステップＳ１２）。

ステップＳ１２で、商品番号に関連付けられたマスタ画像が存在すると判断したとき（ステップＳ１２のＹｅｓ）、ワーク認識部２４が、マスタ画像抽出部２１で抽出したマスタ画像管理部２３を経由して受信し、それに基づいて撮影したカメラ画像とマスタ画像とを照合して、物品の把持位置を認識する（ステップＳ１３）。そして、ワーク認識部２４が物品の把持位置を認識すると、ステップＳ２３で、ピッキング制御装置２０は、認識した位置の物品を把持する処理を実行し、所望の位置に物品を運ぶ。

ステップＳ１２で、商品番号に関連付けられたマスタ画像が存在しないと判断したとき（ステップＳ１２のＮｏ）、マスタ画像抽出部２１は、商品番号に関連付けられたマスタ画像が抽出できないことをマスタ画像管理部２３に通知する。これを受信したマスタ画像管理部２３は、マスタ画像のリクエストをマスタ画像データベース２２に送り、候補となるマスタ画像のデータをマスタ画像データベース２２から抽出する（ステップＳ１４）。

なお、ステップＳ１４で、候補となるマスタ画像のデータを抽出する際には、マスタ画像管理部２３は、例えばマスタ画像の利用頻度が高いものから順に抽出する。あるいは、ステップＳ１１で判断した商品番号と関連が高い可能性があるマスタ画像を選択して抽出する。商品番号と関連が高い可能性があるマスタ画像としては、例えば商品番号から、製造メーカやブランドを推測して、その推測した製造メーカやブランドに対応したマスタ画像を候補とする。

そして、マスタ画像管理部２３は、取得したマスタ画像の候補をワーク認識部２４に送る。ワーク認識部２４は、カメラ４１が撮影した取り出し対象の物品が含まれる箱５０（図１）を撮影した画像とマスタ画像の候補とを照合し、物品の把持位置を認識する（ステップＳ１５）。このステップＳ１５の照合で、ワーク認識部２４は、カメラ４１が撮影した画像内に、一致する物品があり、かつその一致した物品の把持位置を認識できるか否かを判断する（ステップＳ１６）。

ステップＳ１６で、マスタ画像の候補と一致した物品の把持位置を認識できると判断した場合（ステップＳ１６のＹｅｓ）には、マスタ画像管理部２３は、該当するマスタ画像の候補を、このときの商品番号に関連付けられたマスタ画像としてマスタ画像データベース２２に登録する（ステップＳ１７）。そして、ピッキング制御装置２０は、ステップＳ１５で認識した把持位置で、マスタ画像として関連付けられた物品を把持する処理を実行する（ステップＳ２３）。

また、ステップＳ１６で、マスタ画像管理部２３が、カメラ４１が撮影した画像内に、マスタ画像の候補と一致したものがないと判断した場合には（ステップＳ１６のＮｏ）、マスタ画像管理部２３は、照合処理を行っていない別のマスタ画像候補がマスタ画像データベース２２にあるか否かを判断する（ステップＳ１８）。

ステップＳ１８で、照合していないマスタ画像の別の候補があると判断した場合（ステップＳ１８のＹｅｓ）、マスタ画像管理部２３は、ステップＳ１４の処理に戻り、候補となる別のマスタ画像のデータをマスタ画像データベース２２から抽出し、既に説明したステップＳ１４以降の処理を実行する。

また、ステップＳ１８で、別のマスタ画像の候補がないと判断した場合には（ステップＳ１８のＮｏ）、マスタ画像管理部２３は、新規マスタ画像生成部２７に指示を出す。新規マスタ画像生成部２７は、カメラ４１、Ｌｉｄａｒ４１、ミリ波４３のセンサの情報に基づき、マスタ画像を生成し、マスタ画像管理部２３に出力する。マスタ画像管理部２３は、上記のマスタ画像を対象としている商品番号と対応付けてマスタ画像データベース２２へ登録する（ステップＳ１９）。なお、このマスタ画像の登録は、上述のように自動で行ってもよいが、表示部２０ｇにマスタ画像の新規登録が必要であることを表示し、作業員による操作で、マスタ画像の新規登録を実行してもよい。
このとき、例えばカメラ４１が撮影したカメラ画像の内で、作業員の操作で指示した特定の物品をマスタ画像として登録するようにしてもよい。あるいは、カメラ画像以外のものの画像をマスタ画像として登録してもよい。
ステップＳ１９の登録処理が行われた後、ワーク認識部２４は、マスタ画像として関連付けられた物品の把持位置を認識し（ステップＳ２０）、該当する物品を把持する処理を実行する（ステップＳ２３）。

そして、ステップＳ１３、Ｓ１７又はＳ２０の処理が実行され、ステップＳ２３の物品の把持処理が行われた後、次の商品番号の入力で、ステップＳ１１からの処理を繰り返し実行する。
なお、ステップＳ１４でマスタ画像の候補を抽出した際には、候補の抽出中であることを、ピッキング制御装置２０の表示部２０ｇ（図３）に表示して、作業者に告知するのが好ましい。このとき、表示部２０ｇは、候補のマスタ画像を表示してもよい。また、ステップＳ１７で商品番号にマスタ画像を関連付ける処理の実行時にも、ピッキング制御装置２０の表示部２０ｇを通して、関連付け処理が実行中であることを作業者に告知するのが好ましい。これらの告知時には、作業者が登録を承諾する操作を受け付けた後に、商品番号にマスタ画像を関連付けるようにしてもよい。

図５は、本発明の一実施の形態例によるピッキングシステムの制御動作の流れを示すフローチャートの第２の例を示す。
図５のフローチャートのステップＳ１１〜Ｓ１８までの処理は、図４のフローチャートと同じなので説明は省略する。
図４のフローチャートでは、ステップＳ１９でマスタ画像を新規登録した後、ステップＳ２０で該当する物品を把持する処理を行うようにした。
これに対して、図５のフローチャートに示す第２の例では、ステップＳ１８で、別のマスタ画像の候補がないとマスタ画像管理部２３が判断した場合（ステップＳ１８のＮｏ）、作業員の操作でロボット３０の作業エリアの特定の物品の把持位置を指示し、ワーク認識部２４が把持位置を認識する作業を最初に行うようにする（ステップＳ２１）。

この場合、新規マスタ画像生成部２７は、認識した把持位置の物品を取り出すピッキング作業を行った後に、把持位置を認識した物品のカメラ画像を、マスタ画像として新規登録する（ステップＳ２２）。そして、ステップＳ２２で、マスタ画像を新規登録した後、次の商品番号の入力で、ステップＳ１１からの処理が繰り返すようにしている。
図４のフローチャートに示す処理又は図５のフローチャートに示す処理を実行することで、商品番号にマスタ画像を関連付ける登録作業の大部分が自動化され、ロボットによるピックアップ作業を非常に効率よく実行できるようになる。すなわち、流通倉庫などが扱う商品番号は、一定の時期ごとに大きく変わることが多々あり、そのような場合でも、作業員が手作業で関連付けの登録作業を行う必要がなく、ピックアップ作業のために必要な登録の手間を大幅に軽減できるようになる。

［商品番号と関連付けられた商品リストの例］
次に、商品番号のリストである商品リストの具体例を、図６〜図８に示す。
図６は、商品番号と関連付けられた商品リストＬａと、マスタ画像と関連付けられた商品リストＬｂとの対応関係の例を示す。
商品番号と関連付けられた商品リストＬａは、商品番号、種類、ブランド、商品サイズ、箱サイズ、ロゴの種類、ロゴのサイズ、ロゴの位置、箱の色、穴の位置などの、商品の特性についての情報を持つ。但し、それぞれの商品番号の項目について、商品リストＬａに示す全ての情報を持つ必要はない。

マスタ画像と関連付けられた商品リストＬｂは、マスタ画像、ブランド、商品サイズ、箱サイズ、ロゴの種類などのマスタ画像を有する商品の特性情報を持つ。但し、それぞれのマスタ画像について、マスタ画像ごとに商品リストＬｂに示す全ての情報を持つ必要はない。

ここで、例えば商品番号と関連付けられた商品リストＬａに示される商品番号ＡＡＡ−１と関連付けられたマスタ画像が未登録であるとき、その商品番号と関連したマスタ画像の候補が、マスタ画像と関連付けられた商品リストＬｂから取り出される。
例えば、商品番号ＡＡＡ−１が、商品リストＬａ上でロゴの種類「ＡＡＡ」と登録されている場合に、マスタ画像と関連付けられた商品リストＬｂで、同じロゴの種類「ＡＡＡ」のマスタ画像である、No.1のマスタ画像と、No.2のマスタ画像が候補になる。また、異なるロゴの種類「ＢＢＢ」などのマスタ画像は、候補から除外される。

そして、候補となった２つのマスタ画像（No.1及びNo.2のマスタ画像）の内で、カメラ画像との比較または作業者による指示などで、最適なマスタ画像として、例えば商品番号ＡＡＡ−１に関連付けられるマスタ画像が選ばれる。

図７は、商品番号と関連付けられた商品リストＬｃとして、商品番号ＡＡＡ−１、ＡＡＡ−２、ＡＡＡ−３の３つの商品番号について、マスタ画像の関連付けがない場合を示す。
ここで、商品番号ＡＡＡ−１、ＡＡＡ−２、ＡＡＡ−３は、種類、ブランド及び商品名が同じで、サイズのみが相違しているとする。
このとき、本例のピッキング制御装置２０は、図４のフローチャートなどで説明した処理で、１つの商品番号ＡＡＡ−１について、マスタ画像Ｂを関連付けるようにする。
この商品番号ＡＡＡ−１にマスタ画像Ｂが関連付けられたとき、本例のピッキング制御装置２０は、商品番号ＡＡＡ−１とサイズのみが相違する商品番号ＡＡＡ−２、ＡＡＡ−３の２つについても、同じマスタ画像Ｂを商品番号に関連付ける登録処理を行う。

なお、ここではサイズのみが相違する場合について説明したが、サイズ以外の項目が相違する場合であっても、マスタ画像の関連付けが行われた商品番号と、所定の類似関係を有する商品番号について、同じマスタ画像を関連付けるようにしてもよい。例えば、商品の色が相違する商品番号についても、同じマスタ画像を関連付けるようにしてもよい。

また、図７の場合において、最初に１つの商品番号ＡＡＡ−１について、マスタ画像Ｂを関連付ける登録処理は、図４又は図５のフローチャートで説明した自動登録処理の場合の他に、作業員が手作業でマスタ画像Ｂの登録処理を行う場合にも適用することができる。すなわち、作業員が手作業で、特定の１つの商品番号にマスタ画像の関連付け作業を行ったとき、そのマスタ画像が関連付けられた商品番号と、サイズや色などの所定の類似関係を有する別の商品番号についても、一括して同じマスタ画像を登録する。
このように所定の類似関係を有する複数の商品番号について、同じマスタ画像を登録することで、マスタ画像の登録作業の効率化を図ることができる。

図８は、商品番号と関連付けられた商品リストＬｄとして、商品番号ごとにマスタ画像グループの情報を持つ場合を示している。
このマスタ画像グループの情報を持つ場合、ピッキング制御装置２０は、１つの商品番号にマスタ画像が関連付けられたとき、同じグループ内の他の商品番号にも、同じマスタ画像を関連付ける。
すなわち、予めマスタ画像が共通である複数の商品番号がグループとして記憶され、物品ごとに付与された商品番号にマスタ画像が関連付けられたとき、ピッキング制御装置２０は、グループの情報とマスタ画像とに基づいて、同じグループの別の商品番号に同じマスタ画像を登録することができる。

このように、商品番号と関連付けられた商品リストＬｄがグループの情報を持つ場合にも、複数の商品番号のマスタ画像をまとめて登録することができ、マスタ画像の登録作業の効率化を図ることができる。
このようなグループの情報を持つ場合でも、マスタ画像の登録作業は、図４又は図５のフローチャートで説明した自動登録処理の場合の他に、作業員が手作業でマスタ画像の登録処理を行う場合にも適用される。

［複数台のロボットを備えるシステムに適用した例］
図９は、本例のピッキングシステムとして、複数台のロボットを備える構成の例を示す。
図９に示すピッキングシステムは、図１のシステム構成で説明したロボット３０の他に３台のロボット１１０、１２０、１３０を有する。ロボット３０は、ピッキング制御装置２０により制御され、ロボット１１０、１２０、１３０は、それぞれピッキング制御装置２１０、２２０、２３０により制御される。
各ピッキング制御装置２１０、２２０、２３０は、図２に示すピッキング制御装置２０と同様の構成である。但し、図９に示すシステム構成の場合には、マスタ画像データベース７１は、全てのピッキング制御装置２０、２１０、２２０、２３０で共通に使用される。

また、図９に示すピッキングシステムは、ソータ制御装置７０を備える。ソータ制御装置７０は、物流制御装置１０から供給される商品番号の情報に基づいて、搬送される商品を各ロボット３０、１１０、１２０、１３０に対応したレーンに仕分ける処理を行う。
また、ソータ制御装置７０は、レーンの仕分けに連動して、物流制御装置１０から各ロボット３０、１１０、１２０、１３０に供給する商品番号についても、仕分けを行う。

ここで、ソータ制御装置７０は、物流制御装置１０から供給される商品番号について、マスタ画像データベース７１を参照して、関連付けられたマスタ画像があるか否かを判断する。そして、関連付けられたマスタ画像がある商品番号の商品を、３台のロボット１１０、１２０、１３０のいずれかのレーンに仕分け、それぞれのロボット１１０、１２０、１３０のピッキング制御装置２１０，２２０，２３０で、該当する商品のピッキングを実行する。なお、ロボット１１０、１２０、１３０は、商品を検出するためのセンサとして、カメラ４１のみを備えるようにして、ＬｉＤＡＲセンサ４２やミリ波レーダ４３（いずれも図２に図示）は省略してもよい。

一方、ソータ制御装置７０は、関連付けられたマスタ画像がない商品番号の商品については、ロボット３０のレーンに仕分ける。そして、ロボット３０のピッキング制御装置２０で、該当する商品のピッキングを実行する。このとき、ピッキング制御装置２０は、図４又は図５のフローチャートで説明したマスタ画像の登録処理を実行する。なお、ロボット３０は、図２に示すＬｉＤＡＲセンサ４２やミリ波レーダ４３を配置した構成とする。

このように構成したことで、商品番号に関連付けられたマスタ画像がある商品については、３台のロボット１１０、１２０、１３０で、登録されたマスタ画像を使ってピッキング処理が次々実行され、ピッキング作業のスループットを向上させることができる。

一方、商品番号に関連付けられたマスタ画像がない商品は、特定の１台のロボット３０に割り当てられ、ロボット３０が、マスタ画像の登録処理が行われながらのピッキング処理を実行し、確実にマスタ画像を登録するようにする。また、マスタ画像の登録時には、ＬｉＤＡＲセンサ４２やミリ波レーダ４３を備えることで、箱（商品）の形状などの詳細を計測することができ好ましいが、これらのＬｉＤＡＲセンサ４２やミリ波レーダ４３は、ロボット３０だけに配置すればよく、それだけシステム構成の簡易化に貢献する。

［変形例］
なお、本発明は、上述した実施の形態例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施の形態例では、商品リストの例として、靴を収めた箱の例としたが、その他の各種商品のピッキング処理に適用してもよい。この場合、上述した実施の形態例では、商品を収めた箱をピッキングする例を説明したが、商品そのものが直接並べられた状態から、ロボットが商品をピッキングしてもよい。

また、上述した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
さらに、上述した実施の形態例において、本発明の主旨を変えない範囲内で、装置またはシステム構成の変更や、一部の処理手順の省略や入れ替えを行ってもよい。
また、ピッキング処理を行うプログラム等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置くことができる。

さらにまた、図２，図３などのブロック図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、図４，図５に示すフローチャートにおいて、処理結果に影響を及ぼさない範囲で、複数の処理を同時に実行するか、あるいは処理順序を変更してもよい。

１…マスタ画像抽出部、２…マスタ画像データベース、１０…物流制御装置、２０…ピッキング制御装置、２０ａ…中央処理ユニット（ＣＰＵ）、２０ｂ…ＲＯＭ、２０ｃ…ＲＡＭ、２０ｄ…不揮発性ストレージ、２０ｅ…ネットワークインタフェース、２０ｆ…入力部、２０ｇ…表示部、２１…マスタ画像抽出部、２２…マスタ画像データベース、２３…マスタ画像検索部、２４…ワーク認識部、２５…軌道計画部、２６…ロボット制御部、２７…新規マスタ画像生成部、３０…ロボット、３１…アーム、３２…挟持部、４１…カメラ、４２…ＬｉＤＡＲセンサ、４３…ミリ波レーダ、５０…箱、５１，５２…物品、６０…パレット、７０…ソータ制御装置、７１…マスタ画像データベース、１１０〜１４０…ロボット、２１０〜２６０…ピッキングシステム

Claims (9)

1. 管理している物品の商品番号と、物品の画像又は物品を収めた箱の画像であるマスタ画像とが記憶されるマスタ画像データベースと、
   ピッキング対象となる物品の商品番号を取得し、取得した商品番号に関連付けられたマスタ画像を、マスタ画像データベースから抽出するマスタ画像抽出部と、
   前記マスタ画像に基づいて商品の把持位置を認識するワーク認識部と、
   前記商品の把持位置に基づいてロボットの軌道を計画する軌道計画部と、
   前記計画された軌道に基づいてピッキングをロボットに実行させるロボット制御部と、
   前記マスタ画像抽出部でピッキング対象となる物品の商品番号に関連付けられたマスタ画像がマスタ画像データベースから抽出できない場合には、マスタ画像データベースに記憶されているマスタ画像から、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補を抽出し、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付けてマスタ画像データベースに登録するマスタ画像管理部と、を備える
   ピッキング制御装置。
2. 前記マスタ画像管理部は、抽出したマスタ画像の候補が、ピッキング作業を行う範囲を撮影した画像に含まれるとき、該当したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付ける
   請求項１に記載のピッキング制御装置。
3. 前記マスタ画像データベースには、それぞれのマスタ画像の利用頻度が記憶され、
   前記マスタ画像管理部は、前記マスタ画像データベースに記憶されたマスタ画像の利用頻度に基づいて、マスタ画像の候補を抽出する
   請求項１に記載のピッキング制御装置。
4. 前記マスタ画像管理部は、ピッキング対象となる物品の商品番号に基づいて物品の特性情報を取得し、取得した特性情報からマスタ画像の候補を抽出する
   請求項１に記載のピッキング制御装置。
5. 前記マスタ画像管理部が、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補が前記マスタ画像データベースから抽出できない場合、ピッキング対象となる物品を計測及び／又は撮影した結果に基づいて生成した画像を、ピッキング対象となる物品に関連付けられたマスタ画像として登録させる
   請求項１に記載のピッキング制御装置。
6. 前記ロボットは、少なくとも第１のロボットと第２のロボットを有し、
   前記ロボット制御部は、前記第１のロボットに対して、ピッキング対象となる物品の商品番号に関連付けられたマスタ画像が存在する商品のピッキング作業を実行させ、前記第２のロボットに対して、ピッキング対象となる物品の商品番号に関連付けられたマスタ画像が存在しない商品のピッキング作業を実行させる
   請求項１に記載のピッキング制御装置。
7. さらに表示部を備え、
   前記マスタ画像管理部が、ピッキング対象となる物品の商品番号に対応したマスタ画像の候補を抽出した際に、前記表示部は、候補の抽出中を表示する
   請求項１〜６のいずれか１項に記載のピッキング制御装置。
8. さらに表示部を備え、
   前記マスタ画像管理部が、抽出したマスタ画像の候補を、ピッキング対象となる物品の商品番号に関連付ける際に、前記表示部は、商品番号に関連付ける処理の実行を表示する
   請求項１〜６のいずれか１項に記載のピッキング制御装置。
9. 管理している物品の商品番号と、物品の画像又は物品を収めた箱の画像であるマスタ画像とが記憶されるマスタ画像データベースと、
   ピッキング対象となる物品の商品番号を取得し、取得した商品番号に関連付けられたマスタ画像を、マスタ画像データベースから抽出するマスタ画像抽出部と、
   前記マスタ画像に基づいて商品の把持位置を認識するワーク認識部と、
   前記商品の把持位置に基づいてロボットの軌道を計画する軌道計画部と、
   前記計画された軌道に基づいてピッキングをロボットに実行させるロボット制御部と、
   ピッキング対象となる物品の商品番号を、前記マスタ画像データベースに記憶されたマスタ画像に関連付ける登録処理を行うと共に、前記登録処理が行われた際に、マスタ画像への関連付けが行われていない商品番号の内で、前記ピッキング対象となる物品の商品番号と所定の関係を有する商品番号を、前記マスタ画像データベースに記憶されたマスタ画像に関連付けるマスタ画像管理部と、を備える
   ピッキング制御装置。

Images