JP2023182175A - ピッキングシステム運用支援装置およびピッキングシステム - Google Patents

ピッキングシステム運用支援装置およびピッキングシステム Download PDF

Info

Publication number
JP2023182175A
JP2023182175A JP2022095640A JP2022095640A JP2023182175A JP 2023182175 A JP2023182175 A JP 2023182175A JP 2022095640 A JP2022095640 A JP 2022095640A JP 2022095640 A JP2022095640 A JP 2022095640A JP 2023182175 A JP2023182175 A JP 2023182175A
Authority
JP
Japan
Prior art keywords
picking
work
unit
information
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022095640A
Other languages
English (en)
Inventor
毅 北村
Takeshi Kitamura
統宙 月舘
Tsunamichi TSUKIDATE
聡 笹谷
So Sasatani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2022095640A priority Critical patent/JP2023182175A/ja
Publication of JP2023182175A publication Critical patent/JP2023182175A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • General Factory Administration (AREA)

Abstract

Figure 2023182175000001
【課題】
ピッキング対象やピッキング作業部の状態に応じて、柔軟なピッキング作業を計画でき、より効率的なピッキングシステムにおけるピッキング作業に関する運用を実現する。
【解決手段】
ピッキングシステムにおけるピッキング作業に関する運用を支援する仕分け制御装置3において、ワーク202および当該ワーク202に対してピッキング作業を行うピッキング作業部2A~2Cの状態を示す状態情報を取得する状態情報取得部4と、前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部5と、推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報303を作成する振り分け計画部6を有し、前記ピッキングシステムにおけるピッキング作業に関する運用効率化の向上を実現する。
【選択図】 図2

Description

本発明は、ピッキング対象(ワーク)のピッキング作業を実現するための技術に関する。この中でも特に、より効率的なピッキングシステムの運用を支援するための技術に関する。
近年の少子高齢化に伴う労働人口減少と、人手不足解消や生産性向上を目的としてロボットを活用した自動化・自律化のニーズが高まっている。特に物流分野においては、近年の通販市場拡大も相まって、従来は人が行ってきた什器中のワーク(作業対象物)のピックアンドプレイス(持ち上げ動作および搬送動作)の工程を、ラインへ導入した多軸のロボットアーム等を用いて自動化する自律ピッキングロボットの導入が期待される。
ロボットに自律的にピックアンドプレイスを含むピッキング作業を実行させるには、ワークの位置姿勢情報を含む環境情報を、周辺もしくはロボットに設置した撮像手段を用いて認識することが一般的である。例えばFA分野では、あらかじめワークの形状やテクスチャに関する事前情報をデータベースに登録しておき、撮像手段により取得した画像を事前情報と照らし合わせることで、ワークの位置姿勢情報を推定することがある。
一方で、E-コマースを代表とする物流分野においては、多種多様な品種のワークを取り扱うことや、季節ごとにワークのパッケージが変化することから、事前情報を登録することなく、ピッキング作業を行うことが望ましい。
例えば、特許文献1の要約書では、「闇雲に吸着パッドを包装物の何処かに押し当てても、吸着を適切に行うことは困難である」という課題が記載されている。そして、解決手段として「包装物を撮像した画像を入力する入力手段と、前記画像に基づいて特定された前記包装材の表面の領域ごとの吸着の成否に関わる情報に基づいて、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部によって吸着させる領域を決定する決定手段と、を有する」ことが記載されている。
すなわち、特許文献1では、撮像装置にて撮影した画像に基づきワークの表面のうちしわ又は穴がある可能性が低い領域を推定している。そして、このことで、ワークに関する事前情報をあらかじめ登録することなく、吸着可能な画像上の位置を推定するとともに、実施例においては距離画像を用いて3次元的な位置姿勢情報を求めている。
特開2019-181687号公報
上記の通り、特許文献1によれば、あらかじめワークの事前情報を登録することなくワークの吸着可能な位置を推定することが出来る。しかしながら、顧客設備のレイアウトやコストの制約によっては、導入する全てのラインへ、最適な位置に望ましい種類の撮像装置やロボットを設置できない案件や、ワークに対し顧客設備の照明の入射が防止できない案件がある。
このような物理的制約が生じると、ラインによっては撮像装置による画像(距離画像を含む)の品質が低下することがある。このことで、例えば、ワークの位置姿勢情報の認識に失敗するケースや、認識した位置姿勢にロボットがハンドを移動できず、持ち上げに失敗するケースが生じ、ロボット停止によるスループット低下や物品の破損を引き起こしかねない。以上のように、特許文献1等では、ピッキング対象やピッキング作業装置の状態といったピッキングシステムの物理的制約により、効率的な運用が困難との課題があった。そこで、本発明では、硬直的なピッキング作業計画の作成を避け、ピッキングシステムの効率的な運用支援を目的とする。
上記の課題を解決するために、本発明では、ピッキング対象およびピッキングを行うピッキング作業部の状態を示す状態情報に応じて、ピッキング作業の成否性を推定し、推定された成否性に応じて、ピッキング作業部を含むピッキングシステムの運用、特にピッキング作業を調整することで、ピッキングシステムのピッキング作業の運用効率化の向上)を実現する。
より具体的には、ピッキングシステムにおけるピッキング作業に関する運用を支援するピッキングシステム運用支援装置において、ピッキング対象および当該ピッキング対象に対してピッキング作業を行うピッキング作業部の状態を示す状態情報を取得する状態情報取得部と、前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部と、推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報を作成する振り分け計画部を有し、前記ピッキングシステムにおけるピッキング作業に関する運用効率化の向上を実現するピッキングシステム運用支援装置である。
また、本発明には、ピッキングシステム運用支援装置を用いたピッキングシステム運用支援方法、ピッキングシステム運用支援装置を含むピッキングシステムも含まれる。また、ピッキングシステムを用いたピッキング方法も本発明に含まれる。さらに、ピッキングシステム運用支援装置をコンピュータとして機能させるためのプログラムやこれを格納する記憶媒体も、本発明の一態様である。
本発明によれば、ピッキング対象やピッキング作業部の状態に応じて、柔軟なピッキング作業を計画でき、より効率的なピッキングシステムにおけるピッキング作業に関する運用が可能となる。
本発明の一実施形態の適用先の一例であるピッキングエリアを示す図 実施例1におけるピッキングシステムの機能ブロック図 実施例1における制御装置のハードウェア構成を示す図 実施例1におけるピッキング作業制御装置の機能ブロック図 実施例1におけるピッキング成否推定部の処理の詳細を示す図 実施例1におけるワーク情報推定部の機能ブロック図 実施例1における認識容易性推定部の機能ブロック図 実施例1における動作容易性推定部の機能ブロック図 実施例1で用いられる成否推定情報を示す図 実施例1で用いられる振り分け情報を示す図 実施例2におけるピッキング対象の振り分けを説明するための図 実施例3におけるピッキングシステムのシステム構成図 実施例3における処理を示すフローチャート
以下、本発明を実施するための実施形態について、適宜図面を参照しながら説明する。本実施形態では、ピッキングエリアにおいて、複数のピッキング作業部2A~2Cのいずれでピッキング作業を実行させるかを判定する。ここで、図1は、実施形態の適用先の一例であるピッキングエリアを示す図である。ピッキングエリアには、複数のピッキング作業部2A~2Cが設けられる。
また、ピッキングエリアに投入される什器201には、ピッキング対象であるワーク202が格納されている。そして、ピッキングエリアに什器201(ワーク202)が投入されると、ベルトコンベアの如き仕分け装置30により、ピッキング作業部2A~2Cのうち、適切なピッキング作業部に移動される。この結果、移動先のピッキング作業部で、ピッキング作業が行われる。なお、什器201とは、ワーク202を格納できればよく、その形状、名称は問わない。また、ワーク202は、ピッキング対象であり、製品、商品、部品等、その種別は問わない。
また、ピッキング作業部2A、2Bの各ラインでは、ピッキング作業を自動化するためのハードウェアが設けられている。つまり、ライン撮像装置23A、23B、ロボットアーム21A、21B、吸着ハンド22A、把持ハンド22B(単に、ハンド22とも称する)といったピッキング作業を行うためのハードウェアが設けられる。そして、ピッキング作業部2A、2Bには、これらハードウェアを制御するピッキング作業制御装置20が設けられる。また、ピッキング作業部2Cは、作業者によるピッキング作業が実施される。さらに、各ラインへの仕分け前の什器201ないしワーク202を撮像可能な位置に、ワーク撮像装置40が設けられる。
ここで、ライン撮像装置23A、23Bやワーク撮像装置40は、カメラ等で実現でき、投入されるワーク202やピッキング作業部2A、2Bを撮影する。但し、ライン撮像装置23A、23Bやワーク撮像装置40は、上述の位置以外に設置さてもよい。さらに、ライン撮像装置23A、23Bは、複数のピッキング作業部2A、2Bやラインごとに設けられてもよい。さらに、図示しないが、ピッキング作業部2Cに、ライン撮像装置を設けてもよい。
また、ロボットアーム21A、21Bや吸着ハンド22A、把持ハンド22Bは、ピッキング作業のための動作を行うハードウェアである。また、ロボットアーム21A、21Bや吸着ハンド22A、把持ハンド22Bを含むロボットシステムには、自律ピッキングロボットが含まれる。なお、ピッキング作業は、これら各ハードウェアを用いて実行され、認識、持ち上げ動作(ピック)および搬送動作(プレイス)といった各工程の少なくとも1つを含む。また、持ち上げ動作および搬送動作については、後述のようにまとめてピックアンドプレイスとも称する。
ここで、ワーク202によって、適切なピッキング作業が変わってくる。例えば、脆いワークに対しては、吸着ハンド22A、把持ハンド22Bによって強く握った場合破損する恐れがある。また、ワーク202の形状と吸着ハンド22A、把持ハンド22Bの形状の相性によっては、中々持ち上げ動作ができない恐れがある。さらに、ワーク202の大きさや重さによっては、ラインを流すことが困難であったり、ロボットアーム21A、21Bでの移動に時間が掛かったりする恐れもある。つまり、ワークとピッキング作業部の状態によっては、ピッキング作業のスループット低下が生じることになる。さらに、人手でピッキング作業を行うピッキング作業部2Cにおいても、休憩等で作業者が少ない場合、ピッキング作業の効率が低下してしまう。
以上のように、ピッキング対象であるワーク202とピッキング作業部2A~2Cの状態により、ピッキング作業の効率性が低下してしまう。そこで、本実施形態では、ワーク202とピッキング作業部2A~2Cの状態に応じて柔軟に対応することで、ピッキングシステム100のピッキング作業に関する運用をより効率的に実現する。なお、ワーク202の状態には、ワーク202の特性(硬さ、大きさ、形状、重さ)やその数量が含まれる。また、ピッキング作業部2A~2Cの状態には、ピッキング作業部の構成、作業能力、特性、ロボットの仕様、その数量が含まれる。また、ロボットの仕様には、動作プログラム、ハンドの種別などが含まれる。
そこで、本実施形態は、ピッキングシステム100におけるピッキング作業に関する運用を支援する仕分け制御装置3において、ワーク202および当該ワーク202に対してピッキング作業を行うピッキング作業部2A~2Cの状態を示す状態情報を取得する状態情報取得部4と、前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部5と、推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報303を作成する振り分け計画部6を有し、前記ピッキングシステム100におけるピッキング作業に関する運用効率化の向上を実現する。以下、本実施形態の具体的な内容を示す各実施例について説明する。
(全体構成)
図2は、実施例1におけるピッキングシステム100の機能ブロック図である。本実施例におけるピッキングシステム100は、制御装置1、ピッキング作業部群2、仕分け制御装置3を有し、これらはネットワークのような通信路を介して互いに接続される。まず、制御装置1は、ピッキング作業部群2に含まれる各ピッキング作業部(2A~2C)のうち、該当のピッキング作業を行うピッキング作業部に対して、その動作を制御するための制御指令を出力し、これらを制御する。
また、ピッキング作業部群2は、ピッキング作業を行うピッキング作業部(2A~2C)で構成される。本実施例における3つのピッキング作業部2A、2B、2Cのそれぞれ構成については後述する。また、仕分け制御装置3は、ワークやピッキング作業部2A~2Cの状態に応じて、ピッキング作業の運用計画を示す仕分け情報を作成する。このために、仕分け制御装置3は、状態情報取得部4、ピッキング成否推定部5、振り分け計画部6、作業指示生成部7および以下の各情報を記憶する記憶部を有する。なお、仕分け制御装置3は、ピッキングシステム運用支援装置の一例である。
ここで、記憶部に記憶される各情報について説明する。まず、ピッキング作業履歴情報300は、各ピッキング作業部2A~2Cによる過去のピッキング作業の履歴(実績)を示す情報である。また、作業部データ301は、各ピッキング作業部2A~2Cの構成およびパラメータ示すデータである。また、成否推定情報302は、各ピッキング作業部2A~2Cにおけるピッキング作業の成否性を示す情報であり、例えば、各作業工程の実現成否性やピッキング作業時間を含む。なお、成否推定情報302は、ピッキング作業部2A~2Cとして、ワークを格納する什器ごとの情報としてもよい。さらに、振り分け情報303は、ピッキングシステム100におけるピッキング作業の運用計画を示す情報である。振り分け情報303は、ワークに対するピッキング作業を、いずれのピッキング作業部2A~2Cで実行させるかを示す。つまり、ワークや什器の移動先との仕分けを
より具体的には、振り分け情報303は、ピッキング作業部2A~2Cごとの、ピッキング作業を行うワークの種類、個数および予定時間が含まれる。振り分け情報303には、ピッキング作業部2A~2Cでのピッキング作業の実績時間が含まれることが望ましい。以上で、各情報の概要の説明を終わるが、成否推定情報302および振り分け情報303の具体的な内容について、追って説明する。
以下、仕分け制御装置3の各機能ブロックについて説明する。まず、状態情報取得部4は、ピッキング対象およびこれに対するピッキング作業が実行されるピッキング作業部の状態を取得する。ここで、ピッキン対象には、ピッキングシステム100に投入されるワーク202が少なくとも含まれ、これを格納する什器201を含めてもよい。また、ピッキング作業部には、ピッキング作業部2A~2Cが含まれる。
そして、状態情報取得部4は、ワーク202や什器201の状態を、以下のとおり取得する。まず、状態情報取得部4は、ワーク202や什器201の撮像データを、カメラ等のワーク撮像装置40から取得する。ここで、ワーク撮像装置40は、各ラインの前段に設置される。この結果、ワーク撮像装置40は、仕分け前に、ワーク202と什器201の少なくとも一部を撮像できる。このため、ワーク撮像装置40は、ステレオカメラ、構造化光カメラ、Time of Flightカメラ、単眼カメラをいった各種カメラで実現できるが、その種類は限定されない。そして、状態情報取得部4は、ワーク撮像装置40から取得した撮像データに対して画像処理を施し、ワーク202の状態を示すワーク状態情報を作成する。
また、状態情報取得部4は、作業部データ301から各ピッキング作業部2A~2Cの仕様を含むワーク状態情報を作成する。ここで、ピッキング作業部2A~2Cの仕様とは、ピッキング作業における性能を示し、ロボット21A、21Bの配置、可動域、吸着ハンド22A、把持ハンド22Bの種別、動作速度、扱い可能ワーク(大きさ、形状)などを用いることができる。
そして、状態情報取得部4は、ワーク状態情報および作業部状態情報を含む状態情報を作成できる。この状態情報は、後述のピッキング作業の成否性を推定に用いられることができればよく、その形式等は問わない。
また、状態情報は、仕分け制御装置3内で作成されてもよいし、仕分け制御装置3およびピッキング作業制御装置20で連携して作成して、もよい。この場合、仕分け制御装置3がワーク202のワーク状態情報を作成し、ピッキング作業制御装置20がピッキング作業部2A~2Cの作業部状態情報を作成し、これらをマージすることで実現できる。
また、ピッキング成否推定部5は、状態情報を用いて、ピッキング作業部2A~2Cの少なくとも1つでのピッキング作業の成否性を推定する。つまり、ピッキング成否推定部5は、状態情報を用いて、成否推定情報302を作成する。この際、ピッキング成否推定部5は、ピッキング作業履歴情報300および作業部データ301の少なくとも一方をさらに用いることが望ましい。ここで、ピッキング作業履歴情報300を用いることで、実績に応じたより実情を反映した成否推定情報302が作成される。また、作業部データ301を用いることにで、各ピッキング作業部2A~2Cの仕様に応じた実情を反映した成否推定情報302が作成される。
また、振り分け計画部6は、ピッキング作業の成否性に応じて、振り分け情報303を作成する。ここで、振り分け情報303の作成には、過去に作成された振り分け情報303を修正、変更することが含まれる。
また、作業指示生成部7は、振り分け情報303に基づき、ワークに対するピッキング作業を、ピッキング作業部2A~2Cのいずれかで実行するように制御する作業指示を作成し、制御装置1に出力する。
以降では、制御装置1、ピッキング作業部群2、ピッキング作業履歴情報300、作業部データ301、ピッキング成否推定部5、振り分け計画部6、ピッッキング実行部10の詳細に説明する。
(制御装置1)
制御装置1は、作業指示生成部7で作成された作業指示を受け付け、作業指示に応じた制御指令を、仕分け装置30やピッキング作業部2A~2C(特に、ピッキング作業部2A、2B)に出力する。この結果、仕分け装置30やピッキング作業部2A~2Cを用いて、作業指示に応じたピッキング作業が実現できる。以下、制御装置1の詳細について説明する。図3は、本実施例における制御装置1のハードウェア構成を示す図である。図3に示すように、制御装置1は、CPU11(Central Processing Unit)、バス12、ROM13(Read Only Memory)と、RAM14(Random Access Memory)、記憶装置15、ネットワークI/F16、撮像I/F17、画面表示I/F18および入力I/F19を有し、これらはバス12を介して接続される。
まず、CPU11は、制御装置1の全体動作を統括制御する。また、バス12は、CPU11の指令を他の部位に伝達する。撮像I/F17は、ワーク撮像装置40やライン撮像装置23A、23Bと接続する。画面表示I/F18は、画面出力を行うための機能を有し、画面と接続する。なお、画面表示I/F18は省略できる。また、入力I/F19は、外部装置からの外部入力を受け付ける。このように、制御装置1は、一般的なコンピュータにより構成することができる。さらに、制御装置1は、PLC(Programmable Logic Controller)で構成することもできる。
また、記憶装置15内には、各機能を実行するためのプログラム15Aと、OS15Bと、3次元モデル15Cとデータベースなどのパラメータ15Dなどが格納されている。
また、ネットワークI/F16には、ピッキング作業部2A、2B、特にそのロボットを制御し動作させるためのロボット制御装置16Aが接続される。さらに、ネットワークI/F16には、仕分け装置30を制御し動作させるための仕分け装置制御装置16Bが接続されている。これら、ロボット制御装置16Aおよび仕分け装置制御装置16Bは、その制御対象に対して、制御指令を出力する。この制御指令は、作業指示に基づき、プログラム15Aに従ってCPU11で作成される。なお、制御装置1は、仕分け制御装置3と1つの装置で実現してもよいし、ピッキング作業部ごとに設けてもよい。以上で、制御装置1の説明を終わる。
(ピッキング作業制御装置20、ワーク撮像装置40、仕分け装置30の構成)
次に、ピッキング作業制御装置20、ワーク撮像装置40および仕分け装置30について説明する。これらは、図3Aに示すように設置される。そして、ワーク撮像装置40よりワーク202やこれを格納した什器201を撮像し、撮像データを得る。また、撮像データに対して画像処理を実行し、ワーク202の状態を示すワーク状態情報が作成される。そして、このワーク状態情報に基づき、仕分け装置30が制御されることで、ワーク202に適したピッキング作業部へ什器201が移動される。つまり、ワーク202が、自身の状態に応じたピッキング作業部に仕分けられる。そして、移動先のピッキング作業部で、ワーク202に対するピッキング作業が実施される。
また、ピッキング作業部2Aは、ロボットアーム21A(以降、「ロボット」とも称する)と、ロボット21Aの手先に吸着ハンド22Aおよびライン撮像装置23A(以降、「ハンドアイカメラ」とも呼称する)が取り付けられている。また、ピッキング作業部2Bは、ロボット21Bと、ロボット21Bの手先に把持ハンド22Bが取り付けられる。そして、ロボット21Bとは独立に設置されたライン撮像装置23B(以降、「固定カメラ」とも称する)を有する。さらに、ピッキング作業部2Cでは、作業者によるピッキング作業が実施される。このように、各ピッキング作業部2A~2Cの構成は異なっており、ワーク202の状態により、ピッキング作業の効率やその可否といった成否性が変わってくる。
次に、ピッキング作業制御装置20について説明する。これらは、ロボット21A、21Bを始めとするハードウェアを制御する装置である。図4は、本実施例におけるピッキング作業制御装置20の機能ブロック図である。図4において、ピッキング作業制御装置20は、物品認識部25、軌道計画部26、ロボット制御部27、ハンド制御部28および認識アルゴリズム304を記憶するデータベースを有する。
まず、認識アルゴリズム304により、ワーク202と什器201のサイズ、位置姿勢と吸着ハンド22A、把持ハンド22Bがピッキング対象のワーク202表面上の位置のいずれか1つ以上を物品認識結果として推定する。このために、ワーク202とこれを格納した什器201を撮像した2次元画像と3次元点群(視差画像、距離画像を含む)のいずれか1つ以上を用いられる。
また、物品認識部25は、ライン撮像装置23A、23Bによりワーク202の2次元画像と3次元点群のいずれか1つ以上からなる画像データを取得する。そして、物品認識部25は、認識アルゴリズム304を用いて物品認識結果を推定する。つまり、物品認識情報を作成する。また、軌道計画部26は、上述の制御指令に応じて、物品認識情報および後述する作業部データ301の示すピッキング作業部2A、2Bにおけるハードウェアの仕様を用いて、ピッキング作業の搬送動作での軌道を示す軌道情報を作成する。ピッキング作業部2A、2Bにおけるハードウェアの仕様としては、例えば、その種類、配置、可動域、速度、加速度パラメータを用いることができる。また、軌道情報は、ワーク202を持ち上げてから搬送するまでの一連の軌道を示す。つまり、持ち上げ動作から搬送動作での軌道を示す。
また、ロボット制御部27は、軌道情報に基づいてロボット21A、21Bを実際に制御する。つまり、ロボット制御部27は、ロボット21A、21Bを制御する制御信号を作成する。また、ハンド制御部28は、上述の制御指令に応じて、物品認識情報を用いて、ロボット21A、21Bがワーク202の把持可能な位置へ移動した際に、吸着ハンド22A、把持ハンド22Bを制御する。この結果、吸着ハンド22A、把持ハンド22Bが、ワーク202を吸着もしくは把持することができる。このために、ハンド制御部28は、吸着ハンド22A、把持ハンド22Bを制御する制御信号を作成する。以上のように、ピッキング作業制御装置20は、制御指令に応じて、ワーク202に対するピッキング作業が実行される。ここで、制御指令は、惑星された振り分け情報303に基づくものである。このため、本実施例によれば、振り分け情報303に応じたピッキング作業が実現できる。
ここで、ピッキング作業部2Bのライン撮像装置23Bは、固定カメラ方式を採用している。ロボット21A、21Bがワーク202に対して搬送作業している間に、次のワーク202を撮像し認識可能である。このため、ピッキング作業部2Bは、タクトタイムに優れるという特徴がある。つまり、ピッキング作業を短時間で完了できる。一方で、視点が固定となるため、図1に示すように、ピッキング作業部2Bのピッキングエリアに周辺照明25Bがある場合は、画像上のワークが照明により白飛びするなどの影響で、撮像データの品質が低下する可能性がある。また、ライン撮像装置23Bの設置位置によってはワーク202から遠くなる可能性がある。また、ライン撮像装置23Bとしてステレオカメラや構造化光カメラなど撮像距離が遠いほど3次元計測の精度が低下するものを用いた場合には、高精度な撮像が求められる小型ワークの認識に必要な計測性能が不足する可能性がある。
一方で、ピッキング作業部2Aのライン撮像装置23Aは、ハンドアイカメラ方式を採用している。この場合、ワーク202を撮影するためにロボット21Aが一度撮影用の姿勢へ移動する必要がある。このため、固定カメラ方式に比べてタクトタイムが低下するという特徴がある。しかし、撮影時の視点を柔軟に変更できる。このため、ライン撮像装置23Aでは、顧客先の周辺照明25Aにより画像上のワークの白飛びした場合でも、視点を変更することで白飛びの影響を低減した撮像が実施できる。また、ライン撮像装置23Aは、ワーク202に対し近距離から撮影ができるため、高精度な3次元計測が実現しやすい。
本実施例においては、タクトタイムを重視した固定カメラ方式のピッキング作業部2Bと、これよりもタイムタクトが劣るハンドアイカメラ方式のピッキング作業部2Aを併用している。これは、ピッキング作業部2A付近のピッキングエリアでは、周辺設置物24A(顧客環境設置物)が存在し、固定カメラの設置が困難であるためである。
また、ピッキング作業部2Aと2Bでは、採用する吸着ハンド22A、把持ハンド22Bについても吸着、把持と方式が異なる。本実施例ではピッキング作業部2Bには、ワーク202を高速に移動させても安定して掴むことができる把持ハンドを採用している。一方で、ピッキング作業部2Aではハンドアイカメラをロボットに設置しておりロボット21Aの可搬重量が低下している。このため、ピッキング作業部2Aでは、より軽量な吸着ハンドを採用しワークの可搬重量を担保している。
このように、ピッキングエリアの環境やピッキング作業への要求によって、ピッキング作業部ごとに能力が異なる場合がある。このため、各ピッキング作業部2A、2Bで取り扱い可能もしくは得意なワーク202の種類が異なる。そこで、ワーク202を取り扱うピッキング作業部(ライン)を選定することが望ましい。そこで、本実施例では、ワーク202や各ピッキング作業部2A、2Bの状態に応じて、ピッキング作業を実行するピッキング作業部を選定する。この詳細は、追って説明する。
なお、上述の本実施例におけるピッキング作業部の数や構成要素(ハードウェア)は一例である。このため、ライン撮像装置23A、23Bはハンドアイカメラと固定カメラを1つのピッキング作業部で併用してもよく、またハンドも吸着と把持の両方が出来るものを用いてもよく、上記の例に限定されない。
なお、ピッキング作業制御装置20は、一般的なコンピュータや上述のPLCにより構成することができる。さらに、ピッキング作業制御装置20は、制御装置1ないし仕分け制御装置3と一体で構成できる。つまり、ピッキング作業制御装置20は、制御装置1と一体、仕分け制御装置3と一体、制御装置1および仕分け制御装置3と一体で構成できる。
(ピッキング作業履歴情報300)
ピッキング作業履歴情報300は、各ピッキング作業部2A~2Cによる過去のピッキング作業の履歴を示す情報である。ピッキング作業履歴情報300は、以下のいずれか1つ以上を有することが望ましい。
物品認識部25にて使用した撮像データ。
認識アルゴリズム304のうち使用したアルゴリズムとパラメータ。
ワーク202と什器201のサイズと位置姿勢とハンドがピッキングするワーク表面上の位置のいずれか1つ以上である物品認識結果。
認識に要した時間、軌道計画部26により生成したロボットの軌道および軌道生成に要した時間と移動に要した時間。
ハンド制御部28で使用した制御パラメータ。
(作業部データ301)
作業部データ301は、各ピッキング作業部2A~2Cの構成およびパラメータを示すデータである。作業部データ301は、ピッキング作業部ごとに、その状態(特性や仕様等)が示される。このため、作業部データ301は、例えば、以下の1つ以上を有することが望ましい。
ピッキング作業部の個数。
各ピッキング作業部の構成として、ロボット21の種類、サイズ、可動域、速度、加速度などの仕様と設置位置。
ハンド22の種類、サイズ、可動域、可搬重量、可搬サイズ、可搬材質などの仕様とロボットに対する取り付け位置。
ライン撮像装置23の種類、撮像方式、解像度、画角、焦点距離、ブラー、計測距離、3次元計測精度、計測可能材質、アクティブ計測方式カメラの場合には投光強度などの仕様。
ロボットに対する取り付け位置。
周辺設置物24Aの形状と位置。
周辺照明25A、25Bの種類と位置と光量と半値角。
ここで、ロボット21に対するハンド22やライン撮像装置23A、23Bの取り付け位置は、設計値を用いることができる。また、別途ツールキャリブレーションと呼ばれるハンド形状を推定する手法やハンドアイキャリブレーションと呼ばれる撮像位置を推定する手法にて推定した値を用いてもよい。また、ハンド22の可搬材質や、ライン撮像装置23の3次元計測精度や計測可能材質は、事前に評価して作業部データ301に登録してもよい。
(ピッキング成否推定部5)
ピッキング成否推定部5は、各ピッキング作業部におけるピッキング対象物である什器201中のワーク202のピッキング作業の成否性を推定する。より具体的には、ピッキング成否推定部5は、ピッキング作業の成否性を示す成否推定情報302を作成する。この成否推定情報302には、ピッキング作業における各作業工程の実現可否情報と作業時間情報が含まれることが望ましい。以下、ピッキング成否推定部5の処理の詳細を説明する。
図5は、本実施例におけるピッキング成否推定部5の処理の詳細を示す図である。図5において、ピッキング成否推定部5は、ワーク情報推定部51、認識容易性推定部52、動作容易性推定部53を有する。まず、ワーク情報推定部51は、状態情報取得部4の状態情報、ピッキング作業履歴情報300および作業部データ301を用いて、ピッキング対象であるワーク202状態を示すワーク情報3021を作成する。ワーク情報3021には、什器201の状態を含めてもよい。また、状態情報として、ワーク撮像装置40で撮像された撮像データに基づくワーク状態情報を用いることが望ましい。
また、認識容易性推定部52は、状態情報、ピッキング作業履歴情報300、作業部データ301を用いて、ライン撮像装置23A、23Bや認識アルゴリズム304によるワーク202の認識のし易さを示す認識容易性情報3022を作成する。ここで、認識容易性情報3022は、ピッキング作業部2A、2Bそれぞれでのピッキング作業に必要な精度での認識が可能かを示す情報であることが望ましい。また、認識容易性推定部52は、状態情報として、ワーク状態情報を用いることが望ましい。
また、動作容易性推定部53は、状態情報、ロボット21A、21Bや吸着ハンド22A、把持ハンド22Bの組み合わせにて什器201や周辺設置物24Aを回避してワーク202をピックアンドプレイスできるかを示す動作容易性情報3023を作成する。このために、動作容易性推定部53は、ピッキング作業履歴情報300および作業部データ301を用いる。
ここで、ピックアンドプレイスとは、ピッキング作業のうち、持ち上げ動作(例えば、把持/吸着)および搬送動作・工程である。また、動作容易性推定部53は、状態情報として、ワーク状態情報を用いることが望ましい。
以降では、ワーク情報推定部51とワーク情報3021、認識容易性推定部52と認識容易性情報3022、動作容易性推定部53と動作容易性情報3023について詳細に説明する。なお、動作容易性情報3023は、持ち上げ動作および搬送動作の容易性を示す情報であるが、持ち上げ動作および搬送動作のそれぞれについての持ち上げ動作容易性情報および搬送動作容易性情報を用いてもよい。
(ワーク情報推定部51とワーク情報3021)
まず、ワーク情報推定部51は、ワーク202の状態を示すワーク情報3021を作成する。ここで、図6は、本実施例におけるワーク情報推定部51の機能ブロック構成図である。図6において、ワーク情報推定部51は、撮像データ取得部510、ワーク模様推定部511、ワーク形状推定部512、ワーク材質推定部513、ワーク反射率推定部514、ワーク積み方推定部515、ワーク重量推定部516、ワーク個数推定部517、什器形状推定部518および過去取扱い有無推定部519を有する。
まず、撮像データ取得部510は、ワーク撮像装置40による撮像データを取得し、ワーク202や什器201のワーク状態情報を作成する。これは、状態情報取得部4の機能(一部)と同様である。このため、撮像データ取得部510は、省略してもよいし、状態情報取得部4の該当機能を省略してもよい。なお、以下に示すワーク情報推定部51の各構成要素では、このような状態情報を用いて処理を実行する。
また、ワーク模様推定部511は、ワーク202表面における物品認識に用いることが出来る特徴模様の有無を推定する。また、ワーク形状推定部512は、ワーク202の形状およびサイズを推定する。また、ワーク材質推定部513は、ワーク202の材質を推定する。また、ワーク反射率推定部514は、ワーク202の反射率を推定する。また、ワーク積み方推定部515は、什器201内でのワーク202の積まれ方を推定する。
また、ワーク重量推定部516は、ワーク202の重量を推定する。ここで、重量とは、個々のワーク202の重量および/または什器201内のワーク202の総重量のいずれでもよい。、また、ワーク個数推定部517は、什器201内のワーク202の個数を推定する。また、什器形状推定部518は、什器201の形状を推定する。また、過去取扱い有無推定部519は、ピッキング作業履歴情報300を参照し、ピッキング対象となるワーク202を過去に取り扱ったことがあるか否かを判定する。
以降、ワーク模様推定部511~過去取扱い有無推定部519の詳細について説明する。まず、ワーク模様推定部511では、ワーク202の撮像データもしくはワーク状態情報、例えば2次元画像より画素領域ごとの輝度勾配のエッジ情報を抽出する。そして、ワーク模様推定部511は、エッジ情報の密度が閾値を超えているか否かより、ワーク表面より物品認識に用いることが出来る特徴模様の有無を推定する。
また、ワーク形状推定部512では、例えばエッジ情報と、3次元点群における曲率と呼ばれる点群の勾配情報とを組み合わせることでワーク202の形状およびサイズを推定する。また、ピッキング作業制御装置20の認識アルゴリズム304もしくがこれと同様のアルゴリズムを、実際にワーク状態情報もしくは撮像データに適用することで求めてもよい。
また、ワーク材質推定部513は、例えばワーク状態情報もしくは撮像データの2次元画像上の領域ごとの模様を、事前に用意した材質ごとのテンプレート画像と比較することで材質を推定することができる。また、ワーク材質推定部513は、3次元点群の曲率が事前に定めたパターンに合致する場合に、やわらかい不定形の素材(ビニールなど)であるといった粒度で材質を推定してもよい。
また、ワーク反射率推定部514は、例えばワーク撮像装置40に調光制御が可能な照明を設置しておき、調光度合いに対する画像上の輝度の変化より反射率を推定することができる。また、ワーク反射率推定部514は、照明を複数個異なる向きから投光した際の画像の領域毎の輝度変化より、領域ごとの反射率を推定してもよい。なお、ここで説明した照明は、上述の周辺照明25A、25Bを用いてもよい。
また、ワーク詰み方推定部515およびワーク個数推定部517は、例えば認識アルゴリズム304ないしこれと同様のアルゴリズムを実際にワーク撮像装置40による撮像データもしくはこれに基づくワーク状態情報に適用する。このことで、ワーク202の積み方や個数を推定できる。
また、ワーク重量推定部516は、例えば什器201をワーク撮像装置40により撮影する位置に配置された重量計で計測された重量に基づき、重量を推定できる。つまり、測定した重量と、ワーク撮像装置40による撮像データもしくはこれに基づくワーク状態情報より什器201内でワーク202が占める体積と個数の情報から、各ワーク202の重量を推定できる。
また、什器形状推定部518は、例えば什器201をワーク撮像装置40により撮影した時の2次元画像より什器201のエッジを認識し、エッジにおける3次元点群の座標を求めることで什器の3辺を推定できる。
また、過去取扱い有無推定部519は、例えばワーク模様推定部511で推定した模様が、ピッキング作業履歴情報300の履歴の画像内に登場しているかをテンプレートマッチングなどで取り扱いの有無を確認できる。また、過去取扱い有無推定部519は、模様部分の画像特徴量を抽出して比較(テンプレートマッチング)してもよい。
以上にワーク情報3021の作成の一例を示したが、この作成は本例に限定されない。例えば、ワーク撮像装置40による撮像データやこれに基づくワーク状態情報を入力とするニューラルネットワークを用いてワーク形状や材質、やわらかさ、反射率、積み方、重量、個数、什器形状を推定してもよい。このために、ニューラルネットワークを事前に学習してもよい。
本実施例の構成においては、例えばワーク撮像装置40として、三角測量による構造化光カメラを適用した場合、什器201の近くに設置することで、高精度な3次元点群が計測できる。このため、ワーク202や什器201の形状も同様に高精度に計測することが出来る。また、前段で時間をかけて複数の認識アルゴリズムを用いてワーク情報を作成することで、より正確な推定が可能となる。以上によりワーク202および/またはこれを格納する什器201の状態を示す情報であるワーク情報3021を作成することが出来る。
なお、ワーク情報推定部51は、ワーク情報3021の作成を省略してもよい。この場合、ワーク情報3021は、人手で入力されてもよいし、予め作成され記憶部に記憶されたものを用いてもよい。これらには、ピッキング作業のスケジュールに含まれるワーク情報3021を用いることが含まれる。
(認識容易性推定部52)
次に、認識容易性推定部52は、ワーク撮像装置40による撮像データもしくはこれに基づくワーク状態情報、ピッキング作業履歴情報300および作業部データ301を用いて、認識容易性情報3022を作成する。ここで、認識容易性情報3022とは、ライン撮像装置23A、23Bおよび認識アルゴリズム304によりワーク202を、ピッキング作業が実行可能な程度に認識可能か否かを示す情報である。
ここで、図7は、本実施例の認識容易性推定部52の機能ブロック構成図である。図7において、認識容易性推定部52は、撮像データ取得部520、ワーク情報取得部521、作業部情報取得部522、過去状態情報取得部523、2次元計測性能推定部524、3次元計測性能推定部525、物品認識情報推定部526および認識時間推定部527を有する。
まず、撮像データ取得部520は、ワーク撮像装置40による撮像データを取得し、ワーク202や什器201のワーク状態情報を作成する。これは、状態情報取得部4の機能(一部)と同様である。このため、撮像データ取得部520は、省略してもよいし、状態情報取得部4の該当機能を省略してもよい。このように、撮像データ取得部520は、撮像データ取得部510と同様の機能を有するため、何れか一方を省略してもよい。
また、ワーク情報取得部521は、ワーク情報3021を取得する。また、作業部情報取得部522は、作業部データ301よりライン撮像装置23A、23Bの状態を取得する。この状態には、ライン撮像装置23A、23Bの種類、撮像方式、解像度、画角、焦点距離、ブラー、撮像距離、3次元計測精度、計測可能材質の少なくとも1つが含まれる。さらに、状態には、ライン撮像装置23A、Bがアクティブ計測方式のカメラ場合には、その投光強度などの仕様や、ロボット21A、21Bに対する取り付け位置と、周辺照明25A、25Bの種類、位置、光量、半値角の少ないとも1つが含まれる。
また、過去状態情報取得部523は、ワーク情報3021から、過去に取り扱った(ピッキング作業を行われた)ワーク202のピッキング作業部2A、2Bによる過去の物品認識情報を取得する。また、2次元計測性能推定部524は、各ピッキング作業部2A、2Bにおけるライン撮像装置23A、23Bにてワーク202を撮像した場合の2次元画像の品質を推定する。また、3次元計測性能推定部525は、各ピッキング作業部2A、2Bにおけるライン撮像装置23A、23Bにてワーク202を撮像した場合の3次元点群(あるいは「距離画像」「視差画像」「3次元メッシュ」など)の品質を推定する。
また、物品認識情報推定部526は、推定された2次元画像と3次元点群の品質に基づき物品認識における検出率、サイズ推定誤差、法線推定誤差、把持点推定誤差のいずれか1つ以上を推定する。また、認識時間推定部527は、各ピッキング作業部2A、2Bにおける物品認識の時間を推定する。
以降、2次元計測性能推定部524および3次元計測性能推定部525の詳細を説明する。
まず、2次元計測性能推定部524は、例えば各ピッキング作業部2A、2Bにおけるライン撮像装置23A、23B、周辺照明25A、25Bの仕様、配置情報とワーク情報3021より、2次元画像の品質を推定する。ここで、この品質には、撮像距離におけるブラーより画像のボケ情報、照明の強度とワークの色と反射率より白飛びの度合い等が含まれる。また、2次元計測性能推定部524は、ワーク情報3021および作業部データ301を組み合わせることで、仮想的にライン撮像装置23A、23Bにて撮像した場合の画像を、シミュレータを用いて生成する。そして、物品認識情報推定部526と認識時間推定部527は、認識アルゴリズム304における模様を用いたテンプレートマッチングなどの認識アルゴリズムにより物品を認識可能か否かの情報と認識時間の情報を作成できる。
また、3次元計測性能推定部525も同様に、例えば各ピッキング作業部2A、2Bにおけるライン撮像装置23A、23B、周辺照明25A、25Bの仕様、配置情報およびワーク情報3021を用いて、3次元画像の品質を推定する。この品質には、撮影距離におけるワーク表面の3次元点群の距離の誤差、3次元点群の標準偏差、欠け割合、膨張率のうち少なくとも1つが含まれる。また、物品認識情報推定部526と認識時間推定部527は、ワーク情報3021と作業部データベースの情報とを組み合わせることで、仮想的にライン撮像装置23A、23Bにて撮像した場合の3次元点群を、シミュレータを用いて生成できる。そして、認識アルゴリズム304の認識アルゴリズムにより物品を認識した際の検出率、サイズ推定誤差、法線推定誤差、把持点推定誤差と認識時間の情報が推定される。
以上では、認識容易性情報3022を作成する方法の例を示したが、本例には限定されない。例えば、ワーク撮像装置40による撮像データを入力とするニューラルネットワークを用いて、認識容易性情報3022を作成してもよい。このために、ワーク202を各ピッキング作業部2A、2Bにて認識可能か否かを分類するよう学習させておき、実運用時に推論させてもよい。また、ピッキング作業履歴情報300を、ニューラルネットワークに追加学習させることで、推論基準を変更してもよい。もしくは、過去取り扱い有無推定部519にて過去に扱ったことがあると判定したワーク202は、その結果の一部を認識しやすさ情報として推定してもよい。加えて、ライン撮像装置23A、23Bがハンドアイカメラの場合にはシミュレータ上で撮影位置を複数変化させたうえで認識しやすさ情報を推定してもよい。
以上により、ピッキング作業を行う前に、ワーク202やこれを格納する什器201を、各ピッキング作業部2A、2Bにて認識可能か否かを事前に推定することが出来る。
(動作容易性推定部53)
動作容易性推定部53は、ロボット21A、21Bと吸着ハンド22A、把持ハンド22Bの組み合わせにて什器201や周辺設置物24Aを回避してワーク202をピックアンドプレイスできるかを示す動作容易性情報3023を作成する。このために、動作容易性推定部53は、ワーク撮像装置40による撮像データもしくはこれに基づくワーク状態情報、ピッキング作業履歴情報300、作業部データ301を用いる。
ここで、図8は、本実施例における動作容易性推定部53のブロック構成図である。図8において、動作容易性推定部53は、撮像データ取得部530、ワーク情報取得部531、作業部情報取得部532、過去動作情報取得部533、ピック軌道可否推定部534、把持容易性推定部535、吸着容易性推定部536、プレイス軌道可否推定部537および動作時間推定部538を有する。
まず、撮像データ取得部530は、撮像データ取得部510や撮像データ取得部520と同様の機能を有する。このため、これらのうち少なくとも1つを省略できる。また、ワーク情報取得部531は、ワーク情報取得部521を同様の機能を有する。このため、これらのうち、一方を省略することも可能である。また、作業部情報取得部532は、作業部データ301より、各ピッキング作業部2A、2Bの構成を取得する。ここで、作業部情報取得部532は、ピッキング作業部2A、2Bの構成を、ライン撮像装置23A、23Bでの撮像データやこれに基づくワーク状態情報に基づき作成してもよい。
また、過去動作情報取得部533は、ワーク情報3021から、過去に取り扱った(ピッキング作業が行われた)ワーク202のピッキング作業部2A、2Bによる過去の動作情報を取得する。この動作情報は、ピックアンドプレイスの工程の動作を示す。
また、ピック軌道可否推定部534は、什器201や周辺設置物24Aに、ロボット21A、21Bや吸着ハンド22A、把持ハンド22Bが物理的な干渉を回避してワーク202を吸着もしくは把持して持ち上げるロボット軌道が生成可能かを判定する。また、把持容易性推定部535および吸着容易性推定部536は、什器201のワーク202が吸着ハンド22A、把持ハンド22Bにて把持/吸着可能かを推定する。把持/吸着可能はあくまでも例示であり、持ち上げ動作が可能かを推定できればよい。
また、プレイス軌道可否推定部537は、什器201や周辺設置物24Aにロボット21A、21Bや吸着ハンド22A、把持ハンド22Bが物理的な干渉を回避してワーク202に対する搬送動作を実現するロボット軌道が生成可能かを判定する。また、動作時間推定部538は、以上の一連の動作、つまり、ピックアンドプレイスでの時間を推定する。
これら、ピック軌道可否推定部534~動作時間推定部538は、ピッキング作業部2A、2Bの状態を示す作業部状態情報に基づき、持ち上げ動作や移動動作といったピッキング作業における成否性を推定することになる。以下、その詳細を説明する。
まず、ピック軌道可否推定部534およびプレイス軌道可否推定部537は、3次元シミュレータ上に各ピッキング作業部2A、2Bと、ピッキング作業部2A、2Bにおけるピッキング作業の位置に、ワーク202およびその什器201を再現する。この際、ワーク情報3021が用いられる。このために、ピック軌道可否推定部534およびプレイス軌道可否推定部537は、例えば、ロボット21A、21B、吸着ハンド22A、把持ハンド22B、ライン撮像装置23A、23B、周辺設置物24Aの位置を含む関連の情報を用いる。さらに、什器201のサイズ、ワーク202の重量、位置姿勢などを用いてもよい。このことで、軌道計画部26が、ピッキング作業におけるピッキングアンドプレイスでの持ち上げ動作の軌道および搬送構成の軌道が生成可能かを判定する。この結果、動作時間推定部538が、該当のピックアンドプレイスの実行時間の推定することができる。
以上のピック軌道可否推定部534およびプレイス軌道可否推定部537では、ピッキング作業部2A、2Bそれぞれのピック軌道およびプレイス軌道の生成可否やその実行時間との成否性を示す成否推定情報302を作成している。この際、ワーク情報3021との作業部状態情報が用いられる。
また、把持容易性推定部535および吸着容易性推定部536のそれぞれは、ワーク情報3021および作業部データ301を照合して、ワーク202を把持ないし吸着可能か推定する。このために、ワーク情報3021のワーク形状と材質、位置姿勢が用いられる。また、作業部データ301として吸着ハンド22A、把持ハンド22Bで取り扱い可能なワークを用いられる。なお、把持容易性推定部535および吸着容易性推定部536は、ピック容易性推定部として、1つの構成で実現してもよい。これらでの把持ないし吸着可能かの推定は、持ち上げ動作が可能であるかを推定できればよい。
なお、動作容易性情報3023の推定は、上述の方法に限定されない。例えば、ワーク撮像装置40による撮像データを入力としたニューラルネットワークより把持/吸着が可能かを推定するしてもよい。このために、ニューラルネットワークでは事前学習を行っておき、実運用時に推論を行ってもよい。また、ピッキング作業履歴情報300の結果をニューラルネットワークに追加学習させることで、推論基準を変更してもよい。もしくは、過去取り扱い有無推定部519にて、過去に扱ったことがあると判定されたワーク202は、その結果を把持/吸着可否としてもよい。
また、ハンドチェンジャーにより吸着ハンド22A、把持ハンド22Bが変更可能な場合には、吸着ハンド22A、把持ハンド22Bを変更した上で動作容易性を推定しても良い。つまり、シミュレータ上で吸着ハンド22A、把持ハンド22Bについて、ピック軌道可否推定部534~動作時間推定部538での処理を実施する。このように、把持容易性推定部535および吸着容易性推定部536では、ピッキング作業部2A、2Bそれぞれの実行時間や把持/吸着可否との成否性を示す成否推定情報302を作成している。この際、ワーク情報3021および作業部データ301との作業部状態情報に用いられる。
さらに、ピッキング成否推定部5は、作業員がピッキング作業を実行するピッキング作業部2Cの状態を取得し、これを示す作業部状態情報を用いて、ピッキング作業部2Cの成否性を推定する。これには、作業員の能力に基づき、その実行時間を算出することが含まれる。
以上のように、ピッキング成否推定部5は、ピッキング対象であるワーク202のワーク状態情報およびピッキング作業部2A~2Cの作業部状態情報を用いて、各ピッキング作業部2A~2Cそれぞれの成否性を推定している。
(振り分け計画部6)
振り分け計画部6は、成否推定情報302および振り分け情報303をもとに、ピッキング対象であるワークを格納した什器201をいずれのピッキング作業部でピッキング作業を実行させるかの振り分けを計画する。つまり、振り分け計画部6は、振り分け情報303を作成する。この際、振り分け計画部6は、振り分け情報303のうち、過去の情報、つまり、実績を用いることが望ましい。
ここで、本実施例で用いられる成否推定情報302および振り分け情報303の具体的な内容を説明する。まず、図9は、実施例1で用いられる成否推定情報302を示す図である。成否推定情報302は、ピッキング対象ごとの、各ピッキング作業部におけるピッキング作業の成否性が記録される。図9では、ピッキング対象として、什器201を識別する什器IDが用いられている。この什器IDは、ピッキング作業の単位を意味している。さらに、什器IDは、該当の什器に格納されているワークを識別することにもなる。さらに、什器IDに加え、もしくは、これに追加して、ワーク202を識別するワークIDを用いてもよい。
また、図9では、成否性として、ピッキング作業の各工程、動作である「認識」「把持/吸着」「搬送動作」およびこれらの実行時間(所要時間)が用いられる。図9においては、「認識」「把持/吸着」「搬送動作」ごとに成否(成功:○、失敗:×)が記録される。さらに、これら各項目における括弧では、成功するための条件が記録される。例えば、什器ID720のピッキング作業部2Aでの「認識」が成功するためには、認識アルゴリズムとして、「アルゴ1」を用いることが必要となる。また、「把持/吸着」が成功するための条件として、括弧内にハンドの種類が記録される。
なお、図9では、ピッキング作業を「認識」「把持/吸着」「搬送動作」との各工程で記録しているが、これに限らない。例えば、ピッキング作業全体で管理してもよいし、「把持/吸着」「搬送動作」をピックアンドプレイスとして管理してもよい。さらに、これらをより詳細に分割してもよい。また、成否性を、成功の確率で記録してもよい。また、実行時間などその一部を省略してもよい。
次に、図10は、実施例1で用いられる振り分け情報303を示す図である。振り分け情報303は、ピッキングシステム100におけるピッキング作業の運用計画を示す情報である。この運用計画には、過去分および予定分の両方を含めてもよいし、いずれか一方で構成してもよい。また、過去分と予定分を別情報として扱ってもよい。
より具体的な振り分け情報303は、ピッキング作業部ごとに、ピッキング作業部ごとに、ピッキング対象およびピッキング作業の状況が記録される。図10に示すように、本実施例では、ピッキング対象として、什器ID、ワーク種類、オーダー個数が用いられる。什器IDは、成否推定情報302と同様にピッキング作業の単位を意味する。また、ワーク種類は、該当の什器IDに格納されるワーク202、つまり、ピッキング作業が行われるワーク202の種類を示す。なお、ワーク種類として、ワーク情報3021より推定したワーク形状を用いることが望ましい。
また、オーダー個数は、ピッキング作業の単位におけるワーク202の個数を示す。ここで、オーダー個数は、ワーク種類ごとに記録されることが望ましい。これらもワーク情報3021より推定されることが望ましい。
また、本実施例では、ピッキング作業の状況として、ステータス、予定完了時間および実績完了時間が用いられる。ここで、ステータスは、ピッキング作業の進捗状況を示す。また、ピッキング作業が完了する予定完了時刻およびピッキング作業履歴情報300より取得した実績完了時刻が記録されている。本実施例では以上の内容を、振り分け情報303として記載するが、例えばワーク情報3021と認識容易性情報3022と動作容易性情報3023を含むデータベースとしても良い。さらに、什器のIDとそれらの情報を紐づけて別のデータベースに保存してもよく、これに限定されない。
次に、これら成否推定情報302および振り分け情報303を用いた振り分け計画部6の処理について説明する。振り分け計画部6では、まず、成否推定情報302を用いて、ワーク202(什器201)振り分け先であるピッキング作業部を選択する。例えば、図9における什器ID723の場合では、ピッキング作業部2Bは物品認識が×であるため候補から外れる。
残りのピッキング作業部2Aと2C、については、振り分け情報303を参照し決定する。例えば、ピッキング作業部2A、2Cに対してすでに割り振られているピッキング作業の予定終了時間が最も早いものから選択しても良い。また、自動化を推進するためロボットを含むピッキング作業部へ優先的に振り分けることも可能であるさらに、ピッキング作業を高速化するため作業者に優先的に割り振るなどの設定のように、外部から選択基準を変更してもよい。また、作業者によるピッキング作業部2Cは人数の増減や休憩によるライン停止なども考えられるため、適宜作業速度や可否を調整できるようなインターフェースを設けてもよい。
また、本実施例では、仕様の変更により、所望のピッキング作業部への割り振りないしこの提案を実現できる。例として、図9の什器ID724をピッキング作業部2Aに割り振ることを検討する。まず、振り分け計画部6は、ピッキング作業部2Aの直前のピッキング作業である什器ID720におけるハンドの種類を参照する。そして、振り分け計画部6は、什器ID724と什器ID720のハンドの種類が異なる場合には、作業指示生成部7へ、ハンドの変更指示を出力する。この結果、作業指示生成部7にて、什器ID724到着の際に、ハンドの種類をハンドチェンジャーなどにより変更するよう指示を、作業者等へ出力する。このために、図示しないピッキング作業部2Aの表示画面などの出力デバイスに、これが出力される。また、振り分け計画部6は、振り分け情報303の什器ID724の情報を更新する。この場合、ハンド変更の時間とピッキング作業の所要時間の合計を含む予定完了時刻を記載することで、より正確に作業の完了時間を推定できる。
なお、振り分け計画部6におけるピッキング作業部の選択は、以下のとおり実行してもよい。まず、成否推定情報302の「認識」「把持/吸着」「搬送動作」それぞれに対して、成否性の度合いを示すポイントを付与しておき、振り分け計画部6はこれらポイントに基づいて判定する。例えば、振り分け計画部6は、これらのポイントの総和を算出し、総和が最大のピッキング作業部を選択する。
また、成否推定情報302の「成功(〇)」が同数の場合、振り分け計画部6は、実行時間が最も短いピッキング作業部を選択する。さらに、ピッキング作業部2A~2Cの負荷を平準化するように、振り分け計画部6がピッキング作業部を選択してもよい。このような平準化は、「成功(〇)」の数が同数の場合に行ってもよい。またさらに、平準化においては、ロボット21A、21Bや吸着ハンド22A、把持ハンド22Bが設けられたピッキング作業部2A、2Bと、作業員が作業するピッキング作業部2Cで基準を変更してもよい。このことで、上述したようなロボットへの優先的な振り分け(選択)が実現可能となる。また、本実施例では、ピッキング作業部の選択に代わり、もしくは、ハンド22の交換等、ピッキング作業部の変更といったピッキング作業部2A~2Cの仕様の調整行うことが望ましい。このように、本実施例では、状態情報に応じて、ピッキング作業の成否性を推定し、これに基づいてピッキング作業部を含むピッキングシステムの運用、特にピッキング作業を調整している。より具体的には、ピッキングシステム100におけるピッキング作業の運用計画を示す振り分け情報303を作成している。
以上の構成により、ワーク202に対する、各ラインのライン撮像装置23、ロボットアーム21、ハンド22といったハードウェアの種類や配置と、認識アルゴリズムの組み合わせにて、ピッキング作業が可能か否かの情報を事前に推定できる。また、推定情報に基づき、適したピッキング作業部のラインへとワーク202(什器201)を移動させる、あるいはライン中の自律ピッキングロボットの構成を変更することで、スループット低下や物品の破損を防ぐことが出来る。
実施例2では、実施例1のワーク撮像装置40として、ライン撮影装置を用いる。ここでは、ピッキング作業部2Bのライン撮像装置23Bを用いるものとする。すなわち、ライン撮像装置23Bの撮像データを用いて、各ピッキング作業部2A~2Cにおける成否推定情報302を作成する。
図11は、実施例2におけるピッキング対象の振り分けを説明するための図である。図11に示すように、本実施例ではピッキング作業部2Bから、他のピッキング作業部2Aと2Cへワーク202を移動させる、仕分け装置8(例えば、ベルトコンベア)を有している。まず、振り分け計画部6が、仕分け装置8の上流側のピッキング作業部2Bでピッキング作業が可能かを判定する。そして、振り分け計画部6が、不可と判定した場合に、他のピッキング作業部でのピッキング作業を計画するようにする。この場合、より上流のピッキング作業部2Aを、ピッキング作業部2Cよりも優先的に計画する。
また、ピッキング作業部2Bにて、ピッキング作業が不可と判定された場合であっても、一部のワークをピッキング作業部2Bでピッキングし、他のワークをピッキング作業部2A、2Cにてピッキング作業するよう、振り分け計画部6が計画してもよい。
以上の構成により、ピッキング作業部以外の追加設備を不要とできる。また、ピッキング作業の対象である什器に入ったワークに対し、各ピッキング作業がピッキング作業を可能か否かの情報を自動で推定できる。さらに、推定情報に基づき、適したピッキング作業部のラインへとワークを移動させることで、スループット低下や物品の破損を防ぐことが出来る。
実施例3は、複数のピッキングエリアにおける各ピッキング作業部群2を対象とする。図12は、実施例3におけるピッキングシステム100のシステム構成図である。図12において、ピッキングシステム100における仕分け制御装置3は、ネットワーク60を介して、情報処理装置である制御装置1や管理者端末群70と接続される。さらに、制御装置1は、制御対象であるピッキング作業部群2-1、2-2や仕分け装置30-1、30-2と接続される。ここで、ピッキング作業部群2-1、仕分け装置30-1と、ピッキング作業部群2-2、仕分け装置30-2は、別倉庫など別拠点に設けられている。つまり、仕分け装置30-1からはピッキング作業部群2-1へ什器201が移動する。また、仕分け装置30-2からはピッキング作業部群2-2へ什器201が移動する(図中の矢印参照)。このように、本実施例では、仕分け制御装置3により、複数拠点でのピッキング作業の制御を実現している。但し、拠点数は任意であり、単数であってもよい。
また、仕分け制御装置3は、サーバ等のコンピュータで実現している。図12では、その構成を示している。つまり、仕分け制御装置3は、通信装置31、処理装置32、メモリ33および副記憶装置34を有し、これらはバスのような通信路を介して互いに接続されている。まず、通信装置31は、ネットワーク60と接続し、他の装置との通信を行う。
また、処理装置32は、CPU(Central Processing Unit)といったプロセッサで実現でき、後述する副記憶装置34に記憶されているピッキングシステム運用支援プログラム50に従って処理を実行する。そして、ピッキングシステム運用支援プログラム50は、状態情報取得モジュール501、ピッキング成否推定モジュール502、振り分け計画モジュール503および作業指示生成モジュール504を有する。
ここで、これら各モジュールに基づき実行される処理の内容は、図2に示す各部の処理と同様である。つまり、各モジュールは、各部と以下に示す対応関係を有する。
状態情報取得モジュール501:状態情報取得部4
ピッキング成否推定モジュール502:ピッキング成否推定部5
振り分け計画モジュール503:振り分け計画部6
および作業指示生成モジュール504:作業指示生成部7
なお、これら各モジュールないしその一部の組合せで、プログラムを構成してもよい。
また、メモリ33は、副記憶装置34に記憶されているピッキングシステム運用支援プログラム50や処理装置32での処理に用いられる情報が展開される。また、副記憶装置34は、いわゆるストレージで実現でき、ピッキングシステム運用支援プログラム50、ピッキング作業履歴情報300、作業部データ301、成否推定情報302および振り分け情報303を記憶する。また、副記憶装置34は、外付けのHDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどの各種記憶媒体で実現してもよい。さらに、ファイルサーバのように、仕分け制御装置3は別装置で実現してもよい。そして、メモリ33や副記憶装置34が、上述の記憶部に該当する。
また、管理者端末群70は、上述の拠点を管理する管理者が用いるコンピュータであり、仕分け制御装置3に対する指示を受け付けたり、処理結果を出力したりする。なお、管理者端末群70は省略可能であり、この場合、仕分け制御装置3は入力デバイスや出力デバイスを設けることが望ましい。さらに、管理者端末群70は、複数台設置されなくともよいし、ネットワーク60を介さず仕分け制御装置3を接続してもよい。
次に、上述の仕分け制御装置3での処理について、説明する。図13は、実施例3における処理を示すフローチャートである。まず、ステップS1において、処理装置32が、ピッキングシステム運用支援プログラム50の状態情報取得モジュール501に従って、ピッキング作業部群2-1、2-2におけるピッキング作業部2A~2C等の作業部状態情報を取得する。この取得は、実施例1や2と同様であってもよいし、各ピッキング作業部のライン撮像装置23A、23Bの撮像データを用いて作成してもよい。
また、ステップS2において、処理装置32が、状態情報取得モジュール501に従って、ピッキング対象のワーク202(什器201)が、各ピッキングエリアに投入されたかを判定する。このために、ワーク撮像装置40の撮像データを用いてもよいし、センサを用いててもよい。つまり、センサ等で、ワーク202(什器201)が所定位置を通過したかを検知して、これに基づいて投入を判定できる。この結果、投入された場合(Yes)、ステップS3に遷移する。投入されていない場合(No)、ステップS2を繰り返す。
また、ステップS3において、処理装置32が、状態情報取得モジュール501に従って、投入されたワーク202についてのワーク状態情報を取得する。例えば、ワーク202の状態として、その硬さ(柔らかさ)について「ハード」と「ソフト」を示すワーク状態情報を取得する。これは、投入されたワーク202の硬度が所定以上であるかによって分類できる。
また、ステップS4において、処理装置32が、ピッキング成否推定モジュール502に従って、ワーク202が投入されたピッキング作業部群のピッキング作業部ごとに、状態情報を用いて、成否推定情報302を作成する。このステップS4では、ステップS41およびステップS42で構成される。ステップS41においては、処理装置32が、ワーク202が投入されたピッキング作業部群における認識容易性情報を作成する。また、ステップS41においては、処理装置32が、ワーク202が投入されたピッキング作業部群における動作容易性情報を作成する。例えば、ステップSS42では、処理装置32は、ワーク202の「ハード」と「ソフト」に応じて、動作の容易性、特に持ち上げ動作の容易性を示す動作容易性情報を作成する。
また、ステップS5において、処理装置32が、振り分け計画モジュール503に従って、振り分け情報を作成する。つまり、ピッキング作業を行うピッキング作業部を特定する。例えば、ワーク状態情報が「ハード」である場合には、把持機能のハンドを用いるピッキング作業部が特定される。また、ワーク状態情報が「ソフト」である場合には、吸着機能のハンドを用いるピッキング作業部が特定される。ここで、ワーク202が柔らかい場合、把持(握る)ことが吸着に比べ困難である。このため、より適切なピッキング作業部でのピッキング作業が実現できる。このより適切とは、各ピッキング作業部のうち、比較的得意なピッキング作業部が選択されることになる。
また、ステップS6において、処理装置32が、作業指示生成モジュール504に従って、振り分け情報に従った作業指示を作成し、通信装置31を介して制御装置1に通知する。この作業指示には、選択されたピッキング作業部の識別情報と、対象となるワーク202ないし什器201の振り分け情報303が含まれる。つまり、作業指示には、ピッキング作業部およびピッキング対象を特定する情報が含まれる。
そして、制御装置1は、作業指示の示すピッキング作業部へ、ワーク202を移動させる制御信号を作成し、仕分け装置30へ通知する。この結果、仕分け装置30により、ピッキング対象であるワーク202(什器201)が、作業指示の示すピッキング作業部へ移動することになる。
また、制御装置1は、作業指示に応じた制御指令を、選択されたピッキング作業部に通知する。より具体的には、制御指令がピッキング作業制御装置20に通知される。この結果、このピッキング作業制御装置20は、通知された制御指令に応じた制御信号を作成し、ピッキング作業部のハードウェアを制御する。この制御指令の通知は、仕分け装置30が、ワーク202(什器201)を該当のピッキング作業部に移動させたことを条件に実行してもよい。
なお、作業員が作業するピッキング作業部2Cが選択された場合、制御装置1から作業員が用いる端末装置もしくは表示装置に、ピッキング対象の振り分け情報を通知する。この結果、端末装置や表示装置が、振り分け情報が表示され、作業員のピッキング作業を支援できる。なお、端末装置もしくは表示装置への振り分け情報の通知は、仕分け制御装置3から実行されてもよい。さらに、制御装置1やピッキング作業制御装置20の少なくとも一方は省略してもよい。この場合、仕分け制御装置3もしくは制御装置1が各装置を制御したり、表示する情報を通知したりする。つまり、仕分け制御装置3や制御装置1が、制御装置1やピッキング作業制御装置20の少なくとも一部の機能を実行する。
なお、本実施例では、図13の処理フローを、ワーク202の投入ごとに実行しているが、バッチ処理で実行してもよい。例えば、仕分け制御装置3が、1日など所定期間におけるスケジュール情報を取得し、これらに対して上記フローチャートの各ステップを実行することが望ましい。この場合、ステップS1は該当期間におけるピッキング対象であるワーク202の撮像データについて、まとめて実行してもよいし、予めこれらワーク202のワーク状態情報を記憶しておき、これを用いてもよい。なお、バッチ処理以外でも、ステップS2において予め記憶されているワーク状態情報を用いてもよい。
以上のように、本実施例では、いわゆるクラウドシステムで本発明を実施した一実現例を示す。このため、本実施例では、複数拠点でのピッキング作業を効率的に管理することが可能となる。
1:制御装置
2:ピッキング作業部群
21:ロボットアーム
22:ハンド
23:ライン撮像装置
24A:周辺設置物
25:照明
3:仕分け制御装置
4:状態情報取得部
5:ピッキング成否推定部
6:振り分け計画部
7:作業指示生成部
20:ピッキング作業制御装置
30:仕分け装置
40:ワーク撮像装置
50:ピッキングシステム運用支援プログラム50
60:ネットワーク
70:管理者端末群
100:ピッキングシステム
300:ピッキング作業履歴情報
301:作業部データ
302:成否推定情報
303:振り分け情報

Claims (8)

  1. ピッキングシステムにおけるピッキング作業に関する運用を支援するピッキングシステム運用支援装置において、
    ピッキング対象および当該ピッキング対象に対してピッキング作業を行うピッキング作業部の状態を示す状態情報を取得する状態情報取得部と、
    前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部と、
    推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報を作成する振り分け計画部を有し、
    前記ピッキングシステムにおけるピッキング作業に関する運用効率化の向上を実現するピッキングシステム運用支援装置。
  2. 請求項1に記載のピッキングシステム運用支援装置において、
    記ピッキング成否推定部は、前記ピッキング作業の成否性として、前記ピッキング作業を構成する前記ピッキング作業に対する認識の容易性を示す認識容易性情報、持ち上げ動作および搬送動作の容易性を示す動作容易性情報を作成するピッキングシステム運用支援装置。
  3. 請求項1に記載のピッキングシステム運用支援装置において、
    さらに、前記ピッキングシステムにおけるピッキング作業の実績を示すピッキング作業履歴情報を記憶する記憶部をさらに有し、
    前記ピッキング成否推定部は、さらに、前記ピッキング作業履歴情報を用いて、前記ピッキング作業の成否性を推定するピッキングシステム運用支援装置。
  4. 請求項3に記載のピッキングシステム運用支援装置において、
    前記ピッキング成否推定部は、前記ピッキング作業履歴情報を用いて、前記ピッキング作業の成否性の推定基準を変更するピッキングシステム運用支援装置。
  5. 請求項1に記載のピッキングシステム運用支援装置において、
    前記ピッキングシステムは、複数のピッキング作業部を有し、
    前記振り分け計画部は、前記複数のピッキング作業部から、前記ピッキング作業を行うピッキング作業部を選択するピッキングシステム運用支援装置。
  6. 請求項5に記載のピッキングシステム運用支援装置において、
    前記複数のピッキング作業部の一部は、ピッキングロボットであり、
    前記振り分け計画部は、前記ピッキングロボットを優先的に選択するピッキングシステム運用支援装置。
  7. 請求項1に記載のピッキングシステム運用支援装置において、
    前記振り分け計画部は、前記ピッキング作業部の仕様を調整するピッキングシステム運用支援装置。
  8. 請求項1乃至7のいずれか記載のピッキングシステム運用支援装置と、
    前記ピッキング作業部と、
    前記振り分け情報に基づき、前記ピッキング作業を実行するための制御指令を、前記ピッキング作業部に出力する制御装置を有するピッキングシステム。
JP2022095640A 2022-06-14 2022-06-14 ピッキングシステム運用支援装置およびピッキングシステム Pending JP2023182175A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022095640A JP2023182175A (ja) 2022-06-14 2022-06-14 ピッキングシステム運用支援装置およびピッキングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022095640A JP2023182175A (ja) 2022-06-14 2022-06-14 ピッキングシステム運用支援装置およびピッキングシステム

Publications (1)

Publication Number Publication Date
JP2023182175A true JP2023182175A (ja) 2023-12-26

Family

ID=89310224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022095640A Pending JP2023182175A (ja) 2022-06-14 2022-06-14 ピッキングシステム運用支援装置およびピッキングシステム

Country Status (1)

Country Link
JP (1) JP2023182175A (ja)

Similar Documents

Publication Publication Date Title
US11780096B2 (en) Coordinating multiple robots to meet workflow and avoid conflict
US11472640B2 (en) Robotic system for palletizing packages using real-time placement simulation
US10752442B2 (en) Identification and planning system and method for fulfillment of orders
US10471597B1 (en) Adaptive perception for industrial robotic systems
US11591168B2 (en) Robotic system for processing packages arriving out of sequence
US10696493B1 (en) Robotic system with packing mechanism
CN111730603B (zh) 机器人系统的控制装置以及控制方法
JP2020121887A (ja) ロボットシステムの制御装置及び制御方法
JP2019509559A (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
JP7364534B2 (ja) ハンドリングシステムおよび制御方法
US10958895B1 (en) High speed automated capture of 3D models of packaged items
JP2023182175A (ja) ピッキングシステム運用支援装置およびピッキングシステム
US20220135346A1 (en) Robotic tools and methods for operating the same
JP2024082210A (ja) ロボットの制御システム、ロボットの制御プログラム