JP2018027581A - ピッキングシステム - Google Patents

ピッキングシステム Download PDF

Info

Publication number
JP2018027581A
JP2018027581A JP2016159901A JP2016159901A JP2018027581A JP 2018027581 A JP2018027581 A JP 2018027581A JP 2016159901 A JP2016159901 A JP 2016159901A JP 2016159901 A JP2016159901 A JP 2016159901A JP 2018027581 A JP2018027581 A JP 2018027581A
Authority
JP
Japan
Prior art keywords
weight
picking
object
food
estimation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016159901A
Other languages
English (en)
Inventor
完治 高西
Kanji Takanishi
完治 高西
史典 沓掛
Fuminori Kutsukake
史典 沓掛
山本 暁洋
Akihiro Yamamoto
暁洋 山本
石川 伸一
Shinichi Ishikawa
伸一 石川
Original Assignee
株式会社安川電機
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社安川電機, Yaskawa Electric Corp filed Critical 株式会社安川電機
Priority to JP2016159901A priority Critical patent/JP2018027581A/ja
Publication of JP2018027581A publication Critical patent/JP2018027581A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39107Pick up article, object, measure, test it during motion path, place it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40499Reinforcement learning algorithm

Abstract

【課題】不定形状、不定重量の対象物に対するピッキング機能を向上する。
【解決手段】対象物の形状情報を取得するカメラ2及び制御手順(ステップS105〜S120)と、対象物の形状情報に基づいて当該対象物の重量を推定する重量推定部32と、対象物に対するピッキング動作を行うピッキングロボット5と、重量推定部32で推定した重量に基づいてピッキングロボット5のピッキング動作を制御する作業計画部33と、を有し、重量推定部32は、入力される対象物の形状情報と出力すべき重量との対応関係を学習した機械学習(例えば人工ニューラルネットワーク)により当該対象物の重量を推定する。
【選択図】図1

Description

開示の実施形態は、ピッキングシステムに関する。

特許文献1には、ロボットハンドにより部品などの対象物を把持してピッキング操作するロボット装置が記載されている。

特開2015−205368号公報

しかしならが、把持する対象物が例えば食品にように個体別で不定形状、不定重量である場合には、対象物を適切に把持することが困難であった。

本発明はこのような問題点に鑑みてなされたものであり、不定形状、不定重量の対象物に対するピッキング機能を向上できるピッキングシステムを提供することを目的とする。

上記課題を解決するため、本発明の一の観点によれば、対象物の形状情報を取得する形状取得部と、前記形状取得部が取得した対象物の形状情報に基づいて当該対象物の重量を推定する重量推定部と、前記対象物に対するピッキング動作を行うピッキングロボットと、前記重量推定部で推定した重量に基づいて前記ピッキングロボットのピッキング動作を制御する制御部と、を有するピッキングシステムが適用される。

本発明によれば、不定形状、不定重量の対象物に対するピッキング機能を向上できる。

実施形態のピッキングシステムの概略的なシステムブロック構成の一例を表す図である。 グリッパの周辺で重量センサの装着状態と、重量センサの非装着状態とを比較して表した図である。 カメラの画像情報に対応して、コンテナを上方から見てその内部における多数個の食品の積載状態の一例を表す図である。 コンテナを側方から透視してその内部における多数個の食品の積載状態の一例を表す図である。 図3の画像情報に対応して把持・重量推定可能な食品のみを個体認識した状態を表す図である。 個体認識した各食品個体それぞれで推定された推定重量情報の一例を表す図である。 重量推定部に適用される人工ニューラルネットワークのモデルの一例を表す図である。 学習モードを実現するために、上位制御装置のCPUが実行する制御手順を表すフローチャートである。 作業計画部が設定した取り分け作業計画の一例を表す図である。 実行モードを実現するために、上位制御装置のCPUが実行する制御手順を表すフローチャートである。 3次元カメラで食品の画像情報を取得する構成例を表す図である。 2つの形状情報に基づいて重量値を推定する場合の重量推定部に適用される人工ニューラルネットワークの一例を表す図である。 上位制御装置のハードウェア構成を表すシステムブロック図である。

以下、実施の形態について図面を参照しつつ説明する。

<ピッキングシステムの概略構成>
図1は、本実施形態のピッキングシステムの概略的なシステムブロック構成の一例を表している。このピッキングシステムは、コンテナ内に重複積載された多数の食品を、複数の目標容器に取り分けるようピッキングするシステムである。図1においてピッキングシステム1は、カメラ2と、上位制御装置3と、ロボットコントローラ4と、ピッキングロボット5とを有している。

カメラ2は、この例では光学的に2次元の画像情報を取得する撮像機器である。このカメラ2は、コンテナ6(所定の積載容器)の上方に配置されており、そのコンテナ6の内部にバラ積みで重複積載されている多数個の食品F(対象物;本実施形態の例では鳥唐揚げ)の全体を撮像可能となっている。

上位制御装置3は、上記カメラ2で取得した画像情報に基づいて、ピッキングロボット5のピッキング作業に関する処理を行いロボットコントローラ4に作業指令を出力する。この上位制御装置3は、個体認識部31と、重量推定部32と、作業計画部33とを有している。

個体認識部31は、上記のカメラ2で取得した画像情報を画像認識することで、その時点でコンテナ6内に重複積載されている複数個の食品Fのうちピッキングロボット5でピッキング可能な個体(以下適宜、食品個体Fという)を認識する。そして、それらピッキング可能な食品個体Fそれぞれの形状情報を重量推定部32と作業計画部33に出力し、またそれぞれの配置情報を作業計画部33に出力する(詳しくは後述する)。

重量推定部32は、上記個体認識部31から入力された各食品個体Fの形状情報に基づいてその重量を推定し、この推定重量情報を作業計画部33に出力する。なお本実施形態の例では、この重量推定部32は人工ニューラルネットワークを用いた機械学習によって、各食品個体Fの形状情報に対応する重量の推定処理を行う(詳しくは後述する)。

作業計画部33は、上記個体認識部31から入力された配置情報及び形状情報と、上記重量推定部32から入力された推定重量情報に基づいて、ピッキングロボット5に行わせる具体的な作業内容を計画し、それにより生成した作業指令をロボットコントローラ4に出力する。

なお、上述した個体認識部31、重量推定部32、作業計画部33等における処理等は、これらの処理の分担の例に限定されるものではなく、例えば、更に少ない数の処理部(例えば1つの処理部)で処理されてもよく、また、更に細分化された処理部により処理されてもよい。また、上位制御装置3は、後述するCPU901(図13参照)が実行するプログラムにより実装されてもよいし、その一部又は全部がASICやFPGA、その他の電気回路等の実際の装置により実装されてもよい。

ロボットコントローラ4は、上記上位制御装置3の作業計画部33から入力された作業指令に基づいて、ピッキングロボット5の各駆動軸モータ(図示省略)に出力する駆動信号を制御する。

ピッキングロボット5は、図示する本実施形態の例では6軸制御のアームマニプレータであり、そのアーム先端部5aには食品Fを把持可能なグリッパ5b(把持部)が設けられてコンテナ6内の食品Fを1つずつ近傍の容器へ移送できる機能を有している。また図2に示すように、それらグリッパ5bとアーム先端部5aの間に重量センサ7が着脱可能であり、重量センサ7の装着状態ではグリッパ5bの重量を差し引いて当該グリッパ5bが把持した食品Fの重量のみを計測重量情報として上記重量推定部32に出力する。この計測重量情報は、上記重量推定部32の後述の学習モードで利用するとともに、重量の観点での規格外にある食品Fの判別にも利用できる(詳しくは後述する)。

<本実施形態の特徴>
例えば鳥唐揚げ等のような食品Fは個体別に不定形状、不定重量、かつ柔軟物である場合が多く、これを対象物としてピッキングロボット5に自動的に把持、持ち上げ、移送、載置させるなどのピッキング動作を行わせることは従来より困難とされていた。この要因の1つとして把持力の調整があり、たとえ各食品Fの個体形状に対して適切な方向や角度で把持したとしても、把持力が過小であれば把持の確実性が損なわれ、逆に把持力が過大であれば食品Fを損傷させてしまう。つまり実際に把持する前に個々の食品Fの重量を適切に予測し、その予測重量に対応した適切な把持力で把持することが望ましい。

また、個々の食品Fを実際に把持して持ち上げなければその重量を計測できない場合、弁当箱等の容器への取り分け作業などにおいても作業効率を大きく低下させる要因となる。そしてそのための重量センサ7を備えることは、ピッキングシステム1全体の製造コストを増大させてしまう。

これに対して本実施形態では、各食品個体Fの形状情報をカメラ2の光学的撮像と画像認識により取得し、この形状情報に基づいて重量推定部32が当該食品個体Fの重量を推定する。これにより、把持する以前の載置した状態にある食品Fに対して迅速にその重量を推定でき、それに基づいて作業計画部33がグリッパ5bの把持力を適切に制御できる。

もとよりピッキングシステム1には、食品Fを把持するためにその位置、形状、及び姿勢を検出するカメラやレーザースキャナ等の光学的機器を装備することが不可欠である。それらで取得した画像情報に対しソフトウェア処理で重量推定部32を実現することで、実際のピッキング作業時には重量センサ7の装着が不要となり、標準的な製造コストの増大を抑制できる。また、個々の食品Fを物理的に把持して持ち上げずとも、上述した光学的なセンシングによってその重量を迅速に推定できるため、容器への取り分け作業などにおいても作業効率を大きく向上させることができる。このような機能を実現するために必要な各処理について、以下に順次説明する。

<個体認識処理について>
図3は、コンテナ6を上方から見てその内部における多数個の食品Fの積載状態の一例を表しており、図4はコンテナ6を側方から透視してその内部における多数個の食品Fの積載状態の一例を表している。図3が図示する画像については、そのまま上記カメラ2が撮像した画像情報に相当し、これがピッキングロボット5の動作座標(図中のXYZ座標)とマッチングされる。

鳥唐揚げなどの食品Fは、当該ピンキングシステム1全体の作業スペースの削減を目的として、ベルトコンベアでの搬送ではなく、このようにコンテナ6等の積載容器の内部に重複積載された形態で供給される。この場合、下方に埋没した食品Fに対しては上述した光学的センシングによる正確な形状情報の取得と重量推定が困難である。このため本実施形態では、個体認識部31が、重複積載された状態の複数の食品Fのうちピッキングロボット5によりピッキング動作可能(把持、移送可能)と判定された食品Fに対しては、すなわち光学的センシングによりそれぞれの全体形状を把握して重量推定可能に露出している食品Fとみなして選択的にそれら個体を認識する。図5は、上記図3の画像情報に対応して把持・重量推定可能な食品Fのみを個体認識した状態を表しており、図示する例ではそれら認識した各食品個体Fを黒く塗りつぶして示している(図示する例では計18個)。

個体認識部31は、それら個体認識した各食品Fそれぞれの座標中における位置及び姿勢(つまり配置)に関する情報を上記の配置情報として生成し、またそれぞれの大きさも含めた形状に関する情報を上記の形状情報として生成する。このような個体認識部31による個体認識の処理は、公知の画像認識により行えばよく、ここでは詳細な説明を省略する。この例として具体的には、図示するように個体認識された各食品Fの黒く塗りつぶされた部分の画像情報(2次元の2値ピクセル列)が形状情報として生成される。

<重量推定処理について>
上記のように認識された各食品個体Fについて、図6に示すように、重量推定部32がそれぞれの重量を推定する。本実施形態の例では、個体認識された各食品Fに識別番号(1〜18)を付与し、それぞれの重量を4つの重量範囲で分類するよう重量判定する。この例では、1つ当たり70g以上に相当する重量範囲Aと、60g〜70gに相当する重量範囲Bと、50g〜60gに相当する重量範囲Cと、40g〜59gに相当する重量範囲Dと、40g未満に相当する重量範囲Eの5つの重量範囲A〜Eで区別している。

重量推定部32は、上述したように人工ニューラルネットワークを用いた機械学習によって、各食品個体Fの形状情報に対応する重量の推定処理を行う。本実施形態の例におけるこの人工ニューラルネットワークは、例えば図7に示すモデル図ように、食品個体Fの形状情報として入力された2次元の2値ピクセル列の画像情報に基づいて、その食品個体Fの重量が5つの重量範囲A〜Eのいずれに対応するかクラスタリングして出力するよう設計されている。

このような人工ニューラルネットワークは、事前に推定対象の食品F(この例の鳥唐揚げ)について、入力される形状情報と出力すべき重量範囲との対応関係を学習する必要がある。この学習については、実際に重量推定を行う後述の実行モードとは別に上記重量センサ7の装着状態で行う学習モードで、人工ニューラルネットワーク中の各ノードどうしをつなぐエッジの重み係数を調整することで行う。具体的には、個体認識した食品Fの形状情報を入力データとし、当該食品Fをピッキングロボット5がピッキング動作した際に重量センサ7が計測した重量に対応する重量範囲A〜Eを出力データとした組み合わせの教師データにより各重み係数の調整を行う。これにより重量推定部32の人工ニューラルネットワークは、食品個体Fの形状情報と重量範囲との相関を表す特徴量を学習できる。

図8は、この学習モードにおいて上位制御装置3のCPU901(後述の図13参照)が実行する処理手順を示している。このフローに示す処理は、ピッキングロボット5が重量センサ7を装着した状態で、例えば図示しない操作部から学習モードを実行するよう指令入力されることで開始する。

まずステップS5で、CPU901は、カメラ2から画像情報を取得する。

次にステップS10へ移り、CPU901は、上記ステップS5で取得した画像情報に基づく画像認識により、独立した個々の食品個体Fの区分を認識する。

次にステップS15へ移り、CPU901は、上記ステップS10で認識した各食品個体Fのうち、当該食品個体Fの上方に他の食品個体Fが重複しておらず、その全体形状を把握して重量推定可能に露出している食品個体Fを、すなわちグリッパ5bが挟持動作により把持可能な食品個体Fとして認識する。

次にステップS20へ移り、CPU901は、上記ステップS15で認識された各食品個体Fそれぞれの形状情報を生成する。なお、カメラ2と、上記ステップS5〜S20の手順が、各請求項記載の形状取得部に相当する。

次にステップS25へ移り、CPU901は、上記ステップS15で認識された食品個体Fの1つを把持して持ち上げるようロボットコントローラ4に作業指令を出力する。なお、この作業計画に関しては後に詳述する。

次にステップS30へ移り、CPU901は、上記ステップS25により食品Fを把持して持ち上げた状態で、重量センサ7が計測した当該食品Fの実際の重量を計測重量情報として取得する。

次にステップS35へ移り、CPU901は、把持している食品Fを所定の載置場所(図示省略)に載置する。

次にステップS40へ移り、CPU901は、上記ステップS15で認識された全ての食品個体Fに対して計測重量情報を取得したか否かを判定する。まだ計測重量情報を取得していない食品個体Fがある場合、判定は満たされず、上記ステップS25へ戻り同様の手順を繰り返す。

一方、全ての食品個体Fについて計測重量情報を取得した場合、判定が満たされ、ステップS45へ移る。

ステップS45では、CPU901は、上記ステップS20で生成した形状情報と、上記ステップS30で取得した計測重量情報で対応するものどうしを組み合わせた教師データで人工ニューラルネットワークの各重み係数を調整し、すなわち学習する。

次にステップS50へ移り、CPU901は、コンテナ6内に積載されている全ての食品Fについて教師データを取って学習が終了したか否かを判定する。コンテナ6内にまだ食品Fが残っている場合、判定は満たされず、上記ステップS5に戻って同様の手順を繰り返す。

一方、コンテナ6内に食品Fが残っていない場合、判定が満たされ、このフローを終了する。

<作業計画処理について>
以上のようにして重量推定部32の学習が完了している場合には、コンテナ6内に積載されている食品Fを複数の目標容器に取り分けるようピッキング作業を行う実行モードが可能になる。この実行モードでは、ピッキングロボット5から重量センサ7を取り外した状態で、カメラ2から取得した画像情報だけに基づき、個体認識部31及び重量推定部32が食品Fの個体認識を行い、それぞれの配置情報、形状情報、及び推定重量情報を作業計画部33に出力する。

本実施形態の例の取り分け作業では、図9に示すように、コンテナ6の近傍に複数の目標容器I,II(例えば各弁当箱における食品Fの収納部分;図中の斜線部参照)と、規格外用容器IRが並べて配置されている。そして作業計画部33は、コンテナ6内から食品Fを移送して各目標容器I,IIに4個又は5個を収納し、それぞれの合計重量が210g〜290gに収まるよう取り分ける作業を計画する。図示する例では、目標容器Iに対して、重量範囲Cに相当する3,4,6,7番目の食品Fと、重量範囲Dに相当する9番目の食品Fを取り分ける作業を計画している。また目標容器IIに対しては、重量範囲Bに相当する1番目の食品Fと、重量範囲Cに相当する8,10,11番目の食品Fを取り分ける作業を計画している。この作業計画部33による取り分け作業の計画(つまり目標容器ごとの取り分け配分計画)については、特に詳細に説明しないが、公知の重量配分の均一化演算手法を適用すればよい。

また、重量範囲Aに相当する5,17番目の食品Fについては重量過大な規格外の個体とみなし、また重量範囲Eに相当する2,12番目の食品Fについては、重量過小な規格外の個体とみなしてそれぞれを規格外容器IRに移送するよう計画している。これにより、重量の観点で規格外となった食品Fについても、他の用途で再利用することができる。

そして作業計画部33は、移送対象の各食品個体Fそれぞれに対応する配置情報、形状情報、及び推定重量情報に基づいて、当該食品個体Fをグリッパ5bで把持させる位置、方向、及び把持力を演算する。また作業計画部33は、上記の取り分け作業の計画に基づいて、グリッパ5bの軌道と把持動作のタイミングも演算する。これらの演算については、特に詳細に説明しないが、公知の形状解析、安定性解析、及び把持位置姿勢探索の手法を適用すればよい。実行モードでは、これらの演算を行うことで時系列的な作業指令を生成し、ロボットコントローラ4へ出力することでピッキングロボット5に取り分け作業を実行させる。

図10は、この実行モードにおいて上位制御装置3のCPU901(後述の図13参照)が実行する処理手順を示している。このフローに示す処理は、ピッキングロボット5から重量センサ7を取り外した状態で、例えば図示しない操作部から実行モードを実行するよう指令入力されることで開始する。

まずステップS105で、CPU901は、カメラ2から画像情報を取得する。

次にステップS110へ移り、CPU901は、上記ステップS105で取得した画像情報に基づく画像認識により、独立した個々の食品個体Fの区分を認識する。

次にステップS115へ移り、CPU901は、上記ステップS110で認識した各食品個体Fのうち、当該食品個体Fの上方に他の食品個体Fが重複しておらず、その全体形状を把握して重量推定可能に露出している食品個体Fを、すなわちグリッパ5bが挟持動作により把持可能な食品個体Fとして認識する。このとき各食品個体Fの配置情報も生成する。

次にステップS120へ移り、CPU901は、上記ステップS115で認識された各食品個体Fそれぞれの形状情報を生成する。なお、カメラ2と、上記ステップS105〜S120の手順が、各請求項記載の形状取得部に相当する。

次にステップS125へ移り、CPU901は、上記ステップS115で認識された全ての食品個体Fに対して、上記ステップS120で生成された形状情報に基づき重量推定を行う。具体的には、各食品個体Fごとに人工ニューラルネットワークに形状情報を入力し、それに対応して出力された重量範囲を推定重量情報として生成する。なお、このステップS125の手順が、各請求項記載の重量推定部32に相当する(上記図1参照)。

次にステップS130へ移り、CPU901は、上記ステップS115で生成された配置情報、上記ステップS120で生成された形状情報、及び上記ステップS125で生成された推定重量情報に基づいて、ロボットコントローラ4への作業指令を生成する。具体的には、各目標容器I,IIへの取り分け作業の計画と、グリッパ5bで把持させる位置、方向、及び把持力の演算と、グリッパ5bの軌道と把持動作のタイミングを演算し、これらの演算に基づく時系列的な作業指令を生成する。

次にステップS135へ移り、CPU901は、各食品個体Fごとに作業指令をロボットコントローラ4へ出力し、ピッキングロボット5にピッキング動作させる。

次にステップS140へ移り、CPU901は、上記ステップS115で認識された全ての食品個体Fに対してピッキング動作が終了したか否かを判定する。まだピッキング動作が終了していない食品個体Fがある場合、判定は満たされず、上記ステップS135へ戻り同様の手順を繰り返す。

一方、個体認識した全ての食品個体Fについてピッキング動作が終了した場合、判定が満たされ、ステップS145へ移る。なお、上記ステップS130〜S140の手順が、各請求項記載の制御部に相当する。

ステップS145では、CPU901は、コンテナ6内に積載されている全ての食品Fについてピッキング作業が終了したか否かを判定する。コンテナ6内にまだ食品Fが残っている場合、判定は満たされず、上記ステップS105に戻って同様の手順を繰り返す。

一方、コンテナ6内に食品Fが残っていない場合、判定が満たされ、このフローを終了する。

<本実施形態による効果>
以上説明したように、本実施形態のピッキングシステム1は、ピッキング対象である食品Fの形状情報を光学的手法により取得し、この形状情報に基づいて当該食品Fの重量を推定する。これにより、把持する以前の載置した状態にある食品Fに対して迅速にその重量を推定でき、それに基づいて作業計画部33がピッキングロボット5の把持力を適切に制御できる。また、実行モードの実行時には重量センサ7の装備が不要であるため、ピッキングシステム1全体の製造コストの増大を抑制できる。また、個々の食品Fを物理的に把持して持ち上げずとも、上述した光学的なセンシングによってその重量を迅速に推定できるため、弁当箱への取り分け作業などにおいても作業効率を大きく向上させることができる。この結果、不定形状、不定重量の対象物に対するピッキング機能を向上させることができる。

また、本実施形態では特に、重量推定部32は、入力される対象物の形状情報と出力すべき重量との対応関係を学習した機械学習により当該対象物の重量を推定する。これにより、重量推定部32の重量推定処理に対する人為的な処理アルゴリズムの設計や調整を不要としつつ、高い精度での重量推定が可能となる。なお、重量推定部32に適用する機械学習としては、本実施形態の人口ニューラルネットワーク(深層学習)に限られない。他にも、ベイジアンネットワークやサポートベクターマシン等のデータマイニングによる多様な機械学習の手法を適用してもよい。

また、本実施形態では特に、ピッキングロボット5に重量センサ7を装着可能であり、重量推定部32は、食品Fの形状情報を入力データとし、重量センサ7が計測した実際の食品Fの重量を出力データとした組み合わせの教師データにより機械学習(この例の人工ニューラルネットワーク)の学習を行う。これにより、具体的に重量推定部32における機械学習の学習モードを実現できる。なお、重量センサ7は学習モード時にだけ装備すればよく、実際に重量推定部32に重量を推定させる実行モード時には重量センサ7の装備が不要となる。また、学習できた機械学習の内容(調整された内部パラメータ値など)は、他の重量センサ7を装備しないピッキングシステム1の重量推定部32にそのままコピーして利用できる。

なお、上記実施形態では実行モード中に重量センサ7を装着しなかったが、これに限られない。例えば鳥唐揚げなどの食品Fでは、肉部を有せず大きな衣だけで構成する場合のように、その実際の計測重量が形状情報に対応する推定重量よりも過剰に軽くなる変質物が混入する場合がある。これに対して実行モード中においても重量センサ7を装着し、その計測重量と重量推定部32の推定重量との偏差が所定値以上に大きい場合には、当該対象物を規格外の変質物とみなして正常な対象物と区別して分類できる。これにより、ピッキング動作の機能性を向上できる。なお、規格外として分類された対象物についても正常な対象物と異なる別途の用途に使用することで、資源のむだを削減できる。また、形状情報としてカラーの画像情報を用いることで、衣と肉部の色の違いから衣の過不足の異常を検知し、正常な鳥唐揚げと規格外の鳥唐揚げの判別を行うこともできる。この場合、重量推定部32とは別に設けた変質物判別部(図示省略)での機械学習により判別を行う。

また、本実施形態では特に、ピッキングロボット5は、ピッキング動作として食品Fを把持するためのグリッパ5bを有し、作業計画部33は、所定の食品Fをグリッパ5bで把持するための把持力を、重量推定部32で推定した当該食品Fの推定重量情報に基づいて設定する。これにより、ピッキングロボット5は食品Fに対して把持動作を介した確実なピッキング動作が可能となり、また当該食品Fの重量に対応した適切な把持力で把持できる。例えば重量の大きい食品Fほどその自重を支えて確実に持ち上げることができる程度に大きな把持力を設定でき、また重量の小さい食品Fに対してもその形状を崩さない程度に小さな把持力を設定でき、すなわちその食品Fの重量に対応した必要十分な把持力で適切に把持することができる。

また、本実施形態では特に、コンテナ6内に重複積載された状態の複数の食品Fのうちピッキングロボット5によりピッキング動作可能な食品個体Fの形状情報を取得する。これにより、重複積載している複数の食品Fの中から重量の推定が可能なものを機能的に判別して、重量推定の精度を向上できる。

また、本実施形態では特に、作業計画部33は、重量推定部32が推定した推定重量情報が予め設定した重量範囲に対応する食品Fに対してピッキング動作させるようピッキングロボット5を制御する。これにより、弁当箱等の目標容器I,IIへの取り分け作業などで食品Fの重量均一化を図ることができる。

また、本実施形態では特に、作業計画部33は、弁当箱の目標容器I,IIに予め設定した載置個数範囲(この例の4個〜5個)で予め設定した合計重量範囲(この例の250g〜260g)に収まるよう選択した食品Fに対してピッキング動作させるようピッキングロボット5を制御する。これにより、弁当箱等への取り分け作業などで、目標容器I,II内へ載置する個数の均一化、合計重量の均一化を図ることができる。

<変形例>
上記実施形態では、食品Fの画像情報を取得する撮像機器が1台のカメラ2であったが、これに限られない。例えば、3次元カメラやレーザースキャナーなどを利用した他の光学的センシング手段を用いてもよく、これらで取得した画像情報に基づいて食品Fの個体認識及び重量推定を行ってもよい。

図11に示す例では、それぞれの撮像領域が重複する2台のカメラ41,42で構成されたいわゆる3次元カメラ43を用いて1つの食品Fの画像情報を取得している。これにより、図12の左側に示すように、1つの食品Fに対して相互に視差を有する2つの画像情報(それぞれ2次元ピクセル列)を取得することができる。図12に示す例では、重量推定部32の人口ニューラルネットワークは上記2つの画像情報がそのまま形状情報として個別に入力され、それら2つの形状情報に基づいて食品Fの重量を推定するよう設計されている。このように3次元の画像情報を用いることで、食品Fの重量推定の精度が向上する。

なお図示する人工ニューラルネットワークの例では、対象物である食品Fの重量を1つの連続値として出力するよう設計されている。この場合、人工ニューラルネットワークの出力層には1つの出力ノードが設けられ、その出力ノードは活性化関数による比較を行わずに入力値の合計値そのままで連続値の重量値を推定重量情報として出力している。この重量値の出力態様としては、他にも活性化関数の比較により2値出力する複数の出力ノードを出力層として、それら出力ノードの2値出力を組み合わせた2進数表現で重量値を出力するよう設計してもよい(図示省略)。また、いわゆる回帰問題により重量値を推定するよう人工ニューラルネットワークを設計してもよい(図示省略)。

また個体認識部31が、それぞれ2次元ピクセル列からなる2つの画像情報から対象物である食品Fの3次元モデルデータ(いわゆるベクターデータで構成する3次元CADデータ等)を別途生成し、それを形状情報として重量推定部32の人口ニューラルネットワークに入力する設計としてもよい(図示省略)。もしくは個体認識部31が、2つの画像情報に基づいて対象物である食品Fの体積を別途演算し、重量推定部32がこの体積情報に基づいて食品Fの重量を推定してもよい(図示省略)。

また特に図示しないが、食品Fの画像情報を取得する光学的センシング手段としてレーザースキャナーを用いる場合には、例えばレーザースキャナーから投光された走査線で食品Fの表面上における各点との距離を計測し、これらの距離データの集合を画像情報として取得する。そして個体認識部31がこの画像情報を構成する各距離データをつなぎ合わせて、食品Fの3次元形状情報(上記3次元モデルデータ等)を生成、出力するようにしてもよい。

<上位制御装置のハードウェア構成例>
次に、図13を参照しつつ、上記で説明したCPU901が実行するプログラムにより実装された個体認識部31、重量推定部32、及び作業計画部33等による処理を実現する上位制御装置3のハードウェア構成例について説明する。

図13に示すように、上位制御装置3は、例えば、CPU901と、ROM903と、RAM905と、ASIC又はFPGA等の特定の用途向けに構築された専用集積回路907と、入力装置913と、出力装置915と、記録装置917と、ドライブ919と、接続ポート921と、通信装置923とを有する。これらの構成は、バス909や入出力インターフェース911を介し相互に信号を伝達可能に接続されている。

プログラムは、例えば、ROM903やRAM905、記録装置917等に記録しておくことができる。

また、プログラムは、例えば、フレキシブルディスクなどの磁気ディスク、各種のCD・MOディスク・DVD等の光ディスク、半導体メモリ等のリムーバブルな記録媒体925に、一時的又は永続的に記録しておくこともできる。このような記録媒体925は、いわゆるパッケージソフトウエアとして提供することもできる。この場合、これらの記録媒体925に記録されたプログラムは、ドライブ919により読み出されて、入出力インターフェース911やバス909等を介し上記記録装置917に記録されてもよい。

また、プログラムは、例えば、ダウンロードサイト・他のコンピュータ・他の記録装置等(図示せず)に記録しておくこともできる。この場合、プログラムは、LANやインターネット等のネットワークNWを介し転送され、通信装置923がこのプログラムを受信する。そして、通信装置923が受信したプログラムは、入出力インターフェース911やバス909等を介し上記記録装置917に記録されてもよい。

また、プログラムは、例えば、適宜の外部接続機器927に記録しておくこともできる。この場合、プログラムは、適宜の接続ポート921を介し転送され、入出力インターフェース911やバス909等を介し上記記録装置917に記録されてもよい。

そして、CPU901が、上記記録装置917に記録されたプログラムに従い各種の処理を実行することにより、上記の個体認識部31、重量推定部32、及び作業計画部33等による処理が実現される。この際、CPU901は、例えば、上記記録装置917からプログラムを直接読み出して実行してもよいし、RAM905に一旦ロードした上で実行してもよい。更にCPU901は、例えば、プログラムを通信装置923やドライブ919、接続ポート921を介し受信する場合、受信したプログラムを記録装置917に記録せずに直接実行してもよい。

また、CPU901は、必要に応じて、例えばマウス・キーボード・マイク(図示せず)等の入力装置913から入力する信号や情報に基づいて各種の処理を行ってもよい。

そして、CPU901は、上記の処理を実行した結果を、例えば表示装置や音声出力装置等の出力装置915から出力してもよく、さらにCPU901は、必要に応じてこの処理結果を通信装置923や接続ポート921を介し送信してもよく、上記記録装置917や記録媒体925に記録させてもよい。

なお、以上の説明において、「垂直」「平行」「平面」等の記載がある場合には、当該記載は厳密な意味ではない。すなわち、それら「垂直」「平行」「平面」とは、設計上、製造上の公差、誤差が許容され、「実質的に垂直」「実質的に平行」「実質的に平面」という意味である。

また、以上の説明において、外観上の寸法や大きさ、形状、位置等が「同一」「同じ」「等しい」「異なる」等の記載がある場合は、当該記載は厳密な意味ではない。すなわち、それら「同一」「等しい」「異なる」とは、設計上、製造上の公差、誤差が許容され、「実質的に同一」「実質的に同じ」「実質的に等しい」「実質的に異なる」という意味である。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

1 ピッキングシステム
2 カメラ(形状取得部)
3 上位制御装置
4 ロボットコントローラ
5 ピッキングロボット
5b グリッパ
6 コンテナ(所定の積載容器)
7 重量センサ
31 個体認識部(形状取得部)
32 重量推定部
33 作業計画部(制御部)
F 食品
I,II 目標容器
IR 規格外容器

Claims (8)

  1. 対象物の形状情報を取得する形状取得部と、
    前記形状取得部が取得した対象物の形状情報に基づいて当該対象物の重量を推定する重量推定部と、
    前記対象物に対するピッキング動作を行うピッキングロボットと、
    前記重量推定部で推定した重量に基づいて前記ピッキングロボットのピッキング動作を制御する制御部と、
    を有することを特徴とするピッキングシステム。
  2. 前記重量推定部は、入力される対象物の形状情報と出力すべき重量との対応関係を学習した機械学習により当該対象物の重量を推定することを特徴とする請求項1記載のピッキングシステム。
  3. さらに前記ピッキングロボットでピッキングした対象物の重量を計測する重量センサを有し、
    前記重量推定部は、
    前記形状取得部が取得した対象物の形状情報を入力データとし、当該対象物を前記ピッキングロボットがピッキング動作した際に前記重量センサが計測した重量を出力データとした組み合わせの教師データにより前記機械学習の学習を行うことを特徴とする請求項2記載のピッキングシステム。
  4. 前記制御部は、
    前記重量推定部により推定した重量と前記重量センサにより計測した重量の偏差が所定値以上である対象物を規格外として分類することを特徴とする請求項3記載のピッキングシステム。
  5. 前記ピッキングロボットは、
    前記ピッキング動作として前記対象物を把持するための把持部を有し、
    前記制御部は、
    所定の対象物を前記把持部で把持するための把持力を、前記重量推定部で推定した当該対象物の重量に基づいて設定することを特徴とする請求項1乃至4のいずれか1項に記載のピッキングシステム。
  6. 前記形状取得部は、
    所定の積載容器の内部に重複積載された状態の複数の対象物のうち前記ピッキングロボットによりピッキング動作可能な対象物の形状情報を取得することを特徴とする請求項1乃至5のいずれか1項に記載のピッキングシステム。
  7. 前記制御部は、
    前記重量推定部が推定した重量が予め設定した重量範囲に対応する対象物に対してピッキング動作させるよう前記ピッキングロボットを制御することを特徴とする請求項1乃至6のいずれか1項に記載のピッキングシステム。
  8. 前記制御部は、
    所定の目標容器に予め設定した載置個数範囲で予め設定した合計重量範囲に収まるよう選択した対象物に対してピッキング動作させるよう前記ピッキングロボットを制御することを特徴とする請求項7記載のピッキングシステム。

JP2016159901A 2016-08-17 2016-08-17 ピッキングシステム Pending JP2018027581A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016159901A JP2018027581A (ja) 2016-08-17 2016-08-17 ピッキングシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016159901A JP2018027581A (ja) 2016-08-17 2016-08-17 ピッキングシステム
EP17181575.6A EP3284563A3 (en) 2016-08-17 2017-07-17 Picking system
US15/666,575 US20180050451A1 (en) 2016-08-17 2017-08-02 Picking system and method for controlling picking robot
CN201710665311.3A CN107756422A (zh) 2016-08-17 2017-08-07 拾取系统

Publications (1)

Publication Number Publication Date
JP2018027581A true JP2018027581A (ja) 2018-02-22

Family

ID=59366253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016159901A Pending JP2018027581A (ja) 2016-08-17 2016-08-17 ピッキングシステム

Country Status (4)

Country Link
US (1) US20180050451A1 (ja)
EP (1) EP3284563A3 (ja)
JP (1) JP2018027581A (ja)
CN (1) CN107756422A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176478A1 (ja) * 2018-03-15 2019-09-19 オムロン株式会社 ロボットの動作制御装置
WO2020044510A1 (ja) * 2018-08-30 2020-03-05 株式会社オプティム コンピュータシステム、物体検知方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP2019025618A (ja) * 2017-08-01 2019-02-21 オムロン株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
EP3546135A1 (en) * 2018-03-28 2019-10-02 BAE SYSTEMS plc Collaborative robot system
GB2574297A (en) * 2018-03-28 2019-12-04 Bae Systems Plc Collaborative robot system
GB201809020D0 (en) * 2018-06-01 2018-07-18 Ocado Innovation Ltd Control device and method for item verification
CN109551507A (zh) * 2019-01-15 2019-04-02 中国海洋大学 一种基于机器学习的软体机械手

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008049459A (ja) * 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
US20110166696A1 (en) * 2008-09-30 2011-07-07 Arbor S.A. Method of treating objects according to their individual weights
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101213052B (zh) * 2006-01-13 2011-01-12 松下电器产业株式会社 机械手臂的控制装置
JP2008034317A (ja) * 2006-07-31 2008-02-14 Hitachi Displays Ltd 画像表示装置
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
US8874265B2 (en) * 2012-08-27 2014-10-28 International Business Machines Corporation Robot-based material removal in unstable static equilibrium system
JP6425408B2 (ja) 2014-04-21 2018-11-21 キヤノン株式会社 ロボットハンドの制御方法、ロボットハンド、プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008049459A (ja) * 2006-08-28 2008-03-06 Toshiba Corp マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
US20110166696A1 (en) * 2008-09-30 2011-07-07 Arbor S.A. Method of treating objects according to their individual weights
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176478A1 (ja) * 2018-03-15 2019-09-19 オムロン株式会社 ロボットの動作制御装置
WO2020044510A1 (ja) * 2018-08-30 2020-03-05 株式会社オプティム コンピュータシステム、物体検知方法及びプログラム

Also Published As

Publication number Publication date
US20180050451A1 (en) 2018-02-22
CN107756422A (zh) 2018-03-06
EP3284563A2 (en) 2018-02-21
EP3284563A3 (en) 2018-02-28

Similar Documents

Publication Publication Date Title
US9649767B2 (en) Methods and systems for distributing remote assistance to facilitate robotic object manipulation
AU2016243617B2 (en) Imager for detecting visual light and infrared projected patterns
US9630321B2 (en) Continuous updating of plan for robotic object manipulation based on received sensor data
Morrison et al. Closing the loop for robotic grasping: A real-time, generative grasp synthesis approach
KR101902678B1 (ko) 궤적 계획을 위한 물체 메트릭들의 실시간 결정
Katz et al. Perceiving, learning, and exploiting object affordances for autonomous pile manipulation
US9327406B1 (en) Object segmentation based on detected object-specific visual cues
Calandra et al. The feeling of success: Does touch sensing help predict grasp outcomes?
CN106573381B (zh) 卡车卸载机可视化
Calandra et al. More than a feeling: Learning to grasp and regrasp using vision and touch
JP6522488B2 (ja) ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
DE102014212304B4 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
JP6374993B2 (ja) 複数の吸着カップの制御
US7957580B2 (en) Workpiece picking device
Sorokin et al. People helping robots helping people: Crowdsourcing for grasping novel objects
JP5977544B2 (ja) 情報処理装置、情報処理方法
US7283661B2 (en) Image processing apparatus
JP2016144841A (ja) 3次元センサを備えた搬送ロボットシステム
US7123992B2 (en) Article pickup device
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
Bone et al. Automated modeling and robotic grasping of unknown three-dimensional objects
JP3768174B2 (ja) ワーク取出し装置
US9050719B2 (en) Method for the selection of physical objects in a robot system
Mahler et al. Dex-Net 3.0: Computing robust vacuum suction grasp targets in point clouds using a new analytic model and deep learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191128