JP2018187687A

JP2018187687A - 物品取出システム

Info

Publication number: JP2018187687A
Application number: JP2017089023A
Authority: JP
Inventors: 潤和田; Jun Wada
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2018-11-29
Anticipated expiration: 2037-04-28
Also published as: CN108789499B; DE102018206209A1; US20180311824A1; CN108789499A; DE102018206209B4; JP6526100B2; US10518417B2

Abstract

【課題】収容容器内の物品が種々の状態で収容されていても、より多くの物品を収容容器から取り出す。
【解決手段】収容容器Ｘ内に収容されている物品Ｗの状態を計測するセンサ３と、センサ３により計測された物品Ｗの状態に基づいて、物品Ｗを検出する物品検出手段と、物品検出手段により検出された物品Ｗを取り出すまたは物品Ｗの位置姿勢を変更させるハンドリング手段２，４と、センサ３、物品検出手段およびハンドリング手段２，４を制御する制御部５とを備え、制御部５が、センサ３により計測された物品Ｗの状態毎に、物品Ｗの存在する空間を分割する空間分割手段と、空間分割手段により分割された空間毎に、センサ３による計測方法、物品検出手段による検出方法およびハンドリング手段２，４による取り出し方法の少なくとも１つを切り替える切替手段とを備える物品取出システム１を提供する。
【選択図】図１

Description

本発明は、物品取出システムに関するものである。

従来、コンテナ等の収容容器内に収容された物品をロボットによって取り出すシステムが知られている（例えば、特許文献１参照。）。このシステムでは、収容容器内の物品の３次元形状を３次元センサにより計測し、取得された３次元データに基づいて物品の位置および姿勢を特定することにより、ロボットによる取り出しを実現している。

特開２０１３−１０１５５号公報

しかしながら、収容容器内の物品の状態は一様ではなく、同一の計測方法、検出方法および取り出し方法を一律に適用したのでは、全ての物品を収容容器から取り出すことができないという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、収容容器内の物品が種々の状態で収容されていても、より多くの物品を収容容器から取り出すことができる物品取出システムを提供することを目的としている。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、収容容器内に収容されている物品の状態を計測するセンサと、該センサにより計測された前記物品の状態に基づいて、前記物品を検出する物品検出手段と、該物品検出手段により検出された前記物品を取り出すまたは前記物品の位置姿勢を変更させるハンドリング手段と、前記センサ、前記物品検出手段および前記ハンドリング手段を制御する制御部とを備え、該制御部が、前記センサにより計測された前記物品の状態毎に、前記物品の存在する空間を分割する空間分割手段と、該空間分割手段によって分割された前記空間毎に、前記センサによる計測方法、前記物品検出手段による検出方法および前記ハンドリング手段による取り出し方法の少なくとも１つを切り替える切替手段とを備える物品取出システムを提供する。

本態様によれば、収容容器内の物品の状態がセンサにより計測され、計測された物品の状態に基づいて物品が物品検出手段により検出され、ハンドリング手段により、検出された物品が収容容器内から取り出され、または物品の位置姿勢が変更される。
この場合に、収容容器内の物品の存在する空間が、空間分割手段によってセンサにより計測された物品の状態毎に分割され、分割された空間毎に計測方法、検出方法および取り出し方法の少なくとも１つが切り替えられる。これにより、異なる状態の物品に同一の計測方法、検出方法および取り出し方法が適用されるのではなく、物品の状態に応じて異なる計測方法、検出方法あるいは取り出し方法が適用され、収容容器内の物品が種々の状態で収容されていても、より多くの物品を収容容器から取り出すことができる。

上記態様においては、前記センサが、前記物品の２次元画像を取得する２次元カメラと、前記物品の３次元形状を取得する３次元カメラとを備えていてもよい。
このようにすることで、物品の明るさ、色などの状態を含む２次元画像が２次元カメラにより取得されるとともに、物品の姿勢や高さなどの状態を含む３次元形状が３次元カメラにより取得される。これにより、物品の２次元画像および３次元形状に基づいて、物品を状態毎に分割することができる。

また、上記態様においては、前記空間分割手段が、前記センサにより取得された前記２次元画像および前記３次元形状の少なくとも一方に基づいて前記空間を分割し、前記切替手段が、分割された前記空間毎に、前記センサにより前記２次元画像または前記３次元形状の少なくとも一方を計測する条件を切り替えてもよい。
このようにすることで、センサにより取得された２次元画像および３次元形状の少なくとも一方に基づいて分割された空間毎に、計測する条件を切り替えて計測することにより、その後の物品の検出を精度よく行うことができる。

また、上記態様においては、前記空間分割手段が、前記センサにより取得された前記２次元画像および前記３次元形状の少なくとも一方に基づいて前記空間を分割し、前記切替手段が、分割された前記空間毎に、前記物品検出手段による前記物品の検出ツールを切り替えてもよい。
このようにすることで、例えば、整列している物品と荷崩れしている物品とが混在する場合に、物品の２次元画像および３次元形状の少なくとも一方に基づいて、両物品の属する空間毎に分割し、空間毎に異なる検出ツールを切り替えることで、各空間の物品を精度よく検出することができる。

また、上記態様においては、前記空間分割手段が、前記センサにより取得された前記２次元画像および前記３次元形状の少なくとも一方に基づいて、前記収容容器の前記空間を分割し、前記切替手段が、分割された前記空間毎に、前記ハンドリング手段による取り出しまたは前記物品の位置姿勢を変更させる方法を切り替えてもよい。
例えば、収容容器の内壁から遠い位置に配置されている物品については、ハンドリング手段と収容容器の内壁との干渉を気にすることなく取り出し作業を行うことができる一方、収容容器の内壁に近い物品についてはハンドリング手段による取り出しまたは物品の位置姿勢を変更させる方法が制限される。
このようにすることで、物品が収容容器の内壁に近いか否かによって取り出し方法が切り替えられるので、より多くの物品を収容容器内から取り出すことができる。

また、上記態様においては、前記切替手段によって切り替えられる計測方法、検出方法および取り出し方法の内、前記物品の状態に応じた最適な計測方法、検出方法および取り出し方法が、機械学習により設定されていてもよい。
このようにすることで、物品の状態に応じた最適な計測方法、検出方法および取り出し方法が、機械学習により統計的に設定されるので、空間を分割するための明確な条件がない場合であっても、適正な計測方法、検出方法および取り出し方法を設定することができる。

本発明によれば、収容容器内の物品が種々の状態で収容されていても、より多くの物品を収容容器から取り出すことができるという効果を奏する。

本発明の一実施形態に係る物品取出システムを示す全体構成図である。図１の物品取出システムを示すブロック図である。図１の物品取出システムのセンサにより取得された２次元画像と空間分割の一例を示す図である。図３の場合の物品取出システムの動作を説明するフローチャートである。図１の物品取出システムによる空間分割の他の例を示す図である。図５の場合の物品取出システムの動作を説明するフローチャートである。図１の物品取出システムによる空間分割の他の例を示す図である。図７の場合の物品取出システムの動作を説明するフローチャートである。図１の物品取出システムにおいて、ユーザが分割した空間に検出ツールを割り当てる機械学習の学習モデルの構築を説明するフローチャートである。図９の学習モデルを適用した物品の取り出しの動作を説明するフローチャートである。

本発明の一実施形態に係る物品取出システム１について、図面を参照して以下に説明する。
本実施形態に係る物品取出システム１は、図１に示されるように、上方に開口するコンテナのような収容容器Ｘ内に収容された多数の機械部品のようなワーク（物品）Ｗをロボット（ハンドリング手段）２によって取り出すまたはワークＷの位置姿勢を変更させるシステムである。

本実施形態に係る物品取出システム１は、収容容器Ｘの上方に配置され、下方に配置されている収容容器Ｘ内のワークＷの状態を取得するセンサ（２次元カメラ、３次元カメラ）３と、ワークＷを把持可能なハンド（ハンドリング手段）４が手首先端に取り付けられたロボット２と、ロボット２、センサ３およびハンド４を制御する制御部５とを備えている。

センサ３は、ワークＷの２次元画像を取得する２次元カメラ（図示略）およびワークＷの３次元形状データを取得する３次元カメラ（図示略）を備えている。
ワークＷは、例えば、平板状で板厚方向に貫通する円形の貫通孔１００を備える形状のものである。

ロボット２は、例えば、垂直多関節型ロボットであり、ハンド４は、ワークＷの貫通孔１００に挿入される２本の爪６を備え、閉じた状態で貫通孔１００に挿入した爪６を開くことにより、ワークＷを把持することができる構造を有している。ロボット２の形態およびハンド４の構造は任意でよい。

制御部５は、図２に示されるように、センサ３により取得されたワークＷの状態に基づいてワークＷを検出するワーク検出部（物品検出手段）７と、センサ３により計測されたワークＷの状態毎に、ワークＷの存在する空間を分割する空間分割部（空間分割手段）８と、ロボット２およびハンド４を制御する取出制御部９と、空間分割部８によって分割された空間毎に、センサ３による計測方法、ワーク検出部７による検出方法および取出制御部９によるロボット２およびハンド４を用いたワークＷの取り出し方法の少なくとも１つを切り替える切替部（切替手段）１０とを備えている。制御部５は、コンピュータであって、データを記憶する記憶部（図示略）およびデータを処理するプロセッサ（図示略）を備えている。

図３に示す例では、空間分割部８は、センサ３により取得されたワークＷの２次元画像の明るさに基づいて、空間を明るい空間と暗い空間（図中にハッチングで示す。）とに分割するようになっている。そして、空間分割部８は、空間を分割する境界線（図中に破線で示す。）がワークＷを横切らないように、境界線を実線のように補正するようになっている。この場合には、ワークＷを横切る境界線に対してより多くの部分が存在する側にワークＷが含められるように、境界線が補正されるようになっている。

そして、切替部１０は、分割された空間毎に、センサ３による計測方法を切り替えるようになっている。すなわち、明るい空間においては露出を減少させてセンサ３に２次元画像を取得させ、暗い空間においては露出を増加させてセンサ３に２次元画像を取得させるようになっている。

この場合の手順を説明すると、図４に示されるように、まず、センサ３による収容容器Ｘ内のデータ取得が行われ（ステップＳ１）、取得された２次元画像に基づいて、ワークＷの状態（明るさ、条件）が計測され（ステップＳ２）、ワークＷの状態に応じて空間が分割される（ステップＳ３）。
そして、分割された空間毎にセンサ３による露出が切り替えられて（ステップＳ４）、データの再取得が行われ（ステップＳ５）、分割された全ての空間についてステップＳ４からの工程が繰り返される（ステップＳ６）。そして、取得された２次元画像および３次元形状データに基づいて、ワークＷの検出が行われた後に（ステップＳ７）、ワークＷの位置および姿勢が算出され（ステップＳ８）、ロボット２およびハンド４によるワークＷの位置姿勢の変更や取り出しが行われる（ステップＳ９）。

また、図５に示す例では、整列されているワークＷの１つが荷崩れしている場合を示している。このような場合には、空間分割部８は、センサ３により取得されたワークＷの３次元形状データに基づいて、空間におけるワークＷの高さの変化が他の場所と異なる空間を残りの空間から分割するようになっている。空間分割部８によって境界線（図中に実線で示す。）を用いて分割された空間は、ワークＷが整列状態に積み重ねられた空間に対して高さの変化が異なる、ワークＷが荷崩れしている空間である。

そして、切替部１０は、分割された空間毎に、ワーク検出部７によるワークＷの検出ツールを切り替えるようになっている。すなわち、ワークＷが整列状態に積み重ねられた空間では、貫通孔１００がほぼ円形に見えるので、円形のパターンによってパターンマッチングを行うことによりワークＷを検出することができ、ワークＷが荷崩れしている空間では、貫通孔１００は楕円形となるので、円形のパターンの歪みを許容するパターンマッチングを行うことにより、ワークＷを検出することができる。

そして、ワークＷが整列されている空間では、貫通孔１００に対して正面（鉛直上方）からハンド４を下向きに差し込むことで、ワークＷを把持することができ、ワークＷが荷崩れしている空間では、ハンド４を斜め方向から貫通孔１００に差し込み、あるいは、ハンド４によってワークＷを押すことで荷崩れを修正（ワークＷの位置姿勢を変更）し、またはワークＷを除去した後に、整列した空間と同じ取り出し方法でワークＷを取り出すことができる。

この場合の手順を説明すると、図６に示されるように、まず、センサ３による収容容器Ｘ内の計測（データ取得）が行われ（ステップＳ１）、取得された３次元形状データに基づいて、ワークＷの状態（傾き等、条件）が計測され（ステップＳ２）、ワークＷの状態に応じて空間が分割される（ステップＳ３）。
そして、分割された空間毎に検出ツールが切り替えられて（ステップＳ１０）、ワークＷの検出が行われ（ステップＳ７）、分割された全ての空間についてステップＳ１０からの工程が繰り返される（ステップＳ６）。そして、ワークＷの位置および姿勢が算出され（ステップＳ８）、空間毎に取り出し方法が切り替えられてロボット２およびハンド４による取り出しが行われる（ステップＳ９）。

また、図７に示す例では、収容容器Ｘ内に多数のワークＷがバラ積みされている状態を示している。このような場合には、空間分割部８は収容容器Ｘの内壁からの距離が離れているか否かによって空間を分割するようになっている。
具体的には、空間分割部８は、図７に破線で示す境界線のように、収容容器Ｘから所定距離以上離れているか否かによって空間を分割するとともに、境界線が２次元画像あるいは３次元形状データによって検出されるワークＷを横切らないように境界線を実線のように補正するようになっている。

さらに詳細には、破線で示される境界線を境界として内側と外側のどちらに多くワークＷが存在しているかによって、より多くの部分が存在している方の空間にワークＷ全体を配置するように境界線を実線のように補正するようになっている。
そして、切替部１０は、空間毎にロボット２およびハンド４による取り出し方法を切り替えるようになっている。すなわち、内側の空間では、ハンド４が収容容器Ｘの内壁に干渉しないので、比較的自由にロボット２およびハンド４の姿勢を決定してワークＷを取り出すことができる。

一方、外側の空間では、近接している収容容器Ｘの内壁にハンド４が干渉する可能性が高いので、内壁とは反対側からハンド４をワークＷに近接させて、ワークＷを内側の空間内に引き込んだ後に、内側の空間における取り出し方法によってワークＷを取り出すことができる。

この場合の手順を説明すると、図８に示されるように、まず、センサ３による収容容器Ｘ内の計測（データ取得）が行われ（ステップＳ１）、取得された３次元形状データに基づいて、収容容器Ｘからの距離（ワークＷの状態、条件）が計測され（ステップＳ２）、ワークＷの状態に応じて空間が分割される（ステップＳ３）。
そして、ワークＷの検出が行われ（ステップＳ７）、ワークＷの位置および姿勢が算出され（ステップＳ８）、空間毎に取り出し方法が切り替えられて（ステップＳ１１）、ロボット２およびハンド４による取り出しが行われ（ステップＳ９）、分割された全ての空間についてステップＳ１１からの工程が繰り返される（ステップＳ６）。

このように構成された本実施形態に係る物品取出システム１によれば、収容容器Ｘ内のワークＷが種々の状態で収容されていても、より多くのワークＷを精度よく検出して収容容器Ｘから取り出すことができるという利点がある。

なお、本実施形態に係る物品取出システム１においては、空間分割部８が、センサ３により検出された２次元画像および３次元形状の少なくとも一方におけるワークＷの状態に基づいて空間を分割することとしたが、機械学習を用いて空間を分割することにしてもよい。例えば、図９に示されるように、センサ３により２次元画像あるいは３次元形状データが取得され（ステップＳ１）、センサ３により取得された２次元画像あるいは３次元形状データにおいて、ユーザが空間を分割するとともに（ステップＳ２０）、各空間に予め作成された検出ツールを割り当て（ステップＳ２１）、空間と計測結果とを対応づけて教師データとして記憶していく（ステップＳ２２）。ステップＳ２１およびステップＳ２２の工程を繰り返してデータを蓄積した後に（ステップＳ２３）、学習モデルを構築することができる（ステップＳ２４）。

学習モデルが構築された後には、図１０に示されるように、センサ３によりワークＷの２次元画像および３次元形状データを取得すると（ステップＳ１）、学習モデルが適用されて（ステップＳ２５）、収容容器Ｘ内の空間が分割されるとともに、各空間に適当な検出ツールが割り当てられる（ステップＳ２６）。これにより、空間分割の条件が曖昧な場合であっても、学習モデルによって明確にいずれかの空間に分類することができ、ワークＷの位置および姿勢を精度よく計算して（ステップＳ２７）、収容容器Ｘ内からより多くのワークＷを取り出すことができる（ステップＳ９）。

また、本実施形態においては、ワークＷとして、円形の貫通孔１００を有する平板状のものを例示したが、これに限定されるものではない。また、ハンド４としてもワークＷの形状に応じて任意の構造のものを採用することができる。
また、学習モデルによって、ワークＷに空間と検出ツールとを対応づけることとしたが、これに代えて、センサ３による計測方法、ワークＷの検出ツールおよびロボット２およびハンド４による取出方法の少なくとも１つを切り替えることにしてもよい。

１物品取出システム
２ロボット（ハンドリング手段）
３センサ（２次元カメラ、３次元カメラ）
４ハンド（ハンドリング手段）
５制御部
７ワーク検出部（物品検出手段）
８空間分割部（空間分割手段）
１０切替部（切替手段）
Ｗワーク（物品）
Ｘ収容容器

Claims

収容容器内に収容されている物品の状態を計測するセンサと、
該センサにより計測された前記物品の状態に基づいて、前記物品を検出する物品検出手段と、
該物品検出手段により検出された前記物品を取り出すまたは前記物品の位置姿勢を変更させるハンドリング手段と、
前記センサ、前記物品検出手段および前記ハンドリング手段を制御する制御部とを備え、
該制御部が、前記センサにより計測された前記物品の状態毎に、前記物品の存在する空間を分割する空間分割手段と、該空間分割手段によって分割された前記空間毎に、前記センサによる計測方法、前記物品検出手段による検出方法および前記ハンドリング手段による取り出し方法の少なくとも１つを切り替える切替手段とを備える物品取出システム。
前記センサが、前記物品の２次元画像を取得する２次元カメラと、前記物品の３次元形状を取得する３次元カメラとを備える請求項１に記載の物品取出システム。
前記空間分割手段が、前記センサにより取得された前記２次元画像および前記３次元形状の少なくとも一方に基づいて前記空間を分割し、
前記切替手段が、分割された前記空間毎に、前記センサにより前記２次元画像または前記３次元形状の少なくとも一方を計測する条件を切り替える請求項２に記載の物品取出システム。
前記空間分割手段が、前記センサにより取得された前記２次元画像および前記３次元形状の少なくとも一方に基づいて前記空間を分割し、
前記切替手段が、分割された前記空間毎に、前記物品検出手段による前記物品の検出ツールを切り替える請求項２または請求項３に記載の物品取出システム。
前記空間分割手段が、前記センサにより取得された前記２次元画像および前記３次元形状の少なくとも一方に基づいて、前記収容容器の前記空間を分割し、
前記切替手段が、分割された前記空間毎に、前記ハンドリング手段による取り出しまたは前記物品の位置姿勢を変更させる方法を切り替える請求項２から請求項４のいずれかに記載の物品取出システム。
前記切替手段によって切り替えられる計測方法、検出方法および取り出し方法の内、前記物品の状態に応じた最適な計測方法、検出方法および取り出し方法が、機械学習により設定されている請求項１から請求項５のいずれかに記載の物品取出システム。