JP2019136828A - 箱状物ピッキング装置及びその方法 - Google Patents

Abstract

【課題】把持対象となる箱状対象物を自動的に確認・計測できる箱状物ピッキング装置を提供すること。【解決手段】三次元点群情報と二次元画像に基づき、複数の箱状ピッキング対象物全体から平面画像を切り出す切り出し手段（ステップＳ２）と、切り出された平面画像を正面画像に変換する変換手段（ステップＳ３）と、変換された正面画像から共通のパターンを見つけ出し、箱状物の領域を決定する領域決定手段（ステップＳ４）と、決定された箱状物の領域に属する三次元点群情報に基づき、把持対象となる箱状ピッキング対象物の三次元位置姿勢を出力する位置姿勢出力手段（ステップＳ６）と、出力された三次元位置姿勢に基づき、把持対象となる箱状ピッキング対象物を把持し、移載するロボット、を備えている。【選択図】図２

Description

本発明は、箱状物ピッキング装置及びその方法に関する。

近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている（例えば、特許文献１参照）。

特開平０６−０５５４７７号公報

しかしながら、パレット上に積まれた荷物を一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程、或いは、ケース（外箱）内にパッケージ単位（或いは、小箱単位）で詰められたものを個別に移載する工程では、次のような問題があり、自動化のネックとなっていた。

（１）ほぼ同じ形状の箱状の荷物が密に積み付けられているため、自動的に個々の箱を見分けるのは困難であるという問題があった。
（２）多種類の箱状物が存在しているため、各種の箱状物のサイズや重さをデータベース内に登録するのは非常に手間がかかるといった問題があった。
（３）同じ商品であっても梱包される搬送用ケース（外箱）のサイズは変わるため、商品ごとに事前に登録したサイズを前提に把持を行うと、把持できない、或いは、移載中に箱をぶつける等の不具合が生じるといった問題があった。
（４）箱状物ごとの重さに合わせて適切な加速度で運ばなければ、箱状物を落としたり、必要以上に移載に時間がかかったり、といった問題があった。

そこで、本発明は、上記問題に鑑み、物流現場において、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができる箱ピッキング装置及びその方法を提供することを目的としている。

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１の発明に係る箱状物ピッキング装置は、荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成する第１生成手段（例えば、図１に示すカメラ４）と、
前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の二次元画像を生成する第２生成手段（例えば、図１に示すカメラ４）と、
前記第１生成手段（例えば、図１に示すカメラ４）にて生成された三次元点群情報と前記第２生成手段（例えば、図１に示すカメラ４）にて生成された二次元画像に基づき、前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）から所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を切り出す切り出し手段（例えば、図２に示すステップＳ２）と、
前記切り出し手段（例えば、図２に示すステップＳ２）にて切り出された所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を正面画像（例えば、図４（ｂ）に示す画像）に変換する変換手段（例えば、図２に示すステップＳ３）と、
前記変換手段（例えば、図２に示すステップＳ３）にて変換された正面画像（例えば、図４（ｂ）に示す画像）から共通のパターンを見つけ出し、箱状物の領域を決定する領域決定手段（例えば、図２に示すステップＳ４）と、
前記領域決定手段（例えば、図２に示すステップＳ４）にて決定された箱状物の領域に属する前記第１生成手段（例えば、図１に示すカメラ４）にて生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の三次元位置姿勢を出力する位置姿勢出力手段（例えば、図２に示すステップＳ６）と、
前記位置姿勢出力手段（例えば、図２に示すステップＳ６）にて出力された三次元位置姿勢に基づき、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持し、移載するロボット（例えば、図１に示すロボット２）と、を備えてなることを特徴としている。なお、第１生成手段と、第２生成手段は、異なっても良いし、同一でも良い。

一方、請求項２の発明に係る箱状物ピッキング方法は、荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成し（例えば、図３（ａ）参照）、
前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の二次元画像を生成し（例えば、図３（ａ）参照）、
前記生成された三次元点群情報と二次元画像に基づき、前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）から所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を切り出し（例えば、図２に示すステップＳ２）、
前記切り出した所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を正面画像（例えば、図４（ｂ）に示す画像）に変換し（例えば、図２に示すステップＳ３）、
前記変換した正面画像（例えば、図４（ｂ）に示す画像）から共通のパターンを見つけ出し、箱状物の領域を決定し（例えば、図２に示すステップＳ４）、
前記決定した箱状物の領域に属する前記生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の三次元位置姿勢を出力し（例えば、図２に示すステップＳ６）、
前記出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持し、移載してなることを特徴としている。

また、請求項３の発明によれば、上記請求項２に記載の箱状物ピッキング方法において、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の正確なサイズを事前に入力不要であることを特徴としている。

さらに、請求項４の発明によれば、上記請求項２又は３に記載の箱状物ピッキング方法において、前記決定した箱状物の領域の長手方向の長さ（例えば、図５（ｄ）に示す横Ｌのサイズ）と幅方向の長さ（例えば、図５（ｄ）に示す縦Ｔのサイズ）を計測し（例えば、図２に示すステップＳ５）、該計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）を持つ箱状物の領域に属する前記生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の三次元位置姿勢を出力し（例えば、図２に示すステップＳ６）てなることを特徴としている。

またさらに、請求項５の発明によれば、上記請求項２〜４の何れか１項に記載の箱状物ピッキング方法において、前記変換した正面画像（例えば、図４（ｂ）に示す画像）に対してフーリエ変換を行い、その変換したフーリエ変換画像におけるピーク値を抽出することで、共通のパターンを見つけ出し、箱状物の領域を決定し（例えば、図２に示すステップＳ４）てなることを特徴としている。

一方、請求項６の発明によれば、上記請求項２〜５の何れか１項に記載の箱状物ピッキング方法において、前記出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持し、移載する際、再度、荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成し（例えば、図６（ｂ）参照）、
前記把持し、移載する前の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）と、前記把持し、移載する際の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）とを比較した際の差を、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さ（例えば、図６（ｂ）に示す高さＨ）としてなることを特徴としている。

また、請求項７の発明によれば、上記請求項６に記載の箱状物ピッキング方法において、前記計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）、並びに、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さ（例えば、図６（ｂ）に示す高さＨ）を出力してなることを特徴としている。

一方、請求項８の発明によれば、上記請求項２〜７の何れか１項に記載の箱状物ピッキング方法において、前記出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を把持した際、該把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量を計測してなることを特徴としている。

さらに、請求項９の発明によれば、上記請求項８に記載の箱状物ピッキング方法において、前記計測した把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量に基づき、前記ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の加速度を制御してなることを特徴としている。

一方、請求項１０の発明によれば、上記請求項４に記載の箱状物ピッキング方法において、前記計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）に基づき、前記ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の経路を設定して制御してなることを特徴としている。

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１又は請求項２に係る発明によれば、物流現場において、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができる。これにより、把持対象となる箱状ピッキング対象物のサイズの入力をする必要がなくなり、もって、データベースへの登録（マスター登録）の必要性がなくなる。また、請求項３に係る発明によれば、把持対象となる箱状ピッキング対象物のサイズの正確な入力をしなくとも良い。

さらに、請求項４に係る発明によれば、決定した箱状物の領域の長手方向の長さ（例えば、図５（ｄ）に示す横Ｌのサイズ）と幅方向の長さ（例えば、図５（ｄ）に示す縦Ｔのサイズ）を計測し（例えば、図２に示すステップＳ５）、該計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）を持つ箱状物の領域に属する生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の三次元位置姿勢を出力し（例えば、図２に示すステップＳ６）ているから、正確にロボット（例えば、図１に示すロボット２）にて箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持させることができる。

またさらに、請求項５に係る発明によれば、変換した正面画像（例えば、図４（ｂ）に示す画像）に対してフーリエ変換を行い、その変換したフーリエ変換画像におけるピーク値を抽出することで、簡単容易に、共通のパターンを見つけ出し、箱状物の領域を決定する（例えば、図２に示すステップＳ４）ことができる。

一方、請求項６に係る発明によれば、把持し、移載する前の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）と、前記把持し、移載する際の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）とを比較した際の差を、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さ（例えば、図６（ｂ）に示す高さＨ）としているから、簡単容易に、箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さを計測することができる。

また、請求項７の発明によれば、計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）、並びに、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さ（例えば、図６（ｂ）に示す高さＨ）を出力しているから、箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）、並びに、高さ（例えば、図６（ｂ）に示す高さＨ）が自動で計測されることとなる。

一方、請求項８に係る発明によれば、出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を把持した際、該把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量を計測しているから、自動で箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量を計測することができる。

さらに、請求項９に係る発明によれば、計測した把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の加速度を制御しているから、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を、所定箇所（例えば、コンベア）に移載させる途中で、落下させてしまう事態を低減させることができる。

一方、請求項１０に係る発明によれば、計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の経路を設定して制御しているから、安全に箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を所定箇所（例えば、コンベア）に移載させることができる。

本発明の一実施形態に係る箱状物ピッキング装置の概略全体図である。 同実施形態に係る箱状物ピッキング装置の制御手順を示すフローチャート図である。 （ａ）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた隣接して荷積された複数の箱状ピッキング対象物全体の斜視図、（ｂ）は、（ａ）に示す隣接して荷積された複数の箱状ピッキング対象物全体の二次元画像を示す図である。 （ａ）は、図３（ｂ）に示す二次元画像の最上面を切り出すことを説明した説明図、（ｂ）は、（ａ）に示す最上面を切り出した際の二次元画像の正面図である。 （ａ）は、図４（ａ）に示す最上面を切り出した際の二次元画像の正面図、（ｂ）は、（ａ）に示す二次元画像から見つけ出した共通のパターンを示す正面図、（ｃ−１）は、基準となる基準箱を縮小して、（ｂ）に示す二次元画像に一致させようとしていることを示す説明図、（ｃ−２）は、基準となる基準箱を拡大して、（ｂ）に示す二次元画像に一致させようとしていることを示す説明図、（ｄ）は、基準となる基準箱と（ｂ）に示す二次元画像とが一致したことを示す正面図である。 （ａ）は、箱状ピッキング対象物把持前のＸ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた隣接して荷積された複数の箱状ピッキング対象物全体の斜視図、（ｂ）は、箱状ピッキング対象物把持後のＸ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた隣接して荷積された複数の箱状ピッキング対象物全体の斜視図である。

以下、本発明に係る箱状物ピッキング装置の一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

図１に示すように、箱状物ピッキング装置１は、ロボット２と、このロボット２を制御するロボット制御装置３と、カメラ４と、画像処理装置５と、で構成されている。なお、符号Ｗは、パレットＰ上に、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体を示すものである。

ロボット２は、床や壁等の設置面に固定される土台２０と、土台２０に対して基端が回転可能に連結されているロボットアーム部２１と、ロボットアーム部２１の先端に取り付けられ、箱状ピッキング対象物Ｗａを吸着・挟み込み・支持等によって把持することができるロボットハンド２２とを備えている。なお、このロボットハンド２２には、箱状ピッキング対象物Ｗａを把持した際の当該箱状ピッキング対象物Ｗａの重量を計測する歪ゲージ等の重量センサが設けられており、重量センサの計測情報は、ロボット制御装置３に出力される。また、重量センサに代えて、基端が回転可能に連結されているロボットアーム部２１のモータ駆動に必要な電流を検出し、その検出情報から、箱状ピッキング対象物Ｗａの重量を推定することもできる。すなわち、基端が回転可能に連結されているロボットアーム部２１を同姿勢にして静止させた際の無負荷のモータのトルクと、箱状ピッキング対象物Ｗａを把持した際のモータのトルクとの差を用いて、箱状ピッキング対象物Ｗａの重量を推定するようにすれば良い。なお、推定された重量情報は、重量センサの計測情報同様、ロボット制御装置３に出力される。

一方、ロボット制御装置３は、画像処理装置５より出力されるデータ、又は、ロボット２より出力されるデータに基づき、ロボット２の稼動を制御するものである。

カメラ４は、パレットＰ上に、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、パレットＰ上に、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を取得できるものである。

画像処理装置５は、ＣＰＵ５０と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置５に入力することができる入力部５１と、画像処理装置５外に所定データを出力することができる出力部５２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ５３と、作業領域やバッファメモリ等として機能するＲＡＭ５４と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示部５５と、で構成されている。

かくして、上記のような箱状物ピッキング装置を使用するにあたっては、作業者が、図１に示す画像処理装置５の入力部５１を用いて、図１に示すＲＯＭ５３内に格納されているプログラムの起動を指示する。これにより、画像処理装置５のＣＰＵ５０（図１参照）は、図２に示すような処理を行う。以下、図２を参照して説明する。なお、図２に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

まず、ＣＰＵ５０（図１参照）は、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を取得する（ステップＳ１）。より詳しく説明すると、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報は、図３（ａ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧとして、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの全体に亘って表わされる。なお、複数の三次元点群ＴＧは、それぞれ、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）（ｎ≧１の整数）を備えている。

一方、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像は、図３（ｂ）に示すようなものとなる。なお、ＣＰＵ５０（図１参照）は、取得した隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像と、を一時的にＲＡＭ５４内に記憶する。

次いで、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像と、を読みだし、図４（ａ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像から最上面ＨＭの画像を切り出す（ステップＳ２）。より具体的に説明すると、ＣＰＵ５０（図１参照）は、図３（ａ）に示す、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧから、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標の変化を確認する。これより、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの奥行き（Ｘ方向、又は、Ｙ方向）、深さ（Ｚ方向）が分かることとなる。しかして、ＣＰＵ５０（図１参照）は、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗが把握できることとなる。また、図３（ｂ）に示す隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像から最外周のエッジ部分Ｅａが分かるため、ＣＰＵ５０（図１参照）は、把握した隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗと、二次元画像から抽出した最外周のエッジ部分Ｅａとに基づき、図４（ａ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像から最上面ＨＭの画像を切り出すことができる。なお、ＣＰＵ５０（図１参照）は、切り出した最上面ＨＭの画像を、一時的にＲＡＭ５４内に記憶する。

次いで、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された切り出した最上面ＨＭの画像を図４（ｂ）に示すように正面画像に変換する（ステップＳ３）。より具体的に説明すると、ＣＰＵ５０（図１参照）は、切り出した最上面ＨＭの画像に対する視線方向（奥行方向、すなわち、Ｘ方向、Ｙ方向）を、図３（ａ）に示す、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧを確認することによって認識することができる。そして、ＣＰＵ５０（図１参照）は、切り出した最上面ＨＭの画像に対して認識した視線方向（奥行方向）のＸ方向，Ｙ方向に対して、垂直な法線方向（Ｚ方向）を検出し、その視線方向（奥行方向）のＸ方向，Ｙ方向に対して、検出した垂直な法線方向（Ｚ方向）から見た正面画像に変換する。これにより、ＲＡＭ５４内に記憶された切り出した最上面ＨＭの画像は、図４（ｂ）に示すように正面画像に変換されることとなる。なお、ＣＰＵ５０（図１参照）は、図４（ｂ）に示すように変換した正面画像を、一時的にＲＡＭ５４内に記憶する。

次いで、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された図４（ｂ）に示すように変換した正面画像を読み出し、図５（ａ）に示す正面画像から繰り返しがある部分（共通のパターン）を抽出する。具体的には、ＣＰＵ５０（図１参照）は、図５（ａ）に示す正面画像をフーリエ変換し、そのフーリエ変換した正面画像のピーク値を抽出する。これにより、簡単容易に、図５（ａ）に示す正面画像から繰り返しがある部分（共通のパターン）を抽出することができ、もって、図５（ｂ）に示すように、箱状ピッキング対象物Ｗａの領域を決定することができる（ステップＳ４）。なお、フーリエ変換した正面画像のピーク値を抽出する方法以外としては、従来周知の方法、例えば、フーリエ変換を用いたテクスチャの構造解析（松山隆司他、１９８２年３月情報処理学会論文誌）を用いて行うようにすることもできる。

次いで、ＣＰＵ５０（図１参照）は、上記決定した箱状ピッキング対象物Ｗａの領域を用いて、箱状ピッキング対象物Ｗａの縦、横のサイズを計測する（ステップＳ５）。具体的に説明すると、ＲＯＭ５３内に予め基準となる基準箱ＫＡ（図５（ｃ−１）参照）のサイズ（例えば、縦４８０ｍｍ，横３７０ｍｍ）を記憶、又は、ＲＯＭ５３内に予め基準となる基準箱ＫＢ（図５（ｃ−２）参照）のサイズ（例えば、縦２３５ｍｍ，横１５０ｍｍ）を記憶しておく。そして、ＣＰＵ５０（図１参照）は、ＲＯＭ５３内に予め基準となる基準箱ＫＡ（図５（ｃ−１）参照）のサイズ（例えば、縦４８０ｍｍ，横３７０ｍｍ）が記憶されていると、ＲＯＭ５３よりその記憶されている基準箱ＫＡ（図５（ｃ−１）参照）を読み出し、図５（ｃ−１）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域に重ね合わせる。そして、ＣＰＵ５０（図１参照）は、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＡ（図５（ｃ−１）参照）とが一致するように、図５（ｃ−１）に示す矢印Ｙ１方向に、基準箱ＫＡ（図５（ｃ−１）参照）を縮小させる。これにより、図５（ｄ）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＡ（図５（ｃ−１）参照）とが一致することとなるから、ＣＰＵ５０（図１参照）は、基準箱ＫＡ（図５（ｃ−１）参照）のサイズが分かっているため、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを縮小率から算出することができる。

一方、ＣＰＵ５０（図１参照）は、ＲＯＭ５３内に予め基準となる基準箱ＫＢ（図５（ｃ−２）参照）のサイズ（例えば、縦２３５ｍｍ，横１５０ｍｍ）が記憶されていると、ＲＯＭ５３よりその記憶されている基準箱ＫＢ（図５（ｃ−２）参照）を読み出し、図５（ｃ−２）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域に重ね合わせる。そして、ＣＰＵ５０（図１参照）は、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＢ（図５（ｃ−２）参照）とが一致するように、図５（ｃ−２）に示す矢印Ｙ２方向に、基準箱ＫＢ（図５（ｃ−１）参照）を拡大させる。これにより、図５（ｄ）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＢ（図５（ｃ−２）参照）とが一致することとなるから、ＣＰＵ５０（図１参照）は、基準箱ＫＢ（図５（ｃ−２）参照）のサイズが分かっているため、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを拡大率から算出することができる。

しかして、このようにして、ＣＰＵ５０（図１参照）は、上記決定した箱状ピッキング対象物Ｗａの領域を用いて、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを計測することができる。なお、本実施形態においては、ＲＯＭ５３内に予め基準となる基準箱ＫＡ（図５（ｃ−１）参照）のサイズ（例えば、縦４８０ｍｍ，横３７０ｍｍ）を記憶、又は、ＲＯＭ５３内に予め基準となる基準箱ＫＢ（図５（ｃ−２）参照）のサイズ（例えば、縦２３５ｍｍ，横１５０ｍｍ）を記憶しておく例を示したが、それに限らず、作業者が、図１に示す画像処理装置５の入力部５１を用いて、基準箱の任意のサイズを入力できるようにしても良い。なお、ＣＰＵ５０（図１参照）は、算出した箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを、一時的にＲＡＭ５４内に記憶する。

次いで、ＣＰＵ５０（図１参照）は、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域に属する図３（ａ）に示す、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧからＸ方向，Ｙ方向，Ｚ方向の三次元座標の変化を確認し、箱状ピッキング対象物Ｗａの位置姿勢を算出する。そして、ＣＰＵ５０（図１参照）は、その算出した位置姿勢を、出力部５２（図１参照）を介してロボット制御装置３に出力する（ステップＳ６）。これを受けて、ロボット制御装置３は、その位置姿勢に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させる。これにより、正確にロボット２（図１参照）のロボットハンド２２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させることができる。なおこの際、ロボット制御装置３は、ロボット２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させたことを画像処理装置５（図１参照）に出力する。

次いで、ＣＰＵ５０（図１参照）は、ロボット制御装置３より出力されたロボット２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させたことを示す情報を、入力部５１（図１参照）を介して受け取ると、カメラ４（図１参照）にて、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得するよう出力部５２（図１参照）を介してカメラ４に出力する。これを受けて、カメラ４は、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得する。すなわち、ロボット２（図１参照）にて箱状ピッキング対象物Ｗａを把持させる前は、図６（ａ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得している。これは、上記ステップＳ１にて説明した通りである。一方、今回は、ロボット２（図１参照）にて箱状ピッキング対象物Ｗａを把持させた後、図６（ｂ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得することとなる。すなわち、図６（ｂ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗのうち、図示正面から見て左上隅に位置する箱状ピッキング対象物Ｗａ（破線部分参照）が把持された際、その把持された箱状ピッキング対象物Ｗａ（破線部分参照）部分を除く、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得することとなる。なお、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報は、図６（ａ），（ｂ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧとして、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの全体に亘って表わされている。

しかして、ＣＰＵ５０（図１参照）は、カメラ４（図１参照）にて取得された、図６（ｂ）に示す、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を、入力部５１（図１参照）を介して受け取ると、ＲＡＭ５４内に記憶されている、図６（ａ）に示す隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報とを比較する。この際、図６（ｂ）に示すように、図示正面から見て左上隅に位置する箱状ピッキング対象物Ｗａ（破線部分参照）が存在していない分、Ｚ方向の三次元座標が変化しているため、ＣＰＵ５０（図１参照）は、深さの変化を計測することができる。これにより、ＣＰＵ５０（図１参照）は、その計測した深さを把持された箱状ピッキング対象物Ｗａ（図６（ｂ）に示す破線部分参照）の高さＨ（図６（ｂ）参照）として、出力部５２（図１参照）を介してロボット制御装置３に出力する（ステップＳ７）。しかして、このようにすれば、簡単容易に、箱状ピッキング対象物Ｗａの高さを計測することができる。なお、この際、ＲＡＭ５４内に記憶されている上記ステップＳ５にて算出した箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズも、出力部５２（図１参照）を介してロボット制御装置３に出力される。これにより、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌ、高さＨが自動で計測されることとなる。なお、ＣＰＵ５０は、この高さＨ（図６（ｂ）参照）を、一時的にＲＡＭ５４内に記憶する。

かくして、ロボット制御装置３は、上記出力された箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズ並びに高さＨに基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。より詳しく説明すると、ロボット制御装置３は、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズから、所定箇所（例えば、コンベア）の長さ，幅を考慮（所定箇所（例えば、コンベア）の長さ，幅の情報は予め記憶されている）して、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の経路設定を行う。そしてさらに、ロボット制御装置３は、箱状ピッキング対象物Ｗａの高さＨから、所定箇所（例えば、コンベア）の高さ、並びに、箱状ピッキング対象物Ｗａを安全に載置できるためのクリアランス等を考慮（所定箇所（例えば、コンベア）の高さの情報は予め記憶されている）して、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の経路設定を行う。しかして、このように設定した経路設定に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。これにより、安全に箱状ピッキング対象物Ｗａ（図１参照）を所定箇所（例えば、コンベア）に移載させることができる。

また、ロボットハンド２２（図１参照）には、箱状ピッキング対象物Ｗａを把持した際、当該箱状ピッキング対象物Ｗａの重量を計測する歪ゲージ等の重量センサが設けられているから、重量センサの計測情報は、ロボット制御装置３に出力される。これにより、自動で箱状ピッキング対象物Ｗａの重量を計測することができる。

一方、ロボット制御装置３は、これを受けて、計測された重量が予め設定しておいた重量よりも大きければ、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度よりも低く設定し、計測された重量が予め設定しておいた重量より小さければ、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度よりも高く設定し、計測された重量が予め設定しておいた重量と同一であれば、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度に設定する。

しかして、このように設定した加速度に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。これにより、把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させる途中で、落下させてしまう事態を低減させることができる。なお、重量センサに代えて、基端が回転可能に連結されているロボットアーム部２１のモータ駆動に必要な電流を検出し、その検出情報から箱状ピッキング対象物Ｗａの重量を推定するようにした際も、同様の処理を行うことができる。

しかして、以上説明した本実施形態によれば、物流現場において、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができることとなる。これにより、多種の箱のサイズや重量をデータベース内に事前に登録する必要がなくなる。また、多種の箱のサイズや重量をデータベース内に事前に登録しなくとも、安定して把持対象となる箱状ピッキング対象物を把持できることとなる。

すなわち、従来であれば、多種の箱のサイズをデータベース内に事前に登録する必要があるため、把持対象となる箱状ピッキング対象物のサイズを正確に登録する必要があるものの、本実施形態によれば、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができるため、このような正確な登録が不要となる。また、仮に、把持対象となる箱状ピッキング対象物のサイズを入力（登録）したとしても、正確な入力（登録）は必要なく、概略（例えば、箱状ピッキング対象物の縦横高さの基準、又は、縦横高さが取りえる数値範囲、或いは、直方体，八角柱等の形状等）だけ入力（登録）するだけで良い。

なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。

例えば、ＲＡＭ５４内に記憶した箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズ並びに高さＨを図示しないデータベースに記憶し、次回以降のピッキング作業（デパレタイズ作業）に使用することができる。

また、本実施形態においては、箱状ピッキング対象物Ｗａを上面からピッキングすることを想定して最上面ＨＭの画像を切り出す例を示したが、それに限らず、側面（例えば、図４（ａ）を正面から見た際の左側面、又は、右側面）、又は、正面、或いは、背面の画像を切り出すようにしても良い。

また、本実施形態においては、箱状ピッキング対象物Ｗａとして無地のものを例示したが、それに限らず、ガムテープが貼り付いていたり、ロゴやバーコード等が印字されていたりする箱等、どのような箱にも適用可能である。

また、本実施形態においては、箱状ピッキング対象物Ｗａとして矩形状のものを例示したが、それに限らず、八角形状等、どのような形状の箱にも適用可能である。

また、本実施形態においては、箱状ピッキング対象物Ｗａとして、荷積みされている箱を１箱そのままピッキングする例を示したが、それに限らず、１ケース（外箱）内に入っている缶コーヒーや缶ビールなどを１パックしたものをピッキングする際にも適用可能であり、或いは、１ケース（外箱）内に入っている複数の小箱をピッキングする際にも適用可能である。

また、本実施形態においては、箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と二次元画像をカメラ４にて取得できる例を示したが、それに限らず、カメラ４は単なる撮像機能だけにし、画像処理装置５（図１参照）のＣＰＵ５０（図１参照）にて、箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を生成し、箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を生成するようにしても良い。またさらに、カメラ４，画像処理装置５（図１参照）のＣＰＵ５０（図１参照）の何れか一方で、箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を生成し、他方のカメラ４又は画像処理装置５（図１参照）のＣＰＵ５０（図１参照）にて箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を生成するようにしても良い。

一方、本実施形態においては、カメラ４を別に設ける例を示したが、それに限らず、カメラ４をロボット２に組み込むようにしても良い。また、ロボット制御装置３と画像処理装置５とを別々に設ける例を示したが、ロボット制御装置３と画像処理装置５を一体化しても良い。

１ 箱状物ピッキング装置
２ ロボット
３ ロボット制御装置
４ カメラ（第１生成手段、第２生成手段）
５ 画像処理装置
５０ ＣＰＵ
Ｗ （複数の箱状ピッキング対象物の）全体
Ｗａ 箱状ピッキング対象物
ＨＭ 最上面（所定の平面画像）
Ｌ 横（決定した箱領域の長手方向）
Ｔ 縦（決定した箱領域の幅方向）

Claims (10)

1. 荷積みされた複数の箱状ピッキング対象物全体の三次元点群情報を生成する第１生成手段と、
   前記複数の箱状ピッキング対象物全体の二次元画像を生成する第２生成手段と、
   前記第１生成手段にて生成された三次元点群情報と前記第２生成手段にて生成された二次元画像に基づき、前記複数の箱状ピッキング対象物全体から所定の平面画像を切り出す切り出し手段と、
   前記切り出し手段にて切り出された所定の平面画像を正面画像に変換する変換手段と、
   前記変換手段にて変換された正面画像から共通のパターンを見つけ出し、箱状物の領域を決定する領域決定手段と、
   前記領域決定手段にて決定された箱状物の領域に属する前記第１生成手段にて生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物の三次元位置姿勢を出力する位置姿勢出力手段と、
   前記位置姿勢出力手段にて出力された三次元位置姿勢に基づき、前記把持対象となる箱状ピッキング対象物を把持し、移載するロボットと、を備えてなる箱状物ピッキング装置。
2. 荷積みされた複数の箱状ピッキング対象物全体の三次元点群データを生成し、
   前記複数の箱状ピッキング対象物全体の二次元画像を生成し、
   前記生成された三次元点群情報と二次元画像に基づき、前記複数の箱状ピッキング対象物全体から所定の平面画像を切り出し、
   前記切り出した所定の平面画像を正面画像に変換し、
   前記変換した正面画像から共通のパターンを見つけ出し、箱状物の領域を決定し、
   前記決定した箱領域に属する前記生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物の三次元位置姿勢を出力し、
   前記出力した三次元位置姿勢に基づき、ロボットを用いて、前記把持対象となる箱状ピッキング対象物を把持し、移載してなる箱状物ピッキング方法。
3. 前記把持対象となる箱状ピッキング対象物の正確なサイズを事前に入力不要である請求項２に記載の箱状物ピッキング方法。
4. 前記決定した箱状物の領域の長手方向の長さと幅方向の長さを計測し、該計測した長さを持つ箱状物の領域に属する前記生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物の三次元位置姿勢を出力してなる請求項２又は３に記載の箱状物ピッキング方法。
5. 前記変換した正面画像に対してフーリエ変換を行い、その変換したフーリエ変換画像におけるピーク値を抽出することで、共通のパターンを見つけ出し、箱状物の領域を決定してなる請求項２〜４の何れか１項に記載の箱状物ピッキング方法。
6. 前記出力した三次元位置姿勢に基づき、ロボットを用いて、前記把持対象となる箱状ピッキング対象物を把持し、移載する際、再度、荷積みされた複数の箱状ピッキング対象物全体の三次元点群情報を生成し、
   前記把持し、移載する前の荷積みされた複数の箱状ピッキング対象物全体の三次元点群情報と、前記把持し、移載する際の荷積みされた複数の箱状ピッキング対象物全体の三次元点群情報とを比較した際の差を、前記把持対象となる箱状ピッキング対象物の高さとしてなる請求項２〜５の何れか１項に記載の箱状物ピッキング方法。
7. 前記計測した長さ、並びに、前記把持対象となる箱状ピッキング対象物の高さを出力してなる請求項６に記載の箱状物ピッキング方法。
8. 前記出力した三次元位置姿勢に基づき、ロボットを用いて、前記把持対象となる箱状ピッキング対象物を把持した際、該把持対象となる箱状ピッキング対象物の重量を計測してなる請求項２〜７の何れか１項に記載の箱状物ピッキング方法。
9. 前記計測した把持対象となる箱状ピッキング対象物の重量に基づき、前記ロボットを用いて、前記把持対象となる箱状ピッキング対象物を移載する際の加速度を制御してなる請求項８に記載の箱状物ピッキング方法。
10. 前記計測した長さに基づき、前記ロボットを用いて、前記把持対象となる箱状ピッキング対象物を移載する際の経路を設定して制御してなる請求項４に記載の箱状物ピッキング方法。
    

Images