JP2014511772A - ロボットシステムにおいてピッキング動作後にセンサ測定値を無効にする方法 - Google Patents

Abstract

【課題】ロボット仕分けシステムの対象領域に対する仕分け動作後に、センサ測定値を無効にするための方法およびシステムを提供する。
【解決手段】ロボット仕分けシステムの対象領域に対する仕分け動作後に、センサ測定値を無効にするための方法においては、センサを用いて、対象領域からセンサ測定値を取得する。対象領域の上方のセンサを用いて、対象領域の第１の画像を撮影する。センサ測定値および第１の画像に基づいて、ロボットアームを使用して、対象領域において第１の仕分け動作を行う。その後すぐに、対象領域の上方のセンサを用いて、対象領域の第２の画像を撮影する。対象領域における無効領域を決定するために、第１および第２の画像を比較する。センサ測定値に基づいて、今後の仕分け動作において、無効領域が避けられる。
【選択図】図１

Description

本発明は、ロボットアームおよびグリッパを用いて対象物を操作するために使用されるシステムおよび方法に関する。特に、本発明は、ロボットシステムにおいて、ピッキング動作後にセンサ測定値を無効にする方法に関する。

ロボットシステムは、製造部品、機械部品、およびリサイクルされる材料等の様々な対象物の仕分けおよび分類に用いることができる。仕分けおよび分類は、対象物を十分な確率で認識できることが求められる。リサイクルおよび廃棄物管理等の応用では、物体の仕分け済みグループの純度が高いこと、すなわち、物体の仕分け済みグループ中に存在する間違ったタイプの物体の数が出来る限り少ないことが重要である。仕分け済みグループは、一般的に、ガラス、プラスチック、金属、紙、およびバイオ廃棄物を含む。仕分けされる物体は、通常、コンベアベルトに載せて、多数の対象容器に物体を仕分けする少なくとも１つのロボットアームを含むロボットシステムに供給される。

ロボットシステムにおいて、移動または操作される対象物の認識は、異なるタイプのセンサを使用し得る。第１のタイプのセンサは、対象領域全体の画像の形成に使用されるセンサを含み得る。対象領域の画像は、例えば、可視光または赤外線電磁放射を用いて生成され得る。第２のタイプのセンサは、センサの視野にわたって撮像された物体を移動させる必要のあるセンサを含む。このようなセンサの典型例は、コンベアベルトの上方に配置されるラインスキャナセンサである。ラインスキャナセンサは、多数の等間隔に配置されたセンサの列として配置され得る。各ラインスキャナセンサは、コンベアベルトの長手方向ストライプに関する示度アレイを取得するよう機能する。各ラインスキャナセンサからのアレイを組み合わせて、センサ示度のマトリクスを形成することができる。このようなセンサの例としては、赤外線スキャナ、金属探知器、およびレーザスキャナを挙げることができる。第２のタイプのセンサの際立った特徴は、撮像された物体を移動させなければ、上記の例においてはコンベアベルトを動かさなければ、それらがセンサ示度のマトリクスを形成し得ない点である。第２のタイプのセンサの問題点は、撮像された物体またはセンサを互いに対して移動させる必要性である。

ロボットアームがセンサ示度のマトリクスの形成に使用された領域から物体をピッキングする、またはピッキングしようと試みる時は必ず、マトリクスは少なくとも部分的に無効となる。ピッキング動作によって生じる変化は、場合によっては、ピッキングされる、またはピッキングが試みられる物体に限定されない。ばらばらに配置された対象物体、例えば仕分けされる廃棄物を含むコンベアベルト上で、物体は、少なくとも部分的に互いにつながり、互いに重なり合っている場合がある。従って、ピッキング動作後には、物体の少なくとも幾つかは、マトリクスが形成された時に存在した場所にはもはや存在しない場合がある。同様のマトリクスを形成するために、同じラインセンサアレイの下で、コンベアベルトを再度動かす必要がある。これにより、ロボットアームによる１つのピッキング動作が終わると、コンベアベルトを前後に動かすことが必要となる。この問題点は、プラッタを回転させる等の物体を移動させるための他のセットアップに対しても同じである。このようなセンサを用いた第２の示度の獲得は、エネルギーと時間を費やす。従って、少なくとも部分的に同じラインセンサ示度マトリクスを用いてピッキング動作を繰り返すことが可能であると有益である。

本発明の第１の局面によれば、本発明は、少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得すること；対象領域の第１の画像を形成すること；少なくとも２つのセンサ測定値の内の少なくとも第１のセンサ測定値に基づいて、対象領域において第１の仕分け動作を行うこと；対象領域の第２の画像を形成すること；対象領域における少なくとも１つの無効領域を決定するために、第１の画像および第２の画像を比較すること；および、対象領域における少なくとも１つの第２の仕分け動作において、無効領域を避けること（ここで、第２の仕分け動作は少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）、を含む方法である。

本発明のさらなる局面によれば、本発明は、少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得する手段；対象領域の第１の画像を形成する手段；少なくとも２つのセンサ測定値の内の第１のセンサ測定値に基づいて、対象領域において第１の仕分け動作を行う手段；対象領域の第２の画像を形成する手段；対象領域における少なくとも１つの無効領域を決定するために、第１の画像および第２の画像を比較する手段；対象領域における少なくとも１つの第２の仕分け動作において、無効領域を避ける手段（ここで、第２の仕分け動作は少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）；を含む装置である。

本発明のさらなる局面によれば、本発明は、データ処理システム上で実行された際に、プロセッサに以下のステップを行わせるように構成されたコードを含むコンピュータプログラムであって、少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得するステップ；対象領域の第１の画像を形成するステップ；少なくとも２つのセンサ測定値の内の少なくとも第１のセンサ測定値に基づいて、対象領域において第１の仕分け動作を行うステップ；対象領域の第２の画像を形成するステップと；対象領域における少なくとも１つの無効領域を決定するために、第１の画像および第２の画像を比較するステップ；および、対象領域における少なくとも１つの第２の仕分け動作において、無効領域を避けるステップ（ここで、第２の仕分け動作は少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）；を含む。

本発明のさらなる局面によれば、本発明は、少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得すること、対象領域の第１の画像を形成すること、少なくとも２つのセンサ測定値の内の少なくとも第１のセンサ測定値に基づいて、対象領域において第１の仕分け動作を行うこと、対象領域の第２の画像を形成すること、対象領域における少なくとも１つの無効領域を決定するために、第１の画像および第２の画像を比較すること、対象領域における少なくとも１つの第２の仕分け動作において無効領域を避けること（ここで、第２の仕分け動作は、少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）、を行うように構成された少なくとも１つのプロセッサを含む装置である。

本発明のある実施形態では、仕分け動作は、ロボットアームを用いて行われる。

本発明のある実施形態では、第１の画像および第２の画像等の画像は、２次元マトリクスまたはアレイ、あるいは３次元アレイとして表され得る、または解釈され得るどのような種類のセンサデータでもよい。

本発明のある実施形態では、第１および第２の画像等の画像は、モノクロまたは多色写真でもよい。中間色のモノクロ画像は、グレースケールまたは白黒画像と呼ばれる。

本発明のある実施形態では、第１の画像および第２の画像等の画像は、写真および高さマップの少なくとも一方を含み得る。高さマップは、ある点における高さ値の２次元アレイまたはマトリクスを含み得る。高さマップは、対象領域の３次元モデルでもよい。３次元モデルは、例えば、一連の点、一連の線、一連のベクトル、一連の平面、一連の三角形、一連の任意の地理的形状の内の少なくとも１つを含み得る。高さマップは、例えばメタデータとして、画像に関連し得る。

本発明のある実施形態では、第１の画像および第２の画像等の画像は、高さマップでもよい。本発明のある実施形態では、高さマップは、３Ｄラインスキャナを用いて得られる。

本発明のある実施形態では、画像は、写真画像および高さマップの少なくとも一方を含むデータの一群を意味し得る。写真画像は、２Ｄまたは３Ｄでもよい。

本発明のある実施形態では、第１の画像および第２の画像等の画像は、画像の別の表現に加えて、画像の一部として、高さマップを自身に関連付け得る。

本発明のある実施形態では、高さマップは、３Ｄラインスキャナを用いて得られる。ラインスキャナは、レーザラインスキャナでもよい。例えば、レーザラインスキャナは、位置エンコーダを備えた平衡回転ミラーおよびモータと、取り付け金具を含み得る。スキャナは、センサのレーザ光を９０度偏向させ、それが回転する際に、それを一周スイープする。

本発明のある実施形態では、対象領域において少なくとも１つの無効領域を決定するために、第１および第２の画像を比較するステップは、第１の画像および第２の画像における領域の高さを比較することをさらに含む。この領域は、任意のサイズまたは形のものでよい。第１および第２の画像は、高さマップでもよく、あるいは、それらは、自身に別個の高さマップを関連付けてもよい。

本発明のある実施形態では、対象領域において少なくとも１つの無効領域を決定するために、第１の画像および第２の画像を比較するステップは、更に、第１の画像または第２の画像の高さマップの一方を選択すること；選択された高さマップから２つの新しい高さマップ（これらは、最小マップ（ｍｉｎ−ｍａｐ）および最大マップ（ｍａｘ−ｍａｐ）と呼ぶことができ、最小マップは、式：ｍｉｎ−ｍａｐ＝ｅｒｏｄｅ（ｈｅｉｇｈｔｍａｐ）−ｆｕｄｇｅｆａｃｔｏｒを用いてピクセルに関して計算され、最大マップは、式：ｍａｘ−ｍａｐ＝ｄｉｌａｔｅ（ｈｅｉｇｈｔｍａｐ）＋ｆｕｄｇｅｆａｃｔｏｒを用いてピクセルに関して計算される）を生成すること；第２の高さマップｈ２、すなわち他方の高さマップを、第２の高さマップにおけるピクセルｈ２（ｘ，ｙ）ごとに、条件：ｍｉｎ−ｍａｐ（ｘ，ｙ）＜ｈ２（ｘ，ｙ）＜ｍａｘ−ｍａｐ（ｘ，ｙ）が満たされているか否かをチェックすることによって、選択された高さマップｈ１と比較すること；および、少なくとも１つの無効領域に対して条件が満たされていないピクセル（ｘ，ｙ）を選択すること；を含む。ｄｉｌａｔｅ関数は、モルフォロジー膨張演算子である。ｅｒｏｄｅ関数は、モルフォロジー収縮演算子である。誤差（ｆｕｄｇｅ ｆａｃｔｏｒ）は、定数またはピクセルに依存した定数アレイである。

本発明のある実施形態では、対象領域において少なくとも１つの無効領域を決定するために、第１の画像および第２の画像を比較するステップは、選択された高さマップの上限面を形成すること（ここで、この選択された高さマップは第１の画像または第２の画像の高さマップである）；選択された高さマップの下限面を形成すること；および、少なくとも１つの無効領域に対して、他方の高さマップが上限面と下限面との間に当てはまらない領域を選択すること（ここで、他方の高さマップは第１の画像または第２の画像の高さマップである）；を含む。

本発明のある実施形態では、対象領域において少なくとも１つの無効領域を決定するために、第１の画像および第２の画像を比較するステップは、更に、第１の画像または第２の画像のどちらか一方に関連する高さマップを第１の高さマップとして指定すること；他方の画像に関連する高さマップを第２の高さマップとして指定すること；第１の高さマップの上限面を形成すること；第１の高さマップの下限面を形成すること；および、少なくとも１つの無効領域に対して、第２の高さマップが上限面と下限面との間に当てはまらない領域を選択すること；を含む。第１の画像に関連する高さマップと、第２の画像に関連する高さマップとが存在する。

本発明のある実施形態では、対象領域において少なくとも１つの無効領域を決定するに、第１の画像および第２の画像を比較するステップは、更に、第１の画像または第２の画像のどちらか一方を第１の高さマップとして指定すること；他方の画像を第２の高さマップとして指定すること；第１の高さマップの上限面を形成すること；第１の高さマップの下限面を形成すること；および、少なくとも１つの無効領域に対して、第２の高さマップが上限面と下限面との間に当てはまらない領域を選択すること；を含む。この実施形態では、第１の画像および第２の画像は、高さマップである。

本発明のある実施形態では、上限面は、モルフォロジー膨張演算子を用いて、ピクセルに関して計算される。膨張関数は、出力ピクセルの値が、入力ピクセルの近傍における全ピクセルの最大値となるように定義され得る。二値画像においては、ピクセルの何れかが値１に設定されると、出力ピクセルは１に設定される。誤差は、膨張関数によって与えられた値に対して、計算において加算または減算され得る。

本発明のある実施形態では、下限面は、モルフォロジー収縮演算子ｅｒｏｄｅを用いて、ピクセルに関して計算される。ｅｒｏｄｅ関数は、出力ピクセルの値が、入力ピクセルの近傍における全ピクセルの最小値となるように定義され得る。二値画像においては、ピクセルの何れかが０に設定されると、出力ピクセルは０に設定される。誤差は、収縮関数によって与えられた値に対して、計算において加算または減算され得る。

本発明のある実施形態では、仕分け動作は、ロボットハンドを用いて行われるピッキング動作である。ピッキング動作は、グリッピングと呼ばれる場合もある。

仕分け動作は、失敗したピッキング動作である場合がある。仕分け動作は、対象領域における少なくとも１つの物体の移動、移動の試み、または接触である場合がある。この移動は、いずれの方向のものでもよい。

本発明のある実施形態では、対象領域における第１の仕分け動作は、少なくとも２つのセンサ測定値の内の少なくとも第１のセンサ測定値および第１の画像に基づいて、ロボットアームを用いて行い得る。

本発明のある実施形態では、第２のピッキング動作は、第１の画像および第２の画像の少なくとも一方と共に、少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づき得る。

本発明のある実施形態では、第１のセンサ測定値は、無効領域において測定され、第２のセンサ測定値は、無効領域では測定されない。

本発明のある実施形態では、第１の画像は、第１のカメラを用いて対象領域の画像を撮影することにより形成され、第２の画像は、第２のカメラを用いて対象領域の画像を撮影することにより形成される。

本発明のある実施形態では、この方法は、更に、対象領域がその上に位置するコンベアベルトを所定の長さ走行させることであって、所定の長さは、第１のカメラおよび第２のカメラ間の距離と一致することを含む。

本発明のある実施形態では、この方法は、更に、透視補正を用いて、第１の画像および第２の画像の少なくとも一方を、第１の画像および第２の画像によって共有される座標系に変換することを含む。透視補正は、コンベアベルトに向けた第１のカメラおよび第２のカメラの画角の少なくとも一方に関する差、およびコンベアベルトまでの第１のカメラおよび第２のカメラの距離に関する差を補償することができる。透視補正は、例えば、第１の画像および第２の画像間の鉛直および水平傾斜の少なくとも一方を補正することを含み得る。

本発明のある実施形態では、この方法は、更に、既知の形を持つテスト物体を用いて、透視補正を求めることを含む。透視補正は、コンベアベルトが走行中に、第１のカメラを用いて複数の第１のテスト画像を撮影し、第２のカメラを用いて複数の第２のテスト画像を撮影すること、およびテスト物体を表す第１のテスト画像および第２のテスト画像の中から最も良く合致した画像を選択することによって定義され得る。透視補正は、最も良く合致した第１のテスト画像と、最も良く合致した第２のテスト画像とを共通の座標系に転換するのに必要な変換として定義され得る。

本発明のある実施形態では、この方法は、更に、コンベアベルトが走行中に、第１のカメラを用いて複数の第１のテスト画像を撮影し、第２のカメラを用いて複数の第２のテスト画像を撮影すること；テスト物体を表す第１のテスト画像および第２のテスト画像の中から最も良く合致した画像を選択すること；および、画像間をコンベアベルトが走行した長さを所定の長さとして記録すること；を含む。

本発明のある実施形態では、この方法は、更に、第１の画像および第２の画像の少なくとも一方を高域フィルタリングすることを含む。

本発明のある実施形態では、第１および第２の画像を比較するステップが、更に、第１の画像および第２の画像の複数の領域を形成すること（ここで、複数の領域は、少なくとも部分的に重複する、または別個のものである）を含む。複数の領域は、窓関数を用いて、第１および第２の画像の領域全体から形成されてもよい。この窓関数は、例えば、矩形でもよく、あるいは、ガウス窓関数でもよい。領域は、例えば３０×３０ピクセル等の規定の高さおよび幅のピクセルブロックでもよい。複数の領域は、第１および第２の画像において同一ピクセルを有していてもよく、同じサイズを有していてもよい。

本発明のある実施形態では、第１の画像および第２の画像を比較するステップが、更に、平滑化関数を用いて、複数の領域の各々を平滑化することを含む。平滑化関数は、ガウスカーネルでもよい。

本発明のある実施形態では、第１および第２の画像を比較するステップが、更に、第１の画像および第２の画像間の低相関および第１の画像内の高分散に基づいて、少なくとも１つの無効領域として複数の領域を決定することを含む。

本発明のある実施形態では、少なくとも１つの無効領域として複数の領域を決定するステップが、更に、領域ごとに、第１の画像および第２の画像間の変位を生じさせる最大相関を選択すること；変位を生じさせる最大相関を用いて、領域ごとに第１の画像および第２の画像間の相関を計算すること；を含む。変位は、水平または鉛直方向における、あるピクセル数の変位である。ピクセル数は、例えば、どちらか一方の方向における例えば５または３より少ないピクセル数でもよい。変位を生じさせる最大相関は、水平または鉛直方向に別個に各変位を試みることによって決定することができる。

本発明のある実施形態では、第１および第２の画像を比較するステップは、更に、領域内で最も高い分散を持つ第１の画像内の複数の領域を決定することを含む。

本発明のある実施形態では、第１および第２の画像を比較するステップは、更に、第１の画像および第２の画像間で最も低い相関を持つ複数の領域を決定すること；および、最も高い分散および最も低い相関を持つ領域を少なくとも１つの無効領域として決定することを含む。

本発明のある実施形態では、無効領域の選択基準として同様に使用され得るのは、領域が無効領域として見なされるために超過しなければならない第１の画像内の局所分散の閾値および超過してはならない第１の画像および第２のもの間の局所相関の閾値である。

本発明のある実施形態では、少なくとも１つのセンサは、赤外線センサ、金属探知器、およびレーザスキャナを含む。赤外線センサは、近赤外（ＮＩＲ）センサでもよい。

本発明のある実施形態では、カメラは、可視光カメラ、飛行時間型３Ｄカメラ、構造化光３Ｄカメラ、または赤外線カメラ、または３Ｄカメラである。

本発明のある実施形態では、第１の画像および第２の画像は、例えば、飛行時間型３Ｄカメラまたは構造化光３Ｄカメラであり得る単一の３Ｄカメラを用いて形成される。

本発明のある実施形態では、グリッピングまたはピッキング動作の成功は、センサからのデータを用いて決定される。グリップが成功しなければ、ロボットアームは、別の試みを行うために異なる場所に移動する。

本発明のある実施形態では、システムは、装置内で起動し得る学習システムを利用することによりさらに向上する。

本発明のある実施形態では、コンピュータプログラムがコンピュータ可読媒体に保存される。コンピュータ可読媒体は、リムーバブルメモリカード、リムーバブルメモリモジュール、磁気ディスク、光ディスク、ホログラムメモリ、または磁気テープでもよい。リムーバブルメモリモジュールは、例えば、ＵＳＢメモリスティック、ＰＣＭＣＩＡカード、またはスマートメモリカードでもよい。

本発明のある実施形態では、第１および第２の画像を撮影するための２つのカメラの代わりに、３次元撮像カメラを用いてもよい。３次元撮像カメラは、２つのレンズおよび画像センサを含み得る。

本発明のある実施形態では、第１のセンサアレイおよび第２のセンサアレイは、第１のセンサアレイおよび第２のセンサアレイからのセンサ示度のマトリクスを形成するために、静止対象領域上を移動し得る。この場合、コンベアベルトは存在しない。ピッキングされる物体は、静止対象領域上に配置され得る。この場合、単一の２Ｄカメラまたは単一の３Ｄカメラを用いて、第１および第２の画像を撮影してもよい。

本発明のある実施形態では、コンベアベルトは、ピッキングされる物体がその上に配置される回転ディスクまたはプラッタに置き換えられてもよい。この場合、ディスクまたはプラッタの半径方向に沿って、第１のセンサアレイおよび第２のセンサアレイが配置される。

以上に記載した本発明の実施形態は、互いに任意に組み合わせて用いることができる。これらの実施形態の幾つかを共に組み合わせて、本発明のさらなる実施形態を形成することができる。本発明が関係する方法、システム、装置、コンピュータプログラム、またはコンピュータプログラム製品は、以上に記載した本発明の実施形態の少なくとも１つを含み得る。

本発明の利点は、ロボットの動作空間から物体を選択する際の質の向上に関する。後続のピッキング動作のための無効領域に関する情報により、各ピッキング動作後にセンサ情報が部分的に古くなり得る事実に起因した、ロボットアームによる１つ１つのピッキング動作後にコンベアベルトを前後に動かす必要がなくなる。これにより、ロボットシステムのエネルギーおよび処理時間が節約される。

本発明のさらなる理解をもたらし、本明細書の一部を構成するために包含された添付の図面は、本発明の実施形態を図示し、明細書の本文と共に、本発明の原理の説明に役立つ。
本発明のある実施形態における２つのラインセンサアレイを適用したロボットシステムを図示するブロック図である。 本発明のある実施形態における、コンベアベルト上に配置された校正用物体を用いた２つのカメラの校正を図示する。 本発明のある実施形態における、ロボットシステムにおけるピッキング動作後にセンサ測定値を無効にする方法を図示するフローチャートである。 本発明のある実施形態における、ロボットシステムにおいてピッキング動作後にセンサ測定値を無効にする方法を図示するフローチャートである。 本発明のある実施形態における、ロボットシステムにおいて対象領域内で無効画像領域を決定する方法を図示するフローチャートである。

これより、詳細に本発明の実施形態に言及し、その例を添付の図面に図示する。

図１は、本発明のある実施形態における２つのラインセンサアレイを適用したロボットシステムを図示するブロック図である。

図１では、ロボットシステム１００は、例えばロボットアーム１１２を備える産業ロボットであるロボット１１０を備える。ロボットアーム１１６に接続されるのは、グリッパ１１４であり、これは、クランプまたは鉤爪でもよい。ロボットアーム１１６は、コンベアベルト１０２の動作領域１０２Ｂ内でグリッパ１１２を移動させることができる。ロボットアーム１１２は、多数のモータ、例えば、ロボットアームの回転、上昇、およびグリッピングの制御を可能にするサーボモータを含み得る。ロボットアーム１１２およびグリッパ１１４の様々な動作は、アクチュエータによって生じる。一例として、アクチュエータは、電気式、空気圧式、または油圧式、あるいは、これらの何れの組み合わせでもよい。アクチュエータは、ロボット１１０の様々な要素を移動または回転させることができる。ロボット１１０に関連して、グリッパ１１４およびロボットアーム１１２の目標座標をロボットアーム１１２およびグリッパ１１４を制御するアクチュエータに入力された適切な電圧および電力レベルに変換するコンピュータユニット（不図示）が存在する。ロボット１１０に関連するコンピュータユニットは、例えば、装置１２０からコンピュータユニットへとグリッピング命令を指定する目標座標を伝えるために使用されるＵＳＢコネクタであるコネクタを用いて制御される。装置１２０からの制御信号に応答して、アクチュエータは、必ずしも限定されることはないが、動作領域１０２Ｂ内のある特定の場所の上方にグリッパ１１４を位置付けること、グリッパ１１４を下げるまたは上げること、およびグリッパ１１４の開閉を含む様々な機械的機能を行う。ロボット１１０は、様々なセンサを含み得る。一例として、これらのセンサには、ロボットアーム１１２およびグリッパ１１４の位置、並びに、グリッパ１１４の開／閉状態を示す様々な位置センサ（不図示）が含まれる。グリッパの開／閉状態は、単純なイエス／ノービットに限定されない。本発明のある実施形態では、グリッパ１１４は、その各指に関するマルチビット開／閉状態を示すことができ、それによって、グリッパ内の１つまたは複数の物体のサイズおよび／または形状の指標を得ることができる。位置センサに加えて、一連のセンサは、ロボットアーム１１２およびグリッパ１１４の様々な要素が受ける歪みを示す、歪みゲージまたは力フィードバックセンサとしても知られる歪みセンサを含み得る。例示的であるが非限定的なある実施例では、歪みセンサは、それらに加えられる圧縮の張力に応じて抵抗が変化する可変抵抗を含む。抵抗の変化は、抵抗の絶対値に比べて小さいので、可変抵抗は、一般的に、ホイートストンブリッジ構成で測定される。

図１には、コンベアベルト１０２が図示されている。コンベアベルト上には、ロボット１１０によって多数の対象容器（不図示）へと仕分けされる多数の物体、例えば、物体１０８および物体１０９が図示されている。コンベアベルト１０２の上方には、２つのラインセンサアレイ、すなわちセンサアレイ１０３およびセンサアレイ１０４が図示されている。センサアレイは、それぞれのセンサの下のコンベアベルト１０２のストライプから示度アレイを取得する多数の等間隔に配置されたセンサを含む。センサアレイは、コンベアベルト１０２の側面に直交するように配置され得る。本発明のある実施形態では、センサアレイ内のセンサは、等間隔に配置されなくてもよく、コンベアベルト１０２の側面に対して非直交角度で配置されてもよい。センサアレイ内のセンサは、静止状態でもよく、あるいは、コンベアベルト１０２のより広範なストライプをスキャンするために移動してもよい。センサアレイ１０３は、例えば、近赤外（ＮＩＲ）センサアレイでもよい。センサアレイ１０４は、例えば、レーザスキャナアレイでもよい。各センサアレイは、コンベアベルトの長手方向ストライプに関する示度のアレイ、すなわち時系列を取得するよう機能する。各センサアレイからのアレイを組み合わせて、センサ示度のマトリクスを形成することができる。

コンベアベルト１０２は、２つの論理的領域、すなわち、第１の領域１０２Ａおよび第２の領域１０２Ｂに分割される。第１の領域１０２Ａは、コンベアベルト１０２上の物体が移動されない手付かずの領域と呼ぶことができる。第２の領域１０２Ｂは、ロボット１１０が、物体１０８等の物体をグリップし得る、またはグリップしようと試み得るロボット１１０の動作領域である。物体１０８は、電気コードで接続された２つの部品から成るように図示されている。第１の部品の移動により、第２の部品の移動が生じ、同じく、部分的に物体１０８の第２の部品上にある物体１０９の移動が生じる。従って、領域１０２Ｂ内の物体１０８の移動は、マトリクス内のセンサ示度、すなわち、多数のマトリクス要素の領域の無効化を生じさせる。マトリクス要素ごとに、第２の領域１０２Ｂ内の要素に対応する領域を装置１２０が知っていることを前提とする。

図１には、領域１０２Ａから撮られる第１の画像を取得するために配置された第１のカメラ１０５が存在する。同様に領域１０２Ｂから撮られる第２の画像を取得するために配置された第２のカメラ１０６も存在する。第１の画像を撮ることにより、グリッピング動作が行われる前のコンベアベルト１０２上の物体の配置を求める。第２の画像を撮ることにより、グリッピング動作が行われた後の物体の配置を求める。グリッピング動作は、成功する、または失敗する場合がある。ベルト表面に対して移動されない物体がほぼ同じ位置に見える対応する第１および第２の画像の取得を可能にする、ベルト位置の正確なオフセットを求めるために使用されるベルトエンコーダと呼ばれ得る特定のセンサ１０１が存在する。ベルトエンコーダ１０１を用いて、ある時間窓中にコンベアベルト１０２が走行したステップ数を求める。

ロボット１１０は、データ処理装置１２０、省略して装置１２０に接続される。囲み（ｂｏｘ）１４０を用いて、装置１２０の内部機能を図示する。装置１２０は、少なくとも１つのプロセッサ１４２、ランダムアクセスメモリ（ＲＡＭ）１４８、およびハードディスク１４４を含む。１つまたは複数のプロセッサ１４２は、ソフトウェアエンティティ１５０、１５２、１５４、および１５６を実行することによって、ロボットアームを制御する。装置１２０は、少なくとも、カメラインタフェース１４７、ロボット１１０を制御するためのロボットインタフェース１４６、およびセンサインタフェース１４５も含む。ロボットインタフェース１４６は、コンベアベルト１０２の動作を制御することを前提としてもよい。インタフェース１４５、１４６、および１４７は、例えばユニバーサルシリアルバス（ＵＳＢ）インタフェースであるバスインタフェースでもよい。同様に装置１２０に接続されるのは、少なくともディスプレイおよびキーボードを含む端末１３０である。端末１３０は、ローカルエリアネットワークを用いて装置１２０に接続されたラップトップでもよい。

装置１２０のメモリ１４８は、プログラムまたは一般的に少なくとも１つのプロセッサ１４２によって実行される一群のソフトウェアエンティティを含む。インタフェース１４５を介して、センサアレイ１０３からのセンサ示度のマトリクスおよびセンサアレイ１０４からのセンサ示度のマトリクスを取得するセンサコントローラエンティティ１５０が存在する。マトリクス中の要素は、コンベアベルト１０２が走行中のある瞬間における、あるセンサアレイ内のあるセンサからのセンサ示度を示す。ロボットアーム１１２およびグリッパ１１４の回転、上昇、およびグリッピングの制御を行うために、ロボットインタフェース１４６を介してロボット１１０に命令を出すアームコントローラエンティティ１５２が存在する。アームコントローラエンティティ１５２は、ロボットアーム１１２およびグリッパ１１４の測定された回転、上昇、およびグリッピングに関するセンサデータの受信も行い得る。アームコントローラは、受信したフィードバックに基づいてインタフェース１４６を介して装置１２０に出された新しい命令を用いて、アームを作動させ得る。アームコントローラエンティティ１５２は、明確に定義された高度な動作を行うようにロボット１１０に命令を出すように構成される。高度な動作の一例は、ロボットアームを指定された位置に移動させることである。インタフェース１４７を用いてカメラ１０５および１０６と通信するカメラコントローラエンティティ１５４も存在する。カメラコントローラエンティティは、指定された瞬間に、カメラ１０５および１０６に写真を撮らせる。カメラコントローラエンティティ１５４は、インタフェース１４７を介して、カメラ１０５および１０６が撮った写真を取得し、メモリ１４０内に写真を保存する。

センサコントローラエンティティ１５０は、コンベアベルト１０２上の対象領域から少なくとも１つのセンサを用いて少なくとも１つのセンサ測定値を取得することができる。カメラコントローラエンティティ１５４は、第１のカメラを用いて、対象領域の第１の画像を撮影することができる。アームコントローラエンティティ１５２は、コンベアベルトを所定の長さ走行させることができ、この所定の長さは、第１のカメラおよび第２のカメラ間の距離と一致する。アームコントローラエンティティ１５２は、少なくとも１つのセンサ測定値および第１の画像の少なくとも一方に基づいて、ロボットアームを用いて、対象領域において第１のピッキングまたは仕分け動作を行うことができる。カメラコントローラエンティティ１５４は、第２のカメラを用いて、対象領域の第２の画像を撮影することができる。画像分析器エンティティ１５６は、第１および第２の画像を比較し、対象領域における少なくとも１つの無効領域を決定し、対象領域における少なくとも１つの第２のピッキングまたは仕分け動作において、無効領域を避けるように、アームコントローラエンティティ１５２に命令し得る。

少なくとも１つのプロセッサが本発明に関連する機能エンティティを実行する時、メモリは、センサコントローラエンティティ１５０、アームコントローラエンティティ１５２、カメラコントローラエンティティ１５４、および画像分析器エンティティ１５６等のエンティティを含む。図１に図示される装置１２０内の機能エンティティは、様々な方法で実施され得る。これらは、ネットワークノードのネイティブオペレーティングシステムの下で実行されるプロセスとして実施されてもよい。これらのエンティティは、別個のプロセスまたはスレッドとして実施されてもよく、あるいは、多数の異なるエンティティが１つのプロセスまたはスレッドを用いて実施されるように実施されてもよい。プロセスまたはスレッドは、多数のルーチン、すなわち、例えばプロシージャおよび関数を含むプログラムブロックのインスタンスでもよい。これらの機能エンティティは、別個のコンピュータプログラムとして、または、エンティティを実施する幾つかのルーチンまたは関数を含む単一のコンピュータプログラムとして実施されてもよい。プログラムブロックは、例えば、メモリ回路、メモリカード、磁気または光ディスク等の少なくとも１つのコンピュータ可読媒体に保存される。一部の機能エンティティは、別の機能エンティティにリンクしたプログラムモジュールとして実施され得る。図１の機能エンティティは、別個のメモリに保存され、例えばネットワークノード内のメッセージバスまたは内部ネットワークを介して通信する別個のプロセッサによって実行されてもよい。このようなメッセージバスの一例は、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスである。

本発明のある実施形態では、ソフトウェアエンティティ１５０〜１５６は、例えば、サブルーチン、プロセス、スレッド、方法、オブジェクト、モジュール、およびプログラムコードシーケンス等の別個のソフトウェアエンティティとして実施され得る。これらは単に、具体的な別個のサブルーチン、プロセス、スレッド、方法、オブジェクト、モジュール、およびプログラムコードシーケンスにグループ化されていない装置１２０中のソフトウェア内の論理機能性でもよい。それらの機能は、装置１２０のソフトウェア全体に広がり得る。一部の機能は、装置１２０のオペレーティングシステムにおいて行われてもよい。

本発明のある実施形態では、カメラ１０５および１０６の代わりに、３次元撮像カメラを用いてもよい。３次元撮像カメラは、２つのレンズおよび画像センサを含み得る。本発明のある実施形態では、カメラは、可視光カメラ、飛行時間型３Ｄカメラ、構造化光３Ｄカメラ、または赤外線カメラ、または３Ｄカメラである。

本発明のある実施形態では、カメラの代わりに、あるいは、カメラに加えて、３Ｄラインスキャナを用いてもよい。

本発明のある実施形態では、第１の画像および第２の画像等の画像は、２次元マトリクスまたはアレイ、あるいは３次元アレイとして表され得る、または解釈され得るどのような種類のセンサデータでもよい。

本発明のある実施形態では、センサアレイ１０３およびセンサアレイ１０４は、センサアレイ１０３およびセンサアレイ１０４からのセンサ示度のマトリクスを形成するために、静止対象領域上を移動し得る。この場合、コンベアベルトは存在しない。ピッキングされる物体は、静止対象領域上に配置され得る。この場合、単一の２Ｄカメラまたは単一の３Ｄカメラを用いて、第１および第２の画像を撮影してもよい。

本発明のある実施形態では、コンベアベルト１０２は、ピッキングされる物体がその上に配置される回転ディスクまたはプラッタに置き換えられてもよい。この場合、ディスクまたはプラッタの半径方向に沿って、センサアレイ１０３およびセンサアレイ１０４が配置される。この場合、第１の領域１０２Ａおよび第２の領域１０２Ｂは、ディスクまたはプラッタの区域である。

図１に関して以上に記載した本発明の実施形態は、互いに任意に組み合わせて用いることができる。これらの実施形態の幾つかを共に組み合わせて、本発明のさらなる実施形態を形成することができる。

図２は、本発明のある実施形態における、コンベアベルト上に配置された校正用物体を用いた２つのカメラの校正を図示する。

図２の配置２００では、２つのコンベアベルト１０２上位置において、物体２０２Ａおよび２０２Ｂとして図示される校正用物体が存在する。校正用物体は、カメラ１０５を真っ直ぐに指すように配置されたアーム２０３を含む。アーム２０３は、カメラ１０５内のレンズの平面に対して垂直となるように配置され得る。カメラ１０５および１０６はそれぞれ、コンベアベルト１０２の走行中に、複数の写真を撮る。これらの画像から、カメラ１０５からの第１の画像およびカメラ１０６からの第２の画像が選択される。アーム２０３が第１の画像においてはカメラ１０５を、第２の画像においてはカメラ１０６を真っ直ぐに指すように、第１および第２の画像が選択される。通常、カメラ１０５および１０６によって撮られた最も良く合致した画像が、第１の画像および第２の画像として選択される。第１の画像および第２の画像の撮影間にコンベアベルト１０２が走行した距離は、ベルトオフセット２１０として記録される。ベルトオフセット２１０は、ベルトステップ数として記録され得る。ベルトステップは、ベルトエンコーダ１０１から取得することができる。コンベアベルト１０２が走行中に、ベルトエンコーダ１０１は、コンベアベルト１０２上のタイミングマークまたは標識、あるいは、別のタイミングベルトに遭遇した時を示す一連の信号をセンサコントローラ１５０に提供し得る。タイミングマークまたは標識は、等間隔に配置され得る。ベルトオフセット２１０を後で用いて、カメラ１０５に対する領域１０２Ａにおけるコンベアベルト１０２上の多数の物体がカメラ１０６に対する領域１０２Ｂにおいて同様の位置を得るために、コンベアベルト１０２が走行しなければならないベルトステップ数を求めることができる。第１および第２の画像を用いて透視補正を行うことにより、第１および第２の画像を共通の座標系に至らせる。透視補正は、コンベアベルト１０２の平面に対するカメラ１０５およびカメラ１０６の位置の差に関する差が補償される座標系への第１および第２の画像の少なくとも一方における点のマッピングである。第１および第２の画像は、第３の透視平面へと変換され得る。第３の透視平面は、コンベアベルト１０２の平面に対して直交してもよい。

図２に関して以上に記載した本発明の実施形態は、互いに任意に組み合わせて用いることができる。これらの実施形態の幾つかを共に組み合わせて、本発明のさらなる実施形態を形成することができる。

図３は、本発明のある実施形態における、ロボットシステムにおけるピッキング動作後にセンサ測定値を無効にする方法を図示するフローチャートである。

この方法は、図１および２に図示されるようなロボットシステムに適用することができる。

ステップ３００において、コンベアベルト上の対象領域から少なくとも１つのセンサ測定値が取得される。

本発明のある実施形態においては、この少なくとも１つのセンサ測定値は、センサ測定値のマトリクスでもよい。

本発明のある実施形態においては、センサ測定値のマトリクスは、コンベアベルトを走行させることによって、静止センサアレイから取得される。コンベアベルトは、各センサから測定値の時系列を得るように走行されてもよい。時系列がマトリクスの列を表し、センサ識別子がマトリクスの行を表してもよく、あるいは、その逆でもよい。

ステップ３０２では、コンベアベルトの上方に取り付けられたカメラを用いて、対象領域の第１の画像が撮影される。

本発明のある実施形態では、センサアレイが対象領域全体の画像の撮影を妨げないように、カメラがコンベアベルトの上方に取り付けられる。

ステップ３０４では、コンベアベルトは所定の長さ走行する。

本発明のある実施形態では、この所定の長さは、第２のカメラが対象領域の第２の画像を撮影することにより、透視補正およびスクロールの少なくとも一方を用いて共通の座標系に第１および第２の画像を変換できるように決定される。

ステップ３０６において、ロボットアームは、対象領域においてピッキング動作を行う。ピッキング動作は、対象領域内の少なくとも１つの物体の位置を乱し得る。

ステップ３０８において、ピッキング動作後に、第２のカメラを用いて、対象領域の第２の画像を撮影する。

ステップ３１０において、第１および第２の画像の比較を用いて、対象領域における少なくとも１つの無効領域を決定する。

本発明のある実施形態では、第１および第２の画像の比較を行う前に、一方の画像の他方の画像に対する透視変換およびスクロールの少なくとも一方を用いて、第１および第２の画像を共通の座標系に変換する。

本発明のある実施形態では、第１の画像および第２の画像は、比較のために、複数の領域に分割されてもよい。

本発明のある実施形態では、複数の領域が第１および第２の画像から形成される。複数の領域は、少なくとも部分的に重複してもよく、あるいは、別個のものでもよい。複数の領域は、窓関数を用いて、第１および第２の画像の領域全体から形成されてもよい。この窓関数は、例えば、矩形窓関数でもよく、あるいは、ガウス窓関数でもよい。ある領域は、窓関数値を用いてピクセル値を乗算できるように、画像の領域全体から得ることができる。ゼロ以外のピクセル値または所定の閾値を超えるピクセル値が、この領域に対する画像の領域全体から選択され得る。領域は、例えば３０×３０ピクセル等の例えば規定の高さおよび幅のピクセルブロックでもよい。複数の領域は、第１および第２の画像において同一ピクセルを有していてもよく、同じサイズを有していてもよい。

本発明のある実施形態では、ガウスカーネルを用いて、第１および第２の画像の少なくとも一方を比較前に平滑化してもよい。平滑化は、第１および第２の画像から形成された複数の領域において行われてもよい。

本発明のある実施形態では、第１の画像および第２の画像は、比較前に、高域フィルタリングが行なわれてもよい。本発明のある実施形態では、第１の画像において最も高い局所分散を持つ領域が決定される。領域Ａの局所分散は、例えば、式［数１］を用いて計算され、式中Ｓは、例えばガウスカーネルである平滑化関数であり、Ｉ_１は、第１の画像中のピクセルであり、ｘおよびｙは、ピクセル座標であり、ｎは、領域Ａにおけるピクセル数である。

本発明のある実施形態では、第１の画像および第２の画像間の最も低い局所相関を持つ領域を決定する。第１の画像および第２の画像内の領域Ａに関する局所相関は、例えば、式［数２］を用いて計算され、式中、Ｓは、例えばガウスカーネルである平滑化関数であり、Ｉ_１は、第１の画像中のピクセルであり、Ｉ_２は、第２の画像中のピクセルであり、ｘおよびｙは、ピクセル座標であり、ｎは、領域Ａにおけるピクセル数である。

本発明のある実施形態では、領域Ａごとに、最も高い局所相関を生じさせる、第１の画像における領域Ａと、第２の画像における領域Ｂとの変位ｄｘ，ｄｙ（ただし、−ｍ＜ｄｘ＜ｍおよび−ｍ＜ｄｙ＜ｍであり、ｍは、例えば０＝＜ｍ＜５である小さい自然数である）を決定する。ある領域Ａに関する最も高い局所相関が、その領域Ａに関する局所相関であると見なされる。

本発明のある実施形態では、最も高い局所分散および最も低い局所相関を持つ多数の領域が無効として選択され、メモリに記録される。無効領域は、少なくとも１つの後続のピッキング動作において避けられる。

本発明のある実施形態では、比較において、無効領域として選択されるのは、第１の画像および第２の画像間の低相関を持つ領域である。本発明のある実施形態では、比較において、無効領域として選択されるのは、第１の画像および第２の画像間の低相関を持つ領域、および第１の画像および第２の画像の少なくとも一方内の高局所分散を持つ領域である。

本発明のある実施形態では、無効領域の選択基準として同様に使用され得るのは、領域が無効領域として見なされるために超過しなければならない第１の画像内の局所分散の閾値および超過してはならない第１の画像と第２の画像との間の局所相関の閾値である。

本発明のある実施形態では、マトリクスにおける測定値ごとに、それが無効領域に属するか否かが決定される。

ステップ３１２において、対象領域における少なくとも１つの無効領域が、ロボットアームによる少なくとも１つの後続のピッキング動作において避けられる。その理由は、無効領域において行われたセンサ測定は、もはやピッキング動作後の物体の位置を反映していないからである。

図４は、本発明のある実施形態における、ロボットシステムにおいてピッキング動作後にセンサ測定値を無効にする方法を図示するフローチャートである。ピッキング動作は、失敗する場合があり、物体の移動または物体の位置または形状の変化しかもたらさない場合がある。ピッキング動作は、物体または対象領域の単なる接触である場合がある。

この方法は、図１および２に図示されるようなロボットシステムに適用することができる。

ステップ４００において、対象領域から少なくとも２つのセンサ測定値が取得される。対象領域は、静止状態でもよく、あるいは、コンベアベルト上で移動してもよい。

本発明のある実施形態では、少なくとも２つのセンサ測定値は、センサ測定値のマトリクスでもよい。

本発明のある実施形態においては、センサ測定値のマトリクスは、コンベアベルトを走行させることによって、静止センサアレイから取得される。コンベアベルトは、各センサから測定値の時系列を得るように走行されてもよい。時系列がマトリクスの列を表し、センサ識別子がマトリクスの行を表してもよく、あるいは、その逆でもよい。

本発明のある実施形態では、センサ測定値のマトリクスは、静止対象領域上を移動するセンサアレイを用いて形成される。

ステップ４０２において、対象領域の上方の画像センサを用いて、対象領域の第１の画像が撮影される。対象領域の上方には、少なくとも１つの画像センサが存在する。少なくとも１つの画像センサは、例えば、カメラ、レーザスキャナ、または３Ｄカメラでもよい。少なくとも１つの画像センサは、厳密に対象領域の上方ではなく、物体またはセンサが他の物体の視界を妨げる障害物となることなく対象領域の画像の撮影を可能にする位置に存在してもよい。

本発明のある実施形態では、センサアレイが対象領域全体の画像の撮影を妨げないように、カメラがコンベアベルトの上方に取り付けられる。

本発明のある実施形態では、少なくとも２つのセンサ測定値の取得ステップおよび第１の画像の撮影ステップ後に、コンベアベルトが所定の長さ走行し得る。

本発明のある実施形態では、この所定の長さは、第２のカメラが対象領域の第２の画像を撮影することにより、透視補正およびスクロールの少なくとも一方を用いて共通の座標系に第１および第２の画像を変換できるように決定される。

ステップ４０４において、ロボットアームは、対象領域においてピッキング動作を行う。ピッキング動作は、対象領域内の少なくとも１つの物体の位置を乱し得る。

ステップ４０６において、ピッキング動作後に、対象領域の上方の画像センサを用いて、対象領域の第２の画像が撮影される。対象領域の上方には、少なくとも１つの画像センサが存在する。少なくとも１つの画像センサは、例えば、カメラ、レーザスキャナ、または３Ｄカメラでもよい。少なくとも１つの画像センサは、厳密に対象領域の上方ではなく、物体またはセンサが他の物体の視界を妨げる障害物となることなく対象領域の画像の撮影を可能にする位置に存在してもよい。

ステップ４０８において、第１および第２の画像の比較を用いて、対象領域における少なくとも１つの無効領域を決定する。

本発明のある実施形態では、第１および第２の画像の比較を行う前に、一方の画像の他方の画像に対する透視変換およびスクロールの少なくとも一方を用いて、第１および第２の画像を共通の座標系に変換する。

本発明のある実施形態では、複数の領域が第１および第２の画像から形成される。複数の領域は、少なくとも部分的に重複してもよく、あるいは、別個のものでもよい。これらの領域は、第１および第２の画像の領域全体のサブセットでもよい。第１および第２の画像の領域は、同一ピクセルを有し得るが、第１および第２の画像において異なるピクセル値を有していてもよい。複数の領域は、窓関数を用いて、第１および第２の画像の領域全体から形成されてもよい。この窓関数は、例えば、矩形窓関数でもよく、あるいは、ガウス窓関数でもよい。ある領域は、窓関数値を用いてピクセル値を乗算できるように、画像の領域全体から得ることができる。ゼロ以外のピクセル値または所定の閾値を超えるピクセル値が、この領域に対する画像の領域全体から選択され得る。異なるドメインに対して同じ値を生成する窓関数が形成されるように、異なる領域が画像の領域全体から形成されてもよい。領域は、例えば３０×３０ピクセル等の例えば規定の高さおよび幅のピクセルブロックでもよい。複数の領域は、第１および第２の画像において同一ピクセルを有していてもよく、同じサイズを有していてもよい。

本発明のある実施形態では、ガウスカーネルを用いて、第１および第２の画像の少なくとも一方を比較前に平滑化してもよい。平滑化は、第１および第２の画像から形成された複数の領域において行われてもよい。

本発明のある実施形態では、第１の画像および第２の画像は、比較前に、高域フィルタリングが行なわれてもよい。領域は、例えば３０×３０ピクセル等の規定の高さおよび幅のピクセルブロックでもよい。

本発明のある実施形態では、第１の画像において最も高い局所分散を持つ領域が決定される。あるいは、局所分散の所定の閾値を超える領域が決定されてもよい。領域Ａの局所分散は、例えば、式［数３］を用いて計算され、式中Ｓは、例えばガウスカーネルである平滑化関数であり、Ｉ_１は、第１の画像中のピクセルであり、ｘおよびｙは、ピクセル座標であり、ｎは、領域Ａにおけるピクセル数である。

本発明のある実施形態では、第１の画像および第２の画像間の最も低い局所相関を持つ領域を決定する。あるいは、局所相関の所定の閾値を下回る領域が決定されてもよい。第１の画像および第２の画像内の領域Ａに関する局所相関は、例えば、式［数４］を用いて計算され、式中、Ｓは、例えばガウスカーネルである平滑化関数であり、Ｉ_１は、第１の画像中のピクセルであり、Ｉ_２は、第２の画像中のピクセルであり、ｘおよびｙは、ピクセル座標であり、ｎは、領域Ａにおけるピクセル数である。

本発明のある実施形態では、領域Ａごとに、最も高い局所相関を生じさせる、第１の画像における領域Ａと、第２の画像における領域Ｂとの変位ｄｘ，ｄｙ（ただし、−ｍ＜ｄｘ＜ｍおよび−ｍ＜ｄｙ＜ｍであり、ｍは、例えば０＝＜ｍ＜５である小さい自然数である）を決定する。ある領域Ａに関する最も高い局所相関が、その領域Ａに関する局所相関であると見なされる。

本発明のある実施形態では、最も高い局所分散および最も低い局所相関を持つ多数の領域が無効として選択され、メモリに記録される。無効領域は、少なくとも１つの後続のピッキング動作において避けられる。

本発明のある実施形態では、無効領域の選択基準として同様に使用され得るのは、領域が無効領域として見なされるために超過しなければならない第１の画像内の局所分散の閾値および超過してはならない第１の画像と第２の画像との間の局所相関の閾値である。

本発明のある実施形態では、比較において、無効領域として選択されるのは、第１の画像および第２の画像間の低相関を持つ領域である。本発明のある実施形態では、比較において、無効領域として選択されるのは、第１の画像および第２の画像間の低相関を持つ領域、および第１の画像および第２の画像の少なくとも一方内の高局所分散を持つ領域である。

本発明のある実施形態では、マトリクスにおける測定値ごとに、それが無効領域に属するか否かが決定される。

本発明のある実施形態では、対象領域における少なくとも１つの無効領域を決定するための第１および第２の画像の比較は、更に、第１の画像または第２の画像の高さマップの一方を選択すること；選択された高さマップから２つの新しい高さマップ（これらは、最小マップ（ｍｉｎ−ｍａｐ）および最大マップ（ｍａｘ−ｍａｐ）と呼ぶことができ、最小マップは、式：ｍｉｎ−ｍａｐ＝ｅｒｏｄｅ（ｈｅｉｇｈｔｍａｐ）−ｆｕｄｇｅｆａｃｔｏｒを用いてピクセルに関して計算され、最大マップは、式：ｍａｘ−ｍａｐ＝ｄｉｌａｔｅ（ｈｅｉｇｈｔｍａｐ）＋ｆｕｄｇｅｆａｃｔｏｒを用いてピクセルに関して計算される）を生成すること；第２の高さマップｈ２、すなわち他方の高さマップを、第２の高さマップにおけるピクセルｈ２（ｘ，ｙ）ごとに、条件：ｍｉｎ−ｍａｐ（ｘ，ｙ）＜ｈ２（ｘ，ｙ）＜ｍａｘ−ｍａｐ（ｘ，ｙ）が満たされているか否かをチェックすることによって、選択された高さマップｈ１と比較すること；および、少なくとも１つの無効領域に対して条件が満たされていないピクセル（ｘ，ｙ）を選択すること；を含む。ｄｉｌａｔｅ関数は、モルフォロジー膨張演算子である。ｅｒｏｄｅ関数は、モルフォロジー収縮演算子である。誤差（ｆｕｄｇｅ ｆａｃｔｏｒ）は、定数またはピクセルに依存した定数アレイである。

本発明のある実施形態では、対象領域における少なくとも１つの無効領域を決定するための第１の画像および第２の画像の比較は、更に、選択された高さマップの上限面を形成すること（ここで、この選択された高さマップは第１の画像または第２の画像の高さマップである）；選択された高さマップの下限面を形成すること；および、少なくとも１つの無効領域に対して、他方の高さマップが上限面と下限面との間に当てはまらない領域を選択すること（ここで、他方の高さマップは第１の画像または第２の画像の高さマップである）；を含む。

ステップ４１０において、対象領域における少なくとも１つの無効領域が、ロボットアームによる少なくとも１つの後続のピッキング動作において避けられる。その理由は、無効領域において行われたセンサ測定は、もはやピッキング動作後の物体の位置を反映していないからである。

図４に関して以上に記載した本発明の実施形態は、互いに任意に組み合わせて用いることができる。これらの実施形態の幾つかを共に組み合わせて、本発明のさらなる実施形態を形成することができる。

図５は、本発明のある実施形態における、ロボットシステムにおいて対象領域内で無効画像領域を決定する方法を図示するフローチャートである。

この方法は、図１および２に図示されるようなロボットシステムにおいて、および図３および４に図示されるような方法において適用することができる。

ステップ５００において、第１の画像および第２の画像に関して共通の座標系を求める。第１の画像は、ロボットアームを用いて対象領域に対してピッキング動作が行われる前のコンベアベルト上の対象領域を示す。第２の画像は、ピッキング動作が行われた後の、コンベアベルト上の対象領域を示す。本発明のある実施形態では、既知の形状をしたテスト物体を用いて、共通の座標系が求められる。本発明のある実施形態では、テスト物体は、図２に示されるようなものである。

ステップ５０２において、透視補正を用いて、第１の画像および第２の画像の少なくとも一方を共通の座標系に変換する。第１および第２の画像を第３の透視平面へと変換してもよい。第３の透視平面は、コンベアベルトの平面に対して直交してもよい。

ステップ５０４において、第１および第２の画像の少なくとも一方に高域フィルタリングが行なわれる。高域フィルタリングを用いることにより、光の条件および反射の差を除去することができる。

ステップ５０６において、複数の領域が第１および第２の画像から形成される。複数の領域は、少なくとも部分的に重複してもよく、あるいは、別個のものでもよい。複数の領域は、窓関数を用いて、第１および第２の画像の領域全体から形成されてもよい。この窓関数は、例えば、矩形窓関数でもよく、あるいは、ガウス窓関数でもよい。ある領域は、窓関数値を用いてピクセル値を乗算できるように、画像の領域全体から得ることができる。ゼロ以外のピクセル値または所定の閾値を超えるピクセル値が、この領域に対する画像の領域全体から選択され得る。領域は、例えば３０×３０ピクセル等の例えば規定の高さおよび幅のピクセルブロックでもよい。複数の領域は、第１および第２の画像において同一ピクセルを有していてもよく、同じサイズを有していてもよい。

ステップ５０８において、第１の画像において最も高い局所分散を持つ領域が決定される。領域Ａの局所分散は、例えば、式［数５］を用いて計算され、式中Ｓは、例えばガウスカーネルである平滑化関数であり、Ｉ_１は、第１の画像中のピクセルであり、ｘおよびｙは、ピクセル座標であり、ｎは、領域Ａにおけるピクセル数である。

ステップ５１０において、第１の画像および第２の画像間の最も低い局所相関を持つ領域を決定する。第１の画像および第２の画像内の領域Ａに関する局所相関は、例えば、式［数６］を用いて計算され、式中、Ｓは、例えばガウスカーネルである平滑化関数であり、Ｉ_１は、第１の画像中のピクセルであり、Ｉ_２は、第２の画像中のピクセルであり、ｘおよびｙは、ピクセル座標であり、ｎは、領域Ａにおけるピクセル数である。

本発明のある実施形態では、領域Ａごとに、最も高い局所相関を生じさせる、第１の画像における領域Ａと、第２の画像における領域Ｂとの変位ｄｘ，ｄｙ（ただし、−ｍ＜ｄｘ＜ｍおよび−ｍ＜ｄｙ＜ｍであり、ｍは、例えば０＝＜ｍ＜５である小さい自然数である）を決定する。ある領域Ａに関する最も高い局所相関が、その領域Ａに関する局所相関であると見なされる。

ステップ５１２において、最も高い局所分散および最も低い局所相関を持つ多数の領域が無効として選択され、メモリに記録される。無効領域は、少なくとも１つの後続のピッキング動作において避けられる。

本発明のある実施形態では、計算量を減らすために、カメラから受信した画像データは、分析に適するように決定された解像度へとダウンサンプルが行われる。

本発明のある実施形態では、照明条件の変化を補償するために、得られたダウンサンプル画像を次に正規化する。この正規化は、ダウンサンプル画像におけるピクセルごとに別個に行ってもよい。

図５に関して以上に記載した本発明の実施形態は、互いに任意に組み合わせて用いることができる。これらの実施形態の幾つかを共に組み合わせて、本発明のさらなる実施形態を形成することができる。

本発明が関係する方法、システム、装置、コンピュータプログラム、またはコンピュータプログラム製品は、図１、図２、図３、および図４に関連して以上に記載した本発明の実施形態の少なくとも１つを含み得る。

本発明の実施形態例は、実施形態例のプロセスを行うことが可能で、例えばインターネット接続、任意の適切な形態（例えば、声、モデム等）の遠隔通信、ワイヤレス通信媒体、１つまたは複数のワイヤレス通信ネットワーク、セルラー通信ネットワーク、第３世代通信ネットワーク、第４世代通信ネットワーク、公衆交換電話網（ＰＳＴＮ）、パケットデータネットワーク（ＰＤＮ）、インターネット、イントラネット、これらの組み合わせ等を含む、１つまたは複数のインタフェース機構を介して通信可能な、例えば任意の適切なサーバ、ワークステーション、ＰＣ、ラップトップコンピュータ、ＰＤＡ、インターネット家電、携帯用デバイス、携帯電話、ワイヤレス機器、他のデバイス等を含む任意の適切なデバイス内に含まれ得る。

ハードウェア分野の当業者には理解されるように、これらの実施形態例の実施に使用される具体的なハードウェアの多くのバリエーションが可能であるとして、これらの実施形態例が例示目的であることを理解されたい。例えば、これらの実施形態例の構成要素の内の１つまたは複数の機能性は、１つまたは複数のハードウェアデバイスを用いて実施可能である。

これらの実施形態例は、本明細書に記載の様々なプロセスに関係する情報を保存することができる。この情報は、ハードディスク、光ディスク、光磁気ディスク、ＲＡＭ等の１つまたは複数のメモリに保存することができる。１つまたは複数のデータベースが、本発明の実施形態例の実施に使用される情報を保存することができる。データベースは、本明細書に記載された１つまたは複数のメモリまたはストレージデバイスに含まれるデータ構造（例えば、レコード、テーブル、アレイ、フィールド、グラフ、階層、リスト等）を用いて編成可能である。これらの実施形態例に関して記載したプロセスは、１つまたは複数のデータベースにおいて、これらの実施形態例のデバイスおよびサブシステムのプロセスによって収集および／または生成されたデータを保存するための適切なデータ構造を含み得る。

これらの実施形態例の全てまたは一部は、特定用途向け集積回路を準備することによって、または、電気分野の当業者には理解されるように、従来の構成要素回路の適切なネットワークの相互接続によって実施可能である。

以上のように、これらの実施形態例の構成要素には、本発明の教示に従い、本明細書に記載のデータ構造、テーブル、レコード、および／または他のデータを保持するためのコンピュータ可読媒体またはメモリが含まれ得る。コンピュータ可読媒体には、プロセッサに対する実行用の命令の提供に関与する任意の適切な媒体が含まれ得る。このような媒体は、限定されることはないが、不揮発性媒体、揮発性媒体、伝送媒体等を含む多くの形を取り得る。不揮発性媒体には、例えば、光または磁気ディスク、光磁気ディスク等が含まれ得る。揮発性媒体には、ダイナミックメモリ等が含まれ得る。伝送媒体には、同軸ケーブル、銅線、光ファイバー等が含まれ得る。伝送媒体は、無線周波数（ＲＦ）通信、赤外線（ＩＲ）データ通信等の間に生成されるもの等の、音波、光波、電磁波等の形を取ることもできる。コンピュータ可読媒体の一般的形態には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の適切な磁気媒体、ＣＤ−ＲＯＭ、ＣＤＲＷ、ＤＶＤ、他の適切な光媒体、パンチカード、紙テープ、光学式マークシート、孔または他の光学的に認識可能な印のパターンを持つ他の適切な物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の適切なメモリチップまたはカートリッジ、搬送波、またはコンピュータが読み取り可能な他の適切な媒体が含まれ得る。

本発明を多数の実施形態例および実施に関連して説明したが、本発明は、そのように限定されるのではなく、予想される請求項の範囲に入る様々な変更および同等の構成を包含する。

技術の進歩に伴って、本発明の基本的考えが様々な方法で実施可能であることは当業者には明らかである。従って、本発明およびその実施形態は、上記の例に限定されず、むしろ、これらは、請求項の範囲内で変化し得る。

Claims (20)

1. 少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得すること；
   前記対象領域の第１の画像を形成すること；
   前記少なくとも２つのセンサ測定値の内の少なくとも第１のセンサ測定値に基づいて、前記対象領域において第１の仕分け動作を行うこと；
   前記対象領域の第２の画像を形成すること；
   前記対象領域における無効領域を決定するために、前記第１の画像および前記第２の画像を比較すること（ここで、前記第１の画像および前記第２の画像間の低相関を持つ領域が前記無効領域として選択される）；および
   前記対象領域における少なくとも１つの第２の仕分け動作において、前記無効領域を避けること（ここで、前記第２の仕分け動作は、前記少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）；
   を含む、方法。
2. 前記第１の画像は、第１のカメラを用いて前記対象領域の画像を撮影することにより形成され、前記第２の画像は、第２のカメラを用いて前記対象領域の画像を撮影することにより形成される、請求項１に記載の方法。
3. 前記方法が、更に、
   前記対象領域がその上に位置するコンベアベルトを所定の長さ走行させること（ここで、前記所定の長さは、前記第１のカメラおよび第２のカメラ間の距離と一致する）、
   を含む、請求項２に記載の方法。
4. 前記方法が、更に、
   透視補正を用いて、前記第１の画像および前記第２の画像の少なくとも一方を、前記第１の画像および前記第２の画像によって共有される座標系に変換すること、
   を含む、請求項３に記載の方法。
5. 前記方法が、更に、
   既知の形を持つテスト物体を用いて、前記透視補正を求めること、
   を含む、請求項３に記載の方法。
6. 前記方法が、更に、
   前記コンベアベルトが走行中に、前記第１のカメラを用いて複数の第１のテスト画像を撮影し、前記第２のカメラを用いて複数の第２のテスト画像を撮影すること；
   前記テスト物体を表す前記第１のテスト画像および前記第２のテスト画像の中から最も良く合致した画像を選択すること；および
   前記画像間を前記コンベアベルトが走行した前記長さを前記所定の長さとして記録すること；
   を含む、請求項５に記載の方法。
7. 前記第１および第２の画像を比較する前記ステップが、更に、
   前記第１の画像および前記第２の画像の少なくとも一方を高域フィルタリングすること、を含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記第１および第２の画像を比較する前記ステップが、更に、
   前記第１の画像および前記第２の画像の複数の領域を形成すること（ここで、前記複数の領域は少なくとも部分的に重複するまたは別個のものである）、
   を含む、請求項１〜７のいずれか一項に記載の方法。
9. 前記第１の画像および前記第２の画像を比較する前記ステップが、更に、
   平滑化関数を用いて、前記複数の領域の各々を平滑化すること、
   を含む、請求項８に記載の方法。
10. 前記第１および第２の画像を比較する前記ステップが、更に、
    前記第１の画像および前記第２の画像間の低相関および前記第１の画像内の高分散に基づいて、前記少なくとも１つの無効領域として複数の領域を決定すること、
    を含む、請求項８または９に記載の方法。
11. 前記少なくとも１つの無効領域として複数の領域を決定する前記ステップが、更に、
    領域ごとに、前記第１の画像および前記第２の画像間の変位を生じさせる最大相関を選択すること；および
    変位を生じさせる前記最大相関を用いて、領域ごとに前記第１の画像および前記第２の画像間の前記相関を計算すること；
    を含む、請求項１０に記載の方法。
12. 前記少なくとも１つのセンサが、赤外線センサおよびレーザスキャナを含む、請求項１〜１１のいずれか一項に記載の方法。
13. 前記カメラは、可視光カメラ、飛行時間型３Ｄカメラ、構造化光３Ｄカメラ、または赤外線カメラである、請求項１に記載の方法。
14. 前記第１の画像および前記第２の画像が単一の３Ｄカメラを用いて形成される、請求項１に記載の方法。
15. 前記仕分け動作がロボットアームを用いて行われる、請求項１に記載の方法。
16. 前記第１の画像および前記第２の画像を比較することにより、前記対象領域における少なくとも１つの無効領域を決定する前記ステップが、更に、
    前記第１の画像または前記第２の画像のどちらか一方に関連する高さマップを第１の高さマップとして指定すること；
    他方の画像に関連する高さマップを第２の高さマップとして指定することと；
    前記第１の高さマップの上限面を形成すること；
    前記第１の高さマップの下限面を形成すること；および
    前記少なくとも１つの無効領域に対して、前記第２の高さマップが前記上限面と前記下限面との間に当てはまらない領域を選択すること；
    を含む、請求項１に記載の方法。
17. 少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得すること、
    前記対象領域の第１の画像を形成すること、
    前記少なくとも２つのセンサ測定値の内の少なくとも第１のセンサ測定値に基づいて、前記対象領域において第１の仕分け動作を行うこと、
    前記対象領域の第２の画像を形成すること、
    前記対象領域における無効領域を決定するために、前記第１の画像および前記第２の画像を比較すること（ここで、前記第１の画像および前記第２の画像間の低相関を持つ領域が前記無効領域として選択される）、および
    前記対象領域における少なくとも１つの第２の仕分け動作において、前記無効領域を避けること（ここで、前記第２の仕分け動作は、前記少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）、
    を行うように構成された少なくとも１つのプロセッサを含む、装置。
18. 少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得する手段、
    前記対象領域の第１の画像を形成する手段、
    前記少なくとも２つのセンサ測定値の内の第１のセンサ測定値に基づいて、前記対象領域において第１の仕分け動作を行う手段、
    前記対象領域の第２の画像を形成する手段、
    前記対象領域における無効領域を決定するために、前記第１および第２の画像を比較する手段（ここで、前記第１の画像および前記第２の画像間の低相関を持つ領域が前記無効領域として選択される）、および
    前記対象領域における少なくとも１つの第２の仕分け動作において、前記無効領域を避ける手段（ここで、前記第２の仕分け動作は、前記少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）、
    を含む、装置。
19. データ処理システム上で実行された際に、プロセッサに以下のステップを行わせるように構成されたコードを含むコンピュータプログラムであって、前記ステップは、
    少なくとも１つのセンサを用いて、対象領域から少なくとも２つのセンサ測定値を取得するステップ；
    前記対象領域の第１の画像を形成するステップ；
    前記少なくとも２つのセンサ測定値の内の少なくとも第１のセンサ測定値に基づいて、前記対象領域において第１の仕分け動作を行うステップ；
    前記対象領域の第２の画像を形成するステップ；
    前記対象領域における無効領域を決定するために、前記第１の画像および前記第２の画像を比較するステップ（ここで、前記第１の画像および前記第２の画像間の低相関を持つ領域が前記無効領域として選択される）；および
    前記対象領域における少なくとも１つの第２の仕分け動作において、前記無効領域を避けるステップ（ここで、前記第２の仕分け動作は、前記少なくとも２つのセンサ測定値の内の少なくとも第２のセンサ測定値に基づく）；
    である、コンピュータプログラム。
20. 前記コンピュータプログラムがコンピュータ可読媒体に保存される、請求項１９に記載のコンピュータプログラム。

Images