JP2016045088A - 不定形体位置推定方法、不定形体位置推定装置及びプログラム - Google Patents

Abstract

【課題】 全体の形状が変形しやすい不定形体の重なりの上下関係を高精度に推定することが可能な不定形体位置推定方法等を提供する。
【解決手段】 測定部３の距離センサ部１３が測定した距離情報を主として用いることにより、不定形体が透明な部分を有していたとしても、高精度な位置推定を行うことができる。そして、閾値設定部２３が、重なりのある部分を区別するための閾値を設定し、重なりパターン推定部が重なりパターンを推定して、どのような重なり方があるのか推定して対象物候補を得る。そして、上下推定部２７が、どれが最も上側にある対象物であるのかを複数の評価指標を用いて推定する。重心位置推定部２９は、上にある対象物候補の重心位置を推定する。
【選択図】 図１

Description

本発明は、不定形体位置推定方法、不定形体位置推定装置及びプログラムに関し、特に、複数の不定形体の重なりの上下を推定する不定形体位置推定方法等に関する。

近年、ロボットハンドを用いたビンピッキングシステムの開発が行われている。ビンピッキングとは、ランダムに積み重ねられた複数物体の中なら物体を順次把持して、特定の場所に運ぶことである。ビンピッキングでは、対象物の重心位置の近傍を把持することが望ましいため、対象物の重心位置情報が重要である。

重心位置推定は、ケース内に複数の対象物が存在し、バラ積みされた状態で行う。これらは、搬送中の振動や衝撃などによりケース内で片寄ったり、重なったりする。このように片寄りや重なりが生じた場合には、それぞれに対応した処理が必要である。特に、対象物どうしが重なってオクルージョンが生じた場合には、ピックアップ対象の検出が困難になる。

従来、剛体である検出対象物を、幾何形状の特徴等を利用して重心位置を推定することが行われている。また、非特許文献１には、不定形ワークに対して、３次元画像認識を利用して位置情報を取得することが記載されている。

株式会社アプライド・ビジョン・システムズ，「リアルタイム3次元画像処理 バラ積み不定形ワークピッキングシステム」，[online]，インターネット<URL="http://avsc.jp/images/pdf/Picking-system.pdf">

しかしながら、例えば食品や小物類を入れる部分的に透明な柔軟袋状ワークのように、全体の形状が変化しやすく、表面が不定形の曲面となる不定形体を対象とする場合、剛体とは異なって形状が変化するため、幾何形状等を利用することはできない。そのため、剛体を対象とする手法は、不定形体には適用することができない。

また、非特許文献１に記載の手法は、3次元画像認識処理を利用している。そのため、例えば米袋のような大きな平面を有する不定形ワークを対象とし、平面の検出を行うことで把持位置を求めるものである。不定形体は、全体の形状が変形しやすく、表面が一般に不定形の曲面となる。そのため、非特許文献１記載の手法は、部分的に平面を有する不定形ワークを対象とするものであり、全体が変形しやすい一般的な不定形体に適用することが困難である。

ゆえに、本発明は、全体の形状が変形しやすい不定形体の重なりの上下関係を高精度に推定することが可能な不定形体位置推定方法等を提供することを目的とする。

本願発明の第１の観点は、複数の不定形体の重なりの上下を推定する不定形体位置推定方法であって、距離測定手段が、前記複数の不定形体が存在する領域に対して距離を測定する測定ステップと、閾値設定手段が、前記距離測定手段が測定した領域において、前記複数の不定形体の重なりを生じている領域とそうでない領域とを区別するための閾値を設定する閾値設定ステップと、上下推定手段が、前記距離測定手段が測定した前記複数の不定形体との距離を用いて、前記閾値よりも高い部分及び／又は前記閾値よりも低い部分を評価する評価指標によって前記複数の不定形体の重なりの上下推定を行う上下推定ステップを含むものである。

本願発明の第２の観点は、第１の観点の不定形体位置推定方法であって、重なりパターン推定手段が、前記距離測定手段が測定した領域に対して対象物領域の外形から対象物候補を得る重なりパターン推定ステップを含み、前記上下推定ステップにおいて、前記上下推定手段は、複数の対象物候補があるならば、前記各対象物候補に対して、上にあるとした場合に高い評価となる評価指標を用いて、最も高い評価となる前記対象物候補を重なりの上にある対象物として選択するものである。

本願発明の第３の観点は、第２の観点の不定形体位置推定方法であって、前記上下推定手段が用いる評価指標は、前記対象物候補の前記閾値よりも低い領域の面積、前記対象物候補の体積、前記対象物候補の領域内の勾配、前記対象物候補の辺適応度、及び、前記対象物候補の角適合度のうちの少なくとも一つを含むものである。

本願発明の第４の観点は、複数の不定形体の重なりの上下を推定する不定形体位置推定装置であって、前記複数の不定形体が存在する領域に対して距離を測定する距離測定手段と、前記距離測定手段が測定した領域において、前記複数の不定形体の重なりを生じている領域とそうでない領域とを区別するための閾値を設定する閾値設定手段と、前記距離測定手段が測定した前記複数の不定形体との距離を用いて、前記閾値よりも高い部分及び／又は前記閾値よりも低い部分を評価する評価指標によって前記複数の不定形体の重なりの上下推定を行う上下推定手段を備えるものである。

本願発明の第５の観点は、コンピュータを、距離測定手段が距離を測定した複数の不定形体が存在する領域において、前記複数の不定形体の重なりを生じている領域とそうでない領域とを区別するための閾値を設定する閾値設定手段と、前記距離測定手段が測定した前記複数の不定形体との距離を用いて、前記閾値よりも高い部分及び／又は前記閾値よりも低い部分を評価する評価指標によって前記複数の不定形体の重なりの上下推定を行う上下推定手段として機能させるためのプログラムである。

なお、本願発明を、第５の観点を定常的に記録するコンピュータ読み取り可能な記録媒体として捉えてもよい。

また、距離測定手段は、当該距離測定手段と複数の不定形体との距離を測定するものでもよく、不定形体は、床面上に存在し、距離測定手段は、床面からの距離を測定するものでもよい。

本願発明の各観点によれば、主として距離情報を利用することにより透明な部分があっても高精度に推定が可能になり、さらに、閾値を設定して重なり部分が生じているところと生じていないところを区別し、高いところと低いところとの関係を利用して上下関係を推定することにより、重なる部分とそうでない部分を評価して上下関係を高精度に推定することが可能になる。

さらに、本願発明の第２の観点によれば、テンプレートマッチングを用いて対象物候補を得、これを用いて複数の評価指標を用いて上下関係を推定することにより、上側対象物を高精度に位置検出することが可能になる。さらに、本願発明の第３の観点によれば、複数の評価指数を具体的に組み合わせることにより、高精度な位置検出率を実現することができる。発明者らの実験によれば、テンプレートマッチングが成功した場合には、上側対象物の位置検出率は１００％であった。

本願発明の実施例に係るビンピッキングシステムの構成の一例を示すブロック図である。 図１の情報処理装置５の動作の一例を示すフロー図である。 図２のステップＳＴ７の閾値ｈ_oの設定処理の具体例を説明するための図である。 図２のステップＳＴ８の重なりパターンの推定処理の一例を示すフロー図である。 図４の重なりパターンの推定処理の具体例を説明するための図である。 （a）剛体と（b）柔軟体の投影による面積の違いを説明する図である。 柔軟体での具体的な一例を示し、（ａ）は体積、（ｂ）は勾配、（ｃ）は辺適合度を示す。 実際に得られた（ａ）色画像と（ｂ）距離画像に対して、（ｃ）面積、（ｄ）体積、（ｅ）勾配、（ｄ）辺適合度、（ｅ）角適合度を示す。 評価指標１として低い領域の面積計算処理の一例を示すフロー図である。 評価指標２として体積計算処理の一例を示すフロー図である。 評価指標３として勾配値計算処理の一例を示すフロー図である。 評価指標４として辺適合度計算処理の一例を示すフロー図である。 対象物から抽出した角を示す図である。 角抽出処理の一例を示すフロー図である。 評価指標５として角適合度計算処理の一例を示すフロー図である。 重なりの上下推定実験における処理の経過を示す図である。 上下推定実験で用意した３０のデータのうち、上側対象物の中心付近に目標手先位置を出力した２７個を示す図である。

以下、図面を参照して、本願発明の実施例について述べる。なお、本願発明の実施の形態は、以下の実施例に限定されるものではない。

図１は、本願発明の実施例に係るビンピッキングシステムの構成の一例を示すブロック図である。ビンピッキングシステム１は、測定部３と、把持部４と、情報処理装置５を備える。ビンピッキングシステム１では、測定部３がケース７内を測定し、情報処理装置５が、不定形体９が存在すると判断した場合に、把持部４が、不定形体９を取り出す処理を行う。不定形体９が存在しなくなるまで、繰り返し行う。図１では、ケース７内に２つの不定型体９₁及び９₂が存在する場合について示している。以下、添え字は、省略することもある。複数の不定形体９は、ケース７にバラ積みされており、搬送中の振動や衝撃などで片寄ったり、重なったりする。また、ピッキング途中で落下させてしまっても、重なる場合がある。

不定形体９は、全体の形状が変化しやすく、表面が不定形の曲面となるものである。例えば、例えば食品や小物類を入れる柔軟袋状ワークである。ただし、本実施例では、同一ケース内の不定形体９は同種のものとし、不定形体９のサイズと予め与えられる概寸との誤差は10%以下とする。柔軟袋状ワークは、部分的に透明なものもあるため、単純な画像処理による処理に適さない。また、全体の形状が変化しやすいため、例えば非特許文献１にあるような一定形状を想定している手法を使用することは困難である。そこで、本願発明は、主として距離センサにより得られる距離情報を用いて、不定形体９の上下推定を行い、上のものの重心位置を推定する。

測定部３は、ケース７内を撮影する。測定部３は、色センサ部１１と、距離センサ部１３を備える。色センサ部１１は、通常のカメラのようにケース７内の画像を撮影するものである。距離センサ部１３は、ケース内の距離を測定するものである。距離を測定するセンサとしては、例えば、距離カメラ、レーザレンジファインダ（LRF）、RGB-Dセンサなどがある。後に説明する実験では、RGB-DセンサであるKinectを用いている。これは、安価なセンサであり、他のセンサに比較して精度が低い。後に説明するように、このような精度が低いセンサを利用しても高い検出率を示しており、他の距離センサを利用しても、同様に高精度の結果を得ることができる。

把持部４は、ケース７内の不定形部９を把持する。把持部４は、アーム制御部１５と、アーム部１７を備える。アーム制御部１５は、把持部４の動作を制御する。アーム部１７は、アーム制御部１５の制御により不定形体９を把持する。アーム制御部１５は、情報処理装置５より上にある不定形体９の重心位置を得てアーム部１７に把持させる。

情報処理装置５は、測定部３による測定結果を用いて上にある不定形体９を推定し、この不定形体９の重心位置を推定する。情報処理装置５は、制御部２１と、閾値設定部２３と、重なりパターン推定部２５と、上下推定部２７と、重心位置推定部２９を備える。制御部２１は、情報処理装置５の動作を制御する。閾値設定部２３は、複数の不定形体の重なりを生じている領域とそうでない領域とを区別するための閾値を設定する。重なりパターン推定部２５は、測定部３が測定した領域に対してテンプレートマッチングを行うことによって対象物候補を得る。上下推定部２７は、対象物候補のうち、上にあるものを推定するものである。重心位置推定部２９は、上と推定された対象物候補の重心位置を推定するものである。

図２は、図１の情報処理装置５の動作の一例を示すフロー図である。まず、図２で用いられる２つの閾値ｈ_lとｈ_oについて説明する。閾値ｈ_lは、不定形体９が存在する領域と存在しない領域とを区別するものである。不定形体９が存在しない領域は、高さ情報を求める際の基準面となるケース７の底面である。閾値ｈ_lは、センサのノイズを考慮に入れ、不定形体９によらず一定の値とする。以下、ｈ_l＝15mmとする。閾値ｈ_oは、複数の不定形体９が重なることで高くなった領域とその他の領域を区別するものである。設定については、後に具体的に説明する。

図２を参照して、図１の情報処理装置５の動作の一例について説明する。制御部２１は、閾値ｈ_lを設定する（ステップＳＴ１）。続いて、制御部２１は、測定部３の色センサ部１１及び距離センサ部１３が測定した測定データ（センサ情報）を取得する（ステップＳＴ２）。距離センサ部１３からは、センサを基準とした距離情報が得られる。制御部２１は、これをケースの床面からの基準とした高さ情報Ｄ(x)(y)に変換する。ここで、底面をｘｙ平面とし、ケース上方がｚ軸とする。制御部２１は、不定形物９が存在するか否かを判断する（ステップＳＴ３）。例えば、閾値ｈ_lよりも高いものが存在するとき、不定形物９が存在すると判断する。不定形物９がすべて取り出される等により存在しないならば、処理を終了する。

不定形物９が存在する場合、重なりがあるか否かを判断する（ステップＳＴ４）。重なりの有無は、例えば以下のようにして判断する。まず、高さ情報の最大値ｄ_MAXを検出する。そして、底面から高さｄ_MAXまでの間を等間隔に５分割し、それぞれの高さ領域においてデータの点数を計算する。このデータ点数が最も多かった領域内において下限の値を、対象物の基準高さｄとする。この基準高さｄの1.5倍の高さ以上の点群で表される領域を重なりが生じている領域とする。次に、重なり領域については、例えば以下のようにして検出する。基準高さｄを閾値として、これよりも高い領域をクラスタリングし、1.5ｄを閾値として、これよりも高い領域を重なり領域としてクラスタリングし、ｄよりも高いクラスタと1.5ｄよりも高いクラスタとの位置の対応付けを行う。1.5ｄよりも高いクラスタの長軸方向、短軸方向を調べる。1.5dよりも高いクラスタの短軸方向に重なりを生じた対象物が存在すると仮定し、1.5ｄよりも高いクラスタの短軸方向に存在し、このクラスタと接するｄよりも高いクラスタを重なり領域とする。

重なりがない場合、重心位置推定部２９は、例えばテンプレートマッチングなどの手法を用いて対象物の位置と姿勢を推定し、重心位置を推定する（ステップＳＴ５）。テンプレートマッチングとは、探索領域内の画像情報と、予め容易した探索した対象物のテンプレートが最も合致する（マッチングする）位置までその探索領域を移動させることで、探索したい対象物の位置と姿勢を推定する。そして、ステップＳＴ２に戻る。

重なりがある場合、重なりを生じている領域（重なり領域）を検出する（ステップＳＴ６）。以下では、重なり領域は、ｘ_ox≦ｘ≦ｘ_of，ｙ_ox≦ｙ≦ｙ_ofとする。続いて、閾値設定部２３が、閾値ｈ_oを設定する（ステップＳＴ７）。重なりパターン推定部２５は、重なりパターンを推定する（ステップＳＴ８）。上下推定部２７は、複数の評価指標の総合判断により、重なりの上下推定を行う（ステップＳＴ９）。そして、重心位置推定部２９は、上側の対象物の重心位置ｘ_g，ｙ_gを推定する（ステップＳＴ１０）。そして、ステップＳＴ２に戻る。

続いて、図３を参照して、図２のステップＳＴ７の閾値ｈ_oの設定の一例について説明する。Ｓ(h)を、高さ情報ｈ以下のピクセルの数とする。ｒ_o（０＜ｒ_o＜１）を、マッチングにより推定した対象物を表すテンプレートが重なっている割合とする。このとき、閾値ｈ_oを、式(1)で定義する。ここで、ｒ_oＳ(h_l)は、重なり領域の面積を表す。高さ情報がｈ_o以上となる領域を、物体同士の重なりにより高くなった領域と定義する。ここで、ｒ_oは、以下のように設定する。テンプレートのサイズをＳ_tとする。ｒ_oは、ガウスの記号[]を用いて、式(2)とする。図３の重なりを例に説明する。（ａ）は、重なりの例である。図３(a)の上面図は、上から見た図であり、図３(a)の側面図は横から見た図である。（ｂ）は、重なりがある対象物の領域全体の面積を示し、式(2)の分母であるＳ(h_l)である。（ｃ）の右下斜線部と左下斜線部は、それぞれ重なりがない場合の領域の面積を示し、式(2)の右辺の分子の第１項は、右下斜線と左下斜線の面積を合わせたものである。（ｄ）の着色部は、重なりにより高くなる領域の面積を示し、式(2)の分子全体を示す。式(2)のｒ_oは、重なっている割合である。

続いて、図４及び図５を参照して、図２のステップＳＴ８の重なりパターンの推定の一例について説明する。図４は、パターンの推定処理の一例を示すフロー図である。重なり領域について、閾値ｈ_lを用いて高さ情報Ｄ(x)(y)を二値化することで、対象物がある領域とそうでない領域に区別する。重なりが生じた領域のおおよその位置を把握することにより、その周囲において対象物がある領域が対象物の重なりが生じた領域となる。そこで、対象物がある領域を求めればよい。ここで、対象物がある領域とは、対象物により高さ情報が大きくなった領域のことである。その領域の高さ情報が大きいかそうでないかを区別するための閾値ｈ_lを用いる。対象物がある領域は、複数の対象物が重なっている領域である。次に、対象物が重なっている領域に対してテンプレートマッチングを適用して、対象物が二次元画像上のどの位置にあるのかを推定する。マッチングで得た結果は、対象物候補として扱う。

図５の具体的な例を用いて説明する。（ａ）は、距離画像を示す。ここで、単一色の正方形はピクセルを表している。ピクセルの色は、高さ情報を等間隔に分割した領域を表している。領域は、赤、黄、緑、水色、青の５段階で表し、赤が最も高く、青が最も低い領域を表している。閾値ｈ_lを用いて対象物が存在する領域を求める。図５（ａ）では、赤、黄、緑が、高さｈ_l以上になるピクセルであり、水色、青がｈ_l未満になるピクセルである。したがって、（ｂ）に示すように、赤、黄、緑は対象物が存在する領域である黒に、水色、青は対象物が存在しない領域である白に分ける。次に、対象物領域が存在する黒の領域に、テンプレートマッチングを行うことで、（ｃ）に示すように、赤の点線の矩形と水色の点線の矩形という二つの対象物候補の領域を得る。

続いて、図６〜図１５を参照して、図２のステップＳＴ９の複数の評価指標の総合判断による重なりの上下推定について説明する。対象物が剛体の場合、変形しないので一つの手法で判断でき、わざわざ組み合わせる必要がない。本実施例では、まず、重なりパターンを推定して、どのような重なり方があるのか推定する。そして、その後にどれが最も上側にある対象物であるのかを、複数の評価指標を用いて推定する。上下推定の評価指標として、５つを説明する。対象物候補の低い領域の面積、対象物候補の体積、対象物候補領域内の勾配、対象物候補の辺適合度、及び、対象物候補の角適合度である。図６（ａ）と（ｂ）は、剛体と柔軟体の投影による面積の違いを説明するための図である。図７は、柔軟体での具体的な一例を示し、（ａ）は体積、（ｂ）は勾配、（ｃ）は辺適合度を示す。図８は、実際に得られた（ａ）色画像と（ｂ）距離画像に対して、（ｃ）面積、（ｄ）体積、（ｅ）勾配、（ｄ）辺適合度、（ｅ）角適合度を示す。

まず、評価指標１として、低い領域の面積について説明する。対象物同士の重なりにより、上側の対象物が傾き、その投影面積が小さくなる。そのため、高さ情報をそのまま用いるのではなく、高さ情報に基づいて投影面積を定義し、この面積を評価指標の一つとする。図５（ａ）において、太線は、閾値ｈ_oよりも低い領域を表している。これら領域は、閾値よりも高い領域を挟んで二つある。そこで、この領域を真上から見た長さを左からＬ_LとＬ_Rと置く。対象物領域を真上から見た長さをＬ_tとすると、重なっている領域を真上から見た長さＬ_oは式(3)となる。よって、高さｈよりも高い領域を真上から見た長さをＬ（ｈ）と置くと、式(4)より、閾値ｈ_oを求めることができる。閾値ｈ_oや重なり角度Φ（０＜Φ＜π／２）に関わらず、常にＬ_R＞Ｌ_Lが成立する。つまり、上側にある対象物の低い領域の面積は下側にあるそれより小さくなる。

図６（ｂ）より、柔軟体であっても、この関係は成り立つ。Ｌ_tは、柔軟体と剛体で等しいので、Ｌ_tをパラメータとするＬ_oは、Ｌ_o ^*＝Ｌ_oとなる。したがって、Ｌ_R ^*＞Ｌ_R、Ｌ_L ^*＜Ｌ_Lとなり、Ｌ_R ^*＞Ｌ_L ^*となる。以上より、低い領域の面積が小さいほど上側の対象物である可能性が高くなり、面積評価値を大きくする。図９は、低い領域の面積計算の処理の一例を示すフロー図である。

例として、図８（ａ）の重なりについて考える。この距離画像を（ｂ）に示す。図８（ｃ）は、高い領域を藤色，低い領域を青で表した画像である。赤点線と緑点線は対象物候補で，赤の対象物候補は上側にある対象物を表す。図８（ｃ）において、低い領域の面積を比べると、緑の対象物候補より赤の対象物候補の方が小さい。

続いて、評価指標２として、体積について説明する。対象物どうしの重なりにより、上側の対象物は傾く。それにより、上側の対象物と底面、また、上側の対象物と下側の対象物との間に隙間が生じる。よって、上側の対象物の見かけ上の体積が大きくなる。したがって、ある点の高さ情報だけに注目するのではなく、対象物候補の領域全体の高さ情報を用いる。領域内の高さ情報を足し合わせたＶは、式(5)として求められ、対象物候補の領域の体積を表す。上側にある対象物ほど高さ情報が大きな領域がある。よって、候補領域内の高さ情報の積分である体積を比較すると、最も上側にある対象物の領域が高い値を示す。例えば、図７（ａ）にあるように、重なりパターンの推定により得た二つの対象物候補を比較する。ここで、Ｌ_tは、テンプレートの幅である（従って、仮定する剛体と柔軟体で等しい）。図７（ａ）より、明らかに重なりによって高くなった赤の点線の候補の方が体積が大きい。したがって、体積が大きいほど、その対象物領域が重なりの上側にある対象物である可能性が高い。以上から、体積を評価指標とし、体積が大きいほど上側の対象物である可能性が高くなり、体積評価値を大きくする。図１０は、体積計算の処理の一例を示すフロー図である。

例として、図８（ａ）の重なりについて考える。図８（ｄ）は、高い領域を藤色、低い領域を青で表した画像である。赤点線と緑点線は対象物候補で、赤の候補は上側にある対象物を表す。緑の候補より赤の候補のほうが高い領域の割合が多いので、赤の候補のほうが体積も大きい。

続いて、評価指標３として、勾配について説明する。対象物には厚さがあるので、重なりが生じた場合、例えば図７（ｂ）の藤色で囲ったような段差が対象物の境界に生じる。この段差を境にして、高さ情報は大きく変化する。したがって、幅を小さくした下側の対象物領域に勾配が大きくなる箇所が存在する。ここで、勾配とは、近接ピクセル間の高さの差を指す。つまり、勾配が小さいほど、その対象物領域が重なりの上側にある対象物である可能性が高い。以上から、勾配を評価指標の一つとする。勾配が小さいほど上側の対象物である可能性が高くなり、勾配評価値は大きくする。図１１は、勾配値計算の処理の一例を示すフロー図である。

例として、図８（ａ）の重なりについて考える。図８（ｅ）は、高い領域の順に紫、橙、黄、水色、青で表した画像である。赤点線と緑点線は幅を小さくした対象物候補で、赤の候補は上側にある対象物を表す。緑の候補の領域内に、勾配の大きな境界である段差が存在する。

続いて、評価指標４として、対象物候補の辺適合度について説明する。重なりパターンの推定では，計算時間のかからない単純な平面テンプレートマッチングを行った。その際に用いた適合度は、候補の内部領域の適合度であった。ここでは、より詳細に適合度を比較するため、候補の辺と角の適合度を評価指標に含める。候補の角の適合度については、後に説明する。

重なりパターンの推定において、例えば図７（ｃ）の緑の点線の候補のように、重なりの候補がローカルミニマムに収束する可能性がある。ローカルミニマムに収束した候補であっても、収束した位置によっては、面積、体積、勾配の評価値が大きくなる可能性がある。したがって、これら以外の評価指標を用いてその候補の評価値を相対的に下げる必要がある。対象物が存在する位置に候補が収束したならば、対象物領域の外形と候補の辺が合致する。また、上側にある対象物の外形は、高い領域と低い領域の境界とも合致する。図１２は、辺適合度の計算の処理の一例を示すフロー図である。

例として、図８（ａ）の重なりについて考える。図８（ｆ）は、高い領域を藤色、低い領域を青で表した画像である。赤点線と緑点線は対象物候補で、赤の候補は上側にある対象物を表す。橙と黄緑の矩形部は、対象物領域の外形及び高い領域の外形と合致する候補の辺を表す。赤の候補の方が、合致する辺の長さが長い。

続いて、評価指標５として、対象物候補の角適合度について説明する。対象物が存在する位置に候補が収束したならば、対象物領域の外形の角と候補の角が合致する。また、上側にある対象物の外形の角は、高い領域の角とも合致する。角適合度の最低値は角が一つもマッチングしない０で、最高値は全ての角が一致する４である。角のマッチング適合度が大きいほど角適合評価値は大きい。

まず、対象物がある領域から角を抽出する。図１３は、対象物から抽出した角を示す。ここで単一色からなる正方形は、ピクセルを表している。ピクセルの色は、赤が角を示し、水色が対象物のある領域の枠を示し、黒が枠や角を除いた対象物がある領域を示す。水色のピクセル上の数字は、そのピクセルに隣接する赤、黒、水色のピクセルの数を表している。図１３より、角のピクセル（赤）と角に隣接するピクセルの数（水色，黒）Ｎ、角に隣接するピクセル（水色）に隣接するピクセル（赤，黒，水色）の数Ｍ₁、Ｍ₂には関係は次のようになる（赤ピクセルが２個ある場合それぞれＭ１、Ｍ２とする）。この関係より、対象物がある領域の角を抽出する。図１４は、角抽出の処理の一例を示すフロー図である。図１５は、角の適合度計算の処理の一例を示すフロー図である。
１．Ｎ≦３かつＭ1≦５かつＭ2≦６
２．Ｎ＝４かつＭ1≦４かつＭ2≦５
３．Ｎ＝５かつＭ1≦４かつＭ2≦４

例として、図８（ａ）の重なりについて考える。図８（ｇ）は、高い領域を紫、低い領域を青で表した画像である。赤点線と緑点線は対象物候補で、赤の候補は上側にある対象物を表す。橙と黄緑の直角三角形は、対象物領域の外形の角及び高い領域の外形の角と合致する候補の角を表す。赤の候補の方が、合致する角の数が多い。

続いて、複数指標の総合的評価による重なりの上下推定について説明する。対象物が柔軟袋状ワークの場合、最も上側にある対象物候補の評価指標のいずれもが常に良いとは限らない。これは、対象物が変形したり光を透過したりすること、また、取得する距離画像が粗いことが原因である。したがって、個々の指標を比較すると、下側にある対象物を誤って最も上側にある対象物と誤判断する可能性がある。そこで、これらの指標を全て用いて総合的に判断する。

まず、個々の評価指標の値のスケールを合わせるために正規化を行う。ただし、角適合度は重み付けのため正規化しない。Ｎ_c個の対象物候補ｉ（１≦ｉ≦Ｎ_c）の面積値Ｓ_i、体積値Ｖ_i、勾配値Ｇ_i、辺適合度Ｆ_i、角適合度ＣＦ_iとすると、面積評価値Ｅ_S、体積評価値Ｅ_V、勾配評価値Ｅ_G、辺適合評価値Ｅ_F、角適合評価値Ｅ_CFは、それぞれ、式(6)〜(10)となる。

次に、評価指標ごとの評価値の変動度合を考慮に入れるため、各評価値の差分の正規化を行う。そして、同時に重みを決定し、総合評価値として重ね合わせる。面積、体積、勾配、辺適合度、角適合度の重みをそれぞれｗ_V、ｗ_S、ｗ_G、ｗ_F、ｗ_CFとすると、総合評価値Ｅは、式(11)となる。

続いて、重なりの上下推定実験について説明する。本実験における対象物は、図１６（ａ）に示すような袋入りマカロニである。事前に、考え得る重なり方を３０個作り、そのデータを取得した。これらのデータに対し、提案手法の有効性を検証する。ここで、本手法は、上下推定の結果が重なりパターンの推定結果に多少左右されるという特徴があることから、辺，角適合度評価値の重みを大きくした。ゆえに、実験で用いる総合評価の重みは、ｗ_S＝１、ｗ_V＝１、ｗ_G＝１、ｗ_F＝２，ｗ_CF＝２とした。

本実施例による処理の経過を、図１６のデータを例にして示す。図１６（ｂ）は距離画像を示す。距離画像は色でそのピクセルの高さ情報を表しており、高い順に赤、黄、緑、水色、青と連続的に変化する．重なりパターンの推定により、（ｄ）、（ｅ）、（ｆ）及び（ｇ）の４つの候補を得る。それぞれの候補に対し、５つの評価指標を用いた総合評価の値Ｅ_i（ｉ＝１〜４）は、Ｅ₁＝22.03、Ｅ₂＝21.61、Ｅ₃＝26.47、Ｅ₄＝22.75となり、候補３（図１６（ｆ））が最も総合評価値が大きくなる。ゆえに、図１６（ｈ）に点で示すように、候補３の面心位置を目標手先位置として出力する。この出力結果は上側対象物の中心付近なので、ピックアップは成功する。

図１７は、用意した３０のデータのうち、上側対象物の中心付近に目標手先位置を出力した２７個を示す。これらは、重なりパターンの推定で，上側対象物に候補がマッチングしたものであった。他方、重なりパターンの推定で，上側対象物に候補がマッチングしなかった３つについては、上側対象物に候補がマッチングしていなかった。よって、重なりパターンの推定で、上側対象物に候補がマッチングすれば、すべて、上側対象物を特定することができた。よって、複数指標による総合評価の結果は良好で、パターンマッチングにより上側対象物に候補が収束しさえすれば、目標手先位置は、確実に上側対象物の中心位置に出力されることを確認できた。

１ ビンピッキングシステム、３ 測定部、４ 把持部、５ 情報処理装置、７ ケース、９ 不定形体、１１ 色センサ部、１３ 距離センサ部、１５ アーム制御部、１７ アーム部、２１ 制御部、２３ 閾値設定部、２５ 重なりパターン推定部、２７ 上下推定部、２９ 重心位置推定部

Claims (5)

1. 複数の不定形体の重なりの上下を推定する不定形体位置推定方法であって、
   距離測定手段が、前記複数の不定形体が存在する領域に対して距離を測定する測定ステップと、
   閾値設定手段が、前記距離測定手段が測定した領域において、前記複数の不定形体の重なりを生じている領域とそうでない領域とを区別するための閾値を設定する閾値設定ステップと、
   上下推定手段が、前記距離測定手段が測定した前記複数の不定形体との距離を用いて、前記閾値よりも高い部分及び／又は前記閾値よりも低い部分を評価する評価指標によって前記複数の不定形体の重なりの上下推定を行う上下推定ステップを含む不定形体位置推定方法。
2. 重なりパターン推定手段が、前記距離測定手段が測定した領域に対して対象物領域の外形から対象物候補を得る重なりパターン推定ステップを含み、
   前記上下推定ステップにおいて、前記上下推定手段は、複数の対象物候補があるならば、前記各対象物候補に対して、上にあるとした場合に高い評価となる評価指標を用いて、最も高い評価となる前記対象物候補を重なりの上にある対象物として選択する、請求項１記載の不定形体位置推定方法。
3. 前記上下推定手段が用いる評価指標は、前記対象物候補の前記閾値よりも低い領域の面積、前記対象物候補の体積、前記対象物候補の領域内の勾配、前記対象物候補の辺適応度、及び、前記対象物候補の角適合度のうちの少なくとも一つを含むものである、請求項２に記載の不定形体位置推定方法。
4. 複数の不定形体の重なりの上下を推定する不定形体位置推定装置であって、
   前記複数の不定形体が存在する領域に対して距離を測定する距離測定手段と、
   前記距離測定手段が測定した領域において、前記複数の不定形体の重なりを生じている領域とそうでない領域とを区別するための閾値を設定する閾値設定手段と、
   前記距離測定手段が測定した前記複数の不定形体との距離を用いて、前記閾値よりも高い部分及び／又は前記閾値よりも低い部分を評価する評価指標によって前記複数の不定形体の重なりの上下推定を行う上下推定手段を備える不定形体位置推定装置。
5. コンピュータを、
   距離測定手段が距離を測定した複数の不定形体が存在する領域において、前記複数の不定形体の重なりを生じている領域とそうでない領域とを区別するための閾値を設定する閾値設定手段と、
   前記距離測定手段が測定した前記複数の不定形体との距離を用いて、前記閾値よりも高い部分及び／又は前記閾値よりも低い部分を評価する評価指標によって前記複数の不定形体の重なりの上下推定を行う上下推定手段として機能させるためのプログラム。