JP2010091429A

JP2010091429A - ワーク形状推定装置

Info

Publication number: JP2010091429A
Application number: JP2008262034A
Authority: JP
Inventors: Makoto Furukawa; 誠古川
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2008-10-08
Filing date: 2008-10-08
Publication date: 2010-04-22
Anticipated expiration: 2028-10-08
Also published as: US20110194754A1; EP2343497A1; US8611672B2; EP2343497B1; JP4866890B2; WO2010041374A1; EP2343497A4; CN102171531B; CN102171531A

Abstract

【課題】ＣＡＤモデルがない場合であっても、画像情報から重なり合ったワークの部品形状から、その繋がりや重なりを推定して一つのワークとして認識することができるワーク形状推定装置を提供することを目的とする。
【解決手段】バラ積みされた状態の複数の同一のボルトＢを撮影するカメラ１と、カメラ１により得られた画像情報をエッジ検出するエッジ検出部４と、エッジ検出部４により得られた画像情報に基づいてボルトＢを部分画像ａ〜ｑに分離する画像分離部５と、分離されたボルトＢの部分画像を分類する部分画像分類部６と、部分画像分類部６により分類されたボルトＢの部分画像の情報を補完することでボルトＢの推定形状を生成するワーク推定形状生成部７とを有することを特徴とする。
【選択図】図１

Description

この発明は、バラ積みされた状態の複数の同一のワークを認識する場合に、ワークのＣＡＤ（ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｅｓｉｇｎ）データを使用せずにカメラにより得られた画像からワークの形状を統計的に処理し、自動的に形状モデルを生成することができるワーク形状推定装置に関する。

従来からＣＡＤデータを基に製作された物体がＣＡＤデータ通りに作られているかを位置合わせする装置が知られている。位置合わせする際には基準となるＣＡＤデータの位置合わせ面と非接触計測データの位置合わせ面に対応する対象点群を対応付けて位置合わせを行っている（特許文献１参照）。
また、パレット上に位置決めが困難なワークを積載し、このワークをロボットなどにより自動的に加工機械に供給する場合にはワークの位置と姿勢を検出する必要があり、そのためには対象となるワークのモデルを予め作成し、対象物体であるワークにモデルを当てはめ、その一致度合いを判断するマッチング方法がある（特許文献２参照）。
特開２００１−８２９５１号公報特開平９−５３９１５号公報

しかしながら、何れの従来技術においても、物体やワークの形状に関するＣＡＤデータを予めデータベースに蓄積しておく必要があるため、取り扱われる物体やワークの種類が多い場合には、各物体やワーク毎にそれぞれＣＡＤデータが必要となるため、データ量が多くなってしまうという問題がある。
また、後者の従来技術にあっては、バラ積みされたワークは重なり合っている場合が多く、一部分しか見えない状態ではＣＡＤデータとのマッチングが困難であるという問題もある。更に、重なり合っているワークの部分はエッジ検出した場合に分断されているため、どれが繋がっていて一つの部品であるかを認識することが困難であるという問題もある。

そこで、この発明は、ＣＡＤモデルがない場合であっても、画像情報から重なり合ったワークの部品形状から、その繋がりや重なりを推定して一つのワークとして認識することができるワーク形状推定装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載したワーク形状推定装置は、バラ積みされた状態の複数の同一ワーク（例えば、実施形態におけるボルトＢ）をセンシングして画像情報を取得する画像情報取得手段（例えば、実施形態におけるカメラ１）と、前記画像情報取得手段により得られた画像情報をエッジ検出するエッジ検出手段（例えば、実施形態におけるエッジ検出部４）と、前記エッジ検出手段により得られた画像情報に基づいて前記ワークを部分画像（例えば、実施形態における部分画像ａ〜ｑ）に分離する分離手段（例えば、実施形態における画像分離部５）と、分離されたワークの部分画像を分類するワーク分類手段（例えば、実施形態における部分画像分類部６）と、前記ワーク分類手段により分類された前記ワークの部分画像の情報を補完することで前記ワークの推定形状を生成するワーク推定形状生成手段（例えば、実施形態におけるワーク推定形状生成部７）とを有することを特徴とする。
ここで、請求項２に記載したように、前記ワーク分類手段は、前記分離手段により分離された部分画像の特徴形状が共通するものを基準にして分類することができ、また、請求項３に記載したように、部分画像の面積の大きいものを基準にして分類することができる。

請求項１に記載した発明によれば、画像情報取得手段によって得られた画像情報からエッジ検出手段によりエッジを検出し、分離手段によりエッジ検出により得られた画像情報から重なり合った複数のワークの部分画像を分離して、分離したワークの部分画像から、ワーク分類手段によりワークの部分画像を分類し、分類されたワークの部分画像からワーク推定形状生成手段によりワークの推定形状を生成することができるため、ワークのＣＡＤデータが存在していなくてもバラ積みされ、整列していないワークの認識を容易に行うことができる。
また、重なり合って見えない部分があるワークであっても、画像情報から得られるワークの部分画像のデータを重ね合わせ、欠損部分を補完して推定することができる。
ここで、ワーク分類手段による部分画像の分類は特徴部分や面積を加味して行うことでより迅速な処理を行うことができる。

次に、この発明の実施形態を図面に基づいて説明する。
図１に示すのはワーク形状推定装置のブロック図である。１はカメラを示し、このカメラ１はバケット２に積載された多数の同一のワークを上側から見た主として２次元の画像情報をセンシング（撮影）して取得するものである。カメラ１により取得された画像情報は画像情報記憶部３に記憶される。ここで画像情報とは、例えば輝度情報である各画素毎のＲＧＢ値である。尚、輝度の画像情報に加えた距離の画像情報を対応する各画素毎に得るようにしてもよい。この場合には距離の情報も取り入れられる３次元撮影用のカメラであることが必要である。

画像情報記憶部３には記憶された画像情報に基づいて画像のエッジ検出を行うためのエッジ検出部４が接続され、エッジ検出部４にはエッジ検出により得られたエッジ部分、境界部分Ｋを境にして各部分画像を切り出す画像分離部５が接続されている。画像分離部５により切り出された部分画像は画像情報記憶部３に記憶される。
画像情報記憶部３に記憶された部分画像は部分画像分類部６により統計的に分類された状態で画像情報記憶部３に記憶され、画像情報記憶部３に記憶された部分画像は同一分類毎に重ね合わされて、最終的にワーク推定形状生成部７において重ね合わされた画像の外縁部を確定して推定されたワークの形状を得る。

図２はワークとしての同一形状のボルトＢがバケット２に複数積載された状態を示している。ここで、説明を単純化するためにバケット２に積載されたボルトＢは、ボルトＢの軸方向に沿う方向と、ボルトＢの軸方向に直角な方向の２つの姿勢のみで重なり合って積載されているものとする。

図２に示すように、複数のボルトＢが平面視において重なり合うようにして積載されており、この複数のボルトＢをカメラ１によって撮影し、各画素ごとの輝度の画像情報である輝度の値（ＲＧＢ）と、必要に応じて各画素毎の距離の画像情報である距離の値（ｍｍ、ｃｍ）を取得して画像情報記憶部３に記憶する。

図３に示すように、画像情報記憶部３に取り込まれた輝度の画像情報及び必要があれば距離の画像情報からエッジ検出部４によって画像における境界部分Ｋを検出する。
具体的にエッジ検出部４によって行われるエッジ検出は、画像情報において輝度の値の変化率が大きい部分を境界部分Ｋとして判定することができるが、このように輝度のみによるエッジ検出ができない場合には、カメラ１を移動させたり或いはステレオカメラ等を用いて、距離の画像情報の距離を所定の範囲に固定して、その範囲内の画像だけを抽出し、その画像に対応する輝度の画像情報のみを用いエッジ検出することができる。尚、図３において、太線で示したのは境界部分Ｋである。

そして、図４に示すように、図３に示す境界部分Ｋにおいて部分画像分類部６が画像を部分画像ａ〜ｑに切り分けて分離して抽出する。抽出されたボルトＢの部分画像ａ〜ｑは、上側に積載されているボルトＢに遮られ部分的にしか見えない部分がたくさん含まれているため様々な形状のものが抽出されて画像情報記憶部３に記憶される。

ここで、画像情報記憶部３に部分画像ａ〜ｑを記憶する場合には、最初に取り出した部分画像を記憶し、次に取り出した部分画像が最初に取り出した部分と一致した場合には、最初に取り出した部分画像の個数を加算し、次に取り出した部分画像が最初に取り出した部分と一致しない場合には、異なる部分画像として画像情報記憶部３に記憶され、全ての部分画像ａ〜ｑが画像情報記憶部３に記憶される。また、記憶される部分画像は面積の情報も含めて画像情報記憶部３に記憶される。ここで、部分画像の数が多過ぎる場合には、大きいものから順に数を絞って記憶するようにしてもよい。尚、一致するか否かはパターンマッチングにより行う。

そして、部分画像分類部６が各部分画像をパターンマッチングして特徴形状が共通するものをまとめることで部分画像が統計的に分類される（図５参照）。また、分類にあたっては部分画像の面積の大きいものがより推定形状に近いものであるのでをこれを基準にして分類する。つまり、図５においては、１段目にボルトＢの頭部の部分が存在する部分画像ａ〜ｈが２段目以降よりも面積が大きいので横方向に同一分類として分類され、２段目にはボルトＢの軸部分の軸方向長さが径方向の長さより長く現れている部分画像ｉ〜ｋが横方向に同一分類として分類され、３〜５段目にはボルトＢの軸部分の軸方向長さが他の部分よりも短く現れている部分画像ｌ、ｍ、ｎがそれぞれ分類されている。また、６段目にはボルトＢの頭部である六角形の外縁が一部でも存在している部分画像ｏ、ｐ、ｑが分類されている。尚、この分類表は画像情報記憶部３に記憶されているものをわかり易くするために表形式として表した図５（形状特徴により統計的に分類された部品部分）として記載した。

そして、同一分類における部分画像、とりわけ面積の大きい部分画像を備えている同一分類の各画像を順にワーク推定形状生成部７により重ね合わせることでボルトＢの推定形状を得ることができる。この推定形状は部分画像と共に画像情報記憶部３に記憶される。ここでは、他の分類に比べ面積が最も大きな部分画像ａを備えている、図５の１段目の分類の同一分類にある部分画像ａ〜ｈを大きい順に重ね合わせることでボルトＢの推定画像Ｔ１（１段目の右端）を得ることができ、得られた推定画像Ｔ１の外縁部が推定されるワークであるボルトＢの形状（の大部分）、つまり部分画像ａとなる。また、２段目、６段目の部分画像についても重ね合わせて推定画像Ｔ２、Ｔ３を得ることができる。ここで、重ね合わせる場合には、同分類の部分画像のうち、面積が大きいものをメインとして他の同分類の部分画像を重ね合わせ欠損部分を補完することができ、１段目の推定画像Ｔ１に２段目の推定画像Ｔ２を重ね合わせることができる。また、６段目の推定画像Ｔ３については、図５の１段目や２段目の推定画像には重ね合わせることはできないが、別の角度から見たワークであるボルトＢの別の角度から見た推定形状として推定することができる。尚、３段目〜５段目については部分画像が１個であるので推定画像は生成されない。

そして、図５に示す分類された部分画像ａ〜ｑの推定形状（最も面積の大きい部分画像ａでもある）に対する面積比率を求め、この面積比率の大きい順にボルトＢの取り出しの順位を付けて優先的に取り出す計画を設定し、この計画に基づいて各ボルトＢをロボットにより順番にバケット２から取り出してゆく。図６は図５の１段目の部分画像の推定形状に対する面積比率と取り出し優先順位を記載したものである。
具体的には、部分画像ａは面積比率１００％で優先順位１位、部分画像ｂは面積比率６６％で優先順位５位、部分画像ｃは面積比率８２％で優先順位３位、部分画像ｄは面積比率７７％で優先順位４位、部分画像ｅは面積比率９６％で優先順位２位、部分画像ｆは面積比率４７％、部分画像ｇは面積比率４３％、部分画像ｈは面積比率３６％である。尚、部分画像ｆ、ｇ、ｈについては、面積が小さい（５０％以下）ので順位は付けておらず、例えば１位から５位のボルトＢを取り出した後に再度分類する等により面積比率や順位付けを行うことができる。
ここで、面積比率も優先順位も画像情報記憶部３に記憶されている。尚、部分画像には一つのボルトが複数の部分画像で表されている場合があるので、図５の１段目の分類にあるボルトＢから順に取り出しを行い、それが終了したら２段目以降について取り出しを行うことができる。また、１段目の取り出しが終わった段階で再度カメラ１によって画像を取り込んで前述した処理と同様の処理を行い取り出しを行うこともできる。

したがって、上記実施形態によれば、バケット２に積載された多数のボルトＢをカメラ１によって上からセンシングし、これにより得られた２次元の画像情報からエッジ検出部４によりエッジ部分である境界部分Ｋを検出し、画像分離部５でエッジ検出して得られた画像情報から重なり合った複数のボルトＢの部分画像を分離して、分離したボルトＢの部分画像から部分画像分類部６によりボルトＢの部分画像を分類し、分類されたボルトＢの部分画像からワーク推定形状生成部７によりボルトＢの推定形状を生成することができるため、ボルトＢのＣＡＤデータが予め存在していなくても、バラ積みされ、整列していないボルトＢを容易に認識できる。したがって、ボルトＢのデータベースが必要なくなる。

ここで、部分画像分類部６による部分画像の分類は特徴部分や面積を加味して行うことでより迅速な処理を行うことができる。
また、重なり合って見えない部分があるバケット２上のボルトＢであっても、画像情報から得られるボルトＢの部分画像を重ね合わせ、欠損部分を補完して推定することができるので、無造作に積載され、互いに重なり合ったボルトＢ等のワークであっても、ＣＡＤ情報が存在しなくてもワークの形状を認識できる。

尚、この発明は上記実施形態に限られるものではなく、例えば、画像情報取得手段はカメラに限られず、通常のカメラであってもよく、また、距離の画像情報を得られるレーザを用いたセンシング装置や画像センサであってもよい。また、面積比を基準にして分類したが、長さを基準にしたり、長さの要素を加味して分類することも可能である。

この発明の実施形態のブロック図である。この発明の実施形態のワークの積載状況を示す平面図である。この発明の実施形態のエッジ部分を示す平面図である。この発明の実施形態のエッジ部分において画像を切り分けた状態を示す平面図である。この発明の実施形態の部分画像の分類状況を示す図である。この発明の実施形態の面積比と優先順位を示す図である。

符号の説明

１カメラ（画像情報取得手段）
４エッジ検出部（エッジ検出手段）
５画像分離部（分離手段）
６部分画像分類部（ワーク分類手段）
７ワーク推定形状生成部（ワーク推定形状生成部）
ａ〜ｑ部分画像
Ｂボルト（ワーク）

Claims

バラ積みされた状態の複数の同一ワークをセンシングして画像情報を取得する画像情報取得手段と、
前記画像情報取得手段により得られた画像情報をエッジ検出するエッジ検出手段と、
前記エッジ検出手段により得られた画像情報に基づいて前記ワークを部分画像に分離する分離手段と、
分離されたワークの部分画像を分類するワーク分類手段と、
前記ワーク分類手段により分類された前記ワークの部分画像の情報を補完することで前記ワークの推定形状を生成するワーク推定形状生成手段とを有することを特徴とするワーク形状推定装置。
前記ワーク分類手段は、前記分離手段により分離された部分画像の特徴形状が共通するものを基準にして分類することを特徴とする請求項１記載のワーク形状推定装置。
前記ワーク分類手段は、前記分離手段により分類された部分画像の面積の大きいものを基準にして分類することを特徴とする請求項１又は請求項２に記載のワーク形状推定装置。