JP2007203406A - ワーク取り出し装置 - Google Patents

Abstract

【課題】ワークの検出を正確なサイズで行うことができるワーク取り出し装置を提供する。
【解決手段】ワーク取り出し装置１０は、ワークコンテナ１２内の複数個の同種のワーク１４を把持して取り出すように構成されたロボット１６、ロボット１６を制御するロボットコントローラ１８、ワークコンテナ１２の略真上に配置されてワーク１４を広範囲に撮像するビデオカメラ２０及びビデオカメラ２０が撮像した画像を処理する画像処理装置２２を有する。個々のワーク１４の三次元位置及び姿勢の計測は、ロボット１６の手先部に設けられた３次元視覚センサ２４によって行われる。
【選択図】図１

Description

本発明は、ロボットによるワークの取り出し装置に関し、特には、視覚センサによる物品の認識を行う際に検出の制約条件を付加するワーク取り出し装置に関する。

対象物すなわちワークが籠内やパレット上に位置決めされておらず、乱雑に置かれている状態から取り出しを行う、いわゆる「バラ積み取り出し」のアプリケーションでは、取り出すべきワークのおおよその位置を判断するために、広範囲を撮像するカメラによる画像取り込みが行われる。この際、画像モデルを用いて画像中からワークの検出を行う検出処理機能（以降、検出ツールと称する）には、基準ワークサイズを基にワークを検出するサイズの閾値が設けられており、検出ツールはこの閾値内のワークを検出する。バラ積み取り出しアプリケーションでは、ワークが存在し得る領域内で上限に位置するワークと下限に位置するワークとでは画像に表示されるワークの大きさに差があるため、検出サイズには上限のワーク及び下限のワークの双方が検出できる幅を持たせる必要がある。

しかしながら上述の方法では、サイズを誤検出してしまう場合が多い。例えば、車のブレーキディスクのようにいくつかの同心円として画像にとらえられる部品については、いくつかの同心円からなる画像モデルでパターンマッチングを行う際、検出サイズの上下限の幅が大きいときにサイズが誤認されてしまうことがあり得る。また、同心円として画像にとらえられる部品に限らず、パターンマッチングにおいて、ワークの重なり状況によっては複数のワークを部分的に組み合わせて対象ワークと誤認してしまう等、サイズの誤検出の理由は他にも考えられる。

バラ積み取り出しのアプリケーションでは、三次元位置姿勢計測を行う三次元視覚センサの計測位置を決定する手法として、先ず基準の高さに在るワークの像を基準ワークサイズ１００％として教示し、広範囲を撮像するカメラによりこれを基準ワークサイズ通りの１００％のサイズで検出した後に、ワークから所定の距離に三次元視覚センサが移動するよう教示し、これらに基づいて、任意の高さに在るワークの像をカメラで検出した際のサイズの情報から、その任意の高さのワークに対して所定の距離になるように三次元視覚センサの移動するべき位置を求める場合がある。このような手法を採用した場合、ワークの像のサイズを大幅に誤認してしまうと、視覚センサの計測位置が不適切なものになり、望ましい結果が得られない。

ワークの三次元位置に関する正確な情報を得るための公知の手段としては、例えば特許文献１に記載されるような、物品を複数の異なる視点で撮像し、視差に従って距離分解して検出を行うステレオ視覚装置がある。

特公平６−６１０９８号公報

特許文献１に記載するようなステレオ計測方式では、異なる位置から撮像された結果の照合を行い、情報が一致したものを取り出し対象とみなすため、前述のブレーキディスクを一例とした誤検出が発生しやすい形状のワークでは、照合が上手く成功しない場合には取り出し候補がなくなる可能性もある。また、上部にある取り出し易いワークの撮像結果の照合が成功しない場合は、低い位置にあるワークを取りにいくことになり、取り出し装置と周辺機器やワークとの干渉が発生したり、他のワークが引っかかり取り出しが行えなかったりと、さらなる問題の発生が懸念される。

ワークのサイズの誤検出を減らすためには、複数の検出ツールを設け、それぞれの検出ツールに全てのワークの検出に必要なサイズの閾値の幅をいくつかに分割した閾値を設定し、検出ツールを適宜切り替えて、撮像された画像からワークを検出する方法も考えられる。ただしこの方法でも、検出ツールの切り替えが適切でなければやはり誤検出が発生する結果となり、問題の解決法としてはやや不十分である。

またワークの高さ情報を知ることで上記のようなサイズの誤検出を回避し得る他の公知の方式としては、レーザスリット光等を走査してワークの高さ計測を行うスリット光走査方式が考えられるが、スリット光で高さの計測を行うために、ワークが存在する領域を走査することはサイクルタイム的にかなり不利であり、これにワークの位置情報を得るための検出手段を加えると計算コストがさらに肥大する。

そこで本発明は、上述の課題を解決し、ワークの検出を正確なサイズで行うことができるワーク取り出し装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、複数個の同種のワークの像を含む画像を用いて、ロボットによってワークを取り出すワーク取り出し装置であって、複数個のワークを撮像する撮像手段と、前記撮像手段を用いて予め定めたワークの特徴に基づいて、前記画像から前記ワークを検出するワーク検出部と、前記ワーク検出部によって検出されたワークのいずれか１つを取り出し対象として選定するワーク選定部と、前記ワーク選定部により選定されたワークを取り出すロボットと、前記ロボットによって取り出されたワークについての前記ワーク検出部による検出結果を記憶する検出結果記憶部と、前記検出結果記憶部に記憶されている検出結果を用いてワーク検出部による次回以降の検出についての制約条件を設定する制約条件設定部と、を備えることを特徴とするワーク取り出し装置を提供する。

請求項２に記載の発明は、請求項１に記載のワーク取り出し装置において、前記検出結果記憶部に記憶される検出結果が、直近に取り出されたワークについての検出結果である、ワーク取り出し装置を提供する。

請求項３に記載の発明は、請求項１に記載のワーク取り出し装置において、前記検出結果記憶部に記憶される検出結果が、直近に取り出されたワークから近い順に取り出された、所定回数分のワークについての検出結果である、ワーク取り出し装置を提供する。

請求項４に記載の発明は、請求項１〜３のいずれか１項に記載のワーク取り出し装置において、前記検出結果記憶部に記憶される検出結果が、前記撮像手段により撮像されたワークの像のサイズ情報であり、前記制約条件設定部は、次回の検出において前記ワーク検出部によって検出されるべきワークの像のサイズを、前記検出結果記憶部に記憶されたサイズに所定のマージンを付与して得られたサイズ範囲内に限定する、ワーク取り出し装置を提供する。

請求項５に記載の発明は、請求項１〜３のいずれか１項に記載のワーク取り出し装置において、前記検出結果記憶部に記憶される検出結果がワークの高さ情報であり、前記制約条件設定部は、次回の検出において前記ワーク検出部によって検出されるべきワークの像のサイズを、前記検出結果記憶部に記憶された高さをワークの像のサイズに換算した値に所定のマージンを付与して得られた範囲内に限定する、ワーク取り出し装置を提供する。

本発明に係るワーク取り出し装置によれば、既に取り出されたワークについて、そのワークを撮像した画像から検出された検出結果情報、及びそのワークを取り出した高さ情報の一方又は双方を記憶して次の検出にフィードバックすることにより、ワークの検出を正確に行い取り出し効率を上げることが可能となる。

検出結果を、直近に取り出されたワークについてのものとするか、直近に取り出されたワークに近い順に取り出された所定回数分の複数のワークについてのものとすることにより、検出の信頼性をさらに向上させることができる。

記憶される検出結果情報をワークの像のサイズに特定することにより、直近に取り出されたワークの像のサイズとかけ離れた像のサイズのワークが検出されないようにすることにより、ワークの誤検出が防止される。

また記憶される検出結果情報を、選択されたワークを取り出すときの高さに特定することにより、直近に取り出されたワークとかけ離れた高さのワークが取り出されることが防止される。

ワークの像のサイズと高さとは簡易な式で換算可能であるので、サイズ及び高さの一方又は双方から、妥当性の高い制約条件を設定することができる。

以下、図面を参照しながら本発明を詳細に説明する。図１は、本発明の好適な実施形態に係るワーク取り出し装置１０の全体構成を示す図である。ワーク取り出し装置１０は、ワークコンテナ１２内の複数個の同種の対象物すなわちワーク１４を把持して取り出すように構成されたロボット１６、ロボット１６を制御するロボットコントローラ１８、ワークコンテナ１２の略真上に配置されてワーク１４を広範囲に（例えばワークコンテナ１２全体が視野内に収まるように）撮像する撮像手段すなわちビデオカメラ２０及びビデオカメラ２０が撮像した画像を処理する画像処理装置２２を有する。

個々のワーク１４の計測は、ロボット１６の手先部に設けられた視覚センサ２４によって行われる。視覚センサ２４は例えばレーザ投光式の三次元視覚センサであり、通信回線２６によって接続された視覚センサ制御部２８によって制御される。また視覚センサ制御部２８を、通信回線２７を介して画像処理装置２２に接続することにより、所定のワーク１４の詳細な三次元位置及び姿勢を求めることができる。

ロボットコントローラ１８は、通信回線３０によって画像処理装置２２に接続されており、ビデオカメラ２０によって撮像され画像処理装置２２で処理された結果を利用してワーク１４をハンドリング（アプローチ、把持及び取り出し等の一連の操作）を行うようにロボット１６を制御する。なおロボットコントローラ１８はＣＰＵ、データメモリ、フレームメモリ、画像処理プロセッサ及びインタフェイス等を備えた周知のものでよく、故にその詳細な説明は省略する。

次に、画像処理装置２２の構成及び作用について説明する。なお画像処置装置２２もロボットコントローラ１８と同様にＣＰＵ、データメモリ、フレームメモリ、画像処理プロセッサ及びインタフェイス等を備えるが、それらのような本発明と直接関係のない要素については説明を省略する。

画像処理装置２２は、図１に示すように、検出に関する制約条件を設定する制約条件設定部２２ａと、カメラ２０からの撮像データを受信してそのデータからワークを検出するワーク検出部２２ｂと、ワーク検出部２２ｂにより検出されたワークのうちロボット１６で取り出すワークを選定するワーク選定部２２ｃと、ワーク検出部２２ａの検出結果を記憶する検出結果記憶部２２ｄとを有する。なおワーク検出部２２ｂには、撮像データとパターンマッチングを行うためのワーク特徴モデル生成部２２ｅが関連付けられている。ワーク特徴モデル生成部２２ｅは、適当な基準位置（例えばワークコンテナ１２の底部中央）に配置されたワークの撮像データに含まれるワークのエッジ等の特徴情報や、検出されるワークのサイズの上限値及び下限値を含むワークの特徴モデルを生成する。なお以降で用いる場合の「サイズ」なる用語は、ワークそのものの大きさや寸法としてのサイズを意味するものではなく、撮像データ又は撮像画像における、ワークの像のサイズ又はワークの検出サイズを意味するものとする。

図２は、図１のワーク取り出し装置による作業の流れを示すフローチャートである。先ずステップＳ１０１において、画像処理装置２２の制約条件設定部２２ａによる制約条件設定が行われる。この制約条件については後述する。次にステップＳ１０２において、ビデオカメラ２０によるワーク１４の広範囲の撮像が行われる。次のステップＳ１０３では、上述のワーク検出部２２ｂが、制約条件を満足するワーク（取り出し可能なワーク）が少なくとも１つ検出されているか否かを判定し、検出されていればステップＳ１０４に進む。

ステップＳ１０４では、ワーク選定部２２ｃが、ステップＳ１０３で検出されたワーク（通常は複数）のうちロボット１６にて取り出すワークを選定する。通常は、検出されたワークのうち最も高い位置にある（最もサイズが大きい）ワークが選定される。次にロボットコントローラ１８が、ロボット１６を制御して選定されたワークの取り出しを行う（ステップＳ１０５）。ここでの取り出し操作には、ロボット１６の手先部に設けられた三次元視覚センサ２４の移動位置の演算、視覚センサ２４による、選定されたワークの三次元の位置及び姿勢の計測、並びにロボットによる選定されたワークの把持が含まれる。

次のステップＳ１０６ではロボット１６によるワークの取り出しが成功したか否かを判定し、取り出しに失敗した場合は、ステップＳ１０４に戻ってワークの選定作業をやり直す。取り出しが成功であればステップＳ１０７に進み、取り出したワークの検出結果が検出結果記憶部２２ｄに記憶される。ここで記憶される検出結果は、図３に示すように、取り出し操作毎のワークのサイズ及び高さの情報を含む。このようにして、各取り出し操作において取り出されたワークの高さ及びサイズのデータが記憶されていく。

ステップＳ１０７の次のステップＳ１０８では、検出結果の記憶が所定回数行われたかを判定する。所定回数に達していなければステップＳ１０２からの操作を繰り返す。所定回数に達していればステップＳ１０１に戻り、次回の取り出し操作の制約条件を改めて設定することになる。

なおステップＳ１０３において取り出し可能なワークが検出されなかった場合は、ステップＳ１０９に進んで所定の終了条件を満たしているかを判定する。満たしていなければステップＳ１０１に戻って制約条件の設定をやり直し、満たしていれば一連の取り出し操作は終了する。

次に、ステップＳ１０１で簡単に述べた制約条件について詳細に説明する。先ず図４に示すように、ある基準点Ｏから高さＨａの基準位置にワーク１４ａを配置して撮像を行い、上述の特徴モデルを作成し、ワーク１４ａの検出サイズＳａを記憶する。この操作は、一連の取り出し操作の前に予め行っておくことが好ましい。次に、直近に取り出した別のワーク１４ｂの取り出し直前の高さＨｂ（Ｈｂ＝Ｈａ＋ΔＨ）と、その高さ位置にあるときのワーク１４ｂのサイズＳｂとを検出結果記憶部２２ｄに記憶する。以降の手順については、制約条件としてワークの高さに関する情報を使用する場合とワークのサイズ情報を使用する場合との２つに大別される。以下、各々について説明する。

制約条件として高さに関する情報を使用する場合は、検出結果記憶部２２ｄに記憶されている直前に取り出されたワーク１４ｂの高さＨｂが、次の取り出し操作において検出すべきワークの高さとなる。ここで検出すべきワークの高さは、高さＨｂに適当なマージンを付与したある範囲の値（すなわち上限値及び下限値を有する）が用いられる。マージンは、ビデオカメラ２０から基準位置にあるワーク１４ａまでの距離（図４のＳＴ）に基づいて定められ、例えば距離ＳＴは１．５〜２ｍであり、マージンはＳＴの５〜１０％とされる。

図５は、制約条件としての高さの検出範囲の一例を表す図である。図２のステップＳ１０３で検出されたワークのうち最高高さＨｃ及び最低高さＨｄに位置するワークをそれぞれ１４ｃ及び１４ｄとする。ここでワーク１４ｃの高さＨｃにマージンＧを足した値を高さの上限値Ｈｈとし、ワーク１４ｄの高さＨｄからマージンＧ′を引いた値を高さの下限値Ｈｌとする。この場合、高さ範囲Ｈｌ〜Ｈｈが、次の取り出し操作の制約条件すなわち高さ方向のワーク検出範囲となる。ここで、マージンＧ及びＧ′は同じ値でもよいし異なっていてもよい。また１つのワーク（例えば直前に取り出されたワーク１４ｂ）の高さＨｂにマージンを足しかつ引いて検出範囲としてもよい。

なお、画像処理装置２２のワーク検出部２２ｂによるワークの検出では、検出に関する制約条件として、検出すべきワークのサイズの範囲を指定する必要がある。前述の内容に従えば、ワークの高さに関する情報を利用して検出すべきワークの高さの範囲を求めることができるので、これを検出すべきワークのサイズの範囲に換算して検出に関する制約条件として用いればよい。具体的には、ビデオカメラ２０で撮像されるワークのサイズは、ビデオカメラ２０からワークまでの距離に反比例する。従って図４を参考にすれば、制約条件としての高さの値（仮にＳＴ−ΔＨとする）を、以下の式を用いて、サイズの値（仮にＳｂとする）に換算することが可能である。
Ｓｂ ＝ Ｓａ・ＳＴ／（ＳＴ−ΔＨ）

上述した公知のステレオ視覚装置を使用した場合にもワークの高さ情報を得ることはできるが、既述のように複数の異なる視点から撮像した画像の検出結果の照合が必要である。本発明では、直近に取り出されたワークの高さ情報から取り出しに関する制約条件を設定するので、直近に取り出されたワークと高さのかけ離れたワークが取り出し対象として選定されてしまうことを容易に防止することができる。

また、撮像された画像中から検出可能な、最大及び最小のワークのサイズを基に求められる、ワークの高さ範囲の最高上限値Ｈhh及び最低下限値Ｈllを予め設定しておき、上限値Ｈｈが最高上限値Ｈhhを超えるか又は下限値Ｈｌが最低下限値Ｈllを下回る場合には、Ｈｈ又はＨｌの代わりにＨhh又はＨllを適用することもできる。

上述の場合では、直前に取り出された１つのワークすなわち直近のワークのみの高さにマージンを付与したものを検出範囲として使用するが、直近のワークから近い順に取り出された複数のワーク、すなわち直近のワークを含む所定回数分の取り出し操作によって得られたワークの高さ情報を用いて検出範囲を設定することもできる。具体的には、図３に示した各取り出し操作におけるワークの高さ情報から、直近のワークの検出結果（図３では検出結果Ｎ）を含みかつ検出結果Ｎから近い順に、予め定めた所定回数分のワークの高さ情報が用いられる。例えば所定回数が３に設定されていれば、検出結果Ｎ、Ｎ−１及びＮ−２の３つに含まれる高さ情報が使用される。この場合、例えば３つの高さの単純平均値、あるいは直近のもの程重みを大きくした加重平均値に上述のマージンを付与したものが検出範囲となる。

一方、制約条件としてワークのサイズ情報を利用する場合は、高さの場合と同様の考え方により、図４を用いて説明した直近のワーク１４ｂのサイズＳｂ、又は直近のワークを含む所定回数分の取り出し操作によって得られたワークのサイズの平均値若しくは加重平均値が、次の取り出し操作において検出すべきワークのサイズとして求められる。ここで検出すべきワークのサイズは、求められたサイズに適当なマージンを付与したある範囲の値（すなわち上限値及び下限値を有する）が用いられる。

上述するワーク１４ｂが何らかの理由で取り出せなかった場合には、取り出せなかったワーク１４ｂのサイズＳｂと、ワーク１４ｂの代わりに取り出し対象とされたワークのサイズ（仮にＳｃとする）の双方を、次の取り出し操作において検出すべきワークのサイズとして用いることができる。例えば次の取り出し装置において検出すべきワークのサイズは、取り出せなかったワーク１４ｂが検出されている限り、サイズＳｂに適当なマージンを付与した値を上限とし、Ｓｃに適当なマージンを付与した値を下限とした範囲の値となる。さらに前述の通り、直近のワークを含む所定回数分の取り出し操作によって得られたワークのサイズの平均値又は加重平均値をＳｃとして用いることもできる。

検出範囲を求める際に、直近のワークのみの高さ情報と、直近のワークを含む所定回数分の取り出し操作によって得られた複数のワークの高さ情報とのいずれを用いるか、さらに、ワークの高さ情報とサイズ情報とのいずれを用いるかは、ワークの形状やワークの積載状態等の種々のファクターに基づいて適切に選定される。例えば画像中から検出されるワークのサイズ情報が十分信頼性の高いものである状況ではサイズ情報を用いればよく、逆にそのサイズ情報の信頼性が低くかつ三次元視覚センサ２４によって求められるワークの高さ情報の方が比較的信頼性が高い状況では高さ情報を用いればよい。

なお本実施形態の説明において使用されるワークのサイズをワークのどの部位の寸法とするかについては種々の方法が考えられるが、例えば、ワークが基準位置に置かれた基本姿勢から傾いた場合であっても撮像画面上で変化しない寸法（すなわち傾斜軸に沿う寸法）をそのワークのサイズとする方法が好適である。このようにすれば、撮像されたデータにワークの傾斜による補正を加える必要がなく、より精度の高い検出が可能となる。

本発明に係るワーク取り出し装置の概略構成を示す図である。 ワーク取り出し操作の流れを示すフローチャートである。 ワークの検出結果の記憶形態を示す図である。 ワークとビデオカメラとの位置関係を簡略に示す図である。 ワークの検出における制約条件の設定方法を説明する図である。

符号の説明

１０ ワーク取り出し装置
１２ コンテナ
１４ ワーク
１６ ロボット
１８ ロボットコントローラ
２０ ビデオカメラ
２２ 画像処理装置
２４ 視覚センサ
２６、２７、３０ 通信回線
２８ 視覚センサ制御部

Claims (5)

1. 複数個の同種のワークの像を含む画像を用いて、ロボットによってワークを取り出すワーク取り出し装置であって、
   複数個のワークを撮像する撮像手段と、
   前記撮像手段を用いて予め定めたワークの特徴に基づいて、前記画像から前記ワークを検出するワーク検出部と、
   前記ワーク検出部によって検出されたワークのいずれか１つを取り出し対象として選定するワーク選定部と、
   前記ワーク選定部により選定されたワークを取り出すロボットと、
   前記ロボットによって取り出されたワークについての前記ワーク検出部による検出結果を記憶する検出結果記憶部と、
   前記検出結果記憶部に記憶されている検出結果を用いてワーク検出部による次回以降の検出についての制約条件を設定する制約条件設定部と、
   を備えることを特徴とするワーク取り出し装置。
2. 前記検出結果記憶部に記憶される検出結果が、直近に取り出されたワークについての検出結果である、請求項１に記載のワーク取り出し装置。
3. 前記検出結果記憶部に記憶される検出結果が、直近に取り出されたワークから近い順に取り出された、所定回数分のワークについての検出結果である、請求項１に記載のワーク取り出し装置。
4. 前記検出結果記憶部に記憶される検出結果が、前記撮像手段により撮像されたワークの像のサイズ情報であり、前記制約条件設定部は、次回の検出において前記ワーク検出部によって検出されるべきワークの像のサイズを、前記検出結果記憶部に記憶されたサイズに所定のマージンを付与して得られたサイズ範囲内に限定する、請求項１〜３のいずれか１項に記載のワーク取り出し装置。
5. 前記検出結果記憶部に記憶される検出結果がワークの高さ情報であり、前記制約条件設定部は、次回の検出において前記ワーク検出部によって検出されるべきワークの像のサイズを、前記検出結果記憶部に記憶された高さをワークの像のサイズに換算した値に所定のマージンを付与して得られた範囲内に限定する、請求項１〜３のいずれか１項に記載のワーク取り出し装置。

Images