JP2008246631A - 対象物取出装置 - Google Patents

Abstract

【課題】曲面形状を有するワークを、実用的な時間で検出して、取出す。
【解決手段】少なくとも一部に曲面的な形状を有する対象物を取出すためのロボットを含む対象物取出装置が、対象物の濃淡勾配分布モデルを記憶する記憶手段と、対象物の濃淡画像を撮像する撮像手段と、撮像手段により撮像された濃淡画像から濃淡勾配分布を抽出する勾配抽出手段と、勾配抽出手段により抽出された濃淡勾配分布と記憶手段により記憶された濃淡勾配分布モデルとに基づいて、濃淡画像における対象物の位置または位置姿勢を検出する対象物検出手段と、対象物検出手段により検出された位置または位置姿勢の情報をロボットに関する座標系における位置または位置姿勢の情報に変換する検出情報変換手段と、検出情報変換手段によって変換された位置または位置姿勢にロボットを移動させて対象物を取出すロボット移動手段と、を含む。
【選択図】図３

Description

本発明は、対象物、特に曲面形状を含むワークをロボットを用いて取出す対象物取出装置に関する。

近年では、乱雑に配置されている複数のワーク、つまりカゴまたはパレットにおいて位置決めされていない複数のワークを、産業用ロボットが取出すことが行われている。特許文献１には、多数の平面部位を備えていて輪郭や形状特徴が安定的に検出できる所謂多面体的なワークをカゴ等から取出すことが記載されている。

一方、曲面形状を含むワークにおいては、安定的に検出可能なテクスチャのような形状特徴が少ない。さらに、曲面形状を含むワークにおいては、照明その他の撮像条件によって曲面形状を含むワークの輪郭の見え方がバラつくという問題がある。このため、曲面形状を含むワークを検出するのは困難であり、そのようなワークを取出すためにロボットを導入する事例は比較的少ない。

例えば、特許文献２においては、輪郭線またはテクスチャに基づいて、曲面形状を含むワークの三次元モデルを構築してマッチングすることが行われている。

また、特許文献３においては、固有ベクトルを使用するアプローチに基づいて曲面形状を含むワークを認識する手法が提案されている。

さらに、特許文献４においては、レーザスリット光を走査して、またはメッシュ状に照射して、得られた反射光を用いることにより、曲面形状を含むワークの三次元形状を求めることが開示されている。この場合には、輪郭またはテクスチャを用いることなしに、三次元形状のモデルマッチングを行うことができる。
”Ｐｒａｃｔｉｃａｌ Ｂｉｎ Ｐｉｃｋｉｎｇ ｂｙ ｔｈｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔ，” Ｐｒｏｃ． ｏｆ ３６ｔｈ ＩＳＲ， ＴＨ３１１， ２００５ 特開２００５−１０２２号公報 特許第３２５２９４１号明細書 特開平１０−３１５１６７号公報

しかしながら、特許文献２に記載される手法では、ワークが検出可能な輪郭またはテクスチャを備えていない場合には、そのようなワークを検出することはできない。

また、特許文献３に記載される手法においては、背景と検出対象とを完全に分離できることを前提としている。このため、特許文献３に記載される手法は、複数のワークが互いに重なり合う状況には対応できない。さらに、特許文献２の場合と同様に、特許文献３の手法においてもテクスチャまたは輪郭が必要とされるので、単なる円柱のようなワークを正確に認識するのは難しい。

さらに、特許文献４に記載される手法においては、三次元形状データを求めるために複雑かつ高価な装置が必要になる。さらに、通常は三次元データを算出するために極めて膨大な計算処理が必要であるので、特許文献４に記載されるシステムを実用化するのは困難である。

本発明はこのような事情に鑑みてなされたものであり、テクスチャに乏しい、または輪郭が安定しない曲面形状のワークを、実用的な時間で検出して、取出すことのできる対象物取出装置を提供することを目的とする。

前述した目的を達成するために１番目の発明によれば、少なくとも一部に曲面的な形状を有する対象物を取出すためのロボットを含む対象物取出装置であって、前記対象物の濃淡勾配分布モデルを記憶する記憶手段と、前記対象物の濃淡画像を撮像する撮像手段と、前記撮像手段により撮像された前記濃淡画像から濃淡勾配分布を抽出する勾配抽出手段と、前記勾配抽出手段により抽出された前記濃淡勾配分布と前記記憶手段により記憶された前記濃淡勾配分布モデルとに基づいて、前記濃淡画像における前記対象物の位置または位置姿勢（位置および／または姿勢）を検出する対象物検出手段と、前記対象物検出手段により検出された前記位置または位置姿勢の情報を前記ロボットに関する座標系における位置または位置姿勢の情報に変換する検出情報変換手段と、前記検出情報変換手段によって変換された位置または位置姿勢に前記ロボットを移動させて前記対象物を取出すロボット移動手段と、を具備する対象物取出装置が提供される。

すなわち１番目の発明においては、対象物、例えばワークの濃淡画像から得られた濃淡勾配分布を濃淡勾配分布モデルと比較することにより対象物の位置または位置姿勢を決定するようにしている。このため、テクスチャに乏しい、または輪郭が安定しない曲面形状の対象物であっても対象物を迅速に検出して取出すことができる。

２番目の発明によれば、１番目の発明において、さらに、前記撮像手段により撮像された前記濃淡画像における前記対象物のエッジ情報を指定する指定手段と、該指定手段により指定された前記エッジ情報を前記濃淡画像から抽出するエッジ抽出手段とを具備し、前記記憶手段は前記対象物のエッジ情報モデルを記憶しており、前記対象物検出手段は、前記勾配抽出手段により抽出された前記濃淡勾配分布および前記エッジ抽出手段により抽出された前記エッジ情報と、前記記憶手段に記憶された前記濃淡勾配分布モデルおよび前記エッジ情報モデルとに基づいて、前記濃淡画像における前記対象物の位置または位置姿勢を検出するようにした。
すなわち２番目の発明においては、エッジ情報を併用することにより、対象物の位置または位置姿勢をより正確に検出することができる。

３番目の発明によれば、少なくとも一部に曲面的な形状を有する対象物を取出すためのロボットを含む対象物取出装置であって、前記対象物の距離勾配分布モデルを記憶する記憶手段と、前記対象物の距離画像を撮像する撮像手段と、前記撮像手段により撮像された前記距離画像から距離勾配分布を抽出する勾配抽出手段と、前記勾配抽出手段により抽出された前記距離勾配分布と前記記憶手段により記憶された前記距離勾配分布モデルとに基づいて、前記距離画像における前記対象物の位置または位置姿勢を検出する対象物検出手段と、前記対象物検出手段により検出された前記位置または位置姿勢の情報を前記ロボットに関する座標系における位置または位置姿勢の情報に変換する検出情報変換手段と、前記検出情報変換手段によって変換された位置または位置姿勢に前記ロボットを移動させて前記対象物を取出すロボット移動手段と、を具備する対象物取出装置が提供される。

すなわち３番目の発明においては、対象物、例えばワークの距離画像から得られた距離勾配分布を距離勾配分布モデルと比較することにより対象物の位置または位置姿勢を決定するようにしている。このため、テクスチャに乏しい、または輪郭が安定しない曲面形状の対象物であっても対象物を迅速に検出して取出すことができる。

４番目の発明によれば、３番目の発明において、さらに、前記撮像手段により撮像された前記距離画像における前記対象物のエッジ情報を指定する指定手段と、該指定手段により指定された前記エッジ情報を前記距離画像から抽出するエッジ抽出手段とを具備し、前記記憶手段は前記対象物のエッジ情報モデルを記憶しており、前記対象物検出手段は、前記勾配抽出手段により抽出された前記距離勾配分布および前記エッジ抽出手段により抽出された前記エッジ情報と、前記記憶手段に記憶された前記距離勾配分布モデルおよび前記エッジ情報モデルとに基づいて、前記距離画像における前記対象物の位置または位置姿勢を検出するようにした。
すなわち４番目の発明においては、エッジ情報を併用することにより、対象物の位置または位置姿勢をより正確に検出することができる。

５番目の発明によれば、１番目または３番目の発明において、さらに、前記ロボット移動手段によって前記ロボットを移動させた際に、前記ロボットが備えるハンドと前記対象物との間の位置誤差を吸収する位置誤差吸収手段を具備する。
すなわち５番目の発明においては、位置誤差を吸収することにより、対象物をより正確に把持して取出すことができる。位置誤差吸収手段としては、ロボットの特にハンドにフローティング機構を備えるようにしてもよく、またはロボットの関節動作を司るサーボ制御系を外力に対して柔軟にするようにしてもよい。

６番目の発明によれば、１番目の発明において、前記撮像手段が、該撮像手段と同軸化された平行光照明を備える。
すなわち６番目の発明においては、濃淡画像における濃淡パターンが撮像手段と対象物との間の相対姿勢のみに依存する状況を形成し、適切な濃淡画像を得ることができる。

７番目の発明によれば、１番目の発明において、さらに、前記濃淡勾配分布を勾配方向ごとに色分けして表示する表示手段を具備する。
すなわち７番目の発明においては、濃度勾配情報を表示することにより、対象物を検出する際に操作者の理解を補助することができる。

８番目の発明によれば、３番目の発明において、さらに、前記距離勾配分布を勾配方向ごとに色分けして表示する表示手段を具備する。
すなわち８番目の発明においては、距離勾配情報を表示することにより、対象物を検出する際に操作者の理解を補助することができる。

以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は、本発明の一つの実施形態に基づくワーク取出装置の全体構成を示す図である。 本発明のワーク取出装置１０は、以下で説明するロボット１、カメラ２、三次元視覚センサ３、照明４ａ、４ｂ、ハンド５およびフローティング機構５ａで構成される。図１に示されるロボット１は、公知のロボットマニピュレータ（以下、ロボット）である。ロボット１は、そのハンド５が取出作業を行う位置姿勢に到達することのできるあらゆる機構を含むものとする。

そのようなロボット１は、パレット７内に配置された同一形状の複数のワーク６を取出すのに用いられる。本発明のワーク取出装置により取出されるワークはテクスチャに乏しいか、あるいは輪郭が安定しない曲面形状を有している。図１には、代表的なワークとして、円柱型ワーク６が示されている。

図示されるように、ロボット１のハンド５の基端近傍には、ワーク６の位置姿勢を検出するためにカメラ２と三次元視覚センサ３とが取付けられている。カメラ２は、比較的広域のエリアを撮像して濃淡画像を取得するのに使用される。図１においては、カメラ２はロボット１のハンド５近傍に取付けられている。ただし、カメラ２をパレット上方のカメラ架台（図示しない）に固定するようにしてもよい。

三次元視覚センサ３は、単一のワーク６を捕捉できる視野を有するカメラ（図示しない）とレーザスリット投光器（図示しない）とから構成されている。三次元視覚センサ３は、レーザスリット投光器によりレーザが投光されている箇所の三次元位置を計測できる。さらに、三次元視覚センサ３は、所定の幾何学的形状を有するワーク６、例えば平面型または円柱型のワーク６の位置姿勢を計測することができる。

このような三次元視覚センサ３は公知であるので、詳細な説明を省略する。また、複数の二次元カメラから構成される三次元視覚センサも公知であり、そのような三次元視覚センサを本発明に適用してもよい。また、三次元視覚センサ３は、ロボット１の動作と組み合わせて、後述する距離画像を取得することもできる。

本発明においては、使用されるロボット１の数に制限は無く、例えばワーク６の位置姿勢を検出するロボットと、ワーク６の取出作業をおこなうロボットとを用いるようにしてもよい。さらに、図１に示されるように、単一のロボットがワーク６の検出および取出を行うシステムを構築することも可能である。

また、カメラ２と三次元視覚センサ３のカメラとは同種であり、これらはカラーカメラであってもモノクロカメラであってもよい。これらカメラが、カラーカメラである場合には、撮像された画像から特定の色情報を取出して、モノクロカメラと同じ処理を行うものとする。

ハンド５は、ワーク６の傾きに倣うようにしたフローティング機構５ａを備えている。このようなフローティング機構５ａはハンド５とワーク６との間の位置誤差を吸収する位置誤差吸収手段としての役目を果たす。また、ハンド５がそのようなフローティング機構５ａを備える代わりに、ロボット１の関節動作を司るサーボ制御系を外力に対して柔軟に構成してもよい。そのような構成においては、ハンド５が外力を受けた場合に、ロボット１の動作を停止させたり、外力に倣ってロボット１を動作させたりする。このようなサーボ制御は公知の技術であるので、説明を省略する。

さらに、図示されるように、照明４ａ、４ｂがカメラ２および三次元視覚センサ３にそれぞれ装着されている。後述するように、これら照明４ａ、４ｂは、カメラ２および三次元視覚センサ３のそれぞれの光軸上に同軸平行光照明となるように配置されている。

図２（ａ）は本発明に基づくワーク取出装置の機能ブロック図である。図２（ａ）に示されるように、ロボット１は、ロボット１の各部分を移動させるロボット移動手段１ａ、例えばサーボモータを備えている。図示されるように、ロボット１はロボット制御装置１１に接続されている。ロボット制御装置１１はデジタルコンピュータであり、ロボット１の種々の制御を行うものとする。

図示されるようにカメラ２および三次元視覚センサ３は画像処理装置１２に接続されており、画像処理装置１２はロボット制御装置１１に接続されている。ロボット１の動作教示はロボット制御装置１１に接続された教示操作盤１３により行われる。また、カメラ２および三次元視覚センサ３の設定は画像処理装置１２のユーザインターフェース（図示せず）を用いてそれぞれ行われる。また、ロボット１の状態は教示操作盤１３に表示され、三次元視覚センサ３の状態はモニタ１４に表示される。さらに、ロボット制御装置１１には、キーボード、マウス等の指定手段１８が接続されている。

また、図２（ｂ）は本発明に基づくワーク取出装置の他の機能ブロック図である。図２（ｂ）においては、画像処理装置１２がロボット制御装置１１に内蔵されている。図２（ｂ）においては、ロボット１の動作教示および三次元視覚センサ３の設定はともに教示操作盤１３により行われる。また、ロボット１の状態および三次元視覚センサ３の状態は教示操作盤１３に表示することができる。

さらに、カメラ２および三次元視覚センサ３の設定および状態の確認を容易にする目的で、通信インターフェースを介して補助入力装置１６およびモニタ１４を使用することもできる。なお、補助入力装置１６およびモニタ１４はロボット１の自動運転中に取外すことも可能である。

図３は画像処理装置の詳細図である。図３に示されるように、画像処理装置１２は、画像記憶手段３１とモデル記憶手段３２と検出リスト３３とを備えた記憶手段３０、例えばＲＡＭを含んでいる。さらに、図示されるように、ロボット制御装置１１は、勾配抽出手段３４、エッジ抽出手段３５、対象物検出手段３６、検出情報変換手段３７を含んでいる。これらについては後述する。

図３における画像記憶手段３１は、カメラ２および三次元視覚センサ３により撮像された画像を記憶することができる。モデル記憶手段３２は、予め定められたワーク６のモデル情報を記憶している。ワーク６のモデル情報は、ワーク６全体についての濃淡勾配分布および距離勾配分布を含んでいる。さらに、ワーク６のモデル情報は、例えばワーク６のテクスチャまたはワーク６における輪郭が明確な箇所を示すエッジ情報モデルも含んでいる。

図４は、本発明のワーク取出装置１０によりワークを取出す一連の流れを示すフローチャートである。図４に示されるように、はじめに、ロボット１のロボット移動手段１ａによって、カメラ２をパレット７上方に移動させる（ステップＳ１）。次いで、カメラ２によって、後述する広域計測を行い、それにより、ワーク６の大まかな位置姿勢を把握する（ステップＳ２）。

次いで、広域計測にて撮像された画像内にワーク６が検出されたかどうかを判断する（ステップＳ３）。そのような検出はロボット制御装置１１の対象物検出手段３６が後述するように行う。ステップＳ３において、ワーク６が検出されていない場合には、カメラ２をパレット上方に再度移動して、広域計測を行う（ステップＳ１０）。

一方、ステップＳ３においてワーク６が検出されている場合には、検出されたワーク６のうち最も上方に位置するワーク６を選択する。そのようなワーク６は、撮像された画像内において最も寸法の大きいワークである。そして、ロボット１のロボット移動手段１ａによって三次元視覚センサ３を選択されたワーク６近傍に移動する（ステップＳ４）。

次いで、三次元視覚センサ３のレーザスリット投光器からのレーザスリット光をワーク６に投射して狭域計測を行う（ステップＳ５）。その後、狭域計測によりワーク６が検出されたか否かを判断（ステップＳ６）する。ワーク６が検出されない場合には、ステップＳ５に戻り、ワーク６が検出されるまで処理を繰返す。

ステップＳ６においてワーク６が検出された場合には、ハンド５によりそのワーク６を把持する（ステップＳ７）。次いで、ハンド５の開閉程度から把持に成功したか否かを判断する（ステップＳ８）。ワーク６が適切に把持されている場合には、ステップＳ９に進んで、そのワーク６をパレット７から取出して処理を終了する。一方、ステップＳ８において、ワーク６が適切に把持できなかった場合には、カメラ２をパレット上方に再度移動して、広域計測を（ステップＳ１０）を行うようにする。

図５は、図４のステップＳ２における広域計測の一つの手法を示すフローチャートである。図５に示されるように、はじめに、カメラ２によってパレット７全体を上方から撮像する（ステップＴ１）。撮像された画像は画像記憶手段３１に記憶され、次いで、撮像した画像内においてワーク６を検出する範囲の濃淡勾配分布を算出する（ステップＴ２）。そのような濃度勾配分布の算出は後述する勾配抽出手段３４によって行われる。

次いで、勾配抽出手段３４により抽出された濃淡勾配分布のうち、モデルと比較するためのワーク候補領域を切出す（ステップＴ３）。その後、ステップＴ４において、切出されたワーク候補領域に対応するモデル候補領域をモデル記憶手段３２から取出す。そして、対象物検出手段３６によりワーク候補領域の濃淡勾配分布とモデル候補領域の濃淡勾配分布モデルとを比較して、両者のマッチングを行う。そして、スコア（マッチング度）が最大になるときのサイズと回転量とを求める（ステップＴ４）。

次いで、ステップＴ５において、得られたマッチング度が所定の閾値よりも大きいか否かを判定する。マッチング度が閾値よりも大きい場合には、検出条件を満足するものと判断できる。そのような場合には、前述したサイズと回転量とを記憶手段３０の検出リスト３３に記憶させる。さらに、検出情報変換手段３７によってサイズと回転量とをロボット１の座標系に変換し、その結果も検出リスト３３に記憶させる。

なお、検出情報変換手段３７によってロボット１の座標系への変換作業を行うために、カメラ２の画像上におけるワーク６の位置姿勢とロボット１の座標系におけるワーク６の位置姿勢とを関連付けるキャリブレーションデータが予め求められている。前述した変換作業はそのようなキャリブレーションデータに基づいて行われている。このような変換作業は公知であるので、詳細な説明を省略する。

その後、ワーク候補領域における全ての領域を探索したか否かを判断する（ステップＴ６）。未処理のワーク候補領域が存在する場合には、図示されるようにステップＴ３に戻って処理を繰返す。

ところで、ステップＴ４においてサイズと回転量とを決定する処理においては、Ｌｏｇ−Ｐｏｌ変換パターンが使用される。図６は、Ｌｏｇ−Ｐｏｌ変換パターンを説明するための図である。図６に示されるように、Ｌｏｇ−Ｐｏｌ変換パターンとはユークリッド座標系表現の濃淡パターンを横軸η、縦軸log(l)の極座標表現に変換したものである。

実際の検出で推定される５０％〜２００％程度のサイズの範囲で濃淡勾配パターンが拡大縮小した場合であっても、Ｌｏｇ−Ｐｏｌ変換パターンの形状はほとんど変化しない。このため、本発明においては、モデル記憶手段３２からのモデル候補領域とカメラ２の画像からのワーク候補領域の両方からＬｏｇ−Ｐｏｌ変換パターンを生成する。次いで、極座標空間内でこれらを平行移動させながら最も一致する位置を探索し、最も一致する位置の横軸の値から回転量を決定すると共に、縦軸からサイズを決定する。このように、本発明においてはワークのモデルの回転処理および相似変換処理が不要であるので、従来の場合と比較して高速な処理を行うことができる。

Ｌｏｇ−Ｐｏｌ変換パターンにおいては、特にサイズに関してＬｏｇスケールでのマッチングのために精度が十分でない事態が生じうる。このため、可能である場合には図５におけるステップＴ４に以下の処理を追加するのが好ましい。

すなわち、撮像された画像内のワーク６に明確な輪郭を含む箇所またはテクスチャが存在する場合には、操作者は、指定手段１８を用いて輪郭を含む箇所またはテクスチャをエッジ情報として画像上で指定する。次いで、ロボット制御装置１１のエッジ抽出手段３５が指定されたエッジ情報を画像から抽出する。そして、サイズのみを決定するためのパターンマッチングとして、モデル記憶手段３２からのエッジ情報モデルと指定されたエッジ情報とを対象物検出手段３６により比較して、両者のマッチングを行う。

このような処理は、既に位置と回転量とが定まっている状態で行われるマッチングであるので、処理時間が大幅に増大することはない。すなわち本発明においては、エッジ情報を併用することにより、処理時間を大幅に増大させることなしに、ワーク６の位置または位置姿勢をより正確に検出することが可能となる。

図７（ａ）はカメラにより撮像された画像の図であり、図７（ｂ）は図５のステップＴ２における勾配を説明するための図である。さらに、図８は、図５のステップＴ２における勾配の計算方法を示すフローチャートである。以下、これら図面を参照して、ステップＴ２の勾配の計算方法を説明する。

図７（ａ）に示される実施形態においては、カメラ２がワーク６を撮像して得られる画像２１は濃淡画像である。そして、画像２１における各画素の要素のそれぞれが輝度を示している。図示されるように、画像２１の上下方向をｘ方向、左右方向をｙ方向とする。画像２１における或る画素（ｘ、ｙ）の要素値をＩ（ｘ、ｙ）と表すと、画像の勾配２２は以下の式（１）により表される。
式（１）において、ΔＩは勾配の強度、λは勾配方向をそれぞれ示している。また、図７（ｂ）はそれらの関係を表している。

図８のフローチャートに示されるように、撮像した画像を縮小し、フィルタ処理を行い、その後、画像を拡大するようにしている。これにより、サイズの大きなフィルタを使用した場合と同等の効果を少ない計算コストで得ることが可能となる。

すなわち、図８のフローチャートにおいては、最初に画像を縮小し（ステップＰ１）、縮小した画像から勾配の乱れの原因となる斑点状のノイズを除去する（ステップＰ２）。次いで、ワーク間の細かな違いによる影響を低減するために、画像をぼかす（ステップＰ３）。その後、差分型空間フィルタを用いて画像の勾配２２を計算する（ステップＰ４）。そして、計算された勾配２２は基本的に連続しているという前提に立って、周囲とは勾配方向が異なる画素の勾配方向を修正する（ステップＰ５）。最終的に、画像を元のサイズまで拡大して（ステップＰ６）、処理を終了する。

前述した実施形態においては、カメラ２により得られる濃淡画像の処理について説明したが、三次元視覚センサ３によって得られる距離画像を同様に処理することにより画像の距離勾配を勾配抽出手段３４により求めるようにしてもよい。濃淡画像における各画素の値が明度を表すのに対し、距離画像における各画素の値は三次元視覚センサ３からの距離、または距離に関連した情報を表している。例えば、三次元視覚センサ３からの距離を、ロボットの座標系におけるＺ座標の値としてもよい。距離画像を用いる場合には、距離勾配分布をモデル記憶手段３２内の距離勾配分布モデルと比較すればよい。また、カメラ２がカラーカメラである場合は、撮像された画像から特定の色を抽出することによって、同様の手法で勾配の計算が可能である。

ここで、照明４ａ、４ｂが、カメラ２および三次元視覚センサ３のそれぞれの光軸上に同軸平行光照明として配置されていることについて説明する。図９は、光の強度を説明するための図である。図９に示すように、物体表面のある一点（観測点）から反射されて視界に入力される光の強度は以下の式２で表される。

式（２）における右辺の第一項は拡散反射成分であり、全方向へ均等に拡散される光を表している。この光によって物体の色が認識される。ここで、Ｋｄは拡散反射係数、θは光の入射方向と上記観測点における接平面の法線とがなす角度である。

式（２）における右辺の第二項は鏡面反射成分であり、その反射強度は物体の形状、光源の位置と強度、および視点（カメラ）の位置に応じて大きく異なる。ここで、Ｋｓは鏡面反射率係数である。αは観測点からの鏡面反射光の広がりを示す係数であり、ワークの表面粗さに依存する。φは光の入射方向と視点からの視線のなす角の２等分線と、接平面の法線とがなす角度である。

図１０に示されるように、ワーク６’を撮像するカメラ２’と光源４’とが別位置に配置されている場合を想定する。この場合には、前述した角度θがθ１でかつ角度φがφ１であるものとする。ワーク６’がカメラ２’に対して所定の姿勢を維持した状態でワーク６’とカメラ２’とがカメラ２’の視線上を矢印方向に相対移動すると、角度θはθ１からθ２まで変化すると共に角度φはφ１からφ２まで変化する。従って、式（２）から分かるように、ワーク６’上の同一観測点において異なる反射強度が観測されることになる。

このことは、カメラ２’とワーク６’との間の距離（以下、スタンドオフと呼ぶ）、および一般的には制御不能な光源４’とワーク６’との間の相対位置のそれぞれによってワーク６’の濃淡パターンが変化することを意味する。このような場合には、予め用意した濃淡パターンに基づいたワーク検出のためのモデルを任意のワーク６に対して一様に使用できない。

このため、本発明においては、図１１に示されるように照明４ａをカメラ２の光軸に対して平行に取付ける。この場合には、スタンドオフが変化したとしても角度θおよび角度φは変化しない。さらに、この場合には、照明４ａとワーク６との間の相対位置をどのように変化させたとしても少なくとも、角度θは変化しない。さらに、スタンドオフが十分に大きい場合には角度φも変化しない（φ≒θ）。すなわち、本発明においては、同軸平行光照明を使用することにより、濃淡パターンがカメラ２とワーク６との間の相対姿勢にのみ依存する状況を形成し、それにより、適切な濃淡画像を得ることが可能となる。同様に、照明４ｂを平行光照明として三次元視覚センサ３に設けるのが好ましい。

図１２（ａ）は勾配方向と色を対応させた表を示す図であり、図１２（ｂ）は計算した勾配方向の表示方法を説明する図である。算出された全ての勾配を矢印でベクトル表示する場合には隣接する矢印が互いに重なって表示画面が非常に見難くなる。それゆえ、数画素おきに勾配を表示することにより情報を間引いて表示する必要がある。

このため本発明においては、図１２（ａ）に示されるような勾配方向と色（濃淡の度合い）を対応させた表を予め作成する。そのような表は記憶手段３０に記憶されているものとする。そして、図１２（ｂ）に示されるように画像の各画素における勾配に対応する色を表から選択して表示する。これにより、画像内の全ての画素の勾配情報をモニタ１４の単一の画面に表示することが可能となる。

図１３は、図４のステップＳ５における狭域計測の一つの手法を示すフローチャートである。図１３に示されるように、三次元視覚センサ３を用いて、ワーク６の濃淡画像と、ワーク６にレーザスリット光を投射した画像とを取得する（ステップＱ１）。次いで、ワーク６の濃淡画像に対して広域計測と同様の処理を行ない、画像上における円柱状ワーク６の位置と回転量とを決定する（ステップＱ２）。

次いで、レーザスリット光を投射した画像と、円柱状ワーク６の位置および回転量に基づいて、ワーク６の表面に投射されたレーザスリット光のみを抽出するマスク画像を作成する（ステップＱ３）。次いで、マスク画像を用いてレーザスリット光を抽出してレーザ点列を取得し（ステップＱ４）、レーザスリット光の各輝点における三次元位置データを計算する（ステップＱ５）。

ワーク６が円柱型である場合には、三次元位置データに対して最小二乗法を行って円柱の位置姿勢を表すパラメータを決定する。次いで、公知の手法により、三次元視覚センサ３のキャリブレーションデータを使って、ロボット１の座標系におけるワーク６の位置姿勢を決定する（ステップＱ６）。

なお、ワーク６が円柱のように決まったパラメータの無い自由曲面を有する場合には、ステップＱ６において、三次元位置データから単に高さの平均値のみを算出する。そして、図４のステップＳ９でワーク６を取出すときには、ハンド５のフローティング機構５ａを用いて、ワーク６の傾き誤差と位置誤差とを吸収するようにしてもよい。これにより、ワーク６をより正確に把持して取出すことが可能となる。

前述した実施形態においては、モデル記憶手段３２は、ワーク６のモデル情報、例えば濃淡勾配分布等を記憶している。そのようなモデル情報は、ワーク６の取出作業を行う前に、カメラ２等で一つのワーク６を撮像して図８に示される処理を行うことにより取得するようにしてもよい。また、モデル記憶手段３２のモデル情報はワーク６のＣＡＤデータから得られるようにしてもよい。

本発明の一つの実施形態に基づくワーク取出装置の全体構成を示す図である。 （ａ）本発明に基づくワーク取出装置の機能ブロック図である。（ｂ）本発明に基づくワーク取出装置の他の機能ブロック図である。 画像処理装置の詳細図である。 ワークを取出す一連の流れを示すフローチャートである。 図４のステップＳ２における広域計測の一つの手法を示すフローチャートである。 Ｌｏｇ−Ｐｏｌ変換パターンを説明するための図である。 （ａ）カメラにより撮影された画像の図である。（ｂ）ステップＴ２における勾配を説明するための図である。 図５のステップＴ２における勾配の計算方法を示すフローチャートである。 光の強度を説明するための図である。 光源がワークに対して同軸平行照明として配置されていない場合を示す図である。 同軸平行光照明を説明するための図である。 （ａ）勾配方向と色を対応させた表を示す図である。（ｂ）計算した勾配方向の表示方法を説明する図である。 図４のステップＳ５における狭域計測の一つの手法を示すフローチャートである。

符号の説明

１ ロボット
１ａ ロボット移動手段
２ カメラ（濃淡画像のための撮像手段）
２’ カメラ
３ 三次元視覚センサ（狭域計測の撮像手段かつ距離画像のための撮像手段）
４ａ、４ｂ 照明
４’ 光源
５ ハンド
５ａ フローティング機構
６ ワーク
６’ ワーク
７ パレット
１０ ワーク取出装置
１１ ロボット制御装置
１２ 画像処理装置
１３ 教示操作盤
１４ モニタ
１６ 補助入力装置
１８ 指定手段
２１ 画像
２２ 勾配
３０ 記憶手段
３１ 画像記憶手段
３２ モデル記憶手段
３３ 検出リスト
３４ 勾配抽出手段
３５ エッジ抽出手段
３６ 対象物検出手段
３７ 検出情報変換手段

Claims (8)

1. 少なくとも一部に曲面的な形状を有する対象物を取出すためのロボットを含む対象物取出装置であって、
   前記対象物の濃淡勾配分布モデルを記憶する記憶手段と、
   前記対象物の濃淡画像を撮像する撮像手段と、
   前記撮像手段により撮像された前記濃淡画像から濃淡勾配分布を抽出する勾配抽出手段と、
   前記勾配抽出手段により抽出された前記濃淡勾配分布と前記記憶手段により記憶された前記濃淡勾配分布モデルとに基づいて、前記濃淡画像における前記対象物の位置または位置姿勢を検出する対象物検出手段と、
   前記対象物検出手段により検出された前記位置または位置姿勢の情報を前記ロボットに関する座標系における位置または位置姿勢の情報に変換する検出情報変換手段と、
   前記検出情報変換手段によって変換された位置または位置姿勢に前記ロボットを移動させて前記対象物を取出すロボット移動手段と、を具備する対象物取出装置。
2. さらに、前記撮像手段により撮像された前記濃淡画像における前記対象物のエッジ情報を指定する指定手段と、
   該指定手段により指定された前記エッジ情報を前記濃淡画像から抽出するエッジ抽出手段とを具備し、
   前記記憶手段は前記対象物のエッジ情報モデルを記憶しており、
   前記対象物検出手段は、前記勾配抽出手段により抽出された前記濃淡勾配分布および前記エッジ抽出手段により抽出された前記エッジ情報と、前記記憶手段に記憶された前記濃淡勾配分布モデルおよび前記エッジ情報モデルとに基づいて、前記濃淡画像における前記対象物の位置または位置姿勢を検出するようにした請求項１に記載の対象物取出装置。
3. 少なくとも一部に曲面的な形状を有する対象物を取出すためのロボットを含む対象物取出装置であって、
   前記対象物の距離勾配分布モデルを記憶する記憶手段と、
   前記対象物の距離画像を撮像する撮像手段と、
   前記撮像手段により撮像された前記距離画像から距離勾配分布を抽出する勾配抽出手段と、
   前記勾配抽出手段により抽出された前記距離勾配分布と前記記憶手段により記憶された前記距離勾配分布モデルとに基づいて、前記距離画像における前記対象物の位置または位置姿勢を検出する対象物検出手段と、
   前記対象物検出手段により検出された前記位置または位置姿勢の情報を前記ロボットに関する座標系における位置または位置姿勢の情報に変換する検出情報変換手段と、
   前記検出情報変換手段によって変換された位置または位置姿勢に前記ロボットを移動させて前記対象物を取出すロボット移動手段と、を具備する対象物取出装置。
4. さらに、前記撮像手段により撮像された前記距離画像における前記対象物のエッジ情報を指定する指定手段と、
   該指定手段により指定された前記エッジ情報を前記距離画像から抽出するエッジ抽出手段とを具備し、
   前記記憶手段は前記対象物のエッジ情報モデルを記憶しており、
   前記対象物検出手段は、前記勾配抽出手段により抽出された前記距離勾配分布および前記エッジ抽出手段により抽出された前記エッジ情報と、前記記憶手段に記憶された前記距離勾配分布モデルおよび前記エッジ情報モデルとに基づいて、前記距離画像における前記対象物の位置または位置姿勢を検出するようにした請求項３に記載の対象物取出装置。
5. さらに、前記ロボット移動手段によって前記ロボットを移動させた際に、前記ロボットが備えるハンドと前記対象物との間の位置誤差を吸収する位置誤差吸収手段を具備する請求項１または３に記載の対象物取出装置。
6. 前記撮像手段が、該撮像手段と同軸化された平行光照明を備える請求項１に記載の対象物取出装置。
7. さらに、前記濃淡勾配分布を勾配方向ごとに色分けして表示する表示手段を具備する、請求項１に記載の対象物取出装置。
8. さらに、前記距離勾配分布を勾配方向ごとに色分けして表示する表示手段を具備する、請求項３に記載の対象物取出装置。