JP5245938B2 - ３次元認識結果の表示方法および３次元視覚センサ - Google Patents

Description

本発明は、画像処理に基づく３次元計測により得た３次元情報を認識対象物の全体の３次元輪郭形状を表す３次元モデルと照合することにより、認識対象物の位置および姿勢を認識し、その認識結果を表示する方法、およびこの方法が適用される３次元視覚センサに関する。

たとえば製造現場でロボットに部品などを把持させる目的で３次元認識処理を行う場合には、ステレオカメラによる３次元計測により復元された３次元情報を、あらかじめ登録された認識対象物の３次元モデルと照合することで、認識対象物の位置や姿勢（具体的には３次元モデルに対する回転角度）を認識するようにしている（たとえば特許文献１を参照。）。

また、特許文献１および特許文献２に記載されているように、この種の３次元認識処理では、一般に、処理対象画像中のエッジを対象にして、３次元計測やモデルとの照合処理を実行する。

特開２０００−９４３７４号公報 特開平１０−２６９３６２号公報

出願人は、近年、汎用の３次元視覚センサを開発しているが、このような汎用の装置では、カメラの位置決め、キャリブレーション、３次元モデルの登録処理などの設定処理をユーザ自身が行う必要がある。さらに、３次元計測の計測条件についても、エッジの認定基準とする濃度勾配強度やノイズ除去の基準など、処理目的や認識対象物に応じて、ユーザ自身が設定を行う項目がある。

したがって、処理対象の画像から復元される３次元情報は、認識対象物の位置や姿勢によって異なるものになるほか、ユーザの設定した情報の内容によっても変動する。また、これらの設定情報の精度が悪い場合には、３次元情報が正しく復元されなかったり、ノイズの３次元情報が多く生じるなどして、３次元モデルとの照合にも誤りが生じるおそれがある。このため、汎用の３次元視覚センサには、設定内容が適切であるかどうかを容易に確認できるような機能を持たせる必要がある。

また認識結果の表示に関しても、認識された位置を示す座標や回転角度を表示するだけでは、ユーザにはわかりづらいため、認識結果を容易に確認できるような表示が求められている。

本発明は、上記の背景事情に基づき、設定された情報により３次元計測やモデルとの照合処理を適切に行うことができるか否かの確認や、この確認が終了した後の認識処理の結果を、容易に確認できるようにすることを、課題とする。

本発明は、所定の認識対象物を対象にした複数の撮像手段を用いたステレオ撮像により生成された複数の画像を用いた計測処理によって各画像に共通に現れたエッジの３次元情報を取得し、この３次元情報を認識対象物の全体の輪郭形状を表す３次元モデルと照合することにより認識対象物の位置および姿勢を認識した後に、その認識結果を表示する方法として、以下の第１ステップおよび第２ステップを実行することを特徴とする。

第１ステップでは、前記ステレオ撮像を行った複数の撮像手段のいずれか１つを対象として、計測処理により取得したエッジの３次元情報と、認識対象物につき認識された位置および姿勢に基づく座標変換がなされた３次元モデルとを、それぞれ対象の撮像手段の座標系に透視変換する。
第２ステップでは、透視変換により生成された認識対象物のエッジの投影像および３次元モデルの投影像を、両者を照合可能な態様によりモニタ装置に表示する。具体的に第２ステップでは、認識対象のエッジの投影像と３次元モデルの投影像とを表示対象の切り替えを指定する第１の切り替え操作に応じて交互に表示する表示制御、または両投影像を重ね合わせたものと認識対象物のエッジの投影像のみとを第１の切り替え操作に応じて交互に表示する表示制御を、透視変換の対象の撮像手段の切り替えを指定する第２の切り替え操作を受け付け可能な状態下で実行し、第２の切り替え操作が行われたとき、その操作に応じて再実行された第１ステップにより生成された認識対象物のエッジの投影像および３次元モデルの投影像によりモニタ装置の表示を切り替える。

上記の方法では、認識対象物のエッジの３次元情報および認識結果に基づく座標変換がなされた３次元モデルを、撮像を行った撮像手段の座標系に透視変換するので、これらの３次元情報を持つ物体を実際に撮像した場合に画像に生じる輪郭パターンと同様の見え方をする投影像を生成することができる。よってユーザは、認識対象物のエッジの投影像が表す輪郭パターンから、認識対象物のどの部位のエッジの３次元情報が復元されたかや、その復元の精度を確認することができる。また交互に切り替わる２種類の画像を照合したり、別の撮像手段の座標系に対する投影像に表示を切り替えて確認を行うことによって、計測されたエッジのどの箇所が３次元モデルに対応すると認識されたのかを確認し、３次元モデルによる認識結果が適切であるかどうかを判断することができる。

第２ステップにおいて、認識対象物のエッジの投影像と３次元モデルの投影像とを重ね合わせて表示する場合には、両者を色彩などにより区別できるようにするのが望ましい。
また、モニタ装置の投影像が表示される画面には、第１の切り替え操作用のボタンと第２の切り替え操作用のボタンとが表示されるようにしてもよい。

本発明による３次元視覚センサは、所定の認識対象物を対象にしたステレオ撮像を実行するために配置された複数の撮像手段と、各撮像手段により生成された複数の画像を用いた計測処理により各画像に共通に現れたエッジの３次元情報を取得する計測手段と、認識対象物の全体の輪郭形状を表す３次元モデルが登録される登録手段と、計測手段が取得した３次元情報を登録手段に登録された３次元モデルと照合することにより認識対象物の位置および姿勢を認識する認識手段とを具備する。さらに、この３次元視覚センサには、上記の表示方法を実施するための構成として、ステレオ撮像を行った複数の撮像手段のいずれか１つを対象として、計測手段が取得したエッジの３次元情報と、認識対象物につき認識された位置および姿勢に基づく座標変換がなされた３次元モデルとを、それぞれ対象の撮像手段の座標系に透視変換する透視変換手段と、この透視変換により生成された認識対象物のエッジの投影像および３次元モデルの投影像を、両者を照合可能な態様によりモニタ装置に表示する表示制御手段とが設けられる。表示制御手段は、モニタ装置の前記投影像が表示される画面に、表示対象の切り替えを指定する第１の切り替え操作用のボタンと、透視変換の対象の撮像手段の切り替えを指定する第２の切り替え操作用のボタンとを表示し、前記透視変換により生成された認識対象物のエッジの投影像と３次元モデルの投影像とを前記第１の切り替え操作に応じて交互に表示する表示制御、または両投影像を重ね合わせたものと認識対象物のエッジの投影像のみとを第１の切り替え操作に応じて交互に表示する表示制御を、第２の切り替え操作を受け付け可能な状態下で実行し、第２の切り替え操作が行われたとき、その操作に応じて前記透視変換手段が再実行した透視変換処理により生成された認識対象物のエッジの投影像および３次元モデルの投影像によりモニタ装置の表示を切り替える。

上記の３次元認識結果の表示方法および３次元視覚センサによれば、エッジの３次元情報の計測結果を示す画像と３次元モデルによる認識結果を示す画像とを、両者を照合可能な態様により表示するので、設定した情報の適否の確認や、認識結果の確認を容易に行うことが可能になり、３次元視覚センサの利便性が大幅に高められる。

３次元視覚センサが導入されたピッキングシステムの例を示す図である。 ３次元視覚センサの電気構成を示すブロック図である。 ３次元モデルの構成例を示す図である。 認識結果の表示画面の例を示す図である。 認識結果の表示に関する処理手順を示すフローチャートである。

図１は、３次元認識処理を適用したピッキングシステムの例を示す。
このシステムは、支持台４にバラ積みされた部品Ｗ（以下、「ワークＷ」という。）を１つずつ摘み上げて別の場所に運び、整列配置することを目的とするもので、ピッキング作業を行うロボット３、ステレオカメラ１を具備する３次元視覚センサ１００、ならびに図示しないロボットコントローラなどにより構成される。

ロボットは、先端にハンド部３１が設けられた多関節型のアーム部３０を具備するもので、アーム部３０やハンド部３１の動作はロボットコントローラからの制御信号により制御される。

ステレオカメラ１は、ロボット３の作業空間の上方に横並びに配置された３台のカメラＡ，Ｂ，Ｃにより構成される。これらのうち中央のカメラＡは、光軸を鉛直方向に向けた状態（すなわちワークＷの支持面４を正面視する状態）にして配備され、左右のカメラＢ，Ｃは、光軸を斜めにして配備される。

図２は、３次元視覚センサ１００の構成をブロック図により表したものである。
この実施例の３次元視覚センサ１００は、上記のカメラＡ，Ｂ，Ｃと認識処理装置２により構成される。認識処理装置２は、専用のプログラムが格納されたパーソナルコンピュータであって、各カメラＡ，Ｂ，Ｃが生成した画像中のエッジを対象にしたステレオ計測によりエッジの３次元情報を取得した後に、この３次元情報をあらかじめ登録された３次元モデルと照合することによって、ワークＷの位置および姿勢を認識する。

具体的に認識処理装置２の構成を説明すると、この装置には、各カメラＡ，Ｂ，Ｃに対応する画像入力部２０Ａ，２０Ｂ，２０Ｃ、カメラ駆動部２１、ＣＰＵ２２、メモリ２３、入力部２４、表示部２５、通信インターフェース２６などが含まれる。

カメラ駆動部２１は、ＣＰＵ２２からの指令に応じて、各カメラＡ，Ｂ，Ｃを同時に駆動する。これにより各カメラＡ，Ｂ，Ｃで生成された画像は、画像入力部２０Ａ，２０Ｂ，２０Ｃを介してＣＰＵ２２に入力される。

表示部２５は、液晶パネルなどによるモニタ装置であり、入力部２４には、キーボードやマウスなどが含められる。入力部２４や表示部２５は、キャリブレーション処理やワークＷの認識に必要な情報を設定する際に、設定情報を入力したり、作業を支援するための情報を表示する目的に使用される。通信インターフェース２６は、前出のロボットコントローラとの通信に用いられる。

メモリ２３は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、３次元モデルの作成、およびワークＷの３次元認識処理のためのプログラムや設定データが格納されている。

ＣＰＵ２２は、メモリ２３内のプログラムに基づき、キャリブレーション処理を実行して、３次元計測用のパラメータを導出し、メモリ２３内に登録する。簡単にキャリブレーション処理について説明すると、この実施例では、所定のキャリブレーションパターンが描かれたキャリブレーションプレート（図示せず。）を用いて、図１の支持プレート４の上面からの距離が高さを示すＺ座標となるようにワールド座標系を定義する。そして、キャリブレーションプレートの撮像および画像処理を複数サイクル実行して、カメラＡ，Ｂ，Ｃ毎に、３次元座標（Ｘ，Ｙ，Ｚ）と２次元座標（ｘ，ｙ）との組み合わせを複数組特定し、これらの座標の組み合わせを用いて、下記の変換式（（１）式）に適用する３行４列の透視変換行列を導出する。

上記の透視変換行列の各要素Ｐ_００，Ｐ_０１，・・・Ｐ_２３は、３次元計測用のパラメータとしてカメラＡ，Ｂ，Ｃ毎に求められ、メモリ２３内に登録される。この登録が完了することによって、ワークＷに対する３次元計測が可能な状態となる。

この実施例の３次元計測処理では、各カメラＡ，Ｂ，Ｃにより生成された画像からエッジを抽出した後に、各エッジを、連結点や分岐点を基準に「セグメント」と呼ばれる単位に分解し、各セグメントを画像間で対応づける。そして、対応づけられたセグメントの組毎に、上記のパラメータを用いた演算を実行することにより、３次元のセグメントを表す３次元座標の集合を導出する。以下、この処理を「３次元情報の復元」または「３次元情報の取得」という。

上記の３次元計測処理を行うために、この実施例では、各カメラＡ，Ｂ，Ｃが生成した画像からエッジを抽出する際の処理内容（たとえばエッジを抽出するための濃度勾配強度のしきい値）や、３次元セグメントの復元に関する処理内容（単位長さあたりのセグメントから抽出する３次元座標の数、短いセグメントを延長する場合の延長部分の長さ、計測後のノイズ除去処理の内容など）を設定する。これらの設定情報も、メモリ２３内の所定のエリアに登録される。

つぎに、復元された３次元情報からワークＷの位置および姿勢を認識するために、この実施例では、図３に示すような、ワークＷの全体の輪郭形状を表す３次元モデルＭを生成する。この３次元モデルＭは、キャリブレーションや上記の設定処理の終了後に、ワークＷの実物モデルを複数の方向から計測し、各計測により復元された３次元情報を統合することにより生成される。この３次元モデルＭには、複数のセグメントの３次元情報のほか、代表点として、重心などの代表点Ｏの３次元座標が含められる。
ただし、３次元モデルの生成方法は上記に限らず、ＣＡＤデータなどの設計データからワークＷの全体の輪郭形状を示す３次元モデルを生成することも可能である。

上記の３次元モデルＭに対する照合処理では、３次元計測により取得した３次元情報が示す特徴点（具体的には、セグメントの分岐点）と３次元モデルＭ側の特徴点とを総当たり式に対応づけて、両者間の類似度を算出する。そして類似度が最も大きくなったときの各特徴点の対応関係を正しい関係として特定し、このときに３次元モデルＭの代表点に対応した座標を、ワークＷの位置として認識する。またこの特定された関係になったときの３次元モデルＭの回転角度を、３次元モデルＭが示す基本の姿勢に対するワークＷの回転角度として認識する。この回転角度は、Ｘ，Ｙ，Ｚの軸毎に算出される。

さらに、この実施例では、種々の情報の設定が終了した時点で、設定された情報により実物のワークＷを用いて試験的な認識処理を実行し、その認識結果を確認するための画面として、図４に示すような２種類の画面を表示部２５に表示するようにしている。

図４（１）の画面には、３次元情報が復元されたエッジを表す画像が表示される（以下、この画像を「計測エッジ画像」という。）。この計測エッジ画像は、復元されたエッジの３次元情報を、カメラＡ，Ｂ，Ｃのいずれか１の座標系に透視変換することにより生成されたものである。

図４（２）の画面には、上記の計測エッジ画像に、認識結果に合わせて位置および姿勢が変更された３次元モデルの画像（以下、「３次元モデル画像」という。）を重ねて表示したものが表示される。この３次元モデル画像は、登録されている３次元モデル（図３参照）を認識結果に基づいて座標変換し、計測エッジ画像の生成に用いたのと同一のカメラ座標系に座標変換後の３次元モデルを透視変換することにより生成される。
なお、図４では、計測エッジ画像が示す輪郭パターンを実線で表し、３次元モデル画像が示す輪郭パターンを点線で表しているが、実際には両者は、それぞれ異なる色彩により表される。

さらに、図４（１）の画面の右下には、画面の表示を図４（２）の状態に切り替えるためのボタン５１と、透視変換の対象のカメラを切り替えるためのボタン５３とが設けられる。また図４（２）の画面の右下には、ボタン５２に代えて、画面の表示を図４（１）の状態に切り替えるためのボタン５２が設けられる。

よって、ボタン５１，５２の操作を繰り返せば、計測エッジ画像のみの表示（図４（１））と、計測エッジ画像と３次元モデル画像とを重ね合わせた表示（図４（２））とを、交互に表示することができる。また、ボタン５３を操作すると、現在表示中の投影像の生成に使用されたのとは異なるカメラが選択され、そのカメラの座標系への透視変換処理により生成された計測エッジ画像や３次元モデル画像に表示を切り替えることができる。

上記の計測エッジ画像は、３次元情報が復元されたエッジを、３次元計測に使用した処理対象画像（認識処理に使用されたワークＷの画像をいう。）の対応箇所に配置したものとなる。また３次元モデル画像は、認識された位置および姿勢で配置されているワークＷを撮像したときに画像中に現れるワークＷの輪郭線に相当する。

したがってユーザは、計測エッジ画像のみの表示（図４（１））から、ワークＷのどの部位のエッジの３次元情報が復元されたかや、その復元の精度を確認することができる。また計測エッジ画像と３次元モデル画像とを重ね合わせた表示（図４（２））により、復元された３次元情報に３次元モデルが正しく対応づけられたかどうかを確認することができる。

たとえば、図４の計測エッジ画像によれば、この例では、ワークＷの一部分のエッジの３次元情報が復元されているにすぎないが、計測エッジ画像には目立ったノイズがなく、また３次元モデル画像と重ね合わせた表示でも、両画像が精度良く対応づけられている。このような表示が行われた場合には、各種情報の設定に特段の問題はないと判断することができる。

これに対し、キャリブレーションの精度が悪かった場合や、計測処理に関する設定が適切でなかった場合には、ワークＷの輪郭形状が正しく反映されていない計測エッジ画像が生成されたり、計測エッジ画像に多数のノイズが生じる可能性がある。この場合には、計測エッジ画像と３次元モデル画像との対応関係も不適切なものになると考えられる。

図５は、上記の画面表示に関する一連の手順を示す。
この処理は、キャリブレーション、計測処理に関する設定、３次元モデルの登録処理などが終了した後に、ワークＷの試験的な認識処理を実行して、ワークＷの位置および回転角度を認識したときに開始される。

まず最初のステップＳＴ１では、メモリ２３に登録されている３次元モデルＭを、ワークＷにつき認識した位置および回転角度に基づいて座標変換する。具体的には、３次元モデルＭの代表点Ｏに関して登録されている座標に対し、ワークＷの代表点として認識された座標の位置ずれ量をＸ，Ｙ，Ｚの軸毎に求める。そして、これらの位置ずれ量と、３次元モデルに対するワークＷの回転角度として算出された角度（Ｘ，Ｙ，Ｚの軸毎の回転角度）とに基づき、同次座標変換の変換行列の各要素Ｔ_００，Ｔ_０１，・・・Ｔ_２３（下記の（２）式を参照）を決定し、この変換行列が設定された（２）式に３次元モデルに含まれる各点の座標をあてはめる。この演算による変換後の座標（Ｘｔ，Ｙｔ，Ｚｔ）による集合が、座標変換後の３次元モデルである。

つぎに、３台のカメラのうちのいずれかを選択する操作を受け付けて（ＳＴ２）、ワークＷに対する３次元計測により取得したエッジの３次元情報を、選択したカメラの座標系に透視変換する。これにより計測エッジ画像が生成される（ＳＴ３）。

つぎに、座標変換後の３次元モデルを選択したカメラの座標系に透視変換することにより、３次元モデル画像を生成する（ＳＴ４）。

なお、ＳＴ３，４の透視変換処理では、前出の（１）式を変形させた下記の（３）式を使用する（（３）式中の（Ｐ_２０Ｘ＋Ｐ_２１Ｙ＋Ｐ_２２Ｚ＋Ｐ_２３）の部分が（１）式のＳに相当する。）。すなわち、座標変換後の３次元モデルの各３次元座標を（Ｘ，Ｙ，Ｚ）に代入して（３）式の演算を実行することにより、変換後の座標（ｘ，ｙ）を取得する。

上記の透視変換処理により計測エッジ画像および３次元モデル画像が生成されると、まず計測エッジ画像のみを表示した画面（図４（１）に示したもの）を立ち上げる（ＳＴ５）。ここで画面の右下のボタン５１が操作されると（ＳＴ６が「ＹＥＳ」）、その操作に応じて、計測エッジ画像と３次元モデル画像とを重ね表示した画面（図４（２）に示したもの）に表示を更新する（ＳＴ７）。さらにこの表示画面のボタン５２が操作されると（ＳＴ９が「ＹＥＳ」）、計測エッジ画像のみの画面に表示を戻す（ＳＴ５）。

以下、同様に、画面を切り替える操作に応じて、２つの画面を交互に切り替えて表示する。また、いずれかの画面が表示されている状態下で、カメラの選択を切り替える操作が行われた場合（ＳＴ８またはＳＴ１０が「ＹＥＳ」）、この操作に応じてカメラの選択を切り替えて（ＳＴ１１）、新たに選択されたカメラの座標系に対する透視変換処理（ＳＴ３，ＳＴ４）を実行する。

以下、上記と同様の手順を実行することにより、計測エッジ画像のみの表示（ＳＴ５）と計測エッジ画像と３次元モデル画像とを重ね合わせた表示（ＳＴ７）とを、切り替え操作に応じて交互に切り替えて表示する。また、再度、カメラの選択を切り替える操作を受け付けた場合（ＳＴ８またはＳＴ１０が「ＹＥＳ」）には、新たに選択されたカメラの座標系に応じた計測エッジ画像および３次元モデル画像を生成し（ＳＴ３，４）、以下、同様に、これらの画像を表示する処理を実行する。

なお、各画像の表示の態様は図４の例に限らず、計測エッジ画像のみの表示と３次元モデル画像のみの表示とを、切り替えて表示したり、両者を並列表示してもよい。または、計測エッジ画像とモデル画像とを重ね合わせた表示のみを行ってもよい。

また、上記のいずれの表示においても、透視変換処理において選択されたカメラによる処理対象画像を一緒に表示してもよい。または、計測エッジ画像や３次元モデル画像が示す輪郭線の画像と処理対象画像とを重ね合わせて表示する画面と輪郭線の画像のみを表示する画面とを、切り替え操作に応じて交互に表示してもよい。このような表示によれば、ユーザは、計測結果や照合結果が処理対象画像に整合しているか否かの判断を速やかに行うことが可能になる。

さらに、上記の実施例では、ステレオカメラ１を構成する３台のカメラの中の１台の画像のみを表示したが、各カメラＡ，Ｂ，Ｃにつき生成した計測エッジ画像や３次元モデル画像を１つの画面に配置したものを表示してもよい。

また上記の実施例では、設定内容の適否を確認する目的で計測エッジ画像や３次元モデル画像の表示を行ったが、これに限らず、設定が適切であることを確認して本格的な認識処理を開始した後にも、その認識結果の確認のために同様の表示を行うとよい。このようにすれば、ユーザは、適宜、認識処理の適否や認識精度を確認することができ、利便性が高められる。

また上記図５の処理例では、最初に３次元モデルＭを認識結果に基づいて透視変換するステップ（ＳＴ１）を行っているが、その前の認識処理中の３次元モデルＭとの照合処理で求めた座標変換結果を保存している場合には、その保存データを用いることによって、ステップＳＴ１を省略することができる。

また、上記の実施例の３次元視覚センサ１００は、複数のカメラＡ，Ｂ，Ｃを用いたステレオ計測によりワークＷのエッジの３次元情報を取得するものであるが、これに限らず、たとえば光切断法に基づき２次元画像を処理することによって、画像中の屈曲点の３次元情報を取得してから３次元モデルとの照合を行うタイプの装置でも、上記実施例と同様の表示を行うことが可能である。

１００ ３次元視覚センサ
１（Ａ，Ｂ，Ｃ） ステレオカメラ
２ 認識処理装置
２２ ＣＰＵ
２３ メモリ
２５ モニタ装置（表示部）
Ｗ ワーク
Ｍ ３次元モデル

Claims (3)

1. 所定の認識対象物を対象にした複数の撮像手段を用いたステレオ撮像により生成された複数の画像を用いた計測処理によって各画像に共通に現れたエッジの３次元情報を取得し、この３次元情報を認識対象物の全体の輪郭形状を表す３次元モデルと照合することにより前記認識対象物の位置および姿勢を認識した後に、その認識結果を表示する方法であって、
   前記ステレオ撮像を行った複数の撮像手段のいずれか１つを対象として、前記計測処理により取得したエッジの３次元情報と、認識対象物につき認識された位置および姿勢に基づく座標変換がなされた３次元モデルとを、それぞれ対象の撮像手段の座標系に透視変換する第１ステップと、
   前記透視変換により生成された認識対象物のエッジの投影像および前記３次元モデルの投影像を、両者を照合可能な態様によりモニタ装置に表示する第２ステップとを実行し、
   前記第２ステップでは、前記認識対象のエッジの投影像と前記３次元モデルの投影像とを表示対象の切り替えを指定する第１の切り替え操作に応じて交互に表示する表示制御、または両投影像を重ね合わせたものと認識対象物のエッジの投影像のみとを前記第１の切り替え操作に応じて交互に表示する表示制御を、透視変換の対象の撮像手段の切り替えを指定する第２の切り替え操作を受け付け可能な状態下で実行し、第２の切り替え操作が行われたとき、その操作に応じて再実行された第１ステップにより生成された認識対象物のエッジの投影像および３次元モデルの投影像によりモニタ装置の表示を切り替える、ことを特徴とする、３次元認識結果の表示方法。
2. 前記第２ステップにおいて、前記モニタ装置の前記投影像が表示される画面に、前記第１の切り替え操作用のボタンと前記第２の切り替え操作用のボタンとを表示するようにした、請求項１に記載された３次元認識結果の表示方法。
3. 所定の認識対象物を対象にしたステレオ撮像を実行するために配置された複数の撮像手段と、各撮像手段により生成された複数の画像を用いた計測処理により各画像に共通に現れたエッジの３次元情報を取得する計測手段と、前記認識対象物の全体の輪郭形状を表す３次元モデルが登録される登録手段と、前記計測手段が取得した３次元情報を前記登録手段に登録された３次元モデルと照合することにより前記認識対象物の位置および姿勢を認識する認識手段とを具備する３次元視覚センサにおいて、
   前記ステレオ撮像を行った複数の撮像手段のいずれか１つを対象として、前記計測手段が取得したエッジの３次元情報と、認識対象物につき認識された位置および姿勢に基づく座標変換がなされた３次元モデルとを、それぞれ対象の撮像手段の座標系に透視変換する透視変換手段と、
   前記透視変換により生成された認識対象物のエッジの投影像および前記３次元モデルの投影像を、両者を照合可能な態様によりモニタ装置に表示する表示制御手段とを、さらに具備し、
   前記表示制御手段は、前記モニタ装置の前記投影像が表示される画面に、表示対象の切り替えを指定する第１の切り替え操作用のボタンと、透視変換の対象の撮像手段の切り替えを指定する第２の切り替え操作用のボタンとを表示し、前記透視変換により生成された認識対象物のエッジの投影像と前記３次元モデルの投影像とを前記第１の切り替え操作に応じて交互に表示する表示制御、または両投影像を重ね合わせたものと認識対象物のエッジの投影像のみとを前記第１の切り替え操作に応じて交互に表示する表示制御を、第２の切り替え操作を受け付け可能な状態下で実行し、第２の切り替え操作が行われたとき、その操作に応じて前記透視変換手段が再実行した透視変換処理により生成された認識対象物のエッジの投影像および３次元モデルの投影像によりモニタ装置の表示を切り替える、
   ことを特徴とする３次元視覚センサ。

Images