JP2010210586A - ３次元計測処理のパラメータの導出方法および３次元視覚センサ - Google Patents

Abstract

【課題】３次元計測の計測条件を表すパラメータを適切な適切な認識結果を出力するのに必要な値に設定する処理を、容易に行えるようにする。
【解決手段】ワークの実物モデルＷＭ１，ＷＭ２のステレオ画像を対象に、ユーザが設定した計測パラメータによる３次元計測を実行し、計測結果に基づきワークモデルＷＭ１，ＷＭ２の位置および姿勢を認識する。また認識結果を表す画像を表示し、ユーザの認識結果を選択する操作に応じて、選択された認識結果を示す数値データをサンプルデータに設定する。そして、計測パラメータの設定値を所定の数値範囲内で毎回変更して、設定された計測パラメータによる３次元計測および認識処理を実行し、サンプルデータとの相違量が所定値以内になる認識結果が得られたときに設定されたパラメータの数値範囲を合格範囲に設定する。そして合格範囲の中間値をパラメータの最適値として確定し、登録する。
【選択図】図８

Description

本発明は、画像処理による３次元計測を行って、その計測結果に基づき所定の認識処理を実行してその認識結果を数値データとして出力する３次元視覚センサに、３次元計測の計測条件を表すパラメータを設定する方法、およびこの方法が適用される３次元視覚センサに関する。

たとえば製造現場でロボットに部品などを把持させる目的で３次元認識処理を行う場合には、ステレオカメラによる３次元計測により復元された３次元情報を、あらかじめ登録された認識対象物の３次元モデルと照合することで、認識対象物の位置や姿勢（具体的には３次元モデルに対する回転角度）を認識するようにしている（たとえば特許文献１を参照。）。

また、この種の認識処理に関して、ステレオ画像中のエッジを「セグメント」と呼ばれる単位に分割し、セグメント単位でステレオ対応検索を行って、輪郭線の３次元情報を復元する方法（セグメントベーストステレオ法）が提案されている（非特許文献１を参照。）。

特開２０００−９４３７４号公報

「セグメントベーストステレオにおける連結性に基づく対応評価」 情報処理学会論文誌 ｖｏｌ．４０，Ｎｏ．８，３２１９−３２２９ページ，１９９９年８月発行

出願人は、近年、汎用の３次元視覚センサを開発しているが、このような汎用の装置では、カメラの位置決め、キャリブレーション、３次元モデルの登録などの設定処理をユーザ自身が行う必要がある。さらに、処理目的や認識対象物の特徴に応じて、計測条件を表す種々のパラメータをユーザ自身が設定する必要がある。

たとえば、ステレオ画像を用いた３次元計測では、一般に、計測対象として画像中のエッジを抽出するが、この場合には、対象物のエッジが精度良く抽出されるように濃度勾配強度のしきい値を設定する必要がある。またステレオ画像間の対応づけにより３次元座標を算出した後も、認識精度を高める目的で、特徴点の補完やノイズの除去などに関する種々の計測条件を設定する場合がある。

したがって、安定した認識を行うには、計測条件を表す各種パラメータを適切な値に設定する必要があるが、パラメータの最適値を見つけるには、パラメータの設定を変更しながら試験的な計測および認識処理を繰り返し行って、毎時の認識結果を確認する必要があり、ユーザの労力が多大なものになる。また、そのような作業によりユーザの負担を増大させると、装置の汎用性や利便性が損なわれてしまう。

本発明は、上記の問題点に着目し、３次元計測の計測条件を表すパラメータを適切な値に設定する処理を容易に行えるようにすることを、課題とする。

本発明による３次元計測処理のパラメータの導出方法は、所定の認識対象物を撮像手段により撮像し、この撮像により生成された認識対象物の画像を用いた３次元計測を実行し、３次元計測の結果に基づき所定の認識処理を実行してその認識結果を数値データとして出力する３次元視覚センサに適用される。この３次元視覚センサでは、数値データとして、たとえば認識対象物の位置を示す座標を出力する。また、認識対象物の位置を示す座標と姿勢を表す角度とを出力する場合もある。または、認識対象物の高さを示すＺ座標を出力する場合や、３次元モデルに対する認識対象物の一致度を出力する場合もある。

本発明では、これらの数値データが認識対象物に関する認識結果を表すものとなるように３次元計測の計測条件を表すパラメータを設定するために、以下の第１、第２、第３のステップを実行する。

第１ステップでは、撮像手段により認識対象物の実物モデルを撮像する処理と、パラメータを所定の値に設定する操作を受け付ける処理とを実行した後に、撮像により生成された実物モデルの画像を用いて受け付けた設定値によるパラメータに基づく３次元計測および認識処理を実行し、認識結果を示す情報を表示する。

第２ステップでは、表示された認識結果を採用する旨の操作が行われたとき、当該認識結果を示す数値データをサンプルデータに設定すると共に、第１ステップで設定されたパラメータの値を含む所定の数値範囲内でパラメータの設定値を毎回変更して、設定されたパラメータにより実物モデルの画像を用いた３次元計測を実行するステップＡと、この３次元計測の結果に基づく認識処理を実行して、その認識結果を示す数値データを上記のサンプルデータと照合するステップＢとを複数サイクル実行することによって、サンプルデータに対する相違量が所定値以内となる数値データが得られる間に設定されるパラメータの数値範囲を特定する。

第３ステップでは、第２ステップで特定された数値範囲において、当該範囲の上限値および下限値からそれぞれ所定の距離を隔てた位置にある数値を、３次元視覚センサのメモリ内に登録する。

上記の方法によれば、ユーザが自身の判断でパラメータを設定すると、そのパラメータによる３次元計測と認識処理とが実行されて、認識結果を示す情報が表示される。この表示によりユーザが妥当な認識結果が得られたと判断して、この認識結果を採用する旨の操作を行うと、当該認識結果を示す数値データがサンプルデータに設定され、ユーザの設定した値を含む所定の数値範囲内にある複数の値をそれぞれパラメータとして、３次元計測および認識処理が実行され、サンプルデータに対する相違量が所定値以内となる数値データが得られる間に設定されるパラメータの数値範囲が特定される。そして、この数値範囲の中の上限値および下限値からそれぞれ所定の距離を隔てた位置にある数値がパラメータとして３次元視覚センサのメモリ内に登録される。

ユーザにより設定されるパラメータは、最適なものとは限らず、適切でない値に近いものが設定されている可能性もある。しかし、上記の方法では、設定されたパラメータによる３次元計測および認識処理の結果を表示して、認識結果が妥当であることをユーザに確認させてから、当該認識結果を示す数値データをサンプルデータに設定するので、第２ステップにより特定される数値範囲を、サンプルデータと同様の妥当な認識結果を得ることができるパラメータの値を示すものにすることができる。

よって、ユーザによる設定のばらつきに左右されることなく、認識処理に適したパラメータの範囲を特定することができる。さらに、特定された範囲において、当該範囲の上限値および下限値からそれぞれ十分に離れた位置にある値を登録することによって、認識に適さない数値に近い値がパラメータとして登録されるのを防止することができる。したがって、登録されたパラメータにより安定した３次元計測を行うことができ、これにより認識結果として出力される数値データの信頼度を確保することができる。

上記の方法の好ましい態様では、第１ステップでは、３次元計測の計測条件を表す複数のパラメータにそれぞれ所定の値を設定して、実物モデルの画像に対する３次元計測および認識処理を実行した後に、認識結果を示す情報を表示する。また第２ステップでは、表示された認識結果を採用する旨の操作に応じて、当該認識結果を示す数値データをサンプルデータに設定すると共に、複数のパラメータにそれぞれ第１ステップにおける設定値を含む所定の数値範囲を設定して、これらの数値範囲内で各パラメータの値の組み合わせを毎回変更し、各パラメータの設定値の組み合わせに基づき実物モデルの画像を用いた３次元計測を実行するステップＡと、この３次元計測の結果に基づく認識処理を実行して、その認識結果を示す数値データをサンプルデータと照合するステップＢとを複数サイクル実行することによって、パラメータ毎にサンプルデータに対する相違量が所定値以内になる数値データが得られる間に設定される当該パラメータの数値範囲を特定し、特定された数値範囲毎に第３ステップを実行する。

上記の態様によれば、計測条件を表すパラメータを複数設定する必要がある場合にも、それぞれのパラメータ毎に、好ましい値のパラメータを３次元視覚センサに登録することが可能になる。

上記の方法の他の好ましい態様では、認識処理として、３次元計測により復元された３次元情報をあらかじめ登録された認識対象物の３次元モデルと照合することにより、認識対象物の位置を表す座標、および３次元モデルに対する認識対象物の回転角度を数値データとして算出する処理を実行する。この場合の第１ステップでは、実物モデルの画像を用いた３次元計測処理により復元された３次元情報に対して上記の認識処理を実行するステップと、この認識処理により算出された座標および回転角度に基づき認識対象物の３次元モデルを座標変換するステップと、座標変換後の３次元モデルを撮像手段の座標系に透視変換して、この透視変換により生成された３次元モデルの投影像を実物モデルの画像に重ね合わせて表示するステップとを実行する。

上記の態様によれば、実物モデルにつき認識した位置および回転角度に基づいて３次元モデルを撮像手段の座標系に透視変換し、この透視変換により生成された３次元モデルの投影像を、実物モデルの画像に重ね合わせて表示するので、ユーザは、表示された各画像の一致度合から認識結果の精度を容易に判断することができる。

本発明による３次元視覚センサは、認識対象物を撮像するための撮像手段と、この撮像手段により生成された認識対象物の画像を用いた３次元計測を実行し、３次元計測の結果に基づき所定の認識処理を実行してその認識結果を数値データとして出力する認識処理手段と、３次元計測を実行する際の計測条件を表すパラメータを認識処理手段に登録する登録処理手段とを具備する。さらにこの３次元視覚センサには、以下の設定受付手段、仮認識実行手段、サンプルデータ設定手段、数値範囲特定手段、登録値特定手段、の各手段が設けられる。

設定受付手段は、パラメータの値を設定する操作を受け付けるためのものである。仮認識実行手段は、設定受付手段が受け付けたパラメータの設定値を認識処理手段に与えて、撮像手段により生成された認識対象物の実物モデルの画像を対象にした３次元計測およびその計測結果に基づく認識処理を実行させ、認識結果を示す情報をモニタ装置に表示する。サンプルデータ設定手段は、仮認識実行手段により表示された認識結果を採用する旨の操作を受け付けて、この認識結果を示す数値データをサンプルデータとして設定する。

数値範囲特定手段は、サンプルデータに設定した認識結果を得たときのパラメータの設定値を含む所定の数値範囲内でパラメータの設定値を毎回変更して、設定されたパラメータにより実物モデルの画像を用いた３次元計測を実行するステップＡと、この３次元計測の結果に基づく認識処理を実行して、その認識結果を示す数値データをサンプルデータと照合するステップＢとを複数サイクル実行することによって、サンプルデータに対する相違量が所定値以内になる数値データが得られる間に設定されるパラメータの数値範囲を特定する。登録値特定手段は、数値範囲特定手段により特定された設定値の範囲において、当該範囲の上限値および下限値からそれぞれ所定の値を隔てた位置にある数値を、認識処理手段に登録するパラメータとして特定する。

上記の構成によれば、ユーザが、認識対象物の実物モデルに関して妥当な認識結果を得ることができるようなパラメータを設定して、実物モデルを撮像することにより、前出の第１ステップ、第２ステップ、第３ステップが実行され、安定した認識処理を行うのに適した値のパラメータを認識処理手段に登録することができる。

なお、上記の３次元視覚センサは、撮像手段を複数のカメラより成るステレオカメラとし、計測手段を、上記のステレオカメラにより生成されたステレオ画像を用いて３次元計測を行うように構成するのが望ましい。ただしこれに限らず、撮像手段を１台のカメラにより構成し、スリット光やスポット光の走査下で生成された画像を用いた３次元計測を行うことも可能である。

上記の３次元計測処理のパラメータの設定方法および３次元視覚センサによれば、３次元計測の計測条件を表すパラメータについて、認識対象物を正しく認識するのに適した値を容易に設定することが可能になり、安定した出力を行うことができる。また、好ましい値のパラメータを自動的に導出して登録することができるので、ユーザに負担をかけることがなく、３次元視覚センサの利便性を高めることができる。

３次元視覚センサの電気構成を示すブロック図である。 ３次元視覚センサが実行する認識処理の概略手順を示すフローチャートである。 特徴点の補完処理を説明する図である。 エッジレベルの設定時に表示される画像の例を示す図である。 頂点抽出レベル、頂点除去レベルの設定時に表示される画像の例を示す図である。 計測パラメータの最適化処理のための作業画面の例を示す図である。 計測パラメータの最適化処理のための作業画面の例を示す図である。 計測パラメータの最適化処理のための作業画面の例を示す図である。 計測パラメータの最適化処理の手順を示すフローチャートである。 計測パラメータの合格範囲および最適値の導出に関する処理手順を示すフローチャートである。

図１は、３次元視覚センサの構成をブロック図により表したものである。
この３次元視覚センサ１００は、ステレオカメラを構成する３台のカメラＡ，Ｂ，Ｃと、認識処理装置２とにより構成される。認識処理装置２は、専用のプログラムが格納されたパーソナルコンピュータであって、各カメラＡ，Ｂ，Ｃが生成した画像中のエッジを対象にしたステレオ計測によりエッジの３次元情報を取得した後に、この３次元情報をあらかじめ登録された３次元モデルと照合することによって、認識対象物の位置および姿勢を認識する。

具体的に認識処理装置２には、各カメラＡ，Ｂ，Ｃに対応する画像入力部２０Ａ，２０Ｂ，２０Ｃ、カメラ駆動部２１、ＣＰＵ２２、メモリ２３、入力部２４、表示部２５、通信インターフェース２６などが含まれる。

カメラ駆動部２１は、ＣＰＵ２２からの指令に応じて、各カメラＡ，Ｂ，Ｃを同時に駆動する。これにより各カメラＡ，Ｂ，Ｃで生成された画像は、画像入力部２０Ａ，２０Ｂ，２０Ｃを介してＣＰＵ２２に入力される。

表示部２５は、液晶パネルなどによるモニタ装置であり、入力部２４には、キーボードやマウスなどが含められる。入力部２４や表示部２５は、キャリブレーション処理や、後記するパラメータなどを設定する際に、設定情報を入力したり、作業を支援するための情報を表示する目的に使用される。通信インターフェース２６は、外部装置との通信に用いられる。

メモリ２３は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むものである。このメモリ２３には、３次元計測を含む認識処理やこの認識処理のための種々の設定処理に関わるプログラムが格納される。なお、この実施例では、認識処理の対象となる３次元情報を、セグメントベーストステレオ法に基づく計測により取得するようにしている。

さらにメモリ２３には、各カメラＡ，Ｂ，Ｃのカメラ座標系とワールド座標系との関係を表すカメラパラメータ（具体的には下記の（１）式中の変換行列を構成する１２個の要素Ｐ_００，Ｐ_０１，・・・Ｐ_２３）のほか、計測条件を表すパラメータ（以下、「計測パラメータ」という。）や３次元モデルが登録される。

上記のカメラパラメータは、所定のパターンが描かれたキャリブレーションプレートを用いたキャリブレーション作業によって、カメラＡ，Ｂ，Ｃ毎に導出される。計測パラメータや３次元モデルは、カメラパラメータが登録された後に、各カメラＡ，Ｂ，Ｃにより生成された認識対象物の実物モデルの画像（以下、個々のカメラによる画像を「モデル画像」といい、３つのモデル画像を合わせたものを「モデルステレオ画像」という。）を用いて、設定または作成される。

以下、上記構成の３次元視覚センサ１００を、工場内のピッキング用ロボットに把持させる部品の位置や姿勢を認識する用途に使用する例について、詳細に説明する。
図２は、認識対象の部品（以下、「ワーク」という。）を認識する処理の概略手順を示す。この処理では、まずカメラＡ，Ｂ，Ｃによるステレオ撮像を実行する（ＳＴ１）。

つぎに、生成された各画像からエッジを検出する（ＳＴ２）。具体的には、処理対象の画像にエッジ抽出用フィルタを適用して、画素毎に濃度勾配強度を算出し、算出された濃度勾配強度が所定のしきい値を上回る画素をエッジの構成画素として検出する。

つぎに検出されたエッジを細線化し（１画素幅のデータにする。）、細線化後のエッジを連結点や分岐点を基準に直線や曲線のセグメントに分割する（ＳＴ３，４）。この２次元画像上のエッジから抽出されたセグメントを、以下では「２次元セグメント」と呼ぶ。

つぎに、画像間で対応関係にある２次元セグメントを対応づける処理を実行する（ＳＴ５）。具体的には、３つの画像のうちの１つを基準画像として、この基準画像の各２次元セグメントに順に着目し、着目した２次元セグメントにつき、エピポーラ条件を満たすこと、および近傍のセグメントとの連結関係が着目中の２次元セグメントに整合することを条件として、他の２つの画像において条件を満たす２次元セグメントを探索する。この探索処理により、２つの画像で、ともに条件を満たす２次元セグメントが検出された場合には、これらを着目中の２次元セグメントに対応づける。
なお、各画像間での対応づけがなされなかった２次元セグメントは、以下の処理の対象から除外される。

上記の対応づけ処理が完了すると、ＳＴ６に進み、対応づけられた２次元セグメントの組み合わせ毎に、３次元情報を復元する処理を実行する。この復元された３次元情報により表される３次元のセグメントを、以下では「３次元セグメント」という。

ここで１つの３次元セグメントの３次元情報を復元する処理について説明する。
まず、対応づけられた２次元セグメント間で、さらに画素単位の対応づけを実行し、対応づけられた画素の組毎に３次元座標を算出する。つぎに、各組につき算出された３次元座標が円弧を表すものとして、その円弧の半径を算出し、この半径が所定のしきい値以上であれば、処理中の３次元セグメントの種別を「直線」に設定する。一方、円弧の半径がしきい値を下回る場合には、処理中の３次元セグメントの種別を「曲線」に設定する。

さらに、設定した種別に基づき、各３次元座標の分布パターンに近似する直線または曲線を設定し、これをあらかじめ設定された間隔毎にサンプリングする。そして、設定されたセグメントの種別（直線または曲線）と各サンプリング点の３次元座標による集合とを対応づける。この対応づけによって、３次元セグメントが完成する。

３次元情報を復元する処理が終了すると、つぎのＳＴ７では、復元された３次元情報を補正するために、特徴点の補完およびノイズの除去処理を行う。
特徴点の補完処理では、図３に示すように、直線の３次元セグメントのうち他の３次元セグメントと連結していない端縁を有するもの（この例では３次元セグメントＬ１，Ｌ２）を対象に、その連結のない端縁を所定の上限値までの範囲で延長する。ここで、延長された部分（たとえばセグメントＬ１の延長部分）が、他のセグメントＬ２またはそのセグメントＬ２の延長部分と交わった場合には、その交点Ｐを特徴点として、その３次元座標を算出する。

上記の処理によれば、復元された３次元情報には存在しなかった頂点について、その３次元座標を補完することが可能になる。ピッキング処理のための３次元認識では、バラ積みされたワークなど、一部分の３次元セグメントしか取得できないワークを認識対象とすることが多いため、この特徴点の補完処理は、認識精度を高めるのに有用である。

しかし、元々の長さが短い３次元セグメントに対して上記の補完処理が行われると、頂点以外の場所に特徴点が設定される可能性がある。そこで、ノイズの除去処理では、上記の特徴点の補完処理が行われたセグメントのうち、延長される前のセグメントの長さが所定のしきい値を下回るものを、補完された特徴点とともに除去する。

この後は、補正後の３次元情報をあらかじめ登録された３次元モデルと照合することによって、ワークの位置および姿勢を認識する（ＳＴ８）。この処理についても、以下に具体的に説明する。

３次元モデルには、ワークの全体の輪郭形状を表す複数の３次元セグメントと、重心などの代表点の座標が含められる。ＳＴ８では、各３次元セグメントの交点を特徴点として、３次元モデル側の各特徴点と照合対象の３次元情報における各特徴点とを総当たり式に対応づけながら、３次元モデルに対する照合対象の情報の一致度を算出する。そして、所定の基準値を超える一致度が得られたときの対応づけを正しいものとして、その一致度を保存するとともに、そのとき３次元モデルの代表点に対応づけられていた座標を、ワークの位置として特定し、また、このときの３次元モデルの回転角度を、ワークの姿勢として特定する。

上記の認識処理が終了すると、認識結果を表す数値データ、すなわちワークの位置を表す座標およびワークの姿勢を表す回転角度を、通信インターフェース２６より出力する。この出力データは、図示しないロボットコントローラに与えられて、ピッキング用ロボットの動作制御に使用される。

なお、ＳＴ８では、３次元モデルに対する一致度が基準値を超える対応づけが複数見つかった場合には、それぞれの対応づけ毎に、座標および回転角度を特定する。よって、複数のワークを対象にステレオ計測が実施された場合でも、各ワークをそれぞれ個別に認識することが可能になる。

上記の認識処理の精度を確保するには、精度の良い３次元モデルを登録するほか、ワークの輪郭形状を正しく反映した３次元情報が復元されるような計測パラメータを設定する必要がある。この点につき、本実施例の３次元視覚センサでは、各種計測パラメータをユーザの手操作に応じて設定した後に、ワークのステレオモデル画像を用いて各パラメータをより好ましい値に調整する処理（以下、これを「パラメータの最適化処理」という。）を実行するようにしている。

以下、エッジ検出処理（図３のＳＴ２）に用いられる濃度勾配強度のしきい値、特徴点の補完処理（図３のＳＴ７）のために３次元セグメントを延長する場合の延長部分の長さの上限値、およびノイズ除去処理（図３のＳＴ７）の対象とする３次元セグメントの最大の長さを、具体的な計測パラメータの例として、ユーザによるパラメータの設定処理およびパラメータの最適化処理を詳細に説明する。

この実施例では、ワークの実物モデル（以下、「ワークモデル」という。）を撮像することにより生成されたモデル画像またはステレオモデル画像を、ユーザが設定した計測パラメータに基づき処理して、その処理結果を表示部２５に表示し、さらにこの表示状態下でも、パラメータを変更する操作を受け付けるようにしている。よってユーザは、適切な処理結果が表示されるまでパラメータを調整することで、ワークの認識に適した３次元情報を復元することができる。

図４は、エッジ検出処理に用いられる濃度勾配強度のしきい値（以下、「エッジレベル」という。）を設定する際の表示の例を示す。
この表示は、ワークモデルＷＭ１を対象にした撮像により生成されたモデル画像（カメラＡ，Ｂ，Ｃのいずれかによるもの）をベースにして、ユーザが設定したエッジレベルに基づいてこのモデル画像から検出したエッジを、所定の色彩の線画（図４では、極太線により表現する。）としてモデル画像に重ね表示したものである。

図４（１）は、エッジレベルが適切でない場合の表示例であって、ワークモデルＷＭ１の輪郭を表すエッジのほかに、周囲の影などに起因するノイズのエッジが多数現れている。これに対し、図４（２）の例では、ノイズが消失し、ワークモデルＷＭ１の輪郭の主要な部分を表すエッジのみが表示された状態になっている。

この実施例のエッジレベルの設定作業では、まずある程度のノイズが生じる状態（図４（１））になるようにエッジレベルを設定した後に、エッジレベルを徐々に上げて、背景のノイズが消失する状態の表示（図４（２））になるまでエッジレベルを調整する。また各カメラＡ，Ｂ，Ｃによるモデル画像毎にこの設定を行うようにしている。

図５は、３次元セグメントを延長する処理における延長部分の最大の長さ、およびノイズとして削除される３次元セグメントの最大の長さを設定する際の表示の例を示す。なお以下では、これらの計測パラメータによる処理がワークの頂点を抽出することを目的とする点に鑑み、３次元セグメントの延長部分の最大長さを「頂点抽出レベル」といい、削除する３次元セグメントの最大の長さを「頂点除去レベル」という。

図５に示す表示は、同形状の２つのワークモデルＷＭ１，ＷＭ２のモデル画像に、エッジを表す線画や３次元セグメントの延長処理により補完された特徴点Ｐ１〜Ｐ８が重ね表示されている。ただし、ここに表示されているエッジは、図４の例とは異なり、３次元セグメントを表現するものである。すなわち、２次元セグメントから復元された３次元セグメントを、頂点抽出レベルおよび頂点除去レベルにより処理し、処理後の３次元セグメントを表示中のモデル画像に対応するカメラの座標系に透視変換することにより生成された投影像に相当する。特徴点Ｐも同様に、３次元座標の透視変換の結果に基づいて設定されたものである。また、３次元セグメントのうち、延長された部分（破線の部分）は、通常の計測により復元された部分とは異なる色彩により表される。

この透視変換処理では、前出の（１）式を変形させた下記の（２）式を使用する（（２）式中の（Ｐ_２０Ｘ＋Ｐ_２１Ｙ＋Ｐ_２３Ｚ＋Ｐ_２３）の部分が（１）式中のＳに相当する。）。すなわち、３次元セグメントの各３次元座標を（Ｘ，Ｙ，Ｚ）に代入して（２）式の演算を実行することにより、変換後の座標（ｘ，ｙ）を取得する。

よって、頂点抽出レベルや頂点除去レベルの設定が適切であれば、３次元セグメントの投影像は画像中のワークモデルＷＭ１，ＷＭ２の輪郭線に適合し、特徴点Ｐ１〜Ｐ８は、ワークモデルＷＭ１，ＷＭ２の頂点に適合した状態になる。したがってユーザは、この表示が良好な状態になるまで頂点抽出レベルや頂点抽出レベルを調整することによって、これらのパラメータを、精度の良い３次元セグメントを復元するのに適した値に設定することができる。

上記のとおり、この実施例では、ユーザが設定した計測パラメータに基づき、モデル画像を用いた２次元の処理、またはステレオモデル画像を用いた３次元の処理を実行し、その処理結果をモデル画像に重ね合わせた表示を行うので、作業経験が乏しいユーザでも、計測パラメータを容易に設定することができる。また、この実施例では、この設定後に、以下で説明するパラメータの最適化処理を実行するので、仮にユーザの設定した計測パラメータが認識に適さない範囲に近い値であっても、これを安定した認識処理を行うのに適した値に調整することができる。

図６〜図８は、計測パラメータの最適化処理が行われる際に表示部２５に立ち上げられる作業画面の例を示す。
この作業画面は、左右に二分され、右側に画像表示領域３０が、情報の表示や操作のための領域３１〜３４や操作ボタン３５〜３９が設けられる（ただし、領域３４およびボタン３９は、図８のみ図示。）。

画像表示領域３０には、カメラＡ，Ｂ，Ｃのいずれかにより生成されたモデル画像が表示される（図６〜８の例でも、図５と同様に、２つのワークモデルＷＭ１，ＷＭ２が現れたものを示す。）。なお、画像表示領域３０内の表示は、画面右下の切り替えボタン４０を操作することによって、他のカメラによるモデル画像の表示に切り替えることができる。

画面の左側の領域３１〜３４内の表示や操作ボタン３５〜３９の有効・無効状態は、処理の進行に応じて変動する。また、領域３３，３４内の「エッジ」「頂点抽出」「頂点除去」の各項目は、それぞれエッジレベル、頂点抽出レベル、頂点除去レベルを意味するものである。

この実施例の最適化処理は、上記の作業画面上でのユーザの操作を受け付けながら、図９に示す手順で実行される。
以下、図９のフローチャートに示す各ステップ（ＳＴ１０１〜１１１）の処理について、図６〜８を参照しながら詳細に説明する。

この処理では、まず、処理対象とするステレオモデル画像を読み出し、その中の１つを画像表示領域３０に配置した作業画面を立ち上げる（ＳＴ１０１，１０２）。なお、この段階の作業画面には、領域３４は設定されず、領域３１，３２，３３内は空白の状態に設定される。

この状態下で、ユーザが画面内の「確認計測」ボタン３５を操作すると、ＳＴ１０１で読み出したステレオモデル画像を対象に、ユーザにより設定された各計測パラメータを適用した３次元認識処理を実行する（ＳＴ１０３）。この３次元認識処理は、先の図２に示した手順どおりに実行されるが、最後の認識結果の出力（図２のＳＴ９）を実行せず、これに代えて、以下のＳＴ１０４，１０５のステップを実行する。

ＳＴ１０４では、メモリ２３に登録されている３次元モデルに２段階の変換処理を行うことにより、３次元認識処理による認識結果を示す投影像を生成する。
具体的には、まずワークモデルの位置として認識された座標と、ワークモデルの姿勢として認識された角度とに基づき、登録された３次元モデルを座標変換することによって、３次元モデルの位置および姿勢を認識結果に合わせた状態にする。

つぎに、座標変換後の３次元モデルを、画像表示領域３０内に表示されているモデル画像に対応するカメラの座標系に透視変換する。この透視変換処理でも、図５の例と同様の（２）式が使用される。

上記の投影像を生成する処理は、３次元モデルに対応づけられた箇所（３次元モデルに対する一致度が基準値を超えた箇所）毎に、すなわち認識されたワークモデル毎に実行される。ＳＴ１０５では、これらの投影像を各ワークモデルの３次元モデルに対する一致度とともに作業画面に表示する。この表示状態を示したのが図６である。

図６によれば、画像表示領域３０内のモデル画像に、３次元モデルの投影像ＴＭ１，ＴＭ２が重ねて表示されている。各投影像ＴＭ１，ＴＭ２は、それぞれワークモデルＷＭ１，ＷＭ２に対する認識結果を示すものである。さらに画面左手の領域３１内には、３次元モデルに対応づけられた箇所毎に、３次元モデルに対する一致度（この例の作業画面では「認識率」と表現する。）が、値が高いものから順に表示されている。

領域３１内の一致度の数値表示は、ユーザに認識の精度を確認させる目的のほか、画像表示領域３０内の投影像ＴＭ１，ＴＭ２が示す具体的な認識結果を選択させることを目的とする。すなわち、ユーザが、領域３１内の所定の数値表示箇所をクリック操作により選択すると、画像表示領域３０内では、選択された箇所に対応する投影像（図示例ではＴＭ１）のみが表示される。これによりユーザは、各ワークモデルＷＭに対する認識精度を確認することができる。

さらに、ユーザが認識結果を選択した後に、「追加」ボタン３６を操作すると、この操作を受け付ける処理（図９のＳＴ１０６）が実行されて、図７に示すように、選択された認識結果（この例ではワークモデルＷＭ１に対する認識結果）に対応する数値表示が領域３２内に移動する。
ここで選択できる認識結果は１つに限らず、複数の認識結果を選択することができる。また認識結果が選択されると、ボタン３６の右手にある「削除」ボタン３７が有効化されて、このボタン３７を操作することにより、選択を解除することができる。

つぎに、領域３３は最適化処理の条件を設定するためのもので、エッジレベル、頂点抽出レベル、頂点除去レベルの各計測パラメータ毎に、下限値、上限値、および変動幅（刻み）を設定するための入力ボックス（符号省略）が設けられている。各入力ボックス内には、デフォルトの設定に基づき、ユーザにより設定された数値を含む所定幅の数値範囲が表示されているが、ユーザは、各値を自由に変更することができる。

各計測パラメータに設定されている条件は、下限値から上限値までの範囲で、変動幅分ずつ計測パラメータの設定値を変更することを意味する。
ＳＴ１０７では、「最適化実行」ボタン３８の操作に応じて、この領域３３内の設定内容に基づいて最適化処理の条件を設定する。さらに、つぎのＳＴ１０８で、選択された認識結果（座標および角度）をサンプルデータに設定した後、設定された条件に基づき各計測パラメータの値の組み合わせを毎回変更しながら、ステレオモデル画像を用いた３次元認識処理およびその認識結果を上記のサンプルデータと照合する処理を繰り返す。そして最終的に、計測パラメータ毎に、良好な認識結果を得られる設定値の範囲（以下、「合格範囲」という。）を求め、さらに合格範囲内の一数値をパラメータの最適値に設定する。

この後は、ＳＴ１０９において、導出された各良好範囲や最適値を、作業画面に表示する。図８は、この時点の表示を表すもので、ボタン３８の下方に、さらに領域３４と「実行」ボタン３９が設けられる。

領域３４内には、３種類の計測パラメータ毎の処理結果が示されている。図中、矢印ｂで示す枠内に表示されているのが各計測パラメータの合格範囲である。また矢印ａで示す枠内には、各計測パラメータの最適値として合格範囲内の中間位置の数値が表示されている。また、左手の括弧内の数値は、ユーザにより設定されたパラメータである。

この状態下でユーザが「実行」ボタン３９を操作すると、図９のＳＴ１１１に進み、各計測パラメータを、上記のａ欄に表示されている最適値に更新する。各最適値は、計測パラメータの合格範囲として特定された数値範囲の中の中間位置に相当するので、本処理において生成されるステレオ画像に多少のばらつきがあっても、設定された計測パラメータにより安定した計測を行うことができる。よって、認識結果として、信頼度の高い数値データ（座標および角度）を出力することが可能になる。

つぎに、各計測パラメータの合格範囲および最適値を導出する方法について、具体的に説明する。
この処理では、処理対象の３種類の計測パラメータにそれぞれ下限値を設定した状態で処理を開始し、各計測パラメータに順に着目して、それぞれに対し、図１０に示す処理を実行する。

なお、このフローチャート中の変数Ｌｉ，Ｈｉ，Ｓｉ，ＯＫ_Ｈｉ，ＯＫ_Ｌｉのｉは、パラメータの種別を示す引数である。たとえば、ｉ＝０はエッジレベルに対応し、ｉ＝１は頂点抽出レベルに対応し、ｉ＝２は頂点除去レベルに対応する。

以下、１つめの計測パラメータ（たとえばエッジレベル）に着目しているものとして、図１０の手順を説明する。

まず、設定値の下限値をＬｉとし、上限値をＨｉとし、変動幅をＳｉとする（ＳＴ２０１）。つぎに、状態フラグＦを０に設定し（ＳＴ２０２）、また、合格範囲の下限値ＯＫ_Ｌｉを０に、上限値ＯＫ_Ｈｉを１に、それぞれ初期設定する（ＳＴ２０３）。また着目中のパラメータＰｉに初期値として下限値Ｌｉを設定する（ＳＴ２０４）。

この後は、ＳＴ２０５〜２１７のループに入る。このループでは、パラメータＰｉを初期値Ｌｉから上限値Ｈｉまでの範囲でＳｉずつ変更しながら、現在設定されているパラメータＰｉに基づき、ステレオモデル画像に対する３次元認識処理を実行する（ＳＴ２０５）。

上記の３次元認識処理も、認識結果の出力を実行しない点を除けば、先の図２と同様の手順で実施される。また、この３次元認識処理では、着目していない計測パラメータ（頂点抽出レベル、頂点除去レベル）の値は下限値に設定する。

３次元認識処理が終了すると、認識結果の中からサンプルデータに最も近いものを選択し、座標、角度のデータ別にサンプルデータとの相違量（サンプルデータとの差の絶対値または自乗値）を求め、それぞれの相違量を所定のしきい値と比較する（ＳＴ２０６）。ここで各相違量がともにしきい値以下であれば、現在のパラメータＰｉを「合格」と判定する。これに対し、一方または双方の相違量がしきい値を上回った場合には、現在のパラメータＰｉを「不合格」と判定する。

状態フラグＦは、１段階前の判定結果を記憶するためのもので、Ｆ＝０は１段階前の判定が不合格であったことを意味する。ループの開始からしばらくの間、パラメータＰｉが不合格と判定される状態が続いた場合には、ＳＴ２０７およびＳＴ２１０が「ＮＯ」となって、Ｐｉの値を更新する（ＳＴ２１６）だけの処理になる。

所定の時点でのパラメータＰｉが合格と判定されると、ＳＴ２０７が「ＹＥＳ」、ＳＴ２０８が「ＹＥＳ」となる。この場合にはＳＴ２０９に進んで、状態フラグＦを１に変更し、また変数ＱＬにＰｉの現在値をセットし、しかる後にＰｉの値を更新する（ＳＴ２１６）。

その後も、更新されたパラメータＰｉが合格と判定される状態が継続すると、ＳＴ２０７が「ＹＥＳ」、ＳＴ２０８が「ＮＯ」となり、状態フラグＦが１の状態が維持される。

所定の時点で、パラメータＰｉに対する判定が不合格に変わると、ＳＴ２０７が「ＮＯ」、ＳＴ２１０が「ＹＥＳ」となり、状態フラグＦが０に変更される（ＳＴ２１１）。さらに、現在のパラメータＰｉから変動幅Ｓｉを差し引いたものを、変数ＱＨにセットする（ＳＴ２１２）。

つぎに、上記のＱＨとＳＴ２０９で設定したＱＬとの差（ＱＨ−ＱＬ）を（ＯＫ_Ｈｉ−ＯＫ_Ｌｉ）の値と比較する（ＳＴ２１３）。ここでＱＨ−ＱＬの値の方が大きい場合には、ＳＴ２１４に進んで、ＱＨの値によりＯＫ_Ｈｉを書き換え、ＱＬの値によりＯＫ_Ｌｉを書き換える。さらに、ＳＴ２１５において、更新後のＯＫ_ＨｉとＯＫ_Ｌｉとの中間値Ｇｉを算出する。

上記のＳＴ２１３の判定処理が初めて実行されるときには、ＯＫ_Ｈｉ，ＯＫ_Ｌｉは、いずれもＳＴ２０３で設定された値のままであるから、ＯＫ_Ｈｉ−ＯＫ_Ｌｉ＝１である。よって殆どの場合、ＳＴ２１３の判定は「ＹＥＳ」となり、ＳＴ２１４，２１５の処理が実行される。

この後、パラメータＰｉが上限値Ｈｉに達するまで、不合格の判定が続いた場合には、ループの終了（ＳＴ２１７の「ＹＥＳ」判定）によって、上記のＯＫ_Ｌｉ，ＯＫ_Ｈｉ，Ｇｉの値が確定する。

これに対し、再度、不合格から合格に判定が転じた場合には、ＳＴ２０７，ＳＴ２０８が「ＹＥＳ」となって、ＳＴ２０９に進み、状態フラグＦが１に変更され、変数ＱＬがＰｉの現在値に更新される。この後も、Ｐｉの合格判定が続く間は、ＳＴ２０７が「ＹＥＳ」、ＳＴ２０８が「ＮＯ」となって、Ｐｉを更新する（ＳＴ２１６）だけの処理状態になる。

所定の時点でパラメータＰｉに対する判定が不合格に変化すると、ＳＴ２０７が「ＮＯ」、ＳＴ２１０が「ＹＥＳ」となり、以下、状態フラグＦを０にする処理（ＳＴ２１１）、変数ＱＨを現在のＰｉからＳｉを差し引いた値に更新する処理（ＳＴ２１４）が実行される。

さらに、再びＳＴ２１３の判定が実行され、ＱＨ−ＱＬの値がＯＫ_Ｈｉ−ＯＫ_Ｌｉより大きい場合には、ＱＨ，ＱＬによりＯＫ_Ｈｉ，ＯＫ_Ｌｉを書き換え（ＳＴ２１４）、またＧｉの値を更新する（ＳＴ２１７）。これに対し、ＯＫ_Ｈｉ−ＯＫ_Ｌｉ≧ＱＨーＱＬの場合には、ＳＴ２１４，２１５は実行されず、ＯＫ_Ｈｉ，ＯＫ_Ｌｉ，Ｇｉの値が維持される。

以下、同様にして、ＳＴ２１６で更新されたパラメータＰｉが上限値Ｈｉを上回った時点で、ＳＴ２０５〜２１７のループを終了し、そのときのＯＫ_Ｈｉ，ＯＫ_Ｌｉを合格範囲の上限値および下限値として確定し、Ｇｉの値を最適値として確定する（ＳＴ２１８）。ただし、図１０には示していないが、ループが終了したときの状態フラグＦが０であった場合には、ＳＴ２１２〜２１５と同様の手順を実行してから、その処理結果に基づいてＳＴ２１８の確定処理を実行する。

上記に説明したように、この実施例では、パラメータＰｉの値を設定された条件に基づき毎回変更して、３次元認識処理を実行する処理（ＳＴ２０５）と、サンプルデータに対応する認識結果をサンプルデータと比較する処理（ＳＴ２０６）とを繰り返し実行することによって、パラメータＰｉについて、適切な認識結果を得ることができる設定範囲（合格範囲）を特定し、この範囲内の中間位置にある値を適正値に設定する。また、Ｐｉに設定された数値範囲の中で合格判定が得られる範囲が複数検出された場合には、ＳＴ２１３，２１４，２１５の処理によって、数値幅が最も大きな数値範囲を合格範囲として特定して、適正値を求める。

また、図６〜８に示したような表示により、十分な精度が確保されている認識結果を選択してサンプルデータを設定することができるので、このサンプルデータに近似する認識結果が得られている間に設定されるパラメータＰｉの数値範囲の中間位置の値を適正値とすることにより、ワークの認識に適した計測処理を安定して行うことが可能になる。

以下、２番目、３番目の計測パラメータについても同様の手順で、合格範囲および適正値を求めるが、この場合には、適正値Ｇｉが確定したパラメータについては、その適正値Ｇｉを設定して３次元認識処理を実行する。

なお、計測パラメータの最適値は合格範囲の中間位置の値に限らず、合格範囲の上限値および下限値から十分に離れた位置にある値を設定すればよい。よって、たとえばエッジレベルに関しては、合格範囲の中間位置より若干小さな値を設定値とし、頂点抽出レベルに関しては、合格範囲の中間位置より若干大きな値を設定値としてもよい。

また、上記の３種類の計測パラメータのほかにも、３次元セグメントの生成時のサンプリング点の間隔や、セグメントの種別を判別する処理の基準を示す数値（たとえば、曲線とするセグメントの最大曲率）などについても、同様の方法により計測パラメータの最適値を求めることができる。

また、上記の実施例の３次元視覚センサ１００は、複数のカメラＡ，Ｂ，Ｃを用いたステレオ計測によりワークＷのエッジの３次元情報を取得するものであるが、これに限らず、たとえばスリット光やスポット光をワークに走査しながら１台のカメラによる撮像を行い、２次元の画像処理によりワークの３次元情報を復元するタイプの装置でも、上記実施例と同様の方法により、計測条件を表すパラメータを設定することが可能である。

また、３次元視覚センサ１００からワークの高さまたは代表点の３次元座標を出力する場合や、３次元モデルとの一致度を出力する場合においても、上記の実施例と同様の手法で、適切な数値データが得られる間に設定される計測パラメータの数値範囲を特定し、その中から最適な計測パラメータを特定することができる。

１００ ３次元視覚センサ
１（Ａ，Ｂ，Ｃ） ステレオカメラ
２ 認識処理装置
２２ ＣＰＵ
２３ メモリ
２５ モニタ装置（表示部）
ＷＭ１，ＷＭ２ ワークモデル
ＴＭ１，ＴＭ２ ３次元モデルの投影像
Ｐｉ パラメータ

Claims (4)

1. 所定の認識対象物を撮像手段により撮像し、この撮像により生成された認識対象物の画像を用いた３次元計測を実行し、３次元計測の結果に基づき所定の認識処理を実行してその認識結果を数値データとして出力する３次元視覚センサに、前記認識対象物に関する認識結果を示す数値データが出力されるように前記３次元計測の計測条件を表すパラメータを設定する方法であって、
   前記撮像手段により前記認識対象物の実物モデルを撮像する処理と、前記パラメータを所定の値に設定する操作を受け付ける処理とを実行した後に、前記撮像により生成された実物モデルの画像を用いて前記受け付けた設定値によるパラメータに基づく３次元計測および前記認識処理を実行し、この認識結果を示す情報を表示する第１ステップ、
   前記表示された認識結果を採用する旨の操作が行われたとき、当該認識結果を示す数値データをサンプルデータに設定すると共に、前記第１ステップで設定されたパラメータの値を含む所定の数値範囲内で前記パラメータの設定値を毎回変更して、設定されたパラメータにより前記実物モデルの画像を用いた３次元計測を実行するステップＡと、この３次元計測の結果に基づく認識処理を実行して、認識結果を示す数値データを前記サンプルデータと照合するステップＢとを複数サイクル実行することによって、前記サンプルデータに対する相違量が所定値以内となる数値データが得られる間に設定されるパラメータの数値範囲を特定する第２ステップ、
   前記第２ステップで特定された数値範囲において、当該範囲の上限値および下限値からそれぞれ所定の距離を隔てた位置にある数値を、前記３次元視覚センサのメモリ内に登録する第３ステップ、
   の各ステップを実行することを特徴とする、３次元計測処理のパラメータの導出方法。
2. 請求項１に記載された方法において、
   前記第１ステップでは、前記３次元計測の計測条件を表す複数のパラメータにそれぞれ所定の値を設定して、前記実物モデルの画像に対する３次元計測および認識処理を実行した後に、認識結果を示す情報を表示し、
   前記第２ステップでは、前記表示された認識結果を採用する旨の操作に応じて、当該認識結果を示す数値データをサンプルデータに設定すると共に、前記複数のパラメータにそれぞれ第１ステップにおける設定値を含む所定の数値範囲を設定して、これらの数値範囲内で各パラメータの値の組み合わせを毎回変更し、各パラメータの設定値の組み合わせに基づき前記実物モデルの画像を用いた３次元計測を実行するステップＡと、この３次元計測の結果に基づく前記認識処理を実行して、その認識結果を示す数値データを前記サンプルデータと照合するステップＢとを複数サイクル実行することによって、パラメータ毎に前記サンプルデータに対する相違量が前記所定値以内になる数値データが得られる間に設定される当該パラメータの数値範囲を特定し、特定された数値範囲毎に、前記第３ステップを実行する、３次元計測処理のパラメータの導出方法。
3. 請求項１または２に記載された方法において、
   前記認識処理として、３次元計測により復元された３次元情報をあらかじめ登録された前記認識対象物の３次元モデルと照合することにより、前記認識対象物の位置を表す座標、および３次元モデルに対する認識対象物の回転角度を前記数値データとして算出する処理を実行し、
   前記第１ステップでは、前記実物モデルの画像を用いた３次元計測処理により復元された３次元情報に対して前記認識処理を実行するステップと、この認識処理により算出された座標および回転角度に基づき前記認識対象物の３次元モデルを座標変換するステップと、座標変換後の３次元モデルを前記撮像手段の座標系に透視変換して、この透視変換により生成された３次元モデルの投影像を前記実物モデルの画像に重ね合わせて表示するステップとを実行する、
   ３次元計測処理のパラメータの導出方法。
4. 認識対象物を撮像するための撮像手段と、この撮像手段により生成された認識対象物の画像を用いた３次元計測を実行し、３次元計測の結果に基づき所定の認識処理を実行してその認識結果を数値データとして出力する認識処理手段と、前記３次元計測を実行する際の計測条件を表すパラメータを前記認識処理手段に登録するための登録処理手段とを具備する３次元視覚センサにおいて、
   前記登録処理手段は、
   前記パラメータの値を設定する操作を受け付ける設定受付手段と、
   前記設定受付手段が受け付けたパラメータの設定値を認識処理手段に与えて、前記撮像手段により生成された前記対象物の実物モデルの画像を対象にした３次元計測およびその計測結果に基づく認識処理を実行させ、認識結果を示す情報をモニタ装置に表示する仮認識実行手段と、
   仮認識実行手段により表示された認識結果を採用する旨の操作を受け付けて、この認識結果を示す数値データをサンプルデータとして設定するサンプルデータ設定手段と、
   前記サンプルデータに設定した認識結果を得たときのパラメータの設定値を含む所定の数値範囲内で前記パラメータの設定値を毎回変更して、設定されたパラメータにより前記実物モデルの画像を用いた３次元計測を実行するステップＡと、この３次元計測の結果に基づく前記認識処理を実行して、その認識結果を示す数値データを前記サンプルデータと照合するステップＢとを複数サイクル実行することによって、前記サンプルデータに対する相違量が所定値以内になる数値データが得られる間に設定されるパラメータの数値範囲を特定する数値範囲特定手段と、
   前記数値範囲特定手段により特定された数値範囲において、当該範囲の上限値および下限値からそれぞれ所定の値を隔てた位置にある数値を、前記認識処理手段に登録するパラメータとして特定する登録値特定手段とを、具備する３次元視覚センサ。

Images