JP5282614B2 - 視覚認識処理用のモデルデータの登録方法および視覚センサ - Google Patents

Description

本発明は、認識対象の物体をカメラにより撮像し、生成された画像を用いて２次元または３次元の計測処理を実行することにより取得した特徴データをあらかじめ登録したモデルデータと照合することによって、所定の認識処理を実行する視覚センサに関する。特に本発明は、上記の認識処理に用いるモデルデータを視覚センサに登録する処理に関する。

物体の外形の３次元情報のモデルデータを作成する方法として、たとえば特許文献１に開示されたものがある。
この特許文献１に記載の発明では、ステレオ計測により３次元情報を復元することを前提として、物体の実物モデルを、計測方向を毎回変更して複数回計測する。さらに、毎時の計測により復元された３次元情報を相互に照合して位置合わせを行い、位置合わせ後の情報を統合することによって、種々の方向からの計測に対応可能なモデルデータを作成する。

また、特許文献１や下記の非特許文献１には、物体の輪郭線の３次元情報を復元する方法として、「セグメントベーストステレオ」という手法が開示されている。この方法は、ステレオ画像を構成する各画像に含まれるエッジを、連結点や分岐点を基準に直線や曲線のセグメントに分割し、セグメント単位でステレオ対応検索を行って、所定数の３次元座標を算出するものである。

特許第２９６１２６４号公報

「セグメントベーストステレオにおける連結性に基づく対応評価」 情報処理学会論文誌 ｖｏｌ．４０，Ｎｏ．８，３２１９−３２２９ページ，１９９９年８月発行

視覚センサにモデルデータを登録する処理では、一般に、登録対象の視覚センサに良好な形状の認識対象物を供給して、実際に撮像や計測を実行し、計測により取得した特徴データをベースにしてモデルデータを作成する。また、認識精度を確保するために、作成されたモデルデータによる試験的な認識を行って、その認識結果に基づいてモデルデータを修正し、精度が極端に悪い場合には、必要に応じてモデルデータを作成し直すなど、登録対象のモデルデータを決定するまでにかなりの時間や労力を費やす。

このように、視覚センサにモデルを登録する作業には大きな負荷がかかるため、同一の工程を実行する生産ラインを複数持つ現場からは、これらのラインの１つに配置された視覚センサに登録したモデルデータを、他のラインの視覚センサに移植したい、という要望があがっている。しかし、実際には、照明条件がラインによって異なったり、外光の影響を受けるラインがあったり、カメラの特性のばらつきによりコントラストが異なる画像が生成されるなどの原因により、各視覚センサが生成する画像の状態にばらつきが生じるため、各視覚センサに同一のモデルデータを登録するのは困難である。

一方、視覚センサ毎にモデルデータを作成する場合には、モデルデータの作成に関わる作業者がセンサによって異なると、モデルデータに設定される内容に作業者によるばらつきが生じ、そのばらつきにより各ラインにおける処理の安定性にばらつきが生じるおそれがある。

上記の点に関して、発明者らは、ＣＡＤデータなどの設計データを計測に応じたデータ形式に変換することによって、センサの設置条件や計測条件の違いによる影響を受けないモデルデータを自動作成し、これを各視覚センサに導入することを検討した。しかし、設計データから導き出されたモデルデータには、視覚センサで計測できる範囲を超える情報が含まれるため、計測結果と照合すると、モデルデータ中に計測結果に対応づけされない情報が多数生じて、一致度がかえって低下することが判明した。

本発明は上記の問題点に着目し、個々の視覚センサの設置環境や計測条件に適合し、認識精度が確保されたモデルデータを容易に作成できるようにすることを、課題とする。

本発明によるモデルデータの登録方法は、認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により物体の輪郭形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより物体に対する認識処理を実行する視覚センサにおいて実施されるもので、以下の第１〜第４のステップを実行することを特徴とする。

第１ステップでは、認識対象の物体について、当該物体の実寸大の全輪郭形状を表す３次元情報を基本モデルデータとして入力する。なお、本発明では、物体の内部構造などの視覚認識が不可能な部位の情報を含む基本モデルデータを入力することを、なんら排除するものではない。

また、上記の３次元情報は、文字どおり、実寸法を表すものに限らず、実寸法をあらかじめ定めた比率で縮小したサイズを表すものも含む。

第２ステップでは、認識対象の物体の実物モデルを処理対象として、カメラによる撮像および計測処理、ならびに計測処理により取得した実物モデルの輪郭形状を表す特徴データと基本モデルデータまたは基本モデルデータを透視変換して得られた２次元情報（以下、「変換モデルデータ」という。）とを照合する処理を、実物モデルのカメラに対する姿勢を変更しながら複数サイクル実行する。第３ステップでは、第２ステップで実物モデルの特徴データと照合されたデータ（第２ステップの処理対象となった基本モデルデータまたは変換モデルデータを意味する。）から少なくとも第２ステップで実行された複数サイクルのいずれの照合処理においても実物モデルの特徴データに対応づけられなかった情報を削除し、残されたデータを前記照合処理のためのモデルデータとして登録する。

上記の方法によれば、認識対象の物体について自装置が必要とする以上の情報を含む基本モデルデータを入力し、この基本モデルデータまたは当該基本モデルデータから生成した変換モデルデータを自装置で実物モデルに対して行った計測結果と照合する。そして、照合処理の対象とされた基本モデルデータまたは変換モデルデータから、実物モデルの特徴データに対応づけられなかったデータを、自装置での処理には不要なデータとして削除する。

したがって、物体の実寸大の全輪郭形状を表す３次元の基本モデルを入力する第１ステップを実行した後、第２ステップにおいて、カメラに対する実物モデルの姿勢を実際の計測の際に想定される範囲で種々に変更して撮像および計測処理ならびに照合処理を行えば、その後の第３ステップで残されるデータは、おのずと視覚センサが行うべき認識処理に適合するものとなり、モデルデータの精度を検証する作業を不要、または大幅に削減することができる。また、作業者によりモデルデータを修正する必要もなくなるので、モデルデータの精度にばらつきが生じるのを防止することができる。

また、認識対象の物体の実寸大の全輪郭形状を表す３次元情報を基本モデルデータとするので、同じ物体を認識対象とする全ての視覚センサに同一の基本モデルデータを導入し、各視覚センサで上記の方法を実行することができる。よって、十分な精度の基本モデルデータを準備しておけば、各視覚センサにおいて、この基本モデルデータを、自装置の認識処理に適したモデルデータに作り替えて登録することができる。

さらに、本発明によれば、この方法を実施している視覚センサでは計測される可能性が殆どない特徴データに対応するデータを不要な情報として、基本モデルデータまたは変換モデルデータから不要な情報を除いたものをモデルデータとして登録することができる。よって、計測により得た特徴データの中からモデルデータに対応するものを安定して抽出することができ、認識精度を確保することができる。

第１の態様における第３ステップでは、実物モデルの特徴データと照合されたデータに含まれる情報のうち、第２ステップでの複数のサイクル毎の照合処理において実物モデルの特徴データに対応づけることができなかった回数またはその割合が所定の基準値を上回る情報を、削除の対象に設定する。

上記の態様によれば、視覚センサでの計測が可能であるが、照明条件の変動などによって計測が不安定になる情報を、モデルデータに含めないようにすることができる。よって、不安定な情報による照合が行われるのを防止して、認識精度を高めることができる。

第２の態様による第３ステップでは、実物モデルの特徴データと照合されたデータに含まれる情報のうち、第２ステップの複数のサイクルのうちの少なくとも１サイクルにおける照合処理において実物モデルの特徴データに対応づけられなかった情報を、削除対象に設定する。

上記の態様によれば、基本モデルデータ又は変換モデルデータから、実物モデルの特徴データへの対応づけに１回でも失敗したものを不要な情報として削除することにより、認識対象の物体につき、ほぼ確実に計測することができる情報のみを含むモデルデータを作成することができる。よって、認識処理の安定度をより一層高めることができる。

上記の方法において、計測処理として、認識対象の物体の３次元の輪郭形状を表す特徴データを取得する３次元の計測処理を実行する場合には、第２ステップの照合処理では、実物モデルに対する計測処理により取得した当該実物モデルの３次元の輪郭形状を表す特徴データを基本モデルデータが示す３次元情報と照合する。

一方、計測処理として、カメラにより生成された画像中の物体のエッジを取得する２次元の計測処理を実行する場合もある。この場合の第２ステップの照合処理では、基本モデルデータをカメラの座標系に透視変換することにより生成された２次元のエッジパターンを照合対象として、実物モデルに対する計測処理により取得したエッジのパターンを照合対象のエッジパターンと照合する。

このように、本発明による方法は、２次元の計測を行う装置、３次元の計測を行う装置の双方に適用することが可能である。

上記の方法が適用された視覚センサは、認識対象の物体について、当該物体の実寸大の全輪郭形状を表す３次元情報を基本モデルデータとして入力するための入力手段と、認識対象の物体の実物モデルが処理対象となることを条件として、カメラによる撮像および計測処理、ならびに計測処理により取得した実物モデルの輪郭形状を表す特徴データと入力手段より入力した基本モデルデータまたは当該基本モデルデータを透視変換して得られた２次元情報とを照合する処理を、複数サイクル実行する実物モデル処理手段と、実物モデルの特徴データと照合されたデータから実物モデル処理手段が少なくとも前記複数サイクルのいずれの照合処理においても実物モデルの特徴データに対応づけられなかった情報を削除し、残されたデータを登録対象のモデルデータとして設定するモデルデータ設定手段とを、具備する。

上記の構成によれば、あらかじめ認識対象の物体の実寸大の全輪郭形状を精度良く表す３次元情報を生成して、これを基本モデルデータとして視覚センサに入力すると共に、計測条件に応じた状態で配置された実物モデルをカメラの視野に導入して、実際の計測で想定される範囲内で実物モデルのカメラに対する姿勢を種々に変更しながらモデル処理手段による処理を実行し、ついでモデル設定手段による処理を実行することにより、視覚センサの設置される環境や計測条件などに適合したモデルデータを作成し、登録することができる。

本発明によれば、同種の物体を認識対象とする複数の視覚センサに対し、これらのセンサが認識対象とする物体の実寸大の全輪郭形状を表す３次元情報による基本モデルデータを１つ準備し、この基本モデルデータを各視覚センサに入力して、それぞれの視覚センサの設置環境、カメラの特性、計測条件などに適合したモデルデータに作り替えて登録することができる。よって、個々の視覚センサにおけるモデルデータの登録処理を効率良く行うことができる。

また認識対象の物体の実物モデルを実際の処理と同様の条件で撮像して計測し、この計測結果に対応づけられる情報によるモデルデータを作成するから、このモデルデータの精度を自然と確保することができ、このモデルデータをもって安定した認識処理を実行することが可能である。

ピッキングシステムの構成例を示す図である。 視覚センサの電気構成を示すブロック図である。 上記の視覚センサにおいて実施される３次元認識処理の手順を示すフローチャートである。 認識対象のワークの構成例を示す斜視図および底面図である。 認識対象のワークの構成例を示す側面図である。 図４に示したワークの基本モデルのデータ構成を示す図である。 計測時のワークの配置例を示す図である。 図６の配置状態のワークを用いて作成した実用モデルのデータ構成を示す図である。 計測時のワークの配置の他の例を示す図である。 図８の配置状態のワークを用いて作成した実用モデルのデータ構成を示す図である。 モデル登録処理の手順を示すフローチャートである。 ワークに影が発生するか否かにより実用モデルのデータ構成が変化する例を示す図である。 ２次元の認識処理を行う視覚センサにおけるモデル登録処理の手順を示すフローチャートである。

図１は３次元視覚センサが導入されたピッキングシステムの構成例を示す。
このピッキングシステムは、工場内で収容ボックス６に収容されたワークＷを１つずつ取り出して所定の位置に搬送する作業を行うためのもので、作業を行う多関節ロボット４や、このロボット４の動作を制御するロボット制御装置３のほか、処理対象のワークＷを認識する３次元視覚センサ１００が含まれる。

３次元視覚センサ１００は、ステレオカメラ１と認識処理装置２とにより構成される。
ステレオカメラ１は、横並びに配置された３台のカメラＡ，Ｂ，Ｃにより構成される。認識処理装置２は、専用のプログラムが格納され、表示部２５や、キーボード、マウスなどによる入力部２４が接続されたパーソナルコンピュータにより構成される。

認識処理装置２は、各カメラＡ，Ｂ，Ｃを用いたステレオ計測処理によってワークＷの輪郭線の３次元情報を取得した後、取得した３次元情報をあらかじめ登録された３次元のモデルデータ（以下、「３次元モデル」という。）と照合することにより、ワークＷの位置および姿勢を認識する。ロボット制御装置３は、認識処理装置２から上記の認識結果の送信を受け付けて、これに基づきロボット４のアーム４０がワークＷを把持するように、その動作を制御する。

図２は、上記の３次元視覚センサ１００の構成をブロック図により表したものである。
この図に示すように、認識処理装置２には、各カメラＡ，Ｂ，Ｃに対応する画像入力部２０Ａ，２０Ｂ，２０Ｃ、カメラ駆動部２１、ＣＰＵ２２、メモリ２３、入力部２４、表示部２５、通信インターフェース２６、外部ディスク装置２７などが含まれる。

カメラ駆動部２１は、ＣＰＵ２２からの指令に応じて、各カメラＡ，Ｂ，Ｃを同時に駆動する。なお、キャリブレーション処理や３次元モデルを登録する処理を行う場合には、このカメラ駆動は、入力部２４から撮像開始の指示を受け付けたことに応じて行われる。

表示部２５および入力部２４は、キャリブレーション処理や３次元モデルの作成処理の際に、設定のための情報の入力や撮像開始の指示を行ったり、作業を支援するための情報を表示したり、作成された３次元モデルの投影像を確認する目的で使用される。

通信インターフェース２６は、ロボット制御装置３との通信に用いられる。外部ディスクドライブ２７は、コンパクトディスクなどの記憶媒体に情報を読み書きするためのもので、この実施例では、後記する基本モデルデータを読み出す目的に使用される。

メモリ２３は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、３次元モデルの作成、およびワークＷの３次元認識処理のためのプログラムや設定データが格納されている。また、キャリブレーション処理で算出された３次元計測用のパラメータや３次元のモデルデータも、メモリ２３内の専用のエリアに登録される。

ＣＰＵ２２は、メモリ２３のプログラムに基づき、キャリブレーション処理を実行して、３次元計測用のパラメータの算出および登録を行った後に、認識処理用のモデルデータの作成および登録処理を実行する。この２種類の設定処理を実行することによって、視覚センサ１００は、ワークＷに対する３次元計測や認識処理を実行することが可能な状態になる。

図３は上記の３次元視覚センサ１００において、ワークＷを認識するために実行される処理手順を示す。以下、このフローチャートに沿って、認識処理の概要を説明する。

まず、カメラＡ，Ｂ，Ｃによるステレオ撮像を実行し（ＳＴ１）、生成された各画像からエッジを抽出する（ＳＴ２）。

つぎに検出されたエッジを細線化し（１画素幅のデータにする。）、細線化後のエッジを連結点や分岐点を基準に直線や曲線のセグメントに分割する（ＳＴ３，４）。この２次元画像上のエッジから抽出されたセグメントを、以下では「２次元セグメント」と呼ぶ。

つぎに、画像間で対応関係にある２次元セグメントを対応づける処理を実行する（ＳＴ５）。具体的には、３つの画像のうちの１つを基準画像として、この基準画像の各２次元セグメントに順に着目し、着目した２次元セグメントにつき、エピポーラ条件を満たすこと、および近傍のセグメントとの連結関係が着目中の２次元セグメントに整合することを条件として、他の２つの画像において条件を満たす２次元セグメントを探索する。この探索処理により、２つの画像で、ともに条件を満たす２次元セグメントが検出された場合には、これらを着目中の２次元セグメントに対応づける。
なお、各画像間での対応づけがなされなかった２次元セグメントは、以下の処理の対象から除外される。

上記の対応付け処理が終了すると、ＳＴ６に進み、対応づけられた２次元セグメントの組み合わせ毎に、３次元情報を復元する処理を実行する。この復元された３次元情報により表される３次元のセグメントを、以下では「３次元セグメント」という。

ここで対応づけられた１組の２次元セグメントから１つの３次元セグメントを復元する処理について説明する。
まず対応づけられた２次元セグメント間で、さらに画素単位の対応づけを行い、対応づけられた画素の組毎に３次元座標を算出する。さらに各３次元座標の分布パターンに近似する直線または曲線を設定し、設定された直線または曲線を所定の間隔毎にサンプリングする。そして、サンプリングされた３次元座標による集合に、各３次元座標の分布パターンに応じた属性（直線または曲線）を対応づけたものを、３次元セグメントとして確定する。

ＳＴ６では、２次元セグメントのすべての組み合わせについて上記の処理を実行することにより、ワークＷの輪郭形状を表す複数の３次元セグメントによる３次元情報を復元する。この処理が終了すると、つぎのＳＴ７では、復元した３次元情報をあらかじめ登録したモデルデータと照合することにより、ワークＷの位置および姿勢を認識する。

上記ＳＴ７の処理について、具体的に説明する。この実施例では、モデルデータとして、ワークＷの計測され得る範囲の輪郭形状を表す３次元セグメントが登録されており、ＳＴ７では、各３次元セグメントの交点を特徴点として、モデルデータ側の各特徴点と復元された３次元情報における各特徴点とを総当たり式に対応づけながら、両者の一致度を算出する。そして、所定の基準値を超える一致度が得られたときの対応づけを正しいものとして、モデルデータ中の代表点（たとえば重心）に対応づけられた座標をワークＷの位置として特定する。またこの正しい対応づけにおけるモデルデータの回転角度をワークの姿勢として特定する。

さらに上記の照合処理では、３次元モデルに対する一致度が基準値を超える対応づけが複数見つかった場合には、それぞれの対応づけ毎に、座標および回転角度を特定する。よって、複数のワークＷを対象にステレオ計測が実施された場合でも、各ワークＷを個別に認識することができる。

ワークＷの位置および姿勢が認識されると、この後は、通信インターフェース２６を介して認識結果をロボットコントローラ３に出力し（ＳＴ８）、処理を終了する。

上記の認識処理の精度を確保するには、精度の良いモデルデータを登録する必要がある。この点につき、この実施例では、図１に示したシステム外のコンピュータにおいて、ワークＷのＣＡＤデータを３次元セグメント形式の情報に変換することにより、ワークＷの全輪郭形状を実寸法で表した３次元情報を作成し、これをワークの基本のモデルデータ（以下、「基本モデル」という。）とする。作成された基本モデルはコンパクトディスクに保存されて、ユーザに提供される。

ユーザは、このコンパクトディスクを認識処理装置２の外部ディスクドライブ２７にセットして、３次元モデルの作成処理を開始する。ここでユーザは、ワークＷの実物モデルを実際に計測する場合と同様の姿勢にしてステレオカメラ１の計測領域に配置し、入力部２４より撮像を指示する。認識処理装置２では、この指示に応じて図３のＳＴ１〜ＳＴ６の各ステップに相当する処理を実行し、復元された実物モデルの３次元情報を外部ディスクドライブ２７より読み出した基本モデルと照合する。

さらにこの実施例では、計測時に取り得る範囲内でワークＷの姿勢を毎回変更して、上記のステレオ計測および照合処理を複数サイクル実行する。そして、基本モデル側の３次元セグメントのうち、いずれのサイクルの照合処理でもステレオ計測の結果に対応づけされなかった情報を、認識処理に不要な情報と判別する。そして基本モデルから不要な情報を削除したものを、図３の認識処理に使用するモデルデータ（以下「実用モデル」という。）としてメモリ２３に登録するようにしている。

図４は、視覚センサの認識対象となるワークＷの具体的な構成例を、斜視図および背面図（図４−１の（１）（２））、および三方から見た側面図（図４−２の（３）（４）（５））により示す。これらの図に示すように、この実施例のワークＷは、厚みのある板体３０の背面に３個の取付片４１，４２，４３を具備する取付金具４０を一体に設けた構成のものである。各取付片４１，４２，４３は、取り付け金具４０の本体部の三辺からそれぞれ異なる傾斜角度をもって後方に突出している。また取付片４１，４２の先端部は屈曲しているのに対し、取付片４３は、まっすぐに延びた状態に形成されている。なお、図４では、板体３０の厚み部分の面を、符号３２，３３，３４，３５により示す。

上記のワークＷは、板体３０の前面３１を上に向けることにより、取付片４２，４３によって板体３０を水平な状態にして支持される（このときの取付片４１は浮いた状態になる。）。また後記する図８に示すように、面３３を底面として、板体３０を垂直な状態にして支持される場合もある。

図５は、上記のワークＷの基本モデルのデータ構成を、図４の斜視図に合わせた模式図として示す。この基本モデルＭ０は、ＣＡＤデータを変換処理することにより生成されたもので、ワークＷのすべての輪郭線（図中、一点鎖線で示す。）を表す３次元セグメント情報（３次元セグメントの集合）が含まれている。

図６は、ワークＷの実物モデル（以下、これを単に「ワークＷ」という。）を図４に示した支持状態にして配置したものを、ステレオカメラ１により計測される方向から見たののである。ただし、計測方向に対するワークＷの姿勢は一定ではなく、図中の矢印ｆの方向に沿って回転した姿勢をとる可能性がある。

図６の例の場合には、板体３０の前面３１の真上から計測を行うため、計測が可能となるのは、板体３０の前面３１、および取付片４１，４２，４３の先端部付近であり、板体３０の背面３２や取付金具４０の本体部分を計測することは不可能になる。

図７は、上記の計測条件による計測結果を図５に示した基本モデルＭ０と照合することにより作成した実用モデルＭ１の例を示す。なお、この図７および後記する図９では、削除された情報を極細点線により表現している。

この実用モデルＭ１は、計測方向に対し、ワークＷを図６の矢印ｆの方向に沿って所定角度ずつ回転させて、撮像および計測を繰り返し行い、毎回の計測により取得した３次元情報を基本モデルと照合し、ワークＷの３次元情報に対応づけられなかった情報を基本モデルから削除することにより得られたものである。この結果、実用モデルＭ１に含まれるのは、実際に計測される箇所（板体３０の前面および取付片４１，４２，４３の先端部）に対応する情報のみとなっている。

図８は、ステレオカメラ１に対するワークＷの他の配置例を示す。この例のワークＷは、板体３０の取付片が設けられていない方位にある面３３を底面とすることにより、板体３０を垂直に起立させた状態で配置される。図８では、計測方向に対してワークＷが取り得る３通りの姿勢を、示している。このようにワークＷの姿勢は一定ではないが、この例では、板体３０の背面が計測されることはないものとする。

図９は、図８のように配置されたワークＷに対して複数回のステレオ計測を実行し、各計測により取得した３次元情報と基本モデルＭ０とを照合することにより生成された実用モデルの例を示す。この実用モデルＭ２も、基本モデルＭ０からワークＷの計測結果を対応づけられなかった情報を削除することにより生成されたものである。

上記の各例に示したように、この実施例の視覚センサ１００が作成する実用モデルＭ１，Ｍ２は、基本モデルＭ０に含まれる３次元情報から、実際のワークＷに対する計測処理では取得することができない情報を削除したものである。いずれの実用モデルＭ１，Ｍ２も、実際に認識されるものと同様の姿勢で配置されたワークＷに対する計測結果に対応するように作成されているので、これらの実用モデルＭ１，Ｍ２を用いた認識処理では、計測処理により得た３次元情報と実用モデルとが正しく対応づけられたときに、実用モデルの殆どの情報が計測された３次元情報に対応する状態になる。よって、十分な一致度をもってワークＷを認識することができ、安定した認識を行うことができる。

図１０は、実用モデルを作成する際の処理手順を示す。
この処理は、作業者が基本モデルが格納されたコンパクトディスクを外部ディスクドライブ２７にセットして、読み出し操作を行ったことに応じて開始される。まず最初のステップ（ＳＴ１１）では、読み出し操作に従って基本モデルを読み出し、これをメモリ２３の作業領域に格納する。

ここで作業者は、ステレオカメラ１の計測領域に、実際に計測されるときと同様の姿勢でワークＷを配置し、撮像指示操作を行う。この操作に応じてＳＴ１２が「ＹＥＳ」となり、ステレオ撮像を実行する（ＳＴ１３）。さらに、この撮像により生成されたステレオ画像を用いた計測処理により、ワークＷの３次元情報を取得する（ＳＴ１４）。なお、図１０のＳＴ１４は、図３のＳＴ３〜ＳＴ６に相当する処理をまとめて表したもので、これにより、ワークＷの輪郭形状を表す特徴データとして、複数の３次元セグメントを取得することになる。

つぎのＳＴ１５では、上記の計測処理により取得した３次元情報（特徴データ）を基本モデルと照合する。この場合にも、図３のＳＴ７の処理と同様に、計測による特徴点と基本モデル側の特徴点とを総当たり式で対応づけて一致度を求める処理を繰り返し、両者の一致度が最も高い状態になったときの対応関係を正しい関係として特定する。さらに、基本モデルに含まれる３次元情報の中から、上記の正しい対応関係にあるときに特徴データに対応づけられなかった情報を特定する処理も実行する。

この後も、作業者は、実際の計測で想定される範囲内でワークＷの姿勢を種々に変更して撮像指示操作を行う。視覚センサ１００では、この操作に応じて、ＳＴ１３，１４，１５の各処理を実行する。

以下、同様に、撮像指示操作に応じて、ステレオ撮像および計測処理、ならびに計測処理により得た特徴データと基本モデルとを照合する処理が繰り返し実行される。所定の時点で、作業者が必要な撮像を実行したと判断して終了操作を行うと（ＳＴ１６が「ＹＥＳ」）、毎回の照合処理の結果に基づき、基本モデル内の３次元情報のうち、いずれの照合処理においても計測データに対応づけられなかった情報を、不要情報として特定する（ＳＴ１７）。

この後は、基本モデルから特定した不要情報を削除し（ＳＴ１８）、残された情報を実用モデルとしてメモリ２３に登録する（ＳＴ１９）。

なお、実用モデルの登録は、作業者による確認作業を経てから実行してもよい。たとえば、不要情報を削除した後の情報をカメラＡ，Ｂ，Ｃの座標系に透視変換し、この変換処理により生成された投影像を表示部２５に表示し、表示された投影像が実物のワークＷの画像に適合しているか否かを作業者に判断させてもよい。

上記の手順によれば、ワークＷを処理対象とする複数の視覚センサ１００に同一の基本モデルＭ０を入力し、各視覚センサ１００において、それぞれその装置の計測条件に応じた実用モデルを作成することができる。たとえば、ワークＷを図６に示すような条件で計測する視覚センサ１００と、ワークＷを図８で示すような条件で計測する視覚センサ１００とに、それぞれ図５に示した構成の基本モデルＭ０を入力して、各センサ１００において上記図１０の処理を実行すれば、前者のセンサ１００には、図７に示した実用モデルＭ１が、後者のセンサ１００には図９に示した実用モデルＭ２が、それぞれ登録され、これらによりワークＷを認識する処理を安定して実行することができる。

さらに、各視覚センサ１００における計測条件が同一であっても、照明の状態やカメラの特性などの違いによって計測が可能な範囲が異なる場合にも、各センサ１００に同一の基本モデルを入力して、上記図１０と同様の方法により、それぞれの計測精度に応じた実用モデルを作成することができる。

図１１は、ワークＷを板体３０のみの構成に模式して、このワークＷに対する照明条件の違いによる実用モデルの構成の違いを示す。この図では、（１）にワークＷの基本モデルの構成を示すとともに、（２）に上面に影が生じているワークＷ_Ａを、（３）に影が発生していないワークＷ_Ｂを、それぞれの実用モデルＭ_Ａ，Ｍ_Ｂとともに示す。

上記の例によれば、影が生じていないワークＷ_Ｂを用いてモデル登録処理を行った場合の実用モデルＭ_Ｂには、計測対象のすべての輪郭線の情報が含まれるのに対し、上面に影が生じたワークＷ_Ａを用いてモデル登録処理を行った場合の実用モデルＭ _Ａ では、影が生じた面の輪郭線の情報を含まない実用モデルが作成される。このように、影が発生する環境下で計測されるワークＷ_Ａに対し、影により取得できない計測データに対応する情報を除いた実用モデルを設定すれば、影の発生しない環境下で計測されるワークＷ_Ｂと同様の精度の認識処理を行うことができる。

なお、外光の影響など、時間の経過に伴って環境を変化させる要因がある場合には、それぞれの環境においてワークＷの撮像および計測を実行し、基本モデルＭ０との照合処理において、ワークＷの特徴データに対応づけられなかった回数、またはこの回数の全照合回数に対する割合が所定の基準値を上回った情報を基本モデルＭ０から削除すれば、計測が不安定な部位の情報を含まない実用モデルを作成することが可能になる。計測が可能になる場合と不可能になる場合とがある部位が存在するような場合も、同様である。

さらに、高い認識精度を要求するような場合には、複数回の照合処理のうちのたとえ１回でも計測データに対応づけることができない状態が生じた情報を、不要情報として基本モデルから削除してもよい。このような厳しい基準を設定すれば、安定して計測することができる部位の情報のみを含む実用モデルを作成し、認識処理をより一層安定させることができる。

なお、上記の実施例では、ＣＡＤデータから基本モデルを作成するとしたが、基本モデルの作成方法はこれに限定されるものではない。たとえば、良好な環境を確保した視覚センサ１００の計測エリアに実物のワークＷを導入し、このワークＷに対するステレオ計測を複数の方向から実行し、各計測結果を統合する方法（特許文献１参照。）により基本モデルを作成し、これを各視覚センサ１００に導入することも可能である。

また、上記の実施例では、計測処理として、ワークＷの輪郭形状を表す３次元情報を復元する処理を行うことに伴い、基本モデルや実用モデルも、同様に輪郭形状を表す３次元情報により構成したが、３次元計測の手法は、これに限定されるものではない。

たとえば、ステレオ計測や光切断法などによりワークＷの表面の形状を表す３次元座標の集合を取得し、この集合を登録されたモデルデータと照合する場合もある。このような計測を行うタイプの視覚センサについても、ワークＷの表面全体の形状を表す３次元座標群を基本モデルとして入力し、実物のワークＷに対する撮像および計測、ならびに計測処理により取得した３次元座標群（特徴データ）を基本モデルと照合する処理を実行し、基本モデルからワークＷの特徴データに対応づけられなかった座標を削除したものを、実用モデルとして登録することができる。

さらに、上記の実用モデルの作成方法は、３次元の認識処理を行うタイプの視覚センサに限らず、２次元の認識処理を行うタイプの視覚センサに適用することもできる。以下、１台のカメラによりワークＷを撮像し、生成された画像中のエッジのパターンを登録されたモデルの２次元のエッジパターンと照合することにより、ワークＷの位置および姿勢を認識するタイプの視覚センサを例に、登録対象のモデルのエッジパターンを作成する処理を説明する。

この実施例の視覚センサは、カメラおよび画像入力部の組み合わせが１つになることを除けば、図２に示したのと同様のハードウェア構成を具備する。よって、以下の説明では、適宜、図２の符号を参照して説明する（カメラについては符号を省略する。）。

この実施例では、カメラの光軸が特定の方向に固定され（たとえば、鉛直方向を向く状態に設定される。）、処理対象のワークＷが常に特定の部位で支持される状態で配置されること（たとえば、図６または図８に示した配置）を前提にする。この場合の基本モデルは、画像に現れるワークＷのエッジパターンを実寸法で表すものであり、たとえば２次元のＣＡＤデータにより生成される。また、この実施例の視覚センサ１００では、あらかじめキャリブレーション処理の結果に基づいて、カメラにより生成される画像の倍率（１画素当たりの実寸法）を特定し、この倍率をメモリ２３内に登録する。

図１２は、上記の前提による視覚センサ１００において、基本モデルから実用モデルを作成する処理の手順を示す。この処理では、まず、コンパクトディスクからエッジパターンの基本モデルを読み出す処理を実行し（ＳＴ２１）、メモリ２３に登録された倍率に基づき、この基本モデルを画像に適合するサイズに変換する（ＳＴ２２）。以下、この変換後のエッジパターンを「変換モデル」という。

ユーザは、上記の前提条件を守りながら、計測方向に対するワークＷの向きを想定される範囲で毎回変更して、撮像開始の指示操作を行う。この操作が行われる都度、カメラによる撮像処理、生成された画像からエッジを抽出する処理、抽出されたエッジのパターンを変換モデルと照合する処理が実行される（ＳＴ２３〜ＳＴ２６）。

なお、ＳＴ２６の照合処理では、画像から抽出されたエッジのパターンと変換モデルとを、位置関係を毎回変更して対応づけて、一致度が最大になったときの対応関係を正しいものとして特定する。また、この正しい対応関係における変換モデルから、照合対象のエッジに対応づけられなかった情報を特定する。

所定の時点で終了操作が行われると、ＳＴ２３〜２７のループを終了してＳＴ２８に進む。このＳＴ２８では、計測が不安定な情報を削除対象とする目的で、変換モデルを構成するエッジ情報のうち、画像側のエッジに対応づけられなかった割合が基準値を超えた情報を不要な情報として特定する。さらに、この不要情報を変換モデルから削除し（ＳＴ２９）、削除後の変換モデルを実用モデルとしてメモリ２３に登録する（ＳＴ３０）。

上記のとおり、ワークＷの２次元形状を表す特徴データを用いた認識処理を行う場合には、ワークＷのカメラによる視認が可能な範囲内の実寸大の形状を表す２次元パターンを基本モデルとして視覚センサ１００に入力し、実際の計測におけるのと同じ姿勢で配置されたワークＷに対する計測結果を基本モデルと照合し、基本モデルから計測結果に対応しない割合が高い情報を削除することにより、照明の変動などによる不安定な要素を含まない実用モデルを作成することができる。また、ワークＷの配置やカメラの光軸方向に関する設定内容が一致する複数の視覚センサに同一の基本モデルを入力して、それぞれのセンサに適した実用モデルを作成することができる。

なお、上記の２次元の認識処理を行う場合の視覚センサ１００に導入される基本モデルも、ＣＡＤデータによるものに限らない。たとえば、設置環境が良好な状態の視覚センサ１００において、ワークＷの撮像および生成された画像からエッジを抽出する処理によって、このセンサによる倍率で表したモデルデータを作成した後に、このモデルデータを上記の倍率に基づき実寸法を示す情報に変換したものを基本モデルとしてもよい。または視覚センサで作成したモデルデータと倍率との組み合わせを基本モデルとしてもよい。

さらに、同一のワークＷを処理対象とするが、ワークＷの底面とする面が視覚センサ１００によって異なる場合（たとえば図６の例の配置を採用するセンサと、図８の例の配置を採用するセンサとがある場合）には、ワークＷの表面の全輪郭形状を表す３次元情報を基本モデルとして各センサに入力して、実用モデルを作成することができる。簡単に説明すると、この場合には、３次元の基本モデルを視覚センサ１００に入力した後に、そのセンサ１００におけるワークＷの配置状態に合わせて基本モデルを回転補正し、さらに補正後の基本モデルをカメラ座標系に透視変換する。そして、この変換により生成された２次元のエッジパターンを変換モデルとして、図１２のＳＴ２３以降の処理を実行する。

最後に、上記した各種構成による視覚センサ１００は、認識対象のワークＷの位置および姿勢を認識する処理を実行する以外に、計測結果をモデルデータと照合したときの一致度に基づいて、ワークＷの姿勢または形状の適否を判定する目的に利用することもできる。また２次元のエッジパターンの抽出および照合を行うタイプの視覚センサ１００においては、図１２に示した方法により登録したモデルデータを複数とおりの倍率で表し、ワークＷの画像から抽出したエッジパターンを各倍率のモデルデータと照合することにより、ワークＷの位置および姿勢に加えて、ワークＷの高さを認識することも可能である。

Ａ，Ｂ，Ｃ カメラ
Ｗ ワーク
１ ステレオカメラ
２ 認識処理装置
２２ ＣＰＵ
２３ メモリ
１００ 視覚センサ

Claims (7)

1. 認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により前記物体の輪郭形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより前記物体に対する認識処理を実行する視覚センサにおいて、前記照合処理のためのモデルデータを登録する方法であって、
   認識対象の物体について、当該物体の実寸大の全輪郭形状を表す３次元情報を基本モデルデータとして入力する第１ステップと、
   前記認識対象の物体の実物モデルを処理対象として、前記カメラによる撮像および前記計測処理、ならびに計測処理により取得した前記実物モデルの輪郭形状を表す特徴データと前記基本モデルデータまたは基本モデルデータを透視変換して得られた２次元情報とを照合する処理を、前記実物モデルのカメラに対する姿勢を変更しながら複数サイクル実行する第２ステップと、
   前記第２ステップで前記実物モデルの特徴データと照合されたデータから少なくとも前記第２ステップで実行された複数サイクルのいずれの照合処理においても前記実物モデルの特徴データに対応づけられなかった情報を削除し、残されたデータを前記照合処理のためのモデルデータとして登録する第３ステップとを、
   実行することを特徴とする、視覚認識処理用のモデルデータの登録方法。
2. 前記第２ステップでは、前記カメラに対する実物モデルの姿勢を毎回変更して撮像および前記計測処理ならびに前記照合処理を複数サイクル繰り返す、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
3. 前記第３ステップでは、前記実物モデルの特徴データと照合されたデータに含まれる情報のうち、前記第２ステップでの複数のサイクル毎の照合処理において実物モデルの特徴データに対応づけることができなかった回数またはその割合が所定の基準値を上回る情報を、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
4. 前記第３ステップでは、前記実物モデルの特徴データと照合されたデータに含まれる情報のうち、前記第２ステップの複数のサイクルのうちの少なくとも１サイクルにおける照合処理において実物モデルの特徴データに対応づけられなかった情報を、削除の対象に設定する、請求項１に記載された視覚認識処理用のモデルデータの登録方法。
5. 請求項１〜４のいずれかに記載された方法において、
   前記計測処理として、前記認識対象の物体の３次元の輪郭形状を表す特徴データを取得する３次元の計測処理を実行し、
   前記第２ステップの照合処理では、実物モデルに対する前記計測処理により取得した当該実物モデルの３次元の輪郭形状を表す特徴データを前記基本モデルデータが示す３次元情報と照合する、視覚認識処理用のモデルデータの登録方法。
6. 請求項１〜４のいずれかに記載された方法において、
   前記計測処理として、前記カメラにより生成された画像中のエッジを取得する２次元の計測処理を実行し、
   前記第２ステップの照合処理では、前記基本モデルデータを前記カメラの座標系に透視変換することにより生成された２次元のエッジパターンを照合対象として、実物モデルに対する前記計測処理により取得したエッジのパターンを照合対象のエッジパターンと照合する、視覚認識処理用のモデルデータの登録方法。
7. 認識対象の物体を少なくとも１台のカメラにより撮像し、生成された画像を用いた計測処理により前記物体の輪郭形状を表す特徴データを取得し、取得した特徴データを、あらかじめ登録したモデルデータと照合することにより前記物体に対する認識処理を実行する視覚センサであって、
   認識対象の物体について、当該物体の実寸大の全輪郭形状を表す３次元情報を基本モデルデータとして入力するための入力手段と、
   前記認識対象の物体の実物モデルが処理対象になることを条件として、前記カメラによる撮像および前記計測処理、ならびに計測処理により取得した実物モデルの輪郭形状を表す特徴データと前記入力手段より入力した基本モデルデータまたは基本モデルデータを透視変換して得られた２次元情報とを照合する処理を、複数サイクル実行する実物モデル処理手段と、
   前記実物モデルの特徴データと照合されたデータから前記実物モデル処理手段が少なくとも前記複数サイクルのいずれの照合処理においても前記実物モデルの特徴データに対応づけられなかった情報を削除し、残されたデータを登録対象のモデルデータとして設定するモデルデータ設定手段とを、
   具備することを特徴とする、視覚センサ。

Images