JP2013195368A - 欠陥検出装置 - Google Patents

Abstract

【課題】表面の光沢等を欠陥として誤認識することなく、欠陥を検出できる欠陥検出装置を提供する。
【解決手段】対象となるワークを、互いに異なる複数の位置から撮像した複数の画像情報を取得する。当該ワーク上の各部を順次、注目部分として選択し、複数の画像情報の各々において注目部分に対応する画像部分の輝度の特徴量を比較する。そしてこの比較の結果に基づいて、ワークに欠陥があるか否かを判定する欠陥検出装置である。
【選択図】図３

Description

本発明は、例えば鋳物等の欠陥を検出する欠陥検出装置に関する。

複数のカメラを、欠陥検査の対象となるワークの上面と、各側面とを撮影するよう配し、各撮像された画像に基づいて、ワーク各部の欠陥を検出する外観検査装置が、特許文献１に開示されている。

特開２００９−９７９２２号公報

しかしながら、上記従来の外観検査装置では、対象物の凹凸を欠陥として扱いたい場合に、対象物の表面は滑らかであるにも関わらず、表面処理の影響で部分的に光沢が生じ、画像上に輝点が現れたような場合に、当該部分が欠陥として扱われてしまうという問題点があった。

本発明は上記実情に鑑みて為されたもので、表面の光沢等を欠陥として誤認識することなく、欠陥を検出できる欠陥検出装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、欠陥検出装置であって、対象となるワークを、互いに異なる複数の位置から撮像した複数の画像情報を取得する取得手段と、前記複数の画像情報のいずれかにおける、前記ワークが撮像された部分の画素を順次、注目部分として選択し、前記複数の画像情報の各々において前記注目部分に対応する画像部分の輝度の特徴量を比較する比較手段と、前記比較の結果に基づいて、前記ワークに欠陥があるか否かを判定する判定手段と、を含むこととしたものである。

ここで前記ワークに対して光を照射する照明を有し、前記特徴量は、前記照明の位置から光の照射方向に沿ったワーク上の線分における輝度の分布であることとしてもよい。また、前記ワークの３次元モデル情報を受け入れる手段をさらに含み、前記比較手段は、当該３次元モデル情報を利用して前記各撮像位置からの２次元投射像を生成し、当該各撮像位置からの２次元投射像のそれぞれにおけるワーク上の各点の座標情報を得ることにより、前記複数の画像情報の各々において前記注目部分に対応する画像部分を特定することとしてもよい。

さらに前記ワークに対して光を照射する照明を有し、前記比較手段は、前記注目部分での前記照明からの光の入射ベクトルを含む面と、前記ワークとの交差する線分に沿った各画素の輝度の分布を、前記複数の画像情報のそれぞれから求め、当該画像情報のそれぞれから得た輝度の分布をそれぞれ特徴量として、この特徴量の組を欠陥の有無を定めたクラスタのいずれかに分類し、前記判定手段が、前記分類の結果から、前記注目部分での欠陥の有無を判定することとしてもよい。

また本発明の一態様に係るプログラムは、コンピュータを、対象となるワークを、互いに異なる複数の位置から撮像した複数の画像情報を取得する取得手段と、前記複数の画像情報のいずれかにおける、前記ワークが撮像された部分の画素を順次、注目部分として選択し、前記複数の画像情報の各々において前記注目部分に対応する画像部分の輝度の特徴量を比較する比較手段と、前記比較の結果に基づいて、前記ワークに欠陥があるか否かを判定する判定手段と、として機能させることとしたものである。

本発明によると、複数の方向から見た画像に基づき注目部分に欠陥があるか否かを判定するので、表面の光沢等を欠陥として誤認識することなく、欠陥を検出できる。

本発明の実施の形態に係る欠陥検出装置の構成例を表すブロック図である。 本発明の実施の形態に係る欠陥検出装置の例を表す機能ブロック図である。 本発明の実施の形態に係る欠陥検出装置の処理における座標系の設定例を表す説明図である。 本発明の実施の形態に係る欠陥検出装置における処理の概要例を表す説明図である。 本発明の実施の形態に係る欠陥検出装置における欠陥ごとの特徴量の例を表す説明図である。 本発明の実施の形態に係る欠陥検出装置の動作例を表すフローチャート図である。

本発明の実施の形態について図面を参照しながら説明する。本実施の形態の欠陥検出装置１０は、図１に例示するように、ワークを配するステージ１と、光源２と、カメラ３と、情報処理装置４とを含んで構成される。また、この情報処理装置４は、制御部１１、記憶部１２，操作部１３、表示部１４及び通信部１５を含んで構成されている。

ステージ１は、鉛直方向に法線を有する表面を備える。この表面にはワークが置かれる。光源２は、ステージ１上のワークに対して光を照射して、ワークを照明する。カメラ３は、ステージ上のワークを撮影し、撮影して得た画像情報を情報処理装置４に出力する。

本実施の形態の一態様では、カメラ３はステージ１の表面を含む面内に、複数（２台）配される。具体的に各カメラ３Ｌ，３Ｒは、予め定められた軸（Ｘ軸とする）に沿って、距離Ｂだけ離れた２箇所に配されている。またこれらカメラ３Ｌ，３Ｒの光軸（視線方向）は、いずれもＸ軸に直交し、上記面内でワークの方向を向いた方向（Ｚ軸方向）を向く。つまり両カメラ３Ｌ，３Ｒの視線方向は平行である。また、Ｘ軸とＺ軸とに直交する方向をＹ軸として、これらＸ，Ｙ，Ｚで表される座標系をワールド座標系と呼ぶ。

また、各カメラ３Ｌ，３Ｒをこの配置にできない場合は、各カメラ３Ｌ，３Ｒで撮像した画像に基づいてカメラのキャリブレーションを実行し、平行視になるよう画像処理を行ってもよい。このキャリブレーションの方法としては、例えばTsaiの方法など、広く知られた方法を用いることができ、このキャリブレーションにより、距離Ｂや、各カメラの焦点距離ｆｌ，ｆｒ等が求められる。

情報処理装置４の制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作する。本実施の形態では、この制御部１１は、複数のカメラ３がそれぞれ、互いに異なる位置から対象となるワークを撮像して得た複数の画像情報を取得する。また、制御部１１は、複数の画像情報のいずれかにおける、ワークが撮像された部分の画素を順次、注目部分として選択し、取得した複数の画像情報の各々において当該選択した注目部分に対応する画素の輝度の特徴量を得る。そして制御部１１は、注目部分ごとに、複数の画像情報から得た複数の特徴量を互いに比較する。制御部１１は、この比較の結果に基づいてワークに欠陥があるか否かを判定し、当該判定の結果を出力する。この制御部１１の詳しい動作は後に説明する。

記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。またこの記憶部１２は、制御部１１のワークメモリとしても機能する。

操作部１３は、キーボードやマウス等であり、利用者の指示操作を受け入れて、当該受け入れた指示操作の内容を表す情報を、制御部１１に出力する。表示部１４は、例えばディスプレイであり、制御部１１から入力される指示に従い、画像を表示出力する。通信部１５は、ＵＳＢ（Universal Serial Bus）インタフェースあるいは、ネットワークインタフェース等であり、外部から入力ないし受信されるデータを受け入れて、当該受け入れたデータを制御部１１に出力する。

本実施の形態のある例によると、この欠陥検出装置１０の情報処理装置４は、外部の装置から、欠陥検出の対象となるワークの三次元モデルの情報を受け入れる。この三次元モデル情報は、例えばＩＧＥＳ（Initial Graphics Exchange Specification）等で記述された三次元ＣＡＤ（Computer Aided Design）データである。この三次元モデルで記述されるワークの表面上には複数の他部位と外観上識別できる特徴ある基準部位Ｍj（ｊ＝１，２…ｎ）を予め設定しておき、ワールド座標における夫々の基準部位の座標値をＭj（Ｘｍj，Ｙｍj，Ｚｍj）と表すこととする。

そして制御部１１は、機能的には、図２に例示する構成を備える。すなわち本実施の形態では、この制御部１１は、画像取得部２１と、基準部位特定部２２と、モデル設定部２３と、注目部分選択部２４と、特徴量算出部２５と、特徴量比較部２６とを含んで構成される。

画像取得部２１は、カメラ３Ｌ，３Ｒがそれぞれ出力する２つの画像情報（ＰＬ，ＰＲとする）を取得して、記憶部１２に格納する。基準部位特定部２２は、これら２つの画像情報のそれぞれに共通して撮像されているワーク上の基準部位Ｐ1，Ｐ2…を特定する。これらの基準部位Ｐjのそれぞれは、三次元モデル情報に含まれる基準部位Ｍjのいずれかに対応する位置であるが、三次元モデル情報に含まれる複数の基準部位のすべてを特定する必要はない。

基準部位特定部２２は、特定した基準部位Ｐjごとに、取得した二つの画像情報のそれぞれの内で撮像されている基準部位Ｐjの位置を表す座標情報のペア（基準部位情報）｛（ｘLj，ｙLj），（ｘRj，ｙRj）｝（ｊ＝１，２…）を取得する。この基準部位情報は、二つの二次元の画像情報内の座標情報であるので、画像情報の座標系である二次元座標の情報のペアとなる。

一例として、基準部位特定部２２は、カメラ３Ｌ，３Ｒから取得した各画像情報を表示部１４に表示出力し、利用者からそれぞれの画像情報ＰＬ，ＰＲのそれぞれから、対応する基準部位Ｐ（基準部位ペア）を、例えばマウス等の操作や、（三次元モデル情報に基づいてレンダリングした二次元投影像との）パターンマッチング処理等により特定させる。このときには基準部位特定部２２は、利用者が特定した基準部位ごとの、各画像情報内の座標の値の組を、基準部位情報として取得する。基準部位特定部２２は、複数の基準部位ペアの各々について、基準部位情報を得る。

モデル設定部２３は、複数の基準部位情報と、ワークの三次元モデル情報とを受け入れる。そしてこのモデル設定部２３は、複数の基準部位情報の各々から、例えば次のようにして、撮像されたワーク上の各基準部位Ｐj（ｊ＝１，２…）のワールド座標系での値（Ｘpj，Ｙpj，Ｚpj）（ｊ＝１，２，…）を演算する。すなわち三角比の関係から、カメラ３の焦点距離をｆ（画素数に換算する）として、奥行の値（Ｚ軸の座標値Ｚp）が、
Ｚpj＝Ｂ・ｆ／｜ｘLj−ｘRj｜
と演算される。ここに｜＊｜は、＊の絶対値を演算することを意味する。これより、上記座標（ｘLj，ｙLj）、（ｘRj，ｙRj）に対応するワーク上での座標（Ｘpj，Ｙpj，Ｚpj）が、ｄj＝｜ｘLj−ｘRj｜として、
（Ｘpj，Ｙpj，Ｚpj）＝（Ｂ・ｘLj／ｄj，Ｂ・ｙLj／ｄj，Ｂ・ｆ／ｄj）
と求められる。なお、カメラキャリブレーションを行わない場合は、焦点距離ｆは実験的に定めることができる。

モデル設定部２３は、図３に例示するように、三次元モデル情報に含まれる基準部位Ｍiの位置座標（Ｘｍj，Ｙｍj，Ｚｍj）が、ワーク上での対応する基準部位Ｐjの位置座標（Ｘpj，Ｙpj，Ｚpj）に一致することとなるよう、モデルワークをワールド座標内で回転、並進、拡大ないし縮小する。このように、対応する基準部位同士の座標を一致させることで、モデルの位置姿勢とワークの位置姿勢が合致した状態になり、基準部位以外のワーク表面における部分においてもモデルのワールド座標情報を介してワールド座標情報を得ることができるようになる。

注目部分選択部２４は、欠陥検出の対象となるワーク上の各点（ワールド座標内の点）を順次、注目部分として選択する。この選択は一例として次のように行われる。
まず注目部分選択部２４は、カメラ３Ｌ，３Ｒのいずれか一方により取得した画像情報を基準とする。以下の例ではカメラ３Ｌから取得した画像情報ＰＬを基準としたものとするが、カメラ３Ｒから取得した画像情報ＰＲを基準とする場合も同様である。

注目部分選択部２４は、基準とした画像情報ＰＬ上の各画素を、所定の順序で選択する。例えば注目部分選択部２４は、画像情報の左上隅の画素を起点としてｘ軸に沿って１行分の画素を順次選択し、次いでｙ軸に沿って１画素だけずれてから、また当該行の左隅から順にｘ軸に沿って１行分の画素を順次選択し…と選択すればよい。以下、この選択順序をスキャンライン順と呼ぶ。

また、カメラ３Ｌによって得られた画像情報ＰＬは、カメラ３Ｌの視線方向に配された矩形状領域ＶＬに投影されたワークの像であり、カメラ３Ｒによって得られた画像情報ＰＲは、カメラ３Ｒの視線方向に配された矩形状領域ＶＲに投影されたワークの像である。

以下、注目部分選択部２４が基準部位以外のワーク表面における画像情報ＰＬ内の座標とカメラ３Ｒの画像情報ＰＲ内の座標を対応づける方法について説明する。すなわち、注目部分選択部２４が画像情報ＰＬ内の注目画素の座標Ｌｇ（ｘLg，ｙLg）に対応する画像情報ＰＲ内の対応画素の座標（ｘLg，ｙLg）を得る方法を説明する。

注目部分選択部２４は、まず画像情報ＰＬ内で選択された注目画素の座標（ｘLg，ｙLg）とカメラ３Ｌのワールド座標での焦点位置（ＸCL，ＹCL，ＺCL）とから画像情報ＰＬ側のエピポーラ線を求める。次に、注目部分選択部２４は、このエピポーラ線とモデルの表面が交差する交点を特定して、これを（Ｘg，Ｙg，Ｚg）とする。ここで、モデル表面の各座標はそのままワーク表面上の座標に一致させてあるので、これにより注目画素（ｘRg，ｙRg）に対応するワールド座標（Ｘg，Ｙg，Ｚg）が得られたことになる。

次に、注目部分選択部２４は、ワールド座標（Ｘg，Ｙg，Ｚg）とカメラ３Ｒのワールド座標系での焦点位置（ＸCR，ＹCR，ＺCR）とを結ぶ直線（画像情報ＰＲ側のエピポーラ線に相当する）を演算し、その直線がカメラ３Ｒの矩形状領域ＶＲと交差する交点（ｘRg，ｙRg）を演算する。

この交点は画像情報ＰＬ内の注目画素（ｘLg，ｙLg）に対応する画像情報ＰＲ内での座標位置（ｘRg，ｙRg）に相当する。つまり、注目部分選択部２４は、以上の演算によって画像情報ＰＬ内の画素の座標値に対応する画像情報ＰＲ内の画素の座標値を得る。

このように、本実施の形態では、一方のカメラの画像情報内の画素の位置座標（注目画素の位置座標）と焦点位置の位置座標から３次元モデル表面と交差する交点を求め、この交点を利用して他方のカメラの画像情報内の画素の位置座標（対応画素の位置座標）を特定する。

なお、注目画素の座標値に対応するモデル表面の交点を求めるときに、モデルの形状によってはエピポーラ線は、カメラから見えているモデル表面のほかにも、陰になっているモデル表面とも交差して（複数回交差して）、複数の交点が求められる場合もある。

この場合、注目部分選択部２４は、それぞれの交点の座標値（Ｘg，Ｙg，Ｚg）とカメラ３Ｌ側では焦点位置（ＸCL，ＹCL，ZCL）あるいは、カメラ３Ｒ側では焦点位置（ＸCR，ＹCR，ZCR）との距離を演算し、距離が最も小さい交点を選択する。当該選択した交点が、カメラから一番近い面との交点（求めたい交点）であり、それ以外の交点はカメラからは見えない面との交点（ここでの演算では不要な交点）と判断できる。

また特徴量算出部２５は、ワールド座標系での光源２の位置（Ｘs，Ｙs，Ｚs）を取得する。なお、ワールド座標系での光源２の位置の情報は予め定められているものとする。

そして特徴量算出部２５は、先に得られたワーク上の座標（Ｘg，Ｙg，Ｚg）と、光源２のワールド座標系での位置情報（Ｘs，Ｙs，Ｚs）とから、照明の方向を表す入射光ベクトル（光の入射光線の方向を表すベクトル）（Ｘi，Ｙi，Ｚi）を求める。

また特徴量算出部２５は、ワーク上の座標（Ｘg，Ｙg，Ｚg）におけるワークの法線ベクトル（ＸN，ＹN，ＺN）を三次元モデル情報を利用して求める。そして、特徴量算出部２５は、このワークの（モデルにおける）法線ベクトル（ＸN，ＹN，ＺN）と、照明の入射光線ベクトル（Ｘi，Ｙi，Ｚi）とを含む入射面Ｔを求める（図４）。ワーク上の座標（Ｘg，Ｙg，Ｚg）での光の反射を鏡面反射と仮定し、その反射光線ベクトルを（Ｘr，Ｙr，Ｚr）と表すと入射光線ベクトルも反射光線ベクトルも入射面Ｔに含まれる。

特徴量算出部２５は、三次元モデル情報を利用して、この入射面Ｔとワーク表面との交線ＣＳを求め、ワーク上の座標（Ｘg，Ｙg，Ｚg）を含み、この交線ＣＳに沿った所定長の線分に含まれる三次元モデル上の（すなわち、ワーク表面上の）各点の座標値（ＸTi，ＹTi，ＺTi）（ｉ＝１，２，…）を得る。この線分に沿った軸をｕ軸と呼ぶ。

特徴量算出部２５は、図４に示すように、画像情報ＰＬ上で、ここで得たｕ軸上の各点の座標値（ＸTi，ＹTi，ＺTi）に対応する画素（ｘLTi，ｙLTi）の値の配列を求める。また特徴量算出部２５は、画像情報ＰＲ上においても、ここで得たｕ軸上の各点の座標値（ＸTi，ＹTi，ＺTi）に対応する画素（ｘRTi，ｙRTi）の値の配列を求める。ここで座標（ｘRTi，ｙRTi）は、座標（ｘLTi，ｙLTi）に対する対応点である。

特徴量算出部２５は、こうして、カメラ３Ｌとカメラ３Ｒとの視点からそれぞれ撮像した場合の、照明の方向を表すベクトルの向きに沿った線分（照明の位置から光の照射方向に沿ったワーク上の線分）におけるワーク上のｕ軸に沿った輝度の分布（この線分に添った画素の画素値の配列）を求め、これらの輝度の分布を特徴量として出力する。

特徴量比較部２６は、これらカメラ３Ｌとカメラ３Ｒとの視点からそれぞれ撮像した場合の、輝度に係る特徴量を比較する。ここでは照明の位置から光の照射方向に沿ったワーク上の線分輝度の分布を特徴量として用いることとする。

この場合の比較の概要について、図５を参照しながら説明する。図５には、ワーク表面の種々の状態に対応して、互いに異なる位置から撮像された画像上の輝度の相違を模式的に表したものである。図５では、照明の方向をＳ、カメラ３Ｌの方向（カメラ３Ｌの視線ベクトル）をＶＬ、カメラ３Ｒの方向（カメラ３Ｒの視線ベクトル）をＶＲとしている。

図５（ａ）は、ワークに異物（ワークよりも反射率の高い異物）が噛み混まれている場合を示す。この場合は異物表面の反射により、画像情報ＰＬ，ＰＲのいずれにおいても対応箇所に、周辺より高い輝度の部分が生じる。また図５（ｂ）は、ワーク表面に凸部が形成されている場合を示す。この場合は、画像情報ＰＬ，ＰＲのいずれの対応箇所でも、照明方向に明るい部分が生じ、照明と反対側に暗い部分が生じる。

図５（ｃ）は、ワーク表面に平滑な部分が生じている場合（光沢ができている場合）を示す。光沢部では照明からの光は拡散せずに特定方向に反射される。このため、画像情報ＰＬ，ＰＲの一方において対応箇所は暗部（周辺より輝度が低い）となり、他方において対応箇所は周辺より輝度が高くなる。図５（ｄ）は、ワーク表面が周辺と同様に拡散反射面となっている場合を示す。この場合は、画像情報ＰＬ，ＰＲのいずれでも周辺との間に輝度の変化は生じない。

図５（ｅ）は、ワーク表面に凹部が形成されている場合を示す。この場合は、画像情報ＰＬ，ＰＲのいずれの対応箇所でも、照明方向に暗い部分が生じ、照明と反対側に明るい部分が生じる。図５（ｆ）は、ワークに異物（ワークよりも反射率の低い異物）が噛み混まれている場合を示す。この場合は異物表面の反射により、画像情報ＰＬ，ＰＲのいずれにおいても対応箇所に、周辺より低い輝度の部分が生じる。

特徴量比較部２６は、例えばＳＶＭ（サポートベクターマシン）を含み、図５（ａ）から（ｆ）の各ケースに対応して用意されたワークを用いて、特徴量算出部２５が出力する各カメラ３Ｌ，３Ｒの画像情報から得た、ｕ軸に沿った輝度分布を入力として、図５（ａ）から（ｆ）のどのパターンに対応するかを学習させたものでもよい。

特徴量比較部２６は、この学習したＳＶＭを用いて、特徴量算出部２５が出力する各カメラ３Ｌ，３Ｒの画像情報から得た、ｕ軸に沿った輝度分布を図５（ａ）から（ｆ）のどのパターンに対応するかを表す情報を得る。

そして、例えばワークに異物が噛み混まれている場合（図５（ａ）、（ｆ）に相当）、及び、凸部または凹部が生じている場合（図５（ｂ），（ｅ）に相当）を欠陥とすると、この特徴量比較部２６は、これら
（ａ）いずれにおいても周辺より高い輝度の部分が生じている、
（ｂ）照明方向に明るい部分が生じ、照明と反対側に暗い部分が生じている、
（ｅ）照明方向に暗い部分が生じ、照明と反対側に明るい部分が生じている、
（ｆ）いずれにおいても周辺より低い輝度の部分が生じている
のいずれかに相当するならば、特徴量比較部２６は、対応点（ｘLg，ｙLg）及び座標（ｘRg，ｙRg）に対応する座標（Ｘg，Ｙg，Ｚg）のワークの部分に欠陥があるとして、その旨を、表示部１４に表示出力する。

本実施の形態は、以上の構成を備えてなり、次のように動作する。本実施の形態の欠陥検出装置１０は、ステージ１上にワークを載せて、光源２からの光でワークを照明する。そして欠陥検出装置１０は、２つのカメラ３Ｌ，３Ｒにより、このワークを撮影した画像情報ＰＬ及びＰＲを得る。

情報処理装置４は、図６に例示するように、画像情報ＰＬ及びＰRを受け入れると（Ｓ１）、各画像情報に撮像されている、ワーク上に予め複数定められた基準部位の座標を取得する（Ｓ２）。そして情報処理装置４は、各基準部位のワールド座標系での座標を演算する（Ｓ３）。この演算はステレオ視画像から奥行を取得する方法による。

情報処理装置４は、処理Ｓ３で求めたワークの基準部位の三次元座標値と、三次元モデルの該当する基準部位の三次元座標値が合致するよう三次元モデルを回転、並進、拡大縮小等させることにより、ワークの位置姿勢とモデルの位置姿勢を合致させ、基準部位以外の部分でもワーク表面座標とモデルの表面座標が合致するようにする。（Ｓ４）。

情報処理装置４は、画像情報ＰＬ及びＰＲのいずれかを基準画像Ｐとして（以下では画像情報ＰＬを基準画像Ｐとする）、基準画像上の各画素を順次、注目画素（ｘLg，ｙLg）として選択する（Ｓ５）。そして、注目画素（ｘLg，ｙLg）にワークが写っているか否かを判断する（Ｓ６）。この判断は、注目画素に対応するエピポーラ線がワークの位置姿勢と合致させたモデルの表面と交差する交点があるか否かにより判断してもよいし、基準座標Ｐ上で注目画素に背景が写っているか否かにより判断してもよい（広く知られた種々の前景背景分離処理を利用できる）。モデルと交差する交点の有り無しでワークの有り無しを判断する前者の方法は、ワーク表面が複雑で背景との分離が困難な場合でも有効に識別できる。

処理Ｓ６において注目画素（ｘLg，ｙLg）にワークの表面であるとの判断がされれば、情報処理装置４は、基準画像でない画像情報ＰＲ上の画素（ｘRg，ｙRg）を、対応画素として特定する（Ｓ７）。図４のＰＬ，ＰＲは、画像情報ＰＬの一部と、画像情報ＰＲの一部とを表す説明図であり、これらの画像上で輝度の高い部分と低い部分とがあり、注目画素と対応画素とを特定した状態を表す。

なお、このとき情報処理装置４は、画像情報ＰＲの撮像位置から見てワーク上の点（Ｘg，Ｙg，Ｚg）がワークの他の部分によって隠されていると判断される場合は、処理Ｓ１１へ移行して、特徴量の算出処理を行わないこととしてもよい。すなわち、画像情報ＰＬ，ＰＲは互いに異なる視点から撮像された画像情報であるので、一方側に撮像されているワークの部分が他方側には撮像されていない場合もある（いわゆるオクルージョンの問題）。本実施の形態では、このようにオクルージョンが生じている部分については特徴量の算出は行わない。

情報処理装置４は、ワールド座標系で予め定めた光源２の位置（Ｘs，Ｙs，Ｚs）を取得し、これと、処理Ｓ６で得られたワーク上の座標（Ｘg，Ｙg，Ｚg）とから、照明の入射光ベクトル（入射光線方向を表すベクトル）を求める。情報処理装置４は、ワーク上の座標（Ｘg，Ｙg，Ｚg）におけるワークの法線ベクトル（ＸN，ＹN，ＺN）を、三次元モデル情報を利用して求め、このワークの法線ベクトル（ＸN，ＹN，ＺN）と、照明の方向を表すベクトル（Ｘi，Ｙi，Ｚi）とを含む入射面Ｔを求める。この面Ｔには、照明からの入射光線のベクトル（Ｘi，Ｙi，Ｚi）と、（Ｘg，Ｙg，Ｚg）でのワークからの反射光（Ｘr，Ｙr，Ｚr）との双方が含まれる。

さらに情報処理装置４は、三次元モデル情報を利用して、この入射面Ｔとワーク表面との交線ＣＳを求め、ワーク上の座標（Ｘg，Ｙg，Ｚg）を含み、この交線ＣＳに沿った所定長の線分に含まれる三次元モデル上の各点の座標値（ＸTi，ＹTi，ＺTi）（ｉ＝１，２，…）を得る（Ｓ８）。この線分に沿った軸をｕ軸と呼ぶ。

情報処理装置４は、図４に示したように、画像情報ＰＬ上で、ここで得たｕ軸上の各点の座標値（ＸTi，ＹTi，ＺTi）に対応する画素（ｘLTi，ｙLTi）の値の配列を求める。また情報処理装置４は、画像情報ＰＲ上においても、ここで得たｕ軸上の各点の座標値（ＸTi，ＹTi，ＺTi）に対応する画素（ｘRTi，ｙRTi）の値の配列を求める。ここで座標（ｘRTi，ｙRTi）は、座標（ｘLTi，ｙLTi）に対する対応点である。

情報処理装置４は、こうして、カメラ３Ｌとカメラ３Ｒとの視点からそれぞれ撮像した場合の、照明の方向を表すベクトルの向きに沿った線分（照明の位置から光の照射方向に沿ったワーク上の線分）におけるワーク上のｕ軸に沿った輝度の分布（この線分に添った画素の画素値の配列）を求め、これらの輝度の分布を特徴量として出力する（Ｓ９）。

情報処理装置４は、これらの画像情報ＰＬと画像情報ＰＲとからそれぞれ得られた特徴量を対比し、各特徴量算出の対象となった座標（ｘLg，ｙLg）と（ｘRg，ｙRg）に対応するワーク上の位置に欠陥があるか否かを判定して、その結果を出力する（Ｓ１０）。ここでは例えば、各特徴量算出の対象となった座標（ｘLg，ｙLg）と（ｘRg，ｙRg）に対応するワーク上の位置（Ｘg，Ｙg，Ｚg）における欠陥の有無を表す情報とを出力することとすればよい。

情報処理装置４は、基準画像となった画像情報ＰＬ上に、未だ注目画素として選択していない画素があるか否かを調べ（Ｓ１１）、そのような画素があれば（Yesならば）、処理Ｓ５に戻って注目画素の選択を行う。また処理Ｓ１１において未だ注目画素として選択していない画素がないと判断されれば（Noならば）、処理を終了する。

また処理Ｓ６において注目画素（ｘLg，ｙLg）にワークが撮像されていなければ（Noならば）、情報処理装置４は、処理Ｓ１１に移行して処理を続ける。

本実施の形態の欠陥検出装置１０は、以上のように、ステレオ視の画像情報を得て、各画像情報上で対応する画素を検出して、各対応している画素に撮像されているワークの部分を、その近傍で照明方向に沿った輝度分布等の特徴量を得て、各画像から得た特徴量同士を比較することで欠陥の有無を調べる。これにより、複数の方向から見たときの、それぞれ対応する画像部分の輝度が勘案されるので、一方側画像において光源とワークの法線との関係で光沢や暗部が生じてしまっていても、他の視点からの画像により、欠陥として誤認識されることがなくなり、より高い精度で欠陥を検出できる。

ここで対応する画素の検出する処理は、ここまでに説明したものに限られず、当業者は種々の画像処理の技術を適用して同様の処理を行うことができるものである。

また本実施の形態では、オクルージョンによる検出不能部分を可能な限り小さくするため、上記の動作を、ワークを回転させつつ繰返して行い、ワーク上の各部分についての欠陥の有無を検出する。またここでは２つのカメラ３によりステレオ視の画像を得ていたが、本実施の形態はこれに限らず、３つ以上のカメラ３による画像情報を得て、各画像情報における対応する画素を検出し、２以上の画像情報で対応する画素があれば、当該画素近傍におけるそれぞれの画像情報（ワークの対応する部分における法線方向からの画像に変換する）に撮像されている、ワークの、当該画素に対応する部分近傍の照明方向に沿った輝度分布等の特徴量を得て比較すればよい。

またカメラ３の数ｎ（ｎは１以上の整数）として、カメラ３の位置を移動しながら複数個所からワークを撮像することで、ｎより大きい数の画像情報を得ることとしてもよい。

さらにここまでの説明において利用されるＳＶＭに対しては、特徴量のみならず、カメラの視点座標、光源２の座標等の他の情報を入力して学習させ、また、その学習の結果を用いて分類、欠陥の有無の判定を行わせてもよい。

またここまでの説明において、制御部１１の特徴量算出部２５は、光源２のワールド座標系での位置の情報（Ｘs，Ｙs，Ｚs）から注目画素に対応するワーク上の座標（Ｘg，Ｙg，Ｚg）までの間に、モデルワークの他の部分（座標（Ｘg，Ｙg，Ｚg）以外の部分）が交差する場合、つまり、座標（Ｘg，Ｙg，Ｚg）の部分が光源２から影になっている場合は、特徴量の算出を行わないこととしてもよい。つまり、図６の処理Ｓ９の処理において座標（Ｘg，Ｙg，Ｚg）の部分が光源２から影になっているか否かを判断し、影になっていれば、処理Ｓ９の処理を中断して、処理Ｓ１１に移行することとしてもよい。

また注目画素に対応するワーク上の座標（Ｘg，Ｙg，Ｚg）がワークのエッジ部（尖端部）にあたる場合は、特徴量の算出を中断してもよい。具体的にはワーク上の座標（Ｘg，Ｙg，Ｚg）の近傍において、ワーク表面の座標の差分の差がしきい値を超える場合はワーク上の座標（Ｘg，Ｙg，Ｚg）がワークのエッジ部（尖端部）にあたると判断して、図６の処理Ｓ９の処理を中断して、処理Ｓ１１に移行する。

また別の例では、エッジ部を除いたモデルを用い、注目画素のエピポーラ線がこのモデルと交差しない（エッジ部が除かれているので、注目画素がエッジ部に対応するときでも交差しないと判断される）場合に、図６の処理Ｓ９の処理を中断して、処理Ｓ１１に移行するようにしてもよい。

さらに、カメラ３から得た画像情報に対して、孤立点除去の処理を行ってもよい。つまり、各画素の画素値について、その画素の近傍８画素の画素値との平均値に補正することとしてもよい。

１０ 欠陥検出装置、１ ステージ、２ 光源、３ カメラ、４ 情報処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 通信部、２１ 画像取得部、２２ 基準部位特定部、２３ モデル設定部、２４ 注目部分選択部、２５ 特徴量算出部、２６ 特徴量比較部。

Claims (5)

1. 対象となるワークを、互いに異なる複数の位置から撮像した複数の画像情報を取得する取得手段と、
   前記複数の画像情報のいずれかにおける、前記ワークが撮像された部分の画素を順次、注目部分として選択し、前記複数の画像情報の各々において前記注目部分に対応する画像部分の輝度の特徴量を比較する比較手段と、
   前記比較の結果に基づいて、前記ワークに欠陥があるか否かを判定する判定手段と、
   を含む欠陥検出装置。
2. 請求項１記載の欠陥検出装置であって、
   前記ワークに対して光を照射する照明を有し、
   前記特徴量は、前記照明の位置から光の照射方向に沿ったワーク上の線分における輝度の分布である欠陥検出装置。
3. 請求項１または２記載の欠陥検出装置であって、
   前記ワークの３次元モデル情報を受け入れる手段をさらに含み、
   前記比較手段は、当該３次元モデル情報を利用して前記各撮像位置からの２次元投射像を生成し、当該各撮像位置からの２次元投射像のそれぞれにおけるワーク上の各点の座標情報を得ることにより、前記複数の画像情報の各々において前記注目部分に対応する画像部分を特定する欠陥検出装置。
4. 請求項１から３のいずれかに記載の欠陥検出装置であって、
   前記ワークに対して光を照射する照明を有し、
   前記比較手段は、前記注目部分での前記照明からの光の入射ベクトルを含む面と、前記ワークとの交差する線分に沿った各画素の輝度の分布を、前記複数の画像情報のそれぞれから求め、当該画像情報のそれぞれから得た輝度の分布をそれぞれ特徴量として、この特徴量の組を欠陥の有無を定めたクラスタのいずれかに分類し、
   前記判定手段が、前記分類の結果から、前記注目部分での欠陥の有無を判定する欠陥検出装置。
5. コンピュータを、
   対象となるワークを、互いに異なる複数の位置から撮像した複数の画像情報を取得する取得手段と、
   前記複数の画像情報のいずれかにおける、前記ワークが撮像された部分の画素を順次、注目部分として選択し、前記複数の画像情報の各々において前記注目部分に対応する画像部分の輝度の特徴量を比較する比較手段と、
   前記比較の結果に基づいて、前記ワークに欠陥があるか否かを判定する判定手段と、
   として機能させるプログラム。

Images