JP2015232484A - 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

Abstract

【課題】フォトメトリックステレオ法を利用して、移動しているワークの傷や印字を検査することができる画像検査装置を提供する。
【解決手段】三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像を撮像するための撮像手段１１と、第一基準画像に含まれる、ワークＷＫの位置を追跡する対象となる画像である追跡対象画像を指定するための追跡対象画像指定手段と、追跡対象画像指定手段で指定された追跡対象画像の位置を、第二基準画像中から検索して、該第二基準画像中で該追跡対象画像が含まれている位置を特定し、該特定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定する対応位置推定手段と、対応位置推定手段で推定された部分照明画像の各画素の対応関係に基づいて、フォトメトリックステレオ用の検査画像を生成する検査画像生成手段とを備える。
【選択図】図１

Description

本発明は、移動するワークに対して、フォトメトリックステレオ法を利用して傷や印字を検査できるようにした画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。

ワークの表面の傷の有無や外観形状、印字された文字の読み取りといった検査を行う画像検査装置が利用されている。このような画像検査装置は、ワーク（検査対象物や被写体）に対して必要な照明を行い、画像を撮像し、得られた画像データに対してエッジ検出等、画像処理を行い、その結果に基づいて良否判定等の判断を行っていた。

しかしながらこのような画像検査装置では、ワークの種類によっては照明の種類や当てる方向によって見えやすさが変わるケースがあった。このため、このようなワークに対して適切な検査を行うには、十分な知識や経験が必要であった。

また、従来の画像検査装置では、照明条件や設置条件等が少し変わっただけで誤検出が起きやすく、安定的に検出することが困難であるという問題もあった。さらに、ワークの外観検査においては、傷、縁等のワークの形状に関する情報、言い換えると立体的な情報と、印字、シミ等の平面的な情報の両方が検査の対象になるところ、お互いが干渉し合う結果、上手く検出できないことがあるという問題もあった。

このような問題を解決するための技術として、フォトメトリックステレオ法を用いて高さ情報を取得する画像処理装置が知られている（例えば、特許文献１参照。）。ここでフォトメトリックステレオ法（photometric stereo）とは、照度差ステレオ法とも呼ばれ、異なる複数の照明方向から照明した画像を撮像して、その陰影情報からワークの法線ベクトルを求める三次元計測の手法の一つである。このようなフォトメトリックステレオ法を用いた画像処理装置は、法線ベクトル（傾き画像に相当）からＸ軸やＹ軸の成分を輝度値に置き換えた画像や、反射率画像（アルベド画像に相当）を作成して、画像検査に応用している。ここでは、フォトメトリックステレオ法で三次元計測を精度よく行うために、主として、照明機器の設置方法や照明光の照射方法に関する検討がなされている。

特開２００７−２０６７９７号公報

F. Pernkopf, P. O'Leary, "Image acquisition techniques for automatic visual inspection of metallic surfaces"NDT & E International, Elsevier (2003).

フォトメトリックステレオ法は、通常、撮像した複数の画像の同じ位置がワークの同一位置であるという前提で処理が実施される。いいかえると、ワークが静止しており、どの照明方向から照明した部分照明画像も、同じワークの同じ部分を撮像していることが必要となる。上述した特許文献１でも、動きのない静止したワークを対象としている。

これに対して、ＦＡ等の分野において利用されている画像検査では、移動しているワークに対して画像検査を実行したい用途が多い。そこで、例えばベルトコンベア上で移動しているワークを、フォトメトリックステレオ法を利用して画像検査しようとすれば、撮像した複数の画像の同じ位置が撮像対象の同一位置であるとの前提が成立しないため、そのままでは利用できない。

本発明は、このような事情に鑑みてなされたものであり、その主な目的は、フォトメトリックステレオ法を利用して、移動するワークに対しても、傷や印字を検査できるようにした画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。

課題を解決するための手段及び発明の効果

本発明の第１の画像検査装置によれば、移動するワークの外観検査を行うための画像検査装置であって、ワークを互いに異なる照明方向から照明するための三以上の照明手段と、前記三以上の照明手段を一ずつ所定の点灯順に点灯させる、又は該三以上の照明手段を同時に点灯させるための照明制御手段と、前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向が異なる複数の部分照明画像と、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像を撮像するための撮像手段と、第一基準画像に含まれる、ワークの位置を追跡する対象となる画像である追跡対象画像を指定するための追跡対象画像指定手段と、前記追跡対象画像指定手段で指定された追跡対象画像の位置を、第二基準画像中から検索して、該第二基準画像中で該追跡対象画像が含まれている位置を特定し、該特定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定する対応位置推定手段と、前記対応位置推定手段で推定された部分照明画像の各画素の対応関係に基づいて、フォトメトリックステレオ用の検査画像を生成する検査画像生成手段とを備えることができる。上記構成により、ワークが移動して同じ位置での部分照明画像を撮像できなくとも、第一基準画像や第二基準画像から部分照明画像の対応位置を推定できるため、このような移動するワークに対しても正確なフォトメトリックステレオ処理に基づく画像検査を行うことができる。

また、第２の画像検査装置によれば、前記追跡対象画像指定手段が、移動するワークの外観検査に先立つ設定時において、第一基準画像中から追跡対象画像として追跡領域を指定し、前記対応位置推定手段が、移動するワークの外観検査を行う運転時において、該追跡領域でもって第二基準画像中から追跡領域と対応する画像の位置を特定し、該特定された第二基準画像中の位置と、追跡領域を指定した第一基準画像中の位置との相対変化を用いて、各部分照明画像中の追跡領域の位置を推定することができる。

さらに、第３の画像検査装置によれば、前記追跡対象画像指定手段が、移動するワークの外観検査に先立つ設定時において、パターン領域を指定し、前記対応位置推定手段が、移動するワークの外観検査を行う運転時において、該パターン領域中に含まれる画像を追跡対象画像として、第一基準画像及び第二基準画像中から追跡対象画像の位置を特定し、該特定された第一基準画像及び第二基準画像中の追跡対象画像の位置の相対変化を用いて、各部分照明画像中の追跡対象画像の位置を推定できる。

さらにまた、第４の画像検査装置によれば、前記照明制御手段は、異なる照明方向から照明した部分照明画像を連続した撮像タイミングで、前記撮像手段で撮像するよう、各照明手段の点灯タイミングを一巡させると共に、該一巡させた照明タイミングの前後に、基準画像を撮像するよう、各照明手段の点灯タイミングを制御し、かつ各照明タイミングが等間隔となるように制御し、さらに前記撮像手段は、撮像タイミングを、前記照明制御手段による点灯タイミングと同期させることができる。

さらにまた、第５の画像検査装置によれば、さらにワークと線形補間された該ワークとの想定される位置ブレ量を設定するための位置ブレ量設定手段、又はワークと線形補間された該ワークとの想定される角度ブレ量を設定するための角度ブレ量設定手段を備えることができる。

さらにまた、第６の画像検査装置によれば、前記基準画像を、すべての照明手段を点灯させた状態で前記撮像手段により撮像した全灯画像とできる。

さらにまた、第７の画像検査装置によれば、前記照明手段は、全灯画像を撮像するために該照明手段をすべて点灯させる際に、該照明手段の数をＮとするとき、各照明手段の照明光を１／Ｎ倍に調整できる。

さらにまた、第８の画像検査装置によれば、前記照明手段が４つあり、全灯画像を撮像するために該４つの照明手段をすべて点灯させる際に、各照明手段の照明光を１／４倍に調整できる。

さらにまた、第９の画像検査装置によれば、前記検査画像生成手段が、前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段とを含むことができる。

さらにまた、第１０の画像検査装置によれば、請求項９に記載の画像検査装置であって、さらに、前記輪郭画像生成手段で生成された輪郭画像に対して検査対象となる検査領域の位置を特定するための検査領域特定手段と、前記検査領域特定手段で特定された検査領域内の異常を検出するための画像処理を施すための画像処理手段と、前記画像処理手段の処理結果に基づいて、ワーク表面の傷の有無を判定するための判定手段とを備えることができる。

さらにまた、第１１の画像検査装置によれば、さらに、前記照明手段により照明した回数分存在する、前記法線ベクトル算出手段で算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、該アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するためのテクスチャ抽出画像生成手段を備え、前記輪郭画像生成手段と前記テクスチャ抽出画像生成手段とを切り替え可能に構成できる。

さらにまた、第１２の画像検査装置によれば、前記追跡対象画像を、ワークを含む画像とできる。

さらにまた、第１３の画像検査装置によれば、前記法線ベクトル算出手段が、等速移動しているワークに対して、フォトメトリックステレオ法に基づき法線ベクトルを算出することができる。

さらにまた、第１４の画像検査装置によれば、前記法線ベクトル算出手段が、ＸＹ方向に移動しているワークに対して、フォトメトリックステレオ法に基づき法線ベクトルを算出することができる。

さらにまた、第１５の画像検査方法によれば、移動するワークの画像を撮像して外観を検査する検査方法であって、ワークを、三以上の照明手段を第一基準タイミングで同時に点灯させて、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段で撮像して第一基準画像を取得する工程と、第一基準タイミングの時点から移動したワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、互いに異なる照明方向から異なる点灯タイミングで照明し、前記撮像手段を用いて各照明方向毎に一の部分照明画像を撮像して、照明方向の異なる複数枚の部分照明画像を取得する工程と、さらに各点灯タイミングの時点から移動したワークを、三以上の照明手段を第二基準タイミングで同時に点灯させて前記撮像手段で撮像して第二基準画像を取得する工程と、第一基準画像に含まれる、ワークの位置を追跡する対象となる画像である追跡対象画像を、追跡対象画像指定手段で指定する工程と、前記追跡対象画像指定手段で指定された追跡対象画像を、第二基準画像中から検索して、該第二基準画像中で該追跡対象画像が含まれている位置を特定し、該特定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定する工程と、前記推定された部分照明画像の各画素の対応関係に基づいて、検査画像生成手段でフォトメトリックステレオ用の検査画像を生成する工程と、前記検査画像を用いて、ワークの外観検査を行う工程とを含むことができる。

さらにまた、第１６の画像検査プログラムによれば、移動するワークの画像を撮像して外観を検査するための検査プログラムであって、コンピュータに、ワークを、三以上の照明手段を第一基準タイミングで同時に点灯させて、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段で撮像して第一基準画像を取得する機能と、第一基準タイミングの時点から移動したワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、異なる照明方向から異なる点灯タイミングで照明し、前記撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、照明方向の異なる複数枚の部分照明画像を取得する機能と、さらに各点灯タイミングの時点から移動したワークを、三以上の照明手段を第二基準タイミングで同時に点灯させて前記撮像手段で撮像して第二基準画像を取得する機能と、第一基準画像に含まれる、ワークの位置を追跡する対象となる画像である追跡対象画像を指定する機能と、前記指定された追跡対象画像を、第二基準画像中から検索して、該第二基準画像中で該追跡対象画像が含まれている位置を特定し、該特定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定する機能と、推定された部分照明画像中の各画素の対応関係に基づいて、検査画像生成手段でフォトメトリックステレオ用の検査画像を生成する機能と、前記検査画像を用いて、ワークの外観検査を行う機能とを実現させることができる。

また第１７の側面に係るコンピュータで読み取り可能な記録媒体または記憶した機器は、上記画像検査プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（商品名）、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウェア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウェアモジュールとが混在する形式で実現してもよい。

本発明の実施形態１に係る画像検査装置の構成を示すブロック図である。 図１の画像検査装置の撮像手段と照明手段の位置関係を示す模式平面図である。 図１の画像検査装置の撮像手段と照明手段の位置関係を示す模式側面図である。 実施形態２に係る４つの照明ブロックを実現する照明手段を示す模式図である。 図４の照明手段で５つの照明ブロックを実現する様子を示す模式平面図である。 実施形態３に係る照明手段を示す模式平面図である。 実施形態４に係る照明手段を示す模式平面図である。 変形例に係る照明手段を示す模式平面図である。 他の変形例に係る照明手段を示す模式平面図である。 実施形態５に係る画像検査装置の構成を示す模式図である。 実施形態６に係る画像検査装置の構成を示す模式図である。 画像処理部の信号処理系の説明に供するブロック図である。 図１３Ａは、フォトメトリックステレオ法の基本原理を説明するための、拡散反射面Ｓと照明との位置関係を示す図、図１３ＢはＬ１から光を照射した状態を示す図、図１３ＣはＬ２から光を照射した状態を示す図、図１３Ｄは照射方向と反射光の明るさの組み合わせから、表面の向きを推定することを説明するための図である。 図１４Ａは、法線方向のＹ座標成分画像の一例を示すイメージ図、図１４Ｂは法線方向のＸ座標成分画像の一例を示すイメージ図、図１４Ｃは輪郭抽出画像の一例を示すイメージ図である。 図１５Ａは、δ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法を説明するための、表面情報を示す図、図１５Ｂは傾き画像を示す図、図１５Ｃは前進差分を示す図、図１５Ｄは中央差分を示す図である。 図１６Ａはテクスチャ抽出画像の生成方法を説明するための、ソース画像を示す図、図１６Ｂは平均法による処理を行った画像を示す図、図１６Ｃはハレーション除去法による処理を行った画像を示す図である。 アングルノイズ低減の説明に供する図である。 図１８Ａ〜図１８Ｄは、ワークが等速移動する移動体である場合のＰＳ１〜ＰＳ４画像を示す模式平面図である。 図１９Ａは内挿線形補間法におけるＭＣ１、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４、ＭＣ２を撮像するタイミングを示す図、図１９Ｂは外挿線形補間法におけるＭＣ１、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４、ＭＣ２を撮像するタイミングを示す図、図１９Ｃ〜図１９ＧはＭＣ画像を撮像するタイミングの複数の変形例を示す図である。 図２０Ａは追跡領域指定法の設定時において、ＭＣ１画像上に追跡領域ＴＷを設定する様子を示す模式図、図２０ＢはＭＣ２画像上にサーチ領域ＳＷ２を設定する様子を示す模式図である。 図２１Ａは追跡領域指定法の運用時において、各処理を説明するための、ＭＣ１、図２１ＢはＰＳ１、図２１ＣはＰＳ２、図２１ＤはＰＳ３、図２１ＥはＰＳ４、図２１ＦはＭＣ２を示す図である。 図２２Ａは追跡パターン指定法の設定時において、ＭＣ１画像上にパターン領域ＰＷ及びサーチ領域ＳＷ１を設定する様子を示す模式図、図２２ＢはＭＣ２画像上にサーチ領域ＳＷ２を設定する様子を示す模式図である。 図２３Ａは追跡パターン指定法の運用時において、各処理を説明するための、ＭＣ１、図２３ＢはＰＳ１、図２３ＣはＰＳ２、図２３ＤはＰＳ３、図２３ＥはＰＳ４、図２３ＦはＭＣ２を示す図である。 追跡領域指定法主体ＧＵＩにおいて、設定ＧＵＩを示す図である。 追跡領域指定法主体ＧＵＩにおいて、図２４における編集ボタンを選択した場合に表示される設定ＧＵＩを示す図である。 １Ｄエッジ法の設定時において、計測領域ＭＷの設定の説明に供する図である。 １Ｄエッジ法ＧＵＩにおいて、設定ＧＵＩを示す図である。 第１の実施形態に係る画像検査装置における画像転送シーケンスを示す図である。 従来技術で想定される画像転送シーケンスを示す図である。 等加速度運動をする移動体に対して線形補間をした場合の移動量の誤差を示す模式図である。 あるセンサを仮定して補正できなかったずれ量を理論計算をした結果を線形補間と２次補間との比較において示す図である。 図３２Ａは変形例１に係る画像検査装置の４方向照明における全灯撮像のタイミングを示す図、図３２Ｂは８方向照明における全灯撮像のタイミングを示す図である。 図３３Ａは照明が単色の場合の撮像のタイミングの説明図であって、最初と最後に全灯撮像を行う場合の例であり、図３３Ｂは照明が単色の場合の撮像のタイミングの説明図であって、最初と最後に行う全灯撮像の間にも全灯撮像を行う場合の例である。 変形例２に係る４方向照明と、全灯照明のタイミングを示す図である。 照明がカラーの場合の撮像のタイミングの説明図であって、左側図は全灯撮像を示しており、右側図は部分照明撮像を示している。 移動体が振動している場合の線形補間による移動量の誤差を示す図である。 図３７Ａは日本国の５円玉硬貨でワークの凹凸を表示した画像であって、４方向からの部分照明撮像を行った場合の例であり、図３７Ｂは図３７Ａの撮像に使用した硬貨でワークの凹凸を表示した画像であって、８方向からの部分照明撮像を行った場合の例である。 変形例３に係る４方向照明のタイミングを示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
（１．画像検査装置１の構成）

本発明の実施の形態１に係る画像検査装置のブロック図を、図１に示す。この図に示す画像検査装置１は、ワークＷＫを一定の方向から撮像する撮像手段１１と、ワークＷＫを異なる三以上の照明方向から照明するための照明手段と、各照明手段を一ずつ点灯順に点灯させるための照明制御手段３１と、照明制御手段と撮像手段と接続されてこれらを制御する画像処理部４１を備えている。画像処理部４１と撮像手段とは、撮像ケーブル１２を介して、また画像処理部４１と照明制御手段３１とは照明ケーブル３２を介して、それぞれ接続されている。また画像処理部は、表示手段５１と操作手段６１を接続している。さらに画像処理部には、必要に応じて外部機器であるＰＬＣ（Programable Logic Controller）やコンピュータ等と接続することもできる。

撮像手段は、照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークＷＫを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像する。

画像処理部は、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、複数の異なる仮定照明方向毎に生成するソース画像生成手段として機能する。ソース画像生成手段は、具体的には、法線ベクトル算出手段４１ａと、輪郭画像生成手段４１ｂと、テクスチャ抽出画像生成手段４１ｃと、検査領域特定手段４１ｄと、画像処理手段４１ｅと、判定手段４１ｆの機能を実現する。法線ベクトル算出手段４１ａは、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークＷＫの表面に対する法線ベクトルｎを算出する。輪郭画像生成手段４１ｂは、算出された各画素の法線ベクトルｎに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークＷＫ表面の傾きの輪郭を示す輪郭画像を生成する。テクスチャ抽出画像生成手段４１ｃは、照明手段による照明する回数個ある、算出された各画素の法線ベクトルｎから、各画素のアルベドを算出し、アルベドから、ワークＷＫの表面の傾きの影響を除去した模様を示すテクスチャ抽出画像を生成する。検査領域特定手段４１ｄは、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。画像処理手段４１ｅは、特定された検査領域内の傷を検出するための画像処理を施す。判定手段４１ｆは、処理結果に基づいて、ワークＷＫ表面の傷の有無を判定する。

撮像手段と照明手段とは、別個の部材として配置可能としている。これによって自由度の高いレイアウトが可能となる。一例として、図２の模式平面図及び図３の模式側面図に示すように、ステージＳＧ上に載置されたワークＷＫの真上に、光軸を鉛直方向に向けた撮像手段１１を配置する。また撮像手段１１の周囲の東西南北の方位に、４個の照明手段、すなわち第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４を、同一の高さに配置する。配置された撮像手段と各照明手段の位置関係は、画像検査装置側で記録される。照明制御手段により所定の照明タイミングで各照明手段を順次点灯させて、共通の撮像手段でもって、ワークを一定の方向から撮像して部分照明画像を取得する。

なお、撮像手段と照明手段とは、別個の部材とする構成に限らず、これらをアーム等を介して一体に構成してもよい。この場合は、予め撮像手段と照明手段の位置関係が固定されているため、光軸を一致させるといった調整作業を不要とできる。ただし、この構成では自由度が失われる。
（撮像手段）

撮像手段１１は、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャ等の撮像素子が利用できる。撮像素子で被写体の画像を光電変換して画像信号を出力し、出力された画像信号を信号処理ブロックが輝度信号と色差信号とに変換して、撮像ケーブル１２で接続された画像処理部４１に出力する。
（照明手段）

照明手段２１、２２、２３、２４は、ワークＷＫに対して、異なる照明方向から照明光を照射できるよう、図２の模式平面図に示すようにワークＷＫの周囲をとり囲むように配置される。また図３の模式側面図に示すように、各照明手段は、光軸を斜め下方に向けて設置される。各照明手段で照明されたワークを、共通の撮像手段で撮像できるよう、撮像手段の光軸と、照明手段を設けた平面（仮想回転面）の中心軸とを一致させることが好ましい。また、照明手段同士の間隔（中心軸からの方位角）は、３６０°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。さらにまた、各照明手段とワークとの距離も、一定とすること好ましい。このようにすることで、フォトメトリックステレオ処理の演算に必要な方位角や天頂角情報の入力を簡易化できる。また後述の通り、全灯画像ＭＣを撮像する際はすべての照明手段を点灯した全灯状態で撮像するため、上記状態にすれば、全照明の強さを均等に弱めるだけで、ムラの少ない照明状態で撮像できる。

図１の例では、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４の４つで構成される。各照明手段は、白熱球や蛍光灯等が利用できる。特に、発光ダイオード（Light Emitting Diode：ＬＥＤ）等の半導体発光素子は、消費電力が少なく長寿命で応答性にも優れ、好ましい。各照明手段は、図１に示すように、それぞれに対応するケーブル７１、７２、７３、７４を介して、照明分岐ユニット７５に接続され、さらにケーブル７６を介して、照明制御手段３１に接続されている。
（照明分岐ユニット）

照明分岐ユニットは、各照明手段を照明制御手段と接続するためのインターフェースである。具体的には、照明手段から延長された照明ケーブルを接続するための照明接続コネクタを設けている。図１の例では、４つの照明手段を接続するよう、４つの照明接続コネクタを設けている。この際、照明ケーブルを正しく照明接続コネクタに接続するよう、設置補助手段としてマーク等を設けてもよい。各照明手段の照明メーブルを、照明分岐ユニットの照明接続コネクタに正しく接続することで、照明制御手段でもって正しい順序で正しい方向から照明手段を点灯でき、さらに各照明タイミングと同期させて撮像手段を動作させることで、部分照明画像を撮像できる。なお、照明分岐ユニットは、図１の例では照明制御手段と別体に設けられているが、この構成に限られず、例えば照明制御手段に照明分岐ユニットを組み込んでもよい。

照明手段２１、２２、２３、２４の照明色は、ワークＷＫのタイプに応じて変更することもできる。例えば、細かい傷を検査したい場合には、波長が短い青色が好適である。また、着色されたワークを検査するときは、照明の色が邪魔にならないように、白色の照明を使うのが好ましい。さらに、ワークに油が付いているときには、その影響を防ぐために、赤色の照明を採用するとよい。

また照明手段は、上述した図１〜図３の例では４個としているが、異なる三以上の照明方向からワークＷＫを照明できるよう、少なくとも３個あれば足りる。照明手段の数を増やすと、より多くの照明方向から部分照明画像が得られるため、画像検査の精度を向上できる。例えば、北東、北西、南東、南西の方位を加えて全部で８個配置してもよい。また、照明手段同士の間隔（中心軸からの方位角）は、３６０°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。なお、処理すべき画像の枚数が増えることで処理量が増え、処理時間が遅くなる。本実施の形態においては、処理速度と演算処理のし易さ、精度等のバランスを考慮して、上述の通り照明手段の数を４個としている。

また、照明手段を、環状に配置された複数個の発光素子で構成することもできる。例えば図４に示す実施形態２に係るリング照明では、環状に配置された発光素子を４つの照明ブロックに分割している。そして照明制御手段が、第一照明ブロックを第一照明手段、第二照明ブロックを第二照明手段、第三照明ブロックを第三照明手段、第四照明ブロックを第四照明手段として、それぞれの照明ブロックの照明タイミングを異ならせることで、４つの別個の照明手段が存在するのと同様に制御できる。

またこの構成であれば、同一のリング照明を用いて、照明手段の数を任意に変更できる利点も得られる。すなわち、各発光素子の点灯を照明制御手段で任意に制御できる場合は、図５に示すように、環状に配列された発光素子の円周を４区分から５区分に分割するように照明ブロックを変更し、５つの照明ブロックをそれぞれ点灯させる照明タイミングをずらして各部分照明画像を撮像するように照明制御手段で制御することで、５つの照明方向からの部分照明画像を取得できる。さらに同様に環状の円周を６分割、７分割に変更すれば、照明方向をさらに増やすことができる。また、常時一定の照明ブロックにて部分照明画像を取得する構成に限らず、周期毎に照明ブロックを変更してもよい。このように、各発光素子の点灯パターンを調整することで、同一のリング照明を用いて、仮想的に照明ブロックの数を変更し、照明手段の数を調整するのと同様の効果を得ることができる。言い換えると、共通のハードウェアでもって異なる精度に対応できる。

さらに照明手段は、円環状に配置する他、実施形態３として図６の模式平面図に示すように、バー状に構成された照明手段を矩形状に配置したり、実施形態４として図７の模式平面図に示すように、多角形状に配置することもできる。

あるいは、照明手段を円や多角形の環状に配置する他、平面状に配置することもできる。例えば、多数の発光素子を平面状に配置し、点灯する照明ブロックを変化させることで、異なる照明方向を実現することもできる。具体的には、図８に示す変形例に係る照明手段のように、同心円状の円環を複数重ねた照明ユニット２０’を構成し、半径の異なる各円環をそれぞれ照明ブロックとして照明手段を構成する。あるいは、図９に示す他の変形例に係る照明手段のように、ドットマトリックス状に発光素子を並べた照明ユニット２０”としつつ、中心を通る複数の線分で分割した照明ブロックでもって照明手段を構成してもよい。このように本発明において照明手段や照明方向とは、必ずしも物理的に離間された照明に限られず、一の照明手段を複数に分割した照明ブロックでもって、照明を行う構成も含む意味で使用する。

なお、本実施例においては各照明手段による部分照明光が撮像範囲内で並行光であるとの前提で処理している。部分照明光が平行光である限り、照明光の方向（例えば東西南北のいずれか）だけが問題となり、その詳細な位置、例えば照明手段の光源の座標位置等は考慮する必要はない。
（照明制御手段）

照明制御手段は、三以上の照明手段を一ずつ点灯順に点灯させるもしくは同時に点灯させると共に、各照明手段を点灯させる照明タイミングにて、ワークを撮像手段で一定の方向から撮像するよう、各照明手段と撮像手段を同期させるように制御する。いいかえると照明制御手段は、照明手段による照明タイミングと、撮像手段による撮像タイミングとを同期させる。また照明制御手段が各照明手段を点灯させる点灯順は、ワークの周囲を取り囲むように配置された照明手段を、時計回り、反時計回りといった順で点灯させる他、離散的な順序、例えば一つおきや交差するような順としてもよい。どのような順であっても、各照明タイミングで撮像された部分照明画像が、どの照明方向の照明にて撮像されたものであるかを把握できれば、フォトメトリックステレオ法に基づいて法線ベクトル画像を構築できる。

なお図１の実施形態１では、照明制御手段３１は、画像処理部４１と別体として設けられているが、この構成に限られない。例えば、図１０に示す実施形態５のように、画像処理部４１と一体化されていてもよいし、あるいは図１１に示す実施形態６のように、照明手段２５に内蔵されていてもよい。
（画像処理部）

画像処理部４１は、撮像手段１１及び照明手段２１、２２、２３、２４の動作を制御するとともに、撮像手段１１から入力された４つの部分照明画像の画像信号Ｑ１〜Ｑ４を用いて、各画素における面の法線ベクトル画像（以下、「傾き画像」という。）を生成し、傾き画像のＸ方向及びＹ方向の第２次の傾き画像（以下、「輪郭抽出画像」という。）や、アルベド（albedo、反射率を意味する。）画像（以下、「テクスチャ抽出画像」ともいう。）を作成し、それらの画像を用いて、傷の検査や文字の検出等を行うための処理をする。なお、傷の検査や文字の検出等を行うための処理は、画像処理部４１で処理する構成に限らず、例えばＰＬＣ８１等の外部部機器側で実行させることもできる。

図１２は、画像処理部４１の信号処理系４２を示している。信号処理系４２は、ＣＰＵ４３、メモリ４４、ＲＯＭ４５、表示手段５１、ポインティングデバイス等の操作手段６１、撮像手段１１、照明制御手段３１、結果出力処理を実行するＰＬＣ(プログラマブル・ロジック・コントローラ)８１より構成されており、これらは、バス４６やケーブル１２、３２、５２、６２、８２を介して互いに接続されている。なお、ＲＯＭ４５は、可搬メディアであってもよい。また表示手段５１を、例えばタッチパネルとする等、操作手段６１と兼用させてもよい。

ＣＰＵ４３は、ＲＯＭ４５に格納されているプログラムに基づいて、メモリ４４、ＲＯＭ４５、表示手段５１、操作手段６１、撮像手段１１、照明制御手段３１、ＰＬＣ８１の相互間でのデータの送受を制御したり、表示手段５１、撮像手段１１、照明制御手段３１の制御を行っている。

画像処理部４１は、例えば、プログラムが格納された１台のコンピュータを想定しているが、複数のコンピュータの組み合わせにより各手段が構成されるようにしてもよいし、一部の手段を専用の回路により構成してもよい。あるいは、ＡＳＩＣのように専用設計された部材とすることもできる。
（判定手段）

画像処理部４１は上述の通り、判定手段の機能を実現する。判定手段は、得られたテクスチャ抽出画像に基づいて、傷の有無や大きさの検査を行う。例えば所定の閾値以上の場合に傷であると判定する。また、判定手段は必要に応じて輪郭抽出画像に基づいてＯＣＲを行い、認識された文字列を出力することもできる。
（基本原理）

次に、以上の画像検査装置を用いて、ワークの外観検査を行う基本原理について、従来技術である特許文献１の技術と対比しながら説明する。まず特許文献１に開示された技術の基本原理は、フォトメトリックステレオ法の原理を利用し、未知の面に対して、様々な方向から光を当てて、ワークの反射光の違いを利用してワークの形を推定しようとするものである。ワークの反射光は、照明の入射角度、照明の距離等を反映し、入射角度が９０°になるところが最も明るくなり、照明との距離が離れれば離れるほど暗くなる性質がある。

この性質を利用して、明るさと位置が既知である照明を複数個用意して、照明の点灯を順に切り替えていき、それぞれの点において、各方向の照明から照射されたときの反射光の明るさの違いを利用して表面がどちらを向いているかを推定する。具体的には、傾き画像のＸ成分Ｙ成分を、Ｘ成分の輝度に置き換えたＸ成分画像やＹ成分の輝度に置き換えたＹ成分画像を作成して検査に応用しようとするものである。

しかしながら、この方法は、照明やワークの設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまう等、ロバスト性に劣るという問題があった。例えば、実際には凸凹がないのに凸凹の画像になったり、あるいは照明に対しては通常、近くが明るく見えるところ、明るさの変化によってワークの中央が盛り上がったような画像に見えるといった、ワークの実際の形状に即した検査画像が必ずしも得られないという欠点があった。

これに対して、本実施の形態に係る画像検査技術の基本原理は、フォトメトリックステレオ法を利用して第１次の傾き画像を生成することを出発点としながらも、得られた第１次の傾き画像をＸ方向及びＹ方向に微分処理して第２次の傾き画像、すなわち、輪郭抽出画像を作成し、その画像を用いて、傷の検査等を行うものである。第２次の傾き画像は、前述の欠点が生ずるようなケースであっても、その影響が小さく、面の傾き変化の大きいところが暗くなる階調とする一方、面の傾き変化の小さいところが明るくなる階調と設定することで、ワークの表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。

また、特許文献１に開示された技術では、フォトメトリックステレオ法を利用して生成した反射率画像（テクスチャ抽出画像に相当。）は、ハレーションが起きてしまい、文字の検出等が困難な場合があった。これに対して、本実施の形態に係る画像検査技術は、基本的には、２つの照明でしか同じ箇所ではハレーションしないという基本原理を利用して、各画素において、例えば４つの画素値の内、上から３つ目の画素値を採用することで、ハレーションの影響を取り除くようにしている。

加えて、特許文献１に開示された画像処理装置は、カメラと照明用の光源を一体に構成しているが、この構成では、カメラと光源が大型化して、設置に際して大きさの制約を受けるという問題もあった。これに対して本実施の形態に係る画像検査装置では、撮像手段と照明手段を別個の部材とできるので、配置スペースを考慮したより柔軟な設置が可能となって、使い勝手の面でも有利となる。
（フォトメトリックステレオ法の基本原理）

ここで、図１３Ａ〜図１３Ｄを参照しながら、フォトメトリックステレオ法の基本原理について説明する。まず、図１３Ａに示すように、未知の拡散反射面Ｓ、及び明るさと位置が既知の複数の照明（この例では第一照明手段Ｌ１と第二照明手段Ｌ２の２個）がある場合を想定する。例えば図１３Ｂに示すように、第一照明手段Ｌ１から光を照射すると、拡散反射面Ｓの表面における拡散反射光は、（１）照明の明るさ（既知）、（２）照明の向き（既知）、（３）ワークＷＫの表面の向き（法線ベクトルｎ）、（４）ワークＷＫの表面のアルベドのパラメータのみで決定される。

そこで、図１３Ｂ及び図１３Ｃに示すように、複数の異なる照明方向、具体的には三以上の照明方向から照明光が投光されたときの拡散反射光からなる部分照明画像を、それぞれ撮像手段で撮影する。そして図１３Ｄに示すように、３以上の部分照明画像を入力画像とすることで、未知である（３）ワークＷＫ表面の向き（法線ベクトルｎ）、（４）ワークＷＫ表面のアルベドを、以下の関係式に基づいて算出できる。
Ｉ＝ρＬＳｎ

上式において、
ρ：アルベド
Ｌ：照明の明るさ
Ｓ：照明方向行列
ｎ：表面の法線ベクトル
Ｉ：画像の階調値

上式から、照明手段が３つの場合、次式で表すことができる。

また照明手段が４つの場合は、次式で表すことができる。

（法線ベクトルｎ）

上式より、法線ベクトルｎは、次式で表現できる。
ｎ＝１／ρＬ・Ｓ⁺Ｉ

上式において、
Ｓ⁺：正方行列であれば、普通の逆行列
Ｓ⁺：縦長行列の逆行列は以下の式で表現されるムーアペンローズの擬似逆行列
Ｓ⁺＝（Ｓ^tＳ）^-1Ｓ^t
で求める。
（アルベド）

さらにアルベドρは、次式で表現できる。
ρ＝｜Ｉ｜／｜ＬＳｎ｜
（２−２．輪郭抽出画像）

次に、フォトメトリックステレオ法で傾き画像を生成すると共に、得られた傾き画像から、傷や輪郭等のワークの表面情報を得る方法について説明する。
（傾き画像）

まず、傾き画像の生成方法について説明する。ワークの曲面をＳとするとき、傾き画像は次式で与えられる。
ｘ方向：δｓ／δｘ、ｙ方向：δｓ／δｙ

ここで傾き画像の例として、ワークとして一円玉を用いた例を図１４Ａ、図１４Ｂに示す。図１４Ａは、法線方向のＹ座標成分画像、図１４Ｂは法線方向のＸ座標成分画像である。ここでは、４つの照明方向から撮像した部分照明画像を用いて、Ｙ方向（図において垂直方向）に微分することで図１４Ａに示す傾き画像を、またＸ方向（図において水平方向）に微分することで図１４Ｂに示す傾き画像を図１４Ｂを、それぞれ得ている。

ここで、傷や輪郭等はワーク表面の傾きが変化する箇所なので、傾き画像をそれぞれの方向に微分する。第２次の傾き画像は、次式で与えられる。
ｘ方向：δ²ｓ／δｘ²、ｙ方向：δ²ｓ／δｙ²
（輪郭抽出画像）

以上から、ｘ方向、ｙ方向の傾き画像の部分δ²ｓ／δｘ²、δ²ｓ／δｙ²を合成して、ワークの輪郭や傷情報を含む輪郭抽出画像を生成する。輪郭抽出画像Ｅは、次式で与えられる。
Ｅ＝δ²ｓ／δｘ²＋δ²ｓ／δｙ²

上式において、Ｅは輪郭情報、Ｓはワークの曲面をそれぞれ示している。図１４Ａ、図１４Ｂから演算された輪郭抽出画像の例を、図１４Ｃに示す。輪郭抽出画像は、高い部分が白色、低い部分が黒色となるように、画像の濃淡（輝度）で高さを表現している。
（微分合成方法）

以上のような輪郭抽出画像の生成に際して行われる微分合成方法としては、（１）単純加算、（２）多重解像度、（３）二乗和等が挙げられる。
（１：単純加算）

ここで（１）の単純加算は、各画素におけるＸ，Ｙ傾き画像の微分の和である。
（２：多重解像度）

また（２）の多重解像度は、傾き画像を異なる縮小率で縮小した縮小傾き画像を複数作成し、それぞれの縮小傾き画像において、（１）の方法で輪郭の強さを求める。縮小率は、例えば１／１、１／２、１／４、１／８、１／１６、１／３２等とする。このようにして得られた複数の縮小輪郭画像に対して、所定の重み付けを行い、拡大処理を行い、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とする。ここで重み付けを変更すれば、任意の太さの傷や輪郭等を抽出することが可能となる。
（３：二乗和）

さらに（３）の二乗和では、Ｘ，Ｙ傾き画像の微分の二乗の和を輪郭の強さとする輪郭抽出画像を作成する。なお、本実施形態においては、（２）の多重解像度を採用している。

如何なる大きさを傷として判断するかは、ユーザの用途によって異なる。例えば、１０ピクセルに跨がったものを傷として判断する場合もあれば、１００ピクセルに跨がっている凹んだものを傷として判断する場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。

傾き画像の画素数が大きいと処理上は大きな傷となるため、大きな傷を抽出したければ、傾き画像を縮小してから（１）の方法で輪郭の強さを求めてから拡大する。一方、小さな傷を抽出したければ、重み付けをせずに（１）の方法で微分合成をすればよい。

すなわち、重み付けは、合成するときに予め決められた重みのセットを用意しておき、縮小傾き画像を上記の全種類作成し、大きい傷を見たければ、より縮小した画像からの結果を重くし、小さい傷を見たければ、縮小を弱めた画像からの結果を重くする。

ここで、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とするのは、傷は、通常、複数の周波数に跨がって検出されるため、例えば一つの周波数に限定すると、その限定した周波数で検出される傷だけを抽出してしまい、全体的にぼやけてしまうからである。
（特徴サイズ）

前述した重みのセットは、例えば、特徴サイズというパラメータを設けて、この値が１のときに一番細かい傷が検出でき、この値を上げていくと大きな傷が検出できるようにする。特徴サイズを大きくしていき、より大きな傷が検出し易い状態になったとき、ワーク表面の凸凹がより明瞭となる。そこで、特徴サイズに所定の閾値を設けて、その閾値以上になった場合を凹凸モードとして、輪郭抽出画像の特徴サイズによって、輪郭抽出モードと使い分けるようにしてもよい。

次に、δ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法について説明する。この計算方法としては、（１）前進差分や、（２）中央差分等が挙げられる。
（１：前進差分）

前進差分においては、水平方向の傾き画像Ｇｈ、垂直方向の傾き画像Ｇｖを入力として、輪郭画像Ｅの座標（ｘ、ｙ）における画素Ｇ（ｘ，ｙ）を、次式で計算する。

Ｅ（ｘ，ｙ）＝Ｇｈ（ｘ−１，ｙ）−Ｇｈ（ｘ，ｙ）＋Ｇｖ（ｘ，ｙ−１）−Ｇｖ（ｘ，ｙ）

ここで、輪郭画像に表れる傷の情報を、模式的なプロファイルとして図１５Ａ〜図１５Ｄに示す。これらの図において、図１５Ａはワークの表面情報、図１５Ｂは傾き画像、図１５Ｃは前身差分による輪郭画像、図１５Ｄは中央差分による輪郭画像のプロファイルを、それぞれ示している。（１）の前進差分では、図１５Ａ、図１５Ｃに示すように、１ピクセル単位の傷が明瞭に見えるというメリットがある。一方で、元画像に対して０．５ピクセルずれた画像が得られてしまうというデメリットもある。
（２：中央差分）

次に中央差分によるδ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法について説明する。水平方向の傾き画像Ｇｈ、垂直方向の傾き画像Ｇｖを入力として、輪郭画像Ｅの座標（ｘ、ｙ）における画素Ｇ（ｘ，ｙ）を、次式で計算する。

Ｅ（ｘ，ｙ）＝Ｇｈ（ｘ−１，ｙ）−Ｇｈ（ｘ＋１，ｙ）＋Ｇｖ（ｘ，ｙ−１）−Ｇｖ（ｘ，ｙ＋１）

（２）の中央差分は、図１５Ａ、図１５Ｄに示すように、座標が元画像とずれないメリットがある一方で、結果が少しぼけてしまうというデメリットもある。
（２−３．テクスチャ抽出画像）

次に、フォトメトリックステレオ法で得られた傾き画像から、ワークの表面状態を除去して、文字の検出等に好適なテクスチャ抽出画像を得る方法について説明する。まず、テクスチャ情報は、ワークの表面のアルベドρから計算する。アルベドρは、次式で与えられる。

ρ＝｜Ｉ｜／｜ＬＳｎ｜

上式において、
ρ：アルベド
Ｌ：照明の明るさ
Ｓ：照明方向行列
ｎ：表面の法線ベクトル
Ｉ：画像の階調値

なお上記ρ＝｜Ｉ｜／｜ＬＳｎ｜の式でテクスチャ抽出画像（アルベド）を１枚求めることができるが、この式で得られた法線ベクトルとＮ枚の入力画像（部分照明画像）から、テクスチャ抽出画像（アルベド）をＮ枚求めてこれを合成し、一枚のテクスチャ抽出画像（アルベド）を求めることもできる。具体的な合成の方法としては平均法、ハレーション除去法等が挙げられる。

図１６Ａ〜図１６Ｃに、テクスチャ出画像の例を示す。これらの図において、図１６Ａは入力画像である４枚のテクスチャ抽出画像を示しており、図１６Ｂはこれらに対して平均法を適用したテクスチャ抽出画像、図１６Ｃはハレーション除去法を適用したテクスチャ抽出画像を、それぞれ示している。
（１：平均法）

平均法は、画素毎にＮ個のρの平均値をその画素における画素値とするものである。図１６Ｂに示すように、全体の陰影は消えているものの、入力画像中でハレーションが生じている部分は、フォトメトリックステレオ法で消せないため、ハレーションの影響が残った画像となる。すなわち図１６Ａの４つの入力画像（部分照明画像）の内、白くなっている箇所がハレーションを起こしている箇所であり、平均法によって平均化すると、図１６Ｂに示すように、ある程度凸凹が取れて、読み易くはなるものの、若干下地に凸凹が残ってしまう。
（２：ハレーション除去法）

撮像手段であるカメラのダイナミックレンジの制限やワーク表面の反射性の多様性のため、上記ρ＝｜Ｉ｜／｜ＬＳｎ｜の式そのものがその適応範囲を超えているため、ρに誤差が含まれる。この誤差を補正するために、ハレーション除去法が利用できる。

ハレーションが起きる箇所は照明の位置で決まるため、基本的には、４つの部分照明画像において、同じ箇所ではハレーションは起きないと考えられる。厳密にいえば、２つの方向の間ではハレーションが２カ所に跨がってしまうことがあるものの、基本的には、２つの照明でしか同じ箇所ではハレーションは生じないと言える。

ハレーション除去法では、Ｎ枚の部分照明画像から計算した照明方向別テクスチャ抽出画像を合成する際に、各画素において一番画素値が高い部分照明画像、又は一番目〜Ｎ番目に画素値が高い部分照明画像はハレーションが多いと考えて、それらを除去した上で合成を行う。

具体的には、本実施形態において４つの照明方向別テクスチャ抽出画像の各画素について、３番目に大きい画素値（例えばアルベドの値や輝度）を採用して合成すると、図１６Ｃの画像のようになり、ハレーションの影響を除去することができる。なお４番目に大きい画素値を採用すると、影の影響が生じるため若干暗い画像となる。逆に２番目に大きい画素値を採用すると、ハレーションの影響が若干残ってしまう。

また照明手段が８方向の場合は、５番目以降の画素値にはハレーションの影響は発生しないと仮定して、上から５番目の画素値を採用している。実際、発明者が行った試験によれば、５番目の画素値を採用すると、画像が最も良くなることが確認された。また６番目以降の画素値を採用すると影の影響が出てくることも判明した。

なお、合成の方法や平均の取り方は、これらに限定されず、種々の方法が利用できる。例えば、上述したハレーション除去法と平均法とを組み合わせて、アルベドの値をソートして、上から特定の順番の値を採用し、例えば３番目と４番目とを平均化してもよい。
（特徴サイズ）

次に、設定の詳細について説明する。上述の通り、輪郭抽出画像を作成する際に、特徴サイズを設定できる。輪郭抽出画像は、特徴サイズを所定値以上にすることで、ＯＣＲに適した画像とできる。
（３−２．ゲイン）

輪郭抽出画像やテクスチャ抽出画像を作成する際には、これらの画像の生成過程において元の画像の画素値に対してゲインを乗算することができる。

輪郭抽出画像を作成するときのゲインは、計算処理で算出された画素値を、０〜２５５の濃淡に分散させるときの定数をいう。例えば、傷や輪郭等が浅すぎて、傷や輪郭等を把握し難いときにこのゲインの値を上げることによって、画素値の濃淡変化が大きくなるため、傷や輪郭等が把握し易くなる。

また、計算処理で算出された画素値が、０〜２５５の範囲を超えていれば、その間に収まるようにし、小さければ、０〜２５５の範囲に広げるように調節することで、傷や輪郭等が把握し易くなる。

上述したハレーション除去法では、アルベドの値をソートして上から例えば３番目を採用するため、生成した画像の明るさが予測できない。このため、正反射が取り除かれた結果、予測に反して暗くなることがある。そこで、明るさを調節するために、テクスチャ抽出画像を作成する際には所定のゲインを、画素値に掛ける。

なお、傾き画像の計算に際しても、画素値が０〜２５５の範囲に収まるように、同様にゲインで調節することもできる。
（３−３．ノイズ除去フィルタ）

傾き画像の作成等に際しては、複数枚の画像を使って連立方程式で計算するところ、実際には差分的な計算をすることになる。この際、撮像手段で撮像した画像データは、生データの時点でノイズが存在しているため、傾き画像を作成する際に、ノイズ成分が強調され、輪郭がざらざらすることがある。このようなノイズを軽減するために、ガイデットフィルタ（Guided Filter）等のノイズ除去フィルタを利用する。一般的なローパスフィルタでは、ノイズのみならず傷の情報もなまったり消えたりしてしまうことがあるが、ガイデットフィルタであれば、傾き画像を求める際にガイデッドフィルタを適用することで、エッジを維持したままノイズを除去でき、好適である。
（３−４．アングルノイズ低減）

次に、アングルノイズ低減の原理を、図１７の模式図に基づいて説明する。この図に示すように、入射角がα，βという２つ照明があり、ワークＷＫが拡散反射面からなると仮定して、ワークＷＫの基準面に対する傾きをγ、基準面に垂直な向きからの角度をθ、照明αからの反射光の明るさをＩ_α、照明βからの反射光の明るさをＩ_βとしたとき、γは次式で与えられる。

γ＝ａｒｃｔａｎ（Ａ・｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜）、Ａ＝ｃｏｔθ

アングルノイズ低減は、｜Ｉ_β＋Ｉ_α｜がある程度小さいときに、強制的に傾きγを０とするものである。

仮に、Ｉ_βもＩ_αも極めて暗く、例えば、Ｉ_β＝２、Ｉ_α＝１だとすると、｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜＝１／３という大きな値となる。一方、Ｉ_βもＩ_αも明るく、例えば、Ｉ_β＝３００、Ｉ_α＝２００だとすると、｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜＝１／５という小さな値となる。Ｉ_β＝２、Ｉ_α＝１というのは、単にノイズという可能性があるにも拘わらず、傾きに大きく反映されてしまうため、そのノイズの影響を軽減するために、アングルノイズ低減があり、強制的に傾きを０とする｜Ｉ_β＋Ｉ_α｜の閾値を設定できるようになっている。
（移動するワークに対する画像検査）

以上のフォトメトリックステレオ法に基づく画像検査は、同じワークを、三以上の異なる照明方向から照明して撮像した部分照明画像ＰＳ１、ＰＳ２、ＰＳ３、．．．に基づいて画像処理することを前提としている。いいかえると、通常のフォトメトリックステレオ法では、被写体が静止しており、撮像した複数の画像の同じ位置が被写体の同一位置であるという前提で行われている。このため、ワークが移動するような場合には、各部分照明画像を撮像する撮像タイミングが異なることから、その間にワークが移動する結果、画像の同じ位置が同じ部位とはならず、このままではフォトメトリックステレオ法を適用できない。例えばライン上を運搬されるワークに対してフォトメトリックステレオ処理のために４枚の部分照明画像を撮像する場合、図１８に示すように、４ｍｓといった短い撮像間隔でも、４枚の部分照明画像ＰＳ１〜ＰＳ４を撮像する間に、数ピクセル〜数１００ピクセル程度、ワークが移動してずれてしまう。この結果、ワークＷＫの対応位置Ｐも、ＰＳ１〜ＰＳ４の各画像間で座標が異なってしまう。

そこで、異なる撮像タイミングで撮像された部分照明画像同士で、画像の対応点を一致させるよう、対応関係を登録するレジストレーション作業を行う必要がある。画像のレジストレーションを実施するための方法としては、オプティカルフローベースの方法が考えられる。この方法では、対象画像から追跡に適した部分を自動的に選択し、その部分領域を追跡するために、追跡対象画像に対して、移動位置候補毎に、ゼロ平均正規化相互相関（Zero-mean Normalized Cross-Correlation：ＺＮＣＣ)やＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of squared difference）等の類似度又は相違度を計算し、それらの値を元に移動ベクトルを求め、レジストレーションに必要な幾何変換を計算する。または、追跡に適したワークの画像や幾何データを元にモデルを作成しておき、そのモデルを使って追跡を実施するモデルベースの方法も考えられる。

しかしながら、これらの何れの方法も、照明状態が大きく変化しないことを前提としているために、フォトメトリックステレオ法での撮像画像のように、照明状態が大きく変化する画像間では安定したレジストレーションを実施することが困難であった。

そこで本実施の形態においては、移動しているワークに対しても、フォトメトリックステレオ法を利用した画像検査を実現できるように、予め追跡対象画像を設定しておき、一連の部分照明画像を撮像する前後あるいは中間に、複数の照明手段を同時に点灯させて撮像した基準画像を、異なる撮像タイミングで複数枚撮像し、対応位置推定手段で各基準画像中で追跡対象画像が含まれている位置を特定し、さらにこの推定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定した上で、検査画像生成手段でフォトメトリックステレオ法を用いて検査画像を生成する構成を採用している。これによって、移動しているワークの傷や印字を検査できるようになった。

なお、対応位置推定手段が推定する追跡対象画像の位置の情報には、追跡対象画像が第二基準画像あるいは第一基準画像中に存在する座標位置に加え、回転角度（姿勢）の情報も含めることができる。
（４．画像レジストレーション手段）

画像レジストレーション手段は、例えば図１の例では画像処理部４１により構成され、ソフトウェアによって処理がなされる。ここで、画像レジストレーション手段の動作について説明する。

ワークが移動する場合は、部分照明画像を撮像している間にもワークが移動するため、各部分照明画像において、ワークの対応する画素の位置が異なる。そこで移動するワークを撮像した部分照明画像に対してフォトメトリックステレオ法で検査対象画像を生成するための方法として、（１）基準画像を作り、線形補間によって、基準画像と整合する画像を抽出することで、画像レジストレーションを成立させ、抽出された画像の位置情報から照明方向を取得するアプローチ（「線形補間アプローチ」と呼ぶ。）と、（２）予め照明方向を変動させたモデル画像を作り、照明方向と関連付けて登録されたモデル画像群と整合する画像を抽出することで、画像レジストレーションを成立させ、整合したモデル画像から関連付けられた照明方向を取得するアプローチ（「モデル画像アプローチ」と呼ぶ。）が考えられる。

まず（１）の線形補間アプローチでは、線形補間によって、サーチする領域が狭められる。このため、狭められた領域に対して、（２）のモデル画像アプローチを適用すると、位置ブレや角度ブレが原因となって線形補間では完全に整合しないようなケースであっても、このような位置ブレ等の問題を解消できる。すなわち、ブレ補正を適用することで、より高精度に画像レジストレーションの成立を実現することができる。すなわち、（１）の線形補間アプローチを主位的、（２）のモデル画像アプローチを予備的に考えると、（２）のモデル画像アプローチはブレ補正という位置付けとなる。

（２）のモデル画像アプローチにおけるモデル画像を作成するに当たっては、（Ａ）実際に撮影した画像をモデル画像とするＰＳモデル法と、（Ｂ）仮想的に作った画像をモデル画像とする仮想モデル法が挙げられる。

本実施の形態では、（１）の線形補間アプローチから、（２）のモデル画像アプローチをブレ補正と位置付けて、画像レジストレーションの成立を実現することができる。以下、（１）と（２）の各実施例について説明する。
（４−１．用語の説明）

略語を用いて説明するため、最初に略語の意味を明らかにする。ＰＳは、Photometric Stereoの略であり、フォトメトリックステレオ処理のことをＰＳ処理と称し、フォトメトリックステレオ処理用に複数の照明手段の内、一を点灯して撮像して得た部分照明画像をＰＳ画像、またＰＳ画像を撮像する動作をＰＳ撮像という。また、この実施形態においては、４つの第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４を使用するが、１〜４番目の照明によるＰＳ処理用の撮像や画像、処理という意味でＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４とナンバリングする。すなわち、必ずしも第一照明手段２１で撮像した画像がＰＳ１、第二照明手段２２で撮像した画像がＰＳ２、．．．という意味ではない。照明手段の設置の態様や照明手段の点灯順によって、ＰＳ画像と照明手段の対応関係は任意に決定される。例えば、照明制御手段が各照明手段の点灯を切り替える点灯順を、時計回り、反時計回り、あるいはランダムとすることもできる。ただし以下の説明においては、簡単のため、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４の順に、時計回りで撮像し、また得られた部分照明画像をＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４として説明する。なおアスタリスク＊を付けた場合は、任意を意味し、例えばＰＳ＊画像という場合、任意のＰＳ画像の意味になる。

ＭＣは、Motion Correctionの略語であり、図１９Ａ〜図１９Ｇに示すようにＰＳ撮像の前後あるいは中間において、第一照明手段２１〜第四照明手段２４をすべて点灯して、線形補間用に撮像する処理をＭＣ撮像と呼び、これによって得られる画像を全灯画像（ＭＣ画像）と呼ぶ。図１９Ａの例では、内挿線形補間法（詳細は後述）に従い、ＭＣ１、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４、ＭＣ２、ＰＳ１’、ＰＳ２’、ＰＳ３’、ＰＳ４’、ＭＣ３、．．．画像を順次撮像していくタイミングを示している。なおＭＣ画像は複数あり、以下の説明では主に第１全灯画像ＭＣ１と第２全灯画像ＭＣ２とを使用する。図１９Ａの例では、第１全灯画像ＭＣ１はＰＳ撮像前の全灯照明時の画像、第２全灯画像ＭＣ２はＰＳ撮像後の全灯照明時の画像を意味し、ＭＣ＊はＰＳ撮像の前後の何れか、或いは両方における処理を意味している。ただ、第１全灯画像ＭＣ１及び第２全灯画像ＭＣ２の撮像のタイミングは、図１９Ａの例に限らず、例えば外挿線形補間法（詳細は後述）の場合、図１９Ｂに示すように、ＭＣ１、ＭＣ２、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４の順で撮像される。さらに以上の例ではＭＣ画像を２枚使用する例を示しているが、本発明はこれに限らず補間用のＭＣ画像を３枚以上に増やすこともできる。一例として、ＭＣ画像を２枚、３枚、５枚とした場合の、各画像の撮像タイミングを、図１９Ｃ〜図１９Ｇに示す。これらの図において、図１９Ｃは図１９Ａ、図１９Ｄは図１９Ｂで示した、ＭＣ画像を２枚とする撮像タイミングを対比のために示している。また図１９Ｅ、図１９ＦはＭＣ画像を３枚とした場合の撮像タイミングの変形例を、さらに図１９ＧはＭＣ画像を５枚とした場合の撮像タイミングの例を、それぞれ示している。このように、求められる精度やワークの移動の複雑さ、使用する補間方法等に応じて、ＭＣ画像の撮像枚数や撮像タイミングは適宜選択される。

ＸＹＴは、位置（ｘ，ｙ）及び角度θ（ｔｈｅｔａ）の略語であり、画像における位置と姿勢とを意味する。

ＤＯＦは、Degree of Freedomの略語であり、自由度を意味する。例えばＤＯＦとして、平行移動Ｘ、平行移動Ｙ、回転、スケール、アスペクト、スキューの６つの自由度がある場合、ＤＯＦ＝６となる。

ＳＷは、Search Windowの略語であり、ＭＣ＊画像でのサーチ領域を意味し、画像間の類似度（又は相違度）を算出して、最も類似する画像をサーチする範囲を定義するための領域である。以下の説明では主にＳＷ１とＳＷ２とを使用する。ＳＷ１はＭＣ１画像でのサーチ領域であり、ＳＷ２はＭＣ２画像でのサーチ領域である。

ＴＷは、Tracking Windowの略語であり、追跡領域指定法において使用する追跡領域を意味する。

またＰＷは、Pattern Windowの略語であり、追跡パターン指定法において使用するパターン領域を意味する。これら追跡領域ＴＷ及びパターン領域ＰＷは、いずれもワークの位置を追跡するための対象となる画像（追跡対象画像）を指定するための領域である。また、これら追跡領域ＴＷ及びパターン領域ＰＷは、追跡対象画像指定手段で指定される。具体的には、追跡領域ＴＷは、追跡領域指定法の設定時において、運用時に追跡対象となる画像を含む領域を指定する（後述する図２０及び図２１Ａ、図２２Ｆ参照）。追跡領域指定法の運用時においては、追跡領域ＴＷで指定された領域全体でもって、第一基準画像や第二基準画像中からサーチが行われる。

なお、追跡対象画像はワークＷＫである必要はなく、追跡対象画像の位置からワークＷＫの画像の位置が推定できればよい。

一方パターン領域ＰＷは、追跡パターン指定法の設定時において、同じく運用時に追跡対象となる画像を含む領域を指定する（後述する図２３Ａ、図２３Ｆ等参照）。ただし追跡パターン指定法の運用時においては、設定時にパターン領域を用いて画像を抽出し、抽出された画像でもって第一基準画像や第二基準画像中からサーチが行われる。

なお追跡対象画像は、典型的にはワークの全体又は一部を含む画像である。ただ本発明は、追跡対象画像をワークの画像に限定するものでなく、ワークの移動が確認できる画像であれば足り、例えばワークを載せるトレイやコンベアといった、ワークの背景画像等を追跡対象画像に利用することもできる。

ＭＷは、Measure Windowの略語であり、計測領域を意味し、１Ｄエッジ法における計測対象の領域を示す。
（４−２．線形補間法）

次に線形補間を行うための線形補間法について説明する。線形補間法には、（１）追跡領域指定法、（２）追跡パターン指定法、（３）１Ｄエッジ法等が挙げられる。以下、各方法の設定時と運用時の動作をそれぞれ説明する。
（１）追跡領域指定法

追跡領域指定法では、ＭＣ＊、ＰＳ＊画像群を、運用時と同じようにワークＷＫが動いている状態、又は静止した状態で取得する。このようにして取得した画像群を参照しながら設定を行う。
（追跡領域指定法の設定）

この追跡領域指定法では、設定時に、追跡を開始する追跡領域ＴＷと、サーチ領域ＳＷ２を設定する。この設定の様子を、図２０Ａ〜図２０Ｂに示す。追跡領域ＴＷは、図２０Ａに示すように、ＭＣ１画像に対して設定する。またサーチ領域ＳＷ２は、図２０Ｂに示すように、ＭＣ２画像に対して設定する。さらに、線形補間角度から想定される角度ブレ量や、線形補間位置から想定される位置ブレ量を設定することもできる。
（追跡領域指定法の運用）

このようにして追跡領域指定法に関する設定がなされた状態で、運用時における動作を図２１Ａ〜図２１Ｆに基づいて説明する。まず、図２１Ａに示すように、追跡領域ＴＷに対象となるワークＷＫが進入してきたことをセンサ等で検出して、又はユーザのトリガによって、ＭＣ１画像の撮像を開始する。

あるいは、画像処理装置が検出モードとＰＳモード（フォトメトリックステレオモード）とを切り替え可能として、検出モードにおいてワークを検出すると、ＰＳモードに移行するよう構成してもよい。検出モードでは、例えば画像処理部４１が内部タイマで自動的にトリガを発生させて、画像を撮像し、エリア計測や濃淡計測等の負荷の比較的軽い処理を利用して、ＦＯＶ（Field of View）にワークＷＫが進入したことを検出する。またＰＳモードにおいては、動き補正が必要な場合はＭＣ１、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４、ＭＣ２画像を撮像して、動き補正をしながらＰＳ処理を行う。

次に図２１Ａ〜図２１Ｆに示すように、ＭＣ１からＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４、ＭＣ２までを等間隔で撮像する。そして、図２１ＦにおいてＭＣ２画像中のサーチ領域ＳＷ２に対して、ＭＣ１画像の追跡領域ＴＷで指定した領域の画像をパターンサーチを行う。パターンサーチの方法としては、例えば以下の数式で与えられるＺＮＣＣの値を、追跡領域ＴＷで定義される画像をサーチ領域ＳＷ２で定義される範囲内で位置と姿勢を変えながら、重ね合わせて計算することで類似の位置と姿勢を決定することができる。なお、高速化のために、パターンと追跡対象画像のイメージピラミッドとを利用する方法を使用してもよい。

ここで、Ｔ（ｉ，ｊ）はテンプレートの輝度値、Ｉ（ｉ，ｊ）は画像の輝度値である。座標の（ｉ，ｊ）は、テンプレートの幅をｍ画素、高さをｎ画素としたとき、左上（又は左下）を（０，０）、右下（又は右上）を（ｍ−１，ｎ−１）としている。

このようにして得られた位置と姿勢データから、ワークＷＫが等速移動しており、かつ撮像手段の撮像タイミング（例えばカメラのシャッタ間隔）が一定との前提で、線形補間方法を適用することで、ＰＳ１〜ＰＳ４でのＸＹＴ、すなわち推定位置と推定姿勢を求めることができる。
（内挿線形補間法）

線形補間法の計算に、内挿線形補間法を用いる場合は、以下のようにして行う。ＭをＭＣ２画像の画像ｉｎｄｅｘ、Ｎを推定したい画像の画像ｉｎｄｅｘとして、ＭＣ１画像でのＸＹＴを（Ｘ０，Ｙ０，Ｔ０）、ＭＣ２画像でのＸＹＴを（ＸＭ，ＹＭ，ＴＭ）とすると、各ＰＳ（Ｎ）画像での推定ＸＹＴは、次式で求めることができる。
ＸＮ＝Ｘ０＋Ｎ×（ＸＭ−Ｘ０）／Ｍ
ＹＮ＝Ｙ０＋Ｎ×（ＹＭ−Ｙ０）／Ｍ
ＴＮ＝Ｔ０＋Ｎ×（ＴＭ−Ｔ０）／Ｍ
で求めることができる。
上式においてＭ，Ｎ共に０から始まるｉｎｄｅｘである。図１９Ａに示す例ではＭ＝５，Ｎ＝１〜４としている。
（外挿線形補間法）

線形補間法の計算に、外挿線形補間法を用いる場合は、以下のようにして行う。ＭをＭＣ２画像の画像ｉｎｄｅｘ、Ｎを推定したい画像の画像ｉｎｄｅｘとして、ＭＣ１画像でのＸＹＴを（Ｘ０，Ｙ０，Ｔ０）、ＭＣ２画像でのＸＹＴを（ＸＭ，ＹＭ，ＴＭ）とすると、各ＰＳ（Ｎ）画像での推定ＸＹＴは、次式で求めることができる。
ＸＮ＝Ｘ０＋Ｎ×（ＸＭ−Ｘ０）／Ｍ
ＹＮ＝Ｙ０＋Ｎ×（ＹＭ−Ｙ０）／Ｍ
ＴＮ＝Ｔ０＋Ｎ×（ＴＭ−Ｔ０）／Ｍ
上式においてＭ，Ｎ共に０から始まるｉｎｄｅｘである。図１９Ｂに示す例ではＭ＝１，Ｎ＝２〜５としている。

これらの推定位置及び推定姿勢の値と、位置ブレ及び角度ブレの設定値とから、ブレ位置とブレ角度を求めるためのＤＯＦを決定する。

位置ブレ値がピクセル値で角度ブレの値が角度値である場合、追跡領域ＴＷの推定角度で指定される角度を中心として、角度ブレの範囲で追跡領域ＴＷの画像を回転させ、推定位置を中心として位置ブレの値だけ上下左右に拡張した範囲で回転ＴＷ画像を重ね合わせ、類似度や相違度を計算して、それぞれのＰＳ＊画像で位置と角度情報を得る。このようにサーチ範囲を限定することによって、パターンサーチの安定性を大幅に向上させることができる。

以上のようにして得られた位置と角度情報を用いて、ＰＳ＊画像のレジストレーションを行う。そしてレジストレーション後の画像群を使って、ＰＳ処理を行う。または、これらの位置と角度情報とＰＳ＊画像を用いて、直接ＰＳ処理を行ってもよい。

何れの方法においても、画素情報にアクセスする方法として、例えば最近傍補間や双一次補間、双三次補間等が知られており、これらの方法を適用できる。

以上の追跡領域指定法では、後述する追跡パターン指定法と比較して、サーチのためのモデルを不要とできる利点が得られる。またワークが鋳肌のような、一見すると模様がランダムに見える表面のテクスチャを用いて、追跡できる利点が得られる。さらに、ＭＣ２の回転サーチの角度範囲を狭くすることができる。
（２）追跡パターン指定法

以上、線形補間法の一として追跡領域指定法について説明した。次に、他の線形補間法として、追跡パターン指定法を説明する。追跡パターン指定法では、ＭＣ＊、ＰＳ＊画像群をワークＷＫが静止した状態で取得する。この取得した画像群を登録画像群と呼ぶ。登録画像群には、登録ＭＣ＊画像、登録ＰＳ＊画像が含まれる。追跡パターン指定法では、これらの登録画像群を参照しながら設定を行う。
（追跡パターン指定法の設定）

追跡パターン指定法の設定においては、追跡対象の画像（追跡対象パターン）を定義するパターン領域ＰＷと、サーチ領域ＳＷ１と、サーチ領域ＳＷ２を設定する。この設定の様子を、図２２Ａ〜図２２Ｂに示す。パターン領域ＰＷとサーチ領域ＳＷ１は、図２２Ａに示すように、ＭＣ１画像に対して設定する。またサーチ領域ＳＷ２は、図２２Ｂに示すように、ＭＣ２画像に対して設定する。その他の設定は、上述した追跡領域指定法と同様にできる。
（追跡パターン指定法の運用）

このようにして追跡パターン指定法に関する設定がなされた状態で、運用時における動作を図２３Ａ〜図２３Ｆに基づいて説明する。まず、図２３Ａに示すように、対象となるワークがパターン領域ＰＷ内に進入してきたことをセンサ等で検出すると、ＭＣ１の画像の撮像を開始する。あるいは、追跡領域指定法と同様に検出モードとＰＳモードとを切り替え可能として、検出モードにおいてワークを検出すると、ＰＳモードに移行するよう構成してもよい。

次に図２３Ａ〜図２３Ｆに示すように、ＭＣ１からＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４、ＭＣ２までを等間隔で撮像する。そして、撮像されたＭＣ１画像に対して、設定時に設定した登録ＭＣ１画像内にパターン領域ＰＷで指定される領域の画像（追跡対象パターン）を、ＭＣ１画像のサーチ領域ＳＷ１内でサーチを行う。このサーチには、回転も含める。これによって図２３Ａに示すように、回転した画像が検出される。この画像を、以降のパターンサーチのモデル画像とする。

そして、ＭＣ２の画像のサーチ領域ＳＷ２内から、ＭＣ１の画像をサーチする。このようにして得られたＸＹＴ情報から、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４の各画像における推定位置、すなわち推定ＸＹＴを線形補間で求める。また必要に応じて、ブレ計測用のウィンドウを推定ＸＹＴから決定して、その範囲内でブレ計測用計測を行うこともできる。

ここでサーチの方法としては、例えば上述した数３で与えられるＺＮＣＣの値を、登録ＭＣ１画像内のパターン領域ＰＷで定義される画像（追跡対象パターン）を、ＭＣ２画像内のサーチ領域ＳＷ２で規定される範囲内で、位置と姿勢を変えながら、重ね合わせて計算することにより、類似の位置と姿勢を決定することができる。なお、追跡領域指定法と同様に、高速化のためにテンプレート画像とサーチ画像のイメージピラミッドとを利用する方法を使用してもよい。

このようにして得られた位置と姿勢データから、追跡領域指定法と同様の方法でＰＳ処理を行うことができる。

追跡領域指定法のメリットとしては、ＰＳ処理後にモデル画像の位置と姿勢が判明すること、追跡対象の位置の精度が悪くてもよいこと、また追跡対象の位置をサーチによって限定するので、追跡が安定すること等が挙げられる。反面、デメリットとしては、追跡領域指定法と異なり、事前にモデル画像を作成するための処理が必要なことや、モデル画像用のメモリが必要となること、一回目のサーチが広範な範囲で回転を含むサーチとなるため、処理負荷が増大すること等が挙げられる。
（画像検査プログラムの設定画面）

ここで、画像検査や画像処理に関する各種の設定を行うための設定手段の一例を、図２４〜図２５に示す。これらの図は、画像検査プログラムにおけるユーザインターフェースの一例を示している。これら画像検査プログラムの設定画面１１００、１２００は、例えば図１の画像検査装置において、表示手段５１上に表示される。ここでは、設定画面の一例として、（２）追跡パターン指定法の設定時の画面例を示している。ユーザはこれらの画面から、追跡パターン指定法で必要なサーチ領域ＳＷ１,ＳＷ２、パターン領域ＰＷを、それぞれ指定する。また追跡領域指定法においては、追跡領域ＳＷ２を、それぞれ指定する。設定された各領域は、複数の領域を視覚的に区別できるよう、表示態様を変更して表示させることが好ましい。この例では、各領域を色分けして表示している。あるいは、線の太さや線種（実線、破線、一点鎖線等）等、他の領域と区別可能な態様が適宜利用できる。

図２４〜図２５に示す設定画面１１００、１２００では、画面の左側に画像表示領域１１０２を、右側に操作領域１１０４を、それぞれ設けている。画像表示領域１１０２には、ＭＣ１画像やＭＣ２画像等の各種画像を切り替えて表示できる。また操作領域１１０４には、選択された画面に応じて、各種設定を行うための設定ツールが配置される。図２４に示す例では、表示画像選択欄１１０５、パターン領域設定欄１１０６、サーチ領域２設定欄１１０７、サーチ感度設定欄１１０８、サーチ精度設定欄１１０９、相関値下限設定欄１１１０、角度ブレ設定欄１１１１、位置ブレ設定欄１１１２、詳細設定欄１１１３が設けられている。表示画像選択欄１１０５では、画像表示領域１１０２において表示させる画像を切り替えることができる。ここでは、ＭＣ１、ＭＣ２、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４のいずれかを切り替えて表示できる。なお、ＰＳ＊画像の数は、フォトメトリックステレオ処理で用いるＰＳ画像の数によって変動する。また画像表示領域を二画面等、複数の領域に分割したり、別のウィンドウを開く等して、複数の画像を一画面で表示させることもできる。図２４の例では、ＭＣ１画像を表示させている。

またパターン領域設定欄１１０６ではパターン領域ＰＷを、サーチ領域２設定欄１１０７ではサーチ領域ＳＷを、それぞれ新規に設定、あるいは設定済みの領域を変更できる。ここでは、マウス等のポインティングデバイスを利用して、画像表示領域１１０２の画面上から任意の領域を指定できる。例えば矩形状の対角線上をクリックすることで、矩形状の領域を指定できる。また、座標や角度範囲等、数値を用いて領域を指定することもできる。

さらにサーチ感度設定欄１１０８では、パターンサーチの感度を、またサーチ精度設定欄１１０９ではパターンサーチの精度を、それぞれ設定できる。ここでは、数値でもって感度や精度を指定する。さらにまた相関値下限設定欄１１１０では、相関値の下限値を数値で指定する。

角度ブレ設定欄１１１１では、線形補間角度から想定される角度ブレの程度を設定する。ここでは、角度ブレの範囲を数値で指定するように構成してもよいし、あるいはその程度を入力するようにしてもよい。この例では程度として、ドロップダウンボックスから、「なし」、「小」、「中」、「大」のいずれかを選択する。「なし」を選択すると０°すなわち角度ブレをなくし、「小」を選択すると±２°の角度ブレを許容し、「中」を選択すると±４°、「大」を選択すると±６°の角度ブレをそれぞれ許容する。

位置ブレ設定欄１１１２では、線形補間位置から想定される位置ブレの程度を設定する。ここでもドロップダウンボックスから、「なし」、「小」、「中」、「大」のいずれかを選択する。「なし」を選択すると内挿のみとなって位置ブレを許容せず、「小」を選択すると±８ピクセル、「中」を選択すると±１６ピクセル、「大」選択すると±３２ピクセルの範囲を、それぞれ許容する。また、このように位置ブレの程度を選択する他、位置ブレの範囲をピクセル単位や長さ単位で直接入力するように構成してもよい。

さらに詳細設定欄１１１３で、「編集」ボタンを押下することで、ＧＵＩが図２４から図２５に示す詳細設定画面１２００に切り替えられる。詳細設定画面１２００では、操作領域１１０４に表示画像選択欄１１０５に加えて、さらに追跡対象設定欄１２０２、サーチ領域１設定欄１２０３、角度範囲設定欄１２０４が設けられている。サーチ領域１設定欄１２０３では、上述したサーチ領域２設定欄１１０７等と同様に、サーチ領域１ＳＷ１を設定、あるいは編集できる。追跡対象設定欄１２０２では、パターンサーチで追跡する対象となる追跡領域ＴＷを、領域とするかパターンとするかを選択できる。領域を選択した場合は、上述したサーチ領域１設定欄１２０３で指定された矩形状の追跡領域ＴＷでもって、パターンサーチを行う。一方、パターンを選択した場合は、追跡領域ＴＷに含まれる、追跡したいワークＷＫの形状を抽出して、抽出されたパターンでもってパターンサーチを行う。抽出されたパターンはモデル画像として登録され、運用時においてはＭＣ１画像中からパターンサーチされることになる。さらにこのパターンサーチには、モデル画像の回転も含む。また角度範囲設定欄１２０４では、パターンサーチにおいてモデル画像を回転させる角度範囲を設定する。ここでは、＋方向と−方向をそれぞれ数値で指定できる。

なお、サーチ領域ＳＷ１を設定する際には、画像表示領域１１０２にＭＣ１画像を表示させ、サーチ領域ＳＷ２を設定する際には、ＭＣ２画像を表示させた状態で、それぞれ設定することが望ましい。また、画像表示領域１１０２に表示させる画像の選択は、ユーザが表示画像選択欄１１０５等を用いて手動で行うことも可能であるが、設定する領域を選択すると、自動的に該領域の設定に適した画像が表示されるように構成してもよい。

また以上の設定画面１１００、１２００の例では、（２）追跡パターン指定法での設定を説明したが、同様の方法で（１）追跡領域指定法の設定も行えることはいうまでもない。なお追跡領域指定法においては、パターン領域ＰＷの指定に代えて、追跡領域ＴＷを設定する。
（３）１Ｄエッジ法

さらに、他の線形補間法として、エッジを利用した１Ｄエッジ法について説明する。１Ｄエッジ法では、ＰＳ＊画像群を運用時と同様にワークＷＫが動いている状態で取得する。このようにして取得した画像群を用いて設定を行う。
（１Ｄエッジ法の設定）

１Ｄエッジ法では、設定時に、すべてのＰＳ＊画像でエッジが検出できるような計測領域ＭＷ、検出方向、エッジ方向、エッジ強度閾値等を設定する。この設定の様子を図２６に示す。まず、ＰＳ１画像を表示させて、計測領域ＭＷを、ＰＳ１画像上で設定する。

次に、検出方向を設定する。検出方向は、ワークＷＫと平行になるように設定する。また、検出したいエッジの特徴に合わせて、エッジ方向とエッジ強度閾値を設定する。なお、これらの設定はＰＳ＊画像毎に設定してもよい。

ここでＰＳ４画像で検出する最終エッジインデックスは最終エッジを指定するために用いる。またエッジ間隔は、ＰＳ１画像で検出される複数のエッジ候補の中から、ターゲットエッジを指定することで、登録エッジ間隔として設定される。
（１Ｄエッジ法の運用）

以上のようにして設定がなされた状態で、１Ｄエッジ法を運用する例について説明する。運用時には、ＰＳ４画像からターゲットエッジを求める。これをＰＳ４ターゲットエッジ位置と呼ぶ。この位置と登録エッジ間隔に基づいて、推定エッジ位置を計算する。

なおＰＳ１画像からエッジを検出すると、複数のエッジ（候補エッジ）が検出されることがあるが、それらの候補エッジの中から、推定エッジ位置に近いエッジをＰＳ１ターゲットエッジ位置とする。そしてこのＰＳ１ターゲットエッジ位置とＰＳ４ターゲットエッジ位置から、線形補間法に基づいてＰＳ２、ＰＳ３の推定エッジ位置を求める。このＰＳ２ターゲットエッジ位置とＰＳ３ターゲットエッジ位置の演算は、ＰＳ１ターゲットエッジ位置の決定と同様の手法で行うことができる。

さらに、これらの位置情報を用いて、ＰＳ＊画像をレジストレーションを行う。そしてレジストレーション後の画像群を用いて、ＰＳ処理を行う。または、これらの位置情報を用いて、ＰＳ＊画像を直接ＰＳ処理画像を行うこともできる。

何れの方法においても、画素情報へのアクセスの方法としては、例えば最近傍補間や双一次補間、双三次補間等が知られており、これら方法を用いる。
（１Ｄエッジ法の設定画面）

ここで、１Ｄエッジ法における設定を行う設定手段として、画像検査プログラムのユーザインターフェース画面の一例を図２７に示す。この設定画面１３００も、上述した図２４、図２５と同様、画面の左側に画像表示領域１１０２を、右側に操作領域１１０４を、それぞれ設けている。また操作領域１１０４には、表示画像選択欄１１０５、動き補正法設定欄１３０２、計測領域設定欄１３０３、検出方向設定欄１３０４、エッジ方向設定欄１３０５、エッジ強度閾値設定欄１３０６、最終エッジインデックス設定欄１３０７、エッジ間隔設定欄１３０８が設けられている。表示画像選択欄１１０５では、図２４等と同様、画像表示領域１１０２において表示させる画像を切り替えることができる。例えば、ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４のいずれかを切り替えて表示できる。この例では、ＰＳ１画像を表示させている。

動き補正法設定欄１３０２では、線形補間法で動き補正を、領域で行う追跡領域指定法か、パターンで行う追跡パターン指定法か、又はエッジで行う１Ｄエッジ法のいずれかを選択する。

計測領域設定欄１３０３では、エッジの計測領域ＭＷを矩形とするか、又は回転矩形とするかを選択する。

検出方向設定欄１３０４では、エッジの検出方向として、画像表示領域１１０２で表示される画像に対して「↓」、「↑」、「→」、「←」のいずれとするかを選択する。なお、計測領域設定欄１３０３で回転矩形を選択した場合は、この設定は不要となる。

エッジ方向設定欄１３０５では、エッジ方向として、「明→暗」、「暗→明」、「両方」のいずれかを選択する。

エッジ強度閾値設定欄１３０６では、最大エッジ強度を９９９として、エッジ強度閾値を規格化して数値等により設定する。

最終エッジインデックス設定欄１３０７では、ＰＳ４画像のエッジ位置を指定する。

エッジ間隔設定欄１３０８では、ＰＳ１画像の最初のエッジを、マウス等のポインティングデバイスで指定する。また、エッジインデックスを指定してもよい。

以上の設定画面１３００から、ユーザは１Ｄエッジ法に必要な設定を行うことができる。
（画像転送順序）

上述したいずれかの線形補間法のいずれか実施する際は、ＭＣ１画像及びＭＣ２画像に対するサーチで得られる情報を用いて、ＰＳ＊画像でのブレ補正のため、サーチ領域ＳＷの定義を行う。このため、撮像の順序とは関係なく、図２８に示すように、動き補正用画像を優先して画像処理部４１に転送することが望ましい。これは、仮に図２９に示すように、画像を撮像の順序通りに転送すると、転送速度に律速されてしまうため、動き補正用画像の転送が遅くなってしまうからである。
（無効画素）

以上のようにして画像レジストレーションを行うと、ある画像中のある画素に対応する画素が、他の画像中に含まれないことがある。画素集合の中にそのような非対応の画素を含む画素集合で計算された画像の画素を、ここでは無効画素とする。

このような無効画素を検査に用いることができないので、フォトメトリックステレオ法で作成する画像を表示する際は、例えばユーザに状況が分かるように同一色で表示したり、又は初期背景の画像の背景とすることが望ましい。また、同一色で表示する場合はユーザが選択できるようにすることが望ましい。
（変形例１）

上記の実施形態では、等速運動をする移動体（ワーク）に対して、ＰＳ画像を撮像する最初と最後に基準画像を作り、線形補間によって、基準画像と整合する画像を抽出することで、画像レジストレーションを成立させている。

ただ、本発明はワークが等速運動する場合に限らず、他の運動を示すワークに対しても線形補間等の近似を適用できる。例えば等加速度運動をする移動体に対して線形補間をした場合、図３０に示すように、線形補間して得られた移動位置は、実際の移動位置よりも移動量が多くなる。ブレ補正はこのような場合に有用であるが、移動体の位置推定の精度を高めるために、以下のようにしてもよい。

例えば、基準画像をＰＳ画像の前後、計２個とするのみならず、３個以上に増やして、等速運動以外の運動をする移動体（例えば、等加速度運動や振動するワーク）に対しても、時間に対する位置の関数で２次補間等の高次フィッティングを行うことで、等速運動に限られない様々な運動をするワークに対して、ワークの位置を補間し、画像レジストレーションを成立させ、フォトメトリックステレオ法を応用することもできる。

例えば、上述した照明手段を東西南北の４方向に配置し照明方向を４方向としてＰＳ１〜ＰＳ４画像を撮像すると共に、その前後に全灯画像ＭＣ１画像、ＭＣ２画像を撮像する構成において、ワークが非等速運動を示す移動体である場合に２次補間等を行う例を、図３２Ａに示す。図３２Ａは、４方向照明の場合の全灯撮像のタイミングを示しており、上述の図１９Ａで示した実施形態のように、ＰＳ画像撮像の前後に全灯画像ＭＣ１、ＭＣ２を撮像することに加え、ＭＣ１画像とＭＣ２画像の間にも、追加の全灯画像ＭＣ１’を撮像する動作を追加している。このように計３回の全灯撮像を行って得られた画像を基準画像とし、各部分照明画像に対して、２次補間等の高次フィッティングを行う。そして、各部分照明画像から基準画像と整合する画像を抽出することで、画像レジストレーションを成立させる。

また、図３２Ａでは照明方向を４つとした例を説明したが、照明方向の数は３個としたり、５個以上とすることもでき、これらの場合においても同様に基準画像を追加することで、非等速運動に対応できる。例えば、照明方向として東西南北の４方向に加え、東北、南北、南西、北西の４方向を追加した計８方向とした例を、図３２Ｂに示す。この場合においても、追加の基準画像として追加全灯画像ＭＣ１’をＰＳ画像の中間に追加することで、高次フィッティングを利用して各部分照明画像との整合に対応できる。

以上の例では、追加する基準画像は、ＭＣ１画像とＭＣ２画像の中間に介在させている。これによって、近似の精度を高める効果が期待できる。また、追加基準画像を含めた基準画像の数は３個に限らず、それ以上に増やしてもよい。特にＰＳ画像の数を増やした場合は、一連のＰＳ画像の中間に介在させる追加基準画像の数を増やすことで、より高精度なフィッティングが期待できる。

また各照明手段は、部分照明画像の撮像時の照明光の強度を一定にすることが好ましい。これによって部分照明画像間で照度差が大きくなることを回避し、均一に近付けた照度でフォトメトリック処理を行える。

さらに全灯画像を撮像するために照明手段をすべて点灯させる際には、照明手段の数をＮとするとき、各照明手段の照明光を１／Ｎ倍に調整することが好ましい。このように全灯画像の撮像時には照明手段の強度を均一に弱めることで、ムラの少ない照明状態で全灯画像を撮像できる。特にすべての照明方向から一斉に強い照明光をワークに照射すると白飛びが発生し易くなる。よって、意図的に照明光を弱めることで、光量を階調が飽和しない程度に抑えて、高品質な全灯画像が得られるようになる。さらに全灯画像と部分照明画像とで明るさが大きく異なる事態を回避し、ムラのない状態で精度よく対応位置の演算処理を行える利点が得られる。例えば照明手段を４つとする場合は、全灯画像撮像時は各照明光の照明光の輝度を１／４に低下させる。

また、高次の関数で近似する他、多項式以外の特殊な関数で動きがモデリングできる場合は、その関数を一意に決めるためパラメータを計測位置から決定することで、多項式では精度の落ちる動きでもより正確に位置や姿勢を推定でき、正確なＰＳ処理を実現できる。

このように変形例１によれば、３回以上の全灯撮像を行って得られた画像を基準画像として利用することで、等加速度運動や振動運動といった等速運動以外の運動を示すワークにも対応でき、フォトメトリックステレオ法を利用して、移動しているワークの傷検査や印字のＯＣＲを実現できる。
（変形例２）

以上の例では、全灯撮像においても、各部分照明撮像においても、照明光として例えば白色光を単色で照射しており、全灯撮像と各部分照明撮像とは異なるタイミングで行っている。例えば、図３３Ａ及び図３３Ｂに示すように、最初と最後との間にも全灯撮像を行う場合は、最初と最後に全灯撮像を２回のみ行う場合と比べて、撮像回数が１回増えることとなる。

ただ本発明は、この構成に限らず、全灯画像と部分照明画像とを同時に撮像してもよい。このような全灯照明と部分照明とを同じタイミングで行うには、照明光を単色光とせず、マルチカラーを利用する。すなわち、照明手段が発する照明光にカラー照明を利用することで、図３４に示すように、全灯撮像と各部分照明とを同時に行い、撮像回数を少なくできる。例えば、図３５に示すように、全灯照明用の照明光を赤色、各部分照明の照明光を青色とする等、第一照明手段２１〜第四照明手段２４において色分けして照射すると共に、撮像手段１１に単色でなく、カラーのイメージセンサを用いる。そして、撮像手段１１で検出された撮像信号を、全灯照明（例えば赤色）と部分照明（例えば青色）に分離することで、全灯照明と各部分照明とを同時に行うことが許容される。

撮像信号の分離は、カラーイメージセンサによって画素レベルで行ってもよいし、光学的に行うこともできる。通常、カラーイメージセンサは、画素毎にＲＧＢの色情報が得られるので、Ｒ成分のみを抽出すれば、赤色の全灯画像を作成することができ、Ｂ成分のみを抽出すれば、各照明方向の部分照明画像を作成できる。

光学的に行う場合は、例えば光の波長によって、赤い光は透過し、青い光は反射する等、透過光を選択可能なビームスプリッタを利用して、その出力側に、ＲとＢのそれぞれの成分を検出可能な撮像素子を有する撮像手段１１を配するようにしてもよい。あるいは、液晶フィルタのような、特定の波長の光を選択的に透過可能な光学フィルタを、撮像手段１１の前段に配置して、その光学フィルタでもって照明光の反射光を選別、抽出するようにしてもよい。

第一照明手段２１〜第四照明手段２４による色分けは、例えば以下のような態様が考えられる。（１）カラー成分毎の分離で済む組み合わせとしては、単色であれば、（ａ）緑色＋青色、（ｂ）赤色＋青色、（ｃ）赤色＋緑色、混合色としては、（ｄ）黄色＋青色、（ｅ）マゼンダ＋緑色、（ｆ）シアン＋赤色、等が挙げられる。（２）線形分離が必要な組み合わせとして、上記（ａ）〜（ｆ）以外の組み合わせを挙げることができる。この場合は、非線形のベクトルを分解する処理が必要となる。

移動体が複雑な運動、例えば振動している場合や不規則な動きをしている場合には、図３６に示すように、線形補間だけでは移動量に大きな誤差が生ずることもあり得る。しかしながら、変形例２によれば、全灯撮像を別個独立したタイミングで設けなくてもよいので、追加の基準画像を撮像する時間を省いて処理時間を短縮化でき、特にラインの検査のようにリアルタイム処理が求められる用途に好適となる。また、追加の撮像処理を無くす分だけ、各部分照明を増やすことができ、フォトメトリックステレオ処理の精度が向上する。

また、ワークの特性によっては、特定の色に反応し、法線ベクトル画像がその色の輝度値の影響を受けてしまうケースであっても、その色を回避して照明することができるので、検査におけるロバスト性が向上する。なお、ワークの特性によって、特定の色の照明を試しながら、照明の色を変更することができるので、検査に最も適した照明の色を探すことも可能である。例えば、鏡面反射の強いワークでは向きによって凹凸の出方が不安定となるところ、図３７Ａ及び図３７Ｂに示すように、４方向からの部分照明撮像を８方向からの部分照明撮像へと点灯数を増やすことによって、凹凸の出方が安定化し（例えば楕円で囲った部分）、検査の安定性や対応力が向上する。

また、変形例２によれば、変形例１のように、ワークが多種多様な運動をするワークに対してフォトメトリックステレオ法を応用する場合にあっては、各方向画像と同時に得られる全灯画像から抽出された画像の位置情報を取得できるので、移動量の補間をしないという態様も考えられ、撮像回数を減らすことが可能であり、撮像回数が多いと撮像のタイミングが追いつかないような例えば高速であったり不規則な動きをするワークに対しても、検査のロバスト性を向上させることができる。

さらに、変形例２によれば、撮像枚数が少なくなるので、タクトを縮小し、画像保存用のメモリを削減することができる。
（変形例３）

さらに、照明光の波長を変化させることで、部分照明画像の撮像も同じタイミングで行うことも可能となる。すなわち、移動するワークの位置等を推定するため基準画像を追加する処理のみならず、静止したワークに対する通常のフォトメトリックステレオ処理においても、複数枚の部分照明画像を同時に撮像することで、処理時間の短縮を図ることが可能となる。例えば図３８に示すように、４つの照明方向から照明した部分照明画像ＰＳ１〜ＰＳ４を４枚撮像する場合において、第一照明手段と第二照明手段の照明光の波長を異ならせることで、部分照明画像ＰＳ１とＰＳ２とを同じタイミングで撮像できる。同様に、第三照明手段と第四照明手段の照明光の波長を異ならせれば、部分照明画像ＰＳ３とＰＳ４とを同じタイミングで撮像できる。これにより、フォトメトリックステレオ処理における画像撮像時間の短縮を図ることができる。また、このような処理を、上述した移動体のワークにおける補間処理に適用することも可能である。

本実施の形態によれば、ワークとして同じような形状のものを繰り返しサーチするという特殊性がある。この場合において、ワーク表面上の傷や汚れ等を、追跡対象画像として利用することで、指紋のように追跡に役立てることができる。また追跡対象画像は、ワークの全景に限らず、ワークの一部を指定することもできるし、あるいはワークに限らず、ワークの背景等も利用することもできる。
（モデル画像アプローチ）

以上、（１）の線形補間アプローチについて説明した。次に、（２）のモデル画像アプローチについて説明する。上述の通り、モデル画像アプローチにおけるモデル画像を作成するに当たっては、（Ａ）ＰＳモデル法と、（Ｂ）仮想モデル法が挙げられる。そこで、まずＰＳモデル法を説明する。
（４−３．ＰＳモデル法）

画像レジストレーションのためのサーチは、ＰＳ画像に対してサーチを行う。ＰＳ画像は照明の変動が大きいため、ＭＣ１画像をモデルにしたり、ＰＳ１画像をモデルにするだけでは、ＰＳ＊画像のすべてに対して、安定なサーチを実施することが困難となる。そこで、ＰＳモデル法の設定時には、ワークＷＫを静止させたまま、照明方向を運用時と同様に変動させて、ＭＣ＊画像及びＰＳ＊画像を取得する。これらの取得したＭＣ＊画像及びＰＳ＊画像を、ここではモデル画像群と呼ぶ。

次に、モデル画像群の何れかを参照しながら、パターン領域ＰＷ又は追跡領域ＴＷを設定する。ここではＭＣ１画像、ＰＳ＊画像のそれぞれ対応する部分画像をモデルにする。例えば、ＰＳ１画像で、画像レジストレーションのためのサーチを行う場合は、登録ＰＳ１画像で定義される部分画像をモデルとする。このようにすることで、照明の変動が大きい画像でも、安定して画像レジストレーションを行うことができる。なお、このＰＳモデル法は、ワークＷＫの登録時からの姿勢の変動が小さいことを前提にしている。この前提が成立しないような一部の検査条件においては、次の仮想モデル法が好適である。
（４−４．仮想モデル法）

次に、他のモデル画像アプローチである仮想モデル法を、設定、運用のそれぞれについて説明する。
（仮想モデル法の設定）

仮想モデル法の設定においても、ワークＷＫを静止させたまま、照明方向を運用時と同様に変動させて、ＭＣ＊画像、ＰＳ＊画像（モデル画像群）を取得する。そして、モデル画像群の何れかを参照しながら、パターン領域ＰＷ又は追跡領域ＴＷを設定する。またＭＣ１画像、ＰＳ＊画像のそれぞれ対応する部分画像をモデルとする。

さらにＰＳ＊画像から、以下の数式が画像上に配置されて得られる重み付き法線画像を取得する。

運用時にはこの法線画像から、サーチ用のモデル画像を作成する。
（仮想モデル法の運用）
（仮想モデル法で追跡領域指定法を用いる場合）

仮想モデル法の運用時の処理は、追跡領域指定法と追跡パターン指定法とで異なる。仮想モデル法で追跡領域指定法を用いる場合は、ＰＳモデル法と同様にワークＷＫの登録時からの姿勢の変動が少ないことが必要となる。

この場合、重み付き法線画像に対して、ＰＳ＊画像のそれぞれに対応する照明光が照射されたと推定して、ＰＳ＊画像に対応するそれぞれの推定画素値を、以下の数式より計算する。

ここで、ＰＳ＊画像の照明の向きを（Ｓ_＊ｘ，Ｓ_＊ｙ，Ｓ_＊ｚ）で表している。この画像を使って、ＰＳ＊画像でサーチを行う。
（仮想モデル法で追跡パターン指定法を用いる場合）

次に、仮想モデル法で追跡パターン指定法を用いる場合について説明する。この場合は上述した追跡領域指定法とは異なり、ＭＣ＊画像から推定姿勢が得られるため、ワークＷＫの登録時からの姿勢の変動が少ないという前提は不要となる。

まずＰＳ＊画像に対応する照明方向を、推定姿勢の分だけ回転させる。これにより上記の（Ｓ_＊ｘ，Ｓ_＊ｙ，Ｓ_＊ｚ）の内（Ｓ_＊ｘ，Ｓ_＊ｙ）が回転の影響を受けて変化する。例えば、姿勢が３０°回転した場合は、モデルにとっては−３０°照明が回転したことになる。

この回転変換を（Ｓ_＊ｘ，Ｓ_＊ｙ）に乗じて、上記数５を用いてＰＳ＊画像の推定画素値を計算し、この画像を用いてＰＳ＊画像でサーチを行う。

また、これらの実施例を組み合わせて利用することもできる。具体的には、上記の（Ａ）実際に撮影した画像をモデル画像とするＰＳモデル法と、（Ｂ）仮想的に作った画像をモデル画像とする仮想モデル法の２つの内、何れかの方法によって、モデル画像を作成し、線形補間等によって、モデル画像と整合する画像を抽出することで、画像レジストレーションを成立させ、抽出された画像の位置情報から照明方向を取得することもできる。

なお以上の例では、基準画像として、すべての照明手段を点灯させた全灯画像を用いた例を説明したが、ワークの形状や表面の反射状態によっては、一部の照明手段を消灯した状態でも鮮明な画像が撮像できることがあるので、このような画像を基準画像として利用することも可能である。いいかえると、基準画像は必ずしも全灯画像のみに限定されるものではない。

本発明の画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器は、フォトメトリックステレオを用いた検査装置やデジタイザに好適に利用できる。

１…画像検査装置
１１…撮像手段
１２、３２、５２、６２、８２…ケーブル
７１、７２、７３、７４、７６…ケーブル
２０、２０’、２０”…環状照明ユニット
２１、２２、２３、２４、２５…照明手段
３１…照明制御手段
４１…画像処理部
４１ａ…法線ベクトル算出手段
４１ｂ…輪郭画像生成手段
４１ｃ…テクスチャ抽出画像生成手段
４１ｄ…検査領域特定手段
４１ｅ…画像処理手段
４１ｆ…判定手段
４２…信号処理系
４３…ＣＰＵ
４４…メモリ
４５…ＲＯＭ
４６…バス
５１…表示手段
６１…操作手段
７５…照明分岐ユニット
８１…ＰＬＣ
１１００…画像検査プログラムの設定画面
１１０２…画像表示領域
１１０４…操作領域
１１０５…表示画像選択欄
１１０６…パターン領域設定欄
１１０７…サーチ領域２設定欄
１１０８…サーチ感度設定欄
１１０９…サーチ精度設定欄
１１１０…相関値下限設定欄
１１１１…角度ブレ設定欄
１１１２…位置ブレ設定欄
１１１３…詳細設定欄
１２００…詳細設定画面
１２０２…追跡対象設定欄
１２０３…サーチ領域１設定欄
１２０４…角度範囲設定欄
１３００…設定画面
１３０２…動き補正法設定欄
１３０３…計測領域設定欄
１３０４…検出方向設定欄
１３０５…エッジ方向設定欄
１３０６…エッジ強度閾値設定欄
１３０７…最終エッジインデックス設定欄
１３０８…エッジ間隔設定欄
ＷＫ…ワーク
ＳＧ…ステージ
ｎ…法線ベクトル
Ｓ…拡散反射面
Ｐ…対応位置
ＰＳ１〜ＰＳ８、ＰＳ１’〜ＰＳ４’…部分照明画像（フォトメトリックステレオ画像）
ＭＣ１…第１全灯画像；ＭＣ２…第２全灯画像；ＭＣ３〜ＭＣ５…全灯画像
ＭＣ１’、ＭＣ２’…追加全灯画像
Ｌ１…第一照明手段；Ｌ２…第二照明手段
ＴＷ…追跡領域；ＳＷ、ＳＷ１、ＳＷ２…サーチ領域；ＰＷ…パターン領域
ＭＷ…計測領域

Claims (17)

1. 移動するワークの外観検査を行うための画像検査装置であって、
   ワークを互いに異なる照明方向から照明するための三以上の照明手段と、
   前記三以上の照明手段を一ずつ所定の点灯順に点灯させる、又は該三以上の照明手段を同時に点灯させるための照明制御手段と、
   前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向が異なる複数の部分照明画像と、前記三以上の照明手段を同時に点灯させて撮像した第一基準画像と、該第一基準画像よりも時間的に後の撮像タイミングで第二基準画像を撮像するための撮像手段と、
   第一基準画像に含まれる、ワークの位置を追跡する対象となる画像である追跡対象画像を指定するための追跡対象画像指定手段と、
   前記追跡対象画像指定手段で指定された追跡対象画像の位置を、第二基準画像中から検索して、該第二基準画像中で該追跡対象画像が含まれている位置を特定し、該特定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定する対応位置推定手段と、
   前記対応位置推定手段で推定された部分照明画像の各画素の対応関係に基づいて、フォトメトリックステレオ用の検査画像を生成する検査画像生成手段と
   を備えることを特徴とする画像検査装置。
2. 請求項１に記載の画像検査装置であって、
   前記追跡対象画像指定手段が、移動するワークの外観検査に先立つ設定時において、第一基準画像中から追跡対象画像として追跡領域を指定し、
   前記対応位置推定手段が、移動するワークの外観検査を行う運転時において、該追跡領域でもって第二基準画像中から追跡領域と対応する画像の位置を特定し、該特定された第二基準画像中の位置と、追跡領域を指定した第一基準画像中の位置との相対変化を用いて、各部分照明画像中の追跡領域の位置を推定してなることを特徴とする画像検査装置。
3. 請求項１に記載の画像検査装置であって、
   前記追跡対象画像指定手段が、移動するワークの外観検査に先立つ設定時において、パターン領域を指定し、
   前記対応位置推定手段が、移動するワークの外観検査を行う運転時において、該パターン領域中に含まれる画像を追跡対象画像として、第一基準画像及び第二基準画像中から追跡対象画像の位置を特定し、該特定された第一基準画像及び第二基準画像中の追跡対象画像の位置の相対変化を用いて、各部分照明画像中の追跡対象画像の位置を推定してなることを特徴とする画像検査装置。
4. 請求項１〜３のいずれか一に記載の画像検査装置であって、
   前記照明制御手段は、異なる照明方向から照明した部分照明画像を連続した撮像タイミングで、前記撮像手段で撮像するよう、各照明手段の点灯タイミングを一巡させると共に、該一巡させた照明タイミングの前後に、基準画像を撮像するよう、各照明手段の点灯タイミングを制御し、かつ各照明タイミングが等間隔となるように制御し、
   さらに前記撮像手段は、撮像タイミングを、前記照明制御手段による点灯タイミングと同期させてなることを特徴とする画像検査装置。
5. 請求項１〜４のいずれか一に記載の画像検査装置であって、さらに
   ワークと線形補間された該ワークとの想定される位置ブレ量を設定するための位置ブレ量設定手段、又は
   ワークと線形補間された該ワークとの想定される角度ブレ量を設定するための角度ブレ量設定手段を備えることを特徴とする画像検査装置。
6. 請求項１〜５のいずれか一に記載の画像検査装置であって、
   前記基準画像が、すべての照明手段を点灯させた状態で前記撮像手段により撮像した全灯画像であることを特徴とする画像検査装置。
7. 請求項６に記載の画像検査装置であって、
   前記照明手段は、全灯画像を撮像するために該照明手段をすべて点灯させる際に、該照明手段の数をＮとするとき、各照明手段の照明光を１／Ｎ倍に調整してなることを特徴とする画像検査装置。
8. 請求項７に記載の画像検査装置であって、
   前記照明手段が４つあり、全灯画像を撮像するために該４つの照明手段をすべて点灯させる際に、各照明手段の照明光を１／４倍に調整してなることを特徴とする画像検査装置。
9. 請求項１〜８のいずれか一に記載の画像検査装置であって、
   前記検査画像生成手段が、
   前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、
   前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段と
   を含むことを特徴とする画像検査装置。
10. 請求項９に記載の画像検査装置であって、さらに、
    前記輪郭画像生成手段で生成された輪郭画像に対して検査対象となる検査領域の位置を特定するための検査領域特定手段と、
    前記検査領域特定手段で特定された検査領域内の異常を検出するための画像処理を施すための画像処理手段と、
    前記画像処理手段の処理結果に基づいて、ワーク表面の傷の有無を判定するための判定手段と
    を備えることを特徴とする画像検査装置。
11. 請求項１〜１０のいずれか一に記載の画像検査装置であって、さらに、
    前記照明手段により照明した回数分存在する、前記法線ベクトル算出手段で算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、該アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するためのテクスチャ抽出画像生成手段を備え、
    前記輪郭画像生成手段と前記テクスチャ抽出画像生成手段とを切り替え可能に構成してなることを特徴とする画像検査装置。
12. 請求項１〜１１のいずれか一に記載の画像検査装置であって、
    前記追跡対象画像が、ワークを含む画像であることを特徴とする画像検査装置。
13. 請求項１〜１２のいずれか一に記載の画像検査装置であって、
    前記法線ベクトル算出手段が、等速移動しているワークに対して、フォトメトリックステレオ法に基づき法線ベクトルを算出してなることを特徴とする画像検査装置。
14. 請求項１〜１２のいずれか一に記載の画像検査装置であって、
    前記法線ベクトル算出手段が、ＸＹ方向に移動しているワークに対して、フォトメトリックステレオ法に基づき法線ベクトルを算出してなることを特徴とする画像検査装置。
15. 移動するワークの画像を撮像して外観を検査する検査方法であって、
    ワークを、三以上の照明手段を第一基準タイミングで同時に点灯させて、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段で撮像して第一基準画像を取得する工程と、
    第一基準タイミングの時点から移動したワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、互いに異なる照明方向から異なる点灯タイミングで照明し、前記撮像手段を用いて各照明方向毎に一の部分照明画像を撮像して、照明方向の異なる複数枚の部分照明画像を取得する工程と、
    さらに各点灯タイミングの時点から移動したワークを、三以上の照明手段を第二基準タイミングで同時に点灯させて前記撮像手段で撮像して第二基準画像を取得する工程と、
    第一基準画像に含まれる、ワークの位置を追跡する対象となる画像である追跡対象画像を、追跡対象画像指定手段で指定する工程と、
    前記追跡対象画像指定手段で指定された追跡対象画像を、第二基準画像中から検索して、該第二基準画像中で該追跡対象画像が含まれている位置を特定し、該特定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定する工程と、
    前記推定された部分照明画像の各画素の対応関係に基づいて、検査画像生成手段でフォトメトリックステレオ用の検査画像を生成する工程と、
    前記検査画像を用いて、ワークの外観検査を行う工程と
    を含むことを特徴とする画像検査方法。
16. 移動するワークの画像を撮像して外観を検査するための検査プログラムであって、コンピュータに、
    ワークを、三以上の照明手段を第一基準タイミングで同時に点灯させて、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段で撮像して第一基準画像を取得する機能と、
    第一基準タイミングの時点から移動したワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、異なる照明方向から異なる点灯タイミングで照明し、前記撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、照明方向の異なる複数枚の部分照明画像を取得する機能と、
    さらに各点灯タイミングの時点から移動したワークを、三以上の照明手段を第二基準タイミングで同時に点灯させて前記撮像手段で撮像して第二基準画像を取得する機能と、
    第一基準画像に含まれる、ワークの位置を追跡する対象となる画像である追跡対象画像を指定する機能と、
    前記指定された追跡対象画像を、第二基準画像中から検索して、該第二基準画像中で該追跡対象画像が含まれている位置を特定し、該特定された位置に基づいて、各部分照明画像中で対応する画素の対応関係を推定する機能と、
    推定された部分照明画像中の各画素の対応関係に基づいて、検査画像生成手段でフォトメトリックステレオ用の検査画像を生成する機能と、
    前記検査画像を用いて、ワークの外観検査を行う機能と
    を実現させることを特徴とする画像検査プログラム。
17. 請求項１６に記載の画像検査プログラムを記録したコンピュータで読み取り可能な記録媒体又は記録した機器。