JP2015232487A - 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

Abstract

【課題】照明の方位角や天頂角を精度良く高速に推定することを可能にするフォトメトリックステレオ法を応用した画像検査装置及び照明方向の検出方法を提供する。
【解決手段】ワークＷＫを一定の方向から撮像する撮像手段１１を備える撮像手段と、ワークＷＫを異なる方向から少なくとも３回照明する第一照明手段２１〜第四照明手段２４を備える照明手段と、第一照明手段２１〜第四照明手段２４を１つずつ順に点灯させる照明制御手段と、各照明タイミングにて撮像手段１１を駆動させることにより、複数のソース画像を生成するソース画像生成手段と、ソース画像生成手段によって生成された複数のソース画像を基にする複数のソース画像ＳＰから、第一照明手段２１〜第四照明手段２４における実際の照明方向と最も整合する照明方向を検出する照明方向推定手段４１ｇを備える。
【選択図】図３７

Description

本発明は、フォトメトリックステレオ法を用いた画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器に関する。

ワーク（検査対象物や被写体）の表面の傷の有無や外観形状、印字された文字の読み取りといった検査を行う画像検査装置が利用されている。このような画像検査装置は、ワークに対して必要な照明を行い、画像を撮像し、得られた画像データに対してエッジ検出等、画像処理を行い、その結果に基づいて良否判定等の判断を行っていた。

しかしながらこのような画像検査装置では、ワークの種類によっては照明の種類や当てる方向によって見えやすさが変わるケースがあった。このため、このようなワークに対して適切な検査を行うには、十分な知識や経験が必要であった。

また、従来の画像検査装置では、照明条件や設置条件等が少し変わっただけで誤検出が起きやすく、安定的に検出することが困難であるという問題もあった。さらに、ワークの外観検査においては、傷、縁等のワークの形状に関する情報、言い換えると立体的な情報と、印字、シミ等の平面的な情報の両方が検査の対象になるところ、お互いが干渉し合う結果、上手く検出できないことがあるという問題もあった。

このような問題を解決するための技術として、フォトメトリックステレオ法を用いて高さ情報を取得する画像処理装置が知られている（例えば、特許文献１を参照。）。ここでフォトメトリックステレオ法（photometric stereo）とは、照度差ステレオ法とも呼ばれ、異なる複数の照明方向から照明した画像を撮像して、その陰影情報からワークの法線ベクトルを求める三次元計測の手法の一つである。このようなフォトメトリックステレオ法を用いた画像処理装置は、法線ベクトル（傾き画像に相当）からＸ軸やＹ軸の成分を輝度値に置き換えた画像や、反射率画像（アルベド画像に相当）を作成して、画像検査に応用している。ここでは、フォトメトリックステレオ法で三次元計測を精度よく行うために、主として、照明機器の設置方法や照明光の照射方法に関する検討がなされている。

特開２００７−２０６７９７号公報

フォトメトリックステレオ法では、ワーク（被写体）表面の傾きやアルベド（反射率）等を決定するために、複数の照明で互いに異なる照明方向から複数の撮像を実施する必要がある。ここで照明方向は、被写体に対する方位角（図１２Ｂ）、天頂角（図１２Ａ）で表すことができる。よってフォトメトリックステレオ法は、通常、撮像した複数の画像のそれぞれの照明方向が既知であることを前提として処理が行われる。

ここで特許文献１に開示される画像処理装置は、フォトメトリックステレオ法に使用するカメラと照明とが分離できない一体型である。ここで、カメラと照明とを分離させた場合、設置の位置関係によってカメラに対する照明方向を自由に変化させることができる。また分離させることによって設置自由度が増し、被写体が被写体以外の障害物によって物理的に干渉を受けないように照明を設置できるようになる。また、結果に悪影響を与える鏡面反射光がカメラに入射しない天頂角や方位角を選ぶことも可能となる。

しかしながら、前述のように、フォトメトリックステレオ法を応用した技術は、照明方向が既知であることを前提として実装されている。ここで、それぞれの照明方向の方位角は異なるが、天頂角は大きく変わらないと見なせる場合を考える。

フォトメトリックステレオ処理に与える天頂角に実際の値との相違がある場合、得られる面の傾きは実際の値に一定の比を掛けた値となる。それに対して、天頂角が一定の条件下で、フォトメトリックステレオ処理に与える方位角に実際の値との相違がある場合、単純な比例関係の変化ではなくなり、実際の被写体表面の傾きと得られる面の傾きとの相関は大きくずれる。

以上のことから、フォトメトリックステレオ法は、それぞれの天頂角がほぼ一定となるように照明を設置した場合、天頂角に対する精度は悪くてもワークの表面形状の認識性能に与える影響は少ないが、方位角に対する精度が悪ければ表面形状の認識性能に大きく悪影響を与えるという特性を持つ。すなわち、予め設定した照明方向と実際の照明方向とが大きく異なる場合は、被写体表面の形状を誤認する虞がある。

そこで、従来のフォトメトリックステレオ法を応用した技術は、ユーザに、被写体に対する方位角や天頂角を照明毎に個別に設定させるという方法がとられていた。

しかしながら、ユーザに、被写体に対する方位角や天頂角を照明方向が多数存在する照明毎に個別に設定させることは、煩雑な設定操作を強いることになり、開発コストを掛けて複雑な設定ＵＩ（User Interface）を実装しても、設定ミスを招来する可能性は否定できず、実際の被写体表面の形状を誤認する虞が依然あった。特に、被写体の表面の特徴は、設定が多少誤っていても表出するため、ユーザがその間違いに気付くことは困難である。

この問題を解決するために、設定操作をユーザに強いることなく、設置した照明の方向を自動的に推定する手法が考えられる。しかしながら、フォトメトリックステレオ法をＦＡ機器で想定される種々の検査に応用しようと考えた場合、異なる照明方向から撮像した複数の画像を元にすることに起因して計算量が膨大となり、全体での処理が遅延する虞があり、リアルタイム検査が困難となる。また、ＦＡ（Factory Automation）機器に適用する上でのカメラや照明の設置の拘束条件に適うように、方向推定の処理速度や精度を向上させることも求められる。

本発明は、このような事情に鑑みてなされたものであり、その主な目的は、照明の方位角や天頂角を精度良く高速に推定することを可能にするフォトメトリックステレオ法を応用した画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を提供することにある。

課題を解決するための手段及び発明の効果

本発明の第１の側面に係る画像検査装置によれば、ワークの外観検査を行うための画像検査装置であって、ワークを互いに異なる実際の照明方向から照明するための三以上の照明手段と、前記三以上の照明手段を一ずつ所定の点灯順に点灯させるための照明制御手段と、前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、実際の照明方向が異なる複数の部分照明画像を撮像するための撮像手段と、前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、複数の異なる仮定照明方向毎に生成するためのソース画像生成手段と、前記ソース画像生成手段によって仮定照明方向毎に生成された複数のソース画像に基づき、前記照明手段における実際の照明方向と最も整合する推定照明方向を検出するための照明方向推定手段とを備えることができる。上記構成により、実際の照明方向が画像検査装置側で不明な場合であっても、仮定照明方向の異なる複数のソース画像に基づいて、実際の照明方向を推定照明方向として推定することが可能となる。この結果、照明手段の配置を厳格に行わずともフォトメトリックステレオ法に基づく画像検査が可能となり、従来手間のかかっていた照明手段の設置作業を大幅に簡素化できる利点が得られる。特に、ユーザが設置した実際の照明方向を自動的に推定することができるので、ユーザが画像検査を行う際に、撮像手段や照明手段をラフに設置したとしても、細かな設定操作を強いられることなく、最適な照明条件で画像検査を行うことができる。

また、第２の側面に係る画像検査装置によれば、前記三以上の照明手段が、一体的に構成されており、かつ前記撮像手段の光軸を中心とした仮想回転面上に実際の照明方向を有しており、前記照明方向推定手段が、仮想回転面上に位置すると仮定された複数の仮定照明方向の中から、推定照明方向を推定することができる。上記構成により、仮想回転面上に取り得る実際の照明方向を、照明方向推定手段でもって推定することが可能となる。

さらに、第３の側面に係る画像検査装置によれば、前記三以上の照明手段が、互いに独立して配置可能に構成されており、かつ前記撮像手段の光軸を中心とした仮想回転面上に実際の照明方向を有しており、前記照明方向推定手段が、仮想回転面上に位置すると仮定された複数の仮定照明方向の中から、推定照明方向を推定すると共に、前記三以上の照明手段のそれぞれの設置位置を推定可能に構成できる。上記構成により、複数の照明手段を入れ替えて配置しているような場合であっても、各照明手段の配置位置と実際の照明方向とを、照明方向推定手段でもって推定することが可能となる。

さらにまた、第４の側面に係る画像検査装置によれば、前記照明方向推定手段は、ワークの表面形状を凸状と仮定して照明照明方向を推定できる。

さらにまた、第５の側面に係る画像検査装置によれば、前記ソース画像生成手段は、前記複数のソース画像を、照明方向を特定する天頂角及び方位角を変数として生成するものであり、前記照明方向推定手段は、前記ソース画像生成手段でもって生成されたソース画像のうち、実際の照明方向によるソース画像との整合の度合いを示す第１評価関数に従い、最も上位と評価されるソース画像を選択し、該ソース画像における天頂角及び方位角の変数値を推定照明方向として推定できる。上記構成により、最も上位と評価されるソース画像を選択し、該ソース画像における天頂角及び方位角の変数値を実際の照明方向として検出することができる。

さらにまた、第６の側面に係る画像検査装置によれば、前記第１評価関数は、天頂角及び方位角を変数として算出されて生成されたソース画像から、天頂角及び方位角に対して、前記ソース画像におけるワークの表面形状とソース画像にした実際の表面形状とのズレの大きさを数値化した関数とできる。上記構成により、第１評価関数の値が最小となるとき、実際の照明方向によるソース画像との整合の度合いが最大となるため、このときのソース画像における天頂角及び方位角の変数値を実際の照明方向として検出することができる。

さらにまた、第７の側面に係る画像検査装置によれば、前記ソース画像生成手段は、前記複数のソース画像を、照明方向を特定する天頂角及び方位角のうち、天頂角を定数とし、方位角を変数として生成するものであり、前記照明方向推定手段は、前記ソース画像生成手段でもって生成されたソース画像のうち、実際の照明方向によるソース画像との整合の度合いを示す第２評価関数によって、最も上位と評価されるソース画像を選択し、該ソース画像における方位角の変数値と天頂角の定数値を推定照明方向として推定できる。上記構成により、最も上位と評価されるソース画像を選択し、該ソース画像における天頂角及び方位角の変数値を実際の照明方向として検出することができる。また、天頂角の違いはソース画像に大きく反映されないため、定数値と仮定することで、高精度に、高速に、照明方向の方位角や天頂角を推定し、フォトメトリックステレオ処理を高速に行うことが可能となる。

さらにまた、第８の側面に係る画像検査装置によれば、前記第２評価関数は、天頂角を定数とし、方位角を変数として算出されて生成されたソース画像から、方位角に対して、ワークの表面の凸凹の凸成分の表出割合を数値化した関数とできる。上記構成により、第２評価関数の値が最大となるとき、実際の照明方向によるソース画像との整合の度合いが最大となるため、このときのソース画像における天頂角及び方位角の変数値を実際の照明方向として検出することができる。

さらにまた、第９の側面に係る画像検査装置によれば、変数としての方位角は、予め定められた組み合わせの中から値が設定できる。上記構成により、予め定められた組み合わせの中から変数としての方位角を設定するので、フォトメトリックステレオ処理をより高速に行うことが可能となる。

さらにまた、第１０の側面に係る画像検査装置によれば、変数としての方位角は、均等の角度巾で値を設定できる。上記構成により、均等の角度巾で変数としての方位角を設定するので、フォトメトリックステレオ処理をより高速に行うことが可能となる。

さらにまた、第１１の側面に係る画像検査装置によれば、前記照明方向推定手段は、ワークを、鏡面反射成分を含む半球状と推定し、さらに前記ソース画像毎に、ワークのソース画像中での中心座標を基点として、ワークからの鏡面反射成分の画像での中心にあるハレーション座標のベクトルを求め、前記ベクトルの方向を、前記ソース画像を生成した際の照明方向の方位角として算出し、前記ベクトルの画素数とワークの大きさの画素数との比から、前記ソース画像を生成した際の照明方向の天頂角を算出できる。上記構成により、フォトメトリックステレオ法を利用した計算処理を経ずに、簡単なアルゴリズムによる計算処理で済むため、高精度に、高速に、照明方向の方位角や天頂角を推定することができ、その後のフォトメトリックステレオ処理に迅速に移行することができる。

さらにまた、第１２の側面に係る画像検査装置によれば、前記照明方向推定手段は、ワークの高さを既知として、前記ソース画像毎に、ワークのソース画像での中心座標を基点として、ワークのソース画像での影の先端にある影座標のベクトルを求め、前記ベクトルの方向を、前記ソース画像を生成した際の照明方向の方位角として算出し、前記ベクトルの画素数とワークの高さの画素数との比から、前記ソース画像を生成した際の照明方向の天頂角を算出できる。上記構成により、フォトメトリックステレオ法を利用した計算処理を経ずに、簡単なアルゴリズムによる計算処理で済むため、高精度に、高速に、照明方向の方位角や天頂角を推定することができ、その後のフォトメトリックステレオ処理に迅速に移行することができる。

さらにまた、第１３の側面に係る画像検査装置によれば、前記照明方向推定手段は、予め設定された、前記撮像手段及び前記照明手段が配置された状態での天頂角及び／又は方位角の設定範囲を、推定された天頂角及び／又は方位角と比較して、前記設定範囲を外れた場合には警告を発するよう構成できる。上記構成により、ユーザは照明や撮像手段の設置や設定の間違いに気付くことができ、ユーザビリティが向上する。

さらにまた、第１４の側面に係る画像検査装置によれば、前記照明制御手段は、異なる仮定照明方向毎にソース画像を生成する際の点灯順を、任意に変更可能に構成できる。

さらにまた、第１５の側面に係る画像検査装置によれば、前記ソース画像生成手段は、前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段とを含むことができる。上記構成により、法線ベクトルに微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成し、この輪郭画像を検査対象の画像として適用することで、ワークや照明の傾きの影響を受け難い、従来のフォトメトリックステレオを用いた高さ計測よりも環境にロバストな画像検査を実現できる。特に、フォトメトリックステレオ法を利用して第１次の傾き画像を生成することを出発点としながらも、得られた第１次の傾き画像をＸ方向及びＹ方向に微分処理して第２次の傾き画像、すなわち、輪郭抽出画像を作成するようにした構成を備えているので、より簡単、かつ、ロバストにワークの傷や印字を検査できる。このようなフォトメトリックステレオ法を応用したことによる効果に加えて、ユーザがフォトメトリックステレオ法を利用して画像検査を行う際に、撮像手段や照明をラフに設置したとしても、細かな設定操作を強いられることなく、最適な照明条件で画像検査を行うことができるという作用効果も奏する。さらに本来の傷と元々ある輪郭と区別するのは通常困難であるため、傷があってはいけない箇所をサーチして検査領域とすることが求められているが、テクスチャ抽出画像でサーチをして、検査領域を決めてから傷検査を行うことができる。また、ＯＣＲを行う際にも、テクスチャ抽出画像でサーチをして、ＯＣＲを行う対象領域を決めてからＯＣＲを行うことができる。

さらにまた、第１６の側面に係る画像検査装置によれば、さらに生成された輪郭画像に対して検査対象となる検査領域の位置を特定するための検査領域特定手段と、前記検査領域特定手段で特定された検査領域内の傷を検出するための画像処理を施すための画像処理手段と、前記画像処理手段の処理結果に基づいて、ワーク表面の傷の有無を判定するための判定手段とを備えることができる。上記構成により、輪郭抽出画像生成後の傷検査に必要な傷検査ツールを備えたことで、フォトメトリックステレオ技術は三次元計測の一つの手法であるというのが一般的な共通認識であるところ、フォトメトリックステレオ技術を傷検査に応用した実用品として位置づけられる画像検査装置を提供できる。

さらにまた、第１７の側面に係る画像検査方法によれば、ワークの画像を撮像して外観を検査する検査方法であって、ワークを、互いに異なる三以上の照明手段を一ずつ所定の点灯順にて点灯させて、異なる実際の照明方向から所定の点灯タイミングで照明すると共に、共通の撮像手段を用いて、各実際の照明方向毎に一の部分照明画像を撮像して、実際の照明方向が異なる複数枚の部分照明画像を取得する工程と、異なる照明手段で照明して取得した複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、ソース画像生成手段で複数の異なる仮定照明方向毎に生成する工程と、前記ソース画像生成手段によって仮定照明方向毎に生成された複数のソース画像に基づき、照明方向推定手段でもって、前記照明手段における実際の照明方向と最も整合する推定照明方向を検出する工程とを含むことができる。これにより、実際の照明方向が画像検査装置側で不明な場合であっても、仮定照明方向の異なる複数のソース画像に基づいて、実際の照明方向を推定照明方向として推定することが可能となる。この結果、照明手段の配置を厳格に行わずともフォトメトリックステレオ法に基づく画像検査が可能となり、従来手間のかかっていた照明手段の設置作業を大幅に簡素化できる利点が得られる。

さらにまた、第１８の側面に係る画像検査プログラムによれば、ワークの画像を撮像して外観を検査するための検査プログラムであって、コンピュータに、ワークを、互いに異なる三以上の照明手段を一ずつ所定の点灯順にて点灯させて、異なる実際の照明方向から所定の点灯タイミングで照明すると共に、共通の撮像手段を用いて、各実際の照明方向毎に一の部分照明画像を撮像して、実際の照明方向が異なる複数枚の部分照明画像を取得する機能と、異なる照明手段で照明して取得した複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、ソース画像生成手段で複数の異なる仮定照明方向毎に生成する機能と、前記ソース画像生成手段によって仮定照明方向毎に生成された複数のソース画像に基づき、照明方向推定手段でもって、前記照明手段における実際の照明方向と最も整合する推定照明方向を検出する機能とを実現させることができる。これにより、実際の照明方向が画像検査装置側で不明な場合であっても、仮定照明方向の異なる複数のソース画像に基づいて、実際の照明方向を推定することが可能となる。この結果、照明手段の配置を厳格に行わずともフォトメトリックステレオ法に基づく画像検査が可能となり、従来手間のかかっていた照明手段の設置作業を大幅に簡素化できる利点が得られる。

また本発明の第１９の側面に係るコンピュータで読み取り可能な記録媒体または記憶した機器は、上記画像検査プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（商品名）、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

本発明の実施形態１に係る画像検査装置の構成を示すブロック図である。 図１の画像検査装置の撮像手段と照明手段の位置関係を示す模式平面図である。 図１の画像検査装置の撮像手段と照明手段の位置関係を示す模式側面図である。 実施形態２に係る４つの照明ブロックを実現する照明手段を示す模式図である。 図４の照明手段で５つの照明ブロックを実現する様子を示す模式平面図である。 実施形態３に係る照明手段を示す模式平面図である。 実施形態４に係る照明手段を示す模式平面図である。 変形例に係る照明手段を示す模式平面図である。 他の変形例に係る照明手段を示す模式平面図である。 実施形態５に係る画像検査装置の構成を示す模式図である。 実施形態６に係る画像検査装置の構成を示す模式図である。 画像処理部の信号処理系の説明に供するブロック図である。 図１３Ａは、フォトメトリックステレオ法の基本原理を説明するための、拡散反射面Ｓと照明との位置関係を示す図、図１３ＢはＬ１から光を照射した状態を示す図、図１３ＣはＬ２から光を照射した状態を示す図、図１３Ｄは照射方向と反射光の明るさの組み合わせから、表面の向きを推定することを説明するための図である。 図１４Ａは輪郭抽出画像の生成方法を説明するための、垂直方向に微分した傾き画像の一例を示す図、図１４Ｂは水平方向に微分した傾き画像の一例を示す図、図１４Ｃは輪郭抽出画像の一例を示す図である。 図１５Ａは、δ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法を説明するための、表面情報を示す図、図１５Ｂは傾き画像を示す図、図１５Ｃは前進差分を示す図、図１５Ｄは中央差分を示す図である。 図１６Ａはテクスチャ抽出画像の生成方法を説明するための、ソース画像を示す図、図１６Ｂは平均法による処理を行った画像を示す図、図１６Ｃはハレーション除去法による処理を行った画像を示す図である。 アングルノイズ低減の説明に供する図である。 照明とカメラが一体型の場合に、障害物と干渉する様子を示す模式断面である。 カメラが照明光の一部を遮る様子を示す模式図である。 照明とカメラを分離型とした構成を示す模式断面図である。 図２１Ａは照明とカメラとが分離型であるメリットを説明するための、ＬＷＤを小さく取った場合、図２１ＢはＬＷＤを大きく取った場合を示す図である。 リング状の照明を配置する様子を示す模式図である。 リング状の照明とカメラの回転位置を一致させる様子を示す模式図である。 天頂角及び方位角の定義について説明するための図である。 図２５Ａは、仮定照明方向と整合する天頂角及び方位角で得られた輪郭抽出画像、図２５Ｂは誤った天頂角と正しい方位角で得られた輪郭抽出画像、図２５Ｃは正しい天頂角と誤った方位角（全体４５°ずれ）で得られた輪郭抽出画像、図２５Ｄは正しい天頂角と誤った方位角（シャッフル）で得られた輪郭抽出画像を示すイメージ図である。 照明設置の間違え方として、回転があることを説明するための図である。 図２７Ａは仮定照明方向と整合する照明方向を０°として、４５°の角度巾で回転させて得られた、０°、図２７Ｂは４５°、図２７Ｃは９０°、図２７Ｄは１３５°、図２７Ｅは１８０°、図２７Ｆは２２５°、図２７Ｇは２７０°、図２７Ｈは３１５°の方位角で得られた輪郭抽出画像を示すイメージ図である。 照明設置の間違え方として、シャッフルがあることを説明するための図である。 図２９Ａは、仮定照明方向と整合する照明方向による輪郭抽出画像であり、図２９Ｂ〜図２９Ｆは、シャッフルのすべての組み合わせにおいて生成した輪郭抽出画像を示すイメージ図である。 様々なワークに対して、回転をさせて得たソース画像から、回転角度に対する高さの平均を算出してプロットしたグラフである。 シャッフルのすべての組み合わせに対して得たソース画像から、回転角度に対する高さの平均を算出してプロットしたグラフである。 照明設置の間違え方として、十字軸（ｘｙ軸）からのずれがあることを説明するための図である。 照明設置の間違え方として、天頂角非対称ずれ×２があることを説明するための図である。 照明設置の間違え方として、天頂角対称変化×２があることを説明するための図である。 図３５Ａはワークが半球状で鏡面反射する場合の実際の照明方向の検出方法を説明するための、天頂角θの求め方を説明する図、図３５Ｂは方位角の求め方を説明する図である。 図３６Ａはワークの高さが既知である場合の実際の照明方向の検出方法を説明するための、天頂角θの求め方を説明する図、図３６Ｂは方位角の求め方を説明する図である。 フォトメトリックステレオ法を利用した照明方向の検出処理の流れ示すフローチャートである。 フォトメトリックステレオ法を利用しない照明方向の検出処理の流れを示すフローチャートである。 実施例に係る画像検査方法を示すフローチャートである。 変形例に係る画像検査方法を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
（１．画像検査装置１の構成）

本発明の実施の形態１に係る画像検査装置のブロック図を、図１に示す。この図に示す画像検査装置１は、ワーク（以下、「ワークＷＫ」ともいう。）を一定の方向から撮像する撮像手段１１と、ワークＷＫを異なる三以上の照明方向から照明するための照明手段と、各照明手段を一ずつ点灯順に点灯させるための照明制御手段３１と、照明制御手段と撮像手段と接続されてこれらを制御する画像処理部４１を備えている。画像処理部４１と撮像手段とは、撮像ケーブル１２を介して、また画像処理部４１と照明制御手段３１とは照明ケーブル３２を介して、それぞれ接続されている。また画像処理部は、表示手段５１と操作手段６１を接続している。さらに画像処理部には、必要に応じて外部機器であるＰＬＣ（Programable Logic Controller）やコンピュータ等と接続することもできる。

撮像手段は、照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークＷＫを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像する。

画像処理部は、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、複数の異なる仮定照明方向毎に生成するソース画像生成手段として機能する。ソース画像生成手段は、具体的には、法線ベクトル算出手段４１ａと、輪郭画像生成手段４１ｂと、テクスチャ抽出画像生成手段４１ｃと、検査領域特定手段４１ｄと、画像処理手段４１ｅと、判定手段４１ｆと、照明方向推定手段４１ｇの機能を実現する。法線ベクトル算出手段４１ａは、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークＷＫの表面に対する法線ベクトルｎを算出する。輪郭画像生成手段４１ｂは、算出された各画素の法線ベクトルｎに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークＷＫ表面の傾きの輪郭を示す輪郭画像を生成する。テクスチャ抽出画像生成手段４１ｃは、照明手段による照明する回数個ある、算出された各画素の法線ベクトルｎから、各画素のアルベドを算出し、アルベドから、ワークＷＫの表面の傾きの影響を除去した模様を示すテクスチャ抽出画像を生成する。検査領域特定手段４１ｄは、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。画像処理手段４１ｅは、特定された検査領域内の傷を検出するための画像処理を施す。判定手段４１ｆは、処理結果に基づいて、ワークＷＫ表面の傷の有無を判定する。照明方向推定手段４１ｇは、ソース画像生成手段によって生成された複数の画像を基にする複数のソース画像ＳＰ（後述）から、照明手段における実際の照明方向と最も整合する照明方向を検出する。

撮像手段と照明手段とは、別個の部材として配置可能としている。これによって自由度の高いレイアウトが可能となる。一例として、図２の模式平面図及び図３の模式側面図に示すように、ステージＳＧ上に載置されたワークＷＫの真上に、光軸を鉛直方向に向けた撮像手段１１を配置する。また撮像手段１１の周囲の東西南北の方位に、４個の照明手段、すなわち第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４を、同一の高さに配置する。配置された撮像手段と各照明手段の位置関係は、画像検査装置側で記録される。照明制御手段により所定の照明タイミングで各照明手段を順次点灯させて、共通の撮像手段でもって、ワークを一定の方向から撮像して部分照明画像を取得する。

なお、撮像手段と照明手段とは、別個の部材とする構成に限らず、これらをアーム等を介して一体に構成してもよい。この場合は、予め撮像手段と照明手段の位置関係が固定されているため、光軸を一致させるといった調整作業を不要とできる。ただし、自由度が失われる。
（撮像手段）

撮像手段１１は、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャ等の撮像素子が利用できる。撮像素子で被写体の画像を光電変換して画像信号を出力し、出力された画像信号を信号処理ブロックが輝度信号と色差信号とに変換して、撮像ケーブル１２で接続された画像処理部４１に出力する。
（照明手段）

照明手段２１、２２、２３、２４は、ワークＷＫに対して、異なる照明方向から照明光を照射できるよう、図２の模式平面図に示すようにワークＷＫの周囲をとり囲むように配置される。また図３の模式側面図に示すように、各照明手段は、光軸を斜め下方に向けて設置される。各照明手段で照明されたワークを、共通の撮像手段で撮像できるよう、撮像手段の光軸と、照明手段を設けた平面（仮想回転面）の中心軸とを一致させることが好ましい。また、照明手段同士の間隔（中心軸からの方位角）は、３６０°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。さらにまた、各照明手段とワークとの距離も、一定とすること好ましい。このようにすることで、フォトメトリックステレオ処理の演算に必要な方位角や天頂角情報の入力を簡易化できる。また後述の通り、全灯画像ＭＣを撮像する際はすべての照明手段を点灯した全灯状態で撮像するため、上記状態にすれば、全照明の強さを均等に弱めるだけで、ムラの少ない照明状態で撮像できる。

図１の例では、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４の４つで構成される。各照明手段は、白熱球や蛍光灯等が利用できる。特に、発光ダイオード（Light Emitting Diode：ＬＥＤ）等の半導体発光素子は、消費電力が少なく長寿命で応答性にも優れ、好ましい。各照明手段は、図１に示すように、それぞれに対応するケーブル７１、７２、７３、７４を介して、照明分岐ユニット７５に接続され、さらにケーブル７６を介して、照明制御手段３１に接続されている。
（照明分岐ユニット）

照明分岐ユニットは、各照明手段を照明制御手段と接続するためのインターフェースである。具体的には、照明手段から延長された照明ケーブルを接続するための照明接続コネクタを設けている。図１の例では、４つの照明手段を接続するよう、４つの照明接続コネクタを設けている。この際、照明ケーブルを正しく照明接続コネクタに接続するよう、設置補助手段としてマーク等を設けてもよい。各照明手段の照明メーブルを、照明分岐ユニットの照明接続コネクタに正しく接続することで、照明制御手段でもって正しい順序で正しい方向から照明手段を点灯でき、さらに各照明タイミングと同期させて撮像手段を動作させることで、部分照明画像を撮像できる。なお、照明分岐ユニットは、図１の例では照明制御手段と別体に設けられているが、この構成に限られず、例えば照明制御手段に照明分岐ユニットを組み込んでもよい。

照明手段２１、２２、２３、２４の照明色は、ワークＷＫのタイプに応じて変更することもできる。例えば、細かい傷を検査したい場合には、波長が短い青色が好適である。また、着色されたワークを検査するときは、照明の色が邪魔にならないように、白色の照明を使うのが好ましい。さらに、ワークに油が付いているときには、その影響を防ぐために、赤色の照明を採用するとよい。

また照明手段は、上述した図１〜図３の例では４個としているが、異なる三以上の照明方向からワークＷＫを照明できるよう、少なくとも３個あれば足りる。照明手段の数を増やすと、より多くの照明方向から部分照明画像が得られるため、画像検査の精度を向上できる。例えば、北東、北西、南東、南西の方位を加えて全部で８個配置してもよい。また、照明手段同士の間隔（中心軸からの方位角）は、３６０°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。なお、処理すべき画像の枚数が増えることで処理量が増え、処理時間が遅くなる。本実施の形態においては、処理速度と演算処理のし易さ、精度等のバランスを考慮して、上述の通り照明手段の数を４個としている。

また、照明手段を、環状に配置された複数個の発光素子で構成することもできる。例えば図４に示す実施形態２に係るリング照明では、環状に配置された発光素子を４つの照明ブロックに分割している。そして照明制御手段が、第一照明ブロックを第一照明手段、第二照明ブロックを第二照明手段、第三照明ブロックを第三照明手段、第四照明ブロックを第四照明手段として、それぞれの照明ブロックの照明タイミングを異ならせることで、４つの別個の照明手段が存在するのと同様に制御できる。

またこの構成であれば、同一のリング照明を用いて、照明手段の数を任意に変更できる利点も得られる。すなわち、各発光素子の点灯を照明制御手段で任意に制御できる場合は、図５に示すように、環状に配列された発光素子の円周を４区分から５区分に分割するように照明ブロックを変更し、５つの照明ブロックをそれぞれ点灯させる照明タイミングをずらして各部分照明画像を撮像するように照明制御手段で制御することで、５つの照明方向からの部分照明画像を取得できる。さらに同様に環状の円周を６分割、７分割に変更すれば、照明方向をさらに増やすことができる。また、常時一定の照明ブロックにて部分照明画像を取得する構成に限らず、周期毎に照明ブロックを変更してもよい。このように、各発光素子の点灯パターンを調整することで、同一のリング照明を用いて、仮想的に照明ブロックの数を変更し、照明手段の数を調整するのと同様の効果を得ることができる。言い換えると、共通のハードウェアでもって異なる精度に対応できる。

さらに照明手段は、円環状に配置する他、実施形態３として図６の模式平面図に示すように、バー状に構成された照明手段を矩形状に配置したり、実施形態４として図７の模式平面図に示すように、多角形状に配置することもできる。

あるいは、照明手段を円や多角形の環状に配置する他、平面状に配置することもできる。例えば、多数の発光素子を平面状に配置し、点灯する照明ブロックを変化させることで、異なる照明方向を実現することもできる。具体的には、図８に示す変形例に係る照明手段のように、同心円状の円環を複数重ねた照明ユニット２０’を構成し、半径の異なる各円環をそれぞれ照明ブロックとして照明手段を構成する。あるいは、図９に示す他の変形例に係る照明手段のように、ドットマトリックス状に発光素子を並べた照明ユニット２０”としつつ、中心を通る複数の線分で分割した照明ブロックでもって照明手段を構成してもよい。このように本発明において照明手段や照明方向とは、必ずしも物理的に離間された照明に限られず、一の照明手段を複数に分割した照明ブロックでもって、照明を行う構成も含む意味で使用する。

なお、本実施例においては各照明手段による部分照明光が撮像範囲内で並行光であるとの前提で処理している。部分照明光が平行光である限り、照明光の方向（例えば東西南北のいずれか）だけが問題となり、その詳細な位置、例えば照明手段の光源の座標位置等は考慮する必要はない。
（照明制御手段）

照明制御手段は、三以上の照明手段を一ずつ点灯順に点灯させると共に、各照明手段を点灯させる照明タイミングにて、ワークを撮像手段で一定の方向から撮像するよう、各照明手段と撮像手段を同期させるように制御する。いいかえると照明制御手段は、照明手段による照明タイミングと、撮像手段による撮像タイミングとを同期させる。また照明制御手段が各照明手段を点灯させる点灯順は、ワークの周囲を取り囲むように配置された照明手段を、時計回り、反時計回りといった順で点灯させる他、離散的な順序、例えば一つおきや交差するような順としてもよい。どのような順であっても、各照明タイミングで撮像された部分照明画像が、どの照明方向の照明にて撮像されたものであるかを把握できれば、フォトメトリックステレオ法に基づいて法線ベクトル画像を構築できる。

なお図１の実施形態１では、照明制御手段３１は、画像処理部４１と別体として設けられているが、この構成に限られない。例えば、図１０に示す実施形態５のように、画像処理部４１と一体化されていてもよいし、あるいは図１１に示す実施形態６のように、照明手段２５に内蔵されていてもよい。
（画像処理部）

画像処理部４１は、撮像手段１１及び照明手段２１、２２、２３、２４の動作を制御するとともに、撮像手段１１から入力された４つの部分照明画像の画像信号Ｑ１〜Ｑ４を用いて、各画素における面の法線ベクトル画像（以下、「傾き画像」という。）を生成し、傾き画像のＸ方向及びＹ方向の第２次の傾き画像（以下、「輪郭抽出画像」という。）や、アルベド（albedo、反射率を意味する。）画像（以下、「テクスチャ抽出画像」ともいう。）を作成し、それらの画像を用いて、傷の検査や文字の検出等を行うための処理をする。なお、傷の検査や文字の検出等を行うための処理は、画像処理部４１で処理する構成に限らず、例えばＰＬＣ８１等の外部部機器側で実行させることもできる。

図１２は、画像処理部４１の信号処理系４２を示している。信号処理系４２は、ＣＰＵ４３、メモリ４４、ＲＯＭ４５、表示手段５１、ポインティングデバイス等の操作手段６１、撮像手段１１、照明制御手段３１、結果出力処理を実行するＰＬＣ(プログラマブル・ロジック・コントローラ)８１より構成されており、これらは、バス４６やケーブル１２、３２、５２、６２、８２を介して互いに接続されている。なお、ＲＯＭ４５は、可搬メディアであってもよい。また表示手段５１を、例えばタッチパネルとする等、操作手段６１と兼用させてもよい。

ＣＰＵ４３は、ＲＯＭ４５に格納されているプログラムに基づいて、メモリ４４、ＲＯＭ４５、表示手段５１、操作手段６１、撮像手段１１、照明制御手段３１、ＰＬＣ８１の相互間でのデータの送受を制御したり、表示手段５１、撮像手段１１、照明制御手段３１の制御を行っている。

画像処理部４１は、例えば、プログラムが格納された１台のコンピュータを想定しているが、複数のコンピュータの組み合わせにより各手段が構成されるようにしてもよいし、一部の手段を専用の回路により構成してもよい。あるいは、ＡＳＩＣのように専用設計された部材とすることもできる。
（判定手段）

画像処理部４１は上述の通り、判定手段の機能を実現する。判定手段は、得られたテクスチャ抽出画像に基づいて、傷の有無や大きさの検査を行う。例えば所定の閾値以上の場合に傷であると判定する。また、判定手段は必要に応じて輪郭抽出画像に基づいてＯＣＲを行い、認識された文字列を出力することもできる。
（基本原理）

次に、以上の画像検査装置を用いて、ワークの外観検査を行う基本原理について、従来技術である特許文献１の技術と対比しながら説明する。まず特許文献１に開示された技術の基本原理は、フォトメトリックステレオ法の原理を利用し、未知の面に対して、様々な方向から光を当てて、ワークの反射光の違いを利用してワークの形を推定しようとするものである。ワークの反射光は、照明の入射角度、照明の距離等を反映し、入射角度が９０°になるところが最も明るくなり、照明との距離が離れれば離れるほど暗くなる性質がある。

この性質を利用して、明るさと位置が既知である照明を複数個用意して、照明の点灯を順に切り替えていき、それぞれの点において、各方向の照明から照射されたときの反射光の明るさの違いを利用して表面がどちらを向いているかを推定する。具体的には、傾き画像のＸ成分Ｙ成分を、Ｘ成分の輝度に置き換えたＸ成分画像やＹ成分の輝度に置き換えたＹ成分画像を作成して検査に応用しようとするものである。

しかしながら、この方法は、照明やワークの設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまう等、ロバスト性に劣るという問題があった。例えば、実際には凸凹がないのに凸凹の画像になったり、あるいは照明に対しては通常、近くが明るく見えるところ、明るさの変化によってワークの中央が盛り上がったような画像に見えるといった、ワークの実際の形状に即した検査画像が必ずしも得られないという欠点があった。

これに対して、本実施の形態に係る画像検査技術の基本原理は、フォトメトリックステレオ法を利用して第１次の傾き画像を生成することを出発点としながらも、得られた第１次の傾き画像をＸ方向及びＹ方向に微分処理して第２次の傾き画像、すなわち、輪郭抽出画像を作成し、その画像を用いて、傷の検査等を行うものである。第２次の傾き画像は、前述の欠点が生ずるようなケースであっても、その影響が小さく、面の傾き変化の大きいところが暗くなる階調とする一方、面の傾き変化の小さいところが明るくなる階調と設定することで、ワークの表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。

また、特許文献１に開示された技術では、フォトメトリックステレオ法を利用して生成した反射率画像（テクスチャ抽出画像に相当。）は、ハレーションが起きてしまい、文字の検出等が困難な場合があった。これに対して、本実施の形態に係る画像検査技術は、基本的には、２つの照明でしか同じ箇所ではハレーションしないという基本原理を利用して、各画素において、例えば４つの画素値の内、上から３つ目の画素値を採用することで、ハレーションの影響を取り除くようにしている。

加えて、特許文献１に開示された画像処理装置は、カメラと照明用の光源を一体に構成しているが、この構成では、カメラと光源が大型化して、設置に際して大きさの制約を受けるという問題もあった。これに対して本実施の形態に係る画像検査装置では、撮像手段と照明手段を別個の部材とできるので、配置スペースを考慮したより柔軟な設置が可能となって、使い勝手の面でも有利となる。
（フォトメトリックステレオ法の基本原理）

ここで、図１３Ａ〜図１３Ｄを参照しながら、フォトメトリックステレオ法の基本原理について説明する。まず、図１３Ａに示すように、未知の拡散反射面Ｓ、及び明るさと位置が既知の複数の照明（この例では第一照明手段Ｌ１と第二照明手段Ｌ２の２個）がある場合を想定する。例えば図１３Ｂに示すように、第一照明手段Ｌ１から光を照射すると、拡散反射面Ｓの表面における拡散反射光は、（１）照明の明るさ（既知）、（２）照明の向き（既知）、（３）ワークＷＫの表面の向き（法線ベクトルｎ）、（４）ワークＷＫの表面のアルベドのパラメータのみで決定される。

そこで、図１３Ｂ及び図１３Ｃに示すように、複数の異なる照明方向、具体的には三以上の照明方向から照明光が投光されたときの拡散反射光からなる部分照明画像を、それぞれ撮像手段で撮影する。そして図１３Ｄに示すように、３以上の部分照明画像を入力画像とすることで、未知である（３）ワークＷＫ表面の向き（法線ベクトルｎ）、（４）ワークＷＫ表面のアルベドを、以下の関係式に基づいて算出できる。
Ｉ＝ρＬＳｎ

上式において、
ρ：アルベド
Ｌ：照明の明るさ
Ｓ：照明方向行列
ｎ：表面の法線ベクトル
Ｉ：画像の階調値

上式から、照明手段が３つの場合、次式で表すことができる。

また照明手段が４つの場合は、次式で表すことができる。

（法線ベクトルｎ）

上式より、法線ベクトルｎは、次式で表現できる。
ｎ＝１／ρＬ・Ｓ⁺Ｉ

上式において、
Ｓ⁺：正方行列であれば、普通の逆行列
Ｓ⁺：縦長行列の逆行列は以下の式で表現されるムーアペンローズの擬似逆行列
Ｓ⁺＝（Ｓ^tＳ）^-1Ｓ^t
で求める。
（アルベド）

さらにアルベドρは、次式で表現できる。
ρ＝｜Ｉ｜／｜ＬＳｎ｜
（２−２．輪郭抽出画像）

次に、フォトメトリックステレオ法で傾き画像を生成すると共に、得られた傾き画像から、傷や輪郭等のワークの表面情報を得る方法について説明する。
（傾き画像）

まず、傾き画像の生成方法について説明する。ワークの曲面をＳとするとき、傾き画像は次式で与えられる。
ｘ方向：δｓ／δｘ、ｙ方向：δｓ／δｙ

ここで傾き画像の例として、ワークとして一円玉を用いた例を図１４Ａ、図１４Ｂに示す。図１４Ａは、法線方向のＹ座標成分画像、図１４Ｂは法線方向のＸ座標成分画像である。ここでは、４つの照明方向から撮像した部分照明画像を用いて、Ｙ方向（図において垂直方向）に微分することで図１４Ａに示す傾き画像を、またＸ方向（図において水平方向）に微分することで図１４Ｂに示す傾き画像を図１４Ｂを、それぞれ得ている。

ここで、傷や輪郭等はワーク表面の傾きが変化する箇所なので、傾き画像をそれぞれの方向に微分する。第２次の傾き画像は、次式で与えられる。
ｘ方向：δ²ｓ／δｘ²、ｙ方向：δ²ｓ／δｙ²
（輪郭抽出画像）

以上から、ｘ方向、ｙ方向の傾き画像の部分δ²ｓ／δｘ²、δ²ｓ／δｙ²を合成して、ワークの輪郭や傷情報を含む輪郭抽出画像を生成する。輪郭抽出画像Ｅは、次式で与えられる。
Ｅ＝δ²ｓ／δｘ²＋δ²ｓ／δｙ²

上式において、Ｅは輪郭情報、Ｓはワークの曲面をそれぞれ示している。図１４Ａ、図１４Ｂから演算された輪郭抽出画像の例を、図１４Ｃに示す。輪郭抽出画像は、高い部分が白色、低い部分が黒色となるように、画像の濃淡（輝度）で高さを表現している。
（微分合成方法）

以上のような輪郭抽出画像の生成に際して行われる微分合成方法としては、（１）単純加算、（２）多重解像度、（３）二乗和等が挙げられる。
（１：単純加算）

ここで（１）の単純加算は、各画素におけるＸ，Ｙ傾き画像の微分の和である。
（２：多重解像度）

また（２）の多重解像度は、傾き画像を異なる縮小率で縮小した縮小傾き画像を複数作成し、それぞれの縮小傾き画像において、（１）の方法で輪郭の強さを求める。縮小率は、例えば１／１、１／２、１／４、１／８、１／１６、１／３２等とする。このようにして得られた複数の縮小輪郭画像に対して、所定の重み付けを行い、拡大処理を行い、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とする。ここで重み付けを変更すれば、任意の太さの傷や輪郭等を抽出することが可能となる。
（３：二乗和）

さらに（３）の二乗和では、Ｘ，Ｙ傾き画像の微分の二乗の和を輪郭の強さとする輪郭抽出画像を作成する。なお、本実施形態においては、（２）の多重解像度を採用している。

如何なる大きさを傷として判断するかは、ユーザの用途によって異なる。例えば、１０ピクセルに跨がったものを傷として判断する場合もあれば、１００ピクセルに跨がっている凹んだものを傷として判断する場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。

傾き画像の画素数が大きいと処理上は大きな傷となるため、大きな傷を抽出したければ、傾き画像を縮小してから（１）の方法で輪郭の強さを求めてから拡大する。一方、小さな傷を抽出したければ、重み付けをせずに（１）の方法で微分合成をすればよい。

すなわち、重み付けは、合成するときに予め決められた重みのセットを用意しておき、縮小傾き画像を上記の全種類作成し、大きい傷を見たければ、より縮小した画像からの結果を重くし、小さい傷を見たければ、縮小を弱めた画像からの結果を重くする。

ここで、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とするのは、傷は、通常、複数の周波数に跨がって検出されるため、例えば一つの周波数に限定すると、その限定した周波数で検出される傷だけを抽出してしまい、全体的にぼやけてしまうからである。
（特徴サイズ）

前述した重みのセットは、例えば、特徴サイズというパラメータを設けて、この値が１のときに一番細かい傷が検出でき、この値を上げていくと大きな傷が検出できるようにする。特徴サイズを大きくしていき、より大きな傷が検出し易い状態になったとき、ワーク表面の凸凹がより明瞭となる。そこで、特徴サイズに所定の閾値を設けて、その閾値以上になった場合を凹凸モードとして、輪郭抽出画像の特徴サイズによって、輪郭抽出モードと使い分けるようにしてもよい。

次に、δ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法について説明する。この計算方法としては、（１）前進差分や、（２）中央差分等が挙げられる。
（１：前進差分）

前進差分においては、水平方向の傾き画像Ｇｈ、垂直方向の傾き画像Ｇｖを入力として、輪郭画像Ｅの座標（ｘ、ｙ）における画素Ｇ（ｘ，ｙ）を、次式で計算する。

Ｅ（ｘ，ｙ）＝Ｇｈ（ｘ−１，ｙ）−Ｇｈ（ｘ，ｙ）＋Ｇｖ（ｘ，ｙ−１）−Ｇｖ（ｘ，ｙ）

ここで、輪郭画像に表れる傷の情報を、模式的なプロファイルとして図１５Ａ〜図１５Ｄに示す。これらの図において、図１５Ａはワークの表面情報、図１５Ｂは傾き画像、図１５Ｃは前身差分による輪郭画像、図１５Ｄは中央差分による輪郭画像のプロファイルを、それぞれ示している。（１）の前進差分では、図１５Ａ、図１５Ｃに示すように、１ピクセル単位の傷が明瞭に見えるというメリットがある。一方で、元画像に対して０．５ピクセルずれた画像が得られてしまうというデメリットもある。
（２：中央差分）

次に中央差分によるδ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法について説明する。水平方向の傾き画像Ｇｈ、垂直方向の傾き画像Ｇｖを入力として、輪郭画像Ｅの座標（ｘ、ｙ）における画素Ｇ（ｘ，ｙ）を、次式で計算する。

Ｅ（ｘ，ｙ）＝Ｇｈ（ｘ−１，ｙ）−Ｇｈ（ｘ＋１，ｙ）＋Ｇｖ（ｘ，ｙ−１）−Ｇｖ（ｘ，ｙ＋１）

（２）の中央差分は、図１５Ａ、図１５Ｄに示すように、座標が元画像とずれないメリットがある一方で、結果が少しぼけてしまうというデメリットもある。
（２−３．テクスチャ抽出画像）

次に、フォトメトリックステレオ法で得られた傾き画像から、ワークの表面状態を除去して、文字の検出等に好適なテクスチャ抽出画像を得る方法について説明する。まず、テクスチャ情報は、ワークの表面のアルベドρから計算する。アルベドρは、次式で与えられる。

ρ＝｜Ｉ｜／｜ＬＳｎ｜

上式において、
ρ：アルベド
Ｌ：照明の明るさ
Ｓ：照明方向行列
ｎ：表面の法線ベクトル
Ｉ：画像の階調値

なお上記ρ＝｜Ｉ｜／｜ＬＳｎ｜の式でテクスチャ抽出画像（アルベド）を１枚求めることができるが、この式で得られた法線ベクトルとＮ枚の入力画像（部分照明画像）から、テクスチャ抽出画像（アルベド）をＮ枚求めてこれを合成し、一枚のテクスチャ抽出画像（アルベド）を求めることもできる。具体的な合成の方法としては平均法、ハレーション除去法等が挙げられる。

図１６Ａ〜図１６Ｃに、テクスチャ出画像の例を示す。これらの図において、図１６Ａは入力画像である４枚のテクスチャ抽出画像を示しており、図１６Ｂはこれらに対して平均法を適用したテクスチャ抽出画像、図１６Ｃはハレーション除去法を適用したテクスチャ抽出画像を、それぞれ示している。
（１：平均法）

平均法は、画素毎にＮ個のρの平均値をその画素における画素値とするものである。図１６Ｂに示すように、全体の陰影は消えているものの、入力画像中でハレーションが生じている部分は、フォトメトリックステレオ法で消せないため、ハレーションの影響が残った画像となる。すなわち図１６Ａの４つの入力画像（部分照明画像）の内、白くなっている箇所がハレーションを起こしている箇所であり、平均法によって平均化すると、図１６Ｂに示すように、ある程度凸凹が取れて、読み易くはなるものの、若干下地に凸凹が残ってしまう。
（２：ハレーション除去法）

撮像手段であるカメラのダイナミックレンジの制限やワーク表面の反射性の多様性のため、上記ρ＝｜Ｉ｜／｜ＬＳｎ｜の式そのものがその適応範囲を超えているため、ρに誤差が含まれる。この誤差を補正するために、ハレーション除去法が利用できる。

ハレーションが起きる箇所は照明の位置で決まるため、基本的には、４つの部分照明画像において、同じ箇所ではハレーションは起きないと考えられる。厳密にいえば、２つの方向の間ではハレーションが２カ所に跨がってしまうことがあるものの、基本的には、２つの照明でしか同じ箇所ではハレーションは生じないと言える。

ハレーション除去法では、Ｎ枚の部分照明画像から計算した照明方向別テクスチャ抽出画像を合成する際に、各画素において一番画素値が高い部分照明画像、又は一番目〜Ｎ番目に画素値が高い部分照明画像はハレーションが多いと考えて、それらを除去した上で合成を行う。

具体的には、本実施形態において４つの照明方向別テクスチャ抽出画像の各画素について、３番目に大きい画素値（例えばアルベドの値や輝度）を採用して合成すると、図１６Ｃの画像のようになり、ハレーションの影響を除去することができる。なお４番目に大きい画素値を採用すると、影の影響が生じるため若干暗い画像となる。逆に２番目に大きい画素値を採用すると、ハレーションの影響が若干残ってしまう。

また照明手段が８方向の場合は、５番目以降の画素値にはハレーションの影響は発生しないと仮定して、上から５番目の画素値を採用している。実際、発明者が行った試験によれば、５番目の画素値を採用すると、画像が最も良くなることが確認された。また６番目以降の画素値を採用すると影の影響が出てくることも判明した。

なお、合成の方法や平均の取り方は、これらに限定されず、種々の方法が利用できる。例えば、上述したハレーション除去法と平均法とを組み合わせて、アルベドの値をソートして、上から特定の順番の値を採用し、例えば３番目と４番目とを平均化してもよい。
（特徴サイズ）

次に、設定の詳細について説明する。上述の通り、輪郭抽出画像を作成する際に、特徴サイズを設定できる。輪郭抽出画像は、特徴サイズを所定値以上にすることで、ＯＣＲに適した画像とできる。
（３−２．ゲイン）

輪郭抽出画像やテクスチャ抽出画像を作成する際には、これらの画像の生成過程において元の画像の画素値に対してゲインを乗算することができる。

輪郭抽出画像を作成するときのゲインは、計算処理で算出された画素値を、０〜２５５の濃淡に分散させるときの定数をいう。例えば、傷や輪郭等が浅すぎて、傷や輪郭等を把握し難いときにこのゲインの値を上げることによって、画素値の濃淡変化が大きくなるため、傷や輪郭等が把握し易くなる。

また、計算処理で算出された画素値が、０〜２５５の範囲を超えていれば、その間に収まるようにし、小さければ、０〜２５５の範囲に広げるように調節することで、傷や輪郭等が把握し易くなる。

上述したハレーション除去法では、アルベドの値をソートして上から例えば３番目を採用するため、生成した画像の明るさが予測できない。このため、正反射が取り除かれた結果、予測に反して暗くなることがある。そこで、明るさを調節するために、テクスチャ抽出画像を作成する際には所定のゲインを、画素値に掛ける。

なお、傾き画像の計算に際しても、画素値が０〜２５５の範囲に収まるように、同様にゲインで調節することもできる。
（３−３．ノイズ除去フィルタ）

傾き画像の作成等に際しては、複数枚の画像を使って連立方程式で計算するところ、実際には差分的な計算をすることになる。この際、撮像手段で撮像した画像データは、生データの時点でノイズが存在しているため、傾き画像を作成する際に、ノイズ成分が強調され、輪郭がざらざらすることがある。このようなノイズを軽減するために、ガイデットフィルタ（Guided Filter）等のノイズ除去フィルタを利用する。一般的なローパスフィルタでは、ノイズのみならず傷の情報もなまったり消えたりしてしまうことがあるが、ガイデットフィルタであれば、傾き画像を求める際にガイデッドフィルタを適用することで、エッジを維持したままノイズを除去でき、好適である。
（３−４．アングルノイズ低減）

次に、アングルノイズ低減の原理を、図１７の模式図に基づいて説明する。この図に示すように、入射角がα，βという２つ照明があり、ワークＷＫが拡散反射面からなると仮定して、ワークＷＫの基準面に対する傾きをγ、基準面に垂直な向きからの角度をθ、照明αからの反射光の明るさをＩ_α、照明βからの反射光の明るさをＩ_βとしたとき、γは次式で与えられる。

γ＝ａｒｃｔａｎ（Ａ・｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜）、Ａ＝ｃｏｔθ

アングルノイズ低減は、｜Ｉ_β＋Ｉ_α｜がある程度小さいときに、強制的に傾きγを０とするものである。

仮に、Ｉ_βもＩ_αも極めて暗く、例えば、Ｉ_β＝２、Ｉ_α＝１だとすると、｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜＝１／３という大きな値となる。一方、Ｉ_βもＩ_αも明るく、例えば、Ｉ_β＝３００、Ｉ_α＝２００だとすると、｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜＝１／５という小さな値となる。Ｉ_β＝２、Ｉ_α＝１というのは、単にノイズという可能性があるにも拘わらず、傾きに大きく反映されてしまうため、そのノイズの影響を軽減するために、アングルノイズ低減があり、強制的に傾きを０とする｜Ｉ_β＋Ｉ_α｜の閾値を設定できるようになっている。
（照明手段と撮像手段との分離型構造）

フォトメトリックステレオ法を利用した画像検査においては、照明手段と撮像手段との対応位置を予め厳格に規定しておく必要がある。このため、従来の画像検査装置では、照明手段と撮像手段を一体に構成していた。いいかえると、フォトメトリックステレオ法では、撮像手段と照明手段の相対位置を厳密に位置決めした上で正確な三次元計測を行う計測手法であることから、元来、照明手段と撮像手段の設置に際して設置位置の自由度を与えるということは従来行われていなかった。しかしながら、照明手段と撮像手段とを予め固定する構成では、これらの部材が一体化された撮像照明ユニットが必然的に大型化するため、取り回しが悪くなる。

例えば検査位置に障害物が存在すると、撮像照明ユニットと干渉して、設置できない事態が生じ得る。特に、撮像手段の一形態であるカメラに装着するレンズには、例えばラインカメラやズームレンズ、大型のマクロレンズのように、大きなサイズのものがある。このような大型のレンズを撮像手段に装着する等、撮像手段が長大化するほど、図１８において矢印で示すように、ワークＷＫの周囲に存在する障害物ＯＳとカメラｅ１又はその周囲に配置された照明用の光源ｅ２１〜ｅ２４と干渉するリスクが高くなる。さらに撮像手段であるカメラｅ１が長大化すると、図１９に示すようにカメラｅ１やレンズの一部で照明光が部分的に遮られて、ワークＷＫに影を落とす等、照明に支障を来すことも考えられる。このような事態を回避するために、撮像照明ユニットを障害物と干渉しない位置まで遠ざけて配置しようとすれば、照明手段とワークとの距離（ライトワーキングディスタンス（Light Working Distance：ＬＷＤ））が遠くなることから、照明光の光量が減少して、検査精度の低下に繋がる。

これに対して、撮像手段と照明手段を分離することができれば、障害物と干渉しない位置に配置しやすくなる。例えば上述した図１８に示す障害物ＯＳが存在する場合でも、第一照明手段２１〜第四照明手段２４を撮像手段１１から離間させることで、図２０に示すように、干渉しない位置に第一照明手段２１〜第四照明手段２４を設置することが可能となる。同様に、撮像手段に大型のレンズを装着する場合でも、レンズ１２と第一照明手段２１〜第四照明手段２４との物理的干渉を回避するように調整可能である。このように、第一照明手段２１〜第四照明手段２４と撮像手段１１とを分離型とすることで、障害物と干渉しない位置に調整する等、設置の自由度を高め、様々な環境でワークＷＫを検査することが可能となる。

また撮像手段が照明光を遮らないように、照明手段の取り付け位置等を調整することも可能となる。同様に、ハレーションや影の影響を抑制するように照明手段の配置位置を調整することも可能となる。特にフォトメトリックステレオ法では、ワークの表面が拡散反射面であることを前提にしているため、一般に、実際のワークの面とフォトメトリックステレオ法によって得られた傾き画像における面の法線ベクトルはズレてしまう。そこで、二階微分処理を行う等の対策が取られているが、このような方策に加え、照明手段を設置する際に、ハレーションを回避できる姿勢に調整することで、このようなズレを少なくすることができる。また、鏡面と同様に、明るさが変化してしまうような大きな凸凹では、ハレーションが悪影響を及ぼすようになる。例えば、ワークが円筒型の場合は、照明光を照射すると鏡面反射が生じるが、ここで凸凹が存在すると、鏡面反射の影響を少なからず受けるようになる。よって、照明光の設置位置や角度に自由度を与えることは、このような鏡面反射を低減するように予め調整することを可能にし、ひいては検査精度の向上に繋がる利点が得られる。

さらにフォトメトリックステレオ法では、影の影響を考慮する必要がある。フォトメトリックステレオ法は、照明の反射光から法線ベクトルを算出するため、反射光の検出が必須となる。しかし、例えばワークが複雑な形状で陰影が着き易いような場合に、このワークの近傍に照明手段を設置すると、光が届かない箇所からは適切な反射光が得られず、法線ベクトルの算出に支障を来すことがある。このような場合であっても、第一照明手段２１〜第四照明手段２４と撮像手段１１との分離させたことで、第一照明手段２１〜第四照明手段２４を最適な位置や角度に設置して、このような影響を抑えることができる。

加えて、照明手段を撮像手段から分離したことで、照明光の高さを変更可能となる。この結果、ワークＷＫと照明との距離ＬＷＤ（Light Working Distance）を小さくしたり、逆に大きくする検査が可能となり、ローアングルやマルチアングルの照明といった、検査用途に応じた適切な配置を選択できるようになる。
（１：ＬＷＤを小さく取った場合）

ＬＷＤを小さく取ると、図２１Ａに示すように、第一照明手段２１〜第四照明手段２４からの光が横方向から多く当たることになる。一般にハレーションが発生するのは、入射角と反射角が同じ場合であるから、第一照明手段２１〜第四照明手段２４とワークＷＫとを接近させてＬＷＤを小さくすることで、ハレーションの発生する位置を、ワークＷＫの外側近傍とすることができる。言い換えると、ワークＷＫの外側で意図的にハレーションを発生し易くして、ワークＷＫの表面近傍でのハレーションを抑制できる。これにより、ワークＷＫの有効視野を増加させることができる。

また、ＬＷＤが小さい場合は、ローアングルでの照明となる。例えば上方からの直接照明では光が拡散して認識が困難なワーク表面上の凹凸でも、斜め側面から照射することで、小さい傾きの変化でもコントラストを大きく変化させて、浅い凸凹の変化を捉え易くできる。このようにローアングルでコントラストを強調することにより、フォトメトリックステレオ法において傾き画像や輪郭抽出画像をより鮮明にできる利点が得られる。

一方で、ＬＷＤを小さく取った場合のデメリットとしては、浅い角度で照明光を照射することにより、影が生じ易くなるため、有効視野が減少し、フォトメトリックステレオ処理が困難となることがある。また、第一照明手段２１〜第四照明手段２４とワークＷＫが干渉し易くなるため、高さの大きいワークＷＫに対しては利用が制限されることがある。
（２：ＬＷＤを大きく取った場合）

逆にＬＷＤを大きく取ると、図２１Ｂに示すように、第一照明手段２１〜第四照明手段２４からの照明光が上方向から多く照射されることになる。これによって影が生じ難くなるので、見えない領域が減少し、フォトメトリックステレオ処理の精度が向上する。また、第一照明手段２１〜第四照明手段２４とワークＷＫが干渉し難くなるため、高さの大きいワークＷＫに対しても好適に利用できる。

一方で、ハレーションの発生する位置がワークＷＫの内側となるので、有効視野が減少してしまうことがある。またＬＷＤを大きい場合は、マルチアングル方式の照明においてＬＷＤが遠い場合に相当し、コントラストが出難いため、ワーク表面の浅い凸凹の変化を捉え難いこともある。一方で、マルチアングル方式の照明により、ＬＷＤが遠い場合には、第一照明手段２１〜第四照明手段２４の写り込みや照度ムラの少ない均一な撮像状態を作り出し、ワークＷＫそのものの表面状態を明確に捉えた画像を得ることができる。

このように、撮像手段と照明手段を分離したことで、様々な目的や用途の検査に対応でき、また配置の自由度を高められるといった利点が得られる。その一方で、照明手段と撮像手段とを別体に構成してフォトメトリックステレオ法で画像検査を行う場合は、照明手段と撮像手段との相対的な位置関係を明確に設定する必要がある。すなわち、フォトメトリックステレオ法においては照明方向が既知であることを前提として実行される。もし、フォトメトリックステレオ法用に設定された仮想照明方向と、実際の照明方向とが異なる場合は、検査精度が低下したり、誤った結果が出力されてしまう虞がある。

ここで、照明方向を調整する方法としては、図２２、図２３に示すように、物理的に照明手段の位置を修正する方法と、現在の照明手段の位置、すなわち照明方向で、フォトメトリックステレオ法を実行するように、画像処理側で照明方向を実際に設置された照明手段のそれと一致させるように調整する方法が挙げられる。

前者の方法は、例えば図２３に示すように、リング状に一体化した照明ユニットが発する各照明光の方向と、撮像手段の回転角度を一致させるように、相対的な回転位置を調整する作業が必要となり、非常に手間がかかる。また図２２に示すように、各照明手段を分離して、独立して任意の位置に配置可能とした構成においては、上述した撮像手段との相対的な回転角度に加えて、照明手段同士の取り違えも起こるため、さらに調整作業が複雑化する。

これに対し後者の方法は、物理的な照明手段の角度や位置調整といった面倒な作業を行うことなく、ソフトウェア側で対応できるため、簡単で利便性に優れる。そこで本実施の形態においては、このような照明方向の調整を、照明方向推定手段４１ｇを用いて行う手順を説明する。
（照明方向推定手段４１ｇ）

照明方向推定手段４１ｇは、主として、画像処理部４１により構成され、ソフトウェアによって処理がなされる。ここでは、（１）天頂角及び方位角のそれぞれがずれた場合の影響、（２）照明方向が検出できる原理、（３）ソフトウェアによる処理の観点から説明する。
（１）天頂角及び方位角のそれぞれがずれた場合の影響

まず、天頂角及び方位角のそれぞれがずれた場合の影響について説明する。ここで、天頂角とは、図２４Ａの模式側面図に示すように、撮像手段１１からワークＷＫへのベクトルと第一照明手段２１〜第四照明手段２４のそれぞれからワークＷＫへのベクトルとがなす角である。また方位角とは、図２４Ｂの模式平面図に示すように、画像の基準方向（図２４Ｂの例では上方向）を示すベクトルと、撮像手段１１から第一照明手段２１〜第四照明手段２４のそれぞれへのべクトルとがなす角である。なお図２４Ｂにおいては、説明の都合上第一照明手段２１のみを図示し、他の照明手段２２〜２４の図示を省略している。

フォトメトリックステレオ法では、照明方向が正確に判明していること、すなわち照明方向を規定する天頂角と方位角とが既知であることを大前提として、処理が行われる。この場合において、ユーザが設置した各照明手段の位置すなわち実際の照明方向と、フォトメトリックステレオ法による処理において想定されている照明の位置、すなわち前提とした仮定照明方向とが異なった場合に、問題となる。

フォトメトリックステレオ法用に設定された仮想天頂角と実際の天頂角との相違は、理論上、撮像手段１１と第一照明手段２１〜第四照明手段２４の垂直方向との相対的な位置の違いを意味する。ここで、天頂角、方位角がずれた場合の影響を説明するため、図２５Ａ〜図２５Ｄの輪郭抽出画像に基づいて説明する。これらの図において、図２５Ａは仮定照明方向（天頂角及び方位角）と一致するように配置された照明方向で得られた、正しい輪郭抽出画像、図２５Ｂは誤った天頂角と正しい方位角で得られた輪郭抽出画像、図２５Ｃは正しい天頂角と誤った方位角（全体が４５°回転してずれた場合）で得られた輪郭抽出画像、図２５Ｄは正しい天頂角と誤った方位角（照明手段が入れ替わったシャッフル状態）で得られた輪郭抽出画像を、それぞれ示している。

図２５Ａと図２５Ｂから明らかなとおり、天頂角の変化は、輪郭抽出画像の凸凹が例えば２倍になったり、１／２になったりというように、コントラストが比例するという態様で表れる。この場合、正確な高さ情報を厳密に測定したい用途では問題となるものの、高さの絶対値（数値）でなく形状変化のみを把握したい用途では、さほど問題とならない。このことから、フォトメトリックステレオ法を画像検査に利用する用途において、天頂角の相違が検査対象の傷や印字等の検出精度に与える影響は、それほど大きくないといえる。

一方で、仮想方位角と実際の方位角との相違は、例えば図２５Ａ、図２５Ｃ、図２５Ｄに示すように、形状抽出性能が劣化する態様で表出してしまう。このため、フォトメトリックステレオ法を画像検査に利用する場合には、方位角が相違してしまうと、検査対象である傷や印字等の検出精度に与える影響は大きいといえる。
（２）照明方向を検出する原理
（２−１）ワークＷＫの形状が未知である場合

照明手段と撮像手段とは、相互の位置関係に物理的制約を様々に設けた状態で設置することが考えられる。例えば、各照明手段をリング状に配置したリング照明を設置する場合や、同じ角度巾で各照明手段を設置する場合、画像検査装置側で仮定照明方向と整合するように、例えば接続すべき照明手段と照明制御手段の照明接続コネクタとに共通のマークを設ける等して、各照明手段を取り違えることなく正確に設置する場合等が想定される。

また照明手段と撮像手段との物理的制約の下では、照明手段の配置の間違え方は有限となる場合がある。例えば、４つの第一照明手段２１〜第四照明手段２４が９０°間隔で同一円周上に配されており、これら４つの照明手段の平面視における中心に、ワークＷＫと撮像手段１１とを配置させるという制約（条件）を考える。まず、一の照明手段を固定する場合、残りの３つの照明手段の配置の仕方は、₃Ｐ₃＝６通りある。そして、固定すると考える照明が４つ、すなわち照明の決め方が４通りあり、この内正解の設置の仕方が１通りあるから、結局、間違え方の数は６×４−１＝２３通りあることにある。

この考え方を一般化して、平面視で撮像手段を中心とした同一円周上に３６０°／ｎの角度巾でｎ個の照明手段を配置する場合を考える。一の照明手段を固定すると、残りの照明手段の配置の仕方は_n-1Ｐ_n-1通りある。また固定すると考える照明手段を、角度巾θずつ回転してずらす配置の仕方は、３６０°／θ通りある。

したがって、仮に固定すると考えた照明手段が、角度θずつずれた方位角である、０°、θ、２θ、・・・、（３６０°−２θ）／θ、（３６０°−θ）／θの何れかの位置の同一円周上に配置されており、残りのｎ−１個の照明手段が３６０°／ｎの角度巾で配置されているという物理的制約があった場合、_n-1Ｐ_n-1×３６０°／θ通りの照明配置の組み合わせの中に仮定照明方向と整合する照明配置があり、_n-1Ｐ_n-1×３６０°／θ−１通りは仮定照明方向と整合しない照明配置ということになる。

例えば、照明手段それぞれの実際の方位角については未知であるが、平面視で撮像手段を中心とした同一円周上に３６０°／ｎの角度巾でｎ個の照明手段が配置されるという物理的制約があった場合（以下、「ケース１」という。）、角度θを限りなく小さくしていけば、上記_n-1Ｐ_n-1×３６０°／θ通りの組み合わせの中に、仮定照明方向の方位角に完全に整合する照明配置が理論上見つかるはずである。

仮定照明方向の方位角に完全に整合する照明配置が見つかれば、照明方向が検出できることになるが、その方法はいくつか考えられる。

例えば、ケース１において、各照明方向から照明して撮像したｎ通りの画像から、その照明方向を仮定して、フォトメトリックステレオ法に従い上記_n-1Ｐ_n-1×３６０°／θ通りの法線ベクトル画像又は輪郭抽出画像を評価関数にかけるソース画像ＳＰとして生成し、評価関数によって、最も上位と評価されるソース画像ＳＰを選択し、該ソース画像ＳＰにおける天頂角及び方位角の変数値を実際の照明方向として検出する。
（照明方向の回転）

まず、照明手段として、図２６の模式平面図に示すように、複数の照明手段を一体化した照明ユニット（ここではリング照明）を用いた場合に、照明方向を特定する方法、いいかえると照明ユニットの回転角度を特定する方法について説明する。図２６の例では、照明ユニットを、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４を、ワークを中心に平面視０°、９０°、１８０°、２７０°の位置にそれぞれ配置している。これらの照明手段は、撮像手段の光軸を中心とした仮想回転面上に実際の照明方向を有している。このようにして画定される実際の照明方向ＡＬに対して、仮定照明方向ＩＬを、０°の位置から時計回りに４５°の角度巾で回転させて、各照明方向における輪郭抽出画像（ソース画像ＳＰ）を生成した例を、図２７Ａ〜図２７Ｈに示す。これらの図において、図２７Ａは、仮定照明方向と整合するように実際の照明方向を一致させた、いいかえると仮定照明方向と実際の照明方向との差が０°の輪郭抽出画像、図２７Ｂは差が４５°、図２７Ｃは９０°、図２７Ｄは１３５°、図２７Ｅは１８０°、図２７Ｆは２２５°、図２７Ｇは２７０°、図２７Ｈは３１５°において、それぞれ生成したソース画像ＳＰ（輪郭抽出画像）を示している。例えば仮定照明方向が１８０°回転してずれると、図２７Ｅに示すように、得られた輪郭抽出画像の凸凹が真逆になる。また図２７Ｃの９０°や図２７Ｇの２７０°のようにずれると、輪郭が極めて不明確となる。さらに図２７Ｂの４５°、図２７Ｄの１３５°、図２７Ｆの２２５°、図２７Ｈの３１５°では、輪郭が鈍ったような様相を呈している。
（照明手段のシャッフル）

以上は、複数の照明手段が一体化された照明ユニットを用いた場合に、照明ユニットの回転角度に対応させる例を説明した。この場合は、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４が照明ユニットに固定されているため、各照明手段が入れ替わる事態は考慮する必要がない。一方で、図２８に示すように、各照明手段を個別に構成する場合は、さらに照明手段の入れ替わり（本明細書においては「シャッフル」と呼ぶ。）も考慮する必要がある。図２８では説明のため、いずれか一の照明手段（ここでは第三照明手段２３）を固定し、他の照明手段（第一照明手段２１、第二照明手段２２、第三照明手段２３）を任意に入れ替える状態を示している。以下では、このような照明手段が入れ替わったシャッフル状態において、各照明手段を特定する手順について説明する。

ここで、図２８のように、照明手段のシャッフル状態によって輪郭抽出画像が変化する様子を、図２９Ａ〜図２９Ｆに示す。これらの図において、図２９Ａは、仮定照明方向と整合する照明方向による正しい輪郭抽出画像（ソース画像ＳＰ）であり、また図２９Ｂ〜図２９Ｆは、第一照明手段２１、第二照明手段２２、第三照明手段２３をシャッフルしたすべての組み合わせ（３×２×１＝６通り）において生成したソース画像ＳＰ（輪郭抽出画像）を、それぞれ示している。

図２７及び図２９が示すように、正しい輪郭抽出画像である図２７Ａ及び図２９Ａでは濃淡差が付いている。これに対して、照明方向が仮定照明方向と整合しない場合には、図２７Ｂ〜図２７Ｈや図２９Ｂ〜図２９Ｆが示すように、輪郭が滑らかになったり、不明確となったりする。一方で、検査対象のワークの形状としては、凹状となるものは少なく、凸状の形状が一般的と考えられる。また凸状の形状のワークでは、フォトメトリックステレオ法の正しいパラメータを選択した場合に、最も全体の凸が大きく表示された画像が得られている。このことから、凸度の平均を評価値として、照明方向の角度（回転角）と、シャッフルについて最大値を示すパラメータを探索する。例えば高さの平均を得る関数を評価関数とすれば、濃淡差として表出する凸凹の凸成分が最も多くなる場合に、この関数値が最も大きくなる。これを利用することで、このとき得られたソース画像ＳＰにおける天頂角及び方位角の値を、実際の照明方向として検出できる。

なお評価関数は、高さの平均値とする構成に限らず、例えば平均値の二乗等、他の関数を適宜利用できる。また、得られた高さの平均等の評価値の、最大値を絞り込むための方法も、特に限定されるものでなく、例えば、刻み幅探索、２分探索、黄金分割探索、最急降下法等が適宜利用できる。

次に、様々な形状のワークに対して、図２６に示すように仮定照明方向ＩＬを回転をさせて得たソース画像ＳＰから、画像全体での高さの平均を求め、回転角度毎にプロットしたグラフを、図３０に示す。ここではワークとして、ハードディスク、ピンセット、一円玉、基板、フック、天頂角を傾けたフック、平板、電卓、目薬、ＳＤカード、コンソールを用いた。結果として、いずれのワークにおいても、回転角度が０°（３６０°）付近で、高さの平均値の最も大きい画像が得られている。ここで０°（３６０°）は仮定照明方向ＩＬが実際の照明方向ＡＬと重なる位置、すなわち正しい照明方向である。よって、高さ平均値が最大となる回転角度を求めれば、この位置を推定照明方向として扱えることが確認できた。特に、様々な形状のワークにおいても、全体的に凸な形状であれば、一のピークを有する傾向が確認できた。また凸成分が多い程、推定照明方向の算出に好適であることが判る。

また、図２８に示すように撮像手段をシャッフルしたすべての組み合わせ（オリジナルを含む６通りの組み合わせ）に対して得たソース画像ＳＰから、同様に画像全体での高さの平均を求め、回転角度毎にプロットしたグラフを、図３１に示す。この図においても、回転角度が０°（３６０°）付近で、高さの平均値の最も大きい画像が得られている。すなわち、高さ平均値の最大となる回転角度を算出すれば、この位置を推定照明方向として扱えることが確認できた。

以上から、撮像手段や照明方向の設置における実験誤差を考慮すると、高さの平均値を評価関数とすることで、この関数値が最大となる時点のソース画像ＳＰにおける天頂角及び方位角の値を推定照明方向とすることで、実際の照明方向を検出できる。

ここで、照明手段と撮像手段との物理的制約には様々な形態が考えられる。例えば、等間隔に配置した照明手段と撮像手段とを完全に一体型とする例や、照明手段は一体で、撮像手段と分離させつつ、撮像手段の周囲に対して任意の回転角度で配置する例、あるいは各照明手段を独立して配置可能な自由照明の例がある。また、このような物理的制約に応じて、照明手段の設置の間違え方にも様々なバリエーションが考えられる。例えば、図２６に示す回転方向の誤りや、図２８に示すシャッフルすなわち照明手段の取り違えに加え、図３２に示すような十字軸（ｘｙ軸）からのずれ、あるいは図３３に示す天頂角非対称ずれ×２、図３４に示す天頂角対称変化×２等の態様が挙げられる。ここで、照明手段と撮像手段との物理的制約のバリエーションに対して、照明手段設置の間違え方の態様毎に、その間違えが生じる可能性を、表１に纏める。

また、このような照明手段の設置の間違え方の態様毎に、推定に失敗した場合の影響や推定に必要な拘束条件、推定に悪影響を与える因子について、表２に纏める。

（２−２）ワークＷＫの形状が既知である場合

ワークＷＫの形状が既知である場合、天頂角及び方位角を変数として算出されて生成されたソース画像ＳＰから、天頂角及び方位角に対して、上記ソース画像ＳＰにおけるワークＷＫの表面形状とソース画像ＳＰにした実際の表面形状とのズレの大きさを数値化した関数を評価関数とする。この評価関数によれば、評価関数の値が最小となるとき、実際の照明方向によるソース画像ＳＰとの整合の度合いが最大となる。したがって、この評価関数の値が最小となるときのソース画像ＳＰにおける天頂角及び方位角の変数値を実際の照明方向として検出することができる。

また、ワークＷＫが、鏡面反射成分が強い半球状のワークである場合、図３５Ａに示すように、照明手段からの光の入射角とワークからの光の反射角とが等しくなるようにハレーションが発生する。ワークＷＫの中心座標を基点とするハレーションの中心座標への方向ベクトルの大きさ及びワークＷＫの半径、並びに天頂角θの関係から、天頂角θは、以下のように求まる。

なお、以下のように、計算してもよい。

この場合の方位角は、図３５Ｂに示すように、方向ベクトルのｘｙ平面の座標から求まる。

さらに、ワークＷＫが、高さが既知のワークである場合、図３６Ａに示すように、照明光によるワークＷＫの影ができる。照明手段からの光のワークＷＫによる影の大きさ及びワークＷＫの高さ、並びに天頂角θの関係から、天頂角θは、以下のように求まる。

この場合の方位角は、図３６Ｂに示すように、影のベクトルのｘｙ平面の座標から求まる。
（３）ソフトウェアによる処理

照明方向推定手段４１ｇにおけるソフトウェアによる処理について図３７〜図３９に示すフローチャートを参照して説明する。図３７は、フォトメトリックステレオ法を利用した照明方向の検出処理の流れを示すフローチャートである。図３８は、フォトメトリックステレオ法を利用しない照明方向の検出処理の流れを示すフローチャートである。図３９は、画像検査装置１の処理の全体の流れを示すフローチャートである。
（３−１）フォトメトリックステレオ法を利用した照明方向の検出方法

まず、図３７に示すフローチャートを参照して、フォトメトリックステレオ法を利用した照明方向の検出方法から説明する。ステップＳＴ１では、画像処理部４１及び撮像手段１１は、図３９に示すフローチャートのステップＳＴ１０１〜ステップＳＴ１０５の処理を実行する。

ステップＳＴ２では、ユーザは、ワークＷＫの形状が未知であるか既知であるかに応じて、評価関数に選定するとともに、天頂角を定数にするか変数とするかの判断、及び、その値や角度巾、並びに、方位角の角度巾について、パラメータの設定を行う。

ステップＳＴ３では、画像処理部４１は、ステップＳＴ１０８における、ユーザによって輪郭抽出モードが選択された場合の処理を実行して、すべての変数値におけるソース画像ＳＰを生成する。

ワークＷＫの形状が既知である場合において、ステップＳＴ４では、画像処理部４１は、記憶手段４４に保存してあるソース画像ＳＰとした実際の表面形状情報を参照する。ワークＷＫの形状が未知である場合には、この処理は実行しない。

ステップＳＴ５では、画像処理部４１は、ステップＳＴ３によって、天頂角及び方位角を変数（場合によっては定数）として算出されて生成されたソース画像ＳＰから、天頂角及び方位角に対して、評価関数に応じて、最も上位と評価されるソース画像ＳＰを選択する。

ステップＳＴ５では、画像処理部４１は、数値解析で収束しなかった場合に、ステップＳＴ２に戻り、パラメータの再設定を行う。

ステップＳＴ６では、画像処理部４１は、ステップＳＴ５によって、評価関数に応じて、最も上位と評価されたソース画像ＳＰにおける天頂角及び方位角の変数値（場合によっては定数値）を実際の照明方向として検出する。
（３−２）フォトメトリックステレオ法を利用しない照明方向の検出方法

続いて、図３８に示すフローチャートを参照して、フォトメトリックステレオ法を利用しない照明方向の検出方法から説明する。ステップＳＴ１１では、画像処理部４１及び撮像手段１１は、図３９に示すフローチャートのステップＳＴ１０１〜ステップＳＴ１０３の処理を実行し、画像処理部４１は、ワークＷＫが撮影された４つの画像信号Ｑ１〜Ｑ４を実際の表面形状情報として記憶手段４４に保存する。

ステップＳＴ１２では、画像処理部４１は、記憶手段４４に保存してある実際の表面形状情報を参照する。

ステップＳＴ１３では、ステップＳＴ１２において参照した実際の表面形状情報から天頂角及び方位角を算出する。

ステップＳＴ１４では、画像処理部４１は、ステップＳＴ１３によって、算出された天頂角及び方位角の値を実際の照明方向として検出する。

このように、自動的に、且つ高精度に、ユーザが設置した実際の照明方向を推定することができるので、フォトメトリックステレオ法と組み合わせた場合には、照明手段と撮像手段とを別体とすることができるメリットがある。すなわち、照明手段と撮像手段とを別体にして、ユーザが照明の位置を自由に変更できるようにすると、傾き画像（法線ベクトル）は、その照明の位置に応じて変わる特性があるため、その特性を許容する画像検査装置においては、ユーザが設置した実際の照明方向を推定する照明方向推定手段の存在は極めて有用な意義を有する。
（画像検査方法）

ここで、画像検査装置１を用いてワークの外観検査を行う画像検査方法の手順を、図３９のフローチャートに基づいて説明する。

ステップＳＴ１０１では、画像処理部４１は、照明制御手段３１を介して、照明手段２１、２２、２３、２４に対してトリガ信号を発し、照明手段２１、２２、２３、２４は、トリガ信号に応じて順に１つずつ点灯する。

ステップＳＴ１０２では、撮像手段１１は、各照明手段２１、２２、２３、２４が点灯する都度作動して、ワークＷＫを撮影する。

ステップＳＴ１０３では、撮像手段１１は、ワークＷＫが撮影された４つの画像信号Ｑ１〜Ｑ４を画像処理部４１に転送する。

ステップＳＴ１０４では、画像処理部４１は、撮像手段１１から入力された４つの画像信号Ｑ１〜Ｑ４を用いて、画像信号Ｑ１〜Ｑ４毎に、各画素における面の法線ベクトルを計算する。

ステップＳＴ１０５では、画像処理部４１は、画像信号Ｑ１〜Ｑ４毎に、後段の処理で必要となる、１／１、１／２、１／４、１／８、１／１６、１／３２にそれぞれ縮小した縮小傾き画像を作成する。また、画像処理部４１は、画像信号Ｑ１〜Ｑ４毎に、後段の処理で必要となる、テクスチャ抽出画像を作成しておく。

ステップＳＴ１０６では、必要に応じて特徴サイズの調整を行う。特徴サイズを変化させることで、凹凸抽出画像において抽出される凹凸の大きさが変わる。具体的には特徴サイズを大きくすると、大きなサイズの凹凸が抽出された凹凸抽出画像が得られる。逆に特徴サイズを小さくすると、小さなサイズの凹凸が抽出される。したがってユーザは、抽出したい傷の大きさに応じて特徴サイズを調整する。あるいは、ＯＣＲ用途の場合は、特徴サイズを大きくすることで、ＯＣＲに適した凹凸抽出画像を得ることができる。

ステップＳＴ１０７では、凹凸抽出画像計算を行う。この例では画像処理部４１が、ステップＳＴ１０６で設定された特徴サイズに従って凹凸を抽出した凹凸抽出画像を生成し、これを表示手段５１に表示させる。

ステップＳＴ１１０〜１１２では、画像処理部４１又はＰＬＣ８１が、輪郭抽出画像に対して、傷検査ツールを利用して傷を検出するための傷検出処理をして、傷かどうかを判定する傷判定処理をする。

まず、ステップＳＴ１１０では、画像処理部４１又はＰＬＣ８１は、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。検査領域を設定する際には、例えば、エッジを抽出する等して、ワークＷＫの画像を抽出する。ワークＷＫが大きく位置ずれしない場合には、検査領域の設定位置を予め登録しておいてもよい。

ステップＳＴ１１１では、画像処理部４１又はＰＬＣ８１は、特定された検査領域内の傷を検出するための画像処理を施す。画像処理部４１又はＰＬＣ８１は、記憶されている算出方法により基準濃度値を算出し、画素毎に検査領域の各画素の濃度値と基準濃度値との差分を算出する。そして、画像処理部４１又はＰＬＣ８１は、設定して記憶されている閾値（傷量という閾値を決めておく。）によるラベリング処理（２値画像の白画素の固まりに、「０、１、２・・・」という札（ラベル）を貼っていく処理。）を実行し、特定された傷毎に特徴量を算出する。算出する特徴量は、例えば差分の正負に関する正負情報、差分の総和、差分の最大値、差分の平均値、又は差分の標準偏差である。

ステップＳＴ１１２では、画像処理部４１又はＰＬＣ８１は、ステップＳＴ１１１で特定された傷に対して、傷判定に用いる判定基準に基づいて傷判定処理を実行する。傷と判定された場合、表示手段５１上で、傷の箇所にマーキングをし、処理を終了する。
（変形例）

以上の例では、特徴サイズをユーザが調整可能とすることで、特徴サイズのパラメータでもってユーザが望むサイズの凹凸を抽出した凹凸抽出画像を生成する例を説明した。ただ本発明はこの構成に限らず、ユーザの観察用途や目的に応じた複数の観察モードを予め用意しておき、ユーザに観察モードを選択させることで、所望の画像を生成するように構成することもできる。このような例を図４０のフローチャートに基づいて説明する。ステップＳＴ”１〜ＳＴ”５は、上述した図３９と同様であるため、詳細説明を省略する。

ステップＳＴ”６では、観察モードをユーザに選択させる。この例では、輪郭抽出モード、テクスチャ抽出モード、凹凸モードの何れかを選択可能としている。各観察モードは、各観察用途に適した特徴サイズを予めプリセットしておく。なお、観察モードの選択後に、ユーザが手動で特徴サイズを微調整可能に構成してもよい。選択された観察モードに従って、次に移行するステップが異なる。すなわち輪郭抽出モードが選択された場合はステップＳＴ”７へ、テクスチャ抽出モードが選択された場合はステップＳＴ”８へ、凹凸モードが選択された場合はステップＳＴ”９へ、それぞれ移行する。各ステップの処理後は、ステップＳＴ”１０に移行する。このように、凹凸抽出画像生成手段と輪郭画像生成手段４１ｂとテクスチャ抽出画像生成手段４１ｃとは、切り替え可能としている。

ステップＳＴ”７では、画像処理部４１は、凹凸抽出画像計算を行う。すなわち、画像処理部４１は、凹凸抽出画像が表示される特徴サイズの輪郭抽出画像を表示手段５１に表示する。

ステップＳＴ”８では、画像処理部４１は、ユーザによって輪郭抽出モードが選択された場合の処理を実行する。すなわち、画像処理部４１は、ステップＳＴ”５において作成された縮小傾き画像に基づいて、輪郭抽出画像計算を行い、輪郭抽出画像を表示手段５１に表示する。

ステップＳＴ”９では、画像処理部４１は、ユーザによってテクスチャ抽出モードが選択された場合の処理を実行する。すなわち、画像処理部４１は、ステップＳＴ”５において作成されたテクスチャ抽出画像に基づいて、テクスチャ抽出画像計算を行い、テクスチャ抽出画像を表示手段５１に表示する。

以降のステップＳＴ”１０〜１２は、上述した図３９と同様の手順が利用でき、詳細説明を省略する。

以上の画像検査装置によれば、フォトメトリックステレオ法を利用して第１次の傾き画像を生成することを出発点としながらも、得られた第１次の傾き画像をＸ方向及びＹ方向に微分処理して第２次の傾き画像、すなわち、輪郭抽出画像を作成するようにしている。この処理によって、照明やワーク設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまい、例えば、実際には凸凹していないのに凸凹の画像になる現象、照明に対して、通常、近くが明るくなる傾向を受けて、ワークＷＫの中央が盛り上がったような画像になるといった現象等の、実物に即した検査画像が得られない、という従来のようなフォトメトリックステレオ法の欠点を少なくする事ができる。面の凹方向に傾き変化の大きいところが暗くなる階調とする一方、面の凸方向に変化の小さいところが明るくなる階調と設定することで、ワーク表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。

また輪郭画像生成手段が、算出された各画素の法線ベクトルから異なる縮小率の複数の縮小傾き画像を作成し、それぞれの縮小傾き画像において、Ｘ方向及びＹ方向に微分処理を施し、得られた縮小輪郭画像に対して、所定の縮小率の縮小輪郭画像が大きく反映されるように重み付けをして、元のサイズへ拡大してから、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とすることができる。この構成によれば、如何なる大きさを傷として判断するかは、ユーザの用途によって異なるところ、所定の縮小率の縮小輪郭画像が輪郭抽出画像に大きく反映されるように重み付けができるようにしたので、ユーザの用途に応じて、ユーザが所望する縮小率の縮小輪郭画像が強調された輪郭抽出画像が得られる。ユーザのニーズとしては、例えば、１０ピクセルに跨がったものを傷として判断したい場合もあれば、１００ピクセルに跨がっている凹んだものを傷として判断したい場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。

また傷は、通常、複数の周波数に跨がって検出されるところ、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像としているので、一つの周波数の縮小輪郭画像に限定した場合に比べて、傷や輪郭等が、全体的にぼやけることなく、クリアに検出できる。

さらに重み付けは、予め決められた重みのセットを用意しておき、縮小輪郭画像に対して、重みのセットを掛けることによって、それぞれの縮小率の縮小輪郭画像の採用比を按分することによって行うことができる。これによれば、輪郭抽出画像に合成するときに予め決められた重みのセット（特徴サイズ）がプリセットされているので、ユーザは、所望する輪郭抽出画像に瞬時に簡単に切り替えることができる。

さらにまた重みのセットは、ワークの表面の凸凹が明瞭な輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができる。この使い方を例えば凹凸モードとすることで、輪郭抽出モードと使い分けることができる。

さらにまた、重みのセットは、ＯＣＲに適した輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができるので、例えば鋳物の刻印のようなものに対して、ＯＣＲをするのに好適な画像を作成することができる。

さらにまた、照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、入力画像と同数個の各画素のアルベドを算出し、アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するようにして、輪郭画像生成手段とテクスチャ抽出画像生成手段とを切り替え可能に構成したので、本来の傷と元々ある輪郭と区別するのは通常困難であるため、傷があってはいけない箇所をサーチして検査領域とすることが求められているが、テクスチャ抽出画像でサーチをして、検査領域を決めてから傷検査を行うことができる。また、ＯＣＲを行う際にも、テクスチャ抽出画像でサーチをして、ＯＣＲを行う対象領域を決めてからＯＣＲを行うことができる。

テクスチャ抽出画像生成手段は、入力画像と同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。これにより、ハレーションを起こしている輝度が高い画素値は採用されず、ハレーションの影響が取り除かれたテクスチャ抽出画像が得られる。

また輪郭抽出画像生成後の傷検査に必要な傷検査ツールを備えることで、フォトメトリックステレオ技術は三次元計測の一つの手法であるというのが一般的な共通認識であるところ、フォトメトリックステレオ技術を傷検査に応用した実用品として位置づけられる画像検査装置を提供できる。

さらに画像検査装置は、ワークを一定の方向から撮像する撮像手段と、ワークを異なる方向から少なくとも３回照明する照明手段と、照明手段を１つずつ順に点灯させる照明制御手段と、各照明タイミングにて撮像手段を駆動させることにより、複数の画像を生成する画像生成手段と、複数の画像で対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出する法線ベクトル算出手段と、照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、法線ベクトルと同数個の各画素のアルベドを算出し、アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するテクスチャ抽出画像生成手段とを備え、テクスチャ抽出画像生成手段は、法線ベクトルと同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。これによれば、テクスチャ抽出画像生成手段は、法線ベクトルと同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とするようにしたので、ハレーションを起こしている輝度が高い画素値は採用されず、ハレーションの影響が取り除かれたテクスチャ抽出画像が得られる。

このように、実施の形態に係る画像検査装置によれば、フォトメトリックステレオ法を利用して、より簡単、かつ、ロバストにワークの傷や印字を検査することができる。

本発明の画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器は、フォトメトリックステレオを用いた検査装置やデジタイザに好適に利用できる。

１…画像検査装置
１１…撮像手段
１２、３２、５２、６２、８２…ケーブル
７１、７２、７３、７４、７６…ケーブル
２０、２０’、２０”…環状照明ユニット
２１、２２、２３、２４、２５…照明手段
３１…照明制御手段
４１…画像処理部；４１ａ…法線ベクトル算出手段；４１ｂ…輪郭画像生成手段
４１ｃ…テクスチャ抽出画像生成手段；４１ｄ…検査領域特定手段
４１ｅ…画像処理手段；４１ｆ…判定手段；４１ｇ…照明方向推定手段
４２…信号処理系
４３…ＣＰＵ
４４…メモリ
４５…ＲＯＭ
４６…バス
５１…表示手段
６１…操作手段
７５…照明分岐ユニット
８１…ＰＬＣ
ｅ１…カメラ
ｅ２１〜ｅ２４…照明用の光源
ＷＫ…ワーク
ＳＧ…ステージ
Ｌ１…第一照明手段；Ｌ２…第二照明手段
ｎ…法線ベクトル
Ｓ…拡散反射面
ＯＳ…障害物
ＡＬ…実際の照明方向
ＩＬ…仮定照明方向

Claims (19)

1. ワークの外観検査を行うための画像検査装置であって、
   ワークを互いに異なる実際の照明方向から照明するための三以上の照明手段と、
   前記三以上の照明手段を一ずつ所定の点灯順に点灯させるための照明制御手段と、
   前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、実際の照明方向が異なる複数の部分照明画像を撮像するための撮像手段と、
   前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、複数の異なる仮定照明方向毎に生成するためのソース画像生成手段と、
   前記ソース画像生成手段によって仮定照明方向毎に生成された複数のソース画像に基づき、前記照明手段における実際の照明方向と最も整合する推定照明方向を検出するための照明方向推定手段と
   を備えることを特徴とする画像検査装置。
2. 請求項１に記載の画像検査装置であって、
   前記三以上の照明手段が、一体的に構成されており、かつ前記撮像手段の光軸を中心とした仮想回転面上に実際の照明方向を有しており、
   前記照明方向推定手段が、仮想回転面上に位置すると仮定された複数の仮定照明方向の中から、推定照明方向を推定してなることを特徴とする画像検査装置。
3. 請求項１に記載の画像検査装置であって、
   前記三以上の照明手段が、互いに独立して配置可能に構成されており、かつ前記撮像手段の光軸を中心とした仮想回転面上に実際の照明方向を有しており、
   前記照明方向推定手段が、仮想回転面上に位置すると仮定された複数の仮定照明方向の中から、推定照明方向を推定すると共に、前記三以上の照明手段のそれぞれの設置位置を推定可能に構成してなることを特徴とする画像検査装置。
4. 請求項１〜３のいずれか一に記載の画像検査装置であって、
   前記照明方向推定手段は、ワークの表面形状を凸状と仮定して照明照明方向を推定してなることを特徴とする画像検査装置。
5. 請求項１〜４のいずれか一に記載の画像検査装置であって、
   前記ソース画像生成手段は、前記複数のソース画像を、照明方向を特定する天頂角及び方位角を変数として生成するものであり、
   前記照明方向推定手段は、前記ソース画像生成手段でもって生成されたソース画像のうち、実際の照明方向によるソース画像との整合の度合いを示す第１評価関数に従い、最も上位と評価されるソース画像を選択し、該ソース画像における天頂角及び方位角の変数値を推定照明方向として推定してなることを特徴とする画像検査装置。
6. 請求項５に記載の画像検査装置であって、
   前記第１評価関数は、天頂角及び方位角を変数として算出されて生成されたソース画像から、天頂角及び方位角に対して、前記ソース画像におけるワークの表面形状とソース画像にした実際の表面形状とのズレの大きさを数値化した関数であることを特徴とする画像検査装置。
7. 請求項１〜４のいずれか一に記載の画像検査装置であって、
   前記ソース画像生成手段は、前記複数のソース画像を、照明方向を特定する天頂角及び方位角のうち、天頂角を定数とし、方位角を変数として生成するものであり、
   前記照明方向推定手段は、前記ソース画像生成手段でもって生成されたソース画像のうち、実際の照明方向によるソース画像との整合の度合いを示す第２評価関数によって、最も上位と評価されるソース画像を選択し、該ソース画像における方位角の変数値と天頂角の定数値を推定照明方向として推定してなることを特徴とする画像検査装置。
8. 請求項７に記載の画像検査装置であって、
   前記第２評価関数は、天頂角を定数とし、方位角を変数として算出されて生成されたソース画像から、方位角に対して、ワークの表面の凸凹の凸成分の表出割合を数値化した関数であることを特徴とする画像検査装置。
9. 請求項５〜８のいずれか一に記載の画像検査装置であって、
   変数としての方位角は、予め定められた組み合わせの中から値が設定されることを特徴とする画像検査装置。
10. 請求項５〜８のいずれか一に記載の画像検査装置であって、
    変数としての方位角は、均等の角度巾で値が設定されることを特徴とする画像検査装置。
11. 請求項５〜１０に記載の画像検査装置であって、
    前記照明方向推定手段は、ワークを、鏡面反射成分を含む半球状と推定し、さらに前記ソース画像毎に、ワークのソース画像中での中心座標を基点として、ワークからの鏡面反射成分の画像での中心にあるハレーション座標のベクトルを求め、前記ベクトルの方向を、前記ソース画像を生成した際の照明方向の方位角として算出し、前記ベクトルの画素数とワークの大きさの画素数との比から、前記ソース画像を生成した際の照明方向の天頂角を算出してなることを特徴とする画像検査装置。
12. 請求項５〜１０に記載の画像検査装置であって、
    前記照明方向推定手段は、ワークの高さを既知として、前記ソース画像毎に、ワークのソース画像での中心座標を基点として、ワークのソース画像での影の先端にある影座標のベクトルを求め、前記ベクトルの方向を、前記ソース画像を生成した際の照明方向の方位角として算出し、前記ベクトルの画素数とワークの高さの画素数との比から、前記ソース画像を生成した際の照明方向の天頂角を算出してなることを特徴とする画像検査装置。
13. 請求項５〜１０に記載の画像検査装置であって、
    前記照明方向推定手段は、予め設定された、前記撮像手段及び前記照明手段が配置された状態での天頂角及び／又は方位角の設定範囲を、推定された天頂角及び／又は方位角と比較して、前記設定範囲を外れた場合には警告を発するよう構成してなることを特徴とする画像検査装置。
14. 請求項１〜１３のいずれか一に記載の画像検査装置であって、
    前記照明制御手段は、異なる仮定照明方向毎にソース画像を生成する際の点灯順を、任意に変更可能に構成してなることを特徴とする画像検査装置。
15. 請求項１〜１４のいずれか一に記載の画像検査装置であって、
    前記ソース画像生成手段は、
    前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、
    前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段と、
    を含むことを特徴とする画像検査装置。
16. 請求項１〜１５のいずれか一に記載の画像検査装置であって、さらに、
    生成された輪郭画像に対して検査対象となる検査領域の位置を特定するための検査領域特定手段と、
    前記検査領域特定手段で特定された検査領域内の傷を検出するための画像処理を施すための画像処理手段と、
    前記画像処理手段の処理結果に基づいて、ワーク表面の傷の有無を判定するための判定手段と
    を備えることを特徴とする画像検査装置。
17. ワークの画像を撮像して外観を検査する検査方法であって、
    ワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、異なる実際の照明方向から所定の点灯タイミングで照明すると共に、共通の撮像手段を用いて、各実際の照明方向毎に一の部分照明画像を撮像して、実際の照明方向が異なる複数枚の部分照明画像を取得する工程と、
    異なる照明手段で照明して取得した複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、ソース画像生成手段で複数の異なる仮定照明方向毎に生成する工程と、
    前記ソース画像生成手段によって仮定照明方向毎に生成された複数のソース画像に基づき、照明方向推定手段でもって、前記照明手段における実際の照明方向と最も整合する推定照明方向を検出する工程と、
    を含むことを特徴とする画像検査方法。
18. ワークの画像を撮像して外観を検査するための検査プログラムであって、コンピュータに、
    ワークを、三以上の照明手段を一ずつ所定の点灯順にて点灯させて、異なる実際の照明方向から所定の点灯タイミングで照明すると共に、共通の撮像手段を用いて、各実際の照明方向毎に一の部分照明画像を撮像して、実際の照明方向が異なる複数枚の部分照明画像を取得する機能と、
    異なる照明手段で照明して取得した複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、照明方向を仮定した仮定照明方向におけるワークの表面のソース画像を、ソース画像生成手段で複数の異なる仮定照明方向毎に生成する機能と、
    前記ソース画像生成手段によって仮定照明方向毎に生成された複数のソース画像に基づき、照明方向推定手段でもって、前記照明手段における実際の照明方向と最も整合する推定照明方向を検出する機能と、
    を実現させることを特徴とする画像検査プログラム。
19. 請求項１８に記載の画像検査プログラムを記録したコンピュータで読み取り可能な記録媒体又は記録した機器。