JP2015232483A - 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

Abstract

【課題】フォトメトリックステレオ法を利用して、より簡単かつロバストに傷や印字を検査可能とする。
【解決手段】ワークＷを一定の方向から撮像する撮像手段と、ワークＷを異なる方向から少なくとも３回照明する照明手段と、照明手段を１つずつ順に点灯させる照明制御手段と、各照明タイミングにて撮像手段を駆動させることにより、複数の画像を生成する撮像手段と、複数の画像で対応関係にある画素毎の画素値を用いて、各画素のワークＷの表面に対する法線ベクトルｎを算出する法線ベクトル算出手段４１ａと、算出された各画素の法線ベクトルｎに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークＷ表面の傾きの輪郭を示す輪郭画像を生成する輪郭画像生成手段４１ｂとを備える。
【選択図】図１

Description

本発明は、フォトメトリックステレオ法を用いた画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器に関する。

ワーク（検査対象物や被写体）の表面の傷の有無や外観形状、印字された文字の読み取りといった検査を行う画像検査装置が利用されている。このような画像検査装置は、ワークに対して必要な照明を行い、画像を撮像し、得られた画像データに対してエッジ検出等、画像処理を行い、その結果に基づいて良否判定等の判断を行っていた。

しかしながらこのような画像検査装置では、ワークの種類によっては照明の種類や当てる方向によって見えやすさが変わるケースがあった。このため、このようなワークに対して適切な検査を行うには、十分な知識や経験が必要であった。

また、従来の画像検査装置では、照明条件や設置条件等が少し変わっただけで誤検出が起きやすく、安定的に検出することが困難であるという問題もあった。さらに、ワークの外観検査においては、傷、縁等のワークの形状に関する情報、言い換えると立体的な情報と、印字、シミ等の平面的な情報の両方が検査の対象になるところ、お互いが干渉し合う結果、上手く検出できないことがあるという問題もあった。

このような問題を解決するための技術として、フォトメトリックステレオ法を用いて高さ情報を取得する画像処理装置が知られている（例えば、特許文献１を参照。）。ここでフォトメトリックステレオ法（photometric stereo）とは、照度差ステレオ法とも呼ばれ、異なる複数の照明方向から照明した画像を撮像して、その陰影情報からワークの法線ベクトルを求める三次元計測の手法の一つである。このようなフォトメトリックステレオ法を用いた画像処理装置は、法線ベクトル（傾き画像に相当）からＸ軸やＹ軸の成分を輝度値に置き換えた画像や、反射率画像（アルベド画像に相当）を作成して、画像検査に応用している。ここでは、フォトメトリックステレオ法で三次元計測を精度よく行うために、主として、照明機器の設置方法や照明光の照射方法に関する検討がなされている。

特開２００７−２０６７９７号公報

しかしながら、フォトメトリックステレオ法に基づく画像検査では、正確な法線ベクトルを計算するには光源とワークの正確な位置関係情報が必要になることから、例えばワークを載置する面が水平面から傾いていたり、照明が傾いていたりすると、大きな変化が多数生じて、精度が低下するという問題があった。さらに、正確な法線ベクトルを計算するには大量の異なる照明方向下での画像が必要になり、処理時間が膨大となってしまうという問題もある。一方で、ワークの高さの寸法を必ずしも正確に検出できなくとも、検査用途においては十分な場合も多い。

本発明は、このような問題点に鑑みてなされたものであり、その主な目的は、フォトメトリックステレオ法を利用して、実用上十分な精度を維持しつつ、より簡便にワークの傷や印字を検査可能とした画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器を提供することにある。

課題を解決するための手段及び発明の効果

本発明の第１の側面に係る画像検査装置によれば、ワークの外観検査を行うための画像検査装置であって、ワークを互いに異なる照明方向から照明するための三以上の照明手段と、前記三以上の照明手段を一ずつ点灯順に点灯させるための照明制御手段と、前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像するための撮像手段と、前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段とを備えることができる。上記構成により、法線ベクトルに微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成し、この輪郭画像を検査対象の画像として適用することで、ワークや照明の傾きの影響を受け難い、従来のフォトメトリックステレオを用いた高さ計測よりも環境にロバストな画像検査を実現できる。

また、第２の側面に係る画像検査装置によれば、前記輪郭画像生成手段は、算出された各画素の法線ベクトルから、異なる縮小率の複数の縮小傾き画像を作成し、それぞれの縮小傾き画像において、Ｘ方向及びＹ方向に微分処理を施し、得られた縮小輪郭画像に対して、所定の縮小率の縮小輪郭画像が反映されるように重み付けをして、元のサイズへ拡大してから、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とすることができる。

さらに、第３の側面に係る画像検査装置によれば、前記重み付けは、予め決められた重みのセットを用意しておき、前記縮小輪郭画像に対して、前記重みのセットを掛けることによって、それぞれの縮小率の縮小輪郭画像の採用比を按分することによって行うことを特徴とする画像検査装置。

さらにまた、第４の側面に係る画像検査装置によれば、前記重みのセットは、ワークの表面の凸凹が明瞭な輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができる。

さらにまた、第５の側面に係る画像検査装置によれば、前記重みのセットは、ＯＣＲに適した輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができる。

さらにまた、第６の側面に係る画像検査装置によれば、さらに前記照明手段により照明した回数分存在する、前記法線ベクトル算出手段で算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、前記アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するためのテクスチャ抽出画像生成手段を備え、前記輪郭画像生成手段と前記テクスチャ抽出画像生成手段とを切り替え可能とできる。

さらにまた、第７の側面に係る画像検査装置によれば、前記テクスチャ抽出画像生成手段は、前記法線ベクトルと同数個の前記各画素のアルベドの値をソートし、上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。

さらにまた、第８の側面に係る画像検査装置によれば、さらに生成された輪郭画像に対して検査対象となる検査領域の位置を特定するための検査領域特定手段と、前記検査領域特定手段で特定された検査領域内の傷を検出するための画像処理を施すための画像処理手段と、前記画像処理手段の処理結果に基づいて、ワーク表面の傷の有無を判定するための判定手段とを備えることができる。

さらにまた、第９の側面に係る画像検査装置によれば、ワークを互いに異なる照明方向から照明するための三以上の照明手段と、前記三以上の照明手段を一ずつ点灯順に点灯させるための照明制御手段と、前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像するための撮像手段と、前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、前記照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、前記アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するためのテクスチャ抽出画像生成手段とを備え、前記テクスチャ抽出画像生成手段は、前記法線ベクトルと同数個の前記各画素のアルベドの値をソートし、上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。

さらにまた、第１０の側面に係る画像検査装置によれば、前記撮像手段と、前記照明手段とが独立した別部材であり、任意の位置に配置可能とできる。上記構成により、照明手段と撮像手段を、実際のワークや設置環境に応じて配置できるので、配置の自由度を高めた柔軟性の高い設置を実現できる。

さらにまた、第１１の側面に係る画像検査装置によれば、前記照明手段を４個備えることができる。

さらにまた、第１２の側面に係る画像検査装置によれば、前記三以上の照明手段が、環状に配置された複数個の発光素子で構成されており、前記照明制御手段が、隣接する発光素子の所定個を第一照明ブロックとして、該第一照明ブロックの発光素子を同時に点灯させ、他の発光素子を消灯することで、第一照明手段で第一照明方向からの第一照明として機能させ、前記第一照明ブロックと隣接する、所定個の発光素子で構成された第二照明ブロックを点灯させるように制御することで、前記第一照明方向と異なる第二照明方向から照明する第二照明ブロックを構成し、さらに前記第二照明ブロックと隣接する、所定個の発光素子で構成された第三照明ブロックを点灯させるように制御することで、前記第一照明方向及び第二照明方向と異なる第三照明方向から照明する第三照明ブロックを構成できる。上記構成により、環状に複数個の発光素子を配置した一の照明ユニットでもって、三以上の照明手段として機能する三以上の照明ブロックに区画でき、照明手段の構成をさらに簡素化できる。

さらにまた、第１３の側面に係る画像検査方法によれば、ワークの画像を撮像して外観を検査する検査方法であって、ワークを、互いに異なる三以上の照明方向から、照明手段で照明すると共に、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、複数枚の照明方向の異なる部分照明画像を取得する工程と、照明方向の異なる複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを法線ベクトル算出手段で算出する工程と、算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワーク表面の傾きの輪郭を示す輪郭画像を、輪郭画像生成手段でもって生成する工程と、前記輪郭画像を用いて、ワークの外観検査を行う工程とを含むことができる。

さらにまた、第１４の側面に係る画像検査プログラムによれば、ワークの画像を撮像して外観を検査するための検査プログラムであって、コンピュータに、ワークを、互いに異なる三以上の照明方向から、照明手段で照明すると共に、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、複数枚の照明方向の異なる部分照明画像を取得する機能と、照明方向の異なる複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを法線ベクトル算出手段で算出する機能と、算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワーク表面の傾きの輪郭を示す輪郭画像を、輪郭画像生成手段でもって生成する機能と、前記輪郭画像を用いて、ワークの外観検査を行う機能とを実現させることができる。

また本発明のコンピュータで読み取り可能な記録媒体または記憶した機器は、上記画像検査プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（商品名）、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

本発明の実施形態１に係る画像検査装置の構成を示すブロック図である。 図１の画像検査装置の撮像手段と照明手段の位置関係を示す模式平面図である。 図１の画像検査装置の撮像手段と照明手段の位置関係を示す模式側面図である。 実施形態２に係る４つの照明ブロックを実現する照明手段を示す模式図である。 図４の照明手段で５つの照明ブロックを実現する様子を示す模式平面図である。 実施形態３に係る照明手段を示す模式平面図である。 実施形態４に係る照明手段を示す模式平面図である。 変形例に係る照明手段を示す模式平面図である。 他の変形例に係る照明手段を示す模式平面図である。 実施形態５に係る画像検査装置の構成を示す模式図である。 実施形態６に係る画像検査装置の構成を示す模式図である。 画像処理部の信号処理系の説明に供するブロック図である。 図１３Ａは、フォトメトリックステレオ法の基本原理を説明するための、拡散反射面Ｓと照明との位置関係を示す図、図１３ＢはＬ１から光を照射した状態を示す図、図１３ＣはＬ２から光を照射した状態を示す図、図１３Ｄは照射方向と反射光の明るさの組み合わせから、表面の向きを推定することを説明するための図である。 図１４Ａは輪郭抽出画像の生成方法を説明するための、垂直方向に微分した傾き画像の一例を示す図、図１４Ｂは水平方向に微分した傾き画像の一例を示す図、図１４Ｃは輪郭抽出画像の一例を示す図である。 図１５Ａは、δ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法を説明するための、表面情報を示す図、図１５Ｂは傾き画像を示す図、図１５Ｃは前進差分を示す図、図１５Ｄは中央差分を示す図である。 図１６Ａはテクスチャ抽出画像の生成方法を説明するための、ソース画像を示す図、図１６Ｂは平均法による処理を行った画像を示す図、図１６Ｃはハレーション除去法による処理を行った画像を示す図である。 アングルノイズ低減の説明に供する図である。 照明とカメラが一体型の場合に、障害物と干渉する様子を示す模式断面である。 カメラが照明光の一部を遮る様子を示す模式図である。 照明とカメラを分離型とした構成を示す模式断面図である。 図２１Ａは照明とカメラとが分離型であるメリットを説明するための、ＬＷＤを小さく取った場合、図２１ＢはＬＷＤを大きく取った場合を示す図である。 リング状の照明を配置する様子を示す模式図である。 リング状の照明とカメラの回転位置を一致させる様子を示す模式図である。 第一実施例に係る設置補助手段を示す模式図である。 設置補助手段を照明ケーブルと照明手段との接続に適用した例を示す模式図である。 第二実施例に係る設置補助手段を示す模式図である。 第三実施例に係る設置補助手段を示す模式図である。 変形例に係る設置補助手段を示す模式図である。 他の変形例に係る設置補助手段を示す模式図である。 他の変形例に係る設置補助手段を示す模式図である。 他の変形例に係る設置補助手段を示す模式図である。 他の変形例に係る設置補助手段を示す模式図である。 他の変形例に係る設置補助手段を示す模式図である。 他の変形例に係る設置補助手段を示す模式図である。 実施例に係る画像検査方法を示すフローチャートである。 変形例に係る画像検査方法を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
（１．画像検査装置１の構成）

本発明の実施の形態１に係る画像検査装置のブロック図を、図１に示す。この図に示す画像検査装置１は、検査対象物（以下、「ワークＷＫ」ともいう。）を一定の方向から撮像する撮像手段１１と、ワークＷを異なる三以上の照明方向から照明するための照明手段と、各照明手段を一ずつ点灯順に点灯させるための照明制御手段３１と、照明制御手段と撮像手段と接続されてこれらを制御する画像処理部４１を備えている。画像処理部４１と撮像手段とは、撮像ケーブル１２を介して、また画像処理部４１と照明制御手段３１とは照明ケーブル３２を介して、それぞれ接続されている。また画像処理部は、表示手段５１と操作手段６１を接続している。さらに画像処理部には、必要に応じて外部機器であるＰＬＣ（Programable Logic Controller）やコンピュータ等と接続することもできる。

撮像手段は、照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークＷを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像する。

画像処理部は、法線ベクトル算出手段４１ａと、輪郭画像生成手段４１ｂと、テクスチャ抽出画像生成手段４１ｃと、検査領域特定手段４１ｄと、画像処理手段４１ｅと、判定手段４１ｆの機能を実現する。法線ベクトル算出手段４１ａは、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークＷの表面に対する法線ベクトルｎを算出する。輪郭画像生成手段４１ｂは、算出された各画素の法線ベクトルｎに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークＷ表面の傾きの輪郭を示す輪郭画像を生成する。テクスチャ抽出画像生成手段４１ｃは、照明手段による照明する回数個ある、算出された各画素の法線ベクトルｎから、法線ベクトルｎと同数個の各画素のアルベドを算出し、アルベドから、ワークＷの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成する。検査領域特定手段４１ｄは、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。画像処理手段４１ｅは、特定された検査領域内の傷を検出するための画像処理を施す。判定手段４１ｆは、処理結果に基づいて、ワークＷ表面の傷の有無を判定する。

撮像手段と照明手段とは、別個の部材として配置可能としている。これによって自由度の高いレイアウトが可能となる。一例として、図２の模式平面図及び図３の模式側面図に示すように、ステージＳＧ上に載置されたワークＷの真上に、光軸を鉛直方向に向けた撮像手段１１を配置する。また撮像手段１１の周囲の東西南北の方位に、４個の照明手段、すなわち第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４を、同一の高さに配置する。配置された撮像手段と各照明手段の位置関係は、画像検査装置側で記録される。照明制御手段により所定の照明タイミングで各照明手段を順次点灯させて、共通の撮像手段でもって、ワークを一定の方向から撮像して部分照明画像を取得する。

なお、撮像手段と照明手段とは、別個の部材とする構成に限らず、これらをアーム等を介して一体に構成してもよい。この場合は、予め撮像手段と照明手段の位置関係が固定されているため、光軸を一致させるといった調整作業を不要とできる。ただし、自由度が失われる。
（撮像手段）

撮像手段１１は、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャ等の撮像素子が利用できる。撮像素子で被写体の画像を光電変換して画像信号を出力し、出力された画像信号を信号処理ブロックが輝度信号と色差信号とに変換して、撮像ケーブル１２で接続された画像処理部４１に出力する。
（照明手段）

照明手段２１、２２、２３、２４は、ワークＷＫに対して、異なる照明方向から照明光を照射できるよう、図２の模式平面図に示すようにワークＷＫの周囲をとり囲むように配置される。また図３の模式側面図に示すように、各照明手段は、光軸を斜め下方に向けて設置される。各照明手段で照明されたワークを、共通の撮像手段で撮像できるよう、撮像手段の光軸と、照明手段を設けた平面（仮想回転面）の中心軸とを一致させることが好ましい。また、照明手段同士の間隔（中心軸からの方位角）は、３６０°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。さらにまた、各照明手段とワークとの距離も、一定とすること好ましい。このようにすることで、フォトメトリックステレオ処理の演算に必要な方位角や天頂角情報の入力を簡易化できる。また後述の通り、全灯画像ＭＣを撮像する際はすべての照明手段を点灯した全灯状態で撮像するため、上記状態にすれば、全照明の強さを均等に弱めるだけで、ムラの少ない照明状態で撮像できる。

図１の例では、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４の４つで構成される。各照明手段は、白熱球や蛍光灯等が利用できる。特に、発光ダイオード（Light Emitting Diode：ＬＥＤ）等の半導体発光素子は、消費電力が少なく長寿命で応答性にも優れ、好ましい。各照明手段は、図１に示すように、それぞれに対応するケーブル７１、７２、７３、７４を介して、照明分岐ユニット７５に接続され、さらにケーブル７６を介して、照明制御手段３１に接続されている。
（照明分岐ユニット）

照明分岐ユニットは、各照明手段を照明制御手段と接続するためのインターフェースである。具体的には、照明手段から延長された照明ケーブルを接続するための照明接続コネクタを設けている。図１の例では、４つの照明手段を接続するよう、４つの照明接続コネクタを設けている。この際、照明ケーブルを正しく照明接続コネクタに接続するよう、設置補助手段としてマーク等を設けてもよい（詳細は後述）。各照明手段の照明メーブルを、照明分岐ユニットの照明接続コネクタに正しく接続することで、照明制御手段でもって正しい順序で正しい方向から照明手段を点灯でき、さらに各照明タイミングと同期させて撮像手段を動作させることで、部分照明画像を撮像できる。なお、照明分岐ユニットは、図１の例では照明制御手段と別体に設けられているが、この構成に限られず、例えば照明制御手段に照明分岐ユニットを組み込んでもよい。

照明手段２１、２２、２３、２４の照明色は、ワークＷＫのタイプに応じて変更することもできる。例えば、細かい傷を検査したい場合には、波長が短い青色が好適である。また、着色されたワークを検査するときは、照明の色が邪魔にならないように、白色の照明を使うのが好ましい。さらに、ワークに油が付いているときには、その影響を防ぐために、赤色の照明を採用するとよい。

また照明手段は、上述した図１〜図３の例では４個としているが、異なる三以上の照明方向からワークＷＫを照明できるよう、少なくとも３個あれば足りる。照明手段の数を増やすと、より多くの照明方向から部分照明画像が得られるため、画像検査の精度を向上できる。例えば、北東、北西、南東、南西の方位を加えて全部で８個配置してもよい。また、照明手段同士の間隔（中心軸からの方位角）は、３６０°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。なお、処理すべき画像の枚数が増えることで処理量が増え、処理時間が遅くなる。本実施の形態においては、処理速度と演算処理のし易さ、精度等のバランスを考慮して、上述の通り照明手段の数を４個としている。

また、照明手段を、環状に配置された複数個の発光素子で構成することもできる。例えば図４に示す実施形態２に係るリング照明では、環状に配置された発光素子を４つの照明ブロックに分割している。そして照明制御手段が、第一照明ブロックを第一照明手段、第二照明ブロックを第二照明手段、第三照明ブロックを第三照明手段、第四照明ブロックを第四照明手段として、それぞれの照明ブロックの照明タイミングを異ならせることで、４つの別個の照明手段が存在するのと同様に制御できる。

またこの構成であれば、同一のリング照明を用いて、照明手段の数を任意に変更できる利点も得られる。すなわち、各発光素子の点灯を照明制御手段で任意に制御できる場合は、図５に示すように、環状に配列された発光素子の円周を４区分から５区分に分割するように照明ブロックを変更し、５つの照明ブロックをそれぞれ点灯させる照明タイミングをずらして各部分照明画像を撮像するように照明制御手段で制御することで、５つの照明方向からの部分照明画像を取得できる。さらに同様に環状の円周を６分割、７分割に変更すれば、照明方向をさらに増やすことができる。また、常時一定の照明ブロックにて部分照明画像を取得する構成に限らず、周期毎に照明ブロックを変更してもよい。このように、各発光素子の点灯パターンを調整することで、同一のリング照明を用いて、仮想的に照明ブロックの数を変更し、照明手段の数を調整するのと同様の効果を得ることができる。言い換えると、共通のハードウェアでもって異なる精度に対応できる。

さらに照明手段は、円環状に配置する他、実施形態３として図６の模式平面図に示すように、バー状に構成された照明手段を矩形状に配置したり、実施形態４として図７の模式平面図に示すように、多角形状に配置することもできる。

あるいは、照明手段を円や多角形の環状に配置する他、平面状に配置することもできる。例えば、多数の発光素子を平面状に配置し、点灯する照明ブロックを変化させることで、異なる照明方向を実現することもできる。具体的には、図８に示す変形例に係る照明手段のように、同心円状の円環を複数重ねた照明ユニット２０’を構成し、半径の異なる各円環をそれぞれ照明ブロックとして照明手段を構成する。あるいは、図９に示す他の変形例に係る照明手段のように、ドットマトリックス状に発光素子を並べた照明ユニット２０”としつつ、中心を通る複数の線分で分割した照明ブロックでもって照明手段を構成してもよい。このように本発明において照明手段や照明方向とは、必ずしも物理的に離間された照明に限られず、一の照明手段を複数に分割した照明ブロックでもって、照明を行う構成も含む意味で使用する。

なお、本実施例においては各照明手段による部分照明光が撮像範囲内で並行光であるとの前提で処理している。部分照明光が平行光である限り、照明光の方向（例えば東西南北のいずれか）だけが問題となり、その詳細な位置、例えば照明手段の光源の座標位置等は考慮する必要はない。
（照明制御手段）

照明制御手段は、三以上の照明手段を一ずつ点灯順に点灯させると共に、各照明手段を点灯させる照明タイミングにて、ワークを撮像手段で一定の方向から撮像するよう、各照明手段と撮像手段を同期させるように制御する。いいかえると照明制御手段は、照明手段による照明タイミングと、撮像手段による撮像タイミングとを同期させる。また照明制御手段が各照明手段を点灯させる点灯順は、ワークの周囲を取り囲むように配置された照明手段を、時計回り、反時計回りといった順で点灯させる他、離散的な順序、例えば一つおきや交差するような順としてもよい。どのような順であっても、各照明タイミングで撮像された部分照明画像が、どの照明方向の照明にて撮像されたものであるかを把握できれば、フォトメトリックステレオ法に基づいて法線ベクトル画像を構築できる。

なお図１の実施形態１では、照明制御手段３１は、画像処理部４１と別体として設けられているが、この構成に限られない。例えば、図１０に示す実施形態５のように、画像処理部４１と一体化されていてもよいし、あるいは図１１に示す実施形態６のように、照明手段２５に内蔵されていてもよい。
（画像処理部）

画像処理部４１は、撮像手段１１及び照明手段２１、２２、２３、２４の動作を制御するとともに、撮像手段１１から入力された４つの部分照明画像の画像信号Ｑ１〜Ｑ４を用いて、各画素における面の法線ベクトル画像（以下、「傾き画像」という。）を生成し、傾き画像のＸ方向及びＹ方向の第２次の傾き画像（以下、「輪郭抽出画像」という。）や、アルベド（albedo、反射率を意味する。）画像（以下、「テクスチャ抽出画像」ともいう。）を作成し、それらの画像を用いて、傷の検査や文字の検出等を行うための処理をする。なお、傷の検査や文字の検出等を行うための処理は、画像処理部４１で処理する構成に限らず、例えばＰＬＣ８１等の外部部機器側で実行させることもできる。

図１２は、画像処理部４１の信号処理系４２を示している。信号処理系４２は、ＣＰＵ４３、メモリ４４、ＲＯＭ４５、表示手段５１、ポインティングデバイス等の操作手段６１、撮像手段１１、照明制御手段３１、結果出力処理を実行するＰＬＣ(プログラマブル・ロジック・コントローラ)８１より構成されており、これらは、バス４６やケーブル１２、３２、５２、６２、８２を介して互いに接続されている。なお、ＲＯＭ４５は、可搬メディアであってもよい。また表示手段５１を、例えばタッチパネルとする等、操作手段６１と兼用させてもよい。

ＣＰＵ４３は、ＲＯＭ４５に格納されているプログラムに基づいて、メモリ４４、ＲＯＭ４５、表示手段５１、操作手段６１、撮像手段１１、照明制御手段３１、ＰＬＣ８１の相互間でのデータの送受を制御したり、表示手段５１、撮像手段１１、照明制御手段３１の制御を行っている。

画像処理部４１は、例えば、プログラムが格納された１台のコンピュータを想定しているが、複数のコンピュータの組み合わせにより各手段が構成されるようにしてもよいし、一部の手段を専用の回路により構成してもよい。あるいは、ＡＳＩＣのように専用設計された部材とすることもできる。
（判定手段）

画像処理部４１は上述の通り、判定手段の機能を実現する。判定手段は、得られたテクスチャ抽出画像に基づいて、傷の有無や大きさの検査を行う。例えば所定の閾値以上の場合に傷であると判定する。また、判定手段は必要に応じて輪郭抽出画像に基づいてＯＣＲを行い、認識された文字列を出力することもできる。
（基本原理）

次に、以上の画像検査装置を用いて、ワークの外観検査を行う基本原理について、従来技術である特許文献１の技術と対比しながら説明する。まず特許文献１に開示された技術の基本原理は、フォトメトリックステレオ法の原理を利用し、未知の面に対して、様々な方向から光を当てて、ワークの反射光の違いを利用してワークの形を推定しようとするものである。ワークの反射光は、照明の入射角度、照明の距離等を反映し、入射角度が９０°になるところが最も明るくなり、照明との距離が離れれば離れるほど暗くなる性質がある。

この性質を利用して、明るさと位置が既知である照明を複数個用意して、照明の点灯を順に切り替えていき、それぞれの点において、各方向の照明から照射されたときの反射光の明るさの違いを利用して表面がどちらを向いているかを推定する。具体的には、傾き画像のＸ成分Ｙ成分を、Ｘ成分の輝度に置き換えたＸ成分画像やＹ成分の輝度に置き換えたＹ成分画像を作成して検査に応用しようとするものである。

しかしながら、この方法は、照明やワークの設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまう等、ロバスト性に劣るという問題があった。例えば、実際には凸凹がないのに凸凹の画像になったり、あるいは照明に対しては通常、近くが明るく見えるところ、明るさの変化によってワークの中央が盛り上がったような画像に見えるといった、ワークの実際の形状に即した検査画像が必ずしも得られないという欠点があった。

これに対して、本実施の形態に係る画像検査技術の基本原理は、フォトメトリックステレオ法を利用して第１次の傾き画像を生成することを出発点としながらも、得られた第１次の傾き画像をＸ方向及びＹ方向に微分処理して第２次の傾き画像、すなわち、輪郭抽出画像を作成し、その画像を用いて、傷の検査等を行うものである。第２次の傾き画像は、前述の欠点が生ずるようなケースであっても、その影響が小さく、面の傾き変化の大きいところが暗くなる階調とする一方、面の傾き変化の小さいところが明るくなる階調と設定することで、ワークの表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。

また、特許文献１に開示された技術では、フォトメトリックステレオ法を利用して生成した反射率画像（テクスチャ抽出画像に相当。）は、ハレーションが起きてしまい、文字の検出等が困難な場合があった。これに対して、本実施の形態に係る画像検査技術は、基本的には、２つの照明でしか同じ箇所ではハレーションしないという基本原理を利用して、各画素において、例えば４つの画素値の内、上から３つ目の画素値を採用することで、ハレーションの影響を取り除くようにしている。

加えて、特許文献１に開示された画像処理装置は、カメラと照明用の光源を一体に構成しているが、この構成では、カメラと光源が大型化して、設置に際して大きさの制約を受けるという問題もあった。これに対して本実施の形態に係る画像検査装置では、撮像手段と照明手段を別個の部材とできるので、配置スペースを考慮したより柔軟な設置が可能となって、使い勝手の面でも有利となる。
（フォトメトリックステレオ法の基本原理）

ここで、図１３Ａ〜図１３Ｄを参照しながら、フォトメトリックステレオ法の基本原理について説明する。まず、図１３Ａに示すように、未知の拡散反射面Ｓ、及び明るさと位置が既知の複数の照明（この例では第一照明手段Ｌ１と第二照明手段Ｌ２の２個）がある場合を想定する。例えば図１３Ｂに示すように、第一照明手段Ｌ１から光を照射すると、拡散反射面Ｓの表面における拡散反射光は、（１）照明の明るさ（既知）、（２）照明の向き（既知）、（３）ワークＷＫの表面の向き（法線ベクトルｎ）、（４）ワークＷＫの表面のアルベドのパラメータのみで決定される。

そこで、図１３Ｂ及び図１３Ｃに示すように、複数の異なる照明方向、具体的には三以上の照明方向から照明光が投光されたときの拡散反射光からなる部分照明画像を、それぞれ撮像手段で撮影する。そして図１３Ｄに示すように、３以上の部分照明画像を入力画像とすることで、未知である（３）ワークＷＫ表面の向き（法線ベクトルｎ）、（４）ワークＷＫ表面のアルベドを、以下の関係式に基づいて算出できる。
Ｉ＝ρＬＳｎ

上式において、
ρ：アルベド
Ｌ：照明の明るさ
Ｓ：照明方向行列
ｎ：表面の法線ベクトル
Ｉ：画像の階調値

上式から、照明手段が３つの場合、次式で表すことができる。

また照明手段が４つの場合は、次式で表すことができる。

（法線ベクトルｎ）

上式より、法線ベクトルｎは、次式で表現できる。
ｎ＝１／ρＬ・Ｓ⁺Ｉ

上式において、
Ｓ⁺：正方行列であれば、普通の逆行列
Ｓ⁺：縦長行列の逆行列は以下の式で表現されるムーアペンローズの擬似逆行列
Ｓ⁺＝（Ｓ^tＳ）^-1Ｓ^t
で求める。
（アルベド）

さらにアルベドρは、次式で表現できる。
ρ＝｜Ｉ｜／｜ＬＳｎ｜
（２−２．輪郭抽出画像）

次に、フォトメトリックステレオ法で傾き画像を生成すると共に、得られた傾き画像から、傷や輪郭等のワークの表面情報を得る方法について説明する。
（傾き画像）

まず、傾き画像の生成方法について説明する。ワークの曲面をＳとするとき、傾き画像は次式で与えられる。
ｘ方向：δｓ／δｘ、ｙ方向：δｓ／δｙ

ここで傾き画像の例として、ワークとして一円玉を用いた例を図１４Ａ、図１４Ｂに示す。図１４Ａは、法線方向のＹ座標成分画像、図１４Ｂは法線方向のＸ座標成分画像である。ここでは、４つの照明方向から撮像した部分照明画像を用いて、Ｙ方向（図において垂直方向）に微分することで図１４Ａに示す傾き画像を、またＸ方向（図において水平方向）に微分することで図１４Ｂに示す傾き画像を図１４Ｂを、それぞれ得ている。

ここで、傷や輪郭等はワーク表面の傾きが変化する箇所なので、傾き画像をそれぞれの方向に微分する。第２次の傾き画像は、次式で与えられる。
ｘ方向：δ²ｓ／δｘ²、ｙ方向：δ²ｓ／δｙ²
（輪郭抽出画像）

以上から、ｘ方向、ｙ方向の傾き画像の部分δ²ｓ／δｘ²、δ²ｓ／δｙ²を合成して、ワークの輪郭や傷情報を含む輪郭抽出画像を生成する。輪郭抽出画像Ｅは、次式で与えられる。
Ｅ＝δ²ｓ／δｘ²＋δ²ｓ／δｙ²

上式において、Ｅは輪郭情報、Ｓはワークの曲面をそれぞれ示している。図１４Ａ、図１４Ｂから演算された輪郭抽出画像の例を、図１４Ｃに示す。輪郭抽出画像は、高い部分が白色、低い部分が黒色となるように、画像の濃淡（輝度）で高さを表現している。
（微分合成方法）

以上のような輪郭抽出画像の生成に際して行われる微分合成方法としては、（１）単純加算、（２）多重解像度、（３）二乗和等が挙げられる。
（１：単純加算）

ここで（１）の単純加算は、各画素におけるＸ，Ｙ傾き画像の微分の和である。
（２：多重解像度）

また（２）の多重解像度は、傾き画像を異なる縮小率で縮小した縮小傾き画像を複数作成し、それぞれの縮小傾き画像において、（１）の方法で輪郭の強さを求める。縮小率は、例えば１／１、１／２、１／４、１／８、１／１６、１／３２等とする。このようにして得られた複数の縮小輪郭画像に対して、所定の重み付けを行い、拡大処理を行い、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とする。ここで重み付けを変更すれば、任意の太さの傷や輪郭等を抽出することが可能となる。
（３：二乗和）

さらに（３）の二乗和では、Ｘ，Ｙ傾き画像の微分の二乗の和を輪郭の強さとする輪郭抽出画像を作成する。なお、本実施形態においては、（２）の多重解像度を採用している。

如何なる大きさを傷として判断するかは、ユーザの用途によって異なる。例えば、１０ピクセルに跨がったものを傷として判断する場合もあれば、１００ピクセルに跨がっている凹んだものを傷として判断する場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。

傾き画像の画素数が大きいと処理上は大きな傷となるため、大きな傷を抽出したければ、傾き画像を縮小してから（１）の方法で輪郭の強さを求めてから拡大する。一方、小さな傷を抽出したければ、重み付けをせずに（１）の方法で微分合成をすればよい。

すなわち、重み付けは、合成するときに予め決められた重みのセットを用意しておき、縮小傾き画像を上記の全種類作成し、大きい傷を見たければ、より縮小した画像からの結果を重くし、小さい傷を見たければ、縮小を弱めた画像からの結果を重くする。

ここで、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とするのは、傷は、通常、複数の周波数に跨がって検出されるため、例えば一つの周波数に限定すると、その限定した周波数で検出される傷だけを抽出してしまい、全体的にぼやけてしまうからである。
（特徴サイズ）

前述した重みのセットは、例えば、特徴サイズというパラメータを設けて、この値が１のときに一番細かい傷が検出でき、この値を上げていくと大きな傷が検出できるようにする。特徴サイズを大きくしていき、より大きな傷が検出し易い状態になったとき、ワーク表面の凸凹がより明瞭となる。そこで、特徴サイズに所定の閾値を設けて、その閾値以上になった場合を凹凸モードとして、輪郭抽出画像の特徴サイズによって、輪郭抽出モードと使い分けるようにしてもよい。

次に、δ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法について説明する。この計算方法としては、（１）前進差分や、（２）中央差分等が挙げられる。
（１：前進差分）

前進差分においては、水平方向の傾き画像Ｇｈ、垂直方向の傾き画像Ｇｖを入力として、輪郭画像Ｅの座標（ｘ、ｙ）における画素Ｇ（ｘ，ｙ）を、次式で計算する。

Ｅ（ｘ，ｙ）＝Ｇｈ（ｘ−１，ｙ）−Ｇｈ（ｘ，ｙ）＋Ｇｖ（ｘ，ｙ−１）−Ｇｖ（ｘ，ｙ）

ここで、輪郭画像に表れる傷の情報を、模式的なプロファイルとして図１５Ａ〜図１５Ｄに示す。これらの図において、図１５Ａはワークの表面情報、図１５Ｂは傾き画像、図１５Ｃは前身差分による輪郭画像、図１５Ｄは中央差分による輪郭画像のプロファイルを、それぞれ示している。（１）の前進差分では、図１５Ａ、図１５Ｃに示すように、１ピクセル単位の傷が明瞭に見えるというメリットがある。一方で、元画像に対して０．５ピクセルずれた画像が得られてしまうというデメリットもある。
（２：中央差分）

次に中央差分によるδ²ｓ／δｘ²及びδ²ｓ／δｙ²の計算方法について説明する。水平方向の傾き画像Ｇｈ、垂直方向の傾き画像Ｇｖを入力として、輪郭画像Ｅの座標（ｘ、ｙ）における画素Ｇ（ｘ，ｙ）を、次式で計算する。

Ｅ（ｘ，ｙ）＝Ｇｈ（ｘ−１，ｙ）−Ｇｈ（ｘ＋１，ｙ）＋Ｇｖ（ｘ，ｙ−１）−Ｇｖ（ｘ，ｙ＋１）

（２）の中央差分は、図１５Ａ、図１５Ｄに示すように、座標が元画像とずれないメリットがある一方で、結果が少しぼけてしまうというデメリットもある。
（２−３．テクスチャ抽出画像）

次に、フォトメトリックステレオ法で得られた傾き画像から、ワークの表面状態を除去して、文字の検出等に好適なテクスチャ抽出画像を得る方法について説明する。まず、テクスチャ情報は、ワークの表面のアルベドρから計算する。アルベドρは、次式で与えられる。

ρ＝｜Ｉ｜／｜ＬＳｎ｜

上式において、
ρ：アルベド
Ｌ：照明の明るさ
Ｓ：照明方向行列
ｎ：表面の法線ベクトル
Ｉ：画像の階調値

なお上記ρ＝｜Ｉ｜／｜ＬＳｎ｜の式でテクスチャ抽出画像（アルベド）を１枚求めることができるが、この式で得られた法線ベクトルとＮ枚の入力画像（部分照明画像）から、テクスチャ抽出画像（アルベド）をＮ枚求めてこれを合成し、一枚のテクスチャ抽出画像（アルベド）を求めることもできる。具体的な合成の方法としては平均法、ハレーション除去法等が挙げられる。

図１６Ａ〜図１６Ｃに、テクスチャ出画像の例を示す。これらの図において、図１６Ａは入力画像である４枚のテクスチャ抽出画像を示しており、図１６Ｂはこれらに対して平均法を適用したテクスチャ抽出画像、図１６Ｃはハレーション除去法を適用したテクスチャ抽出画像を、それぞれ示している。
（１：平均法）

平均法は、画素毎にＮ個のρの平均値をその画素における画素値とするものである。図１６Ｂに示すように、全体の陰影は消えているものの、入力画像中でハレーションが生じている部分は、フォトメトリックステレオ法で消せないため、ハレーションの影響が残った画像となる。すなわち図１６Ａの４つの入力画像（部分照明画像）の内、白くなっている箇所がハレーションを起こしている箇所であり、平均法によって平均化すると、図１６Ｂに示すように、ある程度凸凹が取れて、読み易くはなるものの、若干下地に凸凹が残ってしまう。
（２：ハレーション除去法）

撮像手段であるカメラのダイナミックレンジの制限やワーク表面の反射性の多様性のため、上記ρ＝｜Ｉ｜／｜ＬＳｎ｜の式そのものがその適応範囲を超えているため、ρに誤差が含まれる。この誤差を補正するために、ハレーション除去法が利用できる。

ハレーションが起きる箇所は照明の位置で決まるため、基本的には、４つの部分照明画像において、同じ箇所ではハレーションは起きないと考えられる。厳密にいえば、２つの方向の間ではハレーションが２カ所に跨がってしまうことがあるものの、基本的には、２つの照明でしか同じ箇所ではハレーションは生じないと言える。

ハレーション除去法では、Ｎ枚の部分照明画像から計算した照明方向別テクスチャ抽出画像を合成する際に、各画素において一番画素値が高い部分照明画像、又は一番目〜Ｎ番目に画素値が高い部分照明画像はハレーションが多いと考えて、それらを除去した上で合成を行う。

具体的には、本実施形態において４つの照明方向別テクスチャ抽出画像の各画素について、３番目に大きい画素値（例えばアルベドの値や輝度）を採用して合成すると、図１６Ｃの画像のようになり、ハレーションの影響を除去することができる。なお４番目に大きい画素値を採用すると、影の影響が生じるため若干暗い画像となる。逆に２番目に大きい画素値を採用すると、ハレーションの影響が若干残ってしまう。

また照明手段が８方向の場合は、５番目以降の画素値にはハレーションの影響は発生しないと仮定して、上から５番目の画素値を採用している。実際、発明者が行った試験によれば、５番目の画素値を採用すると、画像が最も良くなることが確認された。また６番目以降の画素値を採用すると影の影響が出てくることも判明した。

なお、合成の方法や平均の取り方は、これらに限定されず、種々の方法が利用できる。例えば、上述したハレーション除去法と平均法とを組み合わせて、アルベドの値をソートして、上から特定の順番の値を採用し、例えば３番目と４番目とを平均化してもよい。
（特徴サイズ）

次に、設定の詳細について説明する。上述の通り、輪郭抽出画像を作成する際に、特徴サイズを設定できる。輪郭抽出画像は、特徴サイズを所定値以上にすることで、ＯＣＲに適した画像とできる。
（３−２．ゲイン）

輪郭抽出画像やテクスチャ抽出画像を作成する際には、これらの画像の生成過程において元の画像の画素値に対してゲインを乗算することができる。

輪郭抽出画像を作成するときのゲインは、計算処理で算出された画素値を、０〜２５５の濃淡に分散させるときの定数をいう。例えば、傷や輪郭等が浅すぎて、傷や輪郭等を把握し難いときにこのゲインの値を上げることによって、画素値の濃淡変化が大きくなるため、傷や輪郭等が把握し易くなる。

また、計算処理で算出された画素値が、０〜２５５の範囲を超えていれば、その間に収まるようにし、小さければ、０〜２５５の範囲に広げるように調節することで、傷や輪郭等が把握し易くなる。

上述したハレーション除去法では、アルベドの値をソートして上から例えば３番目を採用するため、生成した画像の明るさが予測できない。このため、正反射が取り除かれた結果、予測に反して暗くなることがある。そこで、明るさを調節するために、テクスチャ抽出画像を作成する際には所定のゲインを、画素値に掛ける。

なお、傾き画像の計算に際しても、画素値が０〜２５５の範囲に収まるように、同様にゲインで調節することもできる。
（３−３．ノイズ除去フィルタ）

傾き画像の作成等に際しては、複数枚の画像を使って連立方程式で計算するところ、実際には差分的な計算をすることになる。この際、撮像手段で撮像した画像データは、生データの時点でノイズが存在しているため、傾き画像を作成する際に、ノイズ成分が強調され、輪郭がざらざらすることがある。このようなノイズを軽減するために、ガイデットフィルタ（Guided Filter）等のノイズ除去フィルタを利用する。一般的なローパスフィルタでは、ノイズのみならず傷の情報もなまったり消えたりしてしまうことがあるが、ガイデットフィルタであれば、傾き画像を求める際にガイデッドフィルタを適用することで、エッジを維持したままノイズを除去でき、好適である。
（３−４．アングルノイズ低減）

次に、アングルノイズ低減の原理を、図１７の模式図に基づいて説明する。この図に示すように、入射角がα，βという２つ照明があり、ワークＷＫが拡散反射面からなると仮定して、ワークＷＫの基準面に対する傾きをγ、基準面に垂直な向きからの角度をθ、照明αからの反射光の明るさをＩ_α、照明βからの反射光の明るさをＩ_βとしたとき、γは次式で与えられる。

γ＝ａｒｃｔａｎ（Ａ・｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜），Ａ＝ｃｏｔθ

アングルノイズ低減は、｜Ｉ_β＋Ｉ_α｜がある程度小さいときに、強制的に傾きγを０とするものである。

仮に、Ｉ_βもＩ_αも極めて暗く、例えば、Ｉ_β＝２、Ｉ_α＝１だとすると、｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜＝１／３という大きな値となる。一方、Ｉ_βもＩ_αも明るく、例えば、Ｉ_β＝３００、Ｉ_α＝２００だとすると、｜Ｉ_β−Ｉ_α｜／｜Ｉ_β＋Ｉ_α｜＝１／５という小さな値となる。Ｉ_β＝２、Ｉ_α＝１というのは、単にノイズという可能性があるにも拘わらず、傾きに大きく反映されてしまうため、そのノイズの影響を軽減するために、アングルノイズ低減があり、強制的に傾きを０とする｜Ｉ_β＋Ｉ_α｜の閾値を設定できるようになっている。
（照明手段と撮像手段との分離型構造）

フォトメトリックステレオ法を利用した画像検査においては、照明手段と撮像手段との対応位置を予め厳格に規定しておく必要がある。このため、従来の画像検査装置では、照明手段と撮像手段を一体に構成していた。いいかえると、フォトメトリックステレオ法では、撮像手段と照明手段の相対位置を厳密に位置決めした上で正確な三次元計測を行う計測手法であることから、元来、照明手段と撮像手段の設置に際して設置位置の自由度を与えるということは従来行われていなかった。しかしながら、照明手段と撮像手段とを予め固定する構成では、これらの部材が一体化された撮像照明ユニットが必然的に大型化するため、取り回しが悪くなる。

例えば検査位置に障害物が存在すると、撮像照明ユニットと干渉して、設置できない事態が生じ得る。特に、撮像手段の一形態であるカメラに装着するレンズには、例えばラインカメラやズームレンズ、大型のマクロレンズのように、大きなサイズのものがある。このような大型のレンズを撮像手段に装着する等、撮像手段が長大化するほど、図１８において矢印で示すように、ワークＷＫの周囲に存在する障害物ＯＳとカメラｅ１又はその周囲に配置された照明用の光源ｅ２１〜ｅ２４と干渉するリスクが高くなる。さらに撮像手段であるカメラｅ１が長大化すると、図１９に示すようにカメラｅ１やレンズの一部で照明光が部分的に遮られて、ワークＷＫに影を落とす等、照明に支障を来すことも考えられる。このような事態を回避するために、撮像照明ユニットを障害物と干渉しない位置まで遠ざけて配置しようとすれば、照明手段とワークとの距離（ライトワーキングディスタンス（Light Working Distance：ＬＷＤ））が遠くなることから、照明光の光量が減少して、検査精度の低下に繋がる。

これに対して、撮像手段と照明手段を分離することができれば、障害物と干渉しない位置に配置しやすくなる。例えば上述した図１８に示す障害物ＯＳが存在する場合でも、照明手段２１〜２４を撮像手段１１から離間させることで、図２０に示すように、干渉しない位置に照明手段２１〜２４を設置することが可能となる。同様に、撮像手段に大型のレンズを装着する場合でも、レンズ１２と照明手段２１〜２４との物理的干渉を回避するように調整可能である。このように、照明手段２１〜２４と撮像手段１１とを分離型とすることで、障害物と干渉しない位置に調整する等、設置の自由度を高め、様々な環境でワークＷＫを検査することが可能となる。

また撮像手段が照明光を遮らないように、照明手段の取り付け位置等を調整することも可能となる。同様に、ハレーションや影の影響を抑制するように照明手段の配置位置を調整することも可能となる。特にフォトメトリックステレオ法では、ワークの表面が拡散反射面であることを前提にしているため、一般に、実際のワークの面とフォトメトリックステレオ法によって得られた傾き画像における面の法線ベクトルはズレてしまう。そこで、二階微分処理を行う等の対策が取られているが、このような方策に加え、照明手段を設置する際に、ハレーションを回避できる姿勢に調整することで、このようなズレを少なくすることができる。また、鏡面と同様に、明るさが変化してしまうような大きな凸凹では、ハレーションが悪影響を及ぼすようになる。例えば、ワークが円筒型の場合は、照明光を照射すると鏡面反射が生じるが、ここで凸凹が存在すると、鏡面反射の影響を少なからず受けるようになる。よって、照明光の設置位置や角度に自由度を与えることは、このような鏡面反射を低減するように予め調整することを可能にし、ひいては検査精度の向上に繋がる利点が得られる。

さらにフォトメトリックステレオ法では、影の影響を考慮する必要がある。フォトメトリックステレオ法は、照明の反射光から法線ベクトルを算出するため、反射光の検出が必須となる。しかし、例えばワークが複雑な形状で陰影が着き易いような場合に、このワークの近傍に照明手段を設置すると、光が届かない箇所からは適切な反射光が得られず、法線ベクトルの算出に支障を来すことがある。このような場合であっても、照明手段２１〜２４と撮像手段１１との分離させたことで、照明手段２１〜２４を最適な位置や角度に設置して、このような影響を抑えることができる。

加えて、照明手段を撮像手段から分離したことで、照明光の高さを変更可能となる。この結果、ワークＷＫと照明との距離ＬＷＤ（Light Working Distance）を小さくしたり、逆に大きくしたりする検査が可能となり、検査用途に応じた適切な配置を選択できるようになる。
（１：ＬＷＤを小さく取った場合）

ＬＷＤを小さく取ると、図２１Ａに示すように、照明手段２１〜２４からの光が横方向から多く当たることになる。一般にハレーションが発生するのは、入射角と反射角が同じ場合であるから、照明手段２１〜２４とワークＷＫとを接近させてＬＷＤを小さくすることで、ハレーションの発生する位置を、ワークＷＫの外側近傍とすることができる。言い換えると、ワークＷＫの外側で意図的にハレーションを発生し易くして、ワークＷＫの表面近傍でのハレーションを抑制できる。これにより、ワークＷＫの有効視野を増加させることができる。

また、ＬＷＤが小さい場合は、ローアングルでの照明となる。例えば上方からの直接照明では光が拡散して認識が困難なワーク表面上の凹凸でも、斜め側面から照射することで、小さい傾きの変化でもコントラストを大きく変化させて、浅い凸凹の変化を捉え易くできる。このようにローアングルでコントラストを強調することにより、フォトメトリックステレオ法において傾き画像や輪郭抽出画像をより鮮明にできる利点が得られる。

一方で、ＬＷＤを小さく取った場合のデメリットとしては、浅い角度で照明光を照射することにより、影が生じ易くなるため、有効視野が減少し、フォトメトリックステレオ処理が困難となることがある。また、照明手段２１〜２４とワークＷＫが干渉し易くなるため、高さの大きいワークＷＫに対しては利用が制限されることがある。
（２：ＬＷＤを大きく取った場合）

逆にＬＷＤを大きく取ると、図２１Ｂに示すように、照明手段２１〜２４からの照明光が上方向から多く照射されることになる。これによって影が生じ難くなるので、見えない領域が減少し、フォトメトリックステレオ処理の精度が向上する。また、照明手段２１〜２４とワークＷＫが干渉し難くなるため、高さの大きいワークＷＫに対しても好適に利用できる。

一方で、ハレーションの発生する位置がワークＷＫの内側となるので、有効視野が減少してしまうことがある。またＬＷＤを大きい場合は、マルチアングル方式の照明においてＬＷＤが遠い場合に相当し、コントラストが出難いため、ワーク表面の浅い凸凹の変化を捉え難いこともある。一方で、マルチアングル方式の照明により、ＬＷＤが遠い場合には、照明手段２１〜２４の写り込みや照度ムラの少ない均一な撮像状態を作り出し、ワークＷＫそのものの表面状態を明確に捉えた画像を得ることができる。

このように、撮像手段と照明手段を分離したことで、様々な目的や用途の検査に対応でき、また配置の自由度を高められるといった利点が得られる。特に法線ベクトル算出手段で算出される法線ベクトルは、撮像手段の光軸方向における、撮像手段と照明手段との相対距離の変化に応じて、その法線ベクトルの強度が変化する依存性を有している。すなわち、照明手段の光量が等しい場合、相対距離が近いほど法線ベクトルの強度が強くなり、距離が遠いほど、法線ベクトルの強度が弱くなる傾向がある。法線ベクトルの強度が強いほど、ワーク表面の傾き（凹凸形状）がより明確に現れるため、得られる検査画像の精度も向上する。このため従来のフォトメトリックステレオ法においては、精度向上のため、法線ベクトルの強度が強く得られるよう、予め撮像手段と照明手段の相対位置を厳格に規定していた。すなわち、撮像手段と照明手段を予め固定しておくことで、得られる法線ベクトルの強度を高めることが行われていた。

一方、ワーク表面の傷やＯＣＲといった外観検査においては、必ずしも高い精度が求められておらず、例えば傷の有無が判別できる程度、あるいは数字や文字がＯＣＲできる程度に検出できれば足りることが多い。このような用途においては寧ろ、精度よりもカメラやライトの設置の自由度を高めることの方がユーザ側にとってメリットが大きい。そこで本実施の形態においては、法線ベクトルの強度を高めることを主眼とするのでなく、寧ろ法線ベクトルの強度を低下させることを許容し、必要な外観検査の精度が十分得られるレベルを維持しつつ、その代償として、照明手段と撮像手段の固定という制約から開放された、より自由度の高いライトやカメラの設置を可能とすることで、ユーザの利便性を向上させることに成功したものである。

その一方で、照明手段と撮像手段とを別体に構成してフォトメトリックステレオ法で画像検査を行う場合は、照明手段と撮像手段との相対的な位置関係を明確に設定する必要がある。もし、設定された照明方向と、実際の照明方向とが大きく異なる場合は、検査精度が低下したり、誤った結果が出力されてしまう虞がある。例えば撮像手段と照明手段の設置時に、ユーザが、多数ある照明手段の接続を間違えたり、方位角を全体的にずらして設置してしまうと、正確な検査ができなくなることが考えられる。

例えば、図２２に示すように、ワークの上方において、ワークを配置した鉛直線上に撮像手段を配置し、さらにワークの周囲を囲むように、東西南北に照明手段を各々配置する場合を考える。このような配置において、フォトメトリックステレオ法を用いてワークの高さ形状を取得する場合、各照明手段や照明ケーブルの形状が共通の場合は、接続や配置の取り違えが生じうる。具体的には、照明分岐ユニットに設けられた照明接続コネクタに、所定の照明ケーブルを接続するよう構成されているところ、各照明ケーブルは形状を共通にすることが一般的であり、また照明接続コネクタも同様に形状が共通であることから、照明ケーブルを誤った照明接続コネクタに接続することが起こり得る。特に、照明ケーブルを長く引き回すと、取り違えが起こりやすい。また照明手段をワークの周囲上方に設置する際にも、同じ形状の照明手段を取り違えて固定することが考えられる。

あるいは図２３に示すように、リング状の照明手段を配置する例においても、照明光の方向と撮像手段の回転角度を一致させる必要がある。この場合において、撮像手段や照明手段が円筒状や円環状のように点対称の形状である場合は、その回転角度が判り難く、位置合わせが容易でない。この結果、回転位置が所期の位置からずれることがある。特に、ワークの表面の形状といった特徴量は、回転角度や配置位置等の設定が多少誤っていても、ある程度検出されることから、ユーザが照明手段の設置ミスに気付き難いという特有の事情もあった。さらに、完全に照明手段を取り違えていたような場合ならば比較的設定ミスに気付きやすいものの、少し回転角度がずれていた程度の設定ミスであれば、ユーザが気付くことは困難であり、精度の低下に繋がるという問題があった。

そこで本実施の形態においては、フォトメトリックステレオ法で複数の異なる照明方向から照明した部分照明画像を取得する際に、照明手段の照明方向や点灯順が意図した設定通りとなるように、設置時に正しい設定となるよう補助するための設置補助手段を設けている。具体的には、図１において、各照明手段を照明制御手段と接続する際、照明方向と点灯順が合致するように、所定の設置設定に沿って適切な接続先をユーザに示す。あるいは、照明手段の円周方向の姿勢（回転位置又は回転角度）が一致するように、照明手段の設置時に正しい姿勢ユーザに指示する。これによって、設置時のミスを防ぎ、フォトメトリックステレオ法を用いたワークの外観検査を精度よく行うことができる。
（設置設定）

ここで設置設定とは、フォトメトリックステレオ法に従い法線ベクトルが正しく算出されるよう、各照明手段の数に応じて、ワークに対して所定の照明方向から照明光を照射できるように設置する設置位置を規定した設定である。例えば図２の平面図に示すように、４つの照明手段を使用する例では、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４の４つを、ワークを中心とした周囲（東西南北）に配置すべく、設置設定は、第一照明手段２１を北、第二照明手段２２を東、第三照明手段２３を南、第四照明手段２４を西にそれぞれ配置するという、照明の設置位置情報となる。また設置設定に、照明制御手段による照明手段の点灯順や撮像手段の撮像タイミングを含めてもよい。
（設置補助手段）

以下、設置補助手段の具体例を説明する。図１に示す例では、撮像手段１１や照明手段２１〜２４、照明分岐ユニット７５を、フォトメトリックステレオ処理を適切に行える所期の接続形態となるように、言い換えると誤った接続や配置とならないように、設置補助手段でもって接続先を表示する。例えば、接続部分に、特定の方向や照明の配置の回転角を示す設置表記を表記したり、あるいは接続すべきコネクタや端子同士に、設置表記の文字、記号やその他のマーク、形状や色等、共通性や対応性を持たせることによって、視覚的に配置位置や方向、回転角度や接続先等を示す。このように、設置補助手段で相互の接続作業を補助することで、ユーザは設置表記を参照して、相互の接続先の対応関係を視覚的に把握できる。以下、図２４〜図３４に、設置補助手段の具体例を示す。
（第一実施例）

図２４は、図２に示した第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４からそれぞれ延長された第一照明ケーブル７１、第二照明ケーブル７２、第三照明ケーブル７３、第四照明ケーブル７４を、照明分岐ユニットにそれぞれ接続する様子を示している。照明分岐ユニットは、各照明ケーブルをそれぞれ接続するための照明接続コネクタを設けている。各照明接続コネクタに照明ケーブルを接続することで、照明制御手段３１から所定の点灯タイミングで給電され、照明手段を点灯させることができる。この場合に、誤って照明ケーブルを本来と異なる照明接続コネクタに接続すると、照明タイミングや方向が異なって部分照明画像が撮像される結果、正確な検査が行えなくなるおそれがある。そこで、設置補助手段として照明接続コネクタに、接続先の照明コネクタを示す第一設置表記を設けることで、ユーザに接続先の照明コネクタを示し、誤接続を回避できる。ここでは、第一照明ケーブル７１の接続先である照明接続コネクタには「１」と表記することで、ユーザは視覚的に第一照明手段の接続先を確認できる。また好ましくは、各照明手段から延長された照明ケーブルの接続端にも、接続先に関する情報を示す第二設置表記を設ける。図２４の例では、第一照明手段から延長された第一照明ケーブルの接続端に、第二設置表記として「１」を表記している。これによってユーザは、照明接続コネクタの「１」と第一照明ケーブルの「１」とを対応させて接続することにより、接続の正確性を一層確実にできる。このように照明接続コネクタ側に設けた第一設置表記と、接続ケーブル側に設けた第二設置表記とを一致させることで、接続作業のミスを更に低減して、検査の信頼性を向上できる。同様に、第二照明ケーブル７２、第三照明ケーブル７３、第四照明ケーブル７４や、その接続先の照明接続コネクタにも、このような第二設置表記、第一設置表記をそれぞれ設けることができる。なお、照明分岐ユニットと照明制御手段を一体化してもよいことは上述の通りである。

さらに、設置補助手段は、照明ケーブルと照明手段との接続にも適用できる。すなわち、図２５に示すように、第一照明手段に第一照明ケーブル７１を接続するインターフェース部分においても、同様に設置補助手段として、配線の対応関係を示す設置表記を付してもよい。ここでは、第一照明手段の、第一照明ケーブルを接続するコネクタ部分に、第三設置表記として「１」を表記させている。また第一照明ケーブルの端縁にも、「１」を表記させている。これによって、第一照明手段と第一照明ケーブルとの配線作業に際しても、配線の取り違えを回避できる。特に、複数の照明手段が同じ形状であったり、照明ケーブルが長いような場合、いいかえると配線ミスが起こりやすいような環境でも、確実に配線して検査精度の信頼性が高められる。なお、図２５の例では図示を簡素化するため第一照明手段と第一照明ケーブルの接続のみを示しているが、第二照明手段〜第四照明手段についても同様であることはいうまでもない。また以上の例では、各照明ケーブルは照明手段及び照明分岐ユニットと挿抜式としているが、照明ケーブルを照明手段又は照明分岐ユニットと直付けにした構成においても、本実施形態を適用できる。さらに設置表記として、以上の例では数字を用いたが、文字や記号、マーク、色等、目視可能な表記を適宜採用できる。また複数の表記を組み合わせてもよい。例えば赤色の１、青色の２、緑色の３、紫色の４のように、色と数字を組み合わせて設置表記を構成すれば、配線関係が一層明確になる。さらには目視のみに限らず、これに加えてあるいはこれに代えて、点字等、触覚で認識可能な設置表記を適用してもよい。特に、接続部分が微細であったり、印字や刻印が物理的に困難な場合、あるいは狭い場所や暗い場所の設置等、目視による確認が困難な場合に好適に利用できる。
（第二実施例）

以上の例では、設置補助手段でもって、各照明手段を照明制御手段に配線する作業を補助する例について説明した。この場合は、設置補助手段を照明手段や照明ケーブルに設けている。ただ設置補助手段は、これに限らず、照明手段を正しい位置に設置する作業の補助にも適用できる。この場合は、設置補助手段を、撮像手段や照明手段に設けることができる。このような例を図２６の模式平面図に示す。この例では、円弧状に形成された第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４を、平面視において撮像手段の周囲（ここでは東西南北）に配置している。上述の通り、各照明手段の形状が同じ場合は、照明手段の設置に際して取り違えが生じ得る。そこで、設置補助手段として照明手段の配置を撮像手段に表記することで、この表記に従って配置し、取り違えを回避できる。ここでは、各照明手段の上面に異なる色を着色すると共に、撮像手段の上面にも、第四設置表記として各照明手段と対応する部位に同じ色を着色している。この例では、第一照明手段２１を赤色、第二照明手段２２を青色、第三照明手段２３を緑色、第四照明手段２４を紫色に、それぞれ着色している。これによってユーザは照明手段の設置作業に際して、撮像手段に設けられた第四設置表記に従って、照明手段を区別でき、さらに設置後においても正しく照明手段が設置されたかどうかを視覚的に容易に確認できるので、照明手段の取り違えミスを防止できる利点が得られる。

またこの例は一例であって、各照明手段を着色する色は任意に変更できる。また色に限らず、パターンや模様、記号、数字や文字等の表記でもって区別することも可能である。さらにこのような表記を設ける位置も、照明手段や撮像手段の上面の他、側面や底面とすることもできる。さらにまた設置補助手段を撮像手段に設ける構成に限らず、例えばワークを載置するステージや画像検査装置の筐体等、他の部位に設置補助手段を設けてもよい。

なお、各照明手段から引き出された照明ケーブルと照明分岐ユニットとの配線作業においても、上記と同様に設置補助手段でもって配線先の正しい組み合わせを表示して、配線作業のミスを防止し、また配線後の確認作業を容易に行うことができる。
（第三実施例）

以上の第二実施例では、三以上の照明手段をワークの周囲に環状に配置する際の、相対的な設置位置を設置補助手段でもって確認する例を説明した。一方で照明手段は、上述の通り予め環状の照明ユニットとして一体的に構成することも可能である。このような場合においても、図２３に示すように、環状に構成された環状照明ユニット２０を撮像手段に対する相対的な回転位置すなわち回転角度を調整して固定しなければ、正確なフォトメトリックステレオ処理結果を得ることができない。特に円環状の環状照明ユニット２０が点対称な形状の場合は、回転位置が決まらないため、その調整作業も困難であった。このような場合においても、設置補助手段でもって環状照明ユニットと撮像手段の相対的な回転位置を位置決めすることができる。例えば、図２７に示すように、設置補助手段として、環状照明ユニット２０を構成する第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４の境界部分にラインや継ぎ目を表示する。これによって、各照明手段が占める領域が明確になる。また撮像手段にもこれに対応させて、上面にラインを表示させる。このような設置補助手段を設けることで、撮像手段と環状照明ユニット２０の回転位置を規定し、さらにこれらを位置決めさせることが容易となる。

さらに、このままでは環状照明ユニット２０が４５°単位で回転しても判別できないので、基準となる位置を明確にする。例えば第一照明手段に着色することで、環状照明ユニット２０の姿勢が明確となり、４５°単位でずれる事態を回避できる。またこれに対応させて、撮像手段の上面にも同様に、着色された第一照明手段と対応する部位に、同様の着色を付すことが好ましい。これによって、着色された領域同士を合致させるようにして、環状照明ユニットの回転角度を容易に確定できる。

また上記は一例であり、設置補助手段は環状照明ユニットの回転位置を規定できる他の表記を適宜採用できる。例えば図２８に示す変形例のように、環状照明ユニット２０の基準となる位置にラインを表示させ、このラインを天頂に位置させるように規定しておくことで、点対称な環状照明ユニット２０でも正確に位置決めできるようになる。また、基準位置を示す表記は、ラインに限らず、他のマークや文字、模様等任意のパターンが利用できる。例えば図２９の例では、矢印でもって天頂となる位置を表示させている。

また基準位置は一箇所だけとする例に限らず、複数設けてもよい。例えば図３０に示すように、各照明手段と対応する領域に異なるマークをそれぞれ表示させてもよい。また各マークと対応させて、照明分岐ユニットの照明接続コネクタにも、これらのマークと対応させて同様のマークを表示させることで、各照明手段から引き出された照明ケーブルの配線の区別としても利用できる。

また、表記はマークに限らず、文字や色、模様等、任意のパターンが利用できる。例えば図３１の平面図に示す例では、方位を示す文字Ｎ、Ｅ、Ｓ、Ｗを表示させている。また撮像手段１１や照明分岐ユニット７５にも、同様に方位を示す文字を付加している。これによって、フォトメトリックステレオ処理の設定に従った位置決めや配線を容易に行うことができる。

また図３２の平面図に示す例では、各照明手段と対応する部位に、着色したマークを表示させている。この例では第一照明手段２１に赤色のマーク、第二照明手段２２に青色のマーク、第三照明手段２３に緑色のマーク、第四照明手段２４に紫色のマークを、それぞれ付している。また撮像手段１１や照明分岐ユニット７５にも、同様のマークを付すことで、位置決めや配線の作業や確認を容易に行うことができる。

さらに、基準位置を確定する方法として、基準を示す表記を設ける構成の他、物理的な形状を点対称で無くすことにより、外形から姿勢を明確にする方法も採用できる。例えば図３３に示す例では、環状照明ユニット２０の一部に三角形状の突起部を設け、この突起部を基準として天頂の位置に合わせるよう構成することで、位置決めを行うことができる。また撮像手段１１や分岐ユニット７５にも、同様の突起部を形成することにより、これらの姿勢や配線も合致させることができる。また照明手段２１〜２４や照明分岐ユニット７５の形状は、平面視円形に限られず、矩形状や多角形状等、任意の形状が利用できる。例えば図３４に示す例では、矩形状としている。また突起部も、基準となる位置や方向を示す目印の役割を果たすことができれば足り、凹部等、任意の形態が適用できる。

なお、上述した図２７の例では、第一照明手段２１、第二照明手段２２、第三照明手段２３、第四照明手段２４を一体化した環状照明ユニット２０から、照明ケーブルを各照明手段と対応させて引き出しているが、一体化した環状照明ユニット２０においては、照明ケーブルを纏めてもよい。これによって配線作業を省力化して取り違えを回避し、また配線自体を簡素化できる。図２８、図２９は、このような配線の例を示している。
（画像検査方法）

ここで、画像検査装置１を用いてワークの外観検査を行う画像検査方法の手順を、図３５のフローチャートに基づいて説明する。

ステップＳＴ１では、画像処理部４１は、照明制御手段３１を介して、照明手段２１、２２、２３、２４に対してトリガ信号を発し、照明手段２１、２２、２３、２４は、トリガ信号に応じて順に１つずつ点灯する。

ステップＳＴ２では、撮像手段１１は、各照明手段２１、２２、２３、２４が点灯する都度作動して、ワークＷＫを撮影する。

ステップＳＴ３では、撮像手段１１は、ワークＷＫが撮影された４つの画像信号Ｑ１〜Ｑ４を画像処理部４１に転送する。

ステップＳＴ４では、画像処理部４１は、撮像手段１１から入力された４つの画像信号Ｑ１〜Ｑ４を用いて、画像信号Ｑ１〜Ｑ４毎に、各画素における面の法線ベクトルを計算する。

ステップＳＴ５では、画像処理部４１は、画像信号Ｑ１〜Ｑ４毎に、後段の処理で必要となる、１／１、１／２、１／４、１／８、１／１６、１／３２にそれぞれ縮小した縮小傾き画像を作成する。また、画像処理部４１は、画像信号Ｑ１〜Ｑ４毎に、後段の処理で必要となる、テクスチャ抽出画像を作成しておく。

ステップＳＴ６では、必要に応じて特徴サイズの調整を行う。特徴サイズを変化させることで、凹凸抽出画像において抽出される凹凸の大きさが変わる。具体的には特徴サイズを大きくすると、大きなサイズの凹凸が抽出された凹凸抽出画像が得られる。逆に特徴サイズを小さくすると、小さなサイズの凹凸が抽出される。したがってユーザは、抽出したい傷の大きさに応じて特徴サイズを調整する。あるいは、ＯＣＲ用途の場合は、特徴サイズを大きくすることで、ＯＣＲに適した凹凸抽出画像を得ることができる。

ステップＳＴ７では、凹凸抽出画像計算を行う。この例では画像処理部４１が、ステップＳＴ６で設定された特徴サイズに従って凹凸を抽出した凹凸抽出画像を生成し、これを表示手段５１に表示させる。

ステップＳＴ１０〜１２では、画像処理部４１又はＰＬＣ８１が、輪郭抽出画像に対して、傷検査ツールを利用して傷を検出するための傷検出処理をして、傷かどうかを判定する傷判定処理をする。

まず、ステップＳＴ１０では、画像処理部４１又はＰＬＣ８１は、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。検査領域を設定する際には、例えば、エッジを抽出する等して、ワークＷＫの画像を抽出する。ワークＷＫが大きく位置ずれしない場合には、検査領域の設定位置を予め登録しておいてもよい。

ステップＳＴ１１では、画像処理部４１又はＰＬＣ８１は、特定された検査領域内の傷を検出するための画像処理を施す。画像処理部４１又はＰＬＣ８１は、記憶されている算出方法により基準濃度値を算出し、画素毎に検査領域の各画素の濃度値と基準濃度値との差分を算出する。そして、画像処理部４１又はＰＬＣ８１は、設定して記憶されている閾値（傷量という閾値を決めておく。）によるラベリング処理（２値画像の白画素の固まりに、「０、１、２・・・」という札（ラベル）を貼っていく処理。）を実行し、特定された傷毎に特徴量を算出する。算出する特徴量は、例えば差分の正負に関する正負情報、差分の総和、差分の最大値、差分の平均値、又は差分の標準偏差である。

ステップＳＴ１２では、画像処理部４１又はＰＬＣ８１は、ステップＳＴ１１で特定された傷に対して、傷判定に用いる判定基準に基づいて傷判定処理を実行する。傷と判定された場合、表示手段５１上で、傷の箇所にマーキングをし、処理を終了する。
（変形例）

以上の例では、特徴サイズをユーザが調整可能とすることで、特徴サイズのパラメータでもってユーザが望むサイズの凹凸を抽出した凹凸抽出画像を生成する例を説明した。ただ本発明はこの構成に限らず、ユーザの観察用途や目的に応じた複数の観察モードを予め用意しておき、ユーザに観察モードを選択させることで、所望の画像を生成するように構成することもできる。このような例を図３６のフローチャートに基づいて説明する。ステップＳＴ”１〜ＳＴ”５は、上述した図３５と同様であるため、詳細説明を省略する。

ステップＳＴ”６では、観察モードをユーザに選択させる。この例では、輪郭抽出モード、テクスチャ抽出モード、凹凸モードの何れかを選択可能としている。各観察モードは、各観察用途に適した特徴サイズを予めプリセットしておく。なお、観察モードの選択後に、ユーザが手動で特徴サイズを微調整可能に構成してもよい。選択された観察モードに従って、次に移行するステップが異なる。すなわち輪郭抽出モードが選択された場合はステップＳＴ”７へ、テクスチャ抽出モードが選択された場合はステップＳＴ”８へ、凹凸モードが選択された場合はステップＳＴ”９へ、それぞれ移行する。各ステップの処理後は、ステップＳＴ”１０に移行する。このように、凹凸抽出画像生成手段と輪郭画像生成手段４１ｂとテクスチャ抽出画像生成手段４１ｃとは、切り替え可能としている。

ステップＳＴ”７では、画像処理部４１は、凹凸抽出画像計算を行う。すなわち、画像処理部４１は、凹凸抽出画像が表示される特徴サイズの輪郭抽出画像を表示手段５１に表示する。

ステップＳＴ”８では、画像処理部４１は、ユーザによって輪郭抽出モードが選択された場合の処理を実行する。すなわち、画像処理部４１は、ステップＳＴ”５において作成された縮小傾き画像に基づいて、輪郭抽出画像計算を行い、輪郭抽出画像を表示手段５１に表示する。

ステップＳＴ”９では、画像処理部４１は、ユーザによってテクスチャ抽出モードが選択された場合の処理を実行する。すなわち、画像処理部４１は、ステップＳＴ”５において作成されたテクスチャ抽出画像に基づいて、テクスチャ抽出画像計算を行い、テクスチャ抽出画像を表示手段５１に表示する。

以降のステップＳＴ”１０〜１２は、上述した図３５と同様の手順が利用でき、詳細説明を省略する。

以上の画像検査装置によれば、フォトメトリックステレオ法を利用して第１次の傾き画像を生成することを出発点としながらも、得られた第１次の傾き画像をＸ方向及びＹ方向に微分処理して第２次の傾き画像、すなわち、輪郭抽出画像を作成するようにしている。この処理によって、照明やワーク設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまい、例えば、実際には凸凹していないのに凸凹の画像になる現象、照明に対して、通常、近くが明るくなる傾向を受けて、ワークＷＫの中央が盛り上がったような画像になるといった現象等の、実物に即した検査画像が得られない、という従来のようなフォトメトリックステレオ法の欠点を少なくする事ができる。面の凹方向に傾き変化の大きいところが暗くなる階調とする一方、面の凸方向に変化の小さいところが明るくなる階調と設定することで、ワーク表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。

また輪郭画像生成手段が、算出された各画素の法線ベクトルから異なる縮小率の複数の縮小傾き画像を作成し、それぞれの縮小傾き画像において、Ｘ方向及びＹ方向に微分処理を施し、得られた縮小輪郭画像に対して、所定の縮小率の縮小輪郭画像が大きく反映されるように重み付けをして、元のサイズへ拡大してから、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とすることができる。この構成によれば、如何なる大きさを傷として判断するかは、ユーザの用途によって異なるところ、所定の縮小率の縮小輪郭画像が輪郭抽出画像に大きく反映されるように重み付けができるようにしたので、ユーザの用途に応じて、ユーザが所望する縮小率の縮小輪郭画像が強調された輪郭抽出画像が得られる。ユーザのニーズとしては、例えば、１０ピクセルに跨がったものを傷として判断したい場合もあれば、１００ピクセルに跨がっている凹んだものを傷として判断したい場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。

また傷は、通常、複数の周波数に跨がって検出されるところ、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像としているので、一つの周波数の縮小輪郭画像に限定した場合に比べて、傷や輪郭等が、全体的にぼやけることなく、クリアに検出できる。

さらに重み付けは、予め決められた重みのセットを用意しておき、縮小輪郭画像に対して、重みのセットを掛けることによって、それぞれの縮小率の縮小輪郭画像の採用比を按分することによって行うことができる。これによれば、輪郭抽出画像に合成するときに予め決められた重みのセット（特徴サイズ）がプリセットされているので、ユーザは、所望する輪郭抽出画像に瞬時に簡単に切り替えることができる。

さらにまた重みのセットは、ワークの表面の凸凹が明瞭な輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができる。この使い方を例えば凹凸モードとすることで、輪郭抽出モードと使い分けることができる。

さらにまた、重みのセットは、ＯＣＲに適した輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができるので、例えば鋳物の刻印のようなものに対して、ＯＣＲをするのに好適な画像を作成することができる。

さらにまた、照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、入力画像と同数個の各画素のアルベドを算出し、アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するようにして、輪郭画像生成手段とテクスチャ抽出画像生成手段とを切り替え可能に構成したので、本来の傷と元々ある輪郭と区別するのは通常困難であるため、傷があってはいけない箇所をサーチして検査領域とすることが求められているが、テクスチャ抽出画像でサーチをして、検査領域を決めてから傷検査を行うことができる。また、ＯＣＲを行う際にも、テクスチャ抽出画像でサーチをして、ＯＣＲを行う対象領域を決めてからＯＣＲを行うことができる。

テクスチャ抽出画像生成手段は、入力画像と同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。これにより、ハレーションを起こしている輝度が高い画素値は採用されず、ハレーションの影響が取り除かれたテクスチャ抽出画像が得られる。

また輪郭抽出画像生成後の傷検査に必要な傷検査ツールを備えることで、フォトメトリックステレオ技術は三次元計測の一つの手法であるというのが一般的な共通認識であるところ、フォトメトリックステレオ技術を傷検査に応用した実用品として位置づけられる画像検査装置を提供できる。

さらに画像検査装置は、ワークを一定の方向から撮像する撮像手段と、ワークを異なる方向から少なくとも３回照明する照明手段と、照明手段を１つずつ順に点灯させる照明制御手段と、各照明タイミングにて撮像手段を駆動させることにより、複数の画像を生成する画像生成手段と、複数の画像で対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出する法線ベクトル算出手段と、照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、法線ベクトルと同数個の各画素のアルベドを算出し、アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するテクスチャ抽出画像生成手段とを備え、テクスチャ抽出画像生成手段は、法線ベクトルと同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。これによれば、テクスチャ抽出画像生成手段は、法線ベクトルと同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とするようにしたので、ハレーションを起こしている輝度が高い画素値は採用されず、ハレーションの影響が取り除かれたテクスチャ抽出画像が得られる。

このように、実施の形態に係る画像検査装置によれば、フォトメトリックステレオ法を利用して、より簡単、かつ、ロバストにワークの傷や印字を検査することができる。

本発明の画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体又は記録した機器は、フォトメトリックステレオを用いた検査装置やデジタイザに好適に利用できる。

１…画像検査装置
１１…撮像手段
１２、３２、５２、６２、８２…ケーブル
７１、７２、７３、７４、７６…ケーブル
２０、２０’、２０”…環状照明ユニット
２１、２２、２３、２４、２５…照明手段
３１…照明制御手段
４１…画像処理部；４１ａ…法線ベクトル算出手段；４１ｂ…輪郭画像生成手段
４１ｃ…テクスチャ抽出画像生成手段；４１ｄ…検査領域特定手段
４１ｅ…画像処理手段；４１ｆ…判定手段
４２…信号処理系
４３…ＣＰＵ
４４…メモリ
４５…ＲＯＭ
４６…バス
５１…表示手段
６１…操作手段
７５…照明分岐ユニット
７５ａ、ｂ、ｃ、ｄ…照明接続コネクタ
８１…ＰＬＣ
ｅ１…カメラ
ｅ２１〜ｅ２４…照明用の光源
ＷＫ…ワーク
ＳＧ…ステージ
Ｌ１…第一照明手段；Ｌ２…第二照明手段
ｎ…法線ベクトル
Ｓ…拡散反射面
ＯＳ…障害物

Claims (15)

1. ワークの外観検査を行うための画像検査装置であって、
   ワークを互いに異なる照明方向から照明するための三以上の照明手段と、
   前記三以上の照明手段を一ずつ点灯順に点灯させるための照明制御手段と、
   前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像するための撮像手段と、
   前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、
   前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段と
   を備えることを特徴とする画像検査装置。
2. 請求項１に記載の画像検査装置であって、
   前記輪郭画像生成手段は、算出された各画素の法線ベクトルから、異なる縮小率の複数の縮小傾き画像を作成し、それぞれの縮小傾き画像において、Ｘ方向及びＹ方向に微分処理を施し、得られた縮小輪郭画像に対して、所定の縮小率の縮小輪郭画像が反映されるように重み付けをして、元のサイズへ拡大してから、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とすることを特徴とする画像検査装置。
3. 請求項２に記載の画像検査装置であって、
   前記重み付けは、予め決められた重みのセットを用意しておき、前記縮小輪郭画像に対して、前記重みのセットを掛けることによって、それぞれの縮小率の縮小輪郭画像の採用比を按分することによって行うことを特徴とする画像検査装置。
4. 請求項３に記載の画像検査装置であって、
   前記重みのセットは、ワークの表面の凸凹が明瞭な輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことを特徴とする画像検査装置。
5. 請求項３又は４に記載の画像検査装置であって、
   前記重みのセットは、ＯＣＲに適した輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことを特徴とする画像検査装置。
6. 請求項１〜５のいずれか一に記載の画像検査装置であって、さらに
   前記照明手段により照明した回数分存在する、前記法線ベクトル算出手段で算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、前記アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するためのテクスチャ抽出画像生成手段を備え、
   前記輪郭画像生成手段と前記テクスチャ抽出画像生成手段とが切り替え可能であることを特徴とする画像検査装置。
7. 請求項６に記載の画像検査装置であって、
   前記テクスチャ抽出画像生成手段は、前記法線ベクトルと同数個の前記各画素のアルベドの値をソートし、上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることを特徴とする画像検査装置。
8. 請求項１〜７のいずれか一に記載の画像検査装置であって、さらに、
   生成された輪郭画像に対して検査対象となる検査領域の位置を特定するための検査領域特定手段と、
   前記検査領域特定手段で特定された検査領域内の傷を検出するための画像処理を施すための画像処理手段と、
   前記画像処理手段の処理結果に基づいて、ワーク表面の傷の有無を判定するための判定手段と
   を備えることを特徴とする画像検査装置。
9. 請求項１〜８のいずれか一に記載の画像検査装置であって、さらに、
   前記照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、前記アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するためのテクスチャ抽出画像生成手段を備え、
   前記テクスチャ抽出画像生成手段は、前記法線ベクトルと同数個の前記各画素のアルベドの値をソートし、上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることを特徴とする画像検査装置。
10. 請求項１〜９のいずれか一に記載の画像検査装置であって、
    前記撮像手段と、前記照明手段とが独立した別部材であり、任意の位置に配置可能としてなることを特徴とする画像検査装置。
11. 請求項１〜１０のいずれか一に記載の画像検査装置であって、
    前記照明手段を、４個備えることを特徴とする画像検査装置。
12. 請求項１〜１１のいずれか一に記載の画像検査装置であって、
    前記三以上の照明手段が、環状に配置された複数個の発光素子で構成されており、
    前記照明制御手段が、
    隣接する発光素子の所定個を第一照明ブロックとして、該第一照明ブロックの発光素子を同時に点灯させ、他の発光素子を消灯することで、第一照明手段で第一照明方向からの第一照明として機能させ、
    前記第一照明ブロックと隣接する、所定個の発光素子で構成された第二照明ブロックを点灯させるように制御することで、前記第一照明方向と異なる第二照明方向から照明する第二照明ブロックを構成し、
    さらに前記第二照明ブロックと隣接する、所定個の発光素子で構成された第三照明ブロックを点灯させるように制御することで、前記第一照明方向及び第二照明方向と異なる第三照明方向から照明する第三照明ブロックを構成してなることを特徴とする画像検査装置。
13. ワークの画像を撮像して外観を検査する検査方法であって、
    ワークを、互いに異なる三以上の照明方向から、照明手段で照明すると共に、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、複数枚の照明方向の異なる部分照明画像を取得する工程と、
    照明方向の異なる複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを法線ベクトル算出手段で算出する工程と、
    算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワーク表面の傾きの輪郭を示す輪郭画像を、輪郭画像生成手段でもって生成する工程と、
    前記輪郭画像を用いて、ワークの外観検査を行う工程と
    を含むことを特徴とする画像検査方法。
14. ワークの画像を撮像して外観を検査するための検査プログラムであって、コンピュータに、
    ワークを、互いに異なる三以上の照明方向から、照明手段で照明すると共に、予め前記照明手段との相対位置と撮像方向を調整した共通の撮像手段を用いて、各照明方向毎に一の部分照明画像を撮像して、複数枚の照明方向の異なる部分照明画像を取得する機能と、
    照明方向の異なる複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを法線ベクトル算出手段で算出する機能と、
    算出された各画素の法線ベクトルに対して、Ｘ方向及びＹ方向に微分処理を施し、ワーク表面の傾きの輪郭を示す輪郭画像を、輪郭画像生成手段でもって生成する機能と、
    前記輪郭画像を用いて、ワークの外観検査を行う機能と
    を実現させることを特徴とする画像検査プログラム。
15. 請求項１４に記載の画像検査プログラムを記録したコンピュータで読み取り可能な記録媒体又は記録した機器。