JP5479309B2 - マハラノビス基準空間の生成方法、検査方法及び検査装置 - Google Patents

Description

本発明は、マハラノビス・タグチ法（ＭＴ法）を利用して、製品の外観検査を行う技術に関する。

従来、製品の外観検査は人手に頼る部分が大きく、この場合、検査員が目視でその検査を実施する。しかし、最終ユーザからの検査品質向上要求、人海戦術検査による人件費増大対策から、近年、市場では画像認識技術を利用した製品の外観検査の自動化が求められている。外観検査を自動的に行う検査装置は、先ずカメラや照明などの撮像機器によって検査品の外観を撮像する。そして、その撮像した検査画像に対して所定の画像処理を行うアルゴリズムにより検査品の良否判定を行う。ここで、そのアルゴリズムの一つに、ＭＴ法を利用した方法が従来知られている（例えば特許文献１参照）。

このＭＴ法は、多数の情報をマハラノビス距離という一つの尺度に集約し、このマハラノビス距離の大小によって、良否を判定する方法である。具体的には、良品の外観を撮像した良品画像から特徴量を抽出して、マハラノビス距離を算出するための基準空間（以下、マハラノビス基準空間とも言う）を生成する。次いで、検査品の外観を撮像した検査画像の特徴量と基準空間とに基づいて、マハラノビス距離を算出する。そして、そのマハラノビス距離の大小に基づいて検査品の良否判定を行うというものである。

ここで、従来のマハラノビス基準空間の生成方法について説明する。図１１は、従来のマハラノビス基準空間の生成手順を示したフローチャートである。先ず、マハラノビス基準空間を生成するために、評価の基準となる正常な画像サンプル（良品画像）を取得する（Ｓ１０１）。次いで、Ｓ１０１で取得したサンプル画像を所定の大きさごとに（例えば６４０×４８０）に切り取っていく（Ｓ１０２）。次いで、切り取った画像について、そのＲ、Ｇ、Ｂの輝度（８ｂｉｔ：０〜２５５）データから、それぞれ０〜１５、１６〜３１、３２〜４７、・・・、２４０〜２５５の１６段階（Ｒ、Ｇ、Ｂでは４８段階）の輝度範囲にある画素数をカウントし、Ｒ、Ｇ、Ｂの輝度分布データを計算する（Ｓ１０３）。次いで、Ｓ１０３で計算した輝度分布データを良品画像の特徴量とし、その特徴量に基づいてマハラノビス基準空間を生成する（Ｓ１０４）。

特開２００５−２５２４５１号公報

ところで、上記のようにして生成した基準空間を検査時に利用する場合には、被検査対象となる検査画像に対しても、上述のＳ１０２のように切り取る処理を行って、切り取った画像ごとに輝度分布データを求める必要がある。しかし、その切り取った画像の範囲が例えば６４０×４８０のような大きな範囲になると、６４０×４８０=３０７２００の画素に対して演算が必要になる。さらに、この方法を検査画像のサイズ（フレームサイズ）で行う必要があるので、切り取る画像の枚数も多くなり、演算時間がさらに増加する。ＭＴ法では数値計算をする必要があるが、製品の外観を撮像する近年のＣＣＤカメラでは分解能ＵＰの要求から数百万画素単位で取り込めるものが汎用的になってきつつあり、数百万からなる画素を処理するためには、上記の従来方法では計算量が多くなってしまい、その結果、検査時間が長くなってしまうという問題がある。

また、従来の方法では、正常のサンプルを利用してマハラノビス基準空間を生成するのだが、その正常の範囲の中でも偏りが存在していることによる問題もある。具体的には、例えば利用するサンプルの大半が真の良品（不良の疑わしい領域が全く無い良品）でマハラノビス基準空間を生成する場合、良品であるがやや不良に近いサンプルに対してＭＤ値（マハラノビス距離）の増大を招く。その結果、過検出（良品を不良品と判断すること）する可能性が高くなる問題がある。また、利用するサンプルの大半が良品であるが不良に近いサンプルであった場合には、逆に、真の良品を検査したときにＭＤ値の増大を招き、その結果、良品を不良品として過検出するという問題がある。

このように、ＭＴ法による良否判定では、基準となるパターン以外はＭＤ値が大きくなるので、上記の過検出といった問題が起こる。つまり、従来の方法で生成した基準空間によって良否判定を行うときに、検査品が良品であっても、検査品の良品範囲での偏り具合で、検査品を過検出と判断してしまうので、検査精度を著しく損なうといった問題がある。

本発明は上記問題に鑑みてなされたものであり、ＭＴ法を利用して検査品の良否判定を行う技術に関して、検査品に偏りがある場合であっても、良否判定を精度良く行うことを課題とする。また、良否判定をするための処理時間を短縮することを課題とする。

上記課題を解決するために、本発明のマハラノビス基準空間の生成方法は、良品サンプルの画像を良品画像として取得する第一の取得ステップと、
その第一の取得ステップで取得した前記良品画像から、他の領域に比べて良品の程度が劣る領域である良品グレー領域を検出する検出ステップと、
その検出ステップで検出した前記良品グレー領域の輝度分布を示した良品輝度分布データを算出する算出ステップと、
その算出ステップで算出した前記良品輝度分布データに基づいて、マハラノビス距離を算出するための基準空間を生成する生成ステップと、を含むことを特徴とする。

これによれば、良品サンプルの良品画像に含まれる、他の領域に比べて良品の程度が劣る良品グレー領域の輝度分布データに基づいて基準空間を生成しているため、良品であるがやや不良に近いサンプルに対するＭＤ値の増加を防ぐことができる。加えて、検出ステップにおいて、グレー領域が検出されなかった検査品を良品として判定することで、過検出を低減することができる。つまり、検査品の良否判定を精度良く行うことができる。また、良品画像全体の輝度分布データに基づいて基準空間を生成する場合に比べて、基準空間を生成するための処理時間と、その基準空間を利用して検査品の良否判定をするための処理時間を短縮することができる。

また、本発明における検出ステップは、前記良品画像に対して所定の画像処理を施すことにより前記良品グレー領域を検出するステップであることを特徴とする。

これによれば、良品画像に対して所定の画像処理を施しているので、正確に良品グレー領域を検出することができる。

また、本発明における算出ステップは、前記良品グレー領域の各画素の輝度値のうち所定の第一閾値より大きい各輝度値と前記第一閾値との差分値をそれぞれ算出し、それら差分値の合計値と、前記良品グレー領域の各画素の輝度値のうち前記第一閾値より小さい各輝度値と前記第一閾値との差分値をそれぞれ算出し、それら差分値の合計値の少なくとも一方を前記良品輝度分布データとして算出するステップであることを特徴とする。

これによれば、算出ステップで、良品グレー領域の各画素の輝度値のうち第一閾値より大きい各輝度値と第一閾値との差分値の合計値を算出するので、第一閾値の輝度値に対して良品グレー領域がどの程度明るくされているのかを示した特徴量を得ることができる。また、その算出ステップでは、上記の合計値に代えて、又は上記の合計値と共に、良品グレー領域の各画素の輝度値のうち第一閾値より小さい各輝度値と第一閾値との差分値の合計値を算出するので、第一閾値の輝度値に対して良品グレー領域がどの程度暗くされているのかを示した特徴量を得ることができる。

また、本発明における算出ステップは、前記良品グレー領域の各画素のうち所定の第二閾値より大きい輝度値の画素の数と前記第二閾値より小さい輝度値の画素の数の少なくとも一方を前記良品輝度分布データとして算出するステップであるとしてもよい。

これによれば、良品グレー領域のうち、第二閾値の輝度値よりも明るい領域がどの程度含まれているかを示した特徴量と、第二閾値の輝度値よりも暗い領域がどの程度含まれているかを示した特徴量の一方又は両方を得ることができる。

また、本発明における算出ステップは、前記良品グレー領域の各画素の輝度値のうち所定の第一閾値より大きい各輝度値と前記第一閾値との各差分値の合計値、前記良品グレー領域の各画素の輝度値のうち前記第一閾値より小さい各輝度値と前記第一閾値との各差分値の合計値、前記良品グレー領域の各画素のうち所定の第二閾値より大きい輝度値の画素の数、及び前記良品グレー領域の各画素のうち前記第二閾値より小さい輝度値の画素の数の少なくともいずれか一つを前記良品輝度分布データとして算出するステップであるとしてもよい。これにより、上記の４つの特徴量の中から選択される１又は複数の特徴量を得ることができる。

本発明の検査装置は、請求項１〜５のいずれか１項に記載のマハラノビス基準空間の生成方法と、
被検査対象となる検査品の画像を検査画像として取得する第二の取得ステップと、
その第二の取得ステップで取得した前記検査画像に、不良の可能性がある領域である検査品グレー領域が含まれているか否かを判断する判断ステップと、
その判断ステップで前記検査品グレー領域が含まれていると判断した場合に、前記検査品グレー領域の輝度分布を示した検査品輝度分布データを算出する第二の算出ステップと、
その算出ステップで算出した前記検査品輝度分布データと前記基準空間とに基づいて、前記検査画像のマハラノビス距離を算出する第三の算出ステップと、
その第三の算出ステップで算出した前記マハラノビス距離に基づいて、前記検査品の良否判定を行う良否判定ステップと、を含むことを特徴とする。

これによれば、検査画像に不良の可能性がある領域である検査品グレー領域が含まれている場合には、その検査品グレー領域でマハラノビス距離を算出するので、検査画像全体でマハラノビス距離を算出する場合に比べて、良否判定をするための処理時間を短縮することができる。また、上記の方法で生産された基準空間を利用してマハラノビス距離を算出するので、過検出の要因を持つグレー領域であっても、その情報より生成された基準空間から計算されるＭＤ値の増大を防ぐことができ、過検出を防ぐことができる。よって、検査品の偏りに関わらず、検査品の良否判定を精度良く行うことができる。

また、本発明における検査方法は、前記判断ステップで前記検査品グレー領域が含まれていないと判断した場合には、前記検査品を良品と判定する良品判定ステップを含むことを特徴とする。

これによれば、検査画像に検査品グレー領域が含まれていない場合には、その検査品を良品と判定しているので、その検査画像のマハラノビス距離の算出を省略することができる。よって、迅速に良否判定を行うことができる。

また、本発明における判断ステップは、前記検査画像に対して、前記画像処理と同じ画像処理を施すことにより、前記検査品グレー領域が含まれているか否かを判断するステップであることを特徴とする。

これによれば、良品グレー領域を検出する際の画像処理と同じ画像処理によって、検査品グレー領域を検出することになるので、良品グレー領域を基準として検査品グレー領域の良否を判定することができる。つまり、検査品の良否判定を精度良く行うことができる。

本発明の検査装置は、請求項１〜５のいずれか１項に記載のマハラノビス基準空間の生成方法で生成された前記基準空間が記憶された記憶手段と、
被検査対象となる検査品の画像を検査画像として取得する取得手段と、
その取得手段が取得した前記検査画像に、不良の可能性がある領域である検査品グレー領域が含まれているか否かを判断する判断手段と、
その判断手段が前記検査品グレー領域が含まれていると判断した場合に、前記検査品グレー領域の輝度分布を示した検査品輝度分布データを算出する輝度分布データ算出手段と、
その算出手段が算出した前記検査品輝度分布データと前記記憶手段に記憶された前記基準空間とに基づいて、前記検査画像のマハラノビス距離を算出するマハラノビス距離算出手段と、
そのマハラノビス距離算出手段が算出した前記マハラノビス距離に基づいて、前記検査品の良否判定を行う良否判定手段と、を備えることを特徴とする。これにより、本発明の検査方法と同じ効果を得ることができる。

また、本発明におけるマハラノビス距離算出手段は、前記検査品輝度分布データを正規化する正規化手段を含み、その正規化手段が正規化した前記検査品輝度分布データと前記基準空間とに基づいて、前記マハラノビス距離を算出するものであることを特徴とする。

これによれば、正規化手段が検査品輝度分布データを正規化し、マハラノビス距離算出手段は、その正規化された検査品輝度分布データを使用してマハラノビス距離を算出するので、精度の良いマハラノビス距離を得ることができる。

また、本発明において、前記判断手段が前記検査品グレー領域が含まれていないと判断した場合に、前記検査品を良品と判定する良品判定手段を備えることを特徴とする。

これによれば、検査画像に検査品グレー領域が含まれていない場合には、良品判定手段がその検査品を良品と判定しているので、その検査画像のマハラノビス距離の算出を省略することができる。よって、迅速に良否判定を行うことができる。

検査装置１の全体構成を示した図である。 マハラノビス基準空間の生成手順を示したフローチャートである。 図２のＳ２の詳細手順を示したフローチャートである。 図３の画像処理の出力結果を例示した図である。 図２のＳ３の詳細手順を示したフローチャートである。 良品グレー領域６２１を示した図である。 図５のＳ３２の積分特性、Ｓ３３の画素数特性の算出方法を説明する図である。 図２のＳ４の詳細手順を示したフローチャートである。 検査品の良否判定手順を示したフローチャートである。 検査品の複数のサンプルＡ〜Ｉの画像７１〜７９を示した図である。 従来のマハラノビス基準空間の生成手順を示したフローチャートである。

以下、本発明に係るマハラノビス基準空間の生成方法、検査方法、及び検査装置の実施形態を図面を参照しながら説明する。図１は、本実施形態の検査装置１の全体構成を示した図である。その検査装置１は、例えば切削加工した金属部品等の製品の表面にあるムラ、埃、傷、バリ等の有無を検査することで、その製品の外観の良否判定をする装置である。図１に示すように、検査装置１は、画像処理用ＰＣ１０、報知器２０、カメラ３０、及び検査台５０を備えている。検査台５０は、マハラノビス基準空間を生成するための良品サンプル６０（図１参照）や、被検査対象となる検査品７０（図１参照）が載置される台である。カメラ３０は、レンズ３１を有し、そのレンズ３１を介して検査台５０に載置された良品サンプル６０や検査品７０を撮像するものである。そのカメラ３０として、例えばＣＣＤイメージセンサやデジタルスチルカメラを用いることができる。なお、良品サンプル６０や検査品７０をカメラ３０で良好に撮像できるようにするために、良品サンプル６０や検査品７０に光を照射する照明（図示外）が適宜設けられる。

カメラ３０で撮像された画像はケーブル４０（図１参照）を介して、画像処理用ＰＣ１０に送信される。画像処理用ＰＣ１０は、検査品７０の画像である検査画像に対して所定の画像処理を施しつつ、ＭＴ法を利用してその検査画像の良品判定、すなわち検査品７０の良否判定を行うコンピュータである。また、画像処理用ＰＣ１０は、検査画像の良否判定を行うのに先だって、良品サンプル６０の画像である良品画像に基づいて、ＭＴ法で使用するマハラノビス基準空間を生成するコンピュータでもある。なお、検査品７０を検査するコンピュータとマハラノビス基準空間を生成するコンピュータとを別々にしてもよい。

画像処理用ＰＣ１０は、より詳細には、ＣＰＵ１１及びメモリ１２を有しており、ＣＰＵ１１がメモリ１２に記憶された制御プログラムにしたがった処理を実行することで、マハラノビス基準空間を生成したり、検査品７０の良否判定を行ったりする。なお、それらの詳細は後述する。メモリ１２は、ＣＰＵ１１が実行する制御プログラムが記憶されたＲＯＭやフラッシュメモリ等の記憶装置である。また、本実施形態では、メモリ１２には、画像処理用ＰＣ１０が生成したマハラノビス基準空間も記憶される。

報知器２０は、画像処理用ＰＣ１０によって行われた検査結果（検査品７０の良否判定結果）を報知するものである。その報知器２０として、例えば音で報知するスピーカや表示で報知するディスプレイを用いることができる。

次に、画像処理用ＰＣ１０が実行するマハラノビス基準空間の生成方法について詳細に説明する。なお、画像処理用ＰＣ１０がマハラノビス基準空間を生成するタイミングとしては、検査品７０を検査する前であればどのタイミングでもよい。ここで、図２は、マハラノビス基準空間の生成手順を示したフローチャートである。先ず、図２を参照してマハラノビス基準空間の生成手順を大まかに説明し、その後、図２の各手順の詳細を説明する。なお、この図２の処理は、例えば、所定の開始スイッチ（図示外）がユーザに操作された場合に開始される。

図２において、先ず、良品と予め解っている良品サンプル、すなわち、目視検査員が良品と判断した良品サンプルが検査台５０（図１参照）に載置されて、その良品サンプルをカメラ３０で撮像してその画像（良品画像）を取得（収集）する（Ｓ１）。この際、複数の良品サンプルの良品画像を取得するようにする。次いで、Ｓ１で取得した各良品画像に対して所定の画像処理を施して、各良品画像から、他の領域に比べて良品の程度が劣る領域である良品グレー領域を検出する（Ｓ２）。なお、この良品グレー領域は、良品か否かの区別が付きにくい領域であるとも言える。次いで、検出された良品グレー領域の特徴量として、良品グレー領域の輝度分布データを算出する（Ｓ３）。次いで、Ｓ３で算出された輝度分布データに基づいて、マハラノビス基準空間を生成する（Ｓ４）。その後、図２のフローチャートの処理を終了する。このように、本発明では、良品画像の全体からマハラノビス基準空間を生成するのではなく、良品画像のうちの良品グレー領域からそれを生成している。以下、図２の各手順を詳細に説明する。

図３は、図２の良品グレー領域を検出する画像処理（Ｓ２）の詳細手順を示したフローチャートである。具体的には、図２のＳ１で取得された良品画像に対して２値化処理（Ｓ２１）、平滑処理（Ｓ２２）、差分処理（Ｓ２３）の順に画像処理を施す。なお、２値化処理、平滑処理、差分処理は当業者であれば説明の必要がないほど汎用的なので、各処理の詳細の説明は省略する。Ｓ２１〜Ｓ２３の画像処理によって検出された領域を他の領域に比べて良品の程度が劣る良品グレー領域とする。次いで、その良品グレー領域を出力する（Ｓ２４）。その後、図３のフローチャートの処理を終了する。

この図３での画像処理の目的は、不良をほぼ全て検出できるように処理することであり、良品の過検出については問わない。すなわち、一般的に、過検出率と不良流出率はトレードオフの関係であるが、ここでの画像処理は、過検出を行ってもよいので、不良の可能性が少しでもあるものは、全て検出するように画像処理をしている。つまり、その不良の可能性が少しでもあるものを、ここでの良品グレー領域としている。なお、不良（良品グレー領域）をほぼ全て検出できるようにするために、あらかじめ目視検査員が判断した、不良とわかっているサンプルを収集し、それらが全て検出できるように画像処理、つまりＳ２１〜Ｓ２３の各画像処理の条件（例えば２値化処理をする際の閾値）を決定している。

なお、良品グレー領域を検出するための画像処理は、図３の処理手順（２値化処理→平滑処理→差分処理）のアルゴリズムに関わらず、既存として存在するアルゴリズムの中で、不良流出を極力防ぐように構成されたアルゴリズムであれば、当業者で利用しているものでも、それを利用することができる。

ここで、図４は、図３の画像処理の出力結果を例示した図であり、より厳密には、複数の良品サンプルＡ〜Ｅの入力画像６１〜６５と、それら入力画像６１〜６５に対する出力とを示している。なお、２値化処理、平滑処理及び差分処理は当業者であれば説明の必要がないほど汎用的なので、図４では、上記処理の途中経過については省略している。図４に示すように、ここでは、５つの良品サンプルＡ〜Ｅを用意し、図２のＳ１において、それら良品サンプルＡ〜Ｅの良品画像６１〜６５が取得される。そして、各良品画像６１〜６５が、図３の画像処理をするための入力画像とされる。良品サンプルＡの良品画像６１と良品サンプルＤの良品画像６４は汚れやムラの無いきれいな画像であることを想定している、また、良品サンプルＢはその表面にムラがあることを想定しており、そのためにその良品画像６２にはムラを示した良品グレー領域６２１が含まれている。同様に、良品サンプルＥはその表面にムラがあることを想定しており、そのためにその良品画像６５にはムラを示した良品グレー領域６５１が含まれている。また、良品サンプルＣはその表面に埃が載っていることを想定しており、そのためにその良品画像６３には埃を示した良品グレー領域６３１が含まれている。

これら良品画像６１〜６５に対して、図３のＳ２１〜Ｓ２３の画像処理を施すことで、Ｓ２４において、図４の下欄に示したデータが出力される。具体的には、良品サンプルＢの良品画像６２に対しては、その良品画像６２に含まれる良品グレー領域６２１が出力される。また、良品サンプルＣの良品画像６３に対しては、その良品画像６３に含まれる良品グレー領域６３１が出力される。また、良品サンプルＥの良品画像６５に対しては、その良品画像６５に含まれる良品グレー領域６５１が出力される。なお、良品サンプルＡ及び良品サンプルＤは良品グレー領域が含まれていない良品であるので、図３のＳ２４においては何も出力されない。なお、ムラや埃を良品とするか、不良とするかどうかは、検出要件によって異なるが、図４の例では、ムラや埃はただのノイズとして、良品と扱う事を前提にしている。そのため、図３のＳ２１〜Ｓ２３の画像処理においては、良品画像６２、６３、６５に対して過検出をしている状況とされる。

次に、図２のＳ３の輝度分布データを算出する処理の詳細を説明する。ここで、図５はそのＳ３の処理の詳細手順を示したフローチャートである。なお、ここでは、図４の良品画像６２の良品グレー領域６２１に対して図５の処理が実行された場合について説明する。また、その良品グレー領域６２１の画素数が１１画素として説明する。先ず、良品グレー領域６２１の各画素の輝度値を取得する（Ｓ３１）。ここで、図６は、良品グレー領域６２１を示した図である。Ｓ３１では、良品グレー領域６２１の各画素６２１ａ（図６参照）に順番に番号を割り振っていく。ここでは、図６の紙面左上にいくほど、言い換えると紙面右下にいくほど大きい番号になるように、各画素６２１ａに対して１番から１１番まで順番に番号を割り振っていく。また、各画素６２１ａに番号を割り振るのと並行して、各画素６２１ａの輝度値を取得していく。これによって得られた輝度データを次の表１に示す。なお、表１では、割り振られた番号順に輝度値を示している。

次いで、良品グレー領域６２１の輝度分布データとして、良品グレー領域６２１が所定の閾値ＴＨ１（本発明の「第一閾値」に相当する）に対してどの程度明るくされているかを示した積分特性を算出する（Ｓ３２）。ここで、図７（ａ）は、その積分特性の算出方法を説明する図であり、具体的には、横軸が画素番号、縦軸が輝度値のグラフを示している。また、図７（ａ）のグラフは、表１の各輝度値が点でプロットされている。なお、それら各輝度値の点をＰ１〜Ｐ１１で示している。また、図７（ａ）では、予め定められた閾値ＴＨ１のラインＬ１（閾値ＴＨ１＝３５のラインＬ１）が引かれている。

積分特性の算出をするために、輝度値Ｐ１〜Ｐ１１のうち閾値ＴＨ１のラインＬ１より高い輝度値Ｐ３、Ｐ５、Ｐ６、Ｐ９、Ｐ１０、Ｐ１１から閾値ＴＨ１を引いたときの値を、各輝度値Ｐ３、Ｐ５、Ｐ６、Ｐ９、Ｐ１０、Ｐ１１ごとに算出する。輝度値Ｐと閾値ＴＨ１の差分値をΔＰとすると、図７（ａ）では、画素番号３の差分値ΔＰ３、画素番号５の差分値ΔＰ５、画素番号６の差分値ΔＰ６、画素番号９の差分値ΔＰ９、画素番号１０の差分値ΔＰ１０及び画素番号１１の差分値ΔＰ１１を示している。なお、閾値ＴＨ１より小さい輝度値に対する差分値ΔＰに関しては、ΔＰ＝０として計算する。そして、各差分値ΔＰの合計値（＝Σ（輝度値−閾値ＴＨ１））を積分特性として算出する。図７（ａ）では、閾値ＴＨ１＝３５の例を示しているが、Ｓ３２では、例えば閾値ＴＨ１＝３０、３５、４０、４５のように複数の閾値ＴＨ１を設定し、各閾値ごとに積分特性を算出する。

なお、今回の説明では、閾値ＴＨ１より上側（大きい）にある輝度値を対象としているが、逆に、閾値ＴＨ１より下側（小さい）部分の輝度値の面積に相当する積分特性（＝Σ（閾値ＴＨ１−輝度値））を算出してもよい。この場合には、良品グレー領域が閾値に対してどの程度暗くされているかを示した特徴量を得ることができる。また、複数設定した閾値ＴＨ１の一部を上側にある輝度値を対象とし、別の閾値ＴＨ１は下側にある輝度値を対象にしてもよい。

図５の説明に戻り、Ｓ３２で積分特性を算出した後、次いで、良品グレー領域６２１の輝度分布データとして、良品グレー領域６２１のうち、所定の閾値ＴＨ２（本発明の「第二閾値」に相当する）より明るくされている領域がどの程度含まれているかを示した画素数特性を算出する（Ｓ３３）。ここで、図７（ｂ）は、その画素数特性の算出方法を説明する図であり、具体的には、図７（ａ）と同様に、横軸が画素番号、縦軸が輝度値のグラフに、各輝度値をプロットした点Ｐ１〜Ｐ１１、閾値ＴＨ２のラインＬ２（閾値ＴＨ２＝３５のラインＬ２）を示した図である。画素数特性として、閾値ＴＨ２以上の輝度値Ｐを持つ画素の数をカウントしていく。図７（ｂ）に示すように、閾値ＴＨ２以上の輝度値Ｐは、輝度値Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ９、Ｐ１０、Ｐ１１とされる。よって、閾値ＴＨ２＝３５の場合、画素数特性＝７（画素）となる。

また、画素数特性の計算に関しても、例えば閾値ＴＨ２＝３０、３５、４０、４５のように、複数の閾値ＴＨ２を設定するのが望ましい。この場合には、各閾値ＴＨ２ごとに画素数特性を算出する。なお、画素数特性の算出に関しても、閾値ＴＨ２以上の輝度値を持つ画素の数をカウントするのとは逆に、閾値ＴＨ２より小さい輝度値を持つ画素の数をカウントするようにしてもよい。この場合には、良品グレー領域のうち、閾値ＴＨ２より暗くされている領域がどの程度含まれているかを示した特徴量を得ることができる。また、複数設定した閾値ＴＨ２の一部を閾値ＴＨ２以上の輝度値を持つ画素を対象とし、別の閾値ＴＨ２は閾値ＴＨ２より小さい輝度値を持つ画素を対象にしてもよい。なお、Ｓ３２の処理とＳ３３の処理は、どちらの処理を先に実行もよく、また並列して同時に実行してもよい。

また、今回の例では、積分特性と、画素数特性を算出するための閾値ＴＨ１、ＴＨ２が同じ値として説明したが、もちろんそれぞれの閾値ＴＨ１、ＴＨ２が一致してなくてもよい。また、各閾値ＴＨ１、ＴＨ２の数についても、４つでなくてもよい。また、積分特性と画素数特性のうちの片方の特性（例えば積分特性だけ）を利用するパターンもありえる。また、今回説明を簡略化するために、画素に番号を付けて説明したが、積分特性及び画素数特性を演算する上で、必ずしも画素番号は必要ではなく、良品グレー領域の輝度値さえ得られていればよい。

Ｓ３２及びＳ３３によって得られた輝度分布データを次の表２に示す。なお、表２では、説明の対象とした良品グレー領域６２１の輝度分布データのみ、具体的数値を示している。以降、本明細書では、積分特性や画素数特性を「項目」と記載し、それぞれの項目から得られた輝度分布データを総括して「特徴量」と記載する。

図５のＳ３３の処理の後、図５のフローチャートの処理を終了し、図２のフローチャートの処理に戻る。図２において、次いで、Ｓ３で算出した特徴量に基づいて、マハラノビス基準空間を生成する（Ｓ４）。ここで、図８は、Ｓ４の処理の詳細手順を示したフローチャートである。以下、説明を簡略化するために、Ｓ３で算出した特徴量を次の表３の記号に置き換えて、マハラノビス基準空間の生成方法について説明する。なお、表３では、図４の良品グレー領域６２１、６３１、６５１のそれぞれについて、各項目に対する特徴量を記号Ｘで示している。また、各特徴量Ｘの添え字ｎは良品グレー領域のサンプル数を示しており、添え字ｋは項目数を示している。

マハラノビス基準空間の生成方法としては幾つか手法が確立されているが、本実施形態では、その中でも頻繁に利用される計算方法で生成を行っている。なお、生成の過程で、上記表３のｎとｋの関係は少なくともｎ＞＝ｋである必要がある。表３では、良品グレー領域６２１、６３１、６５１のみ特徴量Ｘを示しているが、実際は、その他にも沢山のサンプル数ｎが確保されている。

図８において、先ず、次の式１によって特徴量Ｘの正規化を行う（Ｓ４１）。なお、式１において、Ｘｊ（式１ではオーバーバー付）はｊ番目の項目の平均値であり、σｊはｊ番目の項目の標準偏差である。

式１で正規化した後のデータｘを次の表４に示す。

次いで、次の式２によって相関係数ｒｐｑを算出する（Ｓ４２）。その後、各相関係数ｒ１１〜ｒｋｋから構成された相関行列Ｒを生成する（Ｓ４２）。

次いで、次の式３で示すように、相関行列Ｒの逆行列Ａを算出する（Ｓ４３）。その逆行列Ａをマハラノビス基準空間とする。

その後、図８のフローチャートの処理を終了して、図２のフローチャートの処理に戻る。そして、Ｓ４の処理の後、図２のフローチャートの処理を終了する。以上のようにして、本発明におけるマハラノビス基準空間が生成される。その生成したマハラノビス基準空間は、検査品の良否判定を行う際に使用するために、メモリ１２（図１参照）に記憶される。

次に、画像処理用ＰＣ１０が実行する検査品の良否判定の方法について詳細に説明する。ここで、図９は、その方法の手順を示したフローチャートである。なお、図９のフローチャートの処理は、例えば、所定の開始スイッチ（図示外）がユーザに操作された場合に開始される。

先ず、検査台５０（図１参照）に載置された検査品をカメラ３０で撮像して、その撮像画像である検査画像を取得する（Ｓ５１）。次いで、その検査画像に対して所定の画像処理を施して、不良の可能性がある領域である検査品グレー領域が検査画像に含まれている場合にその検査品グレー領域を検出する（Ｓ５２）。このＳ５２の処理の詳細は、先に説明した良品グレー領域を検出するときの処理（図３の処理）と同じである。また、このときの画像処理（図３の２値化処理、平滑処理、差分処理）の条件は、良品グレー領域を検出したときの条件と同じに設定する。

次いで、Ｓ５２の処理によって検査品グレー領域が検出されたか否かを判断する（Ｓ５３）。これは、Ｓ５２の処理によって検査品グレー領域が検出された場合にはその検査品グレー領域が出力されるので、その出力の有無によってＳ５３の判断を行う。検査品グレー領域が検出されなかった場合には（Ｓ５３：Ｎｏ）、その検査品は良品であると判断し（Ｓ６１）、図９のフローチャートを終了する。これに対し、検査品グレー領域が検出された場合には（Ｓ５３：Ｙｅｓ）、処理をＳ５４に進める。

Ｓ５４では、その検査品グレー領域の輝度分布データ（特徴量）を算出する（Ｓ５４）。このＳ５４の処理の詳細は、先に説明した基準空間を生成するときの処理（図２のＳ３の処理）と同じである。すなわち、検査品グレー領域の輝度分布データとして、積分特性や画素数特性を算出する。次いで、上記の式１と同様の式によって、その輝度分布データである特徴量を正規化する（Ｓ５５）。なお、正規化の際に用いる平均値と標準偏差は、上記式１の良品画像の平均値Ｘｊ（式１ではオーバーバー付き）及び標準偏差σｊを用いる。次いで、メモリ１２（図１参照）に記憶されたマハラノビス基準空間を読み出す（Ｓ５６）。

次いで、そのマハラノビス基準空間に基づいて、検査画像、厳密には検査画像に含まれた検査品グレー領域のマハラノビス距離（ＭＤ値）を算出する（Ｓ５７）。具体的には、マハラノビス基準空間（上記式３参照）と、Ｓ５５で正規化した特徴量のデータ（ｘ１１〜ｘｉｋ、ただしｋは項目数、ｉはｉ＝１、２、３、・・・、識別したい検査品グレー領域の数）とを、次の式４、式５に代入することにより、ＭＤ値を算出する。

例えば、検査品グレー領域が５箇所検出された場合には、各検査品グレー領域にｉ＝１番から５番までの番号を振ったときに、上記式４、式５によって、１番（ｉ＝１）におけるＭＤ値〜５番（ｉ＝５）におけるＭＤ値の全部で５つのＭＤ値が算出される。

次いで、そのＭＤ値が予め設定された閾値以上であるか否かを判断する（Ｓ５８）。ＭＤ値が閾値より小さい場合には（Ｓ５８：Ｎｏ）、その検査品は良品であると判断する（Ｓ６０）。これに対し、ＭＤ値が閾値以上の場合には（Ｓ５８：Ｙｅｓ）、その検査品は不良品であると判断する（Ｓ５９）。なお、閾値の設定方法についてはいくつかの方法が考えられるが、以下にその１例をあげる。すなわち、予め良品か不良か解っている被検査対象のＭＤ値をそれぞれ求め、テスト用閾値を設定し、誤判定した場合の損失を求める。テスト用閾値を複数変更した場合に、一番損失が少なくなる閾値を、Ｓ５８で使用する閾値に設定する。なお、不良流出を可能な限り防ぐ場合には、予め不良と解っている被検査対象のＭＤ値を複数求め、求めたＭＤ値の最小値よりも小さい値で閾値を設定する。

その後、良品（Ｓ６０）、不良（Ｓ５９）に関わらず報知器２０（ディスプレイなど）で報知する（Ｓ６２）。特に不良判定の場合には、検査員などがそれを認識できるように、ディスプレイ上で強調したり、音を出したりするなどして、報知の度合いを強くする（Ｓ６２）。その後、図９のフローチャートの処理を終了する。

次に、具体的な検査品のサンプルを挙げて、本実施形態の検査装置１（図１参照）による良否判定を行った場合について説明する。ここで、図１０は、検査品の複数のサンプルＡ〜Ｉの画像７１〜７９を示している。図１０の上段に示したサンプルＡ〜Ｆは、目視検査員が良品と判断した良品サンプルとされる。ただし、良品サンプルＡ、Ｂ、Ｄにはそれぞれムラが存在し、それら画像７１、７２、７４にはムラを示した領域（検査品グレー領域）７１１、７２１、７４１が含まれている。また、良品サンプルＣには埃が存在し、そのためにその画像７３には埃を示した領域（検査品グレー領域）７３１が含まれている。また、良品サンプルＥ、Ｆはきれいな良品であり、そのためにそれら画像７５、７６には検査品グレー領域が含まれていない。一方、図１０の下段に示したサンプルＧ〜Ｉは、目視検査員が不良と判断した不良サンプルである。各不良サンプルＧ〜Ｉには不良の原因とされる欠陥が存在し、そのためにそれら画像７７〜７９には欠陥を示した領域（検査品グレー領域）７７１〜７９１が含まれている。これら検査品グレー領域７７１〜７９１は、それぞれ存在している場所や形状が異なっている。これらの画像７１〜７９に対して、検査装置１で良否判定を実施した結果例を次の表５に示す。

表５に示すように、画像７５、７６（良品サンプルＥ、Ｆ）には検査品グレー領域が含まれていないので、それら画像７５、７６に対してはＭＤ値は算出されない。また、検査品グレー領域を含む良品サンプルＡ、Ｂ、Ｃ、Ｄに対しては、１．２〜１．８のＭＤ値が算出されている。また、不良サンプルＧ〜Ｉの画像７７〜７９に対しては、１２．１〜１７．７のＭＤ値が算出されている。このように、実際の良品と不良のＭＤ値について、充分なＭＤ値の差を得ることができる。

以上説明したように、本実施形態では、画像全体ではなく、不良の可能性がある検査品グレー領域のＭＤ値に基づいて、検査品の良否判定を行っているので、その判定を行うための処理時間を短縮することができる。また、検査品に検査品グレー領域が含まれていない場合には、ＭＤ値を算出しないで良品と判定しているので、迅速にその判定をすることができる。また、ＭＤ値の算出にあたり、良品画像に含まれる良品グレー領域の輝度分布データから生成された基準空間を利用しているので、その良品グレー領域を基準として検査品グレー領域の良否を判定することができる。よって、検査品の偏りに関わらず、検査品の良否判定を精度良く行うことができる。

なお、上記実施形態において、図２のＳ１の処理が本発明の「第一の取得ステップ」に相当する。図２のＳ２の処理が本発明の「検出ステップ」に相当する。図２のＳ３の処理が本発明の「算出ステップ」に相当する。図２のＳ４の処理が本発明の「生成ステップ」に相当する。図９のＳ５１の処理が本発明の「第二の取得ステップ」に相当する。図９のＳ５２及びＳ５３の処理が本発明の「判断ステップ」に相当する。図９のＳ５４の処理が本発明の「第二の算出ステップ」に相当する。図９のＳ５５〜Ｓ５７の処理が本発明の「第三の算出ステップ」に相当する。図９のＳ５８〜Ｓ６０の処理が本発明の「良否判定ステップ」に相当する。図９のＳ６１の処理が本発明の「良品判定ステップ」に相当する。メモリ１２が本発明の「記憶手段」に相当する。図９のＳ５１の処理を実行する画像処理用ＰＣ１０が本発明の「取得手段」に相当する。図９のＳ５２及びＳ５３を実行する画像処理用ＰＣ１０が本発明の「判断手段」に相当する。図９のＳ５４の処理を実行する画像処理用ＰＣ１０が本発明の「輝度分布データ算出手段」に相当する。図９のＳ５５〜Ｓ５７の処理を実行する画像処理用ＰＣ１０が本発明の「マハラノビス距離算出手段」に相当する。図９のＳ５５処理を実行する画像処理用ＰＣ１０が本発明の「正規化手段」に相当する。図９のＳ５８〜Ｓ６０の処理を実行する画像処理用ＰＣ１０が本発明の「良否判定手段」に相当する。図９のＳ６１の処理を実行する画像処理用ＰＣ１０が本発明の「良品判定手段」に相当する。

１ 検査装置
１０ 画像処理用ＰＣ
１１ ＣＰＵ
１２ メモリ
２０ 報知器
３０ カメラ
６１〜６５ 良品画像
６２１、６３１、６５１ 良品グレー領域
７１〜７９ 検査画像
７１１、７２１、７３１、７４１、７７１、７８１、７９１ 検査品グレー領域

Claims (11)

1. 良品サンプルの画像を良品画像として取得する第一の取得ステップと、
   その第一の取得ステップで取得した前記良品画像から、他の領域に比べて良品の程度が劣る領域である良品グレー領域を検出する検出ステップと、
   その検出ステップで検出した前記良品グレー領域の輝度分布を示した良品輝度分布データを算出する算出ステップと、
   その算出ステップで算出した前記良品輝度分布データに基づいて、マハラノビス距離を算出するための基準空間を生成する生成ステップと、を含むことを特徴とするマハラノビス基準空間の生成方法。
2. 前記検出ステップは、前記良品画像に対して所定の画像処理を施すことにより前記良品グレー領域を検出するステップであることを特徴とする請求項１に記載のマハラノビス基準空間の生成方法。
3. 前記算出ステップは、前記良品グレー領域の各画素の輝度値のうち所定の第一閾値より大きい各輝度値と前記第一閾値との差分値をそれぞれ算出し、それら差分値の合計値と、前記良品グレー領域の各画素の輝度値のうち前記第一閾値より小さい各輝度値と前記第一閾値との差分値をそれぞれ算出し、それら差分値の合計値の少なくとも一方を前記良品輝度分布データとして算出するステップであることを特徴とする請求項１又は２に記載のマハラノビス基準空間の生成方法。
4. 前記算出ステップは、前記良品グレー領域の各画素のうち所定の第二閾値より大きい輝度値の画素の数と前記第二閾値より小さい輝度値の画素の数の少なくとも一方を前記良品輝度分布データとして算出するステップであることを特徴とする請求項１又は２に記載のマハラノビス基準空間の生成方法。
5. 前記算出ステップは、前記良品グレー領域の各画素の輝度値のうち所定の第一閾値より大きい各輝度値と前記第一閾値との各差分値の合計値、前記良品グレー領域の各画素の輝度値のうち前記第一閾値より小さい各輝度値と前記第一閾値との各差分値の合計値、前記良品グレー領域の各画素のうち所定の第二閾値より大きい輝度値の画素の数、及び前記良品グレー領域の各画素のうち前記第二閾値より小さい輝度値の画素の数の少なくともいずれか一つを前記良品輝度分布データとして算出するステップであることを特徴とする請求項１又は２に記載のマハラノビス基準空間の生成方法。
6. 請求項１〜５のいずれか１項に記載のマハラノビス基準空間の生成方法と、
   被検査対象となる検査品の画像を検査画像として取得する第二の取得ステップと、
   その第二の取得ステップで取得した前記検査画像に、不良の可能性がある領域である検査品グレー領域が含まれているか否かを判断する判断ステップと、
   その判断ステップで前記検査品グレー領域が含まれていると判断した場合に、前記検査品グレー領域の輝度分布を示した検査品輝度分布データを算出する第二の算出ステップと、
   その算出ステップで算出した前記検査品輝度分布データと前記基準空間とに基づいて、前記検査画像のマハラノビス距離を算出する第三の算出ステップと、
   その第三の算出ステップで算出した前記マハラノビス距離に基づいて、前記検査品の良否判定を行う良否判定ステップと、を含むことを特徴とする検査方法。
7. 前記判断ステップで前記検査品グレー領域が含まれていないと判断した場合には、前記検査品を良品と判定する良品判定ステップを含むことを特徴とする請求項６に記載の検査方法。
8. 前記判断ステップは、前記検査画像に対して、前記画像処理と同じ画像処理を施すことにより、前記検査品グレー領域が含まれているか否かを判断するステップであることを特徴とする請求項６又は７に記載の検査方法。
9. 請求項１〜５のいずれか１項に記載のマハラノビス基準空間の生成方法で生成された前記基準空間が記憶された記憶手段と、
   被検査対象となる検査品の画像を検査画像として取得する取得手段と、
   その取得手段が取得した前記検査画像に、不良の可能性がある領域である検査品グレー領域が含まれているか否かを判断する判断手段と、
   その判断手段が前記検査品グレー領域が含まれていると判断した場合に、前記検査品グレー領域の輝度分布を示した検査品輝度分布データを算出する輝度分布データ算出手段と、
   その算出手段が算出した前記検査品輝度分布データと前記記憶手段に記憶された前記基準空間とに基づいて、前記検査画像のマハラノビス距離を算出するマハラノビス距離算出手段と、
   そのマハラノビス距離算出手段が算出した前記マハラノビス距離に基づいて、前記検査品の良否判定を行う良否判定手段と、を備えることを特徴とする検査装置。
10. 前記マハラノビス距離算出手段は、前記検査品輝度分布データを正規化する正規化手段を含み、その正規化手段が正規化した前記検査品輝度分布データと前記基準空間とに基づいて、前記マハラノビス距離を算出するものであることを特徴とする請求項９に記載の検査装置。
11. 前記判断手段が前記検査品グレー領域が含まれていないと判断した場合に、前記検査品を良品と判定する良品判定手段を備えることを特徴とする請求項９又は１０に記載の検査装置。