JP2006258713A - シミ欠陥検出方法及び装置 - Google Patents

Abstract

【課題】 シミ欠陥を高精度に検出できるシミ欠陥検出方法及び装置を提供する。
【課題手段】 シミ欠陥検出方法は、撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理工程S5と、前記シミ欠陥強調処理工程で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出工程とを有する。シミ欠陥強調処理工程S5は、撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求め、各セットの差の値のうち、絶対値が最小となる値を対象画素のシミ欠陥強調値とする。そして、各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出する。
【選択図】 図２

Description

本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクタ等の製造における検査工程等の各種製品の検査工程において、シミ欠陥を精度よく自動的に検出するシミ欠陥検出方法及び装置に関する。

ＴＦＴパネル等のＬＣＤパネル検査においてシミやムラと呼ばれる面系欠陥は、形状が不定でありコントラストも低いため、検査装置で自動検出することは困難であった。このため、検査は未だ検査員の目視で行われているのが現状であり、製造コスト削減のために検査の自動化が急務になっている。
なお、シミやムラ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度の範囲で、周りに比べて明るい部分や暗い部分がある状態をいう。なお、通常、欠陥面積が比較的狭い場合をシミ欠陥、比較的大きい場合をムラ欠陥と呼ぶことが多い。但し、厳密な定義はないため、本発明では、シミ欠陥やムラ欠陥などの面系欠陥を総称してシミ欠陥と称する。

従来、シミ欠陥の検出を自動化する方法として、２次微分フィルタを用いて強調処理することでシミ欠陥を検出する方法が既に提案されている（例えば、特許文献１〜４参照）。

特開２００４−５３４７７号公報 特開２００３−１４５８０号公報 特開２００１−２４３４７３号公報 特開２０００−１１１４９２号公報

しかしながら、特許文献１，４では、２次微分フィルタで考慮されているのは、画面における縦方向および横方向の成分のみであり、斜め方向の成分は考慮されていないため、処理時間を短縮できるが、シミ欠陥の検出精度を向上させることができないという問題があった。
また、特許文献２では、縦方向および横方向だけでなく、斜め方向も考慮されているが、輝度の変化が大きい部分に反応するようにフィルタが設定されているため、エッジ部分にも反応してしまい、シミでない部分も同時に検出してしまうため、シミ欠陥の検出精度が低下するという問題があった。

さらに、特許文献３では、シミ欠陥の平均輝度とその外周の平均輝度値との差をとり、その輝度差をシミ検出閾値と比較して検出しているため、点状ムラの周辺部付近で、検出すべきシミ欠陥の成分とは逆方向成分が発生し、これを誤検出する可能性がある（例えば白いシミ欠陥の場合には黒いシミ欠陥を検出）。また、同じ画面上にスジ状欠陥が存在する場合、シミ欠陥と同時にスジ状欠陥も検出する可能性があり、シミ欠陥の検出精度を上げられないという問題点がある。

本発明は、上述のような課題に鑑みてなされたものであり、シミ欠陥を高精度に検出することができるシミ欠陥検出方法及び装置を提供することを目的とする。

本発明のシミ欠陥検出方法は、撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理工程と、前記シミ欠陥強調処理工程で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出工程とを有し、前記シミ欠陥強調処理工程は、撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、前記対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求め、各セットの差の値のうち絶対値が最小となるものを対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、前記シミ欠陥検出工程は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とする。

本発明では、シミ欠陥強調処理工程において、対象画素から所定距離離れて、かつ、対象画像の周囲に配置された輝度比較画素の輝度値に基づいてシミ欠陥を強調するシミ欠陥強調フィルタを用いて処理しているので、例えば、輝度比較画素を対象画素に対して上下左右のみに配置した場合に比べて、面状に広がるシミを確実に検出することができる。

また、本発明のシミ欠陥強調フィルタは、前記各輝度比較画素を、前記対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、前記対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求めている。
このため、例えば、前記各輝度比較画素内に周囲に比べて明るいシミ欠陥が生じている場合、前記対象画素の輝度値は、各輝度比較画素の輝度平均値に比べて大きくなり、それらの差の絶対値も大きな値になる。
一方、前記対象画素およびセットとされた２つの輝度比較画素を通るスジ状欠陥が生じている場合、各画素の輝度値は殆ど同じになるため、前記差の絶対値も小さな値になる。同様に、対象画素を含む欠陥の一部が輝度比較画素にも達していると、その輝度比較画素を含むセットの輝度平均値が高くなり、対象画素の輝度平均値に近づくため、差の絶対値は小さくなる。
従って、各輝度比較画素セットの輝度平均値と対象画素の輝度値の差の値を求め、各セットの差の値のうち、その絶対値が最小になるものを選択して対象画素のシミ欠陥強調値とすれば、スジ状欠陥がある場合や、輝度比較画素の一部が欠陥に含まれている場合には、シミ欠陥強調値が小さくなり、輝度比較画素で囲まれたエリア内にシミ欠陥が納まっている場合のみシミ欠陥強調値が大きくなる。このため、シミ欠陥強調値を所定の閾値と比較すれば、シミ欠陥のみを高精度に検出することができる。
その上、対象画素を挟んで点対称の位置に配置された２つの輝度比較画素の輝度値における平均値を求めているので、背景のシェーディングの影響を軽減でき、シミ欠陥をより高精度に検出することができる。すなわち、背景のシェーディングの影響によって、対象画素を挟んで点対称の位置に配置された２つの輝度比較画素の一方は輝度値が高くなり、他方は小さくなることが多い。従って、これらの２つの輝度比較画素の平均輝度値を求めることでシェーディングの影響を平滑化でき、シミ欠陥をより高精度に検出することができる。

本発明のシミ欠陥検出方法においては、前記シミ欠陥強調処理工程の後に、メディアンフィルタを掛けてノイズを除去した後、前記シミ欠陥検出工程を実行することが好ましい。
メディアンフィルタとしては、例えば３×３の９画素の各輝度値のメディアン値（中央値）を３×３の中心に位置する対象画素の輝度値とするようなメディアンフィルタを利用すればよい。
このようなメディアンフィルタを用いることで、シミ欠陥以外のノイズを除去することができ、シミ欠陥をより高精度に検出することができる。

本発明のシミ欠陥検出方法において、前記シミ欠陥強調処理工程の前に、検査対象を撮像する撮像工程と、撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理工程と、画像から表示エリアの抽出を行う表示エリア抽出工程と、抽出された画像に対して縮小画像を作成する縮小画像作成工程とを実行し、前記シミ欠陥強調処理工程は、前記縮小画像作成工程で作成された縮小画像に対してシミ欠陥強調フィルタをかけることが好ましい。
ここで、背景画像とは、検査対象に生じる欠陥以外のシミ等の影響を除去するために用意されるものであり、例えば、２０枚程度の良品サンプル画像を平均化したものなどが利用される。
本発明では、背景画像差分処理工程、表示エリア抽出工程により、検査対象以外の影響、例えば、撮像するために用いられる照明やレンズ等の検査対象以外のものによって生じるシミムラ等の影響を無くすことができ、シミ欠陥を効果的に検出できる。また、縮小画像作成工程で縮小画像を作成できるので、シミ欠陥強調フィルタに対する相対的なシミ欠陥サイズを変更することができ、シミ欠陥のサイズに応じた複数種類のフィルタを用意しなくても、各種サイズのシミ欠陥を検出できる。

本発明のシミ欠陥検出方法において、前記シミ欠陥検出工程は、前記シミ欠陥強調処理工程で得られる各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出するシミ欠陥抽出処理工程と、前記シミ欠陥候補の特性値を求めるｂｌｏｂ処理を行うｂｌｏｂ処理工程と、前記ｂｌｏｂ処理工程により求められたシミ欠陥候補の特性値に基づいてシミ欠陥のランクを分類する欠陥ランク分類工程と、を備えることが好ましい。
シミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出しているので、欠陥候補の判定を短時間で容易に行うことができる。また、抽出されたシミ欠陥候補の情報に基づいてシミ欠陥を評価しているので、欠陥を客観的に評価でき、ランク付けも行うことができるので、不良品を容易に判定できる。

本発明のシミ欠陥検出方法において、前記シミ欠陥強調処理工程は、前記対象画素から輝度比較画素までの距離が異なる複数種類のシミ欠陥強調フィルタを各画素に対して適用し、各フィルタによって得られるシミ欠陥強調値のうち、その絶対値が最大のものをその対象画素のシミ欠陥強調値とすることが好ましい。
シミ欠陥強調フィルタは、対象画素と輝度比較画素の距離を適宜設定することで、検出可能なシミ欠陥の大きさを設定できるので、検出したいサイズのシミ欠陥を容易に検出できる。その上、シミ欠陥強調値の絶対値が最大となるものを抽出しているので、各シミ欠陥強調フィルタの強調結果を合成した際に、各サイズのシミ欠陥を確実に検出することができる。このため、各シミ欠陥強調フィルタの強調結果を個別に評価する必要が無く、合成結果のみを評価すればよいので、様々なサイズのシミ欠陥を容易に検出・評価することができる。

本発明のシミ欠陥検出方法において、前記シミ欠陥強調処理工程前に、撮像画像の複数段階の縮小画像を作成する縮小画像作成工程を実施し、前記シミ欠陥強調処理工程は、縮小画像作成工程で作成された各縮小画像に対して前記シミ欠陥強調フィルタを適用し、各フィルタによって得られる各縮小画像における各画素のシミ欠陥強調値のうち、その絶対値が最大のものをその画素のシミ欠陥強調値とすることが好ましい。
複数段階の縮小画像を作成すれば、同一のシミ欠陥のサイズをそれぞれ異ならせることができる。このため、１種類のシミ欠陥強調フィルタを用いても、複数段階の縮小画像に適用することで、様々なサイズのシミ欠陥を検出することができる。

本発明のシミ欠陥検出装置は、撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理手段と、前記シミ欠陥強調処理手段で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出手段とを有し、前記シミ欠陥強調処理手段は、撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、前記対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求め、各セットの差の値のうち、その絶対値が最小となるものを選択して対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、前記シミ欠陥検出手段は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とする。

本発明では、シミ欠陥強調処理手段において、対象画素から所定距離離れて、かつ、対象画像の周囲に配置された輝度比較画素の輝度値に基づいてシミ欠陥を強調するシミ欠陥強調フィルタを用いて処理しているので、面状に広がるシミを確実に検出することができる。
また、前記各輝度比較画素を、前記対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、前記対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求め、各セットの差の値のうち、絶対値が最小になるものを選択しているので、スジ状欠陥がある場合や、輝度比較画素の一部が欠陥に含まれている場合には、シミ欠陥強調値が小さくなり、輝度比較画素で囲まれたエリア内にシミ欠陥が納まっている場合のみシミ欠陥強調値が大きくすることができる。このため、シミ欠陥強調値を所定の閾値と比較すれば、シミ欠陥のみを高精度に検出することができる。
その上、対象画素を挟んで点対称の位置に配置された２つの輝度比較画素の輝度値における平均値を求めているので、背景のシェーディングの影響を軽減でき、シミ欠陥をより高精度に検出することができる。

本発明のシミ欠陥検出装置においては、検査対象を撮像する撮像手段と、撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理手段と、画像から表示エリアの抽出を行う表示エリア抽出手段と、縮小画像を作成する縮小画像作成手段とを備え、前記シミ欠陥強調処理手段は、前記縮小画像作成手段で作成された縮小画像に対してシミ欠陥強調フィルタをかけることが好ましい。
本発明では、背景画像差分処理手段、表示エリア抽出手段により、検査対象以外の影響、例えば、撮像するために用いられる照明やレンズ等の検査対象以外のものによって生じるシミムラ等の影響を無くすことができ、シミ欠陥を効果的に検出できる。また、縮小画像作成工程で縮小画像を作成できるので、シミ欠陥強調フィルタに対する相対的なシミ欠陥サイズを変更することができ、シミ欠陥のサイズに応じた複数種類のフィルタを用意しなくても、各種サイズのシミ欠陥を検出できる。

図１は本発明の実施の形態に係るシミ欠陥検出装置の構成を示すブロック図である。
図１において、１は検査対象である液晶パネル（液晶ライトバルブ）、２は画像投影装置であるプロジェクタであり、液晶パネル１を外部からセットできるようになっている。３は液晶パネル１に各種パターンを出力するパターン生成装置であるパターンジェネレータ、４はスクリーン、５はスクリーン４に投影された画像を撮影する撮像手段であるＣＣＤカメラであり、液晶パネル１の解像度以上の解像度を有するＣＣＤを搭載している。６はパターンジェネレータ３及びＣＣＤカメラ５を制御し、液晶パネル１のシミ欠陥を検出する画像処理手段であるコンピュータ装置、７はコンピュータ装置６に接続された表示装置である。

コンピュータ装置６は、画像入力手段６０と、背景画像差分処理手段６１と、表示エリア抽出手段６２と、縮小画像作成手段６３と、シミ欠陥強調処理手段６４と、ノイズ除去手段６５と、シミ欠陥抽出処理手段６６と、ｂｌｏｂ処理手段６７と、欠陥ランク分類処理手段６８とから構成されている。

コンピュータ装置６の画像入力手段６０には、ＣＣＤカメラ５で撮像された取込画像の画像データが入力される。その取込画像は図示しない記憶手段に記憶される。従って、画像入力手段６０によってＣＣＤカメラ５を用いて検査対象を撮像する撮像工程（画像入力工程）が実施される。
背景画像差分処理手段６１は、入力画像と予め作成された背景画像との差を取って検査対象以外のものによって生じる欠陥状の輝度変化を除去した背景差分画像を得る背景画像差分処理工程を実施する。表示エリア抽出手段６２は、背景差分画像から被検査部の画像部分だけを抽出する表示エリア抽出工程を実施する。ＣＣＤカメラ５で検査対象であるＴＦＴパネルを撮像した際に、ＴＦＴパネル全体を撮像するにはパネル周囲も多少写さなければならない。このため撮像画像におけるパネル投影画像の周囲には、パネルとは関係のないデータが存在し、また投影画像も長方形ではなく歪んでいる。このため、表示エリア抽出手段６２は、ＴＦＴパネル投影画像の部分のみを切り出す処理を行い、検査対象画像を作成する。

縮小画像作成手段６３は、表示エリア抽出手段６２で抽出された画像から縮小画像を作成する縮小画像作成工程を実施する。例えば、縮小画像作成手段６３は、撮像画像において比較的大きなシミ欠陥を検出するために、撮像した画像を１／８サイズに縮小する処理を行う。後述するように、シミ欠陥強調処理手段６４で使用するシミ欠陥強調フィルタは、それぞれ強調可能なシミの大きさがある程度決められている。このため、同一のシミ欠陥強調フィルタを利用していても、画像自体を縮小してシミ欠陥の大きさも小さくすることで、画像を縮小しない場合に比べて、相対的に大きなシミ欠陥を検出することができる。なお、小さなシミ欠陥を検出する場合には、縮小画像作成手段６３による縮小画像作成工程を実施しなくてもよい。

シミ欠陥強調処理手段６４は、画像に対してシミ欠陥強調フィルタ（シミ欠陥検出フィルタ）を適用してシミ欠陥を強調して検出するシミ欠陥強調処理工程を実施する。
ノイズ除去手段６５は、シミ欠陥強調処理手段６４で得られた結果に対してメディアンフィルタを適用してノイズを除去するノイズ除去工程を実施する。

シミ欠陥抽出処理手段６６は、ノイズ除去手段６５で処理された結果を所定の閾値と比較してシミ欠陥候補を抽出する。なお、シミ欠陥には、他の画素部分に対して輝度値が高い白シミ欠陥と、輝度値が低い黒シミ欠陥とがある。このため、閾値としては、白シミ欠陥閾値と、黒シミ欠陥閾値とが設定され、白シミ欠陥閾値と比較することで白シミ欠陥候補が抽出され、黒シミ欠陥閾値と比較することで黒シミ欠陥候補が抽出される。

ｂｌｏｂ処理手段６７は、欠陥候補として抽出した領域の面積と、平均輝度を求めるｂｌｏｂ処理工程を実施する。
欠陥ランク分類処理手段６８は、ｂｌｏｂ処理手段６７で求めた面積および平均輝度に基づいてシミ欠陥のランクを評価し、今回の検査対象がどの欠陥ランクに該当するかを分類する欠陥ランク分類工程を実施する。
従って、本実施形態では、シミ欠陥抽出処理手段６６、ｂｌｏｂ処理手段６７、欠陥ランク分類処理手段６８により、シミ欠陥検出手段が構成されている。

次に、本発明の実施の形態によるシミ欠陥検出装置の動作について説明する。
図２はこの実施の形態のシミ欠陥検出装置の動作を説明するためのフローチャートである。図２に示す動作はコンピュータ装置６上で実行されるプログラムにより実現されている。
まず、プロジェクタ２に検査対象の液晶パネル１をセットし、コンピュータ装置６によりパターンジェネレータ３を制御して液晶パネル１上に特定の明るさのパターンを表示させ、それをプロジェクタ２によりスクリーン４に投影する。そして、スクリーン４上に投影された画像をＣＣＤカメラ５で撮影し、その撮影データの画像をコンピュータ装置６に出力し、コンピュータ装置６によりシミ欠陥検出処理を行い、液晶パネル１のシミ欠陥の検出結果を表示装置７に表示する。

ここで、コンピュータ装置６によるシミ欠陥検出の動作について図２のフローチャートに基づいて説明する。
まず、スクリーン４上に投影された画像をＣＣＤカメラ５で撮影し、その撮影データの画像がコンピュータ装置６の画像入力手段６０に取り込まれ、画像入力工程（撮像工程）が行われる（ステップＳ１）。このとき撮影データは、図示しないＡ／Ｄ変換器により、４０９６階調（１２ビット）のデジタルデータとして、コンピュータ装置６に取り込まれる。
次に、背景画像差分処理手段６１は、取り込まれた画像データの中から、照明やレンズなど液晶パネル以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理工程を行う（ステップＳ２）。

この背景画像差分処理工程は、図３（Ａ）に示す入力画像（投影画像）から図３（Ｂ）に示す背景画像を減算して、図３（Ｃ）に示す背景差分画像を作成する。背景画像は、液晶パネル１を除いた光学系の輝度変化の画像である。投影ランプや投射レンズによる欠陥上の輝度変化は、入力画像および背景画像の両方に生じるため、入力画像から背景画像を減算すれば、背景差分画像においては、投影ランプや投射レンズなど液晶パネル以外のものによって生じる欠陥上の輝度変化成分は除去される。

続いて、表示エリア抽出手段６２は、被検査部の画面部分だけを抽出する表示エリア抽出処理工程を行う（ステップＳ３）。
表示エリア抽出処理工程は、図４（Ａ）に示す被検査部画像（背景差分画像）の四隅の座標をパターンマッチング処理（画像データの四隅付近の数十画素×数十画素の４つの小領域に対して、それぞれ予め用意した４つの隅基準画像とパターンマッチング処理を行い、四隅の座標を特定する）により検出し、この四隅の座標の位置関係が長方形になるようにアフィン変換することで表示エリアを抽出する。これによって、図４（Ｂ）に示すように、スクリーン４上の周囲の縁部が除去され、且つ正確な長方形とされた画面部分だけが抽出される。

次に、縮小画像作成手段６３は、表示エリア抽出処理された検査対象画像を縮小する縮小画像作成処理工程を行う（ステップＳ４）。
この縮小画像作成処理工程は、検査対象画像から所定サイズ、例えば１／４サイズに縮小した画像を作成する。具体的には、１／４サイズの縮小画像を作成する場合には、検査対象画像の４画素の平均値を１画素とすることで１／２サイズの縮小画像を作成し、この１／２の縮小画像の４画素の平均値を１画素とすることで１／４サイズの縮小画像を作成する。

従って、平坦化処理された原画像が１３００×１０００の１３０万画素とすると、１／２の縮小画像は６５０×５００の３２．５万画素、１／４の縮小画像は３２５×２５０の８万１２５０画素を有することになる。
このように、所定サイズの縮小画像を作成するのは、後述するシミ欠陥強調フィルタは所定の大きさのシミ欠陥を強調するように設計されており、画像サイズを縮小することで、縮小前の画像サイズのままでは後述するシミ欠陥強調フィルタで強調できない比較的大きなシミを、画像サイズを縮小することで強調できるようにするためのものである。

次に、シミ欠陥強調処理手段６４は、作成された縮小画像に対してシミ欠陥を強調するシミ欠陥強調処理工程を行う（ステップＳ５）。このシミ欠陥強調処理工程は、そのままでは微少なレベルの白シミ欠陥・黒シミ欠陥の検出が難しいために、画像の中のシミ欠陥のみを強調するものである。
なお、所定サイズのシミ欠陥のみを検出する場合には、作成された縮小画像に対して、１種類のシミ欠陥強調フィルタを適用すればよいが、サイズの異なるシミ欠陥も検出する場合には、検出対象となるシミ欠陥のサイズが異なる複数種類のシミ欠陥強調フィルタを適用し、所定サイズのシミ欠陥を検出すればよい。

シミ欠陥強調フィルタは、図５に示すように、設定した検出領域の中心画素を対象画素とし、この対象画素の周囲に略円状に配置され、かつ対象画素から所定長さ離れて配置された輝度比較画素を設けている。
そして、対象画素を挟んで対称位置に配置された２つの輝度比較画素を１セットとし、すべての輝度比較画素をセットに分ける。そして、対象画素の輝度値から各セットの輝度比較画素の平均輝度値を引いて差Ｆを求める。すなわち、対象画素の輝度値を「Ｏ」、輝度比較画素の各輝度値を「Ｓ1〜Ｓ32」とした際に、以下の式１〜１６を用いて差Ｆ１〜Ｆ１６を算出する。

F1＝O−（S1 + S17）／ 2 （式1）
F2＝O−（S2 + S18）／ 2 （式2）
F3＝O−（S3 + S19）／ 2 （式3）
F4＝O−（S4 + S20）／ 2 （式4）
F5＝O−（S5 + S21）／ 2 （式5）
F6＝O−（S6 + S22）／ 2 （式6）
F7＝O−（S7 + S23）／ 2 （式7）
F8＝O−（S8 + S24）／ 2 （式8）
F9＝O−（S9 + S25）／ 2 （式9）
F10＝O−（S10 + S26）／ 2 （式10）
F11＝O−（S11 + S27）／ 2 （式11）
F12＝O−（S12 + S28）／ 2 （式12）
F13＝O−（S13 + S29）／ 2 （式13）
F14＝O−（S14 + S30）／ 2 （式14）
F15＝O−（S15 + S31）／ 2 （式15）
F16＝O−（S16 + S32）／ 2 （式16）

シミ欠陥強調フィルタは、以上の計算を行ったあと、F1からF16の各値の中から絶対値が最小となるものを選択し、その値をシミ強調の結果とする。
例えば、輝度比較画素で囲まれたエリア内に欠陥が存在しない場合、対象画素の輝度値と各輝度比較画素の輝度値は殆ど差が無い状態になる。従って、上記F1からF16は、いずれも小さな値になる。
一方、図６に示すように、輝度比較画素で囲まれたエリア内に他の部分に比べて明るい白シミ欠陥７０が存在し、対象画素がその一部である場合、対象画素に比べて各輝度比較画素の輝度値は低くなる。従って、上記F1からF16は、シミ欠陥７０が無い場合に比べて、大きな値になる。

また、図７に示すように、対象画素とともに、一部の輝度比較画素がシミ欠陥７０に含まれている場合には、シミ欠陥７０に含まれる輝度比較画素を有するセットの輝度平均値は、シミ欠陥７０に含まれる輝度比較画素が無いセットの輝度平均値に比べて大きくなり、その分、対象画素の輝度値との差は小さくなる。
同様に、図８に示すように、スジ状欠陥７１が存在している場合には、スジ状欠陥７１に含まれる輝度比較画素を有するセットの輝度平均値＝(S2＋S18)/2は、スジ状欠陥７１に含まれる対象画素の輝度値Ｏとほぼ同じとなるため、それらの差は小さくなる。

従って、図６に示すように、輝度比較画素で囲まれたエリア内にシミ欠陥７０が存在する場合には、上記F1からF16はいずれも比較的大きな値になる。一方、シミ欠陥が存在しない場合や、図８のようにスジ状欠陥７１が存在する場合、さらには図７のように輝度比較画素で囲まれたエリア内にシミ欠陥７０が納まっていない場合には、上記F1からF16の少なくとも１つは小さな値になる。このため、上記F1からF16の値から絶対値が最小となるものを選択すれば、対象画素を含み、かつ、輝度比較画素で囲まれたエリア内に納まるシミ欠陥７０が存在するか否かを検出できるので、この絶対値の最小となる値を各対象画素のシミ欠陥強調値として記憶すればよい。

なお、図５に示すシミ欠陥強調フィルタは、対象画素から上下、左右の輝度比較画素までの距離が６画素分であり、対象画素と他の輝度比較画素との間の距離もおおむね６画素分である。本実施形態のシミ欠陥強調フィルタは、輝度比較画素で囲まれた面積よりも一回り小さい面積のシミ欠陥の抽出に適している。すなわち、シミ欠陥強調フィルタは、各輝度比較画素で囲まれたエリア内の面積に比べて測定対象のシミの面積が大きいと、その輪郭部分のみが強調され、シミ部分全体を強調することができない。従って、対象画素と輝度比較画素間の距離によって検出可能なシミ欠陥のサイズが異なる。このため、以下の説明において、各シミ欠陥強調フィルタにおいて、対象画素と輝度比較画素間の距離がｎのものを距離ｎ画素フィルタと呼ぶ。例えば、図５に示すシミ欠陥強調フィルタは、距離６画素フィルタである。

なお、距離６画素のフィルタでは、１６個のセットで２次差分処理を行っているが、この数はフィルタの距離ｎが変わると変わることになる。
この処理を画面全体に適用することで、シミ欠陥を強調した画像を得ることができる。但し、前述したように、対象画素と輝度比較画素との距離が１種類のフィルタだけでは、様々な欠陥サイズに対応できない。例えば、図５で示す距離６画素フィルタでは、直径１１までのサイズのシミ欠陥しか検出できない。このため、本実施形態では、対象画素と輝度比較画素との距離を何段階か変えて処理を行い、様々なサイズのシミ欠陥に対応した強調画像を得るようにしている。
具体的には、距離３、距離６、距離１２画素フィルタの３つのフィルタを用いて、シミ欠陥強調処理を行っている。すなわち、距離１２画素フィルタを使えば、直径２３のシミ欠陥まで検出可能ということになるが、フィルタに対して十分に小さい欠陥では、対象と比較している画素との距離が遠く、正確な結果が出ない。このため、距離３及び距離６画素フィルタを併用し、シミ欠陥検出精度を向上させている。
この処理で３枚のシミ強調画像を得ることができるので、最後にそれぞれの画像の同ポイントの処理結果画素の輝度比較を行い、絶対値が最大となる値をシミ欠陥強調結果とすることで、１枚のシミ強調画像として合成する。

ここで、本実施形態のシミ欠陥強調処理工程Ｓ５の処理を説明する。本実施形態では、１／４に縮小された画像に対して３種類のシミ欠陥強調フィルタを適用している。具体的には、距離３，６，１２画素フィルタの各シミ欠陥強調フィルタを適用している。そして、距離３，６，１２画素フィルタのシミ欠陥強調フィルタの適用結果を合成して合成処理結果を求めている。
ここで、距離の異なる複数のシミ欠陥強調フィルタを用いているのは、前述の通り、様々なサイズのシミ欠陥を検出するためである。すなわち、処理対象画素からの距離が６画素のシミ欠陥強調フィルタのみを用いると、検出できるシミ欠陥のサイズが限定されてしまう（約１２画素サイズ近辺のシミ欠陥までしか検出できない）。
そこで、本実施形態では、画面内に存在する様々なサイズのシミ欠陥に対応するため、３画素、６画素、１２画素と、３段階に距離を変えて強調処理を行うことにより、様々なサイズのシミ欠陥を強調している。

また、強調結果を合成処理しているのは、検出精度を向上させるためである。すなわち、それぞれの強調結果からシミ欠陥を抽出して個別に評価した場合、１つのシミ欠陥が３画素と６画素の強調結果に分割されて検出されることがあり、実際のシミ欠陥と強調結果が一致しない場合がある。そこで、結果を一致させるため複数の強調結果を合成することで、分離したシミ欠陥を１つに合成して検出精度を向上させている。

図９に示す疑似シミ欠陥画像に対し、本実施形態のシミ欠陥強調フィルタを適用した結果を図１０〜１３に示す。
図９に示す疑似シミ欠陥は、擬似的に作成した白シミ欠陥および黒シミ欠陥である。そして、図９に示す画像を１／４サイズに縮小し、その縮小画像に対して以下の各シミ欠陥強調フィルタを適用した。

図１０には、対象画素と輝度比較画素間の距離が３画素のシミ欠陥強調フィルタ（距離３画素フィルタ）を適用した場合の強調結果を示す。
図１１には、対象画素と輝度比較画素間の距離が６画素のシミ欠陥強調フィルタ（距離６画素フィルタ）を適用した場合の強調結果を示す。
図１２には、対象画素と輝度比較画素間の距離が１２画素のシミ欠陥強調フィルタ（距離１２画素フィルタ）を適用した場合の強調結果を示す。
各図１０〜１２に示すように、各距離のフィルタにより、それぞれのサイズに応じたシミ欠陥が最も強調される。但し、図１１，１２に示すように、本実施形態のシミ欠陥強調フィルタは、各フィルタの距離に比べてシミ欠陥がある程度小さくても、そのシミ欠陥を強調することができる。

図１３には、図１０〜１２に示す距離３，６，１２画素の各フィルタの強調結果を合成した結果が示されている。
合成処理は、各フィルタの強調結果において、同じ位置の画素の強調結果値を比較し、それらの中で絶対値が最大となる値をその合成結果としたものである。
なお、シミ欠陥強調フィルタの距離が、シミ欠陥の大きさに比べて非常に大きい場合、輝度比較画素が他のシミ領域に位置するとそのシミ欠陥に影響されてシミを正しく検出することができない。このため、シミ欠陥強調フィルタは、検出しようとするシミ欠陥の大きさよりも僅かに大きいもの、例えば１〜３画素程度の寸法分、大きいものを用いることが好ましい。
従って、距離３，６，１２画素の各フィルタの強調結果を合成するようにすれば、距離３，６，１２の各サイズに対応したシミ欠陥が強調されて検出することができる。

次に、ノイズ除去手段６５は、前記シミ欠陥強調処理工程の結果に対して、メディアンフィルタを掛けて、ノイズにより分離している欠陥成分をつなげて平滑化し、シミ欠陥以外のノイズを除去するノイズ除去処理工程を実施する（Ｓ６）。メディアンフィルタとしては、例えば３×３の９画素の各輝度値のメディアン値（中央値）を３×３の中心に位置する対象画素の輝度値とするようなメディアンフィルタを利用すればよい。

次に、シミ欠陥抽出処理手段６６は、ノイズが除去されたシミ欠陥強調画像に対して、白シミ欠陥を切り出す閾値と、黒シミ欠陥を切り出す閾値を設定し、各シミ欠陥候補の領域を切り出すシミ欠陥抽出処理工程を実施する（Ｓ７）。ここで、各閾値は、画像の状況に合わせて最適な値を設定すればよい。例えば、シミ欠陥強調画像（合成画像）のシミ強調値（輝度値）の平均値と、その標準偏差を求め、以下の式で閾値を設定する。
白シミ欠陥閾値 wslevel＝avr＋α1・σ＋β1
黒シミ欠陥閾値 bslevel＝avr−α2・σ＋β2
ここで、avrは合成画像の平均値、σは合成画像の標準偏差、α1，α2，β1，β2は任意の数で検査対象となる画像の状況で適宜決定される。

ここで、α1，α2を３、β1，β2を０に設定して計算した白シミ欠陥閾値および黒シミ欠陥閾値で、図１３の合成画像を２値化した結果を、図１４，１５に示す。図１４は白シミ欠陥閾値で切り出した白シミ欠陥候補であり、図１５は黒シミ欠陥閾値で切り出した黒シミ欠陥候補である。図１４，１５とも、白く表示された領域が、切り出されたシミ欠陥候補の領域である。

次に、ｂｌｏｂ処理手段６７は、白シミ欠陥候補画像と、黒シミ欠陥候補画像に対し、欠陥候補として切り出した領域の面積と、平均輝度を求めるｂｌｏｂ処理工程を実施する（Ｓ８）。
次に、欠陥ランク分類処理手段６８は、算出された欠陥候補領域の面積および平均輝度により、その画像におけるシミ欠陥のランクを分類する欠陥ランク分類工程を実施する（Ｓ９）。
欠陥ランク分類処理手段６８で求められた欠陥ランクは、表示装置７に表示され、検査員は検査対象の液晶パネル１の欠陥ランクを容易に把握することができる。
従って、本実施形態では、シミ欠陥抽出処理工程Ｓ７、ｂｌｏｂ処理工程Ｓ８、欠陥ランク分類工程Ｓ９により、シミ欠陥検出工程が構成されている。

この実施の形態によれば、次のような効果がある。
（１）シミ欠陥強調処理手段６４は、対象画素から所定距離離れて、かつ、対象画像の周囲に配置された輝度比較画素の輝度値に基づいてシミ欠陥を強調するシミ欠陥強調フィルタを用いているので、例えば、輝度比較画素を対象画素に対して上下左右のみに配置した場合に比べて、面状に広がるシミを確実に検出することができる。
その上、シミ欠陥強調フィルタは、前記各輝度比較画素を、前記対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、前記対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求め、各セットの差の値のうち、絶対値が最小となるものを選択してシミ欠陥強調値としている。このため、スジ状欠陥がある場合や、輝度比較画素の一部が欠陥に含まれている場合には、シミ欠陥強調値が小さくなり、輝度比較画素で囲まれたエリア内にシミ欠陥が納まっている場合のみシミ欠陥強調値が大きくなり、シミ欠陥強調値を所定の閾値と比較することで、スジ状欠陥などを排除でき、シミ欠陥のみを高精度に検出することができる。

（２）本実施形態では、対象画素を挟んで点対称の位置に配置された２つの輝度比較画素の輝度値における平均値を求めているので、背景のシェーディングの影響を軽減でき、シミ欠陥をより高精度に検出することができる。すなわち、対象画素を挟んで点対称の位置に配置された２つの輝度比較画素の一方は、背景のシェーディングの影響によって、輝度値が高くなり、他方は小さくなることが多い。従って、これらの２つの輝度比較画素の平均輝度値を求めることでシェーディングの影響を平滑化でき、シミ欠陥をより高精度に検出することができる。

（３）さらに、シミ欠陥強調フィルタは、対象画素と輝度比較画素の距離に応じて適宜設定することで、そのフィルタによって検出可能なシミ欠陥の大きさを設定できるので、検出したいサイズのシミ欠陥を容易に検出できる。
その上、各シミ欠陥のサイズに応じた複数のシミ欠陥強調フィルタを適用した場合も、それらの強調結果の合成結果のみを評価することで各サイズのシミ欠陥を容易に検出することができる。

（４）本実施形態では、シミ欠陥強調値は、対象画素の輝度値と、輝度比較画素の輝度平均値とで算出され、対象画素および輝度比較画素間にある画素の輝度値は利用されていない。このため、シミ欠陥が、輝度比較画素で囲まれるエリアよりも小さく、かつ対象画素を含むものであれば、シミ欠陥のサイズがある程度変化しても、従来の検査員の目視による判定と同様にシミ欠陥を検出できる。このため、フィルタの距離サイズはあまり細かく設定する必要が無く、その分、フィルタ数を少なくでき、検査時間も短縮できる。

（５）白シミ欠陥および黒シミ欠陥は、共に同じシミ欠陥強調フィルタで強調でき、シミ欠陥抽出処理手段６６で白シミ欠陥用の閾値と、黒シミ欠陥用の閾値とを使い分けるだけで、白シミ欠陥および黒シミ欠陥の両方を簡単に検出することができる。このため、各種のシミ欠陥を簡単な処理で効率的に検出することができる。

（６）ｂｌｏｂ処理手段６７および欠陥ランク分類処理手段６８により、抽出されたシミ欠陥のランクを分類できるので、欠陥の客観的なランク付けを短時間に行うことができ、検査者はシミ欠陥の度合いを容易に判断でき、良品かどうかの判定を短時間で容易にすることができる。

なお、本発明は、前記実施形態に限らない。
例えば、前記実施形態では、様々なシミ欠陥サイズに対応するために、対象画素および輝度比較画素間の距離が異なる複数種類のシミ欠陥強調フィルタを利用していたが、縮小画像作成手段６３において検査対象となる画像を複数段階に縮小し、縮小サイズが異なる各画像に対して所定のシミ欠陥強調フィルタをそれぞれ適用することで、様々なサイズのシミ欠陥を検出するようにしてもよい。
また、検出対象とするシミ欠陥のサイズによっては、画像縮小処理やフィルタサイズの変更を行わず、１種類のフィルタのみで処理を行ってもよい。

前記実施形態では、白シミ欠陥用および黒シミ欠陥用の各閾値を設定し、白シミ欠陥および黒シミ欠陥の両方を検出できるようにしていたが、一方の欠陥のみを検出してもよい。例えば、白シミ欠陥のみを検出すればよい場合には、黒シミ欠陥用閾値との比較処理を行わずに処理してもよい。
本発明は、シミ欠陥強調処理手段６４によるシミ欠陥強調処理工程Ｓ５の前に、背景差分処理工程Ｓ２、表示エリア抽出工程Ｓ３の前処理を行っていたが、これらは撮影された画像の状態によっては実施しなくてもよい。同様に、縮小画像作成手段６３による縮小画像作成工程Ｓ４も、検出するシミのサイズによっては実施しなくてもよい。また、ノイズ除去手段６５によるノイズ除去処理工程Ｓ６も画像の状態が良ければ実施しなくてもよい。

また、前記実施形態では、シミ欠陥検出工程として、シミ欠陥抽出処理工程Ｓ７、ｂｌｏｂ処理工程Ｓ８、欠陥ランク分類工程Ｓ９を実施していたが、他の方法・手順でシミ欠陥を検出してもよい。要するに、シミ欠陥検出工程は、シミ欠陥強調処理工程Ｓ５で強調されたシミ欠陥に基づいてそれがシミ欠陥に該当するか否かを判断できるものであればよい。

前記実施形態では、複数のシミ欠陥強調フィルタを適用した場合には、各フィルタの結果を合成して判断していたが、各フィルタの結果毎にシミ欠陥があるか否かを個別に判断してもよい。但し、合成結果に基づいて判断したほうが、シミ欠陥を効率的に検出することができる。

シミ欠陥の検出対象としては、前記のようなＴＦＴ素子を用いた液晶ライトバルブに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ＥＬディスプレイ、ＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
さらに、本発明は、各種表示装置の検査に限らず、例えば、印刷物、家電製品のケースや車のボディなどにシミ状の傷がある場合、これらを撮像してシミ状の欠陥がある画像が得られればそのシミを検出できるので、各種製品の表面塗装や印刷物などのシミ検査に応用することもできる。
要するに、本発明は、周囲と輝度差があるシミであれば検出できるため、輝度シミ欠陥や色シミ欠陥の検出に利用できる。

本発明の実施の形態による画面のシミ欠陥検出装置のブロック構成図。 同シミ欠陥検出装置の動作を説明するためのフローチャート。 同シミ欠陥検出装置の背景画像差分処理を示す説明図。 同シミ欠陥検出装置の表示エリア抽出処理を示す説明図。 シミ欠陥強調フィルタの例を示す図。 シミ欠陥強調フィルタで検出されるシミ欠陥の例を示す図。 シミ欠陥強調フィルタで検出されないシミ欠陥の例を示す図。 シミ欠陥強調フィルタで検出されないスジ状欠陥の例を示す図。 擬似的なシミ欠陥を設けた画像を示す図。 距離３画素フィルタを適用した結果を示す図。 距離６画素フィルタを適用した結果を示す図。 距離１２画素フィルタを適用した結果を示す図。 距離３，６，１２画素フィルタの適用結果を合成した状態を示す図。 合成結果を白シミ欠陥閾値で切り出した白シミ結果候補を示す図。 合成結果を黒シミ欠陥閾値で切り出した黒シミ結果候補を示す図。

符号の説明

１…液晶パネル、２…プロジェクタ、３…パターンジェネレータ、４…スクリーン、５…ＣＣＤカメラ、６…コンピュータ装置、７…表示装置、６０…画像入力手段、６１…背景画像差分処理手段、６２…表示エリア抽出手段、６３…縮小画像作成手段、６４…シミ欠陥強調処理手段、６５…ノイズ除去手段、６６…シミ欠陥抽出処理手段、６７…ｂｌｏｂ処理手段、６８…欠陥ランク分類処理手段、７０…シミ欠陥、７１…スジ状欠陥。

Claims (8)

1. 撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理工程と、
   前記シミ欠陥強調処理工程で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出工程とを有し、
   前記シミ欠陥強調処理工程は、
   撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、
   前記対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求め、各セットの差の値のうち、その絶対値が最小のものを対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、
   前記シミ欠陥検出工程は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とするシミ欠陥検出方法。
2. 請求項１に記載のシミ欠陥検出方法において、
   前記シミ欠陥強調処理工程の後に、メディアンフィルタを掛けてノイズを除去した後、前記シミ欠陥検出工程を実行することを特徴とするシミ欠陥検出方法。
3. 請求項１または請求項２に記載のシミ欠陥検出方法において、
   前記シミ欠陥強調処理工程の前に、
   検査対象を撮像する撮像工程と、
   撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理工程と、
   画像から表示エリアの抽出を行う表示エリア抽出工程と、
   抽出された画像に対して縮小画像を作成する縮小画像作成工程とを実行し、
   前記シミ欠陥強調処理工程は、前記縮小画像作成工程で作成された縮小画像に対してシミ欠陥強調フィルタをかけることを特徴とするシミ欠陥検出方法。
4. 請求項１から請求項３のいずれかに記載のシミ欠陥検出方法において、
   前記シミ欠陥検出工程は、
   前記シミ欠陥強調処理工程で得られる各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出するシミ欠陥抽出処理工程と、
   前記シミ欠陥候補の特性値を求めるｂｌｏｂ処理を行うｂｌｏｂ処理工程と、
   前記ｂｌｏｂ処理工程により求められたシミ欠陥候補の特性値に基づいてシミ欠陥のランクを分類する欠陥ランク分類工程と、を備えることを特徴とするシミ欠陥検出方法。
5. 請求項１から請求項４のいずれかに記載のシミ欠陥検出方法において、
   前記シミ欠陥強調処理工程は、前記対象画素から輝度比較画素までの距離が異なる複数種類のシミ欠陥強調フィルタを各画素に対して適用し、各フィルタによって得られるシミ欠陥強調値のうち、その絶対値が最大のものをその対象画素のシミ欠陥強調値とすることを特徴とするシミ欠陥検出方法。
6. 請求項１から請求項４のいずれかに記載のシミ欠陥検出方法において、
   前記シミ欠陥強調処理工程前に、撮像画像の複数段階の縮小画像を作成する縮小画像作成工程を実施し、
   前記シミ欠陥強調処理工程は、縮小画像作成工程で作成された各縮小画像に対して前記シミ欠陥強調フィルタを適用し、各フィルタによって得られる各縮小画像における各画素のシミ欠陥強調値のうち、その絶対値が最大のものをその画素のシミ欠陥強調値とすることを特徴とするシミ欠陥検出方法。
7. 撮像した画像の各画素に対してシミ欠陥強調フィルタをかけてシミ欠陥を強調するシミ欠陥強調処理手段と、
   前記シミ欠陥強調処理手段で得られた各画素のシミ欠陥強調値に基づいてシミ欠陥を検出するシミ欠陥検出手段とを有し、
   前記シミ欠陥強調処理手段は、
   撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素を、前記対象画素を挟んで対称位置に配置された２つの輝度比較画素毎のセットに分け、
   前記対象画素の輝度値と各セットの２つの輝度比較画素の平均輝度値との差の値を求め、各セットの差の値のうち、その絶対値が最小のものを対象画素のシミ欠陥強調値とするシミ欠陥強調フィルタを用いてシミ欠陥を強調し、
   前記シミ欠陥検出手段は、前記各画素のシミ欠陥強調値を所定の閾値と比較してシミ欠陥候補の画素を抽出してシミ欠陥を検出することを特徴とするシミ欠陥検出装置。
8. 請求項７に記載のシミ欠陥検出装置において、
   検査対象を撮像する撮像手段と、
   撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理手段と、
   画像から表示エリアの抽出を行う表示エリア抽出手段と、
   縮小画像を作成する縮小画像作成手段とを備え、
   前記シミ欠陥強調処理手段は、前記縮小画像作成手段で作成された縮小画像に対してシミ欠陥強調フィルタをかけることを特徴とするシミ欠陥検出装置。

Images