JP2007285868A - 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置 - Google Patents

Abstract

【課題】輝度勾配を精度良く検出できる輝度勾配検出方法を提供すること。
【解決手段】対象画素における８つの検出方向の輝度勾配成分を各検出方向に対応する強調フィルタを用いて取得し、取得された各輝度勾配成分のうち絶対値が最大となる輝度勾配成分を対象画素の輝度勾配とし、強調フィルタは、対象画素に対応する１つの領域を座標中心とする縦３×横３の９つの領域を有し、座標中心の領域には重み係数２、座標中心の領域に対し検出方向側に隣接した１つの領域には重み係数−２、座標中心の領域に対し検出方向と直交する方向の両側に隣接した２つの領域には重み係数１、座標中心の領域に対し検出方向側に位置する３つの領域のうち、重み係数−１が設定されていない２つの領域には重み係数−Ｎ、９つの領域のうち重み係数２，−２，１，−１が設定されていない３つの領域には重み係数０がそれぞれ設定されている。
【選択図】図４

Description

本発明は、液晶パネル等の表示デバイスの検査工程において用いられる輝度勾配を精度よく自動的に検出する輝度勾配検出方法及び装置と、この輝度勾配検出方法及び装置を用いた欠陥検出方法及び装置に関する。

ＴＦＴ（Thin Film Transistor）パネル等の液晶パネル検査においてシミやムラと呼ばれる面系欠陥は、形状が不定でありコントラストも低いため、検査装置で自動検出することは困難であった。このため、検査は未だ検査員の目視で行われているのが現状であり、製造コスト削減のために検査の自動化が急務になっている。
なお、シミやムラ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度の範囲で、周りに比べて明るい部分や暗い部分がある状態をいう。なお、通常、欠陥面積が比較的狭い場合をシミ欠陥、比較的大きい場合をムラ欠陥と呼ぶことが多い。但し、厳密な定義はないため、本発明では、シミ欠陥やムラ欠陥などの面系欠陥を総称してシミ欠陥と称する。

このようなシミ欠陥を目視検査した場合の欠陥良品レベル判断では、シミ欠陥の面積やコントラストなどの特徴量だけではなく、シミ欠陥のエッジ部分の輝度勾配も大きな判断基準となる。従って、シミ欠陥を画像処理することで欠陥検査を自動化する場合も、シミ欠陥のエッジ部分の輝度勾配を精度よく検出することが求められている。

ところで、画像処理により輝度勾配を求める方法としては、従来、プレビット（Prewitt）フィルタを用いる方法が知られている（例えば、非特許文献１参照）。
プレビットフィルタは３×３のフィルタを用いることが多く、例えば、図７（Ａ），（Ｂ）に示すように、Ｘ方向の輝度勾配を求めるｆｘフィルタと、Ｙ方向の輝度勾配を求めるｆｙフィルタとを用い、検査の対象画素（プレビットフィルタの中心に対応する画素）の一方側に隣接する画素と他方側に隣接する画素との差分を求めて、対象画素の輝度勾配を求めている。

高木幹雄，下田陽久監修、「画像解析ハンドブック」、初版、財団法人東京大学出版会、1991年１月17日、p.５５０−５５５

しかしながら、前記プレビットフィルタは、対象画素の一方側に隣接する画素と他方側に隣接する画素との差分を求めて、対象画素の輝度勾配を求めているため、図８（Ａ），（Ｂ）に示すように、この２画素間において異なった輝度変動を示している場合でも同じ輝度勾配で検出してしまうことがあり、必ずしも精度が高いものではなかった。
すなわち、対象画素Ｂと、その一方側に隣接する画素Ａ、他方側に隣接する画素Ｂの各輝度値が、例えば、図８（Ａ）に示すように「０，１，２」と徐々に大きくなっている場合と、図８（Ｂ）に示すように「０，２，２」と急激に大きくなっている場合のそれぞれにプレビットフィルタを適用すると、いずれの結果も輝度勾配（図８の勾配成分ｇａ、ｇｂ）は同じ傾きになってしまう。このようにプレビットフィルタでは、エッジ部分の輝度変動が正確に検出できない場合があるという問題があった。
さらに、輝度勾配を精度よく検出できないため、画像処理によるシミ欠陥の自動検出も精度良く検出できないという問題もあった。

本発明の目的は、輝度勾配を精度良く検出できる輝度勾配検出方法及び装置と、欠陥を精度良く検出できる欠陥検出方法及び装置を提供することを目的とする。

本発明の輝度勾配検出方法は、撮像画像上で選択された１つの対象画素における少なくとも１つの検出方向の輝度勾配成分を、各検出方向に対応する強調フィルタを用いて取得する輝度勾配成分取得工程と、前記輝度勾配成分取得工程で取得された前記輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定する輝度勾配判定工程とを備え、前記強調フィルタは、当該強調フィルタの座標中心において前記対象画素に対応する１つの領域と、当該領域の周囲に隣接配置された８つの領域との縦３×横３の９つの領域を有し、当該強調フィルタの座標中心の領域には重み係数Ｍが設定され、前記座標中心の領域に対し検出方向側に隣接した１つの領域には重み係数−Ｍが設定され、前記座標中心の領域に対し前記検出方向と直交する方向の両側に隣接した２つの領域には重み係数Ｎが設定され、前記座標中心の領域に対し前記検出方向側に位置する３つの領域のうち、前記重み係数−Ｍが設定されていない２つの領域には重み係数−Ｎが設定され、当該強調フィルタの前記９つの領域のうち、前記重み係数Ｍ，−Ｍ，Ｎ，−Ｎが設定されていない３つの領域には重み係数０が設定され、前記重み係数Ｍ，Ｎは、Ｍ＞Ｎ＞０の関係を有していることを特徴とする。

本発明によれば、対象画素の輝度勾配を求める際に、まず、当該対象画素を中心とした縦３画素×横３画素の９画素を含む対象領域に対し強調フィルタを適用して、当該対象画素における少なくとも１つの検出方向の輝度勾配成分を求め、次に、検出された輝度勾配成分のうち絶対値が最大となる輝度勾配成分を、当該対象画素の輝度勾配とした。
強調フィルタは、それぞれ輝度勾配の各検出方向に対応したものであり、座標中心の領域から検出方向側に隣接する領域へ向かって重み付けされている。具体的には、座標中心の領域には対象画素に対応する重み係数Ｍが設定され、前記座標中心の領域に対し検出方向側に隣接した１つの領域には重み係数−Ｍが設定されている。
このため、対象領域に対して強調フィルタを用いて畳み込み演算することにより求められる対象画素の輝度勾配成分は、対象画素と、対象画素の検出方向側に隣接する画素との差分から求められたものである。すなわち、当該輝度勾配成分は、対象画素と対象画素の検出方向側に隣接する１画素間における輝度変動を検出したものである。

これに対し、従来のプレビットフィルタを用いて対象画素の輝度勾配を検出する方法では、前述したように、対象画素の一方側に隣接する画素と他方側に隣接する画素との差分、すなわち２画素間の差分から輝度勾配を検出していたため、図８（Ａ），（Ｂ）のように互いに異なる輝度変動を示している場合でも、同じ傾きの輝度勾配として検出してしまっていた。
しかしながら、本発明では、強調フィルタを用いることで、対象画素と対象画素の検出方向側に隣接する１画素間の差分から輝度勾配を検出できるため、１画素ごとに輝度値が急激に変動している場合でも輝度勾配を精度良く検出することができる。このように、対象画素の輝度勾配を精度良く求めることができる。

さらに、強調フィルタは、座標中心の領域に対し検出方向と直交する方向の両側に隣接した２つの領域に重み係数Ｎが設定され、座標中心の領域に対し検出方向側に位置する３つの領域のうち、重み係数−Ｍが設定されていない２つの領域に重み係数−Ｎが設定されている。さらに、重み係数Ｎは、重み係数よりも小さい値である。このように、各領域に重み係数Ｎ、−Ｎを設定することで、対象画素から検出方向側へ向かって広がる輝度変動を、対象画素の検出方向の輝度勾配成分の値に適度に反映させることができる。従って、対象画素から検出方向側へ向かって広がる輝度変動を精度良く検出することができる。

本発明では、前記輝度勾配成分取得工程は、前記対象画素における上下方向、左右方向、左上・右下方向および右上・左下方向の８つの検出方向の各輝度勾配成分を、それぞれ第１〜第８強調フィルタを用いて取得する第１〜第８検出方向輝度勾配成分取得工程を備え、前記輝度勾配判定工程は、前記第１〜第８検出方向輝度勾配成分取得工程でそれぞれ取得された前記８つの検出方向の輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定することが好ましい。
本発明によれば、第１〜第８強調フィルタを用いて、対象画素における上下方向、左右方向、左上・右下方向および右上・左下方向の８つの検出方向の各輝度勾配成分を取得し、これら８つの検出方向の各輝度勾配成分のうち絶対値が最大となる輝度勾配成分を、当該対象画素の輝度勾配と判定するので、対象画素における様々な方向の輝度変動を精度良く検出することができる。

本発明の欠陥検出方法は、検査対象の撮像画像を取得する撮像画像取得工程と、前記撮像画像から欠陥候補を抽出する欠陥候補抽出工程と、前記欠陥候補のエッジ部分に含まれる対象画素の輝度勾配を検出する輝度勾配検出工程と、前記輝度勾配に基づいて前記欠陥候補から欠陥を抽出する欠陥抽出工程と、前記欠陥の面積を算出する面積算出工程と、前記欠陥のコントラストを求めるコントラスト算出工程と、前記輝度勾配、前記面積、前記コントラストの３種類の特徴値に基づいて前記欠陥の欠陥ランクを評価する欠陥ランク評価工程とを備え、前記輝度勾配検出工程は、前述したいずれかの輝度勾配成分取得工程および輝度勾配判定工程を備えていることを特徴とする。

本発明によれば、前述したように、輝度勾配検出工程によって対象画素の輝度勾配を精度良く求めることができることから、撮像画像上におけるシミ欠陥候補のエッジ部分の輝度勾配を正確に検出できる。このため、対象画素の輝度勾配に基づいて、シミ欠陥を精度良く検出できるので、シミ欠陥の面積、コントラストを精度良く算出することができる。従って、シミ欠陥の面積、コントラストおよび輝度勾配のこれら特徴値に基づいて、シミ欠陥の欠陥ランクを精度良く判定することができる。

本発明の輝度勾配検出方法は、撮像画像上で選択された１つの対象画素における少なくとも１つの検出方向の輝度勾配成分を、各検出方向に対応する強調フィルタを用いて取得する輝度勾配成分取得手段と、前記輝度勾配成分取得手段で取得された前記輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定する輝度勾配判定手段とを備え、前記強調フィルタは、当該強調フィルタの座標中心において前記対象画素に対応する１つの領域と、当該領域の周囲に隣接配置された８つの領域との縦３×横３の９つの領域を有し、当該強調フィルタの座標中心の領域には重み係数Ｍが設定され、前記座標中心の領域に対し検出方向側に隣接した１つの領域には重み係数−Ｍが設定され、前記座標中心の領域に対し前記検出方向と直交する方向の両側に隣接した２つの領域には重み係数Ｎが設定され、前記座標中心の領域に対し前記検出方向側に位置する３つの領域のうち、前記重み係数−Ｍが設定されていない２つの領域には重み係数−Ｎが設定され、当該強調フィルタの前記９つの領域のうち、前記重み係数Ｍ，−Ｍ，Ｎ，−Ｎが設定されていない３つの領域には重み係数０が設定され、前記重み係数Ｍ，Ｎは、Ｍ＞Ｎ＞０の関係を有していることを特徴とする。
本発明においても、前記輝度勾配検出方法と同じ作用効果を奏することができる。

本発明では、前記輝度勾配成分取得手段は、前記対象画素における上下方向、左右方向、左上・右下方向および右上・左下方向の８つの検出方向の各輝度勾配成分を、それぞれ第１〜第８強調フィルタを用いて取得する第１〜第８検出方向輝度勾配成分取得手段を備え、前記輝度勾配判定手段は、前記第１〜第８検出方向輝度勾配成分取得手段でそれぞれ取得された前記８つの検出方向の輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定することが好ましい。

本発明の欠陥検出装置は、検査対象の撮像画像を取得する撮像画像取得手段と、前記撮像画像から欠陥候補を抽出する欠陥候補抽出手段と、前記欠陥候補のエッジ部分に含まれる対象画素の輝度勾配を検出する輝度勾配検出手段と、前記輝度勾配に基づいて前記欠陥候補から欠陥を抽出する欠陥抽出手段と、前記欠陥の面積を算出する面積算出手段と、前記欠陥のコントラストを求めるコントラスト算出手段と、前記輝度勾配、前記面積、前記コントラストの３種類の特徴値に基づいて前記欠陥の欠陥ランクを評価する欠陥ランク評価手段とを備え、前記輝度勾配検出手段は、前述したいずれかの輝度勾配成分取得手段および輝度勾配判定手段を備えていることを特徴とする。
本発明においても、前記欠陥検出方法と同じ作用効果を奏することができる。

本発明の一実施形態について説明する。
図１は、欠陥検出システム１００の全体構成図である。なお、以下の説明では、検査対象を液晶パネル１とする例について説明する。
欠陥検出システム１００は、液晶パネル１を内蔵して画像を投影するプロジェクタ２と、液晶パネル１を駆動するパターンジェネレータ３と、プロジェクタ２から投射される画像を映写するスクリーン４を有する映写部４０と、スクリーン４に映写された画像を撮像するＣＣＤカメラ５と、ＣＣＤカメラ５で撮像された撮像画像を画像処理するとともに液晶パネル１の欠陥ランク判定を行う欠陥検出装置としてのコンピュータ装置６と、コンピュータ装置６に接続された表示装置７とを備えている。

プロジェクタ２は、光源２１と、パターンジェネレータ３により駆動され光源２１からの光を変調する液晶パネル１と、液晶パネル１からの光を集光して投射する投射レンズ２３と、投射レンズ２３からの光をスクリーン４に向けて反射するミラー２４とを備えている。
液晶パネル１は、画素ごとに液晶セルを備える液晶パネルであり、液晶パネル１に不良があった場合、スクリーン４に映写された画像にシミ・ムラ欠陥等の表示不良が生じることになる。
パターンジェネレータ３は、液晶パネル１の各液晶セルを駆動する各スイッチング素子に駆動信号を印加して液晶パネル１を所定パターンで駆動する。ここで、液晶パネル１の欠陥検出検査の際には、パターンジェネレータ３は、総ての液晶セルを同じ入力レベルで駆動する。

映写部４０は、暗ボックス４１と、この暗ボックス４１内に設けられたスクリーン４と、を備える。そして、暗ボックス４１は、プロジェクタ２からの光が入射される開口部４２と、ＣＣＤカメラ５でスクリーン４上の画像を撮像するための開口部４３とを有する。
ＣＣＤカメラ５は、コンピュータ装置６の制御の下、スクリーン４上に映写された画像を撮像し、撮像された撮像画像をコンピュータ装置６に出力する。
なお、本実施形態では、ＣＣＤカメラ５で撮像された撮像画像に基づいて欠陥を検出するので、ＣＣＤカメラ５は液晶パネル１の階調数を超える階調数で画像を撮像する機能を有する必要がある。例えば、液晶パネル１で２５６階調が表現されるとき、ＣＣＤカメラ５の画像データは、黒を“０”、白を“４０９５”とする１２ビットデータの階調数を有する。

図２は、コンピュータ装置６の機能的構成を示すブロック図である。
コンピュータ装置６は、図２に示すように、撮像画像取得手段６０と、背景画像差分処理手段６１と、表示エリア抽出手段６２と、縮小画像作成手段６３と、欠陥候補抽出手段６４と、輝度勾配検出手段６５と、欠陥抽出手段６６と、面積算出手段およびコントラスト算出手段としてのｂｌｏｂ処理手段６７と、欠陥ランク評価手段６８とから構成されている。

撮像画像取得手段６０は、ＣＣＤカメラ５で撮像された撮像画像を取得する。そして、その撮像画像は図示しない記憶手段に記憶される。
背景画像差分処理手段６１は、撮像画像取得手段６０で取得された撮像画像と予め作成された背景画像との差を取って、検査対象以外のものにより生じた欠陥状の輝度変化を除去し、背景差分画像を取得する。
表示エリア抽出手段６２は、背景差分画像から被検査画像だけを抽出する。具体的には、スクリーン４上に映写された映写画像をＣＣＤカメラ５で撮像すると、映写画像とともに映写画像周囲のスクリーン４表面も撮像される。従って、撮像画像における液晶パネル像の周囲には、液晶パネル１とは関係のない画像領域が存在する。このため、表示エリア抽出手段６２は、背景差分画像内の液晶パネル像、すなわち、被検査画像のみを切り出す作業を行う。

縮小画像作成手段６３は、表示エリア抽出手段６２で抽出された被検査画像から縮小画像を作成する。例えば、縮小画像作成手段６３は、撮像画像において比較的大きなシミ欠陥を検出するために、撮像画像を１／８サイズに縮小する処理を行う。
後述するように、欠陥候補抽出手段６４で使用するシミ欠陥強調フィルタは、強調可能なシミの大きさがある程度決められている。このため、撮像画像自体を縮小してシミ欠陥の大きさを小さくすることで、大きなシミ欠陥に対してもシミ欠陥強調フィルタを利用して検出することができる。なお、小さなシミ欠陥を検出する場合には、この縮小画像作成手段６３による縮小画像作成工程を実施しなくてもよい。

欠陥候補抽出手段６４は、縮小画像作成手段６３で作成された縮小画像から欠陥候補を抽出する。なお、この欠陥候補を抽出する手法としては、一般的な手法を採用することができる。具体的には、欠陥候補抽出手段６４は、縮小画像に対しシミ欠陥強調フィルタを適用して、縮小画像上のシミ成分を強調して検出し、さらに、検出されたシミ成分に対しメディアンフィルタを適用してノイズを除去する。そして、ノイズ除去されたシミ成分を所定のシミ欠陥閾値と比較することで、シミ欠陥と想定されるシミ欠陥候補を抽出する。
なお、シミ欠陥には、他の画素部分に対して輝度値が高い白シミ欠陥と、輝度値が低い黒シミ欠陥とがある。このため、シミ欠陥閾値としては、白シミ欠陥閾値と、黒シミ欠陥閾値とが設定され、白シミ欠陥閾値と比較することで白シミ欠陥候補が抽出され、黒シミ欠陥閾値と比較することで黒シミ欠陥候補が抽出される。

輝度勾配検出手段（輝度勾配検出装置）６５は、欠陥候補抽出手段６４により抽出されたシミ欠陥候補のエッジ部分に本発明の輝度勾配検出方法を適用し、シミ欠陥候補のエッジ部分における輝度勾配を検出する。輝度勾配検出手段６５は、輝度勾配成分取得手段６５１と、輝度勾配判定手段６５２とを備えている。

輝度勾配成分取得手段６５１は、シミ欠陥候補のエッジ部分に含まれる全ての画素（対象画素）において、各対象画素における上下方向、左右方向、左上・右下方向および右上・左下方向の計８つの検出方向の輝度勾配成分を取得する。
具体的には、輝度勾配成分取得手段６５１は、第１〜第８検出方向輝度勾配成分取得手段を備え、第１〜第８検出方向輝度勾配成分取得手段は、対象画素を中心とした縦３画素×横３画素の９つの画素から成る対象領域に対して、それぞれ第１〜第８強調フィルタｆ１〜ｆ８を適用して、当該対象画素の第１〜第８検出方向輝度勾配成分を取得する。

輝度勾配判定手段６５２は、輝度勾配成分取得手段６５１で取得された各対象画素の第１〜第８検出方向輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を当該対象画素の輝度勾配と判定する。輝度勾配判定手段６５２は、シミ欠陥候補のエッジ部分に含まれる全ての対象画素に対し、輝度勾配の判定を行う。

欠陥抽出手段６６は、輝度勾配判定手段６５２で判定された各対象画素の輝度勾配と所定の輝度勾配閾値とを比較して、シミ欠陥候補からシミ欠陥を抽出する。具体的には、欠陥抽出手段６６は、所定輝度勾配閾値よりも大きい輝度勾配を持つ対象画素を、シミ欠陥のエッジ部分に対応すると判定し、エッジ部分を特定することでシミ欠陥の領域を特定する。

ｂｌｏｂ処理手段６７は、欠陥抽出手段６６でシミ欠陥として抽出した領域の面積およびコントラスト（平均輝度）を求める。
欠陥ランク評価手段６８は、ｂｌｏｂ処理手段６７で求めたシミ欠陥の面積およびコントラストと、輝度勾配検出手段６５で求めたシミ欠陥の輝度勾配とに基づいて、液晶パネル１の欠陥ランクを評価する。

〔コンピュータ装置６の作用〕
次に、コンピュータ装置６による液晶パネル１の欠陥検出処理について説明する。
図３は、コンピュータ装置６による欠陥検出処理を説明するためのフローチャートである。
欠陥検出処理の準備として、まず、コンピュータ装置６によりパターンジェネレータ３を制御して、プロジェクタ２にセットされた液晶パネル１上に特定の明るさのパターンを表示させる。そして、プロジェクタ２により、液晶パネル１上に表示されたパターンをスクリーン４に映写させる。

コンピュータ装置６を構成する撮像画像取得手段６０は、ＣＣＤカメラ５を制御してスクリーン４上に映写された画像を撮像させ、ＣＣＤカメラ５により撮像された撮像画像を取得する（Ｓ１）。このとき、撮影画像は、図示しないＡ／Ｄ変換器により、例えば４０９６階調（１２ビット）のデジタルデータとして、コンピュータ装置６に取り込まれる。なお、撮像画像は、４０９６階調のものに限らず、１０２４階調（１０ビット）のデータとしてもよいし、２５６階調（８ビット）のデータとしてもよい。階調が大きいほど高精度の処理が可能になるが、その分、高階調のデータ取得が可能な高価なＣＣＤカメラ５が必要となるため、撮像データの階調は欠陥検査対象等に応じて必要な階調に設定すればよい。

次に、背景画像差分処理手段６１は、処理Ｓ１で取得された撮像画像の中から、照明やレンズなど液晶パネル１以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理を行う（Ｓ２）。
具体的には、背景画像差分処理手段６１は、撮像画像から背景画像を減算して、背景差分画像を作成する。背景画像とは、液晶パネル１を除いた光学系の輝度変化の画像である。光源２１や投射レンズ２３による欠陥上の輝度変化は、撮像画像および背景画像の両方に生じるため、撮像画像から背景画像を減算した背景差分画像においては、光源２１や投射レンズ２３など液晶パネル１以外のものによって生じる欠陥上の輝度変化成分は除去されていることとなる。

続いて、表示エリア抽出手段６２は、処理Ｓ２で作成された背景差分画像から検査対象画像だけを抽出する（Ｓ３）。
具体的には、表示エリア抽出手段６２は、背景差分画像の四隅の座標をパターンマッチング処理（背景差分画像の四隅付近の数十画素×数十画素の４つの小領域に対して、それぞれ予め用意した４つの隅基準画像とパターンマッチング処理を行い、四隅の座標を特定する）により検出し、この四隅の座標の位置関係が長方形になるようにアフィン変換することで検査対象画像を抽出する。この表示エリア抽出処理により、スクリーン４上の周囲の縁部が除去され、且つ正確な長方形とされた検査対象画像だけが抽出される。

次に、縮小画像作成手段６３は、処理Ｓ３で抽出された検査対象画像を縮小し縮小画像を作成する（Ｓ４）。
具体的には、縮小画像作成手段６３は、検査対象画像から所定サイズ、例えば１／４サイズに縮小した画像を作成する。１／４サイズの縮小画像を作成する場合には、縮小画像作成手段６３は、検査対象画像の４画素の平均値を１画素とすることで１／２サイズの縮小画像を作成し、この１／２の縮小画像の４画素の平均値を１画素とすることで１／４サイズの縮小画像を作成する。
これは、後述するシミ欠陥強調フィルタが、所定の大きさのシミ欠陥を強調するように設計されているためである。このため、検査対象画像上においてシミ欠陥が所定のサイズより大きい場合、シミ欠陥強調フィルタを適用できない場合がある。従って、検査対象画像のサイズ自体を縮小することでシミ欠陥のサイズも縮小し、シミ欠陥強調フィルタで強調できるようにするのである。

次に、欠陥候補抽出手段６４は、処理Ｓ４で作成された縮小画像からシミ欠陥と想定されるシミ欠陥候補を抽出する（Ｓ５）。
まず、欠陥候補抽出手段６４は、縮小画像に対しシミ欠陥強調フィルタを適用し、縮小画像上のシミ成分を強調して検出する。そして、各シミ欠陥強調フィルタの検出結果を合成処理してシミ成分強調画像を求める。ここで、各シミ欠陥強調フィルタの検出結果を合成処理する理由は、検出精度を向上させるためである。なお、合成処理では、各シミ欠陥強調フィルタの検出結果において同画素の検出結果値を比較し、それらの中で絶対値が最大となる値をその合成結果としている。

続いて、欠陥候補抽出手段６４は、シミ成分強調画像に対して、メディアンフィルタを適用してノイズにより分離しているシミ成分をつなげて平滑化し、シミ成分以外のノイズを除去するノイズ除去処理（平滑化処理：３×３メディアン処理）を行う。メディアンフィルタとしては、例えば縦３画素×横３画素の９画素の各輝度値のメディアン値（中央値）を３×３の中心に位置する画素の輝度値とするようなメディアンフィルタを利用すればよい。
そして、欠陥候補抽出手段６４は、ノイズが除去されたシミ成分強調画像に対して、白シミ欠陥候補を切り出す所定のシミ欠陥閾値と、黒シミ欠陥候補を切り出す所定のシミ欠陥閾値を設定し、各シミ欠陥候補を抽出する。ここで、各シミ欠陥閾値は、画像の状況
に合わせて最適な値を設定すればよい。

次に、輝度勾配検出手段６５を構成する輝度勾配成分取得手段６５１は、処理Ｓ５で抽出されたシミ欠陥候補のエッジ部分に対応する対象画素を選択し、当該対象画素を中心とした縦３画素×横３画素の９つの画素から成る対象領域に第１〜第８強調フィルタｆ１〜ｆ８を適用して、当該対象画素の第１〜第８検出方向輝度勾配成分を取得する（Ｓ６）。
第１〜第８強調フィルタｆ１〜ｆ８は、対象画素に対し、それぞれ第１〜第８検出方向の輝度勾配成分を取得するために用いられるものである。例えば、対象画素の第１検出方向の輝度勾配成分を取得する際には、第１強調フィルタｆ１が対象領域に適用される。

図４は、第１〜第８強調フィルタｆ１〜ｆ８の構成を示す図である。
ここで、対象画素に対し、上方向を第１検出方向、右上方向を第２検出方向、右方向を第３検出方向、右下方向を第４検出方向、下方向を第５検出方向、左下方向を第６検出方向、左方向を第７検出方向、左上検出方向を第８検出方向とする。
第１〜第８強調フィルタｆ１〜ｆ８は、図４に示すように、各強調フィルタｆ１〜ｆ８の座標中心において対象画素に対応する１つの領域と、当該領域の周囲に隣接配置された８つの領域との縦３×横３の９つの領域を有しており、各領域には重み係数が設定されている。この各フィルタｆ１〜ｆ８に設定された重み係数を用いて、対象領域の各画素の輝度値に対し畳み込み演算が行われ、対象画素の輝度勾配成分が算出される。

第１〜第８強調フィルタｆ１〜ｆ８の重み係数は、各フィルタｆ１〜ｆ８の各検出方向に対して同様の形態で設定されている。このため、ここでは第１強調フィルタｆ１を代表して説明する。
第１強調フィルタｆ１は、対象画素における第１検出方向の輝度勾配成分を取得する際に用いられる。第１強調フィルタｆ１は、図４に示すように、当該強調フィルタｆ１の座標中心の領域に重み係数Ｍが設定され、前記座標中心の領域に対し第１検出方向側に隣接した１つの領域に重み係数−Ｍが設定され、前記座標中心の領域に対し第１検出方向と直交する方向の両側に隣接した２つの領域に重み係数Ｎが設定され、前記座標中心の領域に対し第１検出方向側に位置する３つの領域、すなわち、当該強調フィルタｆ１の座標中心を通り第１検出方向と直交する方向に沿って当該強調フィルタｆ１を２分する線よりも第１検出方向側に配置された３つの領域のうち、重み係数−Ｍが設定されていない２つの領域に重み係数−Ｎが設定され、当該強調フィルタｆ１の９つの領域のうち、重み係数Ｍ，−Ｍ，Ｎ，−Ｎが設定されていない３つの領域に重み係数０が設定されている。
なお、重み係数Ｍ，Ｎには、Ｍ＞Ｎ＞０の関係が成立しており、本実施形態では、重み係数Ｍ＝２、重み係数Ｎ＝１が採用されている。

第２〜第８強調フィルタｆ２〜ｆ８においても、図４、図５に示すように、重み係数によって座標中心の領域から各検出方向側の領域へ重み付けされている。
輝度勾配成分取得手段６５１は、シミ欠陥候補のエッジ部分に含まれる全ての対象画素に対して第１〜第８強調フィルタｆ１〜ｆ８による畳み込み演算を行い、各対象画素の第１〜第８検出方向の各輝度勾配成分をそれぞれ取得する。取得された各対象画素の第１〜第８検出方向の各輝度勾配成分は、記憶手段に記憶される。

ここで、各強調フィルタｆ１〜ｆ８による対象画素の輝度勾配成分の取得について、例を挙げて説明する。
例えば、対象画素Ｂ、対象画素Ｂと第７検出方向側に隣接する画素Ａ、および、対象画素Ｂと第３検出方向側に隣接する画素Ｃが、それぞれ図６（Ａ），（Ｂ）に示すような輝度値を有するとする。この対象画素Ｂにおける第１〜第８検出方向の輝度勾配成分ｇｂ１〜ｇｂ８を取得する場合を説明する。
この対象画素Ｂを含む対象領域に第７強調フィルタｆ７を適用すると、第７検出方向輝度勾配成分ｇｂ７は、次のように算出される。
ｇｂ７＝２×２＋（−２）×０＋１×１＋（−１）×０＋１×２＋（−１）×０＝７
このように、第７強調フィルタｆ７が、座標中心の領域から第７検出方向側の領域へ重み付けされていることで、対象画素Ｂの第７検出方向の輝度勾配成分ｇｂ７が強調して検出される。この輝度勾配成分は、対象画素Ｂと画素Ａとの差分から求められたものであり、すなわち、対象画素Ｂから第７検出方向側に隣接する１画素間における輝度変動を検出したものである。

また、この対象領域に第１〜第６、第８強調フィルタｆ１〜ｆ６、ｆ８を適用すると、それぞれ次のように、第１〜第６、第８検出方向の輝度勾配成分ｇｂ１〜ｇｂ６、ｇｂ８が算出される。
ｇｂ１＝２×２＋（−２）×２＋１×０＋（−１）×０＋１×２＋（−１）×２＝０
ｇｂ２＝２×２＋（−２）×２＋１×０＋（−１）×２＋１×２＋（−１）×２＝−２
ｇｂ３＝２×２＋（−２）×２＋１×２＋（−１）×２＋１×１＋（−１）×２＝−１
ｇｂ４＝２×２＋（−２）×２＋１×２＋（−１）×２＋１×０＋（−１）×１＝−１
ｇｂ５＝２×２＋（−２）×１＋１×２＋（−１）×２＋１×０＋（−１）×０＝２
ｇｂ６＝２×２＋（−２）×０＋１×２＋（−１）×１＋１×０＋（−１）×０＝５
ｇｂ８＝２×２＋（−２）×０＋１×０＋（−１）×０＋１×２＋（−１）×２＝４

次に、輝度勾配判定手段６５２は、処理Ｓ６で取得された各対象画素における第１〜第８検出方向輝度勾配成分に基づいて、各対象画素の輝度勾配を判定する（Ｓ７）。
具体的には、輝度勾配判定手段６５２は、記憶手段から各対象画素の第１〜第８検出方向輝度勾配成分を読み出し、第１〜第８検出方向輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を当該対象画素の輝度勾配と判定する。判定された対象画素ごとの輝度勾配は、記憶手段に記憶される。輝度勾配判定手段６５２は、シミ欠陥候補のエッジ部分に含まれる全ての対象画素に対し、輝度勾配を判定する。
例えば、処理Ｓ６で例示した対象画素Ｂ（図６）の場合、輝度勾配判定手段６５２は、処理Ｓ６で取得された対象画素Ｂの第１〜第８検出方向輝度勾配成分ｇｂ１〜ｇｂ８のうち、絶対値が最大となる第７検出方向輝度勾配成分ｇｂ７を、対象画素Ｂの輝度勾配と判定する。

欠陥抽出手段６６は、処理Ｓ７で取得された各対象画素の輝度勾配に基づいて、シミ欠陥の抽出を行う（Ｓ８）。
具体的には、欠陥抽出手段６６は、記憶手段から各対象画素の輝度勾配を読みだし、輝度勾配を所定の輝度勾配閾値と比較して、輝度勾配閾値以上の輝度勾配を有する対象画素を選択する。この輝度勾配閾値以上の輝度勾配を有する対象画素は、シミ欠陥のエッジ部分に対応すると判断できるため、欠陥抽出手段６６は、輝度勾配閾値以上の対象画素を選択することで、シミ成分強調画像からシミ欠陥を抽出することができる。
次に、Ｂｌｏｂ処理手段６７は、処理Ｓ７で抽出されたシミ欠陥の面積およびコントラストを算出する（Ｓ９）。

欠陥ランク評価手段６８は、処理Ｓ７で取得されたシミ欠陥のエッジ部分の輝度勾配と、処理Ｓ９で算出されたシミ欠陥の面積およびコントラストとに基づいて、撮像画像の欠陥ランクを評価する（Ｓ１０）。欠陥ランク評価手段６８で求められた欠陥ランクは、表示装置７に表示され、検査対象である液晶パネル１の欠陥ランクを検査官に提示する。

本実施形態によれば、次のような効果を奏することができる。 本実施形態の輝度勾配検出方法において、第１〜第８強調フィルタｆ１〜ｆ８は、座標中心の領域から各検出方向側に隣接する領域へ向かって重み付けされているため、第１〜第８強調フィルタｆ１〜ｆ８の適用によって求められる輝度勾配成分は、対象画素と、対象画素の検出方向側に隣接する画素との差分から求めることができる。さらに、８つの検出方向の輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を対象画素の輝度勾配と判定することで、輝度勾配を、１画素間において急激に変化する輝度変動に基づいて精度良く検出することができる。

さらに、各強調フィルタｆ１〜ｆ８には、図４に示すように重み係数１、−１が設定されている。このように、重み係数１、−１を設定することで、対象画素から検出方向側へ向かって広がる輝度変動を、対象画素の検出方向の輝度勾配成分の値に反映させることができる。従って、対象画素から検出方向側へ向かって広がる輝度変動を強調して検出することができる。
また、第１〜第８強調フィルタｆ１〜ｆ８を用いて、対象画素における上下方向、左右方向、左上・右下方向および右上・左下方向の８つの検出方向の各輝度勾配成分を取得し、これら８つの検出方向の各輝度勾配成分のうち絶対値が最大となる輝度勾配成分を、当該対象画素の輝度勾配と判定するので、対象画素における様々な方向の輝度変動を精度良く検出することができる。

さらに、本実施形態の欠陥検出方法は、上述したように輝度欠陥検出方法によりシミ欠陥のエッジ部分の輝度勾配を高精度に検出できることから、この輝度勾配に基づいてシミ欠陥を精度良く検出することができる。
さらに、前記欠陥検出方法で高精度に検出されたシミ欠陥の面積、コントラスト、および、前記輝度欠陥検出方法で高精度に検出された輝度勾配を特徴値として、シミ欠陥の欠陥ランクを評価するため、シミ欠陥の欠陥ランクを精度良く評価することができる。

〔前記実施形態の変形〕
本発明を実施するための最良の構成などは、以上の記載で開示されているが、本発明はこれに限定されるものではない。すなわち、前記各実施形態は、本発明を限定するものではないから、それらの形状、材質などの限定の一部若しくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。

前記実施形態では、各対象画素に対して第１〜第８強調フィルタｆ１〜ｆ８を適用し、当該対象画素の第１〜第８検出方向の輝度勾配成分を求めた。しかしながら、本発明では、各対象画素に対し少なくとも１つの検出方向の強調フィルタを適用して、当該検出方向の輝度勾配成分を求めればよい。例えば、検査対象における欠陥の形状および状態をある程度把握できている場合などにおいては、その欠陥の形状および状態に応じた検出方向の輝度勾配成分のみを求めればよいため、検出したい方向に応じた強調フィルタを適宜選択すればよい。
前記実施形態では、第１〜第８強調フィルタｆ１〜ｆ８の重み係数Ｍ、Ｎに、それぞれ２、１に採用したが、本発明では、Ｍ＞Ｎ＞０の関係が成立するならば他の値であってもよい。

シミ欠陥の検出対象としては、前記実施形態のようにＴＦＴ素子を用いた液晶パネル１に限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ＥＬディスプレイ、ＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
さらに、本発明は、各種表示装置の検査に限らず、例えば、印刷物、家電製品のケースや車のボディなどにシミ状の傷がある場合、これらを撮像してシミ状の欠陥がある画像が得られればそのシミを検出できるので、各種製品の表面塗装や印刷物などのシミ検査に応用することもできる。
要するに、本発明は、周囲と輝度差があるシミであれば検出できるため、輝度シミ欠陥や色シミ欠陥の検出に利用できる。

さらに、本発明のエッジ勾配検出方法および装置は、シミ欠陥の検出に限らず、画像処理等において輝度変化率が比較的大きなエッジ部分を検出する目的に広く利用できる。

本発明の一実施形態に係る欠陥検出システムの概略構成を示す図。 前記実施形態に係るコンピュータ装置の機能的構成を示すブロック図。 前記実施形態に係る欠陥検出方法を説明するためのフロー図。 前記実施形態に係る第１〜第８強調フィルタを示す図。 前記実施形態に係る第１〜第８強調フィルタの重み付け方向を説明するための図。 前記実施形態に係る輝度勾配成分取得手段の作用を説明するための図。 従来のプレビットフィルタの例を示す図。 従来のプレビットフィルタによる輝度勾配の算出例を説明するための図。

符号の説明

１…液晶パネル、６…コンピュータ装置（欠陥検出装置）、６０…撮像画像取得手段、６４…欠陥候補抽出手段、６５…輝度勾配検出手段（輝度勾配検出装置）、６５１…輝度勾配成分取得手段、６５２…輝度勾配判定手段、６６…欠陥抽出手段、６７…Ｂｌｏｂ処理手段（面積算出手段、コントラスト算出手段）、６８…欠陥ランク評価手段、ｆ１〜ｆ８…第１〜第８強調フィルタ。

Claims (6)

1. 撮像画像上で選択された１つの対象画素における少なくとも１つの検出方向の輝度勾配成分を、各検出方向に対応する強調フィルタを用いて取得する輝度勾配成分取得工程と、
   前記輝度勾配成分取得工程で取得された前記輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定する輝度勾配判定工程とを備え、
   前記強調フィルタは、
   当該強調フィルタの座標中心において前記対象画素に対応する１つの領域と、当該領域の周囲に隣接配置された８つの領域との縦３×横３の９つの領域を有し、
   当該強調フィルタの座標中心の領域には重み係数Ｍが設定され、
   前記座標中心の領域に対し検出方向側に隣接した１つの領域には重み係数−Ｍが設定され、
   前記座標中心の領域に対し前記検出方向と直交する方向の両側に隣接した２つの領域には重み係数Ｎが設定され、
   前記座標中心の領域に対し前記検出方向側に位置する３つの領域のうち、前記重み係数−Ｍが設定されていない２つの領域には重み係数−Ｎが設定され、
   当該強調フィルタの前記９つの領域のうち、前記重み係数Ｍ，−Ｍ，Ｎ，−Ｎが設定されていない３つの領域には重み係数０が設定され、
   前記重み係数Ｍ，Ｎは、Ｍ＞Ｎ＞０の関係を有していることを特徴とする輝度勾配検出方法。
2. 請求項１に記載の輝度勾配検出方法において、
   前記輝度勾配成分取得工程は、前記対象画素における上下方向、左右方向、左上・右下方向および右上・左下方向の８つの検出方向の各輝度勾配成分を、それぞれ第１〜第８強調フィルタを用いて取得する第１〜第８検出方向輝度勾配成分取得工程を備え、
   前記輝度勾配判定工程は、前記第１〜第８検出方向輝度勾配成分取得工程でそれぞれ取得された前記８つの検出方向の輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定することを特徴とする輝度勾配検出方法。
3. 検査対象の撮像画像を取得する撮像画像取得工程と、
   前記撮像画像から欠陥候補を抽出する欠陥候補抽出工程と、
   前記欠陥候補のエッジ部分に含まれる対象画素の輝度勾配を検出する輝度勾配検出工程と、
   前記輝度勾配に基づいて前記欠陥候補から欠陥を抽出する欠陥抽出工程と、
   前記欠陥の面積を算出する面積算出工程と、
   前記欠陥のコントラストを求めるコントラスト算出工程と、
   前記輝度勾配、前記面積、前記コントラストの３種類の特徴値に基づいて前記欠陥の欠陥ランクを評価する欠陥ランク評価工程とを備え、
   前記輝度勾配検出工程は、
   請求項１または請求項２に記載の前記輝度勾配成分取得工程および前記輝度勾配判定工程を備えていることを特徴とする欠陥検出方法。
4. 撮像画像上で選択された１つの対象画素における少なくとも１つの検出方向の輝度勾配成分を、各検出方向に対応する強調フィルタを用いて取得する輝度勾配成分取得手段と、
   前記輝度勾配成分取得手段で取得された前記輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定する輝度勾配判定手段とを備え、
   前記強調フィルタは、
   当該強調フィルタの座標中心において前記対象画素に対応する１つの領域と、当該領域の周囲に隣接配置された８つの領域との縦３×横３の９つの領域を有し、
   当該強調フィルタの座標中心の領域には重み係数Ｍが設定され、
   前記座標中心の領域に対し検出方向側に隣接した１つの領域には重み係数−Ｍが設定され、
   前記座標中心の領域に対し前記検出方向と直交する方向の両側に隣接した２つの領域には重み係数Ｎが設定され、
   前記座標中心の領域に対し前記検出方向側に位置する３つの領域のうち、前記重み係数−Ｍが設定されていない２つの領域には重み係数−Ｎが設定され、
   当該強調フィルタの前記９つの領域のうち、前記重み係数Ｍ，−Ｍ，Ｎ，−Ｎが設定されていない３つの領域には重み係数０が設定され、
   前記重み係数Ｍ，Ｎは、Ｍ＞Ｎ＞０の関係を有していることを特徴とする輝度勾配検出方法。
5. 請求項４に記載の輝度勾配検出装置において、
   前記輝度勾配成分取得手段は、前記対象画素における上下方向、左右方向、左上・右下方向および右上・左下方向の８つの検出方向の各輝度勾配成分を、それぞれ第１〜第８強調フィルタを用いて取得する第１〜第８検出方向輝度勾配成分取得手段を備え、
   前記輝度勾配判定手段は、前記第１〜第８検出方向輝度勾配成分取得手段でそれぞれ取得された前記８つの検出方向の輝度勾配成分のうち、絶対値が最大となる輝度勾配成分を前記対象画素の輝度勾配と判定することを特徴とする輝度勾配検出装置。
6. 検査対象の撮像画像を取得する撮像画像取得手段と、
   前記撮像画像から欠陥候補を抽出する欠陥候補抽出手段と、
   前記欠陥候補のエッジ部分に含まれる対象画素の輝度勾配を検出する輝度勾配検出手段と、
   前記輝度勾配に基づいて前記欠陥候補から欠陥を抽出する欠陥抽出手段と、
   前記欠陥の面積を算出する面積算出手段と、
   前記欠陥のコントラストを求めるコントラスト算出手段と、
   前記輝度勾配、前記面積、前記コントラストの３種類の特徴値に基づいて前記欠陥の欠陥ランクを評価する欠陥ランク評価手段とを備え、
   前記輝度勾配検出手段は、
   請求項４または請求項５のいずれかに記載の前記輝度勾配成分取得手段および前記輝度勾配判定手段を備えていることを特徴とする欠陥検出装置。

Images