JP2004294202A - Defect detection method and device of screen - Google Patents

Defect detection method and device of screen Download PDF

Info

Publication number
JP2004294202A
JP2004294202A JP2003085301A JP2003085301A JP2004294202A JP 2004294202 A JP2004294202 A JP 2004294202A JP 2003085301 A JP2003085301 A JP 2003085301A JP 2003085301 A JP2003085301 A JP 2003085301A JP 2004294202 A JP2004294202 A JP 2004294202A
Authority
JP
Japan
Prior art keywords
defect
image
value
detection
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003085301A
Other languages
Japanese (ja)
Inventor
Masaaki Noda
正明 野田
Koichi Kojima
広一 小島
Hironari Ichikawa
裕也 市川
Original Assignee
Seiko Epson Corp
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp, セイコーエプソン株式会社 filed Critical Seiko Epson Corp
Priority to JP2003085301A priority Critical patent/JP2004294202A/en
Publication of JP2004294202A publication Critical patent/JP2004294202A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To detect accurately defects such as a point defect, a stripe defect, a line defect, a stain or an irregularity defect, respectively, to detect not only a bright defect but also a dark defect by the defect detection, and to shorten a processing time when detecting the defects. <P>SOLUTION: An image which is an inspection object is imaged by a CCD camera 6, and the difference from a background image 14 produced beforehand is taken from the image taken by imaging, and an inspection image 15 is produced. Six detection processings for detecting each of the point defect, the stain defect, the stripe defect, the irregularity defect, the line defect and a pixel irregularity defect from the inspection image 15 are performed, and brightness statistical data based on the brightness value of each pixel in the image 17 after each defect detection processing are calculated respectively. A threshold of the brightness value is set based on the brightness statistical data, and a defect candidate is extracted from the brightness statistical data and the threshold. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、液晶ライトバルブ等の表示デバイスやその応用製品であるプロジェクタ等の製造における検査工程において、点欠陥、スジ欠陥、線欠陥及びシミ・ムラ欠陥等の欠陥を精度良く自動的に検出する画面の欠陥検出方法及び装置に関する。
【0002】
【従来の技術】
従来の画面の欠陥検査装置では、二値化処理に代表される単一の画像処理によって欠陥検査が実行されているのが一般的であるから、様々に発生する欠陥の全てに対応することは不可能であった。例えば、液晶表示装置等の画面に現れる欠陥には、点欠陥、線欠陥、面欠陥(あるいはシミ・ムラ欠陥とも呼ばれる)等がある。これらのシミやムラといったコントラストが低い欠陥や点欠陥のような微少な欠陥や、画素の走査方向に連なる線欠陥などは、単純な二値化処理では検出することができなない。
そこで、液晶表示装置等の画面に現れる欠陥検出では、点・線・面の欠陥を3段階の閾値を用いて、偽欠陥の誤検出を防ぎつつ、それぞれの欠陥を分離抽出する方法が提案されている(例えば、特許文献1参照)。
また、微細な欠陥やムラやスジなどの様々な欠陥を一台の検査装置で検出し、その欠陥の種別を報知し、その欠陥を総合的に判定する欠陥検査装置が提案されている(例えば、特許文献2参照)。
【0003】
【特許文献1】
特開平9−288037号公報(第1頁、図1)
【特許文献2】
特開平8−145907号公報(第1頁、図1)
【0004】
【発明が解決しようとする課題】
上記のような従来の点・線・面の欠陥を3段階の閾値を用いてそれぞれの欠陥を分離抽出する方法では、欠陥サイズが多様な場合や、非常にコントラストの低い欠陥に対して検出力が不十分であるという問題点があった。
また、様々な欠陥を一台の検査装置で検出し、その欠陥の種別を報知し、その欠陥を総合的に判定する欠陥検査装置では、基本的には各画素間の濃度の変化量の大小で欠陥を判定しており、これは欠陥エッジの強度を求めていることになり、欠陥サイズは考慮されていないため、人による目視検査における人の判断との相違が大きくなってしまうという問題点があった。
【0005】
本発明は、このような問題点を解決するためになされたものであり、点欠陥、スジ欠陥、線欠陥及びシミ・ムラ欠陥等の欠陥をそれぞれ精度良く検出でき、しかもこれら欠陥検出で、明欠陥に限らず暗欠陥も検出でき、欠陥を検出する際の処理時間を短くすることができる画面の欠陥検出方法及び装置を得ることを目的とする。
【0006】
【課題を解決するための手段】
本発明に係る画面の欠陥検出方法は、検査対象の画像を撮像する工程と、撮像により取り込まれた画像から、予め作成しておいた背景画像との差をとり検査画像を作成する工程と、検査画像から点欠陥、シミ欠陥、スジ欠陥、ムラ欠陥、線欠陥、画素ムラ欠陥のそれぞれを検出する6つの検出処理工程と、各検出処理後における画像内の各画素の輝度値に基づく輝度統計データをそれぞれ計算する工程と、輝度統計データに基づいて輝度値の閾値を設定し、輝度統計データと該閾値から欠陥候補を抽出する工程とを有することを特徴とするものである。
【0007】
このように構成したことにより、点欠陥、シミ欠陥、スジ欠陥、ムラ欠陥、線欠陥、画素ムラ欠陥の欠陥モード毎により高度な検査が可能となった。
さらに、各欠陥モード毎に画像全体での輝度統計データと閾値から欠陥候補を抽出して一次判定されるため、検出処理の量を減らすことができ、処理時間短縮することができる。
【0008】
また、本発明に係る画面の欠陥検出方法において、検査対象の画像の点灯状態を複数設定し、それぞれ設定した画像を撮像することにより、各モードの各種の欠陥を検出することができる。
さらに、検査対象の画像を最適な露光時間で撮像し、取込画像のデータは、12bitの4096階調以上とするのが好ましい。
このようにしたことにより、微妙な輝度変化も高精度にとらえることができ、高解像度の画像データを用いることにより、前記輝度統計データの精度があがるため、欠陥検出精度の更なる向上をはかることが可能となる。また、後述する欠陥候補の評価値の精度も向上する。
【0009】
また、本発明に係る画面の欠陥検出方法において、点欠陥、シミ欠陥、スジ欠陥、ムラ欠陥、線欠陥の明欠陥と暗欠陥の両方を検出できるようにするために、欠陥候補を抽出するための閾値は、明欠陥及び暗欠陥ごとに決定するものである。
その閾値は、輝度統計データの平均値および標準偏差を用いて決定される。
また、抽出された欠陥候補について、欠陥候補の特性値を求め、この特性値と統計データとに基づいて評価値を算出する工程を有することを特徴としている。従って、欠陥候補を客観的に・定量的に評価することができ、かつ、正確な評価を行うことができる。また、欠陥モード毎の評価結果が得られるために、欠陥モード毎のチューニング(目視検査との整合性をとること)が可能となり、目視で行っている判断により近い検査が行えるようになった。
【0010】
また、欠陥候補の評価値は、閾値の場合と同様に、明欠陥及び暗欠陥ごとに算出される。
さらに、欠陥候補の評価値は、輝度統計データの平均値、標準偏差と、欠陥候補の最大輝度、最小輝度を用いて算出される。
従って、欠陥を製品別に客観的に評価することができる。
また、欠陥候補の評価値の大きさにより、不良品及び製品の良品ランクの分類をすることにより、欠陥のランク付け、製品の等級化が可能となる。なお、これらの統計データは品質管理に活用することができる。
【0011】
さらに、本発明に係る画面の欠陥検出方法において、点欠陥を検出する検出処理工程は、検査画像に対してトップハットフィルタ又はウェルフィルタをかけて明点欠陥及び暗点欠陥を強調し、明点欠陥及び暗点欠陥を強調すると同時に画像を表示している階調の略中央値をオフセット値として加算するようにしたので、1回の点欠陥強調処理で検査画像の明欠陥と暗欠陥の点欠陥を検出でき、点欠陥を検出する際の処理時間を短くすることができる。
【0012】
また、本発明に係る画面の欠陥検出方法において、シミ欠陥を検出する検出処理工程は、検査画像に対して平坦化処理を行い、平坦化画像から複数段階の縮小画像を作成し、該縮小画像のそれぞれに対してシミ欠陥強調のためのトップハットフィルタ又はウェルフィルタによるフィルタ処理を行い、シミ欠陥を強調するのと同時に画像を表示している階調の略中央値をオフセット値として加算するようにしたので、シミ欠陥のコントラストが強調され、しかも欠陥サイズの大小、あるいはコントラストの高低にかかわらず、シミ欠陥を高精度に検出することができる。
【0013】
また、本発明に係る画面の欠陥検出方法において、スジ欠陥を検出する検出処理工程は、検査画像に対して平坦化処理を行い、平坦化画像から複数段階の縮小画像を作成し、各縮小画像に対して様々な方向のスジに対応するように強調角度を4段階に変えた線検出フィルタをそれぞれかけてスジ欠陥を強調し、スジ欠陥を強調する同時に画像を表示している階調の略中央値をオフセット値として加算するようにしたので、画面の異なる方向にそれぞれ表れる白スジ又は黒スジについて欠陥サイズの大小にかかわらず、スジ欠陥を高精度に検出することができる。
【0014】
また、本発明に係る画面の欠陥検出方法において、ムラ欠陥を検出する検出処理工程は、検査画像または当該検査画像を縮小した縮小画像に対して複数段階の画像の平坦化処理を行い、第1及び第2の平坦化画像を作成し、検査画像または該検査画像の縮小画像と第1の平坦化画像との画像間、および第1の平坦化画像と第2の平坦化画像との画像間で、それぞれ差分処理を行い、同時に画像を表示している階調の略中央値をオフセット値として加算するようにしたので、検査画像内にムラ欠陥が存在する場合に、比較的大きいサイズのムラ欠陥は第1の検出画像内に残り、比較的小さいサイズのムラ欠陥は第2の検出画像内に残ることとなり、大小様々のムラ欠陥を精度良く検出することができる。
【0015】
また、本発明に係る画面の欠陥検出方法において、線欠陥を検出する検出処理工程は、検査画像に対して平坦化処理を行い、平坦化画像に対してそれぞれエッジ検出フィルタをかけて線欠陥を強調し、線欠陥を強調すると同時に画像を表示している階調の略中央値をオフセット値として加算するようにしたので、画面の異なる方向にそれぞれ表れる白線又は黒線の欠陥を高精度に検出することができる。
【0016】
また、本発明に係る画面の欠陥検出方法において、画素ムラ欠陥を検出する検出処理工程は、検査画像の各画素について膨張処理を行い、膨張処理を行った画像に対してソーベルフィルタ又はラプラシアンフィルタをかけて隣接画素の輝度差を強調するようにしたので、検査画像中に存在する画素ムラ欠陥の成分が明瞭となり、画素ムラを定性的に検出することができる。
【0017】
さらに、本発明に係る画面の欠陥検出装置は、請求項1から15のいずれかに記載の画面の欠陥検出方法を用いることを特徴としている。
具体的には、撮像手段と、画像処理を行う検査装置本体とからなり、検査装置本体は通常、コンピュータにより構成される。このコンピュータに前記各処理を行う検査プログラムを組み込むことによって各種欠陥を自動的に検査することができる。
【0018】
【発明の実施の形態】
図1は本発明の実施の形態に係る画面の欠陥検出装置の構成を示すブロック図である。
この実施形態では、例えば、検査対象の画面10をプロジェクタ1によるTFT素子を用いた液晶ライトバルブ2の投影画面としている。検査を行う場合には、プロジェクタ1によりスクリーン3に画像4を投射する。画像4はパターンジェネレータ5により所定のパターンを液晶パネル2に与えることによって描写される。撮像手段として例えばCCDカメラ6により画像4を撮像し、その画像信号を図示しないA/D変換器によりアナログ信号からデジタル信号に変換して検査装置本体であるコンピュータ7に取り込む。このとき、画像データはA/D変換器により画素毎に例えば、黒を“0”、白を“4095”とする12ビットのデータで4096階調の輝度値であらわされる。
【0019】
さらに、コンピュータ7は画像メモリに取り込まれた画像4の画像データを後述する方法により処理することにより、明・暗欠陥ごとに点欠陥、スジ欠陥、線欠陥及びシミ・ムラ欠陥等の各種欠陥を検出する。欠陥検出にあたっては、欠陥の種類に応じて複数の縮小サイズによる縮小画像を作成したり、欠陥強調のためのフィルタ処理を行ったうえで、検出画像内の輝度情報の統計処理を行い、その統計データをもとに欠陥候補を抽出するための閾値を決定して欠陥候補を抽出し、さらに、抽出された欠陥候補について定量的に評価する評価値が演算される。これらの検査結果は表示装置8に表示される。
【0020】
図2は画像入力から各種欠陥の検出処理を経て結果表示までを示すフローチャート、図3は背景画像差分処理を示す図である。各種欠陥の検出処理は上記のコンピュータ7または画像処理装置に組み込まれた検査プログラムに従って自動的に行われる。
図2のフローチャートに従って処理手順を説明する。
【0021】
まず、スクリーン3上に投影された画像をCCDカメラ6で撮影し、その撮影データの画像がコンピュータ装置7に取り込まれ、画像入力が行われる(ステップS1)。
次に、コンピュータ装置7に撮像により取り込まれた取込画像から被検査部の表示エリアである画像部分だけを抽出する表示エリア抽出処理が行われる(ステップS2)。
この抽出画面は、被検査部画像の四隅の座標をパターンマッチング処理(画像データの四隅付近の数十画素×数十画素の4つの小領域に対して、それぞれ予め用意した4つの隅基準画像とパターンマッチング処理を行い、四隅の座標を特定する)により検出することで抽出することができる。
【0022】
続いて、被検査部の画面部分だけ抽出された画像である抽出画面から照明やレンズなど液晶ライトバルブ2以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理が行われる(ステップS3)。
この背景画像差分処理は、図3の(a)に示す検査対象画像データの被検査部の画面部分だけ抽出された画像である抽出画面13から図3の(b)に示す背景画像14を減算し、輝度変化がマイナスにならないようにオフセット値として4096階調の1/2の値を加算して、図3の(c)に示す背景差分画像15を作成するもので、その背景差分画像15は2つの画像で対応する画素毎の差の画像となる。なお、この背景画像14は、できるだけ欠陥のないサンプルを複数枚撮像し、その平均化画像を作成し、その画像から被検査部の画面部分だけを抽出して作成したものである。
以上のステップS1からS3までが前処理といわれるものであり、以降は各種欠陥をそれぞれ検出する個々の欠陥検出処理に入る
【0023】
即ち、まず背景差分画像から点欠陥を検出する点欠陥検出処理を行い(ステップS4)、次に背景差分画像からシミ欠陥を検出するシミ検出処理を行い(ステップS5)、さらに背景差分画像からスジ欠陥を検出するスジ検出処理を行い(ステップS6)、さらに背景差分画像からムラ欠陥を検出するムラ検出処理を行い(ステップS7)、さらに背景差分画像から線欠陥を検出する線検出処理を行い(ステップS8)、最後に背景差分画像から画素ムラの欠陥を検出する画素ムラ検出処理を行い(ステップS9)、それぞれ欠陥が強調された検出画像内の輝度情報の統計処理を行い、その統計データをもとに欠陥候補を抽出するための閾値を決定して欠陥候補を抽出し、さらに、抽出された欠陥候補について定量的に評価する評価値が演算されて全ての入力画像に対する検出処理が終了すれば(ステップS10)、全ての検出処理の結果を表示装置8に表示し(ステップS11)、各種欠陥の検査が終了する。
【0024】
次に、個々の欠陥検出処理について説明する。
(1)点欠陥検出処理について図4のフローチャートに基づいて説明する。
背景差分画像では、微少なレベルの明点欠陥及び暗点欠陥などの検出が難しいため、画像処理の一手法である空間フィルタを使用して点欠陥強調処理を行う(ステップS21)。
この実施の形態では、空間フィルタとしてトップハットフィルタ(7×7Tophatフィルタ)を使用して、点欠陥の強調処理を行っている。
この7×7Tophat フィルタは、周囲に対して孤立している点状の輝度変化を強調するため、着目する画素の値を、その周囲の画素の値との差がより強調されるように重み付けをして畳み込み演算するフィルタである。図5に、この7×7Tophatフィルタの数値構成の一例を示す。
【0025】
ここで、点欠陥の強調について説明する。
明点と暗点の点欠陥である明欠陥と暗欠陥を有する画像を模式的に図6に示す。図6の画像に対して7×7Tophatフィルタにより強調処理した結果は、図7の(a)に示すような背景との輝度差が小さい明点欠陥が正の値で強調され、明欠陥検出には有効な画像となっている。一方、背景との輝度差が小さい暗欠陥は負の値として強調されるため、暗欠陥は検出できない画像となっている。なお、図7の(a)はTophatフィルタ処理された画像を示し、図7の(b)は図7の(a)の画像を輝度の明るい領域を抽出するための所定の閾値で切り出して明点の明欠陥を強調して検出した画像である。
このように、Tophatフィルタをかけた画像は、明点欠陥を示す明点はプラスの値の階調として表れるが、暗点欠陥を示す暗点はマイナスの値の階調として表れる。画像処理のフォーマットでは画像データは通常正の値しかとれないため、そのままでは暗点の成分は0となり、処理した画像データには暗点のデータは存在しないため検出することはできない。
【0026】
そこで、同じ画像から暗点も検出できるように、画面が12bitの4096階調で表されるときにはその半分の2048の値を、フィルタ処理を行うのと同時にオフセット値として加えるオフセット値加算処理を行う(ステップS22)。なお、画像のフォーマットが8bitのグレイスケールの場合、256階調となり、その半分の128の値を、フィルタ処理を行うのと同時にオフセット値として加えることとなる。
これにより、暗点のデータもプラスの値の階調として表れるので、1回のフィルタ処理で明点と暗点の点欠陥(明欠陥と暗欠陥)を検出することが可能となる。図8の(a)の画像はフィルタ処理の結果の画像にオフセット値を加えて処理した画像である。
【0027】
しかる後に、上記処理を行った画像から明欠陥と暗欠陥を検出するため明・暗欠陥候補抽出処理を行い、チェック1である欠陥候補の有無の判定を行う(ステップS23)。
この明・暗欠陥候補抽出処理は、輝度の明るい領域を抽出するための閾値と輝度の暗い領域を抽出するための閾値の2種類の閾値でそれぞれ切り出し、切り出した画像を合成して、図8の(b)に示すような明欠陥と暗欠陥を検出した画像を得るものである。
即ち、点欠陥抽出用画像において、明欠陥抽出用の閾値より大きな輝度値を持つ画素が明欠陥であると判別することができ、暗欠陥抽出用の閾値より小さな輝度値を持つ画素が暗欠陥であると判別することができ、明欠陥と暗欠陥の点欠陥を有する欠陥候補が抽出される。
【0028】
そして、明欠陥候補抽出用の閾値より大きな輝度値を持つ画素や暗欠陥候補抽出用の閾値より小さな輝度値を持つ画素がなければ、欠陥候補が皆無であり、この段階でその製品は良品と判定され、検査を終了する。
ここで、輝度の明るい領域を抽出するための閾値と輝度の暗い領域を抽出するための閾値は、点欠陥が強調処理された画像の画面全体から取得した輝度値の平均値と標準偏差とに基づいて次式により計算して求める。
明領域抽出の閾値=average(平均値)+a1*σ(標準偏差)
暗領域抽出の閾値=average(平均値)−a2*σ(標準偏差)
なお、上記式でa1、a2はある決められた定数であり、点欠陥の程度に応じて適宜に決定されるものである。
【0029】
さらに、チェック2である評価値の計算を行う(ステップS24)。
この2回目(つまり最終的な)チェックにおいて、チェック1で抽出された欠陥候補に対して、欠陥の程度を定量化するため評価値計算を行う。評価値は、画像から求められた輝度統計データ(平均値Lave、標準偏差σ、最大値Lmax、最小値Lmin )を用いて、次式により評価値を計算する。
明欠陥:
Ev=(Lmax−Lave )/σ
暗欠陥:
Ev=(Lave −Lmin)/σ
但し Lmax=欠陥候補の最大輝度
Lmin=欠陥候補の最小輝度
Lave=画像全体の平均輝度
σ=画像全体の輝度の標準偏差
これらの計算式により評価値を求めることにより、欠陥候補として抽出された明欠陥、暗欠陥の点欠陥を、客観的なデータで定量的に評価することができ、明欠陥、暗欠陥の有無を判断するだけではなく、欠陥の程度に基づくランクを決定することができる。従って、点欠陥の検出精度が高いものとなる。
【0030】
最後に、チェック2である欠陥候補に対して求めた評価値に基づいて欠陥ランクの分類を行う(ステップS25)。
この評価値に対し、欠陥ランク分類するための閾値は、不良品及び製品の良品ランク毎に何段階かに設定することができる。これにより点欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。
【0031】
この実施の形態の点欠陥検出処理によれば、コンピュータ7は前処理された背景画像差分処理を行った画像に対してTophatフィルタにより背景との輝度差が小さい点欠陥が強調される点欠陥強調処理を行っている。
かかる7×7Tophat フィルタは、周囲に対して孤立している点状の輝度変化が強調されているので、液晶ライトバルブ1の点欠陥のような周囲に対して孤立しているものは強調され、モアレ縞のように周囲に対して孤立していないものは強調されないため、モアレ縞が発生している画像においても、液晶ライトバルブ1の点欠陥部のみが強調される。
さらに、点欠陥を強調するのと同時に画像にその画像の階調の中央値をオフセット値として加算し、オフセット値を加算した画像に対して輝度の明るい領域を抽出するための閾値と輝度の暗い領域を抽出するための閾値の2種類の閾値で二値化して明欠陥と暗欠陥の点欠陥候補を検出できる画像を得るようにしたので、1回のフィルタ処理で液晶ライトバルブ1の明欠陥と暗欠陥を検出でき、欠陥を検出する際の処理時間を短くすることができる。
【0032】
(2)シミ欠陥検出処理について図9のフローチャートに基づいて説明する。
まず、背景差分画像に対して比較的小さいサイズでコントラストの異なるシミ欠陥以外を除外する平坦化処理を行う(ステップS31)。
背景差分画像(検査画像)には、表示エリア全体に生じるサイズが大きくてゆるやかな輝度変化、すなわち人間が見てもそれほど問題にならないような広い範囲にわたって明るいところや暗いところがあるといったゆるやかな明るさの変化や、シミ欠陥よりサイズの比較的大きいムラ欠陥などが含まれるおそれがあるので、これらを検出対象から除外するために、背景差分画像すなわち検査画像に対して平坦化処理を行う。
この平坦化処理によって、照度ムラのような大きな明るさの変化やサイズの大きいムラ欠陥は除去されるので、比較的小さいサイズのシミ欠陥やコントラストの異なるシミ欠陥のみが残った図10(a)に示すような平坦化画像16が得られる。
なお、平坦化処理とは、平滑化フィルタを応用した処理、あるいはモフォロジ処理などによって平坦化する処理である。
【0033】
次に、平坦化画像を各種のサイズに縮小する画像サイズ縮小処理を行う(ステップS32〜S36)。
シミ欠陥のサイズは小さいといってもその中でも様々な大きさのものがあり、またシミ欠陥のコントラストについても高いものや低いものなど様々である。
後述するトップハットフィルタは、所定のサイズのシミ欠陥しか強調できないので、平坦化画像16内に存在する様々なサイズのシミ欠陥に対応させるために、平坦化画像16から複数段階にわたって画像サイズを縮小する処理を行う。
【0034】
ここでは、元画像1200×1000ピクセルの平坦化画像16から、1/2(600×500ピクセル)、1/4(300×250ピクセル)、1/8(150×125ピクセル)、1/16(75×62ピクセル)、1/32(38×31ピクセル)の5段階に縮小した5枚の縮小画像を作成している。
画像サイズの縮小方法は、図11に示すように、元画像の4画素分の輝度データの平均値を新たな画像の1画素に割り付けることにより1/2サイズに縮小する。この方法を繰り返すことにより、画像サイズを1/2ずつ縮小することができる。
このように平坦化画像16の画像サイズを次第に縮小していくことによって、縮小画像のどれかに、トップハットフィルタで強調できるサイズのものが存在することになる。
【0035】
さらに、各縮小画像に対して空間フィルタを使用してシミ欠陥のコントラストを強調する処理を行う(ステップS37〜S41)。
各縮小画像に対して空間フィルタとしてトップハット(Tophat)フィルタを使用してシミ欠陥のコントラストを強調する。トップハットフィルタは、コントラスト強調を行うフィルタで、例えば図5に示すように7×7画素で構成されており、注目画素に対してこのフィルタ構成数値と畳み込み演算を行うことにより、画素内に背景と比べて約3×3画素くらいのサイズの明点(ここでは白シミ欠陥)が存在するときに、これを強調するものである。
【0036】
しかし、トップハットフィルタは明点を強調した結果はプラスの値となるため、明欠陥(白シミ)の検出には有効であるが、暗点(ここでは黒シミ欠陥)を強調した結果はマイナスの値となり、画像処理の画像フォーマットでは通常正の値しかとれないため、結果は0と置き換えられ、暗欠陥(黒シミ)の検出には難点がある。そこで、トップハットフィルタ処理で畳み込み演算を行うと同時にオフセット値として2048の値を加えることで、本来はマイナスの値となる暗点の強調部分をプラスにして、その結果トップハットフィルタ処理のみで、明点と暗点の強調処理を可能にする。もちろん、空間フィルタはトップハットフィルタに限定されるものではなく、暗点を強調した結果がプラスの値となる(トップハットフィルタとは符号が逆になる)ウェル(Well)フィルタ(図12参照)を使用してもよい。また、これらの空間フィルタのフィルタサイズ、重み付け等も図示のものに限定されるものではない。
【0037】
図10(b)は、縮小画像に上記のトップハットフィルタ処理を行ったときの検出画像17を模式的に示すものである(但し、わかりやすくするために画像サイズは同じサイズで図示してある。実際には縮小サイズである)。なお、図10(a)、(b)の20はシミ欠陥を示す。
上記のようなトップハットフィルタ処理とオフセット処理を同時に行うことにより、白シミ、黒シミを強調した結果を一度で取得することができ、シミ欠陥20の検出時間を短縮することができる。
なお、図10(b)で欠陥の強調がなされていないサイズのシミ欠陥については、何段階かに縮小されることで強調可能なサイズとなった他の縮小画像において同様の方法で欠陥が強調されることになる。
【0038】
さらに、検出画像内の各画素の輝度値に基づく統計データの計算を行う統計計算を行う(ステップS42〜S46)。
統計データの計算では、画像全体での輝度値の平均値Lave、標準偏差σ、最大値Lmax、最小値Lminを求める。これら4つの輝度統計データから、白シミ、黒シミの欠陥候補抽出のための閾値を、例えば次のように決定する。
白シミ閾値:Lave+a1×σ
黒シミ閾値:Lave−a2×σ
ここで、a1、a2は、ある決められた定数である。
従って、白シミ、黒シミの欠陥候補を抽出するための閾値を、検出画像17内の輝度データを統計計算することにより、その輝度統計データに基づいて自動的に決定することができる。そのため、閾値が人為的・試行錯誤的でなく、客観的・相対的なものとなる。
【0039】
しかる後に、チェック1である欠陥候補の有無の判定を行う(ステップS47)。
図10の(b)に示す検出画像17内に白シミ欠陥や黒シミ欠陥の候補があるかどうかを、上記閾値に基づいて1回目のチェックを行う。すなわち、統計データの計算で求めた輝度値の最大値Lmaxが白シミ閾値を超えていれば、検出画像17内に白シミ欠陥候補があると判定し、輝度値の最小値Lminが黒シミ閾値以下であれば、検出画像17内に黒シミ欠陥候補があると判定する。もし、欠陥候補が皆無であれば、この段階でその製品はシミに関しては良品と判定され、シミ欠陥検査を終了する。
【0040】
さらに、抽出された欠陥候補の特性値を計算するblob処理を行う(ステップS48〜S52)。
上記チェック1で検出画像17内に欠陥候補があると判定された場合には、閾値を用いて欠陥候補を抽出し、blob処理を行って欠陥候補の特性値を計算する。blobとは、画像内に存在する特定範囲の値を持った「かたまり」のことであり、ここでは白シミ閾値以上の領域、もしくは黒シミ閾値以下の領域である欠陥候補となる。
従って、白シミ閾値と黒シミ閾値を用いて2値化処理で欠陥候補を抽出し、その抽出された領域に対して画像処理の手法であるblob処理を行って、欠陥候補の特性値を計算する。
ここでは欠陥候補の特性値として、領域の重心位置X,Y座標と、白シミ欠陥候補であれば領域内の輝度の最大値(Lmax(n))、黒シミ欠陥の候補であれば領域内の輝度の最小値(Lmin(n))を求める。
【0041】
さらに、チェック2である評価値の計算を行う(ステップS53)。
この2回目(つまり最終的な)チェックにおいて、欠陥候補として抽出された欠陥候補に対して、欠陥の程度を定量化するため評価値計算を行う。評価値は、(上記)縮小された画像毎に求められた輝度統計データ(平均値Lave(i)、標準偏差σ(i)、iは縮小画像の画面番号)とblob処理により求められた特性値(最大値Lmax(n)、最小値Lmin (n)、nはblob番号)を用いて、次式により評価値を計算する。
白シミ:
Ev(n)=k(i)×(Lmax(n)−Lave (i))/σ(i)
黒シミ:
Ev(n)=k(i)×(Lave (i)−Lmin(n))/σ(i)
但し k(i)=縮小画面係数 i=画面番号
Lmax(n)=欠陥候補の最大輝度 n=Blob番号
Lmin(n)=欠陥候補の最小輝度
Lave=画像全体の平均輝度
σ=画像全体の輝度の標準偏差
これらの計算式により評価値を求めることにより、欠陥候補として抽出された白シミ欠陥、黒シミ欠陥を、座標位置、個数(Blob番号)と共に、客観的なデータで定量的に評価することができ、白シミ欠陥、黒シミ欠陥の有無を判断するだけではなく、欠陥の程度に基づくランクを決定することができる。従って、シミ欠陥の検出精度が高いものとなる。
【0042】
最後に、チェック2である欠陥候補に対して求めた評価値に基づいて欠陥ランクの分類を行う(ステップS54)。
この評価値に対し、欠陥ランク分類するための閾値は、不良品及び製品の良品ランク毎に何段階かに設定することができる。これによりシミ欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。
【0043】
この実施の形態のシミ欠陥検出処理によれば、液晶パネル等の表示デバイスの画面に存在するシミ欠陥を欠陥サイズの大小にかかわらず、またコントラストの高低にかかわらず、高精度に自動的に検出することができ、かつ、シミ欠陥を個々に定量的に評価することができる。
また、輝度統計データに基づいてシミ欠陥を評価するものであるので、製品や部品の品質データを収集・分析することにより、品質管理に役立てることができ、更なる品質の向上を目指した手法を構築することも可能となる。
【0044】
(3)スジ欠陥検出処理について図13のフローチャートに基づいて説明する。
まず、背景差分画像に対して上記シミ検出の場合と同様な平坦化処理を行う(ステップS61)。
次に、平坦化処理された画像に対して上記シミ検出の場合と同様な画像サイズ縮小処理を行う(ステップS62)。
【0045】
しかる後に、5段階の各縮小画像に対してそれぞれ線検出フィルタ処理を行う(ステップS63)。
この線検出フィルタ処理は、そのままでは微少なレベルの白・黒スジ・ラビスジ欠陥の検出が難しいために、画像の中のスジ欠陥のみを強調するように、1つの縮小画像に対して、3枚の画像のコピーを作成して、それぞれの画像に対して1種類ずつの線検出フィルタを適用、計4種類の線検出フィルタをかけて欠陥強調処理を行うものである。
【0046】
4種類の線検出フィルタには、水平の線の強調処理を行う横線検出フィルタと、垂直の線の強調処理を行う縦線検出フィルタと、+45°の線の強調処理を行う斜め線検出フィルタと、−45°の線の強調処理を行う斜め線検出フィルタとがある。
従って、図16の(a)に示す5段階の縮小画像に対してそれぞれ3枚の画像のコピーを作成して、それぞれの画像に対して1種類、計4種類の線検出フィルタ処理を行うと、図16の(b)に示すように各縮小画像から横線検出処理、縦線検出処理、+45°線検出処理及び−45°線検出処理がされた4つの画像が得られ、合計20個のスジ欠陥が強調処理された画像を得ることとなる。
【0047】
これら4種類の線検出フィルタは共に、着目する画素周辺を含む数画素×数画素(図15では、7×7画素)サイズの小領域に対して、検出対象となる縦線、横線、+45°斜め線、−45°斜め線の成分があるかを検出するため、その成分が存在するときに、着目する画素と、その周囲の画素との輝度値の関係から、畳み込み演算により強調されるように重み付けを行ったフィルタである。
図15の(a)は水平の線を強調する横線検出フィルタ、図15の(b)は垂直の線を強調する縦線検出フィルタ、図15の(c)は+45°の線を強調する斜め線検出フィルタ、図15の(d)は−45°の線を強調するもう一つの斜め線検出フィルタの一例を示している。
【0048】
なお、図15で示す4種類の線検出フィルタをかけた画像は、白スジはプラスの値の階調として表れるが、黒スジはマイナスの値の階調として表れる。画像処理のフォーマットでは画像データは通常正の値しかとれないため、そのままでは黒スジの成分は0となり、処理した画像データには黒スジのデータは存在しないため検出することができない。このように、図17の(a)のようにオフセット値が加算されていないグラフは白スジは表れるが、黒スジは表れないことを示している。
【0049】
そこで、同じ画像から黒スジも検出できるように、画面が12bitの4096階調で表されるときにはその半分の2048の値を、フィルタ処理と同時にオフセット値として加える処理を行う。これにより、黒スジのデータもプラスの値の階調として表れるので、1回のフィルタ処理で白スジと黒スジの欠陥を検出することが可能となる。図17の(b)のようにオフセット値が加算されているグラフは白スジも黒スジも表われていることを示している。なお、画像フォーマットが、8bitのグレイスケールの場合、256階調となり、その半分の128の値をフィルタ処理と同時にオフセット値として加える。
【0050】
次に、4種類の線検出フィルタ処理を行って得た20個のスジ欠陥が強調処理された画像について画素の輝度値に基づいて統計データ計算処理を行う(ステップS64)。
この統計データ計算処理は、5段階の縮小画像に対してそれぞれ4種類の線検出フィルタ処理を行って得た20個のスジ欠陥が強調処理された画像についてそれぞれの全領域における各画素の輝度値を取得し、画面全体の平均値、標準偏差、最大値及び最小値を求めるものである。
【0051】
即ち、横線検出処理された5段階の縮小画像のそれぞれにつき、全領域における各画素の輝度値を取得し、画面全体の輝度値の平均値、標準偏差、最大値及び最小値を求める。また、縦線検出処理された5段階の縮小画像のそれぞれにつき、全領域における各画素の輝度値を取得し、画面全体の平均値、標準偏差、最大値及び最小値を求める。さらに、+45°斜め線検出処理された5段階の縮小画像のそれぞれにつき、全領域における各画素の輝度値を取得し、画面全体の平均値、標準偏差、最大値及び最小値を求める。更にまた、−45°の斜め線検出処理された5段階の縮小画像のそれぞれにつき、全領域における各画素の輝度値を取得し、画面全体の平均値、標準偏差、最大値及び最小値を求める。
【0052】
しかる後に、チェック1である欠陥候補有無判断処理を行う(ステップS65)。
この欠陥候補有無判断処理では、横線検出処理と縦線検出処理と+45°斜め線検出処理及び−45°斜め線検出処理された、20個の画像から求めたそれぞれの平均値、標準偏差、最大値及び最小値に基づいて次式により、各画像の横線閾値、縦線閾値、+45°斜め線閾値と−45°の斜め線閾値を計算により求める。
横線閾値=average(横線検出処理画像の平均値)±a*σ(横線検出処理画像の標準偏差)
縦線閾値=average(縦線検出処理画像の平均値)±a*σ(縦線検出処理画像の標準偏差)
+45°斜め線閾値=average(+45°斜め線検出処理画像の平均値)±a*σ(+45°斜め線検出処理画像の標準偏差)
−45°斜め線閾値=average(−45°斜め線検出処理画像の平均値)±a*σ(−45°斜め線検出処理画像の標準偏差)
、a 、a 、a は、ある決められた定数である。
なお、1つの式の計算結果として2つの値が閾値として算出されるが、+で求めた閾値は白スジ検出のための閾値となり、線検出処理画像の中でこの閾値以上のものを白スジ欠陥候補として検出し、−で求めた閾値は黒スジ検出のための閾値となり、線検出処理画像の中でこの閾値以下のものを黒スジ欠陥候補として検出することになる。
【0053】
しかし、その前に線検出処理画像内にスジ欠陥候補があるかどうか調べる、すなわち、横線検出処理された各画像から取得した画面全体の輝度値の最大値と最小値、縦線検出処理された各画像から取得した画面全体の輝度値の最大値と最小値、+45°斜め線検出処理された各画像から取得した画面全体の輝度値の最大値と最小値、−45°斜め線検出処理された各画像から取得した画面全体の輝度値の最大値と最小値と、計算された閾値から、各検出処理画面の中にスジ欠陥の候補が存在するかどうか判断を行う(ステップS65)。
【0054】
横線検出処理された各画像については、その画像の輝度値の最大値が横線閾値(+計算)を超えている場合に、白スジのある欠陥候補のものとして、次の粒子解析処理(blob処理)へと進む。
また、その画像の輝度値の最小値が横線閾値(−計算)を超えていない場合に、黒スジのある画像として、次のblob処理へと進む。輝度値の最大値が横線閾値(+計算)を超えておらず、且つ輝度値の最小値が横線閾値(−計算)を超えている場合には、白スジ、黒スジがなく良品のものとして次のblob処理は行わない。
【0055】
また、縦線検出処理された各画像についても、その画像の輝度値の最大値が縦線閾値(+計算)を超えている場合に、白スジのある欠陥候補のものとして、次のblob処理へと進む。
また、その画像の輝度値の最小値が縦線閾値(−計算)を超えていない場合に、黒スジのある画像として、次のblob処理へと進む。輝度値の最大値が横線閾値(+計算)を超えておらず、且つ輝度値の最小値が横線閾値(−計算)を超えている場合には、白スジ、黒スジがなく良品のものとして次のblob処理は行わない。
【0056】
また、+45°斜め線検出処理された各画像についても、その画像の輝度値の最大値が+45°斜め線閾値(+計算)を超えている場合に、白スジのある欠陥候補のものとして、次のblob処理へと進む。
また、その画像の輝度値の最小値が+45°斜め線閾値(−計算)を超えていない場合に、黒スジのある画像として、次のblob処理へと進む。輝度値の最大値が+45°斜め線閾値(+計算)を超えておらず、且つ輝度値の最小値が+45°斜め線閾値(−計算)を超えている場合には、白スジ、黒スジがなく良品のものとして次のblob処理は行わない。
【0057】
さらに、−45°斜め線検出処理された各画像についても、その画像の輝度値の最大値が−45°斜め線閾値(+計算)を超えている場合に、白スジのある欠陥候補のものとして、次のblob処理へと進む。
また、その画像の輝度値の最小値が−45°斜め線閾値(−計算)を超えていない場合に、黒スジのある画像として、次のblob処理へと進む。輝度値の最大値が−45°斜め線閾値(+計算)を超えておらず、且つ輝度値の最小値が−45°斜め線閾値(−計算)を超えている場合には、白スジ、黒スジがなく良品のものとして次のblob処理は行わない。
【0058】
次に、欠陥候補があると判定された画像について欠陥候補の最大輝度、最小輝度、面積を求めるblob処理を行う(ステップS67)。
このblob処理は、画像に白スジ、または黒スジの欠陥候補があると判定された画像についてだけ、欠陥候補の抽出を行い、その評価値を求めるため、前処理として横線検出処理画像、縦線検出処理画像、+45°斜め線検出処理画像、−45°斜め線検出処理画像の中の、白スジ又は黒スジの欠陥候補の最大輝度、最小輝度、面積を求めるものである。
blob処理を行うためには、画像を2値化しなければならないが、このための閾値は横線閾値、縦線閾値、+45°斜め線閾値、−45°斜め線閾値を使用する。図18はblob処理を行うために2値化された画像を示す。
【0059】
例えば、横線、縦線、+45°斜め線及び−45°斜め線検出処理された画像に、白スジ欠陥候補があると判定されたならば、+で計算された横線閾値、縦線閾値、+45°斜め線閾値及び−45°斜め線閾値をそれぞれ使い、それ以上の部分を白スジ欠陥候補として2値化する。2値化された画像には、複数点の欠陥候補がクラスタとして存在するが、その全てについて面積を求め、2値化してクラスタとなった領域の範囲内で、2値化をかける前の画像から最大輝度値を求める。
また、横線検出処理された画像に、黒スジ欠陥候補があると判定されたならば、−で計算された横線閾値、縦線閾値、+45°斜め線閾値及び−45°斜め線閾値をそれぞれ使い、それ以下の部分を黒スジ欠陥候補として2値化する。白スジの場合と同様に、2値化された画像には、複数点の欠陥候補がクラスタ存在するが、その全てについて面積を求め、2値化してクラスタとなった領域の範囲内で、2値化をかける前の画像から最小輝度値を求める。
【0060】
さらに、白スジ又は黒スジの欠陥候補について欠陥評価値を算出する評価値の計算を行う(ステップS68)。
この評価値処理は、blob処理により求めた横線検出処理画像、縦線検出処理画像、+45°斜め線検出処理画像、−45°斜め線検出処理画像の中の、白スジ又は黒スジの欠陥候補の最大輝度、最小輝度、面積の情報と、画面全体の輝度値の平均値、標準偏差に基づいて欠陥評価値を算出する評価値の計算を行うものである。
欠陥候補における白スジ又は黒スジの欠陥評価値(Ev)は次式により計算して求める。
白スジ
Ev(i、n)=K(i)*S(n)*(Lmax(n)−Lave(i))/σ(i)
黒スジ
Ev(i、n)=K(i)*S(n)*(Lave(i)−Lmin(n))/σ(i)
K(i)=縮小画面係数、i=画面番号、n=blob番号、
Lmax(n)=欠陥候補の最大輝度、Lmin(n)=欠陥候補の最小輝度、
S(n)=欠陥候補の面積、Lave(i)=画面全体の平均輝度、
σ(i)=画面全体の輝度の標準偏差
そして、全ての評価値の最大値を取得して、この値により検査対象パネルの白スジ又は黒スジの欠陥のランクを決定することができる。従って、スジ欠陥の検出精度が高いものとなる。
【0061】
最後に、チェック2である欠陥候補に対して求めた評価値に基づいて欠陥ランクの分類を行う(ステップS69)。
この評価値に対し、欠陥ランク分類するための閾値は、不良品及び製品の良品ランク毎に何段階かに設定することができる。これによりシミ欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。
【0062】
この実施の形態のスジ欠陥検出処理よれば、コンピュータ7は前処理された背景画像差分処理を行った画像に対し、背景差分画像の比較的広い範囲にわたるムラの影響を除去する平坦化処理をし、さらに平坦化処理された画像を5段階に縮小するサイズ変更処理を行い、5段階の縮小画像に対してそれぞれ横線、縦線、±45°の斜め線の欠陥を強調して検出するために4種類の線検出フィルタにより線検出フィルタ処理を行って、スジ欠陥を強調するのと同時に、当該画像の階調の中央値をオフセット値として加算して、20個のスジ欠陥が強調処理された画像についてそれぞれの全領域における各画素の輝度値を取得し、画面全体の輝度値の平均値、標準偏差、最大値及び最小値を求める統計データ計算処理を行い、統計データ計算処理で求めた平均値と標準偏差から白スジを判定する横線、縦線、斜め線閾値を設定し、また黒スジを判定する横線、縦線、斜め線閾値を設定し、画面の輝度値の最大値がこれら白スジを判定する横線、縦線、斜め線閾値を超えているか否かで画面に白スジの欠陥がないかどうかの一次判定を行い、画面の輝度値の最小値がこれら黒スジを判定する横線、縦線、斜め線閾値を超えているか否かで画面に黒スジの欠陥がないかどうかの一次判定を行うようにしたので、各画像について、白スジ、黒スジの欠陥がなく、さらに各種サイズのスジもない良品かどうかの判定を短時間で容易にすることができる。
【0063】
さらに、欠陥があると判定された欠陥候補の画像に対しては、評価値計算の前処理として欠陥候補の白スジ又は黒スジの最大輝度、最小輝度、面積を求めるblob処理を行い、その後にblob処理により求めた欠陥候補の白スジ又は黒スジの最大輝度、最小輝度、面積の情報と、画面全体の輝度値の平均値、標準偏差に基づいて所定の式により欠陥評価値を算出する評価値計算処理を行い、評価値計算処理により求めた評価値の最大値により白スジ又は黒スジの欠陥のランクを決定するようにしたので、白スジ又は黒スジについて欠陥サイズの大小にかかわらず、スジ欠陥を高精度に検出することができ、しかもblob処理の対象が欠陥候補有りの画像だけであるために演算時間が短かくて済み、欠陥のランク付けも短時間に行うことができることとなった。
【0064】
(4)ムラ欠陥検出処理について図19のフローチャートに基づいて説明する。
まず、背景差分画像に対して上記シミ検出の場合と同様な画像サイズ縮小処理を行う(ステップS71)。
なお、ここでの画像サイズ縮小処理は、背景差分画像(検査画像)15の中には大小様々な大きさの欠陥が存在するので、検出しようとする(欠陥の大きさに対応するよう)ムラ欠陥サイズ以下の欠陥(シミやスジ欠陥)を除去するため、適当な画像サイズに検査画像15を縮小するものである。例えば、検査画像15を4分の1の画像サイズ、すなわち300×250ピクセルに縮小する。なお、縮小比は1/4に限定されるものではない。
【0065】
このように検査画像15の画像サイズを縮小することによって、欠陥検出に要する処理時間を短縮することができるというメリットもある。
なお、図20ではすべての画像が同じサイズで図示してあるが、(a)から(d)の画像は実際は1/4に縮小された画像である。
ここでは画像サイズの縮小について述べたが、もちろん、必ずしも縮小しなくてもよく、例えば、平滑化フィルタ処理を用い、フィルタサイズを調整して、検出するムラ欠陥サイズ以下の欠陥を除去してもよい。
【0066】
次に、縮小画像の複製(コピー)画像を作成する画像複製処理を行う(ステップS72)。
この画像複製処理は、ムラ欠陥をそれ以外の背景の部分(欠陥の無い部分)から分離するための処理を行うときに、後述するように少なくとも3枚の画像を必要とするため、背景差分画像(検査画像)15の1/4縮小画像の複製(コピー)画像を作成するものである。また、このコピー画像を、ムラ欠陥以外のシミ・点・線欠陥などの検出にも利用することができる。
【0067】
さらに、検査画像15の1/4縮小画像またはそのコピー画像に対して2段階にわたって平坦化処理を行う(ステップS73、S74)。
この平坦化処理は、ムラ欠陥をそれ以外の背景の部分(欠陥の無い部分)から分離するための前処理として行われるものである。ここでは、2段階の平坦化処理を行っている。
第1段階の平坦化1処理(ステップS73)では、検査画像15の1/4縮小画像またはそのコピー画像をもとに、図20(a)に示すような第1の平坦化画像16が作成される。
【0068】
この第1段階の平坦化処理では、モフォロジ処理を応用した処理などで、割と小さな輝度変化を残して、大きな輝度変化は平坦化するように処理を行う。
第2段階の平坦化2処理(ステップS74)では、この第1の平坦化画像16から、さらに平坦化した第2の平坦化画像17が作成される(図20(b)参照)。
この第2段階の平坦化処理では、大きな輝度変化を除去した第1の平坦化画像16から、平滑化フィルタを用いた処理などで、更に小さな輝度変化を平坦化するように処理を行う。
【0069】
しかる後に、2段階にわたって差分処理を行う(ステップS75、S76)。
このステップS75の差分処理では、検査画像15の1/4縮小画像またはそのコピー画像から、第1の平坦化画像16(図20の(a)画像)を減算する。この処理により、図20(c)に示すような第1の検出画像18が得られる。この第1の検出画像18では、サイズの小さいムラ欠陥は除去され、サイズの比較的大きいムラ欠陥20aのみが残ることになる。
次に、ステップS76の差分処理では、第1の平坦化画像16(図20の(a)画像)から第2の平坦化画像17(図20の(b)画像)を減算する。すると、図20(d)に示すような第2の検出画像19が得られる。この第2の検出画像19では、サイズの小さいムラ欠陥20bのみが残ることになる。
【0070】
さらに、ムラ欠陥検出画像内の各画素の輝度値に基づく統計計算を行う(ステップS77〜S78)。
この統計計算は、ムラ欠陥検出画像18、19内の各画素の輝度データを用いて画面全体での輝度データの統計計算を行うものである。
統計計算では、輝度データの平均値Lave、標準偏差σ、最大値Lmax、最小値Lminを求める。これら4つの輝度統計データから、白ムラ、黒ムラの欠陥候補の有無を判定する閾値を、例えば次のように決定する。
白ムラ閾値:Lave+a1×σ
黒ムラ閾値:Lave−a2×σ
ここに、a1、a2は、ある決められた定数である。
従って、白ムラ、黒ムラの欠陥候補を抽出するための閾値を、ムラ欠陥検出画像18、19内の輝度データを統計計算することにより、その輝度統計データに基づいて自動的に決定することができる。そのため、閾値が人為的・試行錯誤的でなく、客観的・相対的なものとなる。
【0071】
しかる後に、チェック1である欠陥候補の有無の判定を行う(ステップS79)。
この欠陥候補の有無の判定は、ムラ欠陥検出画像18、19内に白側、黒側の欠陥候補があるかどうかを、上記閾値に基づいて1回目のチェックを行う。
まず、Lmaxが白ムラ閾値を超えているかチェックし、超えているならばその画像内に白ムラ欠陥候補があると判断する。次に、Lminが黒ムラ閾値以下であるかチェックし、それ以下であるならばその画像内に黒ムラ欠陥候補があると判断する。もし、欠陥候補が皆無であれば、この段階でムラ欠陥無しと判定され、検査は終了する。
【0072】
次に、抽出された欠陥候補領域内の様々な特性値を求めるblob処理を行う(ステップS80、S81)
上記チェック1で欠陥候補があると判断された場合は、閾値で欠陥候補を抽出する。このとき、チェック1で白ムラ欠陥候補があると判断されている場合には、白ムラ閾値以上のものを欠陥候補として抽出し、黒ムラ欠陥候補があると判断されている場合には、黒ムラ閾値以下のものを欠陥候補として抽出する。両方あると判断されている場合には、両方抽出する。
【0073】
その抽出された欠陥候補についてblob処理を行い、抽出された欠陥候補の面積(S(n))と白ムラ欠陥候補であれば輝度値の最大値Lmax(n)、黒ムラ欠陥候補であれば輝度値の最小値Lmin(n)を求める。ここで求められた欠陥候補領域内の特性値は次に述べる評価値の計算で使用する。
【0074】
さらに、欠陥候補として抽出されblob処理が行われたムラ欠陥候補について、評価値の計算を行う(ステップS82)
欠陥候補として抽出されblob処理が行われたムラ欠陥候補について、上記輝度統計データ(平均値Lave、標準偏差σ)と、blob処理で求めた特性値(面積S(n)、最大値Lmax(n)、最小値Lmin(n))を用いて、次式により評価値を計算する。
白ムラ:
Ev(n)=k(i)*S(n)*(Lmax(n)−Lave(i))/σ(i)
黒ムラ:
Ev(n)=k(i)*S(n)*(Lave (i)−Lmin(n))/σ(i)
但し k(i)=縮小画面係数
i=画面番号
n=Blob番号
Lmax(n)=欠陥候補の最大輝度
Lmin(n)=欠陥候補の最小輝度
S(n)=欠陥候補の面積
Lave (i)=画像全体の平均輝度
σ(i)=画像全体の輝度の標準偏差
これらの計算式により、欠陥候補として抽出された白ムラ欠陥、黒ムラ欠陥を、その大きさ(面積)、個数(Blob番号)と共に、客観的なデータで定量的に評価することができる。従って、ムラ欠陥の検出精度が高いものとなる。
【0075】
最後に、チェック2(つまり最終的なチェック)である欠陥候補に対して求めた評価値に基づいて欠陥ランクの分類を行う(ステップS83)。
この評価値に対し、欠陥ランク分類するための閾値は、不良品及び製品の良品ランク毎に何段階かに設定することができる。これによりシミ欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。
【0076】
この実施の形態のムラ欠陥検出処理によれば、液晶パネル等の表示デバイスの画面に存在するムラ欠陥を欠陥サイズの大小にかかわらず、高精度に自動的に検出することができ、かつ、それらの欠陥を個々に定量的に評価することができる。
また、輝度統計データに基づいてムラ欠陥を評価するものであるので、製品や部品の品質データを収集・分析することにより、品質管理に役立てることができ、更なる品質の向上を目指した手法を構築することも可能となる。
【0077】
(5)線欠陥検出処理について図21のフローチャートに基づいて説明する。
まず、背景差分画像に対して上記シミ検出の場合と同様な平坦化処理を行う(ステップS91)。
次に、平坦化処理された画像に対して水平・垂直エッジが強調処理された水平・垂直線検出画像を作成するエッジ検出フィルタ処理を行う(ステップS92)。
このエッジ検出フィルタ処理は、平坦化処理された画像の複製を2つ作成し、1つの複製画像については水平エッジ検出フィルタにより水平エッジ検出処理を行って水平エッジが強調処理された図23の(a)に示すような水平線検出画像を作成すると共に、もう1つの複製画像については垂直エッジ検出フィルタにより垂直エッジ検出処理を行って垂直エッジが強調処理された図23の(b)に示すような垂直線検出画像を作成するものである。
【0078】
この水平・垂直のエッジ検出フィルタ処理は、平坦化処理された画像では微少なレベルの白・黒線欠陥の検出が難しいために、水平・垂直のエッジ検出フィルタをかけて線欠陥の強調演算を行うものである。
これら水平・垂直のエッジ検出フィルタには、水平エッジ検出処理を行う水平エッジ検出フィルタと、垂直エッジ検出処理を行う垂直エッジ検出フィルタとがある。
これら水平・垂直のエッジ検出フィルタは共に、着目する画素を含む数画素×数画素の小領域に対して、その中にエッジ成分があるかどうかを検出するため、エッジ成分が存在するときに着目する画素とその周囲の画素との輝度値の関係から、畳み込み演算を行うことにより強調されるように、各画素の重み付けを行ったフィルタである。
図22の(a)は水平エッジ検出の水平エッジ検出フィルタ、図22の(b)は垂直エッジ検出の垂直エッジ検出フィルタの一例を示している。
【0079】
なお、図22(a)及び図22(b)の水平・垂直のエッジ検出フィルタをかけた画像は、線の両側で(エッジの状態により)、片側はプラスの階調、その反対側はマイナスの階調の値として表れる。画像処理のフォーマットでは画像データは通常正の値しか取れないため、そのままではマイナスの成分は0となり、処理の対象から外れてしまう。
そこで、同じ画像から両方のエッジが検出できるように、画面が12bitの4096階調で表されるときにはその半分の2048の値を、フィルタ処理と同時にオフセット値として加える処理を行う。これにより、マイナスとなった成分もプラスの値の階調として表れるので、1回のフィルタ処理で両方のエッジ成分を検出することが可能となる。なお、画像のフォーマットが8bitのグレイスケールの場合、256階調となり、その半分の128の値を、フィルタ処理の結果にオフセット値として加えることとなる。
【0080】
さらに、水平・垂直線検出画像をそれぞれ分割し、各分割された領域の各画素の輝度値を横・縦方向に積算して積算値を取得する分割プロファイル処理を行う(ステップS93)。
この分割プロファイル処理は、水平エッジ検出処理された水平線検出画像を縦方向に4分割し、各分割された領域の各画素の輝度値を横方向に積算して積算値を取得する水平プロファイル処理と、垂直エッジ検出処理された垂直線検出画像を横方向に4分割し、各分割された領域の各画素の輝度値を縦方向に積算して積算値を取得する垂直プロファイル処理とからなる。
【0081】
しかる後に、各分割領域における積算値から分割領域画面全体の輝度値の平均値、標準偏差、最大値及び最小値を算出する統計計算を行う(ステップS94)。
この統計計算は、水平プロファイル処理された各分割領域における各行の積算値から分割領域画面全体の輝度値の平均値、標準偏差、最大値及び最小値と、垂直プロファイル処理された各分割領域における各列の積算値から分割領域画面全体の輝度値の平均値、標準偏差、最大値及び最小値とを算出する統計データ計算処理を行うものである。図24の(a)は水平プロファイル処理されて取得した水平プロファイルデータを示し、図24の(b)は垂直プロファイル処理されて取得した垂直プロファイルデータを示す。
【0082】
このように、水平プロファイル処理の際に水平線検出画像を縦方向に4分割し、垂直プロファイル処理の際に垂直線検出画像を縦方向に4分割するようにしているのは、分割前の大きな水平線検出画像又は垂直線検出画像では明るさの変動により薄い線欠陥が埋もれてしまうおそれがあるのと、短い線欠陥ではそれ以外の部分も積算されるため線欠陥の成分が薄まってしまうおそれがあるが、分割した小さな画像では明るさの変動の影響を受けにくいために薄い線欠陥も検出することができ、また分割することにより線欠陥以外の部分のデータが少なくなり、積算を行っても欠陥成分があまり薄まらず短い線欠陥でも検出することができるからである。
【0083】
次に、チェック1である欠陥候補抽出処理を行う(ステップS95)。
この欠陥候補抽出処理は、水平プロファイル処理された各分割領域の各行の積算値の平均値、標準偏差、最大値及び最小値と、垂直プロファイル処理された各分割領域の各列の積算値の平均値、標準偏差、最大値及び最小値とに基づいてそれぞれ次式により、横線閾値と縦線閾値を計算により求め、閾値以下のものを線欠陥候補として抽出するものである。各式のa,aは、ある決められた定数である。
横線閾値(水平線)=average(平均値)±a*σ(標準偏差)
縦線閾値(垂直線)=average(平均値)±a*σ(標準偏差)
なお、1つの式の計算結果として2つの値が閾値として算出されるが、+で求めた閾値はフィルタ処理によりプラス側へ強調されたエッジの閾値となり、分割プロファイル処理された画像のなかでこの閾値以上のものを線欠陥候補として検出する。また、−で求めた閾値はフィルタ処理によりマイナス側へ強調されたエッジの閾値となり、分割プロファイル処理された画像のなかでこの閾値以下のものを線欠陥候補として抽出する。
【0084】
即ち、水平プロファイル処理された各分割領域画像については、その画像の積算値の最大値が横線閾値(+計算)を超えている場合に、水平の線欠陥候補のある画像として、次の評価値処理へと進む。
また、その画像の積算値の最小値が横線閾値(−計算)を超えていない場合には、同じく水平の線欠陥候補のある画像として、次の評価値処理へと進む。
従って、その画像の積算値の最大値が横線閾値(+計算)を超えておらず、且つ積算値の最小値が横線閾値(−計算)を超えている場合には、水平の線欠陥がなく良品のものとし(ステップS96)、後述の評価値計算の評価値処理は行わない。
【0085】
また、垂直プロファイル処理された各分割領域画像については、その画像の積算値の最大値が縦線閾値(+計算)を超えている場合に、垂直の欠陥候補のある画像として、次の評価値処理へと進む。
また、その画像の積算値の最小値が縦線閾値(−計算)を超えていない場合には、垂直の線欠陥候補のある画像として、次の評価値処理へと進む。
従って、その画像の積算値の最大値が縦線閾値(+計算)を超えておらず、且つ積算値の最小値が縦線閾値(−計算)を超えている場合には、垂直の線欠陥がなく良品のものとし(ステップS96)、後述の評価値計算の評価値処理は行わない。
【0086】
さらに、欠陥候補については、各分割領域画像から求めた平均値、標準偏差、最大値及び最小値に基づいてそれぞれ所定の式により、線評価値Hと線評価値Bとを計算により求める評価値の計算を行う(ステップS97)。
この評価値の計算は、水平プロファイル処理された各分割領域画像について、その画像の積算値の最大値が横線閾値(+計算)以上と抽出されたものと、その画像の積算値の最小値が横線閾値(−計算)を超えていないとして抽出されたものである水平線の欠陥候補と、垂直プロファイル処理された各分割領域画像について、その画像の積算値の最大値が縦線閾値(+計算)以上と抽出されたものと、その画像の積算値の最小値が縦線閾値(−計算)を超えていないとして抽出されたものである垂直線の欠陥候補については、各分割領域画像から求めた平均値、標準偏差、最大値及び最小値に基づいてそれぞれ次式により、線評価値Hと線評価値Bとを計算により求めるものである。
線評価値H=(最大値−平均値)/標準偏差
線評価値B=(平均値−最小値)/標準偏差
さらに、線評価値Hと線評価値Bについては、線欠陥候補ではあるが、良品として問題がないレベルの値を閾値として設定しておく。
【0087】
そこで、水平プロファイル処理された各分割領域画像における最大値が横線閾値以上と抽出されたものについては、線評価値H>閾値又は線評価値B>閾値の場合は、水平の線欠陥のあるレベルのものと評価し、それ以外は水平の線欠陥候補ではあるが、良品として問題がないレベルのものと評価する。
また、垂直プロファイル処理された各分割領域画像における最大値が縦線閾値以上と抽出されたものについては、線評価値H>閾値又は線評価値B>閾値の場合は、垂直の線欠陥のあるレベルのものと評価し、それ以外は垂直の線欠陥候補ではあるが、良品として問題がないレベルのものと評価する。
【0088】
最後に、チェック2(つまり最終的なチェック)である欠陥候補に対して求めた評価値に基づいて欠陥ランクの分類を行う(ステップS98)。
この評価値に対し、欠陥ランク分類するための閾値は、不良品及び製品の良品ランク毎に何段階かに設定することができる。これによりシミ欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。
【0089】
この実施の形態の線欠陥検出処理によれば、コンピュータ7は、背景画像差分処理された背景差分画像の比較的広い範囲にわたるムラの影響を除去する平坦化処理をする。
さらに平坦化処理された画像に対してそれぞれ横線、縦線の欠陥を強調して検出するために水平・垂直のエッジ検出フィルタにより水平エッジ・垂直エッジ検出処理を行って線欠陥が強調処理された水平線検出画像と垂直線検出画像を作成し、その水平線検出画像を縦方向に4分割し、各分割された領域の各画素の輝度値を横方向に積算して積算値を取得する水平プロファイル処理と、その垂直線検出画像を横方向に4分割し、各分割された領域の各画素の輝度値を縦方向に積算して積算値を取得する垂直プロファイル処理とを行い、水平プロファイル処理された各分割領域における各行の積算値から分割領域の積算値の輝度値の平均値、標準偏差、最大値及び最小値と、垂直プロファイル処理された各分割領域における各列の積算値から分割領域の積算値の平均値、標準偏差、最大値及び最小値とを算出する統計データ計算を行う。
【0090】
そして、統計データ計算で求めた平均値と標準偏差から、水平の線欠陥候補の有無を判定する横線閾値及び垂直の線欠陥候補の有無を判定する縦線閾値を設定し、水平プロファイル処理及び垂直プロファイル処理された各分割領域の積算値の最大値が線欠陥を判定する横線、縦線閾値を超えているか否かで画面に線欠陥がないかどうか、また画面の積算値の最小値がもう1つの線欠陥候補を判定する横線、縦線閾値を超えているか否かで画面に線欠陥がないかどうかの一次判定を行うようにしたので、各分割領域画像について、白線、黒線がない良品か、或いは白線、黒線の線欠陥がある欠陥候補かどうかの判定を短時間で容易にすることができる。
【0091】
さらに、線欠陥があると判定された欠陥候補の画像に対しては、分割領域の積算値の平均値、標準偏差、最大値及び最小値に基づいて所定の式により線評価値Hと線評価値Bを算出する評価値計算処理を行い、評価値計算処理により求めた線評価値Hと線評価値Bが予め設定された線欠陥候補ではあるが問題ないレベルの値の閾値をこえているかどうかで線欠陥候補の欠陥ランクを決定するようにしたので、線欠陥について薄い線欠陥や短い線欠陥を高精度に検出することができ、しかも評価値の計算対象が欠陥候補だけであるために演算時間が短くて済み、欠陥のランク付けも短時間に行うことができることとなった。
【0092】
(5)画素ムラ欠陥検出処理について図25のフローチャートに基づいて説明する。
まず、背景差分画像に対して膨張処理を行う(ステップS101)。
この膨張(Dilate)処理は、例えば、液晶ライトバルブに駆動素子等の遮光部としてブラックマトリクスが存在している場合に、そのブラックマトリクスの影響を低減するために行われる。
この膨張処理は、例えば、ある注目画素を中心とする近傍の8画素を含めた領域、つまり注目画素を中心とする3×3画素領域の中の最大値を注目画素とおきかえるマキシマムフィルタ処理を行うものである。この処理によって、白領域が膨張し、微少な黒領域であるブラックマトリクス部分が縮小されるために、ブラックマトリクスの成分を低減することができる。この膨張処理では、マキシマムフィルタに限定されるわけではなく、白領域を膨張させるモフォロジ処理等を使用してもよい。
【0093】
次に、膨張処理された画像に対してソーベルフィルタ処理を行う(ステップS102)。
このソーベルフィルタ処理は膨張処理された画像をソーベル(Sobel)フィルタを用いて画像のエッジや輪郭を検出し、強調するものである。
ソーベルフィルタは、画像(ここでは、欠陥)のエッジや輪郭成分を、強調するフィルタの一種であり、隣接するピクセル間の差異(傾き)を輝度値としてあらわすことで、画像のエッジや輪郭を強調するものである。例えば、図26に示すような3×3画素の領域にソーベルフィルタを適用する場合、中心のE画素の輝度値Lは、以下の公式により計算される。
=(X+Y1/2
但し、X=(C+2F+I)−(A+2D+G)
Y=(A+2B+C)−(G+2H+I)
このソーベルフィルタを用いて、画像の左上隅から右へ、及び下へ1画素ずつずらしながら右下隅までフィルタをかけ、各画素の輝度値を演算する。その一例を図27に示す。同図の(a)は処理前の各画素の輝度値をあらわし、(b)はソーベルフィルタ処理後の輝度値の演算結果をあらわしている。
この結果から明らかなように、フィルタ処理後においては隣接画素間の輝度値の差が検出され、且つ強調されるため、画像のエッジや輪郭が明瞭にあらわされることになる。
このような画像(欠陥)強調処理のフィルタには、ほかにラプラシアン(Laplacian)フィルタ等があり、このフィルタを用いてもよい。
【0094】
さらに、ソーベルフィルタ処理後にエリア分割処理を行う(ステップS103)。
このエリア分割処理は、ソーベルフィルタ処理後に、検査画像15を水平および垂直に分割し複数のエリアに分割するものである。ここでは、図28に示すように、4×4の16個のエリア16に分割している。画像を複数のエリアに分割する目的は、次に述べる各分割エリア16ごとの輝度値を統計処理することにより、画素ムラ欠陥の発生箇所を特定するとともに、画素ムラ欠陥の定量化を図ることにある。
なお、画像のエリア分割数は多くするほど、局所的な領域の画素ムラ欠陥を検出できるようになり、検出精度も上がる。しかし、実施例では、実際の画素ムラ欠陥が、面積的には表示エリアの4分の1程度の領域をしめるような出方をしていることから、この程度の分割でよいと思われる4×4の16分割を選択している。
【0095】
しかる後に、各分割エリア内の統計計算を行う(ステップS104)
この各分割エリア内の統計計算は、分割エリア16ごとに分割エリア内の各画素の輝度値の統計計算を行うものである。そして、分割エリア16ごとに輝度値の標準偏差σを求める。
例えば、図29は分割エリアごとの輝度値の標準偏差σを3次元的にあらわしたグラフである。図29のグラフは前記表示装置8に表示される。
【0096】
さらに、評価値の計算に相当する最大標準偏差の抽出を行う(ステップS105)
この最大標準偏差の抽出は、前記のように求められた分割エリアごとの輝度値の標準偏差σの中から最大値(最大標準偏差)σmaxを求める工程である。最大標準偏差σmaxは画素ムラ欠陥が最も集中的に発生している領域をあらわしている。
したがって、本実施形態では最大標準偏差σmaxを画素ムラ欠陥の検出の際の評価値としている。
最後に、チェック2(つまり最終的なチェック)である欠陥候補に対して求めた評価値に基づいて欠陥ランクの分類を行う(ステップS106)。
画素ムラ欠陥の検出にあたっては、所定の閾値を設定し、最大標準偏差σmaxがこの閾値以下であれば画素ムラ欠陥なしと判定する。また、閾値は製品の良品ランク毎に何段階かに設定することができる。これにより画素ムラ欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。
【0097】
この実施の形態の画素ムラ欠陥検出処理によれば、液晶パネル等の表示デバイスの画面に存在する画素ムラ欠陥を定量的に自動検出することができる。
また、最大標準偏差でもって画素ムラ欠陥を評価するものであるので、製品や部品の品質データを集計、分析することにより、品質管理に役立てることができ、更なる品質の向上を目指した手法を構築することも可能になる。
【0098】
以上説明したように、この実施の形態によれば、各種欠陥における欠陥検出にあたって、欠陥のモードを点欠陥検出処理、シミ検出処理、スジ検出処理、ムラ検出処理、線検出処理及び画素ムラ検出処理というように分類し、そのモード毎に処理方法を適用し、各モード毎に画像内の各画素の輝度値に基づく輝度統計データを計算し、輝度統計データに基づいて輝度値の閾値を設定し、輝度統計データと該閾値から欠陥候補を抽出するようにしたので、各欠陥モード毎に画像全体での統計データで一次判定されることとなり、処理画像を減らすことができ、処理時間短縮することができる。
また、液晶ライトバルブの点灯状態を複数設定し、画像を撮像する。即ち、例えばある特定の画像を検査のために撮像するだけでなく、点灯状態を変えて全白画像、全黒画像、白と黒の中間状態の画像もそれぞれ撮像して検査対象とすることにより、ある階調でしか発生しない各モードの各種の欠陥についても検出することができる。
【0099】
さらに、画像毎に最適な露光時間を設定、例えば明るい画像は露光時間を短く、暗い画像は露光時間を長くするというようにし、12bit以上の輝度分解能で撮像することにより、微妙な輝度変化も高精度にとらえることができる。
さらに、抽出された欠陥候補について、輝度統計データに基づいて評価値を算出し、欠陥の評価を行うようにしているため、欠陥モード毎に欠陥の状態を定量的に評価することができ、より高精度な検査が可能となった。
また、このように欠陥モード毎の評価結果が得られるために、欠陥モード毎の検出感度チューニング(目視検査との整合性)が可能となり、目視で行っている判断により近い検査が行えるようになった。
【0100】
さらに、各欠陥処理の評価値に対して閾値を不良品及び製品の良品ランク毎に何段階かに設定することにより、欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。
図30は各種欠陥の欠陥候補について各モード毎の評価値の欠陥ランクの分類を示すグラフである。このグラフが表示装置8に表示されることによって、欠陥の良品内のランク(等級)付けが一目で分かることとなる。このグラフで、評価値が大きい方が欠陥の程度が悪く、小さい方が欠陥の程度が良いことを表している。また、各欠陥によって不良品と良品とを判定する評価値の値も若干異なるものである。
【0101】
図30のグラフに示すように、算出された評価値は不良判断のために用いるだけでなく、その値の大きさに基づいて製品をいくつかのグループに分類されて欠陥のランク(等級)付けや製品の等級化されている。例えば、液晶パネルをR(赤)、G、G’(緑)、B(青)のカラー別に、プロジェクタのライトバルブとして使用する場合に、比視感度は緑のとき(波長λ=555nm近辺のとき)が最も高いので、評価値の最も小さい方のランクのものをGの製品、次に大きいランクのものをG’の製品、更に大きいランクのものをRの製品、その次のものをBの製品、さらにそれ以上の評価値のものを不良品として、等級化している。
そして、グラフの各欠陥で*印は一枚の取り込まれた画像における具体的な欠陥の評価値を示している。
従って、グラフ中における*印がある場所をみることによって、取り込まれた画像について、各欠陥の程度と欠陥ランクを知ることができる。
【0102】
本発明は、前記のようなTFT素子を用いた液晶パネルに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ELディスプレイ、DMD(ダイレクト・ミラー・デバイス)などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
【図面の簡単な説明】
【図1】実施の形態の画面の欠陥検出装置の構成を示すブロック図。
【図2】各種欠陥の検出処理を経て結果表示までを示すフローチャート。
【図3】背景画像差分処理を示す図。
【図4】点欠陥検出処理を示すフローチャート。
【図5】7×7Tophat フィルタの一例を示す図。
【図6】明欠陥と暗欠陥を有する画像。
【図7】Tophat フィルタ処理された画像。
【図8】明・暗欠陥抽出処理された画像。
【図9】シミ検出処理を示すフローチャート。
【図10】平坦化画像と縮小されたシミ欠陥検出画像の模式図。
【図11】画像サイズの縮小方法の説明図。
【図12】Wellフィルタの一例を示す図。
【図13】スジ検出処理を示すフローチャート。
【図14】図3の各画像から切り出した輝度値をそれぞれ示すグラフ。
【図15】各種の線検出フィルタの例を示す図。
【図16】線検出フィルタ処理された画像を示す図。
【図17】線検出フィルタ処理された各種画像の輝度値をそれぞれ示すグラフ。
【図18】blob処理を行うために2値化された画像を示す図。
【図19】ムラ検出処理を示すフローチャート。
【図20】平坦化画像とムラ欠陥検出画像の模式図。
【図21】線検出処理を示すフローチャート。
【図22】各種のエッジ検出フィルタの例を示す図。
【図23】エッジ検出フィルタ処理された線欠陥検出画像を示す図。
【図24】分割プロファイル処理されたプロファイルデータを示す図。
【図25】画素ムラ検出処理を示すフローチャート。
【図26】ソーベルフィルタの計算式の画素位置関係を示す図。
【図27】ソーベルフィルタの処理前、処理後の数値例を示す図。
【図28】画像エリア分割の一例を示す図。
【図29】分割エリアごとの輝度値の標準偏差を示すグラフ。
【図30】各種欠陥の欠陥候補の欠陥ランク分類を示すグラフ。
【符号の説明】
1 プロジェクタ、2 液晶パネル、3 スクリーン、4 画像、5パターンジェネレータ、6 CCDカメラ、7 コンピュータ、8 表示装置、10検査対象画面。
[0001]
TECHNICAL FIELD OF THE INVENTION
INDUSTRIAL APPLICABILITY The present invention automatically and accurately detects defects such as point defects, streak defects, line defects, and spot / mura defects in an inspection process in the production of a display device such as a liquid crystal light valve or a projector which is an application product thereof. The present invention relates to a screen defect detection method and device.
[0002]
[Prior art]
In a conventional screen defect inspection apparatus, it is common that the defect inspection is performed by a single image processing represented by a binarization process. It was impossible. For example, defects appearing on a screen of a liquid crystal display device or the like include point defects, line defects, surface defects (also called spot / uneven defects), and the like. Small defects such as low-contrast defects such as spots and unevenness, point defects, and line defects connected in the pixel scanning direction cannot be detected by simple binarization processing.
Therefore, in detecting a defect appearing on a screen of a liquid crystal display device or the like, a method of separating and extracting each defect while preventing erroneous detection of a false defect by using three-level thresholds for point, line, and surface defects has been proposed. (For example, see Patent Document 1).
In addition, a defect inspection apparatus has been proposed in which various defects such as minute defects and unevenness and streaks are detected by a single inspection apparatus, the type of the defect is reported, and the defect is comprehensively determined (for example, , Patent Document 2).
[0003]
[Patent Document 1]
JP-A-9-288037 (page 1, FIG. 1)
[Patent Document 2]
JP-A-8-145907 (page 1, FIG. 1)
[0004]
[Problems to be solved by the invention]
In the above-described conventional method of separating and extracting point, line, and plane defects by using three-level threshold values, the detection power can be detected for a variety of defect sizes or a defect having a very low contrast. Was insufficient.
In addition, in a defect inspection apparatus that detects various defects with a single inspection apparatus, reports the type of the defect, and comprehensively determines the defect, the amount of change in density between pixels is basically small or large. The defect is determined by the method, which means that the strength of the defect edge is obtained, and the defect size is not taken into consideration, so that the difference from the human judgment in the visual inspection by a person becomes large. was there.
[0005]
The present invention has been made in order to solve such problems, and it is possible to accurately detect defects such as point defects, streak defects, line defects, and spot and unevenness defects. It is an object of the present invention to provide a screen defect detection method and apparatus that can detect not only defects but also dark defects and can shorten the processing time for detecting defects.
[0006]
[Means for Solving the Problems]
The screen defect detection method according to the present invention is a step of capturing an image of an inspection target, and, from an image captured by the imaging, a step of creating an inspection image by taking a difference between a background image created in advance, Six detection processing steps for detecting point defects, spot defects, streak defects, unevenness defects, line defects, and pixel unevenness defects from the inspection image, and luminance statistics based on the luminance value of each pixel in the image after each detection processing The method includes the steps of calculating data, and setting a threshold of a luminance value based on the luminance statistical data, and extracting a defect candidate from the luminance statistical data and the threshold.
[0007]
With this configuration, it is possible to perform a more advanced inspection for each defect mode of point defects, spot defects, streak defects, uneven defects, line defects, and pixel uneven defects.
Furthermore, since a defect candidate is extracted and primary determined from the luminance statistical data and the threshold value of the entire image for each defect mode, the number of detection processes can be reduced, and the processing time can be reduced.
[0008]
Further, in the screen defect detection method according to the present invention, various types of defects in each mode can be detected by setting a plurality of lighting states of an image to be inspected and capturing the set image.
Further, it is preferable that the image of the inspection object is imaged at an optimal exposure time, and the data of the captured image is 12-bit or more than 4096 gradations.
By doing so, even a slight change in luminance can be captured with high accuracy, and by using high-resolution image data, the accuracy of the luminance statistical data can be increased, thereby further improving the defect detection accuracy. Becomes possible. Further, the accuracy of the evaluation value of the defect candidate described later is also improved.
[0009]
Further, in the screen defect detection method according to the present invention, in order to detect both a bright defect and a dark defect of a point defect, a spot defect, a streak defect, an unevenness defect, and a line defect, a defect candidate is extracted. Is determined for each of the light defect and the dark defect.
The threshold is determined using the average value and the standard deviation of the luminance statistical data.
Further, the method is characterized in that the method includes a step of obtaining characteristic values of the defect candidates for the extracted defect candidates, and calculating an evaluation value based on the characteristic values and the statistical data. Therefore, defect candidates can be objectively and quantitatively evaluated, and accurate evaluation can be performed. In addition, since an evaluation result for each defect mode is obtained, tuning for each defect mode (consistency with a visual inspection) can be performed, and an inspection closer to the judgment performed visually can be performed.
[0010]
In addition, the evaluation value of the defect candidate is calculated for each of the bright defect and the dark defect as in the case of the threshold value.
Further, the evaluation value of the defect candidate is calculated using the average value and the standard deviation of the luminance statistical data, and the maximum luminance and the minimum luminance of the defect candidate.
Therefore, defects can be objectively evaluated for each product.
Further, by classifying the defective product and the non-defective product according to the magnitude of the evaluation value of the defect candidate, the defect can be ranked and the product can be graded. These statistical data can be used for quality control.
[0011]
Further, in the screen defect detection method according to the present invention, the detection processing step of detecting a point defect includes applying a top hat filter or a well filter to the inspection image to emphasize a bright point defect and a dark point defect. The defect and the dark point defect are emphasized, and at the same time, the approximate center value of the gradation displaying the image is added as an offset value. Defects can be detected, and processing time for detecting point defects can be shortened.
[0012]
Further, in the screen defect detection method according to the present invention, in the detection processing step of detecting a stain defect, a flattening process is performed on the inspection image, and a reduced image of a plurality of stages is created from the flattened image. Are subjected to a filtering process using a top hat filter or a well filter for emphasizing a stain defect, and simultaneously adding a substantially center value of a gradation displaying an image as an offset value at the same time as emphasizing the stain defect. Therefore, the contrast of the stain defect is enhanced, and the stain defect can be detected with high accuracy regardless of the size of the defect or the level of the contrast.
[0013]
Further, in the screen defect detection method according to the present invention, in the detection processing step of detecting a streak defect, a flattening process is performed on the inspection image, a plurality of reduced images are created from the flattened image, and each reduced image is formed. A line detection filter in which the emphasis angle is changed in four stages to correspond to stripes in various directions is used to enhance the stripe defects, and to enhance the stripe defects. Since the median value is added as the offset value, the streak defect can be detected with high accuracy regardless of the size of the defect for the white streak or the black streak appearing in different directions on the screen.
[0014]
Further, in the screen defect detection method according to the present invention, the detection processing step of detecting a non-uniform defect includes performing a flattening process of an image in a plurality of stages on an inspection image or a reduced image obtained by reducing the inspection image. And a second flattened image is created, and between the inspection image or a reduced image of the inspection image and the first flattened image, and between the first flattened image and the second flattened image. In this case, the difference processing is performed, and at the same time, the approximate center value of the gradation displaying the image is added as the offset value. The defect remains in the first detected image, and the mura defect having a relatively small size remains in the second detected image, so that large and small mura defects can be accurately detected.
[0015]
Further, in the screen defect detection method according to the present invention, in the detection processing step of detecting a line defect, a flattening process is performed on the inspection image, and an edge detection filter is applied to the flattened image to detect a line defect. Emphasis and line defects are emphasized, and at the same time, the approximate center value of the gradation displaying the image is added as an offset value, so that white line or black line defects appearing in different directions on the screen can be detected with high accuracy. can do.
[0016]
Further, in the screen defect detection method according to the present invention, the detection processing step of detecting a pixel unevenness defect performs an expansion process on each pixel of the inspection image, and applies a Sobel filter or a Laplacian filter to the expanded image. Is applied to emphasize the luminance difference between adjacent pixels, the component of the pixel unevenness defect existing in the inspection image becomes clear, and the pixel unevenness can be qualitatively detected.
[0017]
Furthermore, a screen defect detection apparatus according to the present invention uses the screen defect detection method according to any one of claims 1 to 15.
More specifically, the inspection apparatus includes an imaging unit and an inspection apparatus main body that performs image processing. The inspection apparatus main body is generally configured by a computer. By incorporating an inspection program for performing each of the above-described processes into this computer, various types of defects can be automatically inspected.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a block diagram showing a configuration of a screen defect detection apparatus according to an embodiment of the present invention.
In this embodiment, for example, the screen 10 to be inspected is a projection screen of the liquid crystal light valve 2 using a TFT element by the projector 1. When performing an inspection, the image 4 is projected on the screen 3 by the projector 1. The image 4 is drawn by giving a predetermined pattern to the liquid crystal panel 2 by the pattern generator 5. For example, an image 4 is picked up by a CCD camera 6 as an image pickup means, and the image signal is converted from an analog signal to a digital signal by an A / D converter (not shown) and is taken into a computer 7 which is a main body of the inspection apparatus. At this time, the image data is represented by, for example, 12-bit data with black being “0” and white being “4095” for each pixel by the A / D converter with a luminance value of 4096 gradations.
[0019]
Further, the computer 7 processes the image data of the image 4 taken into the image memory by a method described later to thereby detect various defects such as point defects, streak defects, line defects, and spot / uneven defects for each light / dark defect. To detect. In defect detection, a reduced image with a plurality of reduced sizes is created according to the type of defect, a filter process for defect emphasis is performed, and statistical processing of luminance information in the detected image is performed. A threshold for extracting a defect candidate is determined based on the data, the defect candidate is extracted, and an evaluation value for quantitatively evaluating the extracted defect candidate is calculated. These inspection results are displayed on the display device 8.
[0020]
FIG. 2 is a flowchart showing a process from inputting an image to a process of displaying a result after detecting various defects, and FIG. 3 is a diagram showing a background image difference process. The detection processing of various defects is automatically performed according to the inspection program incorporated in the computer 7 or the image processing apparatus.
The processing procedure will be described according to the flowchart of FIG.
[0021]
First, an image projected on the screen 3 is photographed by the CCD camera 6, an image of the photographed data is taken into the computer device 7, and image input is performed (step S1).
Next, a display area extraction process is performed to extract only an image portion, which is a display area of the inspected portion, from the captured image captured by the computer device 7 (step S2).
This extraction screen is a pattern matching process for the coordinates of the four corners of the image of the part to be inspected (for four small areas of several tens of pixels × several tens of pixels near the four corners of the image data, four corner reference images prepared in advance and The pattern can be extracted by performing pattern matching processing and specifying the coordinates of the four corners).
[0022]
Subsequently, a background image difference process for removing a defect-like luminance change caused by something other than the liquid crystal light valve 2 such as an illumination or a lens from an extracted screen which is an image extracted only from the screen portion of the inspection target is performed ( Step S3).
In the background image difference processing, the background image 14 shown in FIG. 3B is subtracted from the extraction screen 13 which is an image obtained by extracting only the screen portion of the inspection target image data of the inspection target image data shown in FIG. The background difference image 15 shown in FIG. 3C is created by adding a half value of 4096 gradations as an offset value so that the luminance change does not become negative. Is the image of the difference between the corresponding pixels in the two images. The background image 14 is obtained by imaging a plurality of samples having as few defects as possible, creating an averaged image thereof, and extracting only the screen portion of the inspection target from the image.
The above steps S1 to S3 are referred to as pre-processing, and thereafter, the process enters individual defect detection processing for detecting various defects.
[0023]
That is, first, a point defect detection process for detecting a point defect from the background difference image is performed (step S4), then, a stain detection process for detecting a stain defect from the background difference image is performed (step S5), and a stripe is detected from the background difference image. A streak detection process for detecting a defect is performed (step S6), an unevenness detection process for detecting an unevenness defect from the background difference image is performed (step S7), and a line detection process for detecting a line defect from the background difference image is performed (step S7). (Step S8) Finally, pixel unevenness detection processing for detecting a pixel unevenness defect from the background difference image is performed (Step S9), and statistical processing of luminance information in the detected image in which the defect is emphasized is performed. A threshold value for extracting defect candidates is determined based on the extracted defect candidates, and an evaluation value for quantitatively evaluating the extracted defect candidates is calculated. It is by detecting processing of all of the input image is finished (step S10), and displays on the display device 8 the results of all of the detection process (step S11), and inspection of various defects is finished.
[0024]
Next, individual defect detection processing will be described.
(1) The point defect detection processing will be described based on the flowchart of FIG.
In the background difference image, since it is difficult to detect a minute level of a bright spot defect and a dark spot defect, a point defect emphasizing process is performed using a spatial filter which is a method of image processing (step S21).
In this embodiment, a point defect enhancement process is performed using a top hat filter (7 × 7 Tophat filter) as a spatial filter.
The 7 × 7 Tophat filter emphasizes a point-like luminance change that is isolated from the surroundings, and weights the value of the pixel of interest so that the difference from the value of the surrounding pixels is more emphasized. This is a filter that performs convolution operation. FIG. 5 shows an example of a numerical configuration of the 7 × 7 Tophat filter.
[0025]
Here, enhancement of point defects will be described.
FIG. 6 schematically shows an image having a light defect and a dark defect, which are point defects of a light point and a dark point. As a result of enhancing the image of FIG. 6 by the 7 × 7 Tophat filter, a bright point defect having a small luminance difference from the background as shown in FIG. Is a valid image. On the other hand, a dark defect having a small difference in luminance from the background is emphasized as a negative value, and therefore, the image is such that the dark defect cannot be detected. FIG. 7A shows an image subjected to the Tophat filter processing, and FIG. 7B shows an image obtained by cutting out the image shown in FIG. 7A using a predetermined threshold value for extracting a bright region. It is an image detected by highlighting a bright defect of a point.
As described above, in the image subjected to the Tophat filter, a bright point indicating a bright point defect appears as a gray level having a positive value, whereas a dark point indicating a dark point defect appears as a gray level having a negative value. In the image processing format, image data usually takes only a positive value, so that the component of the dark point becomes 0 as it is, and it cannot be detected because there is no dark point data in the processed image data.
[0026]
Therefore, when the screen is represented by 1296-bit 4096 gradations, a half value of 2048 is added as an offset value at the same time as the filtering process so that a dark point can be detected from the same image. (Step S22). When the image format is an 8-bit gray scale, the image has 256 gradations, and a half value of 128 is added as an offset value at the same time as performing the filter processing.
As a result, the data of the dark point also appears as a tone having a positive value, so that it is possible to detect the point defect (the bright defect and the dark defect) of the bright point and the dark point by one filtering process. The image in FIG. 8A is an image obtained by adding an offset value to the image resulting from the filtering process.
[0027]
Thereafter, a bright / dark defect candidate extraction process is performed to detect a bright defect and a dark defect from the image subjected to the above process, and the presence or absence of the defect candidate which is the check 1 is determined (step S23).
This bright / dark defect candidate extraction process cuts out two types of thresholds, a threshold for extracting a region with a high luminance and a threshold for extracting a region with a low luminance, and synthesizes the cut out images. (B) to obtain an image in which a bright defect and a dark defect are detected.
That is, in the point defect extraction image, a pixel having a luminance value larger than the bright defect extraction threshold can be determined to be a bright defect, and a pixel having a luminance value smaller than the dark defect extraction threshold can be determined as a dark defect. , And a defect candidate having a point defect of a bright defect and a dark defect is extracted.
[0028]
If there is no pixel having a luminance value larger than the threshold value for extracting a bright defect candidate or a pixel having a luminance value smaller than the threshold value for extracting a dark defect candidate, there are no defect candidates, and at this stage, the product is regarded as a non-defective product. It is determined and the inspection is terminated.
Here, the threshold for extracting a region with a high luminance and the threshold for extracting a region with a low luminance are obtained by calculating the average value and the standard deviation of the luminance values obtained from the entire screen of the image in which the point defect is emphasized. Based on the following formula, it is calculated.
Threshold for bright region extraction = average (average value) + a1 * σ (standard deviation)
Threshold for dark area extraction = average (average value)-a2 * σ (standard deviation)
In the above formula, a1 and a2 are certain fixed constants, which are appropriately determined according to the degree of the point defect.
[0029]
Further, the evaluation value which is the check 2 is calculated (step S24).
In the second (that is, final) check, evaluation values are calculated for the defect candidates extracted in the check 1 in order to quantify the degree of the defect. The evaluation value is calculated from the following equation using the luminance statistical data (average value, standard deviation σ, maximum value Lmax, minimum value Lmin) obtained from the image.
Bright defects:
Ev = (Lmax−Lave) / σ
Dark defect:
Ev = (Lave−Lmin) / σ
Where Lmax = maximum luminance of defect candidate
Lmin = minimum luminance of defect candidate
Lave = average luminance of the whole image
σ = standard deviation of the luminance of the whole image
By calculating evaluation values using these formulas, point defects of bright defects and dark defects extracted as defect candidates can be quantitatively evaluated with objective data, and the presence or absence of bright defects and dark defects can be evaluated. In addition to making a determination, a rank can be determined based on the degree of defect. Therefore, the detection accuracy of the point defect is high.
[0030]
Finally, the defect rank is classified based on the evaluation value obtained for the defect candidate that is the check 2 (step S25).
For this evaluation value, the threshold value for classifying the defect rank can be set in several steps for each of the defective rank and the non-defective rank of the product. This makes it possible to rank (define) point defects in good products and to grade products.
[0031]
According to the point defect detection processing of this embodiment, the computer 7 emphasizes a point defect having a small luminance difference from the background by the Tophat filter on the pre-processed background image difference processing image. Processing is in progress.
In such a 7 × 7 Topat filter, a point-like luminance change that is isolated with respect to the surroundings is emphasized, so that a filter that is isolated with respect to the surroundings such as a point defect of the liquid crystal light valve 1 is emphasized. Since moiré fringes that are not isolated from the surroundings are not emphasized, only the point defect portion of the liquid crystal light valve 1 is emphasized even in an image in which moiré fringes occur.
Further, at the same time as emphasizing the point defect, the median value of the gradation of the image is added to the image as an offset value, and a threshold value for extracting a bright region for the image to which the offset value has been added and a dark value for the luminance value Since an image capable of detecting a point defect candidate of a bright defect and a dark defect is obtained by binarizing with two kinds of thresholds for extracting a region, a bright defect of the liquid crystal light valve 1 can be obtained by one filtering process. And a dark defect can be detected, and the processing time for detecting the defect can be shortened.
[0032]
(2) The spot defect detection processing will be described based on the flowchart of FIG.
First, the background difference image is subjected to a flattening process for excluding a defect other than a spot defect having a relatively small size and a different contrast (step S31).
The background difference image (inspection image) has a large size and a gradual change in luminance over the entire display area, that is, a gradual brightness such as a bright or dark place over a wide range that is not so problematic to humans. And a nonuniformity defect having a size larger than a spot defect may be included. In order to exclude these from detection targets, a flattening process is performed on the background difference image, that is, the inspection image.
By this flattening process, a large change in brightness such as illuminance unevenness and an uneven defect having a large size are removed, and only stain defects having a relatively small size and stain defects having different contrasts remain in FIG. The flattened image 16 as shown in FIG.
Note that the flattening process is a process that applies a smoothing filter or a process that flattens by a morphological process or the like.
[0033]
Next, image size reduction processing for reducing the flattened image to various sizes is performed (steps S32 to S36).
Although the size of the spot defect is small, there are various sizes among them, and the contrast of the spot defect is also various such as high and low.
The top-hat filter, which will be described later, can enhance only a spot defect having a predetermined size. Is performed.
[0034]
Here, ((600 × 500 pixels), 4 (300 × 250 pixels), 8 (150 × 125 pixels), 1/16 ( Five reduced images reduced to five stages of 75 × 62 pixels) and 1/32 (38 × 31 pixels) are created.
In the method of reducing the image size, as shown in FIG. 11, the average value of the luminance data for the four pixels of the original image is reduced to a half size by allocating it to one pixel of the new image. By repeating this method, the image size can be reduced by half.
By gradually reducing the image size of the flattened image 16 in this manner, some of the reduced images have a size that can be enhanced by the top hat filter.
[0035]
Further, a process of enhancing the contrast of the stain defect using a spatial filter is performed on each reduced image (steps S37 to S41).
The contrast of the spot defect is enhanced using a Tophat filter as a spatial filter for each reduced image. The top-hat filter is a filter for enhancing the contrast, and is composed of, for example, 7 × 7 pixels as shown in FIG. 5, and performs a convolution operation on the target pixel with this filter configuration value to obtain a background in the pixel. If there is a bright spot (here, a white spot defect) having a size of about 3 × 3 pixels as compared with, this is emphasized.
[0036]
However, the top hat filter is effective for detecting a light defect (white spot) because the result of enhancing a bright point has a positive value, but the result of enhancing a dark point (here, a black spot defect) is a minus value. Since the image format of image processing usually takes only a positive value, the result is replaced with 0, and there is a difficulty in detecting a dark defect (black spot). Therefore, by performing the convolution operation in the top hat filter process and adding the value of 2048 as the offset value, the emphasized portion of the scotoma which is originally a negative value is made positive, and as a result, only the top hat filter process is performed. Enables bright and dark point enhancement. Of course, the spatial filter is not limited to the top-hat filter, and a well (Well) filter in which the result of emphasizing the scotoma has a positive value (the sign is opposite to that of the top-hat filter) (see FIG. 12). May be used. Further, the filter size, weighting, and the like of these spatial filters are not limited to those shown in the drawings.
[0037]
FIG. 10B schematically shows the detected image 17 when the above-mentioned top hat filter processing is performed on the reduced image (however, the image size is illustrated with the same size for easy understanding). . Actually it is a reduced size). Incidentally, reference numeral 20 in FIGS. 10A and 10B indicates a spot defect.
By simultaneously performing the top hat filter processing and the offset processing as described above, the result of emphasizing white spots and black spots can be obtained at one time, and the detection time of the spot defect 20 can be reduced.
It should be noted that in the case of a spot defect having a size in which no defect is emphasized in FIG. 10B, the defect is emphasized in the same manner in another reduced image which has been reduced in several stages to a size that can be emphasized. Will be done.
[0038]
Further, a statistical calculation for calculating statistical data based on the luminance value of each pixel in the detected image is performed (steps S42 to S46).
In the calculation of the statistical data, the average value Lave, the standard deviation σ, the maximum value Lmax, and the minimum value Lmin of the luminance value of the entire image are obtained. From these four pieces of luminance statistical data, a threshold value for extracting defect candidates for white spots and black spots is determined as follows, for example.
White spot threshold: Lave + a1 × σ
Black stain threshold: Lave-a2 × σ
Here, a1 and a2 are certain fixed constants.
Therefore, the threshold value for extracting the white spot and black spot defect candidates can be automatically determined based on the luminance statistical data by statistically calculating the luminance data in the detected image 17. Therefore, the threshold value is not artificial, trial and error, but objective and relative.
[0039]
Thereafter, it is determined whether there is a defect candidate which is the check 1 (step S47).
A first check is performed based on the threshold value to determine whether there is a candidate for a white spot defect or a black spot defect in the detection image 17 shown in FIG. That is, if the maximum value Lmax of the luminance value obtained by the calculation of the statistical data exceeds the white stain threshold, it is determined that there is a white stain defect candidate in the detected image 17, and the minimum luminance value Lmin is set to the black stain threshold. If it is below, it is determined that there is a black spot defect candidate in the detected image 17. If there are no defect candidates, the product is determined to be good with respect to the stain at this stage, and the stain defect inspection ends.
[0040]
Further, a blob process for calculating the characteristic value of the extracted defect candidate is performed (steps S48 to S52).
When it is determined in the above check 1 that there is a defect candidate in the detected image 17, the defect candidate is extracted using a threshold, and blob processing is performed to calculate the characteristic value of the defect candidate. The blob is a “cluster” having a value in a specific range existing in the image, and here is a defect candidate that is an area equal to or more than a white stain threshold or an area equal to or less than a black stain threshold.
Therefore, a defect candidate is extracted by a binarization process using the white stain threshold and the black stain threshold, and the extracted region is subjected to a blob process, which is an image processing method, to calculate the characteristic value of the defect candidate. I do.
Here, as the characteristic values of the defect candidate, the barycentric position X and Y coordinates of the area, the maximum luminance value (Lmax (n)) in the area for a white spot defect, and the area value for a black spot defect The minimum value (Lmin (n)) of the luminance is calculated.
[0041]
Further, the evaluation value as check 2 is calculated (step S53).
In the second (ie, final) check, evaluation values are calculated for the defect candidates extracted as the defect candidates in order to quantify the degree of the defect. The evaluation value is the luminance statistical data (average value Lave (i), standard deviation σ (i), i is the screen number of the reduced image) obtained for each of the reduced images (described above) and the characteristics obtained by the blob processing. Using the values (the maximum value Lmax (n), the minimum value Lmin (n), and n is a blob number), the evaluation value is calculated by the following equation.
White stain:
Ev (n) = k (i) × (Lmax (n) −Lave (i)) / σ (i)
Black stain:
Ev (n) = k (i) × (Lave (i) −Lmin (n)) / σ (i)
Where k (i) = reduced screen coefficient i = screen number
Lmax (n) = maximum luminance of defect candidate n = Blob number
Lmin (n) = minimum luminance of defect candidate
Lave = average luminance of the whole image
σ = standard deviation of the luminance of the whole image
By calculating the evaluation value using these formulas, the white spot defect and the black spot defect extracted as defect candidates can be quantitatively evaluated by objective data together with the coordinate position and the number (Blob number). In addition to determining the presence or absence of a white spot defect and a black spot defect, a rank can be determined based on the degree of the defect. Therefore, the detection accuracy of the stain defect is high.
[0042]
Finally, the defect rank is classified based on the evaluation value obtained for the defect candidate that is the check 2 (step S54).
For this evaluation value, the threshold value for classifying the defect rank can be set in several steps for each of the defective rank and the non-defective rank of the product. As a result, it is possible to assign a rank (grade) of the spot defect to a non-defective product and to grade the product.
[0043]
According to the stain defect detection processing of this embodiment, a stain defect existing on the screen of a display device such as a liquid crystal panel is automatically detected with high accuracy regardless of the size of the defect and the contrast level. And it is possible to individually and quantitatively evaluate the stain defect.
In addition, since spot defects are evaluated based on luminance statistical data, collecting and analyzing the quality data of products and parts can be used for quality control, and a method aimed at further improving quality is developed. It is also possible to build.
[0044]
(3) The streak defect detection processing will be described with reference to the flowchart of FIG.
First, a flattening process similar to the case of the above-described stain detection is performed on the background difference image (step S61).
Next, an image size reduction process similar to the above-described stain detection process is performed on the flattened image (step S62).
[0045]
Thereafter, a line detection filter process is performed on each of the five reduced images (step S63).
In this line detection filter processing, it is difficult to detect minute-level white / black streak / labis-judge defects as it is. Therefore, three lines of one reduced image are emphasized so as to emphasize only streak defects in the image. Are made, and one type of line detection filter is applied to each image, and defect enhancement processing is performed by applying a total of four types of line detection filters.
[0046]
The four types of line detection filters include a horizontal line detection filter that performs horizontal line enhancement processing, a vertical line detection filter that performs vertical line enhancement processing, and an oblique line detection filter that performs + 45 ° line enhancement processing. , An oblique line detection filter that performs a line emphasis process of −45 °.
Accordingly, three copies of each of the five reduced images shown in FIG. 16A are created, and one type of line detection filter processing is performed on each image, for a total of four types of line detection filter processing. As shown in FIG. 16B, four images obtained by performing horizontal line detection processing, vertical line detection processing, + 45 ° line detection processing, and −45 ° line detection processing from each reduced image are obtained, for a total of 20 images. An image in which the streak defect is enhanced is obtained.
[0047]
All of these four types of line detection filters detect a vertical line, a horizontal line, and + 45 ° as a detection target for a small area of several pixels × several pixels (7 × 7 pixels in FIG. 15) including the periphery of the pixel of interest. In order to detect whether there is a diagonal line or a component of a −45 ° diagonal line, when the component exists, it is emphasized by a convolution operation based on the relationship between the luminance value of the pixel of interest and the surrounding pixels. Is a filter in which the weighting is performed.
15A is a horizontal line detection filter that emphasizes horizontal lines, FIG. 15B is a vertical line detection filter that emphasizes vertical lines, and FIG. 15C is a diagonal line that emphasizes + 45 ° lines. FIG. 15D shows an example of another oblique line detection filter that emphasizes a line of −45 °.
[0048]
In the image to which the four types of line detection filters are applied as shown in FIG. 15, white stripes appear as gradations of positive values, while black stripes appear as gradations of negative values. In the image processing format, the image data usually takes only a positive value, so the black streak component becomes 0 as it is, and the processed image data cannot be detected because there is no black streak data. In this manner, the graph in which the offset value is not added as shown in FIG. 17A shows that white streaks appear but black streaks do not appear.
[0049]
Therefore, when the screen is represented by 4096 gradations of 12 bits so that a black streak can be detected from the same image, a process of adding a half value of 2048 as an offset value simultaneously with the filtering process is performed. As a result, the data of the black streak also appears as a gradation having a positive value, so that the white streak and the black streak can be detected by one filtering process. The graph to which the offset value is added as shown in FIG. 17B indicates that both white stripes and black stripes appear. When the image format is an 8-bit gray scale, 256 gradations are obtained, and a half value of 128 is added as an offset value simultaneously with the filtering process.
[0050]
Next, statistical data calculation processing is performed on the image in which the 20 streak defects obtained by performing the four types of line detection filter processing are emphasized, based on the luminance values of the pixels (step S64).
In this statistical data calculation process, the luminance value of each pixel in the entire region of an image in which 20 streak defects are obtained by performing four types of line detection filter processes on a reduced image of five stages is obtained. Is obtained, and the average value, standard deviation, maximum value, and minimum value of the entire screen are obtained.
[0051]
That is, for each of the five reduced images subjected to the horizontal line detection processing, the luminance value of each pixel in the entire area is obtained, and the average value, standard deviation, maximum value, and minimum value of the luminance value of the entire screen are obtained. In addition, for each of the five reduced images subjected to the vertical line detection processing, the luminance value of each pixel in the entire area is obtained, and the average value, standard deviation, maximum value, and minimum value of the entire screen are obtained. Further, with respect to each of the five reduced images subjected to the + 45 ° oblique line detection processing, the luminance value of each pixel in the entire area is obtained, and the average value, standard deviation, maximum value, and minimum value of the entire screen are obtained. Furthermore, for each of the five reduced images subjected to the -45 ° oblique line detection processing, the luminance value of each pixel in the entire area is obtained, and the average value, standard deviation, maximum value, and minimum value of the entire screen are obtained. .
[0052]
After that, a defect candidate presence / absence determination process of check 1 is performed (step S65).
In the defect candidate presence / absence determination processing, the average value, standard deviation, and maximum value obtained from the 20 images subjected to the horizontal line detection processing, the vertical line detection processing, the + 45 ° diagonal line detection processing, and the −45 ° diagonal line detection processing are obtained. Based on the value and the minimum value, the horizontal line threshold, the vertical line threshold, the + 45 ° oblique line threshold, and the −45 ° oblique line threshold of each image are calculated by the following equation.
Horizontal line threshold = average (average value of horizontal line detection processing image) ± a1* Σ (standard deviation of horizontal line detection processed image)
Vertical line threshold = average (average value of vertical line detection processed image) ± a2* Σ (standard deviation of vertical line detection processed image)
+ 45 ° oblique line threshold = average (average value of + 45 ° oblique line detection processed image) ± a3* Σ (standard deviation of + 45 ° oblique line detection processed image)
−45 ° oblique line threshold = average (average value of −45 ° oblique line detection processed image) ± a4* Σ (standard deviation of -45 ° oblique line detection processed image)
a1  , A2  , A3  , A4  Is a fixed constant.
Note that two values are calculated as thresholds as a calculation result of one formula. The threshold obtained by + is a threshold for white line detection, and a line detection processing image that is equal to or more than this threshold is a white line. The threshold value detected as a defect candidate and obtained with-becomes a threshold value for black streak detection, and a line streak image that is equal to or less than the threshold value is detected as a black streak defect candidate.
[0053]
However, before that, it is checked whether there is a streak defect candidate in the line detection processing image, that is, the maximum value and the minimum value of the luminance value of the entire screen obtained from each image subjected to the horizontal line detection processing, the vertical line detection processing is performed. The maximum value and the minimum value of the luminance value of the entire screen acquired from each image, the maximum value and the minimum value of the luminance value of the entire screen acquired from each image subjected to the + 45 ° oblique line detection processing, and the −45 ° oblique line detection processing is performed. It is determined from the maximum and minimum values of the brightness of the entire screen obtained from each of the images and the calculated threshold value whether or not a candidate for a streak defect exists in each detection processing screen (step S65).
[0054]
For each image subjected to the horizontal line detection processing, if the maximum value of the luminance value of the image exceeds the horizontal line threshold (+ calculation), the image is regarded as a defect candidate having a white stripe, and the next particle analysis processing (blob processing) is performed. Proceed to).
If the minimum value of the luminance value of the image does not exceed the horizontal line threshold (−calculation), the image is processed as a black streak image and the process proceeds to the next blob processing. When the maximum value of the luminance value does not exceed the horizontal line threshold value (+ calculation) and the minimum value of the luminance value exceeds the horizontal line threshold value (−calculation), it is determined that there is no white line or black line and that it is a good product. The next blob processing is not performed.
[0055]
Also, for each image subjected to the vertical line detection processing, when the maximum value of the luminance value of the image exceeds the vertical line threshold (+ calculation), the image is regarded as a defect candidate having a white stripe, and the next blob processing is performed. Proceed to.
If the minimum value of the luminance value of the image does not exceed the vertical line threshold value (-calculation), the image is processed with the black streak and the process proceeds to the next blob processing. When the maximum value of the luminance value does not exceed the horizontal line threshold value (+ calculation) and the minimum value of the luminance value exceeds the horizontal line threshold value (−calculation), it is determined that there is no white line or black line and that it is a good product. The next blob processing is not performed.
[0056]
Also, for each image subjected to the + 45 ° oblique line detection processing, if the maximum value of the luminance value of the image exceeds the + 45 ° oblique line threshold (+ calculation), it is determined as a defect candidate having a white stripe. Proceed to the next blob processing.
If the minimum value of the luminance value of the image does not exceed the + 45 ° oblique line threshold value (−calculation), the process proceeds to the next blob process as an image having black stripes. If the maximum value of the luminance value does not exceed the + 45 ° oblique line threshold (+ calculation) and the minimum value of the luminance value exceeds the + 45 ° oblique line threshold (−calculation), white stripes and black stripes The next blob processing is not performed as a non-defective product.
[0057]
Furthermore, for each of the images subjected to the -45 ° oblique line detection processing, if the maximum value of the luminance value of the image exceeds the -45 ° oblique line threshold (+ calculation), the defect candidate having a white stripe is detected. To the next blob processing.
If the minimum value of the luminance value of the image does not exceed the -45 ° oblique line threshold value (−calculation), the image is processed with the black streak and the process proceeds to the next blob processing. If the maximum value of the luminance value does not exceed the −45 ° oblique line threshold (+ calculation) and the minimum value of the luminance value exceeds the −45 ° oblique line threshold (−calculation), white streaks, The next blob treatment is not performed as a non-defective product having no black stripes.
[0058]
Next, a blob process is performed on the image determined to have the defect candidate to obtain the maximum luminance, the minimum luminance, and the area of the defect candidate (step S67).
In this blob processing, a defect candidate is extracted only for an image for which it has been determined that there is a white or black streak defect candidate, and its evaluation value is obtained. The maximum luminance, the minimum luminance, and the area of the white stripe or black stripe defect candidate in the detection processing image, the + 45 ° oblique line detection processing image, and the −45 ° oblique line detection processing image are obtained.
In order to perform the blob processing, the image must be binarized. For this purpose, a horizontal line threshold, a vertical line threshold, a + 45 ° oblique line threshold, and a −45 ° oblique line threshold are used. FIG. 18 shows an image binarized for performing the blob processing.
[0059]
For example, if it is determined that an image subjected to the horizontal line, vertical line, + 45 ° oblique line, and −45 ° oblique line detection processing includes a white streak defect candidate, the horizontal line threshold, the vertical line threshold, and the +45 calculated with + The oblique line threshold value and the −45 ° oblique line threshold value are used, respectively, and a portion beyond that is binarized as a white stripe defect candidate. In the binarized image, a plurality of defect candidates exist as clusters, and the area of all of them is determined, and the image before binarization is applied within the range of the binarized cluster region. From the maximum luminance value.
If it is determined that there is a black streak defect candidate in the image subjected to the horizontal line detection processing, the horizontal line threshold, the vertical line threshold, the + 45 ° oblique line threshold, and the −45 ° oblique line threshold calculated using − are used. Are binarized as black streak defect candidates. As in the case of the white stripe, the binarized image has a plurality of defect candidates in clusters. The area of all of them is determined, and within the range of the binarized cluster, the area is determined. The minimum luminance value is obtained from the image before the value conversion.
[0060]
Further, an evaluation value for calculating a defect evaluation value is calculated for a defect candidate of a white stripe or a black stripe (step S68).
The evaluation value processing is performed for a white line or black line defect candidate in a horizontal line detection processed image, a vertical line detection processed image, a + 45 ° diagonal line detection processed image, and a −45 ° diagonal line detection processed image obtained by the blob processing. The calculation of an evaluation value for calculating a defect evaluation value based on the information of the maximum luminance, the minimum luminance, and the area, and the average value and the standard deviation of the luminance values of the entire screen.
The defect evaluation value (Ev) of a white streak or a black streak in a defect candidate is obtained by calculation according to the following equation.
White line
Ev (i, n) = K (i) * S (n) * (Lmax (n) -Lave (i)) / σ (i)
Black stripe
Ev (i, n) = K (i) * S (n) * (Lave (i) -Lmin (n)) / σ (i)
K (i) = reduced screen coefficient, i = screen number, n = blob number,
Lmax (n) = maximum luminance of defect candidate, Lmin (n) = minimum luminance of defect candidate,
S (n) = Area of defect candidate, Lave (i) = Average luminance of entire screen,
σ (i) = standard deviation of luminance of the entire screen
Then, the maximum value of all the evaluation values is obtained, and the rank of the white streak or the black streak defect of the panel to be inspected can be determined based on this value. Therefore, the detection accuracy of the streak defect is high.
[0061]
Finally, the defect rank is classified based on the evaluation value obtained for the defect candidate that is the check 2 (step S69).
For this evaluation value, the threshold value for classifying the defect rank can be set in several steps for each of the defective rank and the non-defective rank of the product. As a result, it is possible to assign a rank (grade) of the spot defect to a non-defective product and to grade the product.
[0062]
According to the streak defect detection processing of this embodiment, the computer 7 performs a flattening processing on the pre-processed background image difference processing image to remove the influence of unevenness over a relatively wide range of the background difference image. Further, in order to emphasize and detect defects of horizontal lines, vertical lines, and ± 45 ° oblique lines with respect to the reduced images of the five stages, respectively, the size of the flattened image is reduced by five stages. Line detection filter processing was performed by four types of line detection filters to enhance the streak defect, and at the same time, the median value of the gradation of the image was added as an offset value, and 20 streak defects were enhanced. Obtain the luminance value of each pixel in each whole area of the image, perform statistical data calculation processing to find the average value, standard deviation, maximum value and minimum value of the luminance value of the entire screen, and perform statistical data calculation processing. Set the horizontal, vertical and diagonal line thresholds for judging white lines from the average value and standard deviation obtained, and set the horizontal, vertical and diagonal line thresholds for judging black lines, and set the maximum value of the screen brightness value The horizontal line, vertical line, and diagonal line that determine these white lines are subjected to a primary determination as to whether or not the screen has a white line defect based on whether or not the threshold value is exceeded. The horizontal line, the vertical line, and the diagonal line to be determined are subjected to the primary determination as to whether or not there is a black streak defect on the screen based on whether or not the threshold value is exceeded. Further, it is possible to easily determine in a short time whether the product is a non-defective product having no stripes of various sizes.
[0063]
Further, the image of the defect candidate determined to have a defect is subjected to blob processing for obtaining the maximum luminance, the minimum luminance, and the area of the white streak or the black streak of the defect candidate as preprocessing of the evaluation value calculation. Evaluation for calculating a defect evaluation value by a predetermined formula based on information on the maximum luminance, minimum luminance, and area of the white or black streak of the defect candidate obtained by the blob processing, and the average value and standard deviation of the luminance value of the entire screen. Since the value calculation process is performed and the rank of the white streak or the black streak defect is determined by the maximum value of the evaluation values obtained by the evaluation value calculation process, regardless of the size of the defect with respect to the white streak or the black streak, Streak defects can be detected with high accuracy, and since the blob processing is performed only on images with defect candidates, the calculation time is short, and defect ranking is performed in a short time. Has become can be.
[0064]
(4) The unevenness defect detection processing will be described with reference to the flowchart in FIG.
First, an image size reduction process similar to that in the case of the stain detection is performed on the background difference image (step S71).
In the image size reduction process, since the background difference image (inspection image) 15 has defects of various sizes, the unevenness to be detected (corresponding to the size of the defect) is to be detected. The inspection image 15 is reduced to an appropriate image size in order to remove defects (stains and streak defects) smaller than the defect size. For example, the inspection image 15 is reduced to a quarter image size, that is, 300 × 250 pixels. Note that the reduction ratio is not limited to 1/4.
[0065]
By reducing the image size of the inspection image 15 in this way, there is also an advantage that the processing time required for defect detection can be reduced.
In FIG. 20, all the images are shown in the same size, but the images (a) to (d) are actually reduced to 1/4.
Here, reduction of the image size has been described, but of course, it is not always necessary to reduce the image size. For example, even if the filter size is adjusted by using a smoothing filter process, defects smaller than the uneven defect size to be detected are removed. Good.
[0066]
Next, image duplication processing for creating a duplicate (copy) image of the reduced image is performed (step S72).
This image duplication process requires at least three images as described later when performing a process for separating the uneven defect from the other background portion (the portion having no defect). (Inspection image) This is for creating a duplicate (copy) image of a 1 / reduced image of 15. The copied image can also be used for detecting spots, spots, and line defects other than the unevenness defect.
[0067]
Further, a flattening process is performed on the 縮小 reduced image of the inspection image 15 or its copy image in two stages (steps S73 and S74).
This flattening process is performed as a pre-process for separating an uneven defect from other background portions (portions without defects). Here, a two-stage flattening process is performed.
In the first flattening 1 process (step S73), a first flattened image 16 as shown in FIG. 20A is created based on a 縮小 reduced image of the inspection image 15 or a copy image thereof. Is done.
[0068]
In the first-stage flattening process, a process that applies a morphological process or the like is performed such that a relatively large luminance change is flattened while a relatively small luminance change is left.
In the second flattening 2 process (step S74), a second flattened image 17 that has been further flattened is created from the first flattened image 16 (see FIG. 20B).
In the second-stage flattening process, a process is performed on the first flattened image 16 from which a large luminance change has been removed so as to flatten a smaller luminance change by a process using a smoothing filter or the like.
[0069]
Thereafter, the difference processing is performed in two stages (steps S75 and S76).
In the difference processing in step S75, the first flattened image 16 (the image (a) in FIG. 20) is subtracted from the 1/4 reduced image of the inspection image 15 or its copy image. By this processing, a first detection image 18 as shown in FIG. In the first detection image 18, the small size uneven defect is removed, and only the relatively large size uneven defect 20a remains.
Next, in the difference processing in step S76, the second flattened image 17 (the image (b) in FIG. 20) is subtracted from the first flattened image 16 (the image (a) in FIG. 20). Then, a second detection image 19 as shown in FIG. 20D is obtained. In the second detected image 19, only the small-sized uneven defect 20b remains.
[0070]
Further, a statistical calculation based on the luminance value of each pixel in the unevenness defect detection image is performed (Steps S77 to S78).
In this statistical calculation, the statistical calculation of the luminance data over the entire screen is performed using the luminance data of each pixel in the unevenness defect detection images 18 and 19.
In the statistical calculation, the average value Lave, the standard deviation σ, the maximum value Lmax, and the minimum value Lmin of the luminance data are obtained. From these four pieces of luminance statistical data, a threshold for determining the presence / absence of a defect candidate of white unevenness and black unevenness is determined as follows, for example.
White spot threshold: Lave + a1 × σ
Black unevenness threshold: Lave-a2 × σ
Here, a1 and a2 are certain fixed constants.
Therefore, it is possible to automatically determine a threshold value for extracting a defect candidate of white unevenness and black unevenness based on the brightness statistical data by statistically calculating the brightness data in the unevenness defect detection images 18 and 19. it can. Therefore, the threshold value is not artificial, trial and error, but objective and relative.
[0071]
Thereafter, it is determined whether there is a defect candidate which is the check 1 (step S79).
In the determination of the presence or absence of the defect candidate, a first check is performed based on the threshold value to determine whether there are white and black side defect candidates in the uneven defect detection images 18 and 19.
First, it is checked whether Lmax exceeds the white unevenness threshold value, and if it exceeds, it is determined that there is a white unevenness defect candidate in the image. Next, it is checked whether or not Lmin is equal to or less than the black unevenness threshold value. If there are no defect candidates, it is determined at this stage that there is no unevenness defect, and the inspection ends.
[0072]
Next, a blob process for obtaining various characteristic values in the extracted defect candidate area is performed (steps S80 and S81).
When it is determined in the above check 1 that there is a defect candidate, the defect candidate is extracted using a threshold. At this time, if it is determined in the check 1 that there is a white unevenness defect candidate, a candidate having a white unevenness threshold or more is extracted as a defect candidate. Those that are equal to or less than the unevenness threshold are extracted as defect candidates. If both are determined, both are extracted.
[0073]
A blob process is performed on the extracted defect candidate, and the area (S (n)) of the extracted defect candidate and the maximum value Lmax (n) of the luminance value if the defect is a white uneven defect, or the maximum value Lmax (n) if the defect is a black uneven defect The minimum value Lmin (n) of the luminance value is obtained. The characteristic value in the defect candidate area obtained here is used in calculation of an evaluation value described below.
[0074]
Further, an evaluation value is calculated for the mura defect candidate extracted as the defect candidate and subjected to the blob processing (step S82).
The luminance statistical data (average value, standard deviation σ) and the characteristic values (area S (n), maximum value Lmax (n) obtained by the blob processing are obtained for the unevenness defect candidates extracted and subjected to the blob processing as the defect candidates. ), And the minimum value Lmin (n)) is used to calculate an evaluation value according to the following equation.
White spots:
Ev (n) = k (i) * S (n) * (Lmax (n) -Lave (i)) / σ (i)
Black spot:
Ev (n) = k (i) * S (n) * (Lave (i) -Lmin (n)) / σ (i)
Where k (i) = reduced screen coefficient
i = screen number
n = Blob number
Lmax (n) = maximum luminance of defect candidate
Lmin (n) = minimum luminance of defect candidate
S (n) = area of defect candidate
Lave (i) = average luminance of the entire image
σ (i) = standard deviation of luminance of the whole image
With these formulas, the white unevenness defects and black unevenness defects extracted as the defect candidates can be quantitatively evaluated by objective data together with their size (area) and number (Blob number). Therefore, the detection accuracy of the unevenness defect is high.
[0075]
Finally, the defect rank is classified based on the evaluation value obtained for the defect candidate that is the check 2 (that is, the final check) (step S83).
For this evaluation value, the threshold value for classifying the defect rank can be set in several steps for each of the defective rank and the non-defective rank of the product. As a result, it is possible to assign a rank (grade) of the spot defect to a non-defective product and to grade the product.
[0076]
According to the mura defect detection processing of this embodiment, mura defects existing on the screen of a display device such as a liquid crystal panel can be automatically detected with high accuracy regardless of the size of the defect. Can be quantitatively evaluated individually.
In addition, since unevenness defects are evaluated based on luminance statistical data, collecting and analyzing the quality data of products and parts can be useful for quality control, and a method aimed at further improving quality is developed. It is also possible to build.
[0077]
(5) The line defect detection processing will be described based on the flowchart of FIG.
First, a flattening process similar to the case of the above-described stain detection is performed on the background difference image (step S91).
Next, an edge detection filter process is performed on the flattened image to create a horizontal / vertical line detection image in which horizontal and vertical edges are enhanced (step S92).
In the edge detection filter processing, two copies of the image subjected to the flattening processing are created, and the horizontal edge detection processing is performed on one duplicated image by the horizontal edge detection filter to emphasize the horizontal edges in FIG. As shown in FIG. 23B, a horizontal line detection image as shown in FIG. 23A is created, and another copy image is subjected to vertical edge detection processing by a vertical edge detection filter to emphasize vertical edges. This is for creating a vertical line detection image.
[0078]
In this horizontal / vertical edge detection filter processing, it is difficult to detect minute levels of white / black line defects in an image that has been flattened. Is what you do.
These horizontal / vertical edge detection filters include a horizontal edge detection filter that performs a horizontal edge detection process and a vertical edge detection filter that performs a vertical edge detection process.
Both of these horizontal and vertical edge detection filters detect whether or not there is an edge component in a small area of several pixels x several pixels including the pixel of interest. This filter weights each pixel so that it is emphasized by performing a convolution operation based on the relationship between the luminance value of the pixel to be processed and the surrounding pixels.
FIG. 22A shows an example of a horizontal edge detection filter for detecting a horizontal edge, and FIG. 22B shows an example of a vertical edge detection filter for detecting a vertical edge.
[0079]
The images to which the horizontal / vertical edge detection filters of FIGS. 22A and 22B are applied are on both sides of the line (depending on the edge state), one side has a positive gradation, and the other side has a negative gradation. Appear as the value of the gray scale. In the image processing format, image data usually takes only a positive value. Therefore, a negative component becomes 0 as it is, and is not processed.
In order to detect both edges from the same image, when the screen is represented by 12-bit 4096 gradations, a process of adding half the value of 2048 as an offset value simultaneously with the filtering process is performed. As a result, a negative component also appears as a positive gradation, so that both edge components can be detected by one filtering process. When the image format is an 8-bit gray scale, the image has 256 gradations, and a half value of 128 is added to the result of the filter processing as an offset value.
[0080]
Further, the horizontal / vertical line detection image is divided, and the luminance profile of each pixel in each divided region is integrated in the horizontal and vertical directions to obtain a division profile process (step S93).
This division profile processing is a horizontal profile processing of dividing the horizontal line detection image subjected to the horizontal edge detection processing into four in the vertical direction, and integrating the luminance value of each pixel in each divided area in the horizontal direction to obtain an integrated value. And vertical profile processing in which the vertical line detection image subjected to the vertical edge detection processing is divided into four parts in the horizontal direction, and the luminance value of each pixel in each divided area is integrated in the vertical direction to obtain an integrated value.
[0081]
Thereafter, a statistical calculation for calculating the average value, the standard deviation, the maximum value, and the minimum value of the luminance values of the entire divided area screen from the integrated value in each divided area is performed (step S94).
This statistical calculation calculates the average value, the standard deviation, the maximum value and the minimum value of the brightness values of the entire divided region screen from the integrated value of each row in each divided region subjected to the horizontal profile processing, and the respective values in each divided region subjected to the vertical profile processing. A statistical data calculation process is performed to calculate an average value, a standard deviation, a maximum value, and a minimum value of the brightness values of the entire divided area screen from the integrated values of the columns. FIG. 24A shows horizontal profile data obtained by performing the horizontal profile processing, and FIG. 24B shows vertical profile data obtained by performing the vertical profile processing.
[0082]
As described above, the horizontal line detection image is divided into four parts in the vertical direction during the horizontal profile processing, and the vertical line detection image is divided into four parts in the vertical direction during the vertical profile processing. In a detected image or a vertical line detected image, there is a possibility that a thin line defect may be buried due to a change in brightness, and a short line defect may cause the components of the line defect to be diluted because other portions are also integrated. However, a small divided image is less susceptible to fluctuations in brightness, so it is possible to detect thin line defects, and the division reduces the amount of data other than line defects. This is because even a short line defect whose components are not so thin can be detected.
[0083]
Next, a defect candidate extraction process as check 1 is performed (step S95).
This defect candidate extraction process is performed by calculating the average value, standard deviation, maximum value, and minimum value of the integrated value of each row of each divided region subjected to the horizontal profile processing, and the average of the integrated value of each column of each divided region subjected to the vertical profile processing. The horizontal line threshold and the vertical line threshold are calculated by the following equations based on the values, the standard deviation, the maximum value, and the minimum value, respectively, and those below the threshold are extracted as line defect candidates. A in each formula1, A2Is a fixed constant.
Horizontal line threshold value (horizontal line) = average (average value) ± a1* Σ (standard deviation)
Vertical line threshold (vertical line) = average (average value) ± a2* Σ (standard deviation)
Note that two values are calculated as threshold values as a result of calculation of one formula. The threshold value obtained with + is a threshold value of an edge emphasized to the plus side by the filtering process, and this threshold value is included in the image subjected to the divided profile processing. Those having a threshold value or more are detected as line defect candidates. Further, the threshold value obtained by-becomes the threshold value of the edge emphasized to the minus side by the filtering process, and a line defect candidate that is equal to or smaller than the threshold value is extracted from the images subjected to the division profile processing.
[0084]
That is, for each divided region image subjected to the horizontal profile processing, if the maximum value of the integrated value of the image exceeds the horizontal line threshold value (+ calculation), the next evaluation value is determined as an image having a horizontal line defect candidate. Proceed to processing.
If the minimum value of the integrated value of the image does not exceed the horizontal line threshold value (−calculation), the image is determined to be an image having a horizontal line defect candidate, and the process proceeds to the next evaluation value processing.
Therefore, when the maximum value of the integrated value of the image does not exceed the horizontal line threshold (+ calculation) and the minimum value of the integrated value exceeds the horizontal line threshold (−calculation), there is no horizontal line defect. A non-defective product is assumed (step S96), and the evaluation value processing of the evaluation value calculation described later is not performed.
[0085]
When the maximum value of the integrated value of each divided region image that has been subjected to the vertical profile processing exceeds the vertical line threshold (+ calculation), the next evaluation value is determined as an image having a vertical defect candidate. Proceed to processing.
If the minimum value of the integrated value of the image does not exceed the vertical line threshold value (-calculation), the process proceeds to the next evaluation value process as an image having a vertical line defect candidate.
Therefore, when the maximum value of the integrated value of the image does not exceed the vertical line threshold value (+ calculation) and the minimum value of the integrated value exceeds the vertical line threshold value (−calculation), the vertical line defect is detected. It is determined that there is no defective product (step S96), and the evaluation value processing of the evaluation value calculation described later is not performed.
[0086]
Further, for the defect candidate, an evaluation value obtained by calculating a line evaluation value H and a line evaluation value B by a predetermined formula based on the average value, standard deviation, maximum value and minimum value obtained from each divided area image. Is calculated (step S97).
The calculation of the evaluation value is based on the fact that the maximum value of the integrated value of each divided region image subjected to the horizontal profile processing is extracted as being equal to or more than the horizontal line threshold (+ calculation), and the minimum value of the integrated value of the image is The horizontal line defect candidate extracted as not exceeding the horizontal line threshold value (−calculation) and the maximum value of the integrated value of the image for each of the divided region images subjected to the vertical profile processing are the vertical line threshold value (+ calculation). The above extracted items and the vertical line defect candidates extracted as the minimum value of the integrated value of the image not exceeding the vertical line threshold value (−calculation) were obtained from each divided region image. The line evaluation value H and the line evaluation value B are calculated by the following equations based on the average value, the standard deviation, the maximum value, and the minimum value, respectively.
Line evaluation value H = (maximum value−average value) / standard deviation
Line evaluation value B = (average value−minimum value) / standard deviation
Furthermore, the line evaluation value H and the line evaluation value B are set as threshold values, which are line defect candidates but have no problem as non-defective products.
[0087]
Therefore, when the maximum value in each divided region image subjected to the horizontal profile processing is extracted as being equal to or larger than the horizontal line threshold, when the line evaluation value H> threshold or the line evaluation value B> threshold, the level having a horizontal line defect is determined. , And other than the candidates for horizontal line defects, but no problem as a non-defective product.
If the maximum value in each of the divided region images subjected to the vertical profile processing is extracted as being equal to or greater than the vertical line threshold value, if there is a line evaluation value H> threshold or line evaluation value B> threshold, there is a vertical line defect. It is evaluated as a level, and the other is a candidate for a vertical line defect, but is evaluated as a level having no problem as a non-defective product.
[0088]
Finally, the defect rank is classified based on the evaluation value obtained for the defect candidate that is the check 2 (that is, the final check) (step S98).
For this evaluation value, the threshold value for classifying the defect rank can be set in several steps for each of the defective rank and the non-defective rank of the product. As a result, it is possible to assign a rank (grade) of the spot defect to a non-defective product and to grade the product.
[0089]
According to the line defect detection processing of this embodiment, the computer 7 performs the flattening processing for removing the influence of unevenness over a relatively wide range of the background difference image subjected to the background image difference processing.
In addition, horizontal and vertical edge detection processing was performed by horizontal and vertical edge detection filters to emphasize and detect horizontal and vertical line defects in the flattened image, respectively, and line defects were emphasized. Horizontal profile processing that creates a horizontal line detection image and a vertical line detection image, divides the horizontal line detection image into four in the vertical direction, and integrates the luminance value of each pixel in each divided region in the horizontal direction to obtain an integrated value. And vertical profile processing for dividing the vertical line detection image into four parts in the horizontal direction, integrating the luminance values of the pixels in each divided area in the vertical direction to obtain an integrated value, and performing horizontal profile processing. From the integrated value of each row in each divided area, the average value, standard deviation, maximum value and minimum value of the luminance value of the integrated value of the divided area and the integrated value of each column in each divided area subjected to the vertical profile processing are calculated. Average value of the integrated value of the region, the standard deviation, the statistical data calculating for calculating the maximum value and the minimum value performed.
[0090]
Then, from the average value and the standard deviation obtained by the statistical data calculation, a horizontal line threshold value for determining the presence or absence of a horizontal line defect candidate and a vertical line threshold value for determining the presence or absence of a vertical line defect candidate are set. If the maximum value of the integrated value of each of the divided areas subjected to the profile processing exceeds the horizontal line and vertical line thresholds for determining line defects, there is no line defect on the screen. The primary determination as to whether or not there is a line defect on the screen based on whether or not the horizontal line and vertical line thresholds for determining one line defect candidate have been exceeded is performed. Therefore, there is no white line or black line for each divided area image. It is possible to easily determine in a short time whether it is a non-defective product or a defect candidate having a line defect of a white line or a black line.
[0091]
Further, for the image of the defect candidate determined to have a line defect, the line evaluation value H and the line evaluation value are calculated by a predetermined formula based on the average value, standard deviation, maximum value, and minimum value of the integrated value of the divided area. The evaluation value calculation processing for calculating the value B is performed, and whether the line evaluation value H and the line evaluation value B obtained by the evaluation value calculation processing exceed the threshold value of the level of a preset line defect candidate but no problem Since the defect rank of the line defect candidate is determined based on the reason, thin line defects and short line defects can be detected with high accuracy with respect to the line defects, and the evaluation value is calculated only for the defect candidate. The calculation time is short, and the defect can be ranked in a short time.
[0092]
(5) Pixel unevenness defect detection processing will be described with reference to the flowchart in FIG.
First, expansion processing is performed on the background difference image (step S101).
This dilation processing is performed, for example, when a liquid crystal light valve includes a black matrix as a light-shielding portion such as a driving element, in order to reduce the influence of the black matrix.
In this expansion processing, for example, a maximum filter process is performed in which a region including eight neighboring pixels centered on a certain pixel of interest, that is, a maximum value in a 3 × 3 pixel region centered on the pixel of interest is replaced with the pixel of interest. Things. By this processing, the white region expands and the black matrix portion, which is a minute black region, is reduced, so that the components of the black matrix can be reduced. This expansion processing is not limited to the maximum filter, and a morphology processing or the like for expanding a white area may be used.
[0093]
Next, a Sobel filter process is performed on the expanded image (step S102).
In the Sobel filter processing, the image subjected to the expansion processing is detected by using a Sobel filter so as to detect edges and contours of the image and emphasize the image.
The Sobel filter is a type of filter that emphasizes edges and outline components of an image (here, a defect), and expresses the edge (edge) or outline of an image by expressing a difference (inclination) between adjacent pixels as a luminance value. Emphasize. For example, when a Sobel filter is applied to a 3 × 3 pixel area as shown in FIG. 26, the luminance value L of the central E pixelRIs calculated by the following formula:
LR= (X2+ Y2)1/2
Where X = (C + 2F + I)-(A + 2D + G)
Y = (A + 2B + C)-(G + 2H + I)
Using this Sobel filter, the filter is applied to the lower right corner while shifting one pixel at a time from the upper left corner of the image to the right and downward, and the luminance value of each pixel is calculated. An example is shown in FIG. FIG. 7A shows the luminance value of each pixel before processing, and FIG. 7B shows the calculation result of the luminance value after Sobel filter processing.
As is apparent from the result, after the filtering process, the difference in the luminance value between the adjacent pixels is detected and emphasized, so that the edge and the outline of the image are clearly displayed.
Other filters for such image (defect) enhancement processing include a Laplacian filter or the like, and this filter may be used.
[0094]
Further, an area division process is performed after the Sobel filter process (step S103).
In the area division processing, the inspection image 15 is divided horizontally and vertically into a plurality of areas after the Sobel filter processing. Here, as shown in FIG. 28, the area is divided into 16 4 × 4 areas 16. The purpose of dividing the image into a plurality of areas is to statistically process the brightness value of each of the divided areas 16 described below to specify the location of the pixel unevenness defect and to quantify the pixel unevenness defect. is there.
It should be noted that as the number of area divisions of an image increases, the pixel unevenness defect in a local region can be detected, and the detection accuracy increases. However, in this embodiment, since the actual pixel unevenness defect appears in such a manner as to cover an area about one-fourth of the display area, it is considered that such a division is sufficient. × 4 16 divisions are selected.
[0095]
Thereafter, the statistical calculation in each divided area is performed (step S104).
The statistical calculation in each divided area is to perform statistical calculation of the luminance value of each pixel in the divided area for each divided area 16. Then, the standard deviation σ of the luminance value is obtained for each divided area 16.
For example, FIG. 29 is a graph three-dimensionally representing the standard deviation σ of the luminance value for each divided area. The graph of FIG. 29 is displayed on the display device 8.
[0096]
Further, the maximum standard deviation corresponding to the calculation of the evaluation value is extracted (step S105).
The extraction of the maximum standard deviation is a step of obtaining a maximum value (maximum standard deviation) σmax from among the standard deviations σ of the luminance values for each divided area obtained as described above. The maximum standard deviation σmax indicates an area where pixel unevenness defects occur most intensively.
Therefore, in the present embodiment, the maximum standard deviation σmax is used as an evaluation value when detecting a pixel unevenness defect.
Finally, the defect rank is classified based on the evaluation value obtained for the defect candidate that is the check 2 (that is, the final check) (step S106).
In detecting a pixel unevenness defect, a predetermined threshold value is set, and if the maximum standard deviation σmax is equal to or smaller than the threshold value, it is determined that there is no pixel unevenness defect. Further, the threshold value can be set in several steps for each good product rank. As a result, it is possible to assign a rank (grade) in a non-defective product of the pixel unevenness defect and to classify the product.
[0097]
According to the pixel unevenness defect detection processing of this embodiment, it is possible to quantitatively automatically detect a pixel unevenness defect present on the screen of a display device such as a liquid crystal panel.
In addition, since pixel unevenness defects are evaluated using the maximum standard deviation, the quality data of products and parts can be aggregated and analyzed, which can be used for quality control. It is also possible to build.
[0098]
As described above, according to this embodiment, when detecting defects in various types of defects, the defect modes are changed to point defect detection processing, spot detection processing, streak detection processing, unevenness detection processing, line detection processing, and pixel unevenness detection processing. Classify as such, apply the processing method for each mode, calculate the luminance statistical data based on the luminance value of each pixel in the image for each mode, and set the luminance value threshold based on the luminance statistical data Since the defect candidate is extracted from the luminance statistical data and the threshold value, the primary decision is made based on the statistical data of the entire image for each defect mode, so that the number of processed images can be reduced and the processing time can be reduced. Can be.
Further, a plurality of lighting states of the liquid crystal light valve are set, and an image is captured. That is, for example, by not only capturing a specific image for inspection, but also changing the lighting state and capturing an all-white image, an all-black image, and an image in an intermediate state between white and black, respectively, as an inspection target. It is also possible to detect various types of defects that occur only in a certain gradation in each mode.
[0099]
Furthermore, an optimal exposure time is set for each image, for example, a short exposure time is set for a bright image, and a long exposure time is set for a dark image. Accuracy can be captured.
Furthermore, for the extracted defect candidate, the evaluation value is calculated based on the luminance statistical data, and the defect is evaluated. Therefore, the state of the defect can be quantitatively evaluated for each defect mode. High-precision inspection has become possible.
Further, since the evaluation result for each defect mode is obtained in this manner, detection sensitivity tuning (consistency with a visual inspection) for each defect mode becomes possible, and an inspection closer to the judgment made visually can be performed. Was.
[0100]
Furthermore, by setting a threshold value for each defect processing evaluation value in several stages for each defective product and good product rank, it is possible to assign a rank (grade) within the non-defective product and grade the product. .
FIG. 30 is a graph showing the classification of the defect rank of the evaluation value for each mode for the defect candidates of various defects. By displaying this graph on the display device 8, it is possible to understand at a glance the rank (grade) of the defect in the non-defective product. In this graph, the larger the evaluation value is, the worse the defect is, and the smaller the evaluation value is, the better the defect is. Also, the evaluation value for judging a defective product and a good product for each defect is slightly different.
[0101]
As shown in the graph of FIG. 30, the calculated evaluation value is used not only for defect determination, but also according to the magnitude of the value, the products are classified into several groups, and the defects are ranked. And products have been graded. For example, when a liquid crystal panel is used as a light valve of a projector for each of R (red), G, G ′ (green), and B (blue) colors, the relative luminous efficiency is green (wavelength λ = around 555 nm). ), The product with the lowest evaluation value ranks the product of G, the product with the next highest rank is the product of G ', the product with the higher rank is the product of R, and the product with the next rank is B. Products, and those with higher evaluation values, are classified as defective.
In each defect in the graph, an asterisk (*) indicates a specific evaluation value of a defect in one captured image.
Therefore, by looking at the location where the * mark is present in the graph, it is possible to know the degree and defect rank of each defect in the captured image.
[0102]
The present invention is not limited to a liquid crystal panel using the above-described TFT element, and displays such as a liquid crystal panel, a plasma display, an organic EL display, and a DMD (direct mirror device) using other diode elements. It can be used for inspection of body parts and display devices and products using them, and it is needless to say that the use of such components is not excluded from the scope of the present invention.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a screen defect detection device according to an embodiment.
FIG. 2 is a flowchart showing a process from detection of various defects to display of results.
FIG. 3 is a diagram showing a background image difference process.
FIG. 4 is a flowchart illustrating a point defect detection process.
FIG. 5 is a diagram illustrating an example of a 7 × 7 Tophat filter.
FIG. 6 is an image having a bright defect and a dark defect.
FIG. 7 is an image subjected to Tophat filter processing.
FIG. 8 is an image subjected to light / dark defect extraction processing.
FIG. 9 is a flowchart showing a stain detection process.
FIG. 10 is a schematic diagram of a flattened image and a reduced stain defect detection image.
FIG. 11 is an explanatory diagram of a method for reducing an image size.
FIG. 12 is a diagram showing an example of a well filter.
FIG. 13 is a flowchart illustrating a streak detection process.
FIG. 14 is a graph showing a luminance value cut out from each image of FIG. 3;
FIG. 15 is a diagram showing examples of various line detection filters.
FIG. 16 is a diagram showing an image subjected to a line detection filter process.
FIG. 17 is a graph showing luminance values of various images subjected to the line detection filter processing.
FIG. 18 is a diagram showing an image binarized for performing a blob process.
FIG. 19 is a flowchart illustrating unevenness detection processing.
FIG. 20 is a schematic diagram of a flattened image and a non-uniform defect detection image.
FIG. 21 is a flowchart illustrating a line detection process.
FIG. 22 is a diagram showing examples of various edge detection filters.
FIG. 23 is a diagram showing a line defect detection image that has been subjected to the edge detection filter processing.
FIG. 24 is a view showing profile data that has been subjected to split profile processing.
FIG. 25 is a flowchart illustrating pixel unevenness detection processing.
FIG. 26 is a diagram showing a pixel positional relationship in a calculation formula of the Sobel filter.
FIG. 27 is a diagram showing examples of numerical values before and after processing of a Sobel filter.
FIG. 28 is a diagram showing an example of image area division.
FIG. 29 is a graph showing a standard deviation of luminance values for each divided area.
FIG. 30 is a graph showing defect rank classification of defect candidates for various defects.
[Explanation of symbols]
1 projector, 2 liquid crystal panels, 3 screens, 4 images, 5 pattern generators, 6 CCD cameras, 7 computers, 8 display devices, 10 inspection target screens.

Claims (16)

  1. 検査対象の画像を撮像する工程と、
    撮像により取り込まれた画像から、予め作成しておいた背景画像との差をとり検査画像を作成する工程と、
    検査画像から点欠陥、シミ欠陥、スジ欠陥、ムラ欠陥、線欠陥、画素ムラ欠陥のそれぞれを検出する6つの検出処理工程と、
    各検出処理後における画像内の各画素の輝度値に基づく輝度統計データをそれぞれ計算する工程と、
    輝度統計データに基づいて輝度値の閾値を設定し、輝度統計データと該閾値から欠陥候補を抽出する工程と、
    を有することを特徴とする画面の欠陥検出方法。
    Capturing an image of the inspection target;
    From the image captured by the imaging, a step of taking a difference from a background image created in advance to create an inspection image,
    Six detection processing steps for detecting each of a point defect, a spot defect, a streak defect, a mura defect, a line defect, and a pixel mura defect from the inspection image;
    Calculating luminance statistical data based on the luminance value of each pixel in the image after each detection process,
    Setting a threshold value of the luminance value based on the luminance statistical data, and extracting a defect candidate from the luminance statistical data and the threshold value;
    A screen defect detection method, comprising:
  2. 前記検査対象の画像の点灯状態を複数設定し、それぞれ設定した画像を撮像することを特徴とする請求項1記載の画面の欠陥検出方法。2. The screen defect detection method according to claim 1, wherein a plurality of lighting states of the image to be inspected are set, and the set images are imaged.
  3. 前記検査対象の画像を最適な露光時間で撮像し、取込画像のデータは、12bitの4096階調以上であることを特徴とする請求項1又は2のいずれかに記載の画面の欠陥検出方法。3. The screen defect detection method according to claim 1, wherein an image of the inspection target is captured at an optimum exposure time, and data of the captured image is 1296 bits or more of 4096 gradations. .
  4. 前記点欠陥、シミ欠陥、スジ欠陥、ムラ欠陥及び線欠陥の欠陥候補を抽出するための閾値は、明欠陥及び暗欠陥ごとに決定されることを特徴とする請求項1〜3のいずれかに記載の画面の欠陥検出方法。The threshold value for extracting the defect candidates of the point defect, the stain defect, the streak defect, the unevenness defect, and the line defect is determined for each of the bright defect and the dark defect. Screen defect detection method described.
  5. 前記点欠陥、シミ欠陥、スジ欠陥、ムラ欠陥及び線欠陥の欠陥候補を抽出するための閾値は、前記輝度統計データの平均値および標準偏差を用いて決定されることを特徴とする請求項4記載の画面の欠陥検出方法。The threshold value for extracting the defect candidates of the point defect, the stain defect, the streak defect, the unevenness defect, and the line defect is determined using an average value and a standard deviation of the luminance statistical data. Screen defect detection method described.
  6. 前記点欠陥、シミ欠陥、スジ欠陥、ムラ欠陥及び線欠陥の抽出された欠陥候補について、欠陥候補の特性値を求め、該欠陥候補の特性値と前記統計データとに基づいて評価値を算出する工程を有することを特徴とする請求項1〜5のいずれかに記載の画面の欠陥検出方法。For the extracted defect candidate of the point defect, the spot defect, the streak defect, the streak defect, the unevenness defect, and the line defect, a characteristic value of the defect candidate is obtained, and an evaluation value is calculated based on the characteristic value of the defect candidate and the statistical data. The screen defect detection method according to claim 1, further comprising a step.
  7. 前記欠陥候補の評価値は、明欠陥及び暗欠陥ごとに算出されることを特徴とする請求項1〜6のいずれかに記載の画面の欠陥検出方法。7. The screen defect detection method according to claim 1, wherein the evaluation value of the defect candidate is calculated for each of a light defect and a dark defect.
  8. 前記欠陥候補の評価値は、前記輝度統計データの平均値、標準偏差と、欠陥候補の最大輝度、最小輝度を用いて算出されることを特徴とする請求項6〜7のいずれかに記載の画面の欠陥検出方法。8. The method according to claim 6, wherein the evaluation value of the defect candidate is calculated using an average value and a standard deviation of the luminance statistical data, and a maximum luminance and a minimum luminance of the defect candidate. 9. Screen defect detection method.
  9. 前記欠陥候補の評価値の大きさにより、製品の良品ランクの分類をすることを特徴とする請求項6〜8のいずれかに記載の画面の欠陥検出方法。9. The screen defect detection method according to claim 6, wherein the good product rank is classified according to the magnitude of the evaluation value of the defect candidate.
  10. 前記点欠陥を検出する検出処理工程は、前記検査画像に対してトップハットフィルタ又はウェルフィルタをかけて明点欠陥及び暗点欠陥を強調し、明点欠陥及び暗点欠陥を強調すると同時に画像を表示している階調の略中央値をオフセット値として加算することを特徴とする請求項1〜3のいずれかに記載の画面の欠陥検出方法。In the detection processing step of detecting the point defect, a bright spot defect and a dark spot defect are emphasized by applying a top hat filter or a well filter to the inspection image, and the bright spot defect and the dark spot defect are simultaneously emphasized. 4. The screen defect detection method according to claim 1, wherein a substantially center value of the displayed gradation is added as an offset value.
  11. 前記シミ欠陥を検出する検出処理工程は、前記検査画像に対して平坦化処理を行い、平坦化画像から複数段階の縮小画像を作成し、該縮小画像のそれぞれに対してシミ欠陥強調のためトップハットフィルタ又はウエルフィルタによるフィルタ処理を行ってシミを強調するのと同時に、画像を表示している階調の略中央値をオフセット値として加算することを特徴とする請求項1〜3のいずれかに記載の画面の欠陥検出方法。In the detection processing step of detecting the stain defect, a flattening process is performed on the inspection image, a reduced image of a plurality of stages is created from the flattened image, and a top image is formed on each of the reduced images to emphasize the stain defect. The filter processing by a hat filter or a well filter is performed to emphasize a stain, and at the same time, an approximate center value of a gradation displaying an image is added as an offset value. Screen defect detection method according to 1.
  12. 前記スジ欠陥を検出する検出処理工程は、前記検査画像に対して平坦化処理を行い、平坦化画像から複数段階の縮小画像を作成し、各縮小画像に対して様々な方向のスジに対応するようにして、強調角度を4段階に変えた線検出フィルタをそれぞれかけてスジ欠陥を強調し、スジ欠陥を強調すると同時に画像を表示している階調の略中央値をオフセット値として加算することを特徴とする請求項1〜3のいずれかに記載の画面の欠陥検出方法。In the detection processing step of detecting the streak defect, a flattening process is performed on the inspection image, a plurality of reduced images are created from the flattened image, and each reduced image corresponds to a streak in various directions. In this way, the line detection filters whose emphasis angles are changed in four stages are respectively applied to enhance the streak defect, and the streak defect is emphasized, and at the same time, the approximate center value of the gradation displaying the image is added as an offset value. The screen defect detection method according to claim 1, wherein:
  13. 前記ムラ欠陥を検出する欠陥検出工程は、検査画像または当該検査画像を縮小した縮小画像に対して複数段階の画像の平坦化処理を行い、第1及び第2の平坦化画像を作成し、前記検査画像または該検査画像の縮小画像と前記第1の平坦化画像との画像間、および前記第1の平坦化画像と第2の平坦化画像との画像間で、それぞれ差分処理を行い、同時に画像を表示している階調の略中央値をオフセット値として加算することを特徴とする請求項1〜3のいずれかに記載の画面の欠陥検出方法。In the defect detection step of detecting the uneven defect, the inspection image or a reduced image obtained by reducing the inspection image is subjected to a plurality of levels of image flattening processing to generate first and second flattened images, A difference process is performed between an image between an inspection image or a reduced image of the inspection image and the first flattened image and between an image between the first flattened image and the second flattened image. 4. The screen defect detection method according to claim 1, wherein a substantially center value of gradations displaying an image is added as an offset value.
  14. 前記線欠陥を検出する検出処理工程は、前記検査画像に対して平坦化処理を行い、平坦化画像に対してそれぞれ水平方向と垂直方向のエッジを強調するエッジ検出フィルタをかけて線欠陥を強調し、線欠陥を強調すると同時に画像を表示している階調の略中央値をオフセット値として加算することを特徴とする請求項1〜3のいずれかに記載の画面の欠陥検出方法。The detection processing step of detecting the line defect performs a flattening process on the inspection image, and emphasizes the line defect on the flattened image by applying an edge detection filter that emphasizes horizontal and vertical edges, respectively. 4. The screen defect detection method according to claim 1, wherein a line defect is emphasized and, at the same time, a substantially central value of a gray scale displaying an image is added as an offset value.
  15. 前記画素ムラ欠陥を検出する検出処理工程は、前記検査画像の各画素について膨張処理を行い、膨張処理を行った画像に対してソーベルフィルタ又はラプラシアンフィルタをかけて隣接画素の輝度差を強調することを特徴とする請求項1〜3のいずれかに記載の画面の欠陥検出方法。The detection processing step of detecting the pixel unevenness defect performs an expansion process on each pixel of the inspection image, and applies a Sobel filter or a Laplacian filter to the expanded image to emphasize a luminance difference between adjacent pixels. 4. The method of detecting defects on a screen according to claim 1, wherein:
  16. 請求項1から15のいずれかに記載の画面の欠陥検出方法を用いることを特徴とする画面の欠陥検出装置。A screen defect detection apparatus using the screen defect detection method according to claim 1.
JP2003085301A 2003-03-26 2003-03-26 Defect detection method and device of screen Withdrawn JP2004294202A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003085301A JP2004294202A (en) 2003-03-26 2003-03-26 Defect detection method and device of screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003085301A JP2004294202A (en) 2003-03-26 2003-03-26 Defect detection method and device of screen

Publications (1)

Publication Number Publication Date
JP2004294202A true JP2004294202A (en) 2004-10-21

Family

ID=33400252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003085301A Withdrawn JP2004294202A (en) 2003-03-26 2003-03-26 Defect detection method and device of screen

Country Status (1)

Country Link
JP (1) JP2004294202A (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242759A (en) * 2005-03-03 2006-09-14 Toppan Printing Co Ltd Method for inspecting unevenness in periodic pattern
WO2008066055A1 (en) * 2006-11-29 2008-06-05 Sharp Kabushiki Kaisha Linear defect detecting device, semiconductor substrate manufacturing device, linear defect detecting method, semiconductor substrate manufacturing method, program for causing computer to function as the detecting device or the manufacturing device, and recording medium containing the program
WO2009044519A1 (en) * 2007-10-05 2009-04-09 Nikon Corporation Display device defect detecting method and display device defect detecting device
US7783103B2 (en) 2005-09-27 2010-08-24 Sharp Kabushiki Kaisha Defect detecting device, image sensor device, image sensor module, image processing device, digital image quality tester, and defect detecting method
EP2234170A1 (en) * 2007-12-28 2010-09-29 Nisshinbo Industries, Inc. Solar battery inspecting apparatus and method for judging solar battery defect
US7929030B2 (en) * 2007-03-30 2011-04-19 Fujifilm Corporation Device, method, and program storage medium to perform defective pixel correction on an image
JP2011123377A (en) * 2009-12-11 2011-06-23 Canon Inc Image display device and control method thereof
US8391585B2 (en) 2006-12-28 2013-03-05 Sharp Kabushiki Kaisha Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium
US20130271945A1 (en) 2004-02-06 2013-10-17 Nikon Corporation Polarization-modulating element, illumination optical apparatus, exposure apparatus, and exposure method
KR20140046695A (en) * 2012-10-10 2014-04-21 엘지디스플레이 주식회사 Automatic inspection apparatus for display module and inspecting method of image quality using the same
JPWO2013161246A1 (en) * 2012-04-26 2015-12-21 パナソニック株式会社 Display control system and display device
US9341954B2 (en) 2007-10-24 2016-05-17 Nikon Corporation Optical unit, illumination optical apparatus, exposure apparatus, and device manufacturing method
US9423698B2 (en) 2003-10-28 2016-08-23 Nikon Corporation Illumination optical apparatus and projection exposure apparatus
US9678332B2 (en) 2007-11-06 2017-06-13 Nikon Corporation Illumination apparatus, illumination method, exposure apparatus, and device manufacturing method
US9678437B2 (en) 2003-04-09 2017-06-13 Nikon Corporation Illumination optical apparatus having distribution changing member to change light amount and polarization member to set polarization in circumference direction
US9885872B2 (en) 2003-11-20 2018-02-06 Nikon Corporation Illumination optical apparatus, exposure apparatus, and exposure method with optical integrator and polarization member that changes polarization state of light
US9891539B2 (en) 2005-05-12 2018-02-13 Nikon Corporation Projection optical system, exposure apparatus, and exposure method
CN108072503A (en) * 2016-11-08 2018-05-25 京东方科技集团股份有限公司 Backlight detection device and detection method
US10101666B2 (en) 2007-10-12 2018-10-16 Nikon Corporation Illumination optical apparatus, exposure apparatus, and device manufacturing method
CN109142366A (en) * 2018-06-13 2019-01-04 广东拓斯达科技股份有限公司 Spherical housing defect inspection method, device and computer readable storage medium
WO2019041245A1 (en) * 2017-08-31 2019-03-07 深圳市大疆创新科技有限公司 Speckle detection method, system, storage medium, and computer program product
KR20190118627A (en) * 2017-03-21 2019-10-18 제이에프이 스틸 가부시키가이샤 Surface defect inspection method and surface defect inspection device
KR102045940B1 (en) * 2019-05-21 2019-11-18 (주)케이테크놀로지 Inspection method for edge of flat panel display cell
CN112394064A (en) * 2020-10-22 2021-02-23 惠州高视科技有限公司 Point-line measuring method for screen defect detection
KR102286711B1 (en) * 2020-11-04 2021-08-06 (주)캠시스 Camera module stain defect detecting system and method

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678437B2 (en) 2003-04-09 2017-06-13 Nikon Corporation Illumination optical apparatus having distribution changing member to change light amount and polarization member to set polarization in circumference direction
US9885959B2 (en) 2003-04-09 2018-02-06 Nikon Corporation Illumination optical apparatus having deflecting member, lens, polarization member to set polarization in circumference direction, and optical integrator
US9760014B2 (en) 2003-10-28 2017-09-12 Nikon Corporation Illumination optical apparatus and projection exposure apparatus
US9423698B2 (en) 2003-10-28 2016-08-23 Nikon Corporation Illumination optical apparatus and projection exposure apparatus
US10281632B2 (en) 2003-11-20 2019-05-07 Nikon Corporation Illumination optical apparatus, exposure apparatus, and exposure method with optical member with optical rotatory power to rotate linear polarization direction
US9885872B2 (en) 2003-11-20 2018-02-06 Nikon Corporation Illumination optical apparatus, exposure apparatus, and exposure method with optical integrator and polarization member that changes polarization state of light
US10234770B2 (en) 2004-02-06 2019-03-19 Nikon Corporation Polarization-modulating element, illumination optical apparatus, exposure apparatus, and exposure method
US10241417B2 (en) 2004-02-06 2019-03-26 Nikon Corporation Polarization-modulating element, illumination optical apparatus, exposure apparatus, and exposure method
US10007194B2 (en) 2004-02-06 2018-06-26 Nikon Corporation Polarization-modulating element, illumination optical apparatus, exposure apparatus, and exposure method
US20130271945A1 (en) 2004-02-06 2013-10-17 Nikon Corporation Polarization-modulating element, illumination optical apparatus, exposure apparatus, and exposure method
JP2006242759A (en) * 2005-03-03 2006-09-14 Toppan Printing Co Ltd Method for inspecting unevenness in periodic pattern
US9891539B2 (en) 2005-05-12 2018-02-13 Nikon Corporation Projection optical system, exposure apparatus, and exposure method
US7783103B2 (en) 2005-09-27 2010-08-24 Sharp Kabushiki Kaisha Defect detecting device, image sensor device, image sensor module, image processing device, digital image quality tester, and defect detecting method
WO2008066055A1 (en) * 2006-11-29 2008-06-05 Sharp Kabushiki Kaisha Linear defect detecting device, semiconductor substrate manufacturing device, linear defect detecting method, semiconductor substrate manufacturing method, program for causing computer to function as the detecting device or the manufacturing device, and recording medium containing the program
US8391585B2 (en) 2006-12-28 2013-03-05 Sharp Kabushiki Kaisha Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium
US7929030B2 (en) * 2007-03-30 2011-04-19 Fujifilm Corporation Device, method, and program storage medium to perform defective pixel correction on an image
WO2009044519A1 (en) * 2007-10-05 2009-04-09 Nikon Corporation Display device defect detecting method and display device defect detecting device
US8301289B2 (en) 2007-10-05 2012-10-30 Nikon Corporation Defect detection method of display device and defect detection apparatus of display device
JP5305246B2 (en) * 2007-10-05 2013-10-02 株式会社ニコン Display device defect detection method and display device defect detection apparatus
CN103499588A (en) * 2007-10-05 2014-01-08 株式会社尼康 Defect detection method of display device and defect detection apparatus of display device
US8926387B2 (en) 2007-10-05 2015-01-06 Nikon Corporation Defect detection method of display device and defect detection apparatus of display device
US10101666B2 (en) 2007-10-12 2018-10-16 Nikon Corporation Illumination optical apparatus, exposure apparatus, and device manufacturing method
US9857599B2 (en) 2007-10-24 2018-01-02 Nikon Corporation Optical unit, illumination optical apparatus, exposure apparatus, and device manufacturing method
US9341954B2 (en) 2007-10-24 2016-05-17 Nikon Corporation Optical unit, illumination optical apparatus, exposure apparatus, and device manufacturing method
US9678332B2 (en) 2007-11-06 2017-06-13 Nikon Corporation Illumination apparatus, illumination method, exposure apparatus, and device manufacturing method
EP2234170A4 (en) * 2007-12-28 2012-09-05 Nisshin Spinning Solar battery inspecting apparatus and method for judging solar battery defect
EP2234170A1 (en) * 2007-12-28 2010-09-29 Nisshinbo Industries, Inc. Solar battery inspecting apparatus and method for judging solar battery defect
JP2011123377A (en) * 2009-12-11 2011-06-23 Canon Inc Image display device and control method thereof
JPWO2013161246A1 (en) * 2012-04-26 2015-12-21 パナソニック株式会社 Display control system and display device
KR101940762B1 (en) * 2012-10-10 2019-01-22 엘지디스플레이 주식회사 Automatic Inspection Apparatus For Display Module And Inspecting Method Of Image Quality Using The Same
KR20140046695A (en) * 2012-10-10 2014-04-21 엘지디스플레이 주식회사 Automatic inspection apparatus for display module and inspecting method of image quality using the same
CN108072503A (en) * 2016-11-08 2018-05-25 京东方科技集团股份有限公司 Backlight detection device and detection method
US10657858B2 (en) 2016-11-08 2020-05-19 Boe Technology Group Co., Ltd. Backlight detection apparatus and backlight detection method thereof
US10859507B2 (en) 2017-03-21 2020-12-08 Jfe Steel Corporation Surface defect inspection method and surface defect inspection apparatus
KR102257734B1 (en) * 2017-03-21 2021-05-27 제이에프이 스틸 가부시키가이샤 Surface defect inspection method and surface defect inspection device
KR20190118627A (en) * 2017-03-21 2019-10-18 제이에프이 스틸 가부시키가이샤 Surface defect inspection method and surface defect inspection device
WO2019041245A1 (en) * 2017-08-31 2019-03-07 深圳市大疆创新科技有限公司 Speckle detection method, system, storage medium, and computer program product
CN109142366A (en) * 2018-06-13 2019-01-04 广东拓斯达科技股份有限公司 Spherical housing defect inspection method, device and computer readable storage medium
CN109142366B (en) * 2018-06-13 2021-01-01 广东拓斯达科技股份有限公司 Spherical shell defect detection method and device and computer readable storage medium
KR102045940B1 (en) * 2019-05-21 2019-11-18 (주)케이테크놀로지 Inspection method for edge of flat panel display cell
CN112394064A (en) * 2020-10-22 2021-02-23 惠州高视科技有限公司 Point-line measuring method for screen defect detection
KR102286711B1 (en) * 2020-11-04 2021-08-06 (주)캠시스 Camera module stain defect detecting system and method

Similar Documents

Publication Publication Date Title
JP2004294202A (en) Defect detection method and device of screen
US7978903B2 (en) Defect detecting method and defect detecting device
JP2005165387A (en) Method and device for detecting stripe defective of picture and display device
JP2004212311A (en) Method and apparatus for detecting unevenness defect
JP2001527645A (en) Uneven defect detection method and detection device
JP2007130329A (en) Appearance inspection method by image
US20200005070A1 (en) Optical inspection method, optical inspection device and optical inspection system
JP2005164565A (en) Defect detection method for flat panel light- related plate element in low and high resolution images
JP2005172559A (en) Method and device for detecting line defect on panel
JP2005249415A (en) Stain defect detecting method and stain defect detector
CN111474177A (en) Liquid crystal screen backlight foreign matter defect detection method based on computer vision
JP2005345290A (en) Streak-like flaw detecting method and streak-like flaw detector
JP2005283197A (en) Detecting method and system for streak defect of screen
JP4195980B2 (en) Appearance inspection method and appearance inspection apparatus using color image
JP2004219176A (en) Method and apparatus for detecting pixel irregulality failing
JP2004226272A (en) Method and apparatus for detecting stain defect
JP2006145228A (en) Unevenness defect detecting method and unevenness defect detector
TWI512284B (en) Bubble inspection system for glass
JP2004239870A (en) Spatial filter, method and program for generating the same, and method and apparatus for inspecting screen defect
JP2003329428A (en) Device and method for surface inspection
JP2005140655A (en) Method of detecting stain flaw, and stain flaw detector
JP4178923B2 (en) Appearance inspection method and appearance inspection apparatus
JP2009036582A (en) Inspection method, inspection device and inspection program of plane display panel
JP2007285754A (en) Flaw detection method and flaw detector
JP2006133055A (en) Unevenness defect detection method and device, spatial filter, unevenness defect inspection system, and program for unevenness defect detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060303

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070122