JP2005140655A - シミ欠陥の検出方法及びその検出装置 - Google Patents

シミ欠陥の検出方法及びその検出装置 Download PDF

Info

Publication number
JP2005140655A
JP2005140655A JP2003377916A JP2003377916A JP2005140655A JP 2005140655 A JP2005140655 A JP 2005140655A JP 2003377916 A JP2003377916 A JP 2003377916A JP 2003377916 A JP2003377916 A JP 2003377916A JP 2005140655 A JP2005140655 A JP 2005140655A
Authority
JP
Japan
Prior art keywords
image
defect
value
spot
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003377916A
Other languages
English (en)
Inventor
Koichi Kojima
広一 小島
Hironari Ichikawa
裕也 市川
Takushi Murakami
拓史 村上
Original Assignee
Seiko Epson Corp
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp, セイコーエプソン株式会社 filed Critical Seiko Epson Corp
Priority to JP2003377916A priority Critical patent/JP2005140655A/ja
Publication of JP2005140655A publication Critical patent/JP2005140655A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】 高精度にシミ欠陥を検出することを可能にしたシミ欠陥の検出方法及びその検出装置を提供する。
【解決手段】 検査画像のシミ欠陥の強調のためのフィルタ処理を行う工程と、前記フィルタ処理された検査画像に基づいてシミ欠陥の有無を検出し又はシミ欠陥の程度を評価する工程とを備える。前記フィルタ処理は、縦方向の成分の輝度差を求めるための第1のフィルタと、横方向の成分の輝度差を求めるための第2のフィルタと、+45度の成分の輝度差を求めるための第3のフィルタと、−45度の成分の輝度差を求めるための第4のフィルタとによってそれぞれ畳み込み演算を行って、その演算結果の絶対値が最小値を示すフィルタの値を輝度値とする画像を生成する。
【選択図】 図2

Description

本発明は、液晶パネル等の検査工程において画面のシミ欠陥を自動的に検出するシミ欠陥の検出方法及びその検出装置に関する。
液晶表示装置等の画面に現れる欠陥の中の一つにシミ欠陥と呼ばれるものがある。シミ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度狭い範囲で、周りに比べて明るい部分や暗い部分がある状態をいう。しかし、厳密な定義はなく欠陥サイズの小さいムラ欠陥又はシミ欠陥と呼ばれている(以下、単にシミ欠陥と称する。)。このようなシミ欠陥は、画質を落とすことになるので、表示体の外観検査の対象となっている。従来は人による目視検査が普通であったが、最近では自動検査が行われるようになってきている。このシミ欠陥に対する自動的な検査方法についても、多くの提案があり、例えば次のような検査方法がある。
例えばシミ欠陥の平均輝度とその外周の平均輝度値との差をとり、その輝度差をシミ検出閾値と比較して検出する方法がある(例えば特許文献1)
特開平2001−243473号公報
しかしながら、上記の検出方法(特許文献1)では、検出処理(フィルタ処理)より、点状ムラの周辺部付近で、検出すべきシミ欠陥の成分とは逆方向成分が発生し(後述の図25参照)、これを誤検出する可能性がある(例えば白いシミ欠陥の場合には黒いシミ欠陥を検出)。また、同じ画面上に存在するスジ状欠陥を検出したくない場合において、コントラストが低いものを検出する場合には、シミ欠陥と同時にスジ状欠陥も検出してしまうために、検出精度を上げられないという問題点がある。
本発明は、上記のような問題点に鑑みてなされたものであり、高精度にシミ欠陥を検出することを可能にしたシミ欠陥の検出方法及びその検出装置を提供することを目的としている。
本発明に係るシミ欠陥の検出方法は、検査画像のシミ欠陥強調のためのフィルタ処理を行う工程と、前記フィルタ処理された検査画像に基づいてシミ欠陥の有無を検出し又はシミ欠陥の程度を評価する工程とを備え、前記フィルタ処理は、前記検査画像の複数の方向において対象画素とその外周部周辺の画素との輝度差を求め、そして、前記輝度差の絶対値が最小の値となる方向の輝度差又は前記絶対値が相対的に小さな値となる方向の輝度差の値を輝度値とする画像を生成する。シミ欠陥強調のためのフィルタ処理においてシミ欠陥とその外周部周辺の平均輝度との輝度差を求める際に、前記検査画像の複数の方向において対象画素とその外周部周辺の画素との輝度差の差の絶対値が最小の値となる方向の輝度差又は絶対値が相対的に小さな値となる方向の輝度差の値を輝度値とする画像を生成するようにしたので、外周部周辺の欠陥の影響を排除することができ、シミ欠陥を高精度に検出することが可能になっている。また、上記のフィルタ処理によりスジ欠陥が背景として排除されることになるので、スジ欠陥をシミ欠陥として検出することがなくなり、この点からもシミ欠陥を高精度に検出することが可能になっている。
本発明に係るシミ欠陥の検出方法において、前記フィルタ処理は、縦方向の成分の輝度差を求めるための第1のフィルタと、横方向の成分の輝度差を求めるための第2のフィルタと、+45度の成分の輝度差を求めるための第3のフィルタと、−45度の成分の輝度差を求めるための第4のフィルタとによってそれぞれ畳み込み演算を行って、その演算結果の絶対値が最小値を示すフィルタの値を選択し、それにオフセット値として2048(4096×1/2)を加えた値を輝度値とする画像を生成する。前記のような4個のフィルタの内、外周部周辺の欠陥の影響を受けないようなフィルタの値を採用して画像を生成するようにしたので、シミ欠陥を高精度に検出することが可能になっている。また、オフセット値を加えることで、白シミ欠陥、黒シミ欠陥の両方を検出できるようにしている。
本発明に係るシミ欠陥の検出方法は、撮像された検査対象の画面の画像を取り込んで、その取り込まれた画像から、予め作成しておいた背景画像との差をとり背景差分画像を作成する工程と、前記背景差分画像の平坦化処理を行う工程と、前記平坦化画像から複数段階の縮小画像を作成する工程とを更に備え、前記縮小画像のそれぞれを検査画像として前記フィルタ処理を行う。本発明では、コントラストの低い、あるいはサイズの大きいシミ欠陥から小さいシミ欠陥まで検出できるようにするために、まず、検査対象の画面を撮像し、その画像から背景画像との差をとって検査対象以外によって生じる輝度変化を除去した背景差分画像である検査画像を作成する。そして、この検査画像の平坦化処理を行い、その平坦化画像から複数段階にわたって画像サイズを縮小する画像サイズ縮小処理を行う。この縮小処理により、検査画像内の大小様々なシミ欠陥も縮小され、その結果、複数の縮小画像のどれかに、検出可能なサイズの欠陥として存在することとなる。次に、縮小画像のそれぞれに対して欠陥強調のためのフィルタ処理を行うことによって、シミ欠陥のコントラストが強調される。従って、欠陥サイズの大小、あるいはコントラストの高低にかかわらず、シミ欠陥を高精度に検出することができる。
本発明に係るシミ欠陥の検出方法において、前記シミ欠陥の有無を検出し又シミ欠陥の程度を評価する工程は、前記フィルタ処理後における画像内の各画素の輝度値の統計データを求める工程と、前記輝度統計データに基づいて閾値を決定し、前記閾値に基づいて欠陥候補を抽出する工程とを備えている。シミ欠陥の有無を判断し、欠陥候補の抽出を行うための閾値が、検出画像内の各画素の輝度値の統計データを計算することにより、その輝度統計データに基づいて自動的に決定されるので、検査対象の画像に応じて最適な閾値が得られ、これによりシミ欠陥を高精度に検出することができる。
本発明に係るシミ欠陥の検出方法において、前記の撮像された検査対象の画面の画像のデータは、12ビットの4096階調以上のデータである。このような高解像度の画像データを用いることにより、前記輝度統計データの精度が上がるため、欠陥検出精度の更なる向上を図ることが可能となる。また、後述する欠陥候補の評価値の精度も向上する。
本発明に係るシミ欠陥の検出方法において、前記背景画像は、同一の光学系および同一の撮像系により撮像された複数の画像を平均化したものである。背景画像は、検査対象以外によって生じる輝度変化を除去し、検査対象の欠陥を抽出するためにつくられる。従って、背景画像は検査対象以外によって生じる輝度変化のみの画像であり、同一の光学系及び同一の撮像系により、できるだけ欠陥の少ない表示画面を複数撮像し、それらの撮像された複数の画像を平均化することによって、画像内にランダムに存在する検査対象の欠陥部分の成分は弱められ、画像内に常に同じ位置に存在する、スクリーンや照明、レンズ特性等検査対象以外によって生じる輝度変化のみが残る背景画像が得られる。
本発明に係るシミ欠陥の検出方法は、前記背景差分画像を平坦化処理する前に、前記背景差分画像の表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にする工程を更に備えている。検査画像が例えば検査対象の画面が例えばプロジェクタによりスクリーン上に投射された画像であるような場合には、その画像にスクリーンの縁部分が入っていたり、表示エリアの部分がスクリーンに対して斜めになっていたりすることがある。そこで、検査画像を作成する場合には、検査対象の画面を含む画像から表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にすることにより、上記のような画像の歪み、変形等を補正することができる。
本発明に係るシミ欠陥の検出方法は、前記閾値を明欠陥及び暗欠陥に対応してそれぞれ求める。白シミ欠陥と黒シミ欠陥の両方を検出できるようにするために、欠陥候補の閾値は、明欠陥及び暗欠陥に対応して決定する。例えば、明欠陥を抽出するための白シミ閾値は、平均輝度データ+a1×標準偏差、暗欠陥を抽出するための黒シミ閾値は、平均輝度データ−a2×標準偏差なる計算式より求めることができる。計算式のa1、a2は、ある決められた定数である。
本発明に係るシミ欠陥の検出方法は、前記閾値を前記輝度統計データの平均値及び標準偏差を用いて求める。従って、欠陥候補を客観的・定量的に評価することができ、かつ、正確な評価を行うことができる。
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の特性値をBlob処理によって求め、前記欠陥候補の特性値と前記輝度統計データとに基づいて評価値を算出する工程を更に備えている。欠陥候補の特性値をblob処理によって求め、この特性値と前記統計データに基づいて所定の式により欠陥候補の評価値を算出するため、欠陥候補の程度を定量的に評価することができる。
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の評価値を、明欠陥及び暗欠陥に対応してそれぞれ求める。前記欠陥候補の評価値が明欠陥及び暗欠陥の両方に対して得られる。
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の評価値を、前記輝度統計データの平均値及び標準偏差と、欠陥候補の最大輝度及び最小輝度とを用いて求める。
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の評価値の大きさによって製品の良品ランクの分類をする。従って、シミ欠陥を製品(部品を含む。以下、同じ。)別に客観的に評価することができ、シミ欠陥のランク付け、製品の等級化が可能となる。なお、これらの統計データは品質管理に活用することができる。
本発明に係るシミ欠陥の検出装置は、検査対象の画面を撮像する撮像手段と、上記の処理を行う演算手段と、前記演算手段の結果を出力する出力手段とを備えたものである。演算手段は例えばコンピュータにより構成される。このコンピュータに前記の各処理を行う検査プログラムを組み込むことによってシミ欠陥を自動的に検査することができる。
実施形態1.
図1は本発明の実施形態1に係るシミ欠陥検出装置の構成図である。この実施形態1では、例えば、検査対象の画面10をプロジェクタ1によるTFT素子を用いた液晶パネル(液晶ライトバルブともいう)2の画面としている。検査を行う場合には、プロジェクタ1によりスクリーン3に画像4を投射する。画像4はパターンジェネレータ5により所定のパターンを液晶パネル2に与えることによって描写される。撮像手段として例えばCCDカメラ6により画像4を撮像し、その画像信号をA/D変換器(図示せず)によりアナログ信号からデジタル信号に変換してコンピュータ7に取り込む。このとき、画像データはA/D変換器により画素毎に例えば、黒を“0”、白を“4095”とする12ビットのデータで4096階調の輝度値で表される。コンピュータ7は画像メモリ(図示せず)に取り込まれた画像4の画像データを後述する方法により処理することにより、明・暗欠陥ごとにシミ欠陥を検出する。欠陥検出にあたっては複数の縮小サイズによる縮小画像とシミ欠陥強調のためのフィルタ処理(シミ欠陥検出処理)を行ったうえで、検出画像内の輝度情報の統計処理を行い、その統計データをもとに欠陥候補を抽出するための閾値を決定して欠陥候補を抽出し、さらに、抽出された欠陥候補について定量的に評価する評価値を演算して求める。これらの検査結果は出力手段としての表示装置8に表示される。
図2は図1のコンピュータ7が本発明の演算手段として行うシミ欠陥検出処理の処理経過を示したフローチャートであり、これはコンピュータ7の記憶装置(図示せず)に格納された検査プログラムによって自動的に行われる。図3及び図4は上記の処理過程における画像の遷移を示した説明図である。
(1)背景画像の差分処理(ステップS1)
背景画像の差分処理とは、撮像時の入力画像から予め作成しておいた背景画像を減算する処理である。例えば、図3(a)は撮像時の入力画像21、(b)は背景画像22であり、(c)は背景差分画像23である。背景画像22は、例えば液晶パネルを用いずに本実施形態1の装置構成(同一光学系および同一撮像系からなる構成)で例えば20枚程度撮像して、その画像を平均化処理したものであり、コンピュータ7の記憶装置(図示せず)に予め記憶されている。この背景画像22を入力画像21から減算することによって、入力画像21に含まれている検査対象以外のスクリーンや撮像手段の照明、プロジェクタ1の投射レンズ特性等によって生じる明るさの変化を除去した背景差分画像23が得られる。なお、この差分処理では、輝度データがマイナスの値とならないようにオフセット値として2048(4096×1/2)を加えている。
(2)表示エリア抽出処理(ステップS2)
表示エリアの抽出処理とは、背景差分画像23から検査対象の画面部分のみを抽出する処理をいう。例えば、図3(d)は表示エリアを抽出した後の補正画像24である。図3(a)(c)に示されるように、撮像時の入力画像21及び背景差分画像23にはスクリーン3の縁部分21a,23aを含んでいたり、また画面部分に対応する表示エリア画像21b,23bが正確に長方形でなくスクリーン3に対して斜めに歪んでいたりすることがある。これは、スクリーン3と撮像手段のCCDカメラ6とが厳密に平行でなかったり、またプロジェクタ1の投射レンズ特性やCCDカメラ6のレンズ特性などにより歪みを起こしたりすることに起因するものである。また、上記のように間接的撮像でなく、液晶パネル等の画像を直接撮像した場合でも入力画像の歪みや変形等が生じる場合がある。もちろん、上記のような縁部分21a,23aが入らないように撮像手段や検査対象の画面を正確にセットして撮像した場合、例えば撮像手段の視野内に検出対象の画面部分全体が収まるように視野が正確にセットされている場合には、この表示エリア抽出処理は省略することが可能であり、撮像により取り込まれた画像を検査対象の画像とすることができる。
また、背景差分画像23が図3(c)のように歪んだりしているような場合には、同図(d)に示されるように、画面部分の画像23bのみを抽出し、これに幾何学的変形を施して正確な長方形になるように補正した補正画像24を作成する。この補正画像24がここでは実際の検査対象の原画像となる。幾何学的変形による画像の補正処理は、前記スクリーン3の縁部分23aを含まない画像23bをその四隅の座標をパターンマッチング処理により検出し、その座標が長方形の四隅の座標に合致するように座標変換することにより行う。このときに設定する長方形のサイズを、例えば1200×1000画素サイズとすることで、補正画像24の画像サイズは1200×1000画素となる。このサイズについては、特に固定しているわけではなく、CCDカメラの画素サイズと同等か、それに近いサイズで設定すればよい。
(3)平坦化処理(ステップS3)
上記の補正画像24には、表示エリア全体に生じる大きな輝度変化、すなわち人間が見てもそれほど問題にならないような広い範囲にわたって明るいところや暗いところがあるといった明るさの変化や、上記のようにサイズの比較的大きいムラ欠陥などが含まれるおそれがあるので、これらを検出対象から除外するために、補正画像24に対して平坦化処理を行う。この平坦化処理によって、照度ムラのような大きな明るさの変化やサイズの大きいムラ欠陥は除去される。例えば図4(a)は補正画像24の例を示した図であり、この補正画像24に例えばシミ欠陥30やサイズの比較的大きいムラ欠陥31が含まれているとすると、これらは平均化処理により、図4(b)に示されるように、比較的小さいサイズのシミ欠陥やコントラストの異なるシミ欠陥のみが残った平坦化画像25が得られる。なお、平坦化処理とは、平滑化フィルタを用いた処理、あるいはモフォロジ処理などによって平滑化する処理である。
(4)画像サイズ縮小処理(ステップS4〜S8)
シミ欠陥のサイズは小さいといってもその中でも様々な大きさのものがあり、また、シミ欠陥のコントラストについても高いものや低いものなど様々である。後述するフィルタは、所定のサイズのシミ欠陥しか強調できないので、平坦化画像25内に存在する様々なサイズのシミ欠陥に対応させるために、平坦化画像25の画像サイズを複数段階にわたって縮小する処理を行う。ここでは、元画像1200×1000ピクセルの平坦化画像25から、1/2(600×500ピクセル)、1/4(300×250ピクセル)、1/8(150×125ピクセル)、1/16(75×62ピクセル)、1/32(38×31ピクセル)の5段階に縮小した5枚の縮小画像をそれぞれ作成する。
図5は画像サイズの縮小方法の説明図である。画像サイズの縮小方法は、図5(a)に示されるように、元画像の4画素分の輝度データの平均値を新たな画像の1画素に割り付けることにより1/2サイズに縮小する。この方法を繰り返すことにより、図5(b)に示されるように、1/2、1/4、1/8、1/16、1/32の縮尺サイズの各画像を得る。なお、本実施形態1においてはこれらの縮小された画像を検査画像として後述のシミ検出処理をそれぞれ行う。
(5)シミ検出処理(ステップS9〜S13)
このシミ検出処理は、上記のように縮小された画像にシミがあるかどうかについての判断しやくするための前処理(シミ欠陥強調処理)をするものであり、次の述べるようなフィルタを用いて処理する。なお、この処理は縮小された各画像に対してそれぞれ行われる。
図6はこのシミ検出処理において用いられるフィルタの概念図である。このフィルタはN画素×N画素の9つの領域(A〜I)により定義される。このフィルタでは、Eの領域が検出対象の領域となり、A、B、C、D、F、G、H、Iの領域が、背景輝度を計算する領域となる。ここで、Nの値は検出したい対象のサイズに合わせて選択する。この例では、縮小画像を用いてサイズに対応するため、Nをシミ検出のための最小構成である「3」に設定している。
図7はNを「3」と設定した場合のフィルタの構成図である。このフィルタのEの領域の輝度とその周囲の領域(A、B、C、D、F、G、H、I)の輝度とを比較して、その輝度差に基づいてEの領域にシミがあるかどうかを判断するための前処理を行う。このフィルタにおいて、例えばE領域の平均輝度値をEavrとし、A、B、C、D、F、G、H、Iの各領域の平均輝度を、Aavr、Bavr、Cavr、Davr、Favr、Gavr、Havr、Iavrとすると、次の4つの式により演算処理する。
(1)縦方向成分のみで輝度差を検出するフィルタの計算式
F1 = Eavr − (Bavr + Havr ) /2 …(式1)
(2)横方向成分のみで輝度差を検出するフィルタの計算式
F2 = Eavr − (Davr + Favr ) /2 …(式2)
(3)+45度方向の成分のみの輝度差を検出するの計算式
F3 = Eavr − (Cavr + Gavr ) /2 …(式3)
(4)−45度方向の成分のみの輝度差を検出するの計算式
F4 = Eavr − (Aavr + Iavr ) /2 …(式4)
図8〜図11は、(式1)〜(式4)をフィルタの構成数値に置き換えたものを示した図である。図8のフィルタF1は縦方向成分の輝度差を検出し、図9のフィルタF2は横方向成分の輝度差を検出し、図10のフィルタF3は+45度方向の成分の輝度差を検出し、図11のフィルタF4は−45度方向の成分の輝度差を検出する。これらのフィルタF1〜F4によりそれぞれ畳み込み演算を行ってシミ欠陥を強調した画素値を求める。例えば或る画素について4個のフィルタによりそれぞれ畳み込み演算をして、その値を例えばF1、F2、F3、F4とすると、実際に求めるべき処理結果Fは次式により求める。即ち、絶対値|F1|,|F2|、|F3|、|F4|の内の最小値となるフィルタを出し、そのフィルタによる値をその画素の値として採用する。
(5)F=Min(|F1|,|F2|、|F3|、|F4|) …(式5)
図12は上記の(式1)〜(式5)の処理を具体的に説明するための説明図である。ここでは例えば図7の「I」の領域に欠陥があった場合について説明する。欠陥が白シミの場合にはIの領域が「100」の値を示し、それ以外の領域は「50」の値を示すものとする。また、欠陥が黒シミの場合にはIの領域が「10」の値を示し、それ以外の領域は「50」の値を示すものとする。このような状態において、白シミの場合には|F4|=25となり、黒シミの場合には|F4|=20となり、それ以外のフィルタは「0」の値を示す。このような場合には、フィルタF1,F2、F3の何れかをフィルタとして採用し、その採用されたフィルタによる値にオフセット値として2048(4096×1/2)を加えた値を対象となる画素の画素値として採用する。このようにシミ欠陥を強調処理する際に、対象となる画素の周辺部に欠陥があった場合にその欠陥の影響を受けないようようにしてフィルタ処理を行う。また、このシミ欠陥を強調処理においては次の述べるようにスジ欠陥を背景として処理してスジ欠陥を抹消する。
図13は画像にスジ欠陥があった場合の説明図である。スジ欠陥として例えばB、E、Hの領域に欠陥があった場合には、図13に示されるように、フィルタF1の絶対値が必然的に最小値(図示の例では|F1|=0)を示すことになるので、このフィルタF1の値が画素値として採用されることになる。このフィルタF1によるフィルタ処理は、スジ欠陥を背景として処理するので、スジ欠陥はこの段階で抹消され、スジ欠陥が欠陥として検出されるおそれがなくなる。
図14は上記の演算処理の詳細を示したフローチャートであり、図15はフィルタ処理後の画像の画素値を採用する際の説明図である。なお、ここでは縮小された平坦化画像25(以下、単に平坦化画像25という)の各画素を各フィルタF1〜F4により予め畳み込み演算しておく例について説明する。
まず、平坦化画像25の各画素値についてフィルタF1により畳み込み演算を行ってフィルタF1による処理後の画像26(F1)を生成する(ステップS101)。同様にして、フィルタF2,F3,F4により畳み込み演算を行ってフィルタF2,F3,F4による処理後の画像26(F2),画像26(F3)、画像26(F4)をそれぞれ生成する(ステップS102〜S104)。ここで、画像の横方向をX方向とし、縦方向をY方向とするものとする。そして、計数値Y=1と設定し(ステップS105)、計数値X=1と設定して(ステップS106)、画像26(F1〜F4)の画素を特定する。そして、これらの画像26(F1〜F4)の画素値をそれぞれc1、c2、c3、c4とすると、上記の(式5)を演算して、Min(|c1|,|c2|、|c3|、|c4|)により絶対値の最小値を求めて、それにオフセット値として2048(4096×1/2)を加えた値を画素値とする画像27を生成する。ここで、最小値が例えば|c1|であった場合には、画像27の該当する画素にc1+2048の値を画素値として格納する(図15参照)。次に、X=N(画像のX方向の端部に相当する画素の座標)であるかどうかを判断し(ステップS108)、一致していなければ、X=X+1として(ステップS109)、対象となる画素をX方向に1個移動させる。そして、上記の処理(ステップS107)を行う。このような処理をX=Nとなるまで繰り返す(1行分の処理を行う)。次に、Y=Y+1とし(ステップS110)、対象画素を次の行に移行させて上記の処理(ステップS106〜110)を繰り返し、次に、Y>M(画像のY方向の端部に相当する画素の座標)であるかどうかを判断し(ステップS111)、Y>Mであれば、1画面分の処理が終了してシミ検出処理がなされた画像27が生成されたものとして処理を終了する。
(6)統計計算(ステップS14〜S18)
次に、上記の画像27内の各画素の輝度値に基づく統計データの計算を行う。統計データの計算では、画像全体での輝度値の平均値Lave、標準偏差σ、最大値Lmax、最小値Lminを求める。これら4つの輝度統計データから、白シミ、黒シミの閾値を、例えば次のように決定する。
白シミ閾値:Lave+a1×σ
黒シミ閾値:Lave−a2×σ
ここで、a1、a2は、ある決められた定数である。
従って、白シミ、黒シミを検出するための閾値を、画像27内の輝度データを統計計算することにより、その輝度統計データに基づいて自動的に決定することができる。そのため、閾値が人為的・試行錯誤的でなく、客観的・相対的なものとなる。
(7)チェック1:欠陥候補の有無の判定(ステップS19)
そして、上記の画像27内に白シミ欠陥や黒シミ欠陥の候補があるかどうかを、上記閾値に基づいて1回目のチェックを行う。すなわち、統計データの計算で求めた輝度値の最大値Lmaxが白シミ閾値を超えていれば、画像17内に白シミ欠陥があると判定し、輝度値の最小値Lminが黒シミ閾値以下であれば、画像27内に黒シミ欠陥があると判定する。もし、欠陥候補が皆無であれば、この段階でその製品は良品と判定され、検査を終了する。
(8)ブロブ(Blob)処理(ステップS20〜S24)
上記チェック1で画像27内に欠陥候補があると判定された場合には、その閾値を用いて欠陥候補を抽出し、ブロブ処理を行って欠陥候補の特性値を計算する。ブロブ(Blob)とは、画像内に存在する特定範囲の値を持った「かたまり」のことであり、ここでは白シミ閾値以上の領域、又は黒シミ閾値以下の領域があるものが欠陥候補となる。従って、白シミ閾値と黒シミ閾値を用いて2値化処理で欠陥候補を抽出し、その抽出された領域に対して画像処理の手法であるブロブ(Blob)処理を行って、欠陥候補の特性値を計算する。ここでは欠陥候補の特性値として、領域の重心位置X,Y座標と、白シミ欠陥候補であれば領域内の輝度の最大値(Lmax(n))、黒シミ欠陥の候補であれば領域内の輝度の最小値(Lmin(n))を求める。
(9)チェック2:評価値の計算(ステップS25)
この2回目(つまり最終的な)チェックにおいて、欠陥候補として抽出された欠陥候補に対して、欠陥の程度を定量化するため評価値計算を行う。評価値は、(上記)縮小された画像毎に求められた輝度統計データ(平均値Lave(i)、標準偏差σ(i)、iは縮小画像の画面番号)とBlob処理により求められた特性値(最大値Lmax(n)、最小値Lmin (n)、nはBlob番号)を用いて、次式により評価値を計算する。
白シミ:
Ev(n)=k(i)×(Lmax(n)−Lave (i))/σ(i)
黒シミ:
Ev(n)=k(i)×(Lave (i)−Lmin(n))/σ(i)
但し k(i)=縮小画面係数 i=画面番号
Lmax(n)=欠陥候補の最大輝度 n=Blob番号
Lmin(n)=欠陥候補の最小輝度
Lave=画像全体の平均輝度
σ=画像全体の輝度の標準偏差
これらの計算式により評価値を求めることにより、欠陥候補として抽出された白シミ欠陥、黒シミ欠陥を、座標位置、個数(Blob番号)と共に、客観的なデータで定量的に評価することができ、白シミ欠陥、黒シミ欠陥の有無を判断するだけではなく、欠陥の程度に基づくランクを決定することができる。従って、シミ欠陥の検出精度が高いものとなる。
この評価値に対し、ランク分類するための閾値は、製品の良品ランク毎に何段階かに設定することができる。これによりシミ欠陥の良品内のランク(等級)付けや製品の等級化が可能となる。例えば、液晶パネルをR(赤)、G(緑)、B(青)のカラー別に、プロジェクタのライトバルブとして使用する場合に、比視感度は緑のとき(波長λ=555nmのとき)が最も高いので、緑のライトバルブのランクを設定する閾値が最も厳しく他の場合よりも小さい値に設定される。
本実施形態1は、以上のように構成されているので、液晶パネル等の表示デバイスの画面に存在するシミ欠陥を欠陥サイズの大小にかかわらず、またコントラストの高低にかかわらず、高精度に自動的に検出することができ、かつ、シミ欠陥を個々に定量的に評価することができる。また、輝度統計データに基づいてシミ欠陥を評価するものであるので、製品や部品の品質データを収集・分析することにより、品質管理に役立てることができ、更なる品質の向上を目指した手法を構築することも可能となる。また、フィルタによる強調処理を行う際に、利用するフィルタを画素毎に適宜選択するようにしたので、対象となる画素の周囲の影響を過度に受けることがなく、欠陥検出の精度を高めることが可能になっている。
また、検査画像の複数の方向において対象画素とその外周部の周辺の画素との輝度差を求めるようにして、輝度差の絶対値が最小の値となる方向の輝度差の値を輝度値とする画像を生成するようにしたので、対象となる画素の周囲の影響を過度に受けることがなく、欠陥検出の精度を高めることが可能になっている。また、スジ欠陥が仮にあったとしてもそれは上述のように背景として処理されることになるので、スジ欠陥をシミ欠陥として検出するおそれがない。
実施形態2.
図16〜図19はフィルタの他の構成例である。図16は上記の(式1)に対応するフィルタであり、図17は上記の(式2)に対応するフィルタであり、図18は上記の(式3)に対応するフィルタであり、図19は上記の(式4)に対応するフィルタである。本発明のフィルタの具体的な構成は、これらの例に限定されるものではなく、その構成値は適宜変更し得るものである。
実施形態3.
なお、本発明の検査対象は、上記のようなTFT素子を用いた液晶パネルに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ELディスプレイ、DMD(ダイレクト・ミラー・デバイス)などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。また、本発明において用いられるフィルタは上記の実施形態1及び2に示されたものに限定されず、本発明の目的の範囲内に適宜変更される。また、上記の実施形態1においては、4個のフィルタの絶対値が最小値を示すものを採用する例について説明したが、必ずしも最小値である必要はなく、これは外部周辺の欠陥の影響を受けないようにするための処理であることから、相対的に小さな値例えば2番目に小さな値を示すものを採用してもよい。
また、上記の実施形態1においては、検査対象の画像を複数段階に縮小して、同じ大きさのフィルタを適用する例について説明したが、その逆に、検査対象の画像を縮小せずに、複数段階の大きさのフィルタを用意しておいて適用するようにしてもよい。また、上記の実施形態1においては、検査対象となる液晶パネルの画像をプロジェクタにより拡大して表示して、その拡大された画像を撮像して検査する方法が採用されているが、液晶パネルの画像を直接撮像して検査するようにしてもよい。
図20は擬似欠陥画像を示した図であり、図21は図20の画像の中の擬似シミを設定したY座標の位置でのラインプロファイルを示した図である。
図22は上記の実施形態1のフィルタにより処理された画像27を示した図であり、図23は図22の画像の中の擬似シミを設定したY座標の位置でのラインプロファイルを示した図である。
図24は比較例として、先行技術(例えば特許文献1)のフィルタにより処理された画像を示した図であり、図25は図24の画像の中の擬似シミを設定したY座標の位置でのラインプロファイルを示した図である。
図22及び図23と図24及び図25とを対比すると、図22及び図23の例においては、検出すべきシミの成分とは逆方向成分がほとんどないが、図24及び図25においては、逆方向成分A,Bが大きく現れており、前者が高精度にシミを検出することができることが分かる。
本発明の実施形態1によるシミ欠陥検出装置の構成図。 シミ欠陥の検出処理を示すフローチャート。 入力画像から表示エリア抽出後の画像に至るまでの各画像の模式図。 平均化処理の前後の各画像の模式図。 画像サイズの縮小方法の説明図。 本実施形態1において用いられるフィルタの構成図。 図6のフィルタにおいてNを3としたときのフィルタの構成図。 (式1)に対応したフィルタの構成図。 (式2)に対応したフィルタの構成図。 (式3)に対応したフィルタの構成図。 (式4)に対応したフィルタの構成図。 (式1)〜(式5)の処理の説明図。 スジ欠陥があったときの処理の説明図。 検出画像を得るための処理過程を示したフローチャート。 検出画像を得るための処理の説明図。 (式1)に対応したフィルタの他の構成図。 (式2)に対応したフィルタの他の構成図。 (式3)に対応したフィルタの他の構成図。 (式4)に対応したフィルタの他の構成図。 擬似欠陥画像を示した図。 擬似欠陥中の擬似シミを設定した位置でのラインプロファイル。 実施形態1のフィルタにより処理された画像を示した図。 図22の擬似シミの位置でのラインプロファイル。 従来フィルタにより処理された画像を示した図。 図24の擬似シミの位置でのラインプロファイル。
符号の説明
1 プロジェクタ、2 液晶パネル、3 スクリーン、4 画像、5 パターンジェネレータ、6 CCDカメラ、7 コンピュータ、8 表示装置、10 検査対象画面、21 入力画像、22 背景画像、23 背景差分画像、24 表示エリア抽出後の補正画像、25 平均化画像、26(F1〜F4) 各フィルタ処理による画像、27 画像、30 シミ欠陥、31 ムラ欠陥。

Claims (14)

  1. 検査画像のシミ欠陥強調のためのフィルタ処理を行う工程と、
    前記フィルタ処理された検査画像に基づいてシミ欠陥の有無を検出し又はシミ欠陥の程度を評価する工程とを備え、
    前記フィルタ処理は、前記検査画像の複数の方向において対象画素とその外周部周辺の画素との輝度差を求め、そして、前記輝度差の絶対値が最小の値となる方向の輝度差又は前記絶対値が相対的に小さな値となる方向の輝度差の値を輝度値とする画像を生成することを特徴とするシミ欠陥の検出方法。
  2. 前記フィルタ処理は、縦方向の成分の輝度差を求めるための第1のフィルタと、横方向の成分の輝度差を求めるための第2のフィルタと、+45度の成分の輝度差を求めるための第3のフィルタと、−45度の成分の輝度差を求めるための第4のフィルタとによってそれぞれ畳み込み演算を行って、その演算結果の絶対値が最小値を示すフィルタの値を輝度値とする画像を生成することを特徴とする請求項1記載のシミ欠陥の検出方法。
  3. 撮像された検査対象の画面の画像を取り込んで、その取り込まれた画像から、予め作成しておいた背景画像との差をとり背景差分画像を作成する工程と、
    前記背景差分画像の平坦化処理を行う工程と、
    前記平坦化画像から複数段階の縮小画像を作成する工程と
    を更に備え、
    前記縮小画像のそれぞれを検査画像として前記フィルタ処理を行うことを特徴とする請求項1又は2記載のシミ欠陥の検出方法。
  4. 前記シミ欠陥の有無を検出し又シミ欠陥の程度を評価する工程は、
    前記フィルタ処理後における画像内の各画素の輝度値の統計データを求める工程と、
    前記輝度統計データに基づいて閾値を決定し、前記閾値に基づいて欠陥候補を抽出する工程と
    を有することを特徴とする請求項1乃至3の何れかに記載のシミ欠陥の検出方法。
  5. 前記の撮像された検査対象の画面の画像のデータは、12ビットの4096階調以上のデータであることを特徴とする請求項3又は4記載のシミ欠陥の検出方法。
  6. 前記背景画像は、同一の光学系および同一の撮像系により撮像された複数の画像を平均化したものであることを特徴とする請求項3乃至5の何れかに記載のシミ欠陥の検出方法。
  7. 前記背景差分画像を平坦化処理する前に、前記背景差分画像の表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にする工程を更に有することを特徴とする請求項4乃至6の何れかに記載のシミ欠陥の検出方法。
  8. 前記閾値を明欠陥及び暗欠陥に対応してそれぞれ求めることを特徴とする請求項4乃至7のいずれかに記載のシミ欠陥の検出方法。
  9. 前記閾値を前記輝度統計データの平均値及び標準偏差を用いて求めることを特徴とする請求項8記載のシミ欠陥の検出方法。
  10. 前記欠陥候補の特性値をBlob処理によって求め、前記欠陥候補の特性値と前記輝度統計データとに基づいて評価値を算出する工程を更に有することを特徴とする請求項4乃至9の何れかに記載のシミ欠陥の検出方法。
  11. 前記欠陥候補の評価値を明欠陥及び暗欠陥に対応してそれぞれ求めることを特徴とする請求項4乃至10の何れかに記載のシミ欠陥の検出方法。
  12. 前記欠陥候補の評価値を、前記輝度統計データの平均値及び標準偏差と、欠陥候補の最大輝度及び最小輝度とを用いて求めることを特徴とする請求項10又は11の何れかに記載のシミ欠陥の検出方法。
  13. 前記欠陥候補の評価値の大きさによって製品の良品ランクの分類をすることを特徴とする請求項10乃至12の何れかに記載のシミ欠陥の検出方法。
  14. 検査対象の画面を撮像する撮像手段と、
    請求項1乃至13の何れかの処理を行う演算手段と、
    前記演算手段の結果を出力する出力手段と
    を備えたことを特徴とするシミ欠陥の検出装置。
JP2003377916A 2003-11-07 2003-11-07 シミ欠陥の検出方法及びその検出装置 Pending JP2005140655A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003377916A JP2005140655A (ja) 2003-11-07 2003-11-07 シミ欠陥の検出方法及びその検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003377916A JP2005140655A (ja) 2003-11-07 2003-11-07 シミ欠陥の検出方法及びその検出装置

Publications (1)

Publication Number Publication Date
JP2005140655A true JP2005140655A (ja) 2005-06-02

Family

ID=34688474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003377916A Pending JP2005140655A (ja) 2003-11-07 2003-11-07 シミ欠陥の検出方法及びその検出装置

Country Status (1)

Country Link
JP (1) JP2005140655A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086056A (ja) * 2005-08-26 2007-04-05 Seiko Epson Corp 欠陥検出方法および欠陥検出装置
JP2007263784A (ja) * 2006-03-29 2007-10-11 Olympus Corp 基板搬送装置
JP2008123208A (ja) * 2006-11-10 2008-05-29 Seiko Precision Inc 画像解析装置、画像解析方法及びコンピュータプログラム
KR20160095683A (ko) * 2015-02-03 2016-08-12 삼성디스플레이 주식회사 표면 결함 검사 장치 및 그것을 이용한 표면 결함 검사 방법
US10755133B2 (en) 2018-02-22 2020-08-25 Samsung Display Co., Ltd. System and method for line Mura detection with preprocessing

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007086056A (ja) * 2005-08-26 2007-04-05 Seiko Epson Corp 欠陥検出方法および欠陥検出装置
US7978903B2 (en) 2005-08-26 2011-07-12 Seiko Epson Corporation Defect detecting method and defect detecting device
JP2007263784A (ja) * 2006-03-29 2007-10-11 Olympus Corp 基板搬送装置
JP2008123208A (ja) * 2006-11-10 2008-05-29 Seiko Precision Inc 画像解析装置、画像解析方法及びコンピュータプログラム
JP4712676B2 (ja) * 2006-11-10 2011-06-29 セイコープレシジョン株式会社 画像解析装置、画像解析方法及びコンピュータプログラム
KR20160095683A (ko) * 2015-02-03 2016-08-12 삼성디스플레이 주식회사 표면 결함 검사 장치 및 그것을 이용한 표면 결함 검사 방법
KR102314469B1 (ko) * 2015-02-03 2021-10-20 삼성디스플레이 주식회사 표면 결함 검사 장치 및 그것을 이용한 표면 결함 검사 방법
US10755133B2 (en) 2018-02-22 2020-08-25 Samsung Display Co., Ltd. System and method for line Mura detection with preprocessing

Similar Documents

Publication Publication Date Title
JP5228490B2 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
JP2004294202A (ja) 画面の欠陥検出方法及び装置
JP2007086056A (ja) 欠陥検出方法および欠陥検出装置
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP2005249415A (ja) シミ欠陥の検出方法及び装置
TW201407127A (zh) 缺陷檢查裝置
US20060093235A1 (en) Image processing method and image processing apparatus
JP2004239733A (ja) 画面の欠陥検出方法及び装置
JP2005172559A (ja) パネルの線欠陥検出方法及び装置
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP2005164565A (ja) 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法
JP2005140655A (ja) シミ欠陥の検出方法及びその検出装置
JP4244046B2 (ja) 画像処理方法および画像処理装置
JP2006258713A (ja) シミ欠陥検出方法及び装置
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2004219176A (ja) 画素ムラ欠陥の検出方法及び装置
JP2004226272A (ja) シミ欠陥の検出方法及び装置
JP2008170325A (ja) シミ欠陥検出方法およびシミ欠陥検出装置
JP4520880B2 (ja) しみ検査方法及びしみ検査装置
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
JP2009036582A (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
JP2006135700A (ja) 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体
JP2009229197A (ja) 線状欠陥検出方法および線状欠陥検出装置