JP2004212311A - Method and apparatus for detecting unevenness defect - Google Patents
Method and apparatus for detecting unevenness defect Download PDFInfo
- Publication number
- JP2004212311A JP2004212311A JP2003001747A JP2003001747A JP2004212311A JP 2004212311 A JP2004212311 A JP 2004212311A JP 2003001747 A JP2003001747 A JP 2003001747A JP 2003001747 A JP2003001747 A JP 2003001747A JP 2004212311 A JP2004212311 A JP 2004212311A
- Authority
- JP
- Japan
- Prior art keywords
- image
- defect
- inspection
- luminance
- unevenness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- Liquid Crystal (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、液晶パネル等の検査工程において、画面の表示ムラを自動的に検出するムラ欠陥の検出方法及びその検出装置に関する。
【0002】
【従来の技術】
液晶表示装置等の画面に現れる欠陥の中の一つにムラ欠陥と呼ばれるものがある。ムラ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度広い領域にわたって、周りに比べて明るい領域や暗い領域がある状態である。かかるムラ欠陥は画質を落とすものであるから、表示体の外観検査の対象となっている。従来は人による目視検査が普通であったが、最近では自動検査が行われるようになってきている。ムラ欠陥に対する自動的な検査方法には既に多くの提案があり、例えば、特許文献1、2がある。
特許文献1は、撮像により取り込んだ画像を所定数のメッシュに分割し、各メッシュ内の各画素の濃度値を積算した画像と、その濃度加算値を平均化した画像との差分を求める方法である。
また、特許文献2は、撮像した画像を複数の閾値で2値化した2値化画像を作成し、その2値化画像に対してムラ欠陥を検査する方法である。
【0003】
【特許文献1】
特開平8−145904号公報(特許請求の範囲、段落[0011]〜[0024]、図1〜図8)
【特許文献2】
特開平6−147867号公報(特許請求の範囲、段落[0011]〜[0015]、図1、図2)
【0004】
【発明が解決しようとする課題】
しかしながら、特許文献1の検出方法では、検出可能な欠陥サイズがメッシュ分割の大きさに依存するため、メッシュサイズに対応する大きさのものしか検出することができない。そのため検出可能な欠陥サイズが限定され、種々のサイズをカバーすることができないという問題がある。
また、特許文献2の検出方法では、閾値を複数設定する必要があるが、欠陥サイズに対応する閾値をどのように決定するかが大きな問題である。従って、閾値の決定如何によって欠陥検出精度上の問題が生じてくる。
【0005】
本発明は、上記のような問題点に鑑みてなされたものであり、閾値を検出画像内の輝度統計データに基づいて自動的に決定するように構成することにより、画面のムラ欠陥を欠陥サイズの大小にかかわらず、高精度に自動的に検出するとともに、検出されたムラ欠陥の定量評価を可能にしたムラ欠陥の検出方法及びその検出装置を提供することを目的としている。
【0006】
【課題を解決するための手段】
本発明に係るムラ欠陥の検出方法は、検査対象の画面を撮像する工程と、
撮像により取り込まれた画像から、予め作成しておいた背景画像との差をとり検査画像を作成する工程と、
前記検査画像または該検査画像を縮小した縮小画像に対して複数段階の画像の平坦化処理を行い、第1および第2の平坦化画像を作成する工程と、
前記検査画像または該検査画像の縮小画像と前記第1の平坦化画像との画像間、および前記第1の平坦化画像と第2の平坦化画像との画像間で、それぞれ差分処理を行う工程と、
前記差分処理により得られる画像内の各画素の輝度データを統計計算する工程と、
その輝度統計データに基づいて閾値を決定し欠陥候補を抽出する工程と、
を有することを特徴とする。
【0007】
本発明では、ムラ欠陥を検出するために、まず、検査対象の画面を撮像し、その画像から背景画像との差をとって背景差分画像である検査画像を作成する。そして、この検査画像または検査画像の縮小画像に対して複数段階にわたって画像の平坦化処理を行い、平坦化処理により得られた第1の平坦化画像との画像間で、および第1と第2の平坦化画像どうしでそれぞれ差分処理を行うことによって複数の検出画像を得る。上記検査画像内にムラ欠陥が存在する場合には、比較的大きいサイズのムラ欠陥は第1の検出画像内に残り、比較的小さいサイズのムラ欠陥は第2の検出画像内に残ることになる。
これらのムラ欠陥を欠陥候補として抽出するために、閾値を決める。閾値は検出画像内の各画素の輝度データを統計計算し、その輝度統計データに基づいて決定される。従って、欠陥候補として抽出するための閾値が画像内の輝度統計データに基づいて自動的に決定されるので、大小様々なムラ欠陥を精度よく検出することができる。
【0008】
また、本発明において、撮像により画像を取り込む際、その取り込み画像のデータは、1画素で12ビット以上のデータを使用し、4096階調以上とするのが好ましい。
このような高解像度の画像データを用いることにより、256階調では検出できなかったムラ欠陥を検出できるようになり、また輝度分解能が向上するため、欠陥検出精度の更なる向上を図ることが可能となる。また、後述する欠陥候補の評価値の精度も向上する。
【0009】
背景画像は、同一の光学系および同一の撮像系により撮像された複数の画像を平均化したものを用いる。
これによって、検査対象内にランダムに存在する欠陥部分の成分は弱められ、それ以外の毎回同じ位置に存在する、スクリーンや撮像手段の照明、もしくはレンズ特性等によって生じる欠陥状の輝度変化のみが画像内に残る背景画像が得られる。
【0010】
本発明において、検査画像を作成する工程は、検査対象の画面を含む画像から表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にする工程を有する。
検査画像は検査対象の画面を撮像した画像を基にして作成されるので、検査対象の画面が例えばプロジェクタによりスクリーン上に投射された画像であるような場合には、その画像にスクリーンの縁部分が入っていたり、表示エリアの部分がスクリーンに対して斜めになっていたりすることがある。そこで、検査画像を作成する場合には、検査対象の画面を含む画像から表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にすることにより、上記のような画像の歪み、変形等を補正することができる。
【0011】
ムラ欠陥には明欠陥(白ムラ欠陥)と暗欠陥(黒ムラ欠陥)がある。これらの明欠陥、暗欠陥の両方を検出できるようにするために、上記の欠陥候補の閾値は、明欠陥および暗欠陥ごとに決定するものである。
また、抽出された欠陥候補について、輝度統計データに基づいて評価値を算出する工程をさらに有することを特徴としている。
従って、欠陥候補を客観的・定量的に評価することができ、かつ、正確な評価を行うことができる。
また、欠陥候補の評価値は、閾値の場合と同様に、明欠陥および暗欠陥ごとに算出される。
【0012】
閾値は、画面全体の輝度統計データの平均値(平均輝度データ)、標準偏差を用いて決定される。例えば、
明欠陥を抽出するための白ムラ閾値は、
平均輝度データ+a1×標準偏差
暗欠陥を抽出するための黒ムラ閾値は、
平均輝度データ−a2×標準偏差
なる計算式より求めることができる。ここに、a1、a2は、ある決められた定数である。また、ここで計算された閾値と、画面全体の輝度統計データの最大値(最大輝度データ)、最小値(最小輝度データ)を比較して、検査画像にムラ欠陥候補があるかどうかの判断を行う。
【0013】
また、欠陥候補の評価値は、欠陥候補の面積、最大輝度値または最小輝度値と、画面全体での輝度統計データの平均値、標準偏差とを用いて算出される。
評価値は、各画面の白ムラ欠陥候補及び黒ムラ欠陥候補ごとに算出される。
従って、ムラ欠陥のランク付けによる製品の等級化が可能となる。
なお、これらの統計データは品質管理に活用することができる。
【0014】
本発明に係るムラ欠陥の検出装置は、請求項1乃至10のいずれかに記載のムラ欠陥の検出方法を用いることを特徴としている。
具体的には、撮像手段と、画像処理を行う検査装置本体とからなり、検査装置本体は通常、コンピュータにより構成される。このコンピュータに前記の各処理を行う検査プログラムを組み込むことによってムラ欠陥を自動的に検査することができる。
【0015】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
図1は本発明の実施の形態を示すムラ欠陥検出装置の構成図である。
この実施形態では、例えば、検査対象の画面10をプロジェクタ1によるTFT素子を用いた液晶パネル(液晶ライトバルブともいう)2の画面としている。検査を行う場合には、プロジェクタ1によりスクリーン3に画像4を投射する。画像4はパターンジェネレータ5により所定のパターンを液晶パネル2に与えることによって描写される。撮像手段として例えばCCDカメラ6により画像4を撮像し、その画像信号を図示しないA/D変換器によりアナログ信号からデジタル信号に変換して検査装置本体であるコンピュータ7に取り込む。このとき、画像データはA/D変換器により画素毎に例えば、黒を“0”、白を“4095”とする12ビットのデータに変換され4096階調の輝度値であらわされる。さらにコンピュータ7は画像メモリに取り込まれた画像4の画像データを後述する方法により処理することにより、明・暗のムラ欠陥を検出する。欠陥検出にあたっては検出画像内の輝度情報の統計処理を行い、その統計データをもとに閾値を決定して欠陥候補を抽出し、さらに、抽出された欠陥候補について定量的に評価する評価値が演算される。これらの検査結果は表示装置8に表示される。
【0016】
図2はムラ欠陥検出処理に用いられるフローチャート、図3は入力画像からムラ欠陥検出画像に至るまでの各段階における画像処理後の画像の模式図である。このムラ欠陥の検出処理は上記のコンピュータ7または画像処理装置に組み込まれた検査プログラムに従って自動的に行われる。
図2のフローチャートに従って処理手順を説明する。
【0017】
(1)表示エリア抽出処理(ステップS1)
表示エリアの抽出とは、撮像により取り込まれた入力画像から検査対象の画面部分のみを抽出することをいう。例えば、図3(a)は撮像時の入力画像である。この図に示すように、撮像時の入力画像11にはスクリーン3の縁部分31を含んでいたり、また画面部分に対応する表示エリア画像12が正確に長方形でなくスクリーン3に対して斜めに歪んでいたりすることがある。これは、スクリーン3と撮像手段のCCDカメラ6とが厳密に平行でなかったり、またCCDカメラ6のレンズ特性などにより歪みを起こしたりすることに起因するものである。また、上記のように間接的撮像でなく、液晶パネル等の画像を直接撮像した場合でも入力画像の歪みや変形等が生じる場合がある。もちろん、上記のような縁部分31が入らないように撮像手段や検査対象の画面を正確にセットして撮像した場合、例えば撮像手段の視野内に検出対象の画面部分全体が収まるように視野が正確にセットされている場合には、この表示エリア抽出処理および次に述べる補正処理は省略することが可能であり、撮像により取り込まれた画像が直接、原画像となる。
【0018】
入力画像11が図3(a)のように歪んだりしているような場合には、同図(b)に示すように、画面部分の表示エリア画像12のみを抽出し、これに幾何学的変形を施して正確な長方形になるように補正した表示エリア補正画像13を作成する。この表示エリア補正画像13がここでは実際の検査対象となる原画像である。
幾何学的変形による画像の補正処理は、前記スクリーン3の縁部分31を含まない表示エリア画像12をその四隅の座標をパターンマッチング処理などにより検出し、その座標が長方形の四隅の座標に合致するように座標変換することにより行う。このようにして、入力画像11の歪みや変形等を補正し、検査対象の画面部分のみを抽出した原画像13を作成することができる。このときに設定する長方形のサイズを、例えば1200×1000画素サイズとすることで、原画像13のファイルサイズは、例えば1200×1000画素サイズとなる。このサイズについては、特に固定しているわけではなく、CCDカメラの画素サイズと同等か、それに近いサイズで設定すればよい。
【0019】
(2)背景画像差分処理(ステップS2)
背景画像の差分処理とは、上記のように作成された原画像13から、図3(c)に示すような予め作成しておいた背景画像14を減算する処理である。原画像13から背景画像14を減算することによって、原画像13に含まれている検査対象となる液晶パネルに存在する欠陥以外の、撮像手段の照明やレンズ特性等によって生じる欠陥状の明るさの変化を除去することができる。また、この差分処理では、輝度データがマイナスの値とならないように、差分処理の時にオフセット値として2048(4096階調×1/2の値)を加えている。また、背景画像14は、同一の光学系および同一の撮像系を用いて撮像した、複数枚(例えば、20枚程度)のできるだけ欠陥の少ない液晶パネルのサンプル画像に基づいて、それらのサンプル画像の輝度データを平均化して作成したものであり、予め原画像13と同様な方法で作成され、コンピュータ7の画像メモリに記憶されている。
背景画像差分処理の結果、図3(d)に示すような背景差分画像すなわち検査画像15が得られる。そして、もしあるとすれば、この背景差分画像(検査画像)15の中に大小様々な大きさのムラ欠陥20が存在することになる。
【0020】
(3)画像サイズ縮小処理(ステップS3)
ここでの処理は、背景差分画像(検査画像)15の中には大小様々な大きさの欠陥が存在するので、検出しようとする(欠陥の大きさに対応するよう)ムラ欠陥サイズ以下の欠陥(シミやスジ欠陥)を除去するため、適当な画像サイズに検査画像15を縮小するものである。例えば、検査画像15を4分の1の画像サイズ、すなわち300×250ピクセルに縮小する。なお、縮小比は1/4に限定されるものではない。
縮小処理では、例えば、図4に示すように、元画像(ここでは検査画像15)の4画素分の輝度データの平均値を新たに1画素に割り付ける1/2縮小処理を2回繰り返す方法などにより縮小画像を作成する。
このように検査画像15の画像サイズを縮小することによって、欠陥検出に要する処理時間を短縮することができるというメリットもある。
なお、図3ではすべての画像が同じサイズで図示してあるが、(e)から(f)の画像は実際は1/4に縮小された画像である。また、(d)の背景差分画像(検査画像)の1/4縮小画像は図示を省略している。
ここでは画像サイズの縮小について述べたが、もちろん、必ずしも縮小しなくてもよく、例えば、平滑化フィルタ処理を用い、フィルタサイズを調整して、検出するムラ欠陥サイズ以下の欠陥を除去してもよい。
【0021】
(4)画像複製処理(ステップS4)
ムラ欠陥をそれ以外の背景の部分(欠陥の無い部分)から分離するための処理を行うため、後述するように少なくとも3枚の画像を必要とするため、背景差分画像(検査画像)15の1/4縮小画像の複製(コピー)画像を作成することとしている。また、このコピー画像を、ムラ欠陥以外のシミ・点・線欠陥などの検出にも利用することができる。
【0022】
(5)平坦化処理(ステップS5、S6)
次に、ムラ欠陥をそれ以外の背景の部分(欠陥の無い部分)から分離するための前処理として、背景差分画像(検査画像)15に対して平坦化処理を複数段階にわたって行う。ここでは、2段階の平坦化処理を行っている。
第1段階の平坦化1処理(ステップS5)では、検査画像15の1/4縮小画像またはそのコピー画像をもとに、図3(e)に示すような第1の平坦化画像16が作成される。
この第1段階の平坦化処理では、モフォロジー処理を応用した処理などで、割と小さな輝度変化を残して、大きな輝度変化は平坦化するように処理を行う。
第2段階の平坦化2処理(ステップS6)では、この第1の平坦化画像16から、さらに平坦化した第2の平坦化画像17が作成される(図3(f)参照)。
この第2段階の平坦化処理では、大きな輝度変化を除去した第1の平坦化画像16から、平滑化フィルタを用いた処理などで、更に小さな輝度変化を平坦化するように処理を行う。
【0023】
(6)差分処理(ステップS7、S8)
このステップS7の差分処理では、検査画像15の1/4縮小画像またはそのコピー画像(図3の(d)画像)から、第1の平坦化画像16(図3の(e)画像)を減算する。この処理により、図3(g)に示すような第1の検出画像18が得られる。この第1の検出画像18では、サイズの小さいムラ欠陥は除去され、サイズの比較的大きいムラ欠陥20aのみが残ることになる。
次に、ステップS8の差分処理では、第1の平坦化画像16(図3の(e)画像)から第2の平坦化画像17(図3の(f)画像)を減算する。すると、図3(h)に示すような第2の検出画像19が得られる。この第2の検出画像19では、サイズの小さいムラ欠陥20bのみが残ることになる。
【0024】
(7)統計計算(ステップS9、S10)
次に、上記ムラ欠陥検出画像18、19内の各画素の輝度データを用いて画面全体での輝度データの統計量計算を行う。統計計算では、輝度データの平均値Lave、標準偏差σ、最大値Lmax、最小値Lminを求める。これら4つの輝度統計データから、白ムラ、黒ムラの閾値を、例えば次のように決定する。
白ムラ閾値:Lave+a1×σ
黒ムラ閾値:Lave−a2×σ
ここに、a1、a2は、ある決められた定数である。
従って、白ムラ、黒ムラを検出するための閾値を、ムラ欠陥検出画像18、19内の輝度データを統計計算することにより、その輝度統計データに基づいて自動的に決定することができる。そのため、閾値が人為的・試行錯誤的でなく、客観的・相対的なものとなる。
【0025】
(8)チェック1:欠陥候補の有無を判断(ステップS11)
そして、上記ムラ欠陥検出画像18、19内に白ムラ欠陥や黒ムラ欠陥があるかどうかを、上記閾値に基づいて1回目のチェックを行う。このチェック1では、上記各閾値に基づいて白側、黒側の欠陥候補があるかチェックを行う。まず、Lmaxが白ムラ閾値を超えているかチェックし、超えているならばその画像内に白ムラ欠陥候補があると判断する。次に、Lminが黒ムラ閾値以下であるかチェックし、それ以下であるならばその画像内に黒ムラ欠陥候補があると判断する。もし、欠陥候補が皆無であれば、この段階でムラ欠陥無しと判定され、検査は終了する。
【0026】
(9)ブロブ処理(ステップS12、S13)
上記チェック1で欠陥候補があると判断された場合は、閾値で欠陥候補を抽出する。このとき、チェック1で白ムラ欠陥候補があると判断されている場合には、白ムラ閾値以上のものを欠陥候補として抽出し、黒ムラ欠陥候補があると判断されている場合には、黒ムラ閾値以下のものを欠陥候補として抽出する。両方あると判断されている場合には、両方抽出する。その抽出された欠陥候補についてブロブ(Blob)処理を行い、抽出された欠陥候補の面積(S(n))と白ムラ欠陥候補であれば輝度値の最大値Lmax(n)、黒ムラ欠陥候補であれば輝度値の最小値Lmin(n)を求める。ブロブ(Blob)とは、2値化処理などで切り出された画像内に存在する特定のグレイスケールの値、または値の範囲を持った「かたまり」(領域)のことであり、従って、ここでいう「ブロブ(Blob)処理」とは、ブロブツールなどを用いて、抽出された欠陥候補領域内の様々な特性値を求めることをいう。ここで求められた欠陥候補領域内の特性値は次に述べる評価値の計算で使用する。
【0027】
(10)チェック2:評価値の計算(ステップS14)
この2回目(つまり最終的な)チェックにおいて、欠陥候補として検出されブロブ処理が行われたムラ欠陥候補について、上記輝度統計データ(平均値Lave、標準偏差σ)と、ブロブ処理で求めた特性値(面積S(n)、最大値Lmax(n)、最小値Lmin(n))を用いて、次式により評価値を計算する。
これらの計算式により、欠陥候補として検出された白ムラ欠陥、黒ムラ欠陥を、その大きさ(面積)、個数(Blob番号)と共に、客観的なデータで定量的に評価することができる。従って、ムラ欠陥の検出精度が高いものとなる。
【0028】
また、算出された評価値は不良判断のために用いるだけでなく、その値の大きさに基づいて製品をいくつかのグループに分類することで、ムラ欠陥のランク(等級)付けや製品の等級化が可能となる。例えば、液晶パネルをR(赤)、G(緑)、B(青)のカラー別に、プロジェクタのライトバルブとして使用する場合に、比視感度は緑のとき(波長λ=555nm近辺のとき)が最も高いので、評価値の最も小さい方のランクのものをGの製品、次に大きいランクのものをRの製品、その次のものをBの製品、さらにそれ以上の評価値のものを不良として、等級化することができる。
【0029】
この実施形態は、以上のように構成されているので、液晶パネル等の表示デバイスの画面に存在するムラ欠陥を欠陥サイズの大小にかかわらず、高精度に自動的に検出することができ、かつ、それらの欠陥を個々に定量的に評価することができる。
また、輝度統計データに基づいてムラ欠陥を評価するものであるので、製品や部品の品質データを収集・分析することにより、品質管理に役立てることができ、更なる品質の向上を目指した手法を構築することも可能となる。
【0030】
本発明は、前記のようなTFT素子を用いた液晶パネル(液晶ライトバルブ)に限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ELディスプレイ、DMD(ダイレクト・ミラー・デバイス)などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
【図面の簡単な説明】
【図1】本発明の実施の形態によるムラ欠陥検出装置の構成図。
【図2】ムラ欠陥の検出処理を示すフローチャート。
【図3】入力画像からムラ欠陥検出画像に至るまでの各画像の模式図。
【図4】画像サイズの縮小方法の説明図。
【符号の説明】
1 プロジェクタ、2 液晶パネル、3 スクリーン、4 画像、5 パターンジェネレータ、6 CCDカメラ、7 コンピュータ、8 表示装置、10 検査対象画面、11 入力画像、12 表示エリア画像、13 原画像(表示エリア補正画像)、14 背景画像、15 検査画像(背景差分画像)、16 第1の平坦化画像、17 第2の平坦化画像、18 第1の検出画像、19 第2の検出画像、20 ムラ欠陥、20a サイズ大のムラ欠陥、20b サイズ小のムラ欠陥、31 スクリーンの縁部分[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method and a device for detecting a non-uniformity defect that automatically detects display non-uniformity in a screen in an inspection process of a liquid crystal panel or the like.
[0002]
[Prior art]
One of the defects that appear on a screen of a liquid crystal display device or the like is a so-called unevenness defect. An uneven defect is a state in which a certain area of a display screen has a difference in luminance from another area, and a state in which a bright area or a dark area is present over a relatively large area. Since such uneven defects deteriorate image quality, they are subject to a visual inspection of a display body. Conventionally, a visual inspection by a person has been usual, but recently, an automatic inspection has been performed. There have already been many proposals for an automatic inspection method for uneven defects, for example, there are
Further, Japanese Patent Application Laid-Open No. H11-157210 discloses a method of creating a binarized image by binarizing a captured image using a plurality of thresholds, and inspecting the binarized image for unevenness defects.
[0003]
[Patent Document 1]
JP-A-8-145904 (claims, paragraphs [0011] to [0024], FIGS. 1 to 8)
[Patent Document 2]
JP-A-6-147867 (claims, paragraphs [0011] to [0015], FIGS. 1 and 2)
[0004]
[Problems to be solved by the invention]
However, in the detection method of
Further, in the detection method of
[0005]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and has a configuration in which a threshold value is automatically determined based on luminance statistical data in a detected image, so that a screen unevenness defect can be reduced to a defect size. It is an object of the present invention to provide a method and apparatus for detecting a mura defect which automatically detects the mura defect with high accuracy regardless of the size of the mura defect and enables quantitative evaluation of the detected mura defect.
[0006]
[Means for Solving the Problems]
A method for detecting a non-uniformity defect according to the present invention includes the steps of:
From the image captured by the imaging, a step of taking a difference from a background image created in advance to create an inspection image,
Performing a plurality of stages of image flattening processing on the inspection image or a reduced image obtained by reducing the inspection image to create first and second flattened images;
Performing difference processing between the image of the inspection image or the reduced image of the inspection image and the first flattened image, and between the images of the first flattened image and the second flattened image. When,
Statistically calculating the luminance data of each pixel in the image obtained by the difference processing,
A step of determining a threshold based on the luminance statistical data and extracting a defect candidate;
It is characterized by having.
[0007]
In the present invention, in order to detect a non-uniformity defect, first, a screen to be inspected is imaged, and a difference from the background image is taken from the image to create an inspection image which is a background difference image. Then, the inspection image or the reduced image of the inspection image is subjected to image flattening processing in a plurality of stages, and between the image with the first flattened image obtained by the flattening processing, and the first and second images. A plurality of detected images are obtained by performing difference processing between the flattened images. When an uneven defect exists in the inspection image, an uneven defect having a relatively large size remains in the first detected image, and an uneven defect having a relatively small size remains in the second detected image. .
A threshold is determined to extract these uneven defects as defect candidates. The threshold value is determined based on statistical calculation of luminance data of each pixel in the detected image, and based on the luminance statistical data. Therefore, since the threshold value for extracting as a defect candidate is automatically determined based on the luminance statistical data in the image, it is possible to accurately detect uneven defects of various sizes.
[0008]
In the present invention, when an image is captured by imaging, data of the captured image preferably uses data of 12 bits or more for one pixel and has 4096 gradations or more.
By using such high-resolution image data, it becomes possible to detect uneven defects that could not be detected at 256 gradations, and since the luminance resolution is improved, the defect detection accuracy can be further improved. It becomes. Further, the accuracy of the evaluation value of the defect candidate described later is also improved.
[0009]
The background image is obtained by averaging a plurality of images captured by the same optical system and the same imaging system.
As a result, the component of the defect part randomly present in the inspection object is weakened, and only the defect-like luminance change caused by the illumination of the screen or the image pickup means, the lens characteristic, or the like, which is present at the same position every other time, is reduced. Is obtained.
[0010]
In the present invention, the step of creating an inspection image includes a step of extracting a display area from an image including a screen to be inspected, and applying a geometric deformation to the display area to make it a rectangle.
Since the inspection image is created based on an image obtained by capturing the screen of the inspection target, if the inspection target screen is an image projected on the screen by, for example, a projector, the image includes an edge portion of the screen. Or the display area may be oblique to the screen. Therefore, when an inspection image is created, a display area is extracted from an image including a screen to be inspected, and the display area is subjected to geometric deformation to form a rectangle, thereby distorting the image as described above. Deformation and the like can be corrected.
[0011]
Uneven defects include bright defects (white uneven defects) and dark defects (black uneven defects). In order to be able to detect both the bright defect and the dark defect, the threshold value of the defect candidate is determined for each of the bright defect and the dark defect.
The method further includes a step of calculating an evaluation value for the extracted defect candidate based on the luminance statistical data.
Therefore, defect candidates can be objectively and quantitatively evaluated, and accurate evaluation can be performed.
The evaluation value of the defect candidate is calculated for each of the bright defect and the dark defect, as in the case of the threshold value.
[0012]
The threshold is determined using the average value (average luminance data) of the luminance statistical data of the entire screen and the standard deviation. For example,
The white spot threshold for extracting a light defect is
Average luminance data + a1 × standard deviation The black unevenness threshold for extracting a dark defect is
It can be obtained from a calculation formula of average luminance data−a2 × standard deviation. Here, a1 and a2 are certain fixed constants. Also, the threshold calculated here is compared with the maximum value (maximum luminance data) and the minimum value (minimum luminance data) of the luminance statistical data of the entire screen to determine whether or not the inspection image has a non-uniform defect candidate. Do.
[0013]
The evaluation value of the defect candidate is calculated using the area, the maximum luminance value or the minimum luminance value of the defect candidate, the average value of the luminance statistical data over the entire screen, and the standard deviation.
The evaluation value is calculated for each white unevenness defect candidate and black unevenness defect candidate on each screen.
Therefore, it is possible to classify products by ranking unevenness defects.
These statistical data can be used for quality control.
[0014]
A device for detecting a mura defect according to the present invention uses the method for detecting a mura defect according to any one of
More specifically, the inspection apparatus includes an imaging unit and an inspection apparatus main body that performs image processing. The inspection apparatus main body is generally configured by a computer. By incorporating an inspection program for performing each of the above-described processes into this computer, the unevenness defect can be automatically inspected.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of an unevenness defect detection apparatus according to an embodiment of the present invention.
In this embodiment, for example, the
[0016]
FIG. 2 is a flowchart used in the unevenness defect detection processing, and FIG. 3 is a schematic diagram of an image after image processing in each stage from an input image to an unevenness detection image. The detection processing of the unevenness defect is automatically performed according to the inspection program incorporated in the
The processing procedure will be described according to the flowchart of FIG.
[0017]
(1) Display area extraction processing (step S1)
Extracting a display area means extracting only a screen portion to be inspected from an input image captured by imaging. For example, FIG. 3A shows an input image at the time of imaging. As shown in this figure, the input image 11 at the time of imaging includes the edge portion 31 of the
[0018]
When the input image 11 is distorted as shown in FIG. 3A, only the display area image 12 of the screen portion is extracted as shown in FIG. A display area correction image 13 that is deformed and corrected to an accurate rectangle is created. Here, the display area correction image 13 is an original image to be actually inspected.
In the image correction processing by the geometric deformation, the coordinates of the four corners of the display area image 12 not including the edge portion 31 of the
[0019]
(2) Background image difference processing (step S2)
The background image difference process is a process of subtracting a previously created
As a result of the background image difference processing, a background difference image as shown in FIG. If so, the background difference image (inspection image) 15 has
[0020]
(3) Image size reduction processing (step S3)
In this process, since the background difference image (inspection image) 15 includes defects of various sizes, defects that are to be detected (corresponding to the size of the defect) and are smaller than the uneven defect size are detected. The
In the reduction processing, for example, as shown in FIG. 4, a method of repeating twice a 1/2 reduction processing of newly allocating the average value of the luminance data of four pixels of the original image (here, the inspection image 15) to one pixel is used. Creates a reduced image.
By reducing the image size of the
In FIG. 3, all the images are shown in the same size, but the images (e) to (f) are actually images that are reduced to 1/4. Further, a quarter reduced image of the background difference image (inspection image) in (d) is not shown.
Here, reduction of the image size has been described, but of course, it is not always necessary to reduce the image size. For example, even if the filter size is adjusted by using a smoothing filter process, defects smaller than the uneven defect size to be detected are removed. Good.
[0021]
(4) Image duplication processing (step S4)
Since processing for separating the unevenness defect from other background parts (parts having no defect) is performed, at least three images are required as described later. A duplicate (copy) image of the / 4 reduced image is to be created. The copied image can also be used for detecting spots, spots, and line defects other than the unevenness defect.
[0022]
(5) Flattening process (Steps S5 and S6)
Next, a flattening process is performed on the background difference image (inspection image) 15 in a plurality of stages as a pre-process for separating the unevenness defect from the other background portion (the portion having no defect). Here, a two-stage flattening process is performed.
In the
In the first-stage flattening process, a process that applies a morphological process or the like is performed such that a large change in luminance is flattened while leaving a relatively small change in luminance.
In the
In the second-stage flattening process, a process is performed on the first flattened
[0023]
(6) Difference processing (Steps S7 and S8)
In the difference processing in step S7, the first flattened image 16 (the image (e) in FIG. 3) is subtracted from the 縮小 reduced image of the
Next, in the difference processing in step S8, the second flattened image 17 (the image (f) in FIG. 3) is subtracted from the first flattened image 16 (the image (e) in FIG. 3). Then, a
[0024]
(7) Statistical calculation (Steps S9 and S10)
Next, using the luminance data of each pixel in the uneven
White spot threshold: Lave + a1 × σ
Black unevenness threshold: Lave-a2 × σ
Here, a1 and a2 are certain fixed constants.
Therefore, the threshold value for detecting white unevenness and black unevenness can be automatically determined based on the brightness statistical data by statistically calculating the brightness data in the unevenness
[0025]
(8) Check 1: Judge whether there is a defect candidate (step S11)
Then, a first check is performed based on the threshold value to determine whether there is a white unevenness defect or a black unevenness defect in the unevenness
[0026]
(9) Blob processing (steps S12 and S13)
When it is determined in the
[0027]
(10) Check 2: Calculation of evaluation value (step S14)
In the second (ie, final) check, for the uneven defect candidate detected as a defect candidate and subjected to the blob processing, the luminance statistical data (average value, standard deviation σ) and the characteristic value obtained by the blob processing are used. Using (area S (n), maximum value Lmax (n), minimum value Lmin (n)), an evaluation value is calculated by the following equation.
With these formulas, the white spot defect and the black spot defect detected as defect candidates can be quantitatively evaluated by objective data together with their size (area) and number (Blob number). Therefore, the detection accuracy of the unevenness defect is high.
[0028]
In addition, the calculated evaluation value is used not only for determining a defect, but also by classifying the product into several groups based on the magnitude of the value, thereby assigning a rank (grade) of the unevenness defect and a product grade. Is possible. For example, when a liquid crystal panel is used as a light valve of a projector for each of R (red), G (green), and B (blue) colors, the relative luminous efficiency is green (when the wavelength is around 555 nm). Since it is the highest, the product having the lowest evaluation value ranks as a product of G, the product with the next highest rank is a product of R, the next product is a product of B, and the product with a higher evaluation value is defective. , Can be graded.
[0029]
Since this embodiment is configured as described above, it is possible to automatically detect uneven defects existing on the screen of a display device such as a liquid crystal panel with high accuracy regardless of the size of the defect, and , The defects can be individually and quantitatively evaluated.
In addition, since unevenness defects are evaluated based on luminance statistical data, collecting and analyzing the quality data of products and parts can be useful for quality control, and a method aimed at further improving quality is developed. It is also possible to build.
[0030]
The present invention is not limited to a liquid crystal panel (liquid crystal light valve) using the above-described TFT element, but includes a liquid crystal panel using another diode element, a plasma display, an organic EL display, a DMD (direct mirror mirror). It can be used for inspecting display parts such as devices) and display devices and products using them, and even if they are used for these, they are not excluded from the scope of the present invention. Absent.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an unevenness defect detection device according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a process of detecting an unevenness defect.
FIG. 3 is a schematic diagram of each image from an input image to an uneven defect detection image.
FIG. 4 is an explanatory diagram of a method for reducing an image size.
[Explanation of symbols]
Claims (11)
撮像により取り込まれた画像から、予め作成しておいた背景画像との差をとり検査画像を作成する工程と、
前記検査画像または該検査画像を縮小した縮小画像に対して複数段階の画像の平坦化処理を行い、第1および第2の平坦化画像を作成する工程と、
前記検査画像または該検査画像の縮小画像と前記第1の平坦化画像との画像間、および前記第1の平坦化画像と第2の平坦化画像との画像間で、それぞれ差分処理を行う工程と、
前記差分処理により得られる画像内の各画素の輝度データを統計計算する工程と、
その輝度統計データに基づいて閾値を決定し欠陥候補を抽出する工程と、
を有することを特徴とするムラ欠陥の検出方法。Imaging a screen to be inspected;
From the image captured by the imaging, a step of creating an inspection image by taking a difference from a background image created in advance,
Performing a plurality of levels of image flattening processing on the inspection image or a reduced image obtained by reducing the inspection image to create first and second flattened images;
Performing difference processing between the image of the inspection image or the reduced image of the inspection image and the first flattened image, and between the images of the first flattened image and the second flattened image. When,
Statistically calculating the luminance data of each pixel in the image obtained by the difference processing,
A step of determining a threshold based on the luminance statistical data and extracting a defect candidate;
A method for detecting unevenness defects.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003001747A JP2004212311A (en) | 2003-01-08 | 2003-01-08 | Method and apparatus for detecting unevenness defect |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003001747A JP2004212311A (en) | 2003-01-08 | 2003-01-08 | Method and apparatus for detecting unevenness defect |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004212311A true JP2004212311A (en) | 2004-07-29 |
Family
ID=32819688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003001747A Pending JP2004212311A (en) | 2003-01-08 | 2003-01-08 | Method and apparatus for detecting unevenness defect |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004212311A (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006098126A (en) * | 2004-09-28 | 2006-04-13 | Toyota Motor Corp | Work surface flaw inspection device |
KR100837459B1 (en) | 2006-06-30 | 2008-06-12 | 가부시끼가이샤 도시바 | Image pickup method of display panel and image pickup apparatus of display panel |
JP2009122690A (en) * | 2007-03-29 | 2009-06-04 | Sharp Corp | Reduction method of mura defect and display |
JP2009538057A (en) * | 2006-05-17 | 2009-10-29 | クゥアルコム・インコーポレイテッド | Line or text-based image processing tool |
JP2011158717A (en) * | 2010-02-01 | 2011-08-18 | Sharp Corp | Display device, luminance unevenness correction method, correction data creation device, and correction data creation method |
CN102901617A (en) * | 2011-07-28 | 2013-01-30 | 致茂电子股份有限公司 | Multipoint optical measurement device and measurement method thereof |
JP2013190357A (en) * | 2012-03-14 | 2013-09-26 | Dainippon Printing Co Ltd | Unevenness information generation device, unevenness information generation program, and unevenness information generation method |
JP2015049095A (en) * | 2013-08-30 | 2015-03-16 | 株式会社トプコンテクノハウス | Unevenness measuring method and unevenness measuring device |
WO2016070541A1 (en) * | 2014-11-03 | 2016-05-12 | 中兴通讯股份有限公司 | Self-adaptive adjustment method and device of projector, and computer storage medium |
JP2016204192A (en) * | 2015-04-20 | 2016-12-08 | 住友金属鉱山株式会社 | Method for detecting timing of executing seeding, and method for manufacturing single crystal |
US9880109B2 (en) | 2014-07-09 | 2018-01-30 | Samsung Display Co., Ltd. | Vision inspection apparatus and method of detecting Mura thereof |
CN111223091A (en) * | 2020-02-19 | 2020-06-02 | 凌云光技术集团有限责任公司 | AOI editable line defect classification method and system based on enterprise GMQM |
CN116912256A (en) * | 2023-09-14 | 2023-10-20 | 山东大昌纸制品有限公司 | Corrugated paper rib defect degree assessment method based on image processing |
-
2003
- 2003-01-08 JP JP2003001747A patent/JP2004212311A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006098126A (en) * | 2004-09-28 | 2006-04-13 | Toyota Motor Corp | Work surface flaw inspection device |
JP2009538057A (en) * | 2006-05-17 | 2009-10-29 | クゥアルコム・インコーポレイテッド | Line or text-based image processing tool |
US8306336B2 (en) | 2006-05-17 | 2012-11-06 | Qualcomm Incorporated | Line or text-based image processing tools |
KR100837459B1 (en) | 2006-06-30 | 2008-06-12 | 가부시끼가이샤 도시바 | Image pickup method of display panel and image pickup apparatus of display panel |
JP2009122690A (en) * | 2007-03-29 | 2009-06-04 | Sharp Corp | Reduction method of mura defect and display |
JP2011158717A (en) * | 2010-02-01 | 2011-08-18 | Sharp Corp | Display device, luminance unevenness correction method, correction data creation device, and correction data creation method |
CN102901617A (en) * | 2011-07-28 | 2013-01-30 | 致茂电子股份有限公司 | Multipoint optical measurement device and measurement method thereof |
JP2013190357A (en) * | 2012-03-14 | 2013-09-26 | Dainippon Printing Co Ltd | Unevenness information generation device, unevenness information generation program, and unevenness information generation method |
JP2015049095A (en) * | 2013-08-30 | 2015-03-16 | 株式会社トプコンテクノハウス | Unevenness measuring method and unevenness measuring device |
US9880109B2 (en) | 2014-07-09 | 2018-01-30 | Samsung Display Co., Ltd. | Vision inspection apparatus and method of detecting Mura thereof |
WO2016070541A1 (en) * | 2014-11-03 | 2016-05-12 | 中兴通讯股份有限公司 | Self-adaptive adjustment method and device of projector, and computer storage medium |
US9877000B2 (en) | 2014-11-03 | 2018-01-23 | Zte Corporation | Self-adaptive adjustment method and device of projector, and computer storage medium |
JP2016204192A (en) * | 2015-04-20 | 2016-12-08 | 住友金属鉱山株式会社 | Method for detecting timing of executing seeding, and method for manufacturing single crystal |
CN111223091A (en) * | 2020-02-19 | 2020-06-02 | 凌云光技术集团有限责任公司 | AOI editable line defect classification method and system based on enterprise GMQM |
CN116912256A (en) * | 2023-09-14 | 2023-10-20 | 山东大昌纸制品有限公司 | Corrugated paper rib defect degree assessment method based on image processing |
CN116912256B (en) * | 2023-09-14 | 2023-11-28 | 山东大昌纸制品有限公司 | Corrugated paper rib defect degree assessment method based on image processing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7978903B2 (en) | Defect detecting method and defect detecting device | |
JP2004294202A (en) | Defect detection method and device of screen | |
WO2007074770A1 (en) | Defect inspection device for inspecting defect by image analysis | |
JP2008170325A (en) | Stain flaw detection method and stain flaw detection device | |
US7561751B2 (en) | Image processing method | |
JP2007285754A (en) | Flaw detection method and flaw detector | |
CN108090890B (en) | Inspection device and inspection method | |
JP2004212311A (en) | Method and apparatus for detecting unevenness defect | |
JP2005172559A (en) | Method and device for detecting line defect on panel | |
JP2009229197A (en) | Linear defect detecting method and device | |
JP2009036582A (en) | Inspection method, inspection device and inspection program of plane display panel | |
JP2005249415A (en) | Stain defect detecting method and stain defect detector | |
JP4244046B2 (en) | Image processing method and image processing apparatus | |
JP2004239733A (en) | Defect detection method and apparatus of screen | |
JP2005165387A (en) | Method and device for detecting stripe defective of picture and display device | |
JP2006258713A (en) | Method and apparatus for detecting stain defect | |
JP2005164565A (en) | Defect detection method for flat panel light- related plate element in low and high resolution images | |
JP2005345290A (en) | Streak-like flaw detecting method and streak-like flaw detector | |
JP3695120B2 (en) | Defect inspection method | |
JP2005283197A (en) | Detecting method and system for streak defect of screen | |
JP2004226272A (en) | Method and apparatus for detecting stain defect | |
JP2008070242A (en) | Noise-removing method and apparatus, unevenness defect inspecting method and apparatus | |
JP2004219176A (en) | Method and apparatus for detecting pixel irregulality failing | |
KR101993654B1 (en) | Inspecting apparatus mura of display panel and method thereof | |
JP2005140655A (en) | Method of detecting stain flaw, and stain flaw detector |