JP2005164565A - 低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法 - Google Patents

Abstract

【課題】コンピュータービジョン技術と高速映像処理アルゴリズムを利用して、低解像度および高解像度映像におけるフラットパネル用光関連板の欠陥検出方法を提供する。
【解決手段】低解像度映像における欠陥検出は、全体的な輝度変化による誤検出を補正するためにのブロックに分割し、イメージを平滑化し、その映像を臨界値と比較して範囲外の時に非正常画素と判別し、非正常画素が少なくとも二つ以上群集されている時は斑と判別する。高解像度映像における欠陥検出は、映像が周期的なパターンを含む場合、そのパターンを除去し、その映像を臨界値と比較して範囲外の時には非正常画素と判別し、非正常画素らを隣接した画素ら同士グルーピングしその隣接画素らの映像が不良画素数と所定の輝度基準以下の不良に該当する場合、ポイント欠陥と処理し、グルーピングされた画素らが不良画素数と所定の輝度基準より高い不良に該当する場合、異物欠陥と処理する。
【選択図】図１

Description

本発明はフラットパネル用半製品または完製品の自動検査のための映像処理アルゴリズムに関し、既存の肉眼検査に依存する検査工程を高度のコンピュータービジョン技術と高速映像処理アルゴリズムを利用して実時間で再現性あるよう処理することにより、生産性の向上のみならず効率的な品質管理を可能にする低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法に関する。

現在、LCD、PDPなどのフラットパネルはガラス基板や光学紋様板などの光関連板要素を積層／含み構成され、その光関連板要素それぞれまたは積層された状態によって製造過程中で諸種の不良が現れる。即ち、画面の色が均一でなく塵付着、クラック、スクラッチなどの欠陥（疵)により点欠陥、線欠陥、ブロック形態などの特定形態の斑性不良が現れるようになる。

このような光関連板要素の不良を判別するには通常肉眼により検査して判別しているため、検査の生産性と正確性が低下するのみならず、多くの費用が費やされ、不良検出時に再現性が不足である。従って、客観的でありながらも費用節減効果を得るためには自動検査システムの導入が必ず必要である。

このように自動検査システムは、高度のコンピュータービジョン技術と高速映像処理アルゴリズムを利用して実時間で再現性あるよう処理することにより、生産性の向上のみならず効率的な品質管理が可能になる。しかし、低解像度で映像を得て映像処理を利用するにおいて、幾つの困難が伴うが、第一、パネル自体の輝度レベルが全面に亘って非線形的に現れ、パネルに信号が印加された後にも活性化時間によって輝度分布が変わるようになるのである。第二、背景照明（back light)の位置と拡散シートなどの内部構造によりモデル別に夫々異なる映像特性を有するようになる。このような困難に因り一般的な映像分割技法を適用するのが難しい。

本発明はフラットパネル用半製品または完製品の自動検査のための映像処理アルゴリズムに関するもので、既存の肉眼検査に依存する検査工程を高度のコンピュータービジョン技術と高速映像処理アルゴリズムを利用して実時間で再現性あるよう処理することにより、生産性の向上のみならず効率的な品質管理を可能にする低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法を提供することにその目的がある。

検査が可能なFPD製品群はＴFＴ‐LCD完製品およびBLU，拡散板などのLCD半製品、有機EL、PDPなどであり、その外にもIＴO Glass、光学Film系列にも適用が可能である。本発明では人間の視覚特性を考慮して多重解像度を利用した検査方法を適用した。輝度差が少なく比較的に広い領域を有する斑性不良検出のためには例えば300μm/pixel程度の相対的な低解像度映像を利用し、画素単位の不良を検出するために例えば25μm/pixel程度の高解像度映像を利用して効率的に処理するようにした。また、実時間処理を考慮して高速処理が可能なアルゴリズムを使用した。

このような目的を達成するために低解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法は、入力された映像内部の全体的な輝度変化による誤検出を補正するために多数のブロックに分割し、分解された各ブロックの画素値の平均を望む平均値で代替するイメージ平滑化段階およびイメージが平滑化された映像を設定された上下の臨界値と比較してその範囲外の時に非正常画素と判別し、その非正常画素が少なくとも二つ以上群集されている非正常画素は斑と判別する斑判別段階を含み構成されることを特徴とする。

また、本発明は、高解像度で映像を得て映像処理により不良を検出するにおいて、ポイントディファレンス（Point Difference)とオプチマルツレソルディング（optimal thresholding)を利用してサブピクセル単位の不良画素、特に、フラットパネル用光関連板要素のポイント欠陥および異物欠陥を自動で検出し得るフラットパネル用光関連板要素のポイント欠陥および異物欠陥検出方法を提供する。

その検出方法は、多数の画素の映像を高解像度で得て映像処理により不良を検出するためのフラットパネル用光関連板要素の欠陥検出方法において、得られた映像が周期的なパターンを含む場合、その映像から周期的に繰り返られるパターンを除去する段階；得られた映像またはパターンが除去された映像を既設定された上下の臨界値と比較してその範囲外の時に非正常画素と判別する画素不良判別段階；前記非正常画素を隣接した画素同士グルーピングしてグルーピングされた隣接画素の映像が不良画素数と所定の輝度基準以下の綺麗な不良に該当する場合、該当グルーピングされた非正常画素を前記フラットパネル用光関連板要素のポイント欠陥と処理し、グルーピングされた画素が不良画素数と所定の輝度基準より高いむさくるしい不良に該当する場合、グルーピングされた非正常画素を前記フラットパネル用光関連板要素の異物欠陥と処理する欠陥種類判別段階を含み構成されることを特徴とする。

検査が可能なフラットパネル用光関連板要素は、TFT-LCD完製品およびBLU、拡散板などのLCD半製品、有機EL、PDPなどであり、その外にもITO Glass、光学Film系列にも適用が可能である。フラットパネル用製品群に関連された映像は得難いのみならず映像内部で非線形的な輝度変化を有するため、映像改善のための前処理と後処理技術、実時間検査のための高速検査アルゴリズムの使用を特徴とする。

以上説明したように本發明の低解像度および高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法によれば、既存の肉眼検査に依存する検査工程を高度のコンピュータービジョン技術と高速映像処理アルゴリズムを利用して実時間で再現性あるよう処理することができる。つまり生産性の向上のみならず効率的な品質管理を可能になる。

以下、添付図面を参照して本発明の望ましい実施例を詳細に説明する。

図１は低解像度映像におけるフラットパネル用光関連板要素の斑性欠陥の欠陥検出方法のフロー図を示し、図面によれば、本発明のフラットパネル用光関連板要素の斑性欠陥検出方法は、基本的にはイメージ平滑化段階（段階S3)と斑判別段階（段階S4)を含み構成され、望ましくはモデル別正規化（段階S2)、領域拡張段階（段階S5)、誤領域除去段階（段階S6)を含み構成される。

イメージ平滑化（image flattening)段階（段階S1)は、入力された映像内部の全体的な輝度変化による誤検出を補正するための段階で、この段階では入力された映像が多数のブロックに分割され、分割された各ブロックの画素値の平均が望む平均値で代替される。即ち、入力映像の座標（ｉ，ｊ)の画素値をｆ（ｉ，ｊ)とするとき、平滑化された入力映像の画素値ｆ′（ｉ，ｊ)は、〔Ｋ＋｛ｆ（ｉ，ｊ)−Ｍ｝〕により算定される。ここで、Ｍは該当ラインの画素値の平均であり、Ｋはイメージ平滑化した後の望む平均値であり、二次元演算を単純化するために横方向と縦方向に分離されて行われる。

このように、イメージが平滑化された映像は、斑判別段階で既設定された上下の臨界値と比較してその範囲外の時に非正常画素と判別され、その非正常画素が少なくとも二つ以上群集されている非正常画素は斑と判別される。この際、その非正常画素の判別はブロック単位で行われるのが望ましい。即ち、特定な大きさのブロックに映像を分割してブロック内部の統計値を基に既設定された検出強度により自動でブロック別臨界値を設定してブロック別に不良を判別するのである。このようにブロック内部の統計値を基に自動で臨界値を設定してくれるアダプチブマルチレベルツレソルディング（Adaptive multi-level thresholding）アルゴリズムを使用するのが望ましい。このアダプチブマルチレベルツレソルディングアルゴリズムは、強い欠陥の影響で局部的な窓（local window)内部の弱い欠陥が検出されない現象を補完するために二重に行われるが、ブロック内部でヒストグラム分布で平均から統計的数値を考慮して二つの臨界値を自動で設定する。即ち、臨界値（V_ＴH)は式[ｍ_e±kσ]により決定され、ここで、ｍ_eは予測されたブロックの平均明度値であり、σは現在ブロックの標準偏差を示す。そして、ｋ値は検出強度を調整するための使用者パラメーターである。

一方、前記イメージ平滑化段階以前にモデル別に入力映像が一定な平均値と分散値を有するためには段階S1の入力映像を正規化するモデル別正規化段階（段階S2)が必要である。そのモデル別正規化段階は、〔ｍ_d＋（I−ｍ)σ_d/σ〕により正規化された画素値（I_N)を求めることにより成され、ここで、I，ｍ，σは原映像の画素値、平均値および標準偏差を示し、ｍ_dとσ_dは望む平均値と標準偏差を夫々示す。また、前記斑判別段階以後に得られた斑で、斑の全体領域が全て取られるように検出された斑を利用して斑の領域を拡張する段階（段階S5)が行われる。

その領域拡張段階（段階S5)は、検出された斑をシード領域に抽出する段階；そのシード領域の最小外接四角形（MBR)（４辺の直線方程式)を求める段階；その最小外接四角形（MBR)を各辺方向別に１ラインずつ拡張する段階；その拡張部分の画素値を読取る段階；読取った画素値をシード領域と対比して類似時にはシード領域に編入してそのシード領域を拡張する段階；そして、前記の段階を繰り返してそれ以上シード領域が拡張されないときに前記最小外接四角形（MBR)の情報を拡張されたシード領域の最小外接四角形（MBR)に更新する段階を含み構成される。

前記領域拡張段階以後に、斑の最小外接四角形（MBR)の２倍に該当する四角形（背景)の平均値と最小外接四角形（MBR)の平均値を対比して類似の場合には誤領域と判断して斑から除去する誤領域除去段階（段階S６)が行われることにより、誤領域が除去された実際斑情報だけが抽出されるようになり、段階S7および段階S8で実際斑情報が分析された後、その結果は出力・貯蔵される。このようにして自動で斑性欠陥を検出することにより、一層効率的で正確な検出を行うことができるようになる。

図２は、高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法のフロー図を示し、フラットパネル用光関連板要素のポイント欠陥および異物欠陥等の欠陥検出方法は、画素不良判別段階S3’と欠陥種類判別段階S4’を含み構成される。

その画素不良判別段階では、映像入力S1’によって得られた映像、またはパターンが除去された映像が、既設定された上下の臨界値と比較してその範囲外の時に非正常画素と判別される。この場合、その画素不良判別段階S3’は、特定な大きさのブロックに映像を分割してブロック内部の統計値を基に既設定された検出強度により自動でブロック別臨界値を設定してブロック別に不良を判別するのがより望ましい。即ち、映像獲得カメラとLCD，PDPなどのフラットパネルの光関連板要素自体の特性、雑音などの影響で明度値が影響を受けるため、外部影響に恒常性を有する臨界値の決定が必要であるのみならず、映像内部の輝度変化などを考慮して特定な大きさのブロックに映像を分割して不良を判別するのが望ましく、また、ブロック内部の統計値を基に自動で臨界値を設定してくれるアダプチブマルチレベルツレソルディング（Adaptive multi-level thresholding)アルゴリズムを使用するのが望ましい。そのアダプチブマルチレベルツレソルディングアルゴリズムは、強い欠陥の影響で局部的な窓（local window)内部の弱い欠陥が検出されない現象を補完するために二重に行われるが、ブロック内部でヒストグラム分布で平均から統計的数値を考慮して二つの臨界値を自動で設定する。即ち、臨界値（V_ＴH)は式〔ｍ_e±kσ〕により決定され、ここで、ｍ_eは予測されたブロックの平均明度値であり、σは現在ブロックの標準偏差を示す。そして、ｋ値は検出強度を調整するための使用者パラメーターである。

欠陥種類判別段階S4’では、前記画素不良判別段階で得られた非正常画素を隣接した画素同士グルーピングし、このようにグルーピングされた隣接画素の映像が不良画素数と所定の輝度基準以下に該当するかを判断S5’して、その基準以下に該当する場合、綺麗な欠陥として処理すると共にポイント欠陥S7’として分析処理し、これに該当しない場合、むさくるしい欠陥として処理すると共に異物（非ポイント）欠陥S6’として分析処理する。

一方、得られた映像が周期的なパターンを含む場合、即ち、LCD，PDPなどのフラットパネルで一つの画素は三つのサブピクセルR（Red)、G（Green)、B（Blue)で構成されている場合、高解像度（270〜300μmのピッチの画素を有するフラットパネルに対し25μmセルピッチのCCDカメラ)で映像を得て映像処理により不良を検出するためにはパターン除去段階S3’を画素不良判別段階以前に含み構成するのが必要である。そのパターン除去段階S3’では、得られた映像で現れるパターンの周期（Ｔx，Ｔｙ)を横・縦独立的に求めた後、ｘ軸およびｙ軸上で前記求められた周期（またはその整数倍)ほど離れている画素値との差（f（ｘ−Ｔｘ，ｙ)、ｆ（ｘ，ｙ−Ｔｙ））を利用して特定位置の画素値（f_diff（ｘ，ｙ))を決定する。例えば、パターンの周期（Ｔｘ，Ｔｙ)を求める方法の一例として前記パターンの周期（Ｔｘ，Ｔｙ)は、特定大きさのブロック（映像の中間ブロック)を上下/左右へ動かしながらブロックの輝度値の差をMSE（Mean Square Error：Σ（ｙ_ｉ−ｙ'_i)^２/ｎ)にした最も小さいMSE値を有するときブロック間の間隔で決定する。この際、図３における左辺と上辺はその以前の左や上のブロック値がないため、一側の周期だけを求めるときに適用する。その後、ｘ軸およびｙ軸上で前記求められた周期（またはその整数倍)ほど離れている画素値との差（ｆ（ｘ−Ｔｘ，ｙ），ｆ（ｘ，ｙ−Ｔｙ））を利用して特定位置の画素値（f_diff （ｘ，ｙ))を決定することにより、原映像から周期的に繰り返られるパターンを除去した映像を得るようになる。この際、パターンが除去された特定位置の画素値（f_diff（ｘ，ｙ))は、｛diff[f（ｘ，ｙ)，f（ｘ−Ｔｘ，ｙ)，f（ｘ，ｙ−Ｔｙ)]＋DCbias｝により決定される。ここで、Ｔxは横パターンの周期、Ｔｙは縦パターンの周期であり、関数diff[f]はdiff（a，b，ｃ)＝[（a−b)^ｋ＋（a−c)^ｋ]^１/ｋにより定義され、ｋは１以上にして画素値の差を拡大するか１未満にして画素値の差を縮小するための変更および設定が可能な値である。また、前記DCbiasは負数を除去するための一定な値である。例えば、８ビットを一つの画素に割り当てるとき256グレイスケールで輝度が区別され、目に敏感な中間の128に該当する輝度信号を印加するのが望ましい。このように、輝度信号を印加しても全画面の輝度が異に現れ、また、種別によっても輝度が異になるため、diff[f（ｘ，ｙ)，f（ｘ−Ｔx，ｙ)．f（ｘ，ｙ−Ｔｙ)]は負数の値を有することができる。従って、例えば、グレイスケールで128に該当する値をDCbiasにして加えることにより、負数の発生を排除し、パターンだけを除去した状態の映像を得られるようになる。

このようにして得られた映像から周期的に繰り返られるRGBなどのパターンが除去されてそのパターンが除去された映像を容易で効果的に映像処理をすることができるようになり、これによって欠陥を効率的に検出することができるようになる。

このように、画素値の差による映像（ディファレンス映像)を生成したときには、検出された欠陥の候補にはアルゴリズム特性上実際欠陥でないゴースト（ghost)が必ず存在するようになるが、このようなゴーストを除去するためには、前記画素不良判別段階以後で欠陥種類判別段階以前に検出された不良画素から、前記画素値の差を求めるときの方向と逆方向へパターンの周期（Ｔx，Ｔｙ)、またはその倍数ほど離れている画素と比較してゴーストを除去する段階S4’を含むのが望ましい。

本発明の一実施例により低解像度映像における定型斑を検出する低解像度映像上でのフラットパネル用光関連板要素の欠陥検出方法のフロー図である。 本発明の別の実施例により高解像度映像におけるポイント欠陥および異物欠陥を検出する高解像度映像でのフラットパネル用光関連板要素の欠陥検出方法のフロー図である。 映像の縁におけるパターン除去方法を示した図面である。 高解像度で得たR，G，Bパターン映像を示した図面である。 本発明の方法を利用してパターンを除去した映像を示した図面である。

Claims (7)

1. フラットパネル用光関連板要素から映像を得て映像処理により不良中定型性斑を検出するための低解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法において、
   入力された映像内部の全体的に現われる非線形的輝度変化による誤検出を補正するために線形性が保障される大きさの多数のマクロブロックに分割し、分割された各マクロブロック内部の画素値が有するｘ軸、ｙ軸方向の線形的輝度変化を除去するイメージ平滑化段階；および
   イメージが平滑化された映像を既設定された上下の臨界値と比較してその範囲外の時に非正常画素と判別し、その非正常画素が少なくとも二つ以上群集されている非正常画素は斑と判別する斑判別段階を含み構成されることを特徴とする低解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法。
2. 前記イメージ平滑化段階は、入力映像の座標i，jの画素値をf(i，j)とするとき、平滑化された入力映像の画素値f(i，j)は、〔K＋{f(i，j)−M}〕により算定され、ここで、Mは該当ラインの画素値の平均であり、Kはイメージ平滑化した後の望む平均値であり、二次元演算を単純にするために横方向と縦方向に分離されて行われることを特徴とする請求項１記載の低解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法。
3. 前記斑判別段階において、非正常画素の判別は、ブロック単位で行われ、特定な大きさのブロックに映像を分割してブロック内部の統計値を基に既設定された検出強度により自動でブロック別臨界値を設定してブロック別に不良を判別することを特徴とする請求項１記載の低解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法。
4. 少なくともサブピクセルで構成されている画素の映像を高解像度で得て映像処理により不良を検出するための高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法において、
   得られた映像上で現れるパターンの周期(Tx，Ty)を縦・横独立的に求めた後、ｘ軸およびｙ軸上で前記求められた周期(またはその整数倍)ほど離れている画素値との差(f(ｘ-Tｘ，ｙ)，f(ｘ，ｙ-Ty))を利用して特定位置の画素値(f_diff(ｘ，y))を決定することにより、原映像から周期的に繰り返られるパターンを除去する段階を含み構成されることを特徴とする高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法。
5. 多数の画素の映像を高解像度で得て映像処理により不良を検出するための高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法において、
   得られた映像が周期的なパターンを含む場合、その周期またはその周期の倍数ほど離隔された画素値との差値で定められる特定位置の画素値(f_diff(ｘ，y))を利用して周期的に繰り返られるパターンを除去する段階；
   得られた映像またはパターンが除去された映像を既設定された上下の臨界値と比較してその範囲外の時に非正常画素と判別する画素不良判別段階；
   前記非正常画素を隣接した画素同士グルーピングしてグルーピングされた隣接画素の映像が不良画素数と所定の輝度基準以下の綺麗な不良に該当する場合、該当グルーピングされた非正常画素を前記フラットパネル用光関連板要素のポイント欠陥と処理し、グルーピングされた画素が不良画素数と所定の輝度基準より高いむさくるしい不良に該当する場合、該当グルーピングされた非正常画素を前記フラットパネル用光関連板要素の異物欠陥と処理する欠陥種類判別段階を含み構成されることを特徴とする高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法。
6. 前記特定位置の画素値(f_diff(ｘ，y)は、diff(a，b，c)＝〔(a−b)^ｋ＋(a−c)^ｋ〕^1/kにより定義される関数を利用してf_diff(ｘ，y)＝diff〔f(ｘ，y)，f(ｘ−Tx，y)，f(ｘ，y−Ty)〕＋DCbiasにより決定され、ここで、Txは横パターンの周期であり、Tyは縦パターンの周期であり、DCbiasは負数を除去するための目的の一定な値であり、ｋは１以上にして画素値の差を拡大するか１未満にして画素値の差を縮小するための変更設定可能な値であることを特徴とする請求項４または５記載の高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法。
7. 前記特定位置の画素値(f_diff(ｘ，y))は、 diff(a，b，c)＝〔(a−b)^ｋ＋(a−c)^ｋ〕^1/kにより定義される関数を利用してf_difff (ｘ，y)＝diff〔f(ｘ，y)，f(x−Tx，y)，f(ｘ，y−Ty)〕＋DCbiasにより決定され、ここで、Txは横パターンの周期であり、Tyは縦パターンの周期であり、DCbiasは負数を除去するための目的の一定な値であり、ｋは１以上にして画素値の差を拡大するか１未満にして画素値の差を縮小するための変更設定可能な値であり；
   前記画素不良判別段階以後、欠陥種類判別段階以前に検出された不良画素から前記画素値差を求めるときの方向と反対方向へパターンの周期(Tx，Yy)またはその倍数ほど離れている画素と比較してゴーストを除去する段階を含むことを特徴とする請求項５記載の高解像度映像におけるフラットパネル用光関連板要素の欠陥検出方法。
   
   

Images