JP2003510568A - パターン比較によるｌｃｄ検査方法およびｌｃｄ検査装置 - Google Patents

Abstract

(57)【要約】 本発明は、液晶ディスプレイ（ＬＣＤ）用の自動化されたビジョン検査の方法および装置を開示している。画像欠陥は検査中のＬＣＤパネルによって表示された画像をＬＣＤパネルが表示するように仮定されるテンプレート画像と比較することによって検出される。検査中のＬＣＤパネル１０は検査プラットホーム１６上に緩く置かれる。検査アルゴリズムは、ＬＣＤパネル１０上に現れるパターンの２次元画像を発生するように物体の姿勢および画像遠近の作用を補正する。次に、２つのパターンがエラー画像を得るように引き算される。そして、エラー画像から、パターン不一致がＬＣＤ欠陥を検出するために各ピクセル位置において評価される。

Description

【発明の詳細な説明】

【０００１】 （技術分野） 本発明は、テンプレートパターンに対する検査中の液晶ディスプレイ（ＬＣＤ
）によって生成されるパターンをチェックすることによってＬＣＤの検査を行う
ＬＣＤマシンビジョン方法に関する。

【０００２】 （背景技術） ＬＣＤパネルは、一般に、使用者にメッセージを送るための画像およびテキス
トを表示する電子デバイスにおいて使用されている。ＬＣＤパネルにおいては、
ＬＣＤセルが物理的に損傷されることがあり、その結果、好ましくない輝度の出
力を表示する。また、ＬＣＤセルは、欠陥のある配線または損傷されたメモリチ
ップにより好ましくない輝度を出力することもある。

【０００３】 ＬＣＤパネルは、品質管理のために、適切な動作を保証するようにチェックさ
れる。現在、ＬＣＤパネルの検査は、一般に、人間の操作によって行われている
。人間による検査の主な利点は、種々の型のＬＣＤ欠陥に対するその万能の可能
性があるという点である。しかしながら、人間による操作では、検査の一貫性は
時間の経過で変化する可能性がある。また、疲れ目により、稀に小さい欠陥が見
落とされる場合もある。したがって、ＬＣＤパネル上の欠陥を自動的に検出する
ための検査システムを開発する必要がある。

【０００４】 従来、自動化されたＬＣＤ検査方法の大部分は、ＬＣＤセルの電気的チェック
に依存していた。この方法の例としてアメリカ合衆国特許第５，５２８，１６３
号（タカハシ）に開示されているものがある。この方法では、ＬＣＤが電気的調
査のための組み立て前の状態にある必要がある。ＬＣＤパネルが最終的にメイン
電子デバイスと組み立てられて統合されるとき、適切な統合をチェックするため
に、他の試験が必要とされる。本発明において、我々は、最終的に統合された製
品上のＬＣＤパネルの視覚的検査に焦点を合わせている。

【０００５】 ＬＣＤ検査の１つの技術はパターン比較である。２つの画像、すなわち、理想
のＬＣＤの捕捉された画像と検査中のＬＣＤの画像とは差を得るように引き算さ
れる。２つのパターン間のあらゆる不一致は、ＬＣＤセルの欠陥または統合の欠
陥であるＬＣＤセット中の欠陥を示す。この段階において生じる１つの重要な課
題は、検査プラットホーム上へのＬＣＤセットの誤配置である。ＬＣＤセットの
誤配置は、引き算中の２画像間のパターン誤配列を引き起こし、その結果、偽の
警報を引き出すことになる。

【０００６】 また、多くの自動化されたビジュアルＬＣＤ検査装置は、ＬＣＤパネルの無視
できる配置誤差を想定し、その配置誤差に対する補間を行っていない。これらの
方法の一例として、アメリカ合衆国特許第４，８７０，３５７号（ヤング等）に
開示されているものがあるが、検査プラットホーム上にＬＣＤセットを高精度で
繰り返し配置していくことを保証することは、コスト的にも技術的にも難しい。
したがって、精度の良い配置装置を使用する代わりに、引き算用パターンを一直
線に配列するのが望ましい。

【０００７】 アメリカ合衆国特許第４，９４２，５３９号（マックジー等）には、３次元物
体の姿勢測定の一般的な方法が開示されている。この方法は、検査中のＬＣＤセ
ットの姿勢を測定し、測定された画像からその２次元パターンを再構成すること
でＬＣＤの誤配列という現在の課題に適用することができる。しかしながら、こ
の方法は高い精度の３次元構造を持つカメラの為の校正段階が必要になる。また
、この構造は構成にコストがかかり、装置全体が慎重な設定を必要としてしまう
。

【０００８】 アメリカ合衆国特許第５，６９６，５５０号（アオキ等）には、直線補間法を
用いた姿勢および遠近補正の方法が開示されている。これには、非直線遠近変換
の直線近似が用いられている。この方法は有効であるが近似誤差を含んでいる。

【０００９】 引き算に伴われる２つの画像のパターンは、引き算が実行される前に共通の基
準フレーム上に配列される必要がある。このように配列する方法は、物体の姿勢
および画像の遠近法の作用を考慮する必要がある。次に、引き算の残部は、パタ
ーンの差異のない領域からパターンの差異のある領域間を、かつ、偽の残部（画
像誤配列および雑音によるもの）から実際の残部（パターン不一致によるもの）
間を識別するように分析することが必要である。

【００１０】 （発明の開示） 姿勢および遠近の作用を補正するために、画像中のＬＣＤパターンは理想的な
矩形に作図される。その画像点にワールドポイントを関連付けるカメラモデルは
、上記作図を引き出すのに使用される。ワールド座標において特定される理想の
矩形は画像比較用の共通の基準フレームを備える。そして、全ての画像は、引き
算の前に画像座標から共通の基準フレームへ変換される。

【００１１】 エラースコアが画像引き算の結果として生じる画像上のあらゆる点において評
価される。画像の僅かな誤配列による引き算残部を明らかにするために、元の画
像パターンのコントラスト情報が、高いコントラスト領域のまわりのエラースコ
アを抑制するために使用される。

【００１２】 すなわち、本発明は、液晶ディスプレイ（ＬＣＤ）によって表示されたパター
ン中の欠陥を検出するＬＣＤ検査方法であって、前記ＬＣＤ上にパターンを生成
するステップと、前記ＬＣＤのパネル全体を含んでいるカメラ画像を生成するス
テップと、前記カメラ画像中の少なくとも４つの同一直線上にない特徴点の位置
を測定するステップと、前記カメラ画像の座標系と３次元空間中の平面上の２次
元座標系との間の変換パラメータを測定するステップと、前記カメラ画像を前記
平面に変換するステップと、エラー画像を生成するように、テンプレートパター
ンから前記変換された画像を引き算するステップと、パターンの欠陥に関して前
記エラー画像の残部を評価するステップとを備えることを特徴とする。

【００１３】 また、本発明は、液晶ディスプレイ（ＬＣＤ）によって表示されたパターン中
の欠陥を検出するためのＬＣＤ検査用ビジョンシステムであって、前記ＬＣＤ上
にパターンを生成するＬＣＤパネルドライバと、前記ＬＣＤのパネル全体を含ん
でいるカメラ画像を生成するＣＣＤカメラと、前記カメラ画像中の少なくとも４
つの同一直線上にない特徴点の位置を測定する手段と、前記カメラ画像の座標系
と３次元空間中の平面上の２次元座標系との間の変換パラメータを測定する手段
と、前記カメラ画像を前記平面に変換する手段と、エラー画像を生成するように
テンプレートパターンから前記変換された画像を引き算する手段と、パターンの
欠陥に関して前記エラー画像の残部を評価する手段とを備えることを特徴とする
。

【００１４】 また、本発明の他の形態は以下の通りである。 上述したＬＣＤ検査方法またはＬＣＤ検査用ビジョンシステムにおいて、前記
特徴点が、前記ＬＣＤのフレームの隅部点である。

【００１５】 上述したＬＣＤ検査方法またはＬＣＤ検査用ビジョンシステムにおいて、前記
平面が、３次元空間のＸＹ平面に対して平行な平面である。

【００１６】 上述したＬＣＤ検査方法またはＬＣＤ検査用ビジョンシステムにおいて、前記
ＸＹ平面が、前記ＬＣＤパネルと一致する平面である。

【００１７】 上述したＬＣＤ検査方法において、前記テンプレートパターンが、理想のＬＣ
Ｄパターンのカメラ画像から前記平面への前記変換によって生成される。また、
ＬＣＤ検査用ビジョンシステムにおいて、前記テンプレートパターンが、理想の
ＬＣＤパターンのカメラ画像を前記平面へ変換する変換手段によって生成される
。

【００１８】 上述したＬＣＤ検査方法において、前記引き算するステップが処理の結果とし
て差の絶対値をとる。また、ＬＣＤ検査用ビジョンシステムにおいて、前記引き
算する手段が処理の結果として差の絶対値を取る。

【００１９】 上述したＬＣＤ検査方法において、前記評価するステップが、テンプレート画
像中のピクセルに関するコントラスト情報を計算するステップを含んでいる。ま
た、ＬＣＤ検査用ビジョンシステムにおいて、前記評価する手段が、テンプレー
ト画像中のピクセルに関するコントラスト情報を計算する手段を含んでいる。

【００２０】 （発明を実施する為の最良の形態） まず、検査がオンラインに置かれる前に、良好なＬＣＤパネルによって生成さ
れた全てのテンプレートパターンが捕捉される。これらのテンプレートパターン
は検査中のＬＣＤパネルによって生成された画像と比較される。ここで、検査中
のＬＣＤパネルの捕捉された画像を試験画像という。検査中のＬＣＤセットの姿
勢は検査プラットホーム上で固定されない（不安定になる）ことがある。したが
って、比較中のテンプレートパターンと試験画像の両方は、引き算の前に整列用
の共通の基準フレームに変換される必要がある。そして、画像引き算後、残部の
エラーの画像が生成され、この画像をエラー画像という。残部のエラーの範囲を
測定する獲得式がエラー画像上のピクセルごとに評価される。そして、この獲得
式により、予め設定されたしきい値レベルより高い獲得値を有するピクセルは欠
陥があると判断される。

【００２１】 図１は現行の発明のために設定された装置を示している。ＬＣＤパネル１０は
カラーカメラ１３に向かい合って、検査プラットホーム１６上に置かれている。
コンピュータ１５はＬＣＤパネル１０上にパターンを表示するようにＬＣＤパネ
ルドライバ１２に指示する。ＬＣＤパネル１０上に表示されたパターンは、カメ
ラ１３によって捕捉され、コンピュータ１５に送られる。コンピュータ１５はＬ
ＣＤパネル１０上のあらゆる欠陥を検出するための検査プログラムを実行する。
記憶ユニット１４には比較用のテンプレート画像が記憶されている。検査アルゴ
リズムを示すフローチャートが図２に示されている。フローチャート中の工程を
以下に説明する。

【００２２】 隅部検出（工程２０） 画像座標と共通の基準フレームとの間のマッピングを行うために、ＬＣＤパネ
ルの４つの隅部点が画像に配置され、理想の矩形に作図される。隅部点検出のた
めに、ＬＣＤパネルは均一の白いパターンにより照明されている。ＬＣＤのまわ
りのケースは比較的暗くなっているため、ＬＣＤパネルの縁部は容易に検出する
ことができる。隅部点は、隅部を形成するＬＣＤパネルの２辺の２つの線の式を
確認し、これに続いて、これら２つの線間の交差点を計算することによって検出
する。図３において、Ｓ１ およびＳ２ は頂部左隅部の２辺を形成している。Ｌ
ＣＤパネルの各辺は、辺Ｓ１ 上の点ＡおよびＢのように、ＬＣＤパネルの辺に
２つの点を見い出すことによって決定する。各点は、ＬＣＤパネルの予想された
辺を横切るように位置決めされた線に沿う輝度の変化を探すことによって検出す
る。これら２つの点はそれらを通過する線の式を決定する。より良好な精度のた
めに、矩形の辺を形成する２つの点を隅部点に近接して位置決めする。このよう
にすることで、不完全なレンズによる画像の歪みによって発生するエラーを最小
にできる。

【００２３】 ＤＬＴパラメータ計算（工程２１） 画像配列の技術は直接一次変換（ＤＬＴ）モデルに基づいている。この校正技
術に対する参考文献は、Y.I.Abdel-AzizおよびH.M.Kararaによる「近接領域写真
測量における比較器座標から物体空間座標への直接一次変換」（１９７１年１月
、イリノイ州アーバナ、近接領域写真測量に関するシンポジウム議事録、ページ
１〜１８）に見い出すことができる。

【００２４】 ＤＬＴモデルは、３次元空間の点が画像平面上の点にどのように作図されるか
を述べているものである。ＬＣＤパネルは平らであるので、３次元物体をＸＹ平
面に制限する（すなわち、Ｚ＝０を取る）ことにより、ＤＬＴマッピングは、

【００２５】

【数式１】 として表される。

【００２６】 ここで、（ｕ，ｖ）は画像座標であり、（Ｘ，Ｙ）はＸＹ平面上のその対応す
るワールド座標である。図４において、四辺形３１はカメラ画像によって捕捉さ
れたＬＣＤパターンである。カメラ画像上に検出された各隅部点は、理想のＬＣ
Ｄパネルを表している矩形３０の対応する隅部点に作図される。尚、矩形３０の
座標はＸＹ平面上に特定され、ＸＹ平面は画像引き算用の共通の座標系を備えて
いる。この矩形３０の寸法は使用者によって定義されるが、操作の容易のために
、この矩形３０の寸法は、画像バッファに作図する水平（Ｗ）および垂直（Ｈ）
ピクセルの整数に設定する。理想的には、矩形中の水平および垂直ピクセルの数
はＬＣＤパネルの解像度に等しくする。

【００２７】 式（１）および（２）において決定されるべき８個のパラメータがあり、それ
らはＡ₁₁，Ａ₁₂，Ａ₁₄，Ａ₂₁，Ａ₂₄，Ａ₃₁およびＡ₃₂である。カメラ画像とＸＹ
平面上の理想の矩形３０との間の隅部点の４つの作図は、ＤＬＴ式から８個の式
を生成する。これは決定されるべき８個のＤＬＴパラメータを与える。一般に、
少なくとも４つの非同一線上の特徴点が８個のパラメータを解くのに必要とされ
る。

【００２８】 画像変換（工程２２） 画像点（ｕ，ｖ）が与えられると、項ＸおよびＹは式（１）および（２）の左
辺に配列し直すことができ、ＸおよびＹは以下のようになる。

【００２９】

【数式２】

【００３０】 これら２つの式は、画像点（ｕ,ｖ）をＸＹ平面上の点へ変換するための逆変
換式を形成している。引き算が行われる画像は全てこの変換を受ける。

【００３１】 画像引き算（工程２３） テンプレート画像の変換された画像および試験画像は、エラー画像を得るため
に、ピクセルごとに引き算される。ここで、引き算の結果がマイナスの数値とな
るのを避けるために、残部としては、差の絶対値を得る。

【００３２】 エラースコア計算（工程２４） 装置雑音および計算の数値エラーにより、引き算による２つのパターンは完全
に配列されないことがある。このパターンの僅かな誤配列が、高い輝度コントラ
ストのピクセル位置においてエラー画像上に小さなエラー残部を発生する。した
がって、エラー残部の判断は、この状況を考慮し、エラー残部がパターン誤配列
によって生成されるものであるならば、高い輝度コントラスト位置において現れ
るエラー残部を許容する。

【００３３】 エラー画像上のピクセルごとに、引き算工程において生じた２画像間のピクセ
ル位置における差の範囲を示しているエラースコア値が付与される。予め設定さ
れたしきい値レベルより高いエラースコアはパターン欠陥を示している。エラー
スコアは以下のごとく定義される。

【００３４】 スコア（ｕ，ｖ）＝ｍａｘ｛ｈ_R（ｕ，ｖ）−αｃ_R（ｕ，ｖ），ｈ_G（ｕ，ｖ
）−αｃ_G（ｕ，ｖ），ｈ_B（ｕ，ｖ）−αｃ_B（ｕ，ｖ）｝・・・（５） ここで、 α＝２；目盛り付け（スケーリング）要因。 ｈ_R（ｕ，ｖ）＝座標（ｕ，ｖ）でのレッドバンドのエラー残部の大きさ。 ｈ_G（ｕ，ｖ）＝座標（ｕ，ｖ）におけるグリーンバンドのエラー残部の大き
さ。 ｈ_B（ｕ，ｖ）＝座標（ｕ，ｖ）でのブルーバンドのエラー残部の大きさ。 ｃ_R（ｕ，ｖ）＝ｍａｘ_i=1,,8｛Ｉ_R（ｕ，ｖ）−Ｎ_R,i（ｕ，ｖ）｝ ｃ_G（ｕ，ｖ）＝ｍａｘ_i=1,,8 ｛Ｉ_G（ｕ，ｖ）−Ｎ_G,i（ｕ，ｖ）｝ ｃ_B（ｕ，ｖ）＝ｍａｘ_i=1,,8 ｛Ｉ_B（ｕ，ｖ）−Ｎ_B,i（ｕ，ｖ）｝， である。更に、 Ｉ_R（ｕ，ｖ）＝テンプレート画像上の座標（ｕ，ｖ）でのレッド輝度レベル
。 Ｉ_G（ｕ，ｖ）＝テンプレート画像上の座標（ｕ，ｖ）でのグリーン輝度レベ
ル。 Ｉ_B（ｕ，ｖ）＝テンプレート画像上の座標（ｕ，ｖ）でのブルー輝度レベル
。 Ｎ_R,i（ｕ，ｖ）＝テンプレート画像上の（ｕ，ｖ）のｉ番目に接続された近
隣のレッド輝度レベル。 Ｎ_G,i（ｕ，ｖ）＝テンプレート画像上の（ｕ，ｖ）のｉ番目に接続された近
隣のグリーン輝度レベル。 Ｎ_B,i（ｕ，ｖ）＝テンプレート画像上の（ｕ，ｖ）のｉ番目に接続された近
隣のブルー輝度レベルである。

【００３５】 式（５）において定義されたエラースコアは、レッド、グリーンおよびブルー
バンドの輝度不一致およびピクセルのまわりの輝度コントラストを考慮して、ピ
クセルエラーの定量測定を定義したものである。項ｃ_R（ｕ，ｖ），ｃ_G（ｕ，ｖ
）およびｃ_B（ｕ，ｖ）はピクセルのまわりの輝度コントラストの測定として役
立つ。これらの項は、高い輝度コントラストのピクセル位置においてエラースコ
アの大きさを減少する。これはパターン誤配列による偽の警報の可能性を減少す
る。

【００３６】 （産業上の利用可能性） 本発明は、パターン比較によるＬＣＤ検査の全体的な方法および装置を提供す
る。画像配列上のモジュールは検査中のＬＣＤを検査プラットホーム上に緩く配
置させる。このモジュールは、遠近法の作用を補正しかつＬＣＤパネル上に現れ
るパターンの２次元画像を発生する。

【図面の簡単な説明】

【図１】 本発明に使用される装置を示す概略図である。

【図２】 現行の検査のアルゴリズムのフローチャートである。

【図３】 隅部点検出の工程を目視化するための画像中のＬＣＤパネルの隅部を示す図で
ある。

【図４】 画像中のＬＣＤパターンと理想のＬＣＤパネルを示している矩形との間の作図
を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 トン・コク・フア シンガポール国 400349、ナンバー05− 1039、ウビ アベニュー １、 ブロック 349 Ｆターム(参考） 2F065 AA49 AA61 BB02 CC00 FF04 FF61 GG09 JJ03 JJ09 JJ26 RR03 UU05 2G051 AA90 AB02 AC21 CA04 EA12 EA23 ED22 2G086 EE10 2H088 FA13 FA30 MA20 5B057 AA01 BA02 DA03 DB02 DB06 DB09 DC32

Claims (14)

【特許請求の範囲】
1. 【請求項１】 液晶ディスプレイ（ＬＣＤ）によって表示されたパターン中の
   欠陥を検出するＬＣＤ検査方法であって、 前記ＬＣＤ上にパターンを生成するステップと、 前記ＬＣＤのパネル全体を含んでいるカメラ画像を生成するステップと、 前記カメラ画像中の少なくとも４つの同一直線上にない特徴点の位置を測定す
   るステップと、 前記カメラ画像の座標系と３次元空間中の平面上の２次元座標系との間の変換
   パラメータを測定するステップと、 前記カメラ画像を前記平面に変換するステップと、 エラー画像を生成するように、テンプレートパターンから前記変換された画像
   を引き算するステップと、 パターンの欠陥に関して前記エラー画像の残部を評価するステップとを備える
   ことを特徴とするＬＣＤ検査方法。
2. 【請求項２】 前記特徴点が、前記ＬＣＤのフレームの隅部点であることを特
   徴とする請求項１に記載のＬＣＤ検査方法。
3. 【請求項３】 前記平面が、３次元空間のＸＹ平面に対して平行な平面である
   ことを特徴とする請求項１記載のＬＣＤ検査方法。
4. 【請求項４】 前記ＸＹ平面が、前記ＬＣＤパネルと一致する平面であること
   を特徴とする請求項３記載のＬＣＤ検査方法。
5. 【請求項５】 前記テンプレートパターンが、理想のＬＣＤパターンのカメラ
   画像から前記平面への前記変換によって生成されることを特徴とする請求項１記
   載のＬＣＤ検査方法。
6. 【請求項６】 前記引き算するステップが、処理の結果として差の絶対値をと
   ることを特徴とする請求項１記載のＬＣＤ検査方法。
7. 【請求項７】 前記評価するステップが、テンプレート画像中のピクセルに関
   するコントラスト情報を計算するステップを含んでいることを特徴とする請求項
   １記載のＬＣＤ検査方法。
8. 【請求項８】 液晶ディスプレイ（ＬＣＤ）によって表示されたパターン中の
   欠陥を検出するためのＬＣＤ検査用ビジョンシステムであって、 前記ＬＣＤ上にパターンを生成するＬＣＤパネルドライバと、 前記ＬＣＤのパネル全体を含んでいるカメラ画像を生成するＣＣＤカメラと、 前記カメラ画像中の少なくとも４つの同一直線上にない特徴点の位置を測定す
   る手段と、 前記カメラ画像の座標系と３次元空間中の平面上の２次元座標系との間の変換
   パラメータを測定する手段と、 前記カメラ画像を前記平面に変換する手段と、 エラー画像を生成するようにテンプレートパターンから前記変換された画像を
   引き算する手段と、 パターンの欠陥に関して前記エラー画像の残部を評価する手段とを備えること
   を特徴とするＬＣＤ検査用ビジョンシステム。
9. 【請求項９】 前記特徴点が、前記ＬＣＤのフレームの隅部点であることを特
   徴とする請求項８記載のＬＣＤ検査用ビジョンシステム。
10. 【請求項１０】 前記平面が、３次元空間のＸＹ平面に対して平行な平面であ
    ることを特徴とする請求項８記載のＬＣＤ検査用ビジョンシステム。
11. 【請求項１１】 前記ＸＹ平面が、前記ＬＣＤパネルと一致する平面であるこ
    とを特徴とする請求項１０記載のＬＣＤ検査用ビジョンシステム。
12. 【請求項１２】 前記テンプレートパターンが、理想のＬＣＤパターンのカメ
    ラ画像を前記平面への変換する変換手段によって生成されることを特徴とする請
    求項８記載のＬＣＤ検査用ビジョンシステム。
13. 【請求項１３】 前記引き算する手段が、処理の結果として差の絶対値を取る
    ことを特徴とする請求項８記載のＬＣＤ検査用ビジョンシステム。
14. 【請求項１４】 前記評価する手段が、テンプレート画像中のピクセルに関す
    るコントラスト情報を計算する手段を含んでいることを特徴とする請求項８記載
    のＬＣＤ検査用ビジョンシステム。