JP2005266042A - 画像の幾何補正方法及び補正装置 - Google Patents

Abstract

【課題】 ＣＣＤカメラで撮像して検査対象の画像に対し、空間的なズレやレンズの収差によるズレに対して確実に対処できる補正を行うことを目的とする。
【解決手段】 点灯した液晶パネル２の画像４を撮像して検査画像を取得する工程と、最外周が点灯した液晶パネルの画像を撮像して最外周点灯画像を取得する工程と、最外周点灯画像の四隅の座標値を取得する工程と、最外周点灯画像の四隅の座標値を前記検査画像の四隅の座標値として設定する工程と、前記検査画像の四隅の座標値と所定の方形領域の四隅の座標値とが一致するように前記検査画像を２次元射影変換を行い投影させて四隅と辺が歪曲補正された検査画像を生成する工程と、四隅と辺が歪曲補正された検査画像を画像変換処理により所望の大きさの方形領域まで投影させて収差を除去した検査画像を生成する工程とを有するものである。
【選択図】 図１

Description

本発明は、液晶パネルなどの表示デバイスの欠陥検査において、レンズ収差等による画像の歪みを自動的に補正する画像の幾何補正方法及び補正装置に関するものである。

画像処理による欠陥検査においては、欠陥検出の処理を行う前に、レンズ収差による影響を取り除く必要がある。
このようなレンズ収差による影響を取り除くものとして、従来の方法は画像データを内部又は外部の記録部に記録する際に、被写体の像の歪曲の程度を示す歪曲補正情報を、予め記憶されたディストーション情報に基づいて生成し、その歪曲補正情報を前記画像データに対応付けて記憶させることにより、非歪曲画像の取得を可能とするものである（例えば、特許文献１参照。）。

また、液晶パネルの画面をプロジェクタにより投射した画像をＣＣＤカメラで撮像して検査対象の画像とした場合の画像処理による欠陥検査では、液晶パネルを固定するための冶具の取付ズレ、プロジェクタの設置具合のズレ等による空間的なズレや、プロジェクタのレンズの投影による収差等のレンズの歪曲度合いのズレの影響を取り除く必要がある。

このような空間的なズレやレンズの歪曲度合いのズレの影響を取り除くものとして、従来より一般的に行われている方法は、検査対象の画像の四隅をの座標をパターンマッチング処理して四隅の座標を特定し、その座標が長方形の座標に合致するよう画像全体を拡げることにより、幾何学的変形による画像の補正処理を行うものである。

特開平２００３−２１９２４６号公報（第１頁、図１）

従来の特許文献１に記載の方法は、レンズの収差による影響に対して対処するようにしたものであり、レンズを交換する度に歪曲補正情報を生成するためのディストーション情報が異なるためにレンズに対応した全てのディストーション情報を記憶しておかなければならず、しかも空間的なズレには対処することができないという問題があった。

また、液晶パネルの画面をプロジェクタにより投射した画像をＣＣＤカメラで撮像して検査対象の画像に対する従来より一般的に行われている幾何学的変形による画像の補正処理方法では、検査対象の画像の四隅をパターンマッチング処理して四隅の座標を特定し、その座標が長方形の座標に合致するよう画像全体を拡げるため、空間的なズレに対処することができるが、レンズの収差によるズレについては、検査対象の画像の縁に点や線等の欠陥があるときに、その欠陥が見えなくなるためにレンズの収差に対する補正という点では信頼性がないという問題があるものであった。

そこで、本発明はかかる問題点を解消するためになされたもので、液晶パネルの画面をプロジェクタにより投射した画像をＣＣＤカメラで撮像して検査対象の画像に対し、空間的なズレやレンズの収差によるズレに対して確実に対処できる補正を行う画像の幾何補正方法及び補正装置を得ることを目的とする。

本発明に係る画像の幾何補正方法は、点灯した液晶パネルの画像を撮像して検査画像を取得する工程と、最外周が点灯した液晶パネルの画像を撮像して最外周点灯画像を取得する工程と、最外周点灯画像の四隅の座標値を取得する工程と、最外周点灯画像の四隅の座標値を前記検査画像の四隅の座標値として設定する工程と、前記検査画像の四隅の座標値と所定の方形領域の四隅の座標値とが一致するように前記検査画像を２次元射影変換を行い投影させて四隅と辺が歪曲補正された検査画像を生成する工程と、四隅と辺が歪曲補正された検査画像を画像変換処理により所望の大きさの方形領域まで投影させて収差を除去した検査画像を生成する工程とを有するものである。

このように構成したことにより、検査画像と最外周点灯画像を取得とを取得し、最外周点灯画像の四隅の座標値を取得したら、当該座標値を検査画像の四隅の座標値として設定し、その後に検査画像の四隅の座標値と所定の方形領域の四隅の座標値とが一致するように前記検査画像を２次元射影変換を行い投影させて四隅と辺が歪曲補正された検査画像を生成し、四隅と辺が歪曲補正された検査画像を画像変換処理により所望の大きさの方形領域まで投影させて収差を除去した検査画像を生成するようにしたので、最終的に生成された収差を除去した検査画像は、空間的なズレやレンズの収差によるズレによる歪曲を解消する補正を行った画像であり、その検査画像では液晶パネルが点灯している画像の縁に点や線の欠陥があったときに、その欠陥見えなくなることはなくなって欠陥検出を行うことができることとなった。

本発明に係る画像の幾何補正方法において、前記最外周点灯画像の四隅の座標値を取得する工程は、最外周点灯画像の各角に近いＹ軸方向の任意の位置より該角に向かう１画素毎にそれぞれＸ軸方向における所定数の画素分の輝度値を検出していき、それらの輝度値のうち、ある輝度値が上昇後に閾値以上で略一定となる変曲位置を角の所定のＹ座標位置におけるＸ座標値とし、最外周点灯画像の各角に近いＸ軸方向の任意の位置より該角に向かう１画素毎にそれぞれＹ軸方向における所定数の画素分の輝度値を検出していき、それらの輝度値のうち、ある輝度値が上昇後に閾値以上で略一定となる変曲位置を角の所定のＸ座標位置におけるＹ座標値とし、前記角の所定のＹ座標位置におけるＸ座標値と前記角の所定のＸ座標位置におけるＹ座標値とを角のＸ・Ｙ座標値として取得するようにしている。

このように構成したことにより、最外周点灯画像についてその四隅（角）の座標値を正確に取得することができる。
また、最外周点灯画像を用いたのは、検査画像より輪郭が明瞭なため、四隅（角）の座標値の取得を間違いなく行うことができ、その座標値を検査画像の四隅の座標値として利用することができるからである。

本発明に係る画像の幾何補正方法において、前記四隅と辺が歪曲補正された検査画像を生成する工程は、前記検査画像の四隅の座標値の最外周の座標値を結んで四隅を方形領域にする幾何補正を行い、前記検査画像の四隅の座標値と方形領域の四隅の座標値とに基づいて２次元射影変換を行って方形領域の辺の歪曲補正を行うようにしている。
このように構成したことにより、検査画像の四隅と辺について正確に歪曲補正を行うことができる。

本発明に係る画像の幾何補正方法において、前記収差を除去した検査画像を生成する工程は、四隅と辺が歪曲補正された検査画像の上辺及び下辺を上下方向で所望の位置まで拡大するステップと、その拡大した上辺及び下辺の間の画素に検査画像の上辺及び下辺の間の画素の輝度値を所定の変換式を用いて割り当てるステップと、当該検査画像の左辺及び右辺を左右方向で所望の位置まで拡大するステップと、その拡大した左辺及び右辺の間の画素に検査画像の左辺及び右辺の間の画素の輝度値を所定の変換式を用いて割り当るステップと有するものである。
このように構成したことにより、最終的に収差を除去した検査画像を生成でき、その検査画像に元の検査画像における輝度値を適切に設定できたため、欠陥検出を行うことができる検査画像を得ることができた。

本発明に係る画像の幾何補正方法において、前記収差を除去した検査画像を生成する工程における前記検査画像の上辺及び下辺を上下方向に所望の位置まで拡大するステップは、該検査画像の上辺及び下辺の左端を上下方向における１ラインとして所望の位置まで拡大し、右端に向けて１画素ずらせたラインを次の１ラインとして所望の位置まで拡大し、所望の位置までの拡大を右端に向けてライン毎に繰り返し行い、検査画像の上辺及び下辺の右端を上下方向における最終ラインとして所望の位置まで拡大し、上辺及び下辺を直線状として上下方向で所望の位置まで拡大し、前記検査画像の左右辺を上下方向において１ライン毎に拡大処理し、その左右辺の上下端を前記所望の位置まで拡大された上辺及び下辺の左右端につなげるようにしたものである。
このように構成したことにより、最終的に収差を除去した検査画像の前段階である上辺及び下辺を生成することができる。

本発明に係る画像の幾何補正方法において、前記拡大した上辺及び下辺の間の画素に輝度値を割り当てるステップは、前記検査画像の上辺及び下辺の左端から右端までの上下方向における各ライン毎に行う。
このように、検査画像に元の検査画像における輝度値を上下方向の各ライン毎に設定するため、輝度値の設定を正確に行うことができる。

本発明に係る画像の幾何補正方法において、前記検査画像の左辺及び右辺を左右方向に所望の位置まで拡大処理するステップは、該検査画像の左辺及び右辺の上端を左右方向における１ラインとして所望の位置まで拡大し、下端に向けて１画素ずらせたラインを次の１ラインとして所望の位置まで拡大し、所望の位置までの拡大を下端に向けてライン毎に繰り返し行い、検査画像の左辺及び右辺の下端を左右方向における最終ラインとして所望の位置まで拡大し、左辺及び右辺を直線状として左右方向で所望の位置まで拡大するようにしたものである。
このように構成したことにより、最終的に収差を除去した検査画像の前段階である左辺及び右辺を生成することができる。

本発明に係る画像の幾何補正方法において、前記拡大した左辺及び右辺の間の画素に輝度値を割り当てるステップは、前記検査画像の左辺及び右辺の上端から下端までの左右方向における各ライン毎に行う。
このように、検査画像に元の検査画像における輝度値を左右方向の各ライン毎に設定するため、輝度値の設定を正確に行うことができる。

本発明に係る画像の幾何補正装置は、請求項１乃至８のいずれかに記載の画像の幾何補正方法を演算処理する演算部を有することを特徴とする。
具体的には、演算部はコンピュータにより構成される。このコンピュータに前記各処理を行う幾何補正のプラグラムを組み込むことによって収差を除去した検査画像を生成することができる。

図１は本発明の実施の形態を示す画像の幾何補正装置の構成図である。
図において、この実施の形態では、例えば検査対象の画面１０をプロジェクタ１によるＴＦＴ素子を用いた液晶パネル（液晶ライトバルブともいう）２の画像としている。

検査を行うために画像を補正する場合には、プロジェクタ１によりスクリーン３に画像を投射する。画像４はパターンジェネレータ５により所定のパターンを液晶パネル２に与えることによって描写される。撮像手段として例えばＣＣＤカメラ６により画像４を撮像し、その画像データを図示しないＡ／Ｄ変換器によりアナログ信号からデジタル信号に変換して補正装置本体であるコンピュータ７に取り込む。

図２は画像の幾何補正処理に用いられるフローチャート、図３は検査画像、最外周点灯画像の模式図である。この画像の幾何補正処理は前記のコンピュータ７に組み込まれた幾何補正処理プログラムに従って自動的に行われる。
図２のフローチャートに従って処理手順を説明する。
（１）検査画像の取得（ステップＳ１）
まず、スクリーン３上に投影された画像４をＣＣＤカメラ６で撮影し、その画像４がコンピュータ７に取り込まれて図３の（ａ）に示す検査画像（全画素点灯画像）を取得する。
このとき、画像データはＡ／Ｄ変換器により画素毎に例えば、黒を“０”、白を“４０９５”とする１２ビットのデータで４０９６階調の輝度値であらわされる。図３の（ａ）に示す検査画像には被検査部と被検査部の周囲の背景部分が含まれている。

（２）最外周点灯画像の取得（ステップＳ２）
次に、液晶パネル２の最外周画素のみ点灯したものをスクリーン３に投影し、ＣＣＤカメラ６で撮像した画像がコンピュータ７に取り込まれて図３の（ｂ）に示す最外周画素点灯画像を取得する。
このように、検査画像を取得した直後に最外周点灯画像を取得するのは、基本的に各画像の被検査部の座標位置は等しいため、最外周点灯画像で行う幾何補正処理を検査画像に適用することが可能となるからである。

この最外周点灯画像は、正確に長方形でなくスクリーン３に対して斜めに歪んでたりする。これは、液晶パネル２を固定するための冶具の取付ズレ、プロジェクタ１の設置具合のズレ等による空間的なズレや、プロジェクタ１やＣＣＤカメラ６のレンズの収差等によるズレが歪曲を起すことに起因するものである。

（３）四隅の座標値の取得（ステップＳ３）
まず、最外周点灯画像について、例えば左上角の座標値を取得する場合、図４の（ａ）に示すように最外周点灯画像の左辺の左上角に近い任意の位置より上に向かいＹ軸方向（図面上の上下方向）にトレースする。

即ち、最外周点灯画像の左辺の左上角に近い任意のＹ座標位置（図面上の上下方向）において、Ｘ軸方向（図面上の左右方向）における例えば１０画素分の輝度値を検出する。そうすると、その輝度値は、図４の（ｂ）に示すようなピークを有する曲線となる。
そこで、それらの輝度値のうち、ある閾値以上の最大値を有する座標値を既知である所定のＹ座標値を有する位置におけるＸ座標値として取得することができる。つまり、最外周点灯画像の左辺のＹ座標位置とＸ座標位置が分かる。

次に、前記任意のＹ座標位置からＹ軸方向の上に向かって前記と同様の手順で１画素毎に順次Ｘ軸方向におけるある閾値以上の最大値を有する座標値を取得していく。
そして、最外周点灯画像の左辺のＹ軸が最外周点灯画像の上辺のＸ軸と交差する左上角の位置にくると、Ｘ軸方向において検出した例えば１０画素分の輝度値は、図４の（ｃ）に示すようなピークに達した後は平坦になる曲線となる。

そこで、それらの輝度値のうち、ある閾値以上の最大値が続くときの最初の最大値を有する座標値を既知である所定のＹ座標値を有する位置における角のＸ座標値として取得することができる。つまり、最外周点灯画像の左辺と上辺が交差する角のＹ座標位置とＸ座標位置と見当をつけることができる。

今度は、最外周点灯画像の上辺の左上角に近い任意の位置より左に向かいＸ軸方向（図面上の左右方向）にトレースする。
即ち、最外周点灯画像の上辺の左上角に近い任意のＸ座標位置において、Ｙ軸方向における例えば１０画素分の輝度値を検出する。
そこで、それらの輝度値のうちある閾値以上の最大値を有する座標値を既知である所定のＸ座標値を有する位置におけるＹ座標値として取得することができる。つまり、最外周点灯画像の上辺のＸ座標位置とＹ座標位置が分かる。

次に、前記任意のＸ座標位置からＸ軸方向の横に向かって前記と同様の手順で１画素毎に順次Ｙ軸方向におけるある閾値以上の最大値を有する座標値を取得していく。
そして、最外周点灯画像の上辺のＸ軸が最外周点灯画像の左辺のＹ軸と交差する左上角の位置にくると、Ｙ軸方向において検出した例えば１０画素分の輝度値は、あるとこから閾値以上の最大値が続くこととなる。
そこで、それらの輝度値のうち、ある閾値以上の最大値が続くときの最初の最大値を有する座標値を既知である所定のＸ座標値を有する位置における角のＹ座標値として取得することができる。つまり、最外周点灯画像の左辺と上辺が交差する角のＸ座標位置とＹ座標位置と見当をつけることができる。

従って、Ｙ軸方向にトレースした場合とＸ軸方向にトレースした場合における最外周点灯画像の左辺と上辺が交差する角のＸ座標位置とＹ座標位置とが一致し、最外周点灯画像の例えば左上角のＸ・Ｙ座標値を取得することができる。
以上の説明は、最外周点灯画像の左上角の座標値を取得する場合であるが、右上角、左下角、左四角の座標値を取得するのも、左上角の座標値を取得するのと同様の手順で取得することができる。

次に、検査画像については、上述のようにして最外周点灯画像の左上角、右上角、左下角及び左四角の座標値を取得したら、これらの座標値を検査画像の左上角、右上角、左下角及び左四角の座標値として取得する。
これは本来、最外周点灯画像の左上角、右上角、左下角及び左四角の座標値と検査画像の左上角、右上角、左下角及び左四角の座標値とは同じだからであり、上述した最外周点灯画像の四隅（角）の座標値の取得方法の場合には正確に取得できるからである。

（４）四隅と辺の歪曲補正（ステップＳ４）
ステップＳ３により取得した最外周点灯画像の四隅（角）の座標値に基づき、図５の（ａ）に示すように四隅をそれぞれが持つ座標値のうち最大値のものを基準にした最大の大きさで平行にする幾何補正を行い、最外周点灯画像の四隅を歪曲補正する。

即ち、図５の（ａ）において、画像の左上角隅をＸmin、Ｙminとし、右下角隅をＸmax、Ｙmaxとしたときに、
１）最外周点灯画像のＸ軸方向における最小値を求める場合、最外周点灯画像の左上角隅の座標値Ｘ1、Ｙ1と左下角隅の座標値Ｘ4、Ｙ4とを比較すると、Ｘ1＜Ｘ4であるから、Ｘ1が最小値となる。
また、最外周点灯画像のＸ軸方向における最大値を求める場合、最外周点灯画像の右上角隅の座標値Ｘ2、Ｙ2と右下角隅の座標値Ｘ3、Ｙ3とを比較すると、Ｘ3＞Ｘ2であるから、Ｘ3が最大値となる。

２）さらに、最外周点灯画像のＹ軸方向における最小値を求める場合、最外周点灯画像の左上角隅の座標値Ｘ1、Ｙ1と右上角隅の座標値Ｘ2、Ｙ2とを比較すると、Ｙ2＜Ｙ1であるから、Ｙ2が最小値となる。
また、最外周点灯画像のＹ軸方向における最大値を求める場合、最外周点灯画像の左下角隅の座標値Ｘ4、Ｙ4と右下角隅の座標値Ｘ3、Ｙ3とを比較すると、Ｙ4＞Ｙ3であるから、Ｙ4が最大値となる。

従って、最外周点灯画像のＸ軸方向における最小値と最大値を示す座標値が四隅のＸ軸座標値となり、最外周点灯画像のＹ軸方向における最小値と最大値を示す座標値が四隅のＹ軸座標値となり、最外周点灯画像の歪曲補正（平行補正）された四隅の座標値を取得する。これを図５の（ａ）で示すと、左上角隅の座標値はＵ1、Ｖ1、右上角隅の座標値はＵ2、Ｖ2右下角隅の座標値はＵ3、Ｖ3、左下角隅の座標値はＵ4、Ｖ4となる。

こうして、最外周点灯画像について歪曲補正（平行補正）された四隅の座標値を求めることができたが、上・下辺及び左・右辺についてのそれぞれの座標値は上記の手順では求めることができない。
そこで、かかる上・下辺及び左・右辺についての幾何補正は、図５の（ａ）に示すように最外周点灯画像の歪曲補正前の四隅の座標値と、それに対応する最外周点灯画像の歪曲補正後の四隅の座標値を下記に示す式１に代入し、連立方程式により変数ａ１〜ａ８を求め、その値をもとに２次元射影変換（射影歪みの補正）を行う。

ここで、Ｘ１〜Ｘ４及びＹ１〜Ｙ４は最外周点灯画像の歪曲補正前の四隅の座標値であり、Ｕ１〜Ｕ４及びＶ１〜Ｖ４は最外周点灯画像の歪曲補正後の四隅の座標値である。
上述したように変数ａ１〜ａ８が求めることができれば、上・下辺及び左・右辺についての各々の位置についての座標値を計算により求めることができ、各辺も四隅の平行補正に準じて歪んだ状態のまま補正され、図５の（ｂ）に示ような各辺座標変換後の画像となる。

このようにして最外周点灯画像の四隅の歪曲補正（平行補正）及び各辺の座標変換後の画像が得られれば、検査画像については、最外周点灯画像の四隅の歪曲補正（平行補正）された四隅の座標値を利用して２次元射影変換を行い、検査画像における各辺の座標変換後の画像を得ることとする。

（５）四隅及び各辺が歪曲補正（平行補正）された最外周の座標値の取得（ステップＳ５）
ステップＳ４で得られた四隅が歪曲補正され、それに準じて辺の位置も変わった最外周点灯画像の座標値を取得する。
即ち、図６に示すように、四隅の歪曲補正により得られた左上角の座標値より右上角の座標値に向かい外周を画素ごとにトレースし、上側外周の座標値を取得する。
次に、上記と同様に、左下角の座標値より右下角の座標値に向かい外周を画素ごとにトレースし、下側外周の座標値を取得する。

また、図７に示すように、上記と同様に、左上角の座標値より左下角の座標値に向かい外周を画素ごとにトレースし、左側外周の座標値を取得する。
次に、上記と同様に、右上角の座標値より右下角の座標値に向かい外周を画素ごとにトレースし、右側外周の座標値を取得する。
次に、ステップＳ４で得られた四隅が歪曲補正され、それに準じて辺の位置も変わった検査画像の座標値を、上述した最外周点灯画像の座標値を取得と同様の手順で取得する。

（６）上下辺の歪曲補正（ステップＳ６）
まず、最外周点灯画像について、ステップＳ５で得られた上側及び下側外周の座標値より、図８に示すようにＸ座標値を基にＹ軸方向に上辺及び下辺の歪曲補正を行う。
この上辺及び下辺の歪曲補正は歪んだ上辺及び下辺を画面上部及び下部一杯まで拡大して直線状にするものである。

かかる上辺及び下辺の歪曲補正の方法は、図８の（ａ）〜（ｃ）に示すように、最外周点灯画像の上辺及び下辺の左端（左上角及び左下角）をＹ軸方向における１ラインとして目標の画面上部及び下部一杯の位置まで拡大し、右端に向けて１画素ずらせたラインを次の１ラインとして画面上部及び下部一杯の位置まで拡大し、画面上部及び下部一杯の位置までの拡大を右端に向けてライン毎に繰り返して行い、最外周点灯画像の上辺及び下辺の右端をＹ軸方向における最終ラインとして画面上部及び下部一杯の位置まで拡大していくことにより、最外周点灯画像の歪んだ上辺及び下辺は画面上部及び下部一杯の位置まで拡大されて直線状になる。

このように最外周点灯画像の上辺及び下辺の左端から右端におけるＹ軸方向において１ライン毎の変換が終了した場合、最外周点灯画像の左辺及び右辺はまだ歪曲補正されていないため、図９の（ａ）から図９の（ｂ）に示すように歪曲補正され上下辺の端部が歪曲補正されない左右辺の端部から離れた状態になる。
そこで、歪曲補正された上下辺の端部に歪曲補正されない左右辺の端部をつなげるために、左右辺を拡大処理する補正を行う。
かかる左右片の拡大処理する補正は次のようにして行われる
左右辺の上下端部の座標値はＸL、Ｙa、ＸL、Ｙb、ＸR、Ｙa、ＸR、Ｙbで、全て既知である。
また、歪曲補正された上下辺の左右端の座標値はＸL、Ｙa＋α、ＸL、Ｙb＋α、ＸR、Ｙa＋α、ＸR、Ｙb＋αで、全て既知である。

従って、歪曲補正されない左右辺の上下端から歪曲補正された上下辺の左右端に至る補正率は、歪曲補正されない上下辺の左右端から歪曲補正された上下辺の左右端に至る補正率と同じとなる。
そこで、歪曲補正されない左右辺の上下端にそれぞれＸ軸方向に外側に向かう仮想線（図９の（ｂ）に示す点線）を引き、その仮想線を歪曲補正された上下辺の左右端の位置まで、歪曲補正されない左右辺の上下端から歪曲補正された上下辺の左右端に至る補正率と同じ補正率で拡げる拡大処理をすることにより、結果的に左右辺も引き延ばされ、図９の（ｃ）に示す歪曲補正された上下辺の左右端に拡大処理された左右辺の上下端がつながった画像が得られる。
なお、かかる左右辺の拡大処理もＸ軸方向において１ライン毎に行われる。

次に、最外周点灯画像における画面上部及び下部一杯の位置まで拡大された上辺及び下辺の間の画素に最外周点灯画像の歪んだ上辺及び下辺の間の画素の輝度値を割り当てる場合も、最外周点灯画像の上辺及び下辺の左端から右端までのＹ軸方向における各ライン毎に行う。

そして、上辺及び下辺の一番左端（左上角及び左下角）のＹ軸方向における１ラインにおいて、画面上部及び下部一杯の位置まで拡大された上辺及び下辺の間の画素に歪んだ上辺及び下辺の間の画素の輝度値を割り当てる場合について図１０に基づいて説明する。
上辺及び下辺が歪曲補正された最外周点灯画像の左上角及び左下角の座標値はＹ軸方向においてＰ（ａ）とＰ（ｂ）である。
また、その最外周点灯画像の左上角及び左下角を画面上部及び下部一杯位置まで拡大した場合の座標値はＹ軸方向においてＱ（０）とＱ（max）である。

従って、最外周点灯画像の左上角及び左下角を画面上部及び下部一杯位置までまで拡大した場合には、画素数が増加することになり、増加する画素数に対する輝度値を設定する必要がある。
この場合、各ライン毎に画素数が増加する割合は異なる。そして、画素数が増加する割合に応じて補正率が決まるため、その補正率に基づいて増加した画素における輝度値を下記に式２で示す変換式を用いて設定する。

ここで、
ａ〜ｂは上辺及び下辺が歪曲補正された最外周点灯画像のＹ軸方向の上端及び下端の画素の座標値、
ｕは上辺及び下辺が歪曲補正された最外周点灯画像のＹ軸方向の任意の位置の画素の座標値、
ｖは上辺及び下辺がＹ軸方向に引き延ばされた任意の位置の画素の座標値、
Ａは補正率、
Ｂ／Ａは画素ｕの寄与率、
Ｃ／Ａは画素ｕ＋１の寄与率、
Ｐ[ｕ]は上辺及び下辺が歪曲補正された最外周点灯画像のＹ軸方向の任意の位置の画素の輝度値、
Ｑ[ｖ]は上辺及び下辺がＹ軸方向に引き延ばされた任意の位置の画素の計算で求める輝度値である。

ここで、Ｑ[ｖ]を求める場合の具体例について、図１１の画面一杯まで拡大された辺に対する輝度値の割り振りの手順を示すフローチャートに基づいて以下に説明する。ここで、説明を分かりやすくすため、図１２に示すように歪曲補正により引き延ばされて３画素から５画素に画素数が増加した場合を例に挙げて説明する。
なお、３画素側を「元の画素領域」、５画素側を「拡大された画素領域」という。

まず、Ｑ[ｖ]を求める場合に初期値が設定される（ステップＳ１）。
その初期値はｖ＝０、ｕ＝ａとする。
次に、変換後の座標値の判断を行う（ステップＳ２）。
かかる変換後の座標値の判断は、ｖ＞ｍａｘか否か、即ちｖが拡大された画素領域の画素の最大座標値を超えていれば計算外となるから、計算の必要はなく終了し、ｖが拡大された画素領域の画素の最大座標値の範囲内にあれば、計算を開始する次のステップに進むこととなる。

次のステップは、元の画素領域における所定の座標値にある画素の輝度値が拡大された画素領域における所定の座標値にある画素の輝度値の決定にどれだけ寄与するかどうかの判断を行う（ステップＳ３）。
この場合、次の（３）式を用いて判断する。
ｕ−ａ＋１≧Ａ（ｖ＋１） ・・・・・・・・・・・・・（３）式
ここで、その前提となる補正率Ａは次の式で求める。
Ａ＝（ｂ−ａ＋１）／（ｍａｘ＋１）
従って、 Ａ＝（３−１＋１）／（４＋１）＝３／５＝０．６

次に、図１２に示すようにＱ[０]を求める場合について説明すると、
上記（３）式に、数を代入すると、
ｕ−ａ＋１≧Ａ（ｖ＋１）は、 １−１＋１≧０．６（０＋１）となり、
整理すると、１≧０．６となる。この場合は、真と判定して元の画素領域の所定の画素の輝度値が拡大された画素領域の所定の画素の輝度値に全て寄与する次の寄与率設定１のステップに進む。
この寄与率設定１は、Ｂ＝Ａ、Ｃ＝０として寄与率が設定される（ステップＳ４）。

こうして寄与率が設定されると、次の補正値計算１のステップに進む。
この補正値計算１は上記（２）式に基づいてＱ[０]の補正される輝度値を計算する（ステップＳ５）。
上記（２）式に求めた補正率ＡとステップＳ４で設定された寄与率を代入すると、以下の値となる。
Ｑ[０]＝（Ｐ[１]・０．６／０．６）＋（Ｐ[２]・０／０．６）
＝Ｐ[１]・１＋Ｐ[２]・０
このことは、Ｑ[０]には、Ｐ[１]の輝度値が割り当てられることを意味する。
こうしてステップＳ５の補正値計算１が終了すれば、Ｑ[０]を求めた後に、Ｑ[１]を求めるために、変換後に座標値を加算する（ステップＳ６）。

ステップＳ６の変換後座標値加算が終了すると、ステップＳ２を経て寄与の判断を行うステップＳ３に戻る。
この場合、再び（３）式を用いて判断することとなるが、図１２に示すＱ[１]を求める場合となる。
補正率ＡはＱ[０]を求める場合と変わらないので、
上記（３）式に、数を代入すると、
ｕ−ａ＋１≧Ａ（ｖ＋１）は、 １−１＋１≧０．６（１＋１）となり、
整理すると、１≧１．２となる。この場合は、偽と判定して元の画素領域の所定の画素の輝度値が拡大された画素領域の所定の画素の輝度値に寄与する次の寄与率設定２のステップに進む。

この寄与率設定２は、Ｂ＝（ｕ−ａ＋１）−Ａｖ、Ｃ＝Ａ（ｖ＋１）−（ｕ−ａ＋１）として寄与率が設定される（ステップＳ７）。
なお、Ａｖは補正率Ａの加算値を示す。
ここで、Ｂを上記式に代入して求めると、Ｂ＝（１−１＋１）−０．６＝１−０．６＝０．４となる。
また、Ｃを上記式に代入して求めると、Ｃ＝０．６（１＋１）−（１−１＋１）＝１．２−１＝０．２となる。

こうして寄与率が設定されると、次の補正値計算２のステップに進む。
この補正値計算２は上記（２）式に基づいてＱ[１]の補正される輝度値を計算する（ステップＳ８）。
上記（２）式に求めた補正率ＡとステップＳ４で設定された寄与率を代入すると、以下の値となる。
Ｑ[１]＝（Ｐ[１]・０．４／０．６）＋（Ｐ[２]・０．２／０．６）
＝Ｐ[１]・０．６７＋Ｐ[２]・０．３３

このことは、Ｑ[１]には、Ｐ[１]の輝度値が０．６７の割り合い、Ｐ[２]の輝度値が０．３３の割り合いで割り当てられることを意味する。
こうしてステップＳ８の補正値計算２が終了すれば、Ｑ[１]を求めた後に、Ｑ[２]を求めるために、変換前／後の座標値を加算する（ステップＳ９）。

ステップＳ９の変換後座標値加算が終了すると、ステップＳ２を経て寄与の判断を行うステップＳ３に戻る。
次は、図１２に示すＱ[２]を求める場合となる。
この場合も、上記（３）式、数を代入して、真、偽の判断を行い、真のときはステップＳ４からステップＳ６に進み、偽のときはステップＳ７からステップＳ６に進むこととなる。

こうして、図１２に示すＱ[３]、Ｑ[４]もＱ[２]と同様の手順で順次求めていくこととなる。
このようにしてＱ[２]からＱ[４]までについて求めた計算の結果は次のとおりである。
Ｑ[２]＝（Ｐ[２]・０．６／０．６）＋（Ｐ[３]・０／０．６）
＝Ｐ[２]・１＋Ｐ[３]・０
Ｑ[３]＝（Ｐ[２]・０．２／０．６）＋（Ｐ[３]・０．４／０．６）
＝Ｐ[２]・０．３３＋Ｐ[３]・０．６７
Ｑ[４]＝（Ｐ[３]・０．６／０．６）＋（Ｐ[４]・０／０．６）
＝Ｐ[３]・１＋Ｐ[４]・０

こうして、Ｑ[１]からＱ[４]までの全ての輝度値を求めることができる。
以上の説明は、３画素から５画素に画素数が増加した場合であるが、画素数の増加によって補正率が変わるだけであり、図１０に示す輝度値の割り振りについて適用する場合は、Ｑ[ｖ]を求める式に、実際の数値を代入していけば、本来のＱ[ｖ]の輝度値が求められることとなる。

以上の説明は、上辺及び下辺の一番左端のＹ軸方向における１ラインを変換する場合であるが、例えばそれより数画素分だけ右にずれた別のＹ軸方向における１ラインでは、上辺及び下辺が歪んでいるため、１ラインの上下の座標値はＹ軸方向においてＰ（ａ）とＰ（ｂ）に対して変化するＰ（ａ±１〜ｎ）とＰ（ｂ±１〜ｎ）と変化し、Ｑ（０）とＱ（max）は固定の値であるため、画素数が増減する割合に応じて補正率も変化することとなり、このラインにおける上記の変換式を用いて設定される画素の輝度値も変わることとなる。

このように最外周点灯画像の上下辺の歪曲補正が行われ、増加した画素について輝度値の割り振りが終われば、検査画像については、最外周点灯画像の増加した画素について輝度値を検査画像の輝度値に置き換えて式（２）により計算することにより、検査画像における増加した画素について輝度値の割り振りを行うことができる。

（７）左右辺の歪曲補正（ステップＳ７）
次は、ステップＳ５で得られた左側及び右側外周の座標値より、図１３に示すようにＹ座標値を基にＸ軸方向に左辺及び右辺の歪曲補正を行う。
この左辺及び右辺の歪曲補正は歪んだ左辺及び右辺を画面左部及び右部一杯位置まで拡大して直線状にするものである。

かかる上辺及び下辺の歪曲補正の方法は、図１３の（ａ）〜（ｂ）に示すように、最外周点灯画像の左辺及び右辺の上端（左上角及び右上角）をＸ軸方向における１ラインとして目標の画面左部及び右部一杯の位置まで拡大し、下端に向けて１画素ずらせたラインを次の１ラインとして画面左部及び右部一杯の位置まで拡大し、画面左部及び右部一杯の位置までの拡大を下端に向けてライン毎に繰り返して行い、最外周点灯画像の左辺及び右辺の下端をＸ軸方向における最終ラインとして画面左部及び右部一杯の位置まで拡大していくことにより、最外周点灯画像の歪んだ左辺及び右辺は画面左部及び右部一杯の位置まで拡大されて直線状になる。

次に、最外周点灯画像における画面左部及び右部一杯の位置まで拡大された左辺及び右辺の間の画素に最外周点灯画像の歪んだ左辺及び右辺の間の画素の輝度値を割り当てる場合も、最外周点灯画像の左辺及び右辺の左端から下端までのＸ軸方向における各ライン毎に行う。
かかる輝度値の割り当ては、ステップＳ６で述べた式２の変換式を用いて同様の手順で行う。
図１４は上辺及び下辺の歪曲補正が完了した後に、左辺及び右辺の一番上端から下端まで１ライン毎に変換していき、左辺及び右辺の歪曲補正が完了し、左辺及び右辺も歪曲補正された画像を示す。

このように最外周点灯画像の左右辺の歪曲補正が行われ、増加した画素について輝度値の割り振りが終われば、検査画像については、最外周点灯画像の増加した画素について輝度値を検査画像の輝度値に置き換えて式（２）により計算することにより、検査画像における増加した画素について輝度値の割り振りを行うことができる。

（８）欠陥検出（ステップＳ８）
ステップＳ６及びＳ７で最終的に検査画像の上辺及び下辺と左辺及び右辺の歪曲補正が完了し、増加した画素について輝度値の割り振りが行われた画像は、空間的なズレやレンズの収差によるズレによる歪曲を解消する補正を行った画像であり、その検査画像では、液晶パネル２が点灯している画像の縁に点や線の欠陥があったときに、その欠陥見えなくなることはなくなって欠陥検出を行うことができることとなった。
かかる検査画像の欠陥の検出において、液晶パネル２が点灯した場合には、検査画像は明るくなり、点や線の黒欠陥を検出することができ、液晶パネル２が点灯しない場合には、検査画像は暗くなり、点や線の白欠陥を検出することができる。

本発明は、前記のようなＴＦＴ素子を用いた液晶パネルに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ＥＬディスプレイ、ＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、並びにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらを使用した場合でも本発明の範囲から除外されるものではないことをいうまでもない。

本発明の実施の形態を示す画像の幾何補正装置の構成図。 本発明の画像の幾何補正処理に用いられるフローチャート。 検査画像、最外周点灯画像の模式図。 最外周点灯画像の角の座標値を取得するための説明図。 最外周点灯画像の四隅の平行補正の過程を示す模式図。 最外周点灯画像の上側・下側外周の座標値を取得するための説明図。 最外周点灯画像の左側・右側外周の座標値を取得するための説明図。 上下辺の歪曲補正を行うための座標変換の説明図。 上下辺が歪曲補正される過程を示す模式図。 輝度値の割り振りを説明する図。 輝度値の割り振りの手順を示すフローチャート。 輝度値の割り振りを説明するための模式図。 左右辺の歪曲補正を行うために座標変換の説明図。 左右辺が歪曲補正された画像を示す模式図。 歪んだ検査画像と歪曲補正された検査画像を示す模式図。

符号の説明

１ プロジェクタ、２ 液晶パネル、３ スクリーン、４ 画像、５ パターンジェネレータ、６ ＣＣＤカメラ、７ コンピュータ、８ 表示装置、１０ 検査対象画面

Claims (9)

1. 点灯した液晶パネルの画像を撮像して検査画像を取得する工程と、
   最外周が点灯した液晶パネルの画像を撮像して最外周点灯画像を取得する工程と、
   最外周点灯画像の四隅の座標値を取得する工程と、
   最外周点灯画像の四隅の座標値を前記検査画像の四隅の座標値として設定する工程と、
   前記検査画像の四隅の座標値と所定の方形領域の四隅の座標値とが一致するように前記検査画像を２次元射影変換を行い投影させて四隅と辺が歪曲補正された検査画像を生成する工程と、
   四隅と辺が歪曲補正された検査画像を画像変換処理により所望の大きさの方形領域まで投影させて収差を除去した検査画像を生成する工程と、
   を有することを特徴とする画像の幾何補正方法。
2. 前記最外周点灯画像の四隅の座標値を取得する工程は、
   最外周点灯画像の各角に近いＹ軸方向の任意の位置より該角に向かう１画素毎にそれぞれＸ軸方向における所定数の画素分の輝度値を検出していき、それらの輝度値のうち、ある輝度値が上昇後に閾値以上で略一定となる変曲位置を角の所定のＹ座標位置におけるＸ座標値とし、
   最外周点灯画像の各角に近いＸ軸方向の任意の位置より該角に向かう１画素毎にそれぞれＹ軸方向における所定数の画素分の輝度値を検出していき、それらの輝度値のうち、ある輝度値が上昇後に閾値以上で略一定となる変曲位置を角の所定のＸ座標位置におけるＹ座標値とし、
   前記角の所定のＹ座標位置におけるＸ座標値と前記角の所定のＸ座標位置におけるＹ座標値とを角のＸ・Ｙ座標値として取得するようにしたことを特徴とする請求項１記載の画像の幾何補正方法。
3. 前記四隅と辺が歪曲補正された検査画像を生成する工程は、
   前記検査画像の四隅の座標値の最外周の座標値を結んで四隅を方形領域にする幾何補正を行い、前記検査画像の四隅の座標値と方形領域の四隅の座標値とに基づいて２次元射影変換を行って方形領域の辺の歪曲補正を行うことを特徴とする請求項１記載の画像の幾何補正方法。
4. 前記収差を除去した検査画像を生成する工程は、
   四隅と辺が歪曲補正された検査画像の上辺及び下辺を上下方向で所望の位置まで拡大するステップと、その拡大した上辺及び下辺の間の画素に検査画像の上辺及び下辺の間の画素の輝度値を所定の変換式を用いて割り当てるステップと、
   当該検査画像の左辺及び右辺を左右方向で所望の位置まで拡大するステップと、その拡大した左辺及び右辺の間の画素に検査画像の左辺及び右辺の間の画素の輝度値を所定の変換式を用いて割り当るステップと、
   有することを特徴とする請求項１記載の画像の幾何補正方法。
5. 前記収差を除去した検査画像を生成する工程における前記検査画像の上辺及び下辺を上下方向に所望の位置まで拡大するステップは、
   該検査画像の上辺及び下辺の左端を上下方向における１ラインとして所望の位置まで拡大し、右端に向けて１画素ずらせたラインを次の１ラインとして所望の位置まで拡大し、所望の位置までの拡大を右端に向けてライン毎に繰り返し行い、検査画像の上辺及び下辺の右端を上下方向における最終ラインとして所望の位置まで拡大し、上辺及び下辺を直線状として上下方向で所望の位置まで拡大し、
   前記検査画像の左右辺を上下方向において１ライン毎に拡大処理し、その左右辺の上下端を前記所望の位置まで拡大された上辺及び下辺の左右端につなげるようにしたことを特徴とする請求項４記載の画像の幾何補正方法。
6. 前記検査画像の左辺及び右辺を左右方向に所望の位置まで拡大処理するステップは、
   該検査画像の左辺及び右辺の上端を左右方向における１ラインとして所望の位置まで拡大し、下端に向けて１画素ずらせたラインを次の１ラインとして所望の位置まで拡大し、所望の位置までの拡大を下端に向けてライン毎に繰り返し行い、検査画像の左辺及び右辺の下端を左右方向における最終ラインとして所望の位置まで拡大し、左辺及び右辺を直線状として左右方向で所望の位置まで拡大したことを特徴とする請求項４記載の画像の幾何補正方法。
7. 前記拡大した上辺及び下辺の間の画素に輝度値を割り当てるステップは、
   前記検査画像の上辺及び下辺の左端から右端までの上下方向における各ライン毎に行うことを特徴とする請求項４記載の画像の幾何補正方法。
8. 前記拡大した左辺及び右辺の間の画素に輝度値を割り当てるステップは、
   前記検査画像の左辺及び右辺の上端から下端までの左右方向における各ライン毎に行うことを特徴とする請求項４記載の画像の幾何補正方法。
9. 請求項１乃至８のいずれかに記載の画像の幾何補正方法を演算処理する演算部を有することを特徴とする画像の幾何補正装置。
   

Images