JP2008014940A - 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置 - Google Patents

Abstract

【課題】実際に使われる現場で誤差の発生要因が少なく、簡単に、実用上高精度に、且つロバスト性をもって、カメラの画像座標から被撮像物の座標への変換を可能とするカメラキャリブレーション方法と応用装置を提供すること。
【解決手段】カメラによってＦＰＤ等の平板状の被撮像面を計測する装置において、被撮像面に置かれた世界座標系を基準に複数のマーカが配列されたカメラキャリブレーション用のパターンであって、カメラの撮像画像上の各マーカの形状と相互配列を利用して各マーカと世界座標系上のマーカとの対応関係を自動的に判別できるように所定の基準でマーカが配置された標準校正パターンを被撮像面位置に表示又は設置して、カメラで撮像し、撮像画像上に置かれた画像座標系を基準に計測される各マーカの特徴点の画像座標値と当該特徴点の世界座標値を使ってカメラキャリブレーションを行う。
【選択図】図３

Description

本発明は、複数のカメラで被撮像物の撮像領域を分割して撮像し計測する場合、並びにカメラ１個で被撮像物全体を撮像し計測する場合におけるカメラの撮像画像上の座標位置とフラットパネル表示体等の平面からなる被撮像物上の座標位置との関係を求めるカメラキャリブレーション方法と該方法を応用した装置に関する。

近年、薄型テレビの普及に伴って、特に大型高精細パネルの生産量が急激に増加し、検査要員不足を解消し且つ検査要員の個人差に依存しない安定な検査を実現したいことから、検査の自動化への要求が高まっている。
カメラに使用される撮像素子においては、フルＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）パネルまでの点灯検査に対応しようとすると５７６０×３２４０のＣＣＤ画素数が必要となり、さらに、３８４０×２１６０のパネル検査に対応しようとすると１１５２０×６４８０のＣＣＤ画素数が必要となる。現時点では、この要求に一個で対応できる適切な高解像度のカメラはない。実用的には、１０００万画素程度のＣＣＤデジタルカメラが商品化されてきており、解決策としてはこの１０００万画素程度のＣＣＤカメラを複数台使ったマルチカメラシステムで撮像するのが現実的である．
このマルチカメラシステムは、例えば、通常、液晶パネル製造工程においてガラスパネルを４個のカメラで分割撮像する形態である。このような例では、この分割撮像画像を使って、検査システムで点欠陥、線欠陥等の欠陥を検出する。４個のカメラは、隣接カメラ間で各カメラの撮像領域の一定の検査エリアをオーバーラップさせ、４個のカメラでガラスパネル全面を撮像できるように、光軸がガラスパネルに必ずしも垂直とはならないこともあるが概略垂直になるような姿勢で配置される。即ち、４個のカメラ各々が基本的にガラスパネル分割撮像領域各々を撮像・計測するように配置される。検査システムから得られた欠陥位置座標に基づいてレーザーリペア装置で欠陥部を修正しなければならないので、高精度な欠陥位置精度が要求される。
ガラスパネル上の欠陥位置を高精度で求めるためには、欠陥の画像座標をパネル座標へ高精度で変換する必要がある。そのためには、従来、いわゆるカメラキャリブレーションを以下の段落で示す方法で行い、その結果を使用して各カメラの画像座標から世界座標へ変換し、更に、パネルの基準点、傾きを検出し、パネル解像情報を用いて欠陥の画像座標上の位置をパネル座標上の位置へ変換する方法を採ってきた。

従来のカメラキャリブレーション方法の第１の例は、予め平面状の標準校正パターンを用意し、標準校正パターンのカメラ光軸に対する角度を変えながらこれを複数回撮影し，カメラ内部パラメータと外部パラメータを求め，座標変換の諸数値を求める方式をとる方法が一般的であり、具体的には下記のような手順で実現するものである。
＜ステップ１＞ カメラを検査システムに取り付ける。
＜ステップ２＞ 被撮像物にカメラのピントを合わせるため、カメラとレンズを調整する。
＜ステップ３＞ 各カメラ固定のまま、標準校正パターンのカメラ光軸に対する設置姿勢を三次元的に複数回切り替えながら、標準校正パターンの画像を撮像する。
＜ステップ４＞ 複数枚の画像より自動的に各カメラの内部パラメータを計算する。
＜ステップ５＞ 実際検査と同じ条件で、標準校正パターンを撮影し、カメラの位置姿勢を計測し外部パラメータを計算する
上記方法は、３次元計測分野において確立されたカメラキャリブーション技術であり、種々の分野で実用されているものである。（非特許文献１参照）
この第１の例においては、レンズ歪み等の非線形誤差が校正できるので、座標変換精度が高いメリットがあるが、各カメラの内部パラメータおよびカメラの外部パラメータであるカメラの標準校正パターンに対する位置姿勢を計算する等でキャリブレーション作業に手間がかかるデメリットがある。また、現場においては検査システムスペースがあまりないので、大きな標準校正パターンの設置方向を変えながら作業することが難しいというデメリットもある。また、計測点の数を増やして安定性のある正確なキャリブレーションを行おうとした場合も、上記方法故に手間と時間がかかるデメリットがあった。

従来のカメラキャリブレーション方法の第２の例は、形状が既知の平面状３次元撮像物（標準校正パターン）をカメラで撮像し、被撮像物上の点の画像座標と三次元空間における座標からカメラを校正するものである。
三次元空間中の点Ｘ（本段落においては、３×１拡張ベクトル表示とする）が射影カメラにおける二次元画像上の点ｍ（本段落においては、３×１拡張ベクトル表示とする）に射影変換された時の関係式 λｍ＝ＨＸ （ここに、Ｈは３×３の射影変換行列表示で、いわゆるホモグラフィ行列である。λは定数）を使って、必要な数（４点以上）の既知あるいは計測された値であるＸおよびｍの対から連立方程式を解くか最小自乗法を使ってＨを求める。この行列Ｈを使ってカメラを校正するものである。（非特許文献２参照）
この校正方法は、キャリブレーション作業に手間がかからないメリットがあるが、レンズ歪み等の非線形誤差が校正できないので、座標変換精度が低いデメリットがある。

また、従来、複数台のカメラの画像座標とパネル座標との間のカメラキャリブレーションを行うに当たって、複数台のカメラの各々について、ローカルの世界座標系を基準にパターンを配置したひとつの標準校正パターンを順番に使い回すことによって、カメラの画像座標を標準構成パターン上の分割された領域の各座標（ローカル世界座標）に変換するための計算式を求めるカメラキャリブレーションを行い、更に、ローカル世界座標系を世界座標系に統合することによってローカル世界座標を世界座標に合せこんできた。そのとき、隣接する分割された領域に対応する標準校正パターンのオーバーラップ領域内に存在する数少ない共通点を使って各ローカル世界座標系と世界座標系との原点同士の座標軸方向の距離、対応する座標軸同士の角度を計測し、その結果を利用してアフィン変換により統合しなければならないが、使い回しの際の標準校正パターンの設定誤差に加えて当該計測の際に誤差が発生し、これが正確性を欠く要因となっていた。
特開昭６３−２２３５０５ 浅野尚紀：カメラキャリブレーション、コンピュータビジョン技術評論と将来展望（新技術コミュニケーションズ）、ｐｐ３４−５３、１９９８ 除剛：写真から作る３次元CG（近代科学社）、ｐｐ５９−６４、２００１

本発明の解決しようとする課題は、従来のカメラキャリブレーション方法の欠点を解消したカメラキャリブレーション方法と、この方法を使用することによって、実際に使われる現場で誤差の発生要因が少なく、簡単に、実用上高精度に、且つロバスト性をもって、カメラの画像座標から被撮像物の座標への変換が可能な装置を提供することである。結果として、当該装置において、カメラキャリブレーションから実作業の過程の自動化を容易に実現できるようにすることである。

平面状の被撮像面を持つ被撮像物（以降、パネルともいう）の被撮像面（以降、パネル面ともいう）に対向して設置されたカメラによってパネルを計測する装置のカメラキャリブレーション方法であって、
自らの上に置かれた世界座標系に従って複数のパターン要素が所定の基準で配列されたカメラキャリブレーション用の標準校正パターンをパネル面に配置して、カメラで撮像し、カメラの撮像画像上でパターン要素を抽出し、パターン要素の位置を代表する特徴点を撮像画像上に置かれた画像座標系を基準に特定し、特徴点の画像座標を計測し、
一方、撮像画像上のパターン要素の形状と相互配列を計測し、所定の基準を利用することによって、撮像画像上のパターン要素と世界座標系上のパターン要素との対応関係を判別して、撮像画像上の各パターン要素の特徴点に対応する標準校正パターン上の特徴点の既知の世界座標を対応リスト等から見つけ出し、
複数のパターン要素の特徴点の画像座標と対応する世界座標を使って画像座標を世界座標に変換するための変換行列を求めることによりカメラキャリブレーションを行う方法をとる。

複数のカメラで平面状の被撮像面を持つ被撮像物（以降、パネルともいう）を分割撮像するために、各カメラの隣り合う撮像領域同士の重なり合うオーバーラップ領域ができるように被撮像面（以降、パネル面ともいう）に対向して設置された複数のカメラによってパネルを計測する装置のカメラキャリブレーション方法であって、
自らの上に置かれた世界座標系に従って複数のパターン要素が所定の基準で配列されたカメラキャリブレーション用の標準校正パターンを、複数のパターン要素のうち世界座標系の座標軸の位置を各カメラの撮像画像において割り出すために使われるパターン要素がパネル面のオーバーラップ領域に含まれるように、パネル面に配置して、標準校正パターンをカメラで撮像し、撮像画像上でパターン要素を抽出し、パターン要素の位置を代表する特徴点を撮像画像上に置かれた画像座標系を基準に特定し、特徴点の画像座標を計測し、
一方、撮像画像上のパターン要素の形状と相互配列を計測し、所定の基準を利用することによって世界座標系の座標軸の位置を割り出し、撮像画像上のパターン要素と世界座標系上のパターン要素との対応関係を判別して、撮像画像上の各パターン要素の特徴点に対応する標準校正パターン上の特徴点の既知の世界座標を対応リスト等から見つけ出し、
複数のパターン要素の特徴点の画像座標と対応する世界座標を使って画像座標を世界座標に変換するための変換行列を求めることによりカメラキャリブレーションを行う方法をとることができる。

標準校正パターンのパターン要素配列構成を、
世界座標系の各座標軸上に存在するかまたは各座標軸に平行でその所定の側に所定の距離離れて存在する各１本の仮想線上に、少なくとも世界座標系の原点位置を割り出すための特徴点と、対応する世界座標軸の正領域の点を割り出すための特徴点と、世界座標軸の負領域の点を割り出すための特徴点からなる３個の特徴点が配置され、
３個の特徴点がその位置を代表するパターン要素（以降、座標基準パターン要素ともいう）とその他の特徴点がその位置を代表するパターン要素が、形状またはサイズにおいて異なるようにするか、または、座標基準パターン要素に対する所定の位置に任意のパターンを付帯配置して区別する方式でパターン要素を配列する形とし、世界座標軸の位置を探しやすくすることができる。
また、世界座標軸の第１の世界座標軸と第２の世界座標軸の区別、およびそれらの正領域と負領域の区別ができるように、座標基準パターン要素の形状またはサイズを第１の世界座標軸に対応するものと第２の世界座標軸に対応するものとの間で異ならせるようにすることで、２つの世界座標軸およびその符号の方向を判定しやすくすることができる。
また、さらに、２つの軸について正領域と負領域の関係が既定であれば、世界座標系の第１の世界座標軸または第２の世界座標軸のいずれか既定の軸の正領域または負領域の内のいずれか既定の領域を割り出すための座標基準パターン要素の形状またはサイズを、当該既定の軸以外の軸および当該既定の軸の当該既定の領域を割り出すための座標基準パターン要素の形状またはサイズと異ならせるようにすることもできる。

以上の手段において、座標基準パターン要素またはパターン要素を、独立したパターン要素とすることができる。
独立したパターンとして、円形状、多角形、これらの組合せ形状等、任意に選択することができる。

また、座標基準パターン要素またはパターン要素を、パターンの撮像画像から所定の方法により抽出可能な想定パターン要素とすることができる。
その形態例として、座標基準パターン要素またはパターン要素を、太さを持つ線状（帯状）のパターン同士の交差する部分にできる４個の角の内３個以上の角を結ぶ多角形とすることができる。

被撮像物（被計測物あるいは被検査物）がフラットパネル表示体である場合、標準校正パターンを欠陥のないことがわかっているフラットパネル表示体の表示面に表示することによって配置し、カメラキャリブレーションを行うことができる。

パターンを平面状物体（例えば、薄いシート）の表面に配置した標準校正パターンを使用してカメラキャリブレーションを行うこともできる。

カメラキャリブレーションを、
世界座標系上に配列した標準校正パターンの内のカメラの撮像領域に存在するパターン要素群を使って、
（ステップ１）所定の選択基準で４個以上の複数個のパターン要素を選択し、選択されたパターン要素の特徴点の世界座標値（以降、特徴点世界座標値ともいう）を選択済特徴点群リストに登録する。
所定の選択基準については、撮像領域内で互いにできるだけ離れた位置にあるパターン要素を選択することが望ましい。
（ステップ２）標準校正パターンをカメラで撮像し、選択されたパターン要素の特徴点の世界座標値と当該世界座標値に対応して画像座標上で計測された画像座標値を使用して、世界座標を画像座標に変換するための正規化ホモグラフィ行列の初期値の計算を行う。
（ステップ３）計算された正規化ホモグラフィ行列を使って、画像座標上に存在する標準校正パターンを構成する全てのパターン要素の特徴点の世界座標を画像座標に変換する（以降、逆投影するともいう）。
（ステップ４）特徴点の世界座標各々について変換された画像座標値と画像座標上で計測された画像座標値との差（以降、逆投影誤差ともいう）が所定の値以下の特徴点で選択済特徴点群リストにないものがあればこれを追加し、所定の値を超える特徴点が選択済特徴点群リストに存在すればそれを削除する。
所定の値は、最終的に画像座標から世界座標に座標変換を行うときに要求される精度を基準に実情に合わせて決定すればよい。
（ステップ５）選択済特徴点群リストの中の特徴点の追加あるいは削除の有無を判定し、無ければ終了し、有れば（ステップ６）へ移行する。
（ステップ６）特徴点の追加または削除による新たな選択済み特徴点群リストの特徴点群を対象に（ステップ２）で初期値を求めた方法により正規化ホモグラフィ行列を計算し直し、（ステップ３）へ移行する。
の一連のステップを実行することにより、世界座標を画像座標に変換するためのロバストで精度の高い正規化ホモグラフィ行列を得ることで行うことができる。

以上のカメラキャリブレーションの方法を使用して、画像座標と世界座標との間の座標変換を行うための計算式を求め、求めた計算式によって画像座標をパネルの表面に置かれたパネル座標に変換する機能を具備する応用装置を作ることができる。
応用装置としては、パネルを計測する装置であり、液晶表示体等のフラットパネル表示体欠陥検査装置、更に修理装置も含むフラットパネル表示体欠陥検査・修理装置等、標準校正パターンをパネル面に表示することができる装置に大きなメリットがある。

本発明により、以下に記述する効果が得られた。
第１には、複数のカメラでパネルを分割して撮像する場合に、標準校正パターンの新規な配置方法およびパターン要素であるマーカの配列と形状の組合せによって、従来の方法の欠点であった分割撮像領域のローカルの座標（ローカル世界座標）をひとつの座標（世界座標）に統合する際に起こるアフィン変換のための計測誤差を回避することができ、座標変換精度が格段に向上したこと、
第２には、標準校正パターンをパネルの表面に表示してカメラキャリブレーションを行うことができ、その場合には、平面状の物体上の標準校正パターンを基準とする世界座標からパネル座標への変換過程に座標の相対位置・姿勢関係の誤差が皆無となったこと、
第３には、カメラの光軸とパネルとの角度が垂直に対してある程度の振れ角を持った状態（三次元撮像状態）でカメラが設置されたとしても所定の精度を得ることができる座標変換のための計算式をロバストに求める方法（カメラキャリブレーション方法）を提供したこと、
等により本発明が実際に使われる工場等の現場で、カメラキャリブレーションおよび画像座標からパネル座標への座標変換が、方式上最小と考えられる誤差で、簡単に、実用上十分な精度で、ロバスト性をもって、且つコンピュータを使って自動的に実現できることとなった。

本発明を実施するための最良の形態について実施例と共に説明する。
本発明の効果が最も現れる最良の形態として、液晶ディスプレイ、プラズマディスプレイ等のフラットパネル表示体に使用されるフラットなパネルやその他大サイズの回路基板等の平板状の被撮像物（以下、これらを代表してパネルともいう）を複数のカメラで領域を分割して撮像し、その画像を解析してパネル上の欠陥またはその他のパネル表面に見える特徴的な形状（以下、これらを特徴形状ともいう）を特定し、特徴形状がパネルのどの位置に存在するかを正確に計算して、パネル上のその特徴形状に対して外から修正またはその他の作業（以下、これらを操作ともいう）を正確に行うために、複数のカメラの画像平面に置かれた画像座標系の画像座標をパネル平面に置かれたパネル座標系のパネル座標にカメラ毎の撮像特性の違いを無視できる程度に実用的な精度で変換することのできる一形態を示す。
以下、各画像座標をパネル平面位置に設定した世界座標に変換する本発明の技術の中心部分を主に、実施例１と共に説明する。

本実施例は、液晶ディスプレイのガラスパネル検査工程に使用されるパネル欠陥検査装置の例で、欠陥検査装置はカメラ４台によるマルチカメラシステムである。図１および図２は、そのカメラ配置と各カメラによるパネルの分割撮像領域の関係の一例を示すものであり、図１はカメラ配置を、図２はそのときの各カメラによるパネルの分割撮像領域の関係を示すものである。
カメラセット１０は、カメラ１１、カメラ１２、カメラ１３、カメラ１４の４台のカメラから構成され、各カメラは、その光軸がパネル２０の表面に対して概略垂直となるように、換言すれば、パネル２０の表面が各カメラの光軸と必ずしも垂直にならないことを許容して設置され、それぞれ、パネル２０の分割された領域２１、２２、２３、２４の撮像を受け持つ。領域２１、２２、２３、２４はお互いにそれらの境界領域でオーバーラップ領域を持つ。３０は、パネルの中心で、詳細は後述するが、世界座標の原点の位置に基本的に相当する。４つの領域は中心３０を含む。

カメラの撮像画像を解析して、検査対象の欠陥を発見し、当該欠陥の画像座標位置を特定し、その位置がパネル上に設定された世界座標上のどの座標位置に当たるかを見つけるためには、各カメラの画像座標を世界座標に変換する方式を見つけ出さなければならない。
カメラ毎に、焦点距離、カメラ座標上の光軸点位置、歪係数等の内部パラメータが異なり、カメラとパネルの配置の仕方によりカメラとパネルの相対的な位置・姿勢関係を表すカメラの外部パラメータが異なる中で、本発明の主たる効果であるところの「複数のカメラの画像座標各々を、パネル平面に置かれ、最終的にパネルの操作のために使用されるパネル座標に実用的な精度で変換する」ことを現場で簡単に行うことができる方式、即ち、従来にない新しいカメラキャリブレーション方式とこの結果を利用した各カメラの画像座標をパネル座標と同一平面上で所定の関係にある世界座標に変換する方式を実現し、且つ、この方式を現場で簡単に適用するために、コンピュータで自動的に世界座標の原点と座標軸を見つけ座標計算できるようにする必要がある。後者は、本発明の必然的な効果でもある当該座標変換の完全自動化を実現するものである。これらの実現方法は以下のごとくである。

まず、欠陥検査を行うときと同一の欠陥検査装置の状態で、パネルの表面位置に図３に示す標準校正パターンを設置する。
その設置の仕方を説明する前に、図３の標準校正パターンについて、本発明の説明の都合上、当該パターンがパネルと同一のサイズの平面状物体（以降、平板ともいう）の表面に作られている例で説明する。標準校正パターンは、基本的にパネル２０のサイズ大の平板４０の中に、平板４０の中心を原点０とするＸｗＹｗ座標系（世界座標系）のＸｗ軸方向、Ｙｗ軸方向に、各座標軸を含む等間隔な仮想線を配置し、その仮想線の交点に中心を置くように円形のマーカを配置したことを特徴とするパターンである。図３に表示される仮想線は、平板４０上で点線により表示してあり、各座標軸と重なるものもあるもので、図上での表示は各座標軸上の仮想線および平板４０の外周に最も近い仮想線のみとなっており、他は省略してある。更なる特徴は、ＸｗＹｗ座標の原点０並びにＸｗ軸およびＹｗ軸と直交する仮想線の内の平板４０の外周に最も近い仮想線と各座標軸との交点上にあるマーカ１、２、３、および４を円環形状とし、他のマーカをすべて塗りつぶし円形マーカとし、区別できるようにしてあることである。
この区別によるメリットは、標準校正パターンがパネル２０の表面位置に置かれたときに、パネル欠陥検査装置の制御部がコンピュータによる画像処理により、カメラによる撮像画像内で円環形状のマーカを探し出し、世界座標軸Ｘｗ軸およびＹｗ軸の位置を認知することによって撮像画像上のマーカ全ての世界座標上のマーカとの位置対応関係を認知し、結果として撮像画像上の各マーカとそれらの位置を代表する特徴点（円形の中心）の世界座標上の座標との対応関係を認知することが自動的にできることにある。当然、各特徴点の世界座標は、各マーカとの対応がわかるように対応リスト等により予め記録されており、マーカがわかれば自動的に見つけ出すことができるようになっている。これは、工程内でカメラのキャリブレーションが自動化でき、その後の欠陥検査による欠陥位置の特定、当該位置の欠陥の補修等まで全て自動化できることを意味し、全自動化の隘路であったカメラキャリブレーションまでの部分が自動化可能となる効果をもたらす。
一方、標準構成パターンの設置は、ＸｗＹｗ座標軸上のマーカが各カメラの撮像領域の互いにオーバーラップしている部分に収まるように、シートの原点０をパネルの中心３０に大略合せ、且つ円環形状のマーカ１および３を結ぶ線と、円環形状のマーカ２および４結ぶ線を矩形のパネル２０の対応する辺に大略平行に合わせる方法をとる。このようにすることによって、４台のカメラの撮像領域の隣接領域同士のオーバーラップ領域それぞれに必ず円環形状のマーカ０とマーカ１、２、３、４を含んでそれぞれで挟まれるマーカ列がそれぞれ入るようになり、いずれのカメラの撮像画像においても世界座標の原点位置、Ｘｗ軸位置およびＹｗ軸位置が読み取れるようになる。

このようにして設置された標準校正パターンを各カメラで撮像することからカメラキャリブレーションが始まる。当然のことながら、カメラ１１の撮像領域は領域２１で、図２においては２点鎖線で囲まれた２１のマーカの組（０、１、２）を含んでいる。同様に、カメラ１２、１３、１４の撮像領域は、それぞれ領域２２、２３、２４で、マーカの組（０、２、３）、（０、３、４）、（０、４、１）をそれぞれ含む。
カメラキャリブレーションの方法を、以下に説明する。
カメラのキャリブレーションは、カメラ毎に画像座標（ｕ、ｖ）上の各マーカの画像から計測される特徴点（ここでは、円形のマーカの中心）と対応する撮像領域２１、２２、２３、２４上の各マーカの特徴点の標準校正パターンとしての世界座標（Ｘｗ、Ｙｗ）との間で行う。
カメラ毎の画像座標上の（ｕ、ｖ）座標から世界座標（Ｘｗ、Ｙｗ）への変換計算式を求めるカメラキャリブレーション方法の説明を以下に行う。計算式の記載の都合上、世界座標（Ｘｗ、Ｙｗ）を（Ｘ、Ｙ）として説明する。以下の方法は、４台のカメラのいずれのカメラに対応する（ｕ、ｖ）座標と（Ｘ、Ｙ）座標の関係に対しても共通である。

一般に、被撮像物上のＸＹ座標系上の座標（Ｘｉ、Ｙｉ）、ここにｉ＝１、２、・・・、Ｎ、に対応するカメラの画像座標系（ｕｖ座標系）の座標（ｕｉ、ｖｉ）との関係は、以下の数式に示すものであることは広く知られているところである。

以下、既知である抽出された各マーカの特徴点のＸＹ座標（Ｘｉ、Ｙｉ 、ここにｉ＝１、２、・・・、Ｎ（カメラの撮像画像内で抽出されたマーカの数））とこれら各々に対応する画像座標（ｕｖ座標）系上の座標（ｕｉ、ｖｉ）の関係から、（ｕ、ｖ）座標と（Ｘ、Ｙ）座標の間の変換計算のための最適な関係式を求める方法を具体的に説明する。
最初に、カメラキャリブレーションに使用するＸＹ座標上の標準校正パターンをカメラで撮像し、標準校正パターン上のマーカ群をｕｖ座標上で抽出しそれぞれのマーカの位置を代表する特徴点の座標（ｕ、ｖ）を特定する。そのやり方は、図４に示すごとくで、フローチャートのステップに従って以下説明する。
（ステップＳ４０１）
標準校正パターンのカメラによる撮像画像を二値化する。
（ステップＳ４０２）
ブロブ解析を行い、所定の形状（この実施例においては、塗りつぶし円と円環）および所定のサイズ範囲のマーカだけを抽出する。
（ステップＳ４０３）
抽出されたマーカ全てのエッジ抽出を行う。
（ステップＳ４０４）
抽出されたエッジに対して、楕円をフィッティングし、フィッティングされた楕円の中心をロバスト推定法により求めてマーカの位置を代表する特徴点とし、その座標（ｕ、ｖ）を特定することを、エッジが抽出された全てのマーカに対して行う。

つぎに、最終的に求めたい座標変換のための最適な関係式、即ち（１）式の中の正規化ホモグラフィ行列を得る方法について説明する。
正規化ホモグラフィ行列は、カメラと対応する撮像領域の組ごとに、カメラの撮像画像上の各マーカの特徴点の画像座標（ｕ、ｖ）とその撮像領域の対応するマーカの特徴点の世界座標（Ｘ、Ｙ）との間で求めるので、代表例としてカメラ１１の画像座標（ｕ、ｖ）とその撮像領域２１の世界座標（Ｘ、Ｙ）の組に対する正規化ホモグラフィ行列の求め方を説明することにする。その他のカメラとその撮像領域の組については、同様の方法をとることができる。
説明の前段として、撮像領域にある標準校正パターンを撮像して、撮像画像の中で各マーカと世界座標系の座標軸の関係を探し出し、撮像画像上の各マーカと標準校正パターン上のマーカの対応をとる方法について述べる。
図５の円環形状の３個の基準マーカの内、左下隅にある第１基準マーカの中心が世界座標の原点であり、当該原点と右下隅にある第２基準マーカの中心を通る直線がＸ軸であり、当該原点と左上隅にある第４基準マーカの中心を通る直線がＹ軸である。
このマーカ配置の標準校正パターンを撮像し、撮像画像の中で第１基準マーカ、第２基準マーカおよび第４基準マーカを探し出し、それらマーカの中心を通る直線で直交する２本の直線を見つけることによって、予め撮像座標系のｕ座標軸の方向と世界座標系のＸ（Ｘｗ）座標軸の方向を合わせておくことを前提にすれば、どの直線がＸ座標軸であるかの判別は容易にできる。結果、残る直線がＹ座標軸であり、その交点は原点であることがわかり、撮像画像上の全てのマーカが標準校正パターン上のどのマーカに対応するのかを知ることができる。
また、予め座標軸ＸおよびＹが第１基準マーカと第２基準マーカの中心を通る直線および第１基準マーカと第４基準マーカの中心を通る直線に対し所定の方向に所定量離れている位置に設定されていたとしてもその所定量を考慮することによって座標軸ＸおよびＹの位置を特定することができ、全てのマーカにつき、撮像画像と標準校正パターンの間の対応は問題なくできることは明白である。
上記で、予め撮像座標系のｕ座標軸の方向と世界座標系のＸ（Ｘｗ）座標軸の方向を合わせておかない場合には、Ｘｗ軸の位置と符号領域に関係する第２基準マーカの形状またはサイズとＹｗ軸の位置と符号領域に関係する第４基準マーカの形状またはサイズを異ならせておくことでそれぞれの座標軸の判別は可能である。
尚、標準校正パターンの全ての各マーカの特徴点世界座標は、使用する前に計測しておいてもよいし、必要な精度で最初からマーカを配置しておくことで、既知である世界座標を使用することも可能である。標準校正パターンを配置する材料の伸縮の耐環境性が本発明の技術を組込んだシステムの実使用において十分保証される状況であれば、マーカを配置する精度さえ維持すれば、後者の方法が現場における使い方として好ましい。

以下、標準校正パターンのカメラ１１の撮像領域２１にある部分の例を示している図５を参照しながら、カメラ１１の場合を例にとり、カメラ毎に最終的に最適な正規化ホモグラフィ行列を求める方法を、図６に示すフローチャートに従って説明する。
図６に示すフローチャートに入る前提として、少なくとも標準校正パターンのマーカ群の内、キャリブレーションをしようとしているカメラの撮像領域にある全てのマーカ群について、各々の位置を代表する特徴点の世界座標値が既知であることを条件とする。
（Ｓ６０１）
パネル平面に置かれた標準校正パターンの図５に示すマーカ群から複数個のマーカ（ここでは、第１基準マーカ、第２基準マーカ、第３基準マーカ（右上隅にあるマーカ）、および第４基準マーカからなる４個のマーカ）を選択し、各々の選択されたマーカと対応する特徴点の対が識別できるように選択済み特徴点群リストに登録する。
（Ｓ６０２）
選択されたマーカ群の特徴点群の世界座標値（Ｘｉ、Ｙｉ）と標準校正パターンを撮像するカメラの画像座標上で図４の方法によって求められた当該マーカ群の特徴点群の画像座標値（ｕｉ、ｖｉ）を使って、（２−１）式、（２−２）式、（２）式によって（ｕｉ、ｖｉ）の正規化座標ベクトルを計算し、（３−１）式、（３−２）式、（３）式によって（Ｘｉ、Ｙｉ）の正規化座標ベクトルを計算し、これらを（１）式に適用して正規化ホモグラフィ行列の初期値の計算を行う。
（Ｓ６０３）
得られた正規化ホモグラフィ行列を使って、（１）式によりカメラの撮像領域にあるマーカ群全ての特徴点の座標（Ｘｉ、Ｙｉ）を画像座標（ｕｉ、ｖｉ）に変換（逆投影）する。
（Ｓ６０４）
逆投影した特徴点群の各々の画像座標値（以下、逆投影座標値ともいう）と撮像画像上の対応するマーカの図４の方法によって求められた特徴点の画像座標値（以下、観測座標値ともいう）との差が、所定の値以下のマーカとその特徴点については選択済み特徴点群リストにないものがあればこれを追加し、所定の値を超えるマーカとその特徴点については当該リストにあればこれを削除する。
所定の値は、本発明の技術を使用する装置の目標とする座標変換精度およびカメラのレンズ特性等の要因によって変化するが、座標変換精度を画像座標上で０．５画素程度に抑える目標であれば、１画素が一つの目安となる。現実には装置の実情にあった所定の値を予め実験によって求めておくことが必要となる。
（Ｓ６０５）
選択済み特徴点群の特徴点の追加あるいは削除の有無を判定し、有ればステップＳ６０６に移行し、無ければ正規化ホモグラフィ行列が最終の最適なものに収束したと見做して、当該カメラの画像座標と対応する世界座標との間のカメラキャリブレーションを終了する。
（Ｓ６０６）
特徴点の追加または削除による新たな選択済み特徴点群リストの特徴点群を対象に、Ｓ６０２で初期値を求めた方法と同様な方法により正規化ホモグラフィ行列の更新値の計算を行い、ステップＳ６０３に移行する。

以上の手順をカメラ１２、１３、１４に対する画像座標と対応する世界座標の組に対して適用することによって、各々の組に対するカメラキャリブレーションは終了する。
上記Ｓ６０３からＳ６０６の繰返しによる弛緩法的な正規化ホモグラフィ行列の求め方は、限られた既知の点情報によりホモグラフィ行列を求める従来の方法に比べてロバスト性のある結果が得られることは明白であろう。

以上の説明で、撮像領域２１、２２、２３、２４において世界座標系を使用してカメラキャリブレーションを行うとしてきたが、これと等価で少し劣る方法になるが、撮像領域２１、２２、２３、２４において世界座標系の代わりにそれぞれ別々のローカル世界座標系で世界座標系と原点の位置関係および座標軸の傾き角度関係が既知の関係にある（例えば、望ましい方法として、原点の位置が異なるだけでＸｗ軸とＸ軸、Ｙｗ軸とＹ軸が並行になるようにローカル世界座標系のＸＹ軸を設定する）座標系を使用してカメラキャリブレーションを行ってもかまわない。この場合は、図６のステップの説明において世界座標とあるものをローカル世界座標と読み替えてカメラキャリブレーションを行えばよく、カメラ毎のキャリブレーション結果を使えば、各カメラの画像座標（ｕ、ｖ）を対応する各ローカル世界座標（Ｘ、Ｙ）に変換することは機械的に可能である。欠陥検査装置の最終の目標に至るためには、各カメラの画像座標上の欠陥の位置を世界座標（Ｘｗ、Ｙｗ）上の位置として計測しなければならないことから、各ローカル世界座標（Ｘ、Ｙ）を世界座標（Ｘｗ、Ｙｗ）に更に変換しなければならない。
これに対して、実施例１においては、各ローカル世界座標の原点と座標軸を世界座標と共通とする設計上の選択をしたことにより、ローカル世界座標値がそのまま世界座標値となるメリットがある。
本実施例あるいは上記等価の例のような標準校正パターンを使用しないで、各カメラの画像座標と対応するローカル世界座標領域（分割撮像領域）ごとに小さな標準校正パターンを使用してカメラキャリブレーションを行なった従来の技術の場合には、たとえひとつの標準校正パターンを使い回したとしても、隣接する領域間のオーバーラップ領域に存在する数の限られた共通のマークの特徴点の計測結果を使ってアフィン変換行列を求めてアフィン変換を行うことによって４つのローカル世界座標をひとつの世界座標に統合することとなり、上記計測時の誤差を持ち込むこととなり精度が落ちる。実施例１の方式はこの点において従来に対して優れるものである。

図６の計算方法で注意しなければならないことは、カメラの画像座標（ｕ、ｖ）での計測値はピクセル単位であり、ＸＹ座標およびＸｗＹｗ座標は長さ単位とするとするときには、カメラ毎にカメラのピクセルとローカル座標ＸＹ上の長さの関係を実測によって求めたスケール係数（式（１）における係数ｓ）を最終的な座標変換計算において考慮しなければならないことである。

更に、実施例１において、欠陥検査対象として液晶パネルを取扱う場合に、標準校正パターンを液晶表示パネル上に表示することをも実現した。これは、検査工程において液晶パネルは点灯可能な形態で検査工程に送られることを利用するものであり、予め欠陥がないことがわかっている液晶表示パネルをカメラキャリブレーションに使用して、点灯検査で使われるパターンの代わりに標準校正パターンを表示させるものである。
この利点は、以上で説明してきた世界座標系を液晶表示パネルの表示面に設定されるパネル座標系と原理的に同一の基準の下に既知の関係を持って設定することを可能とするものであることから、世界座標をパネル座標に返還する際には原理的に誤差を伴わないことにある。
因みに、今まで説明してきたように、標準校正パターンをパネルと同一のサイズの平面状物体（平板）の表面に配置する方法は、平板を設置するときの世界座標系位置・姿勢と欠陥が検査される液晶表示パネルが設置されるときの世界座標の位置・姿勢との間にものづくりに公差が原因で誤差が出る。

つぎに、この実施例１におけるカメラ画像座標と世界座標との間のカメラキャリブレーションの正当性を裏付ける実験評価について、以下に述べる。
実験に用いた標準校正パターンは、図７に示すようなパターンで、基本的に図５に示すものと同じである。各マーカに重なるようにして記載されている数字ラベルは、マーカの位置を示す数字ラベルであり、マーカ形状とは関係がない。
標準校正パターンとカメラは、図８に示す配置をとった。
実験条件および実験方法は、以下に記載するとおりである。
カメラは、公称１０００万画素（４０００×２６２４画素）の市販カメラである。
レンズは、表１のように４種類の条件で実験を行った。

実験方法は図８に示すような配置でカメラを固定し、以下の（１）、（２）の実験を行った。
（１）標準校正パターンを10回微小移動させ、10枚画像を撮影する。
（２）標準校正パターンを固定し、カメラの角度θを１°単位で調整し、−５°〜５°の範囲で１１枚画像を撮影する。
上記（１）および（２）の各撮像ごとに、標準校正パターンの各マーカの特徴点のカメラによる観測画像座標と標準校正パターン平面の撮像領域にある各マーカの特徴点座標（実施例１においては、ローカル世界座標と称してきた）を使って、実施例１で説明してきた方法によりカメラキャリブレーションを行い、そのときに最終的に正規化ホモグラフィ行列を計算する際に使用された各マーカの特徴点の逆投影誤差の絶対値の和を当該特徴点の数で除した値を平均誤差と定義し、この平均誤差をパラメータとして性能評価を行った。

性能評価の結果は、表２および表３に示すごとくである。

表２および表３に示すように、レンズ条件３および４の場合、キャリブレーションパターンの移動に対しても、カメラの光軸の角度の変動（プラスマイナス５°の範囲）に対しても、最大逆投影誤差が０．５画素以内に収まるが、レンズ条件１および２の場合は、レンズの歪等の非線形要因を補正できずに、最大逆投影誤差が１画素以上に大きくなっている。即ち、カメラのレンズに関して、焦点距離が比較的大きく、歪等の非線形要因が小さいレンズを使う前提であれば、カメラの光軸とパネルの表示面とのなす角度が垂直に対してプラスマイナス５°の範囲でカメラが配置されたとしても、ホモグラフィ行列線形解法によりサブ画素精度で座標変換できることがわかる。
また、上記角度の限界はカメラのレンズの焦点距離の増減に応じて増減すると視察できる。

実施例１以外のマーカの形状とその特徴点の選択の可能性について、以下記述する。
マーカ形状とその特徴点の基本的な選択の条件は、標準校正パターンの撮像画像において各マーカを観測して世界座標系の原点、Ｘｗ軸およびＹｗ軸を探し出し、これらを基準にして当該マーカの姿勢を計測することによって、標準校正パターンにおいて元々決められており欠陥検出制御部がその世界座標値を認識している当該各マーカの特徴点の位置を一義的に特定できるマーカ形状であることである。
以上の条件に合うマーカの形状と特徴点の例は、以下のものである。これらのマーカを総称して「パターン要素」という。
（１）実施例１で使用してきた独立した円形状とその中心。
（２）独立した多角形とその特徴点（例えば、輪郭上の角、角から一義的に求められる点、重心等）
（３）太さを持った帯状の複数本の線の輪郭の交点からなる多角形とその特徴点（一般的には２本の線の輪郭の交点からなる四角形（例えば、等間隔で格子状に配置された太さを持った帯状の直線群の交差によって交点部分にできる４つの角部分を結んでできる四角形）とその特徴点を選択することが好ましい。そのときの特徴点は４つの角のどの部分でもよいし、重心であってもよい。）
（４）その他、繰返し模様等から所定の画像処理によって切り出すことができるパターンで形状は切り出す基準によって任意に決められるものとその特徴点
参考に述べるが、撮像画像における特徴点とその求め方については、実施例１で（１）の場合についてのみ説明したが、（２）から（４）については適宜、精度と画像処理方法の難易を考慮して選択すればよい。

世界座標系の原点、Ｘｗ座標軸およびＹｗ座標軸の存在位置を自動的に割出すためのマーカあるいはパターン要素の形状について以下記述する。
世界座標系の原点、Ｘｗ座標軸およびＹｗ座標軸の存在位置を割出すためのマーカあるいはパターン要素の形状については、その形状と配置から世界座標軸を一義的に割出すことができることが条件となる。従って、Ｘｗ軸およびＹｗ軸とこれらを割り出すためのマーカあるいはパターン要素との所定の関係を予め決めておくことを前提として、一方の軸に対応するマーカあるいはパターン要素の形状を他の軸に対応するマーカあるいはパターン要素と異なるものにしておくことである。
世界座標軸に関係するマーカあるいはパターン要素の形状について、更に好ましくは、Ｘｗ軸に関係するマーカあるいはパターン要素の形状またはサイズとＹｗ軸に関係するマーカあるいはパターン要素の形状またはサイズを各軸の符号の方向の判定もできるように異なるものにしておくことが最も確実な方法であるが、そこまでしなくても、カメラの画像座標系のｕ軸およびｖ軸の方向と世界座標系のＸｗ軸およびＹｗ軸の方向の対応関係を撮像画像で見たときに間違えない程度に予めカメラの方向を調整しておくことによって、撮像画像においてＸｗ軸とＹｗ軸の判別をする方法をとることもできる。実施例１は、後者の方法を採用している。
世界座標軸に関係するマーカあるいはパターン要素の形状の例を以下に示す。
（１）マーカあるいはパターン要素として独立したもの（例えば、実施例１の円形状が基本）を採用するときは、世界座標軸に関係するマーカあるいはパターン要素の形状は、異なる種類の形状にするか、他のマーカあるいはパターン要素に対して同一の形状で追加の要素を加えたものとする（例えば、小さい円を加える、即ち円環とするか、色が判別できる画像処理が可能ならば色を変える等）かまたはサイズを変える。
（２）マーカあるいはパターン要素が独立したものでないパターンから抽出されたものであるときも、上記（１）と同様の選択肢がある。

また、割出す世界座標軸に関係するマーカあるいはパターン要素を他のマーカあるいはパターン要素と異ならせる方法ではなく、Ｘｗ軸およびＹｗ軸に関係するマーカあるいはパターン要素を判別する他の方法として、当該のマーカあるいはパターン要素の周辺の状況を他のマーカあるいはパターン要素と異なる状況にしておくことも可能である。具体的には、そのマーカあるいはパターン要素を挟んで直線等の他のパターンと区別可能な模様を配しておくことができる。

以上の説明で、撮像画像において標準校正パターンの世界座標軸の位置を割り出すためのマークの形状をその役割を負わないマークの形状と異ならせることで、世界座標軸の位置を割り出し、全てのマークについてその位置を代表する特徴点について画像座標と世界座標の対応がつけられるとしてきたが、（１）必ずしも双方のマークの形状を異ならせなくても上記割り出しが可能な場合、または、（２）世界座標軸が位置の割り出しを行わなくても撮像画像にあるマークの世界座標を見つけることが可能な場合がある。その条件と方法について、２つの場合の例をあげて説明する。
（１）の場合は、撮像画像内にマーク群の特徴ある部分が観測可能なようにしておき、特徴ある部分のマークの配列から座標軸の方向を見出し、予め既知である特徴ある部分の位置を代表する点からの各座標軸への距離を使って世界座標軸の位置を割り出す。特徴ある部分の形態の例は、他の部分のマークとは異なるある特別な形状のマーク群がＸｗ軸とＹｗ軸の方向に並んでいるようなマーク配列である。ただし、この場合は、上記特徴ある部分以外のマークの位置が特徴ある部分のマーク配列と関係付けられたデータがなく、世界座標データしか用意されていない場合に限る。
（２）の場合は、撮像画像のｕ軸の方向と世界座標のＸｗ軸の方向を誤認しない程度にその方向を合わせておき、例えば、実施例１の場合でカメラ１１の撮像画像において、必ず第３基準マーカの周辺が全て観測できるような標準校正パターンのマーカ群の配置にしておく。全てのマーカ群はＸｗ軸に平行な方向とＹｗ軸に平行な方向に等ピッチとなるように配列されていることが予めわかっていることから、予めわかっている第３基準マーカの特徴点の世界座標を使って全てのマーカの特徴点の世界座標が容易に得られる。

また、実施例１においては、カメラは、１０００万画素のＣＣＤカメラである。当然撮像対象となるパネルサイズと要求される検出分解能に応じて他の分解能のカメラも適用可能である。

実施例１においては、カメラが複数（４）台の場合を述べてきたが、カメラ１台で被撮像物全体を撮像可能な場合においても、カメラキャリブレーションにおける実施例１の正規化ホモグラフィ行列の求め方および液晶表示パネル等のフラットパネル表示体に標準校正パターンを表示する方法は、当然適用可能である。標準校正パターンの特徴点とその世界座標の対応をカメラの撮像画像によって把握することができることに変わりはないからである。

以上述べてきた実施例１の方式で、４個の各カメラの画像座標（ｕ、ｖ）を世界座標（Ｘｗ、Ｙｗ）に変換できることになるが、実施例１のカメラキャリブレーション方法の応用装置（例えば、液晶パネル欠陥検査装置）において、カメラキャリブレーション方法の効果を徹底して享受するためには、世界座標（Ｘｗ、Ｙｗ）を更に液晶パネル上の座標であるパネル座標（Ｘｐ、Ｙｐ）に変換し、なければならない。このパネル座標（Ｘｐ、Ｙｐ）は液晶パネルの修理等の操作のための基準座標として一般には使用される。もちろん、装置によっては世界座標（Ｘｗ、Ｙｗ）を基準座標として使用することも条件によっては可能である。以下、実施例１のカメラキャリブレーション方法の応用装置について図９と共に簡単に説明する。

図９は上記応用装置の１例で、液晶パネル欠陥検査・修理装置の機能イメージを示すブロック図である。
１台または複数台のカメラセット１０（内部の配置の図示は省略してあるが、例としては図１のような配置である）が被撮像物であるパネル２０に対向する形で配設され、欠陥検出制御部５０はカメラセット１０とパネル２０に接続されており、カメラセット１０に対して動作指令を出し撮像データを受取るとともに、パネル２０に対しては、カメラキャリブレーションにおいて枠４０の中に標準校正パターンを表示させる。この表示は、欠陥検査装置が欠陥検査の手順として各種の欠陥を効率よく検出するため、各種の特殊パターンを表示しながらいわゆる点灯検査を行う機能を持っているため、特殊パターンのひとつとして標準校正パターンを用意しておくことによってその表示機能を利用して容易に可能である。一方欠陥検出制御部５０は修理ロボット制御部６０と接続され、修理ロボット制御部６０は修理に必要な動作指令を欠陥検出制御部５０から受取り、修理ロボットを制御する。
実施例１で述べてきたカメラキャリブレーションは、ひとつの検査単位量のパネルが検査工程を流れる前に、カメラキャリブレーション用として認められた代表的なパネル２０（平板上の標準校正パネル、または液晶表示体のパネル）が検査工程の所定の位置にパネル座標系（原点と座標軸）を基準に供給・位置決めされ検査治具類が準備された後、基本的に１回だけ行われる。標準校正パターンをパネル２０に表示させる場合は、予め決められている（欠陥検査制御部５０が認知している）世界座標（Ｘｗ、Ｙｗ）に従ってパネル２０に表示された所定の形状及び配列のマーカ群からなる標準校正パターンを、また平板上の標準校正パターンを使用する場合はこの標準校正パターンを、カメラセット１０で撮像したデータを欠陥検査制御部５０に取り込み、カメラキャリブレーションを行う。
つぎに、実際の被検査パネルの検査工程の際に、欠陥検査制御部５０において、カメラで撮像した画像により欠陥を検出し、その欠陥を修正するために、カメラキャリブレーションの結果の座標変換計算式を用いて、その欠陥部分の画像座標値をパネル座標値に変換し（厳密には、画像座標値を世界座標値に変換し、更に世界座標値をアフィン変換によってパネル座標値に変換し）、修理ロボット制御部６０へ送出する。修理ロボット制御部６０は、欠陥の検出されたパネルが修理工程の所定の位置にパネル座標系を基準に位置決めされ修理開始の条件が整ったタイミングに合わせて、当該欠陥部分のパネル座標値に従った修理動作指令を修理ロボット７０に送出して修理を行わせる。当然のことながら、修理ロボット７０は修理工程の所定の位置とそこに位置決めされるパネルのパネル座標系（原点と座標軸）の関係を予め認知している。

実施例１および上記の説明においては、図３の４０で示すような平板上に配置した標準校正パターンを液晶パネルの表面位置に設置する方式と液晶パネルそのものに標準校正パターンを表示させる方式の２つの方式について述べてきた。
平板上の標準校正パターンを使用するときは、カメラキャリブレーション時の世界座標系とパネル座標系の位置・姿勢関係を実際の欠陥検査時においても正確に再現したいことから、パネルの所定の場所への位置決めの治具精度および標準校正パターンの位置決めのための治具精度（平板上の標準校正パターンの外形形状が液晶表示体のパネルと同じ場合には後者の治具は不要となる）が所定の数値以内に収まるように治具が用意される。
しかしながら、２つの方式の両方とも治具を使うことによって必然的にパネルの位置決めにおいて誤差を伴うことは同じであるが、前者の場合は、更に標準校正パターンの位置決めにおいて追加的な誤差が伴うこととなり、修理ロボット７０が認知している修理工程の所定の位置とそこに位置決めされるパネルのパネル座標系（原点と座標軸）の関係の誤差については、パネルに標準校正パターンを表示する場合より大きくなる。その追加的な誤差を含んでもトータルの誤差が要求精度の範囲内であればこの観点からは問題はないが、標準校正パターンの位置決め時の誤差を伴うデメリットは厳然と存在する。
後者の方式の場合は、標準校正パターンを液晶パネルのＸｐＹｐ座標系の座標軸に対して正確に配置することが原理的に可能であり、前者のような誤差が生まれる余地がなく、カメラ座標（ｕ、ｖ）からパネル座標（Ｘｐ、Ｙｐ）に変換する精度は前者の方式の場合に比べ更に上がり、目標達成に貢献することとなる。
更に、この場合は、世界座標ＸｗＹｗを使う必要もなく、上述のローカル世界座標系の代わりにローカルパネル座標系を最初から使って、カメラキャリブレーションとその結果を使った各カメラの画像座標からローカルパネル座標への変換を行えばよいという大きな効果が得られる。
当然、実施例１で説明してきたように、ローカルパネル座標の座標軸とパネル座標の座標軸を最初から共通にしておけば、各カメラの画像座標からパネル座標への変換が直接できることになる。ただ、一般的には、パネル座標系と世界座標系の関係は応用装置の都合に合わせて決めればいいことである。
また、当然のことながら、Ｘｐ軸、Ｙｐ軸をそれぞれ基準マーカ３、０、１と４、０、２の中心を通る直線としてもよいし、必ずしもそのようにする必要はなく、Ｘｐ軸、Ｙｐ軸と基準マーカの位置関係は任意に設定してよい。

実施例１のカメラ配置とパネルの関係の一例を示す図 図１のパネルとの分割撮像領域の関係を示す図 本発明による標準校正パターンの一例を示す図 円形状マーカの中心（特徴点）検出方法を示すフローチャート 図３の標準校正パターンの一部を示す図 本発明による正規化ホモロジー行列計算手順を示すフローチャート 実験に用いた標準校正パターンの一例を示す図 実験に用いたカメラと標準校正パターンの関係を示す図 本発明によるカメラキャリブレーション方法を使用する応用装置の１例で、液晶パネル欠陥検査・修理装置の機能イメージを示すブロック図

符号の説明

１０ カメラセット
１１ カメラ１
１２ カメラ２
１３ カメラ３
１４ カメラ４
２０ パネル
２１ 分割撮像領域
２２ 分割撮像領域
２３ 分割撮像領域
３４ 分割撮像領域
３０ パネルの中心
４０ 標準校正パターンの仮想枠または標準校正パターンを配した平板
５０ 欠陥検出制御部
６０ 欠陥修理制御部
７０ 修理ロボット

まず、欠陥検査を行うときと同一の欠陥検査装置の状態で、パネルの表面位置に図３に示す標準校正パターンを設置する。
その設置の仕方を説明する前に、図３の標準校正パターンについて、本発明の説明の都合上、当該パターンがパネルと同一のサイズの平面状物体（以降、平板ともいう）の表面に作られている例で説明する。標準校正パターンは、基本的にパネル２０のサイズ大の平板４０の中に、平板４０の中心を原点０とするＸｗＹｗ座標系（世界座標系）のＸｗ軸方向、Ｙｗ軸方向に、各座標軸を含む等間隔な仮想線を配置し、その仮想線の交点に中心を置くように円形のマーカを配置したことを特徴とするパターンである。図３に表示される仮想線は、平板４０上で点線により表示してあり、各座標軸と重なるものもあるもので、図上での表示は各座標軸上の仮想線および平板４０の外周に最も近い仮想線のみとなっており、他は省略してある。更なる特徴は、ＸｗＹｗ座標の原点０並びにＸｗ軸およびＹｗ軸と直交する仮想線の内の平板４０の外周に最も近い仮想線と各座標軸との交点上にあるマーカ１、２、３、および４を円環形状とし、他のマーカをすべて塗りつぶし円形マーカとし、区別できるようにしてあることである。
この区別によるメリットは、標準校正パターンがパネル２０の表面位置に置かれたときに、パネル欠陥検査装置の制御部がコンピュータによる画像処理により、カメラによる撮像画像内で円環形状のマーカを探し出し、世界座標軸Ｘｗ軸およびＹｗ軸の位置を認知することによって撮像画像上のマーカ全ての世界座標上のマーカとの位置対応関係を認知し、結果として撮像画像上の各マーカとそれらの位置を代表する特徴点（円形の中心）の世界座標上の座標との対応関係を認知することが自動的にできることにある。当然、各特徴点の世界座標は、各マーカとの対応がわかるように対応リスト等により予め記録されており、マーカがわかれば自動的に見つけ出すことができるようになっている。これは、工程内でカメラのキャリブレーションが自動化でき、その後の欠陥検査による欠陥位置の特定、当該位置の欠陥の補修等まで全て自動化できることを意味し、全自動化の隘路であったカメラキャリブレーションまでの部分が自動化可能となる効果をもたらす。
一方、標準構成パターンの設置は、ＸｗＹｗ座標軸上のマーカが各カメラの撮像領域の互いにオーバーラップしている部分に収まるように、しかもパネル座標系と標準較正パタ ーン上に置かれた世界座標系との相対配置関係誤差が所定の範囲内に収まるように、治具 等を使用してシートの原点０をパネルの中心３０に合せ、且つ円環形状のマーカ１および３を結ぶ線と、円環形状のマーカ２および４結ぶ線を矩形のパネル２０の対応する辺に平 行に合わせる方法をとる。このようにすることによって、４台のカメラの撮像領域の隣接領域同士のオーバーラップ領域それぞれに必ず円環形状のマーカ０とマーカ１、２、３、４を含んでそれぞれで挟まれるマーカ列がそれぞれ入るようになり、いずれのカメラの撮像画像においても世界座標の原点位置、Ｘｗ軸位置およびＹｗ軸位置が読み取れるようになる。

更に、実施例１において、欠陥検査対象として液晶パネルを取扱う場合に、標準校正パターンを液晶表示パネル上に表示することをも実現した。これは、検査工程において液晶パネルは点灯可能な形態で検査工程に送られることを利用するものであり、予め欠陥がないことがわかっている液晶表示パネルをカメラキャリブレーションに使用して、点灯検査で使われるパターンの代わりに標準校正パターンを表示させるものである。
この利点は、以上で説明してきた世界座標系を液晶表示パネルの表示面に設定されるパネル座標系と原理的に同一の基準の下に既知の関係を持って設定することを可能とするものであることから、世界座標をパネル座標に変換する際には原理的に誤差を伴わないことにある。
因みに、今まで説明してきたように、標準校正パターンをパネルと同一のサイズの平面状物体（平板）の表面に配置する方法は、平板を設置するときの世界座標系位置・姿勢と欠陥が検査される液晶表示パネルが設置されるときの世界座標の位置・姿勢との間にものづ くりに伴う公差が原因で誤差が出る。

標準校正パターンのパターン要素配列構成を、
世界座標系の各座標軸上に存在するかまたは各座標軸に平行でその所定の側に所定の距離離れて存在する各１本の仮想線上に、少なくとも世界座標系の原点位置を割り出すための特徴点と、対応する世界座標軸の正領域の点を割り出すための特徴点と、世界座標軸の負領域の点を割り出すための特徴点からなる３個の特徴点が配置され、
３個の特徴点がその位置を代表するパターン要素（以降、座標基準パターン要素ともいう）とその他の特徴点がその位置を代表するパターン要素が、形状またはサイズにおいて異なるようにするか、または、座標基準パターン要素に対する所定の位置に任意のパターンを付帯配置して区別する方式でパターン要素を配列する形とし、世界座標軸の位置を探しやすくすることができる。
また、世界座標軸の第１の世界座標軸と第２の世界座標軸の区別、およびそれらの正領域と負領域の区別ができるように、座標基準パターン要素の形状またはサイズを第１の世界座標軸に対応するものと第２の世界座標軸に対応するものとの間で異ならせるようにすることで、２つの世界座標軸およびその符号の方向を判定しやすくすることができる。
また、さらに、２つの軸について正領域と負領域の関係が既定であれば、世界座標系の第１の世界座標軸または第２の世界座標軸のいずれか既定の軸の正領域または負領域の内のいずれか既定の領域を割り出すための座標基準パターン要素の形状またはサイズを、当該既定の軸以外の軸および当該既定の軸の当該既定の領域以外の領域を割り出すための座標基準パターン要素の形状またはサイズと異ならせるようにすることもできる。

また、座標基準パターン要素またはパターン要素を、パターンの撮像画像から所定の方法により抽出可能な論理的に決まる形状のパターン要素とすることができる。
その形態例として、座標基準パターン要素またはパターン要素を、太さを持つ線状（帯状）のパターン同士の交差する部分にできる４個の角の内３個以上の角を結ぶ多角形とすることができる。

まず、欠陥検査を行うときと同一の欠陥検査装置の状態で、パネルの表面位置に図３に示す標準校正パターンを設置する。
その設置の仕方を説明する前に、図３の標準校正パターンについて、本発明の説明の都合上、当該パターンがパネルと同一のサイズの平面状物体（以降、平板ともいう）の表面に作られている例で説明する。標準校正パターンは、基本的にパネル２０のサイズ大の平板４０の中に、平板４０の中心を原点０とするＸｗＹｗ座標系（世界座標系）のＸｗ軸方向、Ｙｗ軸方向に、各座標軸を含む等間隔な仮想線を配置し、その仮想線の交点に中心を置くように円形のマーカを配置したことを特徴とするパターンである。図３に表示される仮想線は、平板４０上で点線により表示してあり、各座標軸と重なるものもあるもので、図上での表示は各座標軸上の仮想線および平板４０の外周に最も近い仮想線のみとなっており、他は省略してある。更なる特徴は、ＸｗＹｗ座標の原点０並びにＸｗ軸およびＹｗ軸と直交する仮想線の内の平板４０の外周に最も近い仮想線と各座標軸との交点上にあるマーカ１、２、３、および４を円環形状とし、他のマーカをすべて塗りつぶし円形マーカとし、区別できるようにしてあることである。
この区別によるメリットは、標準校正パターンがパネル２０の表面位置に置かれたときに、パネル欠陥検査装置の制御部がコンピュータによる画像処理により、カメラによる撮像画像内で円環形状のマーカを探し出し、世界座標軸Ｘｗ軸およびＹｗ軸の位置を認知することによって撮像画像上のマーカ全ての世界座標上のマーカとの位置対応関係を認知し、結果として撮像画像上の各マーカとそれらの位置を代表する特徴点（円形の中心）の世界座標上の座標との対応関係を認知することが自動的にできることにある。当然、各特徴点の世界座標は、各マーカとの対応がわかるように対応リスト等により予め記録されており、マーカがわかれば自動的に見つけ出すことができるようになっている。これは、工程内でカメラのキャリブレーションが自動化でき、その後の欠陥検査による欠陥位置の特定、当該位置の欠陥の補修等まで全て自動化できることを意味し、全自動化の隘路であったカメラキャリブレーションまでの部分が自動化可能となる効果をもたらす。
一方、標準校正パターンの設置は、ＸｗＹｗ座標軸上のマーカが各カメラの撮像領域の互いにオーバーラップしている部分に収まるように、しかもパネル座標系と標準校正パターン上に置かれた世界座標系との相対配置関係誤差が所定の範囲内に収まるように、治具等を使用してシートの原点０をパネルの中心３０に合せ、且つ円環形状のマーカ１および３を結ぶ線と、円環形状のマーカ２および４結ぶ線を矩形のパネル２０の対応する辺に平行に合わせる方法をとる。このようにすることによって、４台のカメラの撮像領域の隣接領域同士のオーバーラップ領域それぞれに必ず円環形状のマーカ０とマーカ１、２、３、４を含んでそれぞれで挟まれるマーカ列がそれぞれ入るようになり、いずれのカメラの撮像画像においても世界座標の原点位置、Ｘｗ軸位置およびＹｗ軸位置が読み取れるようになる。

Claims (12)

1. 平面状の被撮像面を持つ被撮像物（以降、パネルともいう）の前記被撮像面（以降、パネル面ともいう）に対向して設置されたカメラによって前記パネルを計測する装置のカメラキャリブレーション方法であって、
   自らの上に置かれた世界座標系に従って複数のパターン要素が所定の基準で配列されたカメラキャリブレーション用の標準校正パターンを前記パネル面に配置して、前記カメラで撮像し、該カメラの撮像画像上で前記パターン要素を抽出し、該パターン要素の位置を代表する特徴点を前記撮像画像上に置かれた画像座標系を基準に特定し、前記特徴点の画像座標を計測し、
   一方、前記撮像画像上のパターン要素の形状と相互配列を計測し、前記所定の基準を利用することによって、前記撮像画像上のパターン要素と前記世界座標系上のパターン要素との対応関係を判別して、前記撮像画像上の各パターン要素の特徴点に対応する前記標準校正パターン上の特徴点の既知の世界座標を見つけ出し、
   複数の前記パターン要素の特徴点の画像座標と対応する世界座標を使って画像座標を世界座標に変換するための変換行列を求めることによりカメラキャリブレーションを行うことを特徴とするカメラキャリブレーション方法。
2. 複数のカメラで平面状の被撮像面を持つ被撮像物（以降、パネルともいう）を分割撮像するために、各カメラの隣り合う撮像領域同士の重なり合うオーバーラップ領域ができるように前記被撮像面（以降、パネル面ともいう）に対向して設置された複数のカメラによって前記パネルを計測する装置のカメラキャリブレーション方法であって、
   自らの上に置かれた世界座標系に従って複数のパターン要素が所定の基準で配列されたカメラキャリブレーション用の標準校正パターンを、前記複数のパターン要素のうち世界座標系の座標軸の位置を各カメラの撮像画像において割り出すために使われるパターン要素が前記パネル面のオーバーラップ領域に含まれるように、前記パネル面に配置して、該標準校正パターンをカメラで撮像し、前記撮像画像上で前記パターン要素を抽出し、該パターン要素の位置を代表する特徴点を前記撮像画像上に置かれた画像座標系を基準に特定し、前記特徴点の画像座標を計測し、
   一方、前記撮像画像上のパターン要素の形状と相互配列を計測し、前記所定の基準を利用することによって前記世界座標系の座標軸の位置を割り出し、前記撮像画像上のパターン要素と前記世界座標系上のパターン要素との対応関係を判別して、前記撮像画像上の各パターン要素の特徴点に対応する前記標準校正パターン上の特徴点の既知の世界座標を見つけ出し、
   複数の前記パターン要素の特徴点の画像座標と対応する世界座標を使って画像座標を世界座標に変換するための変換行列を求めることによりカメラキャリブレーションを行うことを特徴とするカメラキャリブレーション方法。
3. 前記標準校正パターンが、
   前記世界座標系の各座標軸上に存在するかまたは該各座標軸に平行でその所定の側に所定の距離離れて存在する各１本の仮想線上に、少なくとも前記世界座標系の原点位置を割り出すための特徴点と、対応する世界座標軸の正領域の点を割り出すための特徴点と、該世界座標軸の負領域の点を割り出すための特徴点からなる３個の特徴点が配置され、
   該３個の特徴点がその位置を代表するパターン要素（以降、座標基準パターン要素ともいう）とその他の特徴点がその位置を代表するパターン要素が、形状またはサイズにおいて異なるようにするか、または、前記座標基準パターン要素に対する所定の位置に任意のパターンを付帯配置して区別する方式でパターン要素が配列されているパターンであることを特徴とする請求項１または２に記載のカメラキャリブレーション方法。
4. 前記世界座標軸の第１の世界座標軸と第２の世界座標軸の区別、およびそれらの正領域と負領域の区別ができるように、前記座標基準パターン要素の形状またはサイズを前記第１の世界座標軸に対応するものと前記第２の世界座標軸に対応するものとの間で異ならせることを特徴とする請求項３に記載のカメラキャリブレーション方法。
5. 前記世界座標系の第１の世界座標軸または第２の世界座標軸のいずれか既定の軸の正領域または負領域の内のいずれか既定の領域を割り出すための座標基準パターン要素の形状またはサイズを、当該既定の軸以外の軸および当該既定の軸の当該既定の領域を割り出すための座標基準パターン要素の形状またはサイズと異ならせることを特徴とする請求項４に記載のカメラキャリブレーション方法。
6. 前記座標基準パターン要素または前記パターン要素が、独立したパターン要素からなることを特徴とする請求項１から５のいずれかに記載のカメラキャリブレーション方法。
7. 前記座標基準パターン要素または前記パターン要素が、パターンの撮像画像から所定の方法により抽出できる想定パターン要素からなることを特徴とする請求項１から５のいずれかに記載のカメラキャリブレーション方法。
8. 前記座標基準パターン要素または前記パターン要素が、太さを持つ線状のパターン同士の交差する部分にできる４個の角の内３個以上の角を結ぶ多角形であることを特徴とする請求項７に記載のカメラキャリブレーション方法。
9. 前記被撮像物がフラットパネル表示体であり、
   前記標準校正パターンの前記パネル面への配置が、欠陥のないフラットパネル表示体による前記標準校正パターンの表示によってなされることを特徴とする請求項１から８のいずれかに記載のカメラキャリブレーション方法。
10. 前記標準校正パターンが、該標準校正パターンを表面に配置した平面状物体であることを特徴とする請求項１から８のいずれかに記載のカメラキャリブレーション方法。
11. 前記カメラキャリブレーションが、
    前記世界座標系上に配列した標準校正パターンの内のカメラの撮像領域に存在する前記校正要素群を使って、
    （ステップ１）所定の選択基準で４個以上の複数個の校正要素を選択し、選択された校正要素の特徴点の世界座標値（以降、特徴点世界座標値ともいう）を選択済特徴点群リストに登録する。
    （ステップ２）前記標準校正パターンをカメラで撮像し、選択された校正要素の特徴点の世界座標値と該世界座標値に対応して画像座標上で計測された画像座標値を使用して、世界座標を画像座標に変換するための正規化ホモグラフィ行列の初期値の計算を行う。
    （ステップ３）計算された正規化ホモグラフィ行列を使って、画像座標上に存在する前記標準校正パターンを構成する全てのパターン要素の特徴点の世界座標を画像座標に変換する（以降、逆投影するともいう）。
    （ステップ４）特徴点の世界座標各々について変換された画像座標値と画像座標上で計測された画像座標値との差（以降、逆投影誤差ともいう）が所定の値以下の特徴点で前記選択済特徴点群リストにないものがあればこれを追加し、所定の値を超える特徴点が前記選択済特徴点群リストに存在すればそれを削除する。
    （ステップ５）前記選択済特徴点群リストの中の特徴点の追加あるいは削除の有無を判定し、無ければ終了し、有れば（ステップ６）へ移行する。
    （ステップ６）特徴点の追加または削除による新たな前記選択済み特徴点群リストの特徴点群を対象に（ステップ２）で初期値を求めた方法により正規化ホモグラフィ行列を計算し直し、（ステップ３）へ移行する。
    の一連のステップを実行することにより成されることを特徴とする請求項１から１０のいずれかに記載のカメラキャリブレーション方法。
12. 請求項１から１１のいずれかに記載のカメラキャリブレーション方法により、画像座標と世界座標との間の座標変換を行うための計算式を求め、該計算式によって画像座標をパネルの表面に置かれたパネル座標に変換する機能を具備することを特徴とするパネルの計測または検査装置。
    

Images