JP2005277931A - 位置検出装置、及び位置検出方法 - Google Patents

Abstract

【課題】カメラ基準のターゲット座標へ被写体の移動制御を行うための移動量の算出が高精度で且つ高速に可能で安価な位置検出装置、及び位置検出方法を実現する。
【解決手段】位置検出装置は、互いに等しい長さの２つの平行な等長線分の各端点を少なくとも特徴点として、被写体の位置を検出するように構成されている。位置検出装置は、光学手段によって結像されたカメラ座標系空間内の被写体像を撮像する撮像素子１１４と、この撮像素子１１４で撮像した被写体像の各特徴点の撮像素子１１４面上での位置を表す撮像素子座標から、被写体像の各特徴点が対応するカメラ座標系空間内の位置を表すためのカメラ座標を算出するカメラ座標算出手段としての位置検出処理部１１５とを具備して構成されている。
【選択図】図１

Description

本発明は、位置検出装置、及び位置検出方法に関する。

投射型表示装置であるプロジェクタの中には、液晶表示素子（液晶ライトバルブとも言う）を３枚用いた３板式投射型液晶表示装置がある。この３板式投射型液晶表示装置（以下、単にプロジェクタ）は、光の三原色であるＲ（赤），Ｇ（緑），Ｂ（青）に対応する液晶表示素子（以下、液晶ライトバルブとも言う）を有して構成されている。上記プロジェクタは、光源からの光を上記光の三原色に色分解し、それぞれの色に対応する３枚の液晶表示素子によって、それぞれ独立に画像を形成してこれら画像を合成するようになっている。合成した画像は、投射光学系によりスクリーン上に投射されて結像され、投射画像として表示されるようになっている。このため、プロジェクタは、色ずれの発生を防ぐため、各表示素子の画素位置調整を行う必要がある。

例えば、特許第２９７３２３９号公報は、各液晶表示素子に表示されたテストパターン像をスクリーン上に投写し、このスクリーン上に投写した投写画像をビデオカメラで撮像し、この撮像画像内の４つの位置に対して、赤、緑、青の液晶表示素子に対するテストパターン像の位置ずれを検出し、この検出したテストパターン像の位置ずれを回転移動と平行移動との順番に行って調整する位置調整装置、及び位置調整方法を開示している。
上記公報に記載の位置調整装置、及び位置調整方法は、十字状のテストパターン像を用い、この十字状パターン像の端部が上記ビデオカメラで撮像した上記液晶表示素子辺縁部の４つの所定線分の中心に位置するように位置調整が行われるようになっている。

また、特開平１１−１７８０１４号公報は、上記特許第２９７３２３９号公報と同様、投影されたテストパターン像を撮像する撮像手段を有し、この撮像手段により撮像したテストパターン像の座標とコントラスト値とを演算した後、これら演算した座標及びコントラスト値から算出して得た補正量に基づいて画素位置調整を行う位置調整装置、及び位置調整方法を開示している。
上記公報に記載の位置調整装置、及び位置調整方法は、２つの十字線パターンと４つの格子状パターンにより形成されるテストパターン像を用い、このテストパターン像を使用して３次元空間内の任意の位置調整が可能な６軸ステージを移動するための６つのパラメータ量（ｘ軸方向、ｙ軸方向、ｚ軸方向）及び、（α回転方向、β回転方向、θ回転方向）を算出している。

上記ｘ軸方向、ｙ軸方向、θ回転方向のずれ算出は、上記液晶表示素子の対角部分に配置された２つの十字線パターンの縦ラインと横ラインとの交点を演算し、それぞれの十字線パターンの中心座標を算出することで行っている。
更に、上記ｚ軸方向、α回転方向、β回転方向のずれ算出は、上記液晶表示素子の辺縁部の４つの位置に配置された格子縞パターンのコントラスト値をｚ軸方向に一定ステップ毎に移動させながらピーク値を算出し、４つのピーク位置のステップナンバーから行っている。
特許第２９７３２３９号公報 特開平１１−１７８０１４号公報

上記特許第２９７３２３９号公報、上記特開平１１−１７８０１４号公報に記載の位置調整装置、及び位置調整方法は、少なくともテストパターンを液晶表示素子周辺の複数位置に表示することにより、回転方向（α回転方向、β回転方向、θ回転方向）の補正量の算出精度を上げる必要がある。
このため、上記公報に記載の位置調整装置、及び位置調整方法は、上記複数位置のテストパターンを撮影するためのビデオカメラを複数台用意するか、或いは１台のカメラで装置を構成する場合には複数所定位置への移動を行う機構が必要となる。

ここで、上記位置調整装置、及び位置調整方法は、仮に、１台の固定ビデオカメラを用いて構成する場合、液晶表示素子よりも多画素な撮像素子を用いて全体を撮影する必要があり、位置調整量用の算出装置が大掛かり、或いは高価なものとなってしまうという問題が生じる。

本発明は、上述した点に鑑みてなされたもので、カメラ基準のターゲット座標へ被写体の移動制御を行うための移動量の算出が高精度で且つ高速に可能で安価な位置検出装置、及び位置検出方法を提供することを目的とする。

本発明による位置検出装置は、互いに等しい長さの２つの平行な等長線分の各端点を少なくとも特徴点として、被写体の位置を検出する位置検出装置であって、光学手段によって結像されたカメラ座標系空間内の前記被写体像を撮像する撮像デバイスと、前記撮像デバイスで撮像した被写体像の前記各特徴点の撮像デバイス面上での位置を表す撮像デバイス座標から、前記被写体像の前記各特徴点が対応するカメラ座標系空間内の位置を表すためのカメラ座標を算出するカメラ座標算出手段と、を具備したことを特徴としている。
また、本発明による位置検出方法は、互いに等しい長さの２つの平行な等長線分の各端点を特徴点として少なくとも有する被写体の位置を検出する位置検出方法であって、光学手段によって結像されたカメラ座標系空間内の前記被写体像を撮像デバイスにより撮像する撮像工程と、前記撮像デバイスで撮像した被写体像の前記各特徴点の撮像デバイス面上での位置を表す撮像デバイス座標から、前記被写体像の前記各特徴点が対応するカメラ座標系空間内の位置を表すカメラ座標を算出する算出工程と、を具備したことを特徴としている。

本発明の位置検出装置、及び位置検出方法は、カメラ基準のターゲット座標へ被写体の移動制御を行うための移動量の算出が行えるため、高速、高精度、安価な構成にて被写体の移動制御を行うことができる。

以下に本発明に係わる位置検出装置、及び位置検出方法と更にこの検出結果を基に位置調整を行う位置調整装置、及び位置調整方法の実施例を説明する。
先ず、最初に以下の実施例内で使用する２つの座標系（カメラ座標系とステージ座標系）とそれに伴う数式の表記方法を定義する。

カメラ座標系での対象物上の点や変換行列には、その識別用アルファベットに何も付けず、その座標成分は小文字（例えばＰ（ｘ，ｙ，ｚ））とし、カメラ座標系での撮像素子面の対象物投影位置には例えばＰ’（ｘ’，ｙ’，−ｚ_０）のようにアルファベットの後に’を付ける。但し、撮像素子上の任意点のｚ成分は、定数（−ｚ_０）となるように上記カメラ座標を設定するため、撮像素子座標として以下に定義する座標成分は例えばＰ’（Ｘ，Ｙ）のように大文字で、且つ２次元座標で表現する。また、ステージ座標系での対象物上の点や変換行列には例えばＰ”（ｘ”，ｙ”，ｚ”）のようにその識別用アルファベットに”を付けるものとする。

図１は、２台のプロジェクタに用いられる液晶表示素子の画素位置調整装置を備えたプロジェクタシステムの概略図である。このプロジェクタシステムでは、液晶表示素子の画素位置を同一位置に合せ込むように制御すれば高輝度化が図られ、画素を縦横ともに半画素ピッチずらすように制御すれば高解像度化が図れるようになっている。
図１に示すように、第１投影画像生成部１０３及び、第２投影画像生成部１０４は、ＲＧＢ３板式の液晶表示素子により形成された表示画像を合成する光学エンジンを搭載している。

前記第１投影画像生成部１０３及び第２投影画像生成部１０４は、各投影画像生成部のＲＧＢ３板液晶表示素子の画素位置調整が既になされているものとし、前記第１投影画像生成部１０３、及び第２投影画像生成部１０４は、用いられる液晶表示素子が合成投影画像を表示するそれぞれ単一の液晶表示素子であるとする。

前記第１投影画像生成部１０３及び、第２投影画像生成部１０４は、合成投影画像の射出側に光の三原色であるＲ（赤），Ｇ（緑），Ｂ（青）の偏光方向を一致させる旋光板１０５、合成投影画像を投影レンズ１１０まで伝達するリレーレンズ光学系１０６、及び偏光板１０７を有している。これら旋光板１０５、リレーレンズ光学系１０６、及び偏光板１０７の構成をそれぞれ第１プロジェクタ１０１と第２プロジェクタ１０２とする。

前記第１プロジェクタ１０１の前面には、全反射ミラー１０８が配置されいる。前記第２プロジェクタ１０２の前面には、偏光ビームスプリッタ１０９が配置されている。
この偏光ビームスプリッタ１０９は、前記第１プロジェクタ１０１と前記第２プロジェクタ１０２の投影画像が同一光路長位置で合成されるようになっている。

前記偏光ビームスプリッタ１０９の前面には、投影レンズ１１０が配置されている。この投影レンズ１１０は、前記偏光ビームスプリッタ１０９により合成された合成画像を不図示のスクリーンに投影するようになっている。
尚、前記第１プロジェクタ１０１及び第２プロジェクタ１０２の液晶表示素子２０１，２０２には、位置合せ用テストパターン画像が表示されるようになっている（図５参照）。

前記全反射ミラー１０８の反対側には、光学絞り１１１及びビデオカメラ１１３が配置されている。これら光学絞り１１１及びビデオカメラ１１３には、前記偏光ビームスプリッタ１０９からの漏れ光が入射するように配置されている。前記ビデオカメラ１１３には、撮像素子１１４が設けられている。この撮像素子１１４は、前記第１プロジェクタ１０１及び第２プロジェクタ１０２の液晶表示素子に表示される位置合せ用テストパターン画像が結像されるように配置されている。

前記撮像素子１１４は、位置合せ用テストパターン画像を撮像し、撮像信号を位置検出処理部１１５に出力するようになっている。前記位置検出処理部１１５は、前記撮像素子１１４からの撮像信号を信号処理して前記第１プロジェクタ１０１及び第２プロジェクタ１０２の液晶表示素子上の所定点座標を検出するようになっている。前記位置検出処理部１１５は、検出した前記第１プロジェクタ１０１及び第２プロジェクタ１０２の液晶表示素子上の所定点座標データを、位置調整制御部１１６に出力するようになっている。

前記位置調整制御部１１６では、入力された前記第１プロジェクタ１０１及び第２プロジェクタ１０２の液晶表示素子上の所定点座標データに基づき、前記液晶表示素子の位置が所定位置となるような補正量を前記第１プロジェクタ１０１及び第２プロジェクタ１０２それぞれに算出するようになっている。

尚、前記第１プロジェクタ１０１は６軸ステージ１１７上に設置されて、前記第２プロジェクタ１０２は６軸ステージ１１８上に設置されている。
前記位置調整制御部１１６は、算出した補正量に基づき、前記第１プロジェクタ１０１及び第２プロジェクタ１０２がそれぞれ所定位置に移動するように前記６軸ステージ１１７、１１８を移動制御するようになっている。

上記構成例において、前記ビデオカメラ１１３で撮像する画像は、前記偏光ビームスプリッタ１０９の漏れ光が光路上に結像する共役像、或いは直接液晶表示素子を撮像するものとしているが、前記偏光ビームスプリッタ１０９の漏れ光を不図示の投射レンズにより不図示のスクリーン上に合成画像を投影して、この投影された合成画像をビデオカメラ１１３により撮像する構成としても良い。この場合、前記スクリーンと前記ビデオカメラ１１３との位置関係は、既知である必要がある。

ここで、上記２台のプロジェクタに用いられる液晶表示素子の位置調整を行う上で、前記液晶表示素子上に表示された位置合せテストパターン画像の基本形状と、前記位置検出処理部１１５が行う前記液晶表示素子の３次元位置の算出方法は、本発明にとって重要となる。

次に、図２〜５、図９及び図１０を参照して、前記液晶表示素子上に表示された位置合せテストパターン画像の基本形状と、前記位置検出処理部１１５が行う前記液晶表示素子の３次元位置の算出方法の詳細を説明する。
先ず、説明を簡単にするために、前記ビデオカメラ１１３と液晶表示素子２０１とは、対向しており、また、前記ビデオカメラ１１３がピンホールカメラであると仮定する。

撮像レンズを用いたカメラの例については、記述する。
ここで、図２に示すようにビデオカメラ１１３の座標系（以後、カメラ座標系と記す）は、ピンホール位置に原点ＶＰ（０，０，０）を置き、この原点から既知のｚ_０離れた位置に配置した撮像素子１１４の垂線方向にｚ軸、撮像素子の横方向にｘ軸、縦方向にｙ軸を置くものと仮定する。

このようなカメラ座標系に置かれた液晶表示素子上の任意の点Ｐ（ｘ，ｙ，ｚ）と撮像素子上の対応点Ｐ’（−ｘ’，−ｙ’，−ｚ_０）との関係は、一般に以下の式で表される。
ｘ’＝ｘ・ｚ_０／ｚ
ｙ’＝ｙ・ｚ_０／ｚ
従って、
ｘ＝（ｘ’／ｚ_０）ｚ＝Ｘｚ （式１）
ｙ＝（ｙ’／ｚ_０）ｚ＝Ｙｚ （式２）
ここで、Ｘ＝ｘ’／ｚ_０、Ｙ＝ｙ’／ｚ_０とし、Ｐ’（Ｘ，Ｙ）を以後、撮像素子座標とする。

上式（式１、式２）において、未知数ｚを算出できれば、液晶表示素子上の任意点の３次元座標を撮像素子上に投影された点の座標（撮像素子座標）で表現できることになる。
そこで上記液晶表示素子２０１上の４つの仮想点Ｐ₁（ｘ₁，ｙ₁，ｚ₁）、Ｐ₂（ｘ₂，ｙ₂，ｚ₂）、Ｐ₃（ｘ₃，ｙ₃，ｚ₃）、Ｐ₄（ｘ₄，ｙ₄，ｚ₄）に以下のような制限条件を設けることで上記ｚを決定する。

条件１：Ｐ₁（ｘ₁，ｙ₁，ｚ₁）とＰ₂（ｘ₂，ｙ₂，ｚ₂）を結ぶ仮想線分ｒ₁（ベクトル）＝（ｘ₁−ｘ₂，ｙ₁−ｙ₂，ｚ₁−ｚ₂）の長さ（距離）をＤ（既知）とする。
条件２：Ｐ₃（ｘ₃，ｙ₃，ｚ₃）とＰ₄（ｘ₄，ｙ₄，ｚ₄）を結ぶ仮想線分ｒ₂（ベクトル）＝（ｘ₃−ｘ₄，ｙ₃−ｙ₄，ｚ₃−ｚ₄）の長さ（距離）をＤ（既知）とする。
条件３：ｒ₁（ベクトル）とｒ₂（ベクトル）は平行である。
上記３つの条件を数式で表現すると以下の通りである。
ｒ₁ ²＝Ｄ² （式３）
ｒ₂ ²＝Ｄ² （式４）
ｒ₁・ｒ₂＝Ｄ² （式５）
ここで、ｒ₁・ｒ₂はベクトルｒ₁とベクトルｒ₂との内積を表す。

上記３つの式（式３、４、５）を４つの仮想点の撮像素子座標Ｐ₁’（Ｘ₁，Ｙ₁）、Ｐ₂’（Ｘ₂，Ｙ₂）、Ｐ₃’（Ｘ₃，Ｙ₃）、Ｐ₄’（Ｘ₄，Ｙ₄）及びｚ₁、ｚ₂、ｚ₃、ｚ₄で表現し、ｚ₁、ｚ₂、ｚ₃、ｚ₄についてそれぞれ解くと以下の関係式が得られる。
ｚ₁＝Ｄ／γ （式６）
ｚ₂＝αＤ／γ （式７）
ｚ₃＝Ｄ／δ （式８）
ｚ₄＝βＤ／γ （式９）
ここで、
α＝（Ｘ₁−Ｘ₄）・（Ｙ₄−Ｙ₃）−（Ｘ₄−Ｘ₃）・（Ｙ₁−Ｙ₄）／（Ｘ₄−Ｘ₃）・（Ｙ₄−Ｙ₂）−（Ｘ₄−Ｘ₂）・（Ｙ₄−Ｙ₃）

β＝（Ｘ₂−Ｘ₃）・（Ｙ₁−Ｙ₂）−（Ｘ₁−Ｘ₂）・（Ｙ₂−Ｙ₃）／（Ｘ₁−Ｘ₂）・（Ｙ₄−Ｙ₂）−（Ｘ₄−Ｘ₂）・（Ｙ₁−Ｙ₂）

（式９−ａ）

（式９−ｂ）

従って、液晶表示素子上の上記制限条件を設けた４つの仮想点のカメラ座標系における３次元座標は式１〜９を使って以下の通りに表現できる。
Ｐ₁（ｘ₁，ｙ₁，ｚ₁）＝（Ｘ₁Ｄ／γ，Ｙ₁Ｄ／γ，Ｄ／γ） （式１０）
Ｐ₂（ｘ₂，ｙ₂，ｚ₂）＝（Ｘ₂αＤ／γ，Ｙ₂αＤ／γ，αＤ／γ） （式１１）
Ｐ₃（ｘ₃，ｙ₃，ｚ₃）＝（Ｘ₃Ｄ／δ，Ｙ₃Ｄ／δ，Ｄ／δ） （式１２）
Ｐ₄（ｘ₄，ｙ₄，ｚ₄）＝（Ｘ₄βＤ／δ，Ｙ₄βＤ／δ，βＤ／δ） （式１３）
上記４点の撮像素子座標を用いた理由は、３点以下の撮像素子座標にて定まる距離ｚが複数解存在してしまい、一意に決定できないためである。

また、４点の配置条件は、予め定められた長さＤの平行な２線分の４端点に位置する場合が最もシンプルな形で解けるとともに実用上、この条件を満たすパターンを作成することは容易であり、更に人工物としても一般的に当てはめることが可能である。

従って、上記方法は、予め定められた大きさの平行四辺形の面（仮想面でも可）を有する人工物を１台のカメラで撮像し、その４つの頂点を撮像画像から画像処理により検出することができればその人工物がどのような向きに向いていても３次元位置計測が行えることは言うまでもない。

本発明の目的である液晶表示素子の高精度な位置合せのためには、液晶表示素子を高精度に位置検出しなくてはならない。
しかしながら、上記３次元座標の算出精度は、撮像素子座標Ｐ’（Ｘ，Ｙ）の算出精度に依存する。このため、上記３次元座標の算出精度は、撮像素子上の４仮想点の撮像素子座標Ｐ₁’（Ｘ₁，Ｙ₁）、Ｐ₂’（Ｘ₂，Ｙ₂）、Ｐ₃’（Ｘ₃，Ｙ₃）、Ｐ₄’（Ｘ₄，Ｙ₄）を高精度に算出できるテストパターンが必要である。

その基本形パターン例を図３に示す。
図３に示すテストパターン３０１は、円形状のマーカ３０８が４つある。各々のマーカ３０８の重心位置には、上記仮想点（仮想線分の端点）３０４〜３０７を対応付けるようにマーカ３０８が配置されている。
前記マーカ３０８の形状自体は、重心算出精度が得られる形状であれば、特に円形状である必要は無く、ある程度の大きさを持った多角形でも良い。また、その円形、或いは多角形の内部構造は、均一な単色の塗りつぶしだけでなく、同心状の複数色からなるパターンを形成しても良い。

前記マーカ３０８の境界線をある程度精度良く算出できる程度に高倍率（前記ピンホールから撮像素子までの距離ｚ_０を長く取ることに等しい）で撮像すれば、重心位置は液晶表示素子の画素間隔より十分精度良く算出可能である。
また、撮像素子上で算出したマーカ３０８の重心位置と撮像素子上の前記仮想点とは、液晶表示素子がｘ軸、或いはｙ軸周りに極端に回転していなければ、マーカ３０８の歪みを無視でき、十分な精度で一致する。

従って、テストパターン３０１を液晶表示素子２０１の中央部分に所定の大きさで１つ表示し、１台のカメラでテストパターン３０１を含む範囲を撮像することで、液晶表示素子２０１のカメラ座標系に対する３次元位置を確定できる。
また、テストパターン３０１を中央部分に表示することで画像表示上重要な中央部分の位置合せを重点的に行え、また光学系の歪みを無視できるようになるというメリットもある。

図４は、図１で示した２台のプロジェクタの液晶表示素子位置調整に使用する位置合せテストパターンの具体例である。
図４（ａ）の第１板用テストパターン４０１は、第１プロジェクタ１０１の液晶表示素子に表示し、図４（ｂ）の第２板用テストパターン４０２は第２プロジェクタ１０２の液晶表示素子に表示するためのパターンである。

ここで、各プロジェクタが表示する液晶表示素子は、例えば視覚感度の高い緑色のみとし、各プロジェクタが有する位置調整済み３色液晶表示素子の調整誤差の影響を無くすようにしても良い。
前記第１板用テストパターン４０１及び第２板用テストパターン４０２は、共に図３と同様の役割をする所定色で表示される長方形のマーカ４０３がある。このマーカ４０３の重心位置は、上記仮想点（３０４、３０５、３０６、３０７）に対応している。

前記マーカ４０３が方向依存性を持った長方形である理由は、液晶表示素子がｚ軸周りに対して極端に回転することがないという条件下でどちらの液晶表示素子のテストパターンであるかを判別できるようにするためである。２つのパターン４０１、４０２は、同時に液晶表示素子に表示した状態（合成画像）でもビデオカメラ１１３にて撮像することが可能となっている。

この合成画像をビデオカメラ１１３で撮像した例が図５である。
図５（ａ）は２つの液晶表示素子の位置調整が完了していない状態例を示した合成画像である。この合成画像は、２つのプロジェクタのテストパターン４０１、４０２がずれた状態で撮像されるようになっており、特に、テストパターン４０１の位置ずれが激しく、台形状に歪んだ状態で撮像されている。

図５（ｂ）は２つの液晶表示素子の位置調整が完了した状態を示している。テストパターン４０１と４０２のそれぞれのマーカ４０３は、その重心位置が一致或いは所定量ずれた状態で重なり、矩形領域の角部に十字状のパターンが形成されている。
このパターンは、スクリーン上にも投影されるので目視にて位置調整の概要をチェックすることができる。ここで、上記マーカ４０３の重心位置が所定量ずれた状態で重なる場合とは、２台の液晶表示素子の画素位置が縦横共に半画素ピッチずらした状態で画素位置調整をすることで高解像度表示を行う場合がそれに対応する。

２つのテストパターン４０１、４０２が合成された状態の撮像画像を使って各々の液晶表示素子のテストパターンを抽出する場合には、水平、垂直方向それぞれにマーカ表示色の所定長以上のランを検索し、それぞれの液晶表示素子のマーカエリアを抽出する処理を行う。
ここでランとは、所定色の連続画素数を言い、マーカ抽出前に撮像画像に対して２値化処理を行った場合には白或いは黒が所定色となり、多値画像のまま処理する場合には輝度値が所定範囲にある場合を所定色とした。

もし、２つのマーカが長方形の一短辺の境界が不定となるように重なっている場合でもテストパターンが各座標軸回りの回転により極端に歪んだ画像となっていなければ、もう一方の短辺の境界を基準に短辺、長辺の比率から領域の確定は可能である。
当然であるが、上記２つのパターン４０１、及び４０２を時間的に別々に表示しても良い。この場合には、時間的にどちらのプロジェクタのパターンであるかは予め判別できるのでマーカ４０３に方向性を持たせる必要は特に無く、円形でも多角形でも点対称な図形で良い。

前記第１板用テストパターン４０１及び第２板用テストパターン４０２は、更に２つのマーカ４０３で挟まれた領域に複数の所定色ドット（各ドットは液晶表示素子１画素分）が予め定められた位置に配置されたパターンドット４０４が対向する辺に２セット分、付与されている。
これらのパターンドット４０４は、マーカ４０３の重心位置から算出される上記仮想点位置よりも高精度な仮想点位置算出に使用する。

以下に、図９を参照してパターンドット４０４を用いた仮想点位置の算出方法を説明する。
仮想点位置の算出方法は、前記パターンドット４０４を対向する２セット分それぞれに検出し、この検出した複数（総数は各セットＮ個）ドットの撮像素子座標でのｉ番目の重心位置ｄ_1，ｉ’（Ｘ_1，ｉ，Ｙ_1，ｉ）、ｄ_2，ｉ’（Ｘ_2，ｉ，Ｙ_2，ｉ）を算出するようになっている。

ここで、ｄ_1，ｉ’は第１セット、ｄ_2，ｉ’は第２セットの重心座標を示し、ｉは各ドットのインデックスで０からＮ−1までの整数値であり、左側から順番に付番される。
第１セットと第２セットのフォーマット情報（４つの仮想点位置ベクトルＰ_1，ｓ、Ｐ_1，ｅ、Ｐ_2，ｓ、Ｐ_2，ｅからの相対座標として規定される情報）としてパターンドット４０４と各セットの２つの仮想点との配列位置関係は同一であるとする。

ここで液晶表示素子上のフォーマット情報による重心位置ベクトルＤ_1，ｊ、Ｄ_2，ｊ、Ｄ_{1，ｊ＋Ｎ／2}、Ｄ_{2，ｊ＋Ｎ／2}のパターンドット４０４は、長さが既知の平行２線分の端点に位置するという条件が有る。
上記条件を満足するため、撮像素子座標ｄ_1，ｊ’（Ｘ_1，ｊ，Ｙ_1，ｊ）、ｄ_2，ｊ’（Ｘ_2，ｊ，Ｙ_2，ｊ）、ｄ_{1，ｊ＋Ｎ／2}’（Ｘ_{1，ｊ＋Ｎ／2}，Ｙ_{1，ｊ＋Ｎ／2}）、ｄ_{2，ｊ＋Ｎ／2}’（Ｘ_{2，ｊ＋Ｎ／2}，Ｙ_{2，ｊ＋Ｎ／2}）から液晶表示素子上のパターンドットの重心位置ベクトルｄ_1，ｊ、ｄ_2，ｊ、ｄ_{1，ｊ＋Ｎ／2}、ｄ_{2，ｊ＋Ｎ／2}が算出可能となる。ここで、ｊは、各ドットのインデックスで０からＮ／２−1までの整数値をとる。

仮想点位置の算出方法は、上記算出した液晶表示素子上の重心位置ベクトルｄ_ｋ，ｉとフォーマット情報による重心位置ベクトルＤ_ｋ，ｉとの自乗誤差Ｅｋ²が最小となるＰ_ｋ，ｓ、Ｐ_ｋ，ｅを算出し、これにより高精度な仮想点が求められる。ここで、ｋは１或いは２である。
具体的なフォーマット情報の例として、パターンドット４０４の重心位置ベクトルＤ_ｋ，ｉをＤ_ｋ，ｉ＝Ｐ_ｋ，ｓ＋ｆ_ｉ（Ｐ_ｋ，ｓ−Ｐ_ｋ，ｅ）／Ｍ＝Ｐ_ｋ，ｓ＋ｆ_ｉｕ_ｋ（ここでｆ_ｉ、Ｍは定数）とすると、自乗誤差Ｅ_ｋ ²は以下の通りとなる。

（式１４）

式１４の自乗誤差Ｅ_ｋ ²が最小となる条件は、ベクトルＰ_ｋ，ｓ＝（ｘ_ｋ，ｓ，ｙ_ｋ，ｓ，ｚ_ｋ，ｓ）とｕ_ｋ＝（ｕ_ｋ，ｘ，ｕ_ｋ，ｙ，ｕ_ｋ，ｚ）のｘ、ｙ、ｚ成分の偏微分がそれぞれゼロとなることである。

以下の６式（式１５〜２０）からｘ_ｋ，ｓ、ｙ_ｋ，ｓ、ｚ_ｋ，ｓ、ｕ_ｋ，ｘ、ｕ_ｋ，ｙ、ｕ_ｋ，ｚを解くことで液晶表示素子上の２つの仮想点Ｐ_ｋ，ｓ、Ｐ_ｋ，ｅを算出できる。
ｋは１、或いは２であるので、結局、液晶表示素子上の４つの仮想点Ｐ_1，ｓ、Ｐ_1，ｅ、Ｐ_2，ｓ、Ｐ_2，ｅを算出できることになる。

（式１５）

（式１６）

（式１７）

（式１８）

（式１９）

（式２０）

上記算出した液晶表示素子上の４つの仮想点は、位置検出処理部１１５の最終的な出力となり、位置調整制御部１１６にて液晶表示素子を所定位置に移動するための６軸ステージの移動量算出に使用される。

次に、この位置調整制御部１１６にて行われる処理の詳細を図８の６軸ステージの例を交えて説明する。
位置調整制御部１１６の処理は、カメラ座標系での液晶表示素子上の４仮想点座標をターゲット座標へ移動する変換行列の算出処理、ターゲット座標と観測される仮想点座標との誤差量の判定処理、更にカメラ座標系からステージ座標系への変換行列とステージ座標系での液晶表示素子上の４仮想点座標をターゲット座標へ移動する変換行列の算出処理、更に６軸ステージの移動量を算出して６軸ステージを移動制御する処理とを有している。
ここで、ターゲット座標とは、液晶表示素子が位置調整済みの状態で４仮想点が位置するべき座標をいう。

そこで、先ず、カメラ座標系での液晶表示素子のターゲット座標への変換行列算出処理について説明する。
ターゲット座標への変換行列算出処理は、位置検出処理部１１５で算出された液晶表示素子上の４つの調整前仮想点位置ベクトルＰ₁、Ｐ₂、Ｐ₃、Ｐ₄が画素位置調整されるべきターゲット仮想点位置ベクトルＰ_ｔ1、Ｐ_ｔ2、Ｐ_ｔ3、Ｐ_ｔ4への変換行列Ａを算出する。

このために、先ず、調整前仮想点位置ベクトルをＰ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，1）、ターゲット仮想点位置ベクトルをＰ’_ｔｉ＝（ｘ_ｔｉ，ｙ_ｔｉ，ｚ_ｔｉ，1）と表現する。
変換行列Ａは、Ｐ’_ｔｉ＝ＡＰ’_ｉの関係が成り立つ。このため、調整前後の４つの仮想点位置ベクトルを列ベクトルとした４行４列の行列Ｐ、Ｐ_ｔは、Ｐ_ｔ＝ＡＰが成り立つ。従って、Ａ＝Ｐ_ｔＰ⁻¹となる。
これにより、ターゲット座標への変換行列算出処理は、行列Ｐの逆行列が算出できれば変換行列Ａを算出できる。

但し、行列Ｐの逆行列が算出できるための条件は、４つの列ベクトルが示す座標点が三角錐の頂点にあることであり、液晶表示素子平面上にある位置ベクトルＰ₁、Ｐ₂、Ｐ₃、Ｐ₄をそのまま使用することはできない。
そこで、この４つの仮想点が作る平行四辺形が底面となる四角錐の底面上に無いもう１点の仮想点Ｐ₅、及びＰ_ｔ5を変換行列Ａの算出のために使用する。

仮想点Ｐ₅、及びＰ_ｔ5の算出方法は、以下の通りである。
Ｐ₅＝（Ｐ₂−Ｐ₁）×（Ｐ₃−Ｐ₁）＋（Ｐ₁＋Ｐ₂＋Ｐ₃＋Ｐ₄）／４
Ｐ_ｔ5＝（Ｐ_ｔ2−Ｐ_ｔ1）×（Ｐ_ｔ3−Ｐ_ｔ1）＋（Ｐ_ｔ1＋Ｐ_ｔ2＋Ｐ_ｔ3＋Ｐ_ｔ4）／４
ここで、ｐ×ｑは、ベクトルｐとベクトルｑのベクトル積を示す。

これにより変換行列Ａ＝Ｐ_ｔＰ⁻¹は、三角錐の頂点に位置する位置ベクトルＰ₁、Ｐ₂、Ｐ₃、Ｐ₅を列ベクトルとしてなる行列Ｐとそのターゲット位置ベクトルＰ_ｔ1、Ｐ_ｔ2、Ｐ_ｔ3、Ｐ_ｔ5を列ベクトルとしてなる行列Ｐ_ｔを使って算出可能となる。
ここで、
（行列１）

（行列２）

この変換行列Ａは、画素位置調整の状態判定処理で使用するが、その詳細は後程説明する。
続いて、ステージ座標系での液晶表示素子の変換行列算出処理、及び６軸ステージ制御について説明する。
液晶表示素子を実際に移動するステージ座標系とカメラ座標系とは、同一ではない。このため、液晶表示素子を６軸ステージで移動するためには、カメラ座標系での上記変換行列Ａではなく、ステージ座標系での変換行列Ａ”を算出する必要がある。

それには、先ず、カメラ座標系上での位置ベクトルＰ₁、Ｐ₂、Ｐ₃、Ｐ₅とＰ_ｔ1、Ｐ_ｔ2、Ｐ_ｔ3、Ｐ_ｔ5とをステージ座標系上で表現するためのカメラ座標系からステージ座標系への変換行列Ｂが必要となる。
この変換行列Ｂが求まれば、変換行列Ａ”を以下のように算出できる。
Ａ”＝Ｐ_ｔ”Ｐ⁻¹”＝ＢＰ_ｔＢＰ⁻¹
変換行列Ｂは、予めカメラ座標系とステージ座標系との相対位置関係が判っていれば事前に決定することができる。しかしながら、以下に２つの座標系の相対位置関係が未定の場合に暫定的な変換行列Ｂ’を順次算出しながら液晶表示素子をターゲット位置に調整する方法を示す。
先ず、この液晶表示素子をターゲット位置に調整する方法は、暫定的な変換行列Ｂ’を算出する。このために、前記仮想点位置ベクトルＰ₁、Ｐ₂、Ｐ₃、Ｐ₄の重心位置ベクトルＰ₆＝（Ｐ₁＋Ｐ₂＋Ｐ₃＋Ｐ₄）／４を用いてステージ座標系の３つの座標軸ｘ”、ｙ”、ｚ”方向のそれぞれの単位長さ移動に伴う変化ベクトルΔ_ｉを算出する。

手順として、初期状態の位置ベクトルＰ₆（０）から６軸ステージのｘ”方向に単位長さ移動した状態でテストパターンを撮像し、位置ベクトルＰ₆（１）を算出する。
次に、位置ベクトルＰ₆（１）の状態からｙ”方向に単位長さ移動した状態のテストパターンを撮像し、位置ベクトルＰ₆（２）を得る。
更に、位置ベクトルＰ₆（２）の状態からｚ”方向に単位長さ移動した状態のテストパターンを撮像し、位置ベクトルＰ₆（３）を得る。
これら４つの位置ベクトルＰ₆（０）、Ｐ₆（１）、Ｐ₆（２）、Ｐ₆（３）から変化ベクトルΔ_０、Δ₁、Δ₂を求める。
Δ_ｉ＝Ｐ₆（ｉ＋1）−Ｐ₆（ｉ）
算出した３つの変化ベクトルΔ_ｉを列ベクトルとした行列Δは、ステージ座標系での単位ベクトルを列ベクトルとする３行３列の単位行列をカメラ座標系へ変換する変換行列に等しい。このため、行列Δの逆行列Δ⁻¹は、平行移動を考慮しない場合のカメラ座標系からステージ座標系への変換行列となる。

この行列Δ及びその逆行列Δ⁻¹は、カメラ座標系原点とステージ座標系原点との相対関係を考慮していないので平行移動補正量が未定のままである。
この平行移動補正量を無視すると、６軸ステージで移動した後の液晶表示素子位置は極端にずれた位置へ補正されてしまい、最悪、ビデオカメラ１１３の視野外へテストパターンが外れて制御不能となる可能性がある。

そこで、ステージ座標系の原点をＰ₆（３）＝（ｘ₆，ｙ₆，ｚ₆）にあると仮置きして平行移動補正量を決定し、暫定的な変換行列Ｂ_ｐを作成する。
従って、ステージ座標系の原点は、できるだけ液晶表示素子に近い位置にあるように予め設計しておく必要がある。

（行列３）

ここで、
（行列４）

位置調整制御部１１６は、変換行列Ｂ_ｐを使って液晶表示素子をターゲット座標へ変換する変換行列Ａ_ｐ”＝Ｂ_ｐＰ_ｔＢ_ｐＰ⁻¹を算出し、この変換行列を用いて６軸ステージを移動制御する。

これにより、テストパターンは、回転移動補正が十分なされた状態の形状（台形状の歪みがない本来の平行四辺形）で観察されるようになる。しかしながら、４つの仮想点の重心位置は、ステージ座標系の本当の原点とは一致していない。
このため、４つの仮想点の重心位置ベクトルＰ₆（ｘ₆，ｙ₆，ｚ₆）は、ターゲット仮想点位置ベクトルＰ_ｔ6（ｘ_ｔ6，ｙ_ｔ6，ｚ_ｔ6）に対して所定量だけずれた位置で観察される。

この位置ずれに対応するずれ量ベクトルｇ（ｇ_ｘ，ｇ_ｙ，ｇ_ｚ）＝Ｐ_ｔ6（ｘ_ｔ6，ｙ_ｔ6，ｚ_ｔ6）−Ｐ₆（ｘ₆，ｙ₆，ｚ₆）は、４つの仮想点の重心位置とステージ座標系原点とのずれに対応する。
このため、位置調整制御部１１６は、ステージ座標系でのずれ量ベクトルｇ”（ｇ_ｘ”，ｇ_ｙ”，ｇ_ｚ”）＝Δ⁻¹ｇに変換し、６軸ステージを前記ずれ量分だけ再度平行移動すれば液晶表示素子をターゲット位置へ移動することができる。

また、たとえ、カメラ座標からステージ座標への変換行列Ｂが決定できていたとしても、液晶表示素子上の仮想点位置検出誤差や６軸ステージの移動誤差等に伴い、一度にターゲット位置へ精度良く移動できない場合もある。
この場合、位置調整制御部１１６は、上記したようにテストパターンの撮像、液晶表示素子上の仮想点位置検出、及び６軸ステージによる液晶表示素子移動を繰り返し行いターゲット位置を所定閾値以内に収束させるフォードバック制御を行うこととなる。
この場合は、フィードバック制御が発散しないように変換行列Ａ”に１より小さな係数をかけて、収束速度を落として制御する方法を採用しても良い。

次に、液晶表示素子のターゲット位置への調整状態の判定方法について説明する。
この方法は、上記したターゲット位置へのフィードバック制御の判定にも同様に利用可能である。
液晶表示素子の調整後の位置とターゲット位置とのずれ量の定義は、前記変換行列Ａを用いて行う。この変換行列Ａは、カメラ座標系で観測された液晶表示素子のターゲット位置までの６つのずれ量（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ，θ_ｘ，θ_ｙ，θ_ｚ）を表している。位置調整制御部１１６は、先ず変換行列Ａを用いてこれら６つのずれ量を算出する。

ここで、ｔ_ｘはｘ軸方向の平行ずれ量、ｔ_ｙはｙ軸方向の平行ずれ量、ｔ_ｚはｚ軸方向の平行ずれ量、θ_ｘはｘ軸回りの回転ずれ量、θ_ｙはｙ軸回りの回転ずれ量、θ_ｚはｚ軸回りの回転ずれ量を示す。
これら６つのずれ量の算出方法は、３次元座標の任意の位置への変換行列としてθ_ｚ回転→θ_ｙ回転→θ_ｘ回転→ｔ_ｚ移動→ｔ_ｙ移動→ｔ_ｘ方向移動の順番に変換を行う場合の変換行列が変換行列Ａと等しいと置くことで求めることが可能である。

（行列５）

算出された６つのずれ量は、予め設定した平行移動補正誤差閾値Ｔｈ₁と回転移動補正誤差閾値Ｔｈ₂とを比較し、調整状態の判定とする。
例えば、｜ｔ_ｘ｜＜Ｔｈ₁且つ｜ｔ_ｙ｜＜Ｔｈ₁且つ｜ｔ_ｚ｜＜Ｔｈ₁且つ｜θ_ｘ｜＜Ｔｈ₂且つ｜θ_ｙ｜＜Ｔｈ₂ 且つ｜θ_ｚ｜＜Ｔｈ₂の場合には調整終了とし、どれか一つでも閾値以上であれば再度調整を行うといった判定となる。

続いて、６軸ステージの具体的な例を示し、６軸ステージの制御を上記算出した変換行列Ａ”を用いて制御する方法について図８を用いて説明する。
図８（ａ）は、６軸ステージの１例を示した模式図である。これは、パラレルリンクロボットと一般に呼ばれているものである。

可動板８０１と固定板８０２とは、自由に移動可能な球面軸受け８０４を介して６本足のアクチュエータ８０３に結ばれている。前記可動板８０１及び固定板８０２とは、６本足のアクチュエータ８０３を各々独立に制御してその長さを変えることにより、可動板８０１の平面位置をロボットの可動範囲内の任意の所定３次元位置に移動することが可能な仕組みとなっている。

尚、図８（ａ）では図を見易くするため、足２本にしかアクチュエータ８０３を記述していないが、残り４本についても同様にアクチュエータ８０３を有している。
図８（ｂ）、図８（ｃ）を参照して上記パラレルリンクロボットの可動板８０１の移動例を説明する。
図８（ｂ）は、初期状態の位置を可動板８０１側から見た図である。
固定板８０２と可動板８０１との間を結ぶ６本足の状態を固定板８０２側との接点位置ベクトルＦ_ｉ”と可動板８０１側との接点位置ベクトルＭ_ｉ”で表現する。
ここで、ｉは６本の足を示すインデックスであり、ベクトルＦ_ｉ”、Ｍ_ｉ”はステージ座標系で表現したものとする。初期状態の足の長さＬ_ｉ（０）”は、上記２つのベクトルを使って表現すると以下の通りである。
Ｌ_ｉ（０）”＝｜Ｍ_ｉ”−Ｆ_ｉ”｜
図８（ｃ）は、可動板８０１をｘｚ面と平行にベクトルｔ”だけ移動し、ｙ軸回りにθ_ｙだけ回転した状態を示し、それに伴い可動板８０１の６つの接点がｍ_ｉ”に移動したことを示している。移動後の６本足の長さＬ_ｉ（１）”は、以下の通りである。
Ｌ_ｉ（１）”＝｜ｍ_ｉ”−Ｆ_ｉ”｜
可動板８０１が初期状態から任意位置へ移動するための６本足の長さ調整量ΔＬ_ｉ”＝Ｌ_ｉ（１）”−Ｌ_ｉ（０）”は、可動板８０１の接点ベクトルＭ_ｉ”がｍ_ｉ”へ移動するための変換行列Ｃ”が求まれば良いことになる。
ここで、プロジェクタとパラレルリンクロボットの可動板とは、固定されている。このため、変換行列Ｃ”は、液晶表示素子２０１をステージ座標系で見た場合の位置調整前の位置からターゲット位置へ移動するための前記変換行列Ａ”そのものとなる。従って、各６本足の長さ調整量ΔＬ_ｉ”は、次の式により算出することができる。
ΔＬ_ｉ”＝｜Ａ”Ｍ_ｉ”−Ｆ_ｉ”｜−Ｌ_ｉ（０）
ステージ座標系とカメラ座標系の相対位置関係が未定の場合には、前記変換行列Ａ_ｐ”を使用して、
ΔＬ_ｐｉ（０）”＝｜Ａ_ｐ”Ｍ_ｉ”−Ｆ_ｉ”｜−Ｌ_ｉ（０）”＝ΔＬ_ｉ”−ΔＬ_ｐｉ（１）”
となり、移動後に再度算出するターゲット位置までのずれ量ベクトルｇ”を使って、
ΔＬ_ｐｉ（１）”＝ ｜ｇ”＋Ａ_ｐ”Ｍ_ｉ”−Ｆ_ｉ”｜−｜Ａ_ｐ”Ｍ_ｉ”−Ｆ_ｉ”｜
により所望するターゲット位置への移動が行える。
ここで、Ａ”Ｍ_ｉ”＝ｇ”＋Ａ_ｐ”Ｍ_ｉ”となる。

上記例では６軸ステージをパラレルリンクロボットであるとして説明したが、６軸ステージを６軸移動制御可能な任意のステージとしても良い。その場合には、６つの移動量パラメータ（ｔ_ｘ”，ｔ_ｙ”，ｔ_ｚ”，θ_ｘ”，θ_ｙ”，θ_ｚ”）を変換行列Ａ”から算出することで同様の制御が行える。

ここで、ステージ座標系の座標軸をｘ”、ｙ”、ｚ”とすると、ｔ_ｘ”はｘ”軸方向の平行ずれ量、ｔ_ｙ”はｙ”軸方向の平行ずれ量、ｔ_ｚ”はｚ”軸方向の平行ずれ量、θ_ｘ”はｘ”軸回りの回転ずれ量、θ_ｙ”はｙ”軸回りの回転ずれ量、θ_ｚ”はｚ”軸回りの回転ずれ量を示す。これら６つのパラメータは、前記した変換行列Ａから画素位置調整状態判定用に算出する６つのパラメータ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ，θ_ｘ，θ_ｙ，θ_ｚ）の場合と同様の方法で算出できる。

上述したように、今まではビデオカメラ１１３をピンホールカメラとして説明している。
次に、一般の撮像レンズを用いた場合のカメラ座標原点と、この原点から撮像面までの距離ｚ_０を、図１５に基づいて定義し、一般のカメラでも実現可能であることを示す。
図１５は、一般的な撮像レンズ１５０１を示している。この撮像レンズ１５０１は、絞り１５０２、入射瞳位置１５０５及び射出瞳位置１５０６で構成されているものとする。

前記撮像レンズ１５０１は、光軸１５０３と入射瞳位置１５０５との交点を物体側のカメラ座標系の原点、光軸１５０３と射出瞳位置１５０６との交点を像側のカメラ座標系の原点とし、共に光軸１５０３の方向をｚ軸とする。
ここで、カメラ座標原点から距離ｚ₁にある物点Ｐ₁の入射角φ₁の主光線が像面（撮像素子面）上の像高ｙ₁’の位置にあって像Ｐ₁’を形成（結像）した場合に距離ｚ_０をｙ₁’／ｔanφ1と定義する。
ｚ_０は、主光線の入射角と射出角が同一となる撮像レンズ１５０１の場合、射出瞳位置１５０６から像面（撮像素子面）１５０４までの距離に相当する。

つまり、撮像レンズ１５０１の入射瞳位置と光軸とが交わる点、及び射出瞳位置と光軸とが交わる点に主光線が見かけ上、集光されて形成された像を用いることでピンホールカメラの場合と同様の画像とすることができる。
但し、撮像レンズ１５０１はピンホールとは異なり被写界深度が無限大ではないためにピント合せが必要であり、それに伴い上記ｚ_０が変動する。

そこで、３次元位置を計測したい４つの仮想点の位置を所定距離ｚ_ｆに対する被写界深度の範囲内にあると予め制限して距離ｚ_ｆの場合のｚ_０を予め決定してピント位置を固定しておくことで対応する。
ここで、被写界深度は、前記手法で該仮想点を検出できるｚ方向の範囲となる。
当然、テストパターンが撮像可能な明るさまで絞り１５０２をできる限り絞り込み、被写界深度を広げる設計とすることは言うまでもない。

また、撮像素子上の４つの仮想点を算出する本手法は、ある程度のピンボケであってもマーカ４０３とパターンドット４０４の領域を判断できれば重心位置を算出できる。更に、この重心位置は、主光線の像面位置にほぼ等しいはずである。このため、本手法は、仮想点を十分精度良く検出できるという利点もある。

ここで、検出したい仮想点のｚ方向の位置に更に自由度を持たせたい場合がある。
この場合、位置調整制御部１１６は、物体までの距離ｚ_ｆ（つまりレンズのピント位置）に対するｚ_０を関数、或いはテーブル値でカメラ側に予め保持しておき、位置合せ処理の最初にテストパターン４０１或いは４０２のパターンドット４０４のドットが所定数以上検出可能なように撮像レンズ１５０１のピント合せを行い、そのピント位置に対応するｚ_０を位置検出処理部１１５に送り、仮想点位置算出に使用するということも可能である。

ここで、上記ピント合せ時の判定でパターンドット４０４の所定数以上のドットが検出可能としたのは、２つのテストパターン４０１と４０２を同時に表示し、撮像した場合にマーカ４０３がパターンドットと重なり、一部のドットが検出不可となる場合を考慮したためであり、最低検出可能なドット数を所定数とした。
また、２つのテストパターン４０１、４０２のピント位置が異なる場合には、２つのテストパターンを同時表示するのではなく、各々別々に表示し、対応する異なるｚ_０を用いて位置合せを独立して行うこともできる。

前記第１プロジェクタ１０１及び第２プロジェクタ１０２の液晶表示素子からビデオカメラ１１３の撮像素子１１４までを構成するそれぞれの光学系は、同一特性を示すように設計されている。このため、前記第１プロジェクタ１０１及び第２プロジェクタ１０２は、独立して位置合せ制御した場合でも最終的にｚ_０が一致することになる。
上記の他に、更に、撮像レンズ１５０１は、さまざまな収差を持っている。このため、像高ｙ’は、光軸から離れるに従って理想値からずれるのが一般的である。

このようなずれを補正するために、位置検出処理部１１５は、予め光学的な歪み量を求めて歪み補正量をビデオカメラ１１３、或いは位置検出処理部１１５内に保持しておき、ビデオカメラ１１３にて画像を撮像する毎に、この撮像画像に対して歪み補正量を用いて補正処理を実施することもできる。
この歪み補正処理は、一般的な補間処理（バイリニア法やバイキュービック法等）を用いて所定サンプリング位置の像を作り直す処理となる。

また、位置検出用に使用するテストパターン４０１、或いは４０２のターゲット位置は、撮像画像の中央部分に配置し、且つ撮像素子の画素数をできるだけ多いものを使用して前記パターン４０１、或いは４０２の撮像サイズを小さく撮像する。このことにより、レンズ歪みの影響を減らし、仮想点の算出誤差を抑えるようにすることもできる。
但し、撮像素子の画素数とテストパターン４０１、或いは４０２の撮像サイズは、撮像素子上の仮想点の必要算出精度、延いては必要とする画素位置調整精度そのものに依存する。このため、光学歪み、撮像素子の画素数、テストパターンサイズは、設計上のトレードオフで決定される。

上述した位置調整処理の基本形を図１６のフローチャートに基づき、簡潔に説明する。
先ず、位置検出処理部１１５は、対象平面上の所定パターンの位置検出処理として、カメラで撮像抽出した対象平面上の所定パターンの撮像素子上での４つの仮想点座標（カメラ座標系）を算出する（ステップ１６０１）。

次に、位置検出処理部１１５は、撮像素子上での４つの仮想点座標から対象平面上の所定パターンの４つの仮想点座標（カメラ座標系）を算出する（ステップ１６０２）。
続いて、所定平面の位置調整方法として、位置調整制御部１１６は、対象平面上の所定パターンの４つの仮想点座標（カメラ座標系）とこれらの仮想点の所定ターゲット座標（カメラ座標系）をステージ座標系での座標に変換する（ステップ１６０３）。

位置調整制御部１１６は、ステージ座標系での対象平面上の所定パターンの４つの仮想点座標とこのターゲット座標から６軸ステージの移動量を算出する（ステップ１６０４）。
位置調整制御部１１６は、６軸ステージを移動量に基づいて移動（ステップ１６０５）を行い、調整を終了する。
対象平面の検出精度とその位置調整精度が共に十分要求されるレベルにあれば、このようなフィードフォワード制御が可能となる。

次に、図１１に示す機能ブロック図を参照して、本発明の位置合せ装置内でのデータの流れを説明する。
ビデオカメラ１１３の撮像部１１０１は、位置合せ判定制御部１１０５からの撮像要求信号を受け、液晶表示素子に表示されたテストパターンのピント合せを行って偏光ビームスプリッタ１０９からの画像を撮像して信号処理し画像信号を得る。撮像部１１０１からの画像信号は、画像メモリ１１０２に入力され、一時保存される。

画像メモリ１１０２内に保存された画像信号は、撮像点座標算出部１１０３に入力される。撮像点座標算出部１１０３は、入力された画像信号から位置合せ用テストパターン（４０１、４０２）のマーカ（４０３）のエリアをサーチ抽出し、この抽出したマーカエリアからマーカ重心位置を算出する。更に、撮像点座標算出部１１０３は、算出した重心位置からパターンドット（４０４）のエリアをサーチ抽出する。
パターンドットの抽出は、マーカ重心間の予め定められた所定位置にドットが存在するという先見情報を基にサーチエリアを限定して行うようになっている。

撮像点座標算出部１１０３は、抽出したパターンドットエリアから各ドットの重心位置を算出し、マーカ重心、パターンドット重心座標データを物体点座標算出部１１０４に出力する。
物体点座標算出部１１０４では、入力されたマーカ重心座標、パターンドット重心座標データと、更に位置合せ判定制御部１１０５から入力されたターゲット位置とのずれ量判定結果と、撮像部１１０１から入力された撮像時の距離ｚ_０に基づき、液晶表示素子上の４つの仮想点を算出する。この仮想点の算出は、マーカ重心座標を用いるか、或いはパターンドット重心座標の夫々の対応する４点で構成させる平行四辺形から算出した液晶表示素子上のパターンドット重心座標から最小自乗誤差法を用いて行う。

更に、物体点座標算出部１１０４では、算出した撮像素子上の４つの仮想点座標を位置合せ判定制御部１１０５、カメラ→ステージ座標変換行列算出保持部１１０６、ステージ移動量算出部１１０７に出力する。
位置合せ判定制御部１１０５では、入力された液晶表示素子上の４つの仮想点と、ターゲット座標設定保持部１１０８から入力された液晶表示素子上の４つの仮想点とに基づいて６つのずれ量パラメータを算出する。位置合せ判定制御部１１０５は、算出した６つのずれ量パラメータと、予め位置合せ判定制御部１１０５内で保持されている閾値とを比較し、この比較判定結果を物体点座標算出部１１０４及びステージ移動制御部１１０９へ出力する。

カメラ→ステージ座標変換行列算出保持部１１０６では、位置合せ判定制御部１１０５からの変換行列Ｂ_ｐ”作成要求信号が入力された場合に、入力された液晶表示素子上の４つの仮想点からそれらの重心座標を算出保持し、ステージ座標軸方向での単位長さ移動を行うことで４つの該重心座標Ｐ₆（０）、Ｐ₆（１）、Ｐ₆（２）、Ｐ₆（３）が揃うまで、要求信号を位置合せ判定制御部１１０５に送る。
要求信号を受けた位置合せ判定制御部１１０５では、ステージ移動制御部１１０９に所定量移動する要求信号を送り、ステージ移動制御部１１０９からの６軸ステージが移動完了信号を受けて撮像部１１０１に撮像要求信号を送る。

カメラ→ステージ座標変換行列算出保持部１１０６にて４つの重心座標が揃った時点で変換行列Ｂ_ｐ”が算出され、保持される。
位置合せ判定制御部１１０５から変換行列Ｂ_ｐ”の作成要求信号が入力されない場合には、上記変換行列Ｂ_ｐ”は更新されず、以前に作成された状態のままとなる。

ステージ移動量算出部１１０７では、物体点座標算出部１１０４から出力された液晶表示素子の４つの仮想点座標と、ターゲット座標設定保持部１１０８から出力された液晶表示素子の該４つの仮想点座標のターゲット座標とがカメラ→ステージ座標変換行列算出保持部１１０６から出力された変換行列Ｂ_ｐ”とを用いてステージ座標系での変換行列Ａ_ｐ”を算出する。ステージ移動量算出部１１０７は、６軸ステージを制御する６つのパラメータを算出し、これら６つのパラメータをステージ移動制御部１１０９に出力する。

ステージ移動制御部１１０９では、位置合せ判定制御部１１０５からの変換行列Ｂ_ｐ”作成要求信号に基づき、要求信号がＯＦＦの場合には上記６つのパラメータを使って６軸ステージ１１１０を移動制御し、要求信号がＯＮの場合には位置合せ判定制御部１１０５にて指定された座標軸方向に単位長さ分、移動制御する。

移動量のフィードバック情報は、６軸ステージ１１１０からステージ移動制御部１１０９に戻され、更に位置合せ判定制御部１１０５に戻される。
ターゲット座標設定保持部１１０８は、液晶表示素子から撮像素子までのトータルの光学設計により予め求まるターゲット位置データを保持している。ターゲット座標設定保持部１１０８は、保持しているターゲット位置データを位置合せ判定制御部１１０５、及びステージ移動量算出部１１０７に出力する。

また、図１において、例えば第１プロジェクタ１０１に６軸ステージを用意せず、装置組み立て時に第１プロジェクタ１０１の液晶表示素子の位置調整を手動で行う場合には第１プロジェクタ１０１の液晶表示素子位置自体がターゲット位置になる。この場合には、物体点座標算出部１１０４にて算出された第１プロジェクタ１０１の液晶表示素子の４つの仮想点座標をターゲット座標設定保持部１１０８に保持できるようにする。そのためには、物体点座標算出部１１０４とターゲット座標設定保持部１１０８とを接続しても良いし、不図示の外部表示部により物体点座標算出部１１０４で算出された液晶表示素子の仮想点座標を表示してターゲット座標設定保持部１１０８に、前記仮想点座標を手入力するキーボード等の入力部が備わっていても良い。

続いて、図１２〜図１４に示すフローチャートに基づき、本発明のカメラ座標系とステージ座標系との相対位置が不定時のフィードバック制御を用いた位置合せ方法の手順を説明する。
位置調整制御部１１６は、位置合せスタート時に位置合せ判定制御部１１０１にて調整する液晶表示素子の番号を初期値にセットする（ステップ１２０１）。撮像部１１６は、調整を行う液晶表示素子のテストパターンのピント合せをカメラで撮像したテストパターンのパターンドットの検出数（撮像点座標算出部１１０３にて検出）により行い、ピント位置でのカメラ座標原点から撮像面までの距離ｚ_０を決定する（ステップ１２０２）。その後、位置調整制御部１１６は、カメラ座標系からステージ座標系への変換行列Ｂ_ｐ”の算出（ステップ１２０３）を行い、変換行列をカメラ→ステージ座標変換行列算出保持部１１０６に保持する。

位置検出処理部１１５は、初期設定が終わった時点で第ｎ番目の液晶表示素子のテストパターンを撮像部１１０１で撮像した撮像画像から抽出し、カメラ座標系での４つの仮想点座標を算出する（ステップ１２０４）。
位置調整制御部１１６は、カメラ座標系での液晶表示素子の該４つの仮想点を底面とする四角錐の頂点座標と、該４つの仮想点に対応するターゲット座標に対しても該四角錐の頂点座標を算出する（ステップ１２０５）。

位置調整制御部１１６は、カメラ座標系での液晶表示素子の仮想点位置からターゲット位置への変換行列を算出し、この算出した変換行列を用いて６軸（ｔ_ｘ、ｔ_ｙ、ｔ_ｚ、θ_ｘ、θ_ｙ、θ_ｚ）のずれ量を算出する（ステップ１２０６）。
位置調整制御部１１６は、得られた６軸のずれ量と所定閾値との比較（ステップ１２０７）を行う。

位置調整制御部１１６は、６軸のずれ量が１つでも所定閾値以上の場合には、既に算出した四角錐の頂点座標の同一平面に無い現時点での４つの座標と、それらに対応するターゲット位置座標をステージ座標系へ変換する。
位置調整制御部１１６は、ステージ座標系での液晶表示素子移動に伴う変換行列Ａ_ｐ”を算出する（ステップ１２０８）。位置調整制御部１１６は、６軸ステージの移動量を算出して６軸ステージを移動（ステップ１２０９）し、ステップ１２０２へ戻る。

一方、６軸のずれ量がすべて所定閾値未満の場合、位置調整制御部１１６は、第ｎ番目の液晶表示素子の調整を終了する。位置調整制御部１１６は、次に調整すべき液晶表示素子があるかを判定（ステップ１２１０）する。位置調整制御部１１６は、調整すべき液晶表示素子がなければ全ての調整を終了し、まだ残っている場合には調整する液晶表示素子の番号を１つ繰り上げ（ステップ１２１１）てステップ１２０２へ戻る。

次に、ステップ１２０４の内容の詳細を説明する。
位置検出処理部１１５は、液晶表示素子にて表示したテストパターンをカメラで撮像しメモリに保存する（ステップ１３０１）。位置検出処理部１１５は、撮像画像から第ｎ番目の液晶表示素子が表示した４つのマーカを検出する（ステップ１３０２）。位置検出処理部１１５は、得られた４つのマーカの重心座標を各々算出する（ステップ１３０３）。

位置調整制御部１１６は、既にステップ１２０５にて６軸ずれ量を算出しているかどうかを判定する（ステップ１３０４）。位置調整制御部１１６は、ステップ１２０５にて６軸ずれ量を算出していれば、６軸ずれ量の内の回転移動量と所定閾値との判定を行う（ステップ１３０５）。
ここで、回転移動量のすべてが所定閾値未満であれば、位置検出処理部１１５は、マーカ重心座標間のパターンドットを２セット分抽出し、これら抽出したパターンドットの２Ｎ個の重心座標を算出する（ステップ１３０６）。

位置検出処理部１１５は、算出した２Ｎ個の重心座標から所定の平行四辺形を構成する４つの重心座標に対して液晶表示素子上の４つの重心座標を算出する（ステップ１３０７）。位置検出処理部１１５は、得られた液晶表示素子上のパターンドットの重心座標と、本来の仮想点と該パターンドットとの設計時の相対座標とによる自乗誤差が最小となる液晶表示素子上の仮想点座標を算出する（ステップ１３０８）。

一方、ステップ１３０４で６軸ずれ量が算出されていないと判断された、或いはステップ１３０５で回転移動量が１つでも所定閾値以上となった場合、位置検出処理部１１５は、撮像素子上の４つのマーカ重心座標に基づいて液晶表示素子上の仮想点座標を算出する（ステップ１３０９）。

上記ステップ１３０５において、回転移動量と所定閾値との判定によりマーカ重心座標から液晶表示素子上の仮想点座標を算出するか、又はパターンドットの重心座標から算出するかを切り替える理由は、回転移動量が所定閾値以上であると撮像画像上のマーカ間の距離が短くなり、その間に位置するパターンドットが個々のドットに分離できなくなることにより、重心算出精度が得られないためである。
つまり、前記閾値は、パターンドットの各々が分離可能な程度の位置関係でテストパターンとカメラが対向しているかの判定閾値となる。

次にステップ１２０３の内容の詳細を説明する。
先ず、位置検出処理部１１５は、位置調整を行う第ｎ番目の液晶表示素子が表示したテストパターンをカメラで撮像抽出し、カメラ座標系での４つの仮想点座標を算出する（ステップ１４０１）。位置調整制御部１１６は、算出した４つの仮想点座標の重心座標Ｐ₆（０）を算出する（ステップ１４０２）。

位置調整制御部１１６は、算出した重心座標Ｐ₆（０）を一時保持した後、６軸ステージをステージ座標系のｘ”軸方向に単位長移動する（ステップ１４０３）。位置検出処理部１１５は、移動後の液晶表示素子が表示したテストパターンをカメラで撮像抽出し、カメラ座標系での４つ仮想点座標を算出する（ステップ１４０４）。位置調整制御部１１６は、算出した４つの仮想点座標の重心座標Ｐ₆（１）を算出する（ステップ１４０５）。

位置調整制御部１１６は、算出した重心座標Ｐ₆（１）を一時保持した後、６軸ステージをステージ座標系のｙ”軸方向に単位長移動する（ステップ１４０６）。位置検出処理部１１５は、移動後の液晶表示素子が表示したテストパターンをカメラで撮像抽出し、カメラ座標系での４つの仮想点座標を算出する（ステップ１４０７）。位置調整制御部１１６は、算出した４つの仮想点座標の重心座標Ｐ₆（２）を算出する（ステップ１４０８）。

位置調整制御部１１６は、算出した重心座標Ｐ₆（２）を一時保持した後、６軸ステージをステージ座標系のｚ”軸方向に単位長移動する（ステップ１４０９）。位置検出処理部１１５は、移動後の液晶表示素子が表示したテストパターンをカメラで撮像抽出し、カメラ座標系での４つ仮想点座標を算出する（ステップ１４１０）。位置調整制御部１１６は、算出した４つの仮想点座標の重心座標Ｐ₆（３）を算出する（ステップ１４１１）。

位置調整制御部１１６は、算出した４つの重心座標Ｐ₆（０）〜Ｐ₆（３）を用いてステージ座標系の３軸方向の単位ベクトルをカメラ座標系で表現した変化ベクトルΔ_０、Δ₁、Δ₂を算出する。位置調整制御部１１６は、重心座標Ｐ₆（３）をステージ座標系の原点と仮置きしてカメラ座標系からステージ座標系への変換行列Ｂ_ｐ”を作成する（ステップ１４１２）。

この結果、第１の実施例は、上述のようなプロジェクタの液晶表示素子の自動位置合せ方法、及び装置により、構成が簡単、安価であり、且つ高速、高精度に画素位置調整を行うことができる。

図６は３板液晶表示素子の位置合せに使用可能な位置合せテストパターンの１例である。
図６（ａ）は第１板用テストパターン（以下、単に第１板用パターン）６０１、図６（ｂ）は第２板用パターン６０２、図６（ｃ）は第３板用パターン６０３を示し、例えばそれぞれが赤、緑、青の液晶表示素子に対応するものとする。

３つのパターン６０１、６０２、６０３は、前記２板用パターン４０１、４０２と同様の構造であるマーカ６０４とパターンドット６０５を有して構成されている。
マーカ６０４の重心位置は、位置調整用に使用する平行線分端の仮想点に対応する。

３つの液晶表示素子の画素位置調整が終了した時点で、図６（ｄ）のように正六角形の頂点位置にそれぞれのマーカ６０４同士が相対的な所定位置で重なり十字状のパターンを形成するようにマーカ６０４の長方形の向きが予め定められている。

各パターンドット６０５は、正六角形の辺上に配置されている。但し、マーカ６０４が重なって各々の長方形が９０度の角度をもって十字状パターンを形成する必要は必ずしも無く、各々のパターンに対応するマーカ６０４の検出を行うための識別角度が十分保たれていれば歪んだ十字状パターンとしても何ら問題無い。

図７は、３板反射型液晶表示素子の画素位置調整装置を有するプロジェクタの画像合成光学エンジン部分を模式的に示した図である。
赤色用表示素子７０１、緑色用表示素子７０２、青色用表示素子７０３は、位置調整装置である小型６軸ステージ７０７、７０８、７０９の可動部側によって保持され、各々偏光ビームスプリッタ７０４、７０５、７０６の一面に対して隙間を持って配置されている。
小型６軸ステージ７０７、７０８、７０９の固定部側は、前記光学エンジンを固定する固定枠に固定されているものとする。

偏光ビームスプリッタ７０４、７０５、７０６は、ダイクロイックプリズム７１０の所定面に対向するように配置されている。ダイクロイックプリズム７１０の合成画像射出面側には、旋光板７１１、偏光ビームスプリッタ７１２、及び投射レンズを配置する構成となっている。
旋光板７１１は、赤、緑、青色の各画像の偏光方向を一致させるためのものである。偏光ビームスプリッタ７１２は投射レンズ７１３へ入射される画像の一部の漏れ光をカメラ側に分配するためのものである。

偏光ビームスプリッタ７１２からの漏れ光が射出される側には、光学絞り７１４、カメラ７１５が配置され、カメラ７１５の撮像素子７１６上に表示素子に表示された画像が結像し、撮像されるようになっている。カメラ７１５の撮像素子７１６は、撮像信号を位置検出処理部７１７に出力する。位置検出処理部７１７は、入力された撮像信号に基づき、各表示素子の３次元位置を算出し、位置調整制御部７１８にて算出された位置補正量を基に６軸ステージ７０７、７０８、７０９を制御して、赤色用表示素子７０１、緑色用表示素子７０２、青色用表示素子７０３の位置合せを行う。

位置検出処理部７１７内の処理は、基本的には上記第１実施例で説明した図１の位置検出処理部１１５と同様である。位置検出処理部７１７内の処理は、撮像画像からテストパターンの抽出により４つのマーカ重心の算出、及び２つの該マーカ重心に挟まれたパターンドットの重心算出処理、及びこれらの撮像素子上の重心座標から表示素子の仮想点座標の算出を行うようになっている。位置調整制御部７１８の処理も基本的には、上記第１実施例で説明した図１の位置調整制御部１１６と同様である。位置調整制御部７１８の処理は、位置検出処理部７１７で算出された表示素子の仮想点座標から各表示素子が保持する６軸ステージの移動量算出と、その制御を行うようになっている。

位置検出処理、及び位置調整制御の詳細は、上記第１実施例で示した内容の通りである。また、小型６軸ステージ７０７、７０８、７０９は、上記第１実施例と同様に図８で示したパラレルリンクロボット構成のものであっても、別の任意の６軸制御可能なステージであっても良いのは言うまでもない。

また、調整方向については６軸全てについてステージにて行うことを前提に記述しているが、６軸全てをステージにて調整しなくても良く、予め組み立て時に所定方向軸に対して十分な位置調整ができていれば、その方向軸の調整が必要なくなるのは言うまでも無く、その方向軸の調整機構を省いたステージを使用することも可能である。

更に、図７に示した３板反射型液晶表示素子の画素位置調整装置は、投射レンズにより画像を投射しながら３枚の表示素子の位置合せを行うことができる構成となっているが、旋光板７１１、偏光ビームスプリッタ７１２、投射レンズ７１３が無い状態でダイクロイックプリズム７１０の射出画像を着脱可能なカメラで直接撮像する構成としても良い。このような構成では、表示素子位置の校正時にカメラと投射レンズを交換できる着脱可能な機構を付加すれば良く、上記旋光板７１１、及び偏光ビームスプリッタ７１２が必要無くなる。

続いて、図６に示すテストパターンの検出方法について以下に説明する。
テストパターンの検出方法は、３板の表示素子に表示するテストパターンを赤、緑、青の順で順次表示、撮像する場合、水平、垂直方向の所定色ラン長を検出することでマーカ６０４を検出可能であり、マーカ６０４の重心位置から第１実施例と同様にパターンドット６０５の各ドットをマーカ重心間の所定位置に対して探索することで抽出できる。

上記テストパターンの抽出が可能であれば、第１実施例と同様に表示素子上の仮想点の算出も可能である。

一方、テストパターンの検出方法は、３板の表示素子に表示するテストパターンを同時に表示、撮像した場合、撮像素子がカラーであれば当然、各赤、緑、青の画像に対して独立に上記同様に抽出が可能である。
しかしながら、テストパターンの検出方法は、撮像素子がモノクロである場合には先ず水平、垂直方向の所定ラン長を検出する。

上記撮像素子がモノクロである場合のテストパターンの検出方法は、以下に示すように行う。
先ず、水平ランで検出されたマーカ６０４で、ほぼ長方形の頂点位置に位置するものを抽出して第２板用テストパターン６０２とする。次に、抽出された以外のマーカに対して３つの垂直ランとその左側にある１つの水平ランで検出されたマーカ６０４がほぼ長方形の頂点位置に位置するものを抽出して第１板用テストパターン６０１とする。更に、残った３つの垂直ランとその右側にある１つの水平ランで検出されたマーカ６０４がほぼ長方形の頂点であることを確認し、第３板用テストパターン６０３とする。

これら第２板用テストパターン６０２、第１板用テストパターン６０１及び第３板用テストパターン６０３との関係は、３つの表示素子の位置が極端にずれていなければ成り立つため、対応表示素子の誤マーカ選択の確率は少ないと見なせる。

また、上記撮像素子がモノクロである場合のテストパターンの検出方法は、初期状態で目視にてマーカが重なっていると確認された場合、手動にて重なりを無くし、３つのテストパターンのマーカ６０４が概略正六角形の頂点に位置するように移動させることで、各表示素子のテストパターン抽出の誤検出確率をより低減することもできる。

この結果、第２実施例では３板反射型液晶表示素子の位置合せ方法、及び装置についての例であったが、３板に限定されるものではなく、単板からＮ板表示素子構成全てで位置合せは可能である。
また、第２実施例では、Ｎ板表示素子構成の合成画像を１枚の画像で撮像する場合には正（２Ｎ）角形の各頂点に仮想点を構成するようなテストパターンを用意すれば、上記実施例同様に自動位置合せができると共に、どの表示素子が位置ずれしているかを目視にてチェックできるという利点がある。

更に、第２実施例では、表示素子の種類も限定されるものでは無く、透過型液晶やＤＭＤ等、平面上にテストパターンを表示可能な表示素子であればどんなものでも可能である。
更に、本発明はプロジェクタの表示素子の位置合せ方法、及び装置について説明してきたが、これに限定するものではなく、表示素子のようなテストパターンを表示可能な能動素子でなくても平面上の予め定められた長さＤを持つ平行線分の端点（仮想線分上の点であっても良い）をカメラにて撮像でき、且つその端点座標を算出することが可能であれば、カメラから見た該端点の３次元座標を求めることが可能であり、より汎用的な３次元計測方法、或いは装置に利用可能であるのは言うまでもなく、第３実施例にそのような例を示す。

図１７は、より汎用的な３次元計測装置のカメラ部分とその計測対象を示した模式図である。
３次元計測装置の具体例としては、例えば自立的に移動可能な自走式ロボットの目の役割をするカメラ部分とその撮像画像処理装置の構成が考えられる。

カメラ１７０１は単眼とし、ドア１７０２は大きさ（幅、或いは高さ）が規格で決められており、予めその大きさ、及び色が装置内に登録されているものとする。或いはドアに無線ＩＤタグ（ＩＣタグ）を設け、該計測装置にてこのＩＤタグ情報を読み取り、ドアの大きさ情報を得るようにしても良い。

今、自走式ロボットがドア１７０２を通り抜けるという動作を考える。
自走式ロボットはロボットの目であるカメラ１７０１を基準としたカメラ座標系から見たドア１７０２の３次元座標を検出しなければならない。

汎用的な位置計測は、通常、複眼の視差を用いて３次元計測を行う方法を採用するが、このような制限された動作を行う場合には、今まで説明した実施例同様に単眼のみのコストを抑えた構成で処理が行える。

図１８は、カメラ１７０１で撮像した画像を示している。
第３実施例では、図１８の撮像画像からドア１８０１を抽出する処理を行う場合を説明する。
上記ドア抽出処理は、撮像画像からドア１８０１の色情報に対応した領域を抽出し、その周囲の壁１８０６、及び床１８０７との境界線を決定する。

境界線自体は、通常のエッジ抽出処理を行うことで決定できる。
境界線は４本あり、それらが交わる位置１８０２、１８０３、１８０４、１８０５がドア１７０２の４つの角１７０３、１７０４、１７０５、１７０６に対応する。
これら４つの角の位置は、第１、第２実施例で記載した表示素子上の長さが予め定められた等長平行２線分の端点に相当する。

このため、ドア抽出処理は、撮像素子上の４つの点１８０２、１８０３、１８０４、１８０５を用いてドア１７０２の４つの角１７０３、１７０４、１７０５、１７０６の３次元座標を同様な方法で算出可能となる。この方法は、撮像素子上の端点算出自体は、高精度なものとはならないが、第３実施例のような用途では十分な精度となる。

また、境界線が４つ検出できない場合には、カメラ１７０１の位置を上下左右に振ったり、広角側へのズーミング等して視野の中にドア１８０１を入れる動作をさせるようにカメラ１７０１を制御することで確実に上記４つの点が算出できる。当然、ピント合せは、オートフォーカス制御がなされるものとする。

ドア１７０２の４つの角１７０３、１７０４、１７０５、１７０６の３次元座標が判明すれば、ドア１７０２のカメラ１７０１に対する向きも該４つの角１７０３、１７０４、１７０５、１７０６で作る平面の法線ベクトルとして簡単に算出できる。
従って、ロボット自体の姿勢制御は、法線ベクトルと直交する方向に向きを変えつつ、ドア１７０２の位置へ移動すれば、ドア１７０２に対向した状態で通り抜けることが可能となる。ここで、ドア１７０２は、押すだけで通り抜けられるドアノブが付いていないタイプであるとした。

図１９は汎用的な３次元計測装置のカメラ部分とその計測対象を示したもう１つの模式図である。
３次元計測装置の具体例としては、所定サイズのダンボールを所定場所から別の所定場所へ移動するための自走式ロボットの目の役割をするカメラ部分とその撮像画像処理装置の構成とする。

前記自走式ロボットは、ダンボール１９０２を保持する不図示の複数のアームと、所定位置へ自由に移動できる不図示の移動手段を備えている。
３次元計測装置は、カメラ１９０１で撮像した画像に基づき、ダンボール１９０２と自走式ロボットとの相対位置関係を算出して、前記自走式ロボットが自立的に所定位置に移動できるようになっている。

ここで、複数積まれているダンボール１９０２の大きさ（長さ、高さ、奥行き）は、同一であり、３次元計測装置は、これらの情報を予め装置内に記録しているものとする。或いは、３次元計測装置は、無線ＩＤタグ（ＩＣタグ）がダンボール内に埋め込まれており、このＩＤタグ情報を読み取り、ダンボールの大きさ情報を得るようにしても良い。

また、３次元計測装置は、ダンボールの位置検出面を識別するために、ダンボール１９０２を構成する６面の内、異なるサイズとなる３面の不図示の判別用マークがカメラ１９０１にて撮像可能な面に印刷されているものとする。

判別用マークは異なる色のパターンでも良いし、異なる図形として面内の一部に印刷されてもよいし、面全体の絵柄としても良い。特に、判別用マークの判別は、面全体の絵柄において、撮像画像と予め記録されている絵柄とのマッチングを取り判定すれば良い。

図２０は、カメラ１９０１で撮像した画像を示した図である。
３次元計測装置は、ダンボール１９０２の検出面の選択と、この選択した面が有する角とを撮像画像のダンボール２００１から検出できれば、前記実施例の場合と同様にカメラ座標系での３次元座標を算出できることとなる。

その具体的な処理を以下に示す。
ダンボール１９０２は、直方体であるため、一般に３つの異なる長方形の面で構成されている。カメラ１９０１で撮像される面は、カメラ１９０１とダンボール１９０２との相対位置関係に依存し、最大でも３つの長方形となる。

これらの３つの長方形は大きさが異なるため、予め３次元計測装置内に記録されている大きさ情報との対応付けが必要となる。
そこで、３次元計測装置は、撮像画像２０００内のダンボール２００１の検出可能な角２００２、２００３、２００４、２００５、２００６、２００７、２００８を先ず検出する。検出方法は、第３実施例で説明した場合と同様に色とエッジ抽出とから該３つの面の各境界線を決定し、決定した境界線の交点がダンボール２００１の検出可能な角２００２、２００３、２００４、２００５、２００６、２００７に対応する。

３次元計測装置は、これらの点から長方形の角に対応する４つの点毎にグループ分けを行う。第１グループは２００２、２００３、２００４、２００５であり、第２グループは２００３、２００４、２００７、２００８であり、第３グループは２００３、２００５、２００７、２００９である。

３次元計測装置は、グループ分けした面が異なる３つの面のどの面であるかを判定するために、撮像画像内で最大面積となる面の絵柄と、予め記録しておいた絵柄との間でパターンマッチングを行い、相関値の大小で判定を行う。
パターンマッチングを行う撮像画像内の面の絵柄が歪んでいる場合には、３次元計測装置は、予め記録しておいた絵柄を同様な境界線となるようにアフィン変換を行った近似画像を作成することで判定誤りの低減が可能となる。

更に、３次元計測装置は、それぞれのグループの点の長さＤが規定された等長平行２線分の端点に対応するため、長さＤの取り得る値であるダンボールの大きさ（長さ×高さ×奥行き）を全て用いて３つのグループの３次元位置を算出する。
各グループの点の座標算出方法は、上記第１実施例で記載した通りであり、得られた３種類の３次元座標からどの座標が正しいかを判定する。

判定条件は、上記３つのグループの点の内、グループ間で共有している点を利用し、共有点の各面での算出座標の誤差が最小となるように対応面の判定を行えば良い。（但し、複数の面が同一サイズである場合には、上記絵柄とのパターンマッチングのみとなる）◎
これにより、３次元計測装置は、ダンボール１９０２の検出可能な角１９０３、１９０４、１９０５、１９０６、１９０７、１９０８、１９０９の３次元座標を一意に決定できる。

上記した例はダンボール１９０２の３面が撮像される場合であったが、カメラ１９０１の位置によりが撮像される面の数は変化（１〜３）する。
例えば、１面しか撮像できない場合には、３次元計測装置は、判別用マークとのパターンマッチングのみで判断し、２面、３面の場合にはパターンマッチングと算出座標の誤差が最小かどうかの上記２つの方法を併用する。
特に、一面しか撮像されなければ、３次元計測装置は、カメラ１９０１の撮像素子とダンボール１９０２の撮像面がほぼ平行な状態となっており、判定パターンの歪みが少なく相関値も高くなるため、一面でも十分な判定が行える。

これにより、３次元計測装置は、ターゲットとなるダンボール１９０２の面の角を結ぶ辺の長さが確定するので、カメラ１９０１に対する相対位置関係が算出でき、自走式ロボットをダンボール１９０２の所定面に正対し、且つ所定距離離れた位置に来るようにロボット自体の向きと位置を移動させることができる。

また、上記ダンボールの位置検出をダンボール自体の境界辺を利用してダンボールの３次元座標算出を行ったが、第１実施例で記載した大きさが予め定められたテストパターン３０１や４０１等をダンボールの面に印刷するか、シール状の用紙に印刷したテストパターンをダンボールの面に貼り付けるなどして、このテストパターンを上記第１実施例で説明した場合と同様の方法で算出することで印刷面の３次元位置を特定できる。

尚、本発明は、以上述べた実施例のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。

本発明の位置検出装置、及び位置検出方法は、カメラ基準のターゲット座標へ被写体の移動制御を行うための移動量の算出が高精度で且つ高速に可能で安価にできるので、３板式投射型液晶表示装置のみならず、ロボットの目の役割をするカメラ部分とその撮像画像処理装置の構成にも適用可能である。

本発明の第１実施例に係る２台のプロジェクタの表示素子の画素位置調整装置を備えたプロジェクタシステムの概略構成図である。 本発明の第１、第２実施例に係わる表示素子上の仮想点と撮像素子上の対応する仮想点の関係をピンホールカメラによりモデル化して示した説明図である。 本発明の第１、第２実施例に係わるテストパターンの基本パターンを示した説明図である。 本発明の第１実施例に係わるテストパターンを示した説明図である。 本発明の第１実施例に係わるテストパターンが位置調整前後にてカメラにより撮像された状態を示す説明図である。 本発明の第２実施例に係わるテストパターンを示した説明図である。 本発明の第２実施例に係わる３板反射液晶プロジェクタの表示素子位置合せ装置を有した合成光学系周辺の概略構成図である。 本発明の第１、第２実施例に係わる６軸ステージとその動きを説明する説明図である。 本発明の第１、第２実施例に係わるテストパターンを構成するパターンドットと仮想点との関係を示した説明図である。 本発明の第１、第２実施例に係わる表示素子上の仮想点から算出する重心点と四角錐の１頂点との関係を示した説明図である。 本発明の第１、第２実施例に係わる画素位置調整装置部分の機能ブロック図である。 本発明の第１、第２実施例に係わる画素位置調整方法のカメラ座標とステージ座標との相対関係が未定時の全体フローチャートである。 本発明の第１、第２実施例に係わる画素位置調整方法の一部処理の詳細フローチャートである。 本発明の第１、第２実施例に係わる画素位置調整方法の一部処理の詳細フローチャートである。 本発明の第１、第２実施例に係わるカメラを一般的な撮像レンズの構成とした場合の説明図である。 本発明の第１、第２実施例に係わる画素位置調整方法の概要を示すフローチャートである。 本発明の第３実施例に係わる位置検出対象物の説明図である。 本発明の第３実施例に係わる位置検出対象物をカメラにより撮像された状態を示す説明図である。 本発明の第４実施例に係わる位置検出対象物の説明図である。 本発明の第４実施例に係わる位置検出対象物をカメラにより撮像された状態を示す説明図である。

符号の説明

１０１…第１プロジェクタ
１０２…第２プロジェクタ
１０３…第１投影画像生成部
１０４…第２投影画像生成部
１０５…旋光板
１０６…リレーレンズ光学系
１０７…偏光板
１０８…全反射ミラー
１０９…偏光ビームスプリッタ
１１０…投影レンズ
１１１…光学絞り
１１３…ビデオカメラ
１１４…撮像素子
１１５…位置検出処理部
１１６…位置調整制御部
１１７，１１８…６軸ステージ
２０１，２０２…液晶表示素子
８０１…可動板
８０２…固定板
８０３…アクチュエータ
８０４…球面軸受け
１１０１…撮像部
１１０２…画像メモリ
１１０３…撮像点座標算出部
１１０４…物体点座標算出部
１１０５…位置合せ判定制御部
１１０６…カメラ→ステージ座標変換行列算出保持部
１１０７…ステージ移動量算出部
１１０８…ターゲット座標設定保持部
１１０９…ステージ移動制御部
１１１０…６軸ステージ
代理人 弁理士 伊藤 進

Claims (14)

1. 互いに等しい長さの２つの平行な等長線分の各端点を少なくとも特徴点として、被写体の位置を検出する位置検出装置であって、
   光学手段によって結像されたカメラ座標系空間内の前記被写体像を撮像する撮像デバイスと、
   前記撮像デバイスで撮像した被写体像の前記各特徴点の撮像デバイス面上での位置を表す撮像デバイス座標から、前記被写体像の前記各特徴点が対応するカメラ座標系空間内の位置を表すためのカメラ座標を算出するカメラ座標算出手段と、
   を具備したことを特徴とする位置検出装置。
2. 前記被写体の位置を前記カメラ座標系空間内で６軸のうちの少なくとも一方向に調整可能なステージ制御手段と、
   前記カメラ座標を、前記ステージ制御手段がステージの６軸のうちの少なくとも一方向の調整の際に用いるステージ位置を表すステージ座標に変換するステージ座標変換手段と、
   前記ステージ座標変換手段で変換された被写体の前記特徴点のステージ座標に基づき、この被写体の特徴点が前記撮像デバイス面で結像されるべきターゲット位置に結像されるステージ座標を求めるステージ移動量算出手段と、
   を更に有し、
   前記ステージ制御手段は、前記ステージ移動量算出手段が算出したステージ座標に基づいてステージ位置を調整することを特徴とする請求項１に記載の位置検出装置。
3. 前記ステージ移動量算出手段は、ターゲット位置として前記被写体の特徴点が前記撮像デバイス面で２つの平行な長さの等長線分の各端点として結像されるようなステージ座標を求めることを特徴とする請求項２に記載の位置検出装置。
4. 前記被写体は、画像を表示する表示デバイス面であり、
   前記特徴点は、前記表示デバイス面に表示されたテストパターン像によって特定可能な点であることを特徴とする請求項２に記載の位置検出装置。
5. 前記表示デバイス面を複数有し、
   前記撮像デバイスは、前記複数の表示デバイス面で表示された各テストパターン像を結像し、
   前記ステージ移動量算出手段は、ターゲット位置として前記複数の表示デバイス面が表示し前記撮像デバイスで撮像した複数のテストパターンの相対的な位置関係に基づいてステージ座標を求めることを特徴とする請求項４に記載の位置検出装置。
6. 前記表示デバイスが表示した画像が投影され結像するスクリーン面を更に有し、
   前記撮像デバイスは、前記スクリーンに結像されたテストパターン像を結像することを特徴とする請求項４に記載の位置検出装置。
7. 前記表示デバイス面を複数有し、
   前記スクリーン面は、前記複数の表示デバイス面が表示したテストパターンが結像され、
   前記ステージ移動量算出手段は、ターゲット位置として前記複数の表示デバイス面が表示し前記スクリーン面で結像した複数のテストパターンの相対的な位置関係に基づいてステージ座標を求めることを特徴とする請求項６に記載の位置検出装置。
8. 前記テストパターンの端点間は、パターンコードで結ばれており、
   前記表示デバイス面の数をｎとした時、全表示デバイスで表示し前記スクリーン面に合成して結像されたテストパターンの前記ターゲット位置が、前記パターンコードで辺を構成し、前記端点で頂点を構成する正２ｎ角形となるように、各表示デバイスで表示するテストパターンが構成されていることを特徴とする請求項７に記載の位置検出装置。
9. 前記テストパターンの端点間は、パターンコードで結ばれていることを特徴とする請求項４に記載の位置検出装置。
10. 面積を持った所定の図形を前記テストパターンの線分の両端に設け、
    前記特徴点としての端点は、この図形の重心位置とすることを特徴とする請求項４に記載の位置検出装置。
11. 前記被写体は、人工物であり、
    前記特徴点は、前記人工物の構造に内包された前記特徴点の条件を満足する点であることを特徴とする請求項１に記載の位置検出装置。
12. 互いに等しい長さの２つの平行な等長線分の各端点を特徴点として少なくとも有する被写体の位置を検出する位置検出方法であって、
    光学手段によって結像されたカメラ座標系空間内の前記被写体像を撮像デバイスにより撮像する撮像工程と、
    前記撮像デバイスで撮像した被写体像の前記各特徴点の撮像デバイス面上での位置を表す撮像デバイス座標から、前記被写体像の前記各特徴点が対応するカメラ座標系空間内の位置を表すカメラ座標を算出する算出工程と、
    を具備したことを特徴とする位置検出方法。
13. 前記被写体の位置をカメラ座標系空間内で６軸のうちの少なくとも一方向に調整可能なステージ制御工程と、
    前記カメラ座標を、ステージ座標変換手段によって前記ステージ制御手段がステージの６軸のうちの少なくとも一方向の調整の際に用いるステージ位置を表すステージ座標に変換するステージ座標変換工程と、
    前記ステージ座標変換工程で変換された被写体の前記特徴点のステージ座標に基づき、この被写体の特徴点が前記撮像デバイス面で結像されるべきターゲット位置に結像されるステージ座標を算出するステージ移動量算出工程と、
    前記ステージ制御工程により、前記ステージ移動量算出工程で算出したステージ座標に基づいてステージ位置を調整するステージ位置調整工程と、
    を更に有することを特徴とする請求項１２に記載の位置検出方法。
14. ステージ位置調整工程は、前記ステージ移動量算出工程により、ターゲット位置として、前記被写体の特徴点が前記撮像デバイス面で２つの平行な長さの等長線分の各端点として結像されるようなステージ座標を求めるステージ座標算出工程を有することを特徴とする請求項１３に記載の位置検出方法。
    

Images