JP2008533501A - コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置 - Google Patents

Abstract

この方法は、プロジェクタの姿勢を表示面に対して調整する。表示面とプロジェクタの間のホモグラフィＨ_Ｄ，Ｐが求められる。ホモグラフィＨ_Ｄ，Ｐは、プロジェクタの姿勢Ｍ_Ｐを表す回転パラメータ及び平行移動パラメータに分解される。理想的なホモグラフィＨ_０に対応するプロジェクタの理想的な姿勢Ｍ_０が求められる。姿勢調整量Ｍ_Ａが、Ｍ_Ａ＝Ｍ_０（Ｍ_Ｐ）^−１に従って求められる。姿勢調整量Ｍ_Ａは回転調整パラメータ及び平行移動調整パラメータに分解される。次に、プロジェクタが、回転調整パラメータ及び平行移動調整パラメータに従って理想的な姿勢Ｍ_０に機械的に調整される。

Description

本発明は、包括的には画像プロジェクタに関し、特に表示画像におけるキーストン（keystoning）問題の補正に関する。

画像プロジェクタは普及している。これらのプロジェクタは、垂直な表示面に向けられて、「スライド」プレゼンテーション又はビデオを表示する。これらのプロジェクタの多くは透過型ＬＣＤを使用し、通常１枚のレンズを有する。これらのプロジェクタは、画像を１度に１枚ずつ、又は画像シーケンスとして表示することができる。

これらのプロジェクタは通常、プロジェクタの光軸が表示面の中心に対して垂直に位置合わせされたときにのみ、歪みのない画像が表示面に表示されるように設計されている。この仮定に反する場合、結果として生じる出力画像は矩形になり得ず、よくて台形、最悪の場合には任意の四辺形になる。この問題はキーストンと呼ばれる。

従来技術のプロジェクタでは、キーストンを補正する１つの方法として、矩形の画像が表示されるまでプロジェクタを平行移動及び回転させてあちこちに動かすことにより、プロジェクタの物理的な位置の退屈な調整を行うことがある。

Appel他に対して１９９８年８月１８日付で発行された米国特許第５，５４８，３５７号（特許文献１参照）「Keystoning and focus correction for an overhead projector」は、テストスライドを表示するシステムを記載している。ユーザが、互いに最も平行な線対を特定する。この線対の特定により、プロジェクタを通る水平面と画面の間の傾斜角を使用する歪み補正プログラムが起動される。

Wooに対して１９９８年８月付で発行された米国特許第５，７９５，０４６号（特許文献２参照）「Method for pre-compensating an asymmetrical picture in a projection system for displaying a picture」は、ユーザが位置情報をシステムにキーボード入力することによって投射角及び台形エラーを補正するシステムを記載している。

Raskarに対して２００３年２月１８日付で発行された米国特許第６，５２０，６４７号（特許文献３参照）「Automatic keystone correction for projectors with arbitrary orientation」は、表示面に対して任意の向きにあるプロジェクタにおいてキーストンを補正する方法を記載している。プロジェクタの光軸の仰角、ロール角、及び方位角が表示面に対して測定される。仰角、ロール角、及び方位角から平面射影変換行列が求められる。プロジェクタによって投影するソース画像が平面射影変換に従ってワーピングされ、表示面に投影される。

米国特許第５，５４８，３５７号公報 米国特許第５，７９５，０４６号公報 米国特許第６，５２０，６４７号公報

しかし、画像をデジタルワーピングすると、画素をリサンプリングしなければならず、一部の画素が廃棄されるため、画質が劣化する。

［発明の開示］
本発明は、プロジェクタの姿勢を表示面に対して調整する。表示面とプロジェクタの間のホモグラフィＨ_Ｄ，Ｐが求められる。ホモグラフィＨ_Ｄ，Ｐは、プロジェクタの姿勢Ｍ_Ｐを表す回転パラメータ及び平行移動パラメータに分解される。理想的なホモグラフィＨ_０に対応するプロジェクタの理想的な姿勢Ｍ_０が求められる。姿勢調整量Ｍ_Ａが、Ｍ_Ａ＝Ｍ_０（Ｍ_Ｐ）^−１に従って求められる。姿勢調整量Ｍ_Ａは回転調整パラメータ及び平行移動調整パラメータに分解される。次に、プロジェクタが、回転調整パラメータ及び平行移動調整パラメータに従って理想的な姿勢Ｍ_０に機械的に調整される。

図１に示すように、本発明によるプロジェクタディスプレイシステム１００は、実世界の（ｘ，ｙ，ｚ）座標において任意の姿勢Ｍ_Ｐを有するプロジェクタ１１０と、（ｕ，ｖ）座標系を有する表示面１２０とを含む。座標系は、範囲［０，．．．，１］に標準化された値、又は実際の物理的な測定値を有することができる。プロジェクタ及び表示面のアスペクト比は実質的に一致する。姿勢とは、具体的には３つの軸を中心とした回転及び平行移動を意味する。表示面に対するプロジェクタの姿勢は任意且つ未知である。したがって、本発明が機械的に解決するキーストン問題が潜在的にある。

本システムは光学センサも含むことができ、例えば光学センサは、カメラ１４０内にＣＣＤ格子として取り付けられる。プロジェクタ及びカメラは、本発明による方法３００を実行するためにプロセッサ１５０に接続される。プロジェクタ（複数可）及びカメラの内部パラメータ及び放射方向歪みは既知である。

別法として、表示画面は、表示面上の既知の位置に取り付けられる光センサ１６０を含むことができる。光センサは、電線、光ファイバケーブル、又は無線リンクのいずれかによってプロセッサ１５０に接続される。

表示面は、前面又は背面から観察することができる。表示面は、隅１２１及び縁１２２等の既知の位置に区別可能な特徴を含む。プロジェクタは、出力画像１７０又は画像シーケンス、すなわちビデオを表示することができる。プロジェクタは、外部の６自由度を可能にし、その結果として表面１２０に対するプロジェクタの或る任意の姿勢をもたらすプラットフォーム１３０上に取り付けられる。ジョイント１３１はプロジェクタの姿勢Ｍ_Ｐを変化させることができる。ジョイント１３１はモータにより駆動してもよい。

上記のように、出力画像１７０は或る任意の歪んだ四辺形であることができ、必ずしも表示面と位置合わせされていない。表示画像をデジタルワーピングすることなく、この歪みを補正し、表示画像が矩形となり、表示面の縁と位置合わせされるようにすることが望ましい。

プロジェクタ１１０は、出力画像を画像座標系に表示する。プロジェクタは、水平方向シフト、垂直方向シフト、ズーム及びスキューを行うために内部の４自由度を有する。画像のシフトは通常、レンズをシフトすることによって行われ、ズームは、レンズを内側又は外側にシフトすることによって達成され、スキューは、水平方向及び垂直方向に同時にシフトすることによって達成される。

図２に示すように、本発明は、マルチプロジェクタシステム２００とともに使用することもできる。複数のプロジェクタ１１０〜１１３によって表示される画像は、図２のように接合するか、又は図４のように重なり合うことができる。

カメラベースの技法
所望の表示矩形をＤとする。表示矩形Ｄは、表示面１２０の全体又は部分であることができる。プロジェクタの理想的な姿勢Ｍ_０の場合、出力画像１７０は表示面１２０に実質的に一致し、プロジェクタの光軸は表示面の中心に対して垂直に位置合わせされる。

これは、理想的なホモグラフィＨ_０に従ってプロジェクタをスケーリング、回転、及び平行移動させることによって行うことができる。プロジェクタ及び表示面が同じアスペクト比を有する場合、ｚ軸に沿ったスケーリングはズームによって行うことができる。平行移動はｘ軸及びｙ軸に沿って行う。回転はどの軸に沿っても行うことができる。

本発明による方法について図３に示すように、出力画像１７０を表示する際に表示面１２０の入力画像１８０を取得する３１０。出力画像は特殊なパターンを含む。

入力画像から、表示面の特徴、例えば四隅１２１又は縁１２２を検出する。出力画像１７０のパターン中の、４つのロケーション１７１〜１７４を含む特徴も入力画像１８０から検出する。特徴及びロケーションは３つで十分であるが、４つで精度が高まることを理解すべきである。

検出された特徴及びロケーションに基づき、従来の既知の技法を用いて、カメラと表示面の間のホモグラフィＨ_Ｃ，Ｄ３２１及びカメラとプロジェクタの間のホモグラフィＨ_Ｃ，Ｐ３２２を求める３２０。

ホモグラフィ３２１及び３２２を用いて、表示面の座標（ｕ，ｖ）を次式に従ってプロジェクタ座標（ｘ，ｙ）に関連付ける。

ここで、ｗは投影座標の同次（homogeneous）係数であり、Ｔは転置を示し、Ｈ_Ｄ，Ｐは表示面とプロジェクタの間のホモグラフィである。

次に、ホモグラフィＨ_Ｄ，Ｐを次のように、プロジェクタ１１０の姿勢Ｍ_Ｐ３３１を表す回転パラメータ及び平行移動パラメータに分解する。ピンホール装置の場合、透視射影行列Ｐ_Ｐが、次式に従って３Ｄの点を２Ｄの像平面上に射影する。

ここで、Ａ_Ｐは、プロジェクタの内部パラメータ、すなわち焦点距離及び主点を含む３×３行列であり、Ｒ及びｔはプロジェクタの外部パラメータであり、Ｍ_Ｐはプロジェクタの姿勢、すなわち回転及び平行移動を表す。行列Ｒは、回転パラメータとしての列ｒ_１、ｒ_２、及びｒ_３を有する３×３回転行列であり、ｔは平行移動パラメータである。

表示面上の３Ｄの点がプロジェクタの座標系の形で表され、Ｒ及びｔがその座標系を基準として表される場合、その点のプロジェクタから像平面への投影は次のように表すことができる。

ここで、

はスケールによって決まる（defined up to scale）ことを意味し、Ｘ、Ｙ、及びＺは３Ｄ空間における点の座標である。

本発明では表示面を３Ｄ空間における平面として定義する。一般性を失うことなく、本発明ではこの３Ｄ平面がＺ＝０と同一平面にあると仮定する、すなわち、点は（Ｕ，Ｖ，０，１）^Ｔとして表すことができる。上記の式にこれらの点を用いると、次式が得られる。

言い換えれば、Ｈ_Ｄ，Ｐ＝Ａ_Ｐ［ｒ_１ ｒ_２ ｜ｔ］となる。行列Ａ_Ｐが分かれば、

となり、ｒ_３はｒ_１×ｒ_２から求めることができる。

別法として、最良の直交行列を求めて、回転パラメータｒ_１、ｒ_２、ｒ_３を見つけることができる。この情報があれば、プロジェクタの姿勢Ｍ_Ｐ＝［ｒ_１ ｒ_２ ｒ_３ ｜ｔ］３３１を回転パラメータ及び平行移動パラメータに関して求められる３３０。

理想的な姿勢Ｍ_０に対するホモグラフィはＨ_０である。プロジェクタの内部パラメータＡ_Ｐが分かれば、プロジェクタの理想的な姿勢Ｍ_０を求めて、プロジェクタと表示面の間のホモグラフィがＨ_０である矩形を表示することができる。理想的な姿勢は次のように表される。

任意の姿勢Ｍ_Ｐが分かれば、回転及び平行移動の調整量Ｍ_Ａ３４１を求めて、任意の姿勢Ｍ_Ｐを理想的な姿勢Ｍ_０に変換する。Ｍ_０＝Ｍ_ＡＭ_Ｐである、すなわち、Ｍ_Ａ＝Ｍ_０（Ｍ_Ｐ）^−１を求める３４０。

Ｍ_Ａを電動ジョイント１３１の回転角及び平行移動パラメータに分解し、６自由度プラットフォーム１３０上に取り付けられたプロジェクタ１１０を、電動ジョイント１３１を用いて直接調整する３５０。

この時点で、もう１枚の入力画像を取得して調整精度を検証する３６０ことができ、所望の精度の結果を達成する３６１までステップ３１０、３２０、３３０、及び３４０を繰り返す３５５ことができる。

光センサベースの技法
カメラ１４０の代わりに、表示画面１２０上の既知の位置に取り付けられる光センサ１６０を用いることができる。

表示される出力画像１７０の範囲が全光センサをカバーする。ホモグラフィ３２１及び３２２を求めるには３つのセンサで十分であるが、本発明では４つのセンサを用いて結果の精度を高める。

上述のカメラベースの技法と同様に、センサ１６０を用いて出力画像１７０中の４つのロケーションを検出する（Lee他により２００３年８月６日付で出願された米国特許出願第１０／６３５，４０４号「Method and System for Calibrating Projectors to Arbitrarily Shaped Surfaces with Discrete Optical Sensors」（参照により本明細書中に援用される）を参照）。

すなわち、プロジェクタを用いていわゆる２進コードパターンシーケンスで光センサを照明する。この２進コードパターンは交互の白黒部分を含む。本発明では、水平方向シーケンスで一度、垂直方向シーケンスで一度照明する。投影シーケンス中、光センサは、白部分：ホワイトセグメント（高輝度）又は黒部分：ブラックセグメント（低輝度）のどちらを検出したのかを記録する。結果として、水平方向シーケンス及び垂直方向シーケンスについて２進数シーケンスを得る。この２進数シーケンスは、プロジェクタの画素のロケーションを符号化する。

次に、上述したような方法３００を適用してホモグラフィを求め、それに従って処理を行う。

マルチプロジェクタディスプレイ
マルチプロジェクタディスプレイシステムの場合、次の２つの場合、すなわち、図２に示すように出力画像が接合する場合と、図４に示すように出力画像が重なり合う場合とを区別する。

図２のように出力画像が接合する場合、各出力画像に関連する矩形を予め定義した上で、各プロジェクタに対して個別に方法３００を適用することができる。

図４のような重なり合う出力画像の場合、重なり合う領域４００における輝度の増加を調整する。これは２通りの方法で行うことができる。

第１に、プロジェクタのフレームバッファ１５１において画素強度をデジタル修正することができる（米国特許第６，６７７，９５６号及び同第６，７８１，５９１号（参照により本明細書中に援用される）を参照）。

第２に、減光フィルタ（intensity reducing filter）４１０〜４１３をそれぞれのカメラのレンズの前方の定位置に設けることができる。この第２の技法の場合、所望の表示矩形を事前に求めた上で、それに従ってフィルタを設計する。例えば、出力画像の一部の領域は１つの隣接画像のみと重なり合うのに対し、他の領域は複数の出力画像と重なり合う。

利点として、光学フィルタは、画素強度を修正し、重なり領域の黒レベルが、重なりのない領域の黒レベルと同じになるようにする。従来技術において、このようなフィルタは、マルチプロジェクタ飛行シミュレータシステムにおいて用いられている。これらのフィルタは、６自由度プラットフォーム上にも取り付け、フィルタを正確に位置合わせして所望の影を生成することができる。

本発明を、好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応形態及び修正形態を実施してもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形形態及び修正形態をすべて網羅することである。

本発明によるプロジェクタシステムのブロック図である。 本発明による、画像を接合するマルチプロジェクタシステムのブロック図である。 本発明による、プロジェクタの姿勢を調整する方法のフロー図である。 本発明による、画像を重ね合わせるマルチプロジェクタシステムのブロック図である。

Claims (14)

1. コンピュータ実施による、プロジェクタの姿勢を表示面に対して調整する方法であって、
   表示面とプロジェクタの間のホモグラフィＨ_Ｄ，Ｐを求めること、
   前記ホモグラフィＨ_Ｄ，Ｐを、前記プロジェクタの姿勢Ｍ_Ｐを表す回転パラメータ及び平行移動パラメータに分解すること、
   理想的なホモグラフィＨ_０に対応する前記プロジェクタの理想的な姿勢Ｍ_０を求めること、
   姿勢調整量Ｍ_ＡをＭ_Ａ＝Ｍ_０（Ｍ_Ｐ）^−１に従って求めること、
   前記姿勢調整量Ｍ_Ａを回転調整パラメータ及び平行移動調整パラメータに分解すること、及び
   前記回転調整パラメータ及び前記平行移動調整パラメータに従って前記プロジェクタを前記理想的な姿勢Ｍ_０に機械的に調整すること
   を含む、コンピュータ実施による、プロジェクタの姿勢を表示面に対して調整する方法。
2. 前記プロジェクタは、電動ジョイントを含む６自由度プラットフォームに取り付けられ、
   前記方法は、
   前記回転調整パラメータ及び前記平行移動調整パラメータを前記電動ジョイントに提供して、前記プロジェクタを前記理想的な姿勢Ｍ_０に調整すること
   をさらに含む、請求項１に記載の方法。
3. 前記光学センサはカメラ内に取り付けられ、
   前記方法は、
   前記プロジェクタにより出力画像を表示面に表示することであって、該表示面は検出可能な特徴を既知の位置に有し、前記出力画像は所定のパターンを既知のロケーションに含む、表示すること、
   前記表示面の入力画像及び前記出力画像を取得すること、
   前記入力画像中の前記特徴及び前記ロケーションを検出すること、
   前記特徴及び前記ロケーションから前記カメラと前記表示面の間の前記ホモグラフィＨ_Ｃ，Ｄ及び前記カメラと前記プロジェクタの間のホモグラフィＨ_Ｃ，Ｐを求めること、及び
   前記ホモグラフィＨ_Ｃ，Ｄ及び前記ホモグラフィＨ_Ｃ，Ｐから前記ホモグラフィＨ_Ｄ，Ｐを求めること
   をさらに含む、請求項１に記載の方法。
4. 前記光学センサは、前記表示面上の既知の位置に取り付けられる光センサであり、
   前記方法は、
   前記プロジェクタにより前記表示面に出力画像シーケンスを表示することであって、該出力画像シーケンスは所定のパターンを既知のロケーションに含む、表示すること、
   前記光センサを用いて前記出力画像シーケンスから前記特徴及び前記ロケーションを検出すること、及び
   前記光センサを用いて前記出力画像シーケンス中の前記特徴及び前記ロケーションから前記ホモグラフィＨ_Ｄ，Ｐを求めること
   をさらに含む、請求項１に記載の方法。
5. 前記理想的な姿勢は、Ｍ_０＝（Ａ_Ｐ）^−１Ｈ_０に従い、ここでＡ_Ｐは、前記プロジェクタの内部パラメータを含む行列である、請求項１に記載の方法。
6. 前記表示面は前面から観察される、請求項１に記載の方法。
7. 前記表示面は背面から観察される、請求項１に記載の方法。
8. 接合画像を表示する複数のプロジェクタがあり、各プロジェクタは個別に調整される、請求項１に記載の方法。
9. 前記表示面の座標（ｕ，ｖ）を前記プロジェクタ座標の座標（ｘ，ｙ）に、
   

   

   に従って関係付けること
   をさらに含み、ここで、ｗは投影座標の同次係数であり、Ｔは転置を示し、透視射影行列Ｐ_Ｐが３Ｄの点を２Ｄの像平面上に
   

   

   に従って射影し、ここで、Ａ_Ｐは、前記プロジェクタの内部パラメータ及び主点を含む３×３行列であり、Ｒ及びｔは前記プロジェクタの外部パラメータであり、前記行列Ｒは、前記回転パラメータとしての列ｒ_１、ｒ_２、及びｒ_３を有する３×３回転行列であり、ｔは前記平行移動パラメータである、
   請求項３及び４に記載の方法。
10. 前記理想的な姿勢Ｍ_０はＭ_０＝（Ａ_Ｐ）^−１Ｈ_０であり、Ｍ_０＝Ｍ_ＡＭ_Ｐであり、Ｍ_Ａ＝Ｍ_０（Ｍ_Ｐ）^−１である、請求項９に記載の方法。
11. 重なり合う画像を表示する複数のプロジェクタがあり、前記方法は、
    重なり合う領域における輝度の増加を調整すること
    をさらに含む、請求項１に記載の方法。
12. 前記強度の調整は、前記プロジェクタのフレームバッファにおいてデジタルで行われる、請求項１１に記載の方法。
13. 前記強度の調整は、減光フィルタにより光学的に行われる、請求項１１に記載の方法。
14. プロジェクタの姿勢を表示面に対して調整する装置であって、
    電動ジョイントを含む６自由度プラットフォームと、
    前記６自由度プラットフォーム上に取り付けられるプロジェクタと、
    表示面と、
    前記表示面と前記プロジェクタの間のホモグラフィＨ_Ｄ，Ｐを求める手段と、
    前記ホモグラフィＨ_Ｄ，Ｐを、前記プロジェクタの姿勢Ｍ_Ｐを表す回転パラメータ及び平行移動パラメータに分解する手段と、
    理想的なホモグラフィＨ_０に対応する前記プロジェクタの理想的な姿勢Ｍ_０を求める手段と、
    姿勢調整量Ｍ_ＡをＭ_Ａ＝Ｍ_０（Ｍ_Ｐ）^−１に従って求める手段と、
    前記姿勢調整量Ｍ_Ａを回転調整パラメータ及び平行移動調整パラメータに分解する手段と、
    前記回転調整パラメータ及び前記平行移動調整パラメータを前記モータに提供して、前記プロジェクタを前記理想的な姿勢Ｍ_０に調整する手段と
    を備える、プロジェクタの姿勢を表示面に対して調整する装置。

Images