以下、本発明の実施の形態について図面を参照して説明する。
[第1実施形態]
本発明の第1実施形態として示す映像表示システムは、例えば図1に示すように構成される。この映像表示システムは、映像を投影する場合に生じる映像の歪みを、形状が既知であるスクリーン1への投影映像を利用して、スクリーン1とプロジェクタ2との位置関係を算出することにより、簡単に補正することのできるものである。この映像表示システムは、所定形状のスクリーン1と、プロジェクタ2と、制御装置3と、操作部4とを備える。
スクリーン1は、映像投影面が観察者に向けられて配置される。したがって、スクリーン1とプロジェクタ2とは正対していない。図1に示したスクリーン1は、映像投影面が凹形状のドーム型のものである。しかし、スクリーン1は、ドーム型には限られず、傾斜した平面スクリーンや、多面体形状或いは曲面などの非平面スクリーンであっても良い。このスクリーン1は、例えば、硬質な素材や硬質な枠に膜を、張力をかけて固定した構造により面を形成している。このスクリーン1は、形状に関する精度を高くでき、予めスクリーン形状が既知となっている。このようなスクリーン1は、プロジェクタ2から投影された投影光を受光する。これにより、スクリーン1は、各種の映像を表示する。
プロジェクタ(映像投影手段)2は、制御装置3から供給された映像データを用いて、スクリーン1に映像を投影する。プロジェクタ2は、スクリーン1に対して所定の位置に設置され、投影位置2aから投影光を投影する。プロジェクタ2は、当該プロジェクタ2の仕様により決定された所定の画角、シフト角度、バックフォーカスとなっている。図1ではドーム型の映像投影面全体に映像を投影しており、プロジェクタ2は、スクリーン1の映像投影面よりも広い投影可能範囲2bに対して投影光が投影可能となっている。
制御装置3は、映像生成部31と、映像変形部32と、補正パラメータ生成部33と、映像補正部34と、映像入力部35とを有する。制御装置3は、例えばパーソナルコンピュータからなる。制御装置3は、ユーザが操作部4を操作したことに応じて以降において説明する各種の処理を行う。
映像入力部35は、スクリーン1に表示させるための映像データを入力する。映像入力部35は、操作部4がユーザにより操作され、スクリーン1に表示させる映像が選択されたことに応じて、所望の映像データを取得する。映像入力部35は、例えばハードディスク装置等の映像データを蓄積しているものであってもよく、外部の情報記憶媒体から映像データを入力する入力インターフェースであっても良い。
映像補正部34は、補正パラメータ生成部33により生成された映像補正パラメータに基づいて、映像入力部35により入力した映像データを補正する。これにより、映像入力部35により入力した映像データは、補正パラメータ生成部33により生成された映像補正パラメータに基づいて映像補正部34により補正される。補正された映像データは、プロジェクタ2に供給される。
映像生成部31、映像変形部32、及び補正パラメータ生成部33は、プロジェクタ2に出力する映像データを補正するための映像補正パラメータを生成するために制御装置3に備えられる。
映像生成部31は、スクリーン1に対して指定した視線方向から見た場合におけるスクリーン1上の基準位置により形成される図形を、基準位置図形映像として生成する。ここで、スクリーン1の実際の基準位置は、基準位置表示手段によりスクリーン1上に表示される。このスクリーン1の基準位置とは、図1に示すように、ユーザが映像を投影したい範囲のうち任意に設定した複数の点であり、映像を補正する基準となる位置である。この基準位置は、スクリーン1における映像投影面を広くカバーする位置が望ましい。更に、この基準位置は、計算上は同一平面上が望ましいが、多面体スクリーンの場合には各面の頂点などであることが望ましい。更に、基準位置は、スクリーン1のような半球スクリーンのような深い形状の場合には、底の中心などにも設定することで精度向上が期待できる。
図1の例では、基準位置は、図1中の黒丸で示すように、スクリーン1の縁部であって正方形に並べた目印11a,11b,11c,11dの4個である。ここで、基準位置を4箇所とし、図形を四角形としたのは、幾何学計算を容易にするためである。したがって、スクリーン1の形状の複雑さや必要精度、スクリーン1の位置に関する既知の値や設置の自由度に応じて増減しても良いことは勿論である。
映像生成部31は、基準位置である目印11a,11b,11c,11dをプロジェクタ2の投影中心である投影位置2aから見た場合に成す形状の図形を、スクリーン1の形状とスクリーン1に対する基準位置、投影画角、シフト角度、バックフォーカスなどのプロジェクタ2の仕様、スクリーン1及びプロジェクタ2の設置に関する位置情報の設定値から、プロジェクタ2の投影画面上に描画した基準位置図形映像データを生成する。ここで、スクリーン1及びプロジェクタ2の設置位置以外は、スクリーン1及びプロジェクタ2に固有の値であり、予め精度よく計測しておくことができる。目印11a,11b,11c,11dが投影位置2aから見た場合に成す形状の図形は、目印11a,11b,11c,11dを頂点とする四角形の相似形となる。そして、映像生成部31は、当該生成した基準位置図形映像データをプロジェクタ2に供給して、プロジェクタ2からスクリーン1に基準位置図形映像光を投影させる。
例えば、図1に示すように、映像生成部31により生成された基準位置図形映像データをプロジェクタ2に供給した場合、プロジェクタ2により投影される映像光は、投影点12a,12b,12c,12dを頂点とする四角形の基準位置図形を含む映像として投影される。ここで、スクリーン1及びプロジェクタ2の実際の設置位置と、基準位置図形映像データを生成するのに用いた設定値とのずれに対応して、目印11a,11b,11c,11dと、投影点12a,12b,12c,12dとはずれている。すなわち、投影点12a,12b,12c,12dを目印11a,11b,11c,11dに合わせるよう映像を補正する必要がある。
基準位置表示手段は、スクリーン1に貼り付けた物理的な目印で実現される。また、物理的な目印ではなくても、基準位置表示手段は、基準位置が視覚的に認識できれば良い。したがって、基準位置は、スクリーン1の形状の上に、レーザ・ポインタなどの光学的マーカ手段を用いて表示することができる。これにより、スクリーン1上の任意の場所に基準位置を設定できる。これにより、スクリーン1の映像投影面の物理的形状を損なうことなく基準位置を表示でき、映像補正パラメータの生成後には、基準位置を非表示にすることができる。さらに、光学的マーカ手段を映像の観察者が位置する付近に設置して、スクリーン1上に基準位置を表示する場合には、基準位置の認識が容易となって映像補正パラメータによる映像補正の精度の向上が期待できる。また、基準位置としてプロジェクタ2からグリッドバターンを投影することにより、映像補正パラメータを用いた補正精度を評価する場合の基準にも用いることができる。
映像変形部32は、映像生成部31で生成した図形におけるスクリーン1上の基準位置に対応する座標位置を移動させる。これにより、映像変形部32は、映像生成部31により生成された基準位置図形映像を変形させる。
このとき、映像変形部32は、スクリーン1に投影された基準位置図形映像上の頂点である投影点12a,12b,12c,12dを観察者位置付近から目視しながら、映像変形部32が、マウスやキーボード等の操作部4に対する操作を認識する。この操作部4に対する操作は、基準位置図形映像の投影点12a,12b,12c,12dを、対応する各基準位置の目印11a,11b,11c,11dに重ねるようにされる。これにより、映像変形部32は、図2に示すように、映像生成部31により生成された基準位置図形映像データ(ここでは2次元画像として表現)100におけるスクリーン1への基準位置図形100’を変形させる。これにより、映像変形部32は、変形後映像データ101として、基準位置図形100’を変形した変形後基準位置図形101’を得る。このとき、映像変形部32は、スクリーン1における映像投影面上の基準位置図形の投影点12a,12b,12c,12dを移動して、基準位置図形映像を変形する。
ここで、基準位置図形映像における投影点12a,12b,12c,12dの初期位置は、設定上の基準位置をプロジェクタ2の投影中心の投影位置2aから透視投影した位置に対応する。移動後の基準位置図形映像の頂点は、実際の基準位置の目印11a,11b,11c,11dをプロジェクタ2の投影中心から透視投影した位置に対応する。
補正パラメータ生成部33は、移動前、すなわち設定上のプロジェクタ2とスクリーン1の位置情報((x0,y0,z0)(h0,p0,r0))と、移動前の図形と移動後の図形との位置情報から求めた、移動後、すなわち実際のプロジェクタ2とスクリーン1の位置情報((x1,y1,z1)(h1,p1,r1))、スクリーン1の幾何学形状、予め設定された視点位置、プロジェクタ2の投影角などを用いて、幾何学演算する。「h,p,r」は、3軸方向の回転角度、すなわち、ヘッディング値(ヨー値)、ピッチ値、ロール値である。移動前の図形と移動後の図形との位置情報を用いたことにより、実際のプロジェクタ2とスクリーン1の位置関係を、映像的に目視で一致する程度の精度で求めたことになる。これにより、補正パラメータ生成部33は、精度良く映像を補正できる映像補正パラメータを生成する。本実施例では、この映像補正パラメータは、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップであるテーブルであるが、これに限定されるものではなく、映像補正部34で用いる補正方法に対応したものであればよい。この映像補正パラメータは、図示しない記憶手段に記憶される。
なお、映像補正パラメータ調節の際にスクリーン1に投影された映像を目視する位置は任意であるが、最終的に観察者に歪みの無い映像を表示することを考慮すると、適切な補正精度を得るためには観察者位置の近傍に設定することが望ましい。
映像補正部34は、映像入力部35が映像データを入力したときに、当該映像データに対して補正を施す。このとき、映像補正部34は、補正パラメータ生成部33により生成された映像補正パラメータを用いて、映像入力部35により入力した平面映像信号に歪み補正処理を施す。これにより、補正した映像データをプロジェクタ2に供給し、プロジェクタ2からスクリーン1に投影することにより、歪みの無い映像を表示することができる。
ここで、映像補正について補足説明する。図3は、上述のようなスクリーン1の形状に応じた球面補正に、プロジェクタ2及び観察者の位置補正を含めた歪み補正の手法を説明するための図である。これらの補正は、プロジェクタ2の配置、スクリーン1の形状、プロジェクタ2の画角、シフト角度、バックフォーカス、予め設定された視点位置の入力に応答して行われる。
まず、補正にあたって、図3に示すように、観察者Pの視点位置P0よりビューフラスタム及びプロジェクタ2の投影位置より映像投影フラスタムを定義する。ビューフラスタムPaは、視点位置としての頂点をP0、底面をP0,0、Pm,0、Pm,n、P0,nとする四角錐で表現される。投影フラスタム2bは、プロジェクタバックフォーカス位置としての頂点を2a、底面をQ0,0、Qm,0、Qm,n、Q0,nとして表現される。ここで、m,nは映像解像度を表すものとし、映像信号が、たとえばSXGAの場合は、m=1279、n=1023である。底面は、仮想スクリーン面とも呼ばれる。
ここで、簡易表現のため、m=iにおけるy−z二次元断面から見たイメージを図4に示す。まず、仮想スクリーン面Pa内に点Pi,jを想定し、ベクトルP0Pi,jとスクリーン1との交点Ri,jを求める。次に、ベクトルQ0Ri,jと投影フラスタムの仮想スクリーン面2bとの交点Qi,jを求める。i,jを、0≦i≦m,0≦j≦nで変化してゆくと、Pi,j→Qi,j対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。
即ち、まずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにPi,j→Qi,j対応マップ(映像補正パラメータ)を利用したテクスチャマッピング座標を適用して再度映像生成を行う。これにより、映像歪み補正を実現している。
映像補正部34は、映像補正パラメータを用いた座標変換を行うことにより、実質的に、上述のような補正を行う。これにより、制御装置3は、平面の表示面に対する入力映像データを逐次補正処理してプロジェクタ2に供給することができる。この結果、映像表示システムは、略リアルタイムで映像データから出力映像データを生成し、スクリーン1に対して歪みのない映像を表示することができる。
以上説明したように、第1実施形態として示した映像表示システムによれば、スクリーン1上に基準位置を表示し、スクリーン1に対して指定した視線方向から見た場合におけるスクリーン1上の基準位置により形成される図形を、基準位置図形映像として生成する。そして、当該生成した図形におけるスクリーン1上の基準位置に対応する座標位置を移動させることにより、基準位置図形映像を変形させる。これにより、映像表示システムは、基準位置図形映像を変形させた結果として取得された移動前座標位置及び移動後座標位置に基づいて、映像データを補正するための映像補正パラメータを生成することができる。
このように、映像表示システムによれば、目印11a,11b,11c,11dに合わせて基準位置図形映像を変形させる簡単な作業のみで実際の設置位置に対応した精度のよい映像補正パラメータを生成でき、スクリーン1の形状に応じた映像の歪み補正を簡単に行うことができる。
なお、上述の例に限られず、透視投影変換の変換行列を計算して、そのまま映像補正パラメータとして用いることもできる。例えば、図5に示すように、スクリーン1がプロジェクタ2の投影可能範囲2bと相似の平面四角形であり、観察者Pがスクリーン1に正対し、スクリーン1の全面に映像光を投影する場合がある。この場合には、上述の手法とは異なる処理で映像補正パラメータを求めても良い。例えば、基準位置をスクリーンの4隅とし、明示的に位置関係を計算せずに、透視投影変換の変換行列を計算して、そのまま映像補正パラメータとして用いることもできる。この変換行列の計算には、例えば、OpenCVライブラリのcvGetPerspectiveTransform関数などを用いることができる。
これにより、上述の映像変形部32により求めた図6(a)に示すような基準位置図形101’を含む変形後映像データ101を求めると、図5のような場合には、この変換をそのまま映像補正パラメータに用いて、図6(b)のような入力映像100を用いて、図6(c)のような投影範囲101’を含む歪み補正後の映像101を作成することができる。
また、スクリーン1が平面の場合、プロジェクタ2とスクリーン1の代わりに、液晶パネルなどを映像表示に用いることもできる。この場合、スクリーン1の背面の中心から垂直にプロジェクタ2が映像を投影していると考えればよい。このような場合、観察者Pがスクリーン1に正対していれば、プロジェクタ2とスクリーン1の位置関係による歪み補正は必要ないが、観察者Pがスクリーン1に正対していない場合で、観察者Pに歪みのない映像を提示したい場合には、観察者Pからスクリーン1を見る方向を視線方向とし、入力映像の形状と相似形になるようにスクリーン1に基準位置を表示することで、本発明に係る映像表示システムを適用することができる。
更に、多面体スクリーンの場合でも、各面を各々平面スクリーンと考えて、上記の方法を適用することができる。
[第2実施形態]
つぎに、第2実施形態に係る映像表示システムについて説明する。なお、上述の第1実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
本発明の第2実施形態として示す映像表示システムは、図7に示すように、2台のプロジェクタ2A,2Bを用いて偏光方式で立体映像表示を行うものである。プロジェクタ2Aには、第1の偏光方向の偏光フィルタ5aが取り付けられ、プロジェクタ2Bには、第2の偏光方向の偏光フィルタ5bが取り付けられている。第1の偏光方向と第2の偏光方向とは、例えば直角の関係となっている。プロジェクタ2A,2Bの投影方向には、ミラー2Cが設けられる。プロジェクタ2A,2Bから投影された投影光は、ミラー2Cにより反射されてスクリーン1に投影される。スクリーン1は、プロジェクタ2A,2Bのそれぞれから投影された投影光の偏光状態を崩さないためのシルバー塗装が施されることが望ましい。また、映像表示システムは、観察者Pに装着される偏光メガネ6を備える。この偏光メガネ6は、プロジェクタ2A,2Bの偏光方向に合わせて作成されている。
なお、両眼視差を利用して立体映像を体験する場合、2台のプロジェクタ2A,2Bの投影中心や投影方向は観察者Pの位置からスクリーン1の中心を結ぶ線に対して、左右対称に設置することが望ましい。また、スクリーン1上に表示する基準位置についても、同様に左右対称とすることが望ましい。
この映像表示システムは、観察者Pに凹面を向けたドーム形状のスクリーン1の縁部分に4箇所を基準位置として場所を決め、基準位置を示す目印11a,11b,11c,11dを付ける。そして、目印11a,11b,11c,11dをプロジェクタ2A,2Bの投影位置2aから見た場合に成す形状(目印11a,11b,11c,11dを頂点とする四角形の相似形)の図形をプロジェクタ2A,2Bの投影可能範囲2b上に描画した映像を生成する。この映像は、図8に示すように、プロジェクタ2A用の基準位置図形102a’を含む変形前映像102aと、プロジェクタ2B用の基準位置図形102b’を含む変形前映像102bである。これらの映像は、プロジェクタ2A,2Bからミラー2Cを介してスクリーン1に投影される。
映像変形部32は、ユーザがスクリーン1に投影された映像上の投影点12a,12b,12c,12dを観察者Pの視点位置付近から目視しながら、操作部4を操作することを認識する。そして、操作部4の操作により投影点12a,12b,12c,12dを、対応する目印11a,11b,11c,11dに重なるように、スクリーン1の映像投影面上の図形の頂点を移動して、基準位置図形映像を変形する。プロジェクタ2Aとプロジェクタ2Bの各々について、この手順を行うことにより、図8に示すように、プロジェクタ2Aの基準位置図形102a’を基準位置図形103a’に変形した変形後映像103aを作成し、プロジェクタ2Bの基準位置図形103b’含む変形前映像103bを作成することができる。
そして、補正パラメータ生成部33は、プロジェクタ2Aとプロジェクタ2Bの各々について、映像変形部32により基準位置図形映像を変形させた結果として取得された移動前座標位置及び移動後座標位置を取得する。そして、補正パラメータ生成部33は、移動前座標位置及び移動後座標位置に基づいて、映像入力部35により入力された映像データを補正する映像補正パラメータを生成する。
以上のように、第2実施形態として示した映像表示システムによれば、スクリーン1に立体映像を表示する場合であっても、プロジェクタ2A,2Bからそれぞれ基準位置図形映像をスクリーン1に投影する。そして、映像変形部32により、一度だけ、それぞれの基準位置図形映像を目印11a,11b,11c,11dに合わせるよう操作をさせることにより、映像補正パラメータを作成できる。
なお、本実施形態のように、コンパクトな一体構造にするためにミラー2Cで反射して投影する場合など、マウス操作の方向と図形の頂点の移動方向が異なる場合には、操作し易いように図形の頂点の移動方向を変更するとよい。
なお、図9に示すように、1台のワイド画面投影用のプロジェクタ2を用い、レンズ2cから出射した投影光をプリズム7を用いて右眼用及び左眼用に分割し、スクリーン1上に重ねて投影することで立体映像を表示することもできる。この場合にも、光学的には2台の仮想プロジェクタを用いているのと同じと考えられるので、同様の方法で映像補正パラメータを生成し、歪みの無い立体映像を表示することができる。また、図10に示すように、1台のワイド画面投影用のプロジェクタ2を用い、投影光をミラー8を介して右眼用及び左眼用に分割し、スクリーン1上に重ねて投影することができる。
[第3実施形態]
つぎに、第3実施形態に係る映像表示システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
第3実施形態として示す映像表示システムは、図11に示すように、2台のプロジェクタ2A,2Bを用い、スクリーン1の背面から投影光を投影する背面投影方式を採用し、且つ、スクリーン1の形状を横長のアーチ型としたものである。
この映像表示システムにおいて、2台のプロジェクタ2A,2Bの投影範囲は、各々スクリーン1の左半分、右半分となっている。そして、スクリーン1の中央部分に対しては、それぞれの映像を滑らかに繋ぐために、映像同士が重なるオーバーラップ部を設けている。
また、映像表示システムにおいて、基準位置は、スクリーン1の縁部分で、各々の投影領域に内接する四角形の頂点として4箇所ずつ、合計8箇所を設定する。プロジェクタ2Aに関する目印11a,11b,11c,11dの組と、プロジェクタ2Bに関する目印11e,11f,11g,11hの組で基準位置を設定する。そして、目印11a,11b,11c,11dと、目印11e,11f,11g,11hとを付けて、プロジェクタ2A,2Bの投影中心の投影位置2aから見た場合に成す形状の図形をプロジェクタ2A,2Bの投影可能範囲2b上に描画した映像を生成する。このとき、プロジェクタ2A用の基準位置図形映像は、目印11a,11b,11c,11dに対応した頂点の投影点12a,12b,12c,12dを含む。また、プロジェクタ2B用の基準位置図形映像は、目印11e,11f,11g,11hに対応した頂点の投影点12e,12f,12g,12hを含む。
この映像は、図12(a)に示すように、プロジェクタ2A用の基準位置図形102a’を含む変形前映像102aと、図12(b)に示すように、プロジェクタ2B用の基準位置図形102b’を含む変形前映像102bである。ここで、プロジェクタ2A,2Bの投影中心の投影位置2aから見た場合に成す形状の図形は、投影領域の端の4つの目印を使って四角形を作ることもできるが、オーバーラップがあるので、ここでは目印を頂点とする6角形としている。すなわち、プロジェクタ2Aについては、目印11a,11b,11c,11dと目印11e,11fとを頂点とした6角形を基準位置図形102a’としている。また、プロジェクタ2Bについては、目印11e,11f,11g,11hと目印11c,11dとを頂点とした6角形を基準位置図形102b’としている。
そして、映像表示システムは、映像生成部31がプロジェクタ2A,2Bごとに基準位置図形映像データを生成して、プロジェクタ2A,2Bから投影させる。そして、ユーザは、基準位置図形映像ごとに、当該基準位置図形映像が目印に重なるように操作部4を操作し、映像変形部32は、当該操作を認識する。映像変形部32は、スクリーン1の映像投影面上の図形の頂点を移動して、それぞれの基準位置図形映像を変形する。これにより、図12(a),(b)に示すように、プロジェクタ2Aの基準位置図形102a’を基準位置図形103a’に変形した変形後映像103aを作成すると共に、プロジェクタ2Bの基準位置図形102b’を基準位置図形103b’含む変形前映像103bを作成することができる。
補正パラメータ生成部33は、映像変形部32によりプロジェクタ2A,2Bに対応してそれぞれ基準位置図形映像を変形させた結果として取得された移動前座標位置及び移動後座標位置を取得する。補正パラメータ生成部33は、プロジェクタ2A,2Bごとの移動前座標位置及び移動後座標位置に基づいて、プロジェクタ2A,2Bごとに、映像入力部35により入力された映像データを補正する映像補正パラメータを生成する。
さらに、映像変形部32は、スクリーン1に映像を投影した場合に、プロジェクタ2A,2Bから投影した基準位置図形映像の頂点(目印11a,11b,11c,11d、目印11e,11f,11g,11hに相当する位置)で輝度が均一となるよう輝度調整を行う。すなわち、映像変形部32により基準位置図形映像を変形させた結果として取得された移動後座標位置における映像の輝度を調整する輝度調整手段を備える。
スクリーン1に投影した映像を観察位置から見た場合に、スクリーン面の傾斜や距離によって映像の輝度が変わる。このため、観察位置から見て均一な明るさの映像が得られるように、スクリーン1の映像投影面上の各点でプロジェクタ2A,2B及び観察位置との位置関係と偏角反射率(角度依存性を加味したスクリーンゲイン)をもとに輝度値を補正する輝度補正パラメータを生成することができる。
さらに、本実施形態に係る映像表示システムは、映像変形部32で調節した輝度値と各頂点位置での計算値との比を用いて、輝度補正パラメータを補正することにより、精度の良い輝度補正を行うことができる。特に、プロジェクタ2A,2Bから投影される各映像のオーバーラップ部分については、各々のプロジェクタ2A,2Bの輝度が滑らかに合成されるように輝度値を傾斜配分するが、映像変形部32で調節した輝度値と各頂点位置での計算値との比を用いて輝度値を補正することにより、映像の繋ぎ目を無くすことができる。
以上のように、第3実施形態として示す映像表示システムによれば、映像補正パラメータ及び輝度補正パラメータに基づいてプロジェクタ2A,2Bからそれぞれ映像を投影するための映像データを各々補正できる。これにより、映像表示システムによれば、基準位置図形映像を変形させた結果として取得された移動後座標位置における映像の輝度を調整するので、実際の設置位置に対応した精度のよい輝度補正ができ、歪みや繋ぎ目の無い大画面映像を表示することができる。
なお、映像表示システムは、光学的マーカを使用する場合は、マーカによる輝度を基準として基準位置の輝度調整を行うこともできる。
また、スクリーンが平面や多面体形状の場合には、実施例1の項に記載した歪み補正と同様の考え方で、輝度補正も簡略化できる。
[第4実施形態]
つぎに、第4実施形態に係る映像表示システムについて説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
第4実施形態として示す映像表示システムは、図13に示すように、撮影手段であるビデオカメラ9と、制御装置3内の座標位置生成部36とを備える。
ビデオカメラ9は、スクリーン1上の基準位置及びプロジェクタ2A,2Bにより投影された映像を撮影する。座標位置生成部36は、ビデオカメラ9により撮影した撮影画像に基づいてスクリーン1上の基準位置情報及びスクリーン1に投影されている映像の座標位置情報を生成する。この映像の座標位置情報は、映像変形部32に供給される。映像変形部32は、座標位置生成部36により生成されたスクリーン1上の基準位置情報及び映像の座標位置情報を用いて、映像の座標位置を移動させる。これにより、映像変形部32は、映像生成部31により生成された基準位置図形映像を変形させる。
このような映像表示システムは、第3実施形態と同様に、映像生成部31がプロジェクタ2A,2Bごとに基準位置図形映像データを生成して、プロジェクタ2A,2Bから投影させる。本実施例では、座標位置生成部36により生成されたスクリーン1上の基準位置情報及び映像の座標位置情報を映像変形部32に供給し、基準位置図形映像ごとに、当該基準位置図形映像が目印に重なるように、映像変形部32は、スクリーン1の映像投影面上の図形の頂点を移動して、それぞれの基準位置図形映像を変形する。これにより、図14(a)に示すように、プロジェクタ2Aの基準位置図形102a’を基準位置図形103a’に変形した変形後映像103aを作成する。同様に、図14(b)に示すように、プロジェクタ2Bの基準位置図形102b’を基準位置図形103b’含む変形前映像103bを作成することができる。
このような映像表示システムにおいて、ビデオカメラ9が撮影した撮影映像104は、図15に示すように、目印(黒丸)及び基準位置図形映像(白丸)を含む。具体的には、撮影映像104には、目印11a,11b,11c,11d及び目印11e,11f,11g,11hにより規定される基準位置領域104bが含まれる。また、撮影映像104には、投影点12a,12b,12c,12dを含むプロジェクタ2A用の基準位置図形映像、投影点12e,12f,12g,12hを含むプロジェクタ2B用の基準位置図形映像104aを含む。
座標位置生成部36は、ビデオカメラ9の撮影映像104に含まれる目印11a,11b,11c,11d及び目印11e,11f,11g,11hの座標位置を生成する。また、座標位置生成部36は、ビデオカメラ9の撮影映像104に含まれる投影点12a,12b,12c,12d、投影点12e,12f,12g,12hの座標位置を生成する。そして、座標位置生成部36は、生成した座標位置を映像変形部32に供給する。映像変形部32は、供給された目印の座標位置情報(スクリーン1の基準位置情報)及びスクリーン1に投影されている基準位置図形映像の座標位置情報を用いて、基準位置図形映像の座標位置を移動させる。これにより、映像変形部32は、図15の下段に示すように、基準位置に重ねられた基準位置図形映像105を得ることができる。
これにより、もし、座標位置生成部36が生成した基準位置図形映像の座標位置が誤っている場合には、ユーザが目印及び基準位置図形映像を観察者Pの位置付近から目視しながら、操作部4を操作させることにより、映像表示システムに、基準位置図形映像の頂点がどの目印に対応するかを指定することができる。
また、映像表示システムは、基準位置図形映像と目印とが重なっていない場合には、座標位置生成部36が映像変形部32に対して基準位置図形映像の頂点位置を変化させる。これにより、基準位置図形映像の各頂点位置を対応する各基準位置(目印)に重なるように、基準位置図形映像における図形の頂点を移動する。これにより、座標位置生成部36は、基準位置図形の正しい座標位置を生成することができる。
補正パラメータ生成部33は、座標位置生成部36が取得した基準位置図形映像の座標位置情報を用いて、上述した実施形態と同様に、映像補正パラメータを作成することができる。
このように、第4実施形態として示す映像表示システムによれば、スクリーン1上の基準位置及び基準位置図形映像を撮影し、当該撮影画像に基づいてスクリーン1上の基準位置情報及びスクリーン1に投影されている基準位置図形映像の座標位置情報を生成する。そして、映像表示システムは、スクリーン1上の基準位置情報及び基準位置図形映像の座標位置情報を用いて、当該映像の座標位置を移動させることにより基準位置図形映像を変形させる。これにより、映像表示システムによれば、基準位置図形映像を変形する簡単な動作のみで、座標位置生成部36が基準位置図形映像の座標位置情報を取得して、補正パラメータ生成部33が映像補正パラメータを生成できる。
更に、この映像表示システムにおいて、スクリーン1に投影した映像を観察位置から見た場合に、スクリーン面の傾斜や距離によって映像の輝度が変わることに対応して、観察位置から見て均一な明るさの映像が得られるように、スクリーン1の映像投影面上の各点でプロジェクタ2A,2B及び観察位置との位置関係と偏角反射率(角度依存性を加味したスクリーンゲイン)をもとに輝度値を補正する輝度補正パラメータを生成することができる。
さらに、本実施形態に係る映像表示システムは、映像変形部32で調節した輝度値と各頂点位置での計算値との比を用いて、輝度補正パラメータを補正することにより、精度の良い輝度補正を行うことができる。特に、プロジェクタ2A,2Bから投影される各映像のオーバーラップ部分については、各々のプロジェクタ2A,2Bの輝度が滑らかに合成されるように輝度値を傾斜配分するが、映像変形部32で調節した輝度値と各頂点位置での計算値との比を用いて輝度値を補正することにより、映像の繋ぎ目を無くすことができる。撮影映像104が頂点位置だけでなく映像投影範囲そのものを含む場合には、輝度の均一な全白映像等の映像データを投影することにより、撮影映像104における各点の輝度値から各点の輝度を均一化するように計算することで、直接的に輝度補正パラメータを求めることができる。特に、プロジェクタ2A,2Bから投影される各映像のオーバーラップ部分については、各々のプロジェクタ2A,2Bの輝度が滑らかに合成されるように輝度値を傾斜配分した映像データを投影し、それを撮影した撮影映像104の輝度値をもとに細かく調整をすることにより、精度良く映像の繋ぎ目を無くすことができる輝度補正パラメータを得ることができる。
輝度補正の方法として、具体的には、プロジェクタ2A用の輝度補正パラメータと、プロジェクタ2B用の輝度補正パラメータを投影映像データの座標に対応する輝度補正値マップとして記憶しておく。この輝度補正値マップは、映像同士がオーバーラップしている箇所において、輝度が滑らかに合成されるように輝度値を傾斜配分して設定しておく。
また、第4実施形態に係る映像表示システムにおける制御装置3は、例えば、図16に示すように構成される。
制御装置3は、第1実施形態と同様に、映像入力部35、映像補正部34、補正パラメータ生成部33、プロジェクタ2A,2Bに相当する映像投影部2、映像変形部32、映像生成部31及びスクリーン1を備える。第4実施形態として示す制御装置3は、更に、ビデオカメラ9に相当する撮影部9、座標位置生成部36を備える。また、制御装置3は、目印をスクリーン1に表示するために、スクリーン1に接続された基準位置表示部37を備える。
このような映像表示システムは、基準位置表示部37により表示されたスクリーン1上の基準位置及び映像投影部2により投影された映像を撮影部9が撮影する。そして、座標位置生成部36は、撮影部9により撮影した撮影画像に基づいてスクリーン1上の基準位置情報及びスクリーン1に投影されている映像の座標位置情報を生成して、映像変形部32に供給する。すると、映像変形部32は、基準位置表示部37により生成されたスクリーン1上の基準位置情報及び映像の座標位置情報を用いて、当該映像の座標位置を移動させることにより映像生成部31により生成された基準位置図形映像を変形させる。この変形された基準位置図形映像は、スクリーン1に対して指定した視線方向から見た場合におけるスクリーン1上の基準位置により形成される図形となっている。
また、この映像表示システムによる具体的な処理手順は、図17に示すようになる。
映像表示システムは、スクリーン1に対して投影する映像を調整する処理を開始すると、先ず、スクリーン1における基準位置を設定する(ステップS1)。このとき、基準位置表示部37は、上述したようにスクリーン1における縁部に目印11a,11b,11c,11dをつけるといった作業によって実現される。これにより、ステップS2において、基準位置表示部37が、ステップS1にて設定された基準位置を表示する。
ステップS3以降では、座標位置生成部36が新たに座標位置を生成して(手動の場合は、ユーザが操作部4を操作して手動で)基準位置図形映像の座標位置情報と目印の座標位置情報とを一致させる。このとき、映像表示システムは、ステップS1において、基準位置図形映像の座標位置の初期値を取得(ステップS12)して映像生成部31が基準位置図形映像を生成する(ステップS13)。このとき、映像生成部31は、予め設定されたスクリーン1の形状等のデータを用いる。また、座標位置生成部36が基準位置図形映像の座標位置情報と目印の座標位置情報とを生成し(ステップS3)、(手動の場合は、ユーザによる操作部4の操作に応じて基準位置図形映像の座標位置情報が調整される(ステップS4)。操作部4の操作に応じ、)映像変形部32が基準位置図形映像を変形させ(ステップS5)、映像の調整処理中である場合には(ステップS14)、変形した基準位置図形映像を投影し(ステップS6)、基準位置図形映像を表示する(ステップS7)。
次に映像表示システムは、撮影部9がスクリーン1を撮影し(ステップS8)、撮影部9の撮影映像に基づいて座標位置生成部36が基準位置図形映像の座標位置情報及び目印の座標位置情報を生成する。映像変形部32が、基準位置図形映像を変形させ、座標位置生成部36が、基準位置図形映像と目印との対応付けができたか否かを判定する(ステップS9)。基準位置図形映像と目印との対応づけができていない場合には、ユーザが操作部4を操作して対応づけ(ステップS10)を行う。一方、基準位置図形映像と目印との対応づけができた場合には、ステップS11に処理を進める。
ステップS11において、映像変形部32が、座標位置生成部36から供給された基準位置図形映像の座標位置情報と目印の座標位置情報に基づいた対応付けに従い、基準位置図形映像を変形させ、双方の頂点が一致した場合には、調整を終了する。
一方、ステップS11にて、基準位置図形映像の座標位置情報と目印の座標位置情報とが一致した場合には、ステップS16に処理を進める。このとき、座標位置生成部36が座標位置情報を映像変形部32に出力した、当該基準位置図形映像の座標位置情報(S15)が補正パラメータ生成部33に供給される。補正パラメータ生成部33は、供給された基準位置図形映像の座標位置情報と目印の座標位置情報からスクリーン1とプロジェクタ2との位置関係を算出し(ステップS16)、映像補正パラメータを生成する(ステップS20)。このとき、補正パラメータ生成部33は、予め設定されたスクリーン1の形状等のデータ(S22)を用いる。これにより、補正パラメータ生成部33は、映像補正パラメータ(S21)を映像補正部34に使用させることができる。
そして、映像表示システムは、映像コンテンツをスクリーン1に表示させる場合、映像入力部35が映像データを入力し(ステップS17)、映像補正部34が映像補正パラメータを用いて映像データを補正して映像投影部2に供給する(ステップS18)。これにより、映像投影部2は、映像光を投影して、スクリーン1に映像を表示させることができる(ステップS19)。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
映像表示システムに用いるプロジェクタは少なくとも正対する平面スクリーンに対しては歪みが無く、明るさも均一な映像を提示できるものと仮定しているが、もし、プロジェクタ自身に既知の光学歪みや輝度ムラなどがある場合には、上記の補正に加えて光学歪みや輝度ムラに対応した補正を行うことで、問題なく使用できる。