JP2006074805A - マルチプロジェクション映像表示装置 - Google Patents

Abstract

【課題】複数の映像投写器を用いて、スクリーン上に一つの画面を構成するマルチプロジェクション映像表示装置において、各プロジェクタの投写する画像間の継目が目立たないように滑らかに接続することである。
【解決手段】プロジェクタ 0121、0122、0123、0124とスクリーン 0140を配置し、各プロジェクタの最大画像投写範囲 0151、0152、0153、0154 が隣接する範囲と重複を持つようにする。外部映像入力 0180より供給される映像信号を加工する 映像信号制御装置 0110は、各プロジェクタが担当する部分画像領域を切り出す手段と、その部分画像の幾何変形と局所的色補正を行う画像変換手段と、スクリーン状態監視カメラ 0130から入力した画像情報に基づいて画像変換手段を制御する演算制御手段を内蔵する。この構成により、画像信号処理のみで、画像間の継目の平滑化が可能となり、プロジェクタの光学系の精密調整が不要になるという効果がある。
【選択図】図１

Description

本発明は、複数の画像を組み合わせて表示を行う映像表示装置に関する。その中でも特に、複数の投射型表示装置により投写された複数の画像を組み合せて一つの画面を構成するマルチプロジェクション映像表示装置に係り、複数の画像の滑らかな接続を実現する装置及び方法に関する。

複数の画像を組み合わせる場合、例えば複数のプロジェクタからなるマルチプロジェクタ装置では、隣接するプロジェクタから投写された画像の継目が判らないように、その継目で画像を滑らかに接続して、全体として一つ（または複数）の画面を構成出来ることが理想である。

そのために、従来は特許文献１に記載のような手法が取られていた。例えば、各プロジェクタのスクリーン上での画像投写範囲が隣接するプロジェクタの画像投写範囲に侵入しないように、隣接する画像投写範囲の境界位置に、スクリーンに垂直に隣接プロジェクタの光が侵入してくるのを防止する遮光板を設けている。また、隣接する投写範囲毎に異なる向きの偏光特性を持つ透過型スクリーンを用いて、隣接するプロジェクタの投写光が物理的に観賞者に届かないように工夫されている。

しかし、上記光学的手段による隣接する画像の継ぎ合せでは、各プロジェクタの画像投写範囲を事前に物理的に規定しなければならない。このため、規定投写範囲の形状に、投写画像が正確に重なるように、プロジェクタを調整する必要が生じる。この調整は、プロジェクタの姿勢とプロジェクタ内部の光学系の調整と、さらには、ブラウン管式プロジェクション型の場合のみ偏向電圧波形の調整による投写画像の形状変形などにより行なわれてきた。

但し、液晶プロジェクタの場合には投写画像形状の変形は、ブラウン管式プロジェクタほど容易ではない。光学的な調整のみで、画像の投写位置移動と変形自由度の少ない画像形状変形を行うことになる。

しかし、このような調整は繁雑であるばかりでなく、調整後のプロジェクタ設置環境の温度や磁場の変化で、容易に、最適な調整点が変化してしまい、プロジェクタの再調整を頻繁に行なう必要が生じる。つまり、従来の手法では、複数の画像を自然な形で１つ（または複数の）画面（画像）に見せることは極めて困難であった。

また、スクリーンに遮光板を設けるなどの加工をすると、スクリーン自体の均一性が損なわれ、その影響が投写された画像にも反映し、滑らかに接続された合成画像が得られない。

特開平８−９４９７４号公報

本発明は、かかる事情に鑑みてなされたものである。本発明では、隣接するプロジェクタからの投写光の侵入防止のためのスクリーンの特別な構造や、プロジェクタの光学的な精密調整を不要とし、その上で画像の継目が判らないように、画像を滑らかに接続する。本発明によれば、プロジェクタの画像投写を、映像信号処理で実現することも可能になる。

上記目的を達成するために、本発明は以下の構成とした。

本発明では、投影面上（例えば、スクリーン）で複数の画像で重複する部分の画像（信号）を調整する。例えば、スクリーンの背面あるいは正面からスクリーン上に画像を投写する複数のプロジェクタに対して、プロジェクタへ供給された映像信号を、各プロジェクタが担当する部分画像領域毎に切り出した映像信号を作成し、その映像信号を加工して投写する画像の形状変形と局所的色補正を行う。これらの処理は、ハードウェアにより行ってもよいし、ソフトウェアにより行ってもよい。

更に、本発明は、複数の映像出力器を有するマルチプロジェクション映像表示装置での映像表示方法において、前記映像出力器が映像を表示する表示画面上で、前記映像出力器から投写させる映像の表示領域が他の映像出力器から出力される映像の表示領域と重ねて表示し、重ねられて表示される領域に、前記映像出力器および前記他の映像出力器それぞれから、互いに関連する映像を出力することを特徴とする。

この時、形状変形と色補正を行う際に設定する制御パラメタ値を生成してもよい。制御パラメタ値を生成する時には、各プロジェクタに任意画像パターンの映像信号を供給し、スクリーン上に投写されている画像の状態を読み取り、読み取った画像から制御パラメタ値を計算して実施してもよい。

他の画像と隣接する画像投写範囲を受け持つプロジェクタは、そのスクリーン上での最大画像投写範囲が、その境界部で隣接する最大画像投写範囲と数パーセント程度重なる領域を持つように、配置と姿勢と光学系を設定するとよりよい。隣接する最大画像投写範囲が重複する部分は、隣接する最大画像投写範囲を受け持つプロジェクタそれぞれの投写映像が、光学的に加算合成されている部分である。その光学的な映像加算の状態を、スクリーン上に投写されている画像の状態を読み取り、読み取った画像から制御パラメタ値を計算し、光学的映像加算のモデル化と、供給映像信号の幾何変形と局所色補正の制御変数について、光学的な映像加算の結果として隣接する画像が滑らかに接続される解を、前述のモデルから求め、求めた幾何変形と局所色補正に基づいて投写する画像の形状変形と局所的色補正を実行し、加工した映像信号を各プロジェクタへ供給する。

本発明の構成は、またスクリーン上に１以上の画面を構成するマルチプロジェクション映像表示装置において、前記スクリーン上に映像を投写する映像投写器と、前記映像投写器から投写される映像を表示する表示範囲が、他の映像投写器の表示範囲と重複領域を有する場合、前記映像投写器および前記他の映像投写器それぞれから、前記スクリーン上の前記重複領域内には互いに関連する映像を出力させる制御装置を有することを特徴とするマルチプロジェクション映像表示装置である。

また、コンピュータ読み取り可能な記憶媒体であって、映像出力器が映像を表示する表示画面上で、前記映像出力器から投写させる映像の表示領域が他の映像出力器から出力される映像の表示領域と重ねて表示させ、重ねられて表示される領域に、前記映像出力器および前記他の映像出力器それぞれから、互いに関連する映像を出力させるプログラムが格納されたことを特徴とするコンピュータ読み取り可能な記憶媒体でもある。また、本発明の構成は、複数の映像出力器から出力される映像が重ねられて表示される領域に、映像出力器および他の映像出力器それぞれから、互いに関連する映像を出力可能なように、各映像出力器に対応させて映像データを分割して格納している記憶媒体と、前記記憶媒体読み出した映像データに基づく映像信号を各映像出力器に供給する供給器を有することを特徴とする映像信号再生装置でもある。

本発明は、画像の重複部分を調整するのみで実現できるので、スクリーンやプロジェクタ等の構成部品の個々の状態調整が不要になる。特に、スクリーンやプロジェクタ等のさまざまな構成部品の状態に依存した結果の光学的映像加算のモデルを作り、それを解く形態とすれば、結果的に解の存在する光学的映像加算のモデルが得られる範囲で、スクリーンやプロジェクタ等の構成部品の個々の状態調整が不要になる。

図１に、本発明によるプロジェクタアレーのシステム構成を示す。4台のプロジェクタ0121、0122、0123、0124を、背面投射用のスクリーン 0140 上の最大画像投写範囲 0151、0152、0153、0154が互いに少しずつ重なるように配置する。4台のプロジェクタ 0121、0122、0123、0124には、映像信号制御装置 0110 より、それぞれ画像信号を供給する。映像信号制御装置 0110 は、外部映像入力 0180より供給された映像信号を加工し、4台のプロジェクタ 0121、0122、0123、0124に供給する機能と、映像の加工の仕方を決定する画像補正機能を持つ。映像信号制御装置 0110 の画像補正の仕方は、スクリーン 0140に投写された画像の状態を読み取るスクリーン状態監視カメラ 0130からの映像信号を元に決定する。

映像信号制御装置 0110の機能構成ブロックダイアグラムを、図２ に示す。映像信号制御装置は、入出力端子として、単一映像入力 0210と、分割映像入力 0221、0222、0223、0224 と、スクリーン状態監視カメラ映像入力 0230 と、分割映像出力 0241、0242、0243、0244 とを持つ。

単一映像入力 0210より供給される映像信号は、画像分割装置 0250により、分割映像出力 0241、0242、0243、0244に接続されるプロジェクタの配置に対応した画像に分割された映像信号を生成し、そのそれぞれの映像信号は、映像信号切替器 0260に供給される。

映像信号切替器 0260は、画像分割装置 0250からの入力か、テストパターン画像生成器 0270 からの入力か、分割映像入力 0221、0222、0223、0224かのいずれか一つの組を選択し、選択した組の映像信号のそれぞれを、画像補正器 0281、0282、0283、0284に供給する。

画像補正パラメタ生成器 0290は、テストパターン画像生成器 0270 を制御して、幾何パターンの画像信号を、映像信号切替器 0260により選択し画像補正器 0281、0282、0283、0284を経由して分割映像出力 0241、0242、0243、0244に接続されたプロジェクタ 0121、0122、0123、0124へ供給し、その幾何パターンがスクリーンに映った様子を撮影しているスクリーン状態監視カメラ 0130からの映像信号を、スクリーン状態監視カメラ映像入力 0230より読み込む。画像補正パラメタ生成器 0290は、スクリーン状態監視カメラ映像入力 0230の映像を基に、各プロジェクタ 0121、0122、0123、0124の表示する映像がスクリーン上で連続に接続され、輝度分布も滑らかになるような画像補正パラメタを計算する。計算したパラメタ値を、画像補正制御線 0295を通して画像補正器 0281、0282、0283、0284へセットする。

図１の最大画像投写範囲 0151、0152、0153、0154と、映像信号制御装置 0110で加工され投写された画像との関係を、図３に示す。最大画像投写範囲 0301、0302、0303、0304は、プロジェクタ 0121、0122、0123、0124がスクリーン 0140上にそれぞれ画像を表できる最大の範囲である。プロジェクタ 0121、0122、0123、0124は、最大画像投写範囲 0301、0302、0303、0304がそれぞれ隣接する投写範囲と互いに重複領域を持つように配置する。

最適化画像投写範囲 0311、0312、0313、0314は、それぞれ最大画像投写範囲 0301、0302、0303、0304の内側に位置し、隣接するプロジェクタに投写された画像同士が互いに連続に接続した状態で表示されるための画像表示領域である。

図４に、図１の最大画像投写範囲の一つを拡大して示す。最大画像投写範囲境界 0401は、プロジェクタが画像を表示可能な範囲の境界を示す。最適化画像投写範囲境界 0402は、隣接するプロジェクタに投写された画像同士が互いに連続に接続した状態で表示されるように、プロジェクタへの供給された映像を縮小表示する範囲を示す。最大画像投写範囲境界 0401 と最適化画像投写範囲境界 0402 に囲まれた部分 0403には、最も暗い輝度を持つ画素値を持つように、映像信号制御装置 0110は入力映像信号を加工する。なぜなら、その部分は隣のプロジェクタが画像を投写する範囲を含むので、投写映像が多重に表示されないようにするためである。

図５に、画像補正器の機能ブロック図を示す。映像信号入力端子 0501よりアナログ映像信号を入力し、その映像信号をビデオ信号デジタイザ 0510が、画像補正器内部でのデジタル表現に変換する。デジタル表現された映像データの各画像フレームデータは、画像データ転送線 0561を通してフレームバッファブロック 0520に格納する。

制御パラメタ入力端子 0502から画像の幾何補正パラメタと色補正パラメタのデータを入力し、制御パラメタ転送線 0567を通してそれぞれ、幾何形状補正ブロック 0530 と色変換ブロック 0540に各パラメタ値を設定する。幾何形状補正ブロック 0530 は、設定されたパラメタ値に従って出力画像形状を変形するように、映像信号出力端子 0503から出力される画素のアドレスを画像データ書込みアドレス転送線 0563より読み込み、そのアドレスに出力する入力画像の画素のアドレスを計算し、画像データ読み出しアドレス転送線 0565に出力し、フレームバッファブロック 0520に格納された入力画像データの画素を読み出す。

読み出された画素は、色変換ブロック 0540により、設定されたパラメタ値に従った画素の色変換を施され、ビデオ信号生成器 0550に転送され、ビデオ信号生成器 0550より、ビデオ信号として出力される。図５ の各機能ブロックの動作アルゴリズムを、図６に示す図５の各機能ブロック内部の実現手段構成図と、PAD 図を用いて説明する。ビデオ信号デジタイザ 0610は、映像信号入力端子 0601より入力された信号から映像色信号と同期信号を分離する手段の信号分離器 0611と、映像色信号電圧値を量子化する手段のA/D 変換器 0612と、分離した同期信号を基に、現在量子化した画素の画像内での位置情報を生成する手段のアドレス生成器 0613を持つ。

フレームバッファブロック 0620は、それぞれ1フレームの画像情報を格納する手段のフレームメモリA 0621とフレームメモリB 0622と、入力された画素値をどちらのフレームメモリに書込むかを選択し、書込む方のフレームメモリに、書込むアドレスと書き込みタイミングを供給する手段の書き込みアドレス選択器 0625と、現在書込みをしていない方のフレームメモリを読み出し用として選択して、選択したフレームメモリに、読み出す画素のアドレスを供給する手段の読み出しアドレス選択器 0626と、読み出し用フレームメモリから出力された画素値を選択し出力する手段の読み出しデータ選択器 0627を持つ。幾何形状補正ブロック 0630は、画像補正器が出力タイミングにある画素の画像内位置に、読み出し用として選択したフレームバッファのどのアドレスに格納した画素値を出力するかを計算する手段の アドレス生成器 0631と、計算に必要なパラメタを出力画素位置毎に全て記憶する手段のアドレス変位メモリ0632を持つ。色変換ブロック 0640は、フレームバッファブロック 0620から読み出した画素値を基に、画像補正器が出力する画素値を計算する手段の画素値変換器 0641と、出力画素位置毎に画素値の変換の仕方を記憶する手段の画素値変換パラメタメモリ0642を持つ。

ビデオ信号生成器 0650は、出力する画素値を映像色信号に変換する手段の D/A変換器0651と、画素出力位置情報から同期信号を生成し、映像色信号と合成してビデオ信号に変換するビデオ信号合成器 0652を持つ。ビデオ信号デジタイザ 0610の動作手順を図７ に示す。手順 0700 で映像信号から画像信号と同期信号を分離する。手順 0701 で画像信号の色信号を量子化する。手順 0702 で同期信号を基準に画素アドレス(画素の行と列)を生成する。

この手順で量子化された映像数値データは、フレームバッファブロック 0620 に一旦格納される。格納された映像数値データに対し、幾何形状補正ブロック 0630は幾何形状補正用の読み出しアドレスを発生し、読み出された画素データは、色変換ブロック 0640により色補正を施す。

フレームバッファブロック 0620の動作手順を図８ に示す。手順 0800 と 0801 で、2画面分用意したフレームバッファメモリの一方を書き込み用、他方を読み込み用と設定する。手順 0802 で、画面の左上隅の書き込み開始位置の書き込みデータが、フレームバッファブロック 0620へ供給されるのを待つ。手順 0805 で、書き込み用フレームバファに画素値を書き込む。手順 0806 で、幾何形状補正ブロック 0630から供給されるアドレスに従って、読み出し用フレームバファから画素値を読み出し、読み出しデータ選択器 0627を経由して色変換ブロック 0640へ画素値を転送する。手順 0805と 0806を、画像1フレーム分全ての画素について行うまで繰り返した後、手順 0807 で、書き込み用フレームバッファメモリと読み出し用フレームバッファメモリの役割を入れ替え、手順 0805 以降を繰り返す。

幾何形状補正ブロック 0630の動作手順を、図９ に示す。手順 0901 で、図１０に示す幾何変形ベクトルテーブルを、アドレス変位メモリ 0632に読み込む。

幾何変形ベクトルテーブルは、1フレーム分の画像の各画素と一対一に対応した2次元ベクトル値の要素から構成される2次元配列形式のデータである。手順 0903 で、ビデオ信号デジタイザ 0610より順次供給されるアドレス(r,c) 毎に、アドレス変位メモリ 0632に格納した幾何変形ベクトルテーブルのr 行 c 列の要素 (x[r,c],y[r,c])を読み出す。手順 0904 で、(r,c) + (x[r,c], y[r,c]) を計算し、フレームバッファブロック 0620の読み出しアドレスとして出力する。手順 0903と手順 0904 を、アドレス変位メモリ 0632の再初期化要求が、制御パラメタ入力端子 0602よりない限り繰り返す。再初期化要求があると、手順 0901 へ戻る。

色変換ブロック 0640の動作手順を、図１１ に示す。手順 1101で、図１２に示す色変換パラメタテーブルを、画素値変換パラメタメモリ 0642に読み込み初期化する。色変換パラメタテーブルは、1フレーム分の画像の各画素の3色(赤、青、緑)の色成分それぞれに対する変換関数を、N区分線型関数で近似したときのパラメタを要素とする、3プレーン分の2次元配列形式のデータである。手順 1103 で、ビデオ信号デジタイザ 0610より順次供給されるアドレス(r,c) 毎に、画素値変換パラメタメモリ 0642に格納した色変換パラメタテーブルのr 行 c 列の赤・青・緑の各色に対応した要素を読み出す。フレームバッファブロック 0620から出力された画素の各色成分の強度を z とすると、手順 1104で、数1に示す変換式で変換した強度を、変換された画素の各色成分の強度とし、ビデオ信号生成器 0650へ出力する。

手順 1103と手順 1104 を、画素値変換パラメタメモリ 0642の再初期化要求が、制御パラメタ入力端子 0602よりない限り繰り返す。再初期化要求があると、手順 1101 へ戻る。

色変換ブロック 0640から出力された画素値は、ビデオ信号生成器 0650により、アナログビデオ信号に変換され、映像信号出力端子 0603より出力される。幾何形状補正ブロック 0630や 色変換ブロック 0640に設定される図１０と図１２のパラメタ情報は、スクリーン状態監視カメラ 0130により撮影したスクリーン 0140上の映像の状態を基に、画像補正パラメタ生成器 0290により作成される。図１０の幾何変形のパラメタ情報は、次の様に計算する。

図１３に示す補正パターンを、画像補正器 0281、0282、0283、0284を経由して各プロジェクタから スクリーンに投写し、その投写画像をスクリーン状態監視カメラ 0130により撮影し、頂点 1301などを画像パターン中の特徴点として抽出する。このような特徴点の、カメラ座標系での位置座標値 q と、その点に対応する画素のフレームメモリ内の座標値 p との対応付けが出来ているとする。このとき、このようなパターンが表示されていない部分でのカメラ座標系の任意の位置 q に対応するフレームメモリの座標値系での位置座標 p を求める方法は、以下のようにする。qの近傍の3点 q_1 、 q_2 、 q_3 で、フレームメモリの座標値系での座標値 p_1 、 p_2 、 p_3 との対応がついている点を計測する。そして、 q が q_1 、 q_2 、 q_3 と適当な実数値 a と b により 数2 の関係にあるとき、p を 数3 として表わす。

図１４に示すように4台のプロジェクタの最大画像投写範囲 1401、1402、1403、1404 が互いに重複部分を持って配置されている場合、プロジェクタ Aの最大画像投写範囲 1401 内に存在する隣接プロジェクタB の最大画像投写範囲 1402 の頂点 1421の座標を、上記の座標変換方法により、プロジェクタA に接続されている画像補正器のフレームメモリ座標系での座標値として読み取る。すなわち、スクリーン上の任意の点のプロジェクタBに接続されている 画像補正器のフレームメモリ座標系での座標値 x_B を、プロジェクタA に接続されている 画像補正器のフレームメモリ座標系での座標値 x_A へ対応付ける同型写像Ψ_{AB} が定義できる。

したがって、以下で扱う投写画像内の任意の位置座標値は、どれか一つのプロジェクタに接続しある 画像補正器のフレームメモリ座標系での座標値と仮定する。左右または上下に接して配置されている2台のプロジェクタ の最大画像投写範囲 を S_A と S_B とする。この隣接する範囲の本来接しいていなくてはならない部分境界線を、それぞれ B_{AB} と B_{BA} とする。

この部分境界線は図１４ においては、例えば、頂点 1411 と頂点 1412 を端点とする最大画像投写範囲 1401の部分境界線 1413 と、頂点 1421 と頂点 1422 を端点とする最大画像投写範囲 1402の部分境界線 1423 とに対応する。部分境界線 B_{AB} と B_{BA} は、それぞれ 数4と 数5に示す点集合とする。

次に、境界線 B_{AB} と B_{BA} のうち、隣接する最大画像投写範囲に含まれているか、あるいは接している境界線部分を有効部分境界線という。ここでそれぞれの境界線部分を、数6と数7に示すように定義する。

但し、数6の α_{AB} と β_{AB} は、表1に示す4通りの場合について、それぞれ、数8に示す定義とする。

α_{BA} と β_{BA} も、同様に定義する。

数8の4つの場合は、図１５に示ように、隣接する2つの最大画像投写範囲の4種類の重なり方に対応する。

但し、範囲 B の部分境界線 B_{BA} に接続する上方の部分境界線を B_{AB-} とし、下方の部分境界線を B_{AB-} とした。

隣接する最大画像投写範囲S_B が空の場合も含めて、部分境界線の端点 b_{AB} (a) (a∈{0,1})の状態には 表2 に示す4通りの場合が存在する。

この時、境界線の端点 b_{AB} (a)の移動先 e_{AB} (a)を数9 で定義する。

但し、数9において、ｂ_{AB} (1-a) が case δの場合、Δ_1 ｂ_{AB}(1-a)=0 とし、その他の場合には、数10と数11とする。

ｂ_{AC} (a) が case δの場合、Δ_2 ｂ_{AB} (a)=0 で、その他の場合には数12とする。

有効部分境界線の端点の移動ベクトルを数13、数14 で定義する。

但し、a=0 または a=1 とする。有効部分境界線全体の移動方向ベクトル を数15、数16、数17で定義する。

続いて、数18 の A(t) と B(1-t) に関するベクトル方程式の解を用いて、部分境界線 B_{AB} と B_{BA} に対応する共有境界線 G_{AB} と G_{BA} は、数19と数20に示す g_{AB} (t)と g_{BA} (t) で定義する。

最大画像投写範囲 S_A の部分境界線で、S_A に接する4つの隣接投写範囲 S_B 、S_C 、 S_D 、 S_E の部分境界線と、本来一致した位置にあるべき部分境界線を、それぞれB_{AB} 、 B_{AC} 、 B_{AD} 、 B_{AE} と記すことにする。

B_{AX} (X∈{B,C,D,E}) に対する共有部分境界線 をG_{AX} と記し、数21 で定義する。

境界線 $G_{AX}$で囲まれる範囲を、最大画像投写範囲 S_A に対する最適化画像投写範囲とよび Q_A と記す。

最大画像投写範囲S_A から最適化画像投写範囲Q_A の上への画像変換 T_A :S_A → Q_Aを以下のように定義する。

まず 、S_A =[0,640]×[0,480] から D_2 =[0,1]×[0,1] への同型写像を π_A とし、数22で定義する。

次に、Q_A から D_2 への同型写像 ξ_A の ∂ Q_A 上での定義を、数23、数24、数25、数26 とする。

このとき、連続な写像 φ: D_2 → E_2 の ∂ D_2 上での定義を、数27で定義する。ここに、 E_2 は2次元ベクトル空間とする。

すると、 D_2 内部での φ(u,v)を、数28 で定義する。

但し、ρ(x)は、x=0 と x=1 で零となる連続函数で、たとえば 数29 で定義する。

このとき、幾何変形の変換 T_A : S_A → Q_A を 数30 で定義する。

更に、図１０ の幾何変形ベクテルテーブルの各要素は、数31 に定義する変形ベクトル関数 U_A によって生成する。

画像補正パラメタ生成器 0290の幾何変形制御情報生成手順を、図１６に示す。

手順 1600 で、画像補正器 0281、0282、0283、0284の幾何変形補正パラメタを零に設定する。各プロジェクタ毎に、以下に説明する手順 1602、1603、1604、1605、1606 を実行する。手順 1602 で、図１３ に示す画像パターンを投写できる最大サイズで投写する。手順 1603 で、スクリーン状態監視カメラ 0130により、手順1602 の投写画像を撮影する。手順 1604 で、撮影した画像データから、図１３ の一松模様の各頂点に対応する位置を、カメラの座標系で読み取る。手順 1605 で、特徴点の位置座標を 画像補正器のフレームメモリの座標系に変換する。手順 1606 で、図１７に示す幾何変形ベクトル生成手順を実行する。

幾何変形ベクトル生成の手順を、図１７に示す。手順 1700 で、数4と数5で定義される最大画像投写範囲の境界線上の点集合を作成する。手順 1701 と手順 1702 で有効部分境界線を計算する。手順 1703 で有効部分境界線の端点移動先を計算する。手順 1704 で有効部分境界線の端点移動ベクトルを計算する。

手順 1705 で有効部分境界線の移動方向ベクトルを計算する。手順 1706 で最適化画像投写範囲の境界線を計算する。手順 1707 で最大画像投写範囲全体に渡る幾何変形制御パラメタを計算する。

プロジェクタの投写画像の色再現性は、一般にプロジェクタの個体差によるバラツキと、投写画像内の位置によるバラツキとがある。この二種類のバラツキを抑制し、隣接するプロジェクタの投写画像が滑らかに接続するように、色再現性を制御するのが、画像補正器の色変換ブロック 0540の機能である。色変換ブロック 0540に設定する、図１２ に示す画素値変換パラメタ情報の生成について以下説明する。

隣接する2台のプロジェクタ $A$と$B$の最大画像投写範囲の重なり部分にある、前述の共有境界線上で、本来双方の画像が一致する位置に対応する表示画像データの色成分値 z に対するスクリーン状態監視カメラ 0130による実測色成分値 を f_X (z)とする。但し、X は A または B とする。

このとき、最適化色成分函数 $g(z)$を数32、数33で定義する。

但し、 y_H 、 y_L 、 h(z) は、それぞれ 数34、数35、数36 で定義する。

このとき、境界上での色接合函数 ζ_X (z)を数37 で定義する。

この色接合関数 ζ_X (z) を 数1 で表わされる N 区分線型函数として近似する。この場合、N 区分線型函数の第 i 区間のパラメタ値は、 数38で与えられる。

上記のようにして、共有境界線上の各点での色接合関数を定義する。D_2 内の各点(u,v)での色変換関数を、ζ_{X[u,v]} (z)とすると、数38で定義する境界線上での値を用いて、D_2 領域全体での値を、数28と同様の方法で、数39 により定義する。

このとき、最大画像投写範囲内の位置 (x,y) での色接合関数η_{X[x,y]} (z) を、数40 で定義する。

このように定義した η_{X[x,y]} (z) の区分線型近似パラメタを、最大画像投写範囲内の位置 (x,y)での画素値変換パラメタとする。

画像補正パラメタ生成器 0290の画素値変換パラメタ生成の手順を、図１８に示す。手順 1800 で、初期値として恒等変換に対応するパラメタを設定する。以下に説明する手順 1802 から 手順 1807 までを、各プロジェクタ毎に実行する。手順 1802で、最適化画像投写範囲の境界線のサンプル点毎の手順 1803、1804、1805、1806 の繰り返し実行を制御する。手順 1803 で、各色成分の輝度を計測する。手順 1804 で、N 区分線型近似の実測色成分関数 f_X を計算する。手順 1805 で、最適化色成分関数 を計算する。手順 1806 で、境界線上での画素値変換パラメタを生成する。手順 1807 で、最適化画像投写範囲全域での画素値変換パラメタを生成する。

本実施例によれば、隣接する投写画像を、隙間も重複もなく接して配置できるように、画像の形状を変更出来、隣接する画像の継ぎ目での画像の色の不連続を解消できる効果がある。なおかつ、形状の変更量や画素の色の変換関数を自動的に生成するので、人手によるプロジェクタの配置や色調整などの作業を省力化する効果を持つ。

本発明の第二の実施例として、第一の実施例と同一の手段を備えながら、図２の画像分割装置 0250の機能と、幾何変形制御パラメタの計算方法と、画素値変換パラメタの計算方法が異なる実施例を以下に示す。

画像分割装置 0250は、図１９ に示すように、入力された映像信号に含まれる画像 1901を、隣接する分割部分画像と一定の重複部分を持つような分割部分画像 1911、1912、1913、1914に分割し、それぞれの分割部分画像に対応した映像信号を生成する。

画像の重複幅 Lの画像幅 Wに対する比率 L/W は、隣接する最大画像投写範囲同士の重複幅と最大画像投写範囲の幅の比率より小さく設定する。逆に、重複比率 L/W を設定すると、最大画像投写範囲 0151、0152、0153、0154 間の重複比率が、分割部分画像同士の重複比率 L/W より大きくなるようにプロジェクタ 0121、0122、0123、0124の配置と姿勢を設定する。

各分割部分画像の内側で、分割中心線 1921、1922 により囲まれる領域を分割主領域と呼ぶ。図１９ においては、斜線で示した領域 1931、1932、1933、1934 が分割主領域である。

第一の実施例における幾何変形制御パラメタの計算において、数4や数5 で定義する部分境界線を、分割主領域1931、1932、1933、1934の境界線に置き換えて計算する。すると、分割主領域内の点に対する幾何変形の変換 T は、第一の実施例と同様の手順で数30により計算出来るので、幾何変形制御パラメタは、数31 で計算する。分割主領域の外側における幾何変形制御パラメタの計算は、次のようにする。

図２０ に示すような隣接する分割部分画像 AとB の互いに重複する領域を C_{AB} と C_{BA} とする。互いに重複していない領域 を F_{AB} と F_{BA} とする。さらに、 C_{AB} と C_{BA} は、分割中心線 2001、2002 により、それぞれ二つの領域に分けられ数41と数42 と表される。

ここに、 E_{AB} と E_{BA} は、分割中心線 2001、2002 により分割された重複領域C_{AB} と C_{BA} の部分領域のうち、 F_{AB} または F_{BA} に接している方とする。このとき、分割部分画像 A と B の分割主領域はそれぞれ、E_{AB} ∪ F_{AB} と E_{BA} ∪ F_{BA} となる。

第一の実施例で述べたように、分割部分画像 B の座標系における座標値を分割部分画像 A の座標系に変換する関数 Ψ_{AB} とその逆関数 Ψ_{BA} を定義できる。すると、 D_{AB} 上で定義される合成関数 V_{AB} を、E_{BA} ∪ F_{BA} 上で数30 により定義される分割部分画像 B の幾何変形関数 T_B を用いて数43 で定義する。

また、数31に相当する変形ベクトル関数 U_A を、数44 で定義する。

次に画素値変換パラメタを、次のようして計算する。まず、重複領域 C_{AB} の各点では、第一の実施例と同様に 数38 に示すパラメタで定義される区分線型関数を用いて、画素値変換関数を定義できる。

次に、隣接する全ての分割部分画像 X について数45 と表わされる隣接するどの分割部分画像とも重複しない領域 F_A 内部では、前述のように境界上では定義されている画素値変換関数を用いて、数39 による内挿を用いて定義する。したがって、位置 (x,y) での画素値変換関数 η_{A[x,y]}(z) は、数46 で定義出来る。

但し、重み関数 κ_{A}(x,y) は数47 で定義し、分割部分画像 Aに 隣接する全ての分割部分画像 X についてのσ_{AX}(x,y) の積とする。

ここに、σ_{AB}(x,y) は、C_{AB} 上で定義され、図２０の分割中心線 2001に垂直な線 2010上の点 x(t) で、図２１ に示す値を持ち、分割中心線 2001に平行な方向には一定値を持つ関数とする。

第二の実施例は、以上のように、図２の画像分割装置 0250の作用と、幾何変形制御パラメタの計算方法と、画素値変換パラメタの計算方法が第一の実施例とは異なる。

本実施例によれば、分割部分画像の隣接画像との重複部分を内側から外側に向かって滑らかに消えていく画像へ変換し、このような画像特性を持つ隣接画像の重複部分同士をスクリーン上で光学的に重ね合せて分割部分画像同士を貼り合せているので、分割画像の位置合せの誤差の影響は、隣接画像との貼り合わせ部分のボケとして現れる。

一方、第一の実施例では、分割画像の位置合せに誤差の影響は、画像接続部分の不連続な変化として現れる。人間の視覚特性には、画像の不連続な変化に対する認知感度の方が、画像のボケのような連続的な変化に対する認知感度よりも敏感であるという特徴があるため、本発明の第二の実施例によりば、第一の実施例よりも位置誤差による合成画像の劣化が人間に認知されにくくなるという効果がある。

本発明の第三の実施例を以下に示す。第一の実施例における、図２の 映像信号制御装置 0110の内部構成と、それに接続するプロジェクタの機能のみが異なり、他の構成が同一の実施例を図２２を用いて説明する。

第三の実施例においては、映像補正装置内蔵プロジェクタ 2201、2202、2203、2204がそれぞれ、第一の実施例で説明した機能を持つ画像補正器を内蔵している。さらに、画像補正器内蔵プロジェクタは、その入力信号線として、映像信号線 2241、2242、2243、2244の他に、制御信号線 2231、2232、2233、2234の2種類を持つ。

第三に実施例によっても、第一の実施例と同様に、隣接する投写画像を、隙間も重複もなく隣接して配置することが可能となる効果がある。

本発明の第四の実施例を以下に示す。第四の実施例は、スクリーン形状が平面でないシステムである。以下、図２３を用いて説明する。

曲面スクリーン 2300は、投写画像が映像観賞者の視野を効率良く覆うために用いる必要がある場合に用いる。通常、曲面上に平面への投写を考慮して設計されたプロジェクタにより画像を投写すると、最大画像投写範囲 2321、2322のように、頂点角の和が360度より大きい四角形の形状となる。そのため通常は、隣接する最大画像投写範囲 2321、2322を、隙間も重複もなく配置することは不可能である。

隣接する最大画像投写範囲 2321、2322同士を 図１９ のように、隣接する辺が相手の投写範囲に含まれるように、プロジェクタ 2301、2302を配置し、第一の実施例において説明した機能を持つ映像信号制御装置 2310を用いてプロジェクタ 2301、2302へ供給する映像信号を制御し、隣接して投写する画像を、最適化画像投写範囲 2331、2332上に表示する。

第一の実施例の映像信号制御装置 0110が、画像補正器 0281、0282、0283、0284を持たない場合の実施例である本発明の第五の実施例を以下に示す。本実施例の映像信号制御装置の機能ブロック図を図２４ に示す。映像信号制御装置は、入出力端子として、分割映像入力端子 2421、2422、2423、2424 と、スクリーン状態監視カメラ映像入力端子 2430 と、分割映像出力端子 2442、2442、2443、2444を持つ。分割映像入力端子からの映像信号かテストパターン画像生成器 2470の映像信号のどちらかが、映像信号切替器 2460 により選択され、分割映像出力端子に供給される。それぞれの分割映像信号は、分割映像入力端子に接続した画像再生装置 2451、2452、2453、2454 により、それぞれのプロジェクタが担当する映像データを分割格納したDVD-ROMなどの映像メディア 2491、2492、2493、2494 を再生することで供給される。

図２４に示す映像信号制御装置では、画像補正器を持たなくてもよい。前記したように、スクリーンの形状やプロジェクタとスクリーンの位置関係やプロジェクタ個々の表示特性などに起因して、スクリーン上で各プロジェクタの画像をシームレスに接続し、均一な画像を生成するには、画像の幾何変形や画像の色の特性変換が必要であった。第一の実施例では、この画像補正を実時間で実行するハードウェアにより実行した。本実施例では、各プロジェクタに対応した分割映像データに対して、画像補正処理を事前に実施した映像データをDVD-ROM などの映像メディアに格納しておく。そして、画像再生装置 2451、2452、2453、2454は、単純に画像補正済の映像データをプロジェクタに供給することで、スクリーン上でシームレスな画像接続を実現する。

本発明の第五の実施例によれば、画像補正処理装置が不要となる。

次に第六の実施例について説明する。第六の実施例は、第五の実施例における画像再生装置 2491、2492、2493、2494 を、図２５に示す機能ブロックで構成された画像補正機能を有する画像再生処理装置に置き換えたものである。

第六の実施例においては、図２５に示すように、映像データ格納メディア 2511 から映像データを読み取るピックアップ 2521 と、ピックアップにより検出した信号を映像データに復号する映像再生回路 2531 と、再生された映像データを画像補正情報入力端子 2551 より入力した画像補正情報に基づいて画像処理する画像補正回路 2532と、画像処理した映像データを蓄積する媒体 2541 と、画像処理した映像データを一時蓄積媒体 2541 から読み出し、映像出力端子 2552 へ出力する映像蓄積再生回路 2533 とからなる画像再生装置が、第五の実施例と異なるプロジェクタアレーシステムとする。

シームレスな画像接続を実現するための画像補正量が、プロジェクタアレーシステムの個体毎に異なる場合に、第五の実施例では対応できない問題点を解決するために、プロジェクタアレーシステムにとって最適な画像補正処理を、各プロジェクタに対応した分割画像データに対して、プロジェクタ毎の画像補正量に従って、画像補正回路 2532 により、事前にオフラインでの画像補正を行い、補正後の映像データを一時蓄積媒体 2541 に一旦蓄積する。プロジェクタアレーによるシームレスな画像接続された映像再生時は、画像補正されたデータを一時蓄積媒体 2541 から読み出して再生することで、実現する。

第六の実施例によれば、第一の実施例では、シームレスな画像接続を実現するための画像補正処理を実時間で実行する処理装置が必要であったが、本実施例では、実時間処理が間に合わない程に遅い画像補正回路あるいは、ソフトウェアによる画像処理エミュレーションを用いても、正しくスクリーン上での画像合成が可能となる。更に、第五の実施例においては、複数のプロジェクタアレーシステムの間で画像補正量が異る場合には、正しくスクリーン上での画像合成が出来ないという問題点が、プロジェクタアレーシステム毎に最適な補正量で画像処理することで解決する。

以上のそれぞれの実施例によれば、曲面スクリーン上への投写画像を、なめらかに接続し配置することが可能となる効果がある。

また、映像投写器により前記スクリーン上に投写される映像の最大表示範囲が隣接する投写映像の最大表示範囲と一定幅以上の重複領域も持つように配置するために、複数の映像投写器各々への入力画像データに対して適当な幾何形状と色の変換を施した画像を供給するだけで、複数の映像投写器により投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成することができるので、映像投写器の設置位置調整と映像投写器の光学系調整に要求される精度の簡略化がはかられるという効果がある。

また、映像投写器の特性とスクリーンの特性に応じた画像の幾何形状と色の変換を実時間処理可能な画像信号変換手段を有するので、複数の映像投写器による投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成する課題を、画像変換手段の制御のみで解決できる。このように、映像投写器の設置位置と光学系の調整点の変動に対して、信号処理のみで対処できるシステム構成が実現できるので、信号処理回路系の制御に比べて、実現コストが高く制御精度を上げ難い光学系や機械系の制御手段が不要になるので、経済的で信頼性の高いマルチプロジェクション映像表示装置を実現できるという効果がある。

また、複数の映像投写器により投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成する課題を解決するための画像の幾何形状と色の変換量を自動算出し、画像変換手段を自動制御する手段を有するので、画像調整作業を目視と手作業で行っていた従来の方法に比較して、経済的かつ高精度の調整が可能になるという効果がある。

また、複数の映像投写器により投写した各画像を、継目なく滑かに接続し全体として一つの画面を構成する課題を、映像投写器により投写した画像と隣接する画像とを、その周辺部での重複部分が、非重複部分と滑かに接続するように、重複部の画像を両映像投写器からの光線の光学的加算で実現しているので、映像投写器の配置位置誤差や画像幾何変形手段の制御誤差の影響が、画像重複部分では画像のボケとして現われる。このため、画像の不連続な変化に対する認知感度より、画像のボケのような連続的な変化に対する認知感度の方が鈍感であるという人間の視覚特性により、画像接続部分の誤差による画質劣化を、人間に検知されにくくなるという効果がある。

映像投写器が、入力された映像信号をデジタル変換した映像信号データに対して、少なくとも幾何形状と色特性を変換する機能を持つデータ変換器と、該データ変換器を制御する演算制御装置を内蔵している場合には、マルチプロジェクション映像表示装置のシステム能力における、効果は前記と同様であるが、該映像投写器単体の使用においても、投写画像を幾何変形したり明度分布の変換が可能となり、該映像投写器の光軸がスクリーンに対して垂直でない場合でも、スクリーン上に正確な画像形状と明度分布を持つ映像を再生できるので、スクリーンと映像投写器との配置関係の制約が減少するという効果がある。

本発明によれば、より簡易な映像装置で複数の画像データを１つ（または複数）の画像に組み合わせることができる。この際、各画像データ同士の間に発生する継ぎ目をより目立たなくすることが可能である。

以上の通り、本発明は、マルチプロジェクションなど複数の画像データを１つ（または複数の）画像として表示することを可能とするものである。

本発明の一実施例における複数のプロジェクタとスクリーンとスクリーン状態監視カメラの配置を示す図。 映像信号制御装置の機能ブロック図。 複数のプロジェクタによる最大画像投写範囲と映像信号制御装置で処理された画像の投写範囲とのスクリーン上での位置関係を示す図。 一台のプロジェクタによる最大画像投写範囲と映像信号制御装置で処理された画像の投写範囲との位置関係を示す図。 画像補正器の機能ブロック図。 図５に示した画像補正器の各機能ブロック内部の機能構成図。 ビデオ信号デジタイザの動作手順を示す図。 フレームバッファ書き込み・読み出し手順を示す図。 画像の幾何形状の補正手順を示す図。 幾何変形ベクトルテーブルのデータ構造を示す図。 色変換の手順を示す図。 色変換パラメタテーブルのデータ構造を示す図。 補正パターン画像の例を示す図。 画像の幾何形状補正前と後の画像投写領域を示す図。 隣接する２つの最大画像投写範囲の４種類の重なり方を例示する図。 幾何変形制御情報の生成手順を示す図。 幾何変形ベクトルの生成手順を示す図。 画素値変換パラメタの生成手順を示す図。 重複部分を持つ画像の四分割の１例を示す図。 隣接する分割画像の重複部分の関係を示す図。 画像重複部分の明度変調に用いる重み関数を示す図。 画像補正器を内蔵するプロジェクタと映像信号制御装置のブロック図。 曲面スクリーンを用いたマルチプロジェクション映像表示装置の１例を示す図。 分割映像信号を並列に再生する再生装置の組と画像補正装置を持たない映像信号制御装置のブロック図。 画像補正装置と画像一時蓄積装置を内蔵する映像再生装置を示す図。

符号の説明

0121、0122、0123、0124：プロジェクタ
0151、0152、0153、0154：各プロジェクタの最大画像投写範囲
0180：外部映像入力
0110：映像信号制御装置
0130：スクリーン状態監視カメラ

Claims (9)

1. 画像を表示部に出力する複数台のプロジェクタと、前記複数台のプロジェクタそれぞれに画像信号を供給する映像信号制御装置と、前記表示部に出力された画像の状態を監視する監視カメラを有する映像表示システムであって、
   前記複数台のプロジェクタのうちの第一のプロジェクタと第二のプロジェクタは、各々が出力する画像の表示範囲を重複するように表示し、
   前記映像信号制御装置は、
   画像信号を入力する入力部と、
   第一の補正パラメタを生成する補正パラメタ生成装置と、
   前記入力された画像信号を画素毎に補正し、前記複数台のプロジェクタに供給する複数台の画像補正器とを有し、
   前記画像補正器は、
   前記画像信号を記憶するフレームメモリと、
   前記第一の補正パラメタに従って、前記フレームメモリから表示すべき画素値を読み出す幾何形状補正部と、
   前記補正パラメタ生成装置は、前記重複する表示範囲において、前記第一のプロジェクタの投写範囲内の第一の画素のフレームメモリ座標系での位置座標と前記監視カメラで撮影した前記第一の画素のカメラ座標系での位置座標との第一の対応関係、及び前記第二のプロジェクタの投写範囲内の第二の画素のフレームメモリ座標系での位置座標と前記監視カメラで撮影した前記第二の画素のカメラ座標系での位置座標との第二の対応関係を生成し、
   前記第一及び第二の対応関係に基づいて、前記第一及び第二のプロジェクタが表示する重複する範囲内に含まれる画像中の、前記フレームメモリ座標系での前記複数の第一の画素のそれぞれと前記フレームメモリ座標系での前記複数の第二の画素のそれぞれとの第三の対応関係を生成し、
   前記第三の対応関係と本来重複しているべき複数の第一及び第二の画素との第四の対応関係に基づいて第一の補正パラメタを生成する、映像表示システム。
2. 前記映像信号制御装置は、前記フレームメモリから読み出された画素値を第二の補正パラメタで色変換する色変換部を更に有し、
   前記第二の補正パラメタは、画素毎に、前記重複する表示範囲に含まれるか否かに応じて各成分の強度が設定されている、請求項１記載の映像表示システム。
3. 前記入力部は、前記画像信号を前記プロジェクタの台数に応じて入力する、請求項１記載の映像表示システム。
4. 前記映像信号制御装置は、更に、前記画像信号を前記プロジェクタの台数に応じて分割する画像分割装置を有し、
   前記画像補正器は、前記画像分割装置によって分割された分割画像信号をそれぞれ入力し、入力された分割画像信号を画素毎に補正し、前記複数台のプロジェクタに供給する、請求項１記載の映像表示システム。
5. 前記幾何形状補正部は、前記プロジェクタから出力される画素の位置に従って、前記画素値を読み出す、請求項１記載の映像表示システム。
6. 前記フレームメモリに記憶されている画素値は、赤色、青色及び緑色の成分の強度を示し、
   前記第二の補正パラメタは、前記成分毎に設定され、
   前記色変換部は、前記各成分の強度を前記第二の補正パラメタで変換する、請求項１乃至５記載の映像表示システム。
7. 前記表示部は、前記複数のプロジェクタのいずれか一つから出力される画像のうち、他の画像と重複する範囲と重複しない範囲で明るさが異なるように表示する、請求項６記載の映像表示システム。
8. 前記重複する範囲には、前記複数のプロジェクタから出力される複数の画像が含まれ、 前記第二の補正パラメタは、画素毎に他のプロジェクタから出力される画像の数に応じて各成分の強度が設定されている、請求項７記載の映像表示システム。
9. 前記表示部は、前記複数のプロジェクタのいずれか一つから出力される画像のうち、他の画像と重複する範囲に含まれる画像を、重複する他の画像の数に従って明るさが異なるように表示する、請求項８記載の映像表示システム。
   
   

Images