JP2010135966A - 映像信号処理装置 - Google Patents

Abstract

【課題】 歪み補正テーブルを修正することなくスクリーンに表示した際に発生する映像歪みを簡単な構成によって抑制する。
【解決手段】 任意形状の投影面１に映像光を投影させるために、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップであり映像信号入力部１１により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを記憶する歪み補正テーブル記憶部１５ａと、平面映像の基準画素位置と歪み補正テーブルにおける基準位置とのずれを補正するテーブル補正パラメータを記憶するテーブル補正パラメータ記憶部１５ｂとを備える。歪み補正部１２は、歪み補正テーブルをテーブル補正パラメータを用いて補正し、当該補正された歪み補正テーブルを参照して映像信号入力部１１により入力した平面映像信号の画素ごとに歪み補正処理を施して、投影面に映像光を投影させるための出力映像信号を作成する。
【選択図】 図２

Description

本発明は、平面映像信号を任意形状のスクリーンに投射しても、歪みなく映し出すことができるように、入力映像信号に予め歪み補正を施す映像信号処理装置に関する。

任意形状のスクリーンへ歪み無く映像を投射する技術は、仮想現実感生成装置で既に実用化されている。例えば、その先行技術としては、下記の特許文献１等が挙げられる。

この特許文献１に記載された技術は、観察者に視認させる映像光の歪みを抑制した映像を簡単な構成でリアルタイムに表示させるものである。具体的には、任意形状の投影面を有するスクリーンと、平面の投影面に映像光を投影するための平面映像信号に任意形状の投影面に映像光を投影するための歪み補正を施して出力する歪み補正ユニットと、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを作成するパラメータ調整用ＰＣと、映像信号処理装置から出力された映像信号に基づいた映像をスクリーンに投影するプロジェクタとを備え、歪み補正ユニットが、歪み補正テーブルを参照して映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、任意形状の投影面に映像光を投影させるための映像信号を作成している。
特開２００７−２５１９１４号公報

しかしながら、前記従来の映像信号処理装置は、予め生成しておいた歪み補正テーブルを利用して、平面映像信号に歪み補正処理を施して任意形状のスクリーンに投影する場合に、映像の位置あわせを行おうとすると、歪み補正処理自体を変更する必要がある。すなわち、平面映像の映像位置を変更する場合にはプロジェクタの機能によって位置あわせを行うことができる。しかし、任意形状のスクリーンに投影するために歪み補正処理が施された出力映像の表示位置を変更すると、当該任意形状のスクリーンに投影される位置が変更してしまうために、映像が歪んでしまう問題がある。

これに対し、上述した映像信号処理装置は、入力した平面映像信号と出力映像信号とが対応する座標の位置がずれた場合に、新たな歪み補正テーブルを生成することや、新たな歪み補正テーブルを取り込んで更新するためにある程度の必要な時間がかかり、観察者に視認させる映像光の歪みを抑制した映像を簡単な構成でリアルタイムに表示させることができなかった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、歪み補正テーブルを修正することなくスクリーンに表示した際に発生する映像歪みを簡単な構成によって抑制することができる映像信号処理装置を提供することを目的とする。

本発明は、任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを記憶する歪み補正テーブル記憶手段と、映像信号入力手段により入力した平面映像の基準画素位置と、歪み補正テーブル記憶手段に記憶した歪み補正テーブルにおける基準位置とのずれを補正するテーブル補正パラメータを記憶するテーブル補正パラメータ記憶手段と、歪み補正テーブル記憶手段により記憶した歪み補正テーブルを、テーブル補正パラメータ記憶手段に記憶されたテーブル補正パラメータを用いて補正し、当該補正された歪み補正テーブルを参照して映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、歪み補正手段により作成された出力映像信号を投影手段に出力する出力手段とを備えることを特徴とする。

また、本発明は、テーブル補正パラメータを外部から入力する外部入力手段をさらに備え、映像信号入力手段により入力した平面映像の基準画素位置が変化した場合に、外部入力手段からテーブル補正パラメータを入力して、当該入力したテーブル補正パラメータに、テーブル補正パラメータ記憶手段に記憶されたテーブル補正パラメータを更新することが望ましい。

更に、本発明は、テーブル補正パラメータとして、映像信号入力手段により入力する平面映像信号を生成する映像生成装置における光学レンズ又は前記投影手段における光学レンズの幾何学歪みを補正する光学歪み補正パラメータを含み、歪み補正手段によって、歪み補正テーブル記憶手段により記憶した歪み補正テーブルを、テーブル補正パラメータ記憶手段に記憶されたテーブル補正パラメータ及び光学歪み補正パラメータを用いて補正することが望ましい。

更にまた、本発明は、歪み補正手段により作成された出力映像信号に輝度補正を施すための輝度補正テーブルを記憶する輝度補正テーブル記憶手段と、輝度補正テーブル記憶手段に記憶された輝度補正テーブルを参照して、出力映像信号の画素ごとに輝度補正処理を施して、任意形状の投影面に投影させるための映像信号を作成する輝度補正手段とを備え、輝度補正テーブルは、映像信号入力手段により入力する平面映像信号を生成する映像生成装置における光学レンズ又は前記投影手段における光学レンズの輝度ムラを補正する補正値を含み、輝度補正手段は、当該補正値によって輝度補正テーブルを補正して、当該補正した輝度補正テーブルを参照して出力映像信号の画素ごとに輝度補正処理を施しても良い。

更にまた、本発明は、映像信号入力手段を複数備え、歪み補正テーブルは、任意形状の投影面の領域ごとに、何れかの映像信号入力手段及び当該映像信号入力手段によって入力された平面映像信号の画素が対応付けられ、テーブル補正パラメータ記憶手段は、前記映像信号入力手段ごとのテーブル補正パラメータを記憶し、歪み補正手段は、映像信号入力手段ごとに、テーブル補正パラメータによって歪み補正テーブルを補正し、補正した歪み補正テーブルを参照して映像信号入力手段ごとに入力された平面映像信号の画素を取り出して、出力映像信号を作成しても良い。

更にまた、本発明は、映像信号入力手段を複数備え、テーブル補正パラメータ記憶手段は、映像信号入力手段ごとのテーブル補正パラメータを記憶し、歪み補正手段は、映像信号入力手段ごとに、テーブル補正パラメータによって歪み補正テーブルを補正し、補正した歪み補正テーブルを参照して映像信号入力手段ごとに入力された平面映像信号の画素を取り出し、複数の平面映像が重畳された出力映像信号を作成しても良い。

本発明によれば、映像信号入力手段により入力した平面映像の基準画素位置と歪み補正テーブルにおける基準位置とのずれを補正するテーブル補正パラメータを記憶しておき、歪み補正テーブルをテーブル補正パラメータを用いて補正して、歪み補正処理を行うので、歪み補正テーブルを修正することなくスクリーンに表示した際に発生する映像歪みを簡単な構成によって抑制することができる。

また、本発明によれば、入力した平面映像の基準画素位置が変化した場合に、外部入力手段からテーブル補正パラメータを入力して、当該テーブル補正パラメータに更新できるので、異なる機器から平面映像を入力しても当該機器に対応するテーブル補正パラメータに更新して、歪み補正テーブルを補正することができる。

更に、本発明によれば、歪み補正テーブルをテーブル補正パラメータ及び光学歪み補正パラメータを用いて補正するので、平面映像を撮影したレンズ又は映像を投影する光学レンズによって映像に歪みが発生しても、歪み補正に加えて、当該レンズによる歪み分を光学歪み補正パラメータによってずらす補正を行うことができ、より映像歪みを抑制することができる。

更にまた、本発明によれば、出力映像信号に輝度補正を施すための輝度補正テーブルを参照して出力映像信号の画素ごとに輝度補正処理を施すと共に、平面映像を撮像した光学レンズ又は映像を投影する光学レンズの輝度ムラを補正するので、レンズによって輝度ムラが発生しても、当該平面映像信号に対して、歪み補正に加えて、当該レンズによる輝度ムラ補正を行うことができる。

更にまた、本発明によれば、映像信号入力手段ごとのテーブル補正パラメータによって補正した歪み補正テーブルを参照して何れかの映像信号入力手段によって入力された平面映像信号の画素を取り出して出力映像信号を作成するので、映像ごとにテーブル補正パラメータによってずれを補正して、歪み補正を行うことができる。

更にまた、本発明によれば、映像信号入力手段ごとのテーブル補正パラメータによって歪み補正テーブルを補正し、補正した歪み補正テーブルを参照して映像信号入力手段ごとに入力された平面映像信号の画素を取り出すので、映像ごとにテーブル補正パラメータによってずれを補正して出力映像信号を重畳することができる。

以下、本発明の実施形態について図面を参照して説明する。

［仮想現実感生成システムの基本構成及び動作］
先ず、本発明の実施形態として示す基本的な構成及び動作について説明し、後に、この仮想現実感生成システムによるテーブル補正パラメータを用いた特徴的な動作について説明する。

仮想現実感生成システムは、図１に示すように、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーン１に３次元の映像光を投影するために、投影手段である２台のプロジェクタ２ａ、２ｂからなる映像投影機器２によって右眼用映像光と左眼用映像光とを出射して、観察者に仮想現実感を与えるものである。

この仮想現実感生成システムは、映像信号処理装置である歪み補正ユニット３に、プロジェクタ２ａ、２ｂと映像生成機器４とが接続されている。歪み補正ユニット３は、任意形状の投影面のスクリーン１に映像光が投影されたときの映像歪みを補正する映像信号処理を行う。

なお、以下の説明において、歪み補正ユニット３による歪み補正処理に必要な歪み補正テーブルは、当該歪み補正ユニット３に記憶しているが、後述の歪み補正テーブルを補正するためのテーブル補正パラメータを必要に応じて外部から入力するためにパーソナルコンピュータが接続されることもある。このパーソナルコンピュータは、常時接続されている必要はなく、後述するように必要な情報を歪み補正ユニット３に出力するときのみ接続されていれば良いものである。

この様な仮想現実感生成システムは、任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置としての機能を歪み補正ユニット３によって実現する。歪み補正ユニット３は、図２に機能的な構成図を示し、図３及び図４に一例としての内部構成を示す。

図２に示すように、歪み補正ユニット３は、平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力部１１と、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、映像信号入力部１１により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを記憶する歪み補正テーブル記憶部１５ａと、映像信号入力部１１により入力した平面映像の基準画素位置と、歪み補正テーブル記憶部１５ａに記憶した歪み補正テーブルにおける基準位置とのずれを補正するテーブル補正パラメータを記憶するテーブル補正パラメータ記憶部１５ｂと、歪み補正テーブル記憶部１５ａにより記憶した歪み補正テーブルを、テーブル補正パラメータ記憶部１５ｂに記憶されたテーブル補正パラメータを用いて補正し、当該補正された歪み補正テーブルを参照して映像信号入力部１１により入力した平面映像信号の画素ごとに歪み補正処理を施して、投影面に映像光を投影させるための出力映像信号を作成する歪み補正部１２と、歪み補正部１２により作成された出力映像信号を映像投影機器２に出力する出力部１７とを備える。

スクリーン１は、プロジェクタ２ａ、２ｂからの右眼用映像光と左眼用映像光とを鏡面反射する。なお、このスクリーン１の投影面形状としては、球体の一部を利用した半球状、円筒状などが挙げられ、複数の平面を接続した形状であっても良い。

プロジェクタ２ａ、２ｂは、右眼用映像光と左眼用映像光とを出射するために、歪み補正ユニット３からの右眼用映像信号と左眼用映像信号とを受信する。これらプロジェクタ２ａ、２ｂは、歪み補正ユニット３の２チャンネルの映像出力端子３ｅ，３ｆのそれぞれに接続されている。

なお、観察者に立体視をさせる場合、例えばプロジェクタ２ａに右眼用偏光フィルター、プロジェクタ２ｂに左眼用偏光フィルターを装着させ、スクリーン１としては鏡面反射スクリーンを使用し、観察者には偏光フィルターに対応した偏光メガネを装着させることになる。また、プロジェクタとしては、２台である必要はなく、１台のプロジェクタから時分割で右眼用映像光と左眼用映像光とを交互に出射するものであっても良い。

映像生成機器４は、平面映像光を出射するための映像信号を記憶する記憶媒体を備えている。この映像生成機器４としては、ビデオカメラ、立体カメラの他、パーソナルコンピュータ、ビデオデッキやＤＶＤデッキ等の映像再生装置、などが挙げられる。なお、映像生成機器４は、４チャンネル分の出力端子を有し、歪み補正ユニット３の１チャンネル〜４チャンネルの映像入力端子３ａ，３ｂ，３ｃ，３ｄに接続されている。なお、図１、図３及び図４に示した例では、４チャンネル入力、２チャンネル出力の構成を示しているが、入出力ともに１チャンネルのみであっても良い。

歪み補正ユニット３は、そのハードウェア構成を図３に示すように、上述の映像信号入力部１１に相当する映像入力側の信号方式変換回路１１と、歪み補正部１２を含む映像信号処理回路１２と、デジタルシグナルプロセッサ（ＤＳＰ）１３と、計算用メモリ１４と、歪み補正テーブル及びテーブル補正パラメータを記憶するテーブル用メモリ１５と、制御信号用メモリ１６と、出力部１７に相当する映像出力側の信号方式変換回路１７とを備える。このようなハードウェア構成を有する歪み補正ユニット３は、その機能的なソフトウェア構成を図４に示すように、入力映像処理部２１と、映像切替／分配部２２と、映像合成部２３と、歪み補正部２４と、出力映像処理部２５と、同期処理部２６と、変換テーブル保存部２７と、制御信号保存部２８とを有する。

信号方式変換回路１１は、映像入力端子３ａ，３ｂ，３ｃ，３ｄを介して映像生成機器４からの映像を入力する入力映像処理部２１として機能する。この信号方式変換回路１１は、映像生成機器４からの平面映像信号として、コンポジット信号、セパレート信号、コンポーネント信号、ディジタルビデオ信号等を入力する。なお、このように複数種類の平面映像信号を入力可能な構成である場合、映像入力端子３ａ，３ｂ，３ｃ，３ｄは、それぞれの方式に準じた端子形状であるＤＶＩ−Ｉ端子、ＲＧＢ端子、Ｓ端子、コンポジット端子、Ｄ端子などとなっている。このように、あらゆる種類の平面映像信号を入力可能とすることによって、入力する平面映像信号の種類幅を広げている。信号方式変換回路１１は、映像入力端子３ａ，３ｂ，３ｃ，３ｄを介して平面映像信号を入力したことに応じて、当該平面映像信号の方式を、後段の映像信号処理回路１２等で処理可能な方式にデコードして、映像信号処理回路１２に出力する。

映像信号処理回路１２は、図４における映像切替／分配部２２となる映像切替／分配回路、映像合成部２３となる映像合成回路、歪み補正部２４となる映像補正回路、同期処理部２６となる同期処理回路を有している。この映像信号処理回路１２は、映像切替／分配部２２によって入力映像処理部２１からの平面映像信号の切替又は分配を行い、複数の平面映像信号を合成する場合には映像合成部２３で映像合成を行って、歪み補正部２４に供給する。

歪み補正部２４は、変換テーブル保存部２７に予め記憶された歪み補正テーブル、テーブル補正パラメータを参照して、画素毎の座標変換処理を行うことによって平面映像信号を出力映像信号に変換する歪み補正処理を行う。この歪み補正テーブルは、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである。また、輝度補正テーブルは、歪み補正処理前の平面映像信号又は歪み補正処理後の出力映像信号の各画素を何倍の輝度にするかを記述したテーブルである。なお、歪み補正テーブル及びテーブル補正パラメータを用いた動作、歪み補正テーブルの作成処理については後述する。

また、歪み補正部２４は、変換テーブル保存部２７に記憶された輝度補正テーブルを参照して、画素ごとの輝度値を変換することによって平面映像信号を出力映像信号に変換する輝度補正処理を行う。この歪み補正処理及び輝度補正処理を行うに際して、映像信号処理回路１２（歪み補正部２４）は、計算用メモリ１４を作業領域として利用する。

この歪み補正部２４による歪み補正処理において、先ず、当該歪み補正処理による座標変換処理について説明する。この歪み補正処理は、図５（ａ）に示す平面映像信号１００の画素ａ，ｂ，ｃを、図５（ｂ）に示す出力映像信号１００’の画素ａ’，ｂ’，ｃ’に変換することによって、歪み補正を行う。この出力映像信号１００’は、任意形状の投影面となっているスクリーン１のメッシュモデルに従って、座標変換が施された結果である。

歪み補正部２４による輝度補正処理は、変換テーブル保存部２７に歪み補正処理後の出力映像信号に対応した輝度補正テーブルが記憶されている場合には、図６に示す処理となる。すなわち、先ず図６（ａ）に示す平面映像信号１００に対して輝度補正処理を施し、図６（ｂ）の平面映像信号１００’を作成し、その後に、当該平面映像信号１００’に歪み補正処理が施される。

また、輝度補正処理は、変換テーブル保存部２７に歪み補正処理前の平面映像信号に対応した輝度補正テーブルが記憶されている場合には、図７に示す処理となる。すなわち、図７（ａ）に示す平面映像信号１００が歪み補正処理された結果である図７（ｂ）の出力映像信号１００’に対して、当該歪み補正後の画素ａ’，ｂ’，ｃ’の輝度を変換して、図７（ｃ）に示す新たな輝度補正後の画素ａ’’，ｂ’’，ｃ’’とする。なお、歪み補正部２４は、歪み補正処理及び輝度補正処理に加えて、映像におけるシャギーを除去する処理を追加しても良い。

この歪み補正部２４によって歪み補正処理及び輝度補正処理が施された出力映像信号は、出力映像処理部２５（信号方式変換回路１７）に渡されて、当該出力映像処理部２５からプロジェクタ２ａ、２ｂに供給される。このとき、出力映像処理部２５（信号方式変換回路１７）は、出力映像信号をプロジェクタ２ａ、２ｂで映像投影可能な信号方式に変換して出力する。なお、映像出力端子３ｅ，３ｄは、出力映像信号の方式に準じた端子形状であるＤＶＩ−Ｉ端子、ＲＧＢ端子などとなっている。

また、この歪み補正ユニット３において、同期処理部２６は、リアルタイムで映像切替／分配部２２、映像合成部２３及び歪み補正部２４を動作させるために同期処理部２６によって、各部間の映像信号の処理タイミング、映像信号転送タイミングを制御している。この歪み補正ユニット３は、デジタルシグナルプロセッサ１３によって、映像信号処理回路１２のソフトウェア的な処理が制御されている。

更に、歪み補正ユニット３は、外部から供給された制御信号を制御信号保存部２８で受信・保存し、必要に応じて制御信号を制御信号保存部２８から選択し、当該制御信号をプロジェクタ２ａ，２ｂに転送する。なお、歪み補正ユニット３からプロジェクタ２ａ，２ｂに送信する制御信号は、図３に示すように、図示しないユーザに操作される押しボタンやリモコンなどの操作入力信号に応じて出力しても良い。これによって、制御信号保存部２８に保存されている制御信号をユーザが自由に切り換えながらプロジェクタ２ａ，２ｂを制御させることができる。

このように、歪み補正ユニット３によれば、事前に変換テーブル保存部２７に歪み補正テーブル、輝度補正テーブルを記憶させておき、プロジェクタ２ａ、２ｂからスクリーン１に映像光を出射させるに際して平面映像信号に歪み補正処理及び輝度補正処理を施す場合に、２次元における座標変換及び輝度変換を行うのみで、３次元処理を行うことなく出力映像信号を作成できる。したがって、歪み補正ユニット３によれば、観察者に視認させる映像の歪みを抑制する処理を簡単な構成でリアルタイムに実現できる。
なお、歪み補正ユニット３は、プロジェクタ２ａ、２ｂの動作を制御する制御信号を、当該プロジェクタ２ａ、２ｂに出力する。これにより、歪み補正ユニット３は、プロジェクタ２ａ、２ｂの映像光の出力開始及び停止をはじめとして、プロジェクタ２ａ、２ｂの映像投影位置や映像サイズ、ズーム倍率、色調整などのあらゆるプロジェクタ２ａ、２ｂの制御を行うことができる。

また、上述した映像信号処理回路１２は、複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した立体映像信号を作成しても良い。例えば、３チャンネル入力の場合、チャンネル３の平面映像信号をチャンネル１の平面映像信号とチャンネル２の平面映像信号に対して視差を付けて合成して、立体映像信号を作成してもよく、４チャンネル入力の場合、チャンネル３、チャンネル４の平面映像信号をそれぞれチャンネル１、チャンネル２の平面映像信号に視差を付けて合成して、立体映像信号を作成してもよい。

［テーブル補正パラメータを用いた動作］
つぎに、上述したように構成された仮想現実感生成システムにおいて、歪み補正テーブルを補正するテーブル補正パラメータを用いた動作について説明する。なお、以下の説明においては、図１乃至図４の構成図のうちで、図２の構成を主として説明する。

この仮想現実感生成システムにおいて、歪み補正ユニット３の映像信号入力部１１は、所定の画像空間１２０において平面映像信号を扱う。すなわち、映像信号入力部１１には、所定の画像空間１２０がメモリアドレスとして与えられたバッファメモリが備えられており、映像生成機器４から平面映像信号が供給されると、当該平面映像信号をバッファメモリに格納する。平面映像信号をバッファメモリに格納した状態において、映像信号入力部１１は、入力した平面映像信号（入力画像）１００の基準位置が、歪み補正テーブル記憶部１５ａに記憶されている歪み補正テーブルの基準位置とずれているかを検出することができる。

図８に示すように、映像信号入力部１１の所定の画像空間１２０における所定の位置が、歪み補正テーブル１３０での基準位置となっている。すなわち、歪み補正テーブル１３０には、当該歪み補正テーブルの基準位置を含む所定の画像処理空間１１０から取り出す入力座標（平面の投影面のメッシュモデル）と、出力映像１００’を生成するための出力座標（任意形状の投影面のメッシュモデル）との対応マップが記述されている。

そして、映像信号入力部１１は、入力画像１００を入力すると、機械的に、テーブル補正パラメータによって歪み補正テーブル１３０の入力座標の値を変更する。また、当該所定の画像処理空間１１０内における入力画像１００の基準位置を認識し、当該入力画像１００の基準位置が、所定の画像処理空間１１０の基準位置（歪み補正テーブル１３０の基準位置）とずれているかを判定しても良い。図８に示すように入力画像１００の基準位置と所定の画像処理空間１１０の基準位置とがずれている場合、映像信号入力部１１は、予めテーブル補正パラメータ記憶部１５ｂに記憶しておいたテーブル補正パラメータによって歪み補正テーブル１３０の入力座標の値を変更する。これにより、映像信号入力部１１は、歪み補正テーブルでの基準位置を入力画像１００の基準位置にずらして、当該入力画像１００を出力映像１００’に変換することができる。すなわち、歪み補正テーブルにおける基準位置に対してずれている平面映像の基準位置を、歪み補正テーブルにおける基準位置に一致させるように、歪み補正テーブルにおける入力画素の座標値を補正するものである。

このテーブル補正パラメータは、例えば映像生成機器４がビデオカメラによる録画・再生によるもので、当該ビデオカメラによる表示条件と歪み補正ユニット３によって設定している観察者に対するスクリーン１の位置等の表示条件とが異なることに基づいて作成されている。このように映像生成機器４の表示条件と歪み補正ユニット３の表示条件とが異なる場合としては、平面映像信号と出力映像信号との基準位置そのものが異なる場合、映像生成機器４の映像サイズと、歪み補正ユニット３によってプロジェクタ２ａ、２ｂが表示する映像サイズが異なる場合、映像生成機器４の映像出力レートとプロジェクタ２ａ、２ｂの映像出力レートが異なる場合、などが挙げられる。このような場合、歪み補正ユニット３に記憶されている歪み補正テーブル１３０に記述した対応マップを参照して座標変換を行っても、基準位置が異なるために、平面映像信号が表している絵柄に対して歪み補正を施して任意形状のスクリーン１に歪み無く表示することができない。

そこで、仮想現実感生成システムは、予め映像生成機器４から入力した入力画像１００の基準位置と歪み補正テーブル１３０の基準位置とのずれを表すテーブル補正パラメータを記憶しておき、当該ずれが発生する映像生成機器４から入力画像１００を入力した場合に、テーブル補正パラメータによって歪み補正テーブル１３０を補正することができる。

したがって、この仮想現実感生成システムによれば、各種の映像生成機器４が接続され、当該映像生成機器４から出力された入力画像１００の基準位置と歪み補正テーブル１３０の基準位置とがずれている場合であっても、当該ずれを表すテーブル補正パラメータによって歪み補正テーブル１３０を補正して、新たに歪み補正テーブル１３０を作成するなどの処理を行う必要がない。したがって、この仮想現実感生成システムによれば、リアルタイム性を維持しつつ、歪み補正処理を行うことができる。

また、映像生成機器４（映像ソース）ごとにテーブル補正パラメータを用意しておきテーブル補正パラメータ記憶部１５ｂに記憶しておくことにより、映像生成機器４が変更してもテーブル補正パラメータを変更して歪み補正テーブルを補正する。これによって、映像生成機器４に応じた正確な歪み補正を行うことができる。

ここで、入力した平面映像信号の基準位置が歪み補正処理の対象となる基準位置とずれていた場合に、位置あわせやスケール変換を行うことも考えられる。しかし、映像信号処理自体の構成が複雑となったり、ある程度の処理時間がかかるために、観察者に視認させる映像光の歪みを抑制した映像を簡単な構成でリアルタイムに表示させることができなかった。これに対し、仮想現実感生成システムは、テーブル補正パラメータによって歪み補正テーブル１３０の座標の値を変更するのみであるので、ずれを補正するための処理負荷を僅かなものとすることができる。

また、この仮想現実感生成システムは、入力画像１００と出力映像１００’とにおいて対応する画素同士のずれ量によって画素の色情報を混合しても良い。すなわち、出力映像１００’の画素に対応する入力画像１００の画素の位置と、当該出力映像１００’の画素と入力画像１００の画素とのずれ量を歪み補正テーブル１３０に記述しておく。そして、歪み補正テーブル１３０に記述された入力画像１００の画素を取り出して対応する出力映像１００’の画素とする時に、ずれ量に相当する割合で、入力画像１００の複数の画素の色情報を混合した色情報を、出力映像１００’の画素の色情報にして、出力映像信号を作成する。具体的には、歪み補正部１２は、少なくとも入力画像１００のＸ軸方向で隣り合う２画素内における出力映像１００’の画素の代表点の位置に応じて、少なくとも当該２画素内の色情報を混合する、又は、少なくとも入力画像１００のＹ軸方向で隣り合う２画素内における出力映像１００’の画素の代表点の位置に応じて、少なくとも当該２画素内の色情報を混合して、出力映像信号を作成する。これにより、歪み補正処理と同時に色情報の補間を行って、出力映像信号の色を滑らかなものとすることができる。この歪み補正テーブルに記述する画素のずれ量については、単純なバイリニア補間に相当する値に限らず、より滑らかに近似する手法として、キュービック補間やバイキュービック補間に対応する値でも良い。

以下、上述した仮想現実感生成システムにおける各種の実施例について説明する。

仮想現実感生成システムは、テーブル補正パラメータ記憶部１５ｂに記憶するテーブル補正パラメータを外部から入力する外部入力手段をさらに備えていても良い。そして、仮想現実感生成システムは、映像信号入力部１１により入力した平面映像の基準画素位置が変化した場合に、外部入力手段からテーブル補正パラメータを入力して、当該入力したテーブル補正パラメータに、歪み補正テーブル記憶部１５ａに記憶されたテーブル補正パラメータを更新する。

この外部入力手段としては、歪み補正ユニット３に備えられた信号入力Ｉ／Ｆによって実現される。この信号入力Ｉ／Ｆは、例えばパーソナルコンピュータと接続され、当該パーソナルコンピュータから出力されたテーブル補正パラメータを入力してテーブル補正パラメータ記憶部１５ｂに記憶させる。ここで、テーブル補正パラメータ記憶部１５ｂには、テーブル補正パラメータと共に映像生成機器４を特定する情報を記憶しておく。これにより、歪み補正部１２は、映像信号入力部１１に入力された平面映像信号の出力元となる映像生成機器４に対するテーブル補正パラメータを特定して、歪み補正テーブル１３０を補正することができる。

この外部入力手段としては、映像生成機器４と接続された映像入力端子３ａ，３ｂ，３ｃ，３ｄであっても良い。映像入力端子３ａ，３ｂ，３ｃ，３ｄは、平面映像信号と共に、テーブル補正パラメータを入力する。これにより、歪み補正部１２は、平面映像信号を出力した映像生成機器４に対応するテーブル補正パラメータを選択して、歪み補正テーブルを補正することができる。

この仮想現実感生成システムにおけるテーブル補正パラメータは、歪み補正テーブル１３０の基準位置を縦方向に移動させることによって出力映像１００’の視野を上下移動させることや、歪み補正テーブル１３０の基準位置を横方向に移動させることによって出力映像１００’の視野を水平移動させることができる。また、歪み補正テーブル１３０の基準位置を中心に、入力画像１００から取り込む画素の範囲を拡大又は縮小することによって、入力画像１００に対してズームイン（前進）又はズームアウト（後退）した出力映像１００’を作成することができる。例えば、テーブル補正パラメータを縦方向、横方向の基準画像の差、及び、縦方向、横方向の倍率とする４つの値に設定し、歪み補正テーブル１３０による座標変換を簡単な四則演算にする。これにより、歪み補正処理の計算負荷を低減することができ、簡単且つ低コストの構成なハードウェアによってリアルタイム性を持った歪み補正処理を実現できる。

他の仮想現実感生成システムは、図９に示すように、映像生成機器４として光学レンズ機構を備えたカメラ装置４Ａを用い、当該カメラ装置４Ａによって撮像したカメラ画像から平面映像信号を映像生成ユニット４Ｂにより生成して、上述した歪み補正ユニット３に供給する。

このような仮想現実感生成システムは、映像生成ユニット４Ｂによって生成された平面映像信号が、カメラ装置４Ａにおける光学レンズ機構が持つ光学特性によって平面映像信号に歪みが現れる。そこで、仮想現実感生成システムは、テーブル補正パラメータとして、映像信号入力部１１により入力する平面映像信号を生成するカメラ装置４Ａ及び映像生成ユニット４Ｂにおける光学レンズの幾何学歪みを補正する光学歪み補正パラメータ１５ｃを含める。そして、歪み補正部１２は、歪み補正テーブル記憶部１５ａにより記憶した歪み補正テーブルを、テーブル補正パラメータ記憶部１５ｂに記憶されたテーブル補正パラメータ及び光学歪み補正パラメータを用いて補正する。

光学歪み補正パラメータ１５ｃは、カメラ装置４Ａ及び映像生成ユニット４Ｂによって生成した平面映像が光学歪みによってずれる分だけ、歪み補正テーブルの値を変更する。すなわち、光学歪みによってずれた平面映像の基準位置を、歪み補正テーブルにおける基準位置に一致させるように、歪み補正テーブルにおける入力画素の座標値を補正するものである。

なお、この光学歪み補正パラメータは、外部のパーソナルコンピュータから入力しても良い。ここで、歪み補正ユニット３に接続されている映像生成機器４に応じた光学歪み補正パラメータを入力することによって、歪み補正部１２は、接続された映像生成機器４に最適な光学歪み補正パラメータを用いて歪み補正処理を行うことができる。

このような歪み補正処理は、図１０に示すように、カメラ装置４Ａ及び映像生成ユニット４Ｂによって生成された平面映像信号によって表される入力画像１００の基準位置と歪み補正テーブル１３０の基準位置とのずれをテーブル補正パラメータによって補正する。そして、歪み補正部１２は、当該補正した入力画像１００に対してカメラ歪み補正のための光学歪み補正パラメータ１５ｃを用いた補正を行って、出力映像１００’を作成することができる。

また、カメラ装置４Ａ及び映像生成ユニット４Ｂが立体カメラであって右眼用平面映像信号と左眼用平面映像信号を時系列的に交互に歪み補正ユニット３に対して出力する場合、当該右眼用平面映像信号と左眼用平面映像信号との出力タイミングに同期してテーブル補正パラメータ及び光学歪み補正パラメータを切り換えることとなる。

また、仮想現実感生成システムは、映像生成ユニット４Ｂによって生成された平面映像信号が、カメラ装置４Ａにおける光学レンズ機構が持つ光学特性によって平面映像信号に輝度ムラが現れる。そこで、仮想現実感生成システムは、図１１に示すように、歪み補正部１２により作成された出力映像１００’に輝度補正を施すための輝度補正テーブル１５ｄを記憶しておく。そして、歪み補正部１２は、記憶された輝度補正テーブル１５ｄを参照して、出力映像１００’の画素ごとに輝度補正処理を施して、任意形状の投影面に投影させるための映像信号を作成する。

この輝度補正テーブル１５ｄは、映像信号入力部１１により入力する平面映像信号を生成するカメラ装置４Ａ及び映像生成ユニット４Ｂにおける光学レンズの輝度ムラを補正する補正値を含む。そして、輝度補正手段としての歪み補正部１２は、当該補正値によって輝度補正テーブルを補正して、当該補正した輝度補正テーブルを参照して出力映像１００’の画素ごとに輝度補正処理を施す。

このような仮想現実感生成システムによれば、カメラ装置４Ａにおけるレンズによって平面映像信号に歪みが発生しても、当該平面映像信号に対して、スクリーン１の形状に応じた歪み補正に加えて、当該レンズによる歪み補正を行うことができ、より映像歪みを抑制することができる。また、この仮想現実感生成システムによれば、カメラ装置４Ａにおけるレンズによって輝度ムラが発生しても、当該平面映像信号に対して、スクリーン１の形状に応じた歪み補正に加えて、当該レンズによる輝度ムラ補正を行うことができる。また、映像投影機器２におけるレンズの歪みや輝度ムラについても、カメラ装置４Ａの場合と同様に補正処理を行うことができる。

また、カメラ装置４Ａ又は映像投影機器２の光学レンズで発生する輝度ムラに対する輝度補正については、色合い補正の観点で、 例えばＲＧＢの３原色に対して、各々別の輝度補正テーブルを設けておき、さらにカメラ装置４Ａ又は映像投影機器２の光学レンズで発生する歪みに対する補正と連動して、色に応じ歪み補正テーブルを変えることもできる。例えばＲＧＢの３原色に対して、別のＲＧＢに対応する３つの歪み補正テーブルを設けることができる。また、カメラ装置４Ａ又は映像投影機器２の光学レンズにおけるレンズ歪みや輝度ムラに関するパラメータのうち、変化する頻度が少ないパラメータについては、予め計算を行って、歪み補正テーブルや輝度補正テーブルに補正値を組み込んでおくことにより、リアルタイム処理の際の計算を効率化することができる。

更に他の仮想現実感生成システムは、映像信号入力部１１を複数備えたものとする。この仮想現実感生成システムは、歪み補正テーブルを、任意形状の投影面の領域ごとに、何れかの映像信号入力部１１及び当該映像信号入力部１１によって入力された平面映像信号の画素が対応付けられている。また、テーブル補正パラメータは、映像信号入力部１１ごとに異なるものとなっている。すなわち、映像信号入力部１１によって異なる平面映像を入力するために、各テーブル補正パラメータによって歪み補正テーブルを補正して歪み補正処理を行う。これにより、各平面映像の基準位置を、歪み補正テーブルにおける基準位置に一致させた上で、歪み補正テーブルによる座標変換を行うこととなる。

この仮想現実感生成システムは、図１２（ａ）に示すように、複数の入力画像１００からなる入力画像群のそれぞれを歪み補正テーブルによって座標変換して、一枚の出力映像１００’を作成する。この仮想現実感生成システムにおいて、歪み補正テーブルは、図１２（ｂ）に示すように、入力画像番号（Ｎｏ．）、当該入力画像における画素、当該入力画像における画素の変換後における出力画像内の画素が対応付けられている。すなわち、任意形状のスクリーン１における投影面の領域（出力画素）ごとに、何れかの映像信号入力部１１（入力画像番号）及び当該映像信号入力部１１によって入力された平面映像信号の画素（入力画像の画素）が対応付けられて構成される。

また、テーブル補正パラメータは、各入力画像１００ごとに設定されている。

歪み補正部１２は、入力画像１００ごとのテーブル補正パラメータによって歪み補正テーブルを補正する。そして、補正後の歪み補正テーブルを参照して、補正したテーブル補正パラメータに対応する映像信号入力部１１によって入力された平面映像信号の画素を取り出して、当該映像信号入力部１１及び画素に対応した歪み補正テーブルにおける任意形状の投影面の領域に相当する画素を有する出力映像信号を作成する。これにより、仮想現実感生成システムは、ピクチャ・イン・ピクチャ形式や、モザイク状などの多様な出力画像に変換して表示させる処理を、リアルタイム性を損なうことなく行うことができる。

なお、多眼式カメラなどによって撮像された映像のように１つの平面映像信号内に複数のカメラ映像が含まれるものがある。この複数のカメラ映像を含む平面映像信号を単一の映像信号入力部１１によって入力した場合には、平面映像における座標値と各カメラ映像とを対応付けた歪み補正テーブルを作成しておく。この場合、テーブル補正パラメータ、光学歪み補正パラメータは、各カメラ画像に対して設定する。これにより、各カメラ画像に対応した入力画素に対してテーブル補正パラメータ及び光学歪み補正パラメータによって補正を行って、歪み補正処理を施した出力画像を作成することができる。

映像信号入力部１１を複数備えた仮想現実感生成システムは、歪み補正部１２の歪み補正処理によって、複数の平面映像信号を重畳して重畳映像を作成することもできる。重畳する映像としては、テーブル補正パラメータによって歪み補正テーブルを補正し、歪み補正処理を行うことで映像の重畳位置や重畳映像のスケールを一致させる必要があるものがある。例えば、各種の訓練を行うための教師映像や、サイズや位置、解説などを表示するためのコンピュータグラフィックなどが挙げられる。

この仮想現実感生成システムは、重畳する各映像に対してテーブル補正パラメータを設定して記憶しておく。そして、各映像のテーブル補正パラメータを用いて歪み補正テーブルの入力画素の座標値を補正する。これにより、各平面映像の基準位置に対して、異なるずれ量を与える。これにより、仮想現実感生成システムは、複数の映像の重畳位置を調整して、歪み補正処理を施した出力画像を作成できる。

仮想現実感生成システムは、映像を重畳させる方法を指定させるパラメータを設定できる。この映像を重畳させる方法としては、例えば映像Ａと映像Ｂとを重畳させる場合、重畳する映像Ａ，Ｂ間の輝度或いは色の範囲に応じて、映像Ａ又は映像Ｂの輝度又は色を１００％にする方法や、映像Ａの輝度又は色をＸ％とし映像Ｂの輝度又は色を（１００−Ｘ）％にして混合することができる。

このような仮想現実感生成システムによれば、複数の映像を重畳させる場合であっても、各映像をテーブル補正パラメータによってずれを補正し、歪み補正テーブルによって座標変換を行うことによって複数の映像を重畳できる。したがって、この仮想現実感生成システムによれば、リアルタイム性を損なうことなく、各映像を適切な位置で重畳することができる。

また、仮想現実感生成システムは、図１３（ａ）に示すように、単一の入力画像１００に対して歪み補正処理及びテーブル補正パラメータによるずれ調整を行うことによって、出力映像１００’として、右眼用映像と左眼用映像からなる立体映像を作成することができる。ここで、歪み補正テーブルは、図１３（ｂ）に示すように、入力画像１００の画素と、左眼用映像のための出力画像の画素と、右眼用映像のための出力画像の画素とからなる。このとき、仮想現実感生成システムは、入力画像１００に対して異なるずれ量で座標変換を行うことによって、右眼用映像基準位置の右眼用映像と、当該右眼用映像基準位置とは所定量だけずれた左眼用映像基準位置の左眼用映像とを作成することができる。

更に、仮想現実感生成システムは、図１４に示すように、入力画像１００に含まれる物体位置をずらして、出力映像１００’を作成することができる。例えば入力画像１００における物体の所定位置を入力画像１００の基準位置とし、当該物体であるオブジェクトの位置をテーブル補正パラメータによってずらす。これにより、出力映像１００’は、物体位置がずれたものとすることができる。

［歪み補正テーブルの補足説明］
つぎに、上述したように構成された仮想現実感生成システムにおいて、歪み補正テーブルの作成処理について、補足的に説明する。

歪み補正テーブルを作成するためには、コンピュータによって実現される、歪み補正テーブルに関するテーブル・作成出力部の機能として、スクリーンモデル創造部、プロジェクタ配置・セットアップ部、ユーザ位置設定部を主として有する。スクリーンモデル創造部は、図１５に示すように、スクリーン１のメッシュモデルを創造するものである。このスクリーンモデル創造部は、先ず、基本的な３つのモデルが記憶されている。すなわち、球形のみのモデル３１と、円筒のみのモデル３２と、混合モデル３３とである。混合モデル３３は、球形を主とし他の平面又は曲面を混合した球面混合モデル３４と、円筒を主として他の平面又は曲面を混合した円筒混合モデル３５と、平面を主として他の平面又は曲面を混合した平面混合モデル３６とから構成されている。そして、各モデル３１、３２、３４〜３６の内容は、何れか１つを設定し、更に、入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａを入力することで、実際のスクリーン１に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。なお、スクリーンモデル創造部に記憶しておく基本的なモデルとしては、図１５に示したモデル３１〜３３に限らず、当該モデル３１〜３３と並列して、楕円形のモデル、長方形のモデルなども設定しておき、入力パラメータの入力、メッシュモデルの作成を行うことができる。これによって、楕円形や長方形、当該楕円形や長方形を複数組み合わせたスクリーン１であっても、当該スクリーン１に投影した映像に歪みを発生させない歪み補正テーブルを作成できる。

基本モデルと入力パラメータとしては、以下のとおりである。

スクリーン1が球面（真球の一部）の場合、入力パラメータとしては、図１６で示すように、球形モデルの半径Rと球形モデルの中心から切断面までの距離Ａとである。

ここで、球形モデルは、式１のように表される。

ｘ^２＋ｙ^２＋ｚ^２＝Ｒ^２ （式１）
ここで、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１である。ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｚ＝Ａ、ｙ＝０を代入することによって求められ、ｙ１＝ｚ１となる。従って、上述のようにスクリーン１が球面の場合、歪み補正テーブルを作成するための入力パラメータとしては、球形モデルの半径Rと、球形モデルの中心から切断面までの距離Ａとを入力すればよい。

また、スクリーン１の正面から見た形状が、図１８のように、球面スクリーンの一部を上下左右のある端から切り欠いた形状の球面スクリーンであった場合に対応した球面モデルは、以下のように表される。例えば、スクリーン１が図１８（ａ）のように正面から見た際に下端から切断された球面スクリーンであった場合は、対応した球面モデルは、図１７で示すように、式１とＡ≦ｘ≦Ｒ、−Ｂ≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１と表される。ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｘ＝Ａ、ｙ＝０を代入することによって求められ、ｘ１は、式１において、ｙ＝−Ｂ、ｚ＝０を代入することによって求められる。従って、上述のスクリーン１の場合、歪み補正テーブルを求めるための入力パラメータとしては、球面モデルの半径Ｒ、球面モデルの中心から切断面までの距離Ａと共に、球面モデルの中心から切り欠く位置までの距離Ｂとなる。

同様に、スクリーン１が図１８（ｂ）、図１８（ｃ）、図１８（ｄ）のように、正面から見た際にそれぞれ上端、左端、右端から切断された球面スクリーンであった場合は、それぞれに対応した球面モデルは以下のように表される。図１８（ｂ）のように、上端から切断された球面スクリーンであった場合は、球面モデルは、式１とＡ≦ｘ≦Ｒ、−ｙ１≦ｙ≦Ｂ、−ｚ１≦ｚ≦ｚ１である。図１８（ｃ）のように、右端から切断された球面スクリーンであった場合は、球面モデルは、式１とＡ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦Ｂである。図１８（ｄ）のように、左端から切断された球面スクリーンであった場合は、球面モデルは、式１とＡ≪ｘ≪Ｒ、−ｙ１≪ｙ≪ｙ１、−Ｂ≪ｚ≪ｚ１である。従って、歪み補正テーブルを作成するための入力パラメータとしては、球面モデルの半径Ｒ、球面モデルの中心から切断面までの距離Ａと共に、球面モデルの中心から切り欠く位置までの距離Ｂであればよい。なお、歪み補正テーブルを作成するための入力パラメータを増やせば、２箇所以上の切断を組み合わせたような形状をしたスクリーン１にも対応ができる。

一方、スクリーン1が円筒を切断したような形状のアーチスクリーンであった場合、対応するスクリーンモデルは図１９のような円筒モデルで表される。

図１９の円筒モデルのｘｚ平面の断面上の円は、式２のように表される。

ｘ^２＋ｚ^２＝Ｒ^２ （式２）
ここで、Ａ≦ｘ≦Ｒ、０＜ｙ≦Ｈ、−ｚ１≦ｚ≦ｚ１の制限を加えることで、円筒モデルの表面の式となる。ｚ１は、式２において、ｘ＝Ａを代入することによって求められる。

従って、歪み補正テーブルを作成するための入力パラメータとしては、円の半径Ｒ（アーチスクリーンの半径Ｒ）と、円の中心から切断面までの距離Ａと、（アーチスクリーンの）高さＨとである。

さらにまた、図２０（ａ）は、複数平面（長方形の面が複数存在）からなるスクリーン１の投影面の場合を示し、この場合、歪み補正テーブルを作成するための入力パラメータとしては、図２０（ｂ）で示すような上面から見たときの面の配置と、面の高さＨとである。図２０（ｂ）の場合、
ｚ＝−ｘ＋１（０≦ｘ＜１） （式３−１）
ｚ＝０（１≦ｘ＜３） （式３−２）
ｚ＝ｘ−３（３≦ｘ≦４） （式３−３）
０＜ｙ≦Ｈ （式３−４）
である。

また、複数の球面を連結したような形状球面を真横に並べた形状をしたスクリーン１の場合には、歪み補正テーブルを作成するための入力パラメータとしては、図１６または図１７、１８で示す例と同様に、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの切り欠く位置までの距離Ｂと、横に並べる球の個数とを入力すればよい。すなわち、例えば、上下に２つの球面スクリーンを並べてスクリーン１とした場合、図１８（ａ）と図１８（ｂ）とを組み合わせることで実現することができ、同様に左右に２つの球面スクリーンを並べるスクリーン１とした場合、図１８（ｃ）と図１８（ｄ）とを組み合わせることで実現することができ、歪み補正テーブルを作成するための入力パラメータとしては、前述のように、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの切り欠く位置までの距離Ｂと、横に並べる球の個数であればよいことが理解される。

複数の円筒面のスクリーン１の場合には、上面から見た配置図に、面の高さＨと、各スクリーン１の半径Ｒ及び距離Ａと、個数とを入力すればよい。このようにして、スクリーン１の投影面の関数式が決まるので、ｘ、ｙ、ｚに適当な値を代入することで、或る一定個数以上のスクリーン１上の点をサンプリング点として記録することで、スクリーン１の投影面形状を特定することができる。各スクリーン１の投影面の関数式は、スクリーンモデル創造部において、予め各モデル３１，３２，３４〜３６内に格納されて、歪み補正テーブルの設定時に呼び出すことができる。そして、入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａとして上記のパラメータを入力するだけで、実際のスクリーン１に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。

なお、上記のようなスクリーン１の投影面上のサンプリング点は、ｘ軸周り、ｙ軸周り、ｚ軸周りに回転可能（傾いたスクリーン１を定義可能）である。

すなわち、ｘ軸周りのα度の回転は、式４で表すことができる。

また、ｙ軸周りのβ度の回転は、式５で表すことができる。

さらにまた、ｚ軸周りのγ度の回転は、式６で表すことができる。

このようにして得たスクリーン１の投影面上のサンプリング点に、歪み補正ユニット３に入力される平面映像信号の各サンプリング点をマッピングさせる対応マップを歪み補正テーブルとして作成することで、歪み補正ユニット３で歪み補正処理を行わせることができ、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆくことで、歪み補正処理が施された出力映像信号を作成させることができる。

この歪み補正テーブルは、使用するスクリーン１の投影面形状が決定し、歪み補正テーブルを作成するための各パラメータを入力し、一旦作成すれば、パラメータ等の変更がない限り変更する必要なく歪み補正ユニット３に供給されて、歪み補正ユニット３内に記憶される。

以上の図１６〜図２０を用いた説明は、図２１に示すようなスクリーン１の投影面形状に対する歪み補正処理を歪み補正ユニット３によって実行させるものである。すなわち、平面の投影面に対する平面映像信号を、そのまま球形のスクリーン１に投影すると、図２１（ａ）に示すように歪んだ映像となり、このため球形のスクリーン１に投影された映像の歪みが無くなるように、図２１（ｂ）に示すように予め歪ませた出力映像信号を作成するものである。しかしながら、プロジェクタ２ａ、２ｂのスクリーン１に対する配置位置の違い及び観察者のスクリーン１に対する位置の違いなどから、さらなる歪み補正が必要になる。従って、上述のようにして求めた歪み補正テーブルには、さらにそのような補正を施すことができるようになる。

以下に、投影面が球面のスクリーン１に対するプロジェクタ２ａ、２ｂ及び観察者の位置の違いに対する歪み補正テーブルの作成処理について説明する。この処理は、プロジェクタ配置・セットアップ部及びユーザ位置設定部からの入力に応答して行われる。

図２２は、上述した球面補正に、プロジェクタ２ａ、２ｂ及び観察者の位置補正を含めた歪み補正の手法を説明するための図である。先ず補正にあたり、図２２に示すように、観察者の視点位置よりビューフラスタム及びプロジェクタ２ａ、２ｂの投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をＰ０、底面をＰ０，０、Ｐｍ，ｎ、Ｐ０，ｎとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をＱ０、底面をＱ０，０、Ｑｍ，０、Ｑｍ，ｎ、Ｑ０，ｎとして表現される。ここで、ｍ，ｎは映像解像度を表すものとし、映像信号が、例えばＳＸＧＡの場合は、ｍ＝１２７９，ｎ＝１０２３である。なお、底面は仮想スクリーン面とも呼ばれる。

ここで、簡易表現のため、ｍ＝ｉにおけるｙ−ｚ二次元断面から見たイメージを図２３に示す。先ず、仮想スクリーン面１ａ内に点Ｐｉ，ｊを想定し、ベクトルＰ０Ｐｉ，ｊとドーム型のスクリーン１（メッシュモデル３１ｂ，３２ｂ，３４ｂ〜３６ｂ）との交点Ｒｉ，ｊを求める。ｉ，ｊを、０≦ｉ≦ｍ，０≦ｊ≦ｎで変化してゆくと、Ｐｉ，ｊ→Ｑｉ，ｊ対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。

すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取り出し、このイメージにＰｉ，ｊ→Ｑｉ，ｊ対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行わせることで、歪み補正を実現させる。グリッド映像にＰｉ，ｊ→Ｑｉ，ｊ対応マップを適用したイメージを図２４に示す（すなわち図２１（ｂ）とは逆になる）。この歪み補正処理は、スクリーン１の投影面形状を制限しない。従って、上述のようにして求めた球面のメッシュモデル３１ｂだけでなく、他のメッシュモデル３２ｂ、３４ｂ〜３６ｂ等へも適用可能である。

このように、歪み補正処理を行わせるための歪み補正テーブルを使用させることにより、平面の表示面に対する平面映像信号に対して逐次歪み補正処理をさせて、映像光をプロジェクタ２ａ、２ｂから出射させることができ、任意形状のスクリーン１に歪みの無い映像を表示させることができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した仮想現実感生成システムの構成を示すブロック図である。 本発明を適用した歪み補正ユニットの機能的な構成を示すブロック図である。 本発明を適用した歪み補正ユニットのハードウェア的な構成を示すブロック図である。 本発明を適用した歪み補正ユニットのソフトウェア的な構成を示すブロック図である。 歪み補正テーブルを利用した歪み補正処理を説明するための図であり、（ａ）は歪み補正処理前の平面映像、（ｂ）は歪み補正処理後の出力映像である。 輝度補正テーブルを利用した輝度補正処理を説明するための図であり、（ａ）は補正処理前の平面映像、（ｂ）は輝度補正処理後の出力映像、（ｃ）は輝度補正及び歪み補正後の出力映像である。 輝度補正テーブルを利用した輝度補正処理を説明するための図であり、（ａ）は補正処理前の平面映像、（ｂ）は歪み補正処理後の出力映像、（ｃ）は輝度補正及び歪み補正後の出力映像である。 本発明を適用した仮想現実感生成システムによるテーブル補正パラメータを用いた歪み補正処理の説明図である。 本発明を適用した仮想現実感生成システムにおいて、テーブル補正パラメータを含む機能的なブロック図である。 本発明を適用した仮想現実感生成システムによるテーブル補正パラメータ及び光学歪み補正パラメータを用いた歪み補正処理の説明図である。 本発明を適用した仮想現実感生成システムにおいて、テーブル補正パラメータ及び光学歪み補正パラメータを含む機能的なブロック図である。 本発明を適用した仮想現実感生成システムにおける、（ａ）複数の映像から出力映像を作成する説明図、（ｂ）歪み補正テーブルを示す図である。 本発明を適用した仮想現実感生成システムにおける、（ａ）出力画像のずれを調整して立体映像を生成する説明図、（ｂ）歪み補正テーブルを示す図である。 本発明を適用した仮想現実感生成システムにおける基準位置をずらして物体位置をずらすことができることの説明図である。 パラメータ調整用パーソナルコンピュータのスクリーンモデル創造部のブロック図である。 球面モデルと、それに対応した入力パラメータを示す図である。 球面の一部を切り欠いたモデルと、それに対応した入力パラメータを示す図である。 球面スクリーンの一部を切り欠いた際の正面形状を示す図である。 円筒モデルと、それに対応した入力パラメータを示す図である。 複数平面モデルと、それに対応した入力パラメータを示す図である。 スクリーンの球面形状に対する歪み補正処理を説明するための図である。 歪み補正処理の内容を示す図である。 半球状のスクリーンの中央部で切断した図４の二次元断面図である。 グリッド映像の歪み補正のイメージ図である。

符号の説明

１ スクリーン
２ 映像投影機器
２ａ，２ｂ プロジェクタ
３ 歪み補正ユニット３
４ 映像生成機器
１１ 映像信号入力部
１２ 映像信号処理回路
１２ 歪み補正部
１３ デジタルシグナルプロセッサ
１４ 計算用メモリ
１５ テーブル用メモリ
１５ａ 歪み補正テーブル記憶部
１５ｂ テーブル補正パラメータ記憶部
１５ｃ 光学歪み補正パラメータ
１５ｄ 輝度補正テーブル
１６ 制御信号用メモリ
１７ 出力部
２１ 入力映像処理部
２２ 映像切替／分配部
２３ 映像合成部
２４ 補正部
２５ 出力映像処理部
２６ 同期処理部
２７ 変換テーブル保存部
２８ 制御信号保存部
３１ モデル
３１，３２，３４〜３６ モデル
３１ａ，３２ａ，３４ａ〜３６ａ 入力パラメータ
３１ｂ，３２ｂ，３４ｂ〜３６ｂ メッシュモデル
３３ 混合モデル
３４ 球面混合モデル
３５ 円筒混合モデル
３６ 平面混合モデル

Claims (6)

1. 任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、
   平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、
   平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルであって、前記映像信号入力手段により入力した平面映像信号に歪み補正処理を施すための歪み補正テーブルを記憶する歪み補正テーブル記憶手段と、
   前記映像信号入力手段により入力した平面映像の基準画素位置と、前記歪み補正テーブル記憶手段に記憶した歪み補正テーブルにおける基準位置とのずれを補正するテーブル補正パラメータを記憶するテーブル補正パラメータ記憶手段と、
   前記歪み補正テーブル記憶手段により記憶した歪み補正テーブルを、前記テーブル補正パラメータ記憶手段に記憶されたテーブル補正パラメータを用いて補正し、当該補正された歪み補正テーブルを参照して前記映像信号入力手段により入力した平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、
   前記歪み補正手段により作成された出力映像信号を前記投影手段に出力する出力手段と
   を備えることを特徴とする映像信号処理装置。
2. 前記テーブル補正パラメータを外部から入力する外部入力手段をさらに備え、
   前記映像信号入力手段により入力した平面映像の基準画素位置が変化した場合に、前記外部入力手段からテーブル補正パラメータを入力して、当該入力したテーブル補正パラメータに、前記テーブル補正パラメータ記憶手段に記憶されたテーブル補正パラメータを更新することを特徴とする請求項１に記載の映像信号処理装置。
3. 前記テーブル補正パラメータとして、前記映像信号入力手段により入力する平面映像信号を生成する映像生成装置における光学レンズ又は前記投影手段における光学レンズの幾何学歪みを補正する光学歪み補正パラメータを含み、
   前記歪み補正手段は、前記歪み補正テーブル記憶手段により記憶した歪み補正テーブルを、前記テーブル補正パラメータ記憶手段に記憶されたテーブル補正パラメータ及び前記光学歪み補正パラメータを用いて補正することを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
4. 前記歪み補正手段により作成された出力映像信号に輝度補正を施すための輝度補正テーブルを記憶する輝度補正テーブル記憶手段と、
   前記輝度補正テーブル記憶手段に記憶された輝度補正テーブルを参照して、前記出力映像信号の画素ごとに輝度補正処理を施して、前記任意形状の投影面に投影させるための映像信号を作成する輝度補正手段とを備え、
   前記輝度補正テーブルは、前記映像信号入力手段により入力する平面映像信号を生成する映像生成装置における光学レンズ又は前記投影手段における光学レンズの輝度ムラを補正する補正値を含み、
   前記輝度補正手段は、当該補正値によって輝度補正テーブルを補正して、当該補正した輝度補正テーブルを参照して前記出力映像信号の画素ごとに輝度補正処理を施すこと
   を特徴とする請求項１乃至請求項３の何れか一項に記載の映像信号処理装置。
5. 前記映像信号入力手段を複数備え、
   前記歪み補正テーブルは、前記任意形状の投影面の領域ごとに、前記何れかの映像信号入力手段及び当該映像信号入力手段によって入力された平面映像信号の画素が対応付けられ、
   前記テーブル補正パラメータ記憶手段は、前記映像信号入力手段ごとのテーブル補正パラメータを記憶し、
   前記歪み補正手段は、前記映像信号入力手段ごとに、前記テーブル補正パラメータによって歪み補正テーブルを補正し、補正した歪み補正テーブルを参照して前記映像信号入力手段ごとに入力された平面映像信号の画素を取り出して、前記出力映像信号を作成すること
   を特徴とする請求項１乃至請求項４の何れか一項に記載の映像信号処理装置。
6. 前記映像信号入力手段を複数備え、
   前記テーブル補正パラメータ記憶手段は、前記映像信号入力手段ごとのテーブル補正パラメータを記憶し、
   前記歪み補正手段は、前記映像信号入力手段ごとに、前記テーブル補正パラメータによって歪み補正テーブルを補正し、補正した歪み補正テーブルを参照して前記映像信号入力手段ごとに入力された平面映像信号の画素を取り出し、複数の平面映像が重畳された前記出力映像信号を作成することを特徴とする請求項１乃至請求項４の何れか一項に記載の映像信号処理装置。

Images