JP2006229768A - 映像信号処理装置及び該方法並びに仮想現実感生成装置 - Google Patents

Abstract

【課題】 プロジェクタから任意曲率の投射面に映像を投射するにあたり、略リアルタイムで入力映像信号から出力映像信号を生成し歪みの無い映像を映し出し得るようにする。
【解決手段】 映像信号処理装置１は、入力映像処理部２６が、入力端子１３から入力されたＤＶ方式の映像信号をメモリ１８内のフレームメモリに記憶すると共に、設定手段６から映像信号の画面サイズを入力することでフレームメモリに記憶した映像信号のフレームメモリにおける先頭メモリアドレス及び使用メモリサイズを歪み補正部２５に出力して、歪み補正部２５が、観察者及びプロジェクタ３の投射面に対する位置関係に基づいて、平面の表示面と投射面のメッシュモデルとの対応マップを作成し、入力映像処理部２６からの先頭メモリアドレス及びメモリサイズに基づいて、平面の入力映像を対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで歪み補正を実現する。
【選択図】 図１

Description

本発明は、平面の表示面に対する通常の入力映像信号を、プロジェクタから壁面等の任意曲率の曲面に投射しても歪み無く映し出すことができるように、入力映像信号に予め曲面に対する歪み補正を施す映像信号処理装置及びその方法並びにそれを用いて構成される仮想現実感生成装置に関する。

上述の曲面への投射技術は、仮想現実感（バーチャルリアリティ）生成装置で既に実用化されている。例えば、その先行技術としては、特許文献１等が挙げられる。この仮想現実感生成装置は、有効視野角以上で、観察者に凹面を向けた半球状のスクリーンに映像を投射することで、観察者の視野角を超える映像を映し出し、仮想現実感を生成するようになっている。この仮想現実感生成装置に入力する入力映像信号は、当該仮想現実感生成装置用に生成したＣＧ（コンピュータグラフィック）の信号であった。

なお、有効視野角とは、人間が物を詳細に認識できる視野角であり、水平方向に約１４０度、垂直方向に約８５度とされている。
特許第３３８７４８７号公報

ところで、上記特許文献１に係る仮想現実感生成装置に入力する入力映像信号は、当該仮想現実感生成装置用に生成した信号となっているため、入力映像信号に制限あった。

本発明は、上記事情に鑑みて為された発明であり、当該仮想現実感生成装置用に生成した信号でなくても、予め曲面に対する歪み補正を施すことができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。そして、この映像信号処理装置を用いた仮想現実感生成装置を提供することを目的とする。

上述の目的を達成するために、本発明の一態様に係る、投影手段から任意曲率の投射面に映像を投射するにあたって、平面の表示面に対する映像信号に予め前記投射面に対する歪み補正を施して前記投影手段へ与える映像信号処理装置は、平面の表示面に対するＤＶ方式の映像信号を入力するためのＤＶ端子と、前記ＤＶ端子から入力された前記映像信号をフレームメモリに記憶すると共に、前記映像信号の画面サイズを入力することで該フレームメモリに記憶した前記映像信号の前記フレームメモリにおける先頭メモリアドレス及び使用メモリサイズを出力する入力映像処理手段と、複数種類に亘る規定の投射面形状に関する関数式を予め有し、前記規定の投射面形状の何れか又はその組合せを選択し、変数パラメータを入力することで前記関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、観察者及び前記投影手段の前記投射面に対する位置関係に基づいて、前記平面の表示面と投射面のメッシュモデルとの対応マップを作成し、前記入力映像処理部から出力された先頭メモリアドレス及びメモリサイズに基づいて、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記歪み補正を実現する歪み補正処理手段とを備えることを特徴とする。

そして、上述の映像信号処理装置において、前記歪み補正処理部で歪み補正した映像信号を出力する出力端子をさらに備えることを特徴とする。

また、これら上述の映像信号処理装置において、前記歪み補正処理部で歪み補正した映像信号を記憶する映像信号記憶手段をさらに備えることを特徴とする。

さらに、これら上述の映像信号処理装置において、ＤＶ方式とは異なる方式の映像信号を入力するための入力端子と、前記入力端子から入力された映像信号をＤＶ方式の映像信号に変換して前記入力映像信号処理部に出力する映像信号変換手段とをさらに備えることを特徴とする。

そして、上述の映像信号処理装置において、前記入力端子の方式に対応させた映像信号の画面サイズを記憶する画面サイズ記憶手段と、前記入力端子の方式に応じた画面サイズを前記画面サイズ記憶手段から取り出し、該取り出した画面サイズを前記入力映像処理手段に出力する画面サイズ選択手段とをさらに備えることを特徴とする。

また、本発明に係る他の一態様に係る、観察者に凹面を向けた任意曲率の投射面を有する該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、平面の表示面に対する入力映像信号に予め前記投射面に対する歪み補正を施して出力する映像信号処理装置と、該映像信号処理装置から出力された映像信号に基づいた映像を前記スクリーンへ投影する投影手段とを備える仮想現実感生成装置において、前記映像信号処理装置は、上述した何れかの映像信号処理装置であることを特徴とする。

さらに、本発明に係る他の一態様に係る、観察者に凹面を向けた球面状で鏡面反射可能な広視野角のスクリーンと、平面の表示面に対する入力映像信号に予め前記投射面に対する歪み補正を施して出力する左右各チャンネルにそれぞれ設けられた映像信号処理装置と、前記各映像信号処理装置を制御し前記左右各チャンネルの映像信号間の同期を確立する同期手段と、前記各映像信号処理装置からの映像信号を互いに直行する偏光の映像としてそれぞれ前記スクリーンへ投影する投影手段と、前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを備える仮想現実感生成装置において、前記映像信号処理装置は、上述の何れかの映像信号処理装置であることを特徴とする。

そして、本発明に係る他の一態様に係る、投影手段から任意曲率の投射面に映像を投射するにあたって、平面の表示面に対する映像信号に予め前記投射面に対する歪み補正を施して前記投影手段へ与える映像信号処理方法は、入力された平面の表示面に対するＤＶ方式の映像信号をフレームメモリに記憶する記憶ステップと、前記映像信号の画面サイズを入力することで該フレームメモリに記憶した前記映像信号の前記フレームメモリにおける先頭メモリアドレス及び使用メモリサイズを出力する出力ステップと、複数種類に亘る規定の投射面形状に関する関数式を予め有し、前記規定の投射面形状の何れか又はその組合せを選択し、変数パラメータを入力することで前記関数式に基づいて投射面のメッシュモデルを作成するモデル作成ステップと、観察者及び前記投影手段の前記投射面に対する位置関係に基づいて、前記平面の表示面と投射面のメッシュモデルとの対応マップを作成し、前記出力ステップで出力された先頭メモリアドレス及びメモリサイズに基づいて、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記歪み補正を実現する歪み補正処理ステップとを備えることを特徴とする。

このような構成の映像信号処理装置及び該方法並びに仮想現実感生成装置は、入力されたＤＶ方式の映像信号をフレームメモリに記憶した際における先頭メモリアドレス及び使用メモリサイズを入力映像処理手段が歪み補正処理手段に通知するので、平面の入力映像における先頭の画素を記憶したメモリアドレスが分かるから、対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を直ちに行うことができる。このため、入力映像信号から略リアルタイムで歪み補正を施した出力映像信号を生成することができる。

以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
（第１の実施形態）
図１は、第１の実施形態に係る映像信号処理装置を含む仮想現実感生成装置の全体構成を示す図である。この仮想現実感生成装置Ｍ１は、映像信号処理装置１に、任意曲面や複数の平面が組合わせられて成るスクリーン２と、スクリーン２に映像をそれぞれ投射するプロジェクタ３と、テレビジョン（ＴＶ）４−１、例えばＤＶＤやビデオテープ等の記録媒体を再生する映像再生装置４−２、ビデオカメラ等の動画を撮影する撮影装置４−３及びゲーム機４−４等の映像信号源４と、映像信号処理装置１にスクリーン２の曲面形状やプロジェクタ３の投射位置や画面サイズ等の設定データを与える設定手段６とを備えて構成される。そして、映像信号処理装置１は、パーソナルコンピュータ等で構成される設定手段６で設定された設定データに基づいて、映像信号源４から入力される平面の表示面に対する映像信号を補正してプロジェクタ３へ出力することで、スクリーン２に歪みのない映像を略リアルタイムで表示させる。ここで、スクリーン２は、観察者に仮想現実感をより効果的に与える観点から、観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンとしてもよい。

映像信号処理装置１は、ハードウェア部１１と、それを動作させるソフトウェア部１２とを備えて構成される。ハードウェア部１１は、映像信号を入力するための入力端子１３と、ＤＶ方式以外の信号方式の映像信号をＤＶ方式の映像信号に変換する信号方式変換回路１４と、映像信号を処理する映像信号処理回路１５と、演算データ等を記憶するメモリ１７と、プログラムや入出力の映像信号等を記憶するメモリ１８と、歪み補正を行った映像信号を出力する出力端子１９と、中央処理装置（ＣＰＵ）を含み各部を制御するデジタルシグナルプロセッサ（ＤＳＰ）１６とを備えて構成される。

映像信号は、周知のコンポジット方式のコンポジット信号、セパレート方式のセパレート信号、コンポーネント方式のコンポーネント信号及びＤＶ（Digital Video）方式のＤＶ信号等である。映像信号源４の各装置は、コンポジット信号、セパレート信号、コンポーネント信号及びＤＶ信号のうちの１又は複数の信号方式による映像信号を出力する。入力端子１３は、ＤＶ信号を入力するためのＤＶ端子と、ＤＶ方式とは異なる信号方式の映像信号を入力するための端子とを備えて構成される。このＤＶ方式とは異なる信号方式の映像信号を入力するための端子は、例えば、コンポジット信号を入力するためのコンポジット端子、セパレート信号を入力するためのＳ端子、コンポーネント信号を入力するためのコンポーネント端子である。信号方式変換回路１４は、ＤＶ方式とは異なる信号方式の映像信号を入力するための端子の種類に応じて設けられ、例えば、周知のコンポジット信号をＤＶ信号に変換するコンバータ回路や、周知のセパレート信号をＤＶ信号に変換するコンバータ回路や、周知のコンポーネント信号をＤＶ信号に変換するコンバータ回路である。設定手段６からの設定データは、ＵＳＢケーブル等で入力される。

ソフトウェア部１２は、後に詳述するように、スクリーン２のモデルを創造するスクリーンモデル創造部２１と、プロジェクタ３のスクリーン２に対する配置位置の設定及びプロジェクタ３の画角の設定を行うプロジェクタ配置・セットアップ部２２と、観察者のスクリーン２に対する位置の設定を行うユーザ位置設定部２３と、歪み補正部２５と、入力映像処理部２６とを備えて構成される。入力映像処理部２６は、まず、メモリ１８に映像描画用メモリであるフレームメモリのメモリ領域を確保する。そして、入力端子１３のＤＶ端子からＤＶ方式の映像信号が入力された場合には、入力映像処理部２６は、圧縮されているＤＶ方式の映像信号を圧縮手順とは逆手順によって伸長し、この伸長した１フレーム分の映像信号のデータをこのフレームメモリに、映像信号のデータの中央とフレームメモリの中央とが一致するように記憶する。あるいは、入力端子１３のＤＶ端子以外の端子から入力された場合には映像信号の信号方式をＤＶ方式の映像信号に変換した後に、入力映像処理部２６は、圧縮されているＤＶ方式の映像信号を圧縮手順とは逆手順によって伸長し、この伸長した映像信号のデータをこのフレームメモリに、映像信号のデータの中央とフレームメモリの中央とが一致するように記憶する。ＤＶ方式の映像信号では、通常、逆ハフマン符号化等の逆可変長符号化を施し、逆線形量子化を施し、そして、逆ＤＣＴ（Discrete Cosine Transform）等の逆直交変換を施して伸長される。そして、入力映像処理部２６は、フレームメモリに記憶した映像信号のデータが使用しているメモリ領域における先頭メモリアドレス及び使用メモリサイズを歪み補正部２５に通知する。この先頭メモリアドレス及び使用メモリサイズは、メモリ１８にフレームメモリのメモリ領域を確保した際のフレームメモリの先頭メモリアドレス及び入力映像信号の画面サイズ（解像度）に基づいて、映像信号のデータの中央とフレームメモリの中央とが一致するように記憶することから算出することができる。画面サイズは、例えば、設定手段６から設定データの一つとして映像信号処理装置１に入力される。

歪み補正部２５は、入力映像処理部２６にて平面の入力映像が画素に分解されたデータに、メモリ１８に設定されたフレームメモリに記憶された入力映像信号の先頭メモリアドレス及び使用メモリサイズに基づいて、各部２１〜２３での処理結果に対応した歪み補正、具体的にはテクスチャマッピングを施し、歪処理映像を作成する。これらのソフトウェア部１２による以下の処理は、デジタルシグナルプロセッサ（ＤＳＰ）１６によって制御される映像信号処理回路１５を使用して行われる。

図２は、モデル作成手段であるスクリーンモデル創造部の機能ブロック図である。このスクリーンモデル創造部２１は、前述のようにスクリーン２のメッシュモデルを創造するものであり、先ずスクリーンモデル創造部２１には、基本的な３つのモデルが記憶されている。即ち、球形のみのモデル３１と、円筒のみのモデル３２と、混合モデル３３とである。混合モデル３３は、球形を主として他の平面または曲面を混合した球形混合モデル３４と、円筒を主として他の平面または曲面を混合した円筒混合モデル３５と、平面を主として他の平面または曲面を混合した平面混合モデル３６とから構成されている。そして、各モデル３１、３２、３４〜３６の内容は、設定手段６に呼出すことができ、いずれか１つを設定手段６で設定し、さらに設定手段６から入力パラメータ３１ａ、３２ａ、３４ａ〜３６ａを入力することで、実際のスクリーン２に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。

基本モデルと入力パラメータとしては、以下のとおりである。

図３で示すように球面（真球の一部）の場合、入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａとである。

ここで、球は、式１のように表される。
ｘ^２＋ｙ^２＋ｚ^２＝Ｒ^２ ・・・（式１）
ここで、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１である。ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｘ＝Ａ、ｙ＝０を代入することによって求められ、ｙ１＝ｚ１となる。従って、上述のように球面の場合、入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａとを入力すればよい。

また、図４で示すように、原点（ｘ軸線）からｙ方向にＢの位置で球面の一部を切り欠いた場合、スクリーン面は、図５（ａ）のようになり、Ｂが負の位置（図４のように下（−ｙ方向））の場合、Ａ≦ｘ≦Ｒ、−Ｂ≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１であり、ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｘ＝Ａ、ｙ＝０を代入することによって求められ、ｘ１は、式１において、ｙ＝−Ｂ、ｚ＝０を代入することによって求められる。従って、入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａと、原点から切り欠く位置までの距離Ｂとを入力すればよい。

同様に、上、右、左で切断した場合は、それぞれ図５（ｂ）、図５（ｃ）、図５（ｄ）のようなスクリーンになり、式１は、以下のようになる。図５（ｂ）で示すように上にＢの高さで切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦Ｂ、−ｚ１≦ｚ≦ｚ１である。図５（ｃ）で示すように右にＢの距離で切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦Ｂである。図５（ｄ）で示すように左にＢの距離で切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−Ｂ≦ｚ≦ｚ１である。入力パラメータを増やせば、２箇所以上の切断位置の組合せも可能である。

一方、図６は、円筒を切断したアーチ面を示し、この場合、入力パラメータとしては、アーチの半径Ｒと、円の中心から切断面までの距離Ａと、アーチの高さＨとである。

ここで、円は、式２のように表される。
ｘ^２＋ｚ^２＝Ｒ^２ ・・・（式２）
ここで、Ａ≦ｘ≦Ｒ、０＜ｙ≦Ｈ、−ｚ１≦ｚ≦ｚ１の制限を加えることで、アーチの表面の式となる。ｚ１は、式２において、ｘ＝Ａを代入することによって求められる。

さらにまた、図７（ａ）は、複数平面（長方形の面が複数存在）から成る場合を示し、この場合、入力パラメータとしては、図７（ｂ）で示すような上面から見たときの面の配置と、面の高さＨとである。図７（ｂ）の場合、
ｚ＝−ｘ＋１（０≦ｘ＜１） ・・・（式３−１）
ｚ＝０（１≦ｘ＜３） ・・・（式３−２）
ｚ＝ｘ−３（３≦ｘ≦４） ・・・（式３−３）
０＜ｙ≦Ｈ ・・・（式３−４）
である。

また、複数同じ大きさの球面を真横に並べたスクリーンの場合には、入力パラメータとしては、図３または図４、５で示す例と同様に、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの距離Ｂと、個数とを入力すればよい。即ち、例えば、上下に２つの球面スクリーンを並べる場合、図５（ａ）と図５（ｂ）とを組合わせることで実現することができ、同様に左右に２つの球面スクリーンを並べる場合、図５（ｃ）と図５（ｄ）とを組合わせることで実現することができ、入力パラメータとしては、前述のように、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの距離Ｂと、個数とを入力すればよいことが理解される。

複数の円筒面のスクリーンの場合には、上面から見た配置図に、面の高さＨと、各スクリーンの半径Ｒ及び距離Ａと、個数とを入力すればよい。このようにして、スクリーン面の関数式が求まるので、ｘ、ｙ、ｚに適当な値を代入することで、或る一定個数以上のスクリーン上の点をサンプリング点として記録することで、スクリーン形状を特定することができる。各スクリーン面の関数式は、スクリーンモデル創造部２１において、予め各モデル３１、３２、３４〜３６内に格納されており、設定手段６によって呼出すことができる。そして、入力パラメータ３１ａ、３２ａ、３４ａ〜３６ａとして上記のパラメータを入力するだけで、実際のスクリーン２に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。

なお、上記のようなスクリーン面上のサンプリング点は、ｘ軸周り、ｙ軸周り、ｚ軸周りに回転可能（傾いたスクリーンを定義可能）である。

即ち、ｘ軸周りのα度の回転は、式４で表すことができる。

また、ｙ軸周りのβ度の回転は、式５で表すことができる。

さらにまた、ｚ軸周りのγ度の回転は、式６で表すことができる。

このようにして得たスクリーン面上のサンプリング点に、入力映像処理部２６からの平面入力映像の各サンプリング点を、歪補正手段である歪み補正部２５においてメッシュファイルを用いてマッピングすることで歪み補正を行うことができ、入力映像信号の各画素データを、メッシュファイル上の対応する画素に割り付けてゆくことで、歪み補正された映像信号を作成することができる。略リアルタイムで入力映像信号から出力映像信号を生成するためには、入力映像信号の各画素データを、メッシュファイル上の対応する画素に割り付けてゆく際に、入力映像信号がメモリ１８の何れに記憶されているか知る必要があるが、これは、上述したように、入力映像処理部２６から歪み補正部２５に入力映像信号の先頭メモリアドレス及び使用メモリサイズが通知されている。メッシュファイルは、使用するスクリーン２が決定し、各パラメータを入力し、一旦作成してしまえば、パラメータ等の変更がない限り変化はなく、ハードウェア部１１のメモリ１７に格納され、映像再生中は、メモリ１８に設定されたフレームメモリに記憶された入力映像信号の先頭メモリアドレス及び使用メモリサイズに基づいて、入力映像信号と出力映像信号との対応画素の読替えに使用されるだけであり、大きな負担にはならない。

以上図３〜図７を用いた説明は、図８で示すようなスクリーン２の形状に対する補正方法を説明するものである。即ち、平面の表示装置に対する映像信号を、そのまま球形のスクリーン２に投射すると、図８（ａ）に示すように歪んだ映像になり、このため球形のスクリーン２に表示したときに歪みが無くなるように、図８（ｂ）に示すように予め映像を歪ませるものである。しかしながら、プロジェクタ３のスクリーン２に対する配置位置の違い及び観察者のスクリーン２に対する位置の違い等から、さらなる補正が必要になる。従って、上述のようにして求めたメッシュファイルには、さらにそのような補正が施され、実際の映像信号の読替えに使用される。以下に、球面スクリーンに対するプロジェクタ及び観察者の位置の違いに対する補正方法について詳しく説明する。この処理は、プロジェクタ配置・セットアップ部２２及びユーザ位置設定部２３からの入力に応答して、歪み補正部２５によって行われる。

図９は、上述のような球面補正に、プロジェクタ３及び観察者の位置補正を含めた歪み補正の手法を説明するための図である。これらの補正は、プロジェクタ配置・セットアップ部２２及び位置設定部２３からの入力に応答して、歪み補正部２５によって行われる。

まず、補正にあたって、図９に示すように、観察者５１の視点位置よりビューフラスタム及びプロジェクタ３の投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をＰ_０、底面をＰ_０，０、Ｐ_ｍ，０、Ｐ_ｍ，ｎ、Ｐ_０，ｎとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をＱ_０、底面をＱ_０，０、Ｑ_ｍ，０、Ｑ_ｍ，ｎ、Ｑ_０，ｎとして表現される。ここで、ｍ，ｎは映像解像度を表すものとし、映像信号が、たとえばＳＸＧＡの場合は、ｍ＝１２７９、ｎ＝１０２３である。底面は、仮想スクリーン面とも呼ばれる。

ここで、簡易表現のため、ｍ＝ｉにおけるｙ−ｚ二次元断面から見たイメージを図１０に示す。まず、仮想スクリーン面２ａ内に点Ｐ_ｉ，ｊを想定し、ベクトルＰ_０Ｐ_ｉ，ｊとドームスクリーン２（メッシュモデル３１ｂ，３２ｂ，３４ｂ〜３６ｂ）との交点Ｒ_ｉ，ｊを求める。次に、ベクトルＱ_０Ｒ_ｉ，ｊと投影フラスタムの仮想スクリーン面２ｂとの交点Ｑ_ｉ，ｊを求める。ｉ，ｊを、０≦ｉ≦ｍ，０≦ｊ≦ｎで変化してゆくと、Ｐ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。

即ち、まずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにＰ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にＰ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを適用したイメージを図１１に示す（すなわち図８（ｂ）とは逆になる）。本歪み補正手法は、スクリーン２の形状を制限しない。従って、上述のようにして求めた球面のメッシュモデル３１ｂだけでなく、他のメッシュモデル３２ｂ、３４ｂ〜３６ｂ等へも適用可能である。

映像信号処理装置１の歪み補正部２５において、このような補正を行うことで、平面の表示面に対するＤＶ方式の入力映像信号を逐次歪み処理してプロジェクタ３に与えることができ、略リアルタイムでＤＶ方式の入力映像信号から出力映像信号を生成し、任意曲率のスクリーン２には歪みのない映像を表示することができる。

なお、上述の実施形態では、入力映像信号の画面サイズは、設定手段６から映像信号処理装置１に入力したが、入力端子１３の各端子に対応付けて画面サイズを予めメモリ１８に記憶しておき、入力映像処理部２６が画面サイズ選択手段としても動作し、入力映像処理部２６が入力映像信号の入力された端子を検出して対応する画面サイズをメモリ１８から検索し、先頭メモリアドレス及び使用メモリサイズの算出に使用するように構成してもよい。

また、上述の実施形態において、入力端子１３の各端子から入力される映像信号を所定の時間間隔で順に又はランダムに切り換え、映像信号処理装置１で歪み補正処理等を行って、プロジェクタ３からスクリーン２へ投射するように構成してもよい。このように構成することによって様々なシーンの映像をスクリーン２に投射することができる。

次に、別の実施形態について説明する。
（第２の実施形態）
図１２は、第２の実施形態に係る映像信号処理装置を含む仮想現実感生成装置の構成を示すブロック図である。この仮想現実感生成装置Ｍ２は、人間の両眼視差に対応した間隔だけ水平方向に離間して配置され時刻を同時刻に合わせられた左右それぞれの汎用の撮影装置（例えばビデオカメラ等）１１１、１２１を使用して作成された左右両チャネルのＤＶ方式の映像信号から上述のように本発明に係るスクリーン面に対する歪み補正を施し、同期を取って左右各チャネルのプロジェクタ１０２、１０３から相互に直交する偏光面の映像で投影することで、仮想現実感映像を生成する。観察者は、左右各チャネルの映像を左右の目でそれぞれ認識するように、左右それぞれの偏光面に対応した映像のみを透過させる専用の眼鏡をかけてスクリーンを見る。そして、スクリーンには、偏光をそのまま反射可能な、シルバースクリーン等の鏡面反射スクリーンが用いられる。また、このスクリーンは、観察者に仮想現実感をより効果的に与える観点から、観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンとしてもよい。

これら撮影装置１１１、１２１で得られたＤＶ方式の映像信号は、ＤＶ端子１１２、１２２を介して上述の映像信号処理装置１と略同様に構成される入力映像処理部１１３、１２３で上述と略同様に処理され、歪み補正部１１４、１２４に出力される。上述の映像信号処理装置１と略同様に構成される歪み補正部１１４、１２４では、スクリーンの球面形状によって生じる歪みに対する歪み補正及びプロジェクタ１０２、１０３の球の中心軸上からのオフセット（初期偏差）によって生じる歪みに対する設置位置補正が行われる。

歪み補正部１１４、１２４から出力された映像信号は、切換えスイッチ１１６、１２６を介して、それぞれ２つずつ設けられるフレームメモリ１１７、１１８；１２７、１２８の一方に書込まれ、そのフレームメモリ１１７、１１８；１２７、１２８の他方からは、切換えスイッチ１１９、１２９及び出力端子１２０、１３０を介して映像信号が読出され、プロジェクタ１０２、１０３に与えられ、投射が行われる。

第２の実施形態における入力映像処理部１１３、１２３は、さらに、伸長しフレームメモリに記憶した映像信号のタイムコード（タイムスタンプ）を歪み補正部１１４、１２４に通知し、第２の実施形態における歪み補正部１１４、１２４は、さらに、歪み補正を施してフレームメモリ１１７、１１８；１２７、１２８に書き込んだ描画待ちのフレームのタイムコードを同期管理部１１５、１２５に通知する。タイムコードは、周知のように、ＤＶ方式の映像信号に含まれている。

映像作成手段１０７、１０８は、例えば、パーソナルコンピュータから成り、入力映像処理部１１３、１２３、歪補正部１１４、１２４及び同期管理部１１５、１２５は、そのパーソナルコンピュータに格納されたソフトウェア及びそれを実行するハードウェアによって構成される。即ち、映像信号処理用のソフトウェアとして、入力映像処理部１１３、１２３には入力映像処理プロセスを有し、歪み補正部１１４、１２４には映像歪み補正プロセスを有する。また、入力映像処理部１１３、１２３及び切換えスイッチ１１６、１２６；１１９、１２９の同期を管理する同期管理部１１５、１２５は、同期管理プロセスを有する。

ここで、映像作成手段１０７、１０８はスレーブとなり、マスターとなる同期手段１０９が設けられる。この同期手段１０９もパーソナルコンピュータから成り、映像作成手段１０７、１０８とは、ネットワークによって相互に接続されている。同期手段１０９は、映像作成手段１０７、１０８の同期管理部１１５、１２５から通知されたタイムコードを利用して同期管理部１１５、１２５を介して後述するように切換えスイッチ１１６、１２６；１１９、１２９のスイッチング等を制御することによって映像作成手段１０７、１０８からの映像信号間の同期を確立する同期管理部１３６を備える。同期管理部１３６には同期管理プロセスを有する。映像作成手段１０７、１０８が実行する同期管理プロセス、入力映像処理プロセス及び映像補正プロセス、並びに、同期手段１０９が実行する同期管理プロセスについては、以下に詳細に説明する。

映像作成手段１０７、１０８における入力端子１１２、１２２、入力映像処理部１１３、１２３、歪み補正部１１４、１２４、同期管理部１１５、１２５、切換えスイッチ１１６、１１９；１２６、１２９、フレームメモリ１１７、１１８；１２７、１２８及び出力端子１２０、１３０、並びに、同期手段１０９における同期管理部１３６は、例えばパーソナルコンピュータのＰＣＩスロットに装着されるボード等の形態で実現することができる。または、映像作成手段１０７、１０８は、上述のような機能を実現する映像歪み補正用の専用ユニットとして構成され、撮影装置１１１、１２１と、プロジェクタ１０２、１０３との間に挿入され、さらにそれらに合わせて、同期手段１０９となる同期ユニットが設けられてもよい。

図１３は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。図１３（Ａ）は、映像作成手段１０７の同期管理プロセスの動作を示すフローチャートであり、図１３（Ｂ）は、同期手段１０９の同期管理プロセスの動作を示すフローチャートであり、図１３（Ｃ）は、映像作成手段１０８の同期管理プロセスの動作を示すフローチャートである。本仮想現実感生成装置Ｍ２を実現する主要なソフトウェアは、同期管理プロセス、入力映像処理プロセス及び映像歪み補正プロセスから構成される。同期管理プロセス、入力映像処理プロセスは、映像作成手段１０７、１０８において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段１０７、１０８は、２つにとどまらず、マルチスクリーン対応等でさらに拡張することが可能である。そして各プロセスは、ネットワークを利用して通信を行う。図１２では、同期管理プロセスによる動作を破線で示す。

同期手段１０９では、同期プロセスを実行し、描画待ちフレームのタイムコードの受信を待つ（Ｓ１０１）。

映像作成手段１０７、１０８では、入力映像処理プロセス、映像歪み補正プロセス及び同期管理プロセスを実行する。映像作成手段１０７の同期管理プロセスによって指示されると、映像作成手段１０７の入力映像処理プロセスは、撮影装置１１１、１２１から１フレーム分の映像信号を受信し、受信した映像信号を伸長して一方のフレームメモリ、例えばフレームメモリ１１７に記憶し、先頭メモリアドレス、使用メモリサイズ及びタイムコード等を映像歪み補正プロセスに通知する。そして、この通知を受けると、映像作成手段１０７の映像歪み補正プロセスは、フレームメモリ１１７の映像信号に上述した歪み補正を施してフレームメモリ１１７に記憶し、この描画待ちフレームのタイムコードを同期管理プロセスに通知する。この通知を受けると、映像作成手段１０７の同期管理プロセスは、この描画待ちフレームのタイムコードを同期手段１０９の同期管理プロセスに通知し（Ｓ２０１）、スワップ同期メッセージの受信待ちを行う（Ｓ２０２）。

この通知を受けると、同期手段１０９の同期管理プロセスは、映像作成手段１０８の同期管理プロセスから描画待ちフレームのタイムコードを受信している場合には、この受信している映像作成手段１０８の同期管理プロセスから受信した描画待ちフレームのタイムコードと、映像作成手段１０７の同期管理プロセスから受信した描画待ちフレームのタイムコードとを比較し、一致するか否かを判断する（Ｓ１０２）。判断の結果、一致しない場合（Ｎｏ）には、同期手段１０９の同期管理プロセスは、処理を処理Ｓ１０１に戻す。

一方、同様に、映像作成手段１０８の同期管理プロセスによって指示されると、映像作成手段１０８の入力映像処理プロセスは、撮影装置１２１から１フレーム分の映像信号を受信し、受信した映像信号を伸長して一方のフレームメモリ、例えばフレームメモリ１２７に記憶し、先頭メモリアドレス、使用メモリサイズ及びタイムコード等を映像歪み補正プロセスに通知する。そして、この通知を受けると、映像作成手段１０８の映像歪み補正プロセスは、フレームメモリ１２７の映像信号に上述した歪み補正を施してフレームメモリ１２７に記憶し、この描画待ちフレームのタイムコードを同期管理プロセスに通知する。この通知を受けると、映像作成手段１０８の同期管理プロセスは、この描画待ちフレームのタイムコードを同期手段１０９の同期管理プロセスに通知し（Ｓ３０１）、スワップ同期メッセージの受信待ちを行う（Ｓ３０２）。

この通知を受けると、同期手段１０９の同期管理プロセスは、映像作成手段１０７の同期管理プロセスから描画待ちフレームのタイムコードを受信している場合には、この受信している映像作成手段１０７の同期管理プロセスから受信した描画待ちフレームのタイムコードと、映像作成手段１０８の同期管理プロセスから受信した描画待ちフレームのタイムコードとを比較し、一致するか否かを判断する（Ｓ１０２）。判断の結果、一致する場合（Ｙｅｓ）には、同期手段１０９の同期管理プロセスは、２つのフレームメモリ１１７、１１８；１２７、１２８の切換えを行う切換えスイッチ１１６、１２６；１１９、１２９の切換え指令であるスワップ同期メッセージを映像作成手段１０７、１０８の同期管理プロセスにそれぞれ通知し、受信した両タイムコードを破棄する（Ｓ１０３）。

この通知を受信すると、映像作成手段１０７、１０８の同期管理プロセスは、切換えスイッチ１１６、１２６；１１９、１２９の切換えることによってフレームメモリ１１７、１１８；１２７、１２８のスワップを行う（Ｓ２０３、Ｓ３０３）。即ち、映像作成手段１０７の同期管理プロセスは、切換えスイッチ１１６、１１９を切換える。例えば、歪み補正部１１４がフレームメモリ１１７の映像信号に歪み補正を施すように切換えスイッチ１１６を切り換えていると共に、プロジェクタ１０２がフレームメモリ１１８の映像信号を読み込むように切換えスイッチ１１９を切り換えている場合には、歪み補正部１１４がフレームメモリ１１８の映像信号に歪み補正を施すように切換えスイッチ１１６を切り換えると共に、プロジェクタ１０２がフレームメモリ１１７の映像信号を読み込むように切換えスイッチ１１９を切り換える。そして、歪み補正部１２４がフレームメモリ１２７の映像信号に歪み補正を施すように切換えスイッチ１２６を切り換えていると共に、プロジェクタ１０３がフレームメモリ１２８の映像信号を読み込むように切換えスイッチ１２９を切り換えている場合には、歪み補正部１２４がフレームメモリ１２８の映像信号に歪み補正を施すように切換えスイッチ１２６を切り換えると共に、プロジェクタ１０３がフレームメモリ１１７の映像信号を読み込むように切換えスイッチ１１９を切り換える。

これによって左右のプロジェクタ１０２、１０３からは、相互に同期の取れた動画映像がスクリーンへ投影されることになる。

そして、映像作成手段１０７、１０８の同期管理プロセスは、次の１フレーム分の映像信号を撮影装置１１１、１２１から読み込み、上述の処理を行うように映像作成手段１０７、１０８の入力映像処理プロセスに通知し（Ｓ２０４、Ｓ３０４）、処理を処理Ｓ２０１、処理Ｓ３０１に戻す。

このように構成することによって、特殊なハードウェアを用いることなく、複数の映像作成手段１０７、１０８を実装したパーソナルコンピュータで、実写映像等の映像信号を略リアルタイム（例えば、フレームレート２４フレーム／秒や３０フレーム／秒）で歪み補正を施しつつ同期してスクリーンへ投影することが可能となる。

ここで、上述の第１及び第２の実施形態において、出力端子１９、１２０、１３０に映像信号を記録媒体に読み書きする映像信号記憶装置をさらに備えてもよい。歪み補正を施した映像信号を記録媒体に記憶しておくことで、歪み補正を施した映像信号を頒布することができ、また、映像信号記憶装置で記録媒体から読みこむことで直ちに歪み補正を施した映像信号を得ることができる。このような映像信号記憶装置は、例えば、ハードディスク、ＣＤ−Ｒ（Compact Disc Recordable）及びＤＶＤ−Ｒ（Digital Versatile Disc Recordable）等の記録媒体との間でデータを読み込み及び／又は書き込みを行うハードディスクドライブ、ＣＤ−Ｒドライブ及びＤＶＤ−Ｒドライブ等を備えて構成することができる。

第１の実施形態に係る映像信号処理装置を含む仮想現実感生成装置の全体構成を示す図である。 モデル作成手段であるスクリーンモデル創造部の機能ブロック図である。 球面モデルの入力パラメータを示す図である。 球面の一部を切り欠いたモデルの入力パラメータを示す図である。 球面スクリーンの一部を切り欠いた正面形状を示す図である。 円筒モデルの入力パラメータを示す図である。 複数平面の入力パラメータを示す図である。 スクリーンの球面形状に対する歪み補正処理を説明するための図である。 歪み補正の手法を説明するための図である。 半球状のスクリーンの中央部で切断した図９の二次元断面図である。 グリッド映像の歪み補正のイメージ図である。 第２の実施形態に係る映像信号処理装置を含む仮想現実感生成装置の構成を示すブロック図である。 上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。

符号の説明

１ 映像信号処理装置
２ スクリーン
３、１０２、１０３ プロジェクタ
４ 映像信号源
４−１ テレビジョン
４−２ 映像再生装置
４−３、１１１、１２１ 撮影装置
４−４ ゲーム機
６ 設定手段
１１ ハードウェア部
１２ ソフトウェア部
１３、１１２、１２２ 入力端子
１４ 信号方式変換回路
１５ 映像信号処理回路
１６ ディジタルシグナルプロセッサ
１７、１８ メモリ
１９、１２０、１３０ 出力端子
２１ スクリーンモデル創造部
２２ プロジェクタ配置・セットアップ部
２３ ユーザ位置設定部
２５、１１４、１２５ 歪み補正部
２６、１１３、１２３ 入力映像処理部
１０７、１０８ 映像作成手段
１０９ 同期手段
１１６、１１９、１２６、１２９ 切換えスイッチ
１１７、１１８、１２７、１２８ フレームメモリ
１１５、１２５、１３６ 同期管理部

Claims (8)

1. 投影手段から任意曲率の投射面に映像を投射するにあたって、平面の表示面に対する映像信号に予め前記投射面に対する歪み補正を施して前記投影手段へ与える映像信号処理装置において、
   平面の表示面に対するＤＶ方式の映像信号を入力するためのＤＶ端子と、
   前記ＤＶ端子から入力された前記映像信号をフレームメモリに記憶すると共に、前記映像信号の画面サイズを入力することで該フレームメモリに記憶した前記映像信号の前記フレームメモリにおける先頭メモリアドレス及び使用メモリサイズを出力する入力映像処理手段と、
   複数種類に亘る規定の投射面形状に関する関数式を予め有し、前記規定の投射面形状の何れか又はその組合せを選択し、変数パラメータを入力することで前記関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、
   観察者及び前記投影手段の前記投射面に対する位置関係に基づいて、前記平面の表示面と投射面のメッシュモデルとの対応マップを作成し、前記入力映像処理部から出力された先頭メモリアドレス及びメモリサイズに基づいて、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記歪み補正を実現する歪み補正処理手段とを備えること
   を特徴とする映像信号処理装置。
2. 前記歪み補正処理部で歪み補正した映像信号を出力する出力端子をさらに備えること
   を特徴とする請求項１に記載の映像信号処理装置。
3. 前記歪み補正処理部で歪み補正した映像信号を記憶する映像信号記憶手段をさらに備えること
   を特徴とする請求項１又は請求項２に記載の映像信号処理装置。
4. ＤＶ方式とは異なる方式の映像信号を入力するための入力端子と、
   前記入力端子から入力された映像信号をＤＶ方式の映像信号に変換して前記入力映像信号処理部に出力する映像信号変換手段とをさらに備えること
   を特徴とする請求項１乃至請求項３の何れか１項に記載の映像信号処理装置。
5. 前記入力端子の方式に対応させた映像信号の画面サイズを記憶する画面サイズ記憶手段と、
   前記入力端子の方式に応じた画面サイズを前記画面サイズ記憶手段から取り出し、該取り出した画面サイズを前記入力映像処理手段に出力する画面サイズ選択手段とをさらに備えること
   を特徴とする請求項４に記載の映像信号処理装置。
6. 観察者に凹面を向けた任意曲率の投射面を有する該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、平面の表示面に対する入力映像信号に予め前記投射面に対する歪み補正を施して出力する映像信号処理装置と、該映像信号処理装置から出力された映像信号に基づいた映像を前記スクリーンへ投影する投影手段とを備える仮想現実感生成装置において、
   前記映像信号処理装置は、請求項１乃至請求項５の何れか１項に記載の映像信号処理装置であること
   を特徴とする仮想現実感生成装置。
7. 観察者に凹面を向けた球面状で鏡面反射可能な広視野角のスクリーンと、平面の表示面に対する入力映像信号に予め前記投射面に対する歪み補正を施して出力する左右各チャンネルにそれぞれ設けられた映像信号処理装置と、前記各映像信号処理装置を制御し前記左右各チャンネルの映像信号間の同期を確立する同期手段と、前記各映像信号処理装置からの映像信号を互いに直行する偏光の映像としてそれぞれ前記スクリーンへ投影する投影手段と、前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを備える仮想現実感生成装置において、
   前記映像信号処理装置は、請求項１乃至請求項５の何れか１項に記載の映像信号処理装置であること
   を特徴とする仮想現実感生成装置。
8. 投影手段から任意曲率の投射面に映像を投射するにあたって、平面の表示面に対する映像信号に予め前記投射面に対する歪み補正を施して前記投影手段へ与える映像信号処理方法において、
   入力された平面の表示面に対するＤＶ方式の映像信号をフレームメモリに記憶する記憶ステップと、
   前記映像信号の画面サイズを入力することで該フレームメモリに記憶した前記映像信号の前記フレームメモリにおける先頭メモリアドレス及び使用メモリサイズを出力する出力ステップと、
   複数種類に亘る規定の投射面形状に関する関数式を予め有し、前記規定の投射面形状の何れか又はその組合せを選択し、変数パラメータを入力することで前記関数式に基づいて投射面のメッシュモデルを作成するモデル作成ステップと、
   観察者及び前記投影手段の前記投射面に対する位置関係に基づいて、前記平面の表示面と投射面のメッシュモデルとの対応マップを作成し、前記出力ステップで出力された先頭メモリアドレス及びメモリサイズに基づいて、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記歪み補正を実現する歪み補正処理ステップとを備えること
   を特徴とする映像信号処理方法。

Images