JP2007312402A - 映像作成装置および該方法ならびに映像投影システム - Google Patents

Abstract

【課題】本発明は、歪み補正をソフトウェア上で実現可能とする映像作成装置および該方法ならびにこの映像作成装置を用いた映像投影システムを提供する。
【解決手段】本発明では、観察者に凹面を向けたスクリーン１へ投影する映像を作成するための映像作成装置において、観察者の視点位置Ｐ _０ より定義されるビューフラスタムの底面内の第１点Ｐ _ｉ，ｊ を想定し、視点位置Ｐ _０ から第１点Ｐ _ｉ，ｊ へのベクトルとスクリーン１との第１交点Ｒ _ｉ，ｊ を求め、投影位置Ｑ _０ から第１交点Ｒ _ｉ，ｊ へのベクトルと投影位置Ｑ _０ より定義される投影フラスタムの底面との第２交点Ｑ _ｉ，ｊ を求め、第１点Ｐ _ｉ，ｊ を第２交点Ｑ _ｉ，ｊ に変換することによって、ビューフラスタムの映像をスクリーン１へ投影するための映像に変換する歪み補正部を備える。
【選択図】図６

Description

本発明は、観察者に凹面を向けたスクリーンへ歪みなく投影する映像を作成するための映像作成装置および映像作成方法ならびにこの映像作成装置を用いた映像投影システムに関する。

観察者に凹面を向けた球面状のスクリーンに広視野角の立体映像を実スケールで歪みなく表示することで、仮想現実感（バーチャルリアリティ）を観察者に与える場合、たとえば水平方向２１０度、垂直方向１１０度と言われる人の最大視野角を超えるスクリーンに映像を表示しなければならない。したがって、平面スクリーンでは不可能であるので、観察者に凹面を向けた球面状のスクリーンを用いる仮想現実感生成装置が提案されている。

その中でも、本件出願人が先に提案した特許文献１は、前記球面状のスクリーンに対する歪補正だけでなく、投影手段（プロジェクタ）が球の中心軸上にないオフセットした状態に設置された場合でも、歪のない映像が得られるように補正するようにしたものである。このため、観察者の視点位置が前記中心軸上近くになる比較的小さい球面スクリーンでも、前記投影手段の設置位置を選ばず、利便性の高いものとなっている。
特許第３８７４８７号明細書

ところで、前記歪み補正を、魚眼レンズ等を用いた光学的な処理で実現する場合では、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならず、表示系の大きさ、形が変わった時には対応できない。

本発明の目的は、前記歪み補正をソフトウェア上で実現可能とする映像作成装置および映像作成方法を提供することである。また、本発明の他の目的は、この映像作成装置を用いた映像投影システムを提供することである。

上述の目的を達成するために、本発明の第１の手段では、観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成装置において、前記観察者の視点位置より定義されるビューフラスタムの底面内の第１点を想定し、前記視点位置から前記第１点へのベクトルと前記スクリーンとの第１交点を求め、投影位置から前記第１交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第２交点を求め、前記第１点を前記第２交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する歪み補正部を備えることを特徴とする。そして、本発明の第２の手段では、観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成方法において、前記観察者の視点位置より定義されるビューフラスタムの底面内の第１点を想定し、前記視点位置から前記第１点へのベクトルと前記スクリーンとの第１交点を求める工程と、投影位置から前記第１交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第２交点を求める工程と、前記第１点を前記第２交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する工程とを備えることを特徴とする。

この構成によれば、観察者の視点位置より定義されるビューフラスタムの底面内の第１点を想定し、前記視点位置から前記第１点へのベクトルと前記スクリーンとの第１交点を求め、投影位置から前記第１交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第２交点を求め、前記第１点を前記第２交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換するので、前記歪み補正をソフトウェア上で実現することが可能となる。

また、このため、表示系の大きさ、形が変わった場合には、表示系に合わせたパラメータ設定だけで対応することができ、有利である。

また、上述の映像作成装置において、前記第１点と前記第２交点との対応関係を示す対応マップを予め求めておき、前記歪み補正部は、前記対応マップを利用することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換することを特徴とする。

この構成によれば、前記第１点と前記第２交点との対応関係を示す対応マップを予め求めておき、前記対応マップを利用することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換するので、歪み補正の処理をリアルタイムで行うことが可能となる。

また、本発明の第３の手段では、観察者に凹面を向けたスクリーンと、前記スクリーンへ相互に異なる角度から見た複数の映像を投影する複数の映像作成装置とを備える映像投影システムにおいて、前記複数の映像作成装置のそれぞれは、これら上述の何れかの映像作成装置であることを特徴とする。

この構成によれば、前記歪み補正をソフトウェア上で実現可能な映像作成装置を備えた映像投影システムが提供される。

本発明の映像作成装置および方法では、前記歪み補正をソフトウェア上で実現することが可能となる。また、本発明によれば、前記歪み補正をソフトウェア上で実現可能な映像作成装置を備えた映像投影システムが提供される。

［実施の形態１］
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において、同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。

図１は、本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。この仮想現実感生成装置は、映像投影システムの一例であり、大略的に、広視野角のスクリーン１と、前記スクリーン１に右目用と左目用との映像をそれぞれ投影するプロジェクタ２，３と、前記プロジェクタ２，３からの投射映像を反射して前記スクリーン１に照射する反射鏡４と、前記プロジェクタ２，３からの投射映像を見るにあたって観察者５が装着する眼鏡６と、前記プロジェクタ２，３で投影するための映像信号をそれぞれ作成する映像作成手段７，８と、前記映像作成手段７，８の同期を確立する同期手段９とを備えて構成される。

前記スクリーン１は、水平方向にも垂直方向にも曲率を有する球面状に形成され、観察者５側に凹面を向けて配置され、該観察者５から見て、たとえば水平方向に約１４０度、垂直方向に約８５度の有効視野角以上に映像を表示することができるものである。なお、この有効視野角とは、人間が物を詳細に認識できる視野角である。前記プロジェクタ２，３は、観察者５の有効視野角外で、かつスクリーン１上に該観察者５の影を作らない映像投影位置に配置されており、その投射映像は板状の前記反射鏡４で全反射されて前記スクリーン１に照射される。前記スクリーン１、プロジェクタ２，３および反射鏡４は、枠体１０によって相互間の位置関係を維持するように保持されている。

前記映像作成手段７，８は、映像作成装置の一例であり、後に詳述するように、外部または内部に右目用と左目用との動画映像ファイルをそれぞれ有し、それを順次デコードして、さらにスクリーン１上に表示されたときに、観察者５から見て、実スケールで、かつ歪みが無くなるように予め映像を歪ませる処理を行い、同期手段９からの同期信号に応答して、プロジェクタ２，３から、図示しない偏光フィルタを介して、相互に直交する偏光面の光でスクリーン１へ投影させる。これに対応して、観察者５が装着する眼鏡６は、前記相互に直交する偏光面の光の内、右目と左目とでそれぞれ対応する偏光面の光のみを通過させ、観察者５に視認させる。

図２は、上述のように構成される仮想現実感生成装置の電気的構成を示すブロック図である。本実施の形態の仮想現実感生成装置では、ビデオムービーなどの汎用の撮影手段を使用して作成された圧縮動画映像ファイルから仮想現実感映像を生成する。前記圧縮動画映像ファイルは、ＤＶＤ（デジタルビデオディスク）などの媒体に圧縮記録されている。図２では、前記媒体としては、左右それぞれのＤＶＤ１１，２１で示しているけれども、動画映像が圧縮記録されている他の媒体であってもよい。また、人間の両眼視差に対応した間隔だけ水平方向に離間して配置された左右それぞれの撮影手段で撮影された動画映像は、それらの撮影手段で個別のＤＶＤ１１，２１に圧縮して記録されるが、左右の撮影手段が一体化されていて、同じ媒体に記録されていてもよい。

ＭＰＥＧ２やＭＰＥＧ４などで圧縮された前記ＤＶＤ１１，２１の記録映像は、前記映像作成手段７，８において、それぞれハードディスク１２，２２に取込まれる。前記ハードディスク１２，２２に取込まれた記録映像は、解凍部１３，２３において解凍（伸長）され、さらに再生表示部１４，２４において、映像信号に変換される。前記解凍部１３，２３および再生表示部１４，２４は、デコード手段を構成する。こうして得られた映像信号は、歪補正部１５，２５において、前記スクリーン１の球面形状によって生じる歪に対する歪補正および前記プロジェクタ２，３の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正が行われる。

前記歪補正部１５，２５から出力された映像信号は、切換えスイッチ１７，２７を介して、それぞれ２つずつ設けられるフレームメモリ１８，１９；２８，２９の一方に書込まれ、そのフレームメモリ１８，１９；２８，２９の他方からは、切換えスイッチ２０，３０を介して映像信号が読出され、前記プロジェクタ２，３に与えられ、投射が行われる。このように構成される映像作成手段７，８において、ＣＧによって作成された映像信号は、前記解凍部１３，２３における伸長処理および再生表示部１４，２４における映像信号への変換処理は不要であり、直接歪補正部１５，２５から入力される。

前記映像作成手段７，８は、パーソナルコンピュータから成り、前記解凍部１３，２３、再生表示部１４，２４、歪補正部１５，２５および同期管理部１６，２６は、そのパーソナルコンピュータに格納されたソフトウェアおよびそれを実行するハードウェアによって構成される。すなわち、映像信号処理用のソフトウェアとして、前記解凍部１３，２３にはムービーファイル解凍プロセスを有し、再生表示部１４，２４には映像表示プロセスを有し、前記歪補正部１５，２５には映像歪補正プロセスを有する。また、前記解凍部１３，２３、再生表示部１４，２４および切換えスイッチ１７，２７；２０，３０の同期を管理する同期管理部１６，２６は、同期管理プロセスを有する。

ここで、本実施の形態では、前記映像作成手段７，８はスレーブとなり、マスターとなる前記同期手段９が設けられる。この同期手段９もパーソナルコンピュータから成り、前記映像作成手段７，８とは、ネットワーク３１によって相互に接続されている。同期手段９でも、前記ＤＶＤ１１または１２（図２では１１）からの記録映像がハードディスク３２に取込まれ、解凍部３３において伸長され、さらに再生表示部３４において映像信号に変換される。この映像信号におけるタイムコードを利用して、同期管理部３６は、前記同期管理部１６，２６を介して、後述するように前記切換えスイッチ１７，２７；２０，３０のスイッチングなどを制御し、映像作成手段７，８からの映像信号間の同期を確立する。前記解凍部３３にはムービーファイル解凍プロセスを有し、再生表示部３４には映像表示プロセスを有し、同期管理部３６には同期管理プロセスおよび時間管理ループプロセスを有する。前記映像作成手段７，８が実行する同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像補正プロセスについては、後述する図５および図８の説明箇所にて一例を詳細に説明する。また、同期手段９が実行する時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスについても、後述する図８の説明箇所にて一例を詳細に説明する。

図３は、前記歪補正部１５，２５によるスクリーン１の球面形状に対する歪補正処理を説明するための図である。前記再生表示部１４，２４において得られた映像信号映像を、そのまま球形のスクリーン１に投射すると、図３（ａ）に示すように、歪んだ映像になる。このため球形のスクリーン１に表示したときに歪みが無くなるように、図３（ｂ）に示すように、予め前記歪補正部１５，２５において映像を歪ませる。

また、図４は、前記歪補正部１５，２５によるプロジェクタ２，３の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。この図４では、前記反射鏡４を省略しており、観察者５の後方から投射しているように示している。前記球面形状に対する歪補正が施された映像信号は、プロジェクタ２，３を、図４（ａ）や図４（ｂ）で示すように、球の中心Ｏを通る中心軸ｃ上に設置した状態で投射すると、歪のない映像となる。しかしながら、図１からも理解されるように、プロジェクタ２，３は観察者５の影にならない位置に設置する必要があり、特にスクリーン１の径が小さくなる程、前記中心軸上からのオフセットが大きくなる。そこで、図４（ｃ）で示すように、プロジェクタ２，３が中心軸ｃ上に無い状態で、該歪補正部１５，２５は、プロジェクタ２，３の設置位置に応じてさらに映像に歪みを与えることで補正する。

また、プロジェクタには光軸シフトと呼ぶ映像を投射する角度を変更できる機能を持つものがあるため、その機能を使用すると図１や図４（ｄ）のようにプロジェクタ２，３を床に対して水平に設置することが可能になる。この場合も光軸シフトをパラメータとして映像を歪ませる必要があり、映像表示領域に沿って映像表示パラメータを上下左右方向に非対称な値に変換して映像表示パラメータを変更する。しかしながら、光軸シフトには、プロジェクタ２，３内にそのようなシフト機構が必要になり、コストアップを招くので、プロジェクタ２，３の軸線と光軸とを一致させることが好ましい。

図５は、そのような歪補正部１５，２５による歪み補正の手法を説明するための図である。この図５でも、前記反射鏡４を省略して示している。先ず、補正にあたって、図５に示すように、観察者５の視点位置よりビューフラスタムおよびプロジェクタ２，３の投影位置より投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をＰ_０、底面をＰ_０，０，Ｐ_ｍ，０，Ｐ_ｍ，ｎ，Ｐ_０，ｎとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をＱ_０、底面をＱ_０，０，Ｑ_ｍ，０，Ｑ_ｍ，ｎ，Ｑ_０，ｎとして表現される。ここで、ｍ，ｎは映像解像度を表すものとし、映像信号が、たとえばＳＸＧＡの場合は、ｍ＝１２７９、ｎ＝１０２３である。底面は、仮想スクリーン面とも呼ばれる。

ここで、簡易表現のため、ｍ＝ｉにおけるｙ−ｚ二次元断面から見たイメージを図６に示す。先ず、仮想スクリーン面１ａ内に点Ｐ_ｉ，ｊを想定し，ベクトルＰ_０Ｐ_ｉ，ｊとドームスクリーン１との交点Ｒ_ｉ，ｊを求める。次に、ベクトルＱ_０Ｒ_ｉ，ｊと投影フラスタムの仮想スクリーン面１ｂとの交点Ｑ_ｉ，ｊを求める。ｉ，ｊを、０≦ｉ≦ｍ，０≦ｊ≦ｎで変化してゆくと、Ｐ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを作成することができ，この対応マップが映像の歪みに対する逆補正となる。すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにＰ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にＰ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを適用したイメージを図７に示す（すなわち前記図３（ｂ）とは逆になる）。

本歪み補正手法は、スクリーン１の形状を制限しない。すなわち、ドームスクリーンだけではなく、スクリーン面が測定可能もしくは解析的な特定ができれば、平面を組合わせたマルチスクリーンおよび曲率が連続的に変化する楕円球面などへも適用可能である。

こうして歪み補正機能をソフトウェア上で実現することで、魚眼レンズ等を用いた光学的な処理で実現する場合では、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならず、表示系の大きさ、形が変わった時には対応できないのに対して、ソフトウェアで実現することで、表示系に合わせたパラメータ設定だけで対応することができ、有利である。

図８は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。本仮想現実感生成装置を実現する主要なソフトウェアは、前述のような時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪み補正プロセスの５つから構成される。前記同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスは、前記映像作成手段７，８において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段７，８は、２つにとどまらず、マルチスクリーン対応などでさらに拡張することが可能である。前記時間管理ループプロセスは、唯一のプロセスであり、複数のパーソナルコンピュータのどこか一箇所で実行されればよいが、本実施の形態では、上述のように独立したマスターパソコンである同期手段９上で実行する。そして各プロセスは、ネットワーク３１を利用して通信を行う。図８では、前記同期管理プロセスによる動作を、破線で示す。

マスターパソコンでは、前記時間管理ループプロセスおよび同期管理プロセスを実行する。これによって、先ず、時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期管理プロセスからスレーブパソコンに向けて現在時刻を配信する（Ｓ１０１，Ｓ１０２）。すなわち、同期管理プロセスは、一定時間毎に、時刻と、後述するように２つのフレームメモリ１８，１９；２８，２９の切換えを行う切換えスイッチ１７，２７；２０，３０の切換え指令であるスワップ同期メッセージを送信することになる。

一方、スレーブパソコンでは、前記ムービーファイル解凍プロセス・映像表示プロセス・映像歪み補正プロセスを実行する。これによって、先ず、映像表示プロセスが現在時刻を受信し、受信後確かに受取ったことをレシートとしてマスターパソコンに返信する（Ｓ２０１，Ｓ２０２）。さらに映像表示プロセスは、リファレンス時刻を更新し、さらにムービーファイル解凍プロセスへリファレンス時刻を配信し（Ｓ２０３）、フレームデータ更新通知を待受ける（Ｓ２０４）。

これに応答して、ムービーファイル解凍プロセスは、リファレンス時刻を取得し（Ｓ３０１）、現在取得しているフレームの表示されるべき時刻と比較する（Ｓ３０２）。比較の結果、遅延が２フレーム以内ならばフレームデータを更新、すなわち解凍し、フレームバッファ内のアドレスを映像表示プロセスへ通知する（Ｓ３０３）。さらにムービーファイル解凍プロセスは、フレームデータを更新したことを映像表示プロセスへ通知する（Ｓ３０４）。

映像表示プロセスは、フレームデータ更新通知を受けると（Ｓ２０４，Ｓ２０５）、すでにＳ３０３で通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し（Ｓ２０６）、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し（Ｓ２０７）、映像をバックバッファ（前記２つのフレームメモリ１８，１９；２８，２９の内、出力側に選択されていない方（図２ではフレームメモリ１８，２８））に描画、すなわち映像信号に再生する（Ｓ２０８）。

一方、マスターパソコンでは、同期管理プロセスは、Ｓ１０３でレシートを受取ると、スワップ同期メッセージをスレーブパソコンの映像表示プロセスへ送信する（Ｓ１０４）。これに応答して、映像表示プロセスは、映像歪み補正プロセスを呼び出して処理を実行させ（Ｓ２０９）、続いてバッファスワップを実行し、マスターパソコンの同期管理プロセスへ確かに受取ったことを表すレシートを返信する（Ｓ２１０，Ｓ２１１，Ｓ２１２）。その後、映像表示プロセスは、Ｓ２０１で現在時刻の受信を待受ける。前記映像歪み補正は、前記図５で示すように対応マップの読替えによる一定時間の遅延で実現することができ、これによって左右のプロジェクタ２，３からは、相互に同期の取れた動画映像が投射されることになる。

ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると（Ｓ３０５）、圧縮ムービーファイルより１フレームを新たに取得する（Ｓ３０６）。また、Ｓ３０２での比較の結果、遅延が２フレームを超えていても、前記Ｓ３０６で１フレームを新たに取得する。

マスターパソコンの同期管理プロセスでは、映像表示プロセスよりスワップ同期メッセージのレシートを受取るまでプロセスを停止、受取ると現在時刻の取得より開始する（Ｓ１０５）。

このように構成することによって、特殊なハードウェアを用いることなく、実写映像などのムービーファイルの解凍・再生・歪み補正の各処理をリアルタイムで行いつつ、インタラクティブな複数のムービーファイルを、複数のパソコン上で同期して再生することが可能となる。

本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。 図１で示す仮想現実感生成装置の電気的構成を示すブロック図である。 歪補正部によるスクリーンの球面形状に対する歪補正処理を説明するための図である。 歪補正部によるプロジェクタの球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。 歪補正部による歪み補正の手法を説明するための図である。 半球状のスクリーンの中央部で切断した図５の二次元断面図である。 グリッド映像の歪補正のイメージ図である。 本発明の実施の一形態に係る同期確立動作を説明するためのフローチャートである。

符号の説明

１ スクリーン
２，３ プロジェクタ
４ 反射鏡
５ 観察者
６ 眼鏡
７，８ 映像作成手段
１５，２５ 歪補正部

Claims (4)

1. 観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成装置において、
   前記観察者の視点位置より定義されるビューフラスタムの底面内の第１点を想定し、前記視点位置から前記第１点へのベクトルと前記スクリーンとの第１交点を求め、投影位置から前記第１交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第２交点を求め、前記第１点を前記第２交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する歪み補正部を備えること
   を特徴とする映像作成装置。
2. 前記第１点と前記第２交点との対応関係を示す対応マップを予め求めておき、
   前記歪み補正部は、前記対応マップを利用することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換すること
   を特徴とする請求項１に記載の映像作成装置。
3. 観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成方法において、
   前記観察者の視点位置より定義されるビューフラスタムの底面内の第１点を想定し、前記視点位置から前記第１点へのベクトルと前記スクリーンとの第１交点を求める工程と、
   投影位置から前記第１交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第２交点を求める工程と、
   前記第１点を前記第２交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する工程とを備えること
   を特徴とする映像作成方法。
4. 観察者に凹面を向けたスクリーンと、前記スクリーンへ相互に異なる角度から見た複数の映像を投影する複数の映像作成装置とを備える映像投影システムにおいて、
   前記複数の映像作成装置のそれぞれは、請求項１または請求項２に記載の映像作成装置であること
   を特徴とする映像投影システム。

Images