JP2007318754A - 仮想環境体験表示装置 - Google Patents

Abstract

【課題】没入感を大きく改善できる仮想環境体験表示装置を実現する。
【解決手段】体験者に凹面を向けた球面状で広視野角のスクリーン１と、映像を平面上の映像として作成する映像作成手段２と、該映像作成手段２により作成された平面上の映像を前記スクリーン１に合わせた球面形状に貼り付けるマッピング処理とこの球面形状に貼り付けた映像を再度平面上に投影する処理を行うことで前記スクリーン１上に表示されたときに歪みが無くなるように予め映像を歪ませるための歪み補正手段３と、歪み補正された映像を前記スクリーン１へ投影するための投影手段４とを備える。投影手段４は複数とし、各投影手段４によりスクリーン１に分割して投影された複数の映像の境界線が一致するような補正を行うことが好ましい。また、スクリーン１の視野角は人間の視野角と同程度にすることが好ましい。
【選択図】図１

Description

本発明は仮想環境を広視野角の映像により体験できる仮想環境体験表示装置に関するものである。

立体映像の作成方法としては、右目及び左目用の映像を対応するそれぞれの目にのみ表示すると立体感を得ることができるため、古くは赤青のセロファンめがねを利用したアナグリフ方式による立体映像表示例などがある。立体映像表示はテレビ画面上の表示でも実現できるが、映像の映る領域が少ないと著しく立体感を損なうため、映像表示スクリーンはより大きな方が効果的である。このため万博（筑波博覧会、大阪博覧会）などでは数百インチの巨大な平面スクリーンに立体映像を表示した。また、平面状のスクリーンでは周辺部ほど映像に無理が生じることから、半球状のスクリーンも登場した（ＩＭＡＸ社）。しかし、いずれも予めフィルムに撮影した映像を表示しており、仮想環境を体験するためのインタラクティブ性はない。

インタラクティブ性を持った立体映像表示としては、リアルタイムにコンピュータで作成した映像をスクリーンに表示したものがあり、さらにそのスクリーンを複数組み合わせた例として、アーチ型スクリーン（３面）やＣＡＶＥ（５面）などがある。アーチ型スクリーンは、円柱形状のスクリーンであり、水平方向の視野角としては１８０度以上の広視野角を実現することができるが、垂直方向にはスクリーンの上部になるほど投影手段からの距離が大きくなり、歪みや色むらなどの問題が生じることから、体験者の視野角の半分程度を覆うようにしている。さらに、映像の作成手段としては歪み補正機能が無く、平面形状への映像作成方法による映像投影を行っていたため、疑似平面スクリーンとみなされ、周辺部の映像の歪みが没入感や立体感を損ねていた。ＣＡＶＥは立方体型の５面をスクリーンとして体験者を囲い込む表示手段であり、高い立体感と没入感を得られるが、形状が立方体のためスクリーンのつなぎ目において連続性を損なうという幾何形状に起因する欠点がある。ＣＡＶＥはスクリーン間の表示を連続させるための表示補正機能を持つが、各スクリーン面の境界面で映像をスムーズにつなぐことが難しく、わずかに視点位置がずれただけで直線が境界面で折れ曲がって見える現象が現れる。
特開平０８−３３４８４５号公報

体験者の視野を映像で覆い、高い解像度の立体映像の表示及びその正確なスケール表示を行うことにより、体験者はまるでその表示される世界に入り込んだような深い没入感を感じることができる。人の視野角は生理学的に最大で水平方向２１０度、垂直方向１１０度程度と報告されているため、この視野全体を映像で覆うことが理想であるが、平面形状のスクリーンでの実現は不可能である。そこでスクリーン面を曲げて体験者を囲むようにしなければならない。そのような理想の形状は球形である。

リアルタイムかつインタラクティブな映像の作成はコンピュータによるが、コンピュータの映像は通常平面形状に作成される。この映像をそのまま球形のスクリーンに表示すると、図２（ａ）に示すように、歪んだ映像になる。このため球形のスクリーンに表示したときに歪みが無くなるように、図２（ｂ）に示すように、予めコンピュータによる映像を歪ませる必要がある。これを歪み補正機能と呼ぶ。

さらに１台の投影手段で表示を行うと、映像が拡大されるために映像の解像度及び輝度の両方が低下する。複数の投影手段を用いることで高い解像度及び輝度を保つことができるが、この場合、投影手段の数だけ分割された映像を作成し、さらに合成時の各映像の境界部分がスムーズにつながるような映像作成が必要である。

本発明はこのような点に鑑みてなされたものであり、その目的とするところは、没入感を大きく改善できる仮想環境体験表示装置を実現することにある。

請求項１の発明によれば、上記の課題を解決するために、図１に示すように、体験者に凹面を向けた球面状で広視野角のスクリーン１と、映像を平面上の映像として作成する映像作成手段２と、該映像作成手段２により作成された平面上の映像を前記スクリーン１に合わせた球面形状に貼り付けるマッピング処理とこの球面形状に貼り付けた映像を再度平面上に投影する処理を行うことで前記スクリーン１上に表示されたときに歪みが無くなるように予め映像を歪ませるための歪み補正手段３と、歪み補正された映像を前記スクリーン１へ投影するための投影手段４とを備えることを特徴とするものである。

ここで、投影手段４は複数とし、各投影手段４により前記スクリーン１に分割して投影された複数の映像の境界線が一致するような補正を行うことが好ましい（請求項２）。この場合において、複数の投影手段４は球面状スクリーン１の中心から略等距離に配置することが好ましい（請求項４）。

スクリーン１の視野角は人間の視野角と同程度にすることが好ましい（請求項３）。

また、広画角を実現できるプロジェクタは一般的に価格も高いことから、使用するプロジェクタが本発明の表示装置に必要とされる画角を実現できないものである場合、その光路上に凸面鏡を置いて画像を広画角化する（請求項５）。この場合、歪み補正が不可欠であり、歪み補正が無ければ極めて歪んだ画像が体験者に見えることになる。しかしながら、本発明の請求項１で記述したような歪み補正機能があれば、自然な画像を体験者に見せることが可能である。

歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項６に記述したように、ＣＣＤカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせずに上記の目的を達成することが可能になる。

請求項１の発明によれば、球面に対応した歪み補正を施した映像を作成し、球面状で広視野角のスクリーン上に投影して、体験者が映像を視るようにしたから、非常に高い没入感が得られるという効果がある。

請求項２の発明によれば、投影手段を複数にしたことにより、映像の解像度及び輝度を高めることができるという効果がある。また、複数の映像を合成するときの境界線が一致するような補正をかけるようにしたので、視点が多少動いても没入感を損なうことがない。

請求項３の発明によれば、スクリーンの視野角を人間の視野角と同程度にしたので、没入感を向上させることができる。

請求項４の発明によれば、投影手段を球面状スクリーンの中心から略等距離に配置したので、複数の投影手段の映像表示能力を略同等にすることができ、複数の映像間の解像度や輝度のばらつきを抑えることができる。

請求項５の発明によれば、複数の投影手段により投影された像を一旦凸面鏡で反射させることで球面状のスクリーンに広視野角の画像を投影するようにしたから、一般的に高価な広画角のプロジェクタを用いなくても広視野角の仮想環境体験装置を実現できるという効果がある。

請求項６の発明によれば、体験装置の上方に体験者の位置検出用のカメラを配置し、このカメラにより撮影された画像により体験者の位置を検出し、検出された体験者の位置に対して、歪み補正のパラメータを動的に変更するようにしたので、動く体験者に対しても、常に最適な状態の歪み補正を実現できるという効果がある。

本発明の仮想環境体験表示装置の全体構成を図１に示す。図１において、スクリーン１は、図３及び図４に示すように、水平方向にも垂直方向にも曲率を有する球面状の広視野角スクリーンであり、６台のプロジェクタで構成される投影手段４により広視野角の映像を投影表示される。映像作成手段２は、グラフィックスコンピュータよりなり、インタラクティブな立体映像をリアルタイムに作成する。歪み補正手段３は、コンピュータ上の歪み補正機能を持つソフトウェアであり、映像作成手段２で作成された映像に対して、図２（ｂ）のように映像に予め歪みを与える。また、単に球面に対しての補正だけでなく、６つの別々の画面から１つの全体映像が構成されるように、各映像のつなぎ目がスムーズにつながるような歪み補正機能を有する。各画面からの映像信号はそれぞれ６台のプロジェクタに渡され、球面状の広視野角スクリーン１に映像が表示される。

映像作成手段２では、立体映像を表示するために、グラフィックスコンピュータを用いて左右の映像が別々に作成される。これを立体的に見るためには、従来の技術で述べたように、左右の映像をそれぞれの目に表示すればよい。そこで、コンピュータで作成される左右の映像を人が認識できないほどの高速で切り替えて表示する。そして切り替えるための立体映像用同期信号をコンピュータから赤外線で立体視めがね５に送り、立体視めがね５では映像に同期して高速に左右の液晶シャッタを切り替えて、右目の映像が映っているときには左目を隠し、左目の映像が映っているときには右目を隠すように動作させる。なお、コンピュータから立体視めがね５に液晶シャッターの制御信号を送るために、赤外線エミッタ機器６を体験者の近傍に複数個配置している。

さらに、映像はリアルタイムに作成されるため、インタラクティブに動かすことができる。この動きの制御をマウスやキーボード、さらにはジョイスティックなどの操作手段７で操作する。これにより体験者は表示された仮想環境の中を自由に動きながら様々な視点から仮想環境を体験することができる。また、図４に示すように、スクリーン１は体験者Ｍに比べて巨大であり、投影手段４は体験者Ｍの視界を妨げないように、天井から支持部材８により吊下されているので、複数の体験者が同時に仮想環境を体験することができ、例えば都市開発や防災計画の企画・設計に利用することができる。

歪み補正機能について、従来は魚眼レンズ等を用いた光学的な処理により実現した事例はあるが、本機能ではそれをソフトウェア上で実現している。その優位性について述べる。レンズで歪み補正機能を実現する場合、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならない。このため、表示系の大きさや形が変わった場合には対応できない。これに対してソフトウェアで歪み補正機能を実現すると、表示系に合わせたパラメータ設定だけで対応できる。また、１台の投影手段では、映像が体験者の視野を大きく覆うほど大きい場合、表示される映像の解像度と輝度がその表示面積に反比例して低下し、本来の目的である立体感や没入感を体験者に与えることができなくなるという問題点が生じる。ソフトウェアによる歪み補正機能を用いた場合には、複数の投影手段による表示をスムーズにつなげるための補正を行うことができ、実施例のように、６つの領域から映像を構成することが可能であるが、光学系による表示では各映像をスムーズにつなげることが不可能である。

ソフトウェアで歪み補正機能を実現する原理は、図５に示す通りである。現状のコンピュータでは、映像はすべて平面上に作成される。そこで一旦映像を平面上に作成し、そのまま表示をせずに、スクリーンに合わせた球面形状に貼り付ける。これをマッピング処理と呼ぶ。さらにそれを平面上に投影する処理を行い、映像として表示する。つまり２度映像を作成する処理を行うことで歪み補正機能を実現する。

図６と図７は請求項５の発明の一実施形態を示している。図６は装置を上から見た図であり、図７は装置を横から見た図である。スクリーン１については、それぞれ水平断面と垂直断面を示している。図のようにプロジェクタ４の光路上に凸面鏡９を置くことで球面状のスクリーン１に広視野角の画像を投影させることができる。図３および図４の例では、合計６台のプロジェクタ４を用いて広視野角の画像を実現しているのに対して、この例では、水平方向及び垂直方向の投影角度が広がったことにより、合計２台のプロジェクタ４で広視野角の画像を実現している。

このように、凸面鏡９を用いて画像を広画角化した場合、それに伴う歪みの補正が不可欠であるが、図２で述べた歪み補正と同時に凸面鏡９により生じた歪みの補正も行えば、自然な画像を体験者に見せることが可能である。歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項６に記述したように、ＣＣＤカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせる必要は無くなる。その結果、得られた位置座標を、歪み補正を行う計算機に入力し、動的に補正を行うことにより、動きのある体験者に対しても、常に最適な状態の歪み補正を行うことができる。

本発明の装置の全体構成を示すブロック図である。 従来の装置と本発明の装置による表示例を比較して示す説明図である。 本発明の装置に用いるスクリーンと投影手段の配置を示す横断面図である。 本発明の装置に用いるスクリーンと投影手段の配置を示す縦断面図である。 本発明の装置に用いる歪み補正手段の原理を示す説明図である。 請求項５の発明の一実施例の平面図である。 請求項５の発明の一実施例の立面図である。

符号の説明

１ スクリーン
２ 映像作成手段
３ 歪み補正手段
４ 投影手段

本発明は仮想環境を広視野角の映像により体験できる仮想環境体験表示装置に関するものである。

立体映像の作成方法としては、右目及び左目用の映像を対応するそれぞれの目にのみ表示すると立体感を得ることができるため、古くは赤青のセロファンめがねを利用したアナグリフ方式による立体映像表示例などがある。立体映像表示はテレビ画面上の表示でも実現できるが、映像の映る領域が少ないと著しく立体感を損なうため、映像表示スクリーンはより大きな方が効果的である。このため万博（筑波博覧会、大阪博覧会）などでは数百インチの巨大な平面スクリーンに立体映像を表示した。また、平面状のスクリーンでは周辺部ほど映像に無理が生じることから、半球状のスクリーンも登場した（ＩＭＡＸ社）。しかし、いずれも予めフィルムに撮影した映像を表示しており、仮想環境を体験するためのインタラクティブ性はない。

インタラクティブ性を持った立体映像表示としては、リアルタイムにコンピュータで作成した映像をスクリーンに表示したものがあり、さらにそのスクリーンを複数組み合わせた例として、アーチ型スクリーン（３面）やＣＡＶＥ（５面）などがある。アーチ型スクリーンは、円柱形状のスクリーンであり、水平方向の視野角としては１８０度以上の広視野角を実現することができるが、垂直方向にはスクリーンの上部になるほど投影手段からの距離が大きくなり、歪みや色むらなどの問題が生じることから、体験者の視野角の半分程度を覆うようにしている。さらに、映像の作成手段としては歪み補正機能が無く、平面形状への映像作成方法による映像投影を行っていたため、疑似平面スクリーンとみなされ、周辺部の映像の歪みが没入感や立体感を損ねていた。ＣＡＶＥは立方体型の５面をスクリーンとして体験者を囲い込む表示手段であり、高い立体感と没入感を得られるが、形状が立方体のためスクリーンのつなぎ目において連続性を損なうという幾何形状に起因する欠点がある。ＣＡＶＥはスクリーン間の表示を連続させるための表示補正機能を持つが、各スクリーン面の境界面で映像をスムーズにつなぐことが難しく、わずかに視点位置がずれただけで直線が境界面で折れ曲がって見える現象が現れる。
特開平０８−３３４８４５号公報

体験者の視野を映像で覆い、高い解像度の立体映像の表示及びその正確なスケール表示を行うことにより、体験者はまるでその表示される世界に入り込んだような深い没入感を感じることができる。人の視野角は生理学的に最大で水平方向２１０度、垂直方向１１０度程度と報告されているため、この視野全体を映像で覆うことが理想であるが、平面形状のスクリーンでの実現は不可能である。そこでスクリーン面を曲げて体験者を囲むようにしなければならない。そのような理想の形状は球形である。

リアルタイムかつインタラクティブな映像の作成はコンピュータによるが、コンピュータの映像は通常平面形状に作成される。この映像をそのまま球形のスクリーンに表示すると、図２（ａ）に示すように、歪んだ映像になる。このため球形のスクリーンに表示したときに歪みが無くなるように、図２（ｂ）に示すように、予めコンピュータによる映像を歪ませる必要がある。これを歪み補正機能と呼ぶ。

さらに１台の投影手段で表示を行うと、映像が拡大されるために映像の解像度及び輝度の両方が低下する。複数の投影手段を用いることで高い解像度及び輝度を保つことができるが、この場合、投影手段の数だけ分割された映像を作成し、さらに合成時の各映像の境界部分がスムーズにつながるような映像作成が必要である。

本発明はこのような点に鑑みてなされたものであり、その目的とするところは、没入感を大きく改善できる仮想環境体験表示装置を実現することにある。

請求項１の発明によれば、上記の課題を解決するために、図１に示すように、体験者に凹面を向けた球面状で広視野角のスクリーン１と、映像を平面上の映像として作成する映像作成手段２と、該映像作成手段２により作成された平面上の映像を前記スクリーン１に合わせた球面形状に貼り付けるマッピング処理とこの球面形状に貼り付けた映像を再度平面上に投影する処理を行うことで前記スクリーン１上に表示されたときに歪みが無くなるように予め映像を歪ませるための歪み補正手段３と、歪み補正された映像を前記スクリーン１へ投影するための投影手段４とを備え、図３に示すように、前記投影手段４は複数とし、前記複数の投影手段４を球面状スクリーン１の中心から略等距離に配置し、前記歪み補正手段３は各投影手段４により前記スクリーン１に分割投影された複数の映像のつなぎ目がスムーズにつながるような歪み補正を行うことを特徴とするものである。

スクリーン１の視野角は人間の視野角と同程度にすることが好ましい（請求項２）。

また、広画角を実現できるプロジェクタは一般的に価格も高いことから、使用するプロジェクタが本発明の表示装置に必要とされる画角を実現できないものである場合、その光路上に凸面鏡を置いて画像を広画角化する（請求項３）。この場合、歪み補正が不可欠であり、歪み補正が無ければ極めて歪んだ画像が体験者に見えることになる。しかしながら、本発明の請求項１で記述したような歪み補正機能があれば、自然な画像を体験者に見せることが可能である。

歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項４に記述したように、ＣＣＤカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせずに上記の目的を達成することが可能になる。

請求項１の発明によれば、球面に対応した歪み補正を施した映像を作成し、球面状で広視野角のスクリーン上に投影して、体験者が映像を視るようにしたから、非常に高い没入感が得られるという効果がある。

請求項１の発明によれば、投影手段を複数にしたことにより、映像の解像度及び輝度を高めることができるという効果がある。また、複数の映像を合成するときのつなぎ目がスムーズにつながるような歪み補正をかけるようにしたので、視点が多少動いても没入感を損なうことがない。

請求項１の発明によれば、投影手段を球面状スクリーンの中心から略等距離に配置したので、複数の投影手段の映像表示能力を略同等にすることができ、複数の映像間の解像度や輝度のばらつきを抑えることができる。

請求項２の発明によれば、スクリーンの視野角を人間の視野角と同程度にしたので、没入感を向上させることができる。

請求項３の発明によれば、複数の投影手段により投影された像を一旦凸面鏡で反射させることで球面状のスクリーンに広視野角の画像を投影するようにしたから、一般的に高価な広画角のプロジェクタを用いなくても広視野角の仮想環境体験装置を実現できるという効果がある。

請求項４の発明によれば、体験装置の上方に体験者の位置検出用のカメラを配置し、このカメラにより撮影された画像により体験者の位置を検出し、検出された体験者の位置に対して、歪み補正のパラメータを動的に変更するようにしたので、動く体験者に対しても、常に最適な状態の歪み補正を実現できるという効果がある。

本発明の仮想環境体験表示装置の全体構成を図１に示す。図１において、スクリーン１は、図３及び図４に示すように、水平方向にも垂直方向にも曲率を有する球面状の広視野角スクリーンであり、６台のプロジェクタで構成される投影手段４により広視野角の映像を投影表示される。映像作成手段２は、グラフィックスコンピュータよりなり、インタラクティブな立体映像をリアルタイムに作成する。歪み補正手段３は、コンピュータ上の歪み補正機能を持つソフトウェアであり、映像作成手段２で作成された映像に対して、図２（ｂ）のように映像に予め歪みを与える。また、単に球面に対しての補正だけでなく、６つの別々の画面から１つの全体映像が構成されるように、各映像のつなぎ目がスムーズにつながるような歪み補正機能を有する。各画面からの映像信号はそれぞれ６台のプロジェクタに渡され、球面状の広視野角スクリーン１に映像が表示される。

映像作成手段２では、立体映像を表示するために、グラフィックスコンピュータを用いて左右の映像が別々に作成される。これを立体的に見るためには、従来の技術で述べたように、左右の映像をそれぞれの目に表示すればよい。そこで、コンピュータで作成される左右の映像を人が認識できないほどの高速で切り替えて表示する。そして切り替えるための立体映像用同期信号をコンピュータから赤外線で立体視めがね５に送り、立体視めがね５では映像に同期して高速に左右の液晶シャッタを切り替えて、右目の映像が映っているときには左目を隠し、左目の映像が映っているときには右目を隠すように動作させる。なお、コンピュータから立体視めがね５に液晶シャッターの制御信号を送るために、赤外線エミッタ機器６を体験者の近傍に複数個配置している。

さらに、映像はリアルタイムに作成されるため、インタラクティブに動かすことができる。この動きの制御をマウスやキーボード、さらにはジョイスティックなどの操作手段７で操作する。これにより体験者は表示された仮想環境の中を自由に動きながら様々な視点から仮想環境を体験することができる。また、図４に示すように、スクリーン１は体験者Ｍに比べて巨大であり、投影手段４は体験者Ｍの視界を妨げないように、天井から支持部材８により吊下されているので、複数の体験者が同時に仮想環境を体験することができ、例えば都市開発や防災計画の企画・設計に利用することができる。

歪み補正機能について、従来は魚眼レンズ等を用いた光学的な処理により実現した事例はあるが、本機能ではそれをソフトウェア上で実現している。その優位性について述べる。レンズで歪み補正機能を実現する場合、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならない。このため、表示系の大きさや形が変わった場合には対応できない。これに対してソフトウェアで歪み補正機能を実現すると、表示系に合わせたパラメータ設定だけで対応できる。また、１台の投影手段では、映像が体験者の視野を大きく覆うほど大きい場合、表示される映像の解像度と輝度がその表示面積に反比例して低下し、本来の目的である立体感や没入感を体験者に与えることができなくなるという問題点が生じる。ソフトウェアによる歪み補正機能を用いた場合には、複数の投影手段による表示をスムーズにつなげるための補正を行うことができ、実施例のように、６つの領域から映像を構成することが可能であるが、光学系による表示では各映像をスムーズにつなげることが不可能である。

ソフトウェアで歪み補正機能を実現する原理は、図５に示す通りである。現状のコンピュータでは、映像はすべて平面上に作成される。そこで一旦映像を平面上に作成し、そのまま表示をせずに、スクリーンに合わせた球面形状に貼り付ける。これをマッピング処理と呼ぶ。さらにそれを平面上に投影する処理を行い、映像として表示する。つまり２度映像を作成する処理を行うことで歪み補正機能を実現する。

図６と図７は請求項３の発明の一実施形態を示している。図６は装置を上から見た図であり、図７は装置を横から見た図である。スクリーン１については、それぞれ水平断面と垂直断面を示している。図のようにプロジェクタ４の光路上に凸面鏡９を置くことで球面状のスクリーン１に広視野角の画像を投影させることができる。図３および図４の例では、合計６台のプロジェクタ４を用いて広視野角の画像を実現しているのに対して、この例では、水平方向及び垂直方向の投影角度が広がったことにより、合計２台のプロジェクタ４で広視野角の画像を実現している。

このように、凸面鏡９を用いて画像を広画角化した場合、それに伴う歪みの補正が不可欠であるが、図２で述べた歪み補正と同時に凸面鏡９により生じた歪みの補正も行えば、自然な画像を体験者に見せることが可能である。歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項４に記述したように、ＣＣＤカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせる必要は無くなる。その結果、得られた位置座標を、歪み補正を行う計算機に入力し、動的に補正を行うことにより、動きのある体験者に対しても、常に最適な状態の歪み補正を行うことができる。

本発明の装置の全体構成を示すブロック図である。 従来の装置と本発明の装置による表示例を比較して示す説明図である。 本発明の装置に用いるスクリーンと投影手段の配置を示す横断面図である。 本発明の装置に用いるスクリーンと投影手段の配置を示す縦断面図である。 本発明の装置に用いる歪み補正手段の原理を示す説明図である。 請求項３の発明の一実施例の平面図である。 請求項３の発明の一実施例の立面図である。

符号の説明

１ スクリーン
２ 映像作成手段
３ 歪み補正手段
４ 投影手段

本発明は仮想環境を広視野角の映像により体験できる仮想環境体験表示装置に関するものである。

立体映像の作成方法としては、右目及び左目用の映像を対応するそれぞれの目にのみ表示すると立体感を得ることができるため、古くは赤青のセロファンめがねを利用したアナグリフ方式による立体映像表示例などがある。立体映像表示はテレビ画面上の表示でも実現できるが、映像の映る領域が少ないと著しく立体感を損なうため、映像表示スクリーンはより大きな方が効果的である。このため万博（筑波博覧会、大阪博覧会）などでは数百インチの巨大な平面スクリーンに立体映像を表示した。また、平面状のスクリーンでは周辺部ほど映像に無理が生じることから、半球状のスクリーンも登場した（ＩＭＡＸ社）。しかし、いずれも予めフィルムに撮影した映像を表示しており、仮想環境を体験するためのインタラクティブ性はない。

インタラクティブ性を持った立体映像表示としては、リアルタイムにコンピュータで作成した映像をスクリーンに表示したものがあり、さらにそのスクリーンを複数組み合わせた例として、アーチ型スクリーン（３面）やＣＡＶＥ（５面）などがある。アーチ型スクリーンは、円柱形状のスクリーンであり、水平方向の視野角としては１８０度以上の広視野角を実現することができるが、垂直方向にはスクリーンの上部になるほど投影手段からの距離が大きくなり、歪みや色むらなどの問題が生じることから、体験者の視野角の半分程度を覆うようにしている。さらに、映像の作成手段としては歪み補正機能が無く、平面形状への映像作成方法による映像投影を行っていたため、疑似平面スクリーンとみなされ、周辺部の映像の歪みが没入感や立体感を損ねていた。ＣＡＶＥは立方体型の５面をスクリーンとして体験者を囲い込む表示手段であり、高い立体感と没入感を得られるが、形状が立方体のためスクリーンのつなぎ目において連続性を損なうという幾何形状に起因する欠点がある。ＣＡＶＥはスクリーン間の表示を連続させるための表示補正機能を持つが、各スクリーン面の境界面で映像をスムーズにつなぐことが難しく、わずかに視点位置がずれただけで直線が境界面で折れ曲がって見える現象が現れる。
特開平０８−３３４８４５号公報

体験者の視野を映像で覆い、高い解像度の立体映像の表示及びその正確なスケール表示を行うことにより、体験者はまるでその表示される世界に入り込んだような深い没入感を感じることができる。人の視野角は生理学的に最大で水平方向２１０度、垂直方向１１０度程度と報告されているため、この視野全体を映像で覆うことが理想であるが、平面形状のスクリーンでの実現は不可能である。そこでスクリーン面を曲げて体験者を囲むようにしなければならない。そのような理想の形状は球形である。

リアルタイムかつインタラクティブな映像の作成はコンピュータによるが、コンピュータの映像は通常平面形状に作成される。この映像をそのまま球形のスクリーンに表示すると、図２（ａ）に示すように、歪んだ映像になる。このため球形のスクリーンに表示したときに歪みが無くなるように、図２（ｂ）に示すように、予めコンピュータによる映像を歪ませる必要がある。これを歪み補正機能と呼ぶ。

さらに１台の投影手段で表示を行うと、映像が拡大されるために映像の解像度及び輝度の両方が低下する。複数の投影手段を用いることで高い解像度及び輝度を保つことができるが、この場合、投影手段の数だけ分割された映像を作成し、さらに合成時の各映像の境界部分がスムーズにつながるような映像作成が必要である。

本発明はこのような点に鑑みてなされたものであり、その目的とするところは、没入感を大きく改善できる仮想環境体験表示装置を実現することにある。

請求項１の発明によれば、上記の課題を解決するために、図１に示すように、体験者に凹面を向けた球面状で広視野角のスクリーン１と、映像を平面上の映像として作成する映像作成手段２と、該映像作成手段２により作成された平面上の映像を前記スクリーン１に合わせた球面形状に貼り付けるマッピング処理とこの球面形状に貼り付けた映像を再度平面上に投影する処理を行うことで前記スクリーン１上に表示されたときに歪みが無くなるように予め映像を歪ませるための歪み補正手段３と、歪み補正された映像を前記スクリーン１へ投影するための投影手段４とを備え、体験装置の上方に体験者の位置検出用のカメラを配置し、このカメラにより撮影された画像により体験者の位置を検出し、検出された体験者の位置に対して、歪み補正のパラメータを動的に変更することにより、常に最適な補正を実行する機能を有することを特徴とするものである。

ここで、前記投影手段４は複数とし、前記歪み補正手段３は各投影手段４により前記スクリーン１に分割投影された複数の映像のつなぎ目がスムーズにつながるような歪み補正を行うことが好ましい（請求項２）。この場合において、複数の投影手段４は球面状スクリーン１の中心から略等距離に配置することが好ましい（請求項４）。スクリーン１の視野角は人間の視野角と同程度にすることが好ましい（請求項３）。

また、広画角を実現できるプロジェクタは一般的に価格も高いことから、使用するプロジェクタが本発明の表示装置に必要とされる画角を実現できないものである場合、その光路上に凸面鏡を置いて画像を広画角化する（請求項５）。この場合、歪み補正が不可欠であり、歪み補正が無ければ極めて歪んだ画像が体験者に見えることになる。しかしながら、本発明の請求項１で記述したような歪み補正機能があれば、自然な画像を体験者に見せることが可能である。

歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項１に記述したように、ＣＣＤカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせずに上記の目的を達成することが可能になる。

請求項１の発明によれば、球面に対応した歪み補正を施した映像を作成し、球面状で広視野角のスクリーン上に投影して、体験者が映像を視るようにしたから、非常に高い没入感が得られるという効果がある。

請求項２の発明によれば、投影手段を複数にしたことにより、映像の解像度及び輝度を高めることができるという効果がある。また、複数の映像を合成するときのつなぎ目がスムーズにつながるような歪み補正をかけるようにしたので、視点が多少動いても没入感を損なうことがない。

請求項４の発明によれば、投影手段を球面状スクリーンの中心から略等距離に配置したので、複数の投影手段の映像表示能力を略同等にすることができ、複数の映像間の解像度や輝度のばらつきを抑えることができる。

請求項３の発明によれば、スクリーンの視野角を人間の視野角と同程度にしたので、没入感を向上させることができる。

請求項５の発明によれば、複数の投影手段により投影された像を一旦凸面鏡で反射させることで球面状のスクリーンに広視野角の画像を投影するようにしたから、一般的に高価な広画角のプロジェクタを用いなくても広視野角の仮想環境体験装置を実現できるという効果がある。

請求項１の発明によれば、体験装置の上方に体験者の位置検出用のカメラを配置し、このカメラにより撮影された画像により体験者の位置を検出し、検出された体験者の位置に対して、歪み補正のパラメータを動的に変更するようにしたので、動く体験者に対しても、常に最適な状態の歪み補正を実現できるという効果がある。

本発明の仮想環境体験表示装置の全体構成を図１に示す。図１において、スクリーン１は、図３及び図４に示すように、水平方向にも垂直方向にも曲率を有する球面状の広視野角スクリーンであり、６台のプロジェクタで構成される投影手段４により広視野角の映像を投影表示される。映像作成手段２は、グラフィックスコンピュータよりなり、インタラクティブな立体映像をリアルタイムに作成する。歪み補正手段３は、コンピュータ上の歪み補正機能を持つソフトウェアであり、映像作成手段２で作成された映像に対して、図２（ｂ）のように映像に予め歪みを与える。また、単に球面に対しての補正だけでなく、６つの別々の画面から１つの全体映像が構成されるように、各映像のつなぎ目がスムーズにつながるような歪み補正機能を有する。各画面からの映像信号はそれぞれ６台のプロジェクタに渡され、球面状の広視野角スクリーン１に映像が表示される。

映像作成手段２では、立体映像を表示するために、グラフィックスコンピュータを用いて左右の映像が別々に作成される。これを立体的に見るためには、従来の技術で述べたように、左右の映像をそれぞれの目に表示すればよい。そこで、コンピュータで作成される左右の映像を人が認識できないほどの高速で切り替えて表示する。そして切り替えるための立体映像用同期信号をコンピュータから赤外線で立体視めがね５に送り、立体視めがね５では映像に同期して高速に左右の液晶シャッタを切り替えて、右目の映像が映っているときには左目を隠し、左目の映像が映っているときには右目を隠すように動作させる。なお、コンピュータから立体視めがね５に液晶シャッターの制御信号を送るために、赤外線エミッタ機器６を体験者の近傍に複数個配置している。

さらに、映像はリアルタイムに作成されるため、インタラクティブに動かすことができる。この動きの制御をマウスやキーボード、さらにはジョイスティックなどの操作手段７で操作する。これにより体験者は表示された仮想環境の中を自由に動きながら様々な視点から仮想環境を体験することができる。また、図４に示すように、スクリーン１は体験者Ｍに比べて巨大であり、投影手段４は体験者Ｍの視界を妨げないように、天井から支持部材８により吊下されているので、複数の体験者が同時に仮想環境を体験することができ、例えば都市開発や防災計画の企画・設計に利用することができる。

歪み補正機能について、従来は魚眼レンズ等を用いた光学的な処理により実現した事例はあるが、本機能ではそれをソフトウェア上で実現している。その優位性について述べる。レンズで歪み補正機能を実現する場合、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならない。このため、表示系の大きさや形が変わった場合には対応できない。これに対してソフトウェアで歪み補正機能を実現すると、表示系に合わせたパラメータ設定だけで対応できる。また、１台の投影手段では、映像が体験者の視野を大きく覆うほど大きい場合、表示される映像の解像度と輝度がその表示面積に反比例して低下し、本来の目的である立体感や没入感を体験者に与えることができなくなるという問題点が生じる。ソフトウェアによる歪み補正機能を用いた場合には、複数の投影手段による表示をスムーズにつなげるための補正を行うことができ、実施例のように、６つの領域から映像を構成することが可能であるが、光学系による表示では各映像をスムーズにつなげることが不可能である。

ソフトウェアで歪み補正機能を実現する原理は、図５に示す通りである。現状のコンピュータでは、映像はすべて平面上に作成される。そこで一旦映像を平面上に作成し、そのまま表示をせずに、スクリーンに合わせた球面形状に貼り付ける。これをマッピング処理と呼ぶ。さらにそれを平面上に投影する処理を行い、映像として表示する。つまり２度映像を作成する処理を行うことで歪み補正機能を実現する。

図６と図７は請求項５の発明の一実施形態を示している。図６は装置を上から見た図であり、図７は装置を横から見た図である。スクリーン１については、それぞれ水平断面と垂直断面を示している。図のようにプロジェクタ４の光路上に凸面鏡９を置くことで球面状のスクリーン１に広視野角の画像を投影させることができる。図３および図４の例では、合計６台のプロジェクタ４を用いて広視野角の画像を実現しているのに対して、この例では、水平方向及び垂直方向の投影角度が広がったことにより、合計２台のプロジェクタ４で広視野角の画像を実現している。

このように、凸面鏡９を用いて画像を広画角化した場合、それに伴う歪みの補正が不可欠であるが、図２で述べた歪み補正と同時に凸面鏡９により生じた歪みの補正も行えば、自然な画像を体験者に見せることが可能である。歪み補正を行う場合、体験者の見ている視点が何処であるかという情報を用いなければ、厳密な補正は行えない。そこで、体験者の位置を計測する手段が必要になる。体験者の位置を検出するには、電磁誘導型あるいは超音波利用のセンサーを用いるのが一般的であるが、これらは何れも体験者にセンサーを装着することを要求するため、運用性が良くない。そこで、請求項１に記述したように、ＣＣＤカメラを用いて体験者の上方からの画像を撮影し、これと体験者のいない場合の画像との差分で、体験者の位置を算出し、求められた体験者の位置情報を用いて画像の歪み補正を行えば、体験者には特別なセンサーを持たせる必要は無くなる。その結果、得られた位置座標を、歪み補正を行う計算機に入力し、動的に補正を行うことにより、動きのある体験者に対しても、常に最適な状態の歪み補正を行うことができる。

本発明の装置の全体構成を示すブロック図である。 従来の装置と本発明の装置による表示例を比較して示す説明図である。 本発明の装置に用いるスクリーンと投影手段の配置を示す横断面図である。 本発明の装置に用いるスクリーンと投影手段の配置を示す縦断面図である。 本発明の装置に用いる歪み補正手段の原理を示す説明図である。 請求項５の発明の一実施例の平面図である。 請求項５の発明の一実施例の立面図である。

符号の説明

１ スクリーン
２ 映像作成手段
３ 歪み補正手段
４ 投影手段

Claims (6)

1. 体験者に凹面を向けた球面状で広視野角のスクリーンと、
   映像を平面上の映像として作成する映像作成手段と、
   該映像作成手段により作成された平面上の映像を前記スクリーンに合わせた球面形状に貼り付けるマッピング処理とこの球面形状に貼り付けた映像を再度平面上に投影する処理を行うことで前記スクリーン上に表示されたときに歪みが無くなるように予め映像を歪ませるための歪み補正手段と、
   歪み補正された映像を前記スクリーンへ投影するための投影手段と、
   を備えたことを特徴とする仮想環境体験表示装置。
2. 前記投影手段は複数とし、前記歪み補正手段は各投影手段により前記スクリーンに分割投影された複数の映像の境界線が一致するような補正を行うことを特徴とする請求項１に記載の仮想環境体験表示装置。
3. 前記スクリーンの視野角は人間の視野角と同程度にすることを特徴とする請求項１又は２に記載の仮想環境体験表示装置。
4. 複数の投影手段を球面状スクリーンの中心から略等距離に配置することを特徴とする請求項２記載の仮想環境体験表示装置。
5. 複数の投影手段から投影された像を一旦凸面鏡で反射させることで球面状の前記スクリーンに広視野角の画像を投影させることを特徴とする請求項１又は２又は３に記載の仮想環境体験表示装置。
6. 体験装置の上方に体験者の位置検出用のカメラを配置し、このカメラにより撮影された画像により体験者の位置を検出し、検出された体験者の位置に対して、歪み補正のパラメータを動的に変更することにより、常に最適な補正を実行する機能を有することを特徴とする請求項１、２、３又は５のいずれかに記載の仮想環境体験表示装置。

Images