JP2002224434A - 画像合成装置、仮想体験装置および画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 実空間映像と仮想空間画像とを合成表示する
こと等により、仮想世界をより現実世界に近づけること
ができる画像合成装置及びこれを用いた仮想体験装置を
提供する。 【解決手段】 プレーヤ５０には、プレーヤ５０から見
える実空間映像１００を撮影する映像カメラ１０も装着
されている。更に、プレーヤ５０の３次元情報はプレー
ヤ用の空間センサ１２により検出される。仮想視界画像
演算装置７０では、操作部３８からの操作信号及びプレ
ーヤ用の空間センサ１２からの検出信号に基づいて、サ
イドミラー４１上にプレーヤ５０から見える仮想視界画
像１０２を画像演算している。そして、この仮想視界画
像１０２は、表示画像合成装置８０により、映像カメラ
１０で撮影されたサイドミラー４１の実空間映像１００
と画像合成され、表示画像１０４として画像表示装置２
０に出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実空間映像と仮想
空間画像とを合成表示する画像合成装置、これを用いた
仮想体験装置および画像生成方法に関する。

【０００２】

【背景技術及び発明が解決しようとする課題】近年、ド
ライブシュミレータ、フライトシュミレータ、ゲーム装
置、システムキッチンの疑似体験システム等の分野で、
いわゆる仮想現実と呼ばれるシステムを用いた各種の仮
想体験装置が提案されている。そして、この種の仮想体
験装置においては、いかにして仮想世界を現実の世界に
近づけるかが、最も大きな技術的課題となっている。

【０００３】ところで、この仮想現実と呼ばれる世界を
体験させるための画像表示装置として、例えば頭部装着
型ディスプレーと称される装置が知られている。この頭
部装着型ディスプレーと呼ばれる装置は、液晶ディスプ
レー等の表示装置を操作者、例えばゲームにおけるプレ
ーヤの視野を覆うようにプレーヤの目の前に取り付ける
ことで構成される。そして、この頭部装着型ディスプレ
ーには、空間センサと呼ばれる装置が取り付けられ、こ
れによりプレーヤの３次元情報を検出させる。そして、
この空間センサからの検出信号に応じた映像を生成し、
これを頭部装着型ディスプレーの表示装置に表示してや
ることで、例えば普段何気なく行っている、見回すとい
うような動作を、仮想空間において、現実空間と同じよ
うな臨場感で体験することができることとなる。

【０００４】しかし、この頭部装着型ディスプレーと呼
ばれる装置を、例えばドライビングゲームに使用したと
すると、以下のような問題が生じることが判明した。

【０００５】即ち、この頭部装着型ディスプレーでは、
プレーヤの視界範囲は全て液晶ディスプレー等で覆われ
てしまう。従って、プレーヤが実際に操作をしている現
実の世界におけるハンドル、ギア、操作パネル、プレー
ヤ自身の手足、周りの人の様子などを実際に見ることが
できない。この結果、ハンドル、ギア等の操作ミスを起
こし、操作感覚がいまいちであるという問題が判明し
た。更に、操作パネルに表示されるスピード計、タコメ
ータなどを見ることができず、臨場感に欠けるといった
問題も判明した。

【０００６】これを、防止する手法として、例えば、ハ
ンドル、ギア、操作パネルなどを全てコンピュータグラ
フィックにして、プレーヤに見せるという手法も考えら
れる。しかし、コンピュータグラフィックにより再現さ
れる映像は、あくまで仮想的なものにすぎず、現実の世
界において見えるハンドル、ギア等を完全に再現するこ
とはできない。特に、近年は、この種のドライビングゲ
ームにおいては、例えば実際のフォーミュラーレースな
どで使用されるレーシングカーの車体を、ゲーム施設内
に設置して、プレーヤに実際のレーシングカーに乗って
いるように感じさせ、臨場感、現実感を高めるという傾
向にある。ところが、前記したコンピュータグラフィッ
クによって車体を再現する手法によっては、このような
実際の車体を設置することにより得られる臨場感、現実
感を演出することができない。

【０００７】以上のように、従来の頭部装着型ディスプ
レーと呼ばれる画像表示装置では、実際には現実の空間
において見えるべき実映像を使用した方のが好ましい場
合においては、仮想世界を現実世界に近づけるといった
技術的課題の達成が不十分であった。

【０００８】また、この頭部装着型ディスプレーと呼ば
れる装置を、例えばロールプレイングゲームに使用した
とすると、以下のような問題が生じることが判明した。

【０００９】即ち、この頭部装着型ディスプレーでは、
空間センサはプレーヤの位置、向いている方向のみを検
出するものであった。従って、例えば対戦型のロールプ
レイングゲームにこれを使用した場合、プレーヤが持っ
ている対戦用武器がどのような位置にあり、どのような
方向を向いているかを正確に認識することができず、あ
る特定のプレーヤが敵のキャラクターを倒したかどうか
を正確かつ完全に判定することが困難であった。この結
果、例えば対戦用武器がいわゆる戦闘用の剣であった場
合、また、対戦用武器がいわゆる戦闘用の銃であり、こ
れにより狙う標的がかなり小さいものである場合など、
正確に戦闘結果を判定することが困難であるといった問
題が生じた。

【００１０】この結果、従来の頭部装着型ディスプレー
と呼ばれる画像表示装置を、例えば対戦型のロールプレ
イングゲームに使用した場合、その戦闘結果を正確に判
定することができず、前記した仮想世界を現実世界に近
づけるといった技術的課題の達成が不十分であった。

【００１１】本発明は、以上のような課題に鑑みてなさ
れたものであり、実空間映像と仮想空間画像とを合成表
示すること等により、仮想世界をより現実世界に近づけ
ることができる画像合成装置、これを用いた仮想体験装
置および画像生成方法を提供することにある。

【００１２】

【課題を解決するための手段】本発明の画像合成装置
は、実３次元空間に配置されたミラー部材に映る画像を
合成する装置であって、実３次元空間と重ね合わせて設
定されるゲーム空間を表す仮想３次元空間を演算する仮
想３次元空間演算手段と、前記ミラー部材に映る画像と
して、前記仮想３次元空間を前記ミラー部材から見た後
方の仮想視界画像を画像演算する視界画像演算手段と、
前記仮想視界画像を利用して、前記ミラー部材に映る画
像を生成する表示画像合成手段と、を含むことを特徴と
する。

【００１３】ここにおいて、本発明の画像合成装置は、
前記ミラー部材の後方の実空間映像を撮像する撮像手段
を含み、前記表示画像合成手段は、前記仮想視界画像と
前記撮像手段で撮像される実空間映像とを表示画像とし
て画像合成することが好ましい。

【００１４】また、本発明の画像生成装置は、前記実３
次元空間の背景には、ブルー又はブルー以外の画像合成
用の色が施され、前記表示画像合成手段は、前記撮像手
段で撮像された前記実３次元空間の背景の実空間映像の
色データから、前記仮想視界画像を合成する前記実３次
元空間の背景の実空間映像の空きドットを特定し、該空
きドットに前記仮想視界画像を画像合成することが好ま
しい。

【００１５】また、本発明の仮想体験装置は、本発明に
係る画像合成装置を含むことを特徴とする。

【００１６】また、本発明の画像合成方法は、実３次元
空間に配置されたミラー部材に映る画像を合成する方法
であって、実３次元空間と重ね合わせて設定されるゲー
ム空間を表す仮想３次元空間を演算する仮想３次元空間
演算工程と、前記ミラー部材に映る画像として、前記仮
想３次元空間を前記ミラー部材から見た後方の仮想視界
画像を画像演算する視界画像演算工程と、前記仮想視界
画像を利用して、前記ミラー部材に映る画像を生成する
表示画像生成工程と、を含むことを特徴とする。また、
本発明の画像合成方法は、撮像手段により前記ミラー部
材の後方の実空間映像を撮像する後方映像撮像工程を含
み、前記表示画像生成工程では、前記仮想視界画像と前
記撮像手段で撮像される実空間映像とを表示画像として
画像合成することが好ましい。

【００１７】また、本発明の画像合成方法は、前記実３
次元空間の背景には、ブルー又はブルー以外の画像合成
用の色が施され、前記表示画像生成工程では、前記撮像
手段で撮像された前記実３次元空間の背景の実空間映像
の色データから、前記仮想視界画像を合成する前記実３
次元空間の背景の実空間映像の空きドットを特定し、該
空きドットに前記仮想視界画像を画像合成することが好
ましい。

【００１８】

【発明の実施の形態】本実施の形態に係る画像合成装置
は、操作者の視野を覆うように装着される画像表示手段
と、操作者に装着され、操作者から見える実空間映像を
撮像する撮像手段と、操作者の実３次元空間における３
次元情報を検出する操作者用空間センサと、前記操作者
用空間センサからの検出信号に基づいて、前記実３次元
空間と重ね合わせて設定される仮想３次元空間を演算
し、仮想３次元空間における操作者から見える仮想視界
画像を画像演算する仮想視界画像演算手段と、前記仮想
視界画像と前記撮像手段で撮像される実空間映像とを表
示画像として画像合成する表示画像合成手段と、を含
み、前記画像表示手段に前記表示画像を画像表示するこ
とを特徴とする。

【００１９】また、本実施の形態に係る仮想体験装置
は、操作者が搭乗する搭乗体と、前記搭乗体に設けられ
操作者が操作信号を入力する操作部と、操作者の視野を
覆うように装着される画像表示手段と、操作者に装着さ
れ、操作者から見える実空間映像を撮像する撮像手段
と、操作者の実３次元空間における３次元情報を検出す
る操作者用空間センサと、前記操作部からの操作信号と
前記操作者用空間センサからの検出信号とに基づいて、
前記実３次元空間と重ね合わせて設定される仮想３次元
空間を演算し、仮想３次元空間における操作者から見え
る仮想視界画像を画像演算する仮想視界画像演算手段
と、前記仮想視界画像と前記撮像手段で撮像される実空
間映像とを表示画像として画像合成する表示画像合成手
段と、を含み、前記画像表示手段に前記表示画像を画像
表示し、操作部による搭乗体の操作感覚を仮想的に体験
できることを特徴とする。

【００２０】この場合、前記仮想視界画像演算手段は、
所定のゲームプログラムと前記対戦武器用空間センサか
らの検出信号に基づき前記実３次元空間と重ね合わせて
設定されるゲーム空間を表す仮想３次元空間を演算する
仮想３次元空間演算部と、前記プレーヤ用空間センサか
らの検出信号に基づいて、プレーヤから見える仮想視界
画像を画像演算する視界画像演算部と、を含むことが望
ましい。

【００２１】本実施の形態に係る画像合成装置によれ
ば、操作者用空間センサに基づいて演算された仮想３次
元空間における仮想視界画像に、操作者に装着された撮
像手段により撮像された実空間映像を、表示画像合成手
段により画像合成することができる。この結果、操作者
は、プログラム等で任意に設定される仮想３次元空間に
おける仮想視界画像に、実空間における実際の物体の画
像を組み込んで見ることができるため、より現実世界に
近いた仮想世界を体験することができることとなる。

【００２２】また、本実施の形態に係る仮想体験装置に
よれば、前記した画像合成装置により、搭乗体や、搭乗
体の操作部等の実空間における画像を見ることができ
る。

【００２３】従って、これを例えばドライビングゲーム
に利用した場合には、自分自身の乗った本物の車を仮想
空間の中で自由に走らせることができるため、臨場感を
大幅に向上させることができることとなる。更に、従来
のドライビングゲームでは見ることができなかった例え
ば３６０度の全方向の映像を見ることができ、且つ、従
来の仮想体験装置では見ることができなかったハンド
ル、計器類等を見ながら運転できるため操作性が大幅に
向上することとなる。

【００２４】この場合、例えば、各プレーヤごとにゲー
ム成績を演算し、このゲーム成績に基づいてゲーム空間
を表す仮想次３元空間の設定を各プレーヤごとに変化さ
せれば、各プレーヤの腕前に応じたゲーム空間を提供で
き、繰り返しプレイしても飽きることのない仮想体験装
置を提供できることとなる。

【００２５】次に、本実施の形態の具体例について図面
を用いて詳細に説明する。 １．第１の実施の形態 図１には、本実施の形態を用いた第１の実施の形態につ
いてのブロック図が示される。また、図２には、これを
ドライビングゲームに適用した仮想体験装置の一例が示
される。

【００２６】図２（ａ）において、ゲーム用の本物のレ
ーシングカー３０は、内側が全てブルーの色に塗られた
ドーム１の中のフロア４の上に設置されている。ここ
で、このフロア４もドーム１の内側と同様に全てブルー
の色に塗られている。そして、このレーシングカー３０
には、操作者例えばゲームにおけるプレーヤ５０が搭乗
している。なお、操作者という場合には、ゲームにおけ
るプレーヤのみならず、例えばフライトシュミレータを
操作するパイロット、スポーツを行うプレーヤなど仮想
体験装置を利用する全ての者が含まれるとする。

【００２７】レーシングカー３０は、例えば、車両本体
３６、タイヤ３２、リアウイング３４、ハンドル４０、
サイドミラー４１、計器盤４４、シフトギア、アクセ
ル、ブレーキ（図示せず）等を含んで構成されている。
そして、例えばフロントタイヤ３２はプレーヤ５０のハ
ンドル４０の操作により自在に操舵されるように形成さ
れており、また、リアウイング３４も、プレーヤの操作
又はレーシングカー３０のスピードの変化等により上下
に動くように形成されている。そして、後述するよう
に、プレーヤ５０は映像カメラ１０によりこれらの動き
の変化を見ることができることとなる。

【００２８】計器盤４４は、例えばスピードメータ、タ
コメータ、燃料計、警告計（図示せず）を含んでおり、
プレーヤ５０の運転状態により変化するように構成され
ている。即ち、プレーヤ５０のアクセル操作、ブレーキ
操作、シフトギア操作に応じて、スピードメータ、タコ
メータが変化し、また、ゲーム終番になり燃料が尽きて
くると燃料計がこれを示すように構成される。更に、レ
ーシングカー３０のエンジン等にトラブルが生じると警
告計が点滅し、プレーヤ５０は映像カメラ１０によりこ
れを知ることができる。

【００２９】また、レーシングカー３０の下部には、姿
勢制御部２４が設けられ、ゲーム状況（路面変化、道路
の変化等）、プレーヤ５０のハンドル操作、アクセル操
作、ブレーキ操作に応じて、レーシングカー３０の姿勢
変化、加速変化が制御される。プレーヤ５０は、これに
より、姿勢変化、加速Ｇの変化を体感することができ、
より現実世界に近づいた仮想世界を体験することができ
ることとなる。

【００３０】プレーヤ５０には、頭部装着体９がプレー
ヤ５０の視界を覆うように装着されている。この頭部装
着体９は、映像カメラ１０、プレーヤ用の空間センサ１
２、画像表示装置２０、スピーカー２２を含んで構成さ
れている。

【００３１】図４（ａ）、（ｂ）には、この頭部装着体
９の形状の一例が示される。図４（ａ）は、映像カメラ
１０、プレーヤ用の空間センサ１２、画像表示装置２
０、スピーカ２２を、ヘルメット１４に設けて構成され
る装着体９が示される。このタイプの装着体によれば、
ヘルメット１４をプレーヤ５０が装着することにより外
部と完全に隔離した世界を作ることができるため、より
臨場感溢れる仮想現実を楽しむことができる。これに対
して図４（ｂ）に示す装着体９は、映像カメラ１０、プ
レーヤ用の空間センサ１２、画像表示装置２０、スピー
カ２２が、装着バンド１６に一体的に取り付けて構成さ
れているため、より軽快感溢れる装着感を実現すること
ができる。なお、本実施の形態に使用される装着体とし
ては、図４（ａ）、（ｂ）に示す形状のものに限らず種
々の形状のものを使用することが可能である。

【００３２】画像表示装置２０は、プレーヤ５０の視界
を覆うようにプレーヤ５０の目の前に取り付けられ、車
両本体３６に内蔵された画像合成装置から接続線１８を
通じて送られてくる画像信号を画像表示するものであ
る。この場合の画像表示方法としては、頭部装着体９を
小型化し装着感を向上させるべく、例えばカラー液晶デ
ィスプレー、小型ブラウン管等の小型のディスプレーを
用いることが望ましい。また、映像に目の焦点を合わせ
るべく、更に、視野角を広げて臨場感を向上させるべく
光学系により補正することが望ましい。

【００３３】ここで、小型ディスプレーの形状として
は、プレーヤ５０の顔の形状に沿ってプレーヤの視界を
覆うように形成し、パノラマ映像効果を得るような形状
としてもよいし、２つの小型ディスプレーをそれぞれプ
レーヤ５０の両眼の前に形成するような形状としてもよ
い。後者の場合は、両眼に与えられた平面的な２次元画
像に視差のある画像を与えること等により、３次元的な
立体感を与えるような形成することが望ましい。このよ
うに構成すれば、物体の大きさや、物体までの距離を把
握することができるようになるため、より現実世界に近
づいた仮想世界を作り出すことが可能となるからであ
る。

【００３４】映像カメラ１０は、プレーヤ５０が現実世
界を見るために使用するものであり、例えば図４に示す
ように、プレーヤ５０の視点位置（目の位置）に近い位
置に設定し、そのアングルもプレーヤ５０の視界方向と
一致するように設定することが望ましい。このように設
定すれば実際にプレーヤ５０から見える現実世界の映像
を、より違和感なく見ることができるからである。これ
により、例えば後ろから追いかけてくる他のプレーヤの
レーシングカーを、プレーヤ５０が実際に振り返るとい
う動作により確認することができ、より現実感があり、
緊張感のあるゲーム世界を作り出すことが可能となる。

【００３５】但し、この場合、頭部装着体９の例えば後
部にもう一台の映像カメラを取り付けて、プレーヤ５０
の操作によりこれを切り替えて見ることができるように
構成してもよい。更に、例えばレーシングカー３０にサ
イドミラー４１、バックミラー等を設けて、これに例え
ばテクスチャーマッピング等の手法を用いて、実際に後
ろに見えるべき映像を映し出すような構成としてもよ
い。

【００３６】映像カメラ１０として使用する撮像手段と
しては、例えば高解像でより小型なカメラ、例えば高解
像度ＣＣＤカメラ等を用いることが望まく、自動焦点合
わせ等の機能を持つものを用いることが望ましい。

【００３７】プレーヤ用の空間センサ１２、１２は、プ
レーヤ５０の３次元情報を検出するセンサであり、例え
ば一方側はドーム１の天井部に、他方側はプレーヤ５０
の頭部装着体９に取り付けられる。

【００３８】なお、ここでいうプレーヤ５０の３次元情
報とは、例えばプレーヤ５０の位置情報、視界方向情報
をいい、空間センサ１２、１２の３次元空間における方
向をも含めた相対位置関係を求めることにより検出され
る。但し、プレーヤ５０の位置が、ゲームの設定上、動
かないか、もしくは動いたとしても許容範囲内である場
合、この３次元情報には、必ずしもプレーヤ５０の位置
情報を含める必要はない。また、逆にプレーヤ５０の視
界方向が、ゲームの設定上、変更されることがないよう
な場合は、この３次元情報には、必ずしもプレーヤ５０
の視界情報を含める必要はない。これらの場合は、ゲー
ム上で設定される位置もしくは視界情報によりその後の
画像演算処理を行えばよい。

【００３９】空間センサ１２、１２による３次元情報の
検出手法としては、例えば以下の手法が考えられる。即
ち、それぞれの空間センサ１２、１２を互いに直交した
３つのコイルで構成する。そして、どちらか一方の空間
センサ１２のコイルに電流を流し、この時に他方の空間
センサ１２のコイルに誘起される電流値から、これらの
空間センサ１２、１２の方向を含めた位置関係を検出す
る。これによりプレーヤ５０の空間情報が検出されるこ
ととなる。

【００４０】なお、空間センサ１２、１２による３次元
情報の検出方法としては、上記の動磁界を利用したもの
に限らず、例えば、静磁界を利用したもの、超音波を利
用したものを用いてもよい。

【００４１】次に、本実施の形態による画像合成の手法
について以下に説明する。

【００４２】本実施の形態では、図２（ｂ）に示すよう
に、映像カメラ１０で撮影した実３次元空間における実
空間映像１００と、仮想３次元空間における仮想視界画
像１０２とを画像合成して、表示画像１０４を形成して
いる。そして、この表示画像１０４は、接続線１８を通
じて画像表示装置２０に出力され、実際にプレーヤ５０
が見る視界画像となる。

【００４３】この画像合成を、本実施の形態ではブルー
マット合成により行っている。つまり、レーシングカー
３０及びその付属物、自分自身であるプレーヤ５０等、
以外のもの、即ちドーム１の内側及びフロア４を全てブ
ルーの色にしておく。このようにすると、実空間映像１
００において、レーシングカー３０、ハンドル４０、プ
レーヤの手５４以外は全てブルーの背景となる。そし
て、この実空間映像１００のうちブルーの色の部分の画
素を全て空きドットに設定し、これに仮想視界画像１０
２に重ね合わることにより表示画像１０４を得ることが
できることとなる。この場合、例えばドーム１には主に
プレーヤ５０から見えるサーキットの背景が、フロア４
には、レーシングカー３０が走っている道路の路面状況
が映し出される。

【００４４】この場合の画像合成装置の一例を示すブロ
ック図が、図１に示される。

【００４５】図１において仮想視界画像演算装置７０
は、仮想３次元空間においてプレーヤ５０が見ることが
できる仮想画像を演算するものであり、仮想３次元空間
演算部７２及び視界画像演算部７６とを含む。そして、
仮想３次元空間演算部７２は、実３次元空間と重ね合わ
せて設定されるゲーム空間を表す仮想３次元空間を演算
するものであり、視界画像演算部７６は、この演算され
た仮想３次元空間より、プレーヤ５０から見える方向に
おける仮想視界画像を演算するものである。

【００４６】プログラム部７４には、ゲーム用の演算プ
ログラムが格納されている。例えば、本実施の形態のド
ライビングゲームを例にとれば、ドライビングゲーム空
間を構成するサーキット上のあらゆる物体（レーシング
カー、道路、他のレーシングカー、道路から見える背景
等）が多面体の組合せで表現され、この多面体の各頂点
の３次元情報及び付随データが画像情報として格納され
ている。なお、プログラム部７４には、これらのデータ
以外にもゲームの進行等を制御するプログラムも格納さ
れ、また、複数のサーキット走行を楽しめるものであれ
ば、これら全てのサーキット情報が格納されている。

【００４７】プレーヤ５０が、ハンドル４０、アクセ
ル、ブレーキ、シフトギアにより入力した操作信号は、
操作部３８を介して仮想３次元空間演算部７２に入力さ
れる。そして、この操作信号と前記したプログラム部７
４からの情報により、仮想３次元空間でのレーシングカ
ー３０の位置、方向がリアルタイムに演算される。そし
て、この演算結果に基づき、仮想３次元空間におけるレ
ーシングカー３０及びその周りのサーキット上のあらゆ
る物体の画像情報が、視界画像演算部７６に出力され
る。

【００４８】視界画像演算部７６では、プレーヤ用の空
間センサ１２より検出された３次元情報に基づき、以下
のような座標変換がなされる。即ち、図１２に示すよう
に、仮想３次元空間演算部７２により演算された画像情
報（例えば背景画面を構成する看板、ビル等の物体１７
０、１７２を表す画像情報）が、仮想３次元空間におけ
るワールド座標系（ＸW 、ＹW 、ＺW ）から、プレーヤ
５０の視点座標系（ＸV、ＹV 、ＺV ）に座標変換され
る。そして、プレーヤ５０の視野外、例えば視野から外
れて後ろに通り過ぎて行く看板等の物体１７２の画像情
報はクリッピングされて除去され、視野内にある物体１
７０の画像情報はスクリーン座標系（ＸS 、ＹS ）、即
ち実際にプレーヤ５０から見える座標系に透視変換され
る。この場合、この透視変換された画像情報は、前記物
体を構成する多面体に対応するポリゴン１７４、１７
５、１７６（裏側のポリゴンは省略）の組合せとして表
現されている。次に、このポリゴン１７４、１７５、１
７６内の全てのドットの画像情報が、ポリゴン毎にもし
くはポリゴンの各頂点毎に与えられた色、輝度等の付随
情報を基に演算され、これが仮想視界画像情報として、
表示画像合成装置８０に出力されることとなる。

【００４９】表示画像合成装置８０では、視界画像演算
部７６からの仮想視界画像１０２と映像カメラ１０から
の実空間映像１００との画像合成が行われる。この画像
合成の手法としては種々の手法が考えられるが、本実施
の形態では前述したようにブルーマット合成による手法
によって行っている。図１３には、この場合に表示画像
合成装置８０の詳細が示されている。

【００５０】即ち、図１３において、映像カメラ１０か
ら入力された実空間映像１００を表す画像信号は、表示
画像合成装置８０内においてまずフィルター２００に通
されＲＧＢの３原色の成分に分けられる。そして、これ
らの成分のそれぞれが例えば８ビットのデジタルデータ
に、Ａ／Ｄ変換回路２０２にてＡ／Ｄ変換され、これに
より各画素毎に２４ビットのＲＧＢデジタルデータが求
められる。そして、この実空間映像１００における各画
素の２４ビットのＲＧＢデジタルデータが、ドーム１の
裏側及びフロア４に塗られたブルーの色の２４ビットの
ＲＧＢデジタルデータと一致するか否かが、空きドット
判定回路２０４にて各画素毎に演算され、判断される。
そして、この判断結果は、空きドットメモリ２０６に書
き込まれる。空きドットメモリ２０６は、表示画像の全
ての画素に対応した１ビットメモリの構成となってお
り、各画素毎に空きドットか否かの空きドット判定デー
タが１ビットデータとして書き込まれる。

【００５１】表示画像合成装置８０には、表示画像の各
画素に対応したフィールドバッファ２１０が内蔵されて
いる。そして、データ制御部２０８により、空きドット
メモリ２０６に書き込まれている空きドット判定データ
が参照され、フィールドバッファ２１０の各画素位置に
実空間映像が書き込まれる。即ち、空きドット判定デー
タにより、その画素が空きドットであると判断された場
合は、フィールドバッファ２１０のその画素位置には、
実空間映像は書き込まれない。逆に、空きドット判定デ
ータにより、その画素が空きドットではないと判断され
た場合には、実空間映像の２４ビットのＲＧＢデジタル
データがそのまま書き込まれることとなる。

【００５２】次に、データ制御部２０８により、空きド
ットメモリ２０６に書き込まれている空きドット判定デ
ータが参照され、フィールドバッファ２１０の各画素位
置に、視界画像演算部７６により演算された仮想視界画
像情報が重ね書きされる。即ち、空きドット判定データ
により、その画素が空きドットであると判断された場合
は、仮想視界画像情報がそのまま書き込まれる。逆に、
空きドット判定データにより、その画素が空きドットで
はないと判断された場合には、なにも書き込まれず、こ
の画素位置には実空間映像が表示されることとなる。

【００５３】以上の書き込みを行なった後、データ制御
部２０８によりフィールドバッファ２１０から各画素位
置の画像情報データが読み出される。そして、この画像
情報データは接続線１８を通して画像表示装置２０に画
像出力され、プレーヤ５０は、実空間映像１００に仮想
視界画像１０２が組み込まれた表示画像１０４をリアル
タイムに見ることができることとなる。

【００５４】なお、以上の画像情報の書き込みと、読み
出しは、例えばフィールドバッファ２１０を２画面分の
構成とすることにより、同時に行うように構成すること
がより望ましい。

【００５５】また、仮想３次元空間演算部７２において
は、画像情報の演算のみならず、例えば、音声合成部７
８を通じてスピーカ２２より出力される音声信号、及
び、レーシングカー３０の姿勢を制御する姿勢制御信号
の生成も行っている。即ち、プログラム７４からのゲー
ムプログラム及び操作部３８からの操作信号により演算
された、ゲーム空間におけるゲーム進行状況に応じて、
より効果的な音声信号及び姿勢制御信号の生成を行い、
ゲームの臨場感をより一層高めている。

【００５６】また、本実施の形態では、仮想視界画像演
算装置７０を、仮想３次元空間演算部７２と視界画像演
算部７６とに分けたが、これは便宜的なものであり、例
えば３次元空間演算を行う機能と視界画像を演算する機
能とを一体となって行う手法によりこれを構成しても構
わない。即ち、結果として、仮想３次元空間において、
プレーヤ５０から見える方向における仮想視界画像を得
ることができれば、演算順序、演算手法等は、図１に示
す手法に限らずあらゆる手法を用いることができる。

【００５７】また、表示画像合成装置８０における画像
合成の方法としては、上記したものに限らず、例えばブ
ルーではなくレッドを用いて画像合成したり、複数の色
を用いて画像合成したり、種々の手法を用いることがで
きる。

【００５８】また、視界画像演算部７６において、演算
されたポリゴン内の全てのドットの画像情報を求める手
法としては、前記したものに限らず、例えばテクスチャ
マッピングと呼ばれる手法を用いてもよい。即ち、仮想
３次元空間における物体の各頂点に、あらかじめはり付
けたいテクスチャ情報を指定するテクスチャ座標を与え
ておく。そして、前記した視点座標系への演算等を行っ
た後に、このテクスチャ座標をアドレスとして、テクス
チャ情報メモリよりテクスチャ情報を読みだし、これを
ポリゴンにはり付けることにより、ポリゴン内の全ての
ドットの画像情報を演算する。

【００５９】このようなテクスチャマッピングと呼ばれ
る手法を用いて画像情報を演算することにより、まず、
演算処理部分の負担を大幅に減らすことができるという
メリットが生じる。また、この他にも、この手法を用い
れば種々の今までにない画像効果を得ることもできる。
その例として例えば以下に挙げるものがある。

【００６０】即ち、レーシングカー３０に設けられたサ
イドミラー４１に映像カメラ４３を取り付ける。そし
て、図１４に示すように、この映像カメラ４３により撮
影される後方の実空間映像１０５と、後方の仮想視界画
像１０６とを画像合成してサイドミラー表示画像１０８
を形成し、このサイドミラー表示画像１０８を、プレー
ヤ５０から見える表示画像１０４のサイドミラー４１の
部分にテクスチャマッピング手法を用いてはり付ける。
このような構成とすれば、サイドミラー４１には、図２
（ｂ）に示す表示画像１０４と同様に、後方の実空間映
像１０５と後方の仮想視界画像１０６とが合成された画
像が表示されることとなる。これにより、例えば後ろか
ら追いかけてくる相手のプレーヤのレーシングカー３１
及び後方における背景画像と自分のレーシングカー３０
の実映像との合成画像を、サイドミラー４１により見る
ことができ、より現実世界に近づいた仮想世界を作り出
すことが可能となる。

【００６１】図１５には、テクスチャマッピング手法を
用いた映像効果のもう一つの例が示される。この例で
は、図１５（ａ）に示すように、それぞれ独立のドーム
内に、プレーヤ５０のレーシングカー３０及び相手プレ
ーヤ５２のレーシングカー３１が設置される。ドーム内
には映像カメラ２６が設置されており、これによりプレ
ーヤ５０、５２の頭部２８が四方から撮影される。そし
て、このプレーヤの頭部２８の撮影データを図１５
（ｂ）に示すように、仮想視界画像１０２上の相手プレ
ーヤ５２の頭部の部分に、テクスチャマッピング手法を
用いてはり付ける。このようにすれば、プレーヤ５０が
後ろを振り返って見た場合に、相手プレーヤの頭部の実
写映像を見ることができ、ゲームの臨場感を非常に高め
ることができる。特に、相手プレーヤ５２のレーシング
カー３１が自分のレーシングカー３０に追いつき横に並
んだときに、相手プレーヤ５２の勝利に誇った顔なども
見ることができ、各プレーヤの競争意識を刺激し、より
現実感、緊張感のあるゲームを提供できることとなる。

【００６２】なお、図１５では、４方向から映像カメラ
２６で各プレーヤの頭部２８を撮影する構成としたが、
少なくともプレーヤの頭部２８の正面からの映像情報が
あればよく、他の方向からの映像情報は、仮想３次元空
間演算部７０において作り出したものを用いてもよい。
また、各プレーヤの頭部２８の撮影手段は、映像カメラ
２６に限られるものではなく、例えばゲームプレイを始
める前に、静止画カメラにより撮影し、これを登録して
用いる構成としてもよい。

【００６３】図１６には、以上に述べたテクスチャマッ
ピング手法により、画像を合成するための簡単なブロッ
ク図の一例が示される。

【００６４】即ち、テクスチャマッピング手法により画
像を合成する場合には、視界画像演算部７６を、例えば
図１６に示すような構成にする。

【００６５】仮想３次元空間演算部７２より出力された
各物体の画像情報は、各物体を構成するポリゴンの頂点
座標ＶX 、ＶY 、ＶZ と、そのポリゴンの各頂点に与え
られたテクスチャ頂点座標ＶＴX 、ＶＴY 等とで表現さ
れている。ここで、テクスチャ座標ＴX 、ＴY は、各ポ
リゴンにはり付けるべきテクスチャ情報を指定するもの
で、このテクスチャ情報は、テクスチャ座標ＴX 、ＴY
をアドレスとしてテクスチャ記憶部３０８に格納されて
いる。そして、テクスチャ頂点座標ＶＴX 、ＶＴY は、
このテクスチャ座標ＴX 、ＴY のうち、各ポリゴンの頂
点位置におけるテクスチャ座標を表すものである。

【００６６】この頂点座標ＶX 、ＶY 、ＶZ 、及びテク
スチャ頂点座標ＶＴX 、ＶＴY 等は、頂点座標変換部３
００に入力される。そして、頂点座標変換部３００にお
いて、透視変換等の座標変換が行われ、その結果はソー
ティング回路３０２に出力される。ソーティング回路３
０２では、各ポリゴンの処理の優先度が設定される。優
先度は、例えばプレーヤの視点に近いポリゴンが優先的
に処理されるように設定され、以降の処理はこの優先度
にしたがって処理されることとなる。

【００６７】プロセッサ部３０４では、各ポリゴンの座
標変換後の頂点座標及びテクスチャ頂点座標から、ポリ
ゴン内の全てのドットの表示座標及びテクスチャ座標Ｔ
X 、ＴY が求められる。そして、この求められたテクス
チャ座標ＴX 、ＴY は前記した表示座標をアドレスとし
てフィールドバッファ部３０６に書き込まれる。

【００６８】画像表示する際には、このフィルードバッ
ファ部３０６からテクスチャ座標ＴX 、ＴY が読み出さ
れ、これをアドレスとしてテクスチャ記憶部３０８から
テクスチャ情報が読み出され、仮想視界画像が形成され
る。その後、表示画像合成装置８０にて、実空間映像と
の画像合成が行われる。

【００６９】以上の構成により、例えば以下に示す演算
処理により、サイドミラー４１にサイドミラー表示画像
１０８が映し出される。ここで、サイドミラー４１は、
例えばブルーの色に塗られており、この位置には画像合
成装置により演算された画像が映し出されるように設定
されている。

【００７０】この場合、まず図１４に示すサイドミラー
表示画像１０８の画像合成が行われる。即ち、図１６に
おいて、後方の仮想視界画像１０６の演算が仮想３次元
空間演算部７２及び視界画像演算部７６により演算され
る。また、後方の実空間映像１０５は映像カメラ４３に
より撮影される。そして、この後方の仮想視界画像１０
６と、後方の実空間映像１０５の画像合成が表示画像合
成装置８０により行われ、サイドミラー表示画像１０８
が画像合成されることとなる。

【００７１】次に、このサイドミラー表示画像１０８
は、図１６に示すようにテクスチャ記憶部３０８に戻さ
れる。そして、テクスチャ記憶部３０８の記憶エリアの
内、サイドミラー４１に対応するテクスチャ座標の位置
に、このサイドミラー表示画像１０８の画像情報が書き
込まれる。その後、このようにしてサイドミラー表示画
像１０８が表示された仮想視界画像１０２と、映像カメ
ラ１０により撮影された実空間映像１００との画像合成
が、表示画像合成装置８０により行われる。これによ
り、表示画像１０４のサイドミラー４１に、サイドミラ
ー表示画像１０８が表示された画像を形成することがで
きることとなる。

【００７２】また、図１６に示す構成により、相手プレ
ーヤの頭部の実映像を映し出す場合には、図１６に示す
ように映像カメラ２６により撮影された映像が、直接テ
クスチャ記憶部３０８に書き込まれる。即ち、テクスチ
ャ記憶部３０８の記憶エリアの内、相手プレーヤの頭部
に対応するテクスチャ座標の位置に、映像カメラ２６に
より撮影された映像データがリアルタイムに書き込まれ
る。これにより、プレーヤ５０から見える仮想視界画像
１０２に、相手プレーヤ５２の頭部の実映像が映し出さ
れた表示画像を得ることができることとなる。

【００７３】なお、静止画カメラにより撮影する構成と
する場合は、ゲーム開始前に登録する際に、このテクス
チャ記憶部３０８に相手プレーヤの写真が画像データと
して記憶されることとなる。

【００７４】また、本実施の形態におけるテクスチャマ
ッピング手法は図１６に示す構成のものに限られるもの
ではなく、あらゆる手法のテクスチャマッピングを用い
ることができる。

【００７５】以上の構成の本実施の形態により、これま
でのドライビングゲームでは体験できなかった、臨場感
溢れるゲームを提供することができることとなった。

【００７６】即ち、まず、従来のドライビングゲームで
は、サーキット等を映し出すゲーム画面がプレーヤ５０
の前面にしか設定されていなかったため、いまひとつ臨
場感に欠けるところがあった。これに対して、本実施の
形態では、プレーヤ５０は例えば３６０度全方向を見る
ことができるため、ゲームの臨場感が大幅に向上する。
特に、例えば本実施の形態を複数プレーヤによるドライ
ビングゲームに適用した場合、プレーヤ５０は、実際に
振り返えることにより、もしくは、前記した構成のサイ
ドミラー４１、バックミラーを使用することにより、追
いかけてくる相手のプレーヤを確認できることとなり臨
場感をより増すことができる。この場合、前記したよう
にテクスチャーマッピングで相手のプレーヤの実空間映
像をはり付ければ、更にゲームの現実感、緊張感を増す
ことが可能となる。

【００７７】また、本実施の形態では、プレーヤ５０
は、実３次元空間における本物のレーシングカー３０に
搭乗することができ、しかも、その本物のレーシングカ
ー３０を、ゲーム用の仮想３次元空間で自由に走らせる
ことが可能となり、より現実世界に近づいた仮想世界を
体験できることになる。即ち、プレーヤ５０は、実３次
元空間におけるレーシングカー３０、タイヤ３２、リア
ウイング３４の動き、サイドミラー４１に写る相手プレ
ーヤなどを、映像カメラ１０を通じて実際に自分の目で
確認しながらレーシングカー３０を操作することができ
る。更に、このプレーヤ５０が操作する操作部、即ちハ
ンドル４０、計器盤４４、アクセル、ブレーキ、シフト
ギアなども、上記と同様に映像カメラ１０を通じて実際
に自分の目で確認しながら操作することができるため、
操作性が大幅に向上し、ゲームの現実感も大幅に向上す
ることとなる。また、この場合に、ゲーム状況に応じ
て、姿勢制御部２４の制御、スピーカ２２に出力する音
声を変化されば、より、臨場感溢れるゲームを提供でき
ることとなる。

【００７８】図３には、本第１の実施の形態をフライト
シュミレータに適用した場合の仮想体験装置の一例が示
される。

【００７９】図３（ａ）で、コックピット４５の中の右
側窓２、左側窓３には、ブルーの色をしたマット（以
下、ブルーマットと呼ぶ）が張り付けられ、このブルー
マットに前述した手法と同様の手法により、表示画像１
０４がはめ込まれる。この様子が図３（ｂ）に示され
る。ここで図３（ｂ）には、左側窓３方向の実空間映像
１００に仮想視界画像１０２をはめ込み、表示画像１０
４が合成される場合が示されている。

【００８０】この場合、表示画像１０４に映し出される
画像は、パイロット４６と教官４８とで異なったように
見えることになる。これは、仮想視界画像１０２は、プ
レーヤ用の空間センサ１２を用いて、パイロット４６、
教官４８のそれぞれの視界方向を検出して演算されてい
るからである。従って、教官４８には見えるがパイロッ
ト４６には見えないといった映像、即ち視界方向によっ
て異なるといった映像効果を作り出すことができ、より
現実感の増した仮想世界を実現できる。この点、従来の
方式、即ち、窓に単にＣＲＴディスプレーを設ける方
式、もしくは、ハーフミラーによりＣＲＴ画像を窓に映
し出す方式によっては、このような映像効果を作り出す
ことはできない。

【００８１】更に、本実施の形態では、パイロット４６
は、映像カメラ１０によりコックピット４５の中にある
操作盤４７、操縦桿４２、教官４８の顔などを見ながら
飛行機の操縦をシュミレートすることができる。従っ
て、一般に、複雑で操作しにくいといわれる飛行機の操
作盤４７を、映像カメラ１０により実際に自分の目で見
ながら操作できるため、操作ミスを劇的に減少させるこ
とができる。

【００８２】即ち、例えば、これらの操作盤４７、操縦
桿４２等をも全て画像合成により作り出す方式による
と、パイロット４６にとっての操作感はいまいち現実感
に欠けるものとなる。しかも、この方式によると、パイ
ロット４６にデータグローブを装着させ、このデータグ
ローブからの操作信号に基づいて、操作盤４７、操縦桿
４２にパイロット４６がどのような操作を行ったかを検
出させる必要が生じ、システムの規模が膨大なものとな
ってしまう。そして、このようにシステムでは、その規
模が膨大であるにもかかわらず、パイロット４６の操作
感はいまいちであり、パイロット４６の操作ミスが多い
という欠点がある。

【００８３】この点、本実施の形態では、コックピット
４５は本物の飛行機のコックピットと同様の構造になっ
ているため、このような不都合は生じない。更に、本実
施の形態では、隣にいる教官４８を見ることもできるた
め、教官４８の指示なども的確に把握することができ、
また、操作ミスをした場合の教官４８の怒った顔なども
見ることができ、より現実感の溢れるフライトシュミレ
ーターを実現できることとなる。 ２．図５、図６には、ロールプレイングゲームに適用し
た仮想体験装置の一例が示される。

【００８４】図５に示すように、この一例は、本第１の
実施の形態のうち操作部３８を、敵キャラクターとの対
戦用武器５８に変更し、また、この対戦用武器５８に対
戦武器用空間センサ６４を取り付け、更に、仮想３次元
空間演算部７２にゲーム成績演算部６８を内蔵させたも
のである。

【００８５】このロールプレイングゲームは、図６
（ａ）に示すように示すような設定、即ち、対戦用武器
５８、例えば剣６０を所持した複数のプレーヤ５０、５
２等がチームを組んで敵キャラクター６６を倒すという
設定となっている。そして、それぞれのプレーヤは、本
第１の実施の形態と同様の構成の頭部装着体９を装着し
ており、画像表示部２０に映し出された表示画像１０４
を見ながら、ゲームプレイを行っている。

【００８６】アトラクションルーム１１０は、その内側
が全てブルーの色に塗られており、これにより前述した
ようなブルーマット合成が可能となる。また、アトラク
ションルーム１１０の天井部には、プレーヤ５０等の３
次元情報を検出する空間センサ１２及び対戦用武器であ
る剣６０の３次元情報を検出する空間センサ６４が取り
付けられている。このアトラクションルーム１１０は、
プレーヤが実際にゲームプレイをするゲーム空間とほぼ
同面積の空間となっており、プレーヤ５０、５２等をこ
のアトラクションルーム１１０を自分自身で歩きなが
ら、敵キャラクター６６を倒してゆくこととなる。

【００８７】図６（ｂ）において、実空間映像１００
は、プレーヤ５０に取り付けられた映像カメラ１０から
の映像であり、同図に示すように、この実空間映像１０
０には、ブルーのアトラクションルーム１１０を背景と
して、自分自身の手５４、目の前にいる第２のプレーヤ
５２等が映し出される。この画像に、前記本第１の実施
の形態と同様の手法により作り出された仮想視界画像１
０２を画像合成し、表示画像１０４を作り出している。
この場合、仮想視界画像１０２には、敵キャラクタ６６
の他に、ゲーム空間を構成する迷路、ドア、床等も共に
表示される。

【００８８】このような構成とすることにより、プレー
ヤ５０は、表示画像１０４を見ながら、第２のプレーヤ
５２と組みながら敵キャラクター６６を倒すことが可能
となる。この場合、第２のプレーヤ５２との連絡は、例
えばスピーカ２２を通じて行う。また、敵キャラクタ６
６を倒したか否かの判定は、剣６０に取り付けられた対
戦武器用空間センサ６４により行う。

【００８９】即ち、対戦武器用空間センサ６４、６４に
より、３次元情報、例えば剣６０の位置及び方向を検出
する。そして、この剣６０の３次元情報を基に、図５に
示す仮想３次元空間演算部７２により、剣６０による敵
キャラクター６６への攻撃が成功したか否かが正確に演
算される。そして、成功した場合には、ゲーム空間おけ
る敵キャラクター６６を消滅させる等して、これをリア
ルタイムにプレーヤ５０、５２等の画像表示装置２０に
表示する。この結果、各プレーヤは、敵キャラクタ６６
が倒れたか否かを確認でき、倒れた場合には、新たな敵
キャラクタ６６を倒すべく次の迷路へと進むこととな
る。このように、プレーヤ５０、５２等の腕前によっ
て、形成されるゲーム空間のゲーム進行を変えることが
可能となり、繰り返しプレイしても飽きることのない仮
想体験装置を提供できることとなる。

【００９０】なお、本例では、各プレーヤのゲーム成
績、即ち敵キャラクター６６を倒した数などが、前記し
た対戦用空間センサ６４からの３次元情報を基に、ゲー
ム成績演算部６８を用いて演算され、この成績も各プレ
ーヤの画像表示装置２０等に出力される。これにより、
ゲーム終了後、もしくはゲーム中にリアルタイムで、各
プレーヤのゲーム成績、チーム毎のゲーム成績などを確
認することができることになる。この結果、各プレーヤ
は、それぞれのプレーヤの腕前をリアルタイムに競い合
うことができるため、ゲームとしての面白さを飛躍的に
増大させることができることとなる。

【００９１】また、本例では、プレーヤ５０から見える
第２のプレーヤ５２の映像情報として、映像カメラ１０
により撮影される実空間映像を用いたが、本例はこれに
限られるものではない。即ち、例えば第２のプレーヤ５
２については実空間映像を用いず、仮想３次元空間演算
部７２により合成したキャラクタを用いて表示してもよ
い。このようにすれば、ゲームが進行して敵キャラクタ
ー６６を倒すにつれて第２のプレーヤを進化させてゆく
等の映像効果を得ることができ、よりゲームの面白さを
増すことができる。

【００９２】このように、他のプレーヤの実空間映像を
画像合成したキャラクター画像に変更させる手法として
は以下の手法を用いることができる。例えば、プレーヤ
毎に違う色の戦闘スーツ、つまりアトラクションルーム
１１０の内側と違う色の戦闘スーツを装着させ、本第１
の実施の形態で説明したブルーマット方式と同様の手法
により画像合成を行う。即ち、第２のプレーヤにはレッ
ドの色の戦闘スーツを装着させ、映像カメラ１０から、
このレッドの色の部分のみを前述した手法と同様の手法
により抜き出し、これを空きドットとして設定する。次
に、これに他のプレーヤに重ねて表示させたいキャラク
ター画像を重ね書きすれば、実空間映像１００に、第２
のプレーヤ５２のキャラクター画像が重ね書きされた画
像を得ることができる。その後、この重ね書きした画像
から、今度は、ブルーの色の部分のみを抜き出し、これ
を空きドットに設定し、これに敵キャラクター６６、迷
路等が表示された仮想視界画像１０２を重ね書きする。
この結果、第２のプレーヤ５２がキャラクター画像に変
更した表示画像１０４を得ることが可能となる。なお、
このように第２のプレーヤ５２の画像を変更する手法と
しては、例えば前記したテクスチャマッピング手法を用
いてもよい。

【００９３】また、本例では、対戦用武器５８として剣
６０を使用しているが、本実施の形態はこれに限られる
ものではなく、例えば光線銃等あらゆる対戦武器を用い
ることができる。そして、例えば光線銃等を用いた場合
には、プレーヤが光線銃を撃った否かの情報が必要とな
るため、この場合は、図５に示すように仮想３次元空間
演算部７２にこの情報が入力され、ゲーム空間の演算に
使用されることとなる。

【００９４】図７（ａ）には、本例をライド方式のアト
ラクション施設に適用した場合の仮想体験装置が示され
る。

【００９５】このアトラクションでは、プレーヤ５０、
５２は搬器１１６に搭乗し、この搬器１１６は、アトラ
クションルーム１１０内に敷かれたレール１１８上を移
動してゆく。アトラクションルーム１１０内には、種々
のジオラマ１１４が設けられ、また、アトラクションル
ーム１１０の内側にはブルーの色に塗られた背景マット
１１２が設けられている。そして、プレーヤ５０、５２
は、光線銃６２により敵キャラクタ６６を撃ち落とし
て、ゲームを競い合う。図７（ｂ）には、この場合の画
像合成の様子が示されるが、この画像合成の方式は、本
第１の実施の形態と同様である。

【００９６】本例を、アトラクション施設に利用した場
合は、主に次のような利点がある。

【００９７】まず、これまでの通常のアトラクション施
設では、一度、アトラクション施設を建設してしまう
と、施設が大がかりで高価なため、そのアトラクション
の内容を変更することは大変困難であった。このため、
プレーヤが何度か同じゲームを繰り返しても飽きられる
ことがないような対策を講ずることが必要とされる。こ
の点、本例では、ジオラマ１１４を共通としながらも、
背景マット１１２に映し出されるゲーム空間の仮想映像
を変更させることで、容易にこれに対処することができ
る。また、前述したように、仮想３次元空間演算部７２
にゲーム成績演算部６８を設けることにより、更に、効
果的にこれに対処できる。

【００９８】即ち、各プレーヤが撃ち落とした敵キャラ
クター６６の数をリアルタイムにゲーム成績演算部６８
で演算し、この撃ち落とした敵キャラクター６６の数に
応じて、つまりプレーヤの腕前に応じて各プレーヤの画
像表示装置２０に表示させる仮想画像１０２を変化させ
る。例えば、腕前の高いプレーヤに対しては、仮想視界
画像１０２に映し出される敵キャラクター６６の数を増
やし、また、表示する敵キャラクタ−６６を強力なもの
とする。更に、仮想視界画像１０２上に表示させるゲー
ム空間のコースを、あらかじめ幾種類か設けておき、ゲ
ーム成績に応じて、いずれかのコースが選択されるよう
な構成としてもよい。これにより、このアトラクション
施設に乗るプレーヤは、何度乗っても違うゲームの仮想
体験をすることができ、繰り返しプレーしても飽きるこ
とのないアトラクション施設を提供できることとなる。

【００９９】本例の、もう一つの利点は、このように飽
きのこないアトラクション施設を実現できるにも関わら
ず、アトラクションルーム内のジオラマ１１４等につい
ては実空間画像を用いることができるため、より現実感
溢れるアトラクションを実現できることにある。

【０１００】例えば、搬器１１６がいわゆるジェットコ
ースタータイプのものであった場合、プレーヤから見え
るジオラマ１１４が実空間映像である方のが、プレーヤ
にとってよりスリリングで、スピード感溢れるアトラク
ションを実現できる。即ち、ユーザーから見える視界映
像が全て画像合成により作り出したものであると、ジェ
ットコースターが本来もつスピード、緊張感、迫力を十
分に再現できないからである。この点、本例では、隣に
いる他のプレーヤの顔も実空間映像として見ることがで
き、よりジエットコースターが本来もつ機能を発揮させ
ることができる。

【０１０１】また、ジオラマ１１４が、プレーヤの手に
触れるものである場合も、その映像は実空間映像である
場合の方が、より臨場感溢れるアトラクションを提供で
きる。この点については、例ば、図８に示すような本例
を適用したアトラクションに示される。

【０１０２】図８に示すアトラクションは、宇宙船１３
４による飛行及び戦闘を疑似的に体験できるアトラクシ
ョンである。

【０１０３】このアトラクションでは、図８（ａ）に示
すように、複数のプレーヤが、宇宙船１３４の宇宙船キ
ャビン１２０内に乗り込む。宇宙船キャビン１２０内
は、本物の宇宙船内に極めて似せて作られており、例え
ば操縦席、戦闘席等が設けられている。この場合、特に
プレーヤが直接に触る操縦桿１３２、操作盤１３０は、
戦闘砲１４４は、極めて本物に似せて精巧に作られてい
る。

【０１０４】宇宙船キャビン１２０内に乗り込んだプレ
ーヤは、それぞれの役割に従って、操縦士、副操縦士、
射撃手として操縦席、戦闘席等に配置される。そして、
操縦席に配置された操縦士１４６、副操縦士１４７は、
操縦席用窓１２２に前述したブルーマット方式により映
し出された隕石１４０等を避けながら操縦桿１３２、操
作盤１３０等により宇宙船１３４の操縦を行う。この場
合、本例では、前述したように各プレーヤに空間センサ
１２を取り付け、各プレーヤ毎に視界方向を演算し、こ
の演算により得られた視界画像を画像表示装置２０に表
示している。この結果、宇宙船１３４に近づいてくる隕
石１４０の見え方が、操縦士１４６、副操縦士１４７、
射撃手１４８とで異なって見えるように設定できるた
め、より臨場感、現実感溢れるアトラクションを提供で
きることとなる。更に、操縦士１４６、副操縦士１４７
は、本物に極めて似せて作られた操縦桿１３２、操作盤
１３０を操作しながら宇宙船を操縦できるため、本物の
宇宙船を操縦しているかのような感覚でプレイできるこ
ととなる。

【０１０５】戦闘席に配置された射撃手１４８、１４９
は、対戦用武器である戦闘砲１４４により、左側窓１２
４、右側窓１２５にブルーマット方式により映し出され
る宇宙船１４２を撃ち落とす。この場合のゲーム成績
は、ゲーム成績演算部６８により演算されて、ゲーム中
にリアルタイムに、もしくはゲーム終了後に全員の乗組
員のゲーム結果として表示されることになる。

【０１０６】なお、図８（ｂ）に示すように、プレーヤ
が乗り込む宇宙船１３４は、油圧等を用いた姿勢制御部
１３８により、ゲーム進行及びプレーヤの操作信号に応
じて姿勢、加速Ｇが制御され、より現実感が増すような
構成となっている。

【０１０７】このように、本例では、それぞれのプレー
ヤが異なる役割について、極めて本物に近い宇宙船内で
一体となってプレーできるため、飽きのこない臨場感溢
れるアトラクションを提供できることとなる。

【０１０８】なお、以上に説明した本例では画像表示部
２０と画像合成部（図５における仮想視界画像演算装置
７０、表示画像合成装置８０等）が別々の場所に配置さ
れ、接続線１８によりこれを接続する構成としていた
が、本例はこれに限らず、画像合成部も含めて全て画像
表示部２０に内蔵させる構成としても良いし、図９に示
すように、双方向無線機１６０を用いてこれを接続する
構成としてもよい。

【０１０９】この歩行型アトラクションは、図９
（ａ）、（ｂ）に示すように頭部装着体９、双方向無線
機１６０、光線銃６２を装備したプレーヤ５０が、迷路
１５０内を自分で進みながら敵キャラクター６６を倒す
という設定のアトラクションである。このように迷路１
５０内を自ら進んで行くようなアトラクションでは、プ
レーヤの動きに、より自由度をもたせることが望まし
い。従って、本例では、画像合成部との接続を、双方向
無線機１６０により行なっている。なお、この場合の双
方向無線の方法としては、例えば赤外線等を用いても構
わない。

【０１１０】ここで、迷路１５０には、窓１５２、絵１
５４、エレベータ１５６、ドア１５８などが設けられて
いる。そして、窓１５２には全面にブルーマットが敷か
れ、絵１５４には、敵キャラクタ−６６が現れる部分の
みにブルーマットが敷かれている。

【０１１１】また、エレベータ１５６、ドア１５８は、
その内部がブルーに塗られている。これにより、プレー
ヤ５０がエレベータボタンを押してエレベータを開けた
際に、もしくは、ドアのノブを回してドアを開けた際
に、その中から敵キャラクター６６が飛び出してくるよ
うな構成とすることが可能となり、おばけ屋敷のような
ゲームのアトラクションに最適なものとなる。なお、こ
の場合も本例では、エレベータのボタン、ドアのノブ等
は本物のものを用いており、プレーヤ５０もその実映像
を見ながら操作できるため、より現実感溢れる仮想世界
を楽しむことができることとなる。 ３．図１０、図１１には、ゴルフに適用した仮想体験装
置の一例が示される。なお、ここでは仮にゴルフに適用
した場合について示したが、本実施の形態はこれに限定
されず種々のスポーツに適用できる。

【０１１２】図１０に示すように、本例は、本第１の実
施の形態のうち操作部３８を、ボール映像カメラ８４、
８６及び移動体検出装置８８、９０に変更したものであ
り、主にボールを用いた球技に好適である。

【０１１３】図１１（ａ）には、本例を適用したインド
アゴルフが示される。本例は、プレーヤ５０が、プレイ
ルーム１６２内において、本物のゴルフとほぼ同様の感
覚で仮想世界を体験することができる仮想体験装置に関
するものである。

【０１１４】図１１（ａ）において、プレイルーム１６
２内は全てブルーの色に塗られており、プレーヤ５０
は、第１の実施の形態と同様の構成の頭部装着体９を装
着している。そして、プレーヤ５０は、本物のゴルフコ
ースにいるような感覚で、本物のゴルフクラブ１６４を
用いて、本物のゴルフボール１６６のショットを行う。

【０１１５】この場合、プレイルーム１６２内には、仮
想３次元空間演算部７２により作り出されたゴルフコー
スの画像が画像表示装置２０を介して映し出され、プレ
ーヤ５０は、あたかも本物のゴルフコースにいるような
感覚を持つことができる。そして、プレーヤ５０が前を
向くと、その視線方向には、図１１（ｂ）に示すよう
に、ゴルフコースのグリーン１６２を示した仮想視界画
像１０２が映し出されている。

【０１１６】そして、プレーヤ５０がゴルフボール１６
６のショットを行うと、ショットされたゴルフボール１
６６は、ボール映像カメラ８４、８６により撮影され
る。そしてこの撮影映像に基づいて移動体検出装置８
８、９０によりゴルフボール１６６の重心座標が演算さ
れ、このデータに基づき、その後のゴルフボール１６６
の軌道を推定して演算する。次に、仮想３次元空間演算
部７２にて、この推定されたゴルフボール１６６の軌道
データに基づき、仮想世界に設定されたゴルフコース上
にゴルフボールの軌道を描き、これを実空間映像１００
と画像合成して画像表示装置２０に画像表示する。これ
によりプレーヤ５０は、自分のショットしたゴルフボー
ル１６６がグリーン１６２に向かって飛んでゆく様子
が、表示画像１０４により見ることができることとな
る。

【０１１７】次に、ゴルフボール１６６の移動体検出の
手法について説明する。

【０１１８】ボール映像カメラ８６、８９は、ゴルフボ
ール１６６を連続撮影するものであり、図１１（ａ）に
示すように、プレイルーム１６２内の、異なる位置、異
なる撮影アングルにて設定される。そしてこの撮影デー
タは、移動体座標検出部８８、９０内のデータ抽出部９
２、９４にコマ送りフレームデータとして入力される。
データ抽出部９２、９４では、背景処理によりボールの
撮影データのみが抽出される。即ち、ゴルフボール１６
６の映っていないフレームデータと映っているフレーム
データとの差分を求め、これをフレームバッファと呼ば
れる画像メモリに重ね書きしてゆく。これにより、結果
としてゴルフボール１６６の映像のみが映し出された画
像データを得ることができる。

【０１１９】次に、得られたこの画像データから、座標
検出部９６、９８において、ゴルフボール１６６の位
置、例えば重心位置の２次元座標を求められ、仮想３次
元空間演算部７２に出力される。

【０１２０】仮想３次元空間演算部７２では、移動体検
出装置８８、９０で検出された、ゴルフボール１６６の
２つの２次元座標から、仮想３次元空間内での３次元座
標を求める。即ち、仮想３次元空間演算部７２には、ボ
ール映像カメラ８４、８６の仮想３次元空間内での設定
位置、設定アングルがあらかじめ記憶されており、この
記憶データと、検出された２つの２次元座標から、仮想
３次元空間内での３次元座標を求めることが可能とな
る。そして、この求められた３次元座標から、仮想３次
元空間でのゴルフボール１６６の軌道を、例えばスプラ
イン補間等を用いて演算し、ゴルフコースの背景データ
と共に、視界画像演算部７６に出力する。

【０１２１】なお、ゴルフボール１６６の軌道の推定の
手法としては、上記したものに限らず種々の手法を用い
ることができる。例えば、打った方向と、インパクトの
時の初速からこれを推定してもよいし、打った瞬間の音
等のよりこれを推定してもよい。

【０１２２】また、例えばプレーヤ５０の切り替え信号
により、プレーヤ５０から見た映像のみならず、例えば
グリーン１６２から見た映像を画像表示装置２０に表示
することも可能である。即ち、これを行うには、視界画
像演算部７６で視点変換を行う際に、視点位置をグリー
ン１６２上に設定すればよい。このようにすれば、プレ
ーヤ５０は、実際にゴルフボール１６６がグリーン１６
２に飛んで行く様子と、ゴルフボール１６６がグリーン
１６２に飛んで来る様子を同時に見ることができ、現実
のゴルフプレイでは得られないプレイ感覚を楽しむこと
ができることとなる。

【０１２３】以上の構成の本例によれば、プレーヤ５０
は、プレイルーム１６２内にて、実際にゴルフコースに
いるような感覚でゴルフを楽しむことができる。特に、
この種のボールを用いた競技、例えばゴルフにおいて
は、クラブ１６４によりゴルフボール１６６をショット
した瞬間をプレーヤ５０が正確に認識する必要がある。
即ち、このショットした瞬間のクラブ１６４、ゴルフボ
ール１６６を、例えば画像合成により作り出したので
は、プレイ感覚が著しく悪化し、現実感も減退してしま
い、更に、正確なスポーツプレーを再現することができ
ない。

【０１２４】これに対して、本例では、ゴルフクラブ１
６４、ゴルフボール１６６、自分のスイング等を、映像
カメラ１０を通じて得られた実空間映像により見ること
ができるため、このような問題が生じず、より正確で、
現実感溢れるゴルフプレーを楽しむことができることと
なる。従って、例えば、球技練習用の仮想体験装置とし
て最適なものとなる。

【０１２５】なお、本発明は上記実施の形態に限定され
るものではなく、本発明の要旨の範囲内において種々の
変形実施が可能である。

【０１２６】例えば、本実施の形態においては、仮想視
界画像と実空間映像とを画像合成する手法としてブルー
マット方式を用いたが、本発明における画像合成はこれ
に限られるものではない。例えばブルー以外の色を用い
たもの、多数の色を用いてこれを複合させて画像合成す
るもの、テクスチャマッピングを用いたもの等、種々の
手法を使用することができる。

【０１２７】また、本発明が適用される仮想体験装置
も、本実施の形態に示したものに限らず種々の体験装置
に適用することができる。例えば、ヘリコプターのフラ
イトシュミレータ等、種々の体験装置に適用することが
可能である。

【図面の簡単な説明】

【図１】第１の実施の形態の構成を示すブロック図であ
る。

【図２】第１の実施の形態をドライビングゲームに適用
した場合について示す概略説明図である。

【図３】第１の実施の形態をフライトシュミレータに適
用した場合について示す概略説明図である。

【図４】頭部装着体の形状について示す概略説明図であ
る。

【図５】ブロック図である。

【図６】ロールプレイングゲームに適用した場合につい
て示す概略説明図である。

【図７】ライド方式のアトラクションに適用した場合に
ついて示す概略説明図である。

【図８】宇宙船体験のアトラクションに適用した場合に
ついて示す概略説明図である。

【図９】歩行型アトラクションに適用した場合について
示す概略説明図である。

【図１０】ブロック図である。

【図１１】ゴルフ体験装置に適用した場合について示す
概略説明図である。

【図１２】本実施の形態における座標変換について説明
するための概略説明図である。

【図１３】表示画像合成装置の構成の一例を示す概略ブ
ロック図である。

【図１４】サイドミラーに画像を表示する手法について
説明するための概略説明図である。

【図１５】テクスチャマッピング手法により、相手プレ
ーヤの顔に実空間映像をはりつける手法について説明す
る概略説明図である。

【図１６】テクスチャマッピング手法を実現するための
構成の一例を示す概略ブロック図である。

【符号の説明】

９ 頭部装着体 １０ 映像カメラ １２ 空間センサ ２０ 画像表示装置 ３８ 操作部 ５０ プレーヤ ５８ 対戦用武器 ６４ 対戦武器用センサ ６８ ゲーム成績演算部 ７０ 仮想視界画像演算装置 ７２ 仮想３次元空間演算部 ７６ 視界画像演算部 ８０ 表示画像合成装置 ８４、８６ ボール映像カメラ ８８、９０ 移動体検出装置 １００ 実空間映像 １０２ 仮想視界画像 １０４ 表示画像

フロントページの続き Ｆターム(参考） 2C001 AA04 AA06 AA09 BA01 BA02 BB08 BC00 BC07 BC08 BC10 CA06 CA09 CB08 CC02 CC03 CC08 CC09 5B050 CA07 DA01 DA10 EA19 FA02 5B057 BA11 BA15 CA12 CA13 CB13 CE08 CH12 5C054 AA01 CC02 CD03 EA05 FA00 FC08 FD01 FE11 HA15

Claims (7)

【特許請求の範囲】
1. 【請求項１】 実３次元空間に配置されたミラー部材に
   映る画像を合成する装置であって、 実３次元空間と重ね合わせて設定されるゲーム空間を表
   す仮想３次元空間を演算する仮想３次元空間演算手段
   と、 前記ミラー部材に映る画像として、前記仮想３次元空間
   を前記ミラー部材から見た後方の仮想視界画像を画像演
   算する視界画像演算手段と、 前記仮想視界画像を利用して、前記ミラー部材に映る画
   像を生成する表示画像合成手段と、 を含むことを特徴とする画像合成装置。
2. 【請求項２】 請求項１において、 前記ミラー部材の後方の実空間映像を撮像する撮像手段
   を含み、 前記表示画像合成手段は、 前記仮想視界画像と前記撮像手段で撮像される実空間映
   像とを表示画像として画像合成することを特徴とする画
   像合成装置。
3. 【請求項３】 請求項２において、 前記実３次元空間の背景には、ブルー又はブルー以外の
   画像合成用の色が施され、 前記表示画像合成手段は、 前記撮像手段で撮像された前記実３次元空間の背景の実
   空間映像の色データから、前記仮想視界画像を合成する
   前記実３次元空間の背景の実空間映像の空きドットを特
   定し、該空きドットに前記仮想視界画像を画像合成する
   ことを特徴とする画像合成装置。
4. 【請求項４】 請求項１〜３のいずれかの画像合成装置
   を含むことを特徴とする仮想体験装置。
5. 【請求項５】 実３次元空間に配置されたミラー部材に
   映る画像を合成する方法であって、 実３次元空間と重ね合わせて設定されるゲーム空間を表
   す仮想３次元空間を演算する仮想３次元空間演算工程
   と、 前記ミラー部材に映る画像として、前記仮想３次元空間
   を前記ミラー部材から見た後方の仮想視界画像を画像演
   算する視界画像演算工程と、 前記仮想視界画像を利用して、前記ミラー部材に映る画
   像を生成する表示画像生成工程と、 を含むことを特徴とする画像合成方法。
6. 【請求項６】 請求項５において、 撮像手段により前記ミラー部材の後方の実空間映像を撮
   像する後方映像撮像工程を含み、 前記表示画像生成工程では、 前記仮想視界画像と前記撮像手段で撮像される実空間映
   像とを表示画像として画像合成することを特徴とする画
   像合成方法。
7. 【請求項７】 請求項６において、 前記実３次元空間の背景には、ブルー又はブルー以外の
   画像合成用の色が施され、 前記表示画像生成工程では、 前記撮像手段で撮像された前記実３次元空間の背景の実
   空間映像の色データから、前記仮想視界画像を合成する
   前記実３次元空間の背景の実空間映像の空きドットを特
   定し、該空きドットに前記仮想視界画像を画像合成する
   ことを特徴とする画像合成方法。