JP2000123193A - 画像データ生成方法、音響データ生成方法、及び、臨場感生成システム - Google Patents

Abstract

(57)【要約】 【課題】従来の、動揺台を備える臨場感生成システムに
おける、画像データ生成方法または音響データ生成方法
は、動揺台の運動に伴う、現実世界におけるユーザの視
聴点データ（視点・聴点の位置や姿勢に関するデータ）
の変化を考慮せずに画像データあるいは音響データを生
成しているため、生成された画像データあるいは音響デ
ータは、ユーザにとって違和感があるものであった。 【解決手段】先ず動揺台の運動データを求め、該動揺台
の運動データに基づき、現実世界におけるユーザの視聴
点データおよびスクリーン・スピーカ等との相対位置・
姿勢を考慮して、画像データおよび音響データの生成を
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像表示装置ある
いは音響装置と、動揺台と、を備える臨場感生成システ
ムに関する。また、本発明は、前記臨場感生成システム
において使用する画像データを生成する方法に関する。
また、本発明は、前記臨場感生成システムにおいて使用
する音響データを生成する方法に関する。

【０００２】

【従来の技術】本発明に関連の深い公知技術としては、
特開平７−２５３７５１号公報に記載の体感映像装置、
特開平８−１３１６５９号公報に記載の疑似現実感発生
装置、および、特開平９−１３８６３７号公報に記載の
模擬視界装置がある。

【０００３】特開平７−２５３７５１号公報に記載の体
感映像装置は、動揺台とビデオプロジェクタとを具備し
て、臨場感を生成する装置であり、撮影時のビデオカメ
ラの姿勢に基づいて、前記動揺台および前記ビデオプロ
ジェクタの位置や姿勢を制御することを特徴とする装置
である。

【０００４】特開平８−１３１６５９号公報に記載の疑
似現実感発生装置は、動揺台、プロジェクタおよびスピ
ーカを具備して、臨場感を生成する装置である。該装置
では、動揺台がユーザの操作に相応した疑似体験を与え
るための運動を行うことにより臨場感を生成することが
基本的な考え方となっている。動揺台の運動範囲が限ら
れている場合、ユーザの操作に相応した疑似体験を与え
るためには、必ずしも動揺台の運動だけでは十分ではな
いが、映像および音響を補助的に用いて、実際以上の運
動をしているかの如くユーザに錯覚を与えることによ
り、動揺台が十分な運動範囲を持つ場合と同様の臨場感
をユーザに提供することが、該装置の特徴となってい
る。例えば、「動揺台が右に大きく動く」ような状況
は、「動揺台を右に動かす」ことと「画像および音像を
動揺台の動きの不足分だけ左に動かす」ことによって代
替する。

【０００５】特開平９−１３８６３７号公報に記載の模
擬視界装置は、現実世界におけるユーザの視点データ
（視点位置および姿勢に関するデータ）を追従し、それ
を仮想世界におけるユーザの視点データ（視点位置およ
び姿勢に関するデータ）に反映させ、現実世界における
ユーザの視点データが反映された仮想世界におけるユー
ザの視点データに基づいて画像を生成し、生成した画像
をユーザに提供するという装置である。

【０００６】また、該模擬視界装置に類似の装置とし
て、現実世界におけるユーザの視点データを追従し、該
現実世界におけるユーザの視点データおよび仮想世界に
おけるユーザの視点データに基づいて画像を生成し、生
成した画像をユーザに提供するという装置も存在する。

【０００７】また、コンピューターグラフィックス（以
下「ＣＧ」と記述する）を用いて時系列画像データを生
成する技術として、仮想世界の３次元モデルを生成し、
該仮想世界中にモデル化されたカメラを挿入し、各時刻
毎に該カメラによって撮影される画像を計算し生成す
る、という方法がある。

【０００８】

【発明が解決しようとする課題】動揺台の運動データ
（位置・姿勢・速度等のデータ）の生成方法としては、
仮想世界におけるユーザの視点位置等の動き（ＣＧによ
る技術ではカメラの動きに対応する）に忠実に生成する
方法、加速度に重きを置いて生成する方法、等が考えら
れる。例えば、「高速で走っている車に乗って長く急な
左カーブを曲がり続ける」ことをユーザに体感させたい
場合には、「路面についているであろう左下がりの横傾
斜に忠実に動揺台を左下がりとする」というように運動
パラメタを生成することもできるし、「遠心力をユーザ
に体感させるために動揺台を右下がりにして重力を利用
する」というように運動パラメタを生成することもでき
る。従って、コンテンツ制作者の観点からすれば、状況
によって適した方法を用いて自由に動揺台の運動パラメ
タを生成することができるのが理想である。

【０００９】また、ユーザの観点からすれば、提供され
る映像および音像は、ユーザの視点位置・姿勢で見た時
に正しく見える映像、ユーザの聴点位置・姿勢で聴いた
時に正しく聴こえる音像であることが理想である。これ
は、例えば、画像表示装置が複数スクリーンを備えてい
る場合に、ユーザの視点位置・姿勢で見た時に正しく見
える映像でない映像を表示した場合には、スクリーンの
境界付近で画像が不自然に歪む、例えば、直線が曲がっ
て見える、などの現象として理解することができる。

【００１０】また、同様にユーザの観点からすれば、提
供される映像および音像は、可能な限り高品質であるこ
とが望ましい。

【００１１】以上のような観点で考えた場合、公知の技
術には、以下のような課題がある。

【００１２】まず、特開平７−２５３７５１号公報に記
載の体感映像装置に関しては、ユーザの視点位置・姿勢
で見た時に正しく見える映像を表示するためには、ビデ
オプロジェクタは少なくともユーザの視点と略一致する
位置（動揺台の座席付近）から映像を投写することが必
要であるが、そのようなことは一般に不可能である。ま
た、シフトレンズなどの特殊な光学系を用いて撮影およ
び投写することで、該問題を回避する場合にも、ビデオ
プロジェクタがスクリーンに対して相対的に動く場合に
は、ユーザの視点位置・姿勢で見た場合に正しい映像と
なるように、映像を投写することは不可能である。

【００１３】また、例えば、複数のスクリーンと複数の
プロジェクタとを用いて動揺台を取り囲むような映像供
給を行おうとした場合、該複数のプロジェクタの相対位
置が変化しないように固定し、該複数のプロジェクタの
すべてを動揺台に同期させて動揺させることは、容易に
実施できることではない。

【００１４】また、動揺台の運動パラメタの生成に関し
ても、基本的にビデオカメラの運動を修飾するだけのも
のであり、動揺台の運動パラメタ生成に関するコンテン
ツ制作者側の自由が制限されてしまっている。

【００１５】次に、特開平８−１３１６５９号公報に記
載の疑似現実感発生装置であるが、画像データの生成や
音響データの生成を、仮想世界におけるユーザの運動
と、動揺台の運動パラメタに基づいて行っているもの
の、これは、動揺台の運動だけでは十分な臨場感をユー
ザに提供できない場合に、その不足分を補うことを目的
として行っているものであり、現実世界におけるユーザ
の視点位置・姿勢および聴点位置・姿勢を考慮した上で
行っているものではない。従って、例えば、動揺台の運
動だけで十分な臨場感をユーザに提供できる場合には、
動揺台の動きと映像および音像は連動しない。また、例
えば、動揺台を右に傾けたい、しかし、動揺台の運動範
囲の制約から十分に傾けることができない、という場合
には、表示画面内の１点を中心として映像を左に傾ける
処理を行うことになるが、実際は動揺台を右に傾けた段
階で視点位置も（例えば）右方向にずれてしまうため、
表示画面内の映像を回転するだけでは、ユーザの視点位
置・姿勢で見た時に正しく見える映像とはならない。

【００１６】次に、特開平９−１３８６３７号公報に記
載の模擬視界装置に関しては、例えば、動揺台の運動を
加速度に重きを置いて生成する場合に、現実世界におけ
るユーザの視点データの変更に基づいて仮想世界におけ
るユーザの視点データを変更することは、不都合であ
る。すなわち、動揺台の運動に起因する、現実世界にお
けるユーザの視点データの変更は、本来、仮想世界にお
けるユーザの視点データとは独立なものであり、例え
ば、「左から右へ強風が吹いている」ことを表現するた
めに動揺台を右に傾け、それに伴って現実世界における
ユーザの視点位置が変わったとしても、仮想世界におけ
るユーザの視点位置は変更すべきではない。

【００１７】この点に関して、現実世界におけるユーザ
の視点データを追従し、該現実世界におけるユーザの視
点データおよび仮想世界におけるユーザの視点データに
基づいて画像を生成し、生成した画像をユーザに提供す
るという装置は、本発明に最も類似するものである。し
かし、該装置は、各時刻毎にユーザの視点データの検出
を行い、該検出された視点データに基づいて、各時刻毎
に画像の生成を行っているため、生成できる画像の品質
に限界があるという問題がある。例えば、複雑な３次元
モデルによる仮想世界データから、レイトレーシングや
高度なシェーディング技術等を用いて、ユーザに提示す
る高品質な２次元画像を生成することは、十分な時間を
かければもちろん可能であるが、これを、該装置におい
て、各時刻毎に生成してユーザに提供することは、非常
に困難であると言える。また、各時刻毎にユーザの視点
データを追従するために、ユーザは頭部等に追従用の機
器を装着するのが通例であるが、ユーザによってはこれ
を煩わしく感じ、臨場感が損なわれるという問題もあ
る。

【００１８】以上の課題に対する１つの解決策は、例え
ば、ユーザにヘッドマウントディスプレイ（以下、ＨＭ
Ｄ、と表記する）を用いて映像を提供し、ヘッドホンを
用いて音響を提供することである。この方法では、動揺
台の動きによって映像および音響の提供手段とユーザと
の相対位置・姿勢が変化しないため、動揺台の動きを考
慮せずに、再生するための画像データおよび音響データ
を適切に生成することができる。しかし、この方法で
は、ユーザがＨＭＤあるいはヘッドホンを装着する必要
がある、動揺台が複数ユーザ用であった場合に人数分の
ＨＭＤあるいはヘッドホンを用意する必要がある、視覚
や聴覚がＨＭＤあるいはヘッドホンにより塞がれてしま
うため動揺台が複数ユーザ用であった場合に同乗したユ
ーザ間の連体感が薄れる、等の問題がある。

【００１９】そこで本発明は、臨場感生成システムにお
いて、動揺台の運動が、画像表示装置（スクリーン、プ
ロジェクタ等）・音響装置（スピーカ等）とユーザとの
間の相対位置・姿勢に影響を及ぼすような場合において
も、前記のような問題が生じないような、画像データ生
成方法、あるいは、音響データ生成方法、を提供するこ
とを目的とする。

【００２０】また、ＣＧを用いて時系列画像データを生
成する技術に関しては、一般的に、ユーザがカメラの内
部パラメタ（焦点距離、画角、光軸と画像投影面との関
係、等）およびカメラの外部パラメタ（仮想世界におけ
るカメラの位置・姿勢、等）を設定できるようになって
いるが、カメラの外部パラメタに関しては各時刻毎に自
由に設定できるものの、カメラの内部パラメタに関して
は、カメラ毎に固定された設定値であり各時刻毎に設定
することができないか、ズームイン・ズームアウト等の
効果を出すために焦点距離あるいは画角といったごく限
られたパラメタに限り各時刻毎に設定することが許され
ているか、であった。

【００２１】ところが、現実世界におけるユーザの視点
位置および姿勢は各時刻毎に変化し、それに伴ってスク
リーンとの相対的な位置および姿勢も変化するため、ユ
ーザの視点位置・姿勢で見た時に正しく見える映像を生
成するためのカメラの内部パラメタは、各時刻毎に変化
する必要がある。したがって、公知の技術によって、ユ
ーザの視点位置・姿勢で見た時に正しく見えるような、
時系列画像データを生成することは不可能である。これ
は、時系列画像データの生成に限ったものではなく、時
系列音響データの生成についても同様のことが言える。

【００２２】そこで本発明は、前記の目的に加え、ユー
ザの視点位置・姿勢で見た時に正しく見えるような時系
列画像データを生成する方法を提供すること、および、
ユーザの聴点位置・姿勢で聴いた時に正しく聴こえるよ
うな時系列音響データを生成する方法を提供すること、
を目的とする。

【００２３】なお、以下では、ユーザの視点データ（視
点位置および姿勢に関するデータ）およびユーザの聴点
データ（聴点位置および姿勢に関するデータ）を合わせ
て、ユーザの視聴点データと書くことにする。

【００２４】

【課題を解決するための手段】本発明は、前記の課題を
解決すべく為されたものであり、以下の特徴を持つもの
である。

【００２５】本発明の１つの特徴は、先ず、動揺台の運
動データを生成し、次に、生成した動揺台の運動データ
を用いて、現実世界におけるユーザの視聴点データを考
慮した画像データおよび音響データを生成するようにし
たことにある。

【００２６】本発明の別の特徴は、カメラおよびマイク
の内部パラメタを時系列データとして用意し、時系列画
像データおよび時系列音響データの生成において、各時
刻毎にカメラ・マイクの内部パラメタを設定する処理を
具備するようにしたことにある。

【００２７】本発明の別の特徴は、仮想世界のデータ
を、ユーザが変更し得るデータ（動的仮想世界データ）
と、ユーザが変更できないデータ（静的仮想世界デー
タ）とに分類し、その上で、先ず、動揺台の時系列運動
データを生成し、次に、生成した動揺台の時系列運動デ
ータを用いて、現実世界におけるユーザの時系列視聴点
データ（あるいはそれに相当するデータ）を生成し、前
記静的仮想世界データについては、前記現実世界におけ
るユーザの時系列視聴点データを考慮した上で時系列画
像データおよび時系列音響データを生成し、前記動的仮
想世界データについては、各時刻毎にユーザコマンドに
よる更新を行った上で、各時刻毎に前記現実世界におけ
るユーザの時系列視聴点データのうち適切な時刻のデー
タを考慮して画像データおよび音響データを生成し、該
画像データおよび音響データと、先に生成した時系列画
像データおよび時系列音響データのうち適切な時刻のデ
ータとを、各時刻毎に合成してユーザに提示するように
したことにある。

【００２８】また、さらに、前記生成した時系列データ
の各々を記憶媒体に記憶しておき、同一コンテンツを繰
り返し再生する場合に、ユーザコマンドにより変更され
る部分だけを繰り返し生成するだけで済むようにしたこ
とにある。

【００２９】本発明の別の特徴は、生成する画像データ
を３次元画像データとしたこと、あるいは、生成する音
響データを３次元音響データとしたこと、にある。

【００３０】

【発明の実施の形態】以下、図１〜図３を用いて，本発
明の第１の実施の形態による画像データ生成方法および
音響データ生成方法について詳細に説明する。本実施の
形態は、各時刻毎に、動揺台の運動データ、画像データ
および音響データを生成するものである。本実施の形態
は、ユーザが仮想世界のデータに作用を及ぼし変更を施
すことが各時刻毎に可能であり、また、ユーザが仮想世
界におけるユーザの視聴点データに作用を及ぼし変更を
施すことが各時刻毎に可能であるようなシステムに用い
る場合に、好適な形態である。

【００３１】図１は、本発明の第１の実施の形態による
データ生成処理のフローチャートである。該フローチャ
ートは、仮想世界のデータと、動揺台の設計データと、
動揺台及び画像表示装置及び音響装置の配置データと、
があらかじめ与えられている場合に、ユーザに提示する
ための画像データおよび音響データ（以下、これらの２
種類のデータを特に区別する必要がない場合には、「画
像音響データ」と記す）を生成する処理について記述し
たものである。

【００３２】ユーザに提示する画像音響データの生成処
理が開始されると、まず、ステップ１０１において、仮
想世界におけるユーザの視聴点データを生成し、次に、
ステップ１０２において、動揺台の運動データを生成す
る。以上の処理は、公知の技術とまったく同様に実施す
ることができる。

【００３３】次に、ステップ１０３において、ステップ
１０２で生成した動揺台の運動データと、動揺台の設計
データとに基づいて、現実世界におけるユーザの視聴点
データを生成する。該処理については、図３において詳
細を説明する。

【００３４】最後に、ステップ１０４において、仮想世
界のデータと、動揺台及び画像表示装置及び音響装置の
配置データと、ステップ１０１で生成した仮想世界にお
けるユーザの視聴点データと、ステップ１０３で生成し
た現実世界におけるユーザの視聴点データと、に基づい
て画像データおよび音響データを生成する。該処理につ
いては、公知の技術とまったく同様に（例えば透視変換
を行うことにより）実施することができる。すなわち、
公知の技術においては、ユーザの現実世界における視点
データおよび聴点データとして理想視点データおよび理
想聴点データを仮想的に定め、該理想視点データおよび
該理想聴点データに基づいて画像音響データの生成処理
を行っていたものを、前記理想視点データおよび前記理
想聴点データの代わりに、ステップ１０３で生成した、
現実世界におけるユーザの視点データおよび聴点データ
を使用して、画像音響データの生成処理を行うようにす
ればよい。

【００３５】図２は、本発明の第１の実施の形態による
データ生成処理の処理イメージを示す概念図である。

【００３６】図２（ａ）および図２（ｃ）は、臨場感生
成システムの正面図である。これらの図において、符号
２０１１はスクリーンを、符号２０２１は動揺台を、符
号２０３１は動揺台に座っているユーザを表している。

【００３７】図２（ａ）は動揺台の初期状態を表してお
り、図２（ｃ）は「左から強風が吹いてきた」ことを体
感させるために動揺台を右に傾けた様子を表したもので
ある。図２（ａ）の状態においてスクリーン２０１１に
表示される画像が図２（ｂ）における画像２０１３であ
った時、本発明の実施によれば、図２（ｃ）の状態にお
いてスクリーン２０１１に表示される画像は、図２
（ｄ）における画像２０１４のようになる。

【００３８】これは、本発明が、次のような考えに基づ
くものであるためである。

【００３９】図２（ｂ）において、ユーザに提示される
画像２０１３には、木２０４３および岩２０５３が表現
されていた。図２（ｃ）において、「左から強風が吹い
てきた」ことを体感させるために動揺台を右に傾けて風
圧を表現し、その動揺台の運動の影響で、現実世界にお
けるユーザの視点位置は右にずれ姿勢は右に傾いたが、
仮想世界におけるユーザの視点位置や姿勢は変化してい
ないはずである。そこで、この状態における画像は、右
にずれ右に傾いた現実世界におけるユーザの視点データ
に基づいて生成する。これにより、画像２０１３中では
中央にまっすぐ立っていた木２０４３は、画像２０１４
において右にずれ右に傾くことになるが、ユーザ２０３
１からスクリーン２０１１に投影されたこれらの画像を
見た場合、木２０４３は図２（ａ）においても図２
（ｃ）においてもユーザの正面にまっすぐに見えること
になる。これは、仮想世界におけるユーザの視点位置や
姿勢が変化していないことを反映した結果となってお
り、動揺台の運動によって、ユーザが体感する仮想世界
の状態が乱されないことを意味している。

【００４０】図３は、本発明の第１の実施の形態による
データ生成処理において、動揺台の運動データから現実
世界におけるユーザの視聴点データを求める方法を説明
するための図である。

【００４１】図３（ａ）は、動揺台３０２に人間モデル
３０１が腰かけている状態である。この状態を、動揺台
の設計データを用いて、図３（ｂ）のようにモデル化す
る。

【００４２】図３（ｂ）は、動揺台のある１状態を示し
たものである。ここでは仮にこれを状態１とする。

【００４３】図３（ｂ）において、ＯＷはワールド座標
系の原点、ＯＲは動揺台に付随する座標系（以下、動揺
台座標系）の原点、ＸＲおよびＹＲおよびＺＲは動揺台
座標系の互いに直交する座標軸、ＶＰは動揺台座標系に
おけるユーザの特徴点位置、ｂ０はＯＲのワールド座標
系における位置ベクトル、である。

【００４４】ここで、ユーザの特徴点位置とは、正しい
画像音響データを生成するために、図３（ａ）のモデル
と動揺台の設計データから算出するものであり、例え
ば、視聴点位置を求めるための、ユーザの左右の目の位
置、左右の耳の位置、あるいは、視聴点の姿勢を求める
ための、頭頂部の位置、頭の重心位置、鼻の位置、等が
ある。

【００４５】今、ＶＰの動揺台座標系における位置ベク
トルがｖｐで表され、ＶＰのワールド座標系における位
置ベクトルが「ｂ０＋Ｍ×ｖｐ」で表されているとす
る。ここで、「Ｍ×ｖｐ」は、ワールド座標系と動揺台
座標系との違い（軸の方向やスケール因子など）を補正
するための３次元行列Ｍと、ＶＰの動揺台座標系におけ
る位置ベクトルｖｐの積を表す。行列Ｍは、例えば、動
揺台座標系がワールド座標系を平行移動したものである
場合には、単位行列、すなわち恒等写像を表す行列とな
る。

【００４６】図３（ｃ）は、動揺台の状態１とは別の１
状態を示したものである。ここでは仮にこれを状態２と
する。

【００４７】状態２は、状態１から、動揺台座標系の原
点ＯＲがワールド座標系においてｂ１だけ平行移動し、
さらに、動揺台座標系においてＯＲを中心として３次元
の回転行列Ｑで表される回転を行った状態であるとす
る。

【００４８】このとき、ＶＰのワールド座標における位
置ベクトルは、「ｂ０＋ｂ１＋Ｍ×Ｑ×ｖｐ」のように
求めることができる。ここで、「Ｍ×Ｑ×ｖｐ」は、行
列Ｍと行列Ｑと位置ベクトルｖｐの積を表し、ｖｐにま
ず回転変換Ｑを施し、続いてワールド座標系と動揺台座
標系との違いを補正するための変換Ｍを施したことを意
味する。ここで、行列Ｍおよびベクトルｖｐは、図３
（ｂ）における行列Ｍ・ベクトルｖｐと同一のものであ
る。

【００４９】以上の方法でユーザの特徴点位置を必要な
だけ求めることにより、現実世界におけるユーザの視点
データを求めることができる。仮想世界における視点デ
ータは既に求められているため、このようにして求めた
現実世界におけるユーザの視点データと、スクリーンの
位置・姿勢・形状等のデータとに基づいて、仮想世界に
おける画像面位置・姿勢・形状を定めることができ、ユ
ーザにとって正しく見えるような画像データを生成する
ことができる。これは、音響データについても同様であ
る。

【００５０】以上、本発明の第１の実施の形態によれ
ば、各時刻毎に画像音響データを生成する場合に、動揺
台の運動データに基づいて現実世界におけるユーザの視
聴点データを算出し、仮想世界のデータと、動揺台及び
画像表示装置及び音響装置の配置データと、仮想世界に
おけるユーザの視聴点データと、現実世界におけるユー
ザの視聴点データと、に基づいてユーザに提示する画像
音響データを生成しているため、ユーザにとって違和感
のない画像データおよび音響データを提供することがで
きる。

【００５１】また、各時刻毎に画像音響データを生成す
る場合に、動揺台の運動データに基づいて現実世界にお
けるユーザの視聴点データを算出するため、ユーザの頭
部等に追従用の機器を装着することなしに、現実世界に
おけるユーザの視聴点データを求めることができ、ユー
ザに煩わしさを感じさせずに、かつ、ユーザにとって正
しい画像音響データをユーザに提供することができる。

【００５２】また、一般に、動揺台の設計データと動揺
台の運動データとに基づいて現実世界におけるユーザの
視聴点データを算出することは、現実世界におけるユー
ザの視聴点データをユーザの頭部等に装着した追従用の
機器を用いて算出することに比べ、非常に容易であり、
また、ノイズに強い。したがって、より高精度の視聴点
データを、より短い時間で算出できることになり、その
ため、より高品質の画像音響データを、より高速に生成
し、ユーザに提供できるという効果がある。

【００５３】また、動揺台が複数ユーザ用のものであ
り、各々のユーザの視聴点データを用いて各々のユーザ
に対応する画像音響データを生成する場合にも、図３の
説明における位置ベクトルｖｐおよび必要となる特徴点
の数を増やすだけで、本実施例に述べた方法とまったく
同様の方法により画像音響データを生成することができ
る。

【００５４】以下、本発明の第２の実施の形態による画
像データ生成方法および音響データ生成方法について詳
細に説明する。該実施の形態は、動揺台の時系列運動デ
ータおよび時系列画像データおよび時系列音響データを
生成するものであり、ユーザからの作用がなく、あらか
じめ生成した前記各種時系列データを再生することによ
りユーザに臨場感を与えるようなシステムに用いる場合
に、好適な形態である。

【００５５】動揺台の時系列運動データおよび時系列画
像データおよび時系列音響データを生成する方法として
は、図１のステップ１０１からステップ１０４までの処
理を各時刻のデータ生成の度に繰り返す方法と、図１の
ステップ１０１からステップ１０４までの各々の処理に
おいて時系列データを生成する方法とが考えられる。

【００５６】前者の方法は前記第１の実施の形態におい
て既に説明したため、本実施例においては、後者の方
法、すなわち、図１のステップ１０１からステップ１０
４までの各々の処理において時系列データを生成する方
法、について説明する。

【００５７】なお、「背景にテクスチャＡを使って画像
を生成していたが、使用するテクスチャをテクスチャＢ
に変更したい」ような場合に、前者の方法では最初から
画像データの生成をやり直さなくてはならないが、後者
の方法ではステップ１０４における時系列データの生成
のみをやり直すだけで済むという利点があるため、後者
の方法を用いることは、コンテンツの更新を頻繁に行う
場合に特に有効である。

【００５８】以下、図１の各々のステップにおいて時系
列データを生成する方法について説明するが、ステップ
１０１およびステップ１０２およびステップ１０３に相
当する処理に関しては、単純に、すべての時刻について
繰り返し計算を行えばよいため、ここでは、ステップ１
０４に相当する処理、すなわち、仮想世界における時系
列視聴点データおよび現実世界における時系列視聴点デ
ータが与えられた時に時系列画像データおよび時系列音
響データを生成する方法について、図４〜図６を用いて
詳細に説明する。

【００５９】以下、図４および図５を用いて，本発明の
第２の実施の形態による時系列画像データ生成方法につ
いて詳細に説明する。

【００６０】図４は、本発明の第２の実施の形態による
時系列画像データ生成処理のフローチャートであり、図
５は公知の技術における時系列画像データ生成処理のフ
ローチャートである。

【００６１】まず、図５を用いて、公知の技術における
時系列画像データ生成処理のフローチャートについて説
明する。

【００６２】公知の技術では、時系列画像生成処理が開
始されると、仮想世界のデータを読み込み（ステップ６
００）、カメラの外部パラメタ（仮想世界における位置
および姿勢に関するパラメタ）を読み込み（ステップ６
０１）、カメラの内部パラメタ（焦点距離、画角、フィ
ルム形状、光軸とフィルム位置・姿勢との関係、等）を
読み込み（ステップ６０２）、該カメラの内部パラメタ
の設定処理を行う（ステップ６０３）。ここで、カメラ
の外部パラメタは、各時刻毎に各カメラ毎に定義されて
いるものであり、カメラの内部パラメタは、各カメラ毎
に定義されているものである。

【００６３】ステップ６０３におけるカメラの内部パラ
メタ設定処理の終了以後は、以下で説明するような、各
時刻毎の処理となる。まず、ステップ６０４においてカ
メラの外部パラメタの設定処理を行い、次に、ステップ
６０５において、ステップ６００において読み込んでお
いた仮想世界のデータと、ステップ６０３およびステッ
プ６０４において設定した、カメラの内部パラメタおよ
びカメラの外部パラメタと、に基づいて、該時刻におけ
る画像を生成する。

【００６４】ステップ６０６において、すべての時刻に
ついて画像の生成が終了したか否かを判定し、「すべて
の時刻について画像の生成が終了した」と判定された場
合には時系列画像の生成処理を終了し、「画像の生成が
終了していない時刻がある」と判定された場合には、時
刻を１進めた上で、再びステップ６０４からの画像生成
処理を繰り返す。

【００６５】以上が、公知の技術による時系列画像デー
タ生成処理の処理フローである。「発明が解決しようと
する課題」の項でも説明したとおり、現実世界における
ユーザの視点位置・姿勢は各時刻毎に変化し、それに伴
ってスクリーンとの相対的な位置・姿勢も変化するた
め、ユーザの視点位置・姿勢で見た時に正しく見える映
像を生成するためのカメラの内部パラメタは、各時刻毎
に設定する必要がある。そこで、カメラの内部パラメタ
の設定処理を、各時刻毎に行うようにしたものが、図４
に示す、本発明の第２の実施の形態による時系列画像デ
ータ生成処理である。

【００６６】図４のフローチャートにおいて、時系列画
像生成処理が開始されると、仮想世界のデータを読み込
み（ステップ５００）、カメラの外部パラメタを読み込
み（ステップ５０１）、カメラの内部パラメタを読み込
む（ステップ５０２）。ここで、カメラの内部パラメタ
およびカメラの外部パラメタは、各時刻毎に各カメラ毎
に定義されているものである。

【００６７】各データおよび各パラメタの読み込み後
は、以下で説明するような、各時刻毎の処理となる。ま
ず、ステップ５０３においてカメラの外部パラメタの設
定処理を行い、次に、ステップ５０４においてカメラの
内部パラメタの設定処理を行い、続いて、ステップ５０
５において、ステップ５００において読み込んでおいた
仮想世界のデータと、ステップ５０３およびステップ５
０４において設定した、カメラの外部パラメタおよびカ
メラの内部パラメタと、に基づいて、該時刻における画
像を生成する。

【００６８】ステップ５０６において、すべての時刻に
ついて画像の生成が終了したか否かを判定し、「すべて
の時刻について画像の生成が終了した」と判定された場
合には時系列画像の生成処理を終了し、「画像の生成が
終了していない時刻がある」と判定された場合には、時
刻を１進めた上で、再びステップ５０３からの画像生成
処理を繰り返す。

【００６９】以上が、本発明による時系列画像データ生
成処理の処理フローである。各時刻毎にカメラの内部パ
ラメタを適切な値に設定しなおすことにより、現実世界
におけるユーザの視点位置等の変化を反映した、ユーザ
にとって正しく見える時系列画像を生成することができ
る。

【００７０】なお、各時刻におけるカメラの内部パラメ
タは、図１のステップ１０３に相当する処理によって求
められる現実世界におけるユーザの視点データと、スク
リーンの位置・姿勢・形状等の配置パラメタとを用い
て、公知の技術により容易に生成できるものである。す
なわち、現実世界における視点とスクリーンとの間の相
対関係と、仮想世界における視点とフィルム面との間の
相対関係が、ある相似比を介して同一の関係であること
を考慮した上で生成すればよい。

【００７１】次に、図６を用いて，本発明の第２の実施
の形態による時系列音響データ生成方法について詳細に
説明する。

【００７２】視覚の場合ほど明確ではないが、ユーザ
は、聴覚においても、聴こえてくる音のボリューム、左
右の耳に音が到達する時刻のずれ、後ろから来る音と前
から来る音との聴こえ方の違い（同じ音量の音源が同じ
距離にあっても後ろから来る方が小さく聴こえる）等に
よって、音源の位置の変化や音源の方向を認識するた
め、現実世界におけるユーザの聴点位置・姿勢とスピー
カとの相対位置・相対姿勢を考慮して音響データを生成
することは、非常に重要である。

【００７３】図６は、本発明の第２の実施の形態による
時系列音響データ生成処理のフローチャートであり、現
実世界におけるユーザの聴点位置・姿勢と、スピーカと
の相対位置・相対姿勢を考慮して音響データの生成を行
う場合の処理について記述したものである。

【００７４】図６のフローチャートにおいて、時系列音
響データ生成処理が開始されると、仮想世界のデータを
読み込み（ステップ５４０）、マイクの外部パラメタ
（仮想世界における位置および姿勢に関するパラメタ）
を読み込み（ステップ５４１）、マイクの内部パラメタ
（指向性、聴点位置・姿勢とマイク位置・姿勢との関
係、等）を読み込む（ステップ５４２）。ここで、マイ
クの内部パラメタおよびマイクの外部パラメタは、各時
刻毎に各マイク毎に定義されているものである。

【００７５】各データおよび各パラメタの読み込み後
は、以下で説明するような、各時刻毎の処理となる。ま
ず、ステップ５４３においてマイクの外部パラメタの設
定処理を行い、次に、ステップ５４４においてマイクの
内部パラメタの設定処理を行い、続いて、ステップ５４
５において、ステップ５４０において読み込んでおいた
仮想世界のデータと、ステップ５４３およびステップ５
４４において設定した、マイクの外部パラメタおよびマ
イクの内部パラメタと、に基づいて、該時刻における音
響データを生成する。

【００７６】ステップ５４６において、すべての時刻に
ついて音響データの生成が終了したか否かを判定し、
「すべての時刻について音響データの生成が終了した」
と判定された場合には時系列音響データの生成処理を終
了し、「音響データの生成が終了していない時刻があ
る」と判定された場合には、時刻を１進めた上で、再び
ステップ５４３からの音響データ生成処理を繰り返す。

【００７７】以上が、本発明による時系列音響データ生
成処理の処理フローである。各時刻毎にマイクの内部パ
ラメタを設定しなおすことにより、現実世界におけるユ
ーザの聴点データの変化を反映した、ユーザにとって正
しく聴こえる時系列音響データを生成することができ
る。

【００７８】なお、各時刻におけるマイクの内部パラメ
タは、図１のステップ１０３に相当する処理によって求
められる現実世界におけるユーザの聴点データと、スピ
ーカの位置・姿勢・音響特性等の配置パラメタとを用い
て、公知の技術により容易に生成できるものである。

【００７９】以上、本発明の第２の実施の形態によれ
ば、ユーザからの作用がない場合に、あらかじめ、すべ
ての時刻における、仮想世界におけるユーザの視聴点デ
ータ、動揺台の運動データ、現実世界におけるユーザの
視聴点データ、を生成しておくことができ、さらに、仮
想世界のデータと、動揺台及び画像表示装置及び音響装
置の配置データと、仮想世界におけるユーザの視聴点デ
ータと、現実世界におけるユーザの視聴点データと、に
基づいて、あらかじめ、すべての時刻における画像音響
データを生成しておくことができる。したがって、すべ
ての画像音響データを、十分な時間をかけて生成するこ
とができるため、ユーザの視聴点データの算出と該デー
タに基づく画像音響データの生成とをリアルタイムに行
う場合に比べ、はるかに高品質な画像音響データをユー
ザに提供することができる。また、もちろん、ユーザに
提供する画像音響データは、ユーザの視点位置・姿勢で
見た時に正しく見えるような画像データ、ユーザの聴点
位置・姿勢で聴いた時に正しく聴こえるような音響デー
タ、となっている。

【００８０】なお、動揺台が複数ユーザ用のものであ
り、各々のユーザの視聴点データを用いて各々のユーザ
に対応する時系列画像データあるいは時系列音響データ
を生成する場合にも、本実施形態により時系列画像デー
タあるいは時系列音響データが生成できることは、言う
までもない。

【００８１】以下、図７を用いて，本発明の第３の実施
の形態による画像データ生成方法および音響データ生成
方法について詳細に説明する。本実施の形態は、動揺台
の時系列運動データ、時系列画像データおよび時系列音
響データを生成し、なおかつ、各時刻毎に画像データお
よび音響データを生成するものである。本実施の形態
は、ユーザが仮想世界のデータに作用を及ぼし変更を施
すことが各時刻毎に可能であるが、ユーザが仮想世界に
おけるユーザの視聴点データに作用を及ぼし変更を施す
ことは不可能であるようなシステムに用いる場合に、好
適な形態である。

【００８２】例えば、「モノレールに乗っているユーザ
に敵キャラクタが襲いかかってくるため、それをミサイ
ルで撃ち落とす」ようなコンテンツの場合には、本実施
形態を用いるのがよい。この場合、ユーザが仮想世界の
データに及ぼす作用および仮想世界データに施される変
更としては、「ミサイルを発射する」「ミサイルを敵キ
ャラクタに命中させる」「敵キャラクタが爆発する」
「敵キャラクタがいなくなる」等が挙げられる。ユーザ
がミサイルをいつどこに向けて発射するかを、コンテン
ツ制作側があらかじめ知ることはできないため、このよ
うなコンテンツにおいては、画像音響データのすべてを
あらかじめ生成しておくことは不可能である。しかし、
遥か遠くに見える景色などは、ユーザがミサイルをいつ
どこに向けて発射するかに依存せず生成しておくことが
できるため、このようなデータに関しては、あらかじめ
十分な時間をかけて高品質なデータを生成しておくこと
が望ましい。

【００８３】図７に示すフローチャートは、仮想世界の
データと、動揺台の設計データと、動揺台及び画像表示
装置及び音響装置の配置データと、があらかじめ与えら
れている場合に、ユーザに提示するための動揺台の運動
データおよび画像音響データを生成する処理、および生
成した各々のデータをユーザに提示する処理、について
記述したものである。なお、仮想世界のデータは、あら
かじめ、ユーザのコマンドによって変化し得る動的仮想
世界データと、ユーザのコマンドによって変化すること
のない静的仮想世界データと、に分類しておくものとす
る。

【００８４】図７において、各種データを生成しユーザ
に提示する処理が開始されると、まず、本発明の第２の
実施の形態で説明したのと同様に、ステップ４０１にお
いて仮想世界におけるユーザの時系列視聴点データを生
成し、ステップ４０２において動揺台の時系列運動デー
タを生成し、ステップ４０３において現実世界における
ユーザの時系列視聴点データを生成する。

【００８５】次に、ステップ４０４において、静的仮想
世界データと、動揺台及び画像表示装置及び音響装置の
配置データと、ステップ４０１で生成した、仮想世界に
おけるユーザの時系列視聴点データと、ステップ４０３
で生成した、現実世界におけるユーザの時系列視聴点デ
ータと、に基づいて、静的仮想世界に関する時系列画像
データおよび時系列音響データを生成する。これは、基
にするデータを静的仮想世界データに限定することを除
けば、先に説明した第２の実施の形態と同様の処理によ
って実施することができる。

【００８６】以上の処理は、あらかじめ、十分な時間を
使って行っておくことのできる処理である。以下、ステ
ップ４０５からステップ４１１に記述されている処理
は、各時刻毎に行う処理である。

【００８７】続いて、ステップ４０５において、ユーザ
からのコマンド入力の有無を判定する。コマンド入力が
あった場合にはステップ４０６へ、コマンド入力がない
場合にはステップ４０７へ、それぞれ処理を進める。

【００８８】ユーザからのコマンド入力があった場合に
は、ステップ４０６において該コマンドの解析を行い、
解析結果を、ステップ４０７の動的仮想世界データの更
新時に反映させる。

【００８９】ステップ４０７の、動的仮想世界データ更
新処理では、前時刻の動的仮想世界データに、必要に応
じてユーザコマンドの影響を反映させ、動的仮想世界デ
ータの更新処理を行う。ここで、動的仮想世界データが
変更されるのは、現時刻におけるステップ４０６で入力
されたユーザコマンドの影響だけではなく、前の時刻か
ら継続して行われている動的仮想世界データの変更の影
響も考慮することに注意する。

【００９０】例えば、ユーザからミサイル発射コマンド
が入力された場合に、それがミサイル発射コマンドであ
ると認識し、ミサイル発射コマンド入力フラグを立て
る。以上が、ステップ４０６における処理である。この
とき、ステップ４０７における処理は、以下のようにな
る。まず、ミサイル発射コマンド入力フラグが立てられ
ていた場合には発射されたミサイルを仮想世界に加える
処理を行い、ミサイル発射コマンド入力フラグを元に戻
す。また、現時刻より前の段階で既に発射され動的仮想
世界中を飛んでいたミサイルが存在する場合には、該ミ
サイルの位置・向き・速度等のデータに基づいて、該ミ
サイルの現時刻における位置・向き・速度等のデータを
算出し、データの更新処理を行う。また、各ミサイルの
敵キャラクタとの衝突判定を行い、いずれかのミサイル
が敵キャラクタに当たっていた場合には敵キャラクタを
消滅させ代わりに爆煙を発生させる。

【００９１】以上のようにして、ステップ４０７で更新
された動的仮想世界データに関して、ステップ４０８に
おいて動的仮想世界データと、動揺台及び画像表示装置
及び音響装置の配置データと、ステップ４０１で生成し
た仮想世界におけるユーザの視聴点データと、ステップ
４０３で生成した現実世界におけるユーザの視聴点デー
タと、に基づいて、動的仮想世界に関する画像データお
よび音響データを生成する。これは、基にするデータを
動的仮想世界データに限定することを除けば、ステップ
１０４と同様の処理によって実施することができる。

【００９２】次に、ステップ４０４において生成された
静的仮想世界に関する時系列画像データ・時系列音響デ
ータのうち現時刻に対応する部分のデータと、ステップ
４０８において生成された動的仮想世界に関する画像デ
ータ・音響データとを、ステップ４０９において合成す
る。これは、例えば、静的仮想世界に関する画像データ
に動的仮想世界に関する画像データの必要な部分を上描
きする等の方法によって実施することもできるし、さら
に、仮想世界のデータが仮想世界の３次元幾何情報デー
タを具備しているような場合には、該３次元幾何情報デ
ータを使用して隠面消去等の技術を用いた方法によって
実施してもよい。音響データに関しても同様で、静的仮
想世界に関する音響データと動的仮想世界に関する音響
データとを適当なバランスでミキシングするような方法
で実施してもよいし、さらに、例えば、「動的仮想世界
に関する爆発音を強調するために動的仮想世界に関する
爆発音がある場合には他の音を弱めにしてミキシングす
る」等、個々の音源毎の微調節まで含めた方法によって
実施してもよい。

【００９３】次に、ステップ４１０のデータ提示処理に
おいて、ステップ４０９において生成した画像データお
よび音響データをユーザに提示し、ステップ４０２で生
成した動揺台の時系列運動データの現時刻に対応する部
分のデータを用いて動揺台の制御を行う。

【００９４】最後に、ステップ４１１において、再生処
理を終了するか否かを判定する。「終了」と判定された
場合には、各種データを生成しユーザに提示する処理全
体が終了したことになる。終了していない場合には、時
刻を１だけ進めて再びステップ４０５以降の処理を繰り
返す。終了するか否かの判定は、例えば、時系列データ
を生成したすべての時刻についてデータの再生が終了し
たか、ユーザコマンドによって終了要求があったか、ユ
ーザコマンドにより動的仮想世界データを更新した結果
ゲームオーバーと判定されたか、のいずれかに該当する
場合は終了、それ以外は終了しない、のように判定すれ
ばよい。

【００９５】なお、ステップ４０１〜ステップ４０４に
おいて生成されたデータを、記憶媒体に記憶しておき、
該記憶されたデータを用いて、ステップ４０５以降の処
理を行うようにしてもよい。この場合、ステップ４０１
〜ステップ４０４の処理を１度だけ行っておけば、ステ
ップ４０５以降の処理を繰り返し行うことができるた
め、アミューズメントパーク等で同一のコンテンツを繰
り返し実施する場合に有効である。

【００９６】以上、本発明の第３の実施の形態によれ
ば、ユーザの視点位置・姿勢で見た時に正しく見えるよ
うな画像データおよびユーザの聴点位置・姿勢で聴いた
時に正しく聴こえるような音響データをユーザに提示す
ることができ、また、ユーザのコマンドを反映した仮想
世界をユーザに体感させることができる。さらに、前記
ユーザに提供する画像データおよび音響データのうちの
一部を、あらかじめ十分な時間をかけて生成した高品質
なデータとすることができる。

【００９７】また、仮想世界のデータのうち、静的仮想
世界データに関する部分については、あらかじめ画像デ
ータの生成および音響データの生成を行っておくため、
ステップ４０９における画像音響合成処理の内容によっ
ては、すべてを動的仮想世界データとして扱う場合に比
べ、仮想世界全体に対する画像データおよび音響データ
のリアルタイム生成時の負荷を低減することができる。

【００９８】なお、以上の３種類の実施の形態におい
て、生成する画像データおよび音響データは、３次元画
像データおよび３次元音響データであってもよく、ま
た、生成するデータが３次元画像データ・３次元音響デ
ータである場合、本発明の実施による効果はなお一層顕
著である。ここで、３次元画像データ・３次元音響デー
タとは、ユーザが該画像音響データを３次元的に知覚す
ることができるようなデータであり、例えば、３次元画
像データの例では、液晶シャッタ眼鏡を用いて時分割に
より右目用画像と左目用画像を交互に表示する場合の、
右目用の時系列画像と左目用の時系列画像とが交互に並
んだ時系列画像データを挙げることができる。

【００９９】以下、図８を用いて，本発明の第４の実施
の形態による臨場感生成システムについて詳細に説明す
る。本実施の形態は、あらかじめ生成した時系列データ
を再生することによってユーザに臨場感を与えることを
目的とするシステムの、一実施例である。

【０１００】図８は、本発明の第４の実施の形態による
臨場感生成システムのシステム構成を示すシステムブロ
ック図である。

【０１０１】図８において、データベース７１０は、第
２の実施形態による本発明の実施によって生成された、
時系列画像データ７０１、時系列音響データ７０２、動
揺台の時系列運動データ７０３を記憶しているものであ
り、画像表示装置７０７は、各時刻毎に、前記時系列画
像データ７０１の適切な時刻の画像データを再生し、音
響装置７０８は、各時刻毎に、前記時系列音響データ７
０２の適切な時刻の音響データを再生し、動揺台制御手
段７０５は、各時刻毎に、前記時系列動揺台運動データ
７０３の適切な時刻の運動データに基づいて動揺台７０
６を制御する。ここで、画像データの再生あるいは音響
データの再生あるいは動揺台の制御に用いるデータ、お
よび、画像データの再生、および、音響データの再生、
および、動揺台の制御を行うタイミングは、同期手段７
０４を用いて同期を取るものである。

【０１０２】同期の取り方としては、ハードウェア的に
同期信号を入力する方法、あるいは、個々の装置で時計
を具備し、あらかじめ該時計の時刻合わせをしておく方
法、あるいは、各々の時刻毎に同期手段７０４から該時
刻に対応する再生命令信号を送信する方法、等の公知の
技術を用いることができる。

【０１０３】以上、本発明の第４の実施の形態によれ
ば、動揺台に乗ったユーザに対し、動揺台の運動により
加速度等を体感させるとともに、ユーザの視点位置・姿
勢で見た時に正しく見えるような画像データおよびユー
ザの聴点位置・姿勢で聴いた時に正しく聴こえるような
音響データをユーザに提示することができる。

【０１０４】以下、図９を用いて，本発明の第５の実施
の形態による臨場感生成システムについて詳細に説明す
る。本実施の形態は、ユーザコマンドを入力するための
手段を備え、動揺台の運動と、ユーザコマンドを反映し
て生成した画像データ・音響データとを、同期を取って
ユーザに提示することにより、ユーザに臨場感を与える
ことを目的とするシステムの、一実施例である。

【０１０５】図９は、本発明の第５の実施の形態による
臨場感生成システムのシステム構成を示すシステムブロ
ック図である。

【０１０６】図９において、データベース８０７は、第
３の実施形態による本発明の実施によって生成された、
静的仮想世界データに関する時系列画像データ８０８、
静的仮想世界データに関する時系列音響データ８０９、
時系列動揺台運動データ８１０、現実世界におけるユー
ザの視聴点データ８１３、仮想世界におけるユーザの視
聴点データ８１４、および、動的仮想世界データ８１
１、動揺台等の配置データ８１２、を記憶しているもの
である。ここで、動揺台等の配置データ８１２は、動揺
台およびスクリーンおよびスピーカの位置・姿勢、スク
リーン形状やスピーカの音響特性データなどを含むもの
である。

【０１０７】コマンド解析手段８０４は、動的仮想世界
更新プログラム８０５を備え、各時刻毎に、コマンド入
力手段８０６から入力されるユーザのコマンドを解析
し、必要に応じて、動的仮想世界更新プログラム８０５
によって動的仮想世界データ８１１を更新する。ただ
し、ユーザコマンドによって変更可能な部分は、動的仮
想世界に関する部分だけであり、仮想世界におけるユー
ザの視聴点データを変更することはできないものとす
る。すなわち、コマンド解析手段８０４においては、本
発明の第３の実施形態におけるステップ４０５およびス
テップ４０６およびステップ４０７に相当する処理を行
う。

【０１０８】画像表示装置８１８は、動的仮想世界の画
像生成プログラム８１９、および、画像合成プログラム
８２０を備え、各時刻毎に、動的仮想世界の画像生成プ
ログラム８１９を用いて動的仮想世界データ８１１に関
する画像データを生成し、該生成した画像データと、時
系列画像データ８０８の適切な時刻の画像データとを、
画像合成プログラム８２０で合成し、ユーザに提示す
る。すなわち、本発明の第３の実施形態におけるステッ
プ４０８およびステップ４０９およびステップ４１０に
相当する処理を行う。

【０１０９】音響装置８２１は、動的仮想世界の音響生
成プログラム８２２、および、音響合成プログラム８２
３を備え、各時刻毎に、動的仮想世界の音響生成プログ
ラム８２２を用いて動的仮想世界データ８１１に関する
音響データを生成し、該生成した音響データと、時系列
音響データ８０９の適切な時刻の音響データとを、音響
合成プログラム８２３で合成し、ユーザに提示する。す
なわち、本発明の第３の実施形態におけるステップ４０
８およびステップ４０９およびステップ４１０に相当す
る処理を行う。

【０１１０】動揺台制御手段８０２は、各時刻毎に、時
系列動揺台運動データ８１０の適切な時刻の運動データ
に基づいて動揺台８０３を制御する。すなわち、本発明
の第３の実施形態におけるステップ４１０に相当する処
理を行う。

【０１１１】ここで、画像データの生成・合成あるいは
音響データの生成・合成あるいは動揺台の制御に用いる
データ、および、コマンド入力、および、画像データの
生成および提示、および、音響データの生成および提
示、および、動揺台の制御を行うタイミングは、同期手
段８０１を用いて同期を取るものである。同期を取るた
めの方法としては、前記第４の実施の形態と同様、公知
の技術を用いることができる。

【０１１２】再生を終了するか否かの判定（本発明の第
３の実施形態におけるステップ４１１に相当する処理）
は、例えば、同期手段８０１を用いて行い、終了と判定
した段階で、画像表示装置８１８および音響装置８２１
および動揺台制御手段８０２およびコマンド解析手段８
０４に、終了通知信号を送信し、各々の装置における処
理を終了すればよい。また、これは、例えば、コマンド
入力手段８０６から入力されたユーザコマンドを反映さ
せるようにすることもできる。

【０１１３】なお、コマンド入力手段８０６としては、
キーボード、マウス、マイク、ジョイスティック、押ボ
タン等、任意の入力デバイスを用いることができる。ま
た、ユーザを撮影できる場所にカメラを設置し、モーシ
ョンキャプチャ技術等を用いて、ユーザの身振りにより
コマンド入力を行うようにしてもよい。

【０１１４】以上、本発明の第５の実施の形態によれ
ば、動揺台に乗ったユーザに対し、ユーザがコマンド入
力によって仮想世界の状態を変化させる場合にも、動揺
台の運動により加速度等を体感させるとともに、ユーザ
のコマンドによって変化した仮想世界の状態に基づい
た、ユーザの視点位置・姿勢で見た時に正しく見えるよ
うな画像データおよびユーザの聴点位置・姿勢で聴いた
時に正しく聴こえるような音響データをユーザに提示す
ることができる。

【０１１５】以下、図１０を用いて，本発明の第６の実
施の形態による臨場感生成システムについて詳細に説明
する。本実施の形態は、ユーザコマンドを入力するため
の手段を備え、ユーザコマンドを反映して生成した、動
揺台の運動データ、画像データ、音響データ、を同期を
取ってユーザに提示することにより、ユーザに臨場感を
与えることを目的とするシステムの、一実施例である。

【０１１６】図１０は、本発明の第６の実施の形態によ
る臨場感生成システムのシステム構成を示すシステムブ
ロック図である。

【０１１７】図１０において、データベース９０１に
は、あらかじめ、仮想世界のデータ９０２と、動揺台等
の配置データ９０４を記憶しておく。ここで、動揺台等
の配置データ９０４は、動揺台およびスクリーンおよび
スピーカの位置・姿勢、スクリーン形状やスピーカの音
響特性データなどを含むものである。

【０１１８】コマンド解析手段９０７は、仮想世界にお
けるユーザの視聴点データ生成プログラム９０８と、現
実世界におけるユーザの視聴点データ生成プログラム９
０９と、仮想世界データ更新プログラム９１０と、画像
音響データ生成プログラム９１１と、動揺台の運動デー
タ生成プログラム９１２と、を備えるものである。コマ
ンド解析手段９０７は、各時刻毎に、コマンド入力手段
９１３から入力されるユーザコマンドに基づいて、仮想
世界のデータ９０２を更新し、各プログラムを用いて、
本発明の第１の実施形態と同様の方法により、該時刻に
おける動揺台の運動データ９０３と、該時刻における画
像データ９０５と、該時刻における音響データ９０６
と、を生成し、生成したデータをデータベース９０１に
書き込む。なお、仮想世界データ更新プログラム９１０
は、仮想世界におけるユーザの視聴点データの変更をも
許すものである。

【０１１９】画像表示装置９１４は、各時刻毎に、デー
タベース９０１から画像データ９０５を読み込み、ユー
ザに提示する。また、音響装置９１５は、各時刻毎に、
データベース９０１から音響データ９０６を読み込み、
ユーザに提示する。さらに、動揺台制御手段９１７は、
各時刻毎に、データベース９０１から動揺台の運動デー
タ９０３を読み込み、該データに基づいて動揺台９１８
を制御する。

【０１２０】ここで、コマンドの入力および解析、およ
び、画像データの生成および提示、および、音響データ
の生成および提示、および、動揺台の運動データの生
成、および、動揺台の制御を行うタイミングは、同期手
段９１６を用いて同期を取るものである。同期を取るた
めの方法としては、前記第４の実施の形態と同様、公知
の技術を用いることができる。

【０１２１】以上、本発明の第６の実施の形態によれ
ば、動揺台に乗ったユーザに対し、ユーザがコマンド入
力によって仮想世界におけるユーザの視聴点データをも
変更できる場合にも、ユーザのコマンドに基づいた動揺
台の運動により加速度等を体感させるとともに、ユーザ
のコマンドによって変化した仮想世界の状態に基づい
た、ユーザの視点位置・姿勢で見た時に正しく見えるよ
うな画像データ、および、ユーザの聴点位置・姿勢で聴
いた時に正しく聴こえるような音響データ、をユーザに
提示することができる。

【０１２２】以上、本発明を発明の実施の形態に基づき
具体的に説明したが、本発明はここで説明した実施の形
態に限定されるものではなく、その要旨を逸脱しない範
囲で種々変更し得ることは言うまでもない。

【０１２３】例えば、前記実施例において各種プログラ
ムによってソフトウェア的に実現していた個所を、ハー
ドウェアによって実現するように変更することもでき
る。

【０１２４】また、前記実施例においては、各時刻毎
に、仮想世界のデータと、仮想世界におけるユーザの視
聴点データと、現実世界におけるユーザの視聴点データ
と、動揺台等の配置データと、を用いて画像音響データ
の生成を行っていたが、画像音響データの生成方法は、
これに限るものではない。すなわち、本発明の主旨とし
ては、動揺台の運動データによって変化する、現実世界
におけるユーザの視聴点データに基づいた、画像音響デ
ータの生成ができればよく、各時刻毎に陽に現実世界に
おけるユーザの視点データを求める必要はない。画像デ
ータおよび音響データの生成方法は、例えば、動揺台の
運動データから、直接、仮想世界における画像面の位置
・姿勢・形状等を定めるような、変換パラメタを求める
ような方法としてもよい。前記実施形態で説明した方法
から該方法への移行は、簡単な行列・ベクトル計算によ
って実現することができる。例えば、図３の例であれ
ば、簡単のために現実世界におけるワールド座標系と仮
想世界におけるワールド座標系とが一致しており、動揺
台座標系が該ワールド座標系を平行移動したものである
とすると、図３（ｂ）の状態から図３（ｃ）の状態への
移行時には、「現実世界においてスクリーンが固定され
ており、動揺台座標系が、平行移動ベクトルｂ１で表さ
れる平行移動を行い、ＯＲを中心として回転行列Ｑで表
される回転を行った」ことを「仮想世界において視点デ
ータが固定されており、画像面が、ＯＲを中心として回
転行列Ｔ（＝Ｑの逆行列）で表される回転を行い、平行
移動ベクトル(−ｂ１)で表される平行移動を行った」と
焼き直して考えればよい。なお、前記実施形態は本発明
の主旨を直観的に分かりやすく説明するための例であ
り、各時刻における計算の手間を考慮した場合、前記実
施形態で説明した方法に比べ、該直接変換パラメタを求
める方法を適用するのが望ましい。

【０１２５】また、前記実施例において現実世界におけ
るユーザの視聴点位置を定める際に使用した人間モデル
を、複数の体型（例えば大人用、中人用、子供用の３種
類）について用意し、各々のモデルに対して現実世界に
おけるユーザの視聴点データを生成して、画像音響デー
タの生成時あるいは再生時に、適切なものに切り替えな
がら画像音響データの生成あるいは再生を行うようにし
てもよい。

【０１２６】

【発明の効果】以上に述べたように、本発明によれば、
あらかじめ生成した時系列画像データ・時系列音響デー
タをユーザに提示する場合、各時刻毎に生成した画像デ
ータ・音響データをユーザに提示する場合、あらかじめ
生成した時系列画像データ・時系列音響データと各時刻
毎に生成した画像データ・音響データとを合成してユー
ザに提示する場合、のいずれの場合においても、ユーザ
の視点位置・姿勢で見た時に正しく見えるような画像デ
ータ、および、ユーザの聴点位置・姿勢で聴いた時に正
しく聴こえるような音響データ、をユーザに提示するこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態によるデータ生成処
理のフローチャートである。

【図２】本発明の第１の実施の形態によるデータ生成処
理の処理イメージを示す概念図である。

【図３】本発明の第１の実施の形態によるデータ生成処
理において、動揺台の運動データから現実世界における
ユーザの視点データを求める方法を説明するための図で
ある。

【図４】本発明の第２の実施の形態による時系列画像デ
ータ生成処理のフローチャートである。

【図５】公知の技術における時系列画像データ生成処理
のフローチャートである。

【図６】本発明の第２の実施の形態による時系列音響デ
ータ生成処理のフローチャートである。

【図７】本発明の第３の実施の形態によるデータ生成処
理のフローチャートである。

【図８】本発明の第４の実施の形態による臨場感生成シ
ステムのシステム構成を示すシステムブロック図であ
る。

【図９】本発明の第５の実施の形態による臨場感生成シ
ステムのシステム構成を示すシステムブロック図であ
る。

【図１０】本発明の第６の実施の形態による臨場感生成
システムのシステム構成を示すシステムブロック図であ
る。

【符号の説明】

２０１１……スクリーン、２０２１……動揺台、２０３
１……ユーザ、２０１３、２０１４……表示用画像、２
０４３、２０４４……表示用画像中で木を表す部分、２
０５３、２０５４……表示用画像中で石を表す部分、３
０１……人間モデル、３０２……動揺台。

Claims (12)

【特許請求の範囲】
1. 【請求項１】画像表示装置と動揺台とを備える臨場感生
   成システムにおける画像データ生成方法であって、動揺
   台の運動データを用いて画像データを生成する処理を備
   えることを特徴とする画像データ生成方法。
2. 【請求項２】画像表示装置と動揺台とを備える臨場感生
   成システムにおける画像データ生成方法であって、変更
   不可能な第１の仮想世界データと、変更可能な第２の仮
   想世界データとを備え、さらに、前記第１の仮想世界デ
   ータと動揺台の時系列運動データとを用いて時系列画像
   データを生成する処理と、前記第２の仮想世界データに
   変更を施す処理と、前記第２の仮想世界データと前記動
   揺台の時系列運動データとを用いて画像データを生成す
   る処理と、複数の画像データを合成する処理と、を備え
   ることを特徴とする、画像データ生成方法。
3. 【請求項３】視点の位置および姿勢のデータを備える視
   点データと、画像投影面の位置および姿勢のデータを備
   える画像面データと、の間の関係を表す設定データを具
   備し、前記視点データは時系列データであり、前記設定
   データと前記視点データとを用いて所定の時刻における
   画像データを生成する画像データ生成方法において、前
   記設定データを時刻に依存して複数備え、所定の時刻に
   おける画像データを生成する処理は、該時刻に対応する
   前記設定データと該時刻における前記視点データとに基
   づき該時刻における画像面データを設定する処理と、該
   設定処理によって設定された前記画像面データと該時刻
   における前記視点データとに基づいて該時刻における画
   像データを生成する処理と、を備えることを特徴とす
   る、画像データ生成方法。
4. 【請求項４】請求項１または請求項２または請求項３に
   記載の画像データ生成方法であって、前記画像データを
   生成する処理は、３次元画像データを生成することを特
   徴とする、画像データ生成方法。
5. 【請求項５】画像表示装置と動揺台とを備える臨場感生
   成システムであって、前記画像表示装置は、請求項１〜
   請求項４のうちの一に記載の方法によって生成された画
   像データを、動揺台の運動と同期をとって表示すること
   を特徴とする、臨場感生成システム。
6. 【請求項６】音響装置と動揺台とを備える臨場感生成シ
   ステムにおける音響データ生成方法であって、動揺台の
   運動データを用いて音響データを生成する処理を備える
   ことを特徴とする、音響データ生成方法。
7. 【請求項７】音響装置と動揺台とを備える臨場感生成シ
   ステムにおける音響データ生成方法であって、変更不可
   能な第１の仮想世界データと、変更可能な第２の仮想世
   界データとを備え、さらに、前記第１の仮想世界データ
   と動揺台の時系列運動データとを用いて時系列音響デー
   タを生成する処理と、前記第２の仮想世界データに変更
   を施す処理と、前記第２の仮想世界データと前記動揺台
   の時系列運動データとを用いて音響データを生成する処
   理と、複数の音響データを合成する処理と、を備えるこ
   とを特徴とする、音響データ生成方法。
8. 【請求項８】聴点の位置および姿勢のデータを備える視
   点データと仮想録音体の位置および姿勢のデータを備え
   る録音体データとの間の関係を表す設定データを具備
   し、前記聴点データは時系列データであり、前記設定デ
   ータと前記聴点データとを用いて所定の時刻における音
   響データを生成する音響データ生成方法において、前記
   設定データを時刻に依存して複数備え、所定の時刻にお
   ける音響データを生成する処理は、該時刻に対応する前
   記設定データと該時刻における前記聴点データとに基づ
   き該時刻における録音体データを設定する処理と、該設
   定処理によって設定された前記録音体データと該時刻に
   おける前記視点データとに基づいて該時刻における音響
   データを生成する処理と、を備えることを特徴とする、
   音響データ生成方法。
9. 【請求項９】請求項６または請求項７または請求項８に
   記載の音響データ生成方法であって、前記音響データを
   生成する処理は、３次元音響データを生成することを特
   徴とする、音響データ生成方法。
10. 【請求項１０】音響装置と動揺台とを備える臨場感生成
    システムであって、前記音響装置は、請求項６〜請求項
    ９のうちの一に記載の方法によって生成された音響デー
    タを、動揺台の運動と同期をとってユーザに提示するこ
    とを特徴とする、臨場感生成システム。
11. 【請求項１１】変更不可能な第１の仮想世界データに関
    する時系列画像データと、変更可能な第２の仮想世界デ
    ータと、仮想世界におけるユーザの時系列視点データ
    と、を記憶するデータ記憶媒体であって、さらに、動揺
    台および画像投影装置の配置データと現実世界における
    ユーザの時系列視点データとの組、あるいは、仮想世界
    における画像投影面の位置・姿勢を示す時系列データ、
    のうち少なくとも１つを記憶していることを特徴とす
    る、データ記憶媒体。
12. 【請求項１２】変更不可能な第１の仮想世界データに関
    する時系列音響データと、変更可能な第２の仮想世界デ
    ータと、仮想世界におけるユーザの時系列聴点データ
    と、を記憶するデータ記憶媒体であって、さらに、動揺
    台および音響装置の配置データと現実世界におけるユー
    ザの時系列聴点データとの組、あるいは、仮想世界にお
    ける仮想録音体の位置・姿勢を示す時系列データ、のう
    ち少なくとも１つを記憶していることを特徴とする、デ
    ータ記憶媒体。