JP2017199106A

JP2017199106A - 仮想環境構築装置、仮想環境構築方法、プログラム

Info

Publication number: JP2017199106A
Application number: JP2016087906A
Authority: JP
Inventors: 康輔高橋; Kosuke Takahashi; 弾三上; Dan Mikami; 麻理子五十川; Mariko Isogawa; 明小島; Akira Kojima
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2016-04-26
Filing date: 2016-04-26
Publication date: 2017-11-02
Anticipated expiration: 2036-04-26
Also published as: JP6594254B2

Abstract

【課題】事前に選手目線での試合体験を可能にする。【解決手段】動的オブジェクトと静的オブジェクトとを仮想環境上に再現する仮想環境素材を記憶する仮想環境素材記憶部１３と、現実環境における動的オブジェクトの位置・姿勢から位置姿勢情報を生成する動的オブジェクトセンシング部１１と、動的オブジェクトまたは静的オブジェクトの仮想環境素材を合成して仮想環境を構築する仮想環境構築部１４と、フィードバック対象の位置・姿勢であるフィードバック対象位置姿勢情報を生成する触覚動作センシング部１６と、衝突オブジェクトとフィードバック対象の位置姿勢情報、衝突オブジェクトとフィードバック対象の仮想環境素材から各時刻における衝突の有無を判定した結果である衝突情報を生成する衝突判定部１８と、衝突情報からユーザの身体にフィードバックを与えるフィードバック信号を生成する身体フィードバック生成部１９とを含む。【選択図】図１

Description

この発明は、現実の環境を撮影した映像に基づいて仮想的かつ移動可能な視点からの映像を合成する仮想環境構築技術に関する。

スポーツの試合において、事前に体験していない初めての状況に遭遇すると、十分なパフォーマンスを発揮できないことがある。例えば、野球では「初物に弱い」という表現を用いて初対戦の投手を苦手とする状況が語られることがある。この状況に対し、実際の試合と同じ環境において選手の目線で事前に投手の投球を体験することが有効であると考えられる。

しかしながら、実際に次の対戦相手の投球を事前に体験することは実施の観点から困難である。この対策としてスタンドなどから撮影した対戦相手の過去の投球映像を視聴することが一般的であるが、ここで視聴する映像は実際にバッターボックスに立っている選手が見ている映像と比べて視点や視野の観点から異なるため、試合状況の事前体験として十分ではない。

非特許文献１には、選手の目線における事前体験の実現方法として、バッターボックス内の選手の目線の位置に３６０度のパノラマ画像を撮影できるカメラ（以下、全天球カメラと呼ぶ）を設置し、その全天球カメラで撮影した選手目線の映像をヘッドマウントディスプレイにより視聴する方法が記載されている。

Ochi, D., Kunita, Y., Kameda, A., Kojima, A., Iwaki, S., "Live streaming system for omnidirectional video", Virtual Reality (VR), 2015 IEEE , pp. 349-350, March 2015.

しかしながら、非特許文献１に記載の方法では、試合中にバッターボックス内にカメラを設置する必要があるため実施の観点から実現は困難である。加えて、このようにカメラで撮影された映像を視聴する場合、カメラを設置した視点のみの事前体験しかできないという課題がある。

また、非特許文献１に記載の方法は、視覚による仮想体験を実現するものであり、触覚による仮想体験を得ることはできない。例えば、ユーザが実空間でバットを振る動作やボールをキャッチする動作をしたとしても、バットやグローブは撮影時の映像中には存在しないため、ボールがバットに当たった感覚やボールをキャッチした感覚を適当なタイミングで与えることは困難である。

この発明の目的は、上記のような事情を鑑み、仮想的に試合環境を構築することで、事前に選手目線での試合体験を可能にする技術を提供することである。

本発明の一態様は、動的オブジェクトと静的オブジェクトとが存在する現実環境に基づいてユーザに閲覧させる仮想環境を構築する仮想環境構築装置であって、上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶する仮想環境素材記憶部と、上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシング部と、上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築部と、上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシング部と、上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定部と、上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成部とを含む。

この発明の仮想環境構築技術によれば、実空間でのユーザの動作を検出し、その動作に対応する衝突感覚をユーザに与えることにより、視覚だけでなく触覚の観点からも仮想的に試合環境を構築することができ、視覚・触覚の２つの観点から事前に選手目線での試合体験が可能となる。

図１は、第一実施形態の仮想環境構築装置の機能構成を例示する図である。図２は、第一実施形態の仮想環境構築装置の動作（視覚関連）を例示するフローチャートである。図３は、第一実施形態の仮想環境構築装置の動作（触覚関連）を例示するフローチャートである。図４は、位置姿勢テーブルのデータ構造を例示する図である。図５は、構成素材組み込みリストのデータ構造を例示する図である。図６は、第二実施形態の仮想環境構築装置の機能構成を例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

［第一実施形態］
最初に、第一実施形態の仮想環境構築装置の概要を説明する。まず、動的オブジェクトセンシング部が（例えば、野球の投球やテニスのサーブの軌道などの）事前体験の対象である動的なオブジェクト（例えば、ボール）に関する各時刻の位置および姿勢を求め、その位置姿勢情報を記憶しておく。時間変化をしない静的なオブジェクト（例えば、スタジアムやグラウンドなど）に関する位置姿勢情報は予め記憶されているものとする。以下では、ボールやスタジアムのように仮想環境を構成するためのオブジェクトを構成素材と呼ぶ。また、構成素材を仮想環境に再現するためのコンピュータ・グラフィックス（CG: Computer Graphics）データを仮想環境素材と呼び、これらも予め記憶されているものとする。なお、静的オブジェクトに関する仮想環境素材はＣＧデータに限定されず、実際に撮影した映像から切り出した動画または静止画データであってもよい。仮想環境構築部は各構成素材の位置姿勢情報に基づいて仮想環境素材を配置することで仮想環境を構築する。描画部は、その仮想環境を全天球映像などの映像として出力する。

この映像出力のための処理と並行して、ユーザに衝突を感得させるための処理が行われる。触覚動作センシング部は、実空間でのユーザの動作のうち、触覚に関係してくる動作をセンシングする。例えば、バットを振る、ボールをキャッチするなどの動作がセンシング対象となる。衝突判定部は、実空間でのユーザの動作に基づいて、仮想環境中でのユーザの身体の部位（またはユーザが使用する構成素材）と他の構成素材との衝突の有無を判定する。ユーザが使用する構成素材の例として、バットやグローブがあり、これらの構成素材と衝突する他の構成素材の例として、ボールがある。身体フィードバック生成部は、衝突があった場合、その衝突をユーザに伝達する。

第一実施形態の仮想環境構築装置は、図１に示すように、動的オブジェクトセンシング部１１、構成素材位置姿勢記憶部１２、仮想環境素材記憶部１３、仮想環境構築部１４、描画部１５、触覚動作センシング部１６、フィードバック対象位置姿勢記憶部１７、衝突判定部１８、および身体フィードバック生成部１９を備える。この仮想環境構築装置が後述する各ステップの処理を行うことにより第一実施形態の仮想環境構築方法が実現される（図２、図３参照）。

なお、視覚に関する処理（Ｓ１１〜Ｓ１５）と触覚に関する処理（Ｓ１６〜Ｓ１９）は同期が取れているものとする。例えば、バットでボールを打った瞬間の映像と手に伝わる感覚は同期することになる。

仮想環境構築装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。仮想環境構築装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。仮想環境構築装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、仮想環境構築装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。仮想環境構築装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。仮想環境構築装置が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。

動的オブジェクトセンシング部１１は、現実環境における動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する（Ｓ１１）。生成された動的オブジェクトの位置姿勢情報は構成素材位置姿勢記憶部１２へ記憶される。具体的には、仮想環境構築装置に接続されたセンサ（図示せず）で動的オブジェクトを計測し、その値を入力として動的オブジェクトの３次元位置姿勢情報を推定する。動的オブジェクトとは、仮想環境において時間経過とともに３次元位置が変化する物体、例えば野球ボールやテニスボールを指す。

動的オブジェクトの３次元位置姿勢を算出するためのセンサとして複数カメラが利用できる。複数カメラを利用してボールの３次元位置情報を算出する手法の具体例として、ステレオ法を用いた手法がある。具体的には、予めカメラキャリブレーションを実施したカメラ群で撮影された映像に対し、画像上のボールの位置を求める。このとき、画像上のボールの位置は手作業で与えてもよいし、テンプレートマッチングなどの検出手法を用いてボールを検出し、その中心位置をボールの位置としてもよい。これら画像上で検出された位置とカメラキャリブレーションで求めたカメラパラメータとを用いてステレオ法を適用することで、ボールの３次元位置を求めることができる。また、姿勢に関しては、例えば、撮影したボールの縫い目の模様から基準の姿勢に対してどの程度回転しているかを求めることができる。

動的オブジェクトの位置姿勢を求めるセンサの他の例としては、ドップラーレーダーなどを挙げることができる。このセンサは公知の技術であるため詳細な説明は省略する。その他、ボールの３次元位置姿勢情報を取得できるセンサおよび手法であればどのようなものであってもよい。

構成素材位置姿勢記憶部１２は、各構成素材に関する位置姿勢情報を記憶する。動的オブジェクトに関する位置姿勢情報は、動的オブジェクトセンシング部１１により生成されて記憶されたものである。静的オブジェクトに関する位置姿勢情報は、予め用意されて記憶されたものである。具体的には、各時刻における各構成素材の３次元位置姿勢情報を表すレコードによって構成される構成素材位置姿勢テーブルが記憶されている。

構成素材位置姿勢情報テーブルは、図４に示すように、構成素材を一意に識別する「構成素材ID」と、仮想環境素材を一意に識別する「仮想環境素材ID」と、各「時刻」におけるオブジェクトの「位置」および「姿勢」の各値を有する。位置は３次元の並進ベクトルとして表され、姿勢は各軸に対する回転角を表す３次元ベクトルとして表される。

例えば、野球の投球を想定した場合、構成素材Oiがストレートボールを表すとすると、構成素材Oiに対応する仮想環境素材Eiは、仮想環境素材記憶部１３に記憶された野球ボールのＣＧデータである。このとき、各時刻に対応する位置および姿勢はその時刻にボールがどの位置にどの姿勢で存在しているかということを表している。より具体的には、位置Ti(0), Ti(1), …, Ti(ti)はボールの軌道を、姿勢Ri(0), Ri(1), …, Ri(ti)はボールがどのように回転しているかを表している。

なお、図４において、時刻に「-」が格納されている構成素材は、スタジアムのように時間経過に伴い位置や姿勢が変化しない静的オブジェクトであることを表す。このような静的オブジェクトの位置姿勢情報は予め記憶されているものとする。

また、各構成素材に対して定められている時刻は、その構成素材が後述する仮想環境構築部１４において仮想環境に組み込まれた時点からの経過時刻を表す。具体的には、仮想環境において時刻taの時点で構成素材Oiが組み込まれた場合、時刻(ta+0)の時点の構成素材Oiの位置および姿勢はそれぞれTi(0), Ri(0)であり、時刻(ta+1)の時点の構成素材Oiの位置および姿勢はそれぞれTi(1), Ri(1)である。

仮想環境素材記憶部１３は、各構成素材に対応する仮想環境素材を記憶する。仮想環境素材は仮想環境を構築するための素材であり、例えばＣＧデータや実写データなどである。仮想環境素材記憶部１３は仮想環境素材IDに関連付けて各仮想環境素材を記憶する。仮想環境素材の例としては、野球であればスタジアムや野球ボールのＣＧデータ、テニスであればテニスコートやテニスボールのＣＧデータである。これらは事前に用意され記憶されているものとする。

仮想環境構築部１４は、構成素材位置姿勢記憶部１２から各構成素材の位置姿勢情報を読み出し、仮想環境素材記憶部１３から各構成素材に対応する仮想環境素材のデータを読み出し、動的オブジェクトの仮想環境素材と静的オブジェクトの仮想環境素材とを合成して仮想環境のデータを構築する（Ｓ１４）。構築した仮想環境のデータは描画部１５へ送られる。仮想環境のデータとは、ある仮想的な空間において一つ以上の仮想環境素材のデータが配置された仮想空間を指す。

具体例として、野球における仮想環境のデータを作成する手順を説明する。まず、仮想環境を構築するための構成素材組み込みリストを読み込む。この構成素材組み込みリストは、図５に示すように、構成素材を一意に識別する「構成素材ID」と、その構成素材を仮想環境に組み込む「時刻」を持つ。つまり、図５の表の左２列が構成素材組み込みリストを示す。構成素材組み込みリストは予め人手で用意されているものとする。例えば野球における仮想環境のデータを作成する場合、スタジアムやピッチャー、ボールなどに関する構成素材IDおよび時刻が構成素材組み込みリストに記載されている。次に、各時刻について描画すべき構成素材が存在する場合、その構成素材に対応する仮想環境素材を仮想環境に組み込む。例えば、図５の２行目にある時刻＝１、構成素材ID＝O1は、時刻１において構成素材IDがO1であるスタジアムを仮想環境に組み込むことを意味する。このとき、構成素材の位置姿勢を構成素材位置姿勢記憶部１２から読み出し、その位置姿勢に基づいて仮想空間に配置する。構成素材組み込みリストに記載されている全ての構成素材を仮想環境に組み込んだら処理を終了する。

描画部１５は、構築した仮想環境のデータをユーザが視聴できる形態として出力する（Ｓ１５）。出力する映像は、仮想環境のある視点から一方向を見るような映像でもよいし、全天球映像のように全方位を見ることができる映像でもよい。

例えば、ある視点から一方向を見るような映像を出力する場合は、ある位置に仮想的に透視投影カメラCを設置し、仮想環境の空間中に存在するＣＧモデルをカメラCの画像平面に投影すればよい。具体的には、TをカメラCの外部パラメータである位置とし、Rを姿勢とし、Kを内部パラメータとすると、仮想環境のデータが存在する空間中のある点pは、以下のようにカメラCの画像平面上に点qとして投影される。

ただし、内部パラメータKはカメラCの焦点距離や画像中心からなる３ｘ３の行列である。

ある視点から全方位を見渡せる全天球映像を出力する場合は、ある視点に仮想的に全天球カメラOを設置し、仮想環境の空間中に存在するＣＧモデルをカメラOの画像平面に投影すればよい。具体的には、TをカメラOの外部パラメータである位置とし、Rを姿勢とし、Wを投影する画像平面の幅とし、Hを高さとすると、仮想環境のデータが存在する空間中のある点pは、以下のようにカメラOの画像平面上に点q=(q_x, q_y)^Tとして投影される。

この例では全天球映像を２次元画像で表現する図法として正距円筒図法を用いているが、メルカトル図法など他の図法を用いてもよい。

触覚動作センシング部１６は、実空間でのユーザの動作のうち、触覚に関係してくる（つまり、フィードバックを与える）身体の部位またはその部位が把持するオブジェクトの動き（位置及び姿勢）を計測し、触覚に関係してくる動作に関する情報であるフィードバック対象位置姿勢情報を生成する（Ｓ１６）。以下、このような身体の部位またはその部位が把持するオブジェクトのことをフィードバック対象という。また、触覚に関係してくる動作とは、どのようなフィードバックをユーザの身体に与えたいかということに依存した動作のことであり、例えばバットを振るときのインパクトを与えたい場合にはそのバットの位置姿勢を計測する、あるいはボールをキャッチするときのインパクトを与えたい場合にはグローブの位置姿勢を計測する必要がある。これらフィードバック対象の動作を計測することができるのであれば、どのようなセンサを用いてもよい。例えば、Optitrack社に代表されるモーションセンサーを用いてもよい。また、Microsoft社のKinectを利用してもよい。これらは公知の技術を用いて実現されるため詳細な説明は省略する。計測したフィードバック対象の位置及び姿勢はフィードバック対象位置姿勢記憶部１７に出力する。

身体の部位等のフィードバック対象の位置姿勢情報は、図４の構成素材位置姿勢情報テーブルと同様の構造を持つフィードバック対象位置姿勢情報テーブルで表現される。つまり、フィードバック対象位置姿勢情報テーブルは、「構成素材ID」、「仮想環境素材ID」、各「時刻」におけるオブジェクトの「位置」および「姿勢」の各値を有する。構成素材位置姿勢情報テーブルの各行のデータとフィードバック対象位置姿勢情報テーブルの各行のデータは、同一のデータ構造を有する点では同じであるが、構成素材位置姿勢情報テーブルの各行のデータが仮想環境のデータの構築に用いられるのに対し、フィードバック対象位置姿勢情報テーブルの各行のデータが後述する衝突判定に用いられる点で異なる。

フィードバック対象位置姿勢記憶部１７は、触覚動作センシング部１６による計測対象となるフィードバック対象の位置姿勢情報を記憶する。具体的には、各時刻におけるフィードバック対象の３次元位置姿勢情報を表すレコードによって構成されるフィードバック対象位置姿勢テーブルが記憶されている。

衝突判定部１８は、構成素材位置姿勢記憶部１２から各構成素材の位置姿勢情報を読み出し、フィードバック対象位置姿勢記憶部１７から各フィードバック対象の位置姿勢情報を読み出し、仮想環境素材記憶部１３から構成素材とフィードバック対象に対応する仮想環境素材のデータを読み出し、各時刻における構成素材とフィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する（Ｓ１８）。衝突情報は、構成素材が、どの時刻に、どの位置で、どの方向から、どのような大きさでフィードバック対象に衝突したかを表す情報である。

フィードバック対象に衝突する可能性があるオブジェクトが分かっている場合は、そのオブジェクトに対応する構成素材の位置姿勢情報や仮想環境素材のみを読み出すのでよい。以下、フィードバック対象に衝突する可能性があるオブジェクトのことを衝突オブジェクトという。

衝突の有無を判定する方法として、例えば、構成素材（衝突オブジェクト）とフィードバック対象の表面間の距離が閾値以下の場合に衝突したと判定する方法がある。具体的には、構成素材O1、フィードバック対象O2の中心位置をそれぞれT1、T2とし、中心位置から表面までの距離をS1、S2とし、以下の式を満たすときに構成素材O1とフィードバック対象O2は衝突したと判定する。

T1、T2は３次元ベクトルであり、|・|はノルムを表す。また、S1、S2は、仮想環境素材記憶部１３から読み出した構成素材及びフィードバック対象に対応する仮想環境素材のデータから算出できる。

例えば、バッティングでは、構成素材（衝突オブジェクト）はボールであり、フィードバック対象はバットである。また、キャッチングでは、構成素材はボール、フィードバック対象はグローブである。

また、衝突の大きさの算出に関してもどのような方法を用いてもよい。例えば、実際の質量を反映する方法がある。具体的には、各構成素材の質量を事前に定めておくことで、各構成素材が持つエネルギーを計算することができる。このエネルギーを用いて衝突の際に発生する衝突の大きさを計算する。もちろん、衝撃が大きすぎる場合は弱めてもよいし、衝撃が小さすぎる場合は強めてもよい。

身体フィードバック生成部１９は、衝突判定部１８の判定結果である衝突情報に基づいてフィードバックを与えるための各デバイスへの信号（フィードバック信号）を生成する（Ｓ１９）。身体の部位にフィードバックを与えるデバイスはどのようなものでもよい。デバイスの例としては、バットやラケットにアクチュエータを搭載したものなどが挙げられる。先ほどのバットでボールを打つ例では、アクチュエータを搭載したバットに衝突判定部１８で算出した衝突の大きさや方向などをフィードバックとして与える信号を生成することとなる。また、参考非特許文献２の技術のように、腹部と背面に振動子を装着し、時間差で振動させることで貫通感を与えて、衝突の現実感を与えることも可能である。
（参考非特許文献２：渡邊淳司、“触れる感覚の質感・実感に着目したコミュニケーション (特集２０周年を迎えたコミュニケーション科学)”、ＮＴＴ技術ジャーナルVol.23, No.9, pp.26-30, ２０１１年．）
なお、仮想環境のデータと衝突情報を各時刻で生成することにより、映像出力と身体へのフィードバックを同期することが可能となっている。

本実施形態の発明では、実空間でのユーザの動作を検出し、その動作に対応する衝突感覚をユーザに与えることにより、視野外で発生したイベント、衝突の大きさなどの視覚では得られない情報を伝達することが可能になる。また、視覚だけでなく、触覚を利用した事前体験、すなわち身体に対するフィードバックを与える形での事前体験は、スポーツのトレーニング効果を高めることが期待できる。例えば、ピッチャーが投げた球を打ち返すような体験をすれば、バットとボールが衝突する瞬間に実際に衝突した手応え（衝突の大きさや厳密なタイミング）など、視覚情報では伝達することができないあるいは伝達しにくい情報を伝達することが可能となる。
［第二実施形態］
第一実施形態では、描画部において仮想環境内の予め定めた視点からの映像のみを出力している。そのため、仮想環境内を自由に移動するような体験の実現が困難である。全ての地点における映像を出力するということも考えられるが、処理量の観点から現実的ではない。第二実施形態では第一実施形態の構成に対してユーザの頭部の位置および姿勢をセンシングする視覚動作センシング部を追加し、ユーザが視聴したい位置および方向をセンシングすることで、仮想環境内を自由に移動しながら映像を視聴できるようにする。

第二実施形態の仮想環境構築装置は、図６に示すように、動的オブジェクトセンシング部１１、構成素材位置姿勢記憶部１２、仮想環境素材記憶部１３、仮想環境構築部１４、描画部１５、触覚動作センシング部１６、フィードバック対象位置姿勢記憶部１７、衝突判定部１８、および身体フィードバック生成部１９を第一実施形態と同様に備え、視覚動作センシング部２１をさらに備える。この仮想環境構築装置が後述する各ステップの処理を行うことにより第二実施形態の仮想環境構築方法が実現される。

以下、第二実施形態の仮想環境構築方法の処理手続きを、第一実施形態との相違点を中心に説明する。

視覚動作センシング部２１は、ユーザの頭部の位置および姿勢を計測して、頭部位置姿勢情報を生成する。生成された頭部位置姿勢情報は描画部１５へ送られる。具体的には、仮想環境構築装置が備えるセンサ（図示せず）でユーザの頭部を計測し、その値を入力としてユーザの頭部の３次元位置姿勢情報を推定する。

ユーザの頭部の３次元位置姿勢を算出するためのセンサはどのようなセンサでもよい。このセンサの具体例として、先述のOptitrack社に代表されるモーションセンサーが挙げられる。また、Oculus社に代表されるヘッドマウントディスプレイ（HMD: Head Mount Display）と付属の赤外線（IR: Infrared）カメラを用いてもよい。これらは公知の技術を用いて実現されるため詳細な説明は省略する。

描画部１５は、視覚動作センシング部２１より受け取った頭部位置姿勢情報に基づいて、仮想環境のデータをユーザが視聴できる形態として出力する。このとき、仮想環境におけるユーザの視線方向の映像を出力してもよいし、全方位映像を出力してもよい。

本実施形態の発明では、ユーザが視聴したい位置および方向をセンシングすることにより、仮想環境内を自由に移動しながら映像を視聴することが可能になる。したがって、実空間でのユーザの視線方向が変動する場合であっても、視覚情報と触覚情報が同期してユーザに提示・フィードバックされるため、より現実に近い事前体験が可能になる。

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１１動的オブジェクトセンシング部
１２構成素材位置姿勢記憶部
１３仮想環境素材記憶部
１４仮想環境構築部
１５描画部
１６触覚動作センシング部
１７フィードバック対象位置姿勢記憶部
１８衝突判定部
１９身体フィードバック生成部
２１視覚動作センシング部

Claims

動的オブジェクトと静的オブジェクトとが存在する現実環境に基づいてユーザに閲覧させる仮想環境を構築する仮想環境構築装置であって、
上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶する仮想環境素材記憶部と、
上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシング部と、
上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築部と、
上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシング部と、
上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定部と、
上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成部と
を含む仮想環境構築装置。
請求項１に記載の仮想環境構築装置であって、
上記ユーザの頭部の位置および姿勢を計測して頭部位置姿勢情報を生成する視覚動作センシング部と、
上記頭部位置姿勢情報に基づいて上記仮想環境における上記ユーザの視線方向の映像を出力する描画部と、
をさらに含む仮想環境構築装置。
仮想環境素材記憶部と、動的オブジェクトセンシング部と、仮想環境構築部と、触覚動作センシング部と、衝突判定部と、身体フィードバック生成部とを含む仮想環境構築装置が、動的オブジェクトと静的オブジェクトとが存在する現実環境に基づいてユーザに閲覧させる仮想環境を構築する仮想環境構築方法であって、
上記仮想環境素材記憶部が、上記動的オブジェクトと上記静的オブジェクトとを上記仮想環境上に再現する仮想環境素材を記憶しており、
上記動的オブジェクトセンシング部が、上記現実環境における上記動的オブジェクトの位置および姿勢を計測して位置姿勢情報を生成する動的オブジェクトセンシングステップと、
上記仮想環境構築部が、上記動的オブジェクトの位置姿勢情報と上記静的オブジェクトの位置姿勢情報を用いて、上記動的オブジェクトの仮想環境素材と上記静的オブジェクトの仮想環境素材とを合成して上記仮想環境を構築する仮想環境構築ステップと、
上記触覚動作センシング部が、上記ユーザの身体の部位または当該部位が把持するオブジェクトであるフィードバック対象の位置および姿勢を計測してフィードバック対象位置姿勢情報を生成する触覚動作センシングステップと、
上記衝突判定部が、上記動的オブジェクトまたは上記静的オブジェクトの中で上記フィードバック対象と衝突する可能性がある衝突オブジェクトの位置姿勢情報と、上記フィードバック対象位置姿勢情報と、上記衝突オブジェクトの仮想環境素材と、上記フィードバック対象の仮想環境素材から、各時刻における上記衝突オブジェクトと上記フィードバック対象間の衝突の有無を判定し、判定結果を衝突情報として生成する衝突判定ステップと、
上記身体フィードバック生成部が、上記衝突情報から上記ユーザの身体にフィードバックを与えるためのフィードバック信号を生成する身体フィードバック生成ステップと
を含む仮想環境構築方法。
請求項１または２に記載の仮想環境構築装置の各部としてコンピュータを機能させるためのプログラム。