JP2017102401A

JP2017102401A - バーチャルリアリティシステム

Info

Publication number: JP2017102401A
Application number: JP2015237791A
Authority: JP
Inventors: 亮小玉; Akira Kodama; 吉紘大濱; Yoshiko Ohama; 裕之梶本; Hiroyuki Kajimoto; 昌裕高下; Masahiro Takashita
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2015-12-04
Filing date: 2015-12-04
Publication date: 2017-06-08
Anticipated expiration: 2035-12-04
Also published as: JP6819036B2

Abstract

【課題】車両をモーション・プラットフォームとして利用して、ユーザに対して映像情報に応じた感覚又は運動を提示することができるバーチャルリアリティシステムを提供する。【解決手段】車両をモーション・プラットフォームとするバーチャルリアリティシステムは、バーチャル空間を表す映像情報に基づいてユーザに映像を提示する映像提示手段と、バーチャル空間を表す映像情報に基づいて車両内のユーザに感覚又は運動を提示するように車両の一部を駆動制御する制御手段と、を備える。【選択図】図１

Description

本発明は、バーチャルリアリティシステムに関する。

テーマパーク等の施設に設置された体感型エンタテイメントシステムにおいては、映像と移動感覚とを同時に提示することにより、バーチャル空間の臨場感を高めたバーチャルリアリティ（ＶＲ）コンテンツが提供されている。移動感覚の提示には、ユーザが着座することができるモーション・プラットフォーム（ＭＰ）が用いられている。ＭＰは、上下方向、左右方向、前後方向など、種々の方向の移動感覚をユーザに提示する。従来のＭＰは、巨大な運動機構であり、場所を取り、高価で、容易には運搬できない。このため、施設に設置して使用されるのが一般的であった。

一方、近年、映像を提示する映像提示装置については、高機能で且つ低価格のヘッド・マウント・ディスプレイ（ＨＭＤ）が市場に投入されており、高品質な３Ｄ映像を個人的に視聴できる。これに伴い、臨場感のあるＶＲコンテンツを家庭で楽しむために、手軽に利用できるＭＰが必要とされるようになった。

ＶＲコンテンツの提供に車両が利用される例はある。例えば、カストロール社の「エッジ・バーチャルドリフト」では、走行中の車両の運動をＧＰＳや車速計などから取得し、それに合わせてバーチャルなサーキット映像を生成する。ＨＭＤを装着して車両を走行させながらサーキット映像を見ることで、バーチャル空間を爆走する体験をする（非特許文献１）。日本自動車研究所の「JARI-ARV（拡張現実実験車）」では、ドライバの視界を覆い隠すようにボンネット上にディスプレイを配置した実験車で、バーチャル映像を見ながら走行することにより、ドライビング・シミュレーションを行う（非特許文献２）。

三菱自動車社の「星空ドライブ」では、静止した車内で星空を見ながらドライブしているバーチャル映像を見る（非特許文献３）。プロトタイプ社の「Jumpstart eXstream」では、ＨＭＤを装着して固定されたバイクに跨り、バーチャル空間の荒野を疾走する映像を見る。バイクは固定されているが、タイヤは空転してエンジン振動を体感できる。また、ファンにより風を当てることで移動感覚が提示される（非特許文献４）。

Audi Singapore社の「A Drive Back in Time」では、後部座席でＨＭＤを装着すると、昔のシンガポールの街並みが見える。昔の町をドライブする体験であり、走行車両の位置座標に応じてバーチャル映像を表示する（非特許文献５）。ホンダ社の「Dream Drive」では、後部座席でＨＭＤを装着すると、様々なバーチャル空間の映像が楽しめる。車両の移動に合わせて、移動状態に応じたバーチャル映像が表示される（非特許文献６）。

発明者等は、ＶＲコンテンツを提供するバーチャルリアリティシステムに車両が利用される形態を、パッシブ型、アクティブ型、バーチャル・ドライブ型の３種類に分類した。パッシブ型は、乗用車が加速すれば提示されるコンテンツ内部でも加速するというように、乗用車の運転に合わせたコンテンツを提示する形態である。アクティブ型は、提示するコンテンツに合わせて乗用車を自動運転により駆動することで移動感覚等を提示し、コンテンツの臨場感を向上させる形態である。バーチャル・ドライブ型は、運転手がＨＭＤを装着し、バーチャル空間の映像を提示された状態で、実空間にて実際に乗用車の走行を行う形態である。

非特許文献３、４に記載の技術は、車両をＭＰとして使用していない。また、非特許文献１、２、５、６に記載の技術は、パッシブ型かバーチャル・ドライブ型のいずれかに該当する。即ち、車両走行に合せて映像提示を行っているに過ぎない。従って、バーチャルリアリティシステムにおいては、映像提示に合わせて移動感覚を提示するアクティブ型の形態で車両がＭＰとして利用される技術は従来存在しなかった。

http://www.castrol.com/ja_jp/japan/products/cars/engine-oils/castrol-edge/edge-virtual-drift.html http://www.jari.or.jp/tabid/139/Default.aspx http://www.mitsubishi-motors.com/jp/events/star/event/outline201410.html http://proto-type.jp/portfolio/jumpstart-extream/ https://www.youtube.com/watch?v=4KG1ub4g_EA&feature=youtu.be http://itpro.nikkeibp.co.jp/atcl/idg/14/481542/072800139/

本発明は上記事情に鑑みなされたものであり、本発明の目的は、車両をモーション・プラットフォームとして利用して、ユーザに対して映像情報に応じた感覚又は運動を提示することができるバーチャルリアリティシステムを提供することにある。

上記目的を達成するために本発明のバーチャルリアリティシステムは、車両をモーション・プラットフォームとするバーチャルリアリティシステムにおいて、バーチャル空間を表す映像情報に基づいてユーザに映像を提示する映像提示手段と、前記バーチャル空間を表す映像情報に基づいて車両内のユーザに感覚を提示するように前記車両の一部を駆動制御する制御手段と、を備えたバーチャルリアリティシステムである。

本発明のバーチャルリアリティシステムによれば、車両をモーション・プラットフォームとして利用して、ユーザに対して映像情報に応じた感覚又は運動を提示することができる。

本発明の実施の形態に係るバーチャルリアリティシステムの概念を示す模式図である。本発明の実施の形態に係るバーチャルリアリティシステムの構成の一例を示すブロック図である。ＶＲコンピュータの構成の一例を示すブロック図である。車両の駆動制御系の一例を示すブロック図である。バーチャルリアリティシステムの現実空間における構成の一例を示す概略図である。バーチャルリアリティシステムのＶＲコンピュータ及びその周辺の構成の一例を示すブロック図である。「駆動パターン生成処理」の手順の一例を示すフローチャートである。加速度を提示する例を示す模式図である。（Ａ）〜（Ｃ）は、衝突感覚を提示する際の車両の駆動パターンの一例を説明する模式図である。「衝突感覚生成処理」の手順の一例を示すフローチャートである。「衝撃提示処理」の手順の一例を示すフローチャートである。「車両位置修正処理」の手順の一例を示すフローチャートである。衝撃提示の際のアクセルシフト値のパターンを示すグラフである。（Ａ）〜（Ｃ）は、衝突感覚を提示する際の車両の駆動パターンの他の一例を説明する模式図である。移動感覚を提示する例を示す模式図である。（Ａ）〜（Ｃ）は、加速度を提示する際の車両の駆動パターンの一例を説明する模式図である。平衡感覚を提示する例を示す模式図である。（Ａ）〜（Ｃ）は、平衡感覚を提示する際の車両の駆動パターンの一例を説明する模式図である。移動感覚や平衡感覚を提示する際の車両の駆動パターンの他の一例を説明する模式図である。温度感覚を提示する例を示す模式図である。移動感覚等を提示する他の手段を例示する模式図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

＜バーチャルリアリティシステム＞
（アクティブ型の車両利用形態）
先ず、バーチャルリアリティシステム（以下、「ＶＲシステム」という。）において、上記のアクティブ型の形態で車両をＭＰとして利用する技術について簡単に説明する。図１は本発明の実施の形態に係るＶＲシステムの概念を示す模式図である。図１に示すように、本実施の形態に係るＶＲシステムでは、車両１０をＭＰとして利用してＶＲコンテンツを提供する。

ユーザ１２は、映像提示手段であるＨＭＤ５０を装着してＭＰである車両１０に乗り込む。ＶＲシステムは、ＨＭＤ５０によりバーチャル空間の映像をユーザ１２に提示する。同時に、ＶＲシステムは、車両１０をＭＰとして利用して、ユーザ１２にバーチャル空間の映像に応じた感覚又は運動を提示する。例えば、バーチャル空間での衝突映像に応じた衝撃をユーザ１２に体感させる。人間は複数の感覚を統合することで、身の周りで起きる現象を認識している。このため、映像と他の感覚又は運動とが同時に提示されることで、ユーザ１２がバーチャル空間の情報は事実だと錯覚し、ＶＲコンテンツの臨場感が高まるのである。

近年、高機能で且つ低価格のＨＭＤが市場に投入されたのに伴い、臨場感のあるＶＲコンテンツを家庭で楽しむために、手軽に利用できるＭＰが必要とされるようになった。発明者等は、本来移動体であり移動感覚等の提示に必要な構成を備える車両に着目し、車両をＭＰとして利用するＶＲシステムを開発した。日本における自家用乗用車の普及率は１世帯あたり１台以上と高く、車両は家庭でも手軽に利用することができる。従って、車両をＭＰとして利用することで、体感型エンタテイメントを手軽に楽しむことができる。なお、後述する通り、車両１０は前方及び後方に１ｍ程度移動する。従って、車両２台分の駐車スペース程度の面積があればよく、サーキット等の走行場は必要ない。

（バーチャルリアリティシステムの構成）
次に、ＶＲシステムの構成について説明する。
図２は本発明の実施の形態に係るＶＲシステムの構成の一例を示すブロック図である。図２に示すように、本実施の形態に係るＶＲシステムは、ＶＲコンテンツを提供するためのＶＲコンピュータ１６と、車両１０の各部を制御する車両制御用コンピュータ２０とを備えている。これらは車両１０に搭載されている。ＶＲコンピュータ１６は、駆動パターン生成プログラム１８により、後述する「駆動パターン生成処理」等を実行する。車両制御用コンピュータ２０は、車両モード２２とＶＲシステムモード２４とを備えている。これらのモードは、ユーザ１２の操作により切り替えられる。

図３に示すように、ＶＲコンピュータ１６は、ＣＰＵ１６Ａ、ＲＯＭ１６Ｂ、ＲＡＭ１６Ｃ、不揮発性のメモリ１６Ｄ、及び入出力部（Ｉ／Ｏ）１６Ｆを備えている。これら各部は、バス１６Ｅを介して互いに接続されている。ＣＰＵ１６Ａは、ＲＯＭ１６Ｂに記憶された駆動パターン生成プログラム１８等を読み出し、ＲＡＭ１６Ｃをワークエリアとして使用してプログラムを実行する。Ｉ／Ｏ１６Ｆには、外部装置と通信を行う通信部３４、ユーザからの操作を受け付ける操作部３６、ユーザに情報を表示する表示部３８、及び情報を記憶する記憶部４０が接続されている。なお、通信部３４以外は省略してもよい。車両制御用コンピュータ２０も、ＶＲコンピュータ１６と同じ構成であるため説明を省略する。

図２に示すように、車両１０は、ペダル、レバー等の操作部２６、車速計等の計測部２８、モータ等の駆動部３０、及びアクセル、ブレーキ等の駆動対象３２を備えている。車両制御用コンピュータ２０において車両モード２２が選択されている場合には、操作部２６をインターフェースとして駆動対象３２を駆動制御する。例えば、ブレーキペダルを踏めばブレーキが作動するというように、操作部２６を操作することにより制御情報が生成される。車両制御用コンピュータ２０は、生成された制御情報に応じて駆動対象３２を駆動制御する。駆動対象３２は、駆動部３０を介して駆動制御される。即ち、車両１０は通常の車両として利用される。

一方、ＶＲシステムモード２４が選択されている場合には、車両制御用コンピュータ２０は、ＶＲコンピュータ１６と通信を行って、ＶＲコンピュータ１６から制御情報を取得する。ＶＲコンピュータ１６は、バーチャル空間を表す映像情報に基づいてユーザ１２に感覚又は運動を提示するように、操作部２６の操作を模擬して駆動パターンを生成し、駆動パターンに基づいて車両１０の一部を駆動制御するための制御情報を生成する。生成された制御情報は、車両制御用コンピュータ２０に出力される。車両制御用コンピュータ２０は、入力された制御情報に応じて、駆動部３０を介して駆動対象３２を駆動制御する。即ち、車両１０はＭＰとして利用される。

例えばユーザ１２に衝突による衝撃を体感させたい場合には、後述する通り、「シフトをＤに切り替えて、アクセルをオンにした後に、アクセルをオフにする」など、操作部２６の操作を模擬して駆動パターンを生成し、生成された駆動パターンに応じてシフトやアクセルを駆動制御する制御信号を生成する。なお、駆動パターンは、後述するイベントの種類に応じて予め用意しておいてもよいし、リアルタイムで生成してもよい。

なお、車両１０が暴走しないように安全装置を設けることが好ましい。例えば、ＶＲコンピュータ１６からの通信が途絶えた場合には、車両モード２２に切り替わるようにしてもよい。或いは、車両モード２２が選択されている場合には、ＶＲコンピュータ１６と通信不能としてもよい。また、本実施の形態では、車両モード２２では操作部２６の操作により制御情報が生成される例について説明したが、自動運転技術が導入された車両では、車両モード２２における制御情報の生成は、操作部２６の操作とは無関係に行われる。

ここで、車両１０の駆動制御系についてより具体的に説明する。
図４は車両１０の駆動制御系の一例を示すブロック図である。車両１０をＭＰとして利用する場合、バーチャル空間を表す映像情報に基づいてユーザ１２に感覚又は運動を提示するために、車両１０の複数の駆動対象３２を利用することができる。図４では、複数の駆動対象３２として、アクセル３２Ａ、シフト３２Ｂ、ステアリング３２Ｃ、ブレーキ３２Ｄ、エアサスペンション３２Ｅ、スピーカ３２Ｆ、電動シート３２Ｇ、シートヒータ３２Ｈ、シートベルト３２Ｉ、エアコン３２Ｊ、ボンネット３２Ｋ、トランク３２Ｋを例示した。また、計測部２８の１つである車速計２８Ａを例示した。

車両モード２２が選択された場合の情報の流れを点線で表し、ＶＲシステムモード２４が選択された場合の情報の流れを実線で表す。例えば、車両モード２２が選択された場合は、ペダル２６Ａの操作により生成された制御情報に応じて、Ｄ/Ａコンバータ３０Ａを介してアクセル３２Ａを駆動制御する。また、ハンドル２６Ｃの操作により生成された制御情報に応じて、モータ３０Ｃを介してステアリング３２Ｃを駆動制御する。また、ポジションレバー２６Ｇの操作により生成された制御情報に応じて、インターフェース（Ｉ/Ｏ）３０Ｇを介して電動シート３２Ｇを駆動制御する。

一方、ＶＲシステムモード２４が選択された場合は、駆動対象３２Ａから３２Ｌまでの各々を駆動制御するための制御信号は、ＶＲコンピュータ１６により生成されて、車両制御用コンピュータ２０に出力される。そして、駆動対象３２Ａから３２Ｌまでの各々は、車両制御用コンピュータ２０により、対応する駆動部３０Ａから３０Ｌまでの何れかを介して駆動制御される。なお、いずれのモードでも、車速計２８Ａは、タイヤ４２から速度情報を取得して、車両制御用コンピュータ２０に出力する。

（ＶＲコンピュータの動作）
次に、ＶＲコンピュータ１６の動作について説明する。
まず、ユーザ１２の装備について説明する。図５はＶＲシステムの現実空間における構成の一例を示す概略図である。図５に示すように、本実施の形態では、ユーザ１２は、ＨＭＤ５０を装着する以外に、操作入力を行うためのコントローラ５２を保持している。また、ユーザ１２の頭部には、頭の動きを検出するための頭位置センサ５４が取り付けられている。頭位置センサ５４としては、３軸又は６軸の加速度センサを用いることができる。なお、頭位置センサ５４は、ＨＭＤ５０に内蔵されていてもよい。

次に、ＶＲコンピュータ１６の機能、動作について説明する。図６はＶＲコンピュータ１６及びその周辺の構成の一例を示すブロック図である。図６に示すように、ＶＲコンピュータ１６は、映像更新部５６と制御情報生成部５８とを備えている。ＨＭＤ５０、コントローラ５２、及び頭位置センサ５４の各々は、ＶＲコンピュータ１６と電気的に接続されており、ＶＲコンピュータ１６との間で情報の授受を行う。

映像更新部５６は、コントローラ５２から操作入力情報を受け取り、頭位置センサ５４から頭部の位置情報を受け取る。映像更新部５６は、受け取った操作入力情報及び位置情報に基づいて、バーチャル空間を表す映像情報を更新する。例えば、ＶＲコンテンツが戦闘ゲームである場合、ミサイル発射を指示する操作入力情報を受け取ると、指示が反映されてバーチャル空間でミサイルが発射された映像が生成される。そして、映像更新部５６は、更新した映像情報を、ＨＭＤ５０と制御情報生成部５８とに逐次出力する。ユーザ１２には、ＨＭＤ５０によりバーチャル空間を表す映像が提示される。

制御情報生成部５８は、映像更新部５６から逐次入力される映像情報を監視し、バーチャル空間でのイベントの発生を検出する。ここで「イベント」とは、バーチャル空間に存在するオブジェクトの速度や加速度の変化等、映像情報の変化である。換言すれば、バーチャル空間の映像情報から、種々の物理量を取得することが可能である。制御情報生成部５８は、イベントの発生を検出すると、操作部２６の操作を模擬して駆動パターンを生成し、生成された駆動パターンに応じて車両１０の一部を駆動制御するための制御情報を生成する。生成された制御情報は、車両制御用コンピュータ２０に出力される。

なお、制御情報生成部５８は、頭位置センサ５４から入力された位置情報も使用して、駆動パターンを生成してもよい。例えば、バーチャル空間での衝突映像に応じた衝撃をユーザ１２に体感させた結果、ユーザの頭の動きが想定より小さかった場合は、再度、より大きな衝撃をユーザ１２に体感させてもよい。後述する図７のステップ１０８で実行される「追加感覚生成処理」がこれに該当する。

また、本実施の形態では、逐次更新される映像情報に応じたリアルタイム処理にはＶＲコンピュータ１６の方が適しているため、ＶＲコンピュータ１６が制御情報を生成する例について説明するが、車両制御用コンピュータ２０により制御情報を生成してもよい。この場合は、ＶＲコンピュータ１６で、バーチャル空間を表す映像情報に基づいて操作部２６の操作を模擬して駆動パターンを生成し、生成した駆動パターンを駆動命令として車両制御用コンピュータ２０に出力する。車両制御用コンピュータ２０は、入力された駆動命令に基づいて制御情報を生成する。

＜駆動パターン生成処理＞
次に、ＶＲコンピュータ１６により実行される「駆動パターン生成処理」について説明する。図７は「駆動パターン生成処理」の手順の一例を示すフローチャートである。「駆動パターン生成処理」は、制御情報生成部５８の機能であり、ＶＲコンピュータ１６のＣＰＵ１６Ａにより実行される。また、「駆動パターン生成処理」は、バーチャル空間でイベント発生が検出されると開始される。

本実施の形態では、ＶＲコンテンツは参加型ゲームであり、バーチャル空間にはプレイヤーのアバターが存在する。そこで、本実施の形態では、バーチャル空間でのプレイヤーオブジェクトと他のオブジェクトとの「衝突」、プレイヤーオブジェクトの「移動」、プレイヤーオブジェクトが存在するフィールドの「環境変化」をイベントとして検出する。ここでは、現実環境に存在する人間を「ユーザ」と称し、バーチャル空間に存在するアバターを「プレイヤー」と称する。

まず、ステップ１００で、イベントが「衝突」か否か判定する。「衝突」である場合は、ステップ１０２に進む。ステップ１０２では、衝突感覚を提示するための駆動パターンを生成する「衝突感覚生成処理」を実行する。次に、ステップ１０４でユーザの反応を検出する。続くステップ１０６で、ユーザの反応に応じた感覚や運動を提示するための駆動パターンを生成する「追加感覚生成処理」を実行して、ルーチンを終了する。

一方、ステップ１００で判定した結果、「衝突」でない場合は、ステップ１０８に進み、ステップ１０８で、イベントが「移動」か否か判定する。「移動」である場合は、ステップ１１０に進む。ステップ１１０では、移動感覚や平衡感覚を提示するための駆動パターンを生成する「移動感覚生成処理」を実行する。次に、ステップ１０４でユーザの反応を検出し、続くステップ１０６で「追加感覚生成処理」を実行して、ルーチンを終了する。

更に、ステップ１０８で判定した結果、「移動」でない場合は、「環境変化」しか残っていないため、ステップ１１２に進む。ステップ１１２では、温度感覚を提示するための駆動パターンを生成する「温度感覚生成処理」を実行する。次に、ステップ１０４でユーザの反応を検出し、続くステップ１０６で「追加感覚生成処理」を実行して、ルーチンを終了する。

なお、「追加感覚生成処理」は、ユーザへの感覚提示が不十分な場合に、同じ感覚を更に提示するものであり、「衝突感覚生成処理」「移動感覚生成処理」「温度感覚生成処理」のいずれかを実行するものである。この場合は、制御情報は２回に分けて出力される。また、ステップ１０４及びステップ１０６の手順は省略してもよい。

（衝突感覚の提示）
次に、衝突感覚の提示方法について説明する。
図８は衝突感覚を提示する例を示す模式図である。図８に示すように、バーチャル空間でプレイヤーと隕石との衝突があると「衝突」イベントが検出される。この場合、臨場感を高めるためにユーザに衝突感覚を提示する。例えば、衝突音を出す（Bang!!）、加速度（衝撃）を提示する等で、衝突感覚が提示される。

上記の通り、ＶＲコンピュータ１６は、バーチャル空間での「衝突」の発生を検出すると、Ｄ/Ａコンバータ３０Ａを介してアクセル３２Ａを駆動し、インターフェースＩ/Ｏ３０Ｂを介してシフト３２Ｂを駆動し、オーディオアンプ３０Ｆを介してスピーカ３２Ｆを駆動する駆動パターンを生成する。そして、生成された駆動パターンに応じて車両１０の一部を駆動制御するための制御情報を生成する。

生成された制御情報は、車両制御用コンピュータ２０に出力される。この結果、アクセル３２Ａ及びシフト３２Ｂにより加速度の提示が行われ、スピーカ３２Ｆにより衝突感のある音が再生される。ここで、頭位置センサ５４から入力された位置情報により「頭の動き」が検知された場合は、画面を揺らす等、バーチャル空間を表す映像情報を更新する。これにより、映像酔いを低減することができる。

ここで、加速度の提示においては、バーチャル空間での衝突方向とユーザが受ける衝突方向とを一致させる。「衝突」という事象について相互に矛盾しない複数の感覚（ここでは、視野感覚と衝突感覚）をユーザに提示することで、ユーザは衝突感覚を実感する。即ち、没入感を得ることができる。

次に、加速度を提示する際の車両の駆動パターンの一例を説明する。まず、図９（Ａ）に示すように、シフトをニュートラル（Ｎ）からドライブ（Ｄ）に切り替え、提示する加速度に合わせてアクセルをオンにする。ユーザは矢印で示すように後方に押されるような重力を感じる。次に、図９（Ｂ）に示すように、０．３秒後にアクセルをオフにして、シフトをＮに戻す。ユーザは矢印で示すように前方に押されるような重力を感じる。ユーザは後方に押された後に急に前方に押されることで、衝突したときと同様の衝撃を体感する。そして、自然停止するのを待つ。

最後に、図９（Ｃ）に示すように、停車後、ユーザに気づかれないようクリープで元の場所まで車両を戻す。なお、図９（Ａ）に示す状態でアクセルをオンにした後、衝突による移動感覚を提示するために、加速と同時にエアコンの風量を徐々に大きくしてもよい。また、斜め方向や回転方向の移動があれば、シフトやアクセルと共にステアリングを駆動してもよい。

次に、衝突感覚を提示するためにコンピュータが実行する処理について説明する。具体的には、図７のステップ１０２で実行される「衝突感覚生成処理」について説明する。図１０は「衝突感覚生成処理」の手順の一例を示すフローチャートである。まず、ステップ２００で、物理演算により衝突の強さを表す「衝撃値Ｆ」を演算する。上記の通り、バーチャル空間の映像情報からオブジェクトの加速度や質量等の物理量が取得され、物理演算により衝撃値Ｆが演算される。

次に、ステップ２０２で、車両前方にスペースがあるか否かを判定する。例えば、車両に搭載された測距装置等により車両前方の障害物を検出し、障害物が無ければスペースがあると判定される。車両前方にスペースがある場合は、ステップ２０４に進み、ステップ２０４で「衝突提示処理」を起動する。そして、続くステップ２０６で、衝突音を再生する駆動パターンを生成する。最後に、ステップ２０８で「車両位置修正処理」を実行してルーチンを終了する。

一方、ステップ２０２で判定した結果、車両前方にスペースが無い場合は、ステップ２１０に進み、ステップ２１０で、衝撃値Ｆとは正負が反転した「衝撃値−Ｆ」を仮定して「衝突提示処理」を起動する。そして、続くステップ２０６で、衝突音を再生する駆動パターンを生成する。最後に、ステップ２０８で「車両位置修正処理」を実行してルーチンを終了する。

図１１は「衝撃提示処理」の手順の一例を示すフローチャートである。ＶＲコンピュータ１６には、図示しないカウンタが設けられており、衝撃提示処理の実行回数をカウントしている。衝撃提示処理の実行回数には上限閾値が設けられており、上限閾値に到達すると衝撃提示処理を一旦停止する。

まず、ステップ３００で、カウント値が閾値未満か否かを判定する。カウント値が閾値未満の場合は、ステップ３０２に進み、「衝撃値Ｆ」に応じた衝撃を付与するシフト及び電圧パターンでアクセルをオンにする駆動パターンを生成する。次に、ステップ３０４で、カウントアップしてカウント値を「１」だけ増加させ、続くステップ３０６で、予め定めた時間だけ待機した後にルーチンを終了する。一方、ステップ３００で判定した結果、カウント値が閾値以上の場合は、ルーチンを終了する。

図１３は衝撃提示の際のシフト及び電圧パターンを示すグラフである。横軸は時間（単位：秒）を表し、縦軸はアクセル電圧値（単位：Ｖ）を表す。実線は「衝撃値Ｆ」に応じた衝撃を付与するシフト及び電圧パターンであり、一点鎖線は「衝撃値−Ｆ」に応じた衝撃を付与するシフト及び電圧パターンである。「衝撃値Ｆ」に応じた衝撃を付与する場合には、シフトをＤに切り替えて衝撃力Ｆに相当する正のアクセル電圧を印加した後、シフトをＲに切り替えて衝撃力−Ｆに相当する負のアクセル電圧を印加するように駆動パターンを生成する。

一方、「衝撃値−Ｆ」に応じた衝撃を付与する場合には、シフトをＲに切り替えて衝撃力−Ｆに相当する負のアクセル電圧を印加した後、シフトをＤに切り替えて衝撃力Ｆに相当する正のアクセル電圧を印加するように駆動パターンを生成する。なお、衝撃値とアクセル電圧との関係は、予め取得してＲＯＭ１６Ｂ等に記憶しておく。

次に、図１０のステップ２０８で「車両位置修正処理」について説明する。図１２は「車両位置修正処理」の手順の一例を示すフローチャートである。まず、ステップ４００で、衝撃提示処理が終了したか否かを判定する。衝撃提示処理の実行に掛かる処理時間は予め設定されているので、衝撃提示処理の起動から予め設定された時間が経過していれば、衝撃提示処理が終了したと判定する。衝撃提示処理が終了した場合はステップ４０２に進み、衝撃提示処理が終了していない場合はステップ４００の判定を繰り返す。

次に、ステップ４０２では、車両は初期位置にあるか否かを判定する。加速度の提示のためにシフトＤでアクセルがオンになると、車両は１ｍ程度移動する。例えば、車両に搭載された車速計等により車両位置を推定し、車両が設定された初期位置にあれば車両は初期位置にあると判定する。車両が初期位置にある場合は、ステップ４０４に進み、シフトをＮに切り替えて待機するように駆動パターンを生成する。一方、車両が初期位置にない場合は、ステップ４０６に進み、車両が前方にずれているか否かを判定する。

ステップ４０６の判定の結果、車両が前方にずれている場合は、ステップ４０８に進み、シフトをＲに切り替えてクリープで初期位置まで移動するように駆動パターンを生成する。一方、車両が前方にずれていない場合、即ち、車両が後方にずれている場合は、ステップ４１０に進み、シフトをＤに切り替えてクリープで初期位置まで移動するように駆動パターンを生成する。

なお、上述した衝突感覚を提示では、アクセルとシフトを用いて加速度の提示を行う例について説明したが、ブレーキを追加することでユーザにより大きな衝撃を体感させることができる。図１４（Ａ）〜（Ｃ）は、衝突感覚を提示する際の車両の駆動パターンの他の一例を説明する模式図である。まず、図１４（Ａ）に示すように、シフトをニュートラル（Ｎ）からドライブ（Ｄ）に切り替え、提示する加速度に合わせてアクセルをオンにする。ユーザは矢印で示すように後方に押されるような重力を感じる。

次に、図１４（Ｂ）に示すように、０．３秒後にアクセルをオフにして、シフトをＮに戻す。そして、ブレーキをオンにする。ユーザは矢印で示すように前方に押されるような重力を感じる。ユーザは後方に押された後に急に前方に押されることで、激しく衝突したときと同様に「ガッタン」という衝撃を体感する。その衝撃は、図９で説明した「衝撃」よりも大きい。そして、自然停止するのを待つ。最後に、図１４（Ｃ）に示すように、停車後、ユーザに気づかれないようクリープで元の場所まで車両を戻す。

（移動感覚の提示）
次に、移動感覚の提示方法について説明する。
図１５は移動感覚を提示する例を示す模式図である。図１５に示すように、バーチャル空間でプレイヤーや他のオブジェクトの移動があると「移動」イベントが検出される。この場合、臨場感を高めるためにユーザに移動感覚を提示する。例えば、移動感のある音を出す（風切り音ビュー、音源の移動など）、加速感のある加速度の提示、移動感のある映像の提示（映像の流れを早くする、集中線の追加など）、風の提示（徐々にエアコンの風量を上げる）等により、移動感覚を提示する。

上記の通り、ＶＲコンピュータ１６は、バーチャル空間での「移動」の発生を検出すると、Ｄ/Ａコンバータ３０Ａを介してアクセル３２Ａを駆動し、インターフェースＩ/Ｏ３０Ｂを介してシフト３２Ｂを駆動し、インターフェースＩ/Ｏ３０Ｊを介してエアコン３２Ｊを駆動し、オーディオアンプ３０Ｆを介してスピーカ３２Ｆを駆動する駆動パターンを生成する。そして、生成された駆動パターンに応じて車両１０の一部を駆動制御するための制御情報を生成する。

生成された制御情報は、車両制御用コンピュータ２０に出力される。この結果、アクセル３２Ａ及びシフト３２Ｂにより加速感のある加速度の提示が行われ、エアコン３２Ｊにより風の提示が行われ、スピーカ３２Ｆにより移動感のある音が再生される。また、「移動」の発生が検出された場合には、移動感のある映像を提示する等、バーチャル空間を表す映像情報を更新する。

上述した通り、加速度の提示においては、バーチャル空間での移動方向とユーザの移動方向とを一致させる。「移動」という事象について相互に矛盾しない複数の感覚（ここでは、視野感覚と移動感覚）をユーザに提示することで、ユーザは移動感覚を実感する。即ち、没入感を得ることができる。換言すれば、バーチャル空間での移動方向とユーザの移動方向とが逆向きでは、没入感を得ることができない。

ここで、加速感のある加速度の提示する際の車両の駆動パターンの一例を説明する。まず、図１６（Ａ）に示すように、シフトをニュートラル（Ｎ）からドライブ（Ｄ）に切り替え、提示する加速度に合わせてアクセルをオンにする。加速と同時にエアコンの風量を大きくする。ユーザは矢印で示すように後方に押されるような重力を感じると共に、風圧を感じる。

次に、図１６（Ｂ）に示すように、０．３秒後にアクセルをオフにして、シフトをＮに戻す。ユーザは矢印で示すように前方に押されるような重力を感じる。ユーザは重力と風圧を感じることにより、移動感覚を体感する。そして、自然停止するのを待つ。最後に、図１６（Ｃ）に示すように、停車後、ユーザに気づかれないようクリープで元の場所まで車両を戻す。なお、斜め方向や回転方向の移動があれば、シフトやアクセルと共にステアリングを駆動してもよい。

なお、コンピュータでは「移動感覚生成処理（図７のステップ１１０）」が実行される。この「移動感覚生成処理」では、バーチャル空間の映像情報からプレイヤーの移動の速度や加速度が物理量として取得され、物理演算により風圧等の移動抵抗値が演算される。そして演算された抵抗値に応じてアクセル３２Ａ、シフト３２Ｂ、エアコン３２Ｊ、スピーカ３２Ｆを駆動する駆動パターンが生成される。

（平衡感覚の提示）
次に、平衡感覚の提示方法について説明する。
図１７は平衡感覚を提示する例を示す模式図である。図１６に示すように、バーチャル空間でプレイヤーの「移動」が検出された場合には、プレイヤーの傾斜を伴うことがある。この場合には、臨場感を高めるためにユーザに平衡感覚を提示することもできる。例えば、ユーザの体を傾ける、傾斜のある映像を見せる（傾斜した水平線など）等により、平衡感覚を提示する。

上記の通り、ＶＲコンピュータ１６は、バーチャル空間での「（プレイヤーの傾斜を伴う）移動」の発生を検出すると、モータ３０Ｃを介してステアリング３２Ｃを駆動し、モータ３０Ｄを介してブレーキ３２Ｄを駆動する駆動パターンを生成する。そして、生成された駆動パターンに応じて車両１０の一部を駆動制御するための制御情報を生成する。生成された制御情報は、車両制御用コンピュータ２０に出力される。この結果、ステアリング３２Ｃ及びブレーキ３２Ｄによりユーザの体が傾けられる。

図１８（Ａ）〜（Ｃ）に示すように、ブレーキをオンにして停車状態にある車両のステアリング角を変化させることで、車両のロール方向の運動を促してユーザに運動を提示する。例えば、図１８（Ａ）に示すように、ステアリング角が−２．０°では、左旋回する場合と同様に車両の左側が沈み込み、ユーザの体は左側に傾けられる。また、図１８（Ｃ）に示すように、ステアリング角が２．０°では、右旋回する場合と同様に車両の右側が沈み込み、ユーザの体は右側に傾けられる。

「（プレイヤーの傾斜を伴う）移動」の発生が検出された場合には、衝撃値Ｆの代わりにプレイヤーの傾斜角度が演算される。ＶＲコンピュータ１６は、プレイヤーの傾斜角度に応じてステアリング３２Ｃを駆動する駆動パターンを生成する。ここで、平衡感覚の提示においては、バーチャル空間での傾き方向とユーザの傾き方向とを一致させる。「傾斜」という事象について相互に矛盾しない複数の感覚（ここでは、視野感覚と平衡感覚）をユーザに提示することで、ユーザは平衡感覚を実感する。即ち、没入感を得ることができる。

また、頭位置センサ５４から入力された位置情報により「頭の動き」からユーザの体の傾斜角度を算出し、ユーザの傾斜角度に応じて水平線を傾ける等、バーチャル空間を表す映像情報を更新してもよい。この場合、更新された映像情報から「（プレイヤーの傾斜を伴う）移動」の発生が検出されて、ユーザに平衡感覚が再度提示される。車両によりステアリング３２Ｃを駆動して得られる傾斜は異なるので、これにより車両毎の傾斜のばらつきを補正することができる。

なお、上述した平衡感覚の提示では、ブレーキとステアリングを用いる例について説明したが、電動シートを搭載した車両の場合は、電動シートにより平衡感覚を提示することもできる。また、電動シートによれば移動感覚も提示することができる。図１９は移動感覚や平衡感覚を提示する際の車両の駆動パターンの他の一例を説明する模式図である。電動シートは、矢印で併記したように、前後スライド、リクライニング、シートの上下移動、座面前端の上下移動等の機能を有しているため、電動シートを駆動することでユーザに対して種々の運動や感覚を提示することができる。

例えば、リクライニング機能を使用すると、背中が押されるような感覚、ウォータースライダーを滑り落ちるような落下感覚等をユーザに提示できる。また、座面前端の上下移動機能を使用すると、ジェットコースターで登っていくような重力感覚をユーザに提示できる。

（温度感覚の提示）
次に、温度感覚の提示方法について説明する。
図２０は温度感覚を提示する例を示す模式図である。図２０に示すように、バーチャル空間でプレイヤーが存在するフィールド環境に変化があると「環境変化」イベントが検出される。この場合、臨場感を高めるためにユーザに温度感覚を提示する。例えば、常夏の島のようにフィールドが暑い場合には、エアコンにより暖房を入れる、シートヒータをオンにする等により、温度感覚を提示する。また、雪国のようにフィールドが寒い場合は、エアコンにより冷房を入れる等により、温度感覚を提示する。

上記の通り、ＶＲコンピュータ１６は、バーチャル空間での「環境変化」の発生を検出すると、インターフェースＩ/Ｏ３０Ｊを介してエアコン３２Ｊを駆動し、インターフェースＩ/Ｏ３０Ｈを介してシートヒータ３２Ｈを駆動する駆動パターンを生成する。そして、生成された駆動パターンに応じて車両１０の一部を駆動制御するための制御情報を生成する。生成された制御情報は、車両制御用コンピュータ２０に出力される。この結果、エアコン３２Ｊやシートヒータ３２Ｈにより温度変化の提示が行われる。

なお、コンピュータでは「温度感覚生成処理（図７のステップ１１２）」が実行される。この「温度感覚生成処理」では、バーチャル空間の映像情報から取得される明度・彩度・色相等の物理量から環境温度が演算され、演算された環境温度に応じてエアコン３２Ｊ等を駆動する駆動パターンが生成される。

＜変形例＞
なお、上記実施の形態で説明したバーチャルリアリティシステムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。

（他の提示手段）
上記では、図４を参照して、ユーザに感覚又は運動を提示する提示手段として車両の複数の駆動対象を利用することを説明したが、提示手段は車両の一部を構成するものであればよく、例示したものに限定される訳ではない。他の提示手段により例示していない運動や感覚を提示することも可能である。提示手段の種類は１種類には限定されない、複数種類の提示手段を組み合わせて使用してもよい。

例えば、エアサスペンションが搭載されている車両であれば、車両全体を持ち上げる、車両の後部だけを持ち上げる等の車両の姿勢変更により、上下運動や回転運動をユーザに提示することができる。

また、車両の４輪が独立に駆動可能な４輪インホイールが搭載されている車両では、図２１（Ａ）〜（Ｄ）に示すように、タイヤが同じ色の矢印方向に移動することで、上下運動、ロール運動、ヨー運動、振動運動等、種々の運動をユーザに提示することができる。例えば、図２１（Ａ）の上下運動の例では、４つのタイヤが内側に移動すると車両が上方向に移動し、４つのタイヤが外側に移動すると車両が下方向に移動する。また、図２１（Ｂ）のロール運動の例では、右側のタイヤが上方に移動すると共に左側のタイヤが下方に移動すると車両が左回りに回転し、左側のタイヤが上方に移動すると共に右側のタイヤが下方に移動すると車両が右回りに回転する。また、図２１（Ｃ）のヨー運動の例では、右側のタイヤが前方に移動すると共に左側のタイヤが後方に移動すると車両が左旋回する。また、図２１（Ｄ）の振動提示の例では、４つのタイヤ１→２→３→４の順番で前方に移動すると車両が振動しながら左旋回する。

また、上記では映像提示手段としてＨＭＤを用いる例について説明したが、ユーザの視野を覆う他の映像表示手段を用いてもよい。例えば、日本自動車研究所の「JARI-ARV（拡張現実実験車）」のように、ユーザの視界を覆い隠すようにボンネット上にディスプレイを配置してもよい。

１０車両
１２ユーザ
１６ＶＲコンピュータ
１８駆動パターン生成プログラム
２０車両制御用コンピュータ
２２車両モード
２４システムモード
２６操作部
２８計測部
３０駆動部
３２駆動対象
３４通信部
３６操作部
３８表示部
４０記憶部
５０ＨＭＤ
５２コントローラ
５４頭位置センサ
５６映像更新部
５８制御情報生成部

Claims

車両をモーション・プラットフォームとするバーチャルリアリティシステムにおいて、バーチャル空間を表す映像情報に基づいてユーザに映像を提示する映像提示手段と、
前記バーチャル空間を表す映像情報に基づいて車両内のユーザに感覚又は運動を提示するように前記車両の一部を駆動制御する制御手段と、
を備えたバーチャルリアリティシステム。
前記制御手段は、バーチャル空間で発生した個々のイベントについて、相互に矛盾しない複数の感覚又は運動をユーザに提示する、請求項１に記載のバーチャルリアリティシステム。
前記制御手段は、車両内のユーザに感覚又は運動を提示するために、車両の操作を模擬して車両の一部を駆動する駆動パターンを生成し、生成した駆動パターンに基づいて車両の一部を駆動制御するための制御情報を生成する、請求項１又は請求項２に記載のバーチャルリアリティシステム。
前記制御手段は、バーチャル空間を表す映像情報からバーチャル空間でのイベントの発生を検出し、検出したイベントに応じた感覚又は運動を提示するための駆動パターンを生成する、請求項１から請求項３までのいずれか１項に記載のバーチャルリアリティシステム。
前記制御手段は、前記イベントがオブジェクトの衝突である場合は、前記バーチャル空間を表す映像情報から取得した物理量から前記オブジェクトの衝突による衝撃値を求め、得られた衝撃値に応じた衝突感覚をユーザに提示するための駆動パターンを生成する、請求項４に記載のバーチャルリアリティシステム。
前記制御手段は、前記イベントがオブジェクトの移動である場合は、前記バーチャル空間を表す映像情報から取得した物理量から前記オブジェクトの移動による移動抵抗値を求め、得られた移動抵抗値に応じた移動感覚をユーザに提示するための駆動パターンを生成する、請求項４又は請求項５に記載のバーチャルリアリティシステム。
前記制御手段は、前記イベントがオブジェクトの傾斜を伴う移動である場合は、前記バーチャル空間を表す映像情報から取得した物理量から前記オブジェクトの移動による傾斜角度を求め、得られた傾斜角度に応じた平衡感覚をユーザに提示するための駆動パターンを生成する、請求項４から請求項６までのいずれか１項に記載のバーチャルリアリティシステム。
前記制御手段は、前記イベントがフィールドの環境変化である場合は、前記バーチャル空間を表す映像情報から取得した物理量からフィールドの環境温度を求め、得られた環境温度に応じて温度感覚を提示するための駆動パターンを生成する、請求項４から請求項７までのいずれか１項に記載のバーチャルリアリティシステム。