JP2020086792A - 仮想体験システム及びコンピュータプログラム - Google Patents

Abstract

【課題】仮想体験中のユーザの行動が制限される事態を抑制し、ユーザに、実際に体験しているようなリアルな仮想体験をさせ得る技術を提供する。【解決手段】仮想体験システムは、予め定められた範囲の対象現実空間内に配置され、対象現実空間内に存在するユーザの頭部に装着される頭部装着型表示装置と、頭部装着型表示装置の位置及び姿勢を検出可能な検出装置と、仮想体験プログラムが格納されている管理装置と、を備えている。検出装置は、検出される頭部装着型表示装置の位置及び姿勢を示す動作情報を管理装置に送信する。頭部装着型表示装置の制御部は、管理装置から、動作情報によって示される頭部装着型表示装置の位置及び姿勢に応じた仮想体験画面を示す仮想体験画面情報を受信し、受信された仮想体験画面情報によって表される仮想体験画面を表示部に表示させる。【選択図】図１

Description

本明細書で開示する技術は、仮想体験システムに関する。

非特許文献１には、予め定められた範囲の対象現実空間内に配置され、対象現実空間内に存在するユーザの頭部に装着される頭部装着型表示装置と、頭部装着型表示装置を装着したユーザの背中に背負われてユーザによって搬送される管理装置であって、頭部装着型表示装置と有線接続されて相互に有線通信を実行可能であるとともに、仮想体験プログラムが格納されている端末装置と、を備える仮想体験システムが開示されている。頭部装着型表示装置は、ユーザの頭部に装着される場合にユーザの視界を覆う範囲に配置される表示部と、頭部装着型表示装置の位置及び姿勢を検出可能なセンサと、端末装置と有線通信を実行するための有線通信インターフェースとを備える。

頭部装着型表示装置の制御部は、センサが検出する自機の位置及び姿勢を示す動作情報を有線通信インターフェースを介して端末装置に送信し、端末装置から、有線通信インターフェースを介して、動作情報によって示される頭部装着型表示装置の位置及び姿勢に応じた仮想体験画面を示す仮想体験画面情報を受信する。そして、制御部は、受信された仮想体験画面情報によって表される仮想体験画面を前記表示部に表示させる。

ティフォン株式会社 "ＴＹＦＦＯＮＩＵＭ"、［平成３０年１０月１７日検索］、インターネット＜ＵＲＬ：https://www.tyffonium.com/＞

非特許文献１に開示されている仮想体験システムでは、頭部装着型表示装置と端末装置とが有線接続されており、ユーザは、システムを用いて仮想体験をする場合、頭部に頭部装着型表示装置を装着した上で、背中に管理装置を背負う必要がある。管理装置を背負わなければならないため、ユーザが走る、飛ぶ等の行動を取りづらい場合がある。また、ユーザが背中に他の荷物を背負ったり、背中を壁や地面に付ける姿勢を取ることもできない。また、ユーザの動き次第では、背中に背負った管理装置が破損するおそれもある。このように、非特許文献１に開示されている仮想体験システムでは、ユーザの行動が制限され、ユーザが実際に体験しているようなリアルな仮想体験を楽しめないおそれがある。

本明細書は、仮想体験中のユーザの行動が制限される事態を抑制し、ユーザに、実際に体験しているようなリアルな感覚を知覚させる仮想体験（趣深い仮想体験と言い換えてもよい）をさせ得る技術を提供する。

本明細書で開示する仮想体験システムは、予め定められた範囲の対象現実空間内に配置され、前記対象現実空間内に存在するユーザの頭部に装着される頭部装着型表示装置と、前記頭部装着型表示装置の位置及び姿勢を検出可能な検出装置と、前記検出装置及び前記頭部装着型表示装置との間で無線通信を実行可能であり、仮想体験プログラムが格納されている管理装置と、を備えており、前記検出装置は、検出される前記頭部装着型表示装置の位置及び姿勢を示す動作情報を前記管理装置に送信し、前記頭部装着型表示装置は、前記ユーザの頭部に装着される場合に前記ユーザの視界を覆う範囲に配置される表示部と、制御部と、を備え、前記制御部は、前記管理装置から、前記動作情報によって示される前記頭部装着型表示装置の位置及び姿勢に応じた仮想体験画面を示す仮想体験画面情報を受信し、受信された前記仮想体験画面情報によって表される前記仮想体験画面を前記表示部に表示させ、前記仮想体験画面は、仮想体験の舞台である仮想体験空間を前記ユーザに知覚させるための画面であり、前記仮想体験空間は、前記対象現実空間の前記範囲の制約を受けない範囲を有し、前記管理装置は、前記検出装置から受信された前記動作情報によって示される前記頭部装着型表示装置の位置及び姿勢に応じた前記仮想体験画面を示す前記仮想体験画面情報を前記頭部装着型表示装置に送信する。

上記の構成によると、検出装置は、管理装置と無線通信を実行可能である。そして、頭部装着型表示装置も、管理装置と無線通信を実行可能である。そして、頭部装着型表示装置の制御部は、管理装置から、頭部装着型表示装置の位置及び姿勢に応じた仮想体験画面を示す仮想体験画面情報を受信し、受信された仮想体験画面情報によって表される仮想体験画面を表示部に表示させる。すなわち、この構成によると、ユーザは、従来のシステムのように、仮想体験プログラムを格納する管理装置等を背負う等して自ら搬送する必要がない。そのため、従来のシステムに比べ、予め定められた範囲の対象現実空間内において、ユーザが行動を制限される事態を抑制することができる。そのため、ユーザに、実際に体験しているような感覚を知覚させる仮想体験（趣深い仮想体験と言い換えてもよい）をさせ得る。

前記検出装置は、前記頭部装着型表示装置の位置及び姿勢を検出可能なセンサを含むとともに、前記頭部装着型表示装置に搭載されていてもよい。前記検出装置は、前記制御部を介して、前記動作情報を前記管理装置に送信してもよい。

この構成によると、検出装置と頭部装着型表示装置とを別個に備える必要がない。仮想体験システムの全体構成を簡素化することができる。

前記仮想体験空間には、前記対象現実空間における現実の制約に対応する仮想の制約が存在する仮想制約範囲を示すとともに、前記ユーザが前記仮想制約範囲に立ち入ることを抑制する表示を有する制約オブジェクトが含まれていてもよい。前記現実の制約は、壁、間仕切り、障害物、危険物、のうちの少なくとも一つを含んでもよい。前記仮想の制約は、仮想の壁、仮想の間仕切り、仮想の障害物、仮想の危険物、のうちの少なくとも１つを含んでもよい。

この構成によると、ユーザは、仮想体験空間に含まれる制約オブジェクトを見ることで、仮想制約範囲の位置、大きさ、形状等を把握することができる。ユーザは、仮想制約範囲に立ち入らないことで、対象現実空間における現実の制約によって行動が制限されることを抑制することができる。

前記管理装置は、前記検出装置から受信される前記動作情報が、前記頭部装着型表示装置が前記仮想制約範囲に立ち入っていることを示す場合に、前記仮想制約範囲への立ち入りを制限する警告メッセージを含む警告オブジェクトを含む前記仮想体験画面を示す前記仮想体験画面情報を前記頭部装着型表示装置に送信してもよい。

この構成によると、ユーザは、警告オブジェクトを見ることで、仮想制約範囲に立ち入っていることを把握することができる。ユーザに、仮想制約範囲から出ることを促すことができるとともに、対象現実空間における現実の制約によってユーザの行動が制限されることを抑制することができる。

前記仮想の制約は、前記仮想の壁を含んでもよい。前記管理装置は、前記検出装置から受信される前記動作情報が、前記頭部装着型表示装置が前記仮想の壁を示す前記仮想制約範囲を通過した領域に立ち入っていることを示す場合に、通過した前記仮想の壁を透過表示した透過壁オブジェクトを含む前記仮想体験画面を示す前記仮想体験画面情報を前記頭部装着型表示装置に送信してもよい。

例えば、ユーザが、対象現実空間内で後ずさりした場合等、仮想の壁を認識しないままに仮想の壁を通過し、仮想の壁を示す仮想制約範囲を通過した領域に立ち入ってしまう場合がある。この構成によると、ユーザは、透過壁オブジェクトを見ることで、自身が、仮想の壁を示す仮想制約範囲を通過した領域に立ち入っていることを認識することができる。ユーザに、仮想制約範囲から出ることを促すことができるとともに、対象現実空間における現実の制約によってユーザの行動が制限されることを抑制することができる。

上記の仮想体験システムを実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを記憶するコンピュータ読取可能記録媒体も、新規で有用である。また、上記の頭部装着型表示装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを記憶するコンピュータ読取可能記録媒体も、新規で有用である。さらに、上記の管理装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを記憶するコンピュータ読取可能記録媒体も、新規で有用である。

仮想体験システム２の概要を示す。 ＨＭＤ１０の概要を示す。 仮想体験システム２のブロック図を示す。 ＨＭＤ１０、操作デバイス５０、管理装置１００がそれぞれ実行する処理を説明するシーケンス図を示す。 仮想体験の第１場面を模式的に表す斜視図を示す。 図５に示す第１場面においてユーザが視認する仮想体験画面を模式的に表す説明図を示す。 図５に示す第１場面におけるユーザの現実空間内における挙動を模式的に表す平面図を示す。 図５に示す第１場面においてユーザが視認する仮想体験画面の他の例を模式的に表す説明図を示す。 仮想体験の第２場面を模式的に表す斜視図を示す。 図９に示す第２場面においてユーザが視認する仮想体験画面を模式的に表す説明図を示す。 図９に示す第２場面におけるユーザの現実空間内における挙動を模式的に表す平面図を示す。

（実施例）
（仮想体験システム２の構成；図１〜図３）
図１に示す仮想体験システム２は、ユーザに、仮想空間内での現象を仮想的に体験させるためのシステムである。仮想体験システム２は、例えば、ユーザに仮想空間内でのゲームをプレイさせるためのゲームシステムとして構成される。

図１に示すように、仮想体験システム２は、ＨＭＤ（Head Mount Displayの略）１０と、操作デバイス５０と、バッテリー８０と、管理装置１００と、を備える。ＨＭＤ１０、操作デバイス５０、及び、バッテリー８０は、対象現実空間ＲＳ内に配置される。対象現実空間ＲＳは、例えば、所定の部屋等、予め範囲が定められた現実の空間である。図１の例では、ＨＭＤ１０は、対象現実空間ＲＳ内に存在するユーザＵの頭部に装着される。操作デバイス５０は、ユーザＵによって把持される。バッテリー８０は、ユーザＵの身体に取り付けられる。ＨＭＤ１０と管理装置１００、及び、操作デバイス５０と管理装置１００とは、それぞれ、インターネット４を介して相互に無線通信可能である。また、図２、図３に示すように、ＨＭＤ１０とバッテリー８０とは、ケーブル１８を介して接続されている。

（ＨＭＤ１０の構成）
図１〜図３に示すＨＭＤ１０は、ユーザＵの頭部に装着して用いられる画像表示装置（いわゆる頭部装着型ディスプレイ）である。図２に示すように、ＨＭＤ１０は、フレーム１１と、表示部１２と、操作部１４と、スピーカ１６と、ケーブル１８と、コントロールボックス２０と、を備える。

フレーム１１は、ヘッドバンド状の部材である。ユーザＵは、帽子を被るようにフレーム１１を頭部に装着することによって、ＨＭＤ１０を頭部に装着することができる。他の例では、フレーム１１は、眼鏡フレーム状の部材、ヘルメット状の部材等、頭部に装着可能な形状のフレームであれば任意の形状のフレームであってもよい。

表示部１２は、遮光性の表示部材である。図２に示すように、ユーザＵがＨＭＤ１０を頭部に装着すると、ユーザＵの両眼に対向する位置に表示部１２が配置される。ユーザＵがＨＭＤ１０を装着すると、表示部１２によってユーザＵの視界が遮られる。本実施例では、表示部１２には、管理装置１００から供給される仮想体験画面情報によって表される仮想体験画面（図６、図８、図１０等参照）が表示される。

操作部１４は、ボタンを含む。ユーザＵは、操作部１４を操作して、ＨＭＤ１０に様々な操作（例えば、電源オンオフ操作等）を入力することができる。

スピーカ１６は、音声を出力する音声出力部である。本実施例では、スピーカ１６は、イヤーパッド形状を有しており、ユーザＵの両耳に近接して配置できるように構成されている。

ケーブル１８は、バッテリー８０と、ＨＭＤ１０の電力供給部３２（図３参照）とを有線接続し、バッテリー８０からＨＭＤ１０に電力を供給するための電力供給線である。

コントロールボックス２０は、ＨＭＤ１０の一部に内蔵されている制御装置である。コントロールボックス２０には、ＨＭＤ１０の制御系統を司る各要素が収容されている。具体的には、図３に示すように、コントロールボックス２０には、制御部２２と、メモリ２４と、三次元センサ２６と、無線通信インターフェース２８と、電力供給部３２とが収容されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。

制御部２２は、メモリ２４に記憶されているプログラムに従って様々な処理を実行する。また、制御部２２は表示部１２、操作部１４、スピーカ１６、メモリ２４、三次元センサ２６、無線通信Ｉ／Ｆ２８、及び、電力供給部３２と電気的に接続されており、これらの各要素の動作を制御することができる。

メモリ２４は、ＲＯＭ、ＲＡＭ、ハードディスク等によって構成される。メモリ２４は、様々なプログラムを記憶している。また、メモリ２４は、制御部２２の処理に伴って生成される様々な情報を記憶する領域も有している。

三次元センサ２６は、三軸加速度センサである。三次元センサ２６は、Ｘ，Ｙ，Ｚの三軸の加速度を検出する。後で説明するように、三次元センサ２６の検出値を用いて、管理装置１００の制御部１１０は、ＨＭＤ１０の姿勢、運動状態、及び、位置（即ち、初期位置からの移動量）を特定することができる。

無線通信Ｉ／Ｆ２８は、インターネット４を介して外部の管理装置１００とＷｉ−Ｆｉ通信（即ちＷｉ−Ｆｉ規格に従った無線通信）を実行するためのＩ／Ｆである。

電力供給部３２は、ケーブル１８を介してバッテリー８０からＨＭＤ１０に電力を供給するための供給部である。電力供給部３２は、表示部１２、操作部１４、スピーカ１６、制御部２２、メモリ２４、三次元センサ２６、及び、無線通信Ｉ／Ｆ２８と電気的に接続されており、これらの各要素に電力を供給することができる。

（バッテリー８０の構成；図１、図３）
バッテリー８０は、ＨＭＤ１０に電力を供給するためのバッテリーパックである。本実施例では、図１に示すように、バッテリー８０は、小型の鞄等に収納され、ユーザＵの身体に取り付けられる。他の例では、バッテリー８０は、ＨＭＤ１０に内蔵されていてもよい。

（操作デバイス５０の構成；図１、図３）
操作デバイス５０は、仮想空間内でサーチライトとして仮想的に機能するデバイスである。本実施例の操作デバイス５０自身は、現実空間内を照明するための現実の照明器具を内蔵していない。図３に示すように、操作デバイス５０は、操作部５２と、制御部５４と、メモリ５６と、三次元センサ５８と、無線通信Ｉ／Ｆ６０と、を備える。

操作部５２は、１個又は複数個のボタンを備える。ユーザＵは、操作部５２を操作することによって、様々な指示（例えば電源オンオフ操作、仮想空間内のサーチライトオンオフ操作等）を操作デバイス５０に入力可能である。

制御部５４は、メモリ５６に記憶されているプログラムに従って様々な処理を実行する。メモリ５６は、ＲＯＭ、ＲＡＭ、ハードディスク等によって構成され、様々なプログラムを記憶している。メモリ５６は、さらに、制御部５４が処理を実行する過程で取得又は生成される各種データを記憶する。

三次元センサ５８は、三軸加速度センサである。三次元センサ５８は、Ｘ，Ｙ，Ｚの三軸の加速度を検出する。後で説明するように、三次元センサ５８の検出値を用いて、管理装置１００の制御部１１０は、操作デバイス５０の姿勢、運動状態、及び、位置（即ち初期位置からの移動量）を特定することができる。

無線通信Ｉ／Ｆ６０は、インターネット４を介して外部の管理装置１００とＷｉ−Ｆｉ通信を実行するためのＩ／Ｆである。

（管理装置１００の構成；図１、図３）
図１に示す管理装置１００は、仮想体験システム２の管理者（例えば、仮想体験システム２を利用した仮想体験サービスの提供事業者等）によって設置される管理装置である。図３に示すように、管理装置１００は、表示部１０２と、操作部１０４と、無線通信Ｉ／Ｆ１０６と、制御部１１０と、メモリ１１２と、を備えている。

表示部１０２は、様々な情報を表示するためのディスプレイである。操作部１０４は、キーボード及びマウスを備える。管理装置１００の利用者は、操作部１０４を操作することによって、様々な指示を管理装置１００に入力可能である。無線通信Ｉ／Ｆ１０６は、インターネット４を介して外部のＨＭＤ１０及び操作デバイス５０とＷｉ−Ｆｉ通信を実行するためのＩ／Ｆである。

制御部１１０は、メモリ１１２に記憶されているプログラムに従って様々な処理を実行する。メモリ１１２は、ＲＯＭ、ＲＡＭ、ハードディスク等によって構成され、様々なプログラムを記憶している。メモリ１１２に記憶されているプログラムは、後で説明するように、ＨＭＤ１０の表示部１２に仮想体験画面を表示させ、ユーザＵに仮想空間内での仮想体験をさせるためのアプリケーションプログラムである仮想体験プログラム１１４を含む。さらに、メモリ１１２には、仮想体験を実現するための現実の空間である対象現実空間ＲＳ（図１参照）のサイズや特徴（例えば、対象現実空間ＲＳ内の障害物及び危険物等の有無、それらの位置等）を示す対象現実空間データも記憶されている。さらに、メモリ１１２は、制御部１１０が処理を実行する過程で取得又は生成される各種データを記憶する。

（各装置が実行する処理；図４）
図４を参照して、本実施例の仮想体験システム２を利用してユーザＵに仮想体験をさせる場合において、ＨＭＤ１０の制御部２２、操作デバイス５０の制御部５４、及び、管理装置１００の制御部１１０がそれぞれ実行する処理について説明する。以下では、ＨＭＤ１０の制御部２２、操作デバイス５０の制御部５４、及び、管理装置１００の制御部１１０がそれぞれ実行する処理を、単にＨＭＤ１０、操作デバイス５０、及び、管理装置１００の処理として説明する。ユーザＵに仮想体験をさせている間、各装置は、図４のＳ１０〜Ｓ２０の処理を繰り返し実行している。

Ｓ１０では、操作デバイス５０は、この時点の三次元センサ５８の検出値を管理装置１００に送信する。

Ｓ１２では、ＨＭＤ１０は、この時点の三次元センサ２６の検出値を管理装置１００に送信する。

Ｓ１４では、管理装置１００は、Ｓ１０で受信した操作デバイス５０の三次元センサ５８の検出値と、Ｓ１２で受信したＨＭＤ１０の三次元センサ２６の検出値と、に基づいて、この時点のＨＭＤ１０の位置及び姿勢と、この時点の操作デバイス５０の位置及び姿勢と、を特定する。

次いで、Ｓ１６では、管理装置１００は、Ｓ１４で特定されたＨＭＤ１０の位置及び姿勢と、操作デバイス５０の位置及び姿勢とに基づいて、この時点のユーザＵのための仮想体験画面情報を生成する。即ち、管理装置１００は、ＨＭＤ１０の位置及び姿勢と、操作デバイス５０の位置及び姿勢とに応じた仮想体験画面を表示させるための仮想体験画面情報を生成する。

続くＳ１８では、管理装置１００は、Ｓ１６で生成した仮想体験画面情報をＨＭＤ１０に送信する。

Ｓ２０では、ＨＭＤ１０は、受信された仮想体験画面情報によって表される仮想体験画面（図６、図８、図１０参照）を表示部１２に表示させる。また、ＨＭＤ１０は、仮想体験画面情報に含まれる音声データに従ってスピーカ１６から音声を出力させる。これにより、ユーザＵは、自身の姿勢や挙動に応じた仮想体験画面を視認することができるとともに、スピーカ１６から出力された音声を聴取することができる。そのため、ユーザＵは、仮想体験画面の視認及び音声の聴取を通じて、仮想体験の舞台である仮想体験空間（図５のＶＳ１、図９のＶＳ２等）を知覚することができる。仮想体験空間は、対象現実空間ＲＳの範囲の制約を受けない範囲を有する。この結果、ユーザＵは、仮想体験画面で表される仮想空間内において、自身の姿勢や挙動に応じた仮想的な体験をすることができる。

上記の通り、ユーザＵに仮想体験をさせている間、各装置は、図４のＳ１０〜Ｓ２０の処理を繰り返し実行する。

（仮想体験の内容；図５〜図１１）
図５〜図１１を参照して、本実施例の仮想体験システム２を利用してユーザＵが体験することができる仮想体験（例えばゲーム）の内容の一例を説明する。図５〜図１１に示す例はあくまで説明のための一例に過ぎないものであり、実際の体験内容がこれに限定されるものではない。

図５〜図１１に示すように、本実施例の仮想体験システム２によって実現される仮想体験は、ユーザＵが、仮想体験空間内を所定の経路で移動することに伴って、様々な場面を体感することができるものである。具体的には、例えば、ユーザＵは、廃墟や廃病院等をモデルとした仮想空間内を歩いて探検する体験をすることができる。実際には、ユーザＵは、ＨＭＤ１０及び操作デバイス５０を身に着けて、対象現実空間ＲＳ内を所定の経路で歩き回っているに過ぎないのであるが、表示部１２に表示される仮想体験画面が切り替わることで、場面転換を繰り返す仮想体験空間内を実際に歩いていることを知覚できる。このようにして、ユーザＵは、対象現実空間ＲＳの制約を受けないより広い仮想体験空間を知覚しながら様々な仮想的体験をすることができる。以下、具体的に各場面について説明する。

（第１場面；図５〜図８）
図５は、仮想体験システム２によって実現される第１場面を模式的に示す斜視図である。第１場面では、ユーザＵの周囲に、仮想的な場面を模した仮想体験空間ＶＳ１が形成される。仮想体験空間ＶＳ１は、部屋２００と廊下２１０によって構成される。部屋２００は、仮想の壁２２０、２２２、２２４、２２６によって区画されている。壁２２０には廊下２１０に続く開放扉２０６が設けられている。また、部屋２００の内部にはカウンター２０１と観葉植物２０２が配置され、部屋２００内をさらに区画している。廊下２１０は、壁２２０と壁２２８によって区画されている。部屋２００内には、仮想的な矢印２０４が配置され、ユーザＵに対し、開放扉２０６を通って、部屋２００（位置Ｐ１０）から廊下２１０（位置Ｐ１１）に移動するよう促している。

図６は、第１場面の仮想体験画面の例である。より詳しくは、図６は、ユーザＵが、図５の位置Ｐ１０に立って位置Ｐ１１の方を向いた場合に表示部１２に表示される仮想体験画面の例である。このとき、ユーザＵは図６の仮想体験画面を視認する。図６に示すように、ユーザＵは、壁２２０及びカウンター２０１で区画された部屋２００の内側から、開放扉２０６を介して廊下２１０を見ることができる。仮想体験画面内では、ユーザＵが把持する操作デバイス５０から灯りＬが照射されている。ただし、仮想体験画面中では、操作デバイス５０は、サーチライトに見えている。また、仮想体験画面内には矢印２０４が表示されている。これにより、ユーザＵは、開放扉２０６を通って廊下２１０（即ち位置Ｐ１０から位置Ｐ１１）に移動すべきことを直感的に把握することができる。

図７は、第１場面の仮想体験を通じて、ユーザＵが図５の位置Ｐ１０から位置Ｐ１１に移動する場合におけるユーザＵの対象現実空間ＲＳ内での動きを模式的に示す平面図である。図７に示すように、ユーザＵは、図５の仮想体験空間ＶＳ１内で位置Ｐ１０から位置Ｐ１１に移動する場合、対象現実空間ＲＳ内でも、位置Ｐ１０から位置Ｐ１１に移動している。

なお、ユーザＵが、図５の第１場面を体験している間に、例えば仮想空間内で起こった事象に驚いて後ずさりしたりよろめいたりする等して、仮想体験空間ＶＳ１のほぼ中央位置である位置Ｐ１０から、仮想体験空間ＶＳ１の外の位置Ｐ１２に出てしまう場合がある。特に、ユーザＵが後ずさりをした場合等には、ユーザＵが後方の仮想の壁２２２を認識していない場合があり、ユーザＵが仮想の壁２２２を通過して位置Ｐ１２に出てしまう事態が起こり得る。

図８は、ユーザＵが図５の位置Ｐ１１から後ずさり等をした結果、仮想の壁２２２を通過して位置Ｐ１２に移動してしまい、位置Ｐ１２から位置Ｐ１１の方を向いた場合に表示部１２に表示される仮想体験画面の例である。図８に示すように、ユーザＵは、自身が誤って通過してしまった壁２２２を視認するとともに、壁２２２を透過した態様で部屋２００の中を視認することができる。また、図８の仮想体験画面には、ユーザＵが体験エリア外に出たことを知らせるとともに、ユーザＵに体験エリア内に戻るよう促すメッセージ２５０が併せて表示されている。これにより、ユーザＵは、体験エリア外に出ており、体験エリア内に戻って仮想体験を続けるべきことを直感的に把握することができる。

図５〜図８で説明した第１場面において、ユーザＵが、位置Ｐ１２に移動すると（即ち、開放扉２０６を通って廊下２１０に出ると）、第１場面が次の第２場面に切り替わる。

（第２場面；図９〜図１１）
図９は、第２場面を模式的に示す斜視図である。第２場面では、ユーザＵの周囲に、第１場面とは異なる（具体的には第１場面の続きの）仮想的な場面を模した仮想体験空間ＶＳ２が形成される。仮想体験空間ＶＳ２は、廊下３００を表す。廊下３００は、仮想の壁３２０、３２２、３２４、３２６、３２８、３３０によって区画されている。壁３２４には、第１場面（図５〜図８）で通過した開放扉２０６と同じ開放扉３０２が設けられている。ただし、図９の第２場面では、開放扉３０２は閉じられ、通過できないように制限されている。また、壁３２２には階段３０４が設けられており、階段３０４の向こう側に別の場面が存在することを想起させている。ただし階段３０４には規制線３０６が張られており、実際には階段３０４の向こうへは入れないように制限されている。壁３３０には、次の場面へと続く扉３１０が設けられている。また、廊下３００内には、仮想的な矢印３０８が配置され、ユーザＵに対し、現在位置（位置Ｐ２１（即ち図５の位置Ｐ１１と同じ位置））から、廊下３００を通って、扉３１０の前の位置（位置Ｐ２２）に移動するよう促している。

図１０は、第２場面の仮想体験画面の例である。より詳しくは、図１０は、ユーザＵが、図９の位置Ｐ２１に立って左側（即ち、壁３２６側）を向いた場合に表示部１２に表示される仮想体験画面の例である。このとき、ユーザＵは図１０の仮想体験画面を視認する。図１０に示すように、ユーザＵは、壁３２２、３２４、３２６で区画された廊下３００内にいることを自覚することができる。ユーザＵは、壁３２４に設けられた開放扉３０２（即ち、第１場面で通過した開放扉２０６）が閉じられて通過できないように制限されている様子を視認することができる。また、ユーザＵは、廊下３００の突き当りの付近の壁３２２に階段３０４が設けられているが、規制線３０６により階段３０４が閉鎖されている様子も視認することができる。仮想体験画面内では、ユーザＵが把持する操作デバイス５０（仮想体験画面中では、操作デバイス５０は、サーチライトに見えている）から灯りＬが照射されている。また、仮想体験画面内には矢印３０８が表示されている。これにより、ユーザＵは、廊下３００を進んで突き当りを左に進むべきこと（即ち、位置Ｐ２１（即ち図５の位置Ｐ１１と同じ位置）から位置Ｐ２２に移動すべきこと）を直感的に把握することができる。

図１１は、第２場面の仮想体験を通じて、ユーザＵが図９の位置Ｐ２１から位置Ｐ１１に移動する場合におけるユーザＵの対象現実空間ＲＳ内での動きを模式的に示す平面図である。図１１に示すように、ユーザＵは、図９の仮想体験空間ＶＳ２内で位置Ｐ２１から位置Ｐ２２に移動する場合、対象現実空間ＲＳ内でも、位置Ｐ２１から位置Ｐ２２に移動している。

図９〜図１１で説明した第１場面において、ユーザＵが、位置Ｐ２２において扉３１０を通過すると、第２場面が次の場面（図示しない）に切り替わる。このように、本実施例の仮想体験システム２では、ユーザＵが、仮想体験空間内を所定の経路で移動することに伴って、様々な場面を体感することができる。実際には、ユーザＵは、対象現実空間ＲＳ内を所定の経路で歩き回っているに過ぎないのであるが、表示部１２に表示される仮想体験画面が切り替わることで（図６、図８、図１０参照）、場面転換を繰り返す仮想体験空間内を歩いていることを知覚できる。このようにして、ユーザＵは、対象現実空間ＲＳの制約を受けないより広い仮想体験空間を知覚しながら様々な仮想的体験をすることができる。これ以後、仮想体験プログラムによって定められた最終場面に至るまで、ユーザＵは上記の行動を繰り返す。ユーザＵが通過した経路やユーザＵが取った行動に応じて、途中で表れる場面や最終場面等が異なっていてもよい。

以上、本実施例の仮想体験システム２の構成及び動作を説明した。上記の通り、本実施例では、ＨＭＤ１０は、管理装置１００と無線通信（Ｗｉ−Ｆｉ通信）を実行可能である。そして、図４に示すように、ＨＭＤ１０の制御部２２は、管理装置１００から、ＨＭＤ１０の位置及び姿勢に応じた仮想体験画面を示す仮想体験画面情報を受信し（Ｓ１８）、受信された仮想体験画面情報によって表される仮想体験画面を表示部１２に表示させる（Ｓ２０）。すなわち、本実施例の仮想体験システム２によると、ユーザＵは、従来のシステムのように、仮想体験プログラムを格納する管理装置等を背負う等して自ら搬送する必要がない。そのため、従来のシステムに比べ、予め定められた範囲の対象現実空間ＲＳ内において、ユーザＵが行動を制限される事態を抑制することができる。そのため、ユーザＵに、実際に体験しているようなリアルな感覚を知覚させる仮想体験（趣深い仮想体験と言い換えてもよい）をさせ得る。

また、本実施例では、ＨＭＤ１０の位置及び姿勢を検出可能な三次元センサ２６がＨＭＤ１０に搭載されている。そのため、ＨＭＤ１０の位置及び姿勢を検出するための検出装置とＨＭＤ１０とを別個に備える必要がない。仮想体験システム２の全体構成を簡素化することができる。

また、本実施例では、図５、図９に示すように、仮想体験空間ＶＳ１、ＶＳ２には、壁２２０等やカウンター２０１、観葉植物２０２等が適宜配置され、ユーザＵが行動可能な範囲が制約されている。本実施例では、ユーザＵは、仮想体験空間ＶＳ１、ＶＳ２に含まれる壁や障害物等の画像を見ることで、ユーザＵが行動不可能な範囲（即ち体験エリア以外の部分）の位置、大きさ、形状等を把握することができる。ユーザＵは、行動不可能な範囲に立ち入らないことで、対象現実空間ＲＳにおける現実の制約（例えば対象現実空間ＲＳを区画する壁など）によって行動が制限されることを抑制することができる。

また、本実施例では、図８に示すように、ユーザＵが、行動不可能な範囲（即ち体験エリア以外の部分）に立ち入った場合、ユーザＵは、自身が誤って通過してしまった壁２２２を視認するとともに、壁２２２を透過した態様で部屋２００の中を視認することができる。また、ユーザＵは、ユーザＵが体験エリア外に出たことを知らせるとともに、ユーザＵに体験エリア内に戻るよう促すメッセージ２５０を併せて視認することができる。これにより、ユーザＵは、体験エリア外に出ており、体験エリア内に戻って仮想体験を続けるべきことを直感的に把握することができる。ユーザＵに、行動不可能な範囲（即ち体験エリア以外の部分）から出ることを促すことができるとともに、対象現実空間ＲＳにおける現実の制約（例えば対象現実空間ＲＳを区画する壁など）によってユーザＵの行動が制限されることを抑制することができる。

本実施例と請求項の記載の対応関係を説明しておく。ＨＭＤ１０が「頭部装着型表示装置」の一例である。三次元センサ２６が「検出装置」の一例である。図４のＳ１２で管理装置１００に送信される三次元センサ２６の検出値が、「動作情報」の一例である。図５における対象現実空間ＲＳのうちの仮想体験空間ＶＳ１の外側の範囲、及び、図９における対象現実空間ＲＳのうちの仮想体験空間ＶＳ２の外側の範囲が「仮想制約範囲」の一例である。図５の仮想の壁２２０、２２２、２２４、２２６、２２８、カウンター２０１、及び観葉植物２０２、図９の仮想の壁３２０、３２２、３２４、３２６、３２８、３３０、開放扉３０２、規制線３０６等が「制約オブジェクト」の一例である。図８の仮想体験画面における壁２２２が「透過壁オブジェクト」の一例である。また、図８のメッセージ２５０が「警告オブジェクト」の一例である。管理装置１００の制御部１１０が「コンピュータ」の一例であり、仮想体験プログラム１１４が「コンピュータプログラム」の一例である。

以上、本明細書で開示する技術の具体例を説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には以上に例示した具体例を様々に変形、変更したものが含まれる。上記の実施例の変形例を以下に列挙する。

（変形例１）上記の実施例では、操作デバイス５０の制御部５４は、三次元センサ５８の検出値を管理装置１００に送信する（図４のＳ１０）。そして、ＨＭＤ１０の制御部２２は、三次元センサ２６の検出値を管理装置１００に送信する（Ｓ１２）。管理装置１００の制御部１１０は、操作デバイス５０の三次元センサ５８の検出値と、ＨＭＤ１０の三次元センサ２６の検出値と、に基づいて、ＨＭＤ１０の位置及び姿勢と、操作デバイス５０の位置及び姿勢と、を特定し、ＨＭＤ１０の位置及び姿勢と、操作デバイス５０の位置及び姿勢と、に応じた仮想体験画面情報を生成してＨＭＤ１０に送信する（Ｓ１６、Ｓ１８）。これに限られず、操作デバイス５０の制御部５４が、三次元センサ５８の検出値に基づいて操作デバイス５０の位置及び姿勢を特定し、特定された位置及び姿勢を示す情報を管理装置１００に送信してもよい。同様に、ＨＭＤ１０の制御部２２が、三次元センサ２６の検出値に基づいてＨＭＤ１０の位置及び姿勢を特定し、特定された位置及び姿勢を示す情報を管理装置１００に送信してもよい。この変形例において、操作デバイス５０の制御部５４が管理装置１００に送信する位置及び姿勢を示す情報、ＨＭＤ１０の制御部２２が管理装置１００に送信する位置及び姿勢を示す情報も、「動作情報」の一例である。

（変形例２）仮想体験システム２は、操作デバイス５０を備えていなくてもよい。

（変形例３）図６、図８、図１０等の仮想体験画面内において、ユーザＵの行動可能範囲を区画するために表示される制約オブジェクトは、仮想の壁、仮想の障害物に限られず、仮想の間仕切り、仮想の危険物等、任意の物体であってもよい。

（変形例４）上記の実施例では、図５、図９に示すように、各場面の仮想体験空間ＶＳ１、ＶＳ２の範囲は、対象現実空間ＲＳの範囲を超えていない。これに限られず、特定の場面においては、仮想体験空間の範囲が、対象現実空間ＲＳの範囲を超え（即ち、ユーザＵに、対象現実空間ＲＳの範囲より広範囲の仮想体験空間を知覚させ）てもよい。一般的に言うと、仮想体験空間は、対象現実空間の範囲の制約を受けない範囲を有していればよい。

（変形例５）上記の実施例では、ＨＭＤ１０が三次元センサ２６を備えるとともに、操作デバイス５０が三次元センサ５８を備えている。これに限られず、ＨＭＤ１０及び操作デバイス５０は、自身の姿勢及び位置を検出可能なセンサであれば、三次元センサに限られず任意のセンサを備えていてもよい。また、ＨＭＤ１０及び操作デバイス５０は、自身の姿勢及び位置を検出可能であれば、複数種類のセンサを組み合わせたものを備えていてもよい。

（変形例６）上記の実施例では、対象現実空間ＲＳ内には障害物（例えば家具、柱等）、危険物（例えば段差、壊れやすい物、水槽等）等は存在しない。これに限られず、対象現実空間ＲＳ内に、障害物、危険物、間仕切り等が存在していてもよい。その場合、仮想体験空間内においても、対象現実空間ＲＳ内に対応する、仮想の障害物、仮想の危険物、仮想の間仕切り等が配置されてもよい。これにより、仮想体験中のユーザＵが現実の障害物、危険物、間仕切り等にぶつかる等して動作を制約されることを抑制し得る。

（変形例７）上記の実施例では、操作デバイス５０は、仮想空間内でサーチライトとして仮想的に機能する。これに限られず、操作デバイス５０は、仮想空間内で他の機能を担ってもよい。例えば、操作デバイス５０は、仮想空間内で、ユーザＵの仮想的な手（仮想空間内で手のように機能するオブジェクト）として機能してもよい。その場合、仮想体験画面中では、操作デバイス５０は、手に見えてもよく、操作部５２を操作することで、仮想空間内の物体に触れたり持ち上げたり離したりしてもよい。また、他の例では、操作デバイス５０は、仮想空間内で、仮想空間で仮想的に機能する武器（刀剣類、銃砲類、その他武器類）として用いられてもよい。また、ユーザＵが、仮想体験を行うに際し、複数個の操作デバイスを把持するようにしてもよい。

（変形例８）上記の実施例では、ＨＭＤ１０と管理装置１００、及び、操作デバイス５０と管理装置１００は、インターネット４を介してＷｉ−Ｆｉ通信を実行可能である。しかしながら、無線通信は、Ｗｉ−Ｆｉ通信に限られず、任意の方式に従った無線通信であってもよい。従って、例えば、ＨＭＤ１０と管理装置１００、及び、操作デバイス５０と管理装置１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信を実行してもよいし、その他の無線通信を実行してもよい。

（変形例９）上記の実施例では、管理装置１００は、対象現実空間ＲＳ外に配置されている（図１参照）。変形例では、管理装置１００は、対象現実空間ＲＳ内に配置されていてもよい。

（変形例１０）管理装置１００の制御部１１０は、ＨＭＦ１０及び操作デバイス５０から取得されるセンサ検出値に基づいて、ユーザＵが、仮想空間内において、立ち入りできないように制限されている範囲に近づこうとしていることが検出される場合、仮想体験画面中に警告メッセージを表示させるようにしてもよい。

（変形例１１）管理装置１００の制御部１１０は、ＨＭＦ１０及び操作デバイス５０から取得されるセンサ検出値に基づいて、ユーザＵが、仮想空間内において、所定位置に所定期間以上立ち止まっていることが検出される場合、仮想体験画面中に、進行を促すガイド情報を表示させる（例えば、進路を示す矢印オブジェクトを表示させる、ヒント情報を表示させる等）ようにしてもよい。

（変形例１２）図８のメッセージ２５０等の警告メッセージ、図６の矢印２０４等のガイド表示等を仮想体験画面中に表示させることに代えて、警告メッセージやガイド音声を音声出力するようにしてもよい。

（変形例１３）上記の実施例では、管理装置１００の制御部１１０は、操作デバイス５０から受信された操作デバイス５０の三次元センサ５８の検出値に基づいて、操作デバイス５０の位置及び姿勢を特定している。操作デバイス５０の位置及び姿勢の特定手法はこれに限られず、他の任意の手法によってもよい。例えば、操作デバイス５０の複数箇所にマーカ（ＬＥＤ等でもよい）が配置されており、ＨＭＤ１０に備えられたカメラによってそれらの画像を撮影し、撮影された画像内における各マーカの位置に基づいて、ＨＭＤ１０の制御部２２が、操作デバイス５０の位置及び姿勢を特定するようにしてもよい。

（変形例１４）上記の実施例では、ＨＭＤ１０の位置及び姿勢を検出可能な三次元センサ２６がＨＭＤ１０に搭載されている。これに限られず、ＨＭＤ１０の位置及び姿勢を検出可能な検出装置が、ＨＭＤ１０とは別個に設けられていてもよい。例えば、検出装置は、対象現実空間ＲＳ内に張り巡らされた赤外線パターンの変化に基づいて、ＨＭＤ１０の位置及び姿勢、及び、操作デバイス５０の位置及び姿勢（即ち、ユーザＵの位置及び姿勢）を検出可能な検出装置であってもよい。この場合、検出装置は、検出されたＨＭＤ１０の位置及び姿勢等を示す情報を、無線通信によって、管理装置１００に送信するようにしてもよい。また、他の例では、検出装置は、ＨＭＤ１０及び操作デバイス５０に付された複数個のマーカ（ＬＥＤ等であってもよい）の画像を撮影し、撮影された画像内における各マーカの位置に基づいて、ＨＭＤ１０の位置及び姿勢、及び、操作デバイス５０の位置及び姿勢（即ち、ユーザＵの位置及び姿勢）を検出可能な検出装置であってもよい。この場合も、この場合、検出装置は、検出されたＨＭＤ１０の位置及び姿勢等を示す情報を、無線通信によって、管理装置１００に送信するようにしてもよい。一般的に言うと、検出装置は、頭部装着型表示装置の位置及び姿勢を検出可能であるとともに、検出される頭部装着型表示装置の位置及び姿勢を示す動作情報を管理装置に送信すればよく、管理装置は、検出装置及び頭部装着型表示装置との間で無線通信を実行可能であればよい。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

２ ：仮想体験システム
４ ：インターネット
１０ ：ＨＭＤ
１１ ：フレーム
１２ ：表示部
１４ ：操作部
１６ ：スピーカ
１８ ：ケーブル
２０ ：コントロールボックス
２２ ：制御部
２４ ：メモリ
２６ ：三次元センサ
２８ ：無線通信インターフェース
３２ ：電力供給部
５０ ：操作デバイス
５２ ：操作部
５４ ：制御部
５６ ：メモリ
５８ ：三次元センサ
８０ ：バッテリー
１００ ：管理装置
１０２ ：表示部
１０４ ：操作部
１１０ ：制御部
１１２ ：メモリ
１１４ ：仮想体験プログラム
２００ ：部屋
２０１ ：カウンター
２０２ ：観葉植物
２０４ ：矢印
２０６ ：開放扉
２１０ ：廊下
２２０ ：壁
２２２ ：壁
２２４ ：壁
２２６ ：壁
２２８ ：壁
２５０ ：メッセージ
３００ ：廊下
３０２ ：開放扉
３０４ ：階段
３０６ ：規制線
３０８ ：矢印
３１０ ：扉
３２０ ：壁
３２２ ：壁
３２４ ：壁
３２６ ：壁
３２８ ：壁
３３０ ：壁
ＲＳ ：対象現実空間
Ｕ ：ユーザ
ＶＳ１ ：仮想体験空間
ＶＳ２ ：仮想体験空間

Claims (6)

1. 仮想体験システムであって、
   予め定められた範囲の対象現実空間内に配置され、前記対象現実空間内に存在するユーザの頭部に装着される頭部装着型表示装置と、
   前記頭部装着型表示装置の位置及び姿勢を検出可能な検出装置と、
   前記検出装置及び前記頭部装着型表示装置との間で無線通信を実行可能であり、仮想体験プログラムが格納されている管理装置と、
   を備えており、
   前記検出装置は、検出される前記頭部装着型表示装置の位置及び姿勢を示す動作情報を前記管理装置に送信し、
   前記頭部装着型表示装置は、
   前記ユーザの頭部に装着される場合に前記ユーザの視界を覆う範囲に配置される表示部と、
   制御部と、を備え、
   前記制御部は、
   前記管理装置から、前記動作情報によって示される前記頭部装着型表示装置の位置及び姿勢に応じた仮想体験画面を示す仮想体験画面情報を受信し、
   受信された前記仮想体験画面情報によって表される前記仮想体験画面を前記表示部に表示させ、
   前記仮想体験画面は、仮想体験の舞台である仮想体験空間を前記ユーザに知覚させるための画面であり、前記仮想体験空間は、前記対象現実空間の前記範囲の制約を受けない範囲を有し、
   前記管理装置は、前記検出装置から受信された前記動作情報によって示される前記頭部装着型表示装置の位置及び姿勢に応じた前記仮想体験画面を示す前記仮想体験画面情報を前記頭部装着型表示装置に送信する、
   仮想体験システム。
2. 前記検出装置は、前記頭部装着型表示装置の位置及び姿勢を検出可能なセンサを含むとともに、前記頭部装着型表示装置に搭載されており、
   前記検出装置は、前記制御部を介して、前記動作情報を前記管理装置に送信する、
   請求項１に記載の仮想体験システム。
3. 前記仮想体験空間には、前記対象現実空間における現実の制約に対応する仮想の制約が存在する仮想制約範囲を示すとともに、前記ユーザが前記仮想制約範囲に立ち入ることを抑制する表示を有する制約オブジェクトが含まれており、
   前記現実の制約は、壁、間仕切り、障害物、危険物、のうちの少なくとも一つを含み、
   前記仮想の制約は、仮想の壁、仮想の間仕切り、仮想の障害物、仮想の危険物、のうちの少なくとも１つを含む、
   請求項１又は２に記載の仮想体験システム。
4. 前記管理装置は、前記検出装置から受信される前記動作情報が、前記頭部装着型表示装置が前記仮想制約範囲に立ち入っていることを示す場合に、前記仮想制約範囲への立ち入りを制限する警告メッセージを含む警告オブジェクトを含む前記仮想体験画面を示す前記仮想体験画面情報を前記頭部装着型表示装置に送信する、
   請求項３に記載の仮想体験システム。
5. 前記仮想の制約は、前記仮想の壁を含み、
   前記管理装置は、前記検出装置から受信される前記動作情報が、前記頭部装着型表示装置が前記仮想の壁を示す前記仮想制約範囲を通過した領域に立ち入っていることを示す場合に、通過した前記仮想の壁を透過表示した透過壁オブジェクトを含む前記仮想体験画面を示す前記仮想体験画面情報を前記頭部装着型表示装置に送信する、
   請求項３又は４に記載の仮想体験システム。
6. 仮想体験システムの管理装置のためのコンピュータプログラムであって、
   前記仮想体験システムは、
   予め定められた範囲の対象現実空間内に配置され、前記対象現実空間内に存在するユーザの頭部に装着される頭部装着型表示装置と、
   前記頭部装着型表示装置の位置及び姿勢を検出可能な検出装置と、
   前記検出装置及び前記頭部装着型表示装置との間で無線通信を実行可能な前記管理装置と、
   を備えており、
   前記検出装置は、検出される前記頭部装着型表示装置の位置及び姿勢を示す動作情報を前記管理装置に送信し、
   前記頭部装着型表示装置は、
   前記ユーザの頭部に装着される場合に前記ユーザの視界を覆う範囲に配置される表示部と、
   制御部と、を備え、
   前記制御部は、
   前記管理装置から、前記動作情報によって示される前記頭部装着型表示装置の位置及び姿勢に応じた仮想体験画面を示す仮想体験画面情報を受信し、
   受信された前記仮想体験画面情報によって表される前記仮想体験画面を前記表示部に表示させ、
   前記仮想体験画面は、仮想体験の舞台である仮想体験空間を前記ユーザに知覚させるための画面であり、前記仮想体験空間は、前記対象現実空間の前記範囲の制約を受けない範囲を有し、
   前記コンピュータプログラムは、前記管理装置に搭載されるコンピュータに、次の各処理、即ち、
   前記検出装置から受信された前記動作情報によって示される前記頭部装着型表示装置の位置及び姿勢に応じた前記仮想体験画面を示す前記仮想体験画面情報を前記頭部装着型表示装置に送信する処理を実行させる処理、
   を実行させるコンピュータプログラム。

Images