JP2014170330A

JP2014170330A - 仮想現実提示システム、仮想現実提示方法、仮想現実提示装置

Info

Publication number: JP2014170330A
Application number: JP2013041333A
Authority: JP
Inventors: Yasuaki Iwai; 泰章岩井
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-03-02
Filing date: 2013-03-02
Publication date: 2014-09-18

Abstract

【課題】仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮した仮想現実提示システムが求められていた。
【解決手段】本発明の仮想現実提示システムは、周囲を撮影する映像撮影手段などのように、ユーザの周囲の状況を検知する周囲状況検知手段と、ユーザの状態を検知するユーザ状態検知手段と、検知されたユーザの状態に基づいて、仮想現実オブジェクトの映像を生成する映像生成手段と、生成された映像を表示する映像表示手段と、表示される仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、前記検知されたユーザの周囲の状況に基づいて、映像表示手段又は音声出力手段を用いてユーザに注意喚起を行う注意喚起手段と、を備える。
【選択図】図２２

Description

本発明は、仮想現実提示システム、仮想現実サービス提供システム、仮想現実サービス提供方法、仮想現実サービス提供サーバ、情報処理システム、情報処理方法、情報処理サーバ、情報処理プログラム、仮想現実提示装置、ヘッドマウントディスプレイ装置、に関する。

近年、映像を表示するための装置として、テレビなど従来の据え置き型ディスプレイに加えて様々な電子デバイスが開発されており、携帯電話端末やタブレット端末、ヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）と言った電子デバイスが既に開発されている。

先行文献１には、現実の風景にＣＧ（Computer Graphics）を重ねてＨＭＤで表示するための仮想現実感提示装置が開示されている。

特開２００６−３３８１６３号公報

私達人間は、生まれながらに有している感覚器官を用いて現実の世界で生じる様々な事象を感知し、現実の世界で行動を行うことでこの現実の世界を生きている。すなわち、人間は、五感を使って外部より情報を入力し、入力した情報を脳で処理し、処理結果を行動と言う形で出力する生物であると言える。

仮想現実提示装置は、ユーザの感覚を欺くことで、現実とは異なる仮想現実の世界をユーザに感知させる装置である。すなわち、図５４に例示するように、現実の世界で生じる事象に基づいて入力される情報の一部又は全部を遮蔽し、人工的に創り出した情報で補完することで、現実の世界とは異なる人工的に創り出された仮想現実の世界を人間の脳に感知させる装置である。このことは、仮想現実提示装置の数の異なる仮想現実の世界を創り出すことができることを意味している。

仮想現実提示装置を使用しているユーザは、創り出された仮想現実の世界で生じる事象を感知しており、ユーザの行動も仮想現実提示装置によって仮想現実の世界に取り込まれて反映される。そのため、ユーザは仮想現実の世界の中で生きているとみることができる。一方で、ユーザは、現実の世界の事象を感知しており、ユーザが行う行動は現実の世界にも反映される。すなわち、図５５に示すように仮想現実提示装置を使用しているユーザは、仮想現実の世界と現実の世界とが重複している世界に生きていると言える。

仮に、図５６に示すように、現実の世界と相互作用を及ぼさない異次元の世界を仮想現実の世界として創り出し、そこにユーザを帰還可能な状態で送り込むことができるのであれば、各ユーザの入出力が同一の世界内で閉じているため、各世界に生きる人間の行動が他の世界に生きる人間に影響を及ぼすことはない。仮に、天国や地獄と言う世界があったとしても、現世に生きる私達との接点がないため、現世を生きている人間は、自分の行動が天国にいる人に影響を及ぼすことを心配する必要はないし、逆に現世を生きている人間が、地獄にいる人間の行動に影響を受けることがないことと同一である。

しかしながら、図５５に示す形態では、仮想現実提示装置を使用している人間も使用していない人間も等しく共通である現実の世界に跨っているため、仮想現実の世界に対して行った行動が、現実の世界に対して影響を及ぼす可能性がある。

例えば、「街中でドラゴンを狩ろう」と言うコンセプトの仮想現実サービスによって作り出される仮想現実の世界Ａにユーザａがいているとする。ユーザは、目の前に表されているドラゴンに対してパンチをしたとする。ユーザａが装着している仮想現実提示装置は、当該ユーザの行動を画像解析処理等によって捕捉し、ドラゴンが倒れていく映像を表示する。従って、ユーザは、仮想現実の世界の中でドラゴンを倒したことになる。

一方、現実の世界でユーザａの目の前に他人Ｘが立っていた場合、ユーザがくりだしたパンチは、他人Ｘに当たってしまうことになる。この場合、仮想現実の世界におけるユーザの行動はドラゴンを倒しただけであって問題とはならないが、現実の世界では他人を殴ったという問題に繋がる。

このように、仮想現実提示装置を使用しているユーザａの主観は、仮想現実の世界にいるが、他人から客観的に見たユーザａは現実の世界にいることになる。従って、現実の世界に跨る形で仮想現実の世界にいるユーザａの行動が、現実の世界に対する問題行動とならないような状態で仮想現実の世界をユーザに提示する必要がある。しかしながら、従来の仮想現実提示装置は、このような観点における考察が行われておらず、仮想現実の世界と現実の世界との間の調整が行われていなかった。

本発明は、上記課題を鑑み、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮した仮想現実提示システム、仮想現実提示装置、仮想現実提示方法としたものである。

本発明の一態様である仮想現実提示システムは、ユーザの周囲の状況を検知する周囲状況検知手段と、ユーザの状態を検知するユーザ状態検知手段と、前記ユーザの状態に基づいて、仮想現実オブジェクトの映像を生成する映像生成手段と、前記生成された映像を表示する映像表示手段と、前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、を備える。

本発明の一態様である仮想現実提供装置は、ユーザの周囲の状況を検知する周囲状況検知手段と、ユーザの状態を検知するユーザ状態検知手段と、前記ユーザの状態に基づいて生成される仮想現実オブジェクトの映像を表示する映像表示手段と、前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、を備える。

本発明の一態様である仮想現実提供方法は、ユーザの周囲の状況を検知する周囲状況検知ステップと、ユーザの状態を検知するユーザ状態検知ステップと、前記ユーザの状態に基づいて仮想現実オブジェクトの映像を生成する映像生成ステップと、前記生成された映像を表示する映像表示ステップと、前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力ステップと、前記検知されたユーザの周囲の状況に基づいて、注意喚起を行う注意喚起ステップと、を有する。
、を有する。

本発明によれば、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮した仮想現実提示システム、仮想現実提示装置、仮想現実提供方法を提供することができる。

実施形態１に係る仮想現実提示システムの機能構成を示すブロック図である。仮想現実提示装置を装着しているユーザの周囲の現実の世界の景色と、ユーザに提示される映像と、ユーザが感知する仮想現実の世界とをそれぞれ示す図である。仮想現実オブジェクトのモデル映像データの一例を説明する図である。実施形態２に係る仮想現実提示システムの機能構成を示すブロック図である。実施形態２に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。実施形態２に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。中断用映像が表示される場合の様子を説明する図である。仮想現実の提示時において、ユーザの状態が変化する場合において表示される映像とユーザが感知する映像の時間経過を説明する図である。仮想現実の提示中断時において、ユーザの状態が変化する場合において表示される映像とユーザが感知する映像の時間経過を説明する図である。仮想現実オブジェクトと、当該仮想現実オブジェクトに関連付けられた仮想現実提示用音声データとを管理する管理ファイルの一例である。実施形態２に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。実施形態２に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。中断用映像データ管理ファイル及び中断用音声データ管理ファイルの一例を示す図である。実施形態３に係る仮想現実提示システムの機能構成を示すブロック図である。中断条件管理ファイルの一例を示す図である。実施形態３に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。実施形態３に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。実施形態３に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。適用する中断条件を管理する適用中断条件管理ファイルの一例を示す図である。ユーザの錯覚度を説明する図である。ユーザの錯覚度の時間経過を示す図である。実施形態４に係る仮想現実提示システムの機能構成を示すブロック図である。注意喚起が行われる場合において表示される映像とユーザが感知する景色を時系列状に表した図である。実施形態４に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。実施形態４に係る仮想現実提示システムにおける仮想現実提示部周辺の機能構成を示すブロック図である。実施形態５に係る仮想現実提示システムの機能構成を示すブロック図である。注意喚起条件管理ファイルの一例を示す図である。実施形態５に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。実施形態５に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。実施形態５に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。注意喚起用映像データと注意喚起用音声データを管理する注意喚起用データ管理ファイルの一例である。実施形態６に係る仮想現実提示システムの機能構成を示すブロック図である。仮想現実コンテンツの階層構成を説明する図である。仮想現実制御プログラムの階層構成を説明する図である。実施形態６に係る仮想現実提示システムにおける注意喚起決定処理の流れを示すフローチャート図である。実施形態６に係る仮想現実提示システムにおける仮想現実オブジェクトの配置・更新処理の流れを示すフローチャート図である。実施形態６に係る仮想現実提示システムにおける注意喚起処理の流れを示すフローチャート図である。仮想現実提示システムが提供する仮想現実の世界の仮想現実度を説明する図である。実施形態７に係る仮想現実提示システムの機能構成を示すブロック図である。実施形態７に係る仮想現実提示システムの変形例に係る機能構成を示すブロック図である。実施形態７に係る仮想現実提示システムの変形例に係る機能構成を示すブロック図である。映像補正処理が行われた場合に表示される映像と、ユーザが感知する景色とを説明する図である。領域別の提示可能仮想現実度と、仮想現実オブジェクトを含む映像における仮想現実度と、仮想現実度補正処理後の映像における仮想現実度と、の関係を説明する図である。実施形態８に係る仮想現実提示システムの機能構成を示すブロック図である。実施形態８に係る仮想現実提示装置の斜め前方と斜め後方からの外観斜視図である。実施形態８に係る仮想現実提示装置のライト表示パネル付近での断面図である。実施形態８に係る仮想現実提示装置の変形例のライト表示パネル付近での断面図である。実施形態８に係る仮想現実提示装置の変形例のライト表示パネル付近での断面図である。実施形態８に係る仮想現実提示装置の変形例のライト表示パネル付近での断面図である。実施形態８に係る仮想現実提示装置の変形例のライト表示パネル付近での断面図である。実施形態８に係る仮想現実提示装置の変形例の斜め前方と斜め後方からの外観斜視図である。変形例に係る仮想現実提示装置で生成される仮想現実オブジェクトの映像と、注意喚起のレベル毎に応じた表示パネルに表示される合成映像とを説明する図である。本発明の仮想現実提示システムの構成の一例を示すブロック図である。本発明の仮想現実提示装置における仮想現実の世界の提示方法を説明する図である。本発明の仮想現実提示装置がユーザに提示する仮想現実の世界と、ユーザが存在する現実の世界との係わり方を説明する図である。理想的な仮想現実提示装置がユーザに提示する仮想現実の世界と、ユーザが存在する現実の世界との係わり方を説明する図である。

以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。

＜実施形態１＞
図１は、本発明の実施形態１に係る仮想現実提示システム１０００の構成を示すブロック図である。仮想現実提示システム１０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、仮想現実提示中断制御部１０３０と、を備える。

周囲状況検知部１０１０は、仮想現実の提示を受けるユーザの周囲の状況を検知する。周囲状況検知部１０１０は、例えば、ユーザの周囲の景色を撮影することでユーザの周囲の状況を検知する。

仮想現実提示部１０２０は、ユーザに仮想現実の提示を行う。ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言う。

人間は、五感を用いて自身の周囲で生じる事象を感知し、感知した情報を脳で処理して状況把握を行う。従って、人間が有する感覚を欺くように映像を表示したり音声を出力したりすることで、仮想現実の世界を提示することができる。本明細書では、仮想現実提示部１０２０は、少なくとも仮想現実用の映像を表示することで仮想現実の提示をユーザに対して行い、更に好ましくは仮想現実用の音声を出力することで仮想現実の提示をユーザに対して行うものとする。

図２は、現実の世界と、表示される映像と、ユーザが感知する仮想現実の世界との対応関係を示している。ソファーが置かれている部屋にいるユーザに対して仮想現実提示部１０２０が仮想現実オブジェクトである犬の映像を表示することで、ユーザが見る世界（ユーザが感知する世界）は、ソファーの上に犬が寝ているという現実の世界とは異なる仮想現実の世界となる。

ここで、仮想現実オブジェクトとは、人為的に設定される仮想的な空間である仮想空間に配置されることで、仮想現実の世界に表される仮想的な人物や建築物などを指す。当該仮想空間が、ユーザの周囲の現実の空間に対応するように設定されることで、ユーザに仮想現実の世界が提示される。

各種の仮想現実オブジェクトは、３Ｄコンピュータグラフィックスで外観形状を規定する３Ｄポリゴンデータや、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータなどから構成される。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイントデータとポリゴンデータの頂点とが関連付けされており、関節ポイントの位置や角度を変更することで、関連付けされているポリゴンデータの頂点の位置が変更されることになり、仮想現実オブジェクトの外観形状が変化する。

仮想現実オブジェクトは、仮想現実の世界に配置されるオブジェクトの種類に応じて、人物オブジェクト、動物オブジェクト、非動物オブジェクト、その他のオブジェクトに分類することができる。各仮想現実オブジェクトには、その仮想現実オブジェクトを一意に識別するためのオブジェクトＩＤが割り当てられている。

人物オブジェクトとは、現実の人物や想像上・空想上の人物、歴史上の人物や創作上の人物などのオブジェクトであり、少なくとも動作が可能であり、また、好ましくは喋る（音声を出力する）ことが可能であると言う特徴を有する。

動物オブジェクトは、現実の動物や、想像上・空想上の動物、創作上の動物などのオブジェクトであり、動作が可能であると言う特徴を有する。また、動物オブジェクトの一部は、吠る（音声を出力する）と言った構成とすることが可能である。仮想現実の世界に配置される仮想的な動物であるため、人間と同様に言葉を喋る構成とすることも可能である。

非動物オブジェクトは、植物や、家具、建物などの静的なオブジェクトであり基本的に動作が無い物体である。但し、植物は、現実の世界で吹いている風に連動して一部動く構成としても良い。

その他のオブジェクトは、例えば背景のオブジェクトなどである。その他のオブジェクトは、仮想現実の世界を創り出すために単体で用いられても良いし、人物オブジェクトや動物オブジェクト等と組み合わせて用いられても良い。

図３は、仮想現実オブジェクトの一例を示している。仮想現実オブジェクトは、外観形状を規定する３Ｄポリゴンデータと、表面に張り付けられるテキスチャーデータなどから構成される。

仮想現実提示中断制御部１０３０は、周囲状況検知部１０１０で検知されたユーザの周囲の状況に基づいて、仮想現実の提示を中断する制御を行う。例えば、周囲状況検知部１０１０によってユーザから所定の距離以内に他人の存在が検知された場合に、仮想現実の提示を中断する制御を行う。仮想現実提示部１０２０は、当該仮想現実提示中断制御部１０３０からの制御に基づいて、現在行っている仮想現実の提示を中断する。

以上のように、本実施形態１の仮想現実提示システム１０００は、ユーザに仮想現実を提示する一方、ユーザの現実の世界における周囲の状況をセンシングしておき、ユーザの現実の世界の周囲の状況に応じて仮想現実の提示を中断する。従って、他人と共有している現実の世界の状況に基づいて、ユーザに対して仮想現実の世界と現実の世界のどちらを感知させるかを切り替えることができ、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮することができる。

＜実施形態２＞
図４は、本実施形態２に係る仮想現実提示システム２０００の構成を示すブロック図である。仮想現実提示システム２０００は、仮想現実提示システム２０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、仮想現実提示中断制御部１０３０と、ユーザ状態検知部２０１０と、を備える。また、仮想現実提示部１０２０は、映像生成処理部１０２１と、映像表示部１０２２と、を備える。

ユーザ状態検知部２０１０は、ユーザの現在の状態を検知し、ユーザの現在の状態を示すユーザ状態情報を生成する。本実施形態２における仮想現実提示システム２０００において、ユーザ状態検知部２０１０は、ユーザの頭部の傾きを検知する傾きセンサ２０１１と、ユーザの頭部の加速度を検知する加速度センサ２０１２と、を備える。当該傾きセンサ２０１１における検知結果や、加速度センサ２０１２における検知結果は、ユーザ状態情報として、映像生成処理部１０２１に出力される。

映像生成処理部１０２１は、仮想現実提示用の映像を生成する。映像生成処理部１０２１は、ユーザ状態検知部２０１０で検知されるユーザの現在の状態に基づいて、仮想現実提示用の映像を生成し、生成した映像を映像表示部１０２２に出力する。仮想現実提示用の映像としては、例えば、ユーザ状態検知部２０１０で検知されたユーザの状態に基づいて求められる視点位置及び視点方向から仮想現実オブジェクトを描画した映像がある。

映像表示部１０２２は、映像生成処理部１０２１で生成された映像を表示することで、仮想現実の提示を行う。例えば、映像表示部１０２２は、仮想現実提示装置としてユーザが装着するヘッドマウントディスプレイ装置において、ユーザの目の前方に配置される表示ディスプレイなどが該当する。

仮想現実提示中断制御部１０３０は、仮想現実の提示を中断する制御として、仮想現実オブジェクトの映像表示を中断させる指示を映像表示部１０２２に出す。当該指示を受け取った映像表示部１０２２は、映像生成処理部１０２１で生成される映像の表示を中断する。

なお、仮想現実提示中断制御部１０３０は、仮想現実の提示を中断する制御として、映像生成処理部１０２１に仮想現実オブジェクトの映像の生成を中断させる指示を出す構成としても良い。当該指示を受け取った映像生成処理部１０２１は、仮想現実提示用の映像の生成を中断する。

以上のように、本実施形態２に係る仮想現実提示システム２０００によれば、仮想現実提示用の映像を表示することでユーザに仮想現実の世界を提示する。人間は視覚によって得る情報量が他の感覚で感知する情報量よりも遥かに多い。そこで、人間の視覚に対して錯覚を起こすように、ユーザの状態に基づいて制御される映像を表示することで、ユーザを仮想現実の世界に引き込むことが可能となる。

なお、本実施形態２に係る仮想現実提示システム２０００は、図５に示す構成とすると更に良好である。図５に示す仮想現実提示システム２０００は、仮想現実オブジェクト記憶部２０２０と、仮想現実オブジェクト配置部２０３０と、を更に備え、映像生成処理部１０２１は、視点制御部１０２１−１と、描画処理部１０２１−２を備える点を特徴としている。

仮想現実オブジェクト記憶部２０２０は、仮想現実オブジェクトを記憶する。仮想現実オブジェクトは、例えば、外観形状を規定するポリゴンデータと、表面に張り付けられるテキスチャーデータと含んで構成される。

仮想現実オブジェクト配置部２０３０は、仮想現実オブジェクト記憶部２０２０に記憶されている仮想現実オブジェクトを読み出して仮想空間に配置する。

視点制御部１０２１−１は、ユーザの状態を示すユーザ状態情報に基づいて仮想現実オブジェクトを描画する際の視点の位置及び方向を制御する。具体的には、ユーザ状態情報に含まれるユーザの頭部の傾きを示す傾き情報やユーザの頭部の加速度を示す加速度情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間での視点位置を算出する。また、加速度情報に基づいて、ユーザの視線の方向に対応する仮想空間での視線方向を算出する。ここで、視線方向は、ユーザが眼球のみを移動させた場合の視線の方向ではなく、ユーザの頭部の方向、すなわちユーザが装着しているＨＭＤ装置の方向と対応している。視点制御部１０２１−１は、ユーザ状態情報に基づいて、ユーザの目の位置及び頭部の方向に対応する仮想空間における視点の位置及び視線の方向を算出する。

描画処理部１０２１−２は、仮想現実オブジェクトをリアルタイムにレンダリングして映像を生成する。描画処理部１０２１−２で生成された映像は、映像表示部１０２２で表示される。

例えば、描画処理部１０２１−２は、視点制御部１０２１−１で求められた視点の位置及び視線の方向に基づいて、仮想空間内の所定の位置にイメージプレーンを設定し、仮想現実オブジェクトを投影することで、仮想現実オブジェクトの投影画像を取得する。描画処理部１０２１−２は、仮想現実オブジェクトが投影されたイメージプレーンのクリッピング処理を行い、映像表示部１０２２で表示される範囲を選択する。

描画処理部１０２１−２は、仮想現実オブジェクトの表面に張り付けられるテキスチャーデータを用いてテキスチャーマッピング処理を行い、アンチエリアシング処理等の補正処理を適宜行い、最終的に映像表示部１０２２で表示される映像を生成する。

当該構成とすることで、人工的に創り出される仮想現実オブジェクトが存在する仮想現実の世界をユーザに提示することができる。

また、本実施形態２に係る仮想現実提示システム２０００は、図６に示す構成とすると更に良好である。図６に示す仮想現実提示システム２０００において、仮想現実提示部１０２０は、映像生成処理部１０２１と映像表示部１０２２に加えて音声出力部１０２３を備えることを特徴とする。また、図６に示す仮想現実提示システム２０００は、中断用映像データ記憶部２０４０と、仮想現実提示用音声データ記憶部２０５０と、中断用音声データ記憶部２０６０と、を備える。

映像表示部１０２２は、映像表示制御部１０２２−１と表示パネル１０２２−２とを備える。映像表示制御部１０２２−１は、映像生成処理部１０２１で生成される仮想現実オブジェクトの映像を入力し、表示パネル１０２２−２に表示する制御を行う。

また、映像表示制御部１０２２−１は、仮想現実提示中断制御部１０３０より仮想現実の提示の中断を指示する指示信号を入力した場合は、表示パネル１０２２−２に仮想現実オブジェクトの映像を表示することを中断する。

また、上記仮想現実提示の中断指示を受けた場合、映像表示制御部１０２２−１は、中断用映像データ記憶部２０４０に記憶されている中断用映像データを読み出し、表示パネル１０２２−２に中断用映像を表示する制御を行う。

図７は、仮想現実提示中断制御に基づいて表示される当該中断用映像の一例を示している。映像表示制御部１０２２−１は、映像生成処理部１０２１で生成された仮想現実オブジェクトである犬の映像を現実の世界に重ねあわさるように表示パネル１０２２−２に表示することで仮想現実を提示している。ここで、仮想現実提示中断制御部１０３０より仮想現実の提示中断指示が出された場合、映像表示制御部１０２２−１は、中断用映像データ記憶部２０４０より中断用映像データを読み込み、表示パネル１０２２−２に中断用映像を表示する。

図７では、中断用映像データとして「車接近により仮想現実提示を中断しました」と言う内容を示す画像データが用いられている。映像表示制御部１０２２−１が、表示パネル１０２２−２で表示する映像の入力元を映像生成処理部１０２１から中断用映像データ記憶部２０４０に切り替え、中断指示に基づいて仮想現実オブジェクトの映像の表示を中断する制御を行う。

映像生成処理部１０２１で生成される仮想現実オブジェクトの映像は、ユーザ状態検知部２０１０で検知されるユーザの現在の状態に基づいて制御されている。すなわち、映像生成処理部１０２１は、ユーザの現在の状態に基づいて仮想現実オブジェクトの映像を生成するため、ユーザが移動したり首を傾けたりすると言った動作と連動して生成される映像が変化していく。

図８は、ユーザの状態が変化する場合におけるユーザの周囲の現実の世界の景色と、表示パネル１０２２−２に表示される映像、すなわち、映像生成処理部１０２１が生成する映像と、仮想現実が提示されているユーザが感知する景色との時間変化を示している。

図８において、ユーザは、ソファーが置かれている部屋で首を１２０度時計方向に回転させている。犬の仮想現実オブジェクトが仮想現実オブジェクト配置部２０３０によって仮想空間に配置されており、映像生成処理部１０２１は、ユーザ状態検知部２０１０で検知されるユーザの目の位置及び頭部の方向に対応する視点位置及び視線方向に基づいて、仮想空間に配置されている仮想現実オブジェクトを描画する。従って、映像生成処理部１０２１が生成する仮想現実オブジェクトの映像は、ユーザの首の動きに連動して変化していく。そのため、現実の世界の景色と重ねて表示パネル１０２２−２で表示されている映像を視ているユーザには、現実の世界に置かれたソファーの上に仮想現実オブジェクトで表される犬が寝そべっているという仮想現実の世界が感知される。

一方、図９は、仮想現実の提示が中断され、中断用映像が表示パネル１０２２−２に表示されている場合においてユーザが感知する景色の時間変化を示している。ユーザが首を回転することによってユーザの視界に入る景色は変わっていく。一方、映像表示制御部１０２２−１は、表示パネル１０２２−２の同一位置に中断用映像を表示し続ける。中断用映像は、仮想現実の提示を中断したことユーザに認識させるために表示されるものであるため、ユーザの状態の変化に係わらず中断用映像がユーザの視界に入り続ける。

このように、仮想現実の提示に係る仮想現実オブジェクトの映像は、ユーザ状態の変化に連動して、表示パネル１０２２−２における表示位置や仮想現実オブジェクトの形状が変化するものであるのに対し、中断用映像は、一定期間又は中断理由が解消するまで表示パネル１０２２−２に、ユーザの状態の変化に連動することなく表示される。

仮想現実提示用音声データ記憶部２０５０は、仮想現実提示用の音声データを記憶する。当該仮想現実提示用音声データは、仮想現実オブジェクト記憶部２０２０に記憶される仮想現実オブジェクトと関連付けされている。

図１０は、仮想現実オブジェクトと、当該仮想現実オブジェクトに関連付けられた仮想現実提示用音声データとを管理する管理ファイルの一例である。各仮想現実オブジェクトには、当該オブジェクトを一意に識別するオブジェクトＩＤが割り当てられている。また、各仮想現実オブジェクトは、複数の種別によって分類分けされている。種別１は、仮想現実オブジェクトの大まかな分類を示しており、人間を表した人間オブジェクトであるか、動物を表した動物オブジェクトであるか等が示されている。種別２は、当該オブジェクトが現実の世界にあるものを表したオブジェクトであるか、想像上の物体や人物を表したオブジェクトであるかが示されている。種別Ｎは、より詳細な分類が示されている。

人間オブジェクトや動物オブジェクトのように、音声を発する能力を有する人間や動物を表したオブジェクトには、当該オブジェクトが発する音声と関連付けされている。例えば、オブジェクトＩＤ０００００１の仮想現実オブジェクトには、Ｍ００１．ｍｐ３、Ｍ００３．ｍｐ３、Ｍ０３４．ｍｐ３の音声データが関連付けされている。

中断用音声データ記憶部２０６０は、仮想現実の提示を中断する際に再生する中断用音声データを記憶する。中断用音声データとしては、例えば「車接近により仮想現実提示を中断しました」と言う文章を読み上げた音声などが該当する。

音声出力部１０２３は、仮想現実提示用音声データや中断用音声データを読み込み、音声として出力する。音声出力部１０２３は、音声再生制御部１０２３−１と、スピーカ１０２３−２とを備える。

ユーザに対して仮想現実を提示する場合、音声再生制御部１０２３−１は、仮想現実提示用音声データを仮想現実提示用音声データ記憶部２０５０より読み出して再生する。具体的には、音声再生制御部１０２３−１は、ユーザ状態検知部２０１０で検知されるユーザの状態に基づいて、仮想現実提示用音声データを複数のチャンネルの音声データに分配する。音声再生制御部１０２３−１は、分配した各音声データにＤＡ変換処理や増幅処理を行ってアナログ音声信号に変換し、当該アナログ音声信号をスピーカ１０２３−２に出力する。

スピーカ１０２３−２は、音声再生制御部１０２３−１より出力された各チャンネルのアナログ音声信号を空気振動に変換して外部へ放音する。

当該構成によれば、仮想現実の提示が中断されたことをユーザは、中断用映像や中断用音声によって明確に認識することができる。また、通常人間が視覚の次に外部より情報を得ている聴覚を介して仮想現実を提示することで、ユーザはより自然に仮想現実の世界に入り込むことが可能となる。

なお、再生される音声が自然な音声となるように、６．１Ｃｈや７．１Ｃｈと言った多数のチャンネルで音声を再生できる構成とすることが好ましい。

また、音声再生制御部１０２３−１で再生される仮想現実提示用音声データは、仮想現実提示用音声データ記憶部２０５０に予め記憶されている構成に限定されるものではなく、音声合成によって適宜生成される構成としても良い。例えば、仮想現実提示用音声データ記憶部２０５０には、音声合成の元となる音声基礎データが記憶される構成とし、別途備えられる音声合成処理部が当該音声基礎データを音声出力コンテキストに従って合成することで仮想現実提示用の合成音声データを生成する構成とすると更に良好である。当該音声基礎データは、仮想現実オブジェクトに関連付けられる音声の単位となるデータであり、例えば仮想現実オブジェクトで表される人物が発する５０音などの肉声を収録した音声データである。当該合成音声データが音声再生制御部１０２３−１に出力され、音声再生制御部１０２３−１は、当該合成音声データを再生する。

また、仮想現実オブジェクトで表される人物や動物が実際に音声を発しているように、音声の発生源が仮想現実オブジェクトの方向から来るように音声再生制御部１０２３−１は、音声を再生する制御を行う構成とすることが好ましい。そこで、図１１に示す仮想現実提示システム２０００のように、仮想現実オブジェクト配置部２０３０は、音声再生制御部１０２３−１に、仮想空間に配置している各仮想現実オブジェクトの位置を示す仮想現実オブジェクト位置情報を出力する構成とすると更に良好である。

音声再生制御部１０２３−１は、仮想現実オブジェクト位置情報で示される仮想現実オブジェクトの位置座標と、ユーザ状態検知部２０１０で生成されるユーザの状態を示すユーザ状態情報に基づいて求まるユーザの位置座標（ユーザの左耳の位置座標と右耳の位置座標）とに基づいて、ユーザ位置から見た仮想現実オブジェクトの方向と距離を特定する。音声再生制御部１０２３−１は、当該特定した仮想現実オブジェクトの方向に基づいて、再生する音声データを複数のチャンネルに分配する分配処理を行って、各チャンネルの音声データを生成する。また、当該特定した仮想現実オブジェクトまでの距離に基づいて、再生する音声データを増幅する増幅処理を行い、各チャンネルからスピーカ１０２３−２へ出力される音声を生成する。

このように、音声データを分配することで、ユーザには仮想現実オブジェクトで表される人物や動物の方向より音声が聞こえてくるため、実際に仮想現実オブジェクトで表される人物が喋ったり、動物が鳴いたりしているように聞こえる。また、仮想現実オブジェクトまでの距離に基づいて、音声レベルが調整されることで、実際にユーザが見えている仮想現実オブジェクトから音声が発せられているようにユーザには感知される。そのため、ユーザは、本来は現実の世界には存在していない仮想現実オブジェクトで表される人物や動物等が存在している仮想現実の世界により深く引き込まれていくことになる。

なお、仮想現実提示中断制御部１０３０は、様々な中断理由に基づいて仮想現実を提示する制御を行う場合がある。この場合、ユーザにはどのような理由で仮想現実の提示が強制的に中断されたのかを通知できることが好ましい。当該中断理由を確認したユーザが、当該中断理由が解消するように自ら行動することで再び仮想現実の提示を受けることができるためである。

そこで、本実施形態２に係る仮想現実提示システム２０００は、図１２に示す構成とすると更に良好である。図１２に示す仮想現実提示システム２０００は、図１１の場合と比較して、新たに中断用映像データ選択処理部２０７０と、中断用音声データ選択処理部２０８０とを新たに備えることを特徴とする。

中断用映像データ記憶部２０４０と、中断用音声データ記憶部２０６０とは、それぞれ複数種類の中断用映像データと中断用音声データとを記憶している。図１３は、当該中断用映像データと中断用音声データをそれぞれ管理する管理ファイルの一例である。

中断用映像データ記憶部２０４０と中断用音声データ記憶部２０６０は、それぞれ中断理由に応じた複数の中断用映像データと複数の中断用音声データとを記憶している。

仮想現実提示中断制御部１０３０は、仮想現実提示部１０２０において仮想現実コンテンツの映像が表示されたり、仮想現実提示用音声が出力されたりすることで仮想現実の提示が行われている場合において、所定の中断事由が発生した場合に、仮想現実の提示を中断する制御を行う。具体的には、仮想現実提示中断制御部１０３０は、中断用映像データ選択処理部２０７０と中断用音声データ選択処理部２０８０に仮想現実提示の中断指示を出す。

ここで、仮想現実提示中断制御部１０３０は、中断用映像データ選択部２０７０と中断用音声データ設定部２０８０に中断事由を示す情報を含む中断指示信号を出力することで当該指示を行う。

中断用映像データ選択処理部２０７０は、仮想現実提示中断制御部１０３０からの中断指示で示される中断事由に対応する中断用映像データを中断用映像データ記憶部２０４０の中から選択して読み出し、映像表示制御部１０２２−１に出力する。

映像表示制御部１０２２−１は、中断用映像データ選択処理部２０７０で中断用映像データが読み出された場合に、仮想現実オブジェクトの映像に代えて当該中断用映像データを表示パネル１０２２−２に表示する制御を行う。

同様に、中断用音声データ選択処理部２０８０は、仮想現実提示中断制御部１０３０からの中断指示で示される中断事由に対応する中断用音声データを中断用音声データ記憶部２０６０の中から選択して読み出し、音声再生制御部１０２３−１に出力する。

音声再生制御部１０２３−１は、中断用音声データ選択処理部２０８０で中断用音声データが読み出された場合に、仮想現実提示用音声データの再生に代えて当該中断用音声データを再生してスピーカ１０２３−２より出力する制御を行う。

当該構成によれば、ユーザなどのような理由で仮想現実の提示が中断されたかを適切に認識することができるため、引き続き仮想現実の世界を堪能したいユーザは、当該中断事由を解消するように行動することで、素早く仮想現実の世界に戻ることができる。

なお、この場合、仮想現実提示中断制御部１０３０は、中断事由が解消した場合に、仮想現実提示部１０２０に仮想現実の提示を再開させる制御を行う。例えば、仮想現実提示中断制御部１０３０は、映像表示制御部１０２２−１に、中断用映像の表示を停止し、映像生成処理部１０２１で生成される仮想現実オブジェクトの映像を表示パネル１０２２−２に表示させる指示を行う構成とすると良い。

＜実施形態３＞
ユーザに対する仮想現実の提示を行う場合は、他人が感知している現実の世界とは異なる仮想現実の世界をユーザが感知している一方で、ユーザの行動は、仮想現実の世界だけではなく現実の世界にも影響を与える。従って、当該仮想現実の提示を行う仮想現実提示システムが、ユーザの行動が現実の世界で与える影響を考慮しつつ、仮想現実の提示に関する全体制御を行うことが好ましい。

図１４は、本実施形態３に係る仮想現実提示システム３０００の構成を示すブロック図である。仮想現実提示システム３０００は、仮想現実提示システム１０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、仮想現実提示中断制御部１０３０と、仮想現実提示中断条件記憶部３０１０と、画像解析処理部３０２０と、を備える。

本実施形態３に係る仮想現実提示システム３０００において、周囲状況検知部１０１０は、少なくともユーザの周囲を撮影して周囲景色画像を取得する周囲撮影部１０１１を備える。周囲撮影部１０１１は、具体的には、ユーザが装着するＨＭＤ装置等の仮想現実提示装置に取り付けられたカメラに該当する。当該仮想現実提示装置には、少なくとも複数のカメラが周囲撮影部１０１１として設置されている。周囲撮影部１０１１で取得された周囲景色画像は周囲状況情報として画像解析処理部３０２０に出力される。

画像解析処理部３０２０は、周囲撮影部１０１１で撮影されたユーザの周囲の景色が写っている周囲景色画像を解析して所定の情報を抽出する処理を行う。本実施形態３に係る仮想現実提示システム３０００において、画像解析処理部３０２０は、物体距離算出部３０２１と、物体移動速度算出部３０２２とを備える。

物体距離算出部３０２１は、周囲景色画像に写っている物体の位置を特定する。具体的には、物体距離算出部３０２１は、周囲景色画像における隣接画素又は隣接ブロックの色差信号や輝度信号等を比較することで、当該周囲景色画像に写っている複数の物体の境界を特定し、特定した物体をラべリングする。物体距離算出部３０２１は、仮想現実提示装置に設置されている複数の周囲撮影部１０１１で取得された周囲景色画像について当該境界判定処理及びラべリング処理を行う。物体距離算出部３０２１は、同一のラベルが付与された物体の画像内位置の差分に基づいて、当該物体までの距離を算出する。ここで、物体距離算出部３０２１は、当該物体の位置座標を算出する構成とすると更に良好である。物体距離算出部３０２１は、算出した物体までの距離に関する情報を、物体移動速度算出部３０２２と、仮想現実提示中断制御部１０３０の仮想現実提示中断判定処理部１０３１に出力する。

物体移動速度算出部３０２２は、物体距離算出部３０２１で算出された物体までの距離の時間変化に基づいて、当該物体のユーザ方向への移動速度を算出する。なお、物体距離算出部３０２１が、周囲景色画像に写る各物体の位置座標を求める物体位置特定部として機能する場合は、物体移動速度算出部３０２２は、当該物体の位置座標の時間変化に基づいて、当該物体の移動ベクトルを算出する構成とすると更に良好である。物体移動速度算出部３０２２は、周囲景色画像に写る物体の移動速度及び移動方向を算出する。物体移動速度算出部３０２２は、算出した物体の移動速度を仮想現実提示中断制御部１０３０の仮想現実提示中断判定処理部１０３１に出力する。物体移動速度算出部３０２２が当該物体の移動ベクトルを算出する構成である場合は、物体移動速度算出部３０２２は、仮想現実提示中断制御部１０３０の仮想現実提示中断判定処理部１０３１に算出した移動速度及び移動方向を示す情報を出力する。

仮想現実提示中断条件記憶部３０１０は、仮想現実の提示を中断する条件である仮想現実提示中断条件を記憶する。図１５は、仮想現実提示中断条件の一例を示している。仮想現実提示中断条件として、複数の条件が仮想現実提示中断条件記憶部３０１０に記憶されている。

仮想現実提示中断制御部１０３０は、仮想現実提示中断判定処理部１０３１と、仮想現実提示中断指示部１０３２と、を備える。

仮想現実提示中断判定処理部１０３１は、周囲状況検知部１０１０で検知されたユーザの周囲の状況が仮想現実提示中断条件を満たしているかを判定する。仮想現実提示中断判定処理部１０３１は、周囲状況検知部１０１０で新たな検知結果が得られた場合、仮想現実提示中断条件記憶部３０１０に記憶されている仮想現実提示中断条件を読み出して上記検知結果と比較することで、ユーザの現在の周囲の状況が仮想現実提示中断条件を満たしているかを判定する。

具体的には、仮想現実提示中断判定処理部１０３１は、周囲状況検知部１０１０である周囲撮影部１０１１で撮影された周囲景色画像の画像解析結果で得られる情報が仮想現実提示中断条件を満たしているかを判定する。仮想現実提示中断判定処理部１０３１は、物体距離算出部３０２１よりユーザの周囲にある各物体までの距離を示す情報を、また、物体移動速度算出部３０２２より移動している物体の移動速度を示す情報をそれぞれ入力し、仮想現実提示中断条件と比較することで、仮想現実の提示を中断するための条件を満たしているかを判定する。

例えば、図１４に示す仮想現実提示中断条件の第６条件には、ユーザ方向への移動速度成分が秒速８ｍ以上の物体があることが中断の条件として設定されている。仮想現実提示中断判定処理部１０３１は、物体距離算出部３０２１でユーザまでの距離が求められた各物体の中にユーザの方向への移動速度が秒速８ｍ以上の物体がないかを物体移動速度算出部３０２２で求められる移動速度に基づいて判定する。

仮想現実提示中断判定処理部１０３１は、所定の間隔又は新たに周囲状況検知部１０１０や画像解析処理部３０２０より各種情報が入力された場合に、仮想現実提示中断条件として設定されている各条件との比較判定処理を行う。

仮想現実提示中断指示部１０３２は、仮想現実提示中断判定処理部１０３１における判定結果に基づいて、仮想現実提示部１０２０に仮想現実の提示を中断させる指示を出す。例えば、物体移動速度算出部３０２２で算出された物体の中に秒速１４ｍで移動する物体が存在する場合は、仮想現実の提示を中断するための条件を満たしているため、仮想現実提示中断指示部１０３２は、仮想現実提示部１０２０に仮想現実の提示の中断を指示する指示信号を出力する。

仮想現実の提示中に上記中断指示を受け取った仮想現実提示部１０２０は、仮想現実の提示を中断する。例えば、仮想現実提示部１０２０が仮想現実提示用の映像を表示している場合は、当該映像の表示を中断する。また、仮想現実提示部１０２０が仮想現実提示用の音声を出力している場合は、当該音声の出力を中断する。

以上のように、本実施形態３に係る仮想現実提示システム３０００によれば、予め様々な中断条件を記憶しておき、周囲状況検知部１０１０でリアルタイムに検知されるユーザの周囲の状況と当該中断条件を比較することで、適切に仮想現実の提示を制御できる。そのため、、ユーザを仮想現実の世界と現実の世界のどちらを感知させるかを切り替えることができ、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮することができる。

なお、仮想現実提示中断条件としては上述した条件に限定されるものではない。例えば、本実施形態３に係る仮想現実提示システム３０００は、図１６に示す構成とすることも可能である。図１６に示す仮想現実提示システム３０００において、画像解析処理部３０２０は、物体特定部３０２３と、物体種類特定部３０２４と、物体位置特定部３０２５と、ユーザ移動速度算出部３０２６と、物体距離算出部３０２１と、物体移動速度算出部３０２２と、を備える。

物体特定部３０２３は、周囲撮影部１０１１で取得された周囲景色画像に含まれる各物体を画像内における境界判定処理等によって特定し、特定した周囲景色画像内に写る各物体に対してラべリング処理を行う。

物体種類特定部３０２４は、物体特定部３０２３で特定された各物体の種類を特定する。具体的には、物体種類特定部３０２４は、予め現実の世界にある各物体の特徴パターンを記憶しておき、物体特定部３０２３で特定された物体と相関値の高い特徴パターンを検出するパターンマッチング処理を行う。物体種類特定部３０２４は、当該パターンマッチング処理で相関値が所定の基準値以上であった特徴パターンに対応付けられている種類を、当該物体の種類であるとして特定する。

ここで、物体種類特定部３０２４が特定する物体には、床や壁、人間と言ったものも物体として特定する。また、物体種類特定部３０２４は、床にある段差等も合わせて検出する構成とすることが好ましい。、物体種類特定部３０２４は、特定した各物体の種類を示す情報を仮想現実提示中断判定処理部１０３１に出力する。

物体位置特定部３０２５は、物体特定部３０２３で特定された各物体の位置座標を特定する。物体位置特定部３０２５は、複数の周囲景色画像に写る同一物体の画像内位置の差異に基づいて、当該物体の位置を特定する。

物体距離算出部３０２１は、物体位置特定部３０２５で求められた物体の位置座標とユーザ位置との差分ベクトルのノルムを算出することで当該物体までの距離を算出する。物体距離算出部３０２１は、算出した各物体までの距離を示す情報を仮想現実提示中断判定処理部１０３１に出力する。

物体移動速度算出部３０２２は、物体位置特定部３０２５で特定される物体の位置座標の時間変化に基づいて、当該物体の移動速度を算出する。物体移動速度算出部３０２２は、算出した各物体の移動速度をユーザ移動速度算出部３０２６及び仮想現実提示中断判定処理部１０３１に出力する。

ユーザ移動速度算出部３０２６は、物体移動速度算出部３０２２で算出される複数の物体の移動速度に基づいてユーザが移動しているかを特定し、ユーザが移動している場合にユーザの移動速度を算出する。ユーザが移動していると、周囲の全ての物体がユーザの方に相対的に移動していくことになる。従って、複数の物体の移動速度に基づいて、当該物体が移動しているのか、ユーザが移動しているのかを求めることができる。ユーザ移動速度算出部３０２６は、算出したユーザの移動速度を示す情報を仮想現実提示中断判定処理部１０３１に出力する。

仮想現実提示中断判定処理部１０３１は、画像解析処理部３０２０の各部より出力される各情報が、仮想現実提示中断条件記憶部３０１０に記憶される仮想現実提示中断条件を満たしているかを判定し、当該判定結果に基づいて仮想現実提示部１０２０に仮想現実提示の中断指示が行われることになる。

例えば、仮想現実提示中断判定処理部１０３１は、図１５の第１中断条件に従い、ユーザ移動速度算出部３０２６で求められたユーザの移動速度と、物体距離算出部３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の５ｍ以内の位置に物体があるかを判定する。当該判定の結果、ユーザの移動方向の５ｍ以内の位置に物体がある場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第２中断条件に従い、物体種類特定部３０２４で特定される各物体の種類と、物体距離算出部３０２１で求められる各物体までの距離とに基づいて、ユーザから３ｍ以内の位置に人間がいるかを判定する。当該判定の結果、ユーザから３ｍ以内の位置に人間がいる場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第３中断条件に従い、物体移動速度算出部３０２２で算出される物体の移動速度に基づいて、秒速１０ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。当該判定の結果、秒速１０ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第４中断条件に従い、ユーザ移動速度算出部３０２６で算出されるユーザの移動速度に基づいて、ユーザが秒速３ｍ以上で移動しているかを判定する。当該判定の結果、ユーザが秒速３ｍ以上の移動速度で移動している場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第５中断条件に従い、ユーザ移動速度算出部３０２６で求められたユーザの移動速度と、物体距離算出部３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の５ｍ以内の位置に段差があるかを判定する。物体特定部３０２３は、段差も物体として認識するため、当該判定が可能となる。当該判定の結果、ユーザの移動方向の５ｍ以内の位置に段差がある場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第６中断条件に従い、物体移動速度算出部３０２２で算出される物体の移動速度に基づいて、ユーザ方向への速度成分が秒速８ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。例えば、速度が速くてもユーザの遠方でユーザに対して平行に高速度で走る車などが存在しても問題となる可能性は低いためである。当該判定の結果、ユーザ方向への速度成分が秒速８ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第７中断条件に従い、ユーザ移動速度算出部３０２６で算出されるユーザの移動速度と、物体距離算出部３０２１で算出される物体までの距離とに基づいて、ユーザ移動方向に５秒以内に到達する物体があるかを判定する。例えば、ユーザの前方近くに段差があってもユーザの移動速度が十分小さければ直近の障害となる可能性は低いし、一方、ユーザの前方の遠くに段差があってもユーザの移動速度が十分早ければ障害となる可能性があるためである。当該判定の結果、ユーザ移動方向に５秒以内に到達する物体がある場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第８中断条件に従い、物体移動速度算出部３０２２で求められた物体の移動速度と、物体距離算出部３０２１で求められた各物体までの距離に基づいて、ユーザ方向への移動速度成分が秒速３ｍ以上の物体であって、ユーザからの距離が２０ｍ以内である物体が存在するかを判定する。このように複数の条件を併用して仮想現実の提示の中断を行うかどうかの判定が行われても良い。当該判定の結果、これらの条件を満たす物体がある場合に、仮想現実の提示を中断すると判定する。

なお、上述した判定条件や入力する情報の種類は一例であり、適宜変更が可能である。例えば、仮想現実提示システム３０００は、図１７に示す構成とすることも可能である。図１７に示す仮想現実提示システム３０００は、ユーザの状態を検知するユーザ状態検知部２０１０、音声を入力する音声入力部３０３０、ユーザの行動を特定するユーザ行動特定部３０４０、を備えることを特徴とする。

図１７に示す仮想現実提示システム３０００では、ユーザ状態検知部２０１０は、ユーザ位置検出部２０１３と、ユーザ移動速度検知部２０１４と、ユーザ方位検出部２０１５とを備える。

ユーザ位置検出部２０１３は、例えばユーザが装着する仮想現実提示装置に設置されたＧＰＳ受信機であって、定期的にユーザの現在位置を検出して現在位置情報を生成する。ユーザ位置検出部２０１３は、ユーザの現在位置を示す現在位置情報を仮想現実提示中断判定処理部１０３１に出力する。

ユーザ移動速度検知部２０１４は、ユーザの移動速度を検知する。ユーザ移動速度検知部２０１４は、ユーザが装着する仮想現実提示装置に設置された加速度センサ等で得られる加速度情報に基づいて移動速度を検知しても良いし、ユーザ位置検出部２０１４で検出されるユーザの現在位置の差分から移動速度を検知しても良い。

このように、図１７に示す仮想現実提示システム３０００は、図１６に示す仮想現実提示システム３０００と比較して画像解析処理とは異なる方法でユーザの移動速度を取得する。ユーザ移動速度検知部２０１４は、検知したユーザの移動速度を示す情報を仮想現実提示中断判定処理部１０３１に出力する。

ユーザ方位検出部２０１５は、ユーザの向いている方向（方位）を検出する。ユーザ方位検出部２０１５は、例えば、ユーザが装着する仮想現実提示装置に取り付けられた方位磁石等で構成しても良いし、加速度センサで検知される加速度情報に基づいて、ユーザの方向を検出しても良い。ユーザ方位検出部２０１５は、検出したユーザの方向を示す情報を仮想現実提示中断判定処理部１０３１に出力する。

音声入力部３０３０は、周囲の音声を入力する。具体的には、音声入力部３０３０は、ユーザが装着する仮想現実提示装置に設置されているマイクロフォンとすることができる。

ユーザ行動特定部３０４０は、周囲状況検知部１０１０で検知されるユーザの周囲の状況や、音声入力部３０３０で入力される音声、また、必要に応じてユーザ状態検知部２０１０で検知されるユーザの状態等に基づいてユーザが現在行っている行動を特定する。

例えば、ユーザ行動特定部３０４０は、周囲状況検知部１０１０で取得される周囲景色画像に車のハンドルが写っており、音声入力部３０３０で入力される音声に車のエンジン音が含まれている場合に、ユーザは車を運転していると特定する。その他、ユーザが通勤している、寝ている、休憩している、仕事をしている、など、ユーザの行動を特定する。ユーザ行動特定部３０４０は、特定したユーザの行動を示す情報を、仮想現実提示中断判定処理部１０３１に出力する。

仮想現実提示中断判定処理部１０３１は、図１５の第９中断条件に従い、ユーザ位置検出部２０１３で検出された現在位置が、仮想現実の提示ができない位置範囲であるかを判定する。例えば、駅のホームでは仮想現実の提示が禁止されている場合、当該駅のホームの位置範囲が中断条件として記憶されることになる。図１５では、ユーザの現在位置のＧＰＳ座標が、緯度３８．１２１〜３８．２５３、経度１３５．１２４〜１３５．１３１の範囲内である場合に、仮想現実の提示を中断すると判定する。

また、例えば、仮想現実提示中断判定処理部１０３１は、図１５の第１０中断条件に従い、ユーザ行動特定部３０４０で特定されたユーザの現在の行動が車を運転していると言う行動であった場合に、仮想現実の提示を中断すると判定する。

なお、仮想現実提示中断条件記憶部３０１０が記憶する仮想現実提示中断条件は、ユーザに提示されている仮想現実の種類に応じて適宜選択される構成とすると良い。

例えば、「ドラゴンと戦う」と言った内容の仮想現実が提示されているユーザは、体を動かすことが想定されるため、近くに人間がいると問題になることがある。そこで、仮想現実提示中断判定処理部１０３１は、上記第２中断条件に基づく判定を行う。一方、「家の中に花瓶を飾る」と言った内容の仮想現実が提示されているユーザは、近くに他人がいても問題となる可能性は低い。そこで、仮想現実提示中断判定処理部１０３１は、上記第２中断条件に基づく判定は行わない。

このように、各中断条件は、ユーザに提示される仮想現実の種類に応じて決定される構成とすると更に良好である。この場合、仮想現実提示システム３０００は、図１８の構成を取ることが好ましい。図１８に示す仮想現実提示システム３０００は、仮想現実管理制御部３０４０を備える。

仮想現実管理制御部３０４０は、仮想現実提示部１０２０が提示する仮想現実の管理や制御を行う。仮想現実管理制御部３０４０はユーザからの要求等に基づいて、ユーザに提供する仮想現実サービスを決定し、仮想現実提示部１０２０に当該決定した仮想現実サービスに係る仮想現実を提示するように指示する。

また、仮想現実管理制御部３０４０は、仮想現実提示部１０２０が提示している仮想現実に係る仮想現実サービスを識別する仮想現実サービス識別番号を仮想現実提示中断判定処理部１０３１に通知する。

各仮想現実サービスには、判定に用いられる中断条件が対応付けられている。図１９は、各仮想現実サービスと中断条件との対応関係を管理する管理ファイルである。仮想現実提示中断判定処理部１０３１は、仮想現実管理制御部３０４０より仮想現実提示部１０２０で提示される仮想現実に係る仮想現実サービスを識別する情報を入力した場合、当該管理ファイルを参照して判定処理に用いる中断条件を特定する。例えば、仮想現実サービスがＮｏ：ＶＲＳ０００１で識別される仮想現実サービスである場合は、第１中断条件と第３中断条件を満たしているかどうかの判定処理を行う。このように、提示される仮想現実に応じて適宜判定に用いられる中断条件が選択される構成とすることで不要に中断を発生させることなく、適切な中断処理を行うことが可能となる。

また、判定処理に用いられる各中断条件は、仮想現実の提示を受けているユーザに応じて決定される構成とすると更に良好である。各ユーザは予め中断条件を設定しておき、仮想現実提示中断判定処理部１０３１は、当該ユーザ毎に定まる中断条件を用いて当該ユーザに提示されている仮想現実を中断するかを判定する。このように構成されていても良い。

＜実施形態４＞
仮想現実提示システムを使用しているユーザは、現実の世界とは異なる仮想現実の世界を感知している。この時、ユーザは、自身が感知している世界が人工的に創り出された仮想現実の世界であると疑念を抱いている場合もあれば、現実の世界であると完全に錯覚している場合もある。

このことは、仮想現実の提示を受けているユーザがどの程度自身が感知している世界が現実の世界を感知していると錯覚しているかの度合いを示す錯覚度と言う概念を導入することができる。

仮想現実の提示を受けているにも関わらずユーザが自身の感知している世界が現実の世界であると完全に信じきっている場合は、錯覚度が１００となる。一方、仮想現実の提示を受けているユーザが、自身が感知している世界が人工的に創り出された仮想現実の世界であることを理解しており、自身が感知しているどの部分が人工的な部分でどの部分が現実の部分であるかを明確に判別可能な状態で認識している場合は、錯覚度は０となる。図２０に示すように、仮想現実の提示を受けているユーザは、連続的なこの錯覚度のいずれかの状態に置かれていることになる。

実施形態１〜３で示した仮想現実中断機能は、所定の事由が発生した場合に、ユーザの錯覚度を瞬間的に０に戻し、ユーザを仮想現実の世界から現実の世界に引き戻す処理を行っていることと等価であると言える。

図２１はユーザの錯覚度の時間変化を示している。Ｔ０で仮想現実の提示が開始され、Ｔ１で仮想現実の提示の中断が、Ｔ２で仮想現実の提示の再開が行われた場合を示している。仮想現実の提示が開始されたＴ０付近では、ユーザは新たに現れた仮想現実オブジェクトで表される物体や人物の存在に違和感を抱くためユーザの錯覚度は低い。しかしながら、時間の経過と共に、当該仮想現実オブジェクトで表される人物等がユーザの動作と連動するように制御され、現実の世界と溶け込むように挙動することで、ユーザは当該仮想現実オブジェクトで表されている人物等が人工的に創り出されている仮想現実オブジェクトであると言うことを忘れ、あたかもそれが現実の人物等であると錯覚しだすようになる。すなわち、錯覚度が上昇していく。

ここで、中断事由に付き、Ｔ１のタイミングで仮想現実オブジェクトの映像表示が中断されると、ユーザは直ちに現在見ていた仮想現実オブジェクトで表される人物等が、現実の世界のものではなく、人工的に創り出された仮想現実オブジェクトであったことを認識し、錯覚度が０に落ち込む。Ｔ２で仮想現実の提示が再開されたとしても、ユーザの錯覚度は下がってしまっていることに加え、再度感知するようになる人物等が仮想現実オブジェクトであると明確に認識してしまっているため、錯覚度がなかなか上がっていかないと言うことになる。

仮想現実提示システムは、ユーザを現実の世界とは異なる仮想現実の世界に入り込ませることで、現実の世界では物理的制約や社会的制約によって実現不可能な世界を堪能させることを主目的としているため、ユーザの錯覚度が高い状態を維持できることが好ましい。しかしながら、上記仮想現実の中断が頻繁に行われるとユーザの錯覚度が一向に上がらず、ユーザが仮想現実の世界に入り込むと言ったことができないと言う課題が発生していた。

このような課題を鑑み、本実施形態４に係る仮想現実提示システムでは、仮想現実の世界を感知しているユーザの行動が現実の世界に与える影響を考慮しつつ、ユーザが仮想現実の世界を体感し続けることを可能とすることを特徴としている。

図２２は、本実施形態４に係る仮想現実提示システム４０００の構成を示すブロック図である。仮想現実提示システム４０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、ユーザ状態検知部２０１０と、注意喚起制御部４０１０と、を備える。周囲状況検知部１０１０は、ユーザの周囲の状況を検知し、ユーザ状態検知部２０１０は、ユーザの現在の状態を検知する。

仮想現実提示部１０２０は、映像生成処理部１０２１と、映像表示部１０２２と、音声出力部１０２３と、を備える。映像生成処理部１０２１は、ユーザ状態検知部２０１０で検知されるユーザの現在の状態に基づいて仮想現実提示用の映像を生成する。映像表示部１０２２は、映像生成処理部１０２１で生成された映像を表示する。音声出力部１０２３は、映像生成処理部１０２１が生成する仮想現実用の映像と対応する音声を出力する。

注意喚起制御部４０１０は、周囲状況検知部１０１０で検知されたユーザの周囲の状況に基づいて、映像表示部１０２２又は音声出力部１０２３を用いてユーザに注意喚起を行う。

例えば、注意喚起制御部４０１０は、注意喚起用の映像を映像表示部１０２２に表示させることで注意喚起を行う。この時、映像表示部１０２２は、映像生成処理部１０２１で生成される仮想現実用の映像と注意喚起用の映像とを多重して表示することで、仮想現実の提示を中断することなくユーザに注意喚起を行う。

また、例えば、注意喚起制御部４０１０は、注意喚起用の音声を音声出力部１０２３に出力させることで注意喚起を行う。この時、音声出力部１０２３は、仮想現実提示用の音声とと注意喚起用の音声とを多重して出力することで、仮想現実の提示を中断することなくユーザに注意喚起を行う。

以上のように、本実施形態４に係る仮想現実提示システム４０００によれば、仮想現実の提示を中断することなく、現実の世界における状況に基づく注意喚起をユーザに与える。従って、ユーザの錯覚度を大きく下げることなく、ユーザの行動が現実の世界に与える影響を制御することが可能となる。

図２３は、注意喚起が行われている場合において、現実の世界の景色と、映像表示部１０２２で表示される映像と、ユーザが感知する景色との時間変化を示している。ユーザの頭部の回転に伴って、タイミングＴ３より仮想現実オブジェクトである犬の映像が表示され始める。Ｔ５のタイミングで注意喚起用の映像が表示されることで注意喚起が行われるが、仮想現実オブジェクトの映像は表示され続ける。従って、注意喚起が行われた状態であっても、ユーザは仮想現実オブジェクトで示される犬がソファーに寝そべっているという仮想現実の世界を感知し続けることになる。

なお、本実施形態４に係る仮想現実提示システム４０００は、図２４に示す構成とすると更に良好である。図２４に示す仮想現実提示システム４０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、ユーザ状態検知部２０１０と、仮想現実オブジェクト記憶部２０２０と、仮想現実オブジェクト配置部２０３０と、仮想現実提示用音声データ記憶部２０５０と、注意喚起制御部４０１０と、注意喚起用映像データ記憶部４０２０と、注意喚起用音声データ記憶部４０３０と、を備える。

注意喚起用映像データ記憶部４０２０は、注意喚起用の映像データを記憶する。また、注意喚起用音声データ記憶部４０３０は、注意喚起用の音声データを記憶する。

仮想現実提示部１０２０は、映像生成処理部１０２１と、映像表示部１０２２と、音声出力部１０２３を備える。映像表示部１０２２は、映像表示制御部１０２２−１と表示パネル１０２２−２とを備える。音声出力部１０２３は、音声再生制御部１０２３−１とスピーカ１０２３−２とを備える。映像表示制御部１０２２−１及び音声再生制御部１０２３−１は、それぞれ注意喚起制御部４０１０からの指示に従って、それぞれ注意喚起用映像データ記憶部４０２０と注意喚起用音声データ記憶部４０３０より注意喚起用の映像データと音声データを読み出して表示及び出力を行う。

図２５は、仮想現実提示部１０２０の具体的構成を示すブロック図である。当該仮想現実提示部１０２０において、映像表示制御部１０２２−１は、映像データ読み出し部１０２２−１ａと、映像多重処理部１０２２−１ｂと、を備える。

映像データ読み出し部１０２２−１ａは、注意喚起制御部４０１０より注意喚起指示を受けると、注意喚起用映像データ記憶部４０２０より注意喚起用映像データを読み出し、映像多重処理部１０２２−１ｂに出力する。

映像多重処理部１０２２−１ｂは、映像生成処理部１０２１で生成される仮想現実オブジェクトの映像と、映像データ読み出し部１０２２−１ａで読み出された注意喚起用の映像とを重ねる多重化処理を行い、多重後の映像を表示パネル１０２２−２で表示する。

また、音声映像表示制御部１０２３−１は、音声データ読み出し部１０２３−１ａと、ＤＡ変換処理部１０２３−１ｂと、音声多重処理部１０２３−１ｃと、を備える。

音声データ読み出し部１０２３−１ａは、仮想現実提示用音声データ記憶部２０５０に記憶されている仮想現実提示用音声データを読み出す。音声データ読み出し部１０２３−１ａは、仮想現実オブジェクト配置部２０３０が仮想空間に配置している仮想現実オブジェクトに関連付けられた仮想現実提示用音声データを読み出し、ＤＡ変換処理部１０２３−１ｂに出力する。

また、音声データ読み出し部１０２３−１ａは、注意喚起制御部４０１０より注意喚起指示を受けると、注意喚起用音声データ記憶部４０３０より注意喚起用音声データを読み出し、ＤＡ変換処理部１０２３−１ｂに出力する。

ＤＡ変換処理部１０２３−１ｂは、音声データ読み出し部１０２３−１ａで読み出された仮想現実提示用音声データと、注意環境音声データとをそれぞれデジタル音声データからアナログの音声信号に変換する処理を行う。変換されたアナログ音声信号は、音声多重処理部１０２３−１ｃに出力される。

音声多重処理部１０２３−１ｃは、アナログ音声信号に変換された仮想現実用音声と注意喚起用音声とを重ねる多重化処理を行う。音声多重処理部１０２３−１ｃで重ね合された音声はスピーカ１０２３−２より外部へ放音される。

なお、より好ましくは、仮想現実オブジェクト配置部２０３０が仮想空間に配置している仮想現実オブジェクトの配置位置座標とユーザ状態検知部２０１０が検知するユーザ状態に基づいて求まるユーザ位置とに基づいて、仮想現実提示用音声を複数のチャンネルに重み付けして分配する音声分配処理部を備える構成とすることが好ましい。この場合、注意喚起用音声は、ユーザ状態や仮想現実オブジェクトの配置位置に関係なく、複数のチャンネルに均等に分配する構成とすることができる。

＜実施形態５＞
ユーザに対する仮想現実の提示を行う場合は、他人が感知している現実の世界とは異なる仮想現実の世界をユーザが感知している一方で、ユーザの行動は、仮想現実の世界だけではなく現実の世界にも影響を与える。従って、当該仮想現実の提示を行う仮想現実提示システムが、ユーザの行動が現実の世界で与える影響を考慮しつつ、仮想現実の提示に関する全体制御を行うことが好ましい。

図２６は、本実施形態５に係る仮想現実提示システム５０００の構成を示すブロック図である。仮想現実提示システム５０００は、仮想現実提示システム１０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、画像解析処理部３０２０と、注意喚起制御部４０１０と、注意喚起条件記憶部５０１０と、を備える。

本実施形態５に係る仮想現実提示システム５０００において、周囲状況検知部１０１０は、少なくともユーザの周囲を撮影して周囲景色画像を取得する周囲撮影部１０１１を備える。周囲撮影部１０１１は、具体的には、ユーザが装着するＨＭＤ装置等の仮想現実提示装置に取り付けられたカメラに該当する。当該仮想現実提示装置には、少なくとも複数のカメラが周囲撮影部１０１１として設置されている。周囲撮影部１０１１で取得された周囲景色画像は周囲状況情報として画像解析処理部３０２０に出力される。

画像解析処理部３０２０は、周囲撮影部１０１１で撮影されたユーザの周囲の景色が写っている周囲景色画像を解析して所定の情報を抽出する処理を行う。本実施形態５に係る仮想現実提示システム５０００において、画像解析処理部３０２０は、物体距離算出部３０２１と、物体移動速度算出部３０２２とを備える。

物体距離算出部３０２１は、周囲景色画像に写っている物体の位置を特定する。具体的には、物体距離算出部３０２１は、周囲景色画像における隣接画素又は隣接ブロックの色差信号や輝度信号等を比較することで、当該周囲景色画像に写っている複数の物体の境界を特定し、特定した物体をラベリングする。物体距離算出部３０２１は、仮想現実提示装置に設置されている複数の周囲撮影部１０１１で取得された周囲景色画像について当該境界判定処理及びラベリング処理を行う。物体距離算出部３０２１は、同一のラベルが付与された物体の画像内位置の差分に基づいて、当該物体までの距離を算出する。ここで、物体距離算出部３０２１は、当該物体の位置座標を算出する構成とすると更に良好である。物体距離算出部３０２１は、算出した物体までの距離に関する情報を、物体移動速度算出部３０２２と、注意喚起制御部４０１０の注意喚起判定処理部４０１１に出力する。

物体移動速度算出部３０２２は、物体距離算出部３０２１で算出された物体までの距離の時間変化に基づいて、当該物体のユーザ方向への移動速度を算出する。なお、物体距離算出部３０２１が、周囲景色画像に写る各物体の位置座標を求める物体位置特定部として機能する場合は、物体移動速度算出部３０２２は、当該物体の位置座標の時間変化に基づいて、当該物体の移動ベクトルを算出する構成とすると更に良好である。物体移動速度算出部３０２２は、周囲景色画像に写る物体の移動速度及び移動方向を算出する。物体移動速度算出部３０２２は、算出した物体の移動速度を注意喚起制御部４０１０の注意喚起判定処理部４０１１に出力する。物体移動速度算出部３０２２が当該物体の移動ベクトルを算出する構成である場合は、物体移動速度算出部３０２２は、注意喚起制御部４０１０の注意喚起判定処理部４０１１に算出した移動速度及び移動方向を示す情報を出力する。

注意喚起条件記憶部５０１０は、仮想現実の提示を注意喚起する条件である注意喚起条件を記憶する。図２７は、注意喚起条件の一例を示している。注意喚起条件として、複数の条件が注意喚起条件記憶部５０１０に記憶されている。

ここで、注意喚起条件記憶部５０１０が記憶する注意喚起条件には、上述した仮想現実提示中断条件記憶部３０１０が記憶する仮想現実提示中断条件と比較して緩い条件が設定されている。

注意喚起制御部４０１０は、仮想現実提示判定処理部４０１１と、仮想現実提示注意喚起指示部４０１２と、を備える。

仮想現実提示判定処理部４０１１は、周囲状況検知部１０１０で検知されたユーザの周囲の状況が注意喚起条件を満たしているかを判定する。仮想現実提示判定処理部４０１１は、周囲状況検知部１０１０で新たな検知結果が得られた場合、注意喚起条件記憶部５０１０に記憶されている注意喚起条件を読み出して上記検知結果と比較することで、ユーザの現在の周囲の状況が注意喚起条件を満たしているかを判定する。

具体的には、仮想現実提示判定処理部４０１１は、周囲状況検知部１０１０である周囲撮影部１０１１で撮影された周囲景色画像の画像解析結果で得られる情報が注意喚起条件を満たしているかを判定する。仮想現実提示判定処理部４０１１は、物体距離算出部３０２１よりユーザの周囲にある各物体までの距離を示す情報を、また、物体移動速度算出部３０２２より移動している物体の移動速度を示す情報をそれぞれ入力し、注意喚起条件と比較することで、注意喚起するための条件を満たしているかを判定する。

例えば、図２７に示す注意喚起条件の第６条件には、ユーザ方向への移動速度成分が秒速６ｍ以上の物体があることが注意喚起の条件として設定されている。注意喚起判定処理部４０１１は、物体距離算出部３０２１でユーザまでの距離が求められた各物体の中にユーザの方向への移動速度が秒速６ｍ以上の物体がないかを物体移動速度算出部３０２２で求められる移動速度に基づいて判定する。

注意喚起判定処理部４０１１は、所定の間隔又は新たに周囲状況検知部１０１０や画像解析処理部３０２０より各種情報が入力された場合に、注意喚起条件として設定されている各条件との比較判定処理を行う。

注意喚起指示部４０１２は、注意喚起判定処理部４０１１における判定結果に基づいて、ユーザに対して注意喚起するための指示を仮想現実提示部１０２０に出す。例えば、物体移動速度算出部３０２２で算出された物体の中に秒速７ｍで移動する物体が存在する場合は、注意喚起を行うための条件を満たしているため、注意喚起指示部４０１２は、仮想現実提示部１０２０に注意喚起の実行を指示する指示信号を出力する。

仮想現実の提示中に上記注意喚起指示を受け取った仮想現実提示部１０２０は、ユーザに対する注意喚起を行う。例えば、仮想現実提示部１０２０が仮想現実提示用の映像を表示している場合は、当該仮想現実提示用の映像に注意喚起用の映像をオーバーレイ表示するよう指示する。また、仮想現実提示部１０２０が仮想現実提示用の音声を出力している場合は、仮想現実提示用音声の出力を多重して再生するよう指示する。

以上のように、本実施形態５に係る仮想現実提示システム５０００によれば、予め様々な注意喚起条件を記憶しておき、周囲状況検知部１０１０でリアルタイムに検知されるユーザの周囲の状況と当該注意喚起条件を比較することで、適切にユーザに対して注意喚起を行うことができる。そのため、ユーザに対する仮想現実の提示を継続することで、ユーザが仮想現実の世界に留まりつつも、ユーザが現実の世界に与える影響を考慮してユーザに注意喚起を促すことができ、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮することができる。

なお、注意喚起条件としては上述した条件に限定されるものではない。例えば、本実施形態５に係る仮想現実提示システム５０００は、図２８に示す構成とすることも可能である。図２８に示す仮想現実提示システム５０００において、画像解析処理部３０２０は、物体特定部３０２３と、物体種類特定部３０２４と、物体位置特定部３０２５と、ユーザ移動速度算出部３０２６と、物体距離算出部３０２１と、物体移動速度算出部３０２２と、を備える。

物体特定部３０２３は、周囲撮影部１０１１で取得された周囲景色画像に含まれる各物体を画像内における境界判定処理等によって特定し、特定した周囲景色画像内に写る各物体に対してラベリング処理を行う。

ここで、物体種類特定部３０２４が特定する物体には、床や壁、人間と言ったものも物体として特定する。また、物体種類特定部３０２４は、床にある段差等も合わせて検出する構成とすることが好ましい。物体種類特定部３０２４は、特定した各物体の種類を示す情報を注意喚起判定処理部４０１１に出力する。

物体距離算出部３０２１は、物体位置特定部３０２５で求められた物体の位置座標とユーザ位置との差分ベクトルのノルムを算出することで当該物体までの距離を算出する。物体距離算出部３０２１は、算出した各物体までの距離を示す情報を注意喚起判定処理部４０１１に出力する。

物体移動速度算出部３０２１は、物体位置特定部３０２５で特定される物体の位置座標の時間変化に基づいて、当該物体の移動速度を算出する。物体移動速度算出部３０２１は、算出した各物体の移動速度をユーザ移動速度算出部３０２６及び注意喚起判定処理部４０１１に出力する。

ユーザ移動速度算出部３０２６は、物体移動速度算出部３０２１で算出される複数の物体の移動速度に基づいてユーザが移動しているかを特定し、ユーザが移動している場合にユーザの移動速度を算出する。ユーザが移動していると、周囲の全ての物体がユーザの方に相対的に移動していくことになる。従って、複数の物体の移動速度に基づいて、当該物体が移動しているのか、ユーザが移動しているのかを求めることができる。ユーザ移動速度算出部３０２６は、算出したユーザの移動速度を示す情報を注意喚起判定処理部４０１１に出力する。

注意喚起判定処理部４０１１は、画像解析処理部３０２０の各部より出力される各情報が、注意喚起条件記憶部５０１０に記憶される注意喚起条件を満たしているかを判定し、当該判定結果に基づいて仮想現実提示部１０２０に仮想現実提示に関する注意喚起指示が行われることになる。

例えば、注意喚起判定処理部４０１１は、図２７の第１注意喚起条件に従い、ユーザ移動速度算出部３０２６で求められたユーザの移動速度と、物体距離算出部３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の７ｍ以内の位置に物体があるかを判定する。当該判定の結果、ユーザの移動方向の７ｍ以内の位置に物体がある場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第２注意喚起条件に従い、物体種類特定部３０２４で特定される各物体の種類と、物体距離算出部３０２１で求められる各物体までの距離とに基づいて、ユーザから５ｍ以内の位置に人間がいるかを判定する。当該判定の結果、ユーザから５ｍ以内の位置に人間がいる場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第３注意喚起条件に従い、物体移動速度算出部３０２２で算出される物体の移動速度に基づいて、秒速７ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。当該判定の結果、秒速７ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第４注意喚起条件に従い、ユーザ移動速度算出部３０２６で算出されるユーザの移動速度に基づいて、ユーザが秒速２ｍ以上で移動しているかを判定する。当該判定の結果、ユーザが秒速２ｍ以上の移動速度で移動している場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第５注意喚起条件に従い、ユーザ移動速度算出部３０２６で求められたユーザの移動速度と、物体距離算出部３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の７ｍ以内の位置に段差があるかを判定する。物体特定部３０２３は、段差も物体として認識するため、当該判定が可能となる。当該判定の結果、ユーザの移動方向の７ｍ以内の位置に段差がある場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第６注意喚起条件に従い、物体移動速度算出部３０２２で算出される物体の移動速度に基づいて、ユーザ方向への速度成分が秒速６ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。例えば、速度が速くてもユーザの遠方でユーザに対して平行に高速度で走る車などが存在しても問題となる可能性は低いためである。当該判定の結果、ユーザ方向への速度成分が秒速６ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第７注意喚起条件に従い、ユーザ移動速度算出部３０２６で算出されるユーザの移動速度と、物体距離算出部３０２１で算出される物体までの距離とに基づいて、ユーザ移動方向に８秒以内に到達する物体があるかを判定する。例えば、ユーザの前方近くに段差があってもユーザの移動速度が十分小さければ直近の障害となる可能性は低いし、一方、ユーザの前方の遠くに段差があってもユーザの移動速度が十分早ければ障害となる可能性があるためである。当該判定の結果、ユーザ移動方向に８秒以内に到達する物体がある場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第８注意喚起条件に従い、物体移動速度算出部３０２２で求められた物体の移動速度と、物体距離算出部３０２１で求められた各物体までの距離に基づいて、ユーザ方向への移動速度成分が秒速２ｍ以上の物体であって、ユーザからの距離が３０ｍ以内である物体が存在するかを判定する。このように複数の条件を併用して仮想現実の提示の注意喚起を行うかどうかの判定が行われても良い。当該判定の結果、これらの条件を満たす物体がある場合に注意喚起すると判定する。

なお、上述した判定条件や入力する情報の種類は一例であり、適宜変更が可能である。例えば、仮想現実提示システム５０００は、図２９に示す構成とすることも可能である。図２９に示す仮想現実提示システム５０００は、ユーザの状態を検知するユーザ状態検知部２０１０、音声を入力する音声入力部３０３０、ユーザの行動を特定するユーザ行動特定部３０４０、を備えることを特徴とする。

図２９に示す仮想現実提示システム５０００では、ユーザ状態検知部２０１０は、ユーザ位置検出部２０１３と、ユーザ移動速度検知部２０１４と、ユーザ方位検出部２０１５とを備える。

ユーザ位置検出部２０１３は、例えばユーザが装着する仮想現実提示装置に設置されたＧＰＳ受信機であって、定期的にユーザの現在位置を検出して現在位置情報を生成する。ユーザ位置検出部２０１３は、ユーザの現在位置を示す現在位置情報を注意喚起判定処理部４０１１に出力する。

このように、図２９に示す仮想現実提示システム５０００は、図２８に示す仮想現実提示システム５０００と比較して画像解析処理とは異なる方法でユーザの移動速度を取得する。ユーザ移動速度検知部２０１４は、検知したユーザの移動速度を示す情報を注意喚起判定処理部４０１１に出力する。

ユーザ方位検出部２０１５は、ユーザの向いている方位を検出する。ユーザ方位検出部２０１５は、例えば、ユーザが装着する仮想現実提示装置に取り付けられた方位磁石等で構成しても良いし、加速度センサで検知される加速度情報に基づいて、ユーザの方向を検知しても良い。ユーザ方位検出部２０１５は、検出したユーザの方位を示す情報を注意喚起判定処理部４０１１に出力する。

例えば、ユーザ行動特定部３０４０は、周囲状況検知部１０１０で取得される周囲景色画像に車のハンドルが写っており、音声入力部３０３０で入力される音声に車のエンジン音が含まれている場合に、ユーザは車を運転していると特定する。その他、ユーザが通勤している、寝ている、休憩している、仕事をしている、など、ユーザの行動を特定する。ユーザ行動特定部３０４０は、特定したユーザの行動を示す情報を、注意喚起判定処理部４０１１に出力する。

注意喚起判定処理部４０１１は、図２７の第９注意喚起条件に従い、ユーザ位置検出部２０１３で検出された現在位置が、注意喚起すべき位置範囲であるかを判定する。例えば、駅のホームでは仮想現実の提示に注意が必要であるとされている場合、当該駅のホームの位置範囲が注意喚起条件として記憶されることになる。図２７では、ユーザの現在位置のＧＰＳ座標が、緯度３８．１１０〜３８．２５３、経度１３５．１２０〜１３５．１４０の範囲内である場合に、注意喚起すると判定する。

また、例えば、注意喚起判定処理部４０１１は、図２７の第１０注意喚起条件に従い、ユーザ行動特定部３０４０で特定されたユーザの現在の行動が車を運転していると言う行動であった場合に注意喚起すると判定する。

なお、注意喚起条件記憶部５０１０が記憶する注意喚起条件は、ユーザに提示されている仮想現実の種類に応じて適宜選択される構成とすると良い。

例えば、「ドラゴンと戦う」と言った内容の仮想現実が提示されているユーザは、体を動かすことが想定されるため、近くに人間がいると問題になることがある。そこで、注意喚起判定処理部４０１１は、上記第２注意喚起条件に基づく判定を行う。一方、「家の中に花瓶を飾る」と言った内容の仮想現実が提示されているユーザは、近くに他人がいても問題となる可能性は低い。そこで、注意喚起判定処理部４０１１は、上記第２注意喚起条件に基づく判定は行わない。

このように、各注意喚起条件は、ユーザに提示される仮想現実の種類に応じて決定される構成とすると更に良好である。この場合、仮想現実提示システム５０００は、図３０の構成を取ることが好ましい。図３０に示す仮想現実提示システム５０００は、仮想現実管理制御部３０４０を備える。

また、仮想現実管理制御部３０４０は、仮想現実提示部１０２０が提示している仮想現実に係る仮想現実サービスを識別する仮想現実サービス識別番号を注意喚起判定処理部４０１１に通知する。

各仮想現実サービスには、判定に用いられる注意喚起条件が対応付けられている。例えば、注意喚起判定処理部４０１１は、仮想現実管理制御部３０４０より仮想現実提示部１０２０で提示される仮想現実に係る仮想現実サービスを識別する情報を入力した場合、判定に用いられる注意喚起条件を管理する管理ファイルを参照して判定処理に用いる注意喚起条件を特定する。例えば、仮想現実サービスがＮｏ：ＶＲＳ０００１で識別される仮想現実サービスである場合は、第２注意喚起条件と第５注意喚起条件を満たしているかどうかの判定処理を行う。このように、提示される仮想現実に応じて適宜判定に用いられる注意喚起条件が選択される構成とすることで不要に注意喚起を発生させることなく、適切な注意喚起処理を行うことが可能となる。

また、判定処理に用いられる各注意喚起条件は、仮想現実の提示を受けているユーザに応じて決定される構成とすると更に良好である。各ユーザは予め注意喚起条件を設定しておき、注意喚起判定処理部４０１１は、当該ユーザ毎に定まる注意喚起条件を用いて当該ユーザに提示されている仮想現実を注意喚起するかを判定する。このように構成されていても良い。

また、判定に用いられた注意喚起条件と、注意喚起方法とが対応付けられている構成とすることが更に好ましい。例えば、注意喚起指示部４０１２は、図３１に示すように注意喚起判定処理部４０１１でヒットした注意喚起条件と仮想現実提示部１０２０で行われる注意喚起方法との対応関係を纏めた管理ファイルを参照して、仮想現実提示部１０２０に注意喚起を指示する。

図３１において、図２７に示す第１注意喚起条件である「ユーザの移動方向の７ｍ以内の位置に物体があること」を満たしたと注意喚起判定処理部４０１１で判定された場合、注意喚起指示部４０１２は、格納アドレス（ｘ０００００００００１）に格納されている注意喚起用映像データＷｍ０２３.ｊｐｇを読み出して３秒間の間、表示パネル１０２２−２に表示するよう映像表示制御部１０２２−１に指示する。

また、図２７に示す第４注意喚起条件である「ユーザが秒速２ｍ以上で移動していること」を満たしたと注意喚起判定処理部４０１１で判定された場合、注意喚起指示部４０１２は、格納アドレス（ｘ０００００１０００１）に格納されている注意喚起用映像データＷｍ０５９.ｊｐｇを読み出し、当該第４注意喚起条件が解消するまでの間、表示パネル１０２２−２に表示するよう映像表示制御部１０２２−１に指示すると共に、格納アドレス（ｘ１１０００１０００１）に格納されている注意喚起用音声データＷｍ５９.ｍｐ３を読み出し、当該第４注意喚起条件が解消するまでの間、繰り返し再生し続けるよう音声再生制御部１０２３−１に指示する。注意喚起判定処理部４０１１における判定の結果、画像解析処理の結果等に基づいて注意喚起条件が解消している場合は、注意喚起指示部４０１２は、映像表示制御部１０２２−１や音声再生制御部１０２３−１に注意喚起の停止を指示する。

このように構成することで、ユーザに対して単に「注意してください」と言ったメッセージを出すのではなく、前方に障害があると判定された場合は、「前方に障害があるので注意してください」と言った形態の注意喚起を行うことができ、また、車等の移動体が後方から接近していると判定された場合は、「後方より時速４０ｋｍの車が接近しています。注意して下さい。」と言った形態の注意喚起を行うことができ、また、ユーザが車を運転していると判定された場合は、「車を運転しながらの仮想現実サービス利用は推奨されておりません。」と言った形態の注意喚起を行うことができる。従って、ユーザは、具体的な注意喚起の内容に基づいて、現実の世界での影響が低減されるように回避行動をとることで、仮想現実の世界を堪能しつつも現実の世界への影響を管理することができる。

＜実施形態６＞
実施形態４、５に係る仮想現実提示システムは、実施形態１〜３に係る仮想現実提示システムと比較して、仮想現実の世界に入り込んでいるユーザを現実の世界まで戻すことなく、現実の世界に対する影響を管理することで仮想現実の世界と現実の世界との調和を図っている。

ここで、仮想現実の世界にいるユーザの立場からすると、できるだけ仮想現実の世界に対する錯覚度を下げることなく、現実の世界に対する影響が管理されることが好ましい。しかしながら、仮想現実の世界とは関係のない注意喚起用のウィンドウが表示したり、仮想現実の世界とは関係のない電子音やガイド音声などの音声が再生される形態で注意喚起を行ったりすると、ユーザの意識が仮想現実の世界からずれてしまい、仮想現実の提示を中断する場合と比較した場合は、錯覚度の低下が抑えられるものの、幾ばくかの錯覚度の低下は避けられないという課題が残存することになる。そこで本実施形態６に係る仮想現実提示システムは、仮想現実の世界を体験しているユーザの錯覚度の低下を抑えつつ、適切にユーザに対して現実の世界への影響を抑える注意喚起を行うことを特徴とする。

図３２は、本実施形態６に係る仮想現実提示システム６０００の構成を示すブロック図である。仮想現実提示システム６０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、ユーザ状態検知部２０１０と、仮想現実オブジェクト配置部２０３０と、仮想現実管理制御部３０５０と、仮想現実コンテンツ記憶部６０１０と、仮想現実オブジェクト挙動制御部６０２０と、を備える。

仮想現実管理制御部３０５０は、ユーザに対する仮想現実の提示の開始処理や終了処理を行うことで、各ユーザにそれぞれ提示している仮想現実を管理する。仮想現実管理制御部３０５０は、ユーザからの仮想現実の提示の要求などに基づいてユーザに対する仮想現実の提示を開始する場合、仮想現実コンテンツ記憶部６０１０より読み出した制御プログラムを実行することで、仮想現実オブジェクト配置部２０３０と、仮想現実オブジェクト挙動制御部６０２０にそれぞれ仮想現実の提示の開始に必要となる指示を出す。

仮想現実コンテンツ記憶部６０１０は、仮想現実の提示に用いられる仮想現実コンテンツを記憶する。仮想現実コンテンツは、図３３に示すように、仮想現実オブジェクトのモデルデータや音声データの他、仮想現実の提示のために実行される仮想現実制御プログラムが含まれる。

仮想現実制御プログラムは、大きく分けて、仮想現実メイン制御プログラムと、仮想現実サブ制御プログラムと、仮想現実オブジェクト人格制御プログラムと、仮想現実オブジェクト挙動制御プログラムと、に分類される。図３４は、仮想現実制御プログラムの階層構造を示している。

仮想現実オブジェクト挙動制御プログラムは、仮想空間に配置されている仮想現実オブジェクトの挙動を制御するためのプログラムであって、仮想現実オブジェクト人格制御プログラムによって読み出される。例えば、仮想現実オブジェクトが人間オブジェクトである場合、仮想現実オブジェクト挙動制御プログラムＡは、右膝の関節ポイントを少し折り曲げ、口元のテキスチャーデータを笑顔のテキスチャーデータに段階的に変更すると言った制御を行うプログラムである。一方、仮想現実オブジェクト挙動制御プログラムＮは、のけぞるように腰の関節ポイントを折り曲げ、右肩と右ひじの関節ポイントを所定量回転させることで右腕を前に突き出すと言った制御を行う。当該挙動制御プログラムが実行されることで、フレーム経過に伴って仮想空間に配置されているオブジェクトの外観形状が変化していく。

仮想現実オブジェクト挙動制御プログラムは、更に通常時の仮想現実の提示に実行される通常時用仮想現実オブジェクト挙動制御プログラムと、注意喚起時に実行される注意喚起用仮想現実オブジェクト挙動制御プログラムと、を備える。

仮想現実オブジェクト人格制御プログラムは、仮想現実サブ制御プログラムによって読み出されるプログラムであって、仮想空間に配置されている仮想現実オブジェクトに対する入力と出力との対応関係を制御する。

仮想現実サブ制御プログラムは、仮想現実メイン制御プログラムによって適宜呼び出されるプログラムであり、提供する仮想現実サービスと対応している。仮想現実サブ制御プログラムは、提供中の仮想現実サービスに用いる仮想現実オブジェクトを仮想空間に読み出して配置する制御や、予め設定されている順序に従って仮想現実オブジェクト挙動制御プログラムを直接読み出して、仮想現実オブジェクトに所定の挙動を行わせる制御を行う。

仮想現実メイン制御プログラムは、仮想現実サービス毎に対応するプログラムであって、仮想現実サービスの提供開始に当たり、第１に実行されるプログラムである。仮想現実メイン制御プログラムが実行されることで、当該プログラムに対応する仮想現実サービスのための仮想空間の設定や環境設定が行われる。

仮想現実オブジェクト配置部２０３０は、仮想現実管理制御部３０５０における仮想現実の提示開始指示に基づいて、提示する仮想現実に用いられる仮想現実オブジェクトを仮想現実コンテンツ記憶部６０１０より読み出して仮想空間内の所定の位置に配置する。

仮想現実オブジェクト挙動制御部６０２０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト挙動制御部６０２０は、仮想現実コンテンツ記憶部６０１０より仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。当該仮想現実オブジェクト挙動制御部６０２０によって、仮想空間内で外観形状が変化していく仮想現実オブジェクトの映像を映像生成処理部１０２１が生成し、映像表示部１０２２で表示する。

また、仮想現実オブジェクト挙動制御部６０２０は、仮想現実オブジェクトの音声データを仮想現実コンテンツ記憶部６０１０より読み出して音声再生制御部１０２３−１に出力し、仮想現実の提示に係る音声を再生させる。

仮想現実オブジェクト挙動制御部６０２０は、仮想現実管理制御部３０５０からの指示に基づいて、通常時用仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。

一方、仮想現実オブジェクト挙動制御部６０２０は、注意喚起制御部４０１０より仮想現実オブジェクトを用いた注意喚起を行う指示を受け取った場合、当該指示に基づいて注意喚起用仮想現実オブジェクト制御プログラムを仮想現実コンテンツ記憶部６０１０より読み出して実行する。このように、仮想現実オブジェクト挙動制御部６０２０は、現在提示中の仮想現実で用いられている仮想現実オブジェクトを用いてユーザに対する注意喚起を行う。

図３５は、注意喚起制御部４０１０が実行する注意喚起制御処理の流れを示すフローチャート図である。注意喚起制御部４０１０は、周囲の状況が更新された場合（ステップＳ１０１でＹｅｓ）、注意喚起を行うかどうかの判定処理を実行する。なお注意喚起制御部４０１０は、周囲状況検知部１０１０で新たに周囲状況情報が生成された場合等に周囲の状況が更新されたと判断しても良いし、予め定められた時間間隔が経過した場合に周囲の状況が更新されたと判断しても良い。

注意喚起制御部４０１０は、周囲状況検知部１０１０より入力した周囲状況情報に基づいて、注意喚起を行うかどうかの判定処理を実行する（ステップＳ１０２）。例えば、注意喚起制御部４０１０は、入力した周囲状況情報と、予め設定されている注意喚起条件とを比較することで、ユーザの現在の周囲の状況が注意喚起条件を満たしているかを判定する。

ステップＳ１０２における判定の結果、注意喚起条件を満たしていない場合（ステップＳ１０３でＮｏ）、ステップＳ１０１に戻り、次の周囲状況の更新まで待機する。

一方、ステップＳ１０２における判定の結果、注意喚起条件を満たしている場合（ステップＳ１０３でＹｅｓ）、注意喚起制御部４０１０は、現在既に注意喚起を行っているかを判定する（ステップＳ１０４）。

当該判定の結果、現在既に注意喚起を行っている場合、例えば、過去のタイミングで注意喚起条件を満たしていると判定されて注意喚起が行われている場合は（ステップＳ１０４でＹｅｓ）、ステップＳ１０１に戻って次の更新タイミングまで待機する。

一方、現在注意喚起を行っていない場合は（ステップＳ１０４でＮｏ）、注意喚起制御部４０１０は、仮想現実オブジェクトを用いた注意喚起の実行を指示する（ステップＳ１０５）。

図３６は、仮想現実オブジェクト配置処理の流れを示すフローチャート図である。仮想現実オブジェクト配置部２０３０は、仮想空間に新たに仮想現実オブジェクトを配置するかを判定する（ステップＳ２０１）。例えば、仮想現実オブジェクト配置部２０３０は、仮想現実管理制御部３０５０から仮想現実オブジェクト配置指示があったかどうかに基づいて仮想現実オブジェクトを配置するかを判定する。仮想現実管理制御部３０５０は、例えば時間経過やユーザ状態、周囲状況の変化等に応じて仮想現実サービスを進行させることで、新たな仮想現実オブジェクトの配置指示を出す。

ステップＳ２０１で仮想現実オブジェクトを新たに配置すると判定した場合に、仮想現実オブジェクト配置部２０３０は、仮想現実コンテンツ記憶部２０２０より仮想現実オブジェクトを読み出して仮想空間に配置する（ステップＳ２０２）。

次に、仮想現実オブジェクト配置部２０３０は、現在仮想空間に配置している仮想現実オブジェクトを仮想空間から削除するかを判定する（ステップＳ２０３）。

ステップＳ２０３で仮想現実オブジェクトを仮想空間から削除すると判定した場合に、仮想現実オブジェクト配置部２０３０は、削除すると決定した仮想現実オブジェクトを仮想空間から削除し、ステップＳ２０１に戻る（ステップＳ２０４）。

このように、既に仮想空間に配置する必要が無くなった仮想現実オブジェクトを適宜削除していくことで、仮想現実の提示に用いられる仮想現実オブジェクトだけが仮想空間に残り、当該仮想現実オブジェクトに係る映像表示や音声再生が行われる。

図３７は、仮想現実オブジェクトの挙動制御処理の流れを示すフローチャート図である。仮想現実オブジェクト挙動制御部６０２０は、仮想現実オブジェクトの挙動制御指示が出されているかを判定する（ステップＳ３０１）。仮想現実管理制御部３０５０において実行される仮想現実メイン制御プログラムや仮想現実サブ制御プログラムに基づいて当該指示が仮想現実オブジェクト挙動制御部６０２０に出される。

仮想現実オブジェクト挙動制御部６０２０は、当該指示を受けた場合に、指示されている通常時用仮想現実オブジェクト挙動制御プログラムを仮想現実コンテンツ記憶部２０２０から読み出して実行する（ステップＳ６０２０）。ここで、通常時用仮想現実オブジェクト挙動制御プログラムは、ユーザに対して提供される仮想現実サービスを実行するために用いられるプログラムである。

ここで、注意喚起制御部４０１０より割り込み指示が入った場合（ステップＳ３０３でＹｅｓ）、仮想現実オブジェクト挙動制御部６０２０は、仮想現実コンテンツ記憶部２０２０の中から指示されている注意喚起用仮想現実オブジェクト挙動制御プログラムを読み出して実行する（ステップＳ３０４）。

ここで、注意喚起用仮想現実オブジェクト挙動制御プログラムは、注意喚起制御部４０１０において、予め設定されている注意喚起条件を満たしたと判定された場合に、ユーザに提供中の仮想現実サービスに基づく通常時仮想現実オブジェクト挙動制御プログラムに割り込んで優先的に実行されるプログラムである。

例えば、「ギリシャの偉大な哲学者アリストテレスが３０分間身振り手振りで哲学の講義をする」という内容の仮想現実サービスがユーザに提供されているとする。この場合、仮想現実コンテンツ記憶部２０２０には、当該アリストテレスを模した仮想現実オブジェクトのモデルデータやアリストテレスの声を模した当該講義内容の音声データ、また、当該アリストテレスの仮想現実オブジェクトを動作させる仮想現実制御プログラムが記憶されている。

ユーザからの当該仮想現実サービスの利用要求に基づいて、仮想現実管理制御部３０５０は、当該仮想現実サービスに係る仮想現実メイン制御プログラム及びサブ制御プログラムを読み出して実行することで仮想空間を設定し、仮想現実オブジェクト配置部２０３０は、当該仮想空間にアリストテレスの仮想現実オブジェクトを読み出して配置する。

仮想現実オブジェクト挙動制御部６０２０は、仮想現実管理制御部３０５０が実行するサブ制御プログラムに基づいて出される指示に従って、適宜仮想現実コンテンツ記憶部２０２０より仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置している仮想現実オブジェクトの外観形状を変化させていく。当該仮想現実オブジェクトの映像が映像生成処理部１０２１で生成される。また、仮想現実オブジェクト挙動制御部６０２０は、当該アリストテレスの仮想現実オブジェクトが喋る講義内容の音声データを仮想現実コンテンツ記憶部２０２０より読み出して、音声再生制御部１０２３−１に送る。音声再生制御部１０２３−１は、当該送られてきた音声データを、ユーザ状態検知部２０２０で検知されるユーザ位置と、仮想現実オブジェクト配置部２０３０が配置する仮想現実オブジェクト位置との相対位置関係に基づいて複数の音声チャンネルに分配してＤＡ変換を行い、スピーカ１０２３−２より放音する。

このような処理が継続されることで、ユーザの視界に表されている仮想現実オブジェクトで表されるアリストテレスが自分の目の前で講義をしている映像と音声がユーザに感知される。

このように仮想現実サービスが提供されている状況において、注意喚起制御部４０１０によって注意喚起条件を満たしたと判定された場合に、講義用の仮想現実オブジェクト挙動制御プログラムが一旦停止され、代わりに注意喚起用仮想現実オブジェクト挙動制御プログラムが実行される。

例えば、注意喚起制御部４０１０において、前方に障害があると判定された場合は、仮想現実オブジェクト挙動制御部６０２０は、現在提示されているアリストテレスの仮想現実オブジェクトに「前方に障害があるので注意してください」と言ったジェスチャーと音声を発せさせる注意喚起用仮想現実オブジェクト制御プログラムを読み込んで実行する。

また、例えば、注意喚起制御部４０１０において、車等の移動体が後方から接近していると判定された場合は、仮想現実オブジェクト挙動制御部６０２０は、現在提示されているアリストテレスの仮想現実オブジェクトに「後方より時速４０ｋｍの車が接近しています。注意して下さい。」と言ったジェスチャーと音声を発せさせる注意喚起用仮想現実オブジェクト制御プログラムを読み込んで実行する。

仮想現実オブジェクト挙動制御部６０２０は、注意喚起が終了した場合に（ステップＳ３０５でＹｅｓ）、停止している通常時用仮想現実オブジェクト挙動制御プログラムの実行を再開する（ステップＳ３０６）。一方、注意喚起が終了していない場合は（ステップＳ３０５でＮｏ）、注意喚起用仮想現実オブジェクト挙動プログラムを実行し続ける。

以上説明したように、本実施形態６に係る仮想現実提示システムによれば、仮想現実提示用に使用している仮想現実オブジェクトを用いてユーザに注意喚起を行う。すなわち、仮想現実の世界を感知しているユーザの行動が現実の世界へ与える影響を抑えるようにする注意喚起を、現実の世界ではなく仮想現実の世界の中で行うように制御する。例えば、ユーザを現実の世界で右方向に動かしたい場合は、仮想現実オブジェクトがユーザに対して右方向に動くように話しかけることでユーザの行動を管理する。

当該構成によれば、ユーザは仮想現実の世界の中で行われる注意喚起に基づいて現実の世界での影響を抑えるように行動しているため、ユーザの仮想現実の世界に対する錯覚度が低下することを防ぐことができる。

このように、ユーザに提供される仮想現実サービスに割り込む形で、仮想現実サービスで使用している仮想現実オブジェクトを用いて注意喚起を実行することで、ユーザの錯覚度が注意喚起によって上がったり下がったりすることを防ぐことができ、ユーザは安定的に仮想現実の世界を堪能することができる。

なお、仮想現実オブジェクトを利用する注意喚起を行ってもユーザの行動による影響が改善されない場合は、注意喚起制御部４０１０は、実施形態４、５に示した仮想現実オブジェクトを用いない形態の注意喚起を行う構成としても良い。それでもユーザの行動による影響が改善されない場合は、実施形態１〜３で示した仮想現実の提示の中断が行われる構成とすると更に良好である。

このように、複数の段階に応じて注意喚起及び仮想現実の提示中断が行われるように制御される構成とすることで、適切な仮想現実の提示が実現できる。

また、注意喚起の仕方としては、例えば右前方より車が接近している場合に、表示パネル１０２２−２の右側に仮想現実オブジェクトの映像が表示されている場合には、仮想現実オブジェクトを左側に歩かせてユーザの右側の視界が確保できるように仮想現実オブジェクトの挙動を制御するように構成しても良い。

＜実施形態７＞
実施形態１〜６に示す仮想現実提示システムでは、仮想現実の提示の中断又は注意喚起を行うことで、ユーザの行動が現実の世界に与える影響を管理している。すなわち、実施形態１〜３ではユーザの錯覚度を０に下げることで、ユーザの意識を現実の世界に戻しているのに対し、実施形態４、５では錯覚度を下げることなくユーザの意識が現実の世界にも間接的に行き渡るようにしている。

図５４からも分かる様に、仮想現実の提示とは、ユーザが感知する情報の一部又は全部を人工的な情報に置換することで、人工的に創り出される仮想現実の世界を現実の世界であるようにユーザが錯覚させることである。

従って、現実の世界からの情報量を少なくし、仮想現実提示装置からの情報を多くすればするほど、ユーザが感知する世界における仮想現実度は増加していくことになる。例えば、図３８に示す（ａ）では、仮想現実提示装置からユーザに提示される情報は０であり、したがってユーザが感知する世界は現実の世界そのものである。一方、（ｂ）では、現実の世界からの情報のうち３０％程度が遮断され、仮想現実提示装置からの情報で補完されている。従って、ユーザが感知する世界は仮想現実の世界である。但し、７０％の情報は、現実の世界の情報をそのまま用いているため、仮想現実の世界における仮想現実度は比較的低い。一方、（ｃ）では、９０％の情報が置き換えられており、ユーザが感知する世界の殆どは人工的に作られたものであり、仮想現実度は高いことになる。

ユーザに対する注意喚起とは、仮想現実の世界にいるユーザの意識を現実の世界に向けるように仕向けることであり、当該制御を行うことで仮想現実の世界にいるユーザの行動が与える現実世界への影響を緩和することが目的である。そのためには、錯覚度をコントロールすることではなく、仮想現実度を制御することでユーザの注意を現実の世界に振り向ける構成とできることが好ましい。このように、本実施形態７に係る仮想現実提示システムは、ユーザに提示する仮想現実における仮想現実度を制御することで、仮想現実の世界を感知しているユーザの行動が現実の世界に与える影響を管理する点を特徴としている。

図３９は、本実施形態７に係る仮想現実提示システム７０００の構成を示すブロック図である。仮想現実提示システム７０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、仮想現実度管理部７０１０とを備える。

仮想現実度とは、ユーザに提示される仮想現実の世界と現実の世界とのずれの大きさを示す。例えば、図５５に示す仮想現実の世界Ｂは現実の世界とのオーバーラップが大きく、図３８に示す（ｂ）のようにユーザが感知する仮想現実の世界の大部分が現実の世界からの情報であることを示しており、このような仮想現実の世界の仮想現実度は低いことになる。一方、図５５に示す仮想現実の世界Ｆは現実の世界とのオーバーラップが小さく、図３８に示す（ｃ）のようにユーザが感知する仮想現実の世界の大部分が仮想現実提示装置が創り出す人工的な情報であることを示しており、このような仮想現実の世界の仮想現実度は高いことになる。

仮想現実度Ｒｄは、ユーザが現実の世界から受け取る情報の情報量をＩＮＲとし、仮想現実提示装置が提示する人工的な情報の情報量をＩＮＡとして場合に、Ｒｄ＝｛ＩＮＡ／（ＩＮＲ＋ＩＮＡ）｝×１００で表される量であると定義する。

なお、より正確な仮想現実度Ｒｄの算出式は、ユーザの現実の世界の環境と、人工的に提示される仮想現実用の映像や音声との相関値による補正を行うことで定義することが好ましい。なお、上記補正を行う方が良い理由は、ユーザが現在動物園にいる場合に、キリンの仮想現実オブジェクトの映像を表示する場合にユーザが感じる仮想現実の世界と、ユーザが自宅にいる場合にキリンの仮想現実オブジェクトの映像を表示する場合にユーザが感じる仮想現実の世界では、非日常性と言う観点で大きく異なり、ユーザの錯覚度が後者は低くなるためである。錯覚度が低くなったユーザは、仮想現実の世界が提示されていても、それが偽りの映像であることを認識しており、ユーザの注意は現実の世界の方に強く向かうため、仮想現実度が下がることになる。なお、本明細書では、この観点については省略し、仮想現実度Ｒｄは上記式で単純化し、８ビットで表されるよう２５６段階表示した値を本明細書で言うところの仮想現実度であるものとして説明する。

仮想現実度管理部７０１０は、周囲状況検知部１０１０やユーザ状態検知部２０１０で検知される各情報に基づいて、仮想現実提示部１０２０で提示可能な仮想現実の仮想現実度を設定する。

例えば、ユーザが自宅に一人でいる場合には、現実の世界から大きく外れた仮想現実の世界をユーザが感知していたとしても、ユーザの行動が現実の世界に与える影響は小さいため問題はない。一方、ユーザが公共の場にいる場合は、ユーザが感知する仮想現実の世界と、他人がいる現実の世界とのずれが大きい場合には、仮想現実の世界に適合するようにユーザが行った行動内容が現実の世界に与える影響が大きくなる可能性が高まる。また、ユーザが止まっている場合は、当該ユーザが感知する仮想現実の世界が現実の世界と大きくずれていても問題にならない場合であっても、ユーザが高速で移動している場合にはユーザが仮想現実の世界に適合するように行動していても、現実の世界では問題となる場合がある。

そこで、仮想現実度管理部７０１０は、ユーザ状態や周囲状況に基づいて、仮想現実提示部１０２０が提示する仮想現実の世界と現実の世界との乖離度合を示す仮想現実度を管理する。仮想現実度は、例えば２５６段階で表される。仮想現実度０は、ユーザが感知する情報のすべてが現実の世界の情報であり、仮想現実提示装置が映像の表示や音声の再生を全く行っていないことを示している。一方、仮想現実度２５６は、ユーザの目の前に配置されている表示パネル１０２２−２に表示される映像の全てが人工的に創り出された映像であり、現実の世界の音声を遮断した状態でスピーカ１０２３−２よ人工的に創り出された音声が放音されていることを示している。

なお、人間は聴覚よりも視覚による情報取得の割合が大きいため、例えば２５６段階のうち、映像による仮想現実度は１９２段階であり、音声による仮想現実度は６４段階で表される。例えば、音声の再生を全く行わず、表示パネル１０２２−２の全体に現実の世界からの光を遮断した状態で人工的な映像を表示する場合の仮想現実度は１９２となり、一方、表示パネル１０２２−２には一切人工的な映像を表示せず、現実の世界の音声を遮断して人工的な音声を再生している場合の仮想現実度は６４となる。このように、仮想現実度は、ユーザが受け取る情報のうち、人工的な情報の割合の大きさを示していることになる。

仮想現実提示部１０２０は、仮想現実度管理部７０１０が管理する仮想現実度に適合するように仮想現実の提示を行う。例えば、仮想現実度管理部７０１０で、提示可能な仮想現実度が１００として設定されている場合は、仮想現実提示部１０２０は、当該仮想現実度以下に収まる様に仮想現実を提示する。従って、この場合には、仮想現実提示部１０２０は、表示パネル１０２２−２全体に仮想現実オブジェクトの映像を表示することはできないことになる。仮想現実提示部１０２０は、仮想現実オブジェクトに係る映像と音声との情報量をコントロールしながら仮想現実の提示を行う。

以上のように、本実施形態７に係る仮想現実提示システム７０００は、ユーザの状態又はユーザの周囲の状況に基づいて、提示する仮想現実の仮想現実度を制御することを特徴とする。従って、周囲状況等に基づいてユーザの注意を現実の世界に向けたい場合は、仮想現実度を下げて、仮想現実提示部１０２０からユーザに提示される相対的な情報量を下げる制御を行う。すなわち、現実の世界から感知する情報量を人工的な情報と比較して相対的に上げる制御を行う。当該構成とすることで仮想現実の提示を継続しつつもユーザの行動が現実の世界に与える影響を考慮することができる。

なお、仮想現実提示システム７０００は、図４０に示す構成とすると更に良好である。図４０に示す仮想現実提示システム７０００は、周囲状況検知部１０１０と、仮想現実提示部１０２０と、ユーザ状態検知部２０１０と、仮想現実オブジェクト配置部２０３０と、音声入力部３０３０と、仮想現実管理制御部３０５０と、仮想現実コンテンツ記憶部６０１０と、仮想現実オブジェクト挙動制御部６０２０と、仮想現実度管理部７０１０と、を備える。

仮想現実度管理部７０１０は、提示可能仮想現実度算出処理部７０１１と、提示予定仮想現実度算出処理部７０１２と、提示用仮想現実度分配処理部７０１３と、仮想現実度削減割合指示部７０１３と、を備える。

提示可能仮想現実度算出処理部７０１１は、周囲状況検知部１０１０で検知されたユーザの周囲の状況やユーザ状態検知部２０１０で検知されたユーザの状態に基づいて、ユーザに提示可能な仮想現実の仮想現実度を算出する。

提示予定仮想現実度算出処理部７０１２は、映像生成処理部１０２１で生成された映像データと、仮想現実オブジェクト挙動制御部６０２０より再生制御部１０２３−１に送られる音声データとを入力し、現在提示が予定されている仮想現実の仮想現実度を算出する。

提示可能仮想現実度分配処理部７０１３は、提示予定仮想現実度算出処理部７０１２で求められた提示が予定される仮想現実度に基づいて、提示可能仮想現実度算出処理部７０１１で算出された仮想現実度を分配する処理を行う。

例えば、提示可能仮想現実度算出処理部７０１１で算出された提示可能仮想現実度が１２０であり、提示予定仮想現実度算出処理部７０１２で算出された映像に係る提示予定仮想現実度が８０、音声に係る提示予定仮想現実度が３０であったとする。この場合、提示予定仮想現実度の合計が提示可能仮想現実度を下回っているため、提示可能仮想現実度分配処理部７０１３は、現状のまま提示できると判断する。

一方、例えば、提示可能仮想現実度算出処理部７０１１で算出された提示可能仮想現実度が９０であり、提示予定仮想現実度算出処理部７０１２で算出された映像に係る提示予定仮想現実度が７０、音声に係る提示予定仮想現実度が３０であったとする。この場合、提示予定仮想現実度の合計が提示可能仮想現実度を上回っているため、提示可能仮想現実度分配処理部７０１３は、現状のまま仮想現実を提示することはできない判断する。

この場合、提示可能仮想現実度分配処理部７０１３は、現在提示が予定されている７０＋３０＝１００の仮想現実度を提示可能仮想現実度９０以下となるように、提示可能仮想現実度を映像用と音声用に分配する。

例えば、提示可能仮想現実度分配処理部７０１３は、９０／１００の割合をかけて映像用の仮想現実度を６３、音声用の仮想現実度を２７に設定する。

また、別の方法として、提示可能仮想現実度分配処理部７０１３は、映像用に仮想現実度を多く割り当てるように分配する。例えば、提示可能仮想現実度分配処理部７０１３は、映像用の仮想現実度は７０をそのまま維持し、音声用に仮想現実度２０を割り当てる。

仮想現実度削減割合指示部７０１４は、提示可能仮想現実度分配処理部７０１３で決定された提示可能仮想現実度の分配に従って、仮想現実度削減割合として映像表示制御部１０２２−１と音声再生制御部１０２３−１に指示する。例えば、上記第１の例では削減割合は共に１０％であるとして指示し、上記第２の例では、映像表示制御部１０２２−１には、削減割合は０％を、音声再生制御部１０２３−１には削減割合を３３．３％であるとして指示する。

映像表示制御部１０２２−１は、映像生成処理部１０２１で生成された仮想現実オブジェクトの映像に対して、仮想現実度削減割合指示部７０１４より指示された仮想現実度の削減割合に基づく補正処理を行う。また、音声再生制御部１０２３−１は、仮想現実オブジェクト挙動制御部６０２０より送られてくる音声データに対して、仮想現実度削減割合指示部７０１４より指示された仮想現実度の削減割合に基づく補正処理を行う。ここで、音声再生制御部１０２３−１は、具体的な補正処理として音声レベルを下げる処理を行う。

図４１は、仮想現実提示部１０２０の具体的構成を示したブロック図である。映像表示制御部１０２２−１は、映像補正処理部１０２２−１ｃを備える。映像補正処理部１０２２−１ｃは、映像生成処理部１０２１で生成された仮想現実オブジェクトの映像に対して、補正処理を行い、補正処理後の映像を表示パネル１０２２−２に表示する制御を行う。映像補正処理部１０２２−１ｃは、具体的に映像生成処理部１０２１で生成された仮想現実オブジェクトの映像に対して輝度を下げる補正処理を行ったり、映像に含まれる仮想現実オブジェクトのうち重要ではない仮想現実オブジェクトを映像の中から取り除いたりするといった補正処理を行う。

音声再生制御部１０２３−１は、第１ＤＡ変換処理部１０２３−１ｄと、第１分配処理部１０２３−１ｅと、第１増幅処理部１０２３−１ｆと、第２ＤＡ変換処理部１０２３−１ｇと、第２分配処理部１０２３−１ｈと、第２増幅処理部１０２３−１ｉと、再生音声合成処理部１０２３−１ｊとを備える。

第１ＤＡ変換処理部１０２３−１ｄは、仮想現実オブジェクト挙動制御部６０２０より送られてくる仮想現実提示用の音声データをアナログ音声信号に変換する。

第１分配処理部１０２３−１ｅは、ユーザ状態検知部２０１０で検知されたユーザの現在位置と、仮想現実オブジェクト配置部２０３０で配置されている仮想現実オブジェクトの位置とに基づいて、変換したアナログ音声信号を複数のチャンネルに分配する。

第１増幅処理部１０２３−１ｆは、分配された各チャンネルの音声を仮想現実度削減割合指示部７０１４から指示された削減割合に基づいて利得調整を行う。例えば、音声再生に対する仮想現実度の割り当てが少ない場合は、当該削減割合に応じて音声レベルを下げる調整を行う。

第２ＤＡ変換処理部１０２３−１ｇは、音声入力部３０３０より送られてくる現実の世界の音声を集音して得られた音声データをアナログ音声信号に変換する。仮想現実提示装置には、ユーザの周囲の音声を集音するマイクロフォンが音声入力部３０３０として備え付けられている。当該マイクロフォンで集音されてＡＤ変換で生成されたデジタル音声データに対して、ＤＡ変換を行うことでアナログ音声信号に戻す処理を行う。

第２分配処理部１０２３−１ｈは、変換したアナログ音声信号を複数のチャンネルに分配する。音声入力部３０３０として備え付けられているマイクロフォンが１つしかない場合は、位置分解能がないため、当該音声入力部３０３０で入力された音声を全てのチャンネルに均等に分配する。一方、音声入力部３０３０として複数のマイクロフォンが備え付けられている場合は、各音声の到来方向に合わせて当該音声入力部３０３０で入力された音声を各チャンネルに均等に分配する。

第２増幅処理部１０２３−１ｉは、分配された各チャンネルの音声に対して利得調整を行う。例えば、ユーザが自ら設定する増幅率や、第１増幅処理部１０２３−１ｆにおける増幅率との兼ね合いで定まる増幅率で、音声入力部３０３０系統で入力された音声を増幅する。

再生音声合成処理部１０２３−１ｊは、第１増幅処理部１０２３−ｆと第２増幅処理部１０２３−ｊでそれぞれ増幅された各チャンネルの音声を合成し、スピーカ１０２３−２に出力する。スピーカ１０２３−２は、ユーザの現実の世界における周囲の音声に、仮想現実度調整が行われた仮想現実提示用の音声を重畳した状態で放音する。

当該構成によれば、ユーザの周囲の状況に基づいてユーザに提示される情報量が調整されるため、ユーザの注意を仮想現実の世界と現実の世界のどちらに向けるかを制御することができる。

図４２は、映像補正処理部１０２２−１ｃにおける映像補正処理で得られる映像と、ユーザが感知する景色とを示している。図４２の（ａ）は、映像生成処理部１０２１で生成される映像に仮想現実オブジェクトが含まれておらず、従ってユーザは現実の世界をそのまま見ていることになるため仮想現実度は０である。現実の世界ではユーザの左右にそれぞれソファーが配置されている。

図４２の（ｂ）では、仮想空間にライオンの仮想現実オブジェクトと犬の仮想現実オブジェクトが配置されており、映像生成処理部１０２１は、これらの仮想現実オブジェクトの映像を生成する。仮想空間における描画用の視点位置及び視線方向は、ユーザの状態に基づいて制御されるため、当該仮想現実オブジェクトで表されるライオンと犬がそれぞれソファーに寝そべっているようにユーザには感知される。当該ライオンと犬が寝そべっている仮想現実の世界の仮想現実度は１２０であるとする。

ユーザ状態や周囲状況に基づいて、提示可能仮想現実度分配処理部７０１２が映像用に割り当てる仮想現実度が１２０を超えている場合は、補正処理を行うことなく表示可能であるため、映像表示制御部１０２２−１の映像補正処理部１０２２−１ｃは、仮想現実度に基づく補正処理を行わず、図４２（ｂ）で示される映像がそのまま表示パネル１０２２−２に表示される。

一方、ユーザ状態や周囲状況に基づいて、提示可能仮想現実度分配処理部７０１２が映像用に割り当てる仮想現実度が１２０を下回っている場合は、そのまま表示パネル１０２２−２で表示することができない。そのため、映像表示制御部１０２２−１の映像補正処理部１０２２−１ｃは、映像生成処理部１０２１で生成された仮想現実オブジェクトの映像について仮想現実度を下げる補正処理を行う。

図４２（ｃ）では、映像補正処理部１０２２−１ｃは、映像に含まれる２つの仮想現実オブジェクトのうち、犬の仮想現実オブジェクトの映像部分を削除する補正処理を行っている。当該補正処理によって、補正後の映像の仮想現実度は１２０から１００に下がっている。提示可能仮想現実度分配処理部７０１２が映像用に割り当てる仮想現実度が１００以上であるならば、当該犬の映像が削除された補正後の映像が表示パネル１０２２−２に送られて表示される。

ここで、提示可能仮想現実度分配処理部７０１２が映像用に割り当てる仮想現実度が１００未満であるならば、上記補正処理ではいまだ仮想現実度の条件を満たしていないことになる。そこで、映像補正処理部１０２２−１ｃは、仮想現実オブジェクトの映像の輝度を下げる補正処理を行う。

図４２（ｄ）では、残っているライオンの仮想現実オブジェクトの映像における輝度が下げられているため、表示パネル１０２２−２において仮想現実オブジェクトの映像が表示されている部分の奥になる現実の世界の物体が透けて見えている。すなわち、ユーザが取得する情報は、現実の世界からの情報が増えている。図４２（ｄ）では、当該輝度低減による補正処理が行われたことにより、仮想現実度が６０まで下がっており、表示が可能となっている。

なお、映像生成処理部１０２１で生成された映像における仮想現実度が基準値よりも超えている場合に行われる補正処理としては、先に仮想現実オブジェクトの一部を削除する構成とするものに限られるものではなく、先に仮想現実オブジェクト全体の輝度を下げることで、現実の世界からの光が仮想現実オブジェクトと重なった状態でユーザの目に入るようにし、ユーザの注意が現実の世界の方へ行くように制御されていても良い。

また、どの位置に配置されている仮想現実オブジェクトの輝度を下げたり映像内から削除したりするかは、ユーザの周囲の状況やユーザ状態に基づいて決定される構成とすると更に良好である。

例えば、ユーザの左前方から車が接近していることにより、仮想現実提示システムがユーザの注意を当該車に向けたい場合に、ユーザの右側に表示されている犬の仮想現実オブジェクトの映像を削除したり、輝度を下げたりしても、ユーザの注意は、問題となっている当該車の方向には向けられない。この場合、ユーザの左側に配置されているライオンの仮想現実オブジェクトの映像における輝度を下げ、当該ライオンを透過してその背後から迫っている車をユーザが適切に見えるようにすることが好ましい。

そこで、仮想現実度管理部７０１０は、映像用として提示可能な仮想現実度を算出するのではなく、映像を複数の領域に分割し、映像表示領域１、映像表示領域２、・・・映像表示領域Ｎと言った形で各映像表示領域に対して提示可能な仮想現実度を算出して映像補正処理部１０２２−１ｃに通知する構成とすると更に良好である。

この場合、例えばユーザの左前方から車が接近している場合であっても、表示パネル１０２２−２に左半分に仮想現実オブジェクトの映像が含まれていない場合は、例え右半分に仮想現実度の高い仮想現実オブジェクトの映像が表示されていても、各映像表示領域で提供可能仮想現実度を満たしているため、そのまま補正処理を行うことなく映像表示が可能となる。

図４３は、領域別に分かれた提示可能仮想現実度と、提示予定仮想現実度と、補正後仮想現実度との関係を示している。提示可能仮想現実度算出処理部７０１１は、周囲状況やユーザ状態などに基づいて、９分割された表示パネル１０２２−２における各表示領域について提示可能な仮想現実度を算出する。図４３では、ユーザの左下足元付近に障害物があるため、左下あたりで提示可能な仮想現実度が右下あたりで提示可能な仮想現実度と比較して小さくなっている。

提示予定仮想現実度算出部７０１２は、映像生成処理部１０２１で生成された仮想現実オブジェクトの映像について、上記各表示領域毎の仮想現実度を提示予定仮想現実度として算出する。図４３では、生成された映像において、左の方にライオンの仮想現実オブジェクトの映像が、右の方に犬の仮想現実オブジェクトの映像が含まれており、当該仮想現実オブジェクトの映像が含まれる領域では、仮想現実度が高くなっている。

ここで、提示可能仮想現実度算出部７０１１によって、左列下段及び中列下段における提示可能仮想現実度はそれぞれ０に設定されており、当該領域における映像生成処理部１０２１で生成された仮想現実オブジェクトの映像は、それぞれ仮想現実度が１２、５であるためそのまま表示することはできない。そこで、映像補正処理部１０２２−１ｃは、当該領域の仮想現実度を提示可能仮想現実度である０となるように補正する。

ここで、仮想現実度０は、仮想現実に関する提示がされていないことを意味しているため、映像補正処理部１０２２−１ｃは、当該領域の仮想現実オブジェクトの輝度を０に設定する。

また、左側中段の提示可能仮想現実度は１０であるのに対し、映像生成処理部１０２１で生成された映像の仮想現実度は３３であり、このまま表示することはできない。そこで、映像補正処理部１０２２−１ｃは、当該左側中段の領域に含まれる仮想現実オブジェクトであるライオンの映像の輝度を仮想現実度が１０となるまで下げることで、当該ライオンを透過する形で背後にある現実の世界の物体が見えるようになっている。

一方、右側に配置されている犬の仮想現実オブジェクトについては、提示可能仮想現実度を下回っているため、映像生成処理部１０２１で生成された映像のまま仮想現実度に基づく補正することなく表示することが可能である。

なお、上記説明では、映像補正処理部１０２２−１ｃは、仮想現実オブジェクトの輝度を下げることで、ユーザに提示される映像の仮想現実度を下げる構成としたがこれに限定されるものではない。ユーザに対して仮想現実の提示を行う仮想現実提示装置の構成に従って、適宜変更が可能である。

例えば、表示パネル１０２２−２を少なくとも備える仮想現実提示装置が透過型ＨＭＤ装置であって、外界から照射される光の量を制御する液晶パネル等が配置されている場合、映像補正処理部１０２２−１は、当該外界から照射される光の量を増やすことで、相対的に現実の世界からの情報を人工的に創り出された仮想現実オブジェクトの映像からの情報と比較して情報量が増えるように制御しても良い。

なお、仮想現実提示装置が透過型ディスプレイではない場合は、映像撮影部１０１１で撮影された映像と仮想現実オブジェクトの映像を合成して表示パネルで表示される構成とすると良い。この場合、映像撮影部１０１１で撮影された映像と仮想現実オブジェクトの映像との合成における重み付けを変化させ、仮想現実オブジェクトの映像に隠れる部分における現実の世界の映像が透けて見えるように構成すると良い。

＜実施形態８＞
実施形態１〜７に係る仮想現実提示システムを構成する、ユーザが装着する仮想現実提示装置に単独で備えられる構成を取ることが想定される一方、一部の処理を外部サーバに担当させる構成とすることが好ましい場合がある。

図４４は、本実施形態８に係る仮想現実提示システム８０００の構成を示すブロック図である。仮想現実提示システム８０００は、仮想現実提示装置１００と、仮想現実サービス提供サーバ２００と、契約者情報記憶データベース３００と、仮想現実コンテンツ記憶データベース４００と、を備える。

図４５は、仮想現実提示装置１００の斜め前方と斜め後方からの外観斜視図を示している。仮想現実提示装置１００は、ユーザが頭部に装着する装置であってユーザの目の前方に表示パネルが配置されるヘッドマウントディスプレイ（ＨＭＤ）装置である。

仮想現実提示装置１００は、フレーム１０１と、フロントパネル１０２と、を少なくとも備える。

フレーム１０１は、仮想現実提示装置１００の筐体であり、内部には、ＣＰＵ（Central Processing Unit）等の情報処理プロセッサ、ＲＡＭ（Random
Access Memory）、ＲＯＭ（Read only memory）、無線通信処理プロセッサ、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム１０１は、大きく分けてライトフレーム１０１ａ、レフトフレーム１０１ｂ、センターフレーム１０１ｃから構成される。

ライトフレーム１０１ａ及び１０１ｂは、ユーザの左右の耳にそれぞれ接続する筐体部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ１５１ａ、１５１ｂが配置され、他端がセンターフレーム１０１ｃと接続されている。ここで、スピーカ１５１は上述したスピーカ１０２３−２に対応する。

また、ライトフレーム１０１ａの内側の前端下方には、ユーザが発した音声を集音するユーザマイクロフォン１３１が配置され、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの一端の外側に周囲の音声を集音する周囲マイクロフォン１３２ａ、１３２ｂが配置されている。ユーザマイクロフォン１３１や周囲マイクロフォン１３２ａ、１３２ｂで集音された音声は、ＡＤ変換でデジタル音声信号に変換され、情報処理プロセッサに出力される。ここで、ユーザマイクロフォン１３１や周囲マイクロフォン１３２は、上述した音声入力部３０３０に対応する。

ライトフレーム１０１ａ及び１０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１２１ａ、１２１ｂと、加速度を検知する加速度センサ１２２ａ、１２２ｂが配置されている。また、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの外側には、周囲の景色を撮影する周囲カメラ１１２ａ、１１２ｂがそれぞれ配置されている。

センターフレーム１０１ｃは、両端がそれぞれライトフレーム１０１ａ、レフトフレーム１０１ｂに接続されており、センターフレーム１０１ｃの下方にフロントパネル１０２が接続されている。

センターフレーム１０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１２１ｃ、１２１ｄ、１２１ｅと、加速度を検知する加速度センサ１２２ｃ、１２２ｄ、１２２ｅがそれぞれ配置されている。また、センターフレーム１０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ１１１ａ、１１１ｂが配置されている。視線カメラ１１１ａ、１１１ｂは、センターフレーム１０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。

ここで、傾きセンサ１２１や加速度センサ１２２は、ユーザ状態検知部２０１０に対応し、視線カメラ１１１や周囲カメラ１１２は、周囲状況検知部１０１０に対応する。

フロントパネル１０２は、仮想現実提示装置１００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。仮想現実提示装置１００において、フロントパネル１０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル１４１ａとレフト表示パネル１４１ｂとが配置される。ここで、表示パネル１４１は、上述した表示パネル１０２２−２に対応する。

図４６は、仮想現実提示装置１００のライト表示パネル１４１ａ付近の断面図を示している。センターフレーム１０１ｃの下方には、フロントパネル１０２が配置されており、センターフレーム１０１ｃの下部には光源１４２が配置されている。

光源１４２より放射された可視光はフロントパネル１０２側へ照射される。フロントパネル１０２は、導光板１４３とＬＣＤ１４４とが合わさった構成であり、光源１４２より放射された可視光が導光板１４３でユーザ側へ反射され、表示制御されたＬＣＤ１４４を透過することで映像が表示される。

なお、仮想現実提示装置１００は図４７に示す構成としても良い。図４７に示す仮想現実提示装置１００は、光源１４２と導光板１４３との間にＬＣＤ１４４が配置されている。従って、外部からの光は、ＬＣＤ１４４を透過することなくユーザの目に照射されるため、外部の景色の明るさが暗くなることを防ぐことができる。

また、図４８に示すように外界からの光である外部光の照射量を制御するＬＣＤ１４５が配置されていても良い。ＬＣＤ１４４で仮想現実オブジェクトの映像を表示しても、外界からの光が混ざってしまい、仮想現実オブジェクトの像が透けてしまうため、ＬＣＤ１４５において仮想現実オブジェクトの位置における外部光を遮断することで、仮想現実オブジェクトが透けて見えると言ったことを防ぐことができる。

すなわち、注意喚起を行わない通常時では、仮想現実オブジェクトの表示位置に対応する位置から透過する光を遮断する制御をＬＣＤ１４５に対して行うことで、ＬＣＤ１４４を透過して導光板１４３で反射されることで表示される仮想現実オブジェクトの表示位置から外部の自然光が入射してこないようにする。一方、注意喚起時には、仮想現実オブジェクトの表示位置に対応する位置から透過する光量を増加させる制御をＬＣＤ１４５に対して行うことで注意喚起を行う。当該制御によって、仮想現実オブジェクトを透過して外部の景色がユーザに感知されるため、例えば仮想現実オブジェクトの背後に障害物があった場合であっても、当該仮想現実オブジェクトを通ってユーザには障害物が見えるため、ユーザは現実の世界により注意を払うことができる。

なお、導光板１４３の位置は、図４９に示すように、ユーザの目に入射される外部光が通過しない位置に配置されていると更に良好である。図４９の構成では、外部光のコントラストを更に向上させることが可能である。

また、図５０に示すように、外部光を制御するＬＣＤ１４５が配置されていても良い。外部光は、ＬＣＤ１４５を透過してユーザの目に到達し、光源１４２から出た光は、ＬＣＤ１４４を透過し、導光板１４３で反射されてユーザの目に到達する。

注意喚起を行う場合は、外部から透過してくる外部光の光量を増加させる制御をＬＣＤ１４５に対して行うことで注意喚起を行う。当該制御によって、仮想現実オブジェクトを透過して外部の景色がユーザに感知されるため、例えば仮想現実オブジェクトの背後に障害物があった場合であっても、当該仮想現実オブジェクトを取ってユーザには障害物が見えるため、ユーザは現実の世界により注意を払うことができる。

また、図５１のように、仮想現実提示装置１００は、非透過型ＨＭＤ装置であっても良い。この場合、視線カメラ１１１で撮影された映像に仮想現実提示用の映像を合成した映像を表示パネル１４０に表示する。

この場合、注意喚起を行わない通常時では、仮想現実オブジェクトの表示位置では、視線カメラで撮影された映像を下位レイヤー、仮想現実オブジェクトの映像を上位レイヤーとして２つの映像を合成して映像が表示パネルで表示される。一方、注意喚起時には、仮想現実オブジェクトの表示位置において、仮想現実オブジェクトの映像における画素データと、視線カメラで撮影された映像の画素データとを合成した画素データを表示する。

例えば、仮想現実オブジェクトが表示される所定の座標（ｘ、ｙ）において、映像生成処理部で生成される仮想現実オブジェクトの映像の画素データが（Ｙ１、Ｕ１、Ｖ１）であり、当該座標における視線カメラで撮影された映像の画素データが（Ｙ２、Ｕ２、Ｖ２）であったとする。注意喚起を行わない通常時では、仮想現実オブジェクトの配置位置が視線カメラで撮影された映像に写る物体よりもユーザ側にある場合は、表示パネルにおける当該座標で表される画素データは（Ｙ１，Ｕ１、Ｖ１）となり、一方、視線カメラで撮影された映像に写る物体が、仮想現実オブジェクトの配置位置よりもユーザ側になる場合は、表示パネルにおける当該座標で表される画素データは（Ｙ２，Ｕ２，Ｖ２）となる。

ここで、注意喚起制御部における注意喚起処理によって注意喚起が行われる場合、仮想現実オブジェクトがユーザ側にある場合であっても、当該座標で表される画素データは、（Ｙ１，Ｕ１，Ｖ１）ではなく（（αＹ１＋（１−α）Ｙ２、βＵ１＋（１−β）Ｕ２）、γＶ１＋（１−γ）Ｖ２）となる。ここで、α、β、γはそれぞれ０≦α、β、γ≦１である。

図５２は、当該非透過型ＨＭＤ装置において、注意喚起のレベルに応じて表示パネル１４１で表示される映像を示している。図５２に示すように、ユーザはソファーが置かれた部屋の中におり、非透過型ＨＭＤ装置の前方にユーザの視線と対応するように配置されている視線カメラ（前方カメラ）で当該部屋の景色が撮影されている。また、映像生成処理部において象の仮想現実オブジェクトの映像が生成されている。

非透過型ＨＭＤ装置が備える映像表示制御部は、当該視線カメラで撮影された映像と、映像生成処理部で生成された仮想現実オブジェクトの映像を合成して表示用映像を生成し、表示パネル１４１に表示する制御を行う。ここでは、仮想現実オブジェクトである象がソファー上に立つように制御された位置に配置されている。

ここで、注意喚起制御部が行う注意喚起要否の判定の結果、弱レベルの注意喚起を行うとして判定された場合に、映像表示制御部は、上記αを１から０．８に変更して２つの映像を合成し、表示用映像を生成する。図５２からも分かる様に、仮想現実オブジェクトの画素位置において、視線カメラで撮影された映像の成分が混ざった値が当該位置の画素データとなるため、仮想現実オブジェクトである象の映像に透けるように、背後にある現実の世界の物体である樹木が薄く見えている。

一方、注意喚起制御部が行う注意喚起要否の判定の結果、中レベルの注意喚起を行うとして判定された場合に、映像表示制御部は、上記αを０．６に変更して２つの映像を合成し、表示用映像を生成する。この場合、１−α＝０．４の割合で現実の世界の景色の映像が混ざるため、象である仮想現実オブジェクトを透けて背後の樹木等の姿がより明確にユーザの目に入ってくるため、ユーザは普通に前方を眺めている場合であっても、現実の世界からの情報をより多く取得していることになり、ユーザの注意が現実の世界により向けられることになる。

一方、注意喚起制御部が行う注意喚起要否の判定の結果、強レベルの注意喚起を行うとして判定された場合に、映像表示制御部は、上記αを０．４に変更して２つの映像を合成し、表示用映像を生成する。そのため、象である仮想現実オブジェクトよりもその背後にある樹木等の映像がユーザにはより強く印象付けられ、現実の世界に対する注意がより強くなる。

このように注意喚起制御部は、注意喚起の強さに基づいて当該α、β、γの値を変更する制御を行い、映像表示制御部に含まれる画像合成処理部において、仮想現実オブジェクトの映像と視線カメラで撮影された映像とが、各座標において上記式に従って合成される。

注意喚起制御部は、ユーザの移動速度が速い場合や、ユーザの近くに障害物がある場合、ユーザ方向に接近する移動体の速度が速い場合などに、必要となる注意喚起の強さを大きく設定する。すなわち、注意喚起制御部は、上記α、β、γの値を大きく設定することで、仮想現実オブジェクトの映像よりも視線カメラで撮影された現実の世界の映像を強調して表示パネルに表示させる制御を行う。

なお、上記注意喚起に伴って行われる映像合成で制御される係数は輝度信号Ｙの係数αだけであっても良いし、色差信号Ｕ，Ｖに対する係数β、γに対する係数も制御される構成としても良い。

仮想現実提示装置１００は、通信部１６０を備え、インターネット等の通信網２０を介して仮想現実サービス提示サーバ２００と接続されている。

仮想現実サービス提供サーバ２００は、通信網１０を介して仮想現実提示装置１００に仮想現実サービスを提供する。

契約者情報記憶データベース３００には、当該仮想現実サービスの提供を受ける各ユーザの情報が契約者情報として記憶されており、当該契約者情報で示されるユーザが利用可能な仮想現実サービスを仮想現実サービス提供サーバ２００は、ユーザに対して提供する。

仮想現実コンテンツ記憶データベース４００は、仮想現実サービスに用いられる仮想現実コンテンツを記憶する。仮想現実サービス提供サーバ２００は、ユーザに提供する仮想現実サービスに係る仮想現実コンテンツを仮想現実コンテンツ記憶データベース３００より読み出して実行することで仮想現実提示装置１００を装着しているユーザに仮想現実を提示する。

以上各実施の形態で説明したように、本発明に係る仮想現実システムは、仮想現実の世界をユーザに提示する仮想現実提示システムあって、ユーザが仮想現実の世界を感知して行動する際に、当該ユーザの行動が現実の世界に対して与える影響をコントロールする構成とすることができる。

なお、上述した図４８や図５０に示す仮想現実提示装置１００のように外部光の入射状態を制御するＬＣＤ１４５を備える構成である場合は、仮想現実度の補正を、ＬＣＤ１４４を用いた輝度の制御ではなく、ＬＣＤ１４５から入射される光量の制御で行っても良い。

例えば、仮想現実提示装置は、外部光を制御するＬＣＤを備える透過型ディスプレイを備えるＨＭＤ装置であって、映像生成処理部１０２１で生成される仮想現実オブジェクトの映像に対応する位置の外部光を遮断するようにＬＣＤを制御する。

すなわち、仮想現実提示装置１００は、ユーザ前方から入射される自然光の透過量を制御して映像を生成する第１表示機構と、光源ランプより入射される光の透過量を制御して映像を生成する第２表示機構と、第１表示機構で生成される映像と第２表示機構で生成される映像とを合成する合成機構とを備え、これら２つの表示機構によってそれぞれ生成される映像が合わさった映像がユーザに提示される。

仮想現実提示装置１００において、ユーザ状態検知部は、ユーザの移動速度を検知し、検知された移動速度に基づいて、第２表示機構で生成される仮想現実オブジェクトの映像に対応する位置における第１表示機構の映像を制御する。移動速度が早ければ、当該仮想現実オブジェクトの映像に対応する位置の第１表示機構における光の透過量を上げる制御を行い、ユーザの移動速度が遅い場合に、光の透過量を下げる制御を行う。

なお、本発明の仮想現実提示システムは、図５３に示す構成とすることも可能である。図５１に支援す仮想現実提示システムにおいて、映像生成処理部１０２１は、光源制御部１０２１−３を備える。光源制御部１０２１−３は、周囲状況検知部１０１０を構成する視線カメラや周囲カメラで撮影される映像に基づいて、ユーザの周囲の明るさや光源の位置を特定し、仮想空間における光源の明るさ（輝度）や光源位置を設定する。描画処理部１０２１−２は、当該光源制御部１０２１−３が設定する光源に基づいて、仮想現実オブジェクトの表面の輝度を制御するシェーディング処理を行い、当該シェーディング処理が行われた映像を映像表示部１０２２に出力する。

なお、当該構成とする場合、注意喚起制御部４０１０は、当該光源制御部１０２１−３が制御する光源の位置や明るさに対する補正指示を行うことでユーザに対する注意喚起を行う構成としても良い。例えば、注意喚起制御部４０１０は、ユーザに対する注意喚起を行うと決定した場合、光源制御部１０２１−３に光源の明るさを指示された値だけ下げる制御を行う。当該制御により、生成される仮想現実オブジェクトの映像の輝度が落ちるため、ユーザの目に入る情報量が下がることになり、ユーザの注意を現実の世界に振り向けることができる。

また、上述した各実施形態は、本発明の一実施例を示したものであり、適宜変更が可能である。例えば、上述した各実施形態を組み合わせることが可能である。

また、上述した仮想現実提示システムにおいて、映像生成処理部は、ユーザが装着する仮想現実提示装置側に設けられていても良いし、仮想現実サービス提供サーバ側に設けられていても良い。この場合、仮想現実提示装置は、取得したユーザ状態情報や周囲状況情報を仮想現実サービス提供サーバ側へ通信部より無線送信し、仮想現実サービス提供サーバで生成された仮想現実オブジェクトの映像の符号化データを当該通信部で無線受信する構成となる。仮想現実提示装置において、映像表示制御部は通信部で無線受信された上記仮想現実オブジェクトの映像符号化データに対して復号処理を行い、復号後の映像を表示パネルに表示する。

また、上述した仮想現実提示システムにおいて、注意喚起制御部や仮想現実提示中断制御部は仮想現実提示装置内に組み込まれていても良いし、仮想現実サービス提供サーバ側に配置されていても良い。この場合、仮想現実提示装置の通信部より無線送信されたユーザ状態情報や周囲状況情報に基づいて仮想現実の提示の中断を行うかどうかの判定処理や、注意喚起を行うかどうかの判定処理を仮想現実サービス提供サーバ側で実行する。

また、上記説明では、映像を表示する表示パネルとしてＬＣＤ（Liquid Crystal Display）を用いる場合について説明したが、これに限定されるものではない。例えば、ＯＥＬＤ（Organic
Electro-Luminescence Display）を用いても良いし、その他の映像表示ディスプレイを用いることができる。

また、仮想現実提示装置には、ユーザの左目と右目の前方にそれぞれ配置される２つの表示パネルが設けられていることが好ましく、上述した視点制御部は当該ユーザの左目と右目にそれぞれ対応した視点の位置及び方向を制御し、映像生成処理部において、２つの表示パネルにそれぞれ表示する映像を生成する構成とすることが好ましい。

また、上述した色空間はＹＵＶ系列であるものとして説明したが、ＲＧＢ系列やＣＭＹ系列やその他の色空間で制御等が行われていても良い。この場合、表示制御部等で行われる輝度の制御は、明度の制御やＲ成分の制御等で代用されることも当然可能である。

また、上述した各部はハードウェアによって実現されていても良いし、ＣＰＵ（Central Processing Unit）等のプロセッサにプログラムを実行させることにより、ハードウェアとソフトウェアの協働で実現されていても良い。

また、上述した仮想現実提示装置は、仮想現実以外の情報を表示するＨＭＤ装置としても利用することが可能である。

また、本発明は以下の構成を取ることが可能である。
（付記１）（システム基本設計）
ユーザの周囲の状況を検知する周囲状況検知手段と、
仮想現実の提示を行う仮想現実提示手段と、
前記検知されたユーザの周囲の状況に基づいて、仮想現実の提示を中断する制御を行う仮想現実提示中断制御手段と、
を備える仮想現実提示システム。
（付記２）（システム基本設計）
仮想現実の提示を中断する条件である中断条件を記憶する中断条件記憶手段を更に備え、
前記仮想現実提示中断制御手段は、
前記検知されたユーザの周囲の状況が前記中断条件を満たしているかを判定する仮想現実提示中断判定手段と、
前記判定結果に基づいて、前記仮想現実提示手段に前記仮想現実の提示を中断させる指示を出す仮想現実提示中断指示手段と、
を備え、
前記仮想現実提示手段は、前記指示を受けた場合に仮想現実の提示を中断する、
付記１に記載の仮想現実提示システム。
（付記３）（仮想現実オブジェクト）
仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段を更に備え、
前記仮想現実提示手段は、前記仮想現実オブジェクトの映像を表示することで仮想現実の提示を行う、
付記１又は２に記載の仮想現実提示システム。
（付記４）（レンダリング映像生成）
ユーザの状態を検知するユーザ状態検知手段と、
前記仮想現実オブジェクト記憶手段に記憶されている仮想現実オブジェクトを読み出して仮想空間に配置する仮想現実オブジェクト配置手段と、
前記ユーザ状態検知手段で求められるユーザの状態に基づいて求められる視点位置及び視線方向に基づいて、仮想空間に配置されている前記仮想現実オブジェクトを描画することで、前記仮想現実オブジェクトの２次元映像を生成する映像生成処理手段と、
を備え、
前記仮想現実提示手段は、前記生成された映像を表示することで仮想現実の提示を行う、
付記３に記載の仮想現実提示システム。
（付記５）（中断映像）
仮想現実の提示を中断することを示す中断映像データを記憶する中断映像データ記憶手段を更に備え、
前記仮想現実提示中断手段は、前記仮想現実提示手段に前記中断映像データを表示させる指示を行うことで仮想現実の提示を中断する制御を行う、
付記３又は４に記載の仮想現実提示システム。
（付記６）（音声）
前記仮想現実オブジェクトと関連付けされた音声データを記憶する音声データ記憶手段を更に備え、
前記仮想現実提示手段は、前記音声データを再生することで仮想現実の提示を行う、
付記１〜５のいずれか１項に記載の仮想現実提示システム。
（付記７）（中断音声）
仮想現実の提示を中断することを示す中断音声データを記憶する中断映像データ記憶手段を更に備え、
前記仮想現実提示中断手段は、前記仮想現実提示手段に前記中断音声データを再生させる指示を行うことで仮想現実の提示を中断する制御を行う、
付記６に記載の仮想現実提示システム。
（付記８）（物体移動速度）
前記周囲状況検知手段は、少なくともユーザの周囲を撮影して周囲画像を取得する複数の周囲撮影手段を備え、
前記周囲画像に写っている物体の移動速度を算出する物体移動速度算出手段と、
を更に備え、
前記仮想現実提示中断制御手段は、
前記物体の移動速度が所定の基準速度を超えている場合に、仮想現実の提示を中断する制御を行う、
付記１〜７のいずれか１項に記載の仮想現実提示システム。
（付記９）（物体相対移動速度）
前記物体移動速度算出手段は、前記物体のユーザ方向の移動速度成分を算出し、
前記仮想現実提示中断制御手段は、
前記物体のユーザ方向の移動速度成分が所定の基準速度を超えている場合に、仮想現実の提示を中断する制御を行う、
付記８に記載の仮想現実提示システム。
（付記１０）（物体移動速度）
前記周囲画像に写っている物体までの距離を算出する物体距離算出手段を更に備え、
前記仮想現実提示中断制御手段は、所定の距離以内にある物体の移動速度又はユーザの方向の移動速度成分が所定の基準速度を超えている場合に、仮想現実の提示を中断する制御を行う、
付記９に記載の仮想現実提示システム。
（付記１１）（衝突時間）
前記周囲状況検知手段は、少なくともユーザの周囲を撮影して周囲画像を取得する複数の周囲撮影手段を備え、
前記周囲画像に写っている物体までの距離を算出する物体距離算出手段と、
前記物体までの距離の変化に基づいて前記物体の移動速度を算出する物体移動速度算出手段と、
前記物体までの距離と前記物体の移動速度とに基づいて、ユーザ位置までの到達時間を推定する到達時間推定手段と、
を更に備え、
前記仮想現実提示中断制御手段は、
前記到達時間が所定の時間以内である場合に、仮想現実の提示を中断する制御を行う、
付記１〜７のいずれか１項に記載の仮想現実提示システム。
（付記１２）（進行方向障害）
前記周囲状況検知手段は、少なくともユーザの周囲を撮影して周囲画像を取得する複数の周囲撮影手段を備え、
ユーザの移動を検知するユーザ移動検知手段と、
前記周囲画像に基づいて、ユーザの移動方向に障害が存在するかを判定する障害判定手段を更に備え、
前記仮想現実提示中断制御手段は、前記ユーザの移動方向に障害が存在すると判定された場合に仮想現実の提示を中断する制御を行う、
付記１〜７のいずれか１項に記載の仮想現実提示システム。
（付記１３）（進行方向障害）
ユーザの移動速度を算出するユーザ移動速度算出手段と、
前記ユーザの移動方向に存在する物体又は段差までの距離を算出する物体・段差距離算出手段と、
を更に備え、
前記障害判定手段は、前記ユーザの移動速度と、前記ユーザの移動方向に存在する物体又は段差までの距離と、に基づいて前記ユーザの移動方向に障害が存在するかを判定する、
付記１２に記載の仮想現実提示システム。
（付記１４）（進行方向障害）
前記障害判定手段は、前記ユーザの移動方向に存在する物体又は段差までの距離を前記移動速度で除算した値が所定の基準値以下である場合に、ユーザの移動方向に障害が存在すると判定する、
付記１３に記載の仮想現実提示システム。
（付記１５）（方法基本設計）
ユーザの周囲の状況を検知する周囲状況検知ステップと、
仮想現実の提示を行う仮想現実提示ステップと、
前記検知されたユーザの周囲の状況に基づいて、仮想現実の提示を中断する制御を行う仮想現実提示中断制御ステップと、
を備える仮想現実提示システム。
（付記１６）（システム基本設計）
ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて、仮想現実オブジェクトの映像を生成する映像生成手段と、
前記生成された映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示システム。
（付記１７）（注意喚起判定）
注意喚起を行う条件である注意喚起条件を記憶する注意喚起条件記憶手段を更に備え、
前記注意喚起手段は、
前記検知されたユーザの周囲の状況が前記注意喚起条件を満たしているかを判定する注意喚起判定手段と、
前記判定結果に基づいて、前記映像表示手段に注意喚起用の映像を表示させる制御又は前記音声出力手段に注意喚起用の音声を出力させる指示を行う注意喚起指示手段と、
を備える付記１に記載の仮想現実提示システム。
（付記１８）（注意喚起判定）
前記注意喚起条件記憶手段は、複数の注意喚起条件を記憶し、
前記注意喚起判定手段は、前記検知されたユーザの周囲の状況が前記複数の注意喚起条件のいずれかを満たしているかを判定し、
前記注意喚起指示手段は、前記注意喚起条件を満たしたと判定された場合に、前記注意喚起条件に対応付けられている注意喚起用の映像を前記表示手段に表示させる指示又は前記注意喚起条件に対応付けられている注意喚起用の音声を前記音声出力手段に出力させる指示を行う、
付記１７に記載の仮想現実提示システム。
（付記１９）（注意喚起判定）
前記注意喚起指示手段は、前記判定結果に基づいて、前記音声出力手段に、前記仮想現実オブジェクトに関連付けされた注意喚起用の音声を出力させる指示を行う、
付記１７に記載の仮想現実提示システム。
（付記２０）（注意喚起判定）
前記仮想現実オブジェクトに関連付けされた注意喚起用の音声データと、前記仮想現実オブジェクトに関連付けされていない注意喚起用の音声データとを記憶する注意喚起データ記憶手段を備え、
前記注意喚起制御手段は、前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データが前記注意喚起データ記憶手段に記憶されている場合は、前記前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データを読み出して、前記音声出力手段に、前記仮想現実オブジェクトに関連付けされた注意喚起用の音声を出力させる制御を行い、前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データが前記注意喚起データ記憶手段に記憶されていない場合は、前記前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データを読み出して前記音声出力手段に、前記仮想現実オブジェクトに関連付けされていない注意喚起用の音声を出力させる制御を行う、
付記１８に記載の仮想現実提示システム。
（付記２１）（注意喚起判定）
前記注意喚起手段は、映像生成手段で生成される仮想現実オブジェクトの映像の輝度又は明度を下げる補正を行うことで前記注意喚起を行う、
付記１６〜１９にいずれか１項に記載の仮想現実システム。
（付記２２）（装置基本設計）
ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて生成される仮想現実オブジェクトの映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示装置。
（付記２３）（装置基本設計）
前記ユーザの状態を示すユーザ状態情報と前記ユーザの周囲の状況を示す周囲状況情報とを送信する送信手段と、
前記送信されたユーザ状態情報と周囲状況情報とに基づいて生成された前記仮想現実オブジェクトの映像符号化データを受信する受信手段と、
を更に備え、
前記映像表示手段は、前記受信手段で受信された映像符号化データを復号してる仮想現実オブジェクトの映像を表示する、
付記１６に記載の仮想現実提示装置。
（付記２４）（注意喚起判定）
ユーザの周囲の状況を検知する周囲状況検知ステップと、
ユーザの状態を検知するユーザ状態検知ステップと、
前記ユーザの状態に基づいて仮想現実オブジェクトの映像を生成する映像生成ステップと、
前記生成された映像を表示する映像表示ステップと、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力ステップと、
前記検知されたユーザの周囲の状況に基づいて、注意喚起を行う注意喚起ステップと、
を備える仮想現実提示方法。

本発明は、クリエイティビティーの高い仮想現実の世界の提供などに幅広く利用可能である。

１０００仮想現実提示システム１０１０周囲状況検知部
１０２０仮想現実提示部１０２１映像生成処理部
１０２１−１視点制御部１０２１−２描画処理部
１０２１−３光源制御部１０２２映像表示部
１０２２−１映像表示制御部１０２２−１ａ映像データ読み出し部
１０２２−１ｂ映像多重処理部１０２２−１ｃ映像補正処理部
１０２２−２表示パネル
１０２３音声出力部１０２３−１音声再生制御部
１０２３−１ａ音声データ読み出し部
１０２３−１ｂＤＡ変換処理部１０２３−１ｃ音声多重処理部
１０２３−１ｄ第１ＤＡ変換処理部１０２３−１ｅ第１分配処理部
１０２３−１ｆ第１増幅処理部１０２３−１ｇ第２ＤＡ変換処理部
１０２３−１ｈ第１分配処理部１０２３−１ｉ第２増幅処理部
１０２３−１ｊ再生音声合成処理部１０２３−２スピーカ
１０３０仮想現実提示中断制御部１０３１仮想現実提示中断判定処理部
１０３２仮想現実提示中断指示部
２０００仮想現実提示システム２０１０ユーザ状態検知部
２０１１傾きセンサ２０１２加速度センサ
２０１３ユーザ位置検出部２０１４ユーザ移動速度検出部
２０１５ユーザ方位検出部
２０２０仮想現実オブジェクト記憶部２０３０仮想現実オブジェクト配置部
２０４０中断用映像データ記憶部２０５０仮想現実提示用音声データ記憶部
２０６０中断用音声データ記憶部２０７０中断用映像データ選択処理部
２０８０中断用音声データ選択処理部
３０００仮想現実提示システム３０１０仮想現実提示中断条件記憶部
３０２０画像解析処理部３０２１物体距離算出部
３０２２物体移動速度算出部３０２３物体特定部
３０２４物体種類特定部３０２５物体位置特定部
３０２６ユーザ移動速度算出部３０３０音声入力部
３０４０ユーザ行動特定部３０５０仮想現実提示制御部
４０００仮想現実提示システム４０１０注意喚起制御部
４０１１注意喚起判定処理部４０１２注意喚起指示部
５０００仮想現実提示システム５０１０注意喚起条件記憶部
６０００仮想現実提示システム６０１０仮想現実コンテンツ記憶部
６０２０仮想現実オブジェクト挙動制御部
７０００仮想現実提示システム７０１０仮想現実度管理部
７０１１提示可能仮想現実度算出処理部
７０１２提示予定仮想現実度算出処理部
７０１３提示可能仮想現実度分配処理部
７０１４仮想現実度削減割合指示部（割り当て仮想現実度通知部）
８０００仮想現実提示システム
１００仮想現実提示装置１０１ａライトフレーム
１０１ｂレフトフレーム１０１ｃセンターフレーム
１０２フロントパネル
１１１ａ，１１１ｂ視線カメラ
１１２ａ、１１２ｂ周囲カメラ
１２１ａ〜１２１ｅ傾きセンサ１２２ａ〜１２２ｅ加速度センサ
１３１ユーザマイクロフォン１３２ａ、１３２ｂ周囲マイクロフォン
１４１ａライト表示パネル１４１ｂレフト表示パネル

Claims

ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて、仮想現実オブジェクトの映像を生成する映像生成手段と、
前記生成された映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
少なくとも前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示システム。
注意喚起を行う条件である注意喚起条件を記憶する注意喚起条件記憶手段を更に備え、
前記注意喚起手段は、
前記検知されたユーザの周囲の状況が前記注意喚起条件を満たしているかを判定する注意喚起判定手段と、
前記判定結果に基づいて、前記映像表示手段に注意喚起用の映像を表示させる制御又は前記音声出力手段に注意喚起用の音声を出力させる指示を行う注意喚起指示手段と、
を備える請求項１に記載の仮想現実提示システム。
前記注意喚起条件記憶手段は、複数の注意喚起条件を記憶し、
前記注意喚起判定手段は、前記検知されたユーザの周囲の状況が前記複数の注意喚起条件のいずれかを満たしているかを判定し、
前記注意喚起指示手段は、前記注意喚起条件を満たしたと判定された場合に、前記注意喚起条件に対応付けられている注意喚起用の映像を前記表示手段に表示させる指示又は前記注意喚起条件に対応付けられている注意喚起用の音声を前記音声出力手段に出力させる指示を行う、
請求項２に記載の仮想現実提示システム。
前記注意喚起指示手段は、前記判定結果に基づいて、前記音声出力手段に、前記仮想現実オブジェクトに関連付けされた注意喚起用の音声を出力させる指示を行う、
請求項２又は３に記載の仮想現実提示システム。
前記注意喚起手段は、前記表示されている仮想現実オブジェクトがユーザに対して注意喚起を行うように前記仮想現実オブジェクトの挙動を制御することを特徴とする、
請求項１乃至４のいずれか１項に記載の仮想現実提示システム。
前記注意喚起手段は、映像生成手段で生成される仮想現実オブジェクトの映像の輝度又は明度を下げる補正を行うことで前記注意喚起を行う、
請求項１乃至４のいずれか１項に記載の仮想現実システム。
前記注意喚起手段は、前記映像表示手段における前記仮想現実オブジェクトの表示位置に対応する位置から透過する光量を増加させる制御を行うことで前記注意喚起を行う、
請求項１乃至４のいずれか１項に記載の仮想現実システム。
前記周囲状況検知手段は、前記ユーザの少なくとも前方を撮影して前方景色画像を取得し、
前記注意喚起手段は、前記周囲状況検知手段で取得された前方景色画像に基づいて、ユーザの前方に障害物が存在するかを判定し、前記判定の結果、障害物が存在すると判定された場合にユーザに対する注意喚起を行う、
請求項１乃至７のいずれか１項に記載の仮想現実提示システム。
前記周囲状況検知手段は、前記ユーザの周囲を撮影して周囲景色画像を取得し、
前記注意喚起手段は、前記周囲状況検知手段で取得された周囲景色画像に基づいて、ユーザから所定の距離以内に人間が存在するかを判定し、前記判定の結果、人間が存在すると判定された場合にユーザに対する注意喚起を行う、
請求項１乃至７のいずれか１項に記載の仮想現実提示システム。
ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて生成される仮想現実オブジェクトの映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
少なくとも前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示装置。
ユーザの周囲の状況を検知する周囲状況検知ステップと、
ユーザの状態を検知するユーザ状態検知ステップと、
前記ユーザの状態に基づいて仮想現実オブジェクトの映像を生成する映像生成ステップと、
前記生成された映像を表示する映像表示ステップと、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力ステップと、
少なくとも前記検知されたユーザの周囲の状況に基づいて、注意喚起を行う注意喚起ステップと、
を備える仮想現実提示方法。