JP2014164537A

JP2014164537A - 仮想現実サービス提供システム、仮想現実サービス提供方法

Info

Publication number: JP2014164537A
Application number: JP2013035268A
Authority: JP
Inventors: Yasuaki Iwai; 泰章岩井
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-02-26
Filing date: 2013-02-26
Publication date: 2014-09-08

Abstract

【課題】現実の世界と融合した仮想現実の世界で提示することを可能とする仮想現実サービス提供システムが求められていた。
【解決手段】本発明の仮想現実サービス提示システムは、複数の仮想現実オブジェクトを記憶するオブジェクト記憶手段、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能サービス情報記憶手段、ユーザが利用可能な仮想現実サービスに用いる仮想現実オブジェクトをオブジェクト記憶手段より読み出すオブジェクト読み出し手段、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における仮想現実オブジェクトの配置位置を決定するオブジェクト配置位置決定手段、ユーザの状態を示すユーザ状態情報と仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するＨＭＤ装置の表示パネルに表示される映像の符号化データを生成する表示映像生成手段、を備える。
【選択図】図１

Description

本発明は、仮想現実サービス提供システム、仮想現実サービス提供方法、仮想現実サービス提供サーバ、情報処理システム、情報処理方法、情報処理サーバ、情報処理プログラム、仮想現実提示装置、ヘッドマウントディスプレイ装置、仮想現実提示システムに関する。

近年、映像を表示するための装置として、テレビなど従来の据え置き型ディスプレイに加えて様々な電子デバイスが開発されており、携帯電話端末やタブレット端末、ヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）と言った電子デバイスが既に開発されている。

先行文献１には、現実の風景にＣＧ（Computer Graphics）を重ねてＨＭＤで表示するための仮想現実感提示装置が開示されている。

特開２００６−３３８１６３号公報

私達人間が生きる現実の世界は、物理的、社会的制約を受けている。例えば、質量のある物質は光速を超えることができないという物理的制約から惑星間旅行は実現が困難であるし、エネルギー保存の法則が支配すると言った物理的制約から生身の体で空を自由に飛ぶことはできない。

また、物理的には可能な事象であっても、現実の人間社会に平穏と秩序を与えるために設定されている倫理規範や各法律などにより、人間の行動は社会的な制約を受けている。このように、人間は自由を謳歌する立場でありながら、現実の世界では様々な制約を受ける条件的自由を享受しているに過ぎない。

現実の世界は様々な制約が課せられるが、人間が想像する世界はこれらの制約に縛られず、無限の自由度を有している。想像の世界では光速を超えることも、空を飛ぶことも可能である。世界中に散らばるクリエータは、ある者は映画と言う形態で架空の世界を創り出し、ある者は小説や漫画、アニメーション、ゲームと言う形態で架空の世界を構築する。一般需要者は、映画を見たり小説を読んだりすることで、クリエータが創り出した架空の世界を自身の脳内に再構築し、その世界を疑似的に体験している。

映画や小説など、クリエータが創り出すこれらのコンテンツは、想像力溢れる世界を一般需要者が各々自身の脳内に構築できるようにするための補助材料と見ることができる。小説、映画、アニメ、漫画、ゲームと言った各コンテンツの違いは、各コンテンツに表される架空の世界をユーザが自ら脳内に構築するために用いられる表現形態の違いに他ならない。例えば、映画は、クリエータであるシナリオライタが想像した世界をそのまま表現する形態であるのに対し、小説は、クリエータである小説家が想像した世界を、消費者が自らの想像で補完する自由度を与えた表現形態であると言える。

各需要者は、自らが有する視覚や聴覚を介してこの補助材料にリンクし、クリエータが創り出した架空の世界を自身の脳内に再構築する。従って、例えば漫画を読み終えた後でも、その漫画で表される世界を需要者は脳内で想像することができ、唯一そのクリエータだけが無から構築した架空の世界と同一の世界の片鱗を、需要者も脳内に構築することができる。

ここで、需要者は、現実の世界と、当該コンテンツを介して自身が脳内に創り出す想像の世界とを、明確に分離された２つの異なる世界であることを認識している。このことは、どれだけ既存のコンテンツが示す創り出された世界が現実的なものであったとしても変わることはない。

一方、私達は、現実の世界と想像の世界とを日頃の生活の中で同一視する経験をしばしば体験する。それは夢である。私達は夢を見ている間、それが現実の世界とは異なる想像上の世界であることを認識できてはいない。夢の世界は時として素晴らしいものであり、夢から覚めたときに、それが現実ではなく夢であったことを残念に感じることを私達人間はしばしば体験する。

言葉通り、夢のような時間を過ごすためには、現実の世界と想像の世界との境界とを明確に認識できない状態にユーザが置かれる必要がある。現実の世界と分離した想像の世界よりも現実と融合した想像の世界の方が、人間にとって親近感が強く、より素晴らしいものとして認識される。既存のコンテンツの最終的な表現形態は、クリエータが創造する架空の世界を需要者の現実の世界と融合した状態で表現する形態に集約されるものと考える。

絵画、彫刻、映画、アニメーション、漫画、ゲーム、小説、などいずれの表現形態を取るにせよ、創造性溢れるクリエータが創り出す世界とリンクすることで、創造性の乏しい需要者が自身の脳内に同一の世界を構築できるようにすることが芸術に対する消費の主目的であるのならば、現実の世界と融合した状態で表現する形態を取る場合において、クリエータが創り出す世界感を需要者に適切に提示できるようなシステムを構築する必要がある。これは、映画であれば映画館の音響環境を整えると言ったことや、ゲームであればプラットフォームを整えると言ったことに近い。従来の技術では、このような観点に対する十分な検討が加えられておらず、限定的な仮想現実を提示するものでしかなかった。

本発明は、上記課題を鑑み、創造力溢れるクリエータが創り出す想像上の世界をユーザが生きる現実の世界と融合した状態で提示することを可能とする仮想現実サービス提供システム及び仮想現実サービス提供方法としたものである。

本発明の一態様である仮想現実サービス提供システムは、複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶手段と、前記ユーザが利用可能な仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出す仮想現実オブジェクト読み出し手段と、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における前記仮想現実オブジェクトの配置位置を決定する仮想現実オブジェクト配置位置決定手段と、ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像の符号化データを生成する表示映像生成手段と、を備える。

本発明の一態様である仮想現実サービス提供方法は、複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶データベースと、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶データベースと、を備える仮想現実サービス提供システムで用いられる仮想現実サービス提供方法である。当該仮想現実サービス提供方法は、前記利用可能仮想現実サービス情報記憶データベースに記憶される前記ユーザが利用可能な仮想現実サービスを示す情報に基づいて、前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶データベースより読み出す仮想現実オブジェクト読み出しステップと、ユーザの周囲の状況を示す周囲状況情報に基づいて、前記読み出した仮想現実オブジェクトの仮想空間における配置位置を決定する仮想現実オブジェクト配置位置決定ステップと、ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像の符号化データを生成する表示映像生成ステップと、を有する。

本発明によれば、クリエータが創り出す想像上の世界をユーザが生きる現実の世界と融合した状態で適切に提示することができる。

実施形態１に係る仮想現実サービス提供システムの機能構成を示すブロック図である。仮想現実提示装置を装着しているユーザの周囲の現実の世界の景色と、表示部に表示される映像と、ユーザが感知する仮想現実の世界とをそれぞれ示す図である。利用可能仮想現実サービス情報の一例を示す図である。仮想現実オブジェクト記憶ＤＢに記憶されている仮想現実オブジェクトを管理する管理ファイルの一例である。仮想現実オブジェクトのモデル映像データの一例を説明する図である。実施形態２に係る仮想現実サービス提供システムの機能構成を示すブロック図である。実施形態２に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。実施形態３に係る仮想現実サービス提供システムの機能構成を示すブロック図である。実施形態３に係るＨＭＤ装置の斜め前方と斜め後方からの外観斜視図である。実施形態３に係るＨＭＤ装置の断面図である。契約者情報の一例である。仮想現実コンテンツの構造を説明する図である。仮想現実制御プログラムの分類を説明する図である。セーブデータ管理ファイルの一例である。実施形態３に係る仮想現実サービス提供システムにおける仮想現実サービス開始処理の流れを示すフローチャート図である。実施形態３に係る仮想現実サービス提供システムにおける仮想空間の制御処理の流れを示すフローチャート図である。実施形態３に係る仮想現実サービス提供システムにおける仮想現実オブジェクトの映像生成処理の流れを示すフローチャート図である。実施形態３に係る仮想現実サービス提供システムにおける仮想現実オブジェクトの音声生成処理の流れを示すフローチャート図である。実施形態３に係る仮想現実サービス提供システムにおける仮想現実サービスの中断・再開処理の流れを示すフローチャート図である。実施形態３に係る仮想現実サービス提供システムにおける仮想現実サービスの終了処理の流れを示すフローチャート図である。実施形態３に係るＨＭＤ装置から仮想現実サービス提供サーバに出される各種要求（パケット）のデータ構造の一例を示す図である。実施形態３に係る仮想現実サービス提供サーバからＨＭＤ装置に出される各種通知情報（パケット）のデータ構造の一例を示す図である。実施形態３に係るＨＭＤ装置の変形例の断面図である。実施形態３に係るＨＭＤ装置の変形例の斜め前方と斜め後方からの外観斜視図である。実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。実施形態４に係る仮想現実提示システムの機能構成を示すブロック図である。実施形態４に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。実施形態５に係る仮想現実提示システムの機能構成を示すブロック図である。実施形態５に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。実施形態６に係る仮想現実提示システムの機能構成を示すブロック図である。実施形態６に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。実施形態７に係る仮想現実提示システムの機能構成を示すブロック図である。実施形態７に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。仮想現実体験ドームによるユーザ状態の検知方法を説明する図である。ＨＭＤ装置と制御処理装置が分離した形態の仮想現実提示装置を装着しているユーザを示した図である。本発明のＨＭＤ装置の断面図の一例である。本発明のＨＭＤ装置の断面図の一例である。本発明のＨＭＤ装置の断面図の一例である。本発明のＨＭＤ装置の断面図の一例である。本発明のＨＭＤ装置の断面図の一例である。本発明のＨＭＤ装置の断面図の一例である。本発明のＨＭＤ装置の断面図の一例である。

以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。

＜実施形態１＞
図１は、本発明の実施形態１に係る仮想現実サービス提供システム１０００の構成を示すブロック図である。仮想現実サービス提供システム１０００は、仮想現実提示装置１００を装着しているユーザに仮想現実サービスを提供するシステムであって、利用可能仮想現実サービス情報記憶データベース１１００と、仮想現実オブジェクト記憶データベース１２００と、仮想現実サービス提供サーバ１３００と、を備える。仮想現実サービス提供サーバ１３００は、ユーザが装着する仮想現実提示装置１００と、インターネット等の通信網１０を介して接続されている。

ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer
Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言い、仮想現実サービスとは、このような仮想現実の世界をユーザに体験させるサービスである。

人間は、五感を用いて自身の周囲で生じる事象を感知し、感知した情報を脳で処理して状況把握を行う。従って、人間が有する感覚を欺くように映像を表示したり音声を出力したりすることで、仮想現実の世界を創り出すことができる。仮想現実の世界は、人工的に創り出される世界であるため、様々な形態の仮想現実サービスが存在する。

図２は、現実の世界と、表示される映像と、仮想現実の世界との対応関係を示している。ソファーが置かれている部屋にいるユーザに対して仮想現実提示装置１００が仮想現実オブジェクトである犬の映像を表示することで、ユーザが見る世界（ユーザが感知する世界）は、ソファーの上に犬が寝ているという現実の世界とは異なる仮想現実の世界となる。

本実施形態１において仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）装置であるとして説明する。仮想現実提示装置１００は、ユーザに仮想現実の世界を提示する装置であって、ユーザ状態検知部１１０と、周囲状況検知部１２０と、通信部１３０と、表示制御部１４０と、表示部１５０と、を備える。

ユーザ状態検知部１１０は、仮想現実提示装置１００を使用しているユーザの状態を検知し、ユーザの状態を示すユーザ状態情報を生成する。例えば、ユーザ状態検知部１１０は、ユーザの頭部の傾きを検知する傾きセンサや、ユーザの頭部の加速度を検知する加速度センサなどで構成される。ユーザ状態検知部１１０は、ユーザの状態を示すユーザ状態情報を通信部１３０に出力する。

周囲状況検知部１２０は、仮想現実提示装置１００を使用しているユーザの周囲の状況を検知し、ユーザの周囲の状況を示す周囲状況情報を生成する。例えば、周囲状況検知部１２０は、ユーザの視線と対応した景色を撮影する視線カメラや、ユーザの両側や後方など視線カメラでは撮影できない範囲の景色を撮影する周囲カメラなどで構成される。周囲状況検知部１２０は、ユーザの周囲の状況を示す周囲状況情報を通信部１３０に出力する。

通信部１３０は、インターネット等の通信網１０を介して仮想現実サービス提供サーバ１３００と通信を行う。通信部１３０は、仮想現実提示装置１００で生成された各種情報を無線で送信する無線送信部１３１と、仮想現実サービス提供サーバ１３００より送信された各種情報を無線で受信する無線受信部１３２と、を備える。

無線送信部１３１は、仮想現実提示装置１００で生成される各種情報を無線信号に変換して仮想現実サービス提供サーバ１３００に送信する。無線送信部１３１は、少なくともユーザ状態検知部１１０で生成されるユーザ状態情報と、周囲状況検知部１２０で生成される周囲状況情報とを、仮想現実サービス提供サーバ１３００に送信する。

無線受信部１３２は、仮想現実サービス提供サーバ１３００より送信される各種情報を無線で受信し、当該受信した情報に対応する仮想現実提示装置１００の各部へ出力する。無線受信部１３２は、少なくとも仮想現実サービス提供サーバ１３００で生成された映像の符号化データを無線で受信し、当該符号化データを表示制御部１４０に出力する。

表示制御部１４０は、無線受信部１３２で受信された符号化データを復号化して、仮想現実オブジェクトの映像を表示部１５０に表示する制御を行う。

表示部１５０は、表示制御部１４０の表示制御に基づいて、仮想現実オブジェクトの映像を表示する。

次に、仮想現実サービス提供システム１０００を構成する各装置ついて詳細に説明する。利用可能仮想現実サービス情報記憶データベース１１００は、ユーザが利用可能な仮想現実サービスを示す情報である利用可能仮想現実サービス情報（利用可能サービス識別情報）を記憶する。

仮想現実サービス提供システム１０００は、様々な種類の仮想現実サービスを提供可能なように構成されており、各ユーザは、それらの仮想現実サービスの中から自身が利用したい一部の仮想現実サービスを予め選択している。

図３は、利用可能仮想現実サービス情報の一例を示している。各ユーザと、当該ユーザが利用可能な仮想現実サービスとが対応付けられた状態で記憶されている。例えば、ユーザＢは、Ｓ０２４で識別される仮想現実サービスが利用可能な状態であることを示している。ここでは、Ｓ０２４で識別される仮想現実サービスは、例えば仮想空間に犬の仮想現実オブジェクトを配置することで、ペットがいる仮想現実の世界をユーザに提示するというサービスであるとする。

仮想現実オブジェクト記憶データベース１２００は、複数の仮想現実オブジェクトを記憶する。仮想現実オブジェクトとは、仮想空間に配置されることで、仮想現実の世界に表される仮想的な人物や建築物などを指す。仮想現実サービス提供サーバ１３００が設定する仮想空間が、ユーザの周囲の現実の空間に対応するように設定されることで、ユーザに仮想現実の世界が提示される。

各種の仮想現実オブジェクトは、３Ｄコンピュータグラフィックスで外観形状を規定する３Ｄポリゴンデータや、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータなどから構成される。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイントデータとポリゴンデータの頂点とが関連付けされており、関節ポイントの位置や角度を変更することで、関連付けされているポリゴンデータの頂点の位置が変更されることになり、仮想現実オブジェクトの外観形状が変化する。

仮想現実オブジェクトは、仮想現実の世界に配置されるオブジェクトの種類に応じて、人物オブジェクト、動物オブジェクト、非動物オブジェクト、その他のオブジェクトに分類することができる。各仮想現実オブジェクトには、その仮想現実オブジェクトを一意に識別するためのオブジェクトＩＤが割り当てられている。

人物オブジェクトとは、現実の人物や想像上・空想上の人物、歴史上の人物や創作上の人物などのオブジェクトであり、少なくとも動作が可能であり、また、好ましくは喋る（音声を出力する）ことが可能であると言う特徴を有する。

動物オブジェクトは、現実の動物や、想像上・空想上の動物、創作上の動物などのオブジェクトであり、動作が可能であると言う特徴を有する。また、動物オブジェクトの一部は、吠る（音声を出力する）と言った構成とすることが可能である。仮想現実の世界に配置される仮想的な動物であるため、人間と同様に言葉を喋る構成とすることも可能である。

非動物オブジェクトは、植物や、家具、建物などの静的なオブジェクトであり基本的に動作が無い物体である。但し、植物は、現実の世界で吹いている風に連動して一部動く構成としても良い。

その他のオブジェクトは、例えば背景のオブジェクトなどである。その他のオブジェクトは、仮想現実の世界を創り出すために単体で用いられても良いし、人物オブジェクトや動物オブジェクト等と組み合わせて用いられても良い。

図４は、仮想現実オブジェクト記憶データベース１２００に記憶される仮想現実オブジェクトを管理する管理ファイルを示す。各仮想現実オブジェクトは、複数の種別によって分類分けされている。例えば、種別１は、オブジェクトの大まかな区分けを示しており、種別２は、現実のもの（人物）か空想上のもの（人物）であるかを示しており、種別３はオブジェクトに含まれる人物等の性別を示している。例えば、管理番号Ｎｏ００００１２の格納アドレスｘｘ０１０１１０１０１・・・には、寝ている雌のライオンの仮想現実オブジェクトのデータが記憶されている。

図５は、仮想現実オブジェクトの一種であるオブジェクトＩＤナンバー：Ｎｏ０００００９の仮想現実オブジェクトと当該仮想現実オブジェクトを構成する３Ｄポリゴンデータと、を示している。

次に、仮想現実サービス提供サーバ１３００について説明する。仮想現実サービス提供サーバ１３００は、通信部１３１０と、仮想現実サービス提供管理部１３２０と、仮想現実オブジェクト読み出し部１３３０と、仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０と、を備える。

通信部１３１０は、インターネット等の通信網１０を介して、各ユーザがそれぞれ装着している仮想現実提示装置１００と通信を行う。通信部１３１０は、仮想現実提示装置１００より送信される各種情報を受信する受信部１３１１と、仮想現実提示装置１００に各種情報を送信する送信部１３１２とを備える。

受信部１３１１は、少なくともユーザの状態を示すユーザ状態情報と、ユーザの周囲の状況を示す周囲状況情報とを受信する。受信部１３１１は、受信した周囲状況情報を仮想現実オブジェクト配置位置決定部１３４０へ、ユーザ状態情報を表示映像生成部１３５０へそれぞれ出力する。

仮想現実サービス提供管理部１３２０は、利用可能仮想現実サービス情報記憶データベース１１００に記憶されている利用可能仮想現実サービス情報を参照し、ユーザが利用可能な仮想現実サービスの中からユーザに提供する仮想現実サービスを決定する処理を行う。仮想現実サービス提供管理部１３２０は、定期的に仮想現実サービスの提供に関するスケジューリングを行うことでユーザに提供する仮想現実サービスを決定しても良いし、ユーザからの要求に基づいて決定しても良い。

仮想現実オブジェクト読み出し部１３３０は、仮想現実サービス提供管理部１３２０で決定されたユーザに提供する仮想現実サービスに用いられる仮想現実オブジェクトを仮想現実オブジェクト記憶データベース１３００より読み出す。

仮想現実オブジェクト配置位置決定部１３４０は、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における前記仮想現実オブジェクトの配置位置を決定する。仮想現実オブジェクト配置位置決定部１３４０は、仮想現実オブジェクト読み出し部１３３０で読み出された仮想現実オブジェクトを、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間に配置する。

表示映像生成処理部１３５０は、ユーザの状態を示すユーザ状態情報と仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着する仮想現実提示装置１００の表示パネルに表示される映像を生成する。具体的には、表示映像生成処理部１３５０は、ユーザ状態情報に基づいて決定される仮想空間における視点と、前記仮想現実オブジェクトとの間に置かれたイメージプレーン上に前記仮想現実オブジェクトを投影することで映像を生成する。

仮想空間における視点は、現実空間におけるユーザの目の位置に対応しており、ユーザの頭部の動きが逐次ユーザ状態情報として表示映像生成処理部１３５０に入力され、仮想空間における視点が制御される。表示映像生成処理部１３５０は、ユーザ状態情報で示される前記ユーザの目の位置に対応した視点に基づいて、仮想空間に配置されている各仮想現実オブジェクトをイメージプレーンに投影する座標変換処理を行い、クリッピング処理、隠面処理、シェーディング処理、テキスチャーマッピング処理、アンチエリアシング処理等を行うことで、仮想現実提示装置１００の表示部１５０に表示される映像を生成し、更に当該映像をＭＰＥＧ２やＨ．２６４／ＡＶＣと言った所定の符号化方式で符号化を行うことで、当該映像の符号化データを生成する。表示映像生成処理部１３５０で生成された映像の符号化データは、送信部１３１２に出力される。

送信部１３１２は、表示映像生成処理部１３５０で生成された映像の符号化データを仮想現実提示装置１００に送信する。当該映像の符号化データを受信した仮想現実提示装置１００の表示制御部１４０において復号処理が行われ、表示部１５０に仮想現実オブジェクトの映像が表示される。

以上のように、本実施形態１に係る仮想現実サービス提供システムによれば、クリエータが創り出す想像の世界を現実の世界と融合した仮想現実の世界の中で表現することが可能となる。すなわち、各クリエータは、自身の想像する世界を仮想現実オブジェクトと言う表現形態で創造し、創造した仮想現実オブジェクトを仮想現実オブジェクト記憶ＤＢ１２００に格納しておくことができる。当該クリエータが創り出す仮想現実の世界を享受したいユーザには、仮想現実サービスとして仮想現実サービス提供サーバ１３００が、当該仮想現実オブジェクトを当該ユーザの現実の世界と融合するように配置することで、適切に仮想現実の世界をユーザに提示することができる。

（実施形態２）
図６は、本実施形態２に係る仮想現実サービス提供システム２０００の構成を示すブロック図である。仮想現実サービス提供システム２０００は、利用可能仮想現実サービス情報記憶ＤＢ１１００と、仮想現実オブジェクト記憶ＤＢ１２００と、仮想現実サービス提供サーバ２３００と、仮想現実サービス利用条件記憶ＤＢ２４００と、を備える。仮想現実サービス提供サーバ２３００は、インターネット等の通信網を介して仮想現実提示装置２００と通信可能な状態で接続されている。

仮想現実提示装置２００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、通信部１３０と、表示制御部１４０と、表示部１５０と、仮想現実提示制御部２６０と、を備える。

ユーザ状態検知部１１０は、ユーザの状態を検知してユーザ状態情報を生成する。仮想現実提示装置２００において、ユーザ状態検知部１１０は、ユーザの頭部の傾きを検知して傾き情報を生成する傾きセンサ１１１と、ユーザの頭部の加速度を検知して加速度情報を生成する加速度センサ１１２と、ユーザの現在位置を検出して位置情報を生成する現在位置検出部１１３と、を備える。各部で定期的に生成される傾き情報、加速度情報、位置情報は、それぞれユーザの状態を示すユーザ状態情報として通信部１３０に出力される。ユーザ状態情報には、当該ユーザ状態情報に含まれる各情報が生成された時刻を示す時刻情報（タイムスタンプ）が含まれる構成とすることが好ましい。

周囲状況検知部１２０は、ユーザの周囲の状況を検知して周囲状況情報を生成する。仮想現実提示装置２００において、周囲状況検知部１２０は、視線カメラ（視線映像撮影部）１２１と、周囲カメラ（周囲映像撮影部）１２２とを備える。視線カメラ１２１は、ユーザの視線に対応するユーザ前方の景色を撮影して前方景色画像を取得する。周囲カメラ１２２は、ユーザの両側や後方など視線カメラ１２１では撮影できない範囲の景色を撮影すして周囲景色画像を取得する。視線カメラ１２１で撮影された前方景色画像や周囲カメラ１２２で定期的に撮影された周囲景色画像は、それぞれ適宜圧縮等の符号化が行われた上で、周囲状況情報として通信部１３０に出力される。

周囲状況情報には、当該周囲状況情報に含まれる各画像が撮影された時刻を示す時刻情報（タイムスタンプ）や、当該画像を撮影したカメラを識別するカメラ識別情報が合わせて含まれる構成とすることが好ましい。少なくともカメラを備える周囲状況検知部１２０を、本明細書では周囲映像撮影部と称することがある。

通信部１３０は、ユーザ状態検知部１１０より出力された傾き情報、加速度情報、位置情報など、ユーザの現在の状態を示すユーザ状態情報を入力し、仮想現実サービス提供サーバ２３００へ送信する。また、通信部１３０は、周囲状況検知部１２０より出力された前方景色画像や周囲景色画像など、ユーザの周囲の状況を示す周囲状況情報を入力し、仮想現実サービス提供サーバ２３００へ送信する。また、通信部１３０は、仮想現実サービス提供サーバ２３００より送信されてくる映像の符号化データを受信し、表示制御部１４０に出力する。

表示制御部１４０は、通信部１３０で受信された映像の符号化データに復号化処理を行い、復号された映像を表示部１５０に表示する制御を行う。表示部１５０は、表示制御部１４０からの表示制御に従って映像を表示する。

仮想現実提示制御部２６０は、ユーザに仮想現実を提示するための全体制御を実行する。仮想現実提示制御部２６０は、通信部１３０で仮想現実サービスの提供開始を通知する仮想現実サービス開始通知情報が受信された場合に、仮想現実をユーザに提示するための制御を開始する。

具体的に、仮想現実提示制御部２６０は、当該仮想現実サービス開始通知情報に基づいて、ユーザ状態検知部１１０及び周囲状況検知部１２０に、それぞれユーザ状態情報と周囲状況情報の生成開始を指示する。また仮想現実提示制御部２６０は、通信部１３０に当該ユーザ状態情報と周囲状況情報を仮想現実サービス提供サーバ２３００に定期的に送信するよう指示する。また、仮想現実提示制御部２６０は、表示制御部１４０に表示部１５０に映像を表示する制御の開始を指示する。

また、仮想現実提示制御部２６０は、通信部１３０で仮想現実サービスの提供終了を通知する仮想現実サービス終了通知情報が受信された場合に、仮想現実の提示を終了するための制御を行う。具体的に、仮想現実提示制御部２６０は、ユーザ状態検知部１１０と周囲状況検知部１２０に検知処理の終了を指示する。また、表示制御部１４０に表示制御処理の終了を指示する。

仮想現実サービス提供サーバ２３００は、通信部１３１０と、仮想現実サービス提供管理部１３２０と、仮想現実オブジェクト１３３０と、仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０と、画像解析処理部２３６０と、を備える。

画像解析処理部２３６０は、周囲状況情報として通信部１３１０が仮想現実提示装置２００より受信した前方景色画像や周辺景色画像を解析し、画像の中から所定の成分を抽出する処理を行う。

画像解析処理部２３６０は、物体の位置関係に関する情報を抽出する物体位置特定部２３６１と、明るさなど光学成分を抽出する光学抽出部２３６２と、を備える。

物体位置特定部２３６１は、左目と右目の位置に対応する場所に配置された複数の視線カメラで取得された前方景色画像や、複数の周囲カメラで撮影された周囲景色画像を入力し、各画像において、隣接する画素やブロックとの間で色差信号や輝度信号との差分を算出することで境界判定処理を行う。物体位置特定部２３６１は、当該境界判定処理に基づいて、当該画像に写っている各物体や壁、床、空などを特定し、特定した各物体等をラべリングする。物体位置特定部２３６１は、各カメラで取得された画像においてそれぞれ同一のラべルが張られた各物体の画素位置を比較することで、当該物体までの距離を求め、ユーザの周囲に存在する物体等の位置関係を特定する。

物体位置特定部２３６１は、特定したユーザの周囲に存在する物体の位置関係を示す情報を仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０の描画処理部１３５３にそれぞれ出力する。また、必要に応じて、特定したユーザの周囲に存在する物体の位置関係を示す情報を仮想現実サービス提供開始処理部１３２１と仮想現実サービス提供終了処理部１３２２にそれぞれ出力する構成としても良い。

好ましくは、物体位置特定部２３６１は、入力した画像から大きさやユーザまでの距離を特定した各物体をモデリングすることで、ユーザの周囲の物理的環境を示すモデルデータを生成すると良い。すなわち、物体位置特定部２３６１は、現実の世界におけるユーザの周囲の物理的環境を３Ｄポリゴンデータでモデル化する。物体位置特定部２３６１は、生成したモデルデータを仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０の描画処理部１３５３にそれぞれ出力する。

光学成分抽出部２３６２は、入力した前方景色画像の中から光学成分を抽出する。例えば、光学成分抽出部２３６２は、前方景色画像の各画素における輝度信号の平均値を算出することで、ユーザの周囲の全体的な明るさ（照度）を示す情報を取得する。また、光学成分抽出部２３６２は、各画素の色差信号の平均値を求めることで、ユーザの周囲の全体的な色を示す情報を取得する。これらの情報は、後述する光源制御部１３５２で制御される無限遠方光源の明るさ（照度）や色に対応する。

また、光学成分抽出部２３６２は、前方景色画像の各画素又はブロックにおける明るさを比較する比較処理や、影となる部分を特定することで、ユーザの周囲にある光源の位置や光源の明るさに関する情報を取得する。

光学成分抽出部２３６２は、周囲状況情報として入力された前方景色画像の中から抽出した光学成分に関する情報を光源制御部１３５２に出力する。なお、光学成分抽出部２３６２は、周囲状況情報として入力される周囲景色画像に対して同様の処理を行い、仮想空間における光源の位置や強さに関連する光学成分の情報を抽出し、光源制御部１３５２に出力する構成としても良い。

仮想現実サービス提供サーバ２３００において、仮想現実サービス提供管理部１３２０は、仮想現実サービス提供開始処理部１３２１と、仮想現実サービス提供終了処理部１３２２と、を備える。

仮想現実サービス提供開始処理部１３２１は、利用可能仮想現実サービス情報記憶ＤＢ１１００に記憶されている利用可能サービス情報を参照して、ユーザが利用可能な仮想現実サービスの中から当該ユーザに提供する仮想現実サービスを選択する。

例えば、仮想現実サービス提供開始処理部１３２１は、仮想現実サービスの開始を要求する仮想現実サービス開始要求が通信部１３１０で受信された場合に、当該仮想現実サービス開始要求で指定されている仮想現実サービスを、提供する仮想現実サービスとして選択する。また、仮想現実サービス提供開始処理部１３２１は、定期的に仮想現実サービスの提供に関するスケジューリングを行っており、利用可能サービス情報を参照して、ユーザが利用可能な仮想現実サービスの中から提供する仮想現実サービスを能動的に選択しても良い。

仮想現実サービス提供開始処理部１３２１は、選択した仮想現実サービスを提供可能であるかを、仮想現実サービス利用条件記憶ＤＢ２４００に記憶されている仮想現実サービス利用条件を参照して判定する。

仮想現実サービス利用条件記憶ＤＢ２４００は、仮想現実サービスを利用するための条件である仮想現実サービス利用条件を記憶する。当該仮想現実サービス利用条件としては、仮想現実サービス毎に異なる設定されていても良いし、各仮想現実サービスに共通の条件が設定されていても良い。

例えば、サービスＮｏ：Ｓ００１で識別される仮想現実サービスは、０９：００〜１７：００の間の時間帯でのみ利用可能であると言ったように、仮想現実サービスが利用可能な時間帯が仮想現実サービス利用条件として設定されていても良い。例えば、公共サービスと連動した仮想現実サービスである場合は、公共サービスの時間帯と連動するように、仮想現実サービスの利用が可能な時間帯を設定する。この場合、仮想現実サービス提供開始処理部１３２１は、現在の時刻が、仮想現実サービス利用条件である利用可能時間帯であるかを判定する。同様に、仮想現実サービス利用条件として、仮想現実サービスが利用できない時間帯が設定されていても良い。

また、例えば、サービスＮｏ：Ｓ００２で識別される仮想現実サービスは、所定の位置範囲内でのみ利用可能であると言ったように、仮想現実サービスが利用可能な位置範囲が仮想現実サービス利用条件として設定されていても良い。例えば、特定のイベント会場でのみ、Ｎｏ：Ｓ００２で識別される仮想現実サービスの利用を可能とする場合に、位置範囲に関する条件を設定する。この場合、仮想現実サービス提供開始処理部１３２１は、通信部１３１０で受信される位置情報で示されるユーザの現在位置が、仮想現実サービス利用条件である位置範囲の中であるかを判定する。同様に、仮想現実サービス利用条件として、仮想現実サービスが利用できない位置範囲が設定されていても良い。

また、仮想現実サービス利用条件は、仮想現実サービスを提供するユーザ毎に異なる条件が設定されていても良い。ユーザは、予め自ら仮想現実サービスを利用する条件を仮想現実サービス利用条件として設定する。例えば、ユーザは自宅でのみ仮想現実サービスを利用したい場合は、自宅の位置範囲を仮想現実サービス利用条件として設定しておく。当該設定された仮想現実サービス利用条件が仮想現実サービス利用条件記憶ＤＢ２４００に格納され、仮想現実サービスの提供を行うかどうかの判定処理に利用される。仮想現実サービス提供開始処理部１３２１は、仮想現実サービス利用条件記憶ＤＢ２４００に記憶されている当該ユーザに対して設定されている仮想現実サービス利用条件を参照し、通信部１３１０が受信した位置情報が示す当該ユーザの現在の位置が、仮想現実サービス利用条件として設定されている自宅の位置範囲の中であるかを判定する。

なお、仮想現実サービス提供開始処理部１３２１は、画像解析処理部２３６０の物体位置特定部２３６１より、ユーザの周囲にある物体の位置関係に関する情報を入力し、仮想現実サービスをユーザが利用可能であるかを判定しても良い。例えば、ユーザから所定の距離以内の場所に干渉となる物体が無いことが、選択された仮想現実サービスにおける仮想現実サービス利用条件として設定されている場合に、物体位置特定部２３６１で特定されるユーザの周囲の物体の位置関係に基づいて当該条件を満たしているを判定する。その他、ユーザの周囲に所定の高さ以上の段差がないことを仮想現実サービスの利用を開始するための仮想現実サービス利用条件として設定されていても良い。仮想現実サービス提供開始処理部１３２１は上述した複数の種類の利仮想現実サービス利用条件に対して判定処理を行い、仮想現実サービスの提供を開始するかどうかを決定する。

仮想現実サービス提供開始処理部１３２１は、上記判定処理の結果、選択した仮想現実サービスを提供可能であると判定した場合、すなわち選択された仮想現実サービスをユーザは利用可能であると判定した場合に、仮想現実オブジェクト読み出し部１３３０に、当該仮想現実サービスに用いる仮想現実オブジェクトの読み出しを指示する。

また、仮想現実サービス提供開始処理部１３２１は、仮想現実サービスの提供を開始することを通知する仮想現実サービス開始通知情報を生成し、通信部１３１０に出力する。当該仮想現実サービス開始通知情報は、通信部１３１０より仮想現実提示装置２００に送信され、仮想現実提示装置２００の仮想現実提示制御部２６０における各種制御が開始される。

仮想現実サービス提供終了処理部１３２２は、ユーザに提供中の仮想現実サービスを終了する処理を行う。仮想現実サービス提供終了処理部１３２２は、現在提供中の仮想現実サービスの終了を要求する仮想現実サービス終了要求が通信部１３１０で受信された場合に、仮想現実サービスを終了する処理を行う。

また、仮想現実サービス提供終了処理部１３２２は、仮想現実サービス利用条件記憶ＤＢ２４００に記憶されている仮想現実サービス利用条件を参照し、当該仮想現実サービス利用条件を満たさなくなった場合に、仮想現実サービス終了処理を実行する。例えば、位置範囲が仮想現実サービス利用条件に設定されている場合は、当該条件として指定されている位置範囲からユーザの現在位置が外れた場合に、現在提供中の仮想現実サービスを終了する処理を行う。また、例えば、時間帯が仮想現実サービス利用条件として設定されている場合は、当該条件として指定されている時間帯を現在の時刻が過ぎた場合に、現在提供中の仮想現実サービスを終了する処理を行う。

また、例えば、仮想現実サービスの一回における提供時間が２時間として仮想現実サービス利用条件に設定されている場合に、仮想現実サービス提供終了処理部１３２２は、仮想現実サービス提供開始処理部１３２１において仮想現実サービスの提供が開始された時点で上記仮想現実サービス利用条件として指定されている時間のタイマをセットして時間計測を開始する。仮想現実サービス提供終了処理部１３２２は、当該時間計測が完了した時点で、提供中の仮想現実サービスの終了処理を行う。

仮想現実サービス提供終了処理部１３２２は、表示映像生成処理部１３５０の描画処理部１３５３に描画処理の終了を指示することで仮想現実サービスの提供を終了する。また、仮想現実サービス提供終了処理部１３２２は、仮想現実サービスの提供を終了することを通知する仮想現実サービス終了通知情報を生成し、通信部１３１０に出力する。当該仮想現実サービス終了通知情報は、通信部１３１０より仮想現実提示装置２００に送信され、仮想現実提示装置２００の仮想現実提示制御部２６０によって仮想現実の提示を終了する制御が行われる。

仮想現実オブジェクト読み出し部１３３０は、仮想現実サービス提供開始処理部１３２１においてユーザへの提供を開始すると決定された仮想現実サービスに用いられる仮想現実オブジェクトを仮想現実オブジェクト記憶ＤＢ１２００より読み出す。

仮想現実オブジェクト配置位置決定部１３４０は、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における仮想現実オブジェクトの配置位置を決定する。仮想現実オブジェクト配置位置決定部１３４０は、周囲状況情報として入力された各カメラで取得された画像に基づいて、物体位置特定部２３６１で特定されたユーザの周囲の物体の位置関係に基づいて、仮想現実オブジェクト読み出し部１３３０で読み出された仮想現実オブジェクトを、当該ユーザの周囲の物体と干渉しない位置に配置する。

好ましくは、物体位置特定部２３６１が生成した現実の世界におけるユーザの周囲の物理的環境が３Ｄポリゴンデータでモデル化されている仮想空間において、３Ｄポリゴンデータでモデリングされているユーザの周囲の物体と干渉を起こさない位置に仮想現実オブジェクト読み出し部１３３０で読み出された仮想現実オブジェクトを配置する。

表示映像生成処理部１３５０は、ユーザの状態を示すユーザ状態情報と仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着する仮想現実提示装置２００の表示部１５０に表示される映像を生成する。仮想現実サービス提供サーバ２３００において、表示映像生成処理部１３５０は、視点制御部１３５１と、光源制御部１３５２と、描画処理部１３５３と、映像符号化処理部１３５４と、を備える。

視点制御部１３５１は、ユーザの状態を示すユーザ状態情報に基づいて仮想現実オブジェクトを描画する際の視点の位置及び方向を制御する。具体的には、ユーザ状態情報に含まれるユーザの頭部の傾きを示す傾き情報やユーザの頭部の加速度を示す加速度情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間での視点位置を算出する。また、加速度情報に基づいて、ユーザの視線の方向に対応する仮想空間での視線方向を算出する。ここで、視線方向は、ユーザが眼球のみを移動させた場合の視線の方向ではなく、ユーザの頭部の方向と対応している。

なお、ユーザ状態情報の中にはユーザの方向を示す方位情報やユーザの移動速度を示す移動速度情報などが含まれていると更に好ましい。視点制御部１３５１は、ユーザ状態情報に含まれるこれら各情報に基づいてユーザの頭部の姿勢を算出し、ユーザの左目と右目の位置及びユーザの頭部が向いている方向を特定する。視点制御部１３５１は、ユーザの目の位置及び頭部の方向に対応する仮想空間における視点の位置及び視線の方向を算出する。

光源制御部１３５２は、画像解析処理部２３６０の光学成分抽出部２３６２で抽出された光学成分に基づいて、仮想空間における光源の位置及び光源の強さ（明るさ）を算出する。例えば、光源制御部１３５２は、光学成分抽出部２３６２で抽出された画像の各画素の輝度の平均値を算出することで、無限遠方の光源の強さを算出し、当該画像の画素間の輝度の差分に基づいて、他の光源の位置及び強さを算出する。また、光源制御部１３５２は、解析処理が行われた画像における画素の色差信号に基づいて光源の色を算出しても良い。

描画処理部１３５３は、仮想現実オブジェクトをリアルタイムにレンダリングして２次元画像を生成する。一例として、描画処理部１３５３は、以下に示す投影処理、クリッピング処理、隠面処理、シェーディング処理、テキスチャーマッピング処理等の一部又は複数の処理を組み合わせてレンダリングを行い、仮想現実オブジェクトの映像を生成する。

描画処理部１３５３は、視点制御部１３５１で求められた視点の位置及び視線の方向に基づいて、仮想空間内の所定の位置ににイメージプレーンを設定し、仮想現実オブジェクトを投影することで、仮想現実オブジェクトの投影画像を取得する。描画処理部１３５３は、仮想現実オブジェクトが投影されたイメージプレーンのクリッピング処理を行い、仮想現実提示装置２００における表示部１５０で表示される範囲を選択する。

描画処理部１３５３は、物体位置特定部２３６１で特定された現実の世界の物体のモデルに基づいて隠面処理を行う。描画処理部１３５３は、イメージプレーンに投影された仮想現実オブジェクトの画像を構成する画素の中から、視点制御部１３５１で算出された視点位置と仮想現実オブジェクトの間に位置している現実の世界の物体のモデルの投影画像と重複する画素のデータを消去することで隠面処理を行う。

描画処理部１３５３は、光源制御部１３５２で算出された光源の位置及び強さに基づいてシェーディング処理を行い、仮想現実オブジェクトの表面の輝度や光の上がり具合、光の透過の状態を調整する。描画処理部１３５３は、仮想現実オブジェクトの表面に張り付けられるテキスチャーデータを用いてテキスチャーマッピング処理を行い、アンチエリアシング処理等の補正処理を適宜行い、最終的に仮想現実提示装置２００の表示部１５０で表示する映像を生成する。

なお、描画処理部１３５３は、視点制御部１３５１が制御する左目に対応する視点と右目に対応する視点に基づいて、左目用の映像と右目用の映像の２枚の映像を生成する。描画処理部１３５３は、生成した映像を映像符号化処理部１３５４に出力する。

映像符号化処理部１３５４は、描画処理部１３５３におけるリアルタイムレンダリング処理で順次生成される映像を所定の符号化方式に基づいて圧縮符号化処理を行う。映像符号化処理部１３５４符号化処理後の映像符号化データを通信部１３１０に出力する。通信部１３１０は、映像符号化処理部１３５４より出力される映像符号化データを仮想現実提示装置２００に送信し、仮想現実提示装置２００の表示制御部１４０で復号処理が行われ、復号処理後の映像が表示部１５０に表示される。

以上説明したように、本実施形態２に係る仮想現実サービス提供システム２０００によれば、サービス利用条件を満たしているかの判定結果に基づいて、仮想現実サービスが提供されるため、現実の世界との関係で適切でない場合のサービス提供を防ぐことができる。

なお、仮想現実サービス提示サーバ２３００は、図７に示す構成とすると更に好ましい。図７に示す仮想現実サービス提供サーバ２３００において、仮想現実サービス提供管理部１３２０は、仮想現実サービス中断処理部１３２３を備え、画像解析処理部２３６０は、移動速度算出部２３６３を備える。

移動速度算出部２３６３は、物体位置特定部２３６１で特定されるユーザの周囲に存在する各物体の位置の時間的変化に基づいて、各物体の移動速度を算出する。移動速度算出部２３６３は、算出した各物体の移動速度を仮想現実サービス中断処理部１３２３に出力する。また、物体位置特定部２３６１は、算出した各物体の距離を仮想現実サービス中断処理部１３２３に出力する。

仮想現実サービス中断処理部１３２３は、仮想現実サービスをユーザに提供している場合であって、所定の中断条件を満たした場合に仮想現実サービスの提供を強制的に中断する処理を行う。仮想現実サービス利用条件記憶ＤＢ２４００は、仮想現実サービスの提供を中断する条件である仮想現実サービス提供中断条件を更に記憶しており、仮想現実サービス中断処理部１３２３は、当該仮想現実サービス提供中断条件を参照して、仮想現実サービスの提供を中断するかどうかを判断する。

例えば、仮想現実サービス中断処理部１３２３は、ユーザより仮想現実サービスの利用中断を要求する仮想現実サービス中断要求が通信部１３１０で受信された場合に、提供中の仮想現実サービスの提供を中断する処理を行う。

また、例えば、仮想現実サービス中断処理部１３２３は、物体位置特定部２３６１で特定された物体の中で、当該物体までの距離Ｌが所定の範囲内であって、当該物体の移動速度Ｖが所定の速度以上である物体がある場合に、仮想現実サービスの中断処理を行う。例えば、仮想現実サービス提供中断条件として、０ｍ＜Ｌ≦２０ｍ、５ｍ／ｓ≦Ｖ≦２００ｍ／ｓと言った条件が設定されていても良いし、０＜Ｌ／Ｖ≦４と言った条件が設定されていても良い。

また、例えば、仮想現実サービス中断処理部１３２３は、ユーザが移動している場合であって、ユーザの移動方向の所定の距離以内に障害となる物体が物体位置特定部２３６１で特定された場合に、仮想現実サービスの中断処理を行う。

仮想現実サービス中断処理部１３２３は、仮想現実サービスの提供を中断することを通知する仮想現実サービス中断通知情報を生成し、通信部１３１０に当該生成した仮想現実サービス中断通知情報を出力する。当該仮想現実サービス中断通知情報は、通信部１３１０より仮想現実提示装置２００に送信され、仮想現実提示装置２００の仮想現実提示制御部２６０は、当該仮想現実サービス中断通知情報を受け取った場合に、表示制御部１４０に、表示部１５０に表示中の映像の表示を中断する指示を出す。表示制御部１４０は、当該中断指示に基づいて、表示部１５０に表示している仮想現実オブジェクトの映像の表示を中断する制御を行う。なお、この場合、表示制御部１４０は、仮想現実オブジェクトの表示を強制的に中断することを示す画像を表示部１５０に表示する構成とすると、障害等の発生により仮想現実サービスの提供が強制的に中断されたことをユーザに適切に認識させることができるため好ましい。

仮想現実サービス中断処理部１３２３は、中断した仮想現実サービスを再開する場合に、仮想現実サービス再開通知情報を生成して通信部１３１０より仮想現実提示装置２００に送信する。当該仮想現実サービス再開通知情報を受け取った仮想現実提示制御部２６０は、表示制御部１４０に、通信部１３０で受信される映像符号化データを復号して映像を表示部１５０に表示する制御を再開させる。

なお、仮想現実サービス中断処理部１３２３は、仮想現実サービスの中断中は、描画処理部１３５３にレンダリング処理の中断を指示して、レンダリング処理を止めておいても良い。

（実施形態３）
図８は、本実施形態３に係る仮想現実提示装置であるヘッドマウントディスプレイ（ＨＭＤ）装置３００の斜め前方と斜め後方からの外観斜視図である。ＨＭＤ装置３００は、フレーム３０１と、フロントパネル３０２と、を少なくとも備える。

フレーム３０１は、ＨＭＤ装置３００の筐体であり、内部には、ＣＰＵ（Central Processing Unit）等の情報処理プロセッサ、ＲＡＭ（Random
Access Memory）、ＲＯＭ（Read only memory）、無線通信処理プロセッサ、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム３０１は、大きく分けてライトフレーム３０１ａ、レフトフレーム３０１ｂ、センターフレーム３０１ｃから構成される。

ライトフレーム３０１ａ及び３０１ｂは、ユーザの左右の耳にそれぞれ接続する筐体部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ３９１ａ、３９１ｂが配置され、他端がセンターフレーム３０１ｃと接続されている。

また、ライトフレーム３０１ａ及びレフトフレーム３０１ｂの一端の外側に周囲の音声を集音する周囲マイクロフォン３７２ａ、３７２ｂが配置されている。また、ライトフレーム３０１ａの内側の前端下方には、ユーザが発した音声を集音するユーザマイクロフォン３７１を備える。ユーザマイクロフォン３７１や周囲マイクロフォン３７２ａ、３７２ｂで集音された音声は、ＡＤ変換でデジタル音声信号に変換され、情報処理プロセッサに出力される。

ライトフレーム３０１ａ及び３０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１１１ａ、１１１ｂと、加速度を検知する加速度センサ１１２ａ、１１２ｂが配置されている。また、ライトフレーム３０１ａ及びレフトフレーム３０１ｂの外側には、周囲の景色を撮影する周囲カメラ１２２ａ、１２２ｂがそれぞれ配置されている。

センターフレーム３０１ｃは、両端がそれぞれライトフレーム３０１ａ、レフトフレーム３０１ｂに接続されており、センターフレーム３０１ｃの下方にフロントパネル３０２が接続されている。

センターフレーム３０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１１１ｃ、１１１ｄ、１１１ｅと、加速度を検知する加速度センサ１１２ｃ、１１２ｄ、１１２ｅがそれぞれ配置されている。また、センターフレーム３０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ１２１ａ、１２１ｂが配置されている。視線カメラ１２１ａ、１２１ｂは、センターフレーム３０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。

フロントパネル３０２は、ＨＭＤ装置３００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。本実施形態３に係るＨＭＤ装置３００において、フロントパネル３０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル（第１映像表示部）１５１ａとレフト表示パネル（第２映像表示部）１５１ｂとが配置される。

図８に示すＨＭＤ装置３００では、ライト表示パネル１５１ａとレフト表示パネル１５１ｂは、導光板と液晶パネル（ＬＣＤ）が重ね合わされた構造を取る。液晶パネルは、透明電極（透明導電膜）、偏光板（偏光フィルム）、液晶層、ガラス基板、カラーフィルタ等が積層された構造をとる。

図９は、ＨＭＤ装置３００のライト表示パネル１５１ａ付近の断面図を示している。センターフレーム３０１ｃの下方には、フロントパネル３０２が配置されており、センターフレーム３０１ｃの下部には光源３５２が配置されている。

光源３５２より放射された可視光はフロントパネル３０２側へ照射される。フロントパネル３０２は、導光板３５３とＬＣＤ３５４とが合わさった構成であり、光源３５２より放射された可視光が導光板３５３でユーザ側へ反射され、表示制御されたＬＣＤ３５４を透過することで映像が表示される。

図１０は、本実施形態３に係る仮想現実サービス提供システム３０００の機能構成を示すブロック図である。仮想現実サービス提供システム３０００は、契約者情報記憶ＤＢ３１００と、仮想現実コンテンツ記憶ＤＢ３２００と、仮想現実サービス提供サーバ３３００と、セーブデータ記憶ＤＢ３５００と、を備え、仮想現実提示装置であるＨＭＤ装置３００とインターネット等の通信網を介して接続されている。

ＨＭＤ装置３００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、通信部１３０と、表示制御部１４０と、表示部１５０と、仮想現実提示制御部２６０と、音声入力部３７０と、音声再生制御部３８０と、音声出力部３９０と、を備える。

ユーザ状態検知部１１０は、仮想現実提示装置であるＨＭＤ装置３００を使用しているユーザの状態を検知する。ユーザ状態検知部１１０として、ＨＭＤ装置３００は、傾きを検知する傾きセンサ１１１と、加速度を検知する加速度センサ１１２と、を備える。傾きセンサ１１１で生成された傾き情報や加速度センサ１１２で生成された加速度情報は、それぞれユーザの状態を示すユーザ状態情報として通信部１３０より仮想現実サービス提供サーバ３３００へ送信される。

周囲状況検知部１２０は、ＨＭＤ装置３００を使用しているユーザの周囲の状況を検知する。具体的には、周囲状況検知部１２０は、外部環境の映像を取得することで周囲の状況を検知する。周囲状況検知部１２０として、ＨＭＤ装置３００は、ユーザの視線と対応した景色を撮影する視線カメラ１２１と、ユーザの両側や後方など視線カメラ１２１では撮影できない範囲の景色を撮影する周囲カメラ１２２と、を備える。視線カメラ１２１で撮影されたユーザ前方の景色の映像や周囲カメラ１２２で撮影されたユーザの周囲の映像は、それぞれ適宜圧縮等の符号化が行われた上で、周囲状況情報として通信部１３０より仮想現実サービス提供サーバ３３００へ送信される。

通信部１３０は、仮想現実提示制御部２６０からの制御に従って、ユーザ状態検知部１１０で検知されたユーザ状態を示すユーザ状態情報、周囲状況検知部１２０で検知されたユーザの周囲の状況を示す周囲状況情報、音声入力部３７０で入力された音声を示す音声情報、をそれぞれ仮想現実サービス提供サーバ３３００に送信する。また、通信部１３０は、仮想現実サービス提供サーバ３３００より受信した映像データと音声データをそれぞれ表示制御部１４０と音声再生処理部３８０へ出力する。

表示制御部１４０は、通信部１３０で受信される各種データのうち、仮想現実サービス提供サーバ３３００で生成された映像の符号化データを入力し、当該入力した符号化データを復号して得た仮想現実オブジェクトの映像を表示部１５０に表示する制御を行う。

表示部１５０は、表示制御部１４０からの制御に基づいて所定の映像を表示する。表示部１５０に表示される映像は、仮想現実感を提供するための仮想現実オブジェクトの静止画像や動画像などの映像である。表示部１５０として、ＨＭＤ装置１００には、ライト表示パネル１５１ａとレフト表示パネル１５１ｂが設けられており、それぞれ視差が加えられた映像を表示する。

仮想現実提示制御部２６０は、ＨＭＤ装置３００でユーザに仮想現実を提示する処理を制御する。仮想現実提示制御部２６０は、通信部１３０で仮想現実サービスの開始を指示する仮想現実サービス開始通知情報が受信された場合に、仮想現実を提示するための制御を開始する。

具体的に、仮想現実提示制御部２６０は、当該開始通知情報に基づいて、ユーザ状態検知部１１０、周囲状況検知部１２０、音声入力部３７０にそれぞれユーザ状態情報、周囲状況情報、音声情報の取得開始を指示すると共に通信部１３０に当該情報を仮想現実サービス提供サーバ２１００に定期的に送信するよう指示する。また、仮想現実提示制御部２６０は、表示制御部１４０に表示部１５０に映像を表示する制御の開始を指示し、音声再生制御部３８０に音声出力部３９０より出力する音声の再生制御の開始を指示する。

音声入力部３７０は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行ってデジタル音声信号に変換することで音声を入力する。音声入力部３７０として、ＨＭＤ装置３００は、ユーザが発した音声を集音するユーザマイクロフォン３７１と、周囲の音声を集音する周囲マイクロフォン３７２とを備える。

ユーザの音声を効率良く集音できるよう、ユーザマイクロフォン３７１は、ＨＭＤ装置３００の内側（ユーザ側）に配置され、一方、周囲マイクロフォン３７２は、ユーザの外部環境からの音声を効率良く集音できるよう、ＨＭＤ装置３００の外側に配置される。周囲マイクロフォン３７２は、ユーザがＨＭＤ装置３００を装着していない状態でユーザの耳に直接聞こえる音声を集音できるよう、ＨＭＤ装置３００における耳の位置付近に配置されていることが好ましい。ユーザマイクロフォン３７１や周囲マイクロフォン３７２は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行ってデジタル音声信号に変換することで音声を入力する。当該入力された音声は、必要に応じて音声符号化が行われた後、それぞれユーザ音声情報及び周囲音声情報として通信部１３０より仮想現実サービス提供サーバ３３００に送信される。

音声再生制御部３８０は、通信部１３０で受信される各種データのうち、仮想現実サービス提供サーバ３３００で生成された音声データを入力し、当該入力した音声データに基づいて仮想現実オブジェクトが発する音声を音声出力部３９０より出力する制御を行う。

ここで、バーチャルな現象が引き起こす音声をリアルな現象が引き起こしている音声としてユーザに認識させるためには、音声発生源である仮想現実オブジェクトの位置から音声が伝達されているようにユーザに認識させることが仮想現実の世界にユーザを引き込むうえで好ましい。そこで、音声再生制御部３８０は、５．１Ｃｈや６．１Ｃｈ、７．１Ｃｈと言った立体音響に対応する形で音声データを再生することが好ましい。

音声出力部３９０は、音声再生制御部３７０からの再生制御に従って音声を出力する。音声出力部３９０として、ＨＭＤ装置３００は、ライトフレーム３０１ａ及びレフトフレーム３０１ｂの後端付近に配置されるスピーカ３９１ａ、３９１ｂを備えており、音声再生制御部３８０で再生された各チャンネルの音声データにＤＡ変換を行い、アナログ電気信号に変換し、更に空気振動に変換して外部へ放音する。

次に、仮想現実サービス提供システム３０００について説明する。契約者情報記憶データベース部３１００は、仮想現実サービスを利用するユーザである契約者を管理する契約者情報を記憶する。各ユーザは、仮想現実サービスを利用するにあたり、仮想現実サービス提供会社との間で、仮想現実サービス利用契約を締結している。

図１１は、契約者情報記憶データベース部３１００に記憶される契約者情報の一例を示している。図１１において、契約者情報には、仮想現実サービス利用契約を締結しているユーザの個人情報（契約者個人情報）や、当該ユーザが契約しているプランやそのプランに含まれるサービス内容などが含まれている。

仮想現実コンテンツ記憶データベース３２００は、仮想現実コンテンツを記憶する。ここで、仮想現実コンテンツとは、仮想現実の世界を創り出すために使用されるデータ等の総称であり、仮想現実オブジェクトの外観を規定するモデルデータと、当該仮想現実オブジェクトが発する音声データと、仮想現実サービスを制御する仮想現実サービス制御プログラムとを含む。図１２は、仮想現実コンテンツの構造を示している。

仮想現実オブジェクトのモデルデータは、当該仮想現実オブジェクトの形状を規定するポリゴンデータと、当該ポリゴンデータで規定される形状の表面に張り付けられるテキスチャーデータと、を含む。

仮想現実オブジェクトの音声データは、当該仮想現実オブジェクトで表される人物等が読み上げる所定の文章の音声を予め収録した文章音声データや、当該仮想現実オブジェクトが発する音声の元となる音声基礎データと、を含む。音声基礎データは、例えば、仮想現実オブジェクトが実在の人間を元にして創り出された人物オブジェクトである場合、当該実在の人物の肉声より抽出した声質、ピッチ、音声波形、音素等のデータである。これらの音声基礎データが音声合成処理によって合成されてユーザに提示されることで、当該人物オブジェクトが実際に喋っているようにユーザに感知される。なお、音声基礎データの抽出方法（収録方法）は、様々な切り口で抽出することが可能であり、音声発音データと音声表情データとに分類する形で抽出しても良いし、他の分類方法で抽出しても良い。当該抽出方法は、実施される音声合成処理のアルゴリズムによって決定される。

仮想現実制御プログラムは、ユーザに提供される仮想現実サービスを制御するために実行されるプログラムであって、大きく仮想現実メイン制御プログラムと、仮想現実サブ制御プログラムと、仮想現実オブジェクト人格制御プログラムと、仮想現実オブジェクト挙動制御プログラムと、に分類される。図１３は、仮想現実制御プログラムの階層構造を示している。

仮想現実オブジェクト挙動制御プログラムは、仮想空間に配置されている仮想現実オブジェクトの挙動を制御するためのプログラムであって、仮想現実オブジェクト人格制御プログラムによって読み出される。例えば、仮想現実オブジェクトが人間オブジェクトである場合、仮想現実オブジェクト挙動制御プログラムＡは、右膝の関節ポイントを少し折り曲げ、口元のテキスチャーデータを笑顔のテキスチャーデータに段階的に変更すると言った制御を行うプログラムである。一方、仮想現実オブジェクト挙動制御プログラムＮは、のけぞるように腰の関節ポイントを折り曲げ、右肩と右ひじの関節ポイントを所定量回転させることで右腕を前に突き出すと言った制御を行う。当該挙動制御プログラムが実行されることで、フレーム経過に伴って仮想空間に配置されているオブジェクトの外観形状が変化していく。

仮想現実オブジェクト人格制御プログラムは、仮想現実サブ制御プログラムによって読み出されるプログラムであって、仮想空間に配置されている仮想現実オブジェクトに対する入力と出力との対応関係を制御する。

例えば、音声解析部３３８０のコンテキスト取得部３３８１で「おはよう」と言うコンテキストが取得されたとする。この場合、仮想現実オブジェクト人格制御プログラムＸが実行されている場合、当該「おはよう」と言う入力に対して仮想現実オブジェクト挙動制御プログラムＡを読み出して実行する。一方、仮想現実オブジェクト人格制御プログラムＺが実行されている場合、同一の「おはよう」と言う入力が行われたとしても、仮想現実オブジェクト挙動制御プログラムＡではなく、仮想現実オブジェクト挙動制御プログラムＮが読み出されて実行される。このように、仮想空間に配置されている各仮想現実オブジェクトに対してぞれぞれ実行されている仮想現実オブジェクト人格制御プログラムによって、外界からの入力と、当該仮想現実オブジェクトからの出力との対応関係が異なる。従って、仮想現実オブジェクトを実在する人間として見立てた場合に、仮想現実オブジェクト人格制御プログラムは、当該仮想現実オブジェクトの人格を表しているとみることができる。

仮想現実サブ制御プログラムは、仮想現実メイン制御プログラムによって適宜呼び出されるプログラムであり、提供する仮想現実サービスと対応している。仮想現実サブ制御プログラムは、提供中の仮想現実サービスに用いる仮想現実オブジェクトを仮想空間に読み出して配置する制御や、予め設定されている順序に従って仮想現実オブジェクト挙動制御プログラムを直接読み出して、仮想現実オブジェクトに所定の挙動を行わせる制御を行う。

仮想現実メイン制御プログラムは、仮想現実サービス毎に対応するプログラムであって、仮想現実サービスの提供開始に当たり、第１に実行されるプログラムである。仮想現実メイン制御プログラムが実行されることで、当該プログラムに対応する仮想現実サービスのための仮想空間の設定や環境設定が行われる。ＨＭＤ装置３００より適宜送信されるユーザ状態情報や周囲状況情報、音声情報等の情報に基づいて、仮想現実メイン制御プログラムが、適切な仮想現実サブ制御プログラムを読み出し、当該仮想現実サブ制御プログラムによって実行される内容に従って仮想現実の世界がＨＭＤ装置３００を介してユーザに提示される。

セーブデータ記憶データベース３５００は、ユーザのセーブデータを記憶する。セーブデータとは、仮想現実サービスを途中から開始するためのデータである。仮想現実サービスの中には、ストーリー性があるものや、仮想現実サービスを利用するに従ってサービス内容が変化するものや、仮想現実サービスの中でアイテムや経験値等を取得できるものがある。そこで、ユーザがこれまでに利用済みの部分を記憶し、仮想現実サービスを前回終了した途中地点から再開できるようにセーブデータが記憶される。

図１４は、セーブデータ記憶データベース３５００に記憶されているセーブデータ管理ファイルの一例である。セーブデータ管理ファイルには、各セーブデータに一意に割り当てられたセーブデータ管理番号、当該セーブデータに係るユーザ名、当該ユーザを識別するユーザ識別番号、当該セーブデータに係る仮想現実サービス名、当該仮想現実サービスを一意に識別する仮想現実サービス識別番号、当該セーブデータの格納アドレス、などが対応付けられた状態で記憶されている。

仮想現実サービス提供サーバ３３００は、通信部１３１０と、仮想現実サービス提供管理部１３２０と、表示映像生成処理部１３５０と、画像解析処理部２３６０と、仮想現実サービス制御部３３３０と、仮想現実オブジェクト挙動制御部３３７０と、音声解析処理部３３８０と、再生音声生成処理部３３９０と、を備える。

仮想現実サービス提供管理部１３２０は、契約者情報記憶ＤＢ３１００に記憶されている契約者情報を参照して、ユーザに提供する仮想現実サービスの管理を行う。例えば、仮想現実サービス提供管理部１３２０は、ユーザから出された仮想現実サービス開始要求や仮想現実サービス終了要求等に基づいて仮想現実仮想現実サービスの開始処理や終了処理を行う。

契約者情報には、ユーザが仮想現実サービスを利用する条件やユーザが利用可能な仮想現実サービスに関する情報等が含まれる。すなわち、契約者情報には、仮想現実サービス利用条件が含まれている。仮想現実サービス提供管理部１３２０は、これらの情報に基づいて、仮想現実サービスを提供可能であるかを判定し、また、提供する仮想現実サービスを決定する処理を行う。

仮想現実サービス提供管理部１３２０は、提供を開始する仮想現実サービスと、当該仮想現実サービスを利用するユーザをそれぞれ識別する情報を仮想現実サービス制御部３３３０に出力する。また、仮想現実サービス提供管理部１３２０は、仮想現実サービスの提供を開始することを当該ユーザに通知する。

仮想現実サービス制御部３３３０は、仮想現実サービスを制御する。具体的には、仮想現実サービス制御部３３３０は、仮想現実サービス提供管理部１３２０で仮想現実サービスの提供を開始すると決定された場合に、当該仮想現実サービスに用いる仮想現実コンテンツを仮想現実コンテンツ記憶データベース３２００より読み出す。

なお、当該仮想現実サービスのセーブデータがセーブデータ記憶データベース３５００に記憶されている場合は、仮想現実サービス制御部３３３０は、当該仮想現実サービスを提供するユーザのセーブデータを読み出し、当該セーブデータで示されるサービス再開位置に係る部分の仮想現実コンテンツを読み出す。

具体的に、仮想現実サービス制御部３３３０は、当該仮想現実サービスの全体を制御する仮想現実メイン制御プログラムを読み出して実行することで、仮想空間を設定し、当該仮想現実サービスを提供するユーザのＨＭＤ装置３００との間の通信で使用するポート番号等の設定などを行う。

また、仮想現実サービス制御部３３３０は、仮想現実サブ制御プログラムを読み出して実行することで、仮想現実オブジェクトを仮想現実コンテンツ記憶データベース３２００より読み出し、仮想空間の所定の位置に当該読み出した仮想現実オブジェクトを配置する。

ここで、仮想現実サービス制御部３３３０は、仮想空間内において、予め定められている位置に仮想現実オブジェクトを配置しても良いし、画像解析処理部２３６０で得られた現実空間におけるユーザ周辺の物体の配置関係を考慮して仮想現実オブジェクトを干渉が生じない位置に配置する構成としても良い。この場合、仮想現実サービス制御部３３３０は、画像解析処理部２３６０におけるモデル化処理によって生成されたユーザの周囲に存在する物体等のモデルデータを仮想空間に配置し、当該モデルデータで示される物体と重なることで干渉が起きないように、仮想現実オブジェクトの配置位置を決定する。仮想現実サービス制御部３３３０は、仮想空間における当該決定した配置位置に仮想現実オブジェクトを配置する。

仮想現実オブジェクト挙動制御部３３７０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想空間に配置されている仮想現実オブジェクトが動作可能なオブジェクトである場合は、仮想現実オブジェクト挙動制御部３３７０は、当該仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラムを実行することで、仮想現実オブジェクトに当該プログラムに対応した挙動を行わせる。

また、仮想現実サービス制御部３３３０は、当該仮想空間に配置している仮想現実オブジェクトが音声等の入力に対して所定の出力を返す動的な仮想現実オブジェクトである場合は、当該仮想現実オブジェクトに対する入力と、当該入力に基づく仮想現実オブジェクトの挙動との因果関係を規定している仮想現実オブジェクト人格制御プログラムを仮想現実オブジェクト挙動制御部３３７０に実行させる。仮想現実オブジェクト挙動制御部３３７０は、画像解析処理部２３６０や音声解析処理部３３８０における解析結果を入力として仮想現実オブジェクト人格制御プログラムを実行することで、当該入力に対応する仮想現実オブジェクト挙動制御プログラムを特定する。仮想現実オブジェクト挙動制御部３３７０は、当該特定した仮想現実オブジェクト挙動制御プログラムを仮想現実コンテンツ記憶ＤＢ３２００より読み出して実行することで、仮想現実オブジェクトの挙動を制御する。すなわち、仮想現実オブジェクト挙動制御部３３７０は、実行する仮想現実オブジェクトに従って、仮想空間に配置されている各仮想現実オブジェクトの形状を変形させる。

表示映像生成処理部１３５０は、ユーザ状態情報で示される視点位置からの仮想空間に配置されている仮想現実オブジェクトの映像を生成する。仮想現実オブジェクトが動的な仮想現実オブジェクトである場合は、表示映像生成処理部１３５０は、仮想現実オブジェクト挙動制御部３３７０における制御に従って順次外観形状が変化していく仮想現実オブジェクトの各フレームタイミングにおける上記視点位置からの映像を順次生成する。なお、仮想現実オブジェクトが静的な仮想現実オブジェクトである場合は、表示映像生成処理部１３５０は、仮想現実サービス制御部３３３０が仮想現実サブ制御プログラムを実行することで仮想空間に配置する仮想現実オブジェクトの各フレームタイミングにおける上記視点位置からの映像を順次生成する。なお、この場合は、ユーザの視点に変化が無ければ、ＨＭＤ装置３００の表示パネル１５１ａ、１５１ｂでそれぞれ表示される映像に変化は無いため、以前のフレームタイミングで生成した映像を複製して現タイミングにおける映像とすることができる。

音声解析処理部３３８０は、ＨＭＤ装置３００の音声入力部３７０で入力された音声を解析する処理を行う。音声解析処理部３３８０は、音声レベル抽出部３３８１と、感情要素抽出部３３８２と、コンテキスト取得部３３８３と、を備える。

音声レベル抽出部３３８１は、入力した周囲音声情報に基づいて、ユーザの外部環境で生じている雑音の音声レベル（音量レベル）を特定する。音声レベル抽出部３３８１は、入力したユーザ音声情報に基づいて、ユーザが発した音声の音声レベルを特定する。音声レベル抽出部３３８１は、周囲音声情報から抽出した外部環境の音声の音声レベルを再生音声生成処理部３３９０に出力し、ユーザ音声情報から抽出したユーザの音声レベルを感情要素抽出部３３８２とコンテキスト取得部３３８３にそれぞれ出力する。

感情要素抽出部３３８２は、入力したユーザ音声情報に基づいて、ユーザの感情要素を抽出する。具体的には、感情要素抽出部３３８２は、予め登録しているユーザの音声波形とマッチング処理を行うことで、ユーザの喜怒哀楽などの状態を特定し、感情要素として抽出する。ここで、感情要素抽出部３３８２は、音声レベル抽出部３３８１で抽出されるユーザの音声レベルに基づいて入力するユーザ音声情報に含まれる音声に増幅処理等を行った上で感情要素を抽出しても良い。感情要素抽出部３３８２は、抽出した感情要素データを仮想現実オブジェクト挙動制御部３３７０に出力する。

コンテキスト取得部３３８３は、入力したユーザ音声情報に基づいて、ユーザが発した音声のコンテキストを取得する。コンテキスト取得部３３８３は、入力したユーザ音声情報に含まれる音声データに対して、音声レベル抽出部３３８１で抽出された音声レベルに基づく増幅処理を行った後、所定の音声解析アルゴリズムに従って当該音声データが示すコンテキストを取り出す処理を行う。

例えば、コンテキスト取得部３３８３は、複数の音声単位を記憶する音声データベースに含まれる音声単位データと、入力した音声データとのマッチング処理を行うことで、音声データを単位音声に分割する。当該音声データベースに含まれる音声単位データは、例えば「い」の単位音声がコードＮｏ００４、「こ」の単位音声がコードＮｏ０２１というように、コードが割り当てられている。コンテキスト取得部３３８３は、入力した音声データを単位音声に分割することで、当該入力した音声データをコードの羅列に変換する。なお、上記音声データベースの図示は省略している。

コンテキスト取得部３３８３は、複数の単語データや文法構造を規定する文法データを記憶している単語・文法データベースにアクセスし、音声解析処理で得られた一連のコードのいくつかと、上記データベースに記憶される単語データとのマッチングを行うことで、意味のある部分を抽出していく。コンテキスト取得部３３８３は、当該一連の処理に基づいて、入力された音声データが示すコンテキストを取得する。

例えば、入力された音声データが「ねことたわむれたいな」と言う音声であった場合、コンテキスト取得部３３８３は、「ね」、「こ」、「と」、「た」、「わ」、「む」、「れ」、「た」、「い」、「な」と単位音声に分割する。各単位音声にはコードが割り当てられているため、コンテキスト取得部３３８３は、当該音声データを「０７２／０２１／０４１／０３６／１２４／０８５／０９９／０３６／００４／０４３」といったコードの羅列に変換する。

コンテキスト取得部３３８３は、入力された音声データから変換された当該コードと単語・文法データベースの単語を示すコードとのマッチング処理を行うことで単語の羅列に変換する。例えば、コンテキスト取得部３３８３は、当該マッチング処理を行うことで、「０７２０２１」、「０３４」、「０３６１２４０８５０９９」、「０３６００４０４３」と纏まり毎に抽出し、「Ｏｂ：ねこ、Ｏｆ：と、Ｖａ：たわむれ、Ｖｃ：たいな」と言う形で主語、目的語、述語、助詞、などに整理する。コンテキスト取得部３３８３は、当該処理により、入力された音声は、「猫と戯れたい」というコンテキストを示していると判定する。

このようにコンテキスト取得部３３８３で取得されたコンテキストは、仮想現実サービス提供管理部１３２０、仮想現実サービス制御部３３３０、仮想現実オブジェクト挙動制御部３３７０にそれぞれ出力される。

仮想現実サービス提供管理部１３２０は、コンテキスト取得部３３８３で取得された音声データのコンテキストが「ガガフロンティアを開始したい」と言った仮想現実サービスの開始を要求するコンテキストであった場合、当該コンテキストで示されている仮想現実サービスの提供開始を決定する。このように、仮想現実サービス提供管理部１３２０は、仮想現実サービス開始要求、仮想現実サービス終了要求、仮想現実サービス中断要求など、ユーザからの要求を音声データと言った形式で入力する。

仮想現実サービス制御部３３３０は、コンテキスト取得部３３８３で取得された音声データのコンテキストに基づいて、当該音声入力に対応する仮想現実サービス制御プログラムを仮想現実コンテンツ記憶ＤＢ３２００より読み出して実行する。

仮想現実オブジェクト挙動制御部３３７０は、コンテキスト取得部３３８３で取得された音声データのコンテキストや、感情要素抽出部３３８２で抽出された感情要素データに基づいて、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。

再生音声生成処理部３３９０は、ＨＭＤ装置３００の音声再生制御部３８０より再生される音声データを生成する。再生音声生成処理部３３９０は、仮想現実サービス制御部３３３０によって仮想現実コンテンツ記憶ＤＢ３２００より読み出された音声データや、仮想現実オブジェクト挙動制御部３３７０で制御された仮想現実オブジェクトが発する音声データに対して、音声レベル抽出部３３８１で抽出された音声レベルに基づく利得調整処理を行う。再生音声生成処理部３３９０は、通信部１３１０で受信されたユーザ状態情報で示されるユーザの頭部の姿勢に基づいて、ユーザの左右の耳の位置を特定し、入力した上記音声データを複数のチャンネルに分割して各チャンネルの音声データを生成する。再生音声生成処理部３３９０は、当該複数のチャンネルに分割した音声データを、ＣＥＬＰ等の符号化方式で符号化して音声符号化データを生成し、通信部１３１０に出力する。当該再生音声生成処理部３３９０で生成された音声符号化データは、通信部１３１０よりＨＭＤ装置３００に送信され、ＨＭＤ装置３００の音声再生制御部３８０で音声復号処理が行われた後、音声出力部１７０である各スピーカより音声が出力される。

次に、仮想現実サービス提供システム３０００の動作について説明する。図１５は、仮想現実サービスの提供開始処理の流れの一例を示すフローチャート図である。

仮想現実サービス提供管理部１３２０は、ユーザに対して仮想現実サービスを提供することを決定する決定処理を行う（ステップＳ３０１〜Ｓ３０４）。具体的には、通信部１３１０で仮想現実サービス開始要求が受信されたかを判定する（ステップＳ３０１）。通信部１３２０で仮想現実サービス開始要求が受信されていない場合は、当該サービス開始要求が受信されるまで待機する。

通信部１３１０で仮想現実サービス開始要求が受信された場合、仮想現実サービス提供管理部１３２０は、当該仮想現実サービス開始要求に基づいて、要求元のユーザに当該仮想現実サービス開始要求で指定されている仮想現実サービスの提供を開始することが可能であるかを判定する（ステップＳ３０２）。具体的には、仮想現実サービス提供管理部１３２０は、仮想現実サービス利用条件記憶ＤＢ２４００や契約者情報記憶ＤＢ３１００に記憶されている当該仮想現実サービスを利用するための条件である仮想現実サービス利用条件を参照して、当該仮想現実サービス開始要求で指定されている仮想現実サービスの提供を開始することが可能であるかを判定する。

ステップＳ３０２における判定の結果、当該仮想現実サービス利用条件を満たさないと判定された場合、仮想現実サービス提供管理部１３２０は、上記仮想現実サービス開始要求で開始が要求されている仮想現実サービスを提供することを拒絶する通知を行う（ステップＳ３０３）。具体的には、仮想現実サービス提供管理部１３２０は、仮想現実サービスの提供の開始を拒絶することを示す仮想現実サービス開始拒絶通知情報を生成し、通信部１３１０より仮想現実サービス開始要求の要求元ユーザに送信する。当該仮想現実サービス開始拒絶通知情報には、仮想現実サービスの提供を開始できない理由を示す仮想現実サービス提供拒絶理由を含める構成とすることが好ましい。

一方、ステップＳ３０２における判定の結果、当該仮想現実サービス利用条件を満たすと判定された場合、仮想現実サービス提供管理部１３２０は、当該要求に基づく仮想現実サービスの提供開始を決定する（ステップＳ３０４）。具体的には、仮想現実サービス提供管理部１３２０は、仮想現実サービス制御部３３３０に、要求されている仮想現実サービスの制御開始を指示する。

仮想現実サービス制御部３３３０は、仮想現実サービス提供管理部１３２０で仮想現実サービスの提供開始が決定された場合、当該仮想現実サービスに係る仮想現実コンテンツを、仮想現実コンテンツ記憶ＤＢ３２００より読み出す（ステップＳ３０５）。

仮想現実サービス制御部３３３０は、提供する仮想現実サービス用に、仮想空間を設定する（ステップＳ３０６）。通常、ユーザに提示される仮想現実の世界は、ユーザの視界に収まる範囲であるため、１０ｍ四方程度の大きさに設定することが好ましい。但し、ユーザが移動しながら仮想現実の世界を鑑賞したりする場合は、１００ｍｍ四方程度の大きさの仮想空間を予め確保しておくことが好ましい。このように、仮想現実サービスの内容に従って、必要となる仮想空間の大きさも異なってくる。従って、仮想現実サービス制御部３３３０は、仮想現実サービス提供管理部１３２０で決定された仮想現実サービスに基づいて、仮想空間を設定する構成とすることが好ましい。例えば、Ｓ００１の仮想現実サービスを提供する場合は、５０ｍ四方の仮想空間を、Ｓ０２５の仮想現実サービスを提供する場合は、Ｘ方向が１ｋｍ、Ｙ方向が１ｋｍ、Ｚ方向が２０ｍの仮想空間を設定する構成とすることができる。どの程度の大きさの仮想空間を必要とするかは、仮想現実コンテンツの一部の制御データとして、仮想現実コンテンツ記憶ＤＢ３２００に記憶されていると良い。仮想現実サービス制御部３３３０は、仮想現実コンテンツを読み出し、仮想現実コンテンツに含まれる当該制御データを参照して仮想空間を設定する。不必要に大きすぎる仮想空間を設定すると不要なリソース消費が発生する一方、仮想現実サービスと比較して小さすぎる仮想空間では、仮想現実サービスの提供に用いられる仮想現実オブジェクトを適切に配置できない可能性が残る。このような観点から、予め記憶されている制御データを参照して、仮想空間の大きさが決定される構成とすることが好ましい。

次に、仮想現実サービス制御部３３３０は、仮想現実サービスの提供に用いられる環境パラメータの設定を行う（ステップＳ３０７）。環境パラメータとは、仮想現実の世界をユーザに提示するために、ＨＭＤ装置（仮想現実提示装置）３００と、仮想現実サービス提供サーバ３３００との間で行われる通信の制御を規定する情報である。

例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、ＨＭＤ装置３００と仮想現実サービス提供サーバ３３００との間の通信を暗号化する暗号鍵を設定する。ＨＭＤ装置３００では、周囲状況情報にはユーザの周囲の景色を撮影した画像データが含まれるため、プライバシーに係るものが写っている可能性がある。そこで、当該２つの装置間での通信を暗号化するために、仮想現実サービス制御部３３３０は、通信用の暗号鍵を生成又は仮想現実コンテンツ記憶ＤＢ３２００より読み出す。当該暗号鍵は、共通鍵であっても良いし、公開鍵であっても良い。

また、例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、ＨＭＤ装置３００と仮想現実サービス提供サーバ３３００との間の通信で使用するポートを設定する。当該ポートは、送受信される情報に応じて複数の異なるポートが割り当てられていても良いし、１つのポートを共通して用いる構成としても良い。

また、例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、ＨＭＤ装置３００から仮想現実サービス提供サーバ３３００へ定期的に送信されるユーザ状態情報や周囲状況情報の送信間隔やデータ形式などを設定する。仮想空間内で仮想現実オブジェクトが大きく移動するような仮想現実サービスでは、当該移動する仮想現実オブジェクトが現実の世界の物体と重なり合わないよう、現実の世界の状況を高い頻度で更新する必要がある。また、ユーザの頭部の動きが小さい場合は、ユーザ状態情報や周囲状況情報は、過去の情報を再利用することができる。このように、ＨＭＤ装置３００から仮想現実サービス提示サーバ３３００へ定期的に送信される情報の取得間隔（生成間隔）、送信間隔、データ形式、などを環境パラメータとして設定する。

また、例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、仮想現実サービス提供サーバ３３００で生成される映像のフレームレートや、映像符号化処理で用いられる符号化方式を識別する情報、また、生成される音声のチャンネル数や、音声符号化方式を識別する情報などを設定する。このように、仮想現実サービス制御部３３３０は、仮想現実サービス提供サーバ３３００からＨＭＤ装置３００へ定期的に送信される情報に関するパラメータを、環境パラメータとして設定する。

仮想現実サービス制御部３３３０は、映像生成処理部１３５０、画像解析処理部２３６０、音声解析処理部３３８０、音声再生処理部３３９０、と言った仮想現実サービスを提供するために行われる各処理部に対して、上記設定した環境パラメータに従って担当処理を実行させる制御を行う（ステップＳ３０８）。例えば、当該制御に基づいて、映像生成処理部１３５０は、仮想現実サービス制御部３３３０が設定したフレームレートに従って、仮想空間に配置されている仮想現実オブジェクトをレンダリングして２次元画像を取得する。

当該環境パラメータの設定が完了した場合、仮想現実サービス提供管理部１３２０は、仮想現実サービス開始通知情報を生成し、通信部１３２０よりＨＭＤ装置３００に送信することで、仮想現実サービスの開始を通知する（ステップＳ３０９）。当該仮想現実サービス開始通知情報には、上記設定された環境パラメータが含まれている。

なお、上記サービス開始決定処理は、サービス開始要求が受信されたことをトリガーとする場合に限られるものではなく、現在サービスを利用可能なユーザの中から自サーバが使用可能なリソースに基づいてスケジューリングを行う構成とすることも可能である。また、ステップＳ３０６とＳ３０７は順不同であっても良い。

図１６は、仮想現実サービス提供管理部１３２０において、仮想現実サービスの提供が決定された場合における当該仮想現実サービスのメイン制御処理を示している。仮想現実サービス提供管理部１３２０において仮想現実サービスの開始がＨＭＤ装置３００に通知されることで、ＨＭＤ装置３００より環境パラメータに従ってユーザ状態情報及び周囲状況情報が定期的に送信されてくることになる。通信部１３１０は、当該ユーザ状態情報及び周囲状況情報を受信する（ステップＳ３１０）。通常、ユーザ状態情報の受信頻度は周囲状況情報の受信頻度よりも高くなるように環境パラメータによって設定されている。また、ＨＭＤ装置３００の音声入力部３７０で入力される音声も定期的に、又は、所定の音声レベル以上の音声が入力された場合に音声情報として送信され、通信部１３１０は、当該音声情報を受信する。

画像解析処理部２３６０は、周囲状況情報として送信されてくる前方景色画像や周囲景色画像の画像データに基づいて所定の解析処理を行うことでユーザの周囲にある現実の物体の位置関係を特定し、特定した物体をモデリングしてモデルデータを生成するモデリング処理を行う（ステップＳ３１１）。例えば、前方景色画像を取得する視線カメラは左目と右目に対応する位置に配置されているため、これら２つのカメラで撮影される画像を比較することで物体までの距離を特定することが可能となる。当該モデルデータは、現実の物体の外観形状を規定するポリゴンデータと当該物体の位置を示す座標データとを含み、更に好ましくは、当該モデルデータを識別するモデルラベル情報、当該モデルデータで表される現実の物体を識別する物体ラベル情報、当該現実の物体の種類を示す物体種類情報、などを含んでいる。画像解析処理部２３６０で生成される現実の物体のモデルデータは、仮想現実サービス制御部３３３０に出力される。

仮想現実サービス制御部３３３０は、画像解析処理部２３６０より出力されるユーザの周囲にある現実物体のモデルデータをステップＳ３０６で設定した仮想空間に配置する（ステップＳ３１２）。モデルデータは、ユーザの位置からの相対位置を示す座標データが含まれているため、仮想空間におけるユーザの位置を示すユーザ位置座標に当該座標データを加算して求まる位置に画像解析処理部２３６０におけるモデリング処理で得られた現実の物体のモデルデータを配置する。なお、仮想空間におけるユーザ位置座標は、ユーザ状態情報に基づいて適宜変更されていく。また、ユーザの移動に伴い、画像解析処理部２３６０に入力される画像の撮影範囲が変化するため、今まで画像に写っていなかった範囲にある現実の物体のモデルデータが順次生成されていく。仮想現実サービス制御部３３３０は、画像解析処理部２３６０で順次生成されるモデルデータに基づいて、仮想空間に配置する現実の物体のモデルデータを順次更新していく。

仮想現実サービス制御部３３３０は、新たな仮想現実オブジェクトを仮想空間に配置するかを判定する（ステップＳ３１３）。仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００より読み出す仮想現実コンテンツに含まれる各種制御プログラムに基づいて、仮想現実オブジェクトを仮想空間に配置するかを判定する。

新たな仮想現実オブジェクトを配置すると決定した場合、仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００より仮想現実オブジェクトを読み出して仮想空間に配置する（ステップＳ３１４）。ここで、仮想現実サービス制御部３３３０は、仮想空間に配置されている現実の物体のモデルデータと仮想空間内で重なり合わない位置に仮想現実オブジェクトを配置する。より好ましくは、仮想現実オブジェクトに対して配置条件が設定されており、仮想現実サービス制御部３３３０は、当該配置条件に従がって仮想現実オブジェクトを仮想空間に配置する。例えば、仮想現実オブジェクトが人間オブジェクトであり、「配置条件１：他の物体と重なる領域が１%以下であること、配置条件２：床の上に接触した状態で配置すること」と言う配置条件が設定されている場合、仮想現実サービス制御部３３３０は、仮想空間に配置している現実の物体のモデルデータのうち、床のモデルデータの上部に、１％以下の重なり状態を持って接触した状態で仮想現実オブジェクトを配置する。

一方、ステップＳ３１３で新たな仮想現実オブジェクトを配置しないと決定された場合、ステップＳ３１４を飛ばして次のステップＳ３１５に進む。

仮想現実サービス制御部３３３０は、仮想空間に配置している仮想現実オブジェクトの挙動を制御するかを判定する（ステップＳ３１５）。仮想現実サービス制御部３３３０は、仮想現実サブ制御プログラムを実行しており、画像解析処理部２３６０や音声解析処理部３３８０における処理結果を入力し、当該処理結果に基づいて配置中の仮想現実オブジェクトの挙動を制御するかを判定する処理を行う。なお、仮想現実サービス制御部３３３０は、上記処理結果の入力に依らず、現在実行中の仮想現実サブ制御プログラムに従って順次仮想現実オブジェクトの挙動を制御していく場合もある。

ステップＳ３１５で仮想現実オブジェクトの挙動を制御すると判定された場合、仮想現実オブジェクト制御部３３７０は、仮想現実オブジェクトの挙動を制御する（ステップＳ３１６）。具体的には、ステップＳ３１６において、仮想現実オブジェクトの挙動を制御すると仮想現実サービス制御部３３３０が判定した場合、仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００より仮想現実オブジェクト人格制御プログラムと、当該仮想現実オブジェクト人格制御プログラムで読み出される仮想現実オブジェクト挙動制御プログラムとを読み出して仮想現実オブジェクト制御部３３７０に送る。仮想現実オブジェクト制御部３３７０は、仮想現実オブジェクト人格制御プログラムを実行し、画像解析処理部２３６０や音声解析処理部３３８０における処理結果を入力として、実行する仮想現実オブジェクト挙動制御プログラムを選択する。仮想現実オブジェクト制御部３３７０は、選択した仮想現実オブジェクト挙動制御プログラムを実行することで、仮想現実オブジェクトの仮想空間内での位置や仮想現実オブジェクトの関節ポイントの位置や角度、仮想現実オブジェクトの表面に張り付けられるテキスチャーを変更する。このように、仮想現実オブジェクト制御部３３７０は、仮想現実オブジェクト挙動制御プログラムに従って仮想現実オブジェクトの挙動を制御する。

なお、ステップＳ３１５で仮想現実オブジェクトの挙動を制御しないと判定された場合は、上記ステップＳ３１６の挙動制御処理を行うことなく、次のステップＳ３１７に移行する。

次に、仮想現実サービス制御部３３３０は、仮想空間に配置中の現実の物体のモデルデータを仮想空間の中から削除するかを判定する（ステップＳ３１７）。仮想現実サービス制御部３３３０は、ユーザとの相対距離が所定の基準値以上離れたことにより、仮想現実の提示に影響を与えなくなった物体のモデルデータや、他の物体のモデルデータとの間で干渉を生じるようになったモデルデータや、移動したことによってユーザの周囲からいなくなった物体のモデルデータなど、所定の削除基準を満たしたモデルデータがあるかを判定する。

仮想現実サービス制御部３３３０は、所定の削除基準を満たしたと判定した現実の物体のモデルデータを仮想空間の中から削除する（ステップＳ３１８）。一方、所定の削除基準を持たすと判定した現実の物体のモデルデータが無い場合は、当該削除処理を行うことなく次のステップＳ３１９に進む。

次に、仮想現実サービス制御部３３３０は、仮想空間に配置中の仮想現実オブジェクトを仮想空間の中から削除するかを判定する（ステップＳ３１９）。仮想現実サービス制御部３３３０は、仮想現実サービスの進行に従って、不必要となった仮想現実オブジェクトや、ユーザとの相対距離が所定の基準値以上離れたことにより、仮想現実の提示に影響を与えなくなった仮想現実オブジェクトや、現実の物体のモデルデータや他の仮想現実オブジェクトとの干渉を生じるようになった仮想現実オブジェクトなど、所定の削除基準を満たした仮想現実オブジェクトがあるかを判定する。

仮想現実サービス制御部３３３０は、所定の削除基準を満たしたと判定した仮想現実オブジェクトを仮想空間の中から削除し、ステップＳ３１０に戻る（ステップＳ３２０）。一方、所定の削除基準を持たすと判定した仮想現実オブジェクトが無い場合は、当該削除処理を行うことなく次のステップＳ３１０に戻る。

このように、仮想現実サービス制御部３３３０は、設定した仮想空間に配置する仮想現実オブジェクトや現実の物体のモデルデータを適宜追加、変形、削除を繰り返し行うことで仮想空間を更新する。

次に、ＨＭＤ装置３００で表示される映像の生成処理について説明する。図１７は、当該映像生成処理の流れを示すフローチャート図である。

ユーザ状態情報が通信部１３１０で新たに受信された場合（ステップＳ３２１）、表示映像生成処理部１３５０は、当該受信された最新のユーザ状態情報に基づいて仮想空間における視点を制御する（ステップＳ３２１）。具体的には、表示映像生成処理部１３５０は、ユーザ状態情報に含まれる加速度情報や傾き情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間上の座標を視点の位置として求め、また、ユーザの頭部が向いている方向を視線方向として求める。一方、ユーザ状態情報が受信されていない場合は、このタイミングにおける視点制御はスキップする。

一方、周囲状況情報が通信部１３１０で新たに受信された場合（ステップＳ３２３）、表示映像生成処理部１３５０は、当該受信された最新の周囲状況情報に基づいて仮想空間における光源を制御する（ステップＳ３２４）。具体的には、表示映像生成処理部１３５０は、仮想空間に配置する光源の位置及び光の強さを設定する。一方、周囲状況情報が受信されていない場合は、このタイミングにおける光源制御はスキップする。

次に、表示映像生成処理部１３５０は、ステップＳ３２３で制御された光源からの照射環境における仮想空間に配置されている仮想現実オブジェクトの、ステップＳ３２１で制御された視点からの映像を生成する（ステップＳ３２５）。具体的には、表示映像生成処理部１３５０は、ステップＳ３２１で制御された視点位置の視線方向前方に配置したイメージプレーンに仮想空間内の仮想現実オブジェクトを投影する。ここで、表示映像生成処理部１３５０は、イメージプレーンには現実の物体のモデルデータは投影せず、仮想現実オブジェクトだけを投影する。ここで、表示映像生成処理部１３５０は、仮想現実オブジェクトと視点位置との間に現実の物体のモデルデータがある場合は、仮想現実オブジェクトの中で当該モデルデータに隠される部分は投影しない隠面処理を行う。また、表示映像生成処理部１３５０は、ステップＳ３２４で制御された光源からの照射環境に基づいて、投影された仮想現実オブジェクトに対するシェーディング処理を行う。これら、各処理を行うことで、表示映像生成処理部１３５０は、ＨＭＤ装置３００の表示パネル１５１ａ、１５１ｂで表示される２つの映像を生成する。

次に、表示映像生成処理部１３５０は、生成した映像を所定の圧縮符号化方式で符号化することで映像符号化データを生成し（ステップＳ３２６）、通信部１３１０は、当該生成された映像符号化データをＨＭＤ装置３００へ送信する（ステップＳ３２７）。なお、ＨＭＤ装置３００と仮想現実サービス提供サーバ３３００の間の通信を暗号化する場合は、ステップＳ３２６で生成された映像符号化データを暗号化した上で送信する。

当該ステップＳ３２１〜Ｓ３２７の処理を一つのフレーム処理として、繰り返すことにより、表示パネル１５１ａ、１５１ｂで順次仮想現実オブジェクトの映像が表示される。

次に、ＨＭＤ装置３００で再生される音声の生成処理について説明する。図１８は、当該音声生成処理の流れを示すフローチャート図である。

ユーザ状態情報が通信部１３１０で新たに受信された場合（ステップＳ３３１）、再生音声生成処理部３３９０は、当該受信された最新のユーザ状態情報に基づいて仮想空間における耳の位置を制御する（ステップＳ３３２）。具体的には、再生音声生成処理部３３９０は、ユーザ状態情報に含まれる加速度情報や傾き情報に基づいて、ユーザの耳の位置に対応する仮想空間における音声集音位置（音声集音位置座標）を求める。一方、ユーザ状態情報が受信されていない場合は、このタイミングにおける耳の位置（音声集音位置）の制御はスキップする。

一方、周囲音声情報が通信部１３１０で新たに受信された場合（ステップＳ３３３）、再生音声生成処理部３３９０は、当該受信された最新の周囲音声情報に基づいてユーザの周囲における雑音等の音声レベルを算出し、ＨＭＤ装置３００の音声再生制御部３８０で再生する音声における音声レベルを設定する（ステップＳ３３４）。一方、周囲音声情報が受信されていない場合は、このタイミングにおける音声レベル設定はスキップする。

仮想現実サービス制御部３３３０は、画像解析処理部２３６０や音声解析処理部３３８０における処理結果に基づいて、音声を再生するかを判定する（ステップＳ３３５）。このタイミングでは再生しないと判定した場合、ステップＳ３３１に戻って次の音声再生判定タイミングまで待機する。

一方、音声を再生すると判定した場合、仮想現実サービス制御部３３３０は、再生する音声を音声合成によって生成するかを判定する（ステップＳ３３６）。音声合成を行わない場合は、仮想現実サービス制御部３３３０は、予め仮想現実コンテンツの一部として仮想現実コンテンツ記憶ＤＢ３２００に記憶されている音声データを読み出して再生音声生成処理部３３９０へ出力する（ステップＳ３３７）。

一方、音声を合成すると判定した場合は、仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００に予め仮想現実コンテンツの一部として記憶されている音声基礎データを読み出して再生音声生成処理部３３９０に送り、再生音声生成処理部３３９おは、自ら求めたコンテキスト又は他のコンテキスト生成処理部で生成されたコンテキストに従って音声基礎データを合成することで、合成音声データを生成する（ステップＳ３３８）。

再生音声生成処理部３３９０は、仮想現実サービス制御部３３３０より出力された音声データ又は音声合成処理によって生成した音声データに対して、ステップＳ３３４で設定された音声レベルに基づいて利得調整処理を行う（ステップＳ３３９）。

再生音声生成処理部３３９０は、利得調整された音声データを、ステップＳ３３２で制御された耳の位置（音声集音位置）に基づいて複数のチャンネルに分配する分配処理を行う（ステップＳ３４０）。当該分配処理により、再生音声生成処理部３３９０は、ＨＭＤ装置３００が備える複数の音声チャンネルでそれぞれ再生されるチャンネル別音声データを生成する。

再生音声生成処理部３３９０は、各チャンネルへ分配した音声データをＨ．７２９等の音声符号化方式に従って符号化処理を行い、音声符号化データを生成し、通信部１３１０へ出力する（ステップＳ３４１）。

通信部１３１０は、再生音声生成処理部３３９０より出力された音声符号化データをＨＭＤ装置３００に送信し、ステップＳ３３１に戻る（ステップＳ３４２）。当該送信された音声符号化データは、ＨＭＤ装置３００の音声再生制御部３８０で復号され、音声出力部３９０において各チャンネルの音声データがＤＡ変換処理でアナログ音声信号に変換された後、空気振動に変換されて外部へ音声として出力される。

次に、仮想現実サービスの中断処理の流れについて説明する。図１９は、仮想現実サービス中断処理の流れを示すフローチャート図である。

仮想現実サービス提供管理部１３２０は、現在提供中の仮想現実サービスを中断するかを判定する（ステップＳ３５１）。例えば、仮想現実サービス提供管理部１３２０は、仮想現実サービス中断要求が受信された場合や、仮想現実サービスを中断する条件として予め設定されている仮想現実サービス提供中断条件を満たした場合に、現在提供中の仮想現実サービスを中断すると判定する。

仮想現実サービス提供管理部１３２０は、ステップＳ３５１で仮想現実サービスの提供を中断すると判定した場合、仮想現実サービスの提供を中断することを通知する仮想現実サービス中断通知情報を生成し、通信部１３１０へ出力する（ステップＳ３５２）。

通信部１３１０は、当該仮想現実サービス中断通知情報をＨＭＤ装置３００へ送信する（ステップＳ３５３）。該仮想現実サービス中断通知情報はＨＭＤ装置３００の通信部１３０で受信されて仮想現実提示制御部２６０に送られる。仮想現実提示制御部２６０は、当該中断通知情報に基づいて、各部の機能を停止する制御を行う。例えば、表示制御部１４０に映像の表示制御を中断させ、音声再生制御部３８０に音声の再生制御を中断させる。但し、仮想現実サービス提供サーバ３３００が、サービス中断中のユーザの状態や周囲の状況を追跡できるよう、仮想現実提示制御部２６０は、ユーザ状態検知部１１０と周囲状況検知部１２０の機能は中断しない構成とすることが好ましい。仮想現実サービスの提供が中断されている場合であっても、ＨＭＤ装置３００において、ユーザ状態検知部１１０はユーザの状態を検知してユーザ状態情報を生成し、通信部１３０より仮想現実サービス提供サーバ３３００に送信される。また、仮想現実サービスの提供が中断されている場合であっても、ＨＭＤ装置３００において、周囲状況検知部１２０は、ユーザの周囲の状況を検知して周囲状況情報を生成し、通信部１３０より仮想現実サービス提供サーバ３３００に送信される。

仮想現実サービス提供管理部１３２０は、自サーバにおける各処理部に処理中断指示を送る（ステップＳ３５４）。当該指示に基づいて表示映像生成処理や再生音声生成処理が停止されることで自サーバのリソースの消費を抑える。但し、後続における仮想現実サービス再開時にタイムラグを生じさせず再開できるよう、当該ステップＳ３５４はスキップし、各処理を継続する構成としても良い。この場合、映像データや音声データはＨＭＤ装置３００に送信されるものの、ＨＭＤ装置３００の仮想現実提示制御部２６０がサービス中断通知情報に基づいて行う制御によって、映像の表示や音声の再生は行われず、従って仮想現実の世界がユーザに提示されることはない。

仮想現実サービスの提供を中断している状態において、仮想現実サービス提供管理部１３２０は、中断中の仮想現実サービスの提供を再開するかを判定する（ステップＳ３５５）。仮想現実サービス提供管理部１３２０は、仮想現実サービス再開要求が通信部１３１０で受信された場合や、仮想現実サービス提供中断条件が解消された場合に、仮想現実サービスの提供を再開すると判定する。

仮想現実サービス提供管理部１３２０は、自サーバにおける各処理部に処理の再開を指示することで、ステップＳ３５４で停止させた処理を再開させる（ステップＳ３５６）。

仮想現実サービス提供管理部１３２０は、仮想現実サービスの提供を再開することを示す仮想現実サービス再開通知情報を生成し、通信部１３１０へ出力する（ステップＳ３５７）。

通信部１３１０は、当該仮想現実サービス再開通知情報をＨＭＤ装置３００へ送信し、ステップＳ３５１へ戻る（ステップＳ３５８）。当該仮想現実サービス再開通知情報はＨＭＤ装置３００の通信部１３０で受信されて仮想現実提示制御部２６０に送られる。仮想現実提示制御部２６０は、当該再開通知情報に基づいて、各部の機能を再開させる。例えば、表示制御部１４０に映像の表示制御を再開させ、音声再生制御部３８０に音声の再生制御を再開させる。

次に、仮想現実サービスの終了処理の流れについて説明する。図２０は、仮想現実サービス終了処理の流れを示すフローチャート図である。

仮想現実サービス提供管理部１３２０は、現在提供中の仮想現実サービスを終了するかを判定する（ステップＳ３６１）。例えば、仮想現実サービス提供管理部１３２０は、仮想現実サービス終了要求が受信された場合や、ユーザの現在の状態が仮想現実サービス利用条件を満たさなくなった場合に、現在提供中の仮想現実サービスを終了すると判定する。

仮想現実サービス提供管理部１３２０は、ステップＳ３６１で仮想現実サービスの提供を終了すると判定した場合、仮想現実サービスの提供を終了することを通知する仮想現実サービス終了通知情報を生成し、通信部１３１０へ出力する（ステップＳ３６２）。

通信部１３１０は、当該仮想現実サービス終了通知情報をＨＭＤ装置３００へ送信する（ステップＳ３６３）。当該仮想現実サービス終了通知情報は、ＨＭＤ装置３００の通信部１３０で受信されて仮想現実提示制御部２６０に送られる。仮想現実提示制御部２６０は、当該終了通知情報に基づいて、仮想現実の提示に関連する各部の機能を停止し、仮想現実の提示を終了する制御を行う。例えば、表示制御部１４０に映像の表示制御を中断させ、音声再生制御部３８０に音声の再生制御を終了させる。また、仮想現実提示制御部２６０は、ユーザ状態検知部１１０にユーザ状態の検知処理を終了させ、周囲状況検知部１２０に周囲状況の検知処理を終了させる。具体的には、傾きセンサ１１１や加速度センサ１１２への給電を遮断し、前方カメラ１２１や周囲カメラ１２１への給電を遮断する。

仮想現実サービス提供管理部１３２０は、自サーバにおける各処理部に処理終了指示を送る（ステップＳ３６４）。当該終了指示に基づいて仮想現実サービスの提供に関連する各部の処理が終了され、自サーバのリソースが解放される。また、当該仮想現実サービス用に設定されている仮想空間も解放される。

仮想現実サービス提供管理部１３２０は、これまでの仮想現実サービスの経過状況等をセーブデータとしてセーブデータ記憶ＤＢ３５００に格納し、仮想現実サービスの提供を終了する（ステップＳ３６５）。例えば、ユーザが仮想現実の世界で獲得した仮想的なアイテムや経験値に関する情報、仮想現実サービスのストーリー上の進行状況などをセーブデータとして格納する。

図２１は、ＨＭＤ装置３００より仮想現実サービス提供サーバ３３００へ送信される各種要求のデータ構造を、図２２は、仮想現実サービス提供サーバ３３００よりＨＭＤ装置３００へ送信される各種通知情報のデータ構造をそれぞれ示している。

各要求（情報）には、送信元アドレスとして自装置３００のアドレスが、送信先アドレスとして仮想現実サービス提供サーバ３３００のアドレスが含まれる。一方、各通知情報には、送信元アドレスとして自サーバ３３００のアドレスが、送信先アドレスとしてＨＭＤ装置３００のアドレスがそれぞれ含まれる。

各要求には要求内容を示す要求種別情報と、当該要求を識別するために割り当てた管理用の番号である要求識別情報と、が含まれる。例えば要求種別情報は２ビットの情報であり、“００”が仮想現実サービス開始要求を、“０１”が仮想現実サービス中断要求を、“１０”が仮想現実サービス再開要求を、“１１”が仮想現実サービス終了要求をそれぞれ表している。

一方、各通知情報には、通知内容を示す通知種別情報と、どの要求に対する応答であるかを識別するために上記要求識別情報とが含まれる。例えば、通知種別情報は３ビットの上方であり、“０００”が仮想現実サービス開始通知情報を、“００１”が仮想現実サービス開始拒絶通知情報を、“０１０”が仮想現実サービス中断通知情報を、“０１１”が仮想現実サービス再開通知情報を、“１００”が仮想現実サービス終了通知情報を、それぞれ表している。なお、ＨＭＤ装置３００より送られてくる要求に対する応答として通知される情報ではなく、自発的に仮想現実サービス提供サーバ３３００が送信する場合は、各通知情報には要求識別情報は含まれない。

仮想現実サービス開始要求には、当該要求に係るユーザを識別するユーザＩＤと、仮想現実サービスを開始するためのパスワード、開始を要求する仮想現実サービスを識別する仮想現実サービス識別情報が含まれる。当該サービス開始要求を受け取った仮想現実サービス提供管理部１３２０は、契約者情報記憶ＤＢ３１００に記憶される契約者情報に含まれるユーザＩＤとパスワードの組と比較することで、適切なユーザからの要求であるかを判定する。また、仮想現実サービス提供管理部１３２０は、当該サービス開始要求に含まれる仮想現実サービス識別情報で識別される仮想現実サービスを当該ユーザが利用可能であるかを判定する。これらの判定を適切に通過した場合に、仮想現実サービスの提供開始処理が進められる。

仮想現実サービス開始通知情報には、提供を開始する仮想現実サービスを識別する仮想現実サービス識別情報と、当該仮想現実サービスにおいて自サーバ３３００とＨＭＤ装置３００との間で発生する各通信を他の通信と区別するために用いる提供中仮想現実サービス管理番号と、各種環境パラメータを設定するための環境設定情報と、が含まれる。環境設定情報には、自サーバ３３００とＨＭＤ装置３００との間の通信を暗号化するための暗号鍵と、当該通信で用いるポート番号を指定する使用ポート番号と、自サーバ３３００からＨＭＤ装置３００へ送信される映像データのフレームレートを指定するフレームレート情報と、ＨＭＤ装置３００より自サーバ３３００へ送信させるユーザ状態情報や周囲状況情報の送信頻度を指定するＨＭＤ側情報送信頻度指定情報と、自サーバ３３００からＨＭＤ装置３００へ送信する映像及び音声の符号化方式をそれぞれ指定する映像符号化方式指定情報と音声符号化方式指定情報などが含まれる。

当該仮想現実サービス開始通知情報を受信したＨＭＤ装置３００において、仮想現実提示制御部２６０は、当該サービス開始通知情報に含まれる環境設定情報に基づいて、各パラメータを設定し、ＨＭＤ装置３００側での各処理を開始させる。

仮想現実サービス開始拒絶通知情報には、上述した送信元アドレス、送信先アドレス、通知種別情報、要求識別情報に加えて、仮想現実サービスの提供開始を拒絶する理由が付加情報として含まれる構成としても良い。

仮想現実サービス中断要求、仮想現実サービス再開要求、仮想現実サービス終了要求には、それぞれ中断、再開、終了に係る仮想現実サービスに割り当てられている上述の提供中仮想現実サービス管理番号が含まれる。当該仮想現実サービス中断要求、仮想現実サービス再開要求、仮想現実サービス終了要求をそれぞれ受け取った仮想現実サービス提供管理部１３２０は、当該要求に含まれる提供中仮想現実サービス管理番号で管理されている仮想現実サービスの中断処理、再開処理、終了処理を実行する。

仮想現実サービス中断通知情報、仮想現実サービス再開通知情報、仮想現実サービス終了通知情報には、それぞれ中断、再開、終了に係る仮想現実サービスを識別する提供仮想現実サービス識別情報と、当該仮想現実サービス用に割り当てられている提供中仮想現実サービス管理番号とが含まれる。当該サービス中断通知情報、サービス再開通知情報、サービス終了通知情報を受信したＨＭＤ装置３００において、仮想現実提示制御部２６０は、指定される仮想現実サービスに係る仮想現実の提示の中断、再開、終了を制御する。

以上説明したように、本実施形態３に係る仮想現実サービス提供システム３０００によれば、仮想空間に配置された仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御部を備えることで、ユーザに提示される仮想現実の世界に表される仮想現実オブジェクトが動作するため、より豊かな仮想現実の世界をユーザに提示することができる。

なお、上記説明では、ＨＭＤ装置３００は、光源３５２から照射された光がユーザ側へ反射され、ＬＣＤ等のディスプレイを通過することで映像が表示される構成について説明したが、本発明のＨＭＤ装置は当該構成に限定されるものではない。例えば、表示部１５０として、ＬＣＤ１５４の代わりにプロジェクション機構を備える構成としても良い。

図２３は、プロジェクション機構の表示部１５０を有するＨＭＤ装置３００におけるフロントパネル１０２の断面図を示している。フロントパネル１０２の上部に位置するセンターフレーム１０１ｃの内部にプロジェクション機構が表示部１５０として配置されている。

センターフレーム１０１ｃの内部上方に配置されている光源１５２より照射された白色光は、レンズ群１５５ａによって集光された後、ポラライジングコンバータ（ＰＬＣ）１５５ｂによって偏光成分が一方向に整えられたのち、第１反射ミラー１５５ｃによって垂直方向に反射される。第１反射ミラー１５５ｃで反射された白色光は、Ｒ反射ダイクロイックミラー１５５ｄによって赤色の光成分（Ｒ成分）だけが水平方向へ反射され、他の成分の光は、Ｒ反射ダイクロイックミラー１５５ｄを透過する。

Ｒ反射ダイクロイックミラー１５５ｄを透過した光は、Ｇ反射ダイクロイックミラー１５５ｅで緑色の光成分（Ｇ成分）だけが水平方向に反射され、残りの青色の光成分（Ｂ成分）はＧ反射ダイクロイックミラー１５５ｅを透過する。

Ｇ反射ダイクロイックミラー１５５ｅを透過したＢ成分の光は、第２反射ミラー１５５ｆで水平方向に反射され、更に第３反射ミラー１５５ｇで垂直上方へ反射され、第１液晶パネル１５５ｈを透過した後にクロスダイクロプリズム１５５ｊに入射される。

一方、Ｒ反射ダイクロイックミラー１５５ｄで反射されたＲ成分の光は、第４反射ミラー１５５ｋによって垂直方向に反射され、第２液晶パネル１５５ｍを透過した後にクロスダイクロプリズム１５５ｊに入射される。また、Ｇ反射ダイクロイックミラー１５５ｅで反射されたＧ成分の光は、第３液晶パネル１５５ｎを透過した後にクロスダイクロプリズム１５５ｊに入射される。

クロスダイクロプリズム１５５ｊは、分離されてそれぞれ液晶パネルを通過したＲ成分、Ｇ成分、Ｂ成分の３つの光を合成して水平方向に反射する。クロスダイクロプリズム１５５ｊより出力された合成光は、ガルバノミラー１５５ｐによって垂直方向に反射され、照射窓１５５ｑよりフロントパネル１０２へ照射される。ガルバノミラー１５５ｐは、クロスダイクロプリズム１５５ｊより出力された合成光を水平方向（ｙ方向）に走査しながら反射する。

フロントパネル１０２のうち、照射窓１５５ｑの下方には透過型導光板１５３が配置されており、当該導光板１５３によって再度水平方向に反射された光がユーザの目の中へ入射される。ガルバノミラー１５５ｐによって水平方向に光が操作されているため、導光板１５３で反射される光は垂直方向（ｚ方向）に走査される。

なお、図２３における各部材は、ｘ方向すなわち紙面垂直方向に長細い構成をとっており、右目用の映像におけるｘ方向の一列を纏めて表示する。当該一列の映像がガルバノミラー１５５ｐによってｙ方向に走査されて順次表示されることで、ｘｚ平面の２次元画像がフロントパネル１０２の導光板１５３に映し出されることになる。同様に、左目の上部にも同一のプロジェクション機構が配置されており、導光板１５３に左目用の映像が映し出される。このように、導光板１５３及びセンターフレーム１０１ｃ内に格納されている右目用プロジェクション機構と左目用プロジェクション機構によって表示部が形成され、導光板１５３が表示パネルとして機能する。なお、左目用プロジェクション機構と右目用プロジェクション機構は共通化されていても良い。

また、センターフレーム１０１ｃには、視線カメラ１２１ａ、１２１ｂが配置されている。視線カメラ１２１ａは、外部の光を集光するレンズ群１２１ａ−１と、集光した光を絞る絞り機構１２１ａ−２と、ＣＣＤやＣＭＯＳ等の固体撮像素子１２１ａ−３などで構成される。固体撮像素子１２１ａ−３で光からアナログ電気信号に変換された後、ＡＤ変換器でデジタル信号に変換され、後続のＤＳＰ（Degital Signal Processor）で所定の補正処理及び符号化処理が行われた後、周囲状況情報として通信部１３０より仮想現実サービス提供サーバ３３００へ送信される。

なお、上記説明ではＨＭＤ装置３００が透過型ディスプレイを備える仮想現実提示装置である場合について説明したがこれに限定されるものではない。例えば、図２４に示すＨＭＤ装置３００ｂのように、フロントパネル１０２は、遮蔽型のパネルであって外側に視線カメラ１２１ａ、１２１ｂが、内側に表示パネル１５１ａ、１５１ｂがそれぞれ配置される構成であっても良い。但し、この場合、フロントパネル３０２によってユーザの視界は遮蔽されているため、視線カメラ１２１ａ、１２１ｂでそれぞれ撮影された映像が表示パネル１５１ａ、１５１ｂに表示されることでユーザは前方の様子を見ることができる構成を取る。

図２５は、図２４に示したＨＭＤ装置３００ｂの構成を示すブロック図である。ＨＭＤ装置３００ｂにおいて、表示制御部１４０は、映像復号処理部１４１と、映像合成処理部１４２とを備える。

映像復号処理部１４１は、仮想現実サービス提供サーバ３３００で生成された映像の符号化データに対して復号処理を行うことで、仮想現実オブジェクトの映像を取得する。

映像合成処理部１４２は、視線カメラ１２１で撮影された前方景色画像に映像復号処理部１４１で取得された仮想現実オブジェクトの映像を合成することで、仮想現実の映像を生成する。具体的には、映像合成処理部１４２は、右視線カメラ１２１ａで撮影された前方景色画像と右視点で生成された仮想現実オブジェクトの映像とを合成し、左視線カメラ１２１ｂで撮影された前方景色画像と左視点で生成された仮想現実オブジェクトの映像とを合成することで２つの映像を生成する。映像合成処理部１４２は、生成した２つの映像をそれぞれライト表示パネル１５１ａとレフト表示パネル１５１ｂとにそれぞれ表示する。

なお、当該形態を取る場合は、周囲状況情報は仮想現実サービス提供サーバ３３００へ送信されない構成としても良い。この場合、ＨＭＤ装置３００ｂは、図２６に示すように構成されていても良い。図２６に示すＨＭＤ装置３００ｂにおいて、周囲状況検知部１２０は、視線カメラ１２１と視線補助カメラ１２３とを備える。

フロントパネル１０２の厚みを増やすと装着性が低下するため、フロントパネル１０２はできるだけ薄いことが好ましい。一方、フロントパネル１０２の厚みが薄いと、視線カメラ１２１における光学パスが十分確保取れないため、撮像される画像に比較的大きい歪みが生じる。そこで、フロントパネル１０２の外側前方に別途視線補助カメラ１２３を配置する。

表示制御部１４０は、映像復号処理部１４１と、映像合成処理部１４２と、視界映像生成処理部１４３と、境界特定処理部１４４と、を備える。映像復号処理部１４１は、仮想現実サービス提供サーバ３３００で生成された仮想現実オブジェクトの映像の符号化データに対して復号処理を行うことで、当該仮想現実オブジェクトの映像を取得する。

視界映像生成処理部１４３は、視線カメラ１２１で撮影された映像と視線補助カメラ１２３で撮影された映像とを組み合わせることで歪みを補正し、ユーザの視界となる映像である視界映像を生成する。当該視界映像は、ＨＭＤ装置３００をつけていない場合にユーザが肉眼で見える視界の景色と略同一の景色の映像である。視界映像生成処理部１４３は、左目用の視界映像と右目用の視界映像とを生成する。

境界特定処理部１４４は、視界映像生成処理部１４３で生成されたユーザの視界の映像に対して境界判定処理を行うことで、当該映像に写っている各物体の境界と距離とを特定する。境界特定処理部１４４は、隣接する画素やブロックの色差信号の差が所定の基準値を超えて離れている場合に、当該部分が物体の境界であると判定し、左右２つの視界映像においてそれぞれ同一の物体が表示されている位置の差分から、当該物体までの距離を算出する。

映像合成処理部１４２は、視界映像生成処理部１４３で生成された左目用視界映像と右目用視界映像にそれぞれ映像復号処理部１４１で取得された左目用の仮想現実オブジェクトの映像と右目用の仮想現実オブジェクトの映像とを合成する処理を行う。

ここで、映像合成処理部１４２は、境界特定処理部１４４で特定された視界映像に含まれる物体の境界位置に基づいて、仮想現実オブジェクトの一部を境界に沿って削除する補正処理を行い、当該補正処理が行われた仮想現実オブジェクトの映像を視界映像と合成することで表示用の映像を生成する。これは、仮想現実オブジェクトの映像が仮想現実サービス提供サーバ３３００で生成されるのに対し、視界映像がＨＭＤ装置３００で生成されるため、合成する際にズレが生じる場合があるためである。

なお、当該構成の場合には、仮想現実オブジェクトまでの距離を示す距離情報が映像データと合わせて仮想現実サービス提供サーバ３３００より送信される構成とすると更に良好である。この場合、映像合成処理部１４２は、当該距離情報で示される仮想現実オブジェクトの距離よりもユーザ側にある物体の境界で仮想現実オブジェクトの映像の一部を削除する補正処理を行った上で、視界映像と仮想現実オブジェクトの映像とを合成する。

例えば、仮想現実サービス提供サーバ３３００で生成される映像に仮想現実オブジェクトＡ、Ｂ、Ｃが含まれているとして、当該仮想現実オブジェクトＡ、Ｂ、Ｃまでのユーザからの距離がそれぞれ２．１ｍ、４．０ｍ、４．８ｍであったとする。一方、境界特定処理部１４４における境界特定処理により、視界映像の中にそれぞれユーザの位置から１．０ｍ、３．１ｍ、４．５ｍ、５．２ｍ、８ｍの距離にある物体Ｐ、Ｑ、Ｒ、Ｓ、Ｔが写っていることが特定されたとする。この場合、仮想現実オブジェクトＡよりも物体Ｐだけがユーザにより近い位置にあるため、仮想現実オブジェクトＡの映像から、物体Ｐと重なり合う部分の映像を削除する処理を行う。同様に、仮想現実オブジェクトＢよりも、物体Ｐ、Ｑがユーザにより近い位置にあるため、仮想現実オブジェクトＢの映像から、物体Ｐ、Ｑと重なり合う部分の映像を削除する処理を行う。同様に、仮想現実オブジェクトＣの映像から物体Ｐ、Ｑ、Ｒと重なり合う部分の映像を削除する処理を行う。

このように、表示制御部１４０は、仮想現実サービス提供サーバ３３００で生成された仮想現実オブジェクトの映像を、ユーザの視界に入る物体に基づいて補正を行い、補正処理後の仮想現実オブジェクトの映像を表示パネル１５１ａ、１５１ｂにそれぞれ表示する制御を行うことで、仮想現実オブジェクトがより自然な状態でユーザの周囲の景色と同化するため、高い現実感を有する仮想現実の世界をユーザに提示することが可能となる。

なお、非透過型のディスプレイを備えるＨＭＤ装置の構成として、図２７に示すＨＭＤ装置３００ｃの形態とすることも可能である。ＨＭＤ装置３００ｃは、非透過型のディスプレイである点を除き、図８に示すＨＭＤ装置３００と同一の構成を取る。

一方、仮想現実サービス提供サーバ３３００において、表示映像生成処理部１３５０は、視点制御部１３５１と、光源制御部１３５２と、描画処理部１３５３と、符号化処理部１３５４と、映像合成処理部１３５５と、を備える。

視点制御部１３５１は、ユーザ状態情報で示されるユーザの目の位置（視線カメラの位置）に基づいて仮想空間における視点位置及び視線方向を制御する。光源制御部１３５２は、画像解析処理部２３６０における画像解析結果に基づいて光源位置及び光源の強さ（照度）を制御する。

描画処理部１３５３は、視点制御部１３５１及び光源制御部１３５２でそれぞれ制御される視点及び光源に基づいて、仮想空間に配置されている仮想現実オブジェクトの映像を生成する。

映像合成処理部１３５５は、視線カメラ１２１で撮影された前方景色映像に描画処理部１３５３で生成された仮想現実オブジェクトの映像を合成することでＨＭＤ装置３００ｃの表示パネル１５１ａ、１５１ｂでそれぞれ表示される映像を生成する。

ここで、合成とは前方景色映像の上に仮想現実オブジェクトの映像をのせることで、前方景色映像と仮想現実オブジェクトの映像を合成する。すなわち、前方景色映像のうち、仮想現実オブジェクトに対応する画素を、仮想現実オブジェクトの映像の画素に置換することで、これら２つの映像を合成する。但し、仮想現実オブジェクトを半透明として表示する場合は、前方景色映像の画素の値と仮想現実オブジェクトの映像の画素の値との平均値や片方に重み付けをして足し合わせた値で画素の値を置換することでこれら２つの映像を合成する構成としても良い。

また、前方景色映像の境界特定処理によって前方景色映像に写る物体と仮想現実オブジェクトの位置関係とを判定し、仮想現実オブジェクトよりも前方に位置する物体を優先して、仮想現実オブジェクトの一部を削除する処理を行っても良い。

映像合成処理部１３５５における合成処理によって生成された映像は、映像符号化処理部１３５４によって映像符号化データに変換され、通信部１３１０よりＨＭＤ装置３００ｃへ送信される。

なお、上述した仮想現実サービス提供サーバ３３００で行われる各処理は1台のサーバで行われても良いし、複数のサーバが協働して行う構成としても良い。例えば、図２８に示す仮想現実サービス提供システム３０００では、仮想現実サービスを提供する仮想現実サービス提供サーバ３３００と、ＨＭＤ装置３００において周囲状況情報として取得された画像を解析する画像解析サーバ３６００と、ＨＭＤ装置３００において入力された音声を解析する音声解析サーバ３７００と、ユーザに対する応答のコンテキストを生成する応答コンテキスト生成サーバ３８００と、音声を合成する音声合成サーバ３９００と、を備えている。

画像解析処理サーバ３６００は、ＨＭＤ装置３００で撮影された画像を入力し、境界特定処理、物体特定処理、物体距離算出処理、物体モデル化処理等を行い、物体の種類、物体の位置、物体までの距離、物体のモデルデータ等を生成する。

境界特定処理は、同一画像における隣接ブロックや隣接画素を比較することで、物体の境界であるかを判定する。物体特定処理は、予め基準物体データベースに記憶している各物体の画像とのパターンマッチング処理を行うことで、相関値が所定の基準値以上である画像の物体であると判定する。物体距離算出処理は、複数のカメラで撮影された画像に写る物体の画素位置の差分に基づいて距離を算出する。モデル化処理は、境界特定処理で特定された境界に沿って、各物体を抽出し、当該物体の形状の頂点座標を求めて３Ｄポリゴンデータを生成することで当該物体のモデルデータを取得する。

音声解析処理サーバ３７００は、ＨＭＤ装置３００で入力された音声データを入力し、当該音声データに含まれる特徴量に基づいて、当該音声データを時系列に複数の音素データに分割する。分割された各音素データを、基準音素データベースに記憶している基準音素データとマッチング処理を行うことで、分割した音素データがどの音であるかを特定する。各基準音素データには、当該音素データの音を示す符号と対応付けられているため、入力した音声データが符号列に変換される。音声解析処理サーバ３７００は、単語データベースに記憶されている単語に対応付けられている符号と、符号列との間でマッチング処理を行うことで、変換された符号列を意味のある単語の羅列に変換し、入力した音声のコンテキストを取得する。

また、音声解析処理サーバ３７００は、入力した音声の音声レベルやピッチに基づいて感情要素を抽出する。例えば、入力した音声における感情要素を、「喜怒哀楽」の５段階評価に分類する。例えば、音声解析処理サーバ３７００は、高いピッチの音声の感情要素を「楽５」として抽出する。また、例えば、音声解析処理サーバ３７００は、低いピッチで音声レベルの低い音声の感情要素を「哀２」として抽出する。

音声解析処理サーバ３７００は、取得したコンテキストや抽出した感情要素を応答コンテキスト生成サーバ３８００に出力する。

応答コンテキスト生成サーバ３８００は、音声解析処理サーバ３７００で取得されたコンテキストや感情要素を入力し、ＨＭＤ装置３００で入力された音声に対する応答コンテキストを生成する。ここで、応答コンテキスト生成サーバ３８００は、仮想現実コンテンツ記憶ＤＢ３２００に記憶されている仮想現実オブジェクトの人格制御プログラムを読み出して実行しており、音声解析処理サーバ３７００より入力されるコンテキストや感情要素に基づいて、応答コンテキストを生成する。応答コンテキスト生成サーバ３８００は、生成した応答コンテキストを音声合成処理サーバ３９００に出力する。

音声合成処理サーバ３９００は、応答コンテキスト生成サーバ３８００で生成された応答コンテキストに従って仮想現実コンテンツ記憶ＤＢ３２００に記憶されている上記仮想現実オブジェクトに対応付けられている基礎音声データを組み合わせることで、合成音声データを生成する。

仮想現実サービス提供サーバ３３００は、仮想空間に仮想現実オブジェクトを配置し、ユーザ状態情報に基づいて制御された視点からの仮想現実オブジェクトの映像を生成する。仮想現実サービス提供サーバ３３００は、生成した映像や音声合成処理サーバ３９００で生成された合成音声データを符号化してＨＭＤ装置３００へ送信する。また、仮想現実サービス提供サーバ３３００は、仮想現実コンテンツ記憶ＤＢ３２００から読み出した音声データを符号化してＨＭＤ装置３００へ送信する。ＨＭＤ装置３００は、これら仮想現実オブジェクトの映像を表示したり、音声データを再生したりすることで仮想現実の世界をユーザに提示する。このように構成されていても良い。

（実施形態４）
本発明は、ユーザに対して仮想現実の世界を提示する。人間は、５感を用いて外界で起きている事象を感知するが、通常時では視覚による情報取得量が最も多いため、仮想現実の世界を提示するために、ユーザが装着している仮想現実提示装置の表示部に仮想現実オブジェクトの映像を表示する。ここで、当該表示に必要となる各処理は、仮想現実提示装置で行われても良いし、処理能力の高い外部のサーバで行われても良い。どこで処理が行われるかは、仮想現実提示装置の処理能力や記憶容量、消費電力等に基づいて決定されるものであって、ユーザに提示される仮想現実の世界には大きな影響を与えるものではない。すなわち、どのように処理を仮想現実提示装置と外部の情報処理サーバとの間で分担するかは、適宜仮想現実提示装置の能力に応じて決定される構成とすることができ、仮想現実を提示する仮想現実提示システムとしてはどのような処理分担を行っても同一のシステムとなる。

図２９は、本実施形態４に係る仮想現実提示システム４０００の構成を示すブロック図である。仮想現実提示システム４０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、を備える。

ユーザ状態検知部４１０は、上述したユーザ状態検知部１１０と対応しており、ユーザの現在の状態を検知する。ユーザ状態検知部４１０は、ユーザの状態としてユーザの頭部の傾きを検知する傾きセンサ、ユーザの頭部の加速度を検知する加速度センサ、ユーザの速度を検知する速度センサ、ＧＰＳ等を利用してユーザの現在位置を検出する位置検出部、などの一部又は全部を組み合わせることで構成される。

仮想現実コンテンツ記憶部４２０は、上述した仮想現実コンテンツ記憶ＤＢ３２００と対応しており、少なくとも仮想現実オブジェクトを含む仮想現実コンテンツを記憶する。

視点制御部４３０は、視点制御部１３５１と対応しており、ユーザ状態検知部４１０で検知されたユーザの状態に基づいて、仮想現実オブジェクトの描画処理における視点を制御する。視点制御部４３０は、ユーザ状態検知部４１０におけるユーザの状態に基づいて、視点の位置及び視点の方向（視線）を算出する。視点制御部４３０は、ユーザの右目に対応する第１視点とユーザの左目に対応する第２視点の少なくとも２つの視点を制御する。ここで、第１視点と第２視点の位置及び視線は、連動している。第１視点と第２視点は予め設定された距離だけ離れており、第１視点及び第２視点の方向（視線）は同一方向となる。

描画処理部４４０は、描画処理部１３５３と対応しており、視点制御部４３０で制御される視点に基づいて、仮想現実コンテンツ記憶部４２０より読み出された仮想現実オブジェクトを描画する処理を行う。描画処理部４４０は、視点制御部４３０で制御される第１視点と第２視点の２つの視点に基づいて、仮想現実オブジェクトを描画することで、同一の仮想現実オブジェクトの２つ映像を生成する。但し、描画処理部４４０は、第１視点と第２視点とは連動しているため、独立して描画処理を行う必要はなく、第１視点に基づいて描画された第１映像に補正処理を行うことで第２映像を生成しても良い。描画処理部４４０は、仮想現実オブジェクトを含む映像を生成する処理を行うため、映像生成処理部と称されることがある。

表示部４５０は、上述した表示部１５０と対応しており、描画処理部４４０で描画された映像を表示する。表示部４５０は、具体的にユーザの左目と右目の前方に配置されている２枚の表示パネルであって、描画処理部４４０で生成された仮想現実オブジェクトの２つの映像をそれぞれ表示する。

なお、視点制御部４３０が行う視点制御は、表示部４５０に表示される仮想現実オブジェクトの位置を制御するものでもあるため、仮想現実オブジェクト表示位置制御部と称されることがある。

図３０は、仮想現実提示システム４０００の動作の流れを示すフローチャート図である。ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。次のフレームタイミングが到達した場合（ステップＳ４０３でＹｅｓ）、描画処理部４４０は仮想現実オブジェクトの映像を生成する（ステップＳ４０４）。表示部４５０は、ステップＳ４０４で生成された映像を表示する（ステップＳ４０５）。

当該構成によれば、現実の世界の挙動と対応する仮想現実の世界をユーザに提示することが可能となる。

（実施形態５）
実施形態４で行われる視点制御は、仮想現実の世界を提示するために必須の制御である。一方、現実の世界が夜で暗いにもかかわらず、表示される仮想現実オブジェクトの輝度が高すぎる場合など、仮想現実オブジェクトの輝度と現実の世界における物体表面の輝度が異なると、ユーザに違和感を生じさせることになる。本実施形態５は、当該輝度のずれを修正する機能を備えていることを特徴とする。

図３１は、本実施形態５に係る仮想現実提示システム５０００の構成を示すブロック図である。仮想現実提示システム５０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、周囲状況検知部５１０と、光源制御部５２０と、を備える。

周囲状況検知部５１０は、上述した周囲状況検知部１２０と対応しており、ユーザの周囲の状況を検知する。具体的に、周囲状況検知部５１０は、ユーザの周囲の明るさ（照度）を検知する。周囲状況検知部５１０は、ユーザの視線方向を撮影する視線カメラやユーザの左右上下や後方などユーザの周囲を撮影する周囲カメラ、その他、外界の明るさを検知する光センサなどで構成される。

光源制御部５２０は、上述した光源制御部１３５２と対応しており、周囲状況検知部４２０で検知されたユーザの周囲の状況に基づいて、仮想現実オブジェクトの描画処理における光源を制御する。具体的には、光源制御部５２０は、周囲状況検知部５１０において検知されたユーザの周囲の明るさ（照度）に基づいて、光源の輝度を算出する。なお、周囲状況検知部５１０が視線カメラなど位置分解能を有する画像を撮影することでユーザの周囲の状況を検知する場合は、光源制御部５２０は、周囲状況検知部５１０において撮影された画像に基づいて、光源の輝度及び光源の位置を算出する。

描画処理部４４０は、視点制御部４３０で制御される視点と光源制御部５２０で制御される光源とに基づいて、仮想現実コンテンツ記憶部４２０より読み出された仮想現実オブジェクトを描画する処理を行う。描画処理部４４０は、光源制御部５２０で制御される光源に基づいて、仮想現実オブジェクトの表面の輝度を算出するシェーディング処理を行う。描画処理部４４０は、シェーディング処理によって表面の輝度が調整された仮想現実オブジェクトの映像を生成する。

図３２は、仮想現実提示システム５０００の動作の流れを示すフローチャート図である。ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。

光源制御部５１０は、新たに光源を制御するか、すなわち、光源の配置関係や輝度を更新するかを判定する（ステップＳ５０１）。光源を制御すると判定した場合、光源制御部５１０は、周囲状況検知部５１０で検知されるユーザの周囲の状況に基づいて、光源を制御する、すなわち、光源に関する設定を更新する（ステップＳ５０２）。なお、光源制御部５１０は、予め定められた時間間隔で当該更新を行っても良いし、周囲状況検知部５１０で検知される周囲の状況に所定の基準以上の変化があった場合に、光源の配置関係や光源の輝度など、光源に関する設定を更新する構成としても良い。

次のフレームタイミングが到達した場合（ステップＳ４０３でＹｅｓ）、描画処理部４４０は仮想現実オブジェクトの映像を生成する（ステップＳ４０４）。具体的には、描画処理部４４０は、シェーディング処理を行い、仮想現実オブジェクトの表面の輝度を算出した上で当該算出された輝度で表される仮想現実オブジェクトの映像を生成する。表示部４５０は、ステップＳ４０４で生成された映像を表示する（ステップＳ４０５）。

以上のように、本実施形態５に係る仮想現実提示システム５０００では、視点制御に加えて光源制御を行うことで、より現実感のある仮想現実の世界をユーザに提示することが可能となる。

（実施形態６）
仮想現実提示システムでは、現実の世界の所定の位置にあるように表示部に仮想現実オブジェクトの映像を表示する。しかしながら、当該所定の位置とユーザとの間に、ユーザの腕などが入り込んだ場合に、本来は当該腕に隠されて見えなくなるべき仮想現実オブジェクトが表示部に表示され続けると、現実の世界と仮想現実の世界との間で乖離が生じ、現実感が低下することになる。本実施形態６は、このように、仮想現実オブジェクトとユーザの位置との間に現実の物体が入り込んだ場合に、仮想現実の世界の挙動と現実の世界の挙動とが一致するように制御を行うことを特徴とする。

図３３は、本実施形態６に係る仮想現実提示システム６０００の構成を示すブロック図である。仮想現実提示システム６０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、周囲状況検知部５１０と、光源制御部５２０と、物体特定部６１０を備える。

物体位置特定部６１０は、上述した物体位置特定部２３６１と対応しており、周囲状況検知部５１０で検知されたユーザの周囲の状況に基づいて、少なくともユーザの前方にある物体の位置を特定する。

描画処理部４４０は、視点制御部４３０で制御される視点と光源制御部５２０で制御される光源と物体位置特定部６１０で特定される物体の位置とに基づいて、仮想現実コンテンツ記憶部４２０より読み出された仮想現実オブジェクトを描画する処理を行う。描画処理部４４０は、物体位置特定部６１０で特定される物体の位置に基づいて、仮想現実オブジェクトの一部又は全部を隠す陰面処理を行う。描画処理部４４０は、陰面処理によって一部又は全部が隠された仮想現実オブジェクトの映像を生成する。

図３４は、仮想現実提示システム６０００の動作の流れを示すフローチャート図である。ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。

光源制御部５１０は、新たに光源を制御するか、すなわち、光源の配置関係や輝度を更新するかを判定する（ステップＳ５０１）。光源を制御すると判定した場合、光源制御部５１０は、周囲状況検知部５１０で検知されるユーザの周囲の状況に基づいて、光源を制御する、すなわち、光源に関する設定を更新する（ステップＳ５０２）。

物体位置特定部６１０は、周囲状況検知部５１０で検知されたユーザの周囲の状況に基づいて、ユーザの周囲にある物体の位置を特定する（ステップＳ６０１）。具体的には、物体位置特定部６１０は、周囲状況検知部５１０で撮影された画像に基づいて、ユーザの周囲にある物体の位置を特定する。物体位置特定部６１０は、ユーザの周囲にある物体の種類や配置関係等を特定する構成とすると更に良好である。

次のフレームタイミングが到達した場合（ステップＳ４０３でＹｅｓ）、描画処理部４４０は仮想現実オブジェクトの映像を生成する（ステップＳ４０４）。具体的には、描画処理部４４０は、ステップＳ６０１で特定された物体の位置に基づいて、仮想現実オブジェクトの一部又は全部を隠す陰面処理を行い、陰面処理で一部又は全部が隠されている仮想現実オブジェクトの映像を生成する。表示部４５０は、ステップＳ４０４で生成された映像を表示する（ステップＳ４０５）。

当該構成とすることで、仮想現実の世界と現実の世界の挙動を一致させることができ、より高い現実感を有する仮想現実の世界をユーザに提示することができる。

（実施形態７）
仮想現実提示システムでは、現実の世界の所定の位置にあるように表示部に仮想現実オブジェクトの映像を表示する。仮想現実オブジェクトが花瓶や建物のような静的なオブジェクトである場合は特に問題とならないが、仮想現実オブジェクトが人間などである場合は、仮想現実の世界の中で動作を行えなければ単なる人形が置かれているような状況となり、仮想現実の世界の現実感が低下することになる。本実施形態７は、仮想現実オブジェクトが、現実の世界で対応する人間等と同じように仮想現実の世界で表されるように制御することを特徴とする。

図３５は、本実施形態７に係る仮想現実提示システム７０００の構成を示すブロック図である。仮想現実提示システム７０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、周囲状況検知部５１０と、光源制御部５２０と、物体特定部６１０と、仮想現実管理部７１０と、仮想空間設定部７２０と、仮想現実オブジェクト配置部７３０と、仮想現実オブジェクト挙動制御部７４０と、を備える。

仮想現実管理部７１０は、上述の仮想現実サービス提供管理部１３２０に対応し、仮想現実の提示の開始処理や終了処理を行うことでユーザに仮想現実の世界を提示することを管理する。

仮想空間設定部７２０は、上述の仮想現実サービス制御部３３３０に対応し、仮想現実オブジェクトを配置する仮想空間を設定する。仮想空間設定部７２０は、仮想現実管理部７１０で新たに仮想現実の提示を開始すると決定された場合に、新たに仮想空間を生成する。

仮想現実オブジェクト配置部７３０は、上述の仮想現実オブジェクト配置位置決定部１３４０や仮想現実サービス制御部３３３０に対応し、仮想空間設定部７２０が設定した仮想空間に、仮想現実コンテンツ記憶部４２０より読み出した仮想現実オブジェクトを配置する。仮想現実オブジェクト配置部７３０は、周囲状況検知部５１０で検知されるユーザの周囲の状況やユーザ状態検知部４１０で検知されるユーザの状態に基づいて、仮想空間における仮想現実オブジェクトの配置位置を決定して配置する構成とすることが好ましい。

仮想現実オブジェクト挙動制御部７４０は、上述の仮想現実オブジェクト挙動制御部３３７０に対応し、仮想空間設定部７２０が設定した仮想空間に仮想現実オブジェクト配置部７３０によって配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト挙動制御部７４０は、仮想現実オブジェクトに設定されている関節ポイントの角度や位置を変化させることで、仮想現実オブジェクトの外観形状を変化させたり、仮想現実オブジェクトの表面に張り付けられるテキスチャーを変更したりすることで、仮想現実オブジェクトの挙動を制御する。

描画処理部４４０は、仮想現実オブジェクト挙動制御部７４０によって挙動が制御される仮想現実オブジェクトを視点制御部４３０で制御される視点に基づいて描画することで、当該挙動が制御されている仮想現実オブジェクトの映像を生成する。

図３６は、仮想現実提示システム７０００の動作の流れを示すフローチャート図である。仮想現実管理部７１０は、新たに仮想現実の提示を開始するかを判定する（ステップＳ７０１）。ステップＳ７０１で新たに仮想現実の提示を開始すると判定された場合、仮想空間設定部７２０は、新たに仮想空間を設定する（ステップＳ７０２）。

次に、仮想現実オブジェクト配置部７３０は、ステップＳ７０２で設定された仮想空間に、仮想現実コンテンツ記憶部４２０より読み出した仮想現実オブジェクトを配置する（ステップＳ７０３）。仮想現実の世界を提示している最中であっても、仮想現実オブジェクト配置部７３０は、必要に応じて新たな仮想現実オブジェクトを追加して仮想空間に配置する。

仮想現実オブジェクト挙動制御部７３０は、ステップＳ７０３で仮想空間に配置された仮想現実オブジェクトの挙動を制御するかどうか、すなわち仮想現実オブジェクトの外観形状を変形させるかを判定する（ステップＳ７０４）。仮想現実オブジェクトの挙動を制御すると判定した場合、仮想現実オブジェクトの挙動を制御する、すなわち、仮想現実オブジェクトの外観形状を変化させる（ステップＳ７０５）。

ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。

仮想現実管理部７１０は、仮想現実の提示を終了するかを判定する（ステップＳ７０７）。仮想現実の提示を終了すると判定した場合に、システムの各部へ処理や制御を終了する指示を出して仮想現実の提示を終了する。一方、仮想現実の提示を終了しない場合は、ステップＳ７０３へ戻る。

当該構成とすることで、仮想現実の世界の中で仮想現実オブジェクトが動くことにより、より現実感のある仮想現実の世界を提示することが可能となる。

なお、仮想現実提示システムにおける各機能は、一部又は全部が仮想現実提示装置に、残りの一部が仮想現実サービス提供サーバによって実現される。

なお、ユーザ状態検知部４１０や周囲状況検知部５１０は、ユーザが身に着ける仮想現実提示装置に配置されているものに限定されるものではない。例えば、図３７に示すように、仮想現実の提示を受けたいユーザが仮想現実提示装置を身に着けた状態で仮想現実体験ドームに入り、仮想現実の提示を受ける構成とすることもできる。仮想現実体験ドームには、ユーザの状態を検知するセンサやユーザの周囲の状況を検知するセンサが複数設けられており、当該センサで検知された情報は、仮想現実サービス提供サーバへ送られる。

また、図３８に示すように、仮想現実提示装置は、頭部に装着するＨＭＤ装置と、頭部以外の上半身に装着する制御処理装置とが接続ケーブルで接続される構成とすることができる。頭部に装着するＨＭＤ装置側にはできるだけ少ない機能のみを搭載し、バッテリーやＣＰＵ等は制御処理装置側に配置する。制御処理装置は、腰に巻きつけるように装着する構成としても良いし、肩から背負う構成としても良い。当該構成とすることで、ユーザに疲労感を感じさせることなく長時間の仮想現実の世界の堪能が可能となる。但し、バッテリー技術の進歩又は半導体集積技術の進歩により、長時間使用可能な小型バッテリーをＨＭＤ装置に搭載可能であれば、ＨＭＤ装置に当該小型バッテリーを搭載する形態の方が、装着性が高まるため好ましい。

なお、上述した透過型ＨＭＤ装置では、仮想現実の映像が表示パネルに表示されるものの、外部よりＨＭＤ装置を透過した光が混ざって見えてしまうため、仮想現実オブジェクトが透き通ってしまう。そこで、図３９に示すように、導光板の外側に液晶パネルを配置する構成とするとさらに良好である。

図４０は、当該構成の断面図の拡大図である。外側から第１偏光板、第１透明電極、第１配向膜、液晶層、第２配向膜、第２透明電極、第２偏光板、導光板、の順にフロントパネルに配置され、プロジェクション機構がフロントパネルの縁にあたる上部に配置されている。なお、プロジェクション機構は、フロントパネルの下部に配置されていても良いし、フロントパネルの左右両側に配置されていても良い。

なお、図４１に示すように、外側から第１偏光板、第１透明電極、第１配向膜、液晶層、第２配向膜、第２透明電極導光板、第２偏光板の順にフロントパネルに配置される構成であっても良い。この場合、プロジェクション機構から照射された映像も第２偏光板で偏光方向が整えられるため、外界から液晶パネルを透過してきた光と、プロジェクション機構から照射された光の間で同様の雰囲気を生じるため、より現実感のある仮想現実の世界を提示することができる。

なお、図４２に示すように、プロジェクション機構の代わりに光源が配置される場合、フロントパネルには、外側液晶パネルと内側液晶パネルが導光板を挟んで配置されていても良い。この場合、図４３の拡大図が示すように、外側から第１偏光板、第１透明電極、第１配向膜、液晶層、第２配向膜、第２透明電極、導光板、第３透明電極、第３配向膜、液晶層、第４配向膜、第４透明電極、カラーフィルタ、第３偏光板の順に配置される。なお、光源の前方に第２配向板が配置される。従って、外界からの光は第１偏光板と第３偏光板を、光源からの光は、第２偏光板と第３偏光板を透過することになる。

なお、図４４に示すように、導光板の外側に外界の光の透過を制御する外側液晶パネルが配置され、光源の前方に仮想現実用の映像を制御する光源側液晶パネルが配置されていても良い。光源側液晶パネルは、光源と共にセンターフレーム内に格納されている。この場合、外側液晶パネルと光源側液晶パネルは略垂直な位置関係で配置されている。

なお、上記構成とすると、外界の光が偏光板によって一部さえぎられて暗くなってしまうため、図４５のように、光源と導光板の間に液晶パネルを配置し、外界の光は偏光板を透過しない構成とすることで明るさを確保する構成とすると良い。図４５において、液晶パネルは、例えば、第１偏光板、第１透明電極、第１配向膜、液晶層、第２配向膜、第２透明電極、カラーフィルタ、第２偏光板の順に積層される構成とすることができる。

また、上述した各実施形態は、本発明の一実施例を示したものであり、適宜変更が可能である。例えば、上述した各実施形態を組み合わせることが可能である。

また、上述した各部はハードウェアによって実現されていても良いし、ＣＰＵ（Central Processing Unit）等のプロセッサにプログラムを実行させることにより、ハードウェアとソフトウェアの協働で実現されていても良い。

また、上記説明では、少なくともユーザの目の前方に配置される表示部（表示パネル）に仮想現実オブジェクトの映像を表示することで仮想現実を提示する場合について説明したがこれに限定されるものではない。例えば、位置分解能を有する磁場発生装置をユーザの脳に照射することで、脳内の特定の領域を刺激してユーザが眼球を通じることなく映像を視ることができる構成としても良い。但し、この場合、少なくとも脳内の現在の神経ネットワークの結合構成等を予め把握しておく必要がある。しかしながら、究極的には、仮想現実提示装置はユーザの脳に直接刺激を与える構成に到達するものと考えられる。

また、上述した周囲状況検知部としては、音響ソナーや超音波センサを用いることも可能である。また、周囲状況検知部は、他人の現在位置を示す位置情報を取得することで、ユーザの周囲の状況として、ユーザの周囲にいている人間の存在を検知する構成としても良い。他人の位置情報は、例えば当該他人が所有している携帯端末で取得される位置情報を入手する構成としても良い。その他、車に取り付けられた電磁波発生装置から放射される電磁波に基づいて周囲を走っている車の存在を検知しても良い。

また、上述した仮想現実提示装置は、仮想現実以外の情報を表示するＨＭＤ装置としても利用することが可能である。

また、本発明は以下の形態を取ることが可能である。
（付記１）（システム基本設計）
複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶手段と、
前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出す仮想現実オブジェクト読み出し手段と、
ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想現実空間における前記仮想現実オブジェクトの配置位置を決定する仮想現実オブジェクト配置位置決定手段と、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成手段と、
を備える仮想現実サービス提供システム。
（付記２）（システム基本設計）
前記ヘッドマウントディスプレイ装置より前記周囲状況情報と前記ユーザ状態情報を受信する受信手段と、
前記表示映像生成手段で生成された映像を符号化する映像符号化手段と、
前記符号化された映像を前記ヘッドマウントディスプレイ装置へ送信する送信手段と、
を更に備える付記１に記載の仮想現実サービス提供システム。
（付記３）（視線カメラ）
前記周囲状況情報として、前記ヘッドマウントディスプレイ装置は、前方を撮影することで前方景色画像を取得する視線カメラを備えることを特徴とする、
付記１又は２に記載の仮想現実サービス提供システム。
（付記４）（周囲カメラ）
前記周囲状況情報として、前記ヘッドマウントディスプレイ装置は、前記視線カメラの撮影範囲外の方向を撮影することで周囲景色画像を取得する周囲カメラを備えることを特徴とする、
付記３に記載の仮想現実サービス提供システム。
（付記５）（傾きセンサ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの頭部の傾きを検知することで傾き情報を取得する傾きセンサを備えることを特徴とする、
付記１〜４のいずれか１項に記載の仮想現実サービス提供システム。
（付記６）（加速度センサ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの頭部の移動に伴う加速度を検知することで加速度情報を取得する加速度センサを備えることを特徴とする、
付記１〜５のいずれか１項に記載の仮想現実サービス提供システム。
（付記７）（方位センサ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの頭部が向いている方位を検知することで方位情報を取得する方位センサを備えることを特徴とする、
付記１〜６のいずれか１項に記載の仮想現実サービス提供システム。
（付記８）（位置情報：ＧＰＳ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの位置を検出することで位置情報を取得する位置情報取得部を備えることを特徴とする、
付記１〜７のいずれか１項に記載の仮想現実サービス提供システム。
（付記９）（ユーザ音声入力）
前記ヘッドマウントディスプレイ装置は、ユーザが発する音声を入力してユーザ音声情報を生成するユーザ音声入力部を備えることを特徴とする、
付記１〜８のいずれか１項に記載の仮想現実サービス提供システム。
（付記１０）（ユーザ音声入力）
前記ヘッドマウントディスプレイ装置は、ユーザの周囲の音声を入力して周囲音声情報を生成する周囲音声入力部を備えることを特徴とする、
付記１〜９のいずれか１項に記載の仮想現実サービス提供システム。
（付記１１）（仮想現実サービス提供開始）
前記ユーザに仮想現実サービスの提供を開始することを決定する仮想現実サービス開始決定手段を備え、
前記仮想現実サービス開始決定手段で仮想現実サービスの提供を開始すると決定された場合に、前記仮想現実オブジェクト読み出し手段は、前記ユーザに提供する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出すことを特徴とする付記１〜１０のいずれか１項に記載の仮想現実サービス提供システム。
（付記１２）（ユーザからの要求に応じてサービス開始）
前記受信手段は、仮想現実サービスの提供開始を要求するサービス開始要求を受信し、
前記仮想現実サービス開始決定手段は、前記受信手段で前記サービス開始要求が受信された場合に、前記サービス開始要求の要求元ユーザに仮想現実サービスの提供を開始すると決定する、
付記１１に記載の仮想現実サービス提供システム。
（付記１３）（音声で開始要求を入力）
前記受信手段は、ヘッドマウントディスプレイ装置で入力されたユーザの音声を含むユーザ音声情報を受信し、
前記ユーザ音声情報に含まれるユーザの音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実サービス開始決定手段は、前記コンテキスト取得手段で取得されたコンテキストが仮想現実サービスの開始を要求するものである場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
付記１１に記載の仮想現実サービス提供システム。
（付記１４）（仮想現実サービス提供開始可否判定）
前記仮想現実サービスの提供を開始するための条件となるサービス提供開始条件を記憶するサービス提供開始条件記憶手段を備え、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供開始条件を満たしている場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
付記１１〜１３のいずれか１項に記載の仮想現実サービス提供システム。
（付記１５）（サービス開始可能位置）
前記サービス提供開始条件記憶手段は、前記仮想現実サービスの提供を開始するための条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス利用可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス利用可能位置範囲内である場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
付記１４に記載の仮想現実サービス提供システム。
（付記１６）（仮想現実サービス提供開始通知）
前記送信手段は、前記仮想現実サービス開始決定手段で前記ユーザに仮想現実サービスの提供を開始すると決定された場合に、前記仮想現実サービスの提供の開始を通知するサービス開始通知情報を前記ユーザのヘッドマウントディスプレイ装置へ送信する、
付記１１〜１５のいずれか１項に記載の仮想現実サービス提供システム。
（付記１７）（仮想現実サービス提供終了）
前記ユーザに提供中の仮想現実サービスを終了することを決定する仮想現実サービス終了決定手段を備え、
前記仮想現実サービス終了決定手段で仮想現実サービスの提供を終了すると決定された場合に、前記仮想現実オブジェクト読み出し手段は、前記ユーザが利用可能な仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出すことを特徴とする付記１〜１６のいずれか１項に記載の仮想現実サービス提供システム。
（付記１８）（仮想現実サービス提供終了通知）
前記送信手段は、前記仮想現実サービス終了決定手段で前記ユーザに提供中の仮想現実サービスの提供を終了すると決定された場合に、前記仮想現実サービスの提供の終了を通知するサービス終了通知情報を前記ユーザのヘッドマウントディスプレイ装置へ送信する、
付記１７に記載の仮想現実サービス提供システム。
（付記１９）（ユーザからの要求に応じてサービス終了）
前記受信手段は、仮想現実サービスの提供終了を要求するサービス終了要求を受信し、
前記仮想現実サービス終了決定手段は、前記受信手段で前記サービス終了要求が受信された場合に、前記サービス終了要求の要求元ユーザに提供中の仮想現実サービスの提供を終了すると決定する、
付記１７又は１８に記載の仮想現実サービス提供システム。
（付記２０）（音声で終了要求を入力）
前記受信手段は、ヘッドマウントディスプレイ装置で入力されたユーザの音声を含むユーザ音声情報を受信し、
前記ユーザ音声情報に含まれるユーザの音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実サービス終了決定手段は、前記コンテキスト取得手段で取得されたコンテキストが仮想現実サービスの終了を要求するものである場合に、前記ユーザに提供中の仮想現実サービスの提供を終了すると決定する、
付記１７〜１９のいずれか１項に記載の仮想現実サービス提供システム。
（付記２１）（仮想現実サービス提供終了可否判定）
前記ユーザに提供中の前記仮想現実サービスの提供を終了するための条件となるサービス提供終了条件を記憶するサービス提供終了条件記憶手段を備え、
前記仮想現実サービス終了決定手段は、前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供終了条件を満たしている場合に、前記ユーザに仮想現実サービスの提供を終了すると決定する、
付記１７〜２０のいずれか１項に記載の仮想現実サービス提供システム。
（付記２２）（サービス終了位置）
前記サービス提供終了条件記憶手段は、前記サービス提供終了条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス利用可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス終了決定手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス利用可能位置範囲外となった場合に、前記ユーザに仮想現実サービスの提供を終了すると決定する、
付記２１に記載の仮想現実サービス提供システム。
（付記２３）（仮想現実サービス提供中断）
前記ユーザに提供中の前記仮想現実サービスの提供を中断するための条件となるサービス提供中断条件を記憶するサービス提供中断条件記憶手段と、
前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供中断条件を満たしている場合に、前記ユーザに提供中の仮想現実サービスの提供を中断する処理を行うサービス提供中断処理手段と、
を備える付記１〜２２のいずれか１項に記載の仮想現実サービス提供システム。
（付記２４）（映像生成中断指示）
前記サービス提供中断処理手段は、前記表示映像生成手段に前記映像の生成の中断を指示する映像生成中断指示情報を生成し、
前記表示映像生成手段は、前記映像生成中断指示情報に基づいて、前記映像の生成を中断する、
付記２３に記載の仮想現実サービス提供システム。
（付記２５）（映像送信中断指示）
前記サービス提供中断処理手段は、前記表示映像生成手段で生成された前記映像の送信中断を指示する映像送信中断指示情報を生成し、
前記送信手段は、前記映像送信中断指示情報に基づいて、前記表示映像生成手段が生成した前記映像を前記ヘッドマウントディスプレイ装置へ送信することを中断する、
付記２３に記載の仮想現実サービス提供システム。
（付記２６）（仮想現実サービス提供中断指示）
前記サービス提供中断処理手段は、前記表示映像生成手段で生成された前記映像の表示の中断を指示する映像表示中断指示情報を生成し、
前記送信手段は、前記サービス提供中断処理手段で生成された前記映像表示中断指示情報を前記ヘッドマウントディスプレイ装置へ送信する、
付記２３に記載の仮想現実サービス提供システム。
（付記２７）（位置による中断）
前記サービス提供中断条件記憶手段は、前記サービス提供中断条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス利用可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス中断処理手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス利用可能位置範囲外となった場合に、前記ユーザに仮想現実サービスの提供を中断する処理を行う、
付記２３〜付記２６のいずれか１項に記載の仮想現実サービス提供システム。
（付記２８）（物体接近による中断）
前記サービス提供中断条件記憶手段は、前記サービス提供中断条件として、ユーザに接近する物体の速度と距離に関する条件を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの周囲の景色を撮影した周囲景色画像を受信し、
前記サービス提供中断処理手段は、前記周囲景色画像に含まれる物体のユーザに対する速度とユーザまでの距離とが、それぞれ前記サービス提供中断条件として記憶されている前記速度よりも早く、前記距離よりも近い場合に、前記ユーザに提供中の仮想現実サービスの提供を中断する処理を行う、
付記２３〜２６のいずれか１項に記載の仮想現実サービス提供システム。
（付記２９）（動的仮想現実オブジェクト）
仮想現実空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト制御手段を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記仮想現実オブジェクト制御手段によって挙動が制御される前記仮想現実オブジェクトが表示される映像を生成する、
付記１〜２７のいずれか１項に記載の仮想現実サービス提供システム。
（付記３０）（周囲状況による挙動制御）
前記仮想現実オブジェクト制御手段は、前記周囲状況情報に基づいて前記仮想現実オブジェクトの挙動を制御する、
付記２９に記載の仮想現実サービス提供システム。
（付記３１）（音声による挙動制御）
前記受信手段は、ヘッドマウントディスプレイ装置で入力された音声を含む音声情報を受信し、
前記音声情報に含まれる音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実オブジェクト制御手段は、前記コンテキスト取得手段で取得されたコンテキストに基づいて、前記仮想現実空間に配置されている前記仮想現実オブジェクトの挙動を制御する、
付記２９に記載の仮想現実サービス提供システム。
（付記３２）（照度による光学補正）
ユーザの周囲の明るさを示す周囲照度情報に基づいて前記仮想現実空間に配置された前記仮想現実オブジェクトの明るさを補正する光学補正手段を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記光学補正手段によって明るさの補正が行われた前記仮想現実オブジェクトが表示される映像を生成する、
付記１〜３１のいずれか１項に記載の仮想現実サービス提供システム。
（付記３３）（配置位置における照度による光学補正）
前記周囲状況情報として、前記ヘッドマウントディスプレイ装置で撮影されたユーザの周囲の景色の画像に基づいて、前記仮想現実オブジェクトが配置されている仮想現実空間の位置に対応する位置における光照射状況を特定する光照射状況特定手段と、
前記特定された前記光照射状況に基づいて、仮想現実空間に配置された前記仮想現実オブジェクトの明るさを補正する光学補正手段と、
を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記光学補正手段によって明るさの補正が行われた前記仮想現実オブジェクトが表示される映像を生成する、
付記１〜３１のいずれか１項に記載の仮想現実サービス提供システム。
（付記３４）（仮想現実オブジェクトの音声合成）
前記仮想現実オブジェクトに対応付けられた複数の音声要素データを記憶する音声要素記憶手段と、
前記周囲状況情報又はヘッドマウントディスプレイ装置で入力された音声情報に基づいて、前記仮想現実オブジェクトが発する音声の内容を決定する音声決定手段と、
前記決定された音声の内容に従って前記音声要素データを結合することで、前記仮想現実オブジェクトから発せられる音声を生成する音声生成手段と、
を備える付記１〜３３のいずれか１項に記載の仮想現実サービス提供システム。
（付記３５）（音声再生仮想現実オブジェクト）
仮想現実空間における前記仮想現実オブジェクトの配置位置に基づいて、前記生成された音声を、前記ヘッドマウントディスプレイ装置のスピーカから出力される複数のチャンネルの音声に変換する音声変換手段と、
を備える付記３４に記載の仮想現実サービス提供システム。
（付記３６）（方法基本設計）
複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶データベースと、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶データベースと、を備える仮想現実サービス提供システムで用いられる仮想現実サービス提供方法であって、
前記利用可能仮想現実サービス情報記憶データベースに記憶される前記ユーザが利用可能な仮想現実サービスを示す情報に基づいて、前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶データベースより読み出す仮想現実オブジェクト読み出しステップと、
ユーザの周囲の状況を示す周囲状況情報に基づいて、前記読み出した仮想現実オブジェクトの仮想現実空間における配置位置を決定する仮想現実オブジェクト配置位置決定ステップと、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成ステップと、を備える仮想現実サービス提供方法。

本発明は、クリエイティビティーの高い仮想現実の世界の提供などに幅広く利用可能である。

１００仮想現実提示装置１１０ユーザ状態検知部
１１１傾きセンサ１１２加速度センサ
１１３現在位置検出部１２０周囲状況検知部
１２１視線カメラ１２１−１レンズ群
１２１−２絞り機構１２１−３固体撮像素子
１２２周囲カメラ
１３０通信部１３１無線送信部
１３２無線受信部１４０表示制御部
１４１映像復号処理部１４２映像合成処理部
１４３視界映像生成処理部１４４境界特定処理部
１５０表示部１５１ａライト表示パネル
１５１ｂレフト表示パネル１５２光源
１５３導光板１５４ＬＣＤ
１５５ａレンズ群１５５ｂＰＬＣ
１５５ｃ第１反射ミラー１５５ｄＲ反射ダイクロイックミラー
１５５ｅＧ反射ダイクロイックミラー１５５ｆ第２反射ミラー
１５５ｇ第３反射ミラー１５５ｈ第１液晶パネル
１５５ｊクロスダイクロプリズム１５５ｋ第４反射ミラー
１５５ｍ第２液晶パネル１５５ｎ第３液晶パネル
１５５ｐガルバノミラー１５５ｑ照射窓
２００仮想現実提示装置２６０仮想現実提示制御部
３００ＨＭＤ装置（仮想現実提示装置）３０１ａライトフレーム
３０１ｂレフトフレーム３０１ｃセンターフレーム
３０２フロントパネル３７０音声入力部
３７１ユーザマイクロフォン３７２周囲マイクロフォン
３８０音声再生制御部３９０音声出力部
３９１ａライトスピーカ３９１ｂレフトスピーカ
４１０ユーザ状態検知部４２０仮想現実コンテンツ記憶部
４３０視点制御部４４０描画処理部
４５０表示部５１０周囲状況検知部
５２０光源制御部６１０物体位置特定部
７１０仮想現実管理部７２０仮想空間設定部
７３０仮想現実オブジェクト配置部７４０仮想現実オブジェクト挙動制御部
１０００仮想現実サービス提供システム
１１００利用可能仮想現実サービス情報記憶ＤＢ
１２００仮想現実オブジェクト記憶ＤＢ
１３００仮想現実サービス提供サーバ
１３１０通信部１３１１受信部
１３１２送信部１３２０仮想現実サービス提供管理部
１３２１仮想現実サービス提供開始処理部
１３２２仮想現実サービス提供終了処理部
１３２３仮想現実サービス提供中断処理部
１３３０仮想現実オブジェクト読み出し部
１３４０仮想現実オブジェクト配置位置決定部
１３５０表示映像生成処理部１３５１視点制御部
１３５２光源制御部１３５３描画処理部
１３５４映像符号化処理部
２０００仮想現実サービス提供システム
２３００仮想現実サービス提供サーバ
２３６０画像解析処理部２３６１物体位置特定部
２３６２光学成分抽出部２３６３移動速度算出部
２４００仮想現実サービス利用条件記憶ＤＢ
３０００仮想現実サービス提供システム
３１００契約者情報記憶ＤＢ
３２００仮想現実コンテンツ記憶ＤＢ
３３００仮想現実サービス提供サーバ
３３３０仮想現実サービス制御部
３３７０仮想現実オブジェクト挙動制御部
３３８０音声解析処理部３３８１音声レベル抽出部
３３８２感情要素抽出部３３８３コンテキスト取得部
３３９０再生音声生成処理部
４０００仮想現実提示システム５０００仮想現実提示システム
６０００仮想現実提示システム７０００仮想現実提示システム

Claims

複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶手段と、
前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出す仮想現実オブジェクト読み出し手段と、
ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想現実空間における前記仮想現実オブジェクトの配置位置を決定する仮想現実オブジェクト配置位置決定手段と、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成手段と、
を備える仮想現実サービス提供システム。
前記ヘッドマウントディスプレイ装置より前記周囲状況情報と前記ユーザ状態情報を受信する受信手段と、
前記表示映像生成手段で生成された映像を符号化する映像符号化手段と、
前記符号化された映像を前記ヘッドマウントディスプレイ装置へ送信する送信手段と、
を更に備える請求項１に記載の仮想現実サービス提供システム。
前記ユーザに仮想現実サービスの提供を開始することを決定する仮想現実サービス開始決定手段を備え、
前記仮想現実サービス開始決定手段で仮想現実サービスの提供を開始すると決定された場合に、前記仮想現実オブジェクト読み出し手段は、前記ユーザに提供する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出すことを特徴とする請求項又は２に記載の仮想現実サービス提供システム。
前記受信手段は、ヘッドマウントディスプレイ装置で入力されたユーザの音声を含むユーザ音声情報を受信し、
前記ユーザ音声情報に含まれるユーザの音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実サービス開始決定手段は、前記コンテキスト取得手段で取得されたコンテキストが仮想現実サービスの開始を要求するものである場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
請求項３に記載の仮想現実サービス提供システム。
前記仮想現実サービスの提供を開始するための条件となるサービス提供開始条件を記憶するサービス提供開始条件記憶手段を備え、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供開始条件を満たしている場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
請求項３又は４に記載の仮想現実サービス提供システム。
前記サービス提供開始条件記憶手段は、前記仮想現実サービスの提供を開始するための条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス提供可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス提供可能位置範囲内である場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
請求項５に記載の仮想現実サービス提供システム。
（動的仮想現実オブジェクト）
仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト制御手段を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記仮想現実オブジェクト制御手段によって挙動が制御される前記仮想現実オブジェクトが表示される映像を生成する、
請求項１乃至６のいずれか１項に記載の仮想現実サービス提供システム。
（音声による挙動制御）
前記受信手段は、ヘッドマウントディスプレイ装置で入力された音声を含む音声情報を受信し、
前記音声情報に含まれる音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実オブジェクト制御手段は、前記コンテキスト取得手段で取得されたコンテキストに基づいて、前記仮想現実空間に配置されている前記仮想現実オブジェクトの挙動を制御する、
請求項７に記載の仮想現実サービス提供システム。
（方法基本設計）
複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶データベースと、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶データベースと、を備える仮想現実サービス提供システムで用いられる仮想現実サービス提供方法であって、
前記利用可能仮想現実サービス情報記憶データベースに記憶される前記ユーザが利用可能な仮想現実サービスを示す情報に基づいて、前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶データベースより読み出す仮想現実オブジェクト読み出しステップと、
ユーザの周囲の状況を示す周囲状況情報に基づいて、前記読み出した仮想現実オブジェクトの仮想現実空間における配置位置を決定する仮想現実オブジェクト配置位置決定ステップと、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成ステップと、を備える仮想現実サービス提供方法。