JP2018175849A - 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】仮想空間における仮想体験のエンタテイメント性を向上させ得る。【解決手段】表示部を備えるヘッドマウントデバイスを介してユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法は、ユーザに関連付けられた操作オブジェクトと、所定のモーション情報に基づいて動作する複数の部位を有する標的オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、操作オブジェクトと標的オブジェクトとの衝突が検出された場合に、該衝突に基づく標的オブジェクトの衝突部位のフィードバック動作を少なくとも示すフィードバック情報を生成するステップと、モーション情報およびフィードバック情報を用いて、少なくとも衝突部位の動作を更新するステップと、仮想空間データと、更新された少なくとも衝突部位の動作とに基づいて視界画像を生成し、表示部に該視界画像を表示させるステップとを含む。【選択図】図１２

Description

本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

特許文献１は、ディスプレイ上に表示される標的に向けてシューティングを行うシューティングデバイスを備える装置を開示している。

特開平０９−０７５５５２号公報

標的が登場する仮想空間では、ユーザ操作に応じて所定のオブジェクトが標的に当たった時の標的の演出が当該仮想空間のエンタテイメント性に影響し得る。

そこで、本開示は、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、表示部を備えるヘッドマウントデバイスを介してユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、ユーザに関連付けられた操作オブジェクトと、所定のモーション情報に基づいて動作する複数の部位を有する標的オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、操作オブジェクトと標的オブジェクトとの衝突が検出された場合に、該衝突に基づく標的オブジェクトの衝突部位のフィードバック動作を少なくとも示すフィードバック情報を生成するステップと、モーション情報およびフィードバック情報を用いて、少なくとも衝突部位の動作を更新するステップと、仮想空間データと、更新された少なくとも衝突部位の動作とに基づいて視界画像を生成し、表示部に該視界画像を表示させるステップとを含む。

本開示によれば、仮想空間における仮想体験のエンタテイメント性を向上させ得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することができる。

ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。 一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。 ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。 仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。 仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。 ある実施の形態に従うコントローラ１６０の概略構成を表す図である。 ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。 ある実施の形態に従うＨＭＤシステム１００Ａが実行する処理を表すフローチャートである。 ある実施の形態に従うＨＭＤ装置１１０上に表示される視界画像３００の一例を表す図である。 ある実施の形態に従う仮想オブジェクトの制御を表すフローチャートである。 ある実施の形態に従う標的オブジェクト４００の定義および構成の例を表す図である。 ある実施の形態に従うフィードバック情報の生成を表すフローチャートである。 ある実施の形態に従う標的オブジェクト４００のフィードバック動作の計算方法を表す図である。 ある実施の形態に従う操作オブジェクト３０２と標的オブジェクト４００との衝突の演出の一例を表す図である。 変形例に従う標的オブジェクト４００のフィードバック動作の計算方法を表す図である。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head Mount Device）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

ＨＭＤシステム１００は、ＨＭＤ装置１１０（ユーザ端末）と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ装置１１０は、ディスプレイ１１２と、カメラ１１６と、マイク１１８と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。

ＨＭＤ装置１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ装置１１０は、右目用の画像および左目用の画像をディスプレイ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。

ディスプレイ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、ディスプレイ１１２は、ユーザの両目の前方に位置するようにＨＭＤ装置１１０の本体に配置されている。したがって、ユーザは、ディスプレイ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、ディスプレイ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイとして実現され得る。ディスプレイ１１２は、ＨＭＤ装置１１０の本体と一体に構成されてもよいし、別体として構成されてもよい。

ある局面において、ディスプレイ１１２は、右目用の画像を表示するためのサブディスプレイと、左目用の画像を表示するためのサブディスプレイとを含み得る。別の局面において、ディスプレイ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、ディスプレイ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

カメラ１１６は、ＨＭＤ装置１１０を装着するユーザの顔画像を取得する。カメラ１１６によって取得された顔画像は、画像解析処理によってユーザの表情を検知するために使用され得る。カメラ１１６は、例えば、瞳の動き、まぶたの開閉、および眉毛の動き等を検知するために、ＨＭＤ装置１１０本体に内蔵された赤外線カメラであってもよい。あるいは、カメラ１１６は、ユーザの口、頬、および顎等の動きを検知するために、図１に示されるようにＨＭＤ装置１１０の外側に配置された外付けカメラであってもよい。また、カメラ１１６は、上述した赤外線カメラおよび外付けカメラの両方によって構成されてもよい。

マイク１１８は、ユーザが発した音声を取得する。マイク１１８によって取得された音声は、音声解析処理によってユーザの感情を検知するために使用され得る。当該音声は、仮想空間２に対して、音声による指示を与えるためにも使用され得る。また、当該音声は、ネットワーク１９およびサーバ１５０等を介して、他のユーザが使用するＨＭＤシステムに送られ、当該ＨＭＤシステムに接続されたスピーカ等から出力されてもよい。これにより、仮想空間を共有するユーザ間での会話（チャット）が実現される。

ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。

なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ装置１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ装置１１０の位置および傾きを検出することができる。

別の局面において、ＨＭＤ装置１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ装置１１０は、センサ１１４を用いて、ＨＭＤ装置１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ装置１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ装置１１０は、各角速度に基づいて、ＨＭＤ装置１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ装置１１０の傾きを算出する。また、ＨＭＤ装置１１０は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ装置１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。

注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。

サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ装置に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。サーバ１５０は、一または複数のコンピュータ装置により構成され得る。サーバ１５０は、後述するコンピュータ２００のハードウェア構成と同様のハードウェア構成（プロセッサ、メモリ、ストレージ等）を備え得る。

コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ１９０によって与えられる操作を受け付ける。

モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

［ハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェース１３と、通信インターフェース１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。

プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。メモリ１１に保存されるデータは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発性メモリとして実現される。

ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。

ある実施の形態において、入出力インターフェース１３は、ＨＭＤ装置１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェース１３は、ＵＳＢ（Universal Serial Bus）インターフェース、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェース１３は上述のものに限られない。例えば、入出力インターフェース１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インターフェースを含み得る。

ある実施の形態において、入出力インターフェース１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェース１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェース１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェース１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェース、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェースとして実現される。なお、通信インターフェース１４は上述のものに限られない。

ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェース１３を介して、仮想空間を提供するための信号をＨＭＤ装置１１０に送る。ＨＭＤ装置１１０は、その信号に基づいてディスプレイ１１２に映像を表示する。

サーバ１５０は、ネットワーク１９を介して少なくとも一つのＨＭＤシステム１００の各々の制御装置と接続される。図２に示される例では、サーバ１５０は、ＨＭＤ装置１１０Ａを有するＨＭＤシステム１００Ａと、ＨＭＤ装置１１０Ｂを有するＨＭＤシステム１００Ｂと、ＨＭＤ装置１１０Ｃを有するＨＭＤシステム１００Ｃとを含む複数のＨＭＤシステム１００を互いに通信可能に接続する。これにより、共通の仮想空間を用いた仮想体験が各ＨＭＤシステムを使用するユーザに提供される。なお、ＨＭＤシステム１００Ａ、ＨＭＤシステム１００Ｂ、ＨＭＤシステム１００Ｃ、およびその他のＨＭＤシステム１００は、いずれも同様の構成を備える。ただし、各ＨＭＤシステム１００は、互いに異なる機種であってもよいし、互いに異なる性能（処理性能、およびユーザ動作の検知に関する検知性能等）を有してもよい。

なお、図２に示される例では、コンピュータ２００がＨＭＤ装置１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ装置１１０に内蔵されてもよい。一例として、ディスプレイ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

また、コンピュータ２００は、複数のＨＭＤ装置１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。なお、このような場合、本実施形態における複数のＨＭＤシステム１００は、入出力インターフェース１３により、コンピュータ２００に直接接続されてもよい。また、本実施形態におけるサーバ１５０の各機能（例えば後述する同期処理等）は、コンピュータ２００に実装されてもよい。

ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ装置１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ装置１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ装置１１０の位置および傾きの時間的変化を検出できる。

グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ装置１１０の各傾きは、グローバル座標系におけるＨＭＤ装置１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ装置１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ装置１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の起動時に、グローバル座標系におけるＨＭＤ装置１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。

図３に示されるように、ＨＭＤ装置１１０は、ＨＭＤ装置１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ装置１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ装置１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

ある局面において、ＨＭＤ装置１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ装置１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ装置１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ装置１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ装置１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ装置１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ装置１１０の傾き角度を表す。

ＨＭＤセンサ１２０は、検出されたＨＭＤ装置１１０の傾き角度に基づいて、ＨＭＤ装置１１０が動いた後のＨＭＤ装置１１０におけるｕｖｗ視野座標系を、ＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０と、ＨＭＤ装置１１０のｕｖｗ視野座標系との関係は、ＨＭＤ装置１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ装置１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ装置１１０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ装置１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。仮想空間２内の各位置は、ＸＹＺ座標系における座標値によって一意に特定される。

ＨＭＤ装置１１０の起動時、すなわちＨＭＤ装置１１０の初期状態において、仮想カメラ１は、例えば仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ装置１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ装置１１０の位置および傾きの変化が、仮想空間２において同様に再現される。

仮想カメラ１には、ＨＭＤ装置１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ装置１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ装置１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ装置１１０を装着したユーザの視界に対応する。

注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ装置１１０のｕｖｗ視野座標系は、ユーザ１９０がディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ装置１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。

［ユーザの視線］
図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。

ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。

また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。

図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。

図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像をディスプレイ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。視界領域２３内において仮想カメラ１と仮想空間画像２２との間に後述する仮想オブジェクトが配置されている場合、視界画像には当該仮想オブジェクトが含まれる。すなわち、視界画像において、仮想空間画像２２よりも手前側にある仮想オブジェクトが仮想空間画像２２に重畳して表示される。ユーザ１９０が、頭に装着したＨＭＤ装置１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、ディスプレイ１１２に表示される視界画像は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。

ユーザ１９０は、ＨＭＤ装置１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。

ある局面において、プロセッサ１０は、ＨＭＤ装置１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および傾きに基づいて、ＨＭＤ装置１１０のディスプレイ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。すなわち、仮想カメラ１によって、仮想空間２におけるユーザ１９０の視野（視界）が定義される。

ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ装置１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。

図８の状態（Ａ）に示されるように、ある局面において、コントローラ１６０は、右コントローラ１６０Ｒと左コントローラ（図示しない）とを含み得る。右コントローラ１６０Ｒは、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ１６０Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ１６０Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ１６０Ｒについて説明する。

右コントローラ１６０Ｒは、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。

フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ１６０Ｒと左コントローラとの各位置および姿勢（傾き、向き）等を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動させるための操作を含む。

ある局面において、右コントローラ１６０Ｒおよび左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ１６０Ｒおよび左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ１６０Ｒおよび左コントローラは、電池を必要としない。

図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ１９０の右手８１０に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ１９０が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

［ＨＭＤ装置の制御装置］
図９を参照して、ＨＭＤ装置１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。

図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト制御モジュール２３２と、フィードバックモジュール２３３とを含む。

ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェース１４によって実現される。

ある局面において、表示制御モジュール２２０は、ＨＭＤ装置１１０のディスプレイ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ装置１１０を装着したユーザの頭の向きに応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、ディスプレイ１１２に表示される視界画像を生成する。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。

仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。

仮想オブジェクト制御モジュール２３２は、後述するオブジェクト情報２４２に基づいて、仮想空間２に配置される仮想的なオブジェクトである仮想オブジェクトを生成する。また、仮想オブジェクト制御モジュール２３２は、仮想空間２における仮想オブジェクトの動作（移動および状態変化等）も制御する。

仮想オブジェクトは、仮想空間２に配置されるオブジェクト全般である。仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。また、仮想オブジェクトは、仮想空間２におけるユーザ１９０の分身としてのアバターおよびユーザ１９０により操作されるゲームのキャラクタ（プレイヤキャラクタ）等のキャラクタオブジェクトを含み得る。さらに、仮想オブジェクトは、ユーザが操作可能な対象として予め設定されたオブジェクトである操作オブジェクトも含み得る。すなわち、操作オブジェクトはユーザに関連付けられた仮想オブジェクトである。操作オブジェクトは、キャラクタオブジェクトの少なくとも一部（例えばアバターの手の部分）に相当するオブジェクトであってもよいし、アバターまたはキャラクタが持つ道具（例えば武器）に相当するオブジェクトであってもよい。あるいは、操作オブジェクトは、アバターまたはキャラクタから放たれる物体（例えば、ボール等の固形物）に相当するオブジェクトであってもよい。あるいは、操作オブジェクトは、アバターまたはキャラクタが持つ道具から放たれる物体（例えば、銃弾や矢などの固形物）に相当するオブジェクトであってもよい。さらに、仮想オブジェクトは、仮想空間２においてユーザ１９０が標的（操作オブジェクトを当てる目標）として認識する標的オブジェクトを含み得る。標的の例として、敵キャラクタ、障害物等が挙げられる。なお、以下の説明において、誤解が生じない場合には、仮想オブジェクトのことを単に「オブジェクト」と表記する。

仮想空間制御モジュール２３０は、仮想空間２に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。ある局面では、仮想空間制御モジュール２３０は操作オブジェクトと標的オブジェクトとの衝突を検出する。仮想空間制御モジュール２３０は、例えば、あるオブジェクトと別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。

フィードバックモジュール２３３は、仮想空間制御モジュール２３０により操作オブジェクトと標的オブジェクトとの衝突が検出された場合に、その衝突に基づく標的オブジェクトのフィードバック動作を示すフィードバック情報をリアルタイムに生成する。フィードバック動作とは、操作オブジェクトと標的オブジェクトとの衝突により発生する標的オブジェクトの動作である。「フィードバック情報をリアルタイムに生成する」とは、衝突が検出される前には存在しないフィードバック情報を、衝突の検出を契機として生成し始めることをいう。フィードバックモジュール２３３はそのフィードバック情報に基づいて標的オブジェクトの動作を制御する。したがって、操作オブジェクトとの衝突が検出された場合には、標的オブジェクトは仮想オブジェクト制御モジュール２３２およびフィードバックモジュール２３３の双方により制御され得る。

メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。空間情報２４１には、例えば、仮想空間２を提供するために規定された１つ以上のテンプレートが含まれている。オブジェクト情報２４２には、例えば、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。オブジェクト情報２４２には、各オブジェクトを描画するための描画情報も含まれている。また、オブジェクト情報２４２は、各オブジェクトに関連付けられた属性を示す属性情報も含み得る。オブジェクトの属性情報としては、例えば当該オブジェクトの種類（例えばアバター等）を示す情報、およびオブジェクトが可動物（可動オブジェクト）であるか固定物（固定オブジェクト）であるかを示す情報等が挙げられる。ユーザ情報２４３には、例えば、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。

メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ装置１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。

通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。

ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、メモリモジュール２４０に一旦格納される。そのソフトウェアは、プロセッサ１０によってメモリモジュール２４０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。

図９に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。

ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。

［制御構造］
図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ユーザ１９０Ａによって使用されるＨＭＤシステム１００Ａがユーザ１９０Ａに仮想空間２を提供するために実行する処理を表すシーケンス図である。複数のＨＭＤシステム１００が存在する場合には、他のＨＭＤシステム１００Ｂ，１００Ｃにおいても、同様の処理が実行される。

ステップＳ１において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間２の背景を構成する仮想空間画像データ（仮想空間画像２２）を特定し、仮想空間２を定義する。プロセッサ１０は、その仮想空間２を規定する仮想空間データを生成する。

ステップＳ２において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心点に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。

ステップＳ３において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。プロセッサ１０は、少なくとも仮想空間データに基づいて視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ装置１１０に送られる。

ステップＳ４において、ＨＭＤ装置１１０のディスプレイ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ装置１１０Ａを装着したユーザ１９０Ａは、視界画像を視認すると仮想空間２を認識し得る。

ステップＳ５において、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０から発信される複数の赤外線光に基づいて、ＨＭＤ装置１１０の位置および傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送られる。

ステップＳ６において、プロセッサ１０は、視界領域決定モジュール２２２として、ＨＭＤ装置１１０Ａの位置と傾きとに基づいて、ＨＭＤ装置１１０Ａを装着したユーザ１９０Ａの視界方向（すなわち、仮想カメラ１の位置および傾き）を特定する。プロセッサ１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間２にオブジェクトを配置する。

ステップＳ７において、コントローラ１６０は、現実空間におけるユーザ１９０Ａの操作を検出する。例えば、ある局面において、コントローラ１６０は、ユーザ１９０Ａによってボタンが押下されたことを検出する。別の局面において、コントローラ１６０は、ユーザ１９０Ａの両手の動作（たとえば、両手を振る等）を検出する。検出内容を示す信号は、コンピュータ２００に送られる。

ステップＳ８において、プロセッサ１０は、仮想オブジェクト制御モジュール２３２およびフィードバックモジュール２３３の少なくとも一方として、各仮想オブジェクトの動作を制御する。ある局面では、プロセッサ１０は操作オブジェクトおよび標的オブジェクトの少なくとも一方の動作を制御する。

ステップＳ９において、プロセッサ１０は、視界画像生成モジュール２２３として、ステップＳ８の処理結果と仮想空間データとに基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ装置１１０に出力する。

ステップＳ１０において、ＨＭＤ装置１１０のディスプレイ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。

［衝突時の制御］
図１１は、ある実施の形態に従うＨＭＤ装置１１０上に表される視界画像３００の一例を表す図である。ユーザ１９０はＨＭＤ装置１１０を介してこの視界画像３００を視認することができる。図１１の例では、視界画像３００は、ユーザ１９０により操作されるキャラクタの手（仮想手）を表す手オブジェクト３０１と、その手に握られた武器（剣）を表す操作オブジェクト３０２と、敵キャラクタを表す標的オブジェクト４００とを含む。ユーザ１９０はコントローラ１６０を介して剣（操作オブジェクト３０２）を操作することで敵キャラクタ（標的オブジェクト４００）を攻撃する。コンピュータ２００は、操作オブジェクト３０２と標的オブジェクト４００との衝突を判定し、その衝突が発生した場合には、標的オブジェクト４００のうち、操作オブジェクト３０２が当たった部位を少なくとも含む部分の動作を制御する。この演出により、ユーザ１９０は、仮想空間２の中で敵キャラクタと対戦している時に、敵キャラクタのどの部位に自分の武器が当たったかを一目で把握することができる。

図１２を参照しながら、操作オブジェクト３０２と標的オブジェクト４００との衝突に関する制御をさらに詳しく説明する。図１２は、ある実施の形態に従う仮想オブジェクトの制御を表すフローチャートである。

ステップＳ２１において、ＨＭＤシステム１００のプロセッサ１０（以下単に「プロセッサ１０」という）は仮想空間定義モジュール２３１として機能し、操作オブジェクト３０２と標的オブジェクト４００とを含む仮想空間２を定義する。この処理は、図１０に示すステップＳ１の処理に対応し得る。具体的には、プロセッサ１０は空間情報２４１、オブジェクト情報２４２、およびユーザ情報２４３のうち少なくとも一種類の情報をメモリモジュール２４０から読み出す。そして、プロセッサ１０は読み出した情報に基づいて、仮想空間２を定義する仮想空間データを生成することにより、仮想空間２を規定する。あるいは、プロセッサ１０は、コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）から予めダウンロードされたプログラムおよびデータ（仮想空間画像データ、オブジェクトの描画および初期配置等に関する情報）にも基づいて仮想空間データを生成してもよい。

操作オブジェクト３０２と標的オブジェクト４００との衝突を演出するための標的オブジェクト４００の定義および構成についてさらに詳しく説明する。図１３は、ある実施の形態に従う標的オブジェクト４００の定義および構成の例を表す図である。標的オブジェクト４００は、骨格を構成する個々のボーン（骨）４０１に外観デザインを適用することで（すなわち、個々のボーンを肉付けすることで）形成される。標的オブジェクト４００は複数の部位で構成され、一つの部位は一つのボーン４０１に対応する。隣接する二つのボーン４０１はジョイント（関節）４０２で接続される。個々のボーン４０１はジョイント４０２を支点として所定の自由度で動くことができるようにプログラムされる。

標的オブジェクト４００のオブジェクト情報２４２は、ボーン４０１およびジョイント４０２を定義する骨格情報と、ボーン４０１に適用される外観デザインを定義する外観情報と、各部位の予め定められた動作を定義するモーション情報とを含み得る。モーション情報は、ボーン４０１およびジョイント４０２の予め定められた動きを定義する情報であるともいえる。ステップＳ２１において、プロセッサ１０は、表示しようとする標的オブジェクト４００の骨格情報および外観情報をメモリモジュール２４０から読み出し、これらの骨格情報に基づいて標的オブジェクトを定義する。

図１２に戻り、ステップＳ２２において、プロセッサ１０は視界画像生成モジュール２２３として機能し、仮想空間データに基づいて、初期の視界画像を表示するための視界画像データを生成し、この視界画像データをＨＭＤ装置１１０に出力（送信）する。ＨＭＤ装置１１０はその視界画像データを処理して視界画像３００を表示する。この処理は図１０でのステップＳ３，Ｓ４に対応し得る。この結果、ユーザ１９０は、手オブジェクト３０１、操作オブジェクト３０２、および標的オブジェクト４００が描画された視界画像３００を視認することができる。

ステップＳ２３において、プロセッサ１０は仮想オブジェクト制御モジュール２３２として機能し、仮想空間２における標的オブジェクト４００の動作をモーション情報に基づいて更新する。この処理は図１０でのステップＳ８に対応し得る。標的オブジェクト４００の動作の更新とは、仮想空間２における標的オブジェクト４００の動作を示す値を新たな値に変更することであり、より具体的には、標的オブジェクト４００の位置および姿勢に関する値を変更することである。プロセッサ１０は表示している標的オブジェクト４００のモーション情報をメモリモジュール２４０から読み出し、そのモーション情報に基づいて標的オブジェクト４００の新たな動作を決定する。続いてプロセッサ１０は決定した動作を示す動き情報を生成する。

標的オブジェクトの動作を制御する一方で、プロセッサ１０は操作オブジェクト３０２の動作も制御する。ステップＳ２４において、プロセッサ１０は仮想オブジェクト制御モジュール２３２として機能し、コントローラ１６０から送られてきた信号を処理することで操作オブジェクト３０２の動作を更新する。この処理は図１０でのステップＳ７，Ｓ８に対応し得る。操作オブジェクト３０２の動作の更新とは、仮想空間２における操作オブジェクト３０２の動作を示す値を新たな値に変更することであり、より具体的には、操作オブジェクト３０２の位置および姿勢に関する値を変更することである。プロセッサ１０は操作オブジェクト３０２の新たな動作を示す動き情報を生成する。

ステップＳ２５において、プロセッサ１０は視界画像生成モジュール２２３として機能し、仮想オブジェクト（操作オブジェクト３０２および標的オブジェクト４００の少なくとも一方）についての新たな動きを表示するための視界画像データを動き情報に基づいて生成し、その視界画像データをＨＭＤ装置１１０に出力（送信）する。ＨＭＤ装置１１０はその視界画像データを処理して視界画像３００を更新する。これらの処理は図１０でのステップＳ９，Ｓ１０に対応し得る。この結果、視界画像３００内では、標的オブジェクト４００が予め定められた動作を行い、または、操作オブジェクト３０２がユーザの操作に応じて動く。

ステップＳ２６において、プロセッサ１０は仮想空間制御モジュール２３０として機能し、仮想空間２において操作オブジェクト３０２と標的オブジェクト４００とが衝突したか否かを判定する。その衝突を検出しない場合には（ステップＳ２６においてＮＯ）、プロセッサ１０はステップＳ２３〜Ｓ２５の処理を繰り返す。もし衝突を検出した場合には（ステップＳ２６においてＹＥＳ）、処理はステップＳ２７に進む。

ステップＳ２７において、プロセッサ１０はフィードバックモジュール２３３として機能し、発生した衝突に基づく標的オブジェクト４００のフィードバック情報を生成する。この処理は図１０でのステップＳ８に対応し得る。

図１４および図１５を参照しながら、フィードバック情報の生成についてさらに詳しく説明する。図１４は、ある実施の形態に従うフィードバック情報の生成を表すフローチャートである。図１５は、ある実施の形態に従う標的オブジェクト４００のフィードバック動作の計算方法を表す図であり、より具体的には、標的オブジェクト４００の右手に操作オブジェクト３０２が当たった場合のフィードバック動作の計算方法を表す。図１５では、標的オブジェクト４００を構成する部位として手、前腕、上腕、および胸を特に示す。これらの部位に対応するボーンをそれぞれ手ボーン４１１、前腕ボーン４１２、上腕ボーン４１３、および胸ボーン４１４という。

ステップＳ２７１において、プロセッサ１０は操作オブジェクト３０２と標的オブジェクト４００との衝突に関するパラメータを衝突パラメータとして取得する。ある局面では、衝突パラメータは、標的オブジェクト４００における衝突点と、標的オブジェクト４００における衝突部位と、衝突時の操作オブジェクト３０２の運動を示すヒットベクトルとを含む。プロセッサ１０は、標的オブジェクト４００のうち、操作オブジェクト３０２が当たった位置を衝突点として特定する。この衝突点は、例えば座標により表されてもよい。また、プロセッサ１０は、標的オブジェクト４００を構成する複数の部位のうち、操作オブジェクト３０２が当たった部位を衝突部位として特定する。衝突部位は部位の識別子または座標により表されてもよい。さらにプロセッサ１０は、標的オブジェクト４００と衝突した時点における操作オブジェクト３０２の移動方向および衝突の大きさ（衝撃力）を示すヒットベクトルを算出する。ヒットベクトルの終点は衝突点である。図１５では、衝突点をＨＰという符号で示し、ヒットベクトルをＨＶという符号で示している。

ステップＳ２７２において、プロセッサ１０は、モーション情報を用いることなく、衝突パラメータに基づいて衝突部位の動作を算出する。個々の部位はボーンに外観デザインを適用することで生成されるので、部位の動作を求めるためには該部位に対応するボーンの動作を求めればよい。したがって、部位の動作を求めることはボーンの動作を求めることと同義であるともいえる。

図１５の例では、衝突部位は手なので、プロセッサ１０はまず手ボーン４１１の動作を算出する。具体的には、プロセッサ１０は、手ボーン４１１に対応するジョイントから衝突点ＨＰに至るジョイントベクトルを算出する。一つのボーンには二つのジョイントが対応し得るが、プロセッサ１０は、ジョイントベクトルの始点となるジョイントを任意の手法で選択してもよい。図１５の例では、プロセッサ１０は、他のボーンである前腕ボーン４１２と接続しているジョイント４２１を選択し、ジョイント４２１から衝突点ＨＰに至るジョイントベクトル５１１を算出してもよい。続いて、プロセッサ１０はそのジョイントベクトル５１１とヒットベクトルＨＶとの外積を計算することで回転モーメントを求め、この回転モーメントと手の仮想質量とに基づいて手ボーン４１１の角加速度を求める。そして、プロセッサ１０はその角加速度に基づいて手ボーン４１１の角速度を求め、この角速度に基づいて手ボーン４１１の動作を計算する。例えば、プロセッサ１０はその角速度に基づいて手ボーン４１１の振動５２１を求める。プロセッサ１０は、算出した動作を手ボーン４１１のフィードバック情報（すなわち、手のフィードバック情報）として保持する。

ここで、標的オブジェクト４００のボーン（部位）の振動とは、操作オブジェクト３０２と衝突した時点での当該ボーンの位置を中心軸として、当該ボーン（部位）がその中心軸を跨ぎながら往復動することをいう。すなわち、ボーン（部位）の振動とは、当該中心軸を挟んでボーン（部位）が振り子のように動くことをいう。単にボーンが所定の角度＋θだけ動いて元の場所に戻るだけの動きでは振動らしさを良好に表現できない。ボーンをある方向に所定の角度＋θだけ動かし、そのボーンを元の位置に戻し、次いでそのボーンを反対方向に所定の角度−θ´（｜＋θ｜≧｜−θ´｜）だけ動かし、そして元の位置に戻すようにボーンを制御することで、振動の雰囲気を視覚的に且つ良好にユーザ１９０に提供することができる。

振動は、衝突部位と、必要であれば該衝突部位の近傍の部位とにおける動作であり、標的オブジェクト４００の姿勢を変化させる動作ではない。すなわち、標的オブジェクト４００の姿勢は、一部の部位が振動している場合にも変化しない。例えば、図１５に示す例のように手または足が振動したとしても、プロセッサ１０は、体幹に相当するボーン（例えば、背骨に相当するボーン）を動かさない。

プロセッサ１０は、衝突部位だけでなく、衝突部位と直接にまたは間接的に接続する他の部位についても動作を計算してもよい。本開示では、当該他の部位をホップ数の概念を用いて表す。本開示におけるホップ数とは、他の部位が衝突部位からどのくらい離れているかを示す数値であり、衝突部位から他の部位に至るまでに経由するジョイントの最小個数で表される。図１５の例では、手と直接に接続する前腕は、手から１ホップだけ離れた部位に相当する。前腕を介して手と間接的に接続する上腕は、手から２ホップだけ離れた部位に相当する。前腕および上腕を介して手と間接的に接続する胸は、手から３ホップだけ離れた部位に相当する。以下では、ホップ数を変数ｉで表す。

ステップＳ２７３において、プロセッサ１０はホップ数ｉを１にセットする。

ステップＳ２７４において、プロセッサ１０は衝突部位から１ホップ離れた部位を追加の対象部位（以下では単に「対象部位」という）として特定する。図１５の例では、プロセッサ１０は前腕を対象部位として特定する。

ステップＳ２７５において、プロセッサ１０は対象部位の動作を計算するか否かを判定する。プロセッサ１０は、ヒットベクトルＨＶで示される衝撃力が対象部位に及ぶ場合には、当該対象部位の動作を計算すると判定し、当該衝撃力が対象部位に及ばない場合には、その計算を実行しないと判定する。本開示では、プロセッサ１０は、衝突部位における衝撃力を１として、対象部位に伝わる衝撃力を求める。衝突部位以外の対象部位に伝わる衝撃力は０以上１未満である。プロセッサ１０は、対象部位における衝撃力が０より大きければその対象部位の動作を計算すると判定し、その衝撃力が０である場合には、対象部位の動作を計算しないと判定する。

プロセッサ１０は、衝突部位から離れた部位ほどヒットベクトルＨＶを減衰させることで、衝突部位以外の各部位の衝撃力を求める。ヒットベクトルＨＶの減衰とは、ヒットベクトルＨＶの大きさ、すなわち衝撃力を減少させることをいう。衝突部位に応じた各部位でのヒットベクトルＨＶの減衰度はオブジェクト情報２４２の一部として予め設定されていてもよい。この場合には、プロセッサ１０はそのオブジェクト情報２４２を読み出すことで、衝突部位に応じた各部位の衝撃力を求める。あるいは、プロセッサ１０は、ヒットベクトルＨＶで示される衝撃力と、対象部位のパラメータ（位置、寸法、仮想質量など）と、衝突部位から対象部位までの距離との少なくとも一つに基づいてリアルタイムに減衰度を計算してもよい。

図１５に示すモデルでは、例えば前腕、上腕、および胸での衝撃力がそれぞれ０．８、０．４、０．１であってもよい。あるいは、前腕、上腕、および胸での衝撃力がそれぞれ０．９、０．４、０であってもよい。衝突部位からｎホップ離れた部位での衝撃力が０である場合には、衝突部位から（ｎ＋１）ホップ以上離れた部位の衝撃力も０である。

ステップＳ２７５においてＹＥＳである場合には、処理はステップＳ２７６に進む。このステップＳ２７６において、プロセッサ１０は、モーション情報を用いることなく、衝突パラメータに基づいて対象部位の動作を計算する。この段階ではホップ数ｉは１なので、図１５の例では、プロセッサ１０は前腕の動作を計算する。具体的には、プロセッサ１０は、前腕ボーン４１２の両端に位置するジョイント４２１，４２２のうち、手ボーン４１１に対応するジョイントとして選択されなかったジョイント４２２を、前腕ボーン４１２に対応するジョイントとして選択する。そして、プロセッサ１０は、ジョイント４２２から衝突点ＨＰに至るジョイントベクトル５１２を算出する。また、プロセッサ１０は、ヒットベクトルＨＶを減衰させることで、前腕ボーン４１２に伝わるヒットベクトルＨＶの大きさ（衝撃力）を求める。続いて、プロセッサ１０はジョイントベクトル５１２と減衰させたヒットベクトルＨＶとの外積を計算することで回転モーメントを求め、この回転モーメントと前腕の仮想質量とに基づいて前腕ボーン４１２の角加速度を求める。そして、プロセッサ１０はその角加速度に基づいて前腕ボーン４１２の角速度を求め、この角速度に基づいて前腕ボーン４１２の動作（例えば振動５２２）を計算する。プロセッサ１０は、算出した動作を前腕ボーン４１２のフィードバック情報（すなわち、前腕のフィードバック情報）として保持する。

ステップＳ２７７において、プロセッサ１０はホップ数を１だけ増分する。この段階ではホップ数は２になる。

続いて、処理はステップＳ２７４に進み、そのステップ以降の処理が繰り返される。図１５の例では、プロセッサ１０はステップＳ２７４において上腕を対象部位として特定し、ステップＳ２７５において対象部位の動作を計算するか否かを判定する。ステップＳ２７５においてＹＥＳである場合には、プロセッサ１０はステップＳ２７６において、モーション情報を用いることなく、衝突パラメータに基づいて上腕の動作を計算する。具体的には、プロセッサ１０は、上腕ボーン４１３と胸ボーン４１４とを接続するジョイント４２３から衝突点ＨＰに至るジョイントベクトル５１３を算出する。また、プロセッサ１０はヒットベクトルＨＶを減衰させることで、上腕ボーン４１３に伝わるヒットベクトルＨＶの大きさ（衝撃力）を求める。続いて、プロセッサ１０はそのジョイントベクトル５１３と減衰させたヒットベクトルＨＶとの外積を計算することで回転モーメントを求め、この回転モーメントと上腕の仮想質量とに基づいて上腕ボーン４１３の角加速度を求める。そして、プロセッサ１０はその角加速度に基づいて上腕ボーン４１３の角速度を求め、この角速度に基づいて上腕ボーン４１３の動作（例えば振動５２３）を計算する。プロセッサ１０は、算出した動作を上腕ボーン４１３のフィードバック情報（すなわち、上腕のフィードバック情報）として保持する。

ステップＳ２７７において、プロセッサ１０はホップ数を１だけ増分し、これによりホップ数は３になる。続いて、処理はステップＳ２７４に進み、そのステップ以降の処理が繰り返される。図１５の例では、プロセッサ１０は、胸ボーン４１４の動作を計算するかもしれないし、その計算を行わないかもしれない。胸ボーン４１４の動作を求める場合には、プロセッサ１０は胸ボーン４１４に対応するジョイント４２４から衝突点ＨＰに至るジョイントベクトル５１４を算出する。そして、プロセッサ１０はジョイントベクトル５１４と減衰させたヒットベクトルＨＶとに基づいて胸ボーン４１４の動作（例えば振動５２４）を示すフィードバック情報（すなわち、胸のフィードバック情報）を算出する。

プロセッサ１０は、ステップＳ２７５において対象部位の動作を計算しないと判定するまで、衝突部位を含む少なくとも一つの部位についてフィードバック情報を生成する。

図１５の例では末梢の部位である手が衝突部位なので、プロセッサ１０は標的オブジェクト４００の中枢に向かって部位を一つずつ􄭝りながら各部位のフィードバック情報を生成した。衝突部位の場所によっては、プロセッサ１０は衝突部位から中枢に向かって部位を一つずつ􄭝りながらフィードバック情報を生成すると共に、衝突部位から末梢に向かって部位を一つずつ􄭝りながらフィードバック情報を生成することもあり得る。例えば図１５のモデルにおいて衝突部位が上腕であれば、プロセッサ１０は、衝突部位から１ホップ離れた部位である前腕および胸の少なくとも一方を追加の対象部位として処理し得る。さらに、プロセッサ１０は、衝突部位から２ホップ離れた部位である手、首、または腹をさらなる対象部位として処理し得る。

図１２に戻り、ステップＳ２８において、プロセッサ１０は仮想オブジェクト制御モジュール２３２およびフィードバックモジュール２３３として機能し、仮想空間２における標的オブジェクト４００の動作をモーション情報およびフィードバック情報の双方に基づいて更新する。この処理は図１０でのステップＳ８に対応し得る。プロセッサ１０は表示している標的オブジェクト４００のモーション情報をメモリモジュール２４０から読み出す。そして、プロセッサ１０はそのモーション情報と生成したフィードバック情報とに基づいて標的オブジェクト４００の新たな動作を決定する。続いてプロセッサ１０は決定した動作を示す動き情報を生成する。

ステップＳ２９において、プロセッサ１０は視界画像生成モジュール２２３として機能し、標的オブジェクト４００についての新たな動きを表示するための視界画像データをモーション情報およびフィードバック情報の双方に基づいて生成し、その視界画像データをＨＭＤ装置１１０に出力（送信）する。ＨＭＤ装置１１０はその視界画像データを処理して視界画像３００を更新する。これらの処理は図１０でのステップＳ９，Ｓ１０に対応し得る。視界画像３００内の標的オブジェクト４００の動作は、モーション情報で定義される所定の動作と、フィードバック情報で定義されるフィードバック動作（例えば振動）との和、組合せ、または混合になる。

ステップＳ３０において、プロセッサ１０が仮想空間２の提供を終了すると判定するまで、プロセッサ１０はステップＳ２３〜Ｓ２９を繰り返す。

図１６は、ある実施の形態に従う操作オブジェクト３０２と標的オブジェクト４００との衝突の演出の一例を表す図である。この図における状態（Ａ）は、操作オブジェクト３０２と標的オブジェクト４００とが衝突した瞬間（剣が敵キャラクタの右手に当たった瞬間）を表す視界画像３００を表す。プロセッサ１０はこの衝突を検出したことを契機として、標的オブジェクト４００における衝突部位を特定するとともに、その衝突に基づく標的オブジェクト４００のフィードバック操作を示すフィードバック情報をリアルタイムに生成する。そして、プロセッサ１０はこれらのモーション情報及びフィードバック情報を用いて、少なくとも衝突部位の動作を更新する。この一連の処理により、視界画像３００は図１６の状態（Ｂ）に変わり、標的オブジェクト４００の衝突部位（右手）およびその周辺（例えば右腕）が振動するように描画される。

状態（Ｂ）では標的オブジェクト４００が自分の剣を少し下げているが、この動作はモーション情報に基づく動作であり、したがって、予め定められた動作である。一方、状態（Ｂ）における振動は、衝突の検出に基づいてリアルタイムに生成されたフィードバック情報に基づく動作であり、したがって、動的に生成された動作である。状態（Ｂ）における標的オブジェクト４００の動作は、モーション情報に基づく動作に、フィードバック情報に基づく動作が追加されたものであるということができる。

このような処理により、モーション情報に基づく標的オブジェクトの動作に、フィードバック情報に基づく衝突部位（あるいは、衝突部位およびその近くの部位）の動作が加わるので、衝突が視覚的に演出される。この演出により、ユーザ１９０は自身の操作オブジェクトが標的オブジェクトのどこに当たったかを一目で把握できる。したがって、仮想空間２におけるユーザ１９０の仮想体験のエンタテイメント性を向上させることができる。

衝突を表現するためのフィードバック情報は、予め用意されるのではなく、衝突が検出された際にリアルタイムに生成される。操作オブジェクト３０２と標的オブジェクト４００との衝突のパターンはユーザ操作に依存して非常に多い。そのため、個々の衝突のパターンに適応するようにモーション情報を用意しようとすると、予め用意すべきモーション情報の量が非常に大きくなってしまう。さらに、衝突が発生する度にモーション情報をメモリモジュール２４０から読み出す必要があり、この処理に一定以上の時間を要するので、操作オブジェクト３０２および標的オブジェクト４００などの仮想オブジェクトの動作の更新に時間が掛かってしまう。処理速度が低下すると、視界画像３００の更新頻度（フレームレート）が低下してユーザ１９０がＶＲ酔いしてしまう可能性がある。本開示の実施形態によれば、衝突時の標的オブジェクト４００の動作をリアルタイムに計算することで、モーション情報を用いる場合よりも高速にフィードバック情報が得られるので、標的オブジェクト４００の動作を高速に更新することができる。衝突のフィードバックが早く処理されるので、仮想空間２が円滑に表示され続け、ＶＲ酔いを防止することが可能になる。

さらに、本開示の実施形態によれば、ヒットベクトルＨＶの向きおよび位置と衝突点ＨＰとを固定させつつ、各部位固有のジョイントベクトルを用いて各部位のフィードバック情報が生成される。ヒットベクトルＨＶの位置および向きを移動させたり変形させたりする必要がないので、その分だけ計算量が低減される。したがって、フィードバック情報を生成する時間が短縮され、この結果、標的オブジェクト４００の動作を高速に更新することができる。

さらに、本開示の実施形態によれば、ヒットベクトルＨＶの位置および向きを移動させたり変形させたりせず、ヒットベクトルＨＶの大きさのみが衝突部位からの距離に応じて減ぜられる。このようにヒットベクトルＨＶの大きさだけを調整することで、フィードバック情報の計算量を抑えつつ、迫真のあるフィードバック操作を出力することが可能になる。

［変形例］
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

図１７を参照しながらフィードバック演算の変形について説明する。図１７は、変形例に従う標的オブジェクト４００のフィードバック動作の計算方法を表す図である。図１７の状態（Ａ）は、上方から降りてきた操作オブジェクト３０２（例えば、振り下ろされた剣）が標的オブジェクト４００の手に当たった場面を示す。図１７の状態（Ｂ）は、下方から上がってきた操作オブジェクト３０２（例えば、振り上げられた剣）が標的オブジェクト４００の手に当たった場面を示す。状態（Ａ）および（Ｂ）はいずれも、図１５と同様に、標的オブジェクト４００の右手に操作オブジェクト３０２が当たった場面を示す。

これらの例のようにヒットベクトルＨＶが鉛直方向（Ｙ方向）の成分を含む場合には、プロセッサ１０は、衝突部位のジョイントを中心として衝突点を、ヒットベクトルＨＶの鉛直方向（Ｙ方向）で示される方向に所定の角度だけ回転移動させ、回転移動後の衝突点を用いてジョイントベクトルを設定してもよい。

状態（Ａ）ではヒットベクトルＨＶの鉛直方向成分（Ｙ方向成分）は下向きであるので、プロセッサ１０は衝突点ＨＰを下方に所定の角度だけ回転移動させることで衝突点ＨＰ´を設定する。そして、プロセッサ１０は手ボーン４１１のジョイント４２１から衝突点ＨＰ´に至るジョイントベクトル５１１´を算出する。このジョイントベクトル５１１´は、ジョイント４２１から本来の衝突点ＨＰに至るジョイントベクトル５１１をヒットベクトルＨＶの向きに基づいて回転移動させることで得られるベクトルであるともいえる。したがって、プロセッサ１０は、まずジョイントベクトル５１１を求め、続いてジョイントベクトル５１１を回転移動させることでジョイントベクトル５１１´および衝突点ＨＰ´を求めてもよい。プロセッサ１０は、他の対象部位についても、回転移動後の衝突点ＨＰ´に向かって延びるジョイントベクトル５１２´〜５１４´を求める。また、プロセッサ１０は衝突点ＨＰの移動に合わせてヒットベクトルＨＶを平行移動させることで、衝突点ＨＰ´を終点とするヒットベクトルＨＶ´を求める。そして、プロセッサ１０は、ヒットベクトルＨＶ´および各ジョイントベクトル５１１´〜５１４´を用いて、上記実施形態と同様に各部位のフィードバック情報を生成する。

状態（Ｂ）ではヒットベクトルＨＶの鉛直方向成分（Ｙ方向成分）は上向きであるので、プロセッサ１０は衝突点ＨＰを上方に所定の角度だけ回転移動させることで衝突点ＨＰ´を設定する。そして、プロセッサ１０は手ボーン４１１のジョイント４２１から衝突点ＨＰ´に至るジョイントベクトル５１１´を算出する。プロセッサ１０は、まずジョイントベクトル５１１を求め、続いてジョイントベクトル５１１を回転移動させることでジョイントベクトル５１１´および衝突点ＨＰ´を求めてもよい。プロセッサ１０は、他の対象部位である前腕、上腕、および胸についても、回転移動後の衝突点ＨＰ´に向かって延びるジョイントベクトル５１２´，５１３´，５１４´を求める。また、プロセッサ１０はヒットベクトルＨＶを平行移動させることで、衝突点ＨＰ´を終点とするヒットベクトルＨＶ´を求める。そして、プロセッサ１０は、ヒットベクトルＨＶ´および各ジョイントベクトル５１１´〜５１４´を用いて、上記実施形態と同様に各部位のフィードバック情報を生成する。

このように、プロセッサ１０は、ヒットベクトルＨＶの向きに基づいて各ジョイントベクトルの向きを補正した上でフィードバック情報を生成してもよい。この補正を行うことで、標的オブジェクト４００の動き（例えば振動）をより迫真のあるものにすることができる。

フィードバック動作は振動に限定されない。例えば、プロセッサ１０は、各部位について上記実施形態と同じ計算により角速度を計算することで該部位の移動可能範囲を求め、その範囲にわたって該部位を一時的に膨張させることで、あたかも該部位が腫れ上がった状態を演出してもよい。あるいは、フィードバック動作は複数の動作の組合せ（例えば振動および膨張の組合せ）でもよい。

上記実施形態においては、ＨＭＤ装置１１０によってユーザ１９０が没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤ装置１１０として、透過型のＨＭＤ装置を採用してもよい。この場合、透過型のＨＭＤ装置を介してユーザ１９０が視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augumented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザ１９０に提供してもよい。この場合、手オブジェクト３０１に代えて、ユーザ１９０の手の動きに基づいて、仮想空間２内における他の仮想オブジェクト（以下ではこれを「対象オブジェクト」という）への作用を生じさせてもよい。具体的には、プロセッサ１０は、現実空間におけるユーザ１９０の手の位置の座標情報を特定するとともに、仮想空間２内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサ１０は、現実空間におけるユーザ１９０の手と仮想空間２における対象オブジェクトとの位置関係を把握し、ユーザ１９０の手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザ１９０の手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。

本明細書に開示された主題は、例えば、以下のような項目として示される。

（項目１）
表示部（ディスプレイ１１２）を備えるヘッドマウントデバイス（ＨＭＤ装置１１０）を介してユーザ（ユーザ１９０）に仮想空間（仮想空間２）を提供するためにコンピュータ（コンピュータ２００またはサーバ１５０）によって実行される情報処理方法であって、
前記ユーザに関連付けられた操作オブジェクト（操作オブジェクト３０２）と、所定のモーション情報に基づいて動作する複数の部位を有する標的オブジェクト（標的オブジェクト４００）とを含む前記仮想空間を規定する仮想空間データを生成するステップ（図１０のステップＳ１または図１２のステップＳ２１）と、
前記操作オブジェクトと前記標的オブジェクトとの衝突が検出された場合に、該衝突に基づく前記標的オブジェクトの衝突部位のフィードバック動作を少なくとも示すフィードバック情報を生成するステップ（図１２のステップＳ２７）と、
前記モーション情報および前記フィードバック情報を用いて、少なくとも前記衝突部位の動作を更新するステップ（図１２のステップＳ２８）と、
前記仮想空間データと、更新された前記少なくとも衝突部位の動作とに基づいて視界画像（視界画像３００）を生成し、前記表示部に該視界画像を表示させるステップ（図１０のステップＳ１０または図１２のステップＳ２９）と
を含む情報処理方法。

本項目の情報処理方法によれば、操作オブジェクトと標的オブジェクトとが衝突すると、標的オブジェクトの衝突部位がフィードバック動作を行う。このフィードバック動作による視覚的な演出により、ユーザは操作オブジェクトが標的オブジェクトのどこに当たったかを一目で把握できる。この結果、仮想空間におけるユーザの仮想体験のエンタテイメント性を向上させることができる。

また、本項目の情報処理方法によれば、衝突時の標的オブジェクトの動作を、モーション情報を用いることなくリアルタイムに計算することで、モーション情報を用いる場合よりも高速にフィードバック情報が得られるので、標的オブジェクトの動作を高速に更新することができる。衝突のフィードバックが早く処理されるので、仮想空間を円滑に表示させ続けることができる。ひいてはユーザのＶＲ酔いを防止することが可能になる。

（項目２）
前記衝突部位を含む２以上の前記部位のフィードバック動作を示す前記フィードバック情報を生成するステップ（図１２のステップＳ２７）
を含む項目１の情報処理方法。

本項目の情報処理方法によれば、衝突部位を含む複数の部位に対してフィードバック動作が適用されるので、仮想空間におけるユーザの仮想体験のエンタテイメント性をさらに向上させることができる。各部位のフィードバック動作はモーション情報を用いることなくリアルタイムに計算されるので、複数の部位の動作を高速に更新することができ、その結果、仮想空間を円滑に表示させ続けることができる。

（項目３）
前記操作オブジェクトと前記標的オブジェクトとの衝突点（衝突点ＨＰ）を特定するステップ（図１４のステップＳ２７１）と、
前記標的オブジェクトと衝突した前記操作オブジェクトの動作を示すヒットベクトル（ヒットベクトルＨＶ）を算出するステップ（図１４のステップＳ２７１）と、
前記２以上の部位のそれぞれについて、該部位のジョイント（ジョイント４２１〜４２４）から前記衝突点に至るジョイントベクトル（ジョイントベクトル５１１〜５１４）を算出するステップ（図１４のステップＳ２７２〜Ｓ２７７）と、
前記２以上の部位のそれぞれについて、前記ヒットベクトルと該部位に対応する前記ジョイントベクトルとに基づいて該部位の前記フィードバック情報を生成するステップ（図１４のステップＳ２７２〜Ｓ２７７）と
を含む項目２の情報処理方法。

本項目の情報処理方法によれば、ヒットベクトルおよび衝突点を固定させつつ、各部位のジョイントベクトルを用いて各部位のフィードバック情報が生成される。ヒットベクトルの位置および向きを移動させたり変形させたりする必要がないので、その分だけ計算量が低減される。したがって、フィードバック情報を生成する時間を短縮することができる。

（項目４）
前記衝突部位から離れた部位ほど前記ヒットベクトルを減衰させるステップ
を含む項目３の情報処理方法。

本項目の情報処理方法によれば、ヒットベクトルの位置および向きを移動させたり変形させたりせず、ヒットベクトルの大きさのみが衝突部位からの距離に応じて減ぜられる。このようにヒットベクトルの大きさだけを調整することで、フィードバック情報の計算量を抑えつつ、迫真のあるフィードバック操作を出力することが可能になる。

（項目５）
前記ヒットベクトルの向きに基づいて各ジョイントベクトルの向きを補正するステップを含む項目３または４の情報処理方法。

本項目の情報処理方法によれば、操作オブジェクトの動作に合わせてジョイントベクトルの向きを補正することで、迫真のあるフィードバック操作を出力することが可能になる。

（項目６）
各部位の前記フィードバック動作が、該部位のボーン（ボーン４１１〜４１４）と交差する方向に沿った振動を含む、
項目１〜５のいずれかの情報処理方法。

本項目の情報処理方法によれば、フィードバック動作が振動で表されるので、衝突時の演出が高まる。その結果、仮想空間におけるユーザの仮想体験のエンタテイメント性を向上させることができる。

（項目７）
項目１〜６のいずれかの情報処理方法をコンピュータに実行させるプログラム。

（項目８）
少なくともメモリ（メモリモジュール２４０）と、前記メモリに結合されたプロセッサ（プロセッサ１０）とを備え、前記プロセッサの制御により項目１〜６のいずれかの情報処理方法を実行する、装置。

１…仮想カメラ、２…仮想空間、５…基準視線、１０…プロセッサ、１１…メモリ、１２…ストレージ、１３…入出力インターフェース、１４…通信インターフェース、１５…バス、１９…ネットワーク、２１…中心、２２…仮想空間画像、２３…視界領域、２４，２５…領域、３０…グリップ、３１…フレーム、３２…天面、３３，３４，３６，３７…ボタン、３５…赤外線ＬＥＤ、３８…アナログスティック、１００，１００Ａ，１００Ｂ，１００Ｃ…ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ…ＨＭＤ装置、１１２…ディスプレイ、１１４…センサ、１１６…カメラ、１１８…マイク、１２０…ＨＭＤセンサ、１３０…モーションセンサ、１４０…注視センサ、１５０…サーバ、１６０…コントローラ、１６０Ｒ…右コントローラ、１９０，１９０Ａ…ユーザ、２００…コンピュータ、２２０…表示制御モジュール、２２１…仮想カメラ制御モジュール、２２２…視界領域決定モジュール、２２３…視界画像生成モジュール、２２４…基準視線特定モジュール、２３０…仮想空間制御モジュール、２３１…仮想空間定義モジュール、２３２…仮想オブジェクト制御モジュール、２３３…フィードバックモジュール、２４０…メモリモジュール、２４１…空間情報、２４２…オブジェクト情報、２４３…ユーザ情報、２５０…通信制御モジュール、３００…視界画像、３０１…手オブジェクト、３０２…操作オブジェクト、４００…標的オブジェクト、４０１…ボーン、４０２…ジョイント、４１１…手ボーン、４１２…前腕ボーン、４１３…上腕ボーン、４１４…胸ボーン、５１１〜５１４，５１１´〜５１４´…ジョイントベクトル、８１０…右手、ＨＶ，ＨＶ´…ヒットベクトル、ＨＰ，ＨＰ´…衝突点。

Claims (8)

1. 表示部を備えるヘッドマウントデバイスを介してユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法であって、
   前記ユーザに関連付けられた操作オブジェクトと、所定のモーション情報に基づいて動作する複数の部位を有する標的オブジェクトとを含む前記仮想空間を規定する仮想空間データを生成するステップと、
   前記操作オブジェクトと前記標的オブジェクトとの衝突が検出された場合に、該衝突に基づく前記標的オブジェクトの衝突部位のフィードバック動作を少なくとも示すフィードバック情報を生成するステップと、
   前記モーション情報および前記フィードバック情報を用いて、少なくとも前記衝突部位の動作を更新するステップと、
   前記仮想空間データと、更新された前記少なくとも衝突部位の動作とに基づいて視界画像を生成し、前記表示部に該視界画像を表示させるステップと
   を含む情報処理方法。
2. 前記衝突部位を含む２以上の前記部位のフィードバック動作を示す前記フィードバック情報を生成するステップ
   を含む請求項１に記載の情報処理方法。
3. 前記操作オブジェクトと前記標的オブジェクトとの衝突点を特定するステップと、
   前記標的オブジェクトと衝突した前記操作オブジェクトの動作を示すヒットベクトルを算出するステップと、
   前記２以上の部位のそれぞれについて、該部位のジョイントから前記衝突点に至るジョイントベクトルを算出するステップと、
   前記２以上の部位のそれぞれについて、前記ヒットベクトルと該部位に対応する前記ジョイントベクトルとに基づいて該部位の前記フィードバック情報を生成するステップと
   を含む請求項２に記載の情報処理方法。
4. 前記衝突部位から離れた部位ほど前記ヒットベクトルを減衰させるステップ
   を含む請求項３に記載の情報処理方法。
5. 前記ヒットベクトルの向きに基づいて各ジョイントベクトルの向きを補正するステップ
   を含む請求項３または４に記載の情報処理方法。
6. 各部位の前記フィードバック動作が、該部位のボーンと交差する方向に沿った振動を含む、
   請求項１〜５のいずれか一項に記載の情報処理方法。
7. 請求項１〜６のいずれか一項に記載の情報処理方法をコンピュータに実行させるプログラム。
8. 少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により請求項１〜６のいずれか一項に記載の情報処理方法を実行する、装置。