JP2018014084A

JP2018014084A - 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

Info

Publication number: JP2018014084A
Application number: JP2017096861A
Authority: JP
Inventors: 集平寺畑; Shuhei Terahata
Original assignee: Colopl Inc
Current assignee: Colopl Inc
Priority date: 2017-05-15
Filing date: 2017-05-15
Publication date: 2018-01-25

Abstract

【課題】直感的な操作で所望の仮想オブジェクトと接触することが可能な仮想体験を提供する。【解決手段】制御回路部は、第１仮想オブジェクトが第２仮想オブジェクトと重畳しかつ第２仮想オブジェクトの前面に位置する重畳部分を含む場合、前記第１仮想オブジェクトと操作対象オブジェクトとの接触を判定するための第１領域を前記重畳部分と重畳するように設定し、前記第２仮想オブジェクトと操作対象オブジェクトとの接触を判定するための第２領域を前記重畳部分に重畳しないように設定する。【選択図】図１４

Description

本開示は、仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体に関する。

非特許文献１には、仮想空間に配置されたブロックを、仮想空間に配置されたユーザの仮想手で掴んだり、投げたりすることを可能にする技術が開示されている。

Toybox Demo for Oculus Touch - Inside Look［online］、平成２７年１０月１３日、［平成２８年６月１３日検索］、インターネット＜URL：https://www.youtube.com/watch?v=dbYP4bhKr2M＞

仮想空間において、ユーザが仮想オブジェクトと接触することによって操作しようとした場合に、複数の仮想オブジェクトが存在していると、ユーザは直感的な操作によって、所望の仮想オブジェクトと接触できないことが想定される。また、仮想オブジェクトを現実空間に重畳させるようにして配置することにより、ユーザに仮想体験を提供する場合にも、同様の問題が生じ得る。本開示はこの課題を解決するためになされたものであり、その目的は、ユーザが、直感的な操作によって、所望の仮想オブジェクトと接触することを可能にすることにある。

前記の課題を解決するために、本開示に係る仮想空間を提供する方法は、頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、仮想空間に配置された、第１仮想オブジェクトと第２仮想オブジェクトを少なくとも含む複数の仮想オブジェクトを特定するとともに、ユーザの頭部以外の身体の一部の動きに連動して動作する操作対象オブジェクトを仮想空間に配置するステップと、ユーザの仮想空間における基準視線を特定するステップと、仮想空間に配置され、基準視線に基づいてユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、第１仮想オブジェクトと操作対象オブジェクトとの接触を判定するための、第１仮想オブジェクトに関連付けられる第１領域と、第２仮想オブジェクトと操作対象オブジェクトとの接触を判定するための、第２仮想オブジェクトに関連付けられる第２領域とをそれぞれ設定するステップと、第１領域または第２領域と操作対象オブジェクトとの位置関係に基づいて、第１仮想オブジェクトまたは第２仮想オブジェクトと操作対象オブジェクトとの接触を判定するステップと、を含み、第１仮想オブジェクトは、仮想カメラから見て第２仮想オブジェクトと重畳しかつ第２仮想オブジェクトの前面に位置する重畳部分を含み、仮想カメラから見て重畳部分と重畳する第１領域と、仮想カメラから見て重畳部分と重畳しない第２領域とをそれぞれ設定する。

本開示によれば、ユーザが、直感的な操作によって、所望の仮想オブジェクトと接触することを可能にすることができる。

ＨＭＤシステムの構成を示す図である。制御回路部のハード構成を示す図である。ＨＭＤに設定される視野座標系を例示する図である。ユーザに提供される仮想空間の概要を説明する図である。視界領域の断面を示す図である。ユーザの視線方向を決定する方法を例示する図である。コントローラの構成を表す図である。制御回路部の機能的構成を示すブロック図である。ＨＭＤシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。仮想空間におけるゲーム中の処理の流れを示すシーケンス図である。仮想空間におけるゲームにおいて、判定領域を特定した後の処理の流れを示すシーケンス図である。仮想カメラの位置に基づく基準ベクトルの調整方法を説明する図である。基準視線の方向に基づく基準ベクトルの調整方法を説明する図であり、仮想空間のＹ軸方向から見た仮想オブジェクトおよび仮想カメラを示す図である。基準視線の方向に基づく基準ベクトルの調整方法を説明する図であり、仮想空間のＸ軸方向から見た仮想オブジェクトおよび仮想カメラを示す図である。カード型の仮想オブジェクトのそれぞれに判定領域を設定した例を示す図である。カード型の仮想オブジェクトのそれぞれに判定領域を設定した他の例を示す図である。仮想空間におけるゲーム中において、仮想オブジェクトを選択する際の処理の流れを示すシーケンス図である。

［本発明の実施形態の詳細］
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。

（ＨＭＤシステム１００の構成）
図１は、ＨＭＤシステム１００の構成を示す図である。この図に示すように、ＨＭＤシステム１００は、ＨＭＤ１１０、ＨＭＤセンサ１２０、コントローラセンサ１４０、制御回路部２００、およびコントローラ３００を備えている。

ＨＭＤ１１０は、ユーザの頭部に装着される。ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２、センサ１１４、および注視センサ１３０を備えている。ＨＭＤ１１０は、右目用画像および左目用画像をディスプレイ１１２にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される３次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ１１２がユーザの眼前に配置されているので、ユーザは、ディスプレイ１１２に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実（Virtual Reality：VR）を体験する
ことができる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。

ディスプレイ１１２は、右目用画像を表示する右目用サブディスプレイと、左目用画像
を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ１１２は、右目用画像および左目用画像を共通の画面に表示する１つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。

また、本実施形態において、ＨＭＤ１１０には、透過型ディスプレイが適用されてもよい。つまり、ＨＭＤ１１０は、透過型ＨＭＤであってもよい。この場合、前記３次元画像を透過型ディスプレイに表示することによって、後述する仮想オブジェクトを現実空間に仮想的に配置することができる。これにより、ユーザは現実空間に仮想オブジェクトが配置された複合現実（Mixes Reality：MR）を体験することができる。本実施形態において
、仮想現実や複合現実といった、ユーザが仮想オブジェクトと相互作用できる体験を仮想体験と称することがある。以下では、仮想現実を提供するための方法を一例として詳説する。

（制御回路部２００のハード構成）
図２は、制御回路部２００のハード構成を示す図である。制御回路部２００は、ＨＭＤ１１０に仮想空間を提供させるためのコンピュータである。図２に示すように、制御回路部２００は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部２００内において互いに接続されている。

プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-processing unit）、またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、制御回路部２００およびＨＭＤシステム１００全体の動作を制御する。

メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ（演算パラメータなど）が記憶される。メモリは、ＲＯＭ（Read
Only Memory）またはＲＡＭ（Random Access Memory）等を含んで構成され得る。

ストレージは、補助記憶として機能する。ストレージには、ＨＭＤシステム１００全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ（画像およびオブジェクト等）が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはＨＤＤ（Hard Disc Drive）等を含んで構成され得る。

入出力インターフェースは、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、ＨＭＤ１１０と、ＨＭＤセンサ１２０およびコントローラセンサ１４０を含む各種のセンサと、コントローラ３００とを互いに接続する。

通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、ＬＡＮ（Local Area Network）またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。

制御回路部２００は、ストレージに格納された所定のアプリケーションプログラムをメ
モリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種の仮想オブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。

制御回路部２００は、ＨＭＤ１１０に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部２００は、ＨＭＤ１１０から独立した別のハードウェア（たとえば、パーソナルコンピュータ、またはネットワークを通じてＨＭＤ１１０と通信可能なサーバ装置）であってもよい。制御回路部２００は、複数のハードウェアの協働によって１または複数の機能が実装される形態の装置であってもよい。または、制御回路部２００が有する全機能のうち一部の機能のみがＨＭＤ１１０に実装され、残りの機能が別のハードウェアに実装されていてもよい。

ＨＭＤシステム１００を構成するＨＭＤ１１０等の各要素には、予め、グローバル座標系（基準座標系、ｘｙｚ座標系）が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。具体的には、グローバル座標系のｘ軸は現実空間の横方向に平行であり、ｙ軸は現実空間の鉛直方向に平行であり、ｚ軸は現実空間の前後方向に平行である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジション・トラッキング機能を有する。ＨＭＤセンサ１２０は、この機能によって、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。この検出を実現するために、ＨＭＤ１１０は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するＬＥＤである。ＨＭＤセンサ１２０は、たとえば赤外線センサを含んで構成される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の光源から照射された赤外線を、赤外線センサによって検出することによって、ＨＭＤ１１０の検出点を検出する。さらに、ＨＭＤ１１０の検出点の検出値に基づき、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置および傾きを検出する。ＨＭＤセンサ１２０は、検出値の経時的変化に基づき、ＨＭＤ１１０の位置および傾きの時間変化を決定することができる。

ＨＭＤセンサ１２０は、光学カメラを含んで構成されてもよい。この場合、ＨＭＤセンサ１２０は、光学カメラによって得られたＨＭＤ１１０の画像情報に基づき、ＨＭＤ１１０の位置および傾きを検出する。

ＨＭＤセンサ１２０の代わりに、ＨＭＤ１１０が、センサ１１４を用いて自身の位置および傾きを検出してもよい。この場合、センサ１１４は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。ＨＭＤ１１０は、これらのうち少なくとも１つを用いる。センサ１１４が角速度センサである場合、センサ１１４は、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の現実空間における３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、角速度の検出値に基づき、ＨＭＤ１１０の３軸周りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきＨＭＤ１１０の傾きを検出することができる。

ＨＭＤ１１０がセンサ１１４による検出値に基づきＨＭＤ１１０の位置および傾きを自ら検出する場合、ＨＭＤシステム１００にＨＭＤセンサ１２０は不要である。逆に、ＨＭＤ１１０から離れた位置に配置されるＨＭＤセンサ１２０がＨＭＤ１１０の位置および傾きを検出する場合、ＨＭＤ１１０にセンサ１１４は不要である。

上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤセンサ１２０の傾きの検出値に基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザが物体を見る際の視点座標系に対応する。

（ｕｖｗ視野座標系）
図３は、ＨＭＤ１１０に設定されるｕｖｗ視野座標系を例示する図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。そして、傾きの検出値に基づく３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。

図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系の横方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）が、そのまま、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。

ＨＭＤセンサ１２０は、ＨＭＤ１１０にｕｖｗ視野座標系を設定した後、ＨＭＤ１１０の動きに応じて、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出することができる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度である。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度である。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度である。

ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きの検出値に基づき、動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、新たにＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きによらず常に一定である。ＨＭＤ１１０の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが同様に変化する。

ＨＭＤセンサ１２０は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係（検出点間の距離等）に基づき、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。また、ＨＭＤセンサ１２０は、複数の検出点間の相対位置関係に基づきＨＭＤ１１０の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の向きを決定してもよい。

（仮想空間２の概要）
図４は、ユーザに提供される仮想空間２の概要を説明する図である。この図に示すように、仮想空間２は、中心２１の３６０°方向全体を覆う全天球状の構造を有する。図４には、仮想空間２の全体のうち上半分の天球のみを例示する。仮想空間２には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間２における各メッシュの位置は、仮想空間２に規定される空間座標系（ＸＹＺ座標系）における座標として、予め規定されている。制御回路部２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。

仮想空間２には、中心２１を原点とするＸＹＺ空間座標系が規定されている。ＸＹＺ座標系は、たとえばグローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれＸ軸、Ｙ軸、Ｚ軸とする。すなわち、ＸＹＺ座標系のＸ軸（横方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（上下方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。

ＨＭＤ１１０の起動時（初期状態）において、仮想空間２の中心２１に仮想カメラ１が配置されている。仮想カメラ１は、現実空間内におけるＨＭＤ１１０の動きに連動して、仮想空間２内において同様に動く。これにより、現実空間内におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２内において同様に再現される。

仮想カメラ１には、ＨＭＤ１１０と同様にｕｖｗ視野座標系が規定される。仮想空間２内における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）内におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに連動して仮想カメラ１の傾きも変化する。仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。

仮想空間２における仮想カメラ１の位置および傾きに応じて、仮想空間２における仮想カメラ１の向きが決まる。これにより、仮想空間２に展開される仮想空間画像２２をユーザが視認する際の基準となる視線（基準視線５）が決まる。制御回路部２００は、基準視線５に基づき、仮想空間２における視界領域２３を決定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する領域である。

図５は、視界領域２３の断面を示す図である。図５の（ａ）に、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を示す。図５の（ｂ）に、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を示す。視界領域２３は、基準視線５と仮想空間２のＹＺ断面とによって定義される範囲である第１領域２４（図５の（ａ）参照）と、基準視線５と仮想空間２のＸＺ断面とによって定義される範囲である第２領域２５（図５の（ｂ）参照）とを有する。制御回路部２００は、仮想空間２における基準視線５を中心として極角αを含む範囲を、第１領域２４として設定する。また、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、第２領域２５として設定する。

ＨＭＤシステム１００は、仮想空間画像２２のうち視界領域２３に重畳する部分である視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることによって、ユーザに仮想空間２を提供する。ユーザがＨＭＤ１１０を動かせば、それに連動して仮想カメラ１も動き、その結果、仮想空間２における視界領域２３の位置が変化する。これによりディスプレイ１１２に表示される視界画像２６が、仮想空間画像２２のうち、仮想空間２にお
いてユーザが向いた箇所（＝視界領域２３）に重畳する画像に更新される。したがってユーザは、仮想空間２における所望の箇所を視認することができる。

ユーザは、ＨＭＤ１１０を装着している間、現実世界を目にすることなく、仮想空間２に展開される仮想空間画像２２のみを視認する。そのためＨＭＤシステム１００は、仮想空間２への高い没入感をユーザに与えることができる。

制御回路部２００は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想カメラ１を仮想空間２内において移動させてもよい。この場合、制御回路部２００は、仮想カメラ１の仮想空間２内における位置および向きに基づき、仮想空間２のうちＨＭＤ１１０のディスプレイ１１２に投影されることによってユーザが視認する視界領域２３を特定する。

仮想カメラ１は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、２つの仮想カメラには、ユーザが３次元の仮想空間２を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるような仮想カメラ１のみを、代表して図示および説明するものとする。

（視線方向の検出）
注視センサ１３０は、ユーザの右目および左目の視線が向けられる方向（視線方向）を検出するアイトラッキング機能を有する。注視センサ１３０として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ１３０は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ１３０は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ１３０は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。

注視センサ１３０によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザがディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがってＨＭＤシステム１００では、注視センサ１３０によって検出されたユーザの視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向と見なすことができる。

図６は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ１３０は、ユーザＵの右目および左目の視線を検出する。ユーザＵが近くを見ている場合、注視センサ１３０は、ユーザＵの視線Ｒ１およびＬ１を検出する。ユーザが遠くを見ている場合、注視センサ１３０は、ユーザの視線Ｒ１およびＬ１よりも、ＨＭＤ１１０のロール方向（ｗ）とのなす角が小さい視線Ｒ２およびＬ２を特定する。注視センサ１３０は、検出値を制御回路部２００に送信する。

制御回路部２００は、視線の検出値として視線Ｒ１およびＬ１を受信した場合、両者の交点である注視点Ｎ１を特定する。一方、視線Ｒ２およびＬ２を受信した場合も、両者の交点である注視点Ｎ２（不図示）を特定する。制御回路部２００は、特定した注視点Ｎ１に基づき、ユーザＵの視線方向Ｎ０を検出する。制御回路部２００は、たとえば、ユーザＵの右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の伸びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０はまた、視界領域２３に対してユーザＵが実際に視線を向
けている方向でもある。

ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間２内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。

（コントローラ３００）
図７は、コントローラ３００の構成を表す図である。コントローラ３００は、ユーザの身体の一部の動きを検知することにより、仮想オブジェクトの動きを制御するために用いる装置の一例である。図１および図７に示すように、コントローラ３００は、ユーザが右手に持って使用する右コントローラ３２０と、ユーザが左手に持って使用する左コントローラ３３０とからなる。右コントローラ３２０および左コントローラ３３０は、それぞれ別体の装置として構成される。ユーザは、右コントローラ３２０を持った右手と、左コントローラ３３０を持った左手とを、相互に自由に動かすことができる。なお、ユーザの頭部以外である身体の一部の動きを検知するための方法は、当該身体の一部に装着されるセンサを含むコントローラを用いる例に限られず、画像認識、その他任意の物理的、光学的な手法等を適用できる。例えば、外部カメラを用いてユーザの身体の一部の初期位置を特定し、継続的にユーザの身体の一部の位置を特定することにより、ユーザの頭部以外である身体の一部の動きを検知できる。以下の説明においては、コントローラ３００を用いたユーザの頭部以外である身体の一部の動きの検知について詳述する。

図１および図７に示すように、右コントローラ３２０および左コントローラ３３０は、それぞれ、操作ボタン３０２、赤外線ＬＥＤ（Light Emitting Diode）３０４、センサ３０６、およびトランシーバ３０８を備えている。後述するように、右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４およびセンサ３０６のうちいずれか一方のみを備えていてもよい。

操作ボタン３０２は、コントローラ３００に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。

プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ３２０は、プッシュ式ボタンとして、天面３２２上に親指ボタン３０２ａおよび３０２ｂを備えている。左コントローラ３３０は、プッシュ式ボタンとして、天面３３２上に２つの親指ボタン３０２ｃおよび３０２ｄを備えている。親指ボタン３０２ａおよび３０２ｂは、いずれも右手の親指によって操作（押下）される。親指ボタン３０２ｃおよび３０２ｄは、いずれも左手の親指によって操作（押下）される。

トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ３２０は、トリガー式ボタンとして、グリップ３２４の前面部分に人差し指ボタン３０２ｅを備えており、さらに、グリップ３２４の側面部分に中指ボタン３０２ｆを備えている。左コントローラ３３０は、トリガー式ボタンとして、グリップ３３４の前面部分に人差し指ボタン３０２ｇを備えており、さらに、グリップ３３４の側面部分に中指ボタン３０２ｈを備えている。人差し指ボタン３０２ｅ、中指ボタン３０２ｆ、人差し指ボタン３０２ｇ、および中指ボタン３０２ｈは、それぞれ右手の人差し指、右手の中指、左手の人差し指、および左手の中指によって操作（押下）される。

右コントローラ３２０は、親指ボタン３０２ａおよび３０２ｂ、人差し指ボタン３０２ｅ、ならびに中指ボタン３０２ｆの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。一方、左コントローラ３３０は、親指ボタン３０２ｃおよび３０２ｄ、人差し指ボタン３０２ｇ、ならびに中指ボタン３０２ｈの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。

本実施形態では、右コントローラ３２０および左コントローラ３３０の各ボタンの押下状態の検出値は、０から１のいずれかの値を取り得る。たとえば、ユーザが親指ボタン３０２ａをまったく押下していない場合、親指ボタン３０２ａの押下状態として「０」が検出される。一方、ユーザが親指ボタン３０２ａを完全に（最も深く）押下している場合、親指ボタン３０２ａの押下状態として「１」が検出される。

アナログスティックは、所定のニュートラル位置から３６０°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ３２０の天面３２２上にアナログスティック３０２ｉが設けられ、左コントローラ３３０の天面３３２上にアナログスティック３０２ｊが設けられる。アナログスティック３０２ｉおよび３０２ｊは、それぞれ右手および左手の親指によって操作される。

右コントローラ３２０および左コントローラ３３０は、それぞれ、グリップ（３２４および３３４）の両側面から天面（３２２および３３２）とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６および３３６を備えている。各フレーム３２６および３３６の外表面には、複数の赤外線ＬＥＤ３０４が埋め込まれている。複数（たとえば１０個程度）の赤外線ＬＥＤ３０４が、フレーム３２６、３３６の円周方向に沿って一列に並んで設けられる。フレーム３２６および３３６の円周方向に沿って、複数列（たとえば２列）の赤外線ＬＥＤ３０４が配置されていてもよい。

ユーザがコントローラ３００を握る際、ユーザの各指はグリップ（３２４または３３４）とフレーム（３２６または３３６）との間にある。したがって、各フレーム３２６および３３６の外表面に配置された赤外線ＬＥＤ３０４は、ユーザの手または指によって覆い隠されてしまうことはない。フレーム３２６および３３６の外表面に加えて、さらに、グリップ３２４および３３４の表面のうちユーザの指で隠されない部分にも、赤外線ＬＥＤ３０４が設けられていてもよい。赤外線ＬＥＤ３０４は、コンピュータゲームのプレイ中に赤外線を発光する。赤外線ＬＥＤ３０４から発せられた赤外光は、右コントローラ３２０および左コントローラ３３０のそれぞれの位置および傾きを検出するために利用される。

右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４の代わりに、または赤外線ＬＥＤ３０４に加えて、さらにセンサ３０６を内蔵する。センサ３０６は、たとえば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ３０６によっても、右コントローラ３２０および左コントローラ３３０の位置および傾きを検出することができる。

センサ３０６は、ユーザが右コントローラ３２０および左コントローラ３３０をそれぞれ右手および左手で持って動かした際、右コントローラ３２０および左コントローラ３３０の向きおよび動きに応じた値（磁気、角速度、または加速度の値）を、出力する。制御回路部２００は、センサ３０６からの出力値を適宜の方法によって加工することによって、右コントローラ３２０および左コントローラ３３０のそれぞれの位置および傾きを検出することができる。

トランシーバ３０８は、右コントローラ３２０および左コントローラ３３０と、制御回路部２００との間でデータを送受信するように構成される。トランシーバ３０８は、ユーザが操作ボタン３０２を介して右コントローラ３２０または左コントローラ３３０に与えた操作入力に基づくデータを、制御回路部２００へ送信する。また、トランシーバ３０８は、赤外線ＬＥＤ３０４の発光を右コントローラ３２０または左コントローラ３３０に指示する命令を、制御回路部２００から受信する。さらに、トランシーバ３０８は、センサ３０６によって検出した各種の値に対応するデータを、制御回路部２００へ送信する。

右コントローラ３２０および左コントローラ３３０は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ３０８は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部２００から受信することができる。トランシーバ３０８は、無線通信によってデータを送受信するように構成されるのが好適である。この構成では、右コントローラ３２０および左コントローラ３３０に有線通信用のケーブルが接続されないので、ユーザは、右コントローラ３２０を持った右手および左コントローラ３３０を持った左手を、より自由にそれぞれ動かせる。

コントローラセンサ１４０は、右コントローラ３２０および左コントローラ３３０の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ１４０は、この機能によって、現実空間内における右コントローラ３２０および左コントローラ３３０の位置および傾きを検出する。この検出を実現するために、コントローラセンサ１４０は、右コントローラ３２０および左コントローラ３３０の赤外線ＬＥＤ３０４から発せられた赤外光を、それぞれ検出する。コントローラセンサ１４０は、たとえば、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ３２０および左コントローラ３３０の位置および傾きを検出する。

赤外カメラによって撮像された画像は、右コントローラ３２０および左コントローラ３３０の表面に埋め込まれている多数の赤外線ＬＥＤ３０４の配置を反映した明暗画像である。ある１つの撮像画像には、互いに左右に離れた２つの明点の集団が含まれ得る。２つの集団のうち左側の集団は、ユーザが右手で持っている右コントローラ３２０の赤外線ＬＥＤ３０４に対応する。右側の集団は、ユーザが左手で持っている左コントローラ３３０の赤外線ＬＥＤ３０４に対応する。コントローラセンサ１４０は、左側の集団を構成している明点の並んでいる方向から、右コントローラ３２０の傾きを検出する。たとえば、明点が撮像画像内で横方向（即ち水平方向）に並んでいる場合、右コントローラ３２０の傾きを、フレーム３２６が水平に保持された傾きとして検出すればよい。また、撮像画像内で明点の並んでいる方向が横方向からある角度だけ斜めになっている場合、右コントローラ３２０の傾きを、フレーム３２６が水平から当該角度だけ傾いた傾きとして検出すればよい。同様に、コントローラセンサ１４０は、撮像画像内における右側の集団を構成している明点の並んでいる方向から、左コントローラ３３０の傾きを検出する。

コントローラセンサ１４０は、撮像画像内の明点（赤外線ＬＥＤ３０４）を識別することによって、右コントローラ３２０および左コントローラ３３０の位置をそれぞれ検出する。たとえば、撮像画像から検出したされた２つの明点の集団のうち、左側の集団を構成している複数の明点の重心位置を、右コントローラ３２０の位置として検出する。さらに、右側の集団を構成している複数の明点の重心位置を、左コントローラ３３０の位置として検出する。

コントローラセンサ１４０の代わりに、右コントローラ３２０および左コントローラ３３０が、センサ３０６を用いて自身の位置および傾きを検出してもよい。この場合、たと
えば、右コントローラ３２０の三軸角速度センサ（センサ３０６）が、右コントローラ３２０の３つの直交する各軸周りの回転を検出する。右コントローラ３２０は、各検出値に基づき、右コントローラ３２０がどちらの方向にどれだけ回転したかを検出し、さらに、逐次検出した回転方向と回転量とを累積することによって、右コントローラ３２０の傾きを算出する。同様に、左コントローラ３３０は、左コントローラ３３０の三軸角速度センサ（センサ３０６）からの検出値を用いて、左コントローラ３３０の傾きを算出すればよい。右コントローラ３２０および左コントローラ３３０は、三軸角速度センサの検出値に加えて、たとえば三軸磁気センサおよび／または三軸加速度センサからの検出値を併用してもよい。

詳細な説明は省略するが、右コントローラ３２０は、三軸角速度センサ（センサ３０６）からの検出値を用いて、右コントローラ３２０の位置を検出することができる。また、左コントローラ３３０は、三軸角速度センサ（センサ３０６）からの検出値を用いて、左コントローラ３３０の位置を検出することができる。

（制御回路部２００の機能的構成）
図８は、制御回路部２００の機能的構成を示すブロック図である。制御回路部２００は、ＨＭＤセンサ１２０、コントローラセンサ１４０、注視センサ１３０、およびコントローラ３００から受信した各種のデータを用いることによって、ユーザに提供される仮想空間２を制御すると共に、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。図８に示すように、制御回路部２００は、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０を備えている。制御回路部２００は、図２に示す各ハードウェアの協働によって、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０として機能する。検出部２１０、表示制御部２２０、および仮想空間制御部２３０は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部２４０は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部２５０は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。

検出部２１０は、制御回路部２００に接続される各種のセンサ（ＨＭＤセンサ１２０等）から検出値を受信する。また、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部２１０は、ＨＭＤ検出部２１１、視線検出部２１２、およびコントローラ検出部２１３を備えている。ＨＭＤ検出部２１１は、ＨＭＤ１１０およびＨＭＤセンサ１２０から検出値をそれぞれ受信する。視線検出部２１２は、注視センサ１３０から検出値を受信する。コントローラ検出部２１３は、コントローラセンサ１４０、右コントローラ３２０、および左コントローラ３３０から、それぞれの検出値を受信する。

表示制御部２２０は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。表示制御部２２０は、仮想カメラ制御部２２１、視界領域決定部２２２、および視界画像生成部２２３を備えている。仮想カメラ制御部２２１は、仮想空間２内に仮想カメラ１を配置すると共に、仮想空間２内における仮想カメラ１の挙動を制御する。視界領域決定部２２２は、視界領域２３を決定する。視界画像生成部２２３は、決定された視界領域２３に基づき、ディスプレイ１１２に表示される視界画像２６を生成する。

仮想空間制御部２３０は、ユーザに提供される仮想空間２を制御する。仮想空間制御部２３０は、仮想空間規定部２３１、仮想手制御部２３２、領域特定部２３３、および接触判定部２３４を備えている。

仮想空間規定部２３１は、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、ＨＭＤシステム１００における仮想空間２を規定する。仮想手制御部
２３２は、ユーザによる右コントローラ３２０および左コントローラ３３０の操作に応じたユーザの各仮想手（仮想右手および仮想左手）を仮想空間２内に配置すると共に、仮想空間２内における各仮想手の挙動を制御する。領域特定部２３３は、仮想空間２６におけるオブジェクト、すなわち仮想オブジェクトに、ユーザ操作の対象となる操作対象オブジェクト（たとえば仮想手）との接触を判定するための判定領域を設定する。接触判定部２３４は、前記判定領域と前記操作対象オブジェクトとの位置関係に基づいて、前記判定領域が設定される前記仮想オブジェクトと前記操作対象オブジェクトとの接触を判定する。

記憶部２４０は、制御回路部２００が仮想空間２をユーザに提供するために用いる各種のデータを格納している。記憶部２４０は、雛形格納部２４１およびコンテンツ格納部２４２を備えている。雛形格納部２４１は、仮想空間２の雛形を表す各種の雛形データを格納している。コンテンツ格納部２４２は、仮想空間２において再生可能な各種のコンテンツを格納している。

雛形データは、仮想空間２の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心２１を中心とする３６０°の全天球の空間構造を規定するデータである。雛形データは、仮想空間２のＸＹＺ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのＸＹＺ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間２内に仮想オブジェクトを配置可能であるか否かを示すフラグをさらに有していてもよい。

コンテンツは、仮想空間２において再生可能なコンテンツである。本実施形態では、このコンテンツはゲームコンテンツである。コンテンツは、ゲームの背景画像、および、ゲームに登場する仮想オブジェクト（キャラクタ、アイテム等）を規定するデータを少なくとも有する。各コンテンツには、ＨＭＤ１１０の初期状態（起動時）にユーザに見せる画像を向いた初期方向が、予め規定されている。

通信部２５０は、ネットワークＮＷを介して外部機器４００（たとえばゲームサーバ）との間でデータを送受信する。

（仮想空間２の提供処理）
図９は、ＨＭＤシステム１００が仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。仮想空間２は、基本的に、ＨＭＤ１１０および制御回路部２００の協働によってユーザに提供される。図８に示す処理が開始されると、まず、ステップＳ１において、仮想空間規定部２３１が、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、仮想空間２の雛形データを雛形格納部２４１から取得することによって、仮想空間２の原型を定義する。仮想空間規定部２３１は、さらに、仮想空間２において再生されるコンテンツを、コンテンツ格納部２４２から取得する。本実施形態では、このコンテンツはゲームコンテンツである。

仮想空間規定部２３１は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部２３１は、コンテンツに規定される初期方向を仮想空間２のＸＹＺ座標系におけるＺ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。

仮想空間規定部２３１は、さらに、必要に応じて、コンテンツに含まれる各仮想オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応する
仮想オブジェクトが仮想空間２において配置される位置を表す座標を設定する。これにより各仮想オブジェクトが、仮想空間２における当該座標の位置にそれぞれ配置される。

その後、ユーザによってＨＭＤ１１０が起動されると、ステップＳ２において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の初期状態における位置および傾きを検出して、ステップＳ３において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。この後、ステップＳ４において、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。

初期化の手順は次の通りである。まず仮想カメラ制御部２２１は、仮想空間２内における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、仮想空間２における仮想カメラ１の向きを設定する。その際、仮想カメラ制御部２２１は、ＨＭＤセンサ１２０からの検出値に基づき初期状態のＨＭＤ１１０のｕｖｗ視野座標系を特定すると共に、ＨＭＤ１１０のｕｖｗ視野座標系に一致するｕｖｗ視野座標系を仮想カメラ１に設定することによって、仮想カメラ１の向きを設定すればよい。仮想カメラ制御部２２１は、仮想カメラ１にｕｖｗ視野座標系を設定する際、仮想カメラ１のロール方向（ｗ軸）をＸＹＺ座標系のＺ方向（Ｚ軸）に適合させる。具体的には、仮想カメラ制御部２２１は、仮想カメラ１のロール方向をＸＺ平面に投影して得られる方向を、ＸＹＺ座標系のＺ方向に一致させると共に、ＸＺ平面に対する仮想カメラ１のロール方向の傾きを、水平面に対するＨＭＤ１１０のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ１のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。

仮想カメラ１の初期化処理が終わると、視界領域決定部２２２は、仮想カメラ１のｕｖｗ視野座標系に基づき、仮想空間２における視界領域２３を決定する。具体的には、仮想カメラ１のｕｖｗ視野座標系のロール方向（ｗ軸）をユーザの基準視線５として特定し、この基準視線５に基づき視界領域２３を決定する。ステップＳ５において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分に相当する視界画像２６を生成（レンダリング）する。ステップＳ６において、視界画像生成部２２３は、生成した視界画像２６を初期視界画像としてＨＭＤ１１０に出力する。ステップＳ７において、ＨＭＤ１１０は、受信した初期視界画像をディスプレイ１１２に表示する。これによりユーザは初期視界画像を視認する。

その後、ステップＳ８において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、ステップＳ９において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、ステップＳ１０において、仮想カメラ制御部２２１は、ＸＹＺ座標系におけるｕｖｗ視野座標系のロール方向（ｗ軸）を、ＨＭＤ１１０の視界方向として特定する。

本実施形態では、ステップＳ１１において、仮想カメラ制御部２２１が、特定したＨＭＤ１１０の視界方向を、仮想空間２におけるユーザの基準視線５として特定する。ステップＳ１２において、仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。仮想カメラ制御部２２１は、基準視線５の位置（起点）および方向が仮想カメラ１の初期状態と同一であれば、仮想カメラ１の位置および方向をそのまま維持する。一方、基準視線５の位置（起点）および／または方向が、仮想カメラ１の初期状態から変化していれば、仮想空間２内における仮想カメラ１の位置および／または傾きを、変
化後の基準視線５に応じた位置および／または傾きに変更する。また、制御後の仮想カメラ１に対してｕｖｗ視野座標系を再設定する。

ステップＳ１３において、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、ステップＳ１４において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影（重畳）される部分である視界画像２６を生成（レンダリング）する。ステップＳ１５において、視界画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。ステップＳ１６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。

（仮想空間ゲームの提供）
本実施形態では、ユーザは、右コントローラ３２０および左コントローラ３３０を操作することによって、仮想空間２内においてゲームをプレイする。このゲームでは、ユーザは、仮想空間２において、ユーザの頭部以外の身体の一部の動きに連動して動作する操作対象オブジェクトにより、他の仮想オブジェクトに触れることができる。詳細は後述するが、制御回路部２００は、第１仮想オブジェクトが第２仮想オブジェクトと重畳しかつ第２仮想オブジェクトの前面に位置する重畳部分を含む場合、前記第１仮想オブジェクトと操作対象オブジェクトとの接触を判定するための判定領域を前記重畳部分と重畳するように設定し、前記第２仮想オブジェクトと操作対象オブジェクトとの接触を判定するための判定領域を前記重畳部分に重畳しないように設定する。これにより、ユーザは、直感的な操作により、第１仮想オブジェクトと第２仮想オブジェクトのうち、ユーザの所望の仮想オブジェクトに対して、操作対象オブジェクトを接触させることができる。前記ゲームは、たとえばカードゲームであってもよい。この場合、前記操作対象オブジェクトは仮想手であってもよく、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトはユーザが選択できるカードの仮想オブジェクト（現実のカードを模した外観および形状の仮想オブジェクト）であってもよい。カードの仮想オブジェクトが複数重畳して配置されているような場合であっても、前記判定により、ユーザは、直感的な操作により、仮想手によって所望のカードの仮想オブジェクトに触れることができる。

図１０は、仮想空間２におけるゲーム中の処理の流れを示すシーケンス図である。ステップＳ２０において、仮想空間規定部２３１は、選択画面を構成する各部分画像をコンテンツ格納部２４２から読み出し、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、前記各部分画像を関連付ける。また、仮想空間規定部２３１は、選択画面に含まれる各仮想オブジェクトの管理データを、仮想空間データに追加する。仮想オブジェクトの管理データには、仮想オブジェクトの形状、仮想空間２における位置（座標）および傾き（姿勢）を示すデータが含まれている。仮想空間規定部２３１は、管理データを仮想空間データに追加する際、各管理データに、対応する仮想オブジェクトが仮想空間２において配置される位置を表す座標を設定する。前記仮想オブジェクトは、ユーザが選択する対象となる仮想オブジェクトであり、たとえばカードである。ユーザは、この仮想オブジェクトに対して、操作対象オブジェクトを接触させることにより、接触させた当該仮想オブジェクトを選択することができる。以下では、操作対象オブジェクトが仮想手である例を説明する。

ステップＳ２１において、コントローラセンサ１４０は、右コントローラ３２０の位置および傾き、ならびに、左コントローラ３３０の位置および傾きをそれぞれ検出する。ステップＳ２２において、コントローラセンサ１４０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ２３において、コントローラ３００は、各ボタンの押下状態を検出する。具体的には、右コントローラ３２０は、親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの押下状態をそれぞれ検出する。一方、左コントローラ３３０は、親指ボタン３０２ｃ、人差し指ボタン３０２ｇ、および中指ボタン３０２ｈの押下状態をそれぞれ検出する。ステップＳ２４において、右コントローラ３２０および左コントローラ３３０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ２５において、仮想手制御部２３２は、受信した各検出値を用いて、ユーザの各仮想手（仮想右手および仮想左手）を、仮想空間２に生成する。具体的には、仮想右手を規定するデータおよび仮想左手を規定するデータをそれぞれ生成し、仮想空間データに追加する。

仮想手制御部２３２は、右コントローラ３２０位置および傾きの検出値、ならびに右コントローラ３２０の各ボタンの押下状態の検出値を用いて、ユーザの仮想右手を規定する。その際、仮想空間２における仮想右手の位置として、グローバル座標系における右コントローラ３２０の位置を規定する。仮想手制御部２３２は、さらに、右コントローラ３２０の傾きの検出値に基づき、右コントローラ３２０に設定されたｕｖｗ視野座標系に連動するｕｖｗ視野座標系を仮想右手に設定することによって、仮想空間２内における仮想右手の傾きを規定する。

仮想手制御部２３２は、さらに、右コントローラ３２０の親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの各検出値に基づき、仮想右手を構成する右親指、右人差し指、および右中指の表示状態を規定する。なお、右薬指および右小指の表示状態は、右中指に合致させるように規定する。

仮想手制御部２３２は、あるボタンの押下状態の検出値が「０」の場合、そのボタンに対応する仮想手の指の表示状態として、指を完全に伸ばした状態を規定する。一方、あるボタンの押下状態が「１」の場合、そのボタンに対応する仮想手の指の表示状態として、指を完全に折り曲げた状態を規定する。また、あるボタンの押下状態が「中間（０と１との間の値）」の場合、そのボタンに対応する仮想手の指の表示状態として、押下状態に応じた程度に指を折り曲げた表示状態を規定する。

同様に、仮想手制御部２３２は、左コントローラ３３０の各検出値に基づき、仮想空間２における仮想左手の位置、傾き、および各指の状態を規定する。これらの処理によって、仮想手制御部２３２は、仮想右手および仮想左手を、仮想空間２に配置する。

ステップＳ２６〜ステップＳ３４の処理は、図９のステップＳ８〜ステップＳ１６と同様である。ステップＳ２６〜ステップＳ３４の処理により、ステップＳ２０で仮想空間規定部２３１が生成した選択画面のうち、視界領域２３に投影（重畳）される部分である視界画像がディスプレイ１１２に表示される。

ステップＳ３５では、ステップＳ２３と同様に、コントローラ３００は、各ボタンの押下状態を検出する。ステップＳ３６では、コントローラ３００は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ３７において、仮想空間規定部２３１は、前記受信した検出値に基づいて、仮想手に仮想オブジェクトをセットするための操作であるオブジェクトセット操作（第１操作）を検出したか否かを判定する。コントローラ３００に対するどのような操作をオブ
ジェクトセット操作とするかは予め決めておけばよい。たとえば、左コントローラ３３０の人差し指ボタン３０２ｇを押下する操作を、仮想左手に仮想オブジェクトをセットするためのオブジェクトセット操作としてもよい。

ステップＳ３７において、仮想空間規定部２３１は、オブジェクトセット操作を検出したと判定した場合（ステップＳ３７でＹＥＳ）、仮想空間２における仮想手上（手のひら側が好ましい）に複数の仮想オブジェクトが重ねて配置された状態となるように、仮想空間データを更新する。たとえば、仮想オブジェクトＯＡ〜ＯＤを、上からＯＡ、ＯＢ、ＯＣ、ＯＣの順に仮想手上に配置する場合、仮想空間規定部２３１は、仮想オブジェクトＯＤの位置を仮想手の直上の位置として仮想空間データを更新する。以下同様に、仮想オブジェクトＯＣの位置を仮想オブジェクトＯＤの直上の位置とし、仮想オブジェクトＯＢの位置を仮想オブジェクトＯＣの直上の位置とし、仮想オブジェクトＯＡの位置を仮想オブジェクトＯＢの直上の位置として仮想空間データを更新する。

そして、視界画像生成部２２３は、前記更新後の仮想空間データに基づいて視界画像２６を生成し（ステップＳ３８）、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する（ステップＳ３９）。ステップＳ４０において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザは、仮想手上に複数の仮想オブジェクトが重畳して配置された画像を視認する。

ステップＳ４１では、ステップＳ３５と同様に、コントローラ３００は、各ボタンの押下状態を検出する。ステップＳ４２では、コントローラ３００は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ４３において、仮想空間規定部２３１は、前記受信した検出値に基づいて、仮想手にセットされた仮想オブジェクトを広げる操作（第２操作）を検出したか否かを判定する。コントローラ３００に対するどのような操作を、仮想オブジェクトを広げる操作とするかは予め決めておけばよい。たとえば、仮想左手上に仮想オブジェクトが配置された状態において、左コントローラ３３０の親指ボタン３０２ｃを完全に押下した後、アナログスティック３０２ｊを傾ける操作を、仮想オブジェクトを広げる操作としてもよい。また、たとえば、左コントローラ３３０の天面３３２をタッチパネルで構成した場合、該タッチパネルに対するスワイプ操作を、仮想オブジェクトを広げる操作としてもよい。この他にも、たとえば、仮想空間規定部２３１は、ユーザの親指の動きを光学的に検知した検知結果に基づき、ユーザの親指が仮想オブジェクトを広げるように動いたことを検出した場合に、仮想オブジェクトを広げる操作が行われたと判定してもよい。これにより、現実に手に持ったカードを広げるときと同じ感覚で親指を動かすという直感的な操作により、仮想空間２中のカードの仮想オブジェクトを広げることも可能になる。

ステップＳ４３において、仮想空間規定部２３１は、仮想オブジェクトを広げる操作を検出したと判定した場合（ステップＳ４３でＹＥＳ）、仮想手上に重畳して配置されている複数の仮想オブジェクトが広げられた状態となるように、仮想空間データを更新する。なお、複数の仮想オブジェクトが広げられた状態とは、他の仮想オブジェクトによって仮想カメラ１の死角となっている、仮想オブジェクトの部分（他の仮想オブジェクトとの重畳部分）の面積が狭くなった状態である。たとえば、仮想手上に重畳配置された仮想オブジェクトがカードの仮想オブジェクトであれば、各仮想オブジェクトを扇状にずらした状態であってもよい。

ステップＳ４４において、視界画像生成部２２３は、前記更新後の仮想空間データに基づいて視界画像２６を生成し、ステップＳ４５において、前記視界画像２６を更新用の視
界画像としてＨＭＤ１１０に出力する。ステップＳ４６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザは、仮想手上に複数の仮想オブジェクトが重なった状態で広げられた画像を視認する。

ステップＳ４７において、領域特定部２３３は、仮想オブジェクトと仮想手との接触を判定する際に使用する判定領域を設定する。判定領域を設定する処理の詳細は、図１２に基づいて後述する。

（表示する画像の例）
図１０のステップＳ３８において生成する視界画像２６は、たとえば図１１の（ａ）のような画像であってもよい。この例では、カードの仮想オブジェクトである仮想オブジェクトＯＡおよびＯＢが仮想左手ＯＬに把持されている。仮想オブジェクトＯＡは、絵柄が正面（仮想カメラ１側）を向く配置となっているので、ユーザは仮想オブジェクトＯＡがどのようなカードであるかを認識することができる。一方、仮想オブジェクトＯＢは、仮想オブジェクトＯＡの背後に位置しており、その大部分が仮想オブジェクトＯＡによって死角となっているから、ユーザは仮想オブジェクトＯＢがどのようなカードであるかを認識することはできない。なお、仮想オブジェクトＯＢの背後にも複数の仮想オブジェクトが配置されているが、これらの仮想オブジェクトは仮想オブジェクトＯＡおよびＯＢに隠れており、表示されていない。

図１０のステップＳ４４において生成する視界画像２６は、たとえば図１１の（ｂ）のような画像であってもよい。この例では、カードの仮想オブジェクトである仮想オブジェクトＯＡ〜ＯＤが仮想左手ＯＬに把持されている。図１１の（ａ）の状態と比べて、仮想手ＯＬ上における、仮想オブジェクトＯＡ、ＯＢの位置がそれぞれ変化しており、これにより仮想オブジェクトＯＡ、ＯＢの重畳部分の面積が狭くなっている。また、図１１の（ａ）では仮想オブジェクトＯＡ、ＯＢの背後に隠れて視認できなかった仮想オブジェクトＯＣ、ＯＤについても視認できるようになっている。この結果、図１１の（ａ）の画像では視認できなかった、仮想オブジェクトＯＢ〜ＯＤの左肩部分に表示されている数字を読み取ることができるようになっている。

（判定領域を設定する処理）
領域特定部２３３が判定領域を設定する処理（図１０のステップＳ４７）の詳細を図１２に基づいて説明する。ステップＳ５０において、領域特定部２３３は、各仮想オブジェクトの判定領域を設定する。前記判定領域は、仮想オブジェクトから仮想カメラ１に向かって延在する部分を少なくとも含むように、仮想オブジェクトの周囲の領域において設定する。領域特定部２３３は、設定した各判定領域を、対応する仮想オブジェクトと関連付けておく。なお、ステップＳ５０で設定する判定領域については、図１３に基づいて後述する。

ステップＳ５１において、領域特定部２３３は、各仮想オブジェクトの重なりの状態、すなわち仮想カメラ１から見て、いずれの仮想オブジェクトがいずれの仮想オブジェクトに重なっているか、および重なっている仮想オブジェクトのいずれがより仮想カメラ１に近いかを特定する。具体的には、領域特定部２３３は、ステップＳ５０で判定領域を設定した各仮想オブジェクトの仮想空間２における位置および姿勢と、仮想カメラ１のロール方向（図３のｗ軸方向であり、基準視線５の方向でもある）とに基づいて重なりの状態を特定する。

ステップＳ５２において、領域特定部２３３は、Ｓ５１において重なっていることが特定された仮想オブジェクト間の境界を特定する。なお、境界の特定については、図１４お
よび図１５に基づいて後述する。そして、ステップＳ５３において、領域特定部２３３は、各仮想オブジェクトについて、ステップＳ５０で特定した判定領域のうち、ステップＳ５２で特定した境界よりも外側の部分を排除する。なお、仮想オブジェクトの判定領域のうち、境界よりも外側の部分を排除するとは、境界よりも外側の部分は前記仮想オブジェクトの判定領域ではないとみなすことを意味する。これにより、各仮想オブジェクトの判定領域が確定し、判定領域を設定する処理は終了する。

（判定領域の設定例（重複排除前））
図１２のステップＳ５０で設定する判定領域は、たとえば、図１３に示すように、仮想オブジェクトの上下左右方向にも延在していてもよい。図１３には、仮想オブジェクトＯＡの周囲に判定領域ＪＡを特定した例を示している。なお、図１３では仮想カメラ１から見た仮想オブジェクトＯＡを平面的に示しているが、判定領域ＪＡは、仮想オブジェクトＯＡの手前側（仮想カメラ１が位置している側）にも延在している、六面体状の領域である。また、図１３では、１つの仮想オブジェクトＯＡとその判定領域ＪＡのみを示しているが、選択対象となる各仮想オブジェクトについて、同様にして判定領域を設定する。なお、各仮想オブジェクトに設定する判定領域の形状や範囲は、各仮想オブジェクトに応じてそれぞれ異なるものとしてもよい。

図１１の例のように一方の仮想手で仮想オブジェクトを把持した場合、ユーザは上側から仮想オブジェクトに触れようとする場合が多い。このため、判定領域ＪＡは、図１３の例のように、仮想オブジェクトＯＡの上側に位置する部分ＪＡ１を含むことが好ましい。ここで、上側とは、ＨＭＤ１００の視野座標系におけるヨー方向において、仮想オブジェクトＯＡよりも上側を意味する。これにより、ユーザは、上端側から仮想オブジェクトＯＡに容易に触れることができる。

また、判定領域ＪＡは、図１３の例のように、仮想オブジェクトＯＡの下端部から下側に向かって延在する部分ＪＡ２、および仮想オブジェクトＯＡの側端部から側方に向かって延在する部分ＪＡ３、ＪＡ４を含んでいてもよい。部分ＪＡ１〜ＪＡ４の広さは、ユーザが直感的に仮想オブジェクトＯＡを掴むことができるように設定することが好ましい。たとえば、図１３のように、部分ＪＡ１の幅は、部分ＪＡ２の幅や、部分ＪＡ３、ＪＡ４の幅よりも長くしてもよく、部分ＪＡ３、ＪＡ４の幅は部分ＪＡ２の幅よりも長くしてもよい。これにより、仮想オブジェクトＯＡは上側からが最も触れやすくなり、次いで側方側からが触れやすくなる。なお、部分ＪＡ１の幅は、仮想オブジェクトＯＡの上辺から部分ＪＡ１の上端までの長さであり、部分ＪＡ２の幅は、仮想オブジェクトＯＡの下辺から部分ＪＡ２の下端までの長さであり、部分ＪＡ３の幅は、仮想オブジェクトＯＡの左辺から部分ＪＡ３の左端までの長さであり、部分ＪＡ４の幅は、仮想オブジェクトＯＡの右辺から部分ＪＡ４の右端までの長さである。また、仮想オブジェクトＯＡの背後に位置する他の仮想オブジェクトについても同様に、当該仮想オブジェクトの上側（ＨＭＤ１００のヨー方向において、当該仮想オブジェクトよりも上側）に位置する部分を含む判定領域を設定することが好ましい。

判定領域に、仮想オブジェクトの外縁から仮想オブジェクトの外側に向かって延在する部分を含める場合、いずれの方向に延在する部分を広くするかは予め決めておいてもよい。また、領域特定部２３３は、仮想オブジェクトの仮想空間２における姿勢を特定して、特定した姿勢に応じていずれの方向に延在する部分を広くするかを決定してもよい。この場合、領域特定部２３３は、仮想オブジェクトの姿勢変化に応じて、いずれの方向にどれだけ判定領域を延在させるかを変化させてもよい。

また、図１１の例のように、一方の仮想手で下側が把持された仮想オブジェクトを、他方の仮想手で選ぶ場合には、領域特定部２３３は、仮想オブジェクトの把持されている側
の端部（図１１の例では下端部あるいは左下端部）と反対側の端部（上端部あるいは右上端部）から仮想オブジェクトの外側に向かって延在する部分がより広くなるように判定領域を設定してもよい。仮想オブジェクトにおいて、一方の仮想手によって把持されている側と反対側の端部には、前記一方の仮想手と干渉することなく他方の仮想手を近付けることができるから、前記の設定により、ユーザは一方の仮想手に把持された仮想オブジェクトに容易に触れることができる。

（境界の特定例）
図１２のステップＳ５２では、たとえば、図１４のような境界を特定してもよい。図１４の例では、仮想オブジェクトＯＢ（第２仮想オブジェクト）の上に仮想オブジェクトＯＡ（第１仮想オブジェクト）が重なっている。仮想オブジェクトＯＡにおける仮想オブジェクトＯＢとの重畳部分Ａは、線分Ａａ、Ａｂ、Ａｃ、Ａｄ、およびＡｅで規定される五角形の領域である。

この例では、領域特定部２３３は、仮想オブジェクトＯＡの外形を規定する輪郭線のうち、仮想オブジェクトＯＡと仮想オブジェクトＯＢを区切る輪郭線（仮想カメラ１から見て仮想オブジェクトＯＢに重畳する線分）、すなわち線分Ａａ、Ａｂを特定する。そして、領域特定部２３３は、図１４の（ａ）に示すように、線分Ａａ、Ａｂのうち、仮想オブジェクトＯＢとの重なり部分が最も長い線分Ａａを含む直線ＬＡを特定する。直線ＬＡは、仮想オブジェクトＯＡの外形を構成する４辺のうち、左側の長辺を含む直線であるとも言える。そして、領域特定部２３３は、この直線ＬＡを通る平面を判定領域ＪＡと判定領域ＪＢとの境界と特定する。この平面は、仮想カメラ１のロール方向（図３のｗ軸方向であり、基準視線５の方向でもある）と平行であることが望ましい。これにより、仮想カメラ１から仮想オブジェクトＯＡが見える部分には判定領域ＪＡを設定し、仮想カメラ１から仮想オブジェクトＯＢが見える部分には判定領域ＪＢを設定することができる。

境界を特定した領域特定部２３３は、図１４の（ｂ）に示すように、仮想オブジェクトＯＡの周囲全周に特定されていた判定領域ＪＡ（図１３参照）のうち、直線ＬＡよりも左側（仮想オブジェクトＯＡの外側）の部分を排除する。つまり、領域特定部２３３には、直線ＬＡよりも左側の部分は判定領域ＪＡではないとみなす。これにより、判定領域ＪＡは、直線ＬＡよりも右側（仮想オブジェクトＯＡ側）の部分が残る。つまり、領域特定部２３３は、仮想カメラ１から見て重畳部分Ａに重畳する判定領域は、仮想オブジェクトＯＢよりも前面に位置する仮想オブジェクトＯＡの判定領域ＪＡ（第１領域）に設定する。このようにして設定された判定領域ＪＡは、仮想カメラ１から見た平面内において、直線ＬＡよりも仮想オブジェクトＯＢ側には重畳していない。

一方、領域特定部２３３は、仮想オブジェクトＯＢの判定領域ＪＢについては、直線ＬＡよりも右側（重畳部分Ａ側）の部分を排除する。つまり、領域特定部２３３は、直線ＬＡよりも右側の部分は判定領域ＪＢではないとみなす。これにより、判定領域ＪＢには、直線ＬＡよりも左側（仮想オブジェクトＯＢ側）の部分が残る。つまり、領域特定部２３３は、仮想オブジェクトＯＡよりも背後に位置する仮想オブジェクトＯＢについては、仮想カメラ１から見て重畳部分Ａに重畳しない判定領域ＪＢ（第２領域）を設定する。このようにして設定された判定領域ＪＢは、仮想カメラ１から見た平面内において、直線ＬＡよりも仮想オブジェクトＯＡ側には重畳していない。

このように、領域特定部２３３は、複数の仮想オブジェクトが重なっている場合に、それら複数の仮想オブジェクトの判定領域が重畳しないように調整するので、ユーザは意図通りの仮想オブジェクトを直感的に選択することができる。

図１４の例では、線分Ａｂを通る境界は特定していないが、領域特定部２３３は、線分
Ａｂを通る境界を特定してもよい。図１５の例では、図１５の（ａ）に示すように、領域特定部２３３は、線分Ａａを通る半直線ＬＢと、線分Ａｂを通る半直線ＬＣを境界としている。この場合、図１５の（ｂ）に示すように、領域特定部２３３は、仮想オブジェクトＯＡの判定領域ＪＡのうち、半直線ＬＢよりも左側の部分と、半直線ＬＣよりも下側の部分は排除し、半直線ＬＢよりも右側かつ半直線ＬＣよりも上側の部分を残している。一方、領域特定部２３３は、仮想オブジェクトＯＢの判定領域ＪＢについては、半直線ＬＢよりも右側の部分と、半直線ＬＣよりも上側の部分は排除し、半直線ＬＢよりも左側かつ半直線ＬＣよりも下側の部分を残している。

図１４の例は、図１５の例と比べて境界の数が少ないため、判定領域の特定に要する演算処理の負荷が少なく済むという利点がある。一方、図１５の例は、図１４の例と比べて、仮想オブジェクトＯＢについて、その上方や側方から仮想手を近付けて選択することが容易になると共に、その下方から仮想手を近付けて選択することも容易になるという利点がある。なお、図１１の例のように、その下側を仮想左手ＯＬで把持した仮想オブジェクトＯＡおよび仮想オブジェクトＯＢを仮想右手で選択する場合、これらの仮想オブジェクトの下方の判定領域は、仮想左手ＯＬの位置と重なるため重要度が低い。このため、この場合には、図１４の例のように、仮想オブジェクトＯＡの下側の短辺に沿った境界の特定は行わないことが好ましい。

（判定領域の設定例（重複排除後））
図１６には、広げた状態で仮想左手ＯＬに把持されたカード型の仮想オブジェクトＯＡ〜ＯＤについて、領域特定部２３３が判定領域ＪＡ〜ＪＤを設定した例を示している。仮想オブジェクトＯＡは、４つの仮想オブジェクトのうち、最も手前（仮想カメラ１側）に位置しており、仮想オブジェクトＯＢ、ＯＣ、ＯＤの順で位置が奥側（仮想カメラ１から遠い側）となる。

この例では、領域特定部２３３は、仮想オブジェクトＯＡと仮想オブジェクトＯＢの境界を、仮想オブジェクトＯＡの左側の長辺を通る平面と特定し、該平面より右側の領域を仮想オブジェクトＯＡの判定領域ＪＡに設定する。また、領域特定部２３３は、仮想オブジェクトＯＢと仮想オブジェクトＯＣの境界を、仮想オブジェクトＯＢの左側の長辺を通る平面と特定し、該平面より右側であり、かつ仮想オブジェクトＯＡと仮想オブジェクトＯＢの境界である平面よりも左側の領域を仮想オブジェクトＯＢの判定領域ＪＢに設定する。領域特定部２３３は、仮想オブジェクトＯＣについても同様に、仮想オブジェクトＯＣの左側の長辺を通る平面より右側であり、かつ仮想オブジェクトＯＢと仮想オブジェクトＯＣの境界である平面よりも左側の領域を仮想オブジェクトＯＣの判定領域ＪＣに設定する。領域特定部２３３は、仮想オブジェクトＯＤについては、仮想オブジェクトＯＣと仮想オブジェクトＯＤの境界である平面よりも左側の領域を仮想オブジェクトＯＤの判定領域ＪＤに設定する。なお、判定領域間の境界となる前記平面は、前述のように、仮想カメラ１のロール方向（図３のｗ軸方向であり、基準視線５の方向でもある）と平行であることが望ましい。

ユーザは、右コントローラ３２０の現実空間における位置を移動させることにより、仮想空間２における仮想右手ＯＲを移動させることができる。そして、ユーザは、仮想右手ＯＲを仮想オブジェクトＯＡ〜ＯＤのうち所望の仮想オブジェクトに近付けて、仮想オブジェクトを掴む操作を右コントローラ３２０に対して行うことにより、所望の仮想オブジェクトを選択することができる。

（仮想オブジェクトを選択する際の処理）
判定領域を設定した後、ユーザが仮想オブジェクトを選択する際の処理を図１７に基づいて説明する。ステップＳ６０において、コントローラセンサ１４０は、右コントローラ
３２０の位置および傾き、ならびに、左コントローラ３３０の位置および傾きをそれぞれ検出する。ステップＳ６１において、コントローラセンサ１４０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。

ステップＳ６２において、仮想手制御部２３２は、受信した各検出値を用いて、ユーザの各仮想手（仮想右手および仮想左手）の仮想空間２における位置および傾きを更新する。具体的には、仮想空間２における仮想右手の位置を、グローバル座標系における右コントローラ３２０の現在位置に更新する。また、仮想手制御部２３２は、右コントローラ３２０の傾きの検出値に基づき、仮想空間２内における仮想右手の傾きを更新する。同様に、仮想手制御部２３２は、左コントローラ３３０の各検出値に基づき、仮想空間２における仮想左手の位置および傾きを更新する。ステップＳ６３において、視界画像生成部２２３は、仮想手の位置および傾きが更新された視界画像を生成してＨＭＤ１１０に出力し、ステップＳ６４において、ＨＭＤ１１０は、受信した視界画像をディスプレイ１１２に表示し、これによりユーザが視認する視界画像が更新される。

ステップＳ６５において、接触判定部２３４は、仮想手が仮想オブジェクトに接触したか判定する。具体的には、接触判定部２３４は、図１０のステップＳ４７で設定した判定領域と、仮想空間２において仮想手が占める領域とに重畳部分があるか否かを判定する。なお、仮想手の一部（例えば指先や手のひら）と、判定領域とに重畳部分があるか否かを判定してもよい。また、接触判定部２３４は、仮想手についても判定領域を設定し、仮想手の判定領域と仮想オブジェクトの判定領域とに重畳部分があるか否かを判定してもよい。なお、仮想右手で仮想オブジェクトに触れる場合、ユーザは、右コントローラ３２０を動かす操作（第３操作）を行うことにより、仮想右手を判定領域内まで移動させることができる。

接触判定部２３４が、重畳部分がないと判定した場合（ステップＳ６５においてＮＯ）、処理は図示のフローの冒頭に戻る。一方、接触判定部２３４は、重畳部分があると判定した場合（ステップＳ６５においてＹＥＳ）、コントローラ３００が、ステップＳ６６において検出し、ステップＳ６７において送信した、各ボタンの押下状態を示す各検出値に基づき、掴む操作を検出したか否かを判定する（ステップＳ６８）。どのような操作を掴む操作とするかは特に限定されないが、たとえば仮想手の親指と、人差し指および中指とが接触するまで各指に対応するボタンを押下する操作を掴む操作としてもよい。

接触判定部２３４が、掴む操作が行われていないと判定した場合（ステップＳ６８においてＮＯ）、処理は図示のフローの冒頭に戻る。一方、接触判定部２３４は、掴む操作が行われたと判定した場合（ステップＳ６８においてＹＥＳ）、仮想オブジェクトが掴まれたと判定する（ステップＳ６９）。仮想オブジェクトが掴まれたと判定した後の処理は、ゲーム内容に応じたものとすればよい。たとえば、掴まれた仮想オブジェクトと、掴んだ仮想手とを関連付けて、仮想手が移動したときには仮想オブジェクトも仮想手と連動して移動させてもよい。この関連付けは、たとえば、仮想手によって仮想オブジェクトを掴んでいる状態が解除された（掴んでいる指を伸ばす操作が行われた）ときに解消してもよい。

〔変形例〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することもできる。

前記実施形態では、領域特定部２３３が、各仮想オブジェクトに判定領域を設定した後
、設定した判定領域間で重畳部分が生じないように調整する（重畳部分を排除する）例を示したが、重畳しない判定領域を設定する方法はこの例に限られない。例えば、領域特定部２３３は、まず仮想オブジェクト間の境界を特定し、特定した境界を超えないように（各仮想オブジェクトについて、仮想カメラ１から見える部分から判定領域を延在させ、他の仮想オブジェクト上には延在させないように）各仮想オブジェクトの判定領域を設定してもよい。

ユーザが操作する仮想オブジェクトは、ユーザの頭部以外の身体の一部の動きに連動して仮想空間２内を移動するものであればよく、仮想手に限られない。たとえば、仮想空間２内の敵キャラクタ（仮想オブジェクト）と、武器を使って戦うゲームであれば、武器がユーザの操作する仮想オブジェクトとなる。

どのような仮想オブジェクトの判定領域を特定するかも特に限定されず、仮想空間２中の全ての仮想オブジェクトの判定領域を特定してもよいし、一部の仮想オブジェクトの判定領域を特定してもよい。また、仮想オブジェクトの形状も特に限定されない。なお、仮想空間２に占める体積が大きい仮想オブジェクトは、判定領域を特定するまでもなくユーザが容易に選択できるので、体積が閾値以下の仮想オブジェクト、あるいは厚さが閾値以下の仮想オブジェクトについてのみ判定領域を特定してもよい。

また、仮想オブジェクトとの接触による操作をＭＲ等に適用することによって仮想体験を提供する場合には、操作対象オブジェクトに換えてユーザの実際の頭部以外の身体の一部を物理的・光学的手法等によって検知し、当該身体の一部と仮想オブジェクトの位置関係に基づいて、当該身体の一部と仮想オブジェクトとの接触を判定してもよい。なお、透過型ＨＭＤを用いて仮想体験を提供する場合には、ユーザの基準視線は、非透過型ＨＭＤと同様に、ＨＭＤの動き、または、ユーザの視線を検知することによって特定してもよい。仮想オブジェクトに対する判定領域の設定方法、および設定した判定領域に基づく、ユーザの体の一部と仮想オブジェクトと接触の判定方法等は上記実施形態で説明した方法と同様である。

〔ソフトウェアによる実現例〕
制御回路部２００の制御ブロック（検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。

後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（又はＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。

（項目１）頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、前記仮想空間に配置された、第１仮想オブジェクトと第２仮想オブジェクトを少なくとも含む複数の仮想オブジェクトを特定するとともに、前記ユーザの頭部以外の身体の一部の動きに連動して動作する操作対象オブジェクトを前記仮想空間に配置するステップと、前記ユーザの前記仮想空間における基準視線を特定するステップと、前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、前記第１仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するための、前記第１仮想オブジェクトに関連付けられる第１領域と、前記第２仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するための、前記第２仮想オブジェクトに関連付けられる第２領域とをそれぞれ設定するステップと、前記第１領域または前記第２領域と前記操作対象オブジェクトとの位置関係に基づいて、前記第１仮想オブジェクトまたは前記第２仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するステップと、を含み、前記第１仮想オブジェクトは、前記仮想カメラから見て前記第２仮想オブジェクトと重畳しかつ前記第２仮想オブジェクトの前面に位置する重畳部分を含み、前記仮想カメラから見て前記重畳部分と重畳する前記第１領域と、前記仮想カメラから見て前記重畳部分と重畳しない前記第２領域とをそれぞれ設定する、方法。第２仮想オブジェクトよりも前面側である、第１仮想オブジェクトにおける重畳部分には、該重畳部分と重畳する第１領域を設定し、第２領域は重畳部分に重畳しないように設定するから、ユーザが、直感的な操作によって、所望の仮想オブジェクトと接触することを可能にすることができる。

（項目２）前記第１領域は、前記ヘッドマウントディスプレイのヨー方向において、前記第１仮想オブジェクトよりも上側に位置する部分を含む、項目１に記載の方法。ユーザは、第１仮想オブジェクトの上側から、前記操作対象オブジェクトを第１仮想オブジェクトに容易に接触させることができる。

（項目３）前記第２領域は、前記ヘッドマウントディスプレイのヨー方向において、前記第２仮想オブジェクトよりも上側に位置する部分を含む、項目１または２に記載の方法。ユーザは、第２仮想オブジェクトの上側から、前記操作対象オブジェクトを第２仮想オブジェクトに容易に接触させることができる。

（項目４）前記第１仮想オブジェクトの外形を規定しかつ前記仮想カメラから見て前記第２仮想オブジェクトに重畳する線分を特定するステップをさらに含み、前記線分に基づいて前記第１領域および第２領域を設定する、項目１または２に記載の方法。前記線分は、第１仮想オブジェクトの外形を規定しかつ仮想カメラから見て第２仮想オブジェクトに重畳する線分であり、仮想カメラから見て、第１仮想オブジェクトと第２仮想オブジェクトの境目となっているから、第１領域および第２領域を適切に設定することができる。

（項目５）複数の異なる前記線分が特定された場合、最も長い前記線分に基づいて前記第１領域および前記第２領域を設定する、項目４に記載の方法。複数の線分に基づいて第１領域および第２領域を設定する場合と比べて、第１領域および第２領域の設定に要する演算量を低く抑えつつ、第１領域および第２領域を概ね適切に設定することができる。

（項目６）前記仮想カメラから見て、前記線分よりも前記第２仮想オブジェクト側には重畳しない前記第１領域と、前記仮想カメラから見て、前記線分よりも前記第１仮想オブジェクト側には重畳しない前記第２領域とを設定する、項目４または５に記載の方法。ユーザは、仮想カメラから見て、前記線分よりも第２仮想オブジェクト側に操作対象オブジェクトを近付けることにより第２仮想オブジェクトに触れることができ、前記線分よりも第１仮想オブジェクト側に操作対象オブジェクトを近付けることにより第１仮想オブジェクトに触れることができる。よって、ユーザは、直感的な操作により、操作対象オブジェ
クトを所望の仮想オブジェクトに触れさせることができる。

（項目７）前記操作対象オブジェクトは、前記ユーザの一方の手の動きに連動して動作する第１仮想手と、前記ユーザの他方の手の動きに連動して動作する第２仮想手を含み、前記第１仮想手に対する前記ユーザによる第１操作に基づいて、前記第１仮想手に関連付けて前記第１仮想オブジェクトと前記第２仮想オブジェクトとを前記仮想カメラから見て重畳させて配置するステップと、前記第１操作よりも後の、前記第１仮想手に対する前記ユーザによる第２操作に基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトの少なくとも１つを移動させることによって、前記重畳部分の面積を狭くするステップと、をさらに含み、前記第２操作よりも後の、前記第２仮想手に対する前記ユーザによる第３操作に基づいて、前記第１仮想オブジェクトまたは前記第２仮想オブジェクトと前記第２仮想手との接触を判定する、項目１〜６の何れかに記載の方法。ユーザは、第１仮想手に対する第１操作、第１仮想手に対する第２操作、および第２仮想手に対する第３操作をこの順番に行うことにより、複数の仮想オブジェクトのうち、所望のオブジェクトに第２仮想手で触れることができる。

（項目８）頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、第１仮想オブジェクトと第２仮想オブジェクトを少なくとも含む複数の仮想オブジェクトを特定するステップと、前記ユーザの頭部以外の身体の一部の位置を特定するステップと、前記ユーザの基準視線を特定するステップと、前記第１仮想オブジェクトと前記身体の一部との接触を判定するための、前記第１仮想オブジェクトに関連付けられる第１領域と、前記第２仮想オブジェクトと前記身体の一部との接触を判定するための、前記第２仮想オブジェクトに関連付けられる第２領域とをそれぞれ設定するステップと、前記第１領域または前記第２領域と前記身体の一部との位置関係に基づいて、前記第１仮想オブジェクトまたは前記第２仮想オブジェクトと前記身体の一部との接触を判定するステップと、を含み、前記第１仮想オブジェクトは、前記ユーザから見て前記第２仮想オブジェクトと重畳しかつ前記第２仮想オブジェクトの前面に位置する重畳部分を含み、前記ユーザから見て前記重畳部分と重畳する前記第１領域と、前記ユーザから見て前記重畳部分と重畳しない前記第２領域とをそれぞれ設定する、方法。第２仮想オブジェクトよりも前面側である、第１仮想オブジェクトにおける重畳部分には、該重畳部分と重畳する第１領域を設定し、第２領域は重畳部分に重畳しないように設定するから、ユーザが、直感的な操作によって、所望の仮想オブジェクトと接触することを可能にすることができる。

（項目９）項目１〜８のいずれか１つの方法の各ステップを、コンピュータに実行させるプログラム。

（項目１０）項目９のプログラムを記録したコンピュータ読み取り可能な記録媒体。

１仮想カメラ、２仮想空間、５基準視線、２１中心、２２仮想空間画像、２３
視界領域、２４第１領域、２５第２領域、２６視界画像、２７基準位置、１００ＨＭＤシステム、１１０ＨＭＤ、１１２ディスプレイ、１１４、３０６センサ、１２０ＨＭＤセンサ、１３０注視センサ、１４０コントローラセンサ、２００制御回路部、２１０検出部、２１１ＨＭＤ検出部、２１２視線検出部、２１３コントローラ検出部、２２０表示制御部、２２１仮想カメラ制御部、２２２視界領域決定部、２２３視界画像生成部、２３０仮想空間制御部、２３１仮想空間規定部、２３２仮想手制御部、２３３領域特定部、２３４接触判定部、２４０記憶部、２４１雛形格納部、２４２コンテンツ格納部、２５０通信部、３００コントローラ、３０２操作ボタン、３０２ａ〜３０２ｄ親指ボタン、３０２ｅ、３０２ｇ人差し指ボタン、３０２ｆ、３０２ｈ中指ボタン、３０２ｉ、３０２ｊアナログスティック
、３２０右コントローラ、３２２、３３２天面、３２４、３３４グリップ、３２６
フレーム、３３０左コントローラ、ＯＲ仮想右手、ＯＬ仮想左手

Claims

頭部にヘッドマウントディスプレイを装着したユーザに仮想空間を提供する方法であって、
前記仮想空間に配置された、第１仮想オブジェクトと第２仮想オブジェクトを少なくとも含む複数の仮想オブジェクトを特定するとともに、前記ユーザの頭部以外の身体の一部の動きに連動して動作する操作対象オブジェクトを前記仮想空間に配置するステップと、
前記ユーザの前記仮想空間における基準視線を特定するステップと、
前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、
前記第１仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するための、前記第１仮想オブジェクトに関連付けられる第１領域と、前記第２仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するための、前記第２仮想オブジェクトに関連付けられる第２領域とをそれぞれ設定するステップと、
前記第１領域または前記第２領域と前記操作対象オブジェクトとの位置関係に基づいて、前記第１仮想オブジェクトまたは前記第２仮想オブジェクトと前記操作対象オブジェクトとの接触を判定するステップと、を含み、
前記第１仮想オブジェクトは、前記仮想カメラから見て前記第２仮想オブジェクトと重畳しかつ前記第２仮想オブジェクトの前面に位置する重畳部分を含み、
前記仮想カメラから見て前記重畳部分と重畳する前記第１領域と、前記仮想カメラから見て前記重畳部分と重畳しない前記第２領域とをそれぞれ設定する、方法。
前記第１領域は、前記ヘッドマウントディスプレイのヨー方向において、前記第１仮想オブジェクトよりも上側に位置する部分を含む、請求項１に記載の方法。
前記第２領域は、前記ヘッドマウントディスプレイのヨー方向において、前記第２仮想オブジェクトよりも上側に位置する部分を含む、請求項１または２に記載の方法。
前記第１仮想オブジェクトの外形を規定しかつ前記仮想カメラから見て前記第２仮想オブジェクトに重畳する線分を特定するステップをさらに含み、
前記線分に基づいて記第１領域および第２領域を設定する、請求項１または２に記載の方法。
複数の異なる前記線分が特定された場合、最も長い前記線分に基づいて前記第１領域および前記第２領域を設定する、請求項４に記載の方法。
前記仮想カメラから見て、前記線分よりも前記第２仮想オブジェクト側には重畳しない前記第１領域と、前記仮想カメラから見て、前記線分よりも前記第１仮想オブジェクト側には重畳しない前記第２領域とを設定する、請求項４または５に記載の方法。
前記操作対象オブジェクトは、前記ユーザの一方の手の動きに連動して動作する第１仮想手と、前記ユーザの他方の手の動きに連動して動作する第２仮想手を含み、
前記第１仮想手に対する前記ユーザによる第１操作に基づいて、前記第１仮想手に関連付けて前記第１仮想オブジェクトと前記第２仮想オブジェクトとを前記仮想カメラから見て重畳させて配置するステップと、
前記第１操作よりも後の、前記第１仮想手に対する前記ユーザによる第２操作に基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトの少なくとも１つを移動させることによって、前記重畳部分の面積を狭くするステップと、をさらに含み、
前記第２操作よりも後の、前記第２仮想手に対する前記ユーザによる第３操作に基づいて、前記第１仮想オブジェクトまたは前記第２仮想オブジェクトと前記第２仮想手との接
触を判定する、請求項１〜６の何れか１項に記載の方法。
頭部にヘッドマウントディスプレイを装着したユーザに仮想体験を提供する方法であって、
第１仮想オブジェクトと第２仮想オブジェクトを少なくとも含む複数の仮想オブジェクトを特定するステップと、
前記ユーザの頭部以外の身体の一部の位置を特定するステップと、
前記ユーザの基準視線を特定するステップと、
前記第１仮想オブジェクトと前記身体の一部との接触を判定するための、前記第１仮想オブジェクトに関連付けられる第１領域と、前記第２仮想オブジェクトと前記身体の一部との接触を判定するための、前記第２仮想オブジェクトに関連付けられる第２領域とをそれぞれ設定するステップと、
前記第１領域または前記第２領域と前記身体の一部との位置関係に基づいて、前記第１仮想オブジェクトまたは前記第２仮想オブジェクトと前記身体の一部との接触を判定するステップと、を含み、
前記第１仮想オブジェクトは、前記ユーザから見て前記第２仮想オブジェクトと重畳しかつ前記第２仮想オブジェクトの前面に位置する重畳部分を含み、
前記ユーザから見て前記重畳部分と重畳する前記第１領域と、前記ユーザから見て前記重畳部分と重畳しない前記第２領域とをそれぞれ設定する、方法。
請求項１〜８のいずれか１項に記載の方法の各ステップを、コンピュータに実行させるプログラム。
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。