JP2017033465A - 方法、および、プログラム - Google Patents

Abstract

【課題】三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。
【解決手段】ユーザが没入する仮想空間をコンピュータに提供させる方法であって、ユーザが没入する仮想空間を構成する仮想空間画像のうち、ユーザが視認する視界画像を生成するステップと、ユーザの視線方向に基づいて、対象オブジェクトを特定するステップと、ユーザが注視する注視点を検出するステップと、注視点と対象オブジェクトの視線方向における位置に応じて、対象オブジェクトの描画レベルを決定するステップと、を含む方法。
【選択図】図１０

Description

本発明は、ユーザが没入する仮想空間をコンピュータに提供させる方法およびプログラムに関するものである。

特許文献１には、ユーザの頭部に装着され、ユーザの右目及び左目に右目用画像および左目用画像を表示することによって、ユーザに三次元仮想空間を提供するヘッドマウント・ディスプレイ（ＨＭＤ）が開示されている。また、特許文献２には、ＨＭＤを装着するユーザの視点変化に基づいて三次元仮想空間画像をリアルタイムに更新する手法として、リアルタイムレンダリングの手法を採用することが開示されている。

特開平８−００６７０８号公報 特開２００４−０１３３２６号公報

三次元仮想空間画像を提供するためには、右目用画像および左目用画像を生成する必要がある。従って、高画質な三次元仮想空間画像を提供する場合には、各画像を生成するためのレンダリング負荷が大きくなる。特に、ユーザの視点変化に基づいてリアルタイムに三次元仮想空間画像を更新する場合に顕著となる。本発明は、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減することを目的とする。

本発明によれば、ユーザが没入する仮想空間をコンピュータに提供させる方法であって、前記ユーザが没入する仮想空間を構成する仮想空間画像のうち、前記ユーザが視認する視界画像を生成するステップと、前記ユーザの視線方向に基づいて、対象オブジェクトを特定するステップと、前記ユーザが注視する注視点を検出するステップと、前記注視点と前記対象オブジェクトの前記視線方向における位置に応じて、前記対象オブジェクトの描画レベルを決定するステップと、を含む方法。が得られる。

本発明によれば、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。

本発明の実施形態によるＨＭＤシステムを示す図である。 ＨＭＤを装着しているユーザの頭部を中心に規定される３次元空間上の直交座標系を示す。 仮想空間と実空間の配置位置の対応関係の一例を示すＸＹＺ空間図である。 仮想空間と実空間の配置位置の対応関係の一例を示すＸＺ平面図である。 ＨＭＤシステムの機能を実現するための、制御回路部の機能を示すブロック図である。 視線方向を決定する方法の一例を示す図である。 視界領域を示す３次元の模式図である。 視界領域をＸ方向から見たＹＺ面図である。 視界領域をＹ方向から見たＸＺ面図である。 視界画像を説明するための図である。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 ＨＭＤシステムの機能を実現するための処理を示すフローチャートである。 仮想空間における対象オブジェクトの描画レベルを決定する方法を説明するための図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態による方法、および、プログラムは、以下のような構成を備える。
（項目１）
ユーザが没入する仮想空間をコンピュータに提供させる方法であって、
前記ユーザが没入する仮想空間を構成する仮想空間画像のうち、前記ユーザが視認する視界画像を生成するステップと、
前記ユーザの視線方向に基づいて、対象オブジェクトを特定するステップと、
前記ユーザが注視する注視点を検出するステップと、
前記注視点と前記対象オブジェクトの前記視線方向における位置に応じて、前記対象オブジェクトの描画レベルを決定するステップと、を含む方法。
本項目の方法によれば、ユーザが注視する注視点の近くにオブジェクトが配置されているか否かに応じて、当該オブジェクトの描画レベルを決定するので、注視点の近くに配置されたオブジェクトに描画負荷を集中させることが可能となる。これにより、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。
（項目２）
前記注視点を含む前記視線方向の第１範囲と、
前記注視点に対し、前記視線方向において前記第１範囲より遠い第２範囲と、を特定するステップをさらに含み、
前記対象オブジェクトの前記位置が前記第１範囲に含まれる場合には、前記対象オブジェクトを第１レベルで描画し、
前記対象オブジェクトの前記位置が前記第２範囲に含まれる場合には、前記対象オブジェクトを前記第１レベルより描画レベルの低い第２レベルで描画するように描画レベルを決定する、項目１の方法。
本項目の方法によれば、注視点の視線方向における位置に応じて所定の範囲を設定し、当該範囲に応じた描画レベルが設定されるので、レンダリング負荷をさらに軽減し得る。
（項目３）
前記視線方向に基づいて、前記ユーザが注視する範囲であって、前記視線方向に交差する面内に広がりを有する注視範囲を特定するステップをさらに備え、
前記注視範囲内に配置されたオブジェクトを前記対象オブジェクトとして特定する、項目１または２の方法。
本項目の方法によれば、ユーザの視線方向に基づいて、当該視線方向に交差する面内に広がりを有する注視範囲を設定することにより、描画レベルが決定される対象オブジェクトをさらに限定し得る。これにより、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。
（項目４）
前記注視範囲の前記視線方向に交差する面内における広がりは、前記注視点に近いほど狭い、項目３の方法。
本項目の方法によれば、注視範囲をさらに限定的に設定することにより、描画レベルが決定される対象オブジェクトをさらに限定し得る。これにより、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。
（項目５）
前記注視点を含む前記視線方向の第１範囲と、
前記注視点に対し、前記視線方向において前記第１範囲より遠い第２範囲と、を特定するステップをさらに含み、
前記対象オブジェクトの前記位置が前記第１範囲に含まれる場合には、前記対象オブジェクトを第１レベルで描画し、
前記対象オブジェクトの前記位置が前記第２範囲に含まれる場合には、前記対象オブジェクトを前記第１レベルより描画レベルの低い第２レベルで描画し、
前記注視範囲外に配置されたオブジェクトは、前記第１レベルおよび前記第２レベルより描画レベルの低い第３レベルで描画するように描画レベルを決定する、項目３または４の方法。
本項目の方法によれば、注視範囲外に配置されたオブジェクトの描画レベルを低く設定することにより、レンダリング負荷をさらに軽減し得る。
（項目６）
項目１〜５のいずれかの方法をコンピュータに実行させるプログラム。

［本発明の実施形態の詳細］
本発明の実施形態に係る方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態にかかるＨＭＤ１１０を備えるＨＭＤシステム１００を示す。ＨＭＤシステム１００は、ユーザの頭部に装着されるＨＭＤ１１０と、制御回路部１２０と、傾きセンサ１３０と、注視センサ１４０を備える。

ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２と、センサ部１１４と、注視センサ１４０を含む。制御回路部１２０はディスプレイ１１２に右目用画像と左目用画像を表示することにより、両目の視差を利用した３次元画像を仮想空間として提供する。ディスプレイ１１２がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。仮想空間は、背景やユーザが操作可能な各種オブジェクト、メニュー画像等を含む。

ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

注視センサ１４０は、ユーザの右目および左目の視線が向けられる方向を検出するアイトラッキング機能を有する。注視センサ１４０は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線が向けられる方向を検出することにより、ユーザが注視する視線方向を検知する。注視センサ１４０はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めることとしても良い。

制御回路部１２０は、ＨＭＤ１１０に接続されるコンピュータであり、ディスプレイ１１２に仮想空間を提供し、当該仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御するように処理を実行する。制御回路部１２０は、そのような動作の実行を制御するプログラムを格納する。制御回路部１２０はＨＭＤ１１０に搭載されていなくてもよく、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部１２０は、一部の機能のみをＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。

傾きセンサ１３０は、ＨＭＤ１１０の位置や動きに関する情報を検出する。傾きセンサ１３０は、センサ部１１４と、検知部１３２を含む。センサ部１１４は、複数の光源を含んでもよい。光源は、例えば赤外線を発するＬＥＤである。検知部１３２は例えば赤外線センサであり、光源からの赤外線をＨＭＤ１１０の検知点として検知することで、ユーザの動きに応じたＨＭＤ１１０の現実空間内における角度に関する情報を経時的に検出する。そして、検知部１３２により検出された情報の経時的変化に基づいて、ＨＭＤ１１０の角度の時間変化を決定し、ＨＭＤ１１０の位置や動きに関する情報を検知することができる。

傾きセンサ１３０によって取得される角度に関する情報を、図２を参照して説明する。ＨＭＤ１１０を装着したユーザの頭部を中心として、ＸＹＺ軸を規定する。ユーザが直立する垂直方向をＹ軸とし、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ前後方向をＺ軸とし、Ｙ軸およびＺ軸と直交する横方向をＸ軸とする。そして各軸周りのＨＭＤ１１０の傾き角度θｘ（いわゆるピッチ角），θｙ（いわゆるヨー角），θｚ（いわゆるロール角）を検出し、それらの経時的な変化により、ＨＭＤ１１０の位置や動きに関する情報を検知することができる。

傾きセンサ１３０は、ディスプレイ１１２の近くに固定されたセンサ部１１４と、検知部１３２の、一方のみから構成されてもよい。センサ部１１４が、地磁気センサ、加速度センサ、角速度（ジャイロ）センサであってもよく、これらの少なくとも１つを用いて、ユーザの頭部に装着されたＨＭＤ１１０（特に、ディスプレイ１１２）の傾きを検出する。これにより、ＨＭＤ１１０の位置や動きに関する情報を検出することができる。例えば、角速度センサは、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検出し、各軸回りの角度（傾き）の時間変化を決定することができる。この場合には、検知部１３２は不要である。また、検知部１３２は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてＨＭＤ１１０の位置や動きに関する情報を検出することができ、センサ部１１４は不要である。

傾きセンサ１３０を用いてＨＭＤの位置や動きに関する情報を検出する機能をポジション・トラッキングと称する。傾きセンサ１３０によるポジション・トラッキングと、仮想空間２内に配置される仮想カメラ１との関係を図３Ａ，図３Ｂを参照して説明する。仮想カメラ１とセンサ１３０の位置関係を説明するために、以下ではセンサ１３０の位置は、検知部１３２を有する場合には検知部１３２の位置とし、検知部１３２を有しない場合にはセンサ部１１４の位置とする。図３Ａは現実空間内の傾きセンサ１３０と仮想空間２の関係を示す３次元の模式図であり、図３Ｂは現実空間内のセンサ１３０と仮想空間２の関係をＹ方向から見た平面図である。仮想空間２の内部に仮想カメラ１が配置され、および仮想空間２の外部（現実空間）に傾きセンサ１３０が仮想的に配置される。

仮想空間２は、略正方形または略長方形の複数のメッシュ３を有する天球状に形成される。各メッシュは仮想空間２の空間情報が関連付けられており、この空間情報に基づいて後述する視界画像が形成され、視界領域が定義される。本実施形態では、図３Ｂに示すように、ＸＺ面において、天球の中心点２１が仮想カメラ１とセンサ１３０を結ぶ線上に常に配置されるように調整することが好ましい。例えば、ＨＭＤを装着したユーザが移動して仮想カメラ１の位置がＸ方向に移動した場合には、中心２１が仮想カメラ１と傾きセンサ１３０の線分上に位置するように、仮想空間２の領域が変更される。

ＨＭＤシステム１００はいずれかの要素にマイクを含むヘッドホンを備えていても良い。これにより、ユーザは仮想空間内の所定のオブジェクトに、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいても良い。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。

図４は、ＨＭＤシステム１００における仮想空間２の表示処理や、当該仮想空間２内に表示される各種メニュー表示やオブジェクトの操作を実現するための、制御回路部１２０の機能を示す図である。制御回路部１２０は、主に傾きセンサ１３０および注視センサ１４０からの入力に基づいて、ディスプレイ１１２への出力画像を制御する。

制御回路部１２０は、表示制御部２００とオブジェクト制御部３００とを備える。表示制御部２００は、仮想空間画像生成部２１０と、ＨＭＤ動作検出部２２０と、視線検知部２３０と、注視点特定部２４０と、視界領域決定部２５０と、視界画像生成部２６０と、空間情報格納部２７０とを含む。オブジェクト制御部３００は、オブジェクト情報格納部３１０と、仮想カメラ情報格納部３２０と、オブジェクト特定部３３０と、比較部３４０と、描画部３５０と、を含む。

傾きセンサ１３０および注視センサ１４０は、表示制御部２００およびオブジェクト制御部３００と互いに通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。表示制御部２００およびオブジェクト制御部３００は、ディスプレイ１１２と通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。空間情報格納部２７０、オブジェクト情報格納部３１０、および仮想カメラ情報格納部３２０は、傾きセンサ１３０や注視センサ１４０からの入力に対応した出力情報をディスプレイ１１２へ提供するための各種データを含む。

傾きセンサ１３０は、センサ部１１４により経時的に検知される角度情報や、検知部１３２により経時的に検知されるＨＭＤ１１０の角度情報に基づいて、ＨＭＤ１１０の位置や動きに関する情報を、表示制御部２００およびオブジェクト制御部３００に出力する。

仮想空間画像生成部２１０は、空間情報格納部２７０からユーザが没入する仮想空間２に関する情報を読み出し、仮想空間画像を生成する。仮想空間画像はユーザの視線方向によらず所定のゲーム空間を構成するための３６０度パノラマ画像であり、実際にユーザが視認する視界画像よりも低画質に構成される。仮想空間画像は、例えば視界画像の３０％程度のレンダリングレベルとされてもよく、例えば、視界画像を構成するポリゴン数を減少させることにより実現され得る。

ＨＭＤ動作検知部２２０は、傾きセンサ１３０からの入力情報に基づいて、ＨＭＤ１１０の動きを検出する。そして、仮想空間２内におけるＨＭＤ１１０の向きを規定する視野方向を検出する。そして、検出した視野方向を視界領域決定部２５０に出力する。

視線検知部２３０は、注視センサ１４０からの入力情報に基づいて、ユーザの右目および左目の視線が向けられる方向を検出する。そして、右目および左目の視線が向けられる方向に基づいて後述する視線方向を特定する。注視点特定部２４０は、注視センサ１４０からのユーザの視線情報に基づいて、ユーザが注視している注視点を特定する。視線検知部２３０および注視点特定部２４０は、視線方向および注視点に基づいて、注視範囲を特定する。注視範囲はユーザが注視する範囲であり、後述するように、視線方向と交差する面内に広がりを有する範囲として定義され得る。

図５に示すように、注視センサ１４０はユーザＵの右目および左目の視線方向を検知する。ユーザＵが近くを見ている場合には視線Ｒ１およびＬ１が検知され、両者の交点である注視点Ｎ１が特定される。また、ユーザが遠くを見ている場合には、視線Ｒ１およびＬ１よりＺ方向とのなす角が小さい視線Ｒ２およびＬ２が特定される。注視点Ｎ１が特定されると、ユーザＵの視線方向Ｎ０が特定される。視線方向Ｎ０はユーザＵが両目により実際に視線が向けられている方向である。視線方向Ｎ０は、例えばユーザＵの右目Ｒおよび左目Ｌの中心と中心点Ｎ１が通る直線の伸びる方向として定義される。

視界領域決定部２５０は、空間情報格納部２７０に格納された仮想空間情報と、傾きセンサ１３０および注視センサ１４０からの入力情報に基づいて、仮想空間２における仮想カメラ１の視界領域を決定する。視界画像生成部２６０は、当該視界領域に関する情報に基づいて、仮想空間を構成する３６０度パノラマの一部を、視界画像として生成する。視界画像はディスプレイ１１２に出力される。視界画像は左目用と右目用の２つの２次元画像を含み、これらがディスプレイ１１２に重畳されることにより、３次元画像としての仮想空間２がユーザに提供される。

図６Ａ〜Ｃを参照して、視界領域決定部２５０で決定される、仮想空間２の天球面に沿った視界領域２３について説明する。図５Ａは、視界領域２３を示す３次元の模式図であり、図６Ｂは視界領域２３をＸ方向から見たＹＺ面図であり、図６Ｃは視界領域２３をＹ方向から見たＸＺ面図である。図６Ａに示すように、視界領域２３は仮想空間画像２２の一部を構成する。視界領域２３は、後述するように、仮想空間画像２２のうちユーザの視界を構成する部分である。視界領域２３は基準視線５に基づいて定められ、基準視線５は仮想カメラ１の位置および方向に基づいて定められる。本実施形態では、基準視線５はＨＭＤ１１０の向きを規定する視野方向、または、注視センサ１４０により特定された視線方向Ｎ０の少なくとも一方に基づいて定義されることが好ましい。

視界領域２３は、基準視線５と仮想空間画像２２のＹＺ断面によって定義される範囲である第１領域２４（図５Ｂ参照）と、基準視線５と仮想空間画像２２のＸＺ断面によって定義される範囲である第２領域２５（図５Ｃ参照）とを有する。第１領域２４は、基準視線５を中心として極角αを含む範囲として設定される。第２領域２５は、基準視線５を中心として方位角βを含む範囲として設定される。

視界画像生成部２６０は、予め構成された仮想空間画像２２のうち、視界領域２６に相当する領域を、仮想空間画像２２より高画質な視界画像２６として生成する。視界画像２６は、ユーザが仮想空間２内において実際に視認する空間を構成する画像である。図７は視界領域２３に基づいて視界画像２６が生成される様子を示す図である。視界画像２６は、視界領域２３の周囲の所定領域を覆うように生成されることが好ましい。また、視界画像２６は、仮想空間画像２２より高画質な画像として生成されることが好ましい。具体的には、図７に示すように、仮想空間画像２２を構成する画像より、視界画像２６を構成する画像のポリゴン数を増加させることによってレンダリングレベルを向上させることによって高画質化してもよいし、仮想空間画像２２にテクスチャマッピングを施すことによって高画質化してもよい。

オブジェクト制御部３００では、オブジェクト情報格納部３１０に格納された仮想空間内のオブジェクト情報と、傾きセンサ１３０および注視センサ１４０からのユーザ指令に基づいて、操作対象となるオブジェクトを特定する。そして、操作対象オブジェクトへの所定のユーザ操作指令に基づいて、仮想カメラ情報格納部３２０に格納された仮想カメラ情報を調整する。調整された仮想カメラ情報を表示制御部２００に出力し、視界画像が調整される。また、所定のユーザ操作指令に対応する操作を操作対象オブジェクトへ実施し、オブジェクト制御情報をディスプレイ１１２および表示制御部２００に出力する。

オブジェクト制御部３００は、オブジェクト特定部３３０と、比較部３４０と、描画部３５０と、を含む。オブジェクト特定部３３０は、視線検知部２３０および注視点特定部２４０によって特定された視線方向、または、注視範囲に基づいて、対象オブジェクトを特定する。比較部３４０は、当該対象オブジェクトと注視点の視線方向における位置座標を比較する。仮想空間２内における各オブジェクトの位置座標は、オブジェクト格納部３１０に格納されている。描画部３５０は、比較部３４０による比較結果に基づいて対象オブジェクトの描画レベルを決定し、当該情報を視界画像生成部２６０に送信することによって、所定の描画レベルで描画された対象オブジェクトがディスプレイ１１２に表示される。

なお、制御回路部１２０の各機能を実現するためのハードウェア要素は、ＣＰＵ、メモリ、その他の集積回路で構成することができる。そして、メモリにロードされたソフトウェア要素としての各種プログラムによって各機能が実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される。

図８を参照して、仮想空間画像２２および基準視線５に基づいて視界画像２６を生成するための、ＨＭＤシステム１００の処理フローを説明する。また、図９を参照して、注視点と対象オブジェクトの視線方向における位置に応じて、対象オブジェクトの描画レベルを決定するための、ＨＭＤシステム１００の処理フローを説明する。当該視界画像生成処理は、ＨＭＤ１１０（注視センサ１４０、傾きセンサ１３０）および制御回路部１２０の相互作用によって実現され得る。

まず、制御回路部１２０（仮想空間画像生成部２１０）はユーザが没入する仮想空間２を提供するために仮想空間画像２２を生成する（Ｓ１２０−１）。ユーザからＨＭＤに移動や傾きといった動作が入力されると（Ｓ１１０−１）、傾きセンサ１３０によってＨＭＤ１１０の位置や傾きが検知される（Ｓ１３０−１）。傾きセンサ１３０の検知情報は制御回路部１２０に送信され、ＨＭＤ動作検出部２２０により、ＨＭＤ１１０の位置情報や傾き情報が決定される。これにより、ＨＭＤ１１０の位置情報や傾き情報に基づく視界方向が決定される（Ｓ１２０−２）。

注視センサ１４０がユーザの左右の目の眼球の動きを検出すると（Ｓ１４０−１）、当該情報が制御回路部１２０に送信さる。制御回路部１２０の視線方向検知部２３０が左右の目の視線が向けられる方向を特定すると、注視点特定部２４０がユーザの注視点を特定し、視線方向が特定される（Ｓ１２０−３）。

視界領域決定部２５０は、視界方向または視線方向に基づいて、基準視線５を特定する（Ｓ１２０−４）。視界領域決定部２５０は、基準視線５に基づいて視界領域２３（第１領域２４および第２領域２５）を決定する（Ｓ１２０−５）。視界画像生成部２６０は、視界領域２３に基づいて視界画像２６を生成する（Ｓ１２０−６）。前述のように、視界画像２６は仮想空間画像２２のうち視界領域２３に相当する領域を高画質化することによって生成される。ＨＭＤ１１０は、視界画像２６に関する情報を制御回路部１２０から受信して、ディスプレイ１１２に視界画像２６を表示させる（Ｓ１１０−２）。

また、視線方向検知部２３０が左右の目の視線が向けられる方向を特定することによって視線方向が特定される（Ｓ１２０−３）、図９，図１０に示すように、注視範囲Ｎ２が特定される（Ｓ２２０−１）。注視範囲Ｎ２はユーザが注視点Ｇ１を注視した際に主に視界に入る範囲であり、注視点Ｎ１および視線方向Ｎ０に基づいて特定される。注視範囲Ｎ２は視線方向Ｎ０に交差する面内に広がりを有する範囲として設定されており、本実施形態では、注視範囲Ｎ２は視線方向Ｎ０に交差する面内に広がりは、注視点Ｎ１に近いほど狭くなるように設定されている。

次に、ユーザの視線方向Ｎ０に基づいて、本実施形態において描画レベルが調整される対象オブジェクトを特定する。本実施形態では、注視範囲Ｎ２内に含まれるオブジェクトＯ１〜Ｏ３を対象オブジェクトとして特定する（Ｓ２２０−２）。オブジェクトＯ４は注視範囲Ｎ２外であって、視界画像２６の領域内に配置されている。

対象オブジェクトＯ１〜Ｏ３の視線方向Ｎ０における位置座標を、オブジェクト格納部３１０を参照することによって特定する（Ｓ２２０−３）。さらに、当該位置座標を注視点Ｎ１と比較することにより、注視点Ｎ１と対象オブジェクトＯ１〜Ｏ３の視線方向Ｎ０における相対位置関係を特定する（Ｓ２２０−４）。本実施形態では、対象オブジェクトＯ１〜Ｏ３の視線方向Ｎ０における位置座標を特定するとともに、対象オブジェクトＯ１〜Ｏ３が視線方向Ｎ０における第１範囲ｄ１，第２範囲ｄ２，第３範囲ｄ３のいずれに属するかを特定する。第１範囲ｄ１は注視点Ｎ１を含む範囲であり、第２範囲ｄ２は注視点Ｎ１に対し、視線方向Ｎ０において第１範囲ｄ１より遠い範囲である。第３範囲ｄ３は注視点Ｎ１に対し、視線方向Ｎ０において第２範囲ｄ２より遠い範囲である。

そして、注視点Ｎ１と対象オブジェクトＯ１〜Ｏ３の視線方向Ｎ０における相対位置関係に応じて、各オブジェクトＯ１〜Ｏ３の描画レベルを決定する（Ｓ２２０−５）。本実施形態では、第１範囲ｄ１に配置されたオブジェクトＯ１を最も描画レベルの高い第１レベルで描画し、第２範囲ｄ２に配置されたオブジェクトＯ２は第１レベルよりも描画レベルの低い第２レベルで描画し、第３範囲ｄ３に配置されたオブジェクトＯ３は第２レベルよりも描画レベルの低い第３レベルで描画する。また、注視範囲外に配置されたオブジェクトＯ４は、第３レベルより描画レベルの低い第４レベルで描画される。なお、第４レベルはユーザの視界領域２３より外の仮想空間画像２２の描画レベルよりも、高い描画レベルとされている。描画レベルの調整は、前述のように画像のポリゴン数を増減させることによって調整してもよいし、テクスチャマッピングを施す際に画質を調整してもよい。

このようにして描画された各オブジェクトに関する情報は描画部３５０から視界画像生成部２６０へ送信され、背景となる視界画像２６に重畳されることによって、当該オブジェクトを含む視界画像２６が生成される（Ｓ２２０−６）。新しい視界画像２６はＨＭＤ１１０のディスプレイ１１２に表示され、仮想空間２としてユーザに提供される。

このように、本実施形態のＨＭＤ制御方法によれば、ユーザが注視する注視点の近くにオブジェクトが配置されているか否かに応じて、当該オブジェクトの描画レベルを決定するので、注視点の近くに配置されたオブジェクトに描画負荷を集中させることが可能となる。これにより、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。また、注視点の視線方向における位置に応じて所定の範囲（第１〜第３範囲）を設定し、当該範囲に応じた描画レベルが設定されるので、レンダリング負荷をさらに軽減し得る。また、ユーザの視線方向に基づいて、当該視線方向に交差する面内に広がりを有する注視範囲を設定することにより、描画レベルが決定される対象オブジェクトをさらに限定し得る。また、注視範囲をさらに限定的に設定することにより、描画レベルが決定される対象オブジェクトをさらに限定し得る。これにより、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。さらに、注視範囲外に配置されたオブジェクトの描画レベルを低く設定することにより、レンダリング負荷をさらに軽減し得る。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。

１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１２０…制御回路部、１３０…傾きセンサ、１３２…検知部、１４０…注視センサ、２００…表示制御部、３００…オブジェクト制御部、１…仮想カメラ、２…仮想空間、５…基準視線、２２…仮想空間画像、２３…視界領域、２６…視界画像、Ｇ０…注視点、Ｇ１…注視範囲、Ｎ０…視線方向、ｄ１…第１範囲、ｄ２…第２範囲、ｄ３…第３範囲。

Claims (6)

1. ユーザが没入する仮想空間をコンピュータに提供させる方法であって、
   前記ユーザが没入する仮想空間を構成する仮想空間画像のうち、前記ユーザが視認する視界画像を生成するステップと、
   前記ユーザの視線方向に基づいて、対象オブジェクトを特定するステップと、
   前記ユーザが注視する注視点を検出するステップと、
   前記注視点と前記対象オブジェクトの前記視線方向における位置に応じて、前記対象オブジェクトの描画レベルを決定するステップと、
   を含む方法。
2. 前記注視点を含む前記視線方向の第１範囲と、
   前記注視点に対し、前記視線方向において前記第１範囲より遠い第２範囲と、を特定するステップをさらに含み、
   前記対象オブジェクトの前記位置が前記第１範囲に含まれる場合には、前記対象オブジェクトを第１レベルで描画し、
   前記対象オブジェクトの前記位置が前記第２範囲に含まれる場合には、前記対象オブジェクトを前記第１レベルより描画レベルの低い第２レベルで描画するように描画レベルを決定する、
   請求項１の方法。
3. 前記視線方向に基づいて、前記ユーザが注視する範囲であって、前記視線方向に交差する面内に広がりを有する注視範囲を特定するステップをさらに備え、
   前記注視範囲内に配置されたオブジェクトを前記対象オブジェクトとして特定する、
   請求項１または２の方法。
4. 前記注視範囲の前記視線方向に交差する面内における広がりは、前記注視点に近いほど狭い、請求項３の方法。
5. 前記注視点を含む前記視線方向の第１範囲と、
   前記注視点に対し、前記視線方向において前記第１範囲より遠い第２範囲と、を特定するステップをさらに含み、
   前記対象オブジェクトの前記位置が前記第１範囲に含まれる場合には、前記対象オブジェクトを第１レベルで描画し、
   前記対象オブジェクトの前記位置が前記第２範囲に含まれる場合には、前記対象オブジェクトを前記第１レベルより描画レベルの低い第２レベルで描画し、
   前記注視範囲外に配置されたオブジェクトは、前記第１レベルおよび前記第２レベルより描画レベルの低い第３レベルで描画するように描画レベルを決定する、
   請求項３または４の方法。
6. 請求項１〜５のいずれかの方法をコンピュータに実行させるプログラム。