JP2018097364A - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイ（ＨＭＤ）を操作するための操作機器を必要とすることなく高い操作性を実現することが可能なＨＭＤシステム、ＨＭＤ及びＨＭＤ制御プログラムを提供すること。
【解決手段】本技術に係るＨＭＤシステムは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。セグメント選択部は、円筒座標系において、ディスプレイの方向に基づいて複数のセグメントのいずれかを選択待機状態とする。画像生成部は、選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じてディスプレイに表示される表示画像を生成する。
【選択図】図３

Description

本技術は、ヘッドマウントディスプレイの操作に関する。

近年、ユーザの頭部に支持され、ユーザの眼前に画像を表示することが可能なヘッドマウントディスプレイ（以下、ＨＭＤ）が普及している。ＨＭＤは従来、映画鑑賞等の用途が一般的であったが、外界とディスプレイ表示の両者を視認させることが可能な透過型（シースルー型）ＨＭＤ等が開発され、ユーザの作業補助といった分野にも応用が期待されている。

例えば特許文献１には、ＨＭＤの操作に関する技術が開示されている。この技術は、ユーザの頭部の運動を検出し、その運動に基づいてコンピュータ機器を制御し、ＨＭＤのディスプレイにフィードバックするものであり、ユーザの頭部の運動をコンピュータ機器への操作入力として扱うものである。

特開２０１０−２３１２９０号公報

しかしながら、特許文献１に記載のような技術においては、ユーザがＨＭＤの操作を意図せずに頭部を動かした場合であっても、操作入力として扱われるおそれがあり、外界を視認しながらのＨＭＤの制御には適当ではない。ＨＭＤの制御には一般的に、ユーザが手に持って操作入力を行うコントロールボックス等の操作機器が利用される。しかしこの場合には、外界を視認しながらのハンズフリー操作を行うことができない。

以上のような事情に鑑み、本技術の目的は、ＨＭＤを操作するための操作機器を必要とすることなく高い操作性を実現することが可能なヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイシステムは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。
上記座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。
上記セグメント選択部は、上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。
上記画像生成部は、上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する。

この構成によれば、ヘッドマウントディスプレイを装着したユーザが頭部を動かし、ディスプレイの方向が変更されると、ディスプレイの方向に応じて円筒座標系におけるセグメントが選択待機状態となる。択待機状態とされたセグメントの選択が確定されると、そのセグメントに応じた表示画像がディスプレイに表示される。即ちユーザは、操作機器を利用することなく、ディスプレイの向きによってヘッドマウントディスプレイを操作することが可能である。

上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの画角が占める画角範囲を取得し、上記複数のセグメントのうち、上記画角範囲に含まれる面積が最も広いセグメントを選択待機状態としてもよい。

この構成によれば、円筒座標系においてディスプレイの方向に位置するセグメントが選択待機状態となる。即ちユーザは、円筒座標系において特定のセグメントにディスプレイを向けることにより、そのセグメントを選択待機状態とすることが可能となる。

上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの方向に位置する座標を取得し、上記複数のセグメントのうち、上記座標が含まれるセグメントを選択待機状態としてもよい。

この構成によれば、円筒座標系においてディスプレイの方向に位置するセグメントが選択待機状態となる。即ちユーザは、円筒座標系において特定のセグメントにディスプレイを向けることにより、そのセグメントを選択待機状態とすることが可能となる。

上記セグメント選択部は、第１のトリガ入力を受けて、選択待機状態のセグメントの選択を確定してもよい。

この構成によれば、ユーザは、特定のセグメントが選択待機状態であるときに第１のトリガ入力を行い、当該セグメントの選択を確定させることが可能となる。これにより、画像生成部によって確定されたセグメントに応じた表示画像が生成され、ユーザが視認することが可能となる。

上記円筒座標系は、鉛直方向を高さ方向とし、水平方向を円周方向としてもよい。

この構成によれば、ユーザは、ディスプレイの方向によって上記セグメントを選択する際、水平方向を基準として選択を行うことが可能となる。

上記座標系設定部は、第２のトリガ入力を受けて上記円筒座標系を、上記円筒座標系の高さ方向に移動させてもよい。

この構成によれば、ユーザは円筒座標系を利用する高さを調整することが可能となる。

上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に分割することによって上記円筒座標系を上記複数のセグメントに区画してもよい。

この構成によれば、円筒座標系は矩形状のセグメントに区画される。

上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に対して斜め方向に分割することによって上記円筒座標系を上記複数のセグメントに区画してもよい。

この構成によれば、円筒座標系は菱形状のセグメントに区画される。

上記ヘッドマウントディスプレイは、上記複数のセグメントのそれぞれにオブジェクトを配置するオブジェクト配置部をさらに具備し、
上記画像生成部は、上記円筒座標系における上記画角範囲に応じて、上記オブジェクトの画像を上記表示画像として生成してもよい。

この構成によれば、ユーザは、オブジェクトの画像を参照しながら、所望のオブジェクトが配置されたセグメントを選択待機状態とし、当該オブジェクトに対応するアプリケーション等を利用することが可能である。

上記セグメント選択部は、上記オブジェクトが配置されていないセグメントを選択待機状態としないものであってもよい。

この構成によれば、オブジェクトが配置されていないセグメントの選択が確定されることを防止することが可能である。

上記オブジェクト配置部は、上記複数のセグメントのうち、実空間において上記ディスプレイの正面方向に存在するセグメントには上記オブジェクトを配置しないものであってもよい。

この構成によれば、ディスプレイが正面方向に向けられている場合にはオブジェクトの画像がディスプレイに表示されないため、ユーザは視野を妨げられることなく外界を視認することが可能となる。

上記オブジェクトはアプリケーションのアイコンであり、
上記画像生成部は、特定のアイコンが配置されたセグメントの選択が確定されると、上記アイコンに対応するアプリケーションの出力に基づいて上記表示画像を生成してもよい。

この構成によれば、ユーザはディスプレイの方向によって任意のアプリケーションを選択し、その出力をディスプレイに表示させることが可能となる。

上記オブジェクトは所定のアプリケーションによって生成されるウィジェットであり、
上記画像生成部は、特定のウィジェットが配置されたセグメントの選択が確定されると、上記ウィジェットに対応するアプリケーションの出力に基づいて上記表示画像を生成してもよい。

この構成によれば、ユーザはディスプレイの方向によってウィジェットを確認することができ、必要に応じてそのウィジェットに対応するアプリケーションの出力をディスプレイに表示させることが可能となる。

上記オブジェクトはアプリケーションラウンチャーであり、
上記画像生成部は、アプリケーションラウンチャーが配置されたセグメントの選択が確定されると、アプリケーションの選択メニューを含む画像を上記表示画像として生成してもよい。

この構成によれば、ユーザはディスプレイの方向によってアプリケーションラウンチャーを選択し、任意のアプリケーションを選択することが可能となる。

上記オブジェクトは所定のアプリケーションによって生成される通知であり、
上記画像生成部は、特定の通知が配置されたセグメントの選択が確定されると、上記通知を生成したアプリケーションの出力に基づいて上記表示画像を生成してもよい。

この構成によれば、ユーザはディスプレイの方向によって通知を確認することができ、必要に応じてその通知を生成したアプリケーションの出力をディスプレイに表示させることが可能となる。

上記ディスプレイは、透過型ディスプレイであってもよい。

この構成によれば、ユーザは、透過型ディスプレイを介して外界を視認することが可能となる。このため、ユーザは、透過型ディスプレイを介して外界を視認して作業を行い、必要に応じてディスプレイの方向を変更し、透過型ディスプレイに表示される表示画像を参照することが可能となる。

上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。
上記座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。
上記セグメント選択部は、上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。
上記画像生成部は、上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する。

上記目的を達成するため、本技術の一形態に係るヘッドマウントディスプレイ制御プログラムは、座標系設定部と、セグメント選択部と、画像生成部としてコンピュータを機能させる。
上記座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。
上記セグメント選択部は、上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。
上記画像生成部は、上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する。

以上のように、本技術によれば、ＨＭＤを操作するための操作機器を必要とすることなく高い操作性を実現することが可能なヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラムを提供することが可能である。

本技術の実施形態に係るヘッドマウントディスプレイシステムの外観を示す斜視図である。 同ヘッドマウントディスプレイシステムの構成を示すブロック図である。 同ヘッドヘッドマウントディスプレイシステムの機能的構成を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにディスプレイ座標系を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系のセグメントを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系のセグメントを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系の高さ方向への移動を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系の各セグメントに配置されたオブジェクトを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムのセグメント選択部によるセグメントの選択を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムに係る円筒座標系の、オブジェクトが配置されていないセグメントを示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの画像生成部によって生成される表示画像を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの画像生成部によって生成される表示画像を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムにおける円筒座標系における画角範囲を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの画像生成部によって生成される表示画像を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムの座標系設定部による円筒座標系の移動を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムのセグメント選択部によるセグメントの選択を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによるアプリケーションの利用例を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによるウィジェットの利用例を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによるアプリケーションラウンチャーの利用例を示す模式図である。 同ヘッドヘッドマウントディスプレイシステムによる通知の利用例を示す模式図である。

［ヘッドマウントディスプレイシステムの構成］
図１は、本実施形態に係るヘッドマウントディスプレイシステム１００（以下、ＨＭＤシステム１００）の外観示す斜視図であり、図２はＨＭＤシステム１００の構成を示すブロック図である。これらの図に示すようにＨＭＤシステム１００は、ヘッドマウントディスプレイ２００（以下、ＨＭＤ２００）と情報処理装置３００から構成されているものとすることができる。

ＨＭＤ２００は、図１及び図２に示すように、フレーム２０１、ディスプレイ２０２（右ディスプレイ２０２Ｒ及び左ディスプレイ２０２Ｌ）、入力デバイス２０３、ＣＰＵ２０４、通信デバイス２０５、メモリ２０６、及び方向センサ２０７を有する。

フレーム２０１はＨＭＤ２００をユーザの頭部に支持し、ディスプレイ２０２をユーザの眼前に配置する。フレーム２０１の形状は特に限定されず、図１に示すメガネ型の他、ヘッドギア型等であってもよい。

ディスプレイ２０２（右ディスプレイ２０２Ｒ及び左ディスプレイ２０２Ｌ）は、表示画像を表示する。右ディスプレイ２０２Ｒはユーザの右眼の眼前に配置され、左ディスプレイ２０２Ｌはユーザの左眼の眼前に配置される。なお、右ディスプレイ２０２Ｒと左ディスプレイ２０２Ｌのいずれか一方が設けられてもよい。ディスプレイ２０２は、透過型ディスプレイ（シースルー型ディスプレイ）や非透過型ディスプレイとすることができるが、本実施形態では透過型ディスプレイが好適である。

入力デバイス２０３は、ユーザによる操作入力を受け付ける。入力デバイス２０３は操作ボタン、タッチセンサ、近接センサや照度センサ等、操作子（ユーザの手指等）の接近や接触を検知することが可能なものを利用することができる。入力デバイス２０３の配置や数は特に限定されない。

ＣＰＵ（Central Processing Unit）２０４は、各種演算処理を実行し、入力デバイス２０３による入力や通信デバイス２０５による通信の処理、ディスプレイ２０２の表示画像の生成等を実行する。通信デバイス２０５は、ＵＳＢ（Universal Serial Bus）、Bluetooth(登録商標）、Wi-Fi(登録商標）等の各種通信規格によって情報処理装置３００の通信デバイス３０３（後述）と通信を行う。メモリ２０６は、ＣＰＵ２０４の演算処理結果等や表示画像等の各種情報を記憶する。

方向センサ２０７は、ディスプレイ２０２の方向を検出する。方向センサ２０７は、地磁気センサ、角速度センサ及び加速度センサ等から構成されるものとすることができるが、この他にもディスプレイ２０２の方向を検出可能なセンサを利用することができる。

情報処理装置３００は、図１及び図２に示すように、入力デバイス３０１、ＣＰＵ３０２、通信デバイス３０３、メモリ３０４、ディスプレイ３０５及びストレージ３０６を備える。情報処理装置３００は、スマートフォン、タブレット型コンピュータ、ラップトップ型コンピュータ等の各種情報処理装置であるものとすることができるが、ＨＭＤ２００と共に携帯することが可能なものが好適である。

入力デバイス３０１は、ユーザによる操作入力を受け付ける。入力デバイス３０１は、タッチパネルや操作ボタン等であるものとすることができる。ＣＰＵ３０２は、入力デバイス３０１による入力や通信デバイス３０３による通信の処理、アプリケーションの実行等を行う。通信デバイス３０３は、各種通信規格によってＨＭＤ２００の通信デバイス２０５と通信する。メモリ３０７は、ＣＰＵ３０２の演算処理結果等を記憶する。ストレージ３０６は、アプリケーションや画像情報を格納する。

ＨＭＤ２００や情報処理装置３００の構成はここに示すものに限られず、後述する機能的構成を実現することが可能なものであればよい。

［ヘッドマウントディスプレイシステムの機能的構成］
以上のようなハードウェア構成によって実現されるＨＭＤシステム１００の機能的構成について説明する。図３は、ＨＭＤシステム１００の機能的構成を示す模式図である。

同図に示すように、ＨＭＤシステム１００は、画像生成部１０１、座標系設定部１０２、オブジェクト配置部１０３及びセグメント選択部１０４を具備する。なお、これらの機能的構成は、ＨＭＤ２００と情報処理装置３００のいずれかによって実現されてもよく、両者の協働よって実現されてもよい。また、機能的構成の一部又は全部はコンピュータネットワーク上において実現されてもよい。

画像生成部１０１は、ディスプレイ２０２に表示される表示画像を生成する。この際、画像生成部１０１は、ディスプレイ２０２における座標系（以下、ディスプレイ座標系とする）を用いて表示画像を生成する。図４は、ディスプレイ座標系Ｄを示す模式図である。同図に示すようにディスプレイ座標系Ｄにおいては、ディスプレイ左上を原点Ｏｇとし、ディスプレイ上の右方向をｘ軸、ディスプレイ上の下方向をｙ軸とする。ｘ軸方向の幅Ｗｇとｙ軸方向の高さＨｇが表示画像のサイズとなる。画像生成部１０１による表示画像の生成については後述する。

座標系設定部１０２は、実空間上に円筒座標系を設定する。具体的には、座標系設定部１０２は、例えばＨＭＤ２００の電源が入れられたときやＨＭＤ２００に所定の操作入力があったときのディスプレイ２０２の方向を正面方向として設定する。座標系設定部１０２は、方向センサ２０７からディスプレイ２０２の方向を取得することが可能である。

座標系設定部１０２は、このディスプレイ２０２の正面方向に対して垂直な方向を軸方向とし、ＨＭＤ２００の位置（ユーザ原点）を通過する中心軸を有する円筒形状の座標系を円筒座標系として設定することができる。これにより、中心軸の軸方向を高さ方向とし、軸方向に垂直な方向を円周方向とする円筒座標系が形成される。また、座標系設定部１０２は、ディスプレイ２０２の正面方向に係わらず、円筒座標系の中心軸を鉛直方向として設定してもよい。この場合、鉛直方向を高さ方向とし、水平方向を円周方向とする円筒座標系が形成される。

図５は円筒座標系Ｃを示す模式図である。同図に示すように円筒座標系は、ユーザ原点Ｏｈからディスプレイ座標系原点Ｏｒまでを半径とする円周方向にｘ軸を、半径方向にｚ軸を、ｘ軸及びｚ軸に垂直な方向にｙ軸を有する。円筒座標系の高さ（ｙ方向）をＨｇとすると、その高さＨｇを有する円筒がユーザ（ＨＭＤ２００）周りに形成される。

座標系設定部１０２は、複数のセグメントに区画された円筒座標系を設定する。図６は、円筒座標系上のセグメントを示す模式図である。図６（ａ）は円筒座標系Ｃの斜視図を示し、図６（ｂ）は円筒座標系Ｃの展開図を示す。図６（ａ）及び図６（ｂ）に示すように、座標系設定部１０２は、複数のセグメントＳに区画された円筒座標系Ｃを設定する。ここで、座標系設定部１０２は、円筒座標系Ｃをその高さ方向（ｙ方向）及び円周方向（ｘｚ方向）にそれぞれ分割し、矩形状のセグメントＳに区画するものとすることができる。各セグメントＳの高さ（ｙ方向）をｈｇとし、幅（ｘｚ方向）をｗｇとする。

なお、図６では円筒座標系が高さ方向及び円周方向に３分割され、矩形状のセグメントに区画されているが、３分割でなくてもよい。また、各セグメントの形状は矩形状に限定されない。座標系設定部１０２は、図７に示すように円筒座標系Ｃをその高さ方向（ｙ方向）及び円周方向（ｘｚ方向）に対して斜め方向に分割し、菱形状のセグメントに区画するものとすることも可能である。以下では矩形状のセグメントを例にとって説明する。

座標系設定部１０２は、複数のセグメントのうち円筒座標系の高さ方向及び円周方向において中央に位置するセグメントがディスプレイ２０２の正面方向になるように設定することができる。以下、この中央に位置するセグメントを中央セグメントとする。なお、座標系設定部１０２は、中央セグメント以外のセグメントがディスプレイ２０２の正面方向になるように円筒座標系を設定してもよい。

座標系設定部１０２は、所定のトリガ入力（第２トリガ入力）を受けると、円筒座標系をその高さ方向に移動させるものとすることができる。図８は、座標系設定部１０２によって円筒座標系の高さ方向に移動される円筒座標系Ｃを示す模式図である。原点Ｏｒｕは円筒座標系を高さ方向上方に移動させたときの原点であり、原点Ｏｒｌは円筒座標系を高さ方向下方に移動させたときの原点である。円筒座標系の移動方向や移動量は、ユーザの操作入力によって決定されるものとすることができる。

オブジェクト配置部１０３は、各セグメントにオブジェクトを配置する。図９は各セグメントＳに配置されたオブジェクトＡを示す模式図である。オブジェクト配置部１０３は同図に示すように各セグメントＳにそれぞれオブジェクトＡを配置するものとすることができる。ここでオブジェクトＡは、アプリケーションのアイコンやウィジェット、アプリケーションラウンチャーや通知であるものとすることができるが、詳細は後述する。オブジェクト配置部１０３は、図９に示すように、中央セグメントＳｃにはオブジェクトＡを配置しないものとすることができる。

セグメント選択部１０４は、ディスプレイ２０２の方向に基づいて上記複数のセグメントのいずれかを選択待機状態とする。具体的には、セグメント選択部１０４は、「画角範囲」をセグメントの選択に利用することができる。図１０は画角範囲の例であり、円筒座標系Ｃにおける画角範囲Ｈを示す。セグメント選択部１０４は、ディスプレイ２０２の方向と円筒座標系の半径に基づいて、円筒座標系Ｃにおいてディスプレイ２０２の画角が占める範囲を画角範囲として取得する。実空間におけるディスプレイ２０２の方向が変動すると、その変動に伴なって円筒座標系Ｃにおける画角範囲Ｈが移動する。

セグメント選択部１０４は、この画角範囲を利用して、複数のセグメントからひとつのセグメントを選択することができる。図１１は、セグメント選択部１０４によるセグメントの選択を示す模式図である。同図に示すようにセグメント選択部１０４は、複数のセグメントＳのうち、画角範囲Ｈに含まれる面積が最も広いセグメントＳ（図中斜線）を選択待機状態とする。

セグメント選択部１０４は、特定のセグメントを選択待機状態としているときに所定のトリガ入力（第１トリガ入力とする）を受けると、選択待機状態のセグメントの選択を確定する。第１トリガ入力は、ユーザによるタッチ入力やタイムアウト（設定時間の経過）であるものとすることができる。セグメント選択部１０４は、セグメントの選択を確定すると、確定したセグメントを画像生成部１０１に指示する。

一方セグメント選択部１０４は、特定のセグメントを選択待機状態としているときに、ディスプレイ２０２の向きが変更され、画角範囲に含まれる面積が最も広いセグメントが別のセグメントに変更されると、当該セグメントの選択待機状態を解除する。

セグメント選択部１０４は、オブジェクトが配置されていないセグメントは選択待機状態としないものとすることができる。図１２は、オブジェクトＡが配置されていないセグメントＳを示す模式図である。同図に示すようにセグメント選択部１０４は、画角範囲Ｈに含まれる面積が最も広いセグメントＳが、オブジェクトＡが配置されていないセグメントＳである場合、そのセグメントＳを選択待機状態としないものとすることができる。なお、オブジェクトが配置されていないセグメントは上述した中央セグメントであってもよく、その他のセグメントであってもよい。

画像生成部１０１は、ディスプレイ座標系に合わせて表示画像を生成し、ディスプレイ２０２に供給する。画像生成部１０１は、セグメント選択部１０４によって特定のセグメントの選択が確定すると、そのセグメントに対応する表示を含む表示画像を生成する。セグメントに対応する表示は例えば、そのセグメントに配置されているオブジェクトに対応するアプリケーションの出力に基づく表示とすることができる。

また、画像生成部１０１は、円筒座標系における画角範囲に基づいてオブジェクトの画像を表示画像として生成するものとすることができる。画像生成部１０１は、画角範囲にオブジェクトが含まれる場合、画角範囲におけるオブジェクトの位置に対応させて、ディスプレイ座標系にオブジェクトの画像を配置し、表示画像として生成するものとすることができる。この詳細については後述する。

［ヘッドマウントディスプレイシステムの動作］
ＨＭＤシステム１００の動作について説明する。ユーザがＨＭＤ２００を装着し、入力デバイス２０３や情報処理装置３００を操作して所定の操作入力を行うと、座標系設定部１０２はそのときのディスプレイ２０２の方向をディスプレイ２０２の正面方向として認識する。

座標系設定部１０２は、上述した円筒座標系を実空間上に設定する。このとき座標系設定部１０２は、ディスプレイ２０２の正面方向に中央セグメントが配置されるように円筒座標系を設定することができる。なお座標系設定部１０２は、ディスプレイ２０２の正面方向に中央セグメント以外のセグメントを配置してもよい。オブジェクト配置部１０３は、図９に示すように、各セグメントＳにオブジェクトＡを配置する。

セグメント選択部１０４は、円筒座標系におけるディスプレイ２０２の画角範囲を取得する。ユーザが頭部（ディスプレイ２０２の方向）を正面方向から動かしていない場合、図１３に示すように画角範囲は中央セグメントを含み、中央セグメントにはオブジェクトが配置されていないので、画像生成部１０１は表示画像を生成しない。この状態ではユーザは、何も表示されていないディスプレイ２０２を介して外界を視認し、作業等をすることができる。

ユーザが頭部の向き（ディスプレイ２０２の方向）を動かすと、セグメント選択部１０４はディスプレイ２０２の方向に応じて画角範囲を移動させる。図１４は移動した画角範囲Ｈを示す模式図である。同図に示すように、画角範囲ＨにオブジェクトＡが含まれると、画像生成部１０１はオブジェクトの画像（以下、オブジェクト画像）を表示画像として生成する。図１５はこのときの表示画像Ｇを示す模式図である。

画像生成部１０１は、画角範囲におけるオブジェクトの位置に応じて、ディスプレイ座標系にオブジェクト画像を配置するものとすることができる。即ちユーザは、正面方向からいずれかの方向に頭部を向けると、その方向のセグメントに配置されたオブジェクト画像を視認することができ、例えば希望するアプリケーションのアイコンを探すことが可能となる。

同時に、セグメント選択部１０４は、図１１に示すように画角範囲Ｈに含まれる各セグメントＳの面積を検出し、画角範囲Ｈに含まれる面積が最も広いセグメントＳを選択待機状態とする。この際、画像生成部１０１は、選択待機状態のセグメントに配置されているオブジェクトのオブジェクト画像を点滅あるいは拡大等させ、そのオブジェクトが配置されているセグメントが選択待機状態であることをユーザに提示してもよい。

図１６に示すように、ユーザが、所望のオブジェクトのオブジェクト画像をディスプレイ２０２の中央付近で視認している場合、当該オブジェクトが配置されているセグメントが、画角範囲に含まれる面積が最も広いセグメントとなる。図１７はこのときの画角範囲Ｈを示す模式図である。セグメント選択部１０４は当該セグメントを選択待機状態とする

この状態でユーザが第１トリガ入力を行うと、選択待機状態のセグメントの選択が確定される。画像生成部１０１は、オブジェクト画像に替えて、セグメントに対応する表示を含む表示画像を生成する。例えばオブジェクトがアプリケーションのアイコンである場合、図１８に示すように、画像生成部１０１は当該アプリケーションによって生成された画像を表示画像として生成する。即ち、ユーザは所望のアプリケーションによって生成された画像を視認することが可能となる。

なお、図１２に示すように、画角範囲Ｈに含まれる面積が最も広いセグメントＳにオブジェクトＡが配置されていない場合、セグメント選択部１０４は当該セグメントＳを選択待機状態としないものとすることができる。これにより、オブジェクトが配置されていないセグメントの選択が確定されることが防止され、利便性が向上する。

画像生成部１０１は、ユーザから所定の入力を受けると、セグメントに対応する表示を含む表示画像を終了し、図１５及び図１６に示すディスプレイ２０２の画角範囲に基づく表示画像（アイコン等の画像）を生成するものとすることができる。

以上のようにユーザは、正面方向を向いているときには、何も表示されていないディスプレイ２０２を介して外界を視認し、作業等をすることができる。ユーザは必要に応じて頭部（ディスプレイ２０２）の方向を動かして所望のオブジェクトを探し、第１トリガ入力を行うことで、そのオブジェクトに対応する表示を視認することが可能となる。即ちユーザは、コントロールボックス等の操作機器を利用することなく、任意のオブジェクトを選択することが可能であり、ＨＭＤシステム１００は高い操作性を提供するものである。

［円筒座標系の移動について］
上述のように座標系設定部１０２は円筒座標系を設定するが、円筒座標系をその高さ方向（上方又は下方）に移動させることができる。図１９は座標系設定部１０２による円筒座標系Ｃの移動を示す模式図である。図１９（ａ）に示すように、ユーザがディスプレイ２０２の正面方向を指定すると、ディスプレイ２０２と同等の高さに円筒座標系Ｃが設定され、上述したようにユーザが利用することができる。

座標系設定部１０２は、ユーザによる第２トリガ入力を受けると、図１９（ｂ）に示すように円筒座標系をその高さ方向（図では上方）に移動させる。第２トリガ入力は例えば、ユーザが入力デバイス２０３をタッチしながらディスプレイ２０２の方向を移動させる入力とすることができる。座標系設定部１０２は、ディスプレイ２０２の方向（正面方向に対する角度）に応じて円筒座標系Ｃを移動させるものとすることができる。

これにより、図１９（ｂ）に示すようにディスプレイ２０２と同等の高さには円筒座標系Ｃが存在しなくなるため、ユーザがディスプレイ２０２の方向を正面方向から多少変更しても、セグメントが選択待機状態とならず、オブジェクト画像が表示されない。

したがってユーザは、広い範囲で外界を視認しながら、作業等を行うことが可能となる。一方で、ディスプレイ２０２の上方又は下方には円筒座標系が設定されているため、図１９（ｃ）に示すようにユーザは、ディスプレイ２０２を上方又は下方の円筒座標系Ｃに向け、円筒座標系Ｃを利用することが可能となる。

ユーザは、円筒座標系Ｃが高さ方向に移動されている状態において再び第２トリガ入力を行うことにより、図１９（ａ）に示すように円筒座標系Ｃをディスプレイ２０２と同等の高さに移動させ、利用することができる。

このように、座標系設定部１０２が円筒座標系を高さ方向に移動させることにより、ユーザは広い視界で作業等をすることが可能であり、かつ必要に応じて円筒座標系を利用することが可能となる。

［変形例］
セグメント選択部１０４は、上記「画角範囲」に替えて、円筒座標系においてディスプレイ２０２の方向に位置する座標（以下、ディスプレイ方向座標とする）をセグメントの選択に利用することができる。セグメント選択部１０４は、ディスプレイ２０２の方向に基づいて、円筒座標系Ｃにおいてディスプレイ方向座標Ｐを取得する。実空間におけるディスプレイ２０２の方向が変動すると、その変動に伴なって円筒座標系Ｃにおけるディスプレイ方向座標Ｐが移動する。

セグメント選択部１０４は、このディスプレイ方向座標を利用して、複数のセグメントからひとつのセグメントを選択することができる。図２０は、セグメント選択部１０４によるセグメントの選択を示す模式図である。同図に示すようにセグメント選択部１０４は、複数のセグメントＳのうち、ディスプレイ方向座標Ｐが含まれるセグメントＳ（図中斜線）を選択待機状態とする。

セグメント選択部１０４は、特定のセグメントを選択待機状態としているときに所定のトリガ入力（第１トリガ入力とする）を受けると、選択待機状態のセグメントの選択を確定する。第１トリガ入力は、ユーザによるタッチ入力やタイムアウト（設定時間の経過）であるものとすることができる。セグメント選択部１０４は、セグメントの選択を確定すると、確定したセグメントを画像生成部１０１に指示する。

一方セグメント選択部１０４は、特定のセグメントを選択待機状態としているときに、ディスプレイ２０２の向きが変更され、ディスプレイ方向座標が含まれるセグメントが別のセグメントに変更されると、当該セグメントの選択待機状態を解除する。

このように、セグメント選択部１０４が、ディスプレイ方向座標をセグメントの選択に利用する場合も、画角範囲を利用する場合と同様に、ユーザがコントロールボックス等の操作機器を利用することなく、任意のオブジェクトを選択することが可能である。

また、セグメント選択部１０４は、ディスプレイ方向座標が含まれるセグメントが、オブジェクトが配置されていないセグメントである場合、そのセグメントＳを選択待機状態としないものとすることができる。これにより、オブジェクトが配置されていないセグメントの選択が確定されることが防止され、利便性が向上する。

［ヘッドマウントディスプレイシステムの利用例］
ＨＭＤシステム１００の具体的な利用例について説明する。

（アプリケーション）
図２１に示すように、オブジェクト配置部１０３は、アプリケーションのアイコンをオブジェクトとして各セグメントに配置することができる。ユーザは、ディスプレイ２０２の向きを変更して任意のアイコンを選び、第１トリガ入力を行う。これによりセグメント選択部１０４は、当該アイコンが配置されているセグメントの選択を確定し、画像生成部１０１に指示する。

画像生成部１０１は、当該アイコンに対応するアプリケーションの出力に基づいて表示画像を生成し、ディスプレイ２０２に供給する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。画像生成部１０１は、ユーザによる別のトリガ入力、例えばディスプレイ２０２が下方向に向けられたことを示す入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。このようにユーザは、ＨＭＤシステム１００を利用してアプリケーションを簡単に利用することが可能となる。

（ウィジェット）
図２２に示すように、オブジェクト配置部１０３は、特定のアプリケーションによって生成されたウィジェットをオブジェクトとしてひとつ又は複数のセグメントに配置することができる。ユーザは、ディスプレイ２０２の向きを変更することによってウィジェットを視認することができ、容易に情報を取得することができる。さらにユーザは、当該ウィジェットの詳細を確認したい場合、当該ウィジェットを視認した状態で、第１トリガ入力を行う。これによりセグメント選択部１０４は、当該ウィジェットが配置されているセグメントの選択を確定し、画像生成部１０１に指示する。

画像生成部１０１は、当該ウィジェットを生成したアプリケーションの出力に基づいて表示画像を生成し、ディスプレイ２０２に供給する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。画像生成部１０１は、ユーザによる別のトリガ入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。このようにユーザは、ＨＭＤシステム１００を利用してウィジェットから簡単な情報を容易に取得し、かつ必要に応じて詳細な情報を取得することが可能となる。

（アプリケーションラウンチャー）
図２３に示すように、オブジェクト配置部１０３は、アプリケーションラウンチャー（以下、ラウンチャー）をオブジェクトとしてひとつ又は複数のセグメントに配置することができる。ユーザは、ディスプレイ２０２の向きを変更することによってラウンチャーを視認することができ、視認した状態で第１トリガ入力を行う。これによりセグメント選択部１０４は、当該ラウンチャーが配置されているセグメントの選択を確定し、画像生成部１０１に指示する。

画像生成部１０１は、アプリケーションの選択メニューを含む画像を上記表示画像として生成し、ディスプレイ２０２に供給する。ユーザは、操作入力やディスプレイ２０２の向きによって選択メニューを操作し、任意のアプリケーションを選択することができる。画像生成部１０１は、選択されたアプリケーションの出力に基づく画像を表示画像として生成する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。

画像生成部１０１は、ユーザによる別のトリガ入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。ラウンチャーを利用することにより、各セグメントにアプリケーションの全てを配置できない場合等でも、ユーザが任意のアプリケーションを選択することが可能となる。

（通知）
図２４に示すように、オブジェクト配置部１０３は、特定のアプリケーションによって生成される通知をオブジェクトとしてひとつ又は複数のセグメントに配置することができる。通知は例えば、メール着信やＳＮＳ（social networking service）の書き込み、スケジュール通知等が挙げられる。ユーザは、ディスプレイ２０２の向きを変更することによって通知を確認することができる。さらにユーザが、当該通知を視認した状態で第１トリガ入力を行うと、セグメント選択部１０４が当該通知が配置されているセグメントの選択を確定し、画像生成部１０１に指示する。

画像生成部１０１は、当該通知を生成したアプリケーションの出力に基づいて表示画像を生成し、ディスプレイ２０２に供給する。これよりユーザは、当該アプリケーションの出力に基づく画像を視認することが可能となる。画像生成部１０１は、ユーザによる別のトリガ入力を受けると、アプリケーションの出力に基づく画像を消去し、元のアイコンの選択画像を生成する。このようにユーザは、ＨＭＤシステム１００を利用して通知を確認し、かつ必要に応じて通知を生成したアプリケーションを利用することが可能となる。

本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

なお、本技術は以下のような構成も採ることができる。
（１）
実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する画像生成部と
を具備するヘッドマウントディスプレイシステム。

（２）
上記（１）に記載のヘッドマウントディスプレイシステムであって、
上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの画角が占める画角範囲を取得し、上記複数のセグメントのうち、上記画角範囲に含まれる面積が最も広いセグメントを選択待機状態とする
ヘッドマウントディスプレイシステム。

（３）
上記（１）又は（２）に記載のヘッドマウントディスプレイシステムであって、
上記セグメント選択部は、上記ディスプレイの方向に応じて、上記円筒座標系において上記ディスプレイの方向に位置する座標を取得し、上記複数のセグメントのうち、上記座標が含まれるセグメントを選択待機状態とする
ヘッドマウントディスプレイシステム。

（４）
上記（１）から（３）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記セグメント選択部は、第１のトリガ入力を受けて、選択待機状態のセグメントの選択を確定する
ヘッドマウントディスプレイシステム。

（５）
上記（１）から（４）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記円筒座標系は、鉛直方向を高さ方向とし、水平方向を円周方向とする
ヘッドマウントディスプレイシステム。

（６）
上記（１）から（５）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記座標系設定部は、第２のトリガ入力を受けて上記円筒座標系を、上記円筒座標系の高さ方向に移動させる
ヘッドマウントディスプレイシステム。

（７）
上記（１）から（６）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に分割することによって上記円筒座標系を上記複数のセグメントに区画する
ヘッドマウントディスプレイシステム。

（８）
上記（１）から（７）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記座標系設定部は、上記円筒座標系を、上記円筒座標系の高さ方向及び円周方向に対して斜め方向に分割することによって上記円筒座標系を上記複数のセグメントに区画する
ヘッドマウントディスプレイシステム。

（９）
上記（１）から（８）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記複数のセグメントのそれぞれにオブジェクトを配置するオブジェクト配置部をさらに具備し、
上記画像生成部は、上記円筒座標系における上記画角範囲に応じて、上記オブジェクトの画像を上記表示画像として生成する
ヘッドマウントディスプレイシステム。

（１０）
上記（１）から（９）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記セグメント選択部は、上記オブジェクトが配置されていないセグメントを選択待機状態としない
ヘッドマウントディスプレイシステム

（１１）
上記（１）から（１０）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記オブジェクト配置部は、上記複数のセグメントのうち、実空間において上記ディスプレイの正面方向に存在するセグメントには上記オブジェクトを配置しない
ヘッドマウントディスプレイシステム。

（１２）
上記（１）から（１１）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって
上記オブジェクトはアプリケーションのアイコンであり、
上記画像生成部は、特定のアイコンが配置されたセグメントの選択が確定されると、上記アイコンに対応するアプリケーションの出力に基づいて上記表示画像を生成する
ヘッドマウントディスプレイシステム。

（１３）
上記（１）から（１２）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記オブジェクトは所定のアプリケーションによって生成されるウィジェットであり、
上記画像生成部は、特定のウィジェットが配置されたセグメントの選択が確定されると、上記ウィジェットに対応するアプリケーションの出力に基づいて上記表示画像を生成する
ヘッドマウントディスプレイシステム。

（１４）
上記（１）から（１３）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記オブジェクトはアプリケーションラウンチャーであり、
上記画像生成部は、アプリケーションラウンチャーが配置されたセグメントの選択が確定されると、アプリケーションの選択メニューを含む画像を上記表示画像として生成する
ヘッドマウントディスプレイシステム。

（１５）
上記（１）から（１４）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記オブジェクトは所定のアプリケーションによって生成される通知であり、
上記画像生成部は、特定の通知が配置されたセグメントの選択が確定されると、上記通知を生成したアプリケーションの出力に基づいて上記表示画像を生成する
ヘッドマウントディスプレイシステム。

（１６）
上記（１）から（１５）のうちいずれか一つに記載のヘッドマウントディスプレイシステムであって、
上記ディスプレイは、透過型ディスプレイである
ヘッドマウントディスプレイシステム。

（１７）
実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する画像生成部と
を具備するヘッドマウントディスプレイ。

（１８）
実空間上に、複数のセグメントに区画された円筒座標系を設定する座標系設定部と、
上記円筒座標系において、ディスプレイの方向に基づいて上記複数のセグメントのいずれかを選択待機状態とするセグメント選択部と、
上記選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じて上記ディスプレイに表示される表示画像を生成する画像生成部と
としてコンピュータを機能させるヘッドマウントディスプレイ制御プログラム。

１００…ヘッドマウントディスプレイシステム
１０１…画像生成部
１０２…座標系設定部
１０３…オブジェクト配置部
１０４…セグメント選択部
２００…ヘッドマウントディスプレイ
３００…情報処理装置

Claims (13)

1. 情報処理装置であって、
   実空間上に座標系を設定する座標系設定部と、
   前記座標系に基づいて配置されたオブジェクトを含む画像を生成する画像生成部と
   を具備し、
   前記座標系設定部は、実空間上に第１の座標系を設定し、
   前記画像生成部は、前記第１の座標系に基づいて配置されたオブジェクトを含む画像を生成し、
   前記座標系設定部は、第１のトリガ入力の検出と前記情報処理装置の方向に基づいて、前記第１の座標系の座標系原点とは異なる座標系原点を有する第２の座標系に前記座標系を再設定し、
   前記画像生成部は、前記第２の座標系に基づいて配置されたオブジェクトを含む画像を生成する
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記座標系は円筒座標系である
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記第２の座標系は、前記第１の座標系を高さ方向に移動させた座標系である
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記第２の座標系は、前記第１の座標系より高い位置又は低い位置に位置する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記第１のトリガ入力はタッチ入力である
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記座標系設定部は、前記座標系を前記第２の座標系に再設定した後、第２のトリガ入力の検出に基づいて、前記座標系を前記第１の座標系に再設定する
   情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記座標系は、複数のセグメントに区画されている
   情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記情報処理装置の方向に応じて、前記座標系において前記ディスプレイの画角が占める画角範囲を取得し、前記複数のセグメントのうち一つのセグメントを選択するセグメント選択部
   をさらに具備する情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記セグメント選択部は、前記複数のセグメントのうち、前記画角範囲に含まれる面積が最も広いセグメントを選択する
   情報処理装置。
10. 請求項１に記載の情報処理装置であって、
    前記画像生成部によって生成された画像を表示するヘッドマウントディスプレイを含む
    情報処理装置。
11. 請求項１０に記載の情報処理装置であって、
    前記ヘッドマウントディスプレイは透過型ディスプレイである
    情報処理装置。
12. 実空間上に座標系を設定する座標系設定部と、
    前記座標系に基づいて配置されたオブジェクトを含む画像を生成する画像生成部と
    として情報処理装置を機能させるプログラムであって、
    前記座標系設定部は、実空間上に第１の座標系を設定し、
    前記画像生成部は、前記第１の座標系に基づいて配置されたオブジェクトを含む画像を生成し、
    前記座標系設定部は、第１のトリガ入力の検出と前記情報処理装置の方向に基づいて、前記第１の座標系の座標系原点とは異なる座標系原点を有する第２の座標系に前記座標系を再設定し、
    前記画像生成部は、前記第２の座標系に基づいて配置されたオブジェクトを含む画像を生成する
    プログラム。
13. 座標系設定部が、実空間上に座標系を設定し、
    画像生成部が、前記座標系に基づいて配置されたオブジェクトを含む画像を生成する
    情報処理方法であって、
    前記座標系設定部は、実空間上に第１の座標系を設定し、
    前記画像生成部は、前記第１の座標系に基づいて配置されたオブジェクトを含む画像を生成し、
    前記座標系設定部は、第１のトリガ入力の検出と情報処理装置の方向に基づいて、前記第１の座標系の座標系原点とは異なる座標系原点を有する第２の座標系に前記座標系を再設定し、
    前記画像生成部は、前記第２の座標系に基づいて配置されたオブジェクトを含む画像を生成する
    情報処理方法。

Images