JP2018101019A - 表示装置及び表示装置の制御方法 - Google Patents

Abstract

【課題】表示させるコンテンツの選択が容易であって、簡単な操作によりコンテンツの表示を変化させる。【解決手段】頭部の位置及び動きの少なくともいずれかを検出する６軸センサー２３５や磁気センサー２３７、頭部動き検出部１５１と、頭部動き検出部１５１により検出される頭部の位置及び動きの少なくともいずれかに基づき、基準状態を設定する基準設定部１５３と、画像表示部２０により表示されるコンテンツの表示を、基準状態に対する頭部の位置及び動きの変化に基づき変化させる表示制御部１５５とを備え、表示制御部１５５は、コンテンツの相対的な表示位置が維持されるように、画像表示部２０により表示されるコンテンツの表示を変化させる表ＨＭＤ１００。【選択図】図５

Description

本発明は、表示装置及び表示装置の制御方法に関する。

従来、使用者の頭部に表示部を装着し、使用者に画像を視認させることが可能な表示装置が知られている（例えば、特許文献１参照）。
特許文献１は、３次元仮想空間内に複数の仮想ディスプレイを配置し、検出器で検出される頭部の動きに応じて仮想ディスプレイの１つを選択し、選択された仮想ディスプレイに対応付けられたコンテンツを再生する装置を開示する。

特開２０１６−１４９００２号公報

また、特許文献１の装置は、３次元仮想空間内に複数の仮想ディスプレイが配置される。配置される仮想ディスプレイの数が増えると、使用者が視聴したいコンテンツを表示する仮想ディスプレイを選択するのが難しい場合があった。また、使用者の眼前に複数の仮想ディスプレイを配置する場合、使用者の眼前に表示されるコンテンツが、使用者の視界を遮り操作の妨げとなる恐れがあるという問題があった。また、使用者の頭部に装着される表示装置は、表示される画像によって外景の視認性が低下する場合があるため、表示装置の操作部を操作し難い場合があった。
本発明は、表示させるコンテンツの選択が容易であって、簡単な操作によりコンテンツの表示を変化させることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着される表示部と、前記頭部を含む検出対象部の位置及び動きの少なくともいずれかを検出する検出部と、前記検出部により検出される前記検出対象部の位置及び動きの少なくともいずれかに基づき、基準状態を設定する基準設定部と、前記表示部により表示されるコンテンツの表示を、前記基準状態に対する前記検出対象部の位置及び動きの変化に基づき変化させる表示制御部と、を備え、前記表示制御部は、複数の前記コンテンツの相対的な表示位置が維持されるように、前記表示部が表示する前記コンテンツの表示を変化させる。
この構成によれば、検出対象部の位置及び動きの少なくともいずれかに基づいて基準状態を設定し、設定した基準状態に対する検出対象部の位置及び動きの変化に基づき複数のコンテンツの表示を変化させることができる。また、コンテンツの表示を変化させるときに、複数のコンテンツの相対的な表示位置が維持されるように変化させることができる。従って、表示させるコンテンツの選択が容易であって、簡単な操作によりコンテンツの表示を変化させることができる。

また、本発明は、複数の前記コンテンツの相対的な表示位置を示す表示位置情報を記憶する記憶部を備え、前記表示制御部は、前記表示位置情報が示す複数の前記コンテンツの相対的な表示位置が維持されるように前記コンテンツの表示を変化させる。
本発明によれば、表示部により表示されるコンテンツの表示を、複数のコンテンツの相対的な表示位置が維持されるように変化させることができる。

また、本発明は、前記表示制御部は、前記基準状態に対する前記検出対象部の位置及び動きの変化量に基づき前記コンテンツを選択し、選択した前記コンテンツを前記表示部に表示させる。
本発明によれば、検出対象部の位置及び動きの変化量に基づいてコンテンツを選択し、選択したコンテンツを表示させることができる。従って、頭部の位置又は動きによりコンテンツを選択することができ、コンテンツを容易に選択することができる。

また、本発明は、前記基準設定部は、前記検出対象部の回転軸と、前記回転軸を中心として回転する前記検出対象部の位置とを前記基準状態として設定し、前記表示制御部は、前記コンテンツの表示位置を、前記回転軸を中心とする回転方向、及び前記回転方向に対し垂直な方向に設定可能である。
本発明によれば、複数のコンテンツの相対的な表示位置が維持されるように複数のコンテンツを設定することができる。

また、本発明は、前記表示制御部は、前記コンテンツの表示位置を、前記基準状態における前記検出対象部の背面側に設定可能である。
本発発明によれば、コンテンツの表示位置にバリエーションを持たせることができる。

また、本発明は、前記表示制御部は、複数の前記コンテンツを前記回転軸上の点を中心とする球面、或いは、前記回転軸から所定距離に位置する平面に配置したように視認できる位置に、前記コンテンツの表示位置を設定可能である。
本発明によれば、複数のコンテンツが回転軸上の点を中心とする球面、或いは、回転軸から所定距離に位置する平面に配置したように視認できる位置に設定される。従って、複数のコンテンツの相対的な表示位置が維持されるようにコンテンツの表示を変化させることができる。

また、本発明は、前記表示制御部は、前記コンテンツを前記使用者の足下の面に配置したように視認できる位置に、前記コンテンツの表示位置を設定可能である。
本発明によれば、コンテンツを使用者の足下の面に配置したように視認させることができる。

また、本発明は、前記表示部は、前記使用者の右眼に画像を視認させる右表示部及び前記使用者の左眼に画像を視認させる左表示部を備え、前記表示制御部は、前記コンテンツを、前記右表示部と前記左表示部とが視差を有する状態で表示させる。
本発明によれば、右表示部と左表示部とが視差を有する状態でコンテンツを表示させることができる。従って、コンテンツを３次元的に表示させることができる。

また、本発明は、前記基準設定部は、指示体の位置又は動きに従って前記基準状態を設定する。
本発明によれば、指示体の位置又は動きにより基準状態を設定することができる。従って、基準状態を簡易に設定することができる。

また、本発明は、前記表示制御部は、前記指示体の位置又は動きに従って前記表示部における前記コンテンツの表示倍率を設定する。
本発明によれば、指示体に位置又は動きによりコンテンツの表示倍率を設定することができる。従って、簡単な操作でコンテンツの表示倍率を設定することができる。

また、本発明は、前記表示制御部は、いずれかの前記コンテンツに対する入力操作に用いる入力用コンテンツを前記表示部に表示させる。
本発明によれば、入力用コンテンツが表示部に表示される。従って、コンテンツに対する入力操作を入力用コンテンツにより行うことができる。

また、本発明は、前記基準設定部は、前記検出対象部が設定された所定時間以上停止したと判定した場合に、停止した前記検出対象部の位置を前記基準状態として設定する。
本発明によれば、検出対象部が設定された所定時間以上停止したと判定した場合に、停止した検出対象部の位置が基準状態として設定される。従って、使用者の意図しない位置で基準状態が設定されないようにすることができる。

また、本発明は、前記使用者の視線の向きを検出する視線検出部を備え、前記基準設定部は、前記検出対象部の位置又は動きと、前記視線検出部が検出する視線の向きとを含む前記基準状態を設定する。
本発明によれば、検出対象部の位置又は動きと、視線検出部が検出する視線の向きとによって基準状態を設定することができる。従って、使用者の状態に対応して、より詳細に基準状態を設定することができる。

また、本発明は、前記検出部は前記表示部の筐体に配置され、ＧＰＳ信号に基づき位置検出を行うＧＰＳ検出部、加速度を検出する加速度センサー、角加速度を検出する角加速度センサー、単眼カメラ、ステレオカメラ、磁気センサーの少なくともいずれかを含む。
本発明によれば、検出部により、検出対象部の位置又は動きを精度よく検出することができる。

また、本発明は、前記磁気センサーは、前記表示部の筐体の外面側に配置される。
本発明によれば、筐体による磁気センサーによる磁気の検出への影響を低減することができる。

また、本発明は、複数の機能を実行する処理部を備え、各々の前記コンテンツは前記処理部が実行する機能に対応する。
本発明によれば、処理部が実行する機能に対応したコンテンツを表示部により表示させることができる。

また、本発明は、前記表示部が表示する前記コンテンツの内容を変更する編集処理部を備える。
本発明によれば、編集処理部によりコンテンツの内容を変更することができる。

また、本発明は、前記表示制御部は、前記基準状態に対する前記検出対象部の位置及び動きの変化量に基づき、前記表示部により表示される複数の前記コンテンツをサムネイル表示させる。
本発明によれば、表示部により表示される複数のコンテンツをサムネイル表示することができる。従って、表示部により表示されるコンテンツを使用者に容易に把握させることができる。

また、本発明は、前記表示制御部は、前記基準状態に対する前記検出対象部の位置及び動きの変化を予測し、予測結果に従って前記コンテンツの表示を変化させる。
本発明によれば、検出対象部の位置及び動きの変化の予測結果に従ってコンテンツの表示を変化させることができる。従って、画像表示部２０が表示するコンテンツを複数の位置に表示させることができる。コンテンツの表示を変化させるタイミングを早めることができる。

また、本発明は、前記表示制御部は、複数の前記コンテンツを、前記検出対象部に対して遠近方向に異なる位置に配置されるように前記表示部により表示させる。
本発明によれば、複数のコンテンツが検出対象部に対して遠近方向に異なる位置に配置される。従って、表示部が表示するコンテンツを複数の位置に表示させることができる。

上記課題を解決するため、本発明は、使用者の頭部に装着される表示部を備える表示装置の制御方法であって、前記頭部を含む検出対象部の位置及び動きの少なくともいずれかを検出するステップと、前記検出するステップにより検出される前記検出対象部の位置及び動きの少なくともいずれかに基づき、基準状態を設定するステップと、前記表示部により表示されるコンテンツの表示を、前記基準状態に対する前記検出対象部の位置及び動きの変化に基づき変化させるステップと、を有し、複数の前記コンテンツの相対的な表示位置が維持されるように、前記表示部が表示する前記コンテンツの表示を変化させる。
この構成によれば、検出対象部の位置及び動きの少なくともいずれかに基づいて基準状態を設定し、設定した基準状態に対する検出対象部の位置及び動きの変化に基づきコンテンツの表示を変化させることができる。また、コンテンツの表示を変化させるときに、コンテンツの相対的な表示位置が維持されるように変化させることができる。従って、表示させるコンテンツの選択が容易であって、簡単な操作によりコンテンツの表示を変化させることができる。

ＨＭＤの外観図。 ＨＭＤの光学系の構成を示す要部平面図。 画像表示部の構成を示す斜視図。 ＨＭＤのブロック図。 制御装置の機能ブロック図。 操作デバイスの構成を示すブロック図。 使用者が画像表示部越しに視認する視界を示す図。 球面座標上の座標に対応付けられたコンテンツを示す図。 使用者と、球面座標上の座標に設定されたコンテンツを上から見た状態を示す図。 使用者と、球面座標上の座標に設定されたコンテンツを上から見た状態を示す図。 使用者と、球面座標上の座標に設定されたコンテンツを示す図。 使用者と、球面座標上の座標に設定されたコンテンツとを示す図。 入力操作を視線センサーが検出する視線に基づいて行う様子を示す図。 使用者の足下に表示される画像の一例を示す図。 アプリ又はアプリ画面を選択する画像を示す図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。

図１は、本発明の表示装置及び表示装置の制御方法を適用したＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の外観構成を示す外観図である。
ＨＭＤ１００は、使用者の頭部に装着され、使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。画像表示部２０を頭部に装着した者を使用者という。

制御装置１０は、図１に示すように平たい箱形のケース１０Ａ（筐体又は本体ともいえる）を備える。ケース１０Ａは、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８の各部を備える。ボタン１１、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８は、使用者により操作される被操作部である。また、ＬＥＤインジケーター１２は、例えばＨＭＤ１００の動作状態を示す副表示部として機能する。使用者は、被操作部を操作することにより、ＨＭＤ１００を操作できる。制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を実現する。右表示ユニット２２は、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を実現する。左表示ユニット２４は、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。
右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導く。右導光板２６及び左導光板２８に導かれた画像光は使用者の右眼と左眼に入射して、使用者に虚像を視認させる。これにより、画像表示部２０は画像を表示する。

使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、又は、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の構成及び配置は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように決められる。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されるが、カメラ６１を端部ＥＬ側に配置してもよく、また、右導光板２６と左導光板２８との連結部に配置してもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。カメラ６１の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、カメラ６１の画角が、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、カメラ６１の画角は、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
カメラ６１は、制御部１５０（図５）が備える撮像制御部１４５の制御に従って撮像を実行する。カメラ６１は、撮像画像データを、後述するインターフェイス２１１を介して制御部１５０に出力する。

画像表示部２０の使用者側には視線センサー（視線検出部）６８が配置される。視線センサー６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。視線センサー６８は、例えば、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラで構成される。視線センサー６８は、制御部１５０（図５）の制御に従って撮像を行い、制御部１５０が、撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２及び左表示ユニット２４は、左右対称に構成される。右表示ユニット２２は、使用者の右眼ＲＥに画像を視認させる構成として、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、左表示ユニット２４は、使用者の左眼ＬＥに画像を視認させる構成として、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図１に戻り、制御装置１０及び画像表示部２０は、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６及び制御装置１０は、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及びマイク６３を有するヘッドセット３０が、コネクター４６に接続される。
制御装置１０と画像表示部２０とを無線接続してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信により、制御装置１０と画像表示部２０とが制御信号やデータを相互に送受信する構成としてもよい。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。

ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン１１は、制御装置１０が実行するオペレーティングシステム１４１（図５参照）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド１４への接触（タッチ操作）は、タッチセンサー（図示略）により検出される。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。

図３は、画像表示部２０の構成を示す斜視図であり、画像表示部２０を使用者の頭部側から見た要部構成を示す。この図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６１は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。

一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３が接続される。また、メインプロセッサー１４０には、ＧＰＳ（Global Positioning System）受信部１１５、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１及びＬＥＤ表示部１７を含む。操作部１１０は、ボタン１１が有するボタンやスイッチ等の操作子が操作された場合に、操作された操作子に対応する操作信号をメインプロセッサー１４０に出力する。

ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤインジケーター１２の点灯及び消灯を制御する。また、ＬＥＤ表示部１７は、トラックパッド１４の直下に配置されるＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む構成であってもよい。この場合、ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
６軸センサー１１１及び磁気センサー１１３は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。また、６軸センサー１１１及び磁気センサー１１３は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

ＧＰＳ受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信されるＧＰＳ信号を受信する。ＧＰＳ受信部１１５は、受信したＧＰＳ信号をメインプロセッサー１４０に出力する。また、ＧＰＳ受信部１１５は、受信したＧＰＳ信号の信号強度を計測し、メインプロセッサー１４０に出力する。信号強度には、例えば、受信信号強度（RSSI:Received Signal Strength Indication）、電界強度、磁界強度、信号雑音比（SNR: Signal to Noise ratio）等の情報を用いることができる。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。コネクター４６はヘッドセット３０に接続される。音声インターフェイス１８２が出力する音声信号は右イヤホン３２、及び左イヤホン３４に入力され、これにより右イヤホン３２及び左イヤホン３４が音声を出力する。また、ヘッドセット３０が備えるマイク６３は、音声を集音して、音声信号を音声インターフェイス１８２に出力する。マイク６３から音声インターフェイス１８２に入力される音声信号は、外部コネクター１８４に入力される。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備える。ＵＳＢコネクター１８８は、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９６を介した伝送を実行する。

ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。カメラ６１は、単眼カメラであってもよいし、ステレオカメラであってもよい。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。また、磁気センサー２３７は、画像表示部２０の筐体の外面側に配置してもよい。画像表示部２０の筐体を構成する材料として金属を用いた場合、磁気センサー２３７の検出値にノイズが重畳され、磁気センサー２３７の検出精度が低下する場合がある。このため、磁気センサー２３７は、画像表示部２０の筐体の外面側に配置して、磁気センサー２３７の検出精度の低下を防止することができる。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３又はＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、又は電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

図５は、制御装置１０の制御系を構成する記憶部１２２及び制御部１５０の機能ブロック図である。図５に示す記憶部１２２は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、プログラムとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８及び不揮発性記憶部１２１により構成される。制御部１５０は、本発明の「処理部」に相当する。

制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。具体的には、記憶部１２２は、設定データ１２３、コンテンツデータ１２４及び表示位置情報１２５を記憶する。

設定データ１２３は、ＨＭＤ１００の動作を設定する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１２３に含めてもよい。

コンテンツデータ１２４は、制御部１５０の制御によって画像表示部２０が表示するデータであり、例えば、ワードやエクセル等のドキュメントファイルや、静止画像データ、動画像データを含む。また、コンテンツデータ１２４は、音声データを含んでもよい。また、コンテンツデータ１２４は、視差を有し、右表示ユニット２２と左表示ユニット２４とが視差を有する状態で画像を表示させる３Ｄ画像データであってもよい。また、コンテンツデータ１２４には、ＡＲ（Augmented Reality）で表示される操作ボタンや、ＧＵＩ（Graphical User Interface）、ソフトキーボード等の画像を表示するための画像データであってもよい。
また、コンテンツデータ１２４は、コンテンツを画像表示部２０により表示する際に、制御装置１０によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２４は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。

表示位置情報１２５は、複数のコンテンツの相対的な表示位置を示す情報である。詳細については後述するが、表示位置情報１２５は、コンテンツを表示するアプリケーションプログラム（以下、アプリという）の識別情報と、このアプリが表示するコンテンツの表示サイズと、コンテンツが対応付けられた球面座標上の座標とを示す情報である。球面座標の詳細については後述する。また、表示位置情報１２５には、後述する基準状態として設定する基準方位や、頭部の傾きを示す仰角又は俯角を示す情報が含まれる。

制御部１５０は、機能ブロックとして、オペレーティングシステム（ＯＳ）１４１、画像処理部１４３、撮像制御部１４５、操作制御部１４７、指示体検出部１４９、頭部動き検出部１５１、基準設定部１５３、表示制御部１５５及び座標設定部１５７を備える。これらの機能ブロックは、ＣＰＵがＲＡＭにプログラムを展開し、展開したプログラムを実行することで実現される機能をブロックとして便宜的に表現したものである。制御部１５０は、これらの機能ブロックの他に、複数の機能を実行する処理部として機能させることもできる。例えば、制御部１５０を、画像表示部２０に表示させるコンテンツの内容を変更する編集処理部として動作させてもよい。

オペレーティングシステム１４１の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１４１上で実行されるアプリケーションプログラムの機能である。

画像処理部１４３は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４３が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１４３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、又は２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
画像処理部１４３は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０と別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

撮像制御部１４５は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成する。撮像制御部１４５は、生成した撮像画像データを記憶部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４５は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶させる。

操作制御部１４７は、トラックパッド１４及び操作部１１０における操作を検出し、検出した操作に対応するデータを出力する。操作制御部１４７は、例えば、操作部１１０のボタン等が操作された場合、操作内容を示す操作データを生成して表示制御部１５５に出力する。表示制御部１５５は、操作制御部１４７から入力される操作データに従って画像表示部２０の表示状態を変更する。
また、操作制御部１４７は、トラックパッド１４における操作を検出した場合に、トラックパッド１４における操作位置の座標を取得する。操作制御部１４７は、操作位置の軌跡を生成する。操作位置の軌跡は、トラックパッド１４のタッチ操作が解除されない間、すなわち操作体がトラックパッド１４に接触した状態が継続する間の操作位置の軌跡である。

指示体検出部１４９は、記憶部１２２から撮像画像データを取得して、取得した撮像画像データに撮像された使用者の手や指（以下、手指という）の領域（以下、手指領域という）を検出する。また、指示体検出部１４９は、検出した手指領域に写った手指の形状や位置を特定する。例えば、指示体検出部１４９は、肌色抽出処理により、撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手指領域を検出する。本実施形態では、指示体検出部１４９が、使用者の身体の一部を含む指示体として、使用者の手指を検出する場合について説明するが、指示体検出部１４９が検出する指示体は、使用者の腕全体であってもよい。また、使用者が指示棒等を手に持っている場合、指示体検出部１４９は、この指示棒を指示体として検出してもよいし、指示棒を含む使用者の手指を検出してもよい。

頭部動き検出部１５１は、６軸センサー２３５や磁気センサー２３７の検出値に基づいて使用者の頭部の位置や動きを検出する。使用者の頭部は、本発明の「検出対象部」に相当する。また、使用者の頭部を含む上半身を検出対象部としてもよい。６軸センサー２３５及び磁気センサー２３７は、所定の周期（例えば、５０ｍｓｅｃ）毎にサンプリングを実行し、検出結果を示すアナログ電圧値を出力する。出力された電圧値は、Ａ／Ｄ変換器（図示略）によってデジタル信号に変換され、制御部１５０に出力される。６軸センサー２３５及び磁気センサー２３７は、本発明の「検出部」に相当する。
６軸センサー２３５が備える角速度センサーは、内蔵する検出機構の測定基準点において、図１に示すＸ軸まわりの回転（ピッチ角）、Ｙ軸回りの回転（ヨー角）、及びＺ軸まわりの回転（ロール角）を検出する。Ｘ軸、Ｙ軸及びＺ軸は、図１に示すように相互に直交する３軸方向であり、Ｚ軸方向が鉛直方向に対応し、Ｘ軸方向が使用者の頭部の左右方向に対応し、Ｙ軸方向が使用者の頭部の前後方向に対応する。
頭部動き検出部１５１は、６軸センサー２３５の検出値によりＸ軸まわりの回転（ピッチ角）を検出して、使用者が顔を上げる又は下げる動きを検出する。また、頭部動き検出部１５１は、６軸センサー２３５の検出値によりＹ軸まわりの回転（ヨー角）を検出して、使用者が首を左肩又は右肩の方向に傾ける動きを検出する。また、頭部動き検出部１５１は、６軸センサー２３５の検出値によりＺ軸まわりの回転（ロール角）を検出して、使用者が顔を左又は右に回す動きを検出する。以下では、顔を上げるや下げる動き、首を左肩又は右肩の方向に傾ける動き、顔を左又は右に回す動きを総称して、頭部の動きという。また、Ｘ軸、Ｙ軸及びＺ軸は、本発明の「検出対象部の回転軸」に相当する。

また、磁気センサー２３７は、前述のＸ軸方向、Ｙ軸方向及びＺ軸方向における磁界を検出する３軸の磁気センサーである。頭部動き検出部１５１は、磁気センサー２３７の検出値に基づいて、使用者が向いた方向、すなわち使用者の正面に相当する方位を検出する。

基準設定部１５３は、６軸センサー２３５や磁気センサー２３７により検出される使用者の頭部の位置及び動きの少なくともいずれか一方に基づいて、基準状態を設定する。基準設定部１５３は、頭部の位置又は動きの基準となる方位（以下、基準方位という）を基準状態として設定する。制御部１５０は、使用者の頭部の回転等が検出されると、設定した基準方位を基準として画像表示部２０が表示するコンテンツの表示を変化させる。
使用者は、ＨＭＤ１００に基準方位を設定するため、第１の操作と、第２の操作とを行う。第１の操作は、ＨＭＤ１００に、基準状態の設定を実行させるための操作である。例えば、使用者は、トラックパッド１４の操作面に対して所定の操作を行うことで、第１の操作を行う。この第１の操作は、トラックパッド１４の操作面に対する操作に限定されるものではなく、例えば、ボタン１１や、上下キー１５の操作であってもよいし、トラックパッド１４の操作面を叩く操作であってもよい。また、使用者が「基準方位の設定」と発声するものであってもよい。

使用者は、第１の操作を行うと、基準方位として設定したい方向に頭部及び体を向ける。このとき、使用者の頭部は、斜め上方又は下方に向いていてもよい。使用者は、基準方位として設定したい方向を向くと、第２の操作を行う。第２の操作は、基準方位の設定にズレが生じないように、使用者の頭部の動きができるだけ少ない操作であることが好ましい。第２の操作は、例えば、トラックパッド１４や操作部１１０に対する予め設定された操作であってもよい。

また、基準設定部１５３は、６軸センサー２３５の検出値に基づいて、使用者の頭部が所定時間以上停止したと判定した場合に、停止した頭部が向く方位を基準方位として設定してもよい。すなわち、第２の操作を行うことなく、基準方位を設定してもよい。

また、使用者が装着する操作デバイス３に対する操作を第２の操作としてもよい。
ここで、操作デバイス３について説明する。図６は、操作デバイス３の構成を示すブロック図である。
ここで、操作デバイス３について説明する。
操作デバイス３は、操作デバイス３の各部を制御する制御部３１０を備える。制御部３１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記憶したプログラムを実行することにより、操作デバイス３の機能を実現する。

操作デバイス３は、通信用の機能部として、無線通信部３２１と、ＮＦＣ（Near Field Communication）部３２２とを備える。
無線通信部３２１は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ等の規格に準じた無線データ通信を実行する。ＮＦＣ部３２２は、ＮＦＣ規格に準拠した近距離無線通信を実行する。

また、制御部３１０には、ＬＣＤ（liquid crystal display）３２３、タッチパネル３２４、カメラ３２５、ＬＥＤ（light emitting diode）３２６が接続される。
制御部３１０は、ＬＣＤ３２３を制御して画像や文字を表示させる。また、タッチパネル３２４は、ＬＣＤ３２３の表面に重畳して配置され、ＬＣＤ３２３の表面における接触操作を検出する。タッチパネル３２４は、例えば、静電容量式または感圧式のセンサーを用いることができる。制御部３１０は、タッチパネル３２４により接触操作を検出し、操作位置を特定する。
また、制御部３１０は、カメラ３２５を制御して撮像を実行させ、撮像画像データを生成する。また、制御部３１０は、ＬＥＤ３２６に流れる電流をＯＮ／ＯＦＦして、ＬＥＤ３２６を任意のタイミングで点灯、或いは点滅させる。

制御部３１０には、マイク３２７、ボタン操作部３２８及びスピーカー３２９が接続される。マイク３２７は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。制御部３１０は、マイク３２７が集音した音声のアナログ音声信号を取得してデジタル音声データを生成する。
ボタン操作部３２８は、操作デバイス３に設けられたボタンの操作を検出し、操作されたボタンに対応する操作信号を制御部３１０に出力する。
スピーカー３２９は、制御部３１０が出力する音声信号に基づき音声を出力する。

上述の第１の操作及び第２の操作について引き続き説明する。使用者は、基準方位として設定したい方向に向くと、操作デバイス３を操作する。操作デバイス３の操作は、例えば、操作デバイス３に設けられたスイッチやボタンの操作であってもよいし、操作デバイス３の表面をノックする操作であってもよい。操作デバイス３は、ノック音をマイク３２７により検出すると、ＨＭＤ１００に第２の操作を受け付けたことを示す信号を送信する。

基準設定部１５３は、第２の操作を受け付けると、６軸センサー２３５や磁気センサー２３７の検出値を取得する。基準設定部１５３は、取得した検出値に基づいて、頭部の回転軸と、回転軸を中心として回転する頭部の位置とを検出して基準方位を設定する。例えば、基準設定部１５３は、磁気センサー２３７の検出値に基づき、使用者の頭部が向く方位（方位角）を検出する。この場合、頭部の回転軸はＺ軸（鉛直方向）となり、回転軸を中心として回転する頭部の位置は、磁気センサー２３７の検出値により検出される方位角となる。
また、基準設定部１５３は、基準状態として頭部の傾きである仰角又は俯角を検出してもよい。基準設定部１５３は、６軸センサー２３５に含まれる角速度センサーの検出値に基づき、頭部のＸ軸周りの回転角（ピッチ角）を検出する。検出されるＸ軸周りの回転角は、頭部の左右方向に設定したＸ軸、及び頭部の前後方向に設定したＹ軸を含む面（以下、水平面という）に対する傾き（仰角又は俯角）となる。この場合、頭部の回転軸はＸ軸となり、頭部の位置は、検出される仰角又は俯角となる。
基準設定部１５３は、検出した方位角を基準方位として設定し、頭部の回転軸や、基準方位を示す情報、仰俯角を示す情報を表示位置情報１２５として記憶部１２２に記憶させる。

また、基準設定部１５３は、６軸センサー２３５や磁気センサー２３７の検出値の他に、視線センサー６８の検出する使用者の視線方向に基づいて基準状態を設定してもよい。使用者の視線方向に基づいて基準状態を設定することで、使用者の視線方向を基準状態として設定することができ、使用者の視線方向にコンテンツを表示させることができる。
また、頭部の位置又は動きを検出する検出部として、６軸センサー２３５や磁気センサー２３７の他に、ＧＰＳ受信部１１５や、カメラ６１を用いてもよい。検出部としてこれらの機能部を用いることで、頭部の位置や動きの検出精度を高めることができる。

また、基準設定部１５３は、送信機（図示略）から送信されるＢｌｕｅｔｏｏｔｈやＢＬＥ（Bluetooth Low Energy）等の近距離無線通信の電波の受信強度が最も大きい方向を基準の方向として設定してもよい。また、使用者の頭部に変えて、操作デバイス３の操作により基準状態を設定してもよい。例えば、使用者は、操作デバイス３の表面を基準方位として設定する方向に向ける。操作デバイス３には、６軸センサーや磁気センサーが搭載され、これらのセンサーの検出値をＨＭＤ１００に送信する。基準設定部１５３は、操作デバイス３から送信されるセンサーの検出値を通信部１１７で受信し、受信した検出値に基づいて基準状態を設定する。

表示制御部１５５は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４３が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１５５は、キャリブレーションを実行して、表示領域Ｖの座標と、カメラ６１の撮像画像とを対応付けるパラメーターを生成する。図７は、使用者が画像表示部２０越しに視認する視界ＶＲを示す図である。
使用者は、現実世界（以下、外景という）に存在する人や、建物、道路、その他の物体（以下、これらを総称して対象物体という）と、画像表示部２０が表示するコンテンツとを画像表示部２０越しに視認する。画像表示部２０が制御部１５０の制御に従って、コンテンツデータ１２４を再生することで、表示領域Ｖにコンテンツが再生される。表示領域Ｖは、画像表示部２０がコンテンツを表示可能な領域を示す。

表示制御部１５５は、画像表示部２０にキャリブレーション用画像を表示させながら、キャリブレーション用画像に対応した参照実物体を、カメラ６１の撮像画像データから認識し、追跡する。この状態で、使用者が、トラックパッド１４等のユーザーインターフェイスを介してキャリブレーション用画像の位置を画像表示部２０上で移動させる。そして、使用者が、キャリブレーション用画像と参照実物体とが重なる（位置、大きさ、向きの少なくとも１つがほぼ一致する）ように知覚したタイミングにて、ユーザーインターフェイスを介して表示制御部１５５に通知する。表示制御部１５５は、取得した通知に応じて、当該タイミングでの参照実物体の検出結果（撮像画像データ上の位置）と、表示領域Ｖでのキャリブレーション用画像の表示位置とを対応付けるパラメーターを生成する。表示制御部１５５は、生成されたパラメーターを記憶部１２２に記憶させる。
このパラメーターは、例えば、使用者が手指により指し示した領域のコンテンツや対象物体を特定する際に使用される。

また、表示制御部１５５は、画像表示部２０により表示領域Ｖに表示されるコンテンツの表示状態を、６軸センサー２３５や磁気センサー２３７により検出される頭部の動き（位置の変化）に基づき変化させる。表示領域Ｖに表示されるコンテンツは、例えば、ワードやエクセル等のドキュメントファイルであってもよいし、動画や静止画のファイルであってもよい。また、動画や静止画のファイルは、記憶部１２２に予め記憶されたファイルであってもよいし、通信部１１７を制御してネットワークからダウンロードしたファイルであってもよい。

座標設定部１５７は、基準設定部１５３が設定した基準方位に基づいて、仮想的な３次元の空間座標を設定する。本実施形態の座標設定部１５７は、使用者の頭部が中心に位置する球面状の座標である球面座標を設定する。この球面座標は、使用者の頭部を原点とし、原点からの距離と、２つの偏角とによって規定される３次元の極座標によって表現される。２つの偏角は、基準設定部１５３により基準方位として設定された方位からの角度と、鉛直方向であるＺ軸方向からの角度とによって規定される。

座標設定部１５７が設定した球面座標には、表示制御部１５５によって使用者が使用するコンテンツが対応付けられる。表示制御部１５５は、使用者によってアプリが起動された場合、このアプリによって表示されるコンテンツを球面座標上のいずれかの座標に対応付ける。また、表示制御部１５５は、複数のコンテンツを球面座標の座標に対応付ける場合に、複数のコンテンツの相対的な表示位置が位置されるように、コンテンツを球面座標上の座標に対応付ける。そして、座標設定部１５７は、コンテンツを表示するアプリの識別情報と、このアプリが表示するコンテンツの表示領域のサイズと、コンテンツが対応付けられた球面座標上の座標とを示す情報を表示位置情報１２５として生成し、記憶部１２２に記憶させる。

使用者は、複数のアプリを起動させ、表示領域Ｖに複数のコンテンツを表示させることができる。しかしながら、ＨＭＤ１００の場合、表示領域Ｖに表示されるコンテンツの数が増えると、コンテンツによって外界の視認性が阻害される場合がある。また、複数のコンテンツを表示させた場合であっても、複数のコンテンツを同時に操作するわけではなく、一時的に使用しないコンテンツが生じる場合もある。このような一時的に使用していないコンテンツのアプリを一旦終了させ、使いたいときに再度起動させた場合、アプリを起動させるまでに時間がかかるという問題がある。このため、一時的に使用しないコンテンツを表示領域Ｖに表示させないようにしたいというニーズがある。

図８は、球面座標上の座標に対応付けられたコンテンツを示す図である。
座標設定部１５７は、アプリが起動されると、このアプリによって表示されるコンテンツを球面座標上の座標に対応付ける。図８には、基準方位からの偏角φと、鉛直方向からの偏角θと、原点からの距離Ｒに対応する球面座標上の座標にコンテンツが対応付けられた様子を示す。また、コンテンツに対応付ける座標は、コンテンツを矩形で表示する場合に、矩形の四隅のそれぞれに偏角θ、φ、及び距離Ｒを対応付けるものであってもよい。

表示制御部１５５は、頭部動き検出部御部１５１により頭部の動きが検出されると、検出された頭部の動きに対応して、画像表示部２０の表示範囲を示す表示領域Ｖを球面座標上で移動させる。表示制御部１５５は、移動後の表示領域Ｖ内にコンテンツに設定した座標が含まれる場合、このコンテンツを画像表示部２０により表示させる。

図９及び図１０は、使用者と、球面座標上に設定したコンテンツを上から見た状態を示す図である。
図９及び図１０は、基準方位の方向である０度の方向にコンテンツＡが設定され、基準方位から右回りに４５度の方向にコンテンツＢが設定された状態を示す。同様に、基準方位から右回りに９０度の方向にコンテンツＣが設定され、１３５度の方向にコンテンツＤが設定され、１８０度の方向にコンテンツＥが設定される。また、基準方位から右回りに２２５度の方向にコンテンツＦが設定され、２７０度の方向にコンテンツＦが設定され、３１５度の方向にコンテンツＨが設定された状態を示す。１３５度、１８０度、２２５度といった角度は、使用者の背面側に相当し、基準方位の方向を向いた使用者の背面側にコンテンツを設定することもできる。

使用者は、球面座標上に設定した他のコンテンツを視認したい場合、視認したいコンテンツが設定された方向に頭部を回転させる。頭部動き検出部１５１は、６軸センサー２３５の検出値に基づいて頭部の回転方向及び回転した角度を検出する。表示制御部１５５は、頭部動き検出部１５１が検出した頭部の回転方向及び回転角度に従って、表示領域Ｖを球面座標上で移動させる。表示制御部１５３は、移動後の表示領域Ｖ内に設定されたコンテンツの座標が存在する場合、このコンテンツを表示領域Ｖに表示させる。図９は、使用者が基準方位の方向である０度の方向を向いた場合を示す。この場合、表示領域Ｖ内にコンテンツＡの座標が存在するため、表示制御部１５５は、コンテンツＡを表示領域Ｖに表示させる。また、図１０は、使用者が基準方位の方向から右回りに４５度回転した場合を示す。この場合、表示領域Ｖ内にコンテンツＣの座標が存在するため、表示制御部１５５は、コンテンツＣを表示領域Ｖに表示させる。

図１１は、使用者と、球面座標上に設定されたコンテンツを示す図である。特に、図１１は、使用者を横方向から見た状態を示す図である。
また、コンテンツは、球面座標の同一の方位角の方向に複数対応付けることもできる。すなわち、コンテンツを回転方向に対して垂直な方向に対応付けることもできる。具体的には、鉛直方向からの偏角θの値を変更して、球面座標にコンテンツを対応付ける。
図１１には、偏角θが「α」の座標に対応付けられたコンテンツＪと、偏角θが「β」の座標に対応付けられたコンテンツＩと、偏角θが「γ」の座標に対応付けられたコンテンツＫとを示す。α、β及びγは、α＜β＜γの関係にある。
使用者は、水平方向（偏角θが９０度の方向）に頭を向けることでコンテンツＩを表示領域Ｖ内に視認することができ、頭部を斜め上方向に向けることでコンテンツＪを表示領域Ｖ内に視認することができる。また、使用者は、頭部を斜め下方向に向けることで表示領域Ｖ内にコンテンツＫを視認することができる。

図１２は、使用者と、球面座標上の座標に設定されたコンテンツとを示す図である。
また、球面座標に対応付けるコンテンツは、使用者からの距離Ｒを変更して設定してもよい。すなわち、使用者の頭部に対して遠近方向に異なる位置にコンテンツを配置してもよい。
図１２には、原点からの距離がＲ１、鉛直方向からの偏角θが「β」の座標に対応付けられたコンテンツＳと、距離がＲ２、鉛直方向からの偏角θが「β」の座標に対応付けられたコンテンツＴとを示す。
使用者がこれらのコンテンツＳ及びＴが設定された球面座標の座標方向に向くと、表示領域ＶにコンテンツＳ及びＴがともに表示される。使用者は、例えば、トラックパッド１４や操作部１１０、操作デバイス３を操作して、操作対象又は表示対象のコンテンツを選択する。そして、使用者によりいずれか一方のコンテンツが選択されると、表示制御部１５５は、選択されたコンテンツと、選択されていないコンテンツとでコンテンツの見やすさを変更する。例えば、表示制御部１５５は、選択されていないコンテンツの透過率を、選択されたコンテンツの透過率よりも上げたり、選択されたコンテンツの輝度を選択されていないコンテンツの輝度よりも高くしたりする。
また、コンテンツＳ及びＴの端部にタグをそれぞれ表示し、選択されたコンテンツのタグ部分を点滅させたり、表示色を変更したりすることで、選択されたコンテンツを明示してもよい。

また、使用者が、コンテンツが対応付けられていない座標の方向を向いた場合に、この座標に最も近いコンテンツを複数表示させてもよい。
例えば、基準方位からの偏角φが０度の座標と、９０度の座標とにコンテンツが対応付けられた状態であると仮定する。この状態で、使用者が、偏角φが４５度の方向に向いた場合、０度の座標に対応付けたコンテンツと、９０度の座標に対応付けたコンテンツとを両方とも表示させてもよい。すなわち、使用者の向きが、コンテンツを対応付けた座標と座標との間の中間の座標の向きである場合、両方のコンテンツを表示させる。
使用者は、表示領域Ｖに複数のコンテンツを同時に表示させて作業を行いたい場合もある。このような場合に、コンテンツが対応付けられ座標の間の中間の座標において両方のコンテンツを表示させることで、使用者の作業効率を向上させることができる。

また、使用者は、コンテンツと、このコンテンツに対応付けた球面座標上の座標とを変更することができる。例えば、表示制御部１５５は、４５度、９０度、１３５度、１８０度等の偏角φと、この偏角φに対応付けたコンテンツのサムネイル画像とを表示領域Ｖの端部に表示させてもよい。使用者は、表示領域Ｖの表示を参照しながら、トラックパッド１４や操作部１１０、操作デバイス３を操作し、各コンテンツに対応付ける球面座標の座標（偏角φ、θ、距離Ｒ）を変更してもよい。

図１３は、入力操作を視線センサー６８が検出する視線に基づいて行う様子を示す図である。
使用者は、アプリを起動させて、表示領域Ｖにコンテンツを表示させると、表示されたコンテンツに対する操作を行う。
例えば、表示制御部１５５は、起動されたアプリがブラウザソフトウェアである場合、このブラウザソフトウェアが表示するブラウザ画面の検索欄にキーワードを入力するため、入力用コンテンツとしてソフトウェアキーボード１７０を表示させてもよい。ソフトウェアキーボード１７０の操作は、使用者の視線方向を視線センサー６８により検出して、視線方向に対応するソフトウェアキーボード１７０のキーを判定してもよい。

また、カメラ６１の撮像画像に基づいて、ソフトウェアキーボード１７０のキーを選択してもよい。
制御部１５０は、画像表示部２０のカメラ６１により使用者の手指を撮像し、撮像画像から手指が写った手指領域を検出する。検出した手指領域から手指の形状を特定して、手指の先端と重なるソフトウェアキーボード１７０上のキーを特定する。手指の先端に重なるソフトウェアキーボード１７０上のキーの特定には、キャリブレーションにより生成したパラメーターが用いられる。制御部１５０は、パラメーターを使用して、撮像画像上の手指領域の座標を、表示領域Ｖの座標に変換して、手指の先端に重なるソフトウェアキーボード１７０上のキーを特定する。

また、表示領域Ｖに表示させたカーソルを操作して、ソフトウェアキーボード１７０上のキーを選択してもよい。
使用者によるトラックパッド１４や操作部１１０、操作デバイス３の操作に従い、カーソルをソフトウェアキーボード１７０上で移動させる。そして、制御部１５０は、トラックパッド１４や操作部１１０、操作デバイス３による確定操作を受け付けると、この確定操作を受け付けたときのカーソルの位置に対応するソフトウェアキーボード１７０のキーを特定し、選択されたキーを判定する。

また、使用者の手指又は頭部の動きによりカーソルをソフトウェアキーボード上で移動させてもよい。
使用者の手指によりカーソルを移動させる場合、制御部１５０は、カメラ６１の撮像画像から使用者の手指が写った手指領域を検出する。制御部１５０は、例えば、認識辞書を使用して、検出した手指領域から手指の形状を特定し、手指が指し示す方向にカーソルを移動させる。認識辞書は、手指の形状や位置を特定するための情報であり、記憶部１２２に記憶される。

また、使用者の頭部の動きを検出してカーソルを移動させる場合、制御部１５０は、６軸センサー２３５の検出値に基づいてカーソルを移動させる。例えば、制御部１５０は、使用者が頭部を右方向へ回転させた場合、すなわち、頭部のＺ軸回りの回転を検出した場合、カーソルを所定距離だけ右方向に移動させる。使用者が頭部を左方向に回転させた場合も同様である。また、制御部１５０は、使用者が頭部を上方向に向けた場合、頭部のＸ軸回りの回転角度を検出し、検出した回転角度に応じて、カーソルを上方に移動させる。使用者が頭部を下方向に向けた場合も同様である。

また、カーソルがソフトウェアキーボード１７０の選択したいキーの上に重畳されると、使用者は、このキーを選択する確定操作を行う。この確定操作は、例えば、トラックパッド１４や操作部１１０、操作デバイス３による操作であってもよい。また、使用者の手指の向きによりカーソルを移動させた場合、使用者の頭部の動きにより確定操作を行い、使用者の頭部の動きによりカーソルを移動させた場合、使用者の手指により確定操作を行うようにしてもよい。

図１４は、使用者の足下に表示される入力用コンテンツの一例を示す図である。
例えば、使用者の周囲を取り囲むように球面座標（すなわち、使用者が球面座標の中心に位置するように）を設定し、使用者の足下に入力用コンテンツ等のコンテンツを表示させてもよい。制御部１５０は、図１４に示すように、使用者の足下に、左右のそれぞれの方向に対応したカーソルの移動方向を示す画像と、確定操作を示す画像とが表示された入力用コンテンツを表示させる。制御部１５０は、入力用コンテンツの中心に使用者が位置するように入力用コンテンツを表示させる。

使用者は、移動方向を示す画像を足で踏むことでＨＭＤ１００にカーソルの移動方向を指示する。また、使用者は、カーソルの移動が完了すると、確定操作を示す画像を足で踏む。この操作により、ＨＭＤ１００は、カーソルと重なる位置のキーが選択されたと判定する。
使用者は、画像を足で踏む際、頭部を下に向けてカメラ６１の撮像範囲に足下が入るようにする。制御部１５０は、カメラ６１の撮像画像に基づき選択された画像を判定する。例えば、制御部１５０は、足が右方向に踏み出されている場合、カーソルを右方向に移動させる画像が選択されたと判定する。また、制御部１５０は、足が左方向に踏み出されている場合、カーソルを左方向に移動させる画像が選択されたと判定する。また、制御部１５０は、足が体の正面の前方向に踏み出されている場合、確定操作が入力されたと判定する。
また、制御部１５０は、トラックパッド１４や操作部１１０、操作デバイス３の操作を受け付けた場合に、使用者の足下に表示させる画像を変更してもよい。例えば、上下のそれぞれの方向に対応したカーソルの移動方向を示す画像と、確定操作を示す画像とが表示された入力用コンテンツを表示させてもよい。また、操作デバイス３に搭載されたカメラ３２５の撮像する撮像画像を使用して、選択された画像を判定してもよい。

図１５は、アプリ又はアプリ画面を選択する画像を示す図である。アプリ画面とは、アプリによって表示される画面である。
制御部１５０は、ＨＭＤ１００にインストールされたアプリの中から起動させるアプリを選択する場合に、アプリを示すアイコンを円形状に配置した画像を画像表示部２０により表示させてもよい。また、複数のアプリが起動した状態で、表示領域Ｖに表示させるアプリ画面を選択する場合に、アプリ画面を円形状に配置した画像を画像表示部２０により表示させてもよい。制御部１５０は、球面座標上に対応付けた座標に応じた並びでアプリ画面を示す画像を生成し、表示領域Ｖに表示させる。
使用者は、アプリを示すアイコンやアプリ画面が並べられた画像からアプリやアプリ画面を選択する場合、トラックパッド１４や操作部１１０、操作デバイス３を操作して選択してもよいが、使用者の足の操作によってアプリやアプリ画面を選択してもよい。
使用者は、アプリやアプリ画面を選択する場合、頭部を下に向けて、右足又は左足を一歩前に出す。すなわち、画像表示部２０に搭載されたカメラ６１により使用者の右足又は左足が撮像されるようにする。
制御部１５０は、カメラ６１の撮像画像から踏み出された足を判定する。例えば、制御部１５０は、撮像画像に右足が写っている場合、アプリやアプリ画面が表示された画像を右回りに回転させる。また、制御部１５０は、撮像画像に左足が写っている場合、アプリやアプリ画面が表示された画像を左回りに回転させる。制御部１５０は、図１５に示す選択位置に予め設定された時間以上停止しているアプリやアプリ画面がある場合に、このアプリやアプリ画面が選択されたと判定し、選択されたアプリを起動させ、又は選択されたアプリ画面を表示領域Ｖに表示させる。

図１６及び図１７は、ＨＭＤ１００の動作を示すフローチャートである。
制御部１５０は、基準状態の設定を行う。制御部１５０は、まず、第１の操作を受け付けたか否かを判定する（ステップＳ１）。否定判定の場合（ステップＳ１／ＮＯ）、制御部１５０は、第１の操作を受け付けるまで待機する。また、肯定判定の場合（ステップＳ１／ＹＥＳ）、制御部１５０は、第２の操作を受け付けたか否かを判定する（ステップＳ２）。制御部１５０は、否定判定の場合（ステップＳ２／ＮＯ）、第２の操作を受け付けるまで待機する。また、肯定判定の場合（ステップＳ２／ＹＥＳ）、制御部１５０は、６軸センサーや磁気センサー２３７の検出値を取得する（ステップＳ３）。

次に制御部１５０は、取得した６軸センサーや磁気センサー２３７の検出値に基づき頭部の回転軸と、回転軸を中心として回転する頭部の位置とに基づき基準方位を設定する（ステップＳ４）。
次に、制御部１５０は、アプリを起動させる操作を受け付けたか否かを判定する（ステップＳ５）。否定判定の場合（ステップＳ５／ＮＯ）、制御部１５０は、ステップＳ１０の判定に移行する。ステップＳ１０の判定については後述する。また、肯定判定の場合（ステップＳ５／ＹＥＳ）、制御部１５０は、すでに起動中の他のアプリがあるか否かを判定する（ステップＳ６）。

ステップＳ６の判定が否定判定の場合（ステップＳ６／ＮＯ）、制御部１５０は、ステップＳ４で設定した基準方位の方向に対応する球面座標上の座標に起動させたアプリの画面（以下、アプリ画面という）を対応付ける（ステップＳ８）。また、ステップＳ６の判定が肯定判定の場合（ステップＳ６／ＹＥＳ）、制御部１５０は、起動済みのアプリ画面を球面座標上の他の座標に対応付ける（ステップＳ７）。そして、制御部１５０は、起動させたアプリ画面を、ステップＳ４で設定した基準方位の方向に対応する球面座標上の座標に対応付ける（ステップＳ８）。その後、制御部１５０は、起動させたアプリ画面を画像表示部２０により表示領域Ｖに表示させる（ステップＳ９）。

ステップＳ５〜Ｓ９の処理についてより詳細に説明する。
使用者の頭部は、基準状態の設定動作において設定した基準方位の方向に向いていると仮定して説明する。
例えば、使用者がアプリを起動させると、表示制御部１５５は、このアプリが表示する画面（以下、アプリ画面Ａという）を画像表示部２０により表示させる。また、表示制御部１５５は、このアプリ画面Ａを球面座標上の座標に対応付ける。表示制御部１５５は、アプリ画面Ａを、球面座標上の偏角φが０度の座標に対応付ける。なお、以下では、アプリ画面が対応付けられる距離Ｒ及び鉛直方向からの偏角θは、同一の値に設定されるものとし、その説明を省略する。

表示領域Ｖにアプリ画面Ａが表示された状態で、使用者が次のアプリ（以下、アプリＢという）を起動させると、表示制御部１５５は、アプリ画面Ａの球面座標上の座標を変更する。
表示制御部１５５は、起動させたアプリＢの画面（以下、アプリ画面Ｂという）が使用対象又は表示対象として選択される確率が、アプリ画面Ａよりも高いと判定する。このため、表示制御部１５５は、例えば、アプリ画面Ａを偏角φが９０度の座標に対応付け、偏角φが０度の位置にアプリ画面Ｂを対応付ける。使用者の頭部は、偏角φが０度の方向を向いているので、表示領域Ｖにはアプリ画面Ｂが表示される。

次に、表示領域Ｖにアプリ画面Ｂが表示された状態で、使用者が次のアプリ（以下、アプリＣという）を起動させると、表示制御部１５５は、アプリ画面Ａ及びアプリ画面Ｂの球面座標上の座標を変更する。
この場合も、表示制御部１５５は、起動させたアプリＣの画面（以下、アプリ画面Ｃという）が使用対象又は表示対象として選択される確率が、アプリ画面Ａ及びアプリ画面Ｂよりも高いと判定する。このため、表示制御部１５５は、例えば、アプリ画面Ａを偏角φが１８０度の座標に対応付け、アプリ画面Ａを偏角φが９０度の座標に対応付ける。そして、表示制御部１５５は、偏角φが０度の位置にアプリ画面Ｃを対応付ける。使用者の頭部は、偏角φが０度の方向を向いているので、表示領域Ｖにはアプリ画面Ｃが表示される。

使用者は、アプリ画面Ｃの操作中に、アプリＡのアプリ画面Ａを表示させたい場合、頭部を１８０度回転させる。頭部動き検出部１５１は、６軸センサー２３５の検出値に基づいて頭部の回転方向及び回転した角度を検出し、表示制御部１５５は、頭部動き検出部１５１が検出した頭部の回転方向及び回転角度に従って、表示領域Ｖの位置を球面座標上で移動させる。表示制御部１５３は、移動後の表示領域Ｖ内に設定されたコンテンツの座標が存在する場合、このコンテンツを表示領域Ｖに表示させる。これにより、偏角φが１８０度の方向に向いた使用者は、アプリ画面Ａを表示領域Ｖに表示させることができる。

図１７に示すフローチャートを参照してＨＭＤ１００の動作について引き続き説明する。
制御部１５０は、ステップＳ９でアプリ画面を表示領域Ｖに表示させた場合、また、ステップＳ５の判定が否定判定の場合、６軸センサー２３５や磁気センサー２３７の検出値に基づき頭部の動きを検出したか否かを判定する（ステップＳ１０）。否定判定の場合（ステップＳ１０／ＮＯ）、制御部１５０は、ステップＳ５の判定に戻り、アプリが起動されたか否かを判定する（ステップＳ５）。

また、ステップＳ１０の判定が肯定判定の場合（ステップＳ１０／ＹＥＳ）、制御部１５０は、起動済みの他のアプリがあるか否かを判定する（ステップＳ１１）。否定判定の場合（ステップＳ１１／ＮＯ）、制御部１５０は、ステップＳ１３の判定に移行する。ステップＳ１３では、制御部１５０は、６軸センサー２３５や磁気センサー２３７の検出値に基づき基準方位の再設定が必要か否かを判定する。すなわち、使用者が無意識に頭部を動かしてしまい、設定した基準方位の方向がズレてしまう場合がある。制御部１５０は、使用者の頭部が、基準方位の方向として設定した方向から所定値以上動いたと判定した場合、基準方位の再設定を行うと判定する。また、制御部１５０は、使用者の頭部が、基準方位の方向として設定した方向から所定値以上動いていない場合、基準方位の再設定は必要ないと判定する。

ステップＳ１３の判定が否定判定の場合（ステップＳ１３／ＮＯ）、制御部１５０は、ステップＳ５の判定に戻り、新たにアプリが起動されたか否かを判定する。また、ステップＳ１３の判定が肯定判定の場合（ステップＳ１３／ＹＥＳ）、制御部１５０は、画像表示部２０により「基準方位の再設定を行います。」といったメッセージを表示させ、ステップＳ２の判定に移行する。

また、ステップＳ１１の判定が肯定判定の場合（ステップＳ１１／ＹＥＳ）、すなわち、起動済みのアプリがある場合、制御部１５０は、６軸センサー２３５や磁気センサー２３７の検出値に基づき、頭部の回転した回転方向及び回転角度を検出する。そして、制御部１５０は、検出した頭部の回転方向及び回転角度に応じて球面座標上で表示領域Ｖの位置を移動させる。その後、制御部１５０は、移動後の表示領域Ｖ内に設定されたアプリ画面の座標が存在する場合、このアプリ画面を表示領域Ｖに表示させる（ステップＳ１２）。

次に、制御部１５０は、アプリの終了操作を受け付けたか否かを判定する（ステップＳ１４）。否定判定の場合（ステップＳ１４／ＮＯ）、制御部１５０は、ステップＳ５の判定に戻り、新たにアプリが起動されたか否かを判定する。また、ステップＳ１４の判定が肯定判定の場合（ステップＳ１４／ＹＥＳ）、制御部１５０は、終了操作を受け付けたアプリを終了させ、このアプリが表示するアプリ画面と球面座標上の座標との対応付けを解除する。その後、制御部１５０は、起動させたすべてのアプリを終了させたか否かを判定する（ステップＳ１５）。否定判定の場合（ステップＳ１５／ＮＯ）、制御部１５０は、ステップＳ５の判定に戻り、新たにアプリが起動されたか否かを判定する。また、ステップＳ１５の判定が肯定判定の場合（ステップＳ１５／ＹＥＳ）、制御部１５０は、この処理フローを終了させる。

上述した実施形態では、頭部の位置や動きに基づいて基準状態を設定したが、指示体としての使用者の手指や腕位置や動きに基づいて基準状態を設定してもよい。例えば、使用者に、６軸センサーや磁気センサーが搭載された操作デバイス３を装着させ、操作デバイス３のセンサーの検出値により基準状態を設定してもよい。使用者は、基準方位として設定したい方向に操作デバイス３を装着した腕を伸ばす。操作デバイス３は、６軸センサーや磁気センサーの検出値をＨＭＤ１００に送信する。ＨＭＤ１００は、操作デバイス３から送信される検出値に基づいて、基準方位を設定する。

また、上述した説明では、表示領域Ｖを球面座標上で移動させて、表示させるコンテンツを判定したが、表示領域Ｖの位置は固定とし、頭部の動きに応じて球面座標を回転させて、球面座標を回転させた後に表示領域Ｖ内に位置するコンテンツを特定してもよい。
また、球面座標を回転させる場合に、球面座標を頭部に設定した回転軸に従って回転させてもよい。この回転軸は、地面に垂直に設定してもよいし、使用者の装着する操作デバイス３の表示面と、頭部の回転軸とから設定してもよい。また、使用シーンに応じて回転軸を変更してもよい。

また、表示領域Ｖに表示されたコンテンツの表示倍率を、使用者の手指の位置や動きによって変更してもよい。
例えば、記憶部１２２に、使用者の手指の動きや位置によるジェスチャーを特定するためのジェスチャー辞書を予め記憶させておく。ＨＭＤ１００は、カメラ６１の撮像画像から使用者の手指が写った手指領域を検出して、手指の動きや、形状及び位置を検出する。また、ＨＭＤ１００は、検出した手指の動きや、形状及び位置をジェスチャー辞書に登録されたジェスチャーを特定するための情報と比較して、ジェスチャーを特定する。ＨＭＤ１００は、特定したジェスチャーに対応した処理を実行する。例えば、特定したジェスチャーが表示倍率を上げる操作に対応付けられたジェスチャーであった場合、ＨＭＤ１００は、表示領域Ｖに表示されたコンテンツの表示倍率を変更し、コンテンツを拡大表示させる。

また、上述した実施形態では、座標設定部１５７が設定する座標として球面座標を例に挙げて説明したが、座標設定部１５７は、原点又は回転軸から所定距離に位置する円柱形状の座標系であってもよい。また、座標設定部１５７が設定する座標は、原点又は回転軸から所定距離に位置する平面上に設定された座標であってもよい。また、上述した実施形態では、使用者が位置する原点を回転軸として回転する球面座標を例に説明したが、原点の位置と回転軸の位置とが一致していなくてもよい。

また、上述した実施形態では、６軸センサー２３５や磁気センサー２３７の検出値に基づき頭部の位置及び動きを検出して、検出された頭部の動きに対応して、画像表示部２０の表示範囲を示す表示領域Ｖを球面座標上で移動させた。これ以外の方法として、使用者が過去に頭部を向けた方向の履歴情報を記憶部１２２に記憶させておき、この履歴情報に基づいて頭部の動きを予測してもよい。表示制御部１５５は、予測結果に従ってコンテンツを選択し、選択したコンテンツを表示領域Ｖに表示させてもよい。

以上、詳細に説明したように本実施形態のＨＭＤ１００は、画像表示部２０と、検出部としての６軸センサー２３５、磁気センサー２３７及び頭部動き検出部１５１と、基準設定部１５３と、表示制御部１５５とを備える。
検出部としての６軸センサー２３５、磁気センサー２３７及び頭部動き検出部１５１は、頭部を含む頭部の位置及び動きの少なくともいずれかを検出する。
基準設定部１５３は、検出部により検出される頭部の位置及び動きの少なくともいずれかに基づき、基準状態を設定する。表示制御部１５５は、画像表示部２０により表示されるコンテンツの表示を、基準状態に対する頭部の位置及び動きの変化に基づき変化させる。
また、表示制御部１５５は、複数のコンテンツの相対的な表示位置が維持されるように、表示部が表示するコンテンツの表示を変化させる。
従って、表示させるコンテンツの選択が容易であって、簡単な操作によりコンテンツの表示を変化させることができる。

また、ＨＭＤ１００は、複数のコンテンツの相対的な表示位置を示す表示位置情報を記憶する記憶部１２２を備える。
表示制御部１５５は、表示位置情報が示す複数のコンテンツの相対的な表示位置が維持されるようにコンテンツの表示を変化させる。従って、画像表示部２０により表示されるコンテンツの表示を、複数のコンテンツの相対的な表示位置が維持されるように変化させることができる。

また、表示制御部１５５は、基準状態に対する頭部の位置及び動きの変化に基づきコンテンツを選択し、選択したコンテンツを画像表示部２０により表示させる。
従って、頭部の位置又は動きによりコンテンツを選択し、選択したコンテンツを画像表示部２０により表示させることができる。

また、基準設定部１５３は、頭部の回転軸と、回転軸を中心として回転する頭部の位置とを基準状態として設定する。
また、ＨＭＤ１００は、座標設定部１５７を備える。この座標設定部１５７は、コンテンツの表示位置を、回転軸を中心とする回転方向、及び回転方向に対し垂直な方向に設定可能である。
従って、複数のコンテンツの相対的な表示位置が維持されるように複数のコンテンツを設定することができる。

また、座標設定部１５７は、コンテンツの表示位置を、基準状態における頭部の背面側に設定可能である。従って、コンテンツの表示位置にバリエーションを持たせることができる。

また、本発明は、前記表示制御部は、前記コンテンツの表示位置を、前記基準状態における前記検出対象部の背面側に設定可能である。
本発発明によれば、コンテンツの表示位置にバリエーションを持たせることができる。

また、座標設定部１５７は、複数のコンテンツを回転軸上の点を中心とする球面、或いは、回転軸から所定距離に位置する平面に配置したように視認できる位置に、コンテンツの表示位置を設定可能である。
従って、複数のコンテンツの相対的な表示位置が維持されるようにコンテンツの表示を変化させることができる。

また、表示制御部１５５は、コンテンツを使用者の足下の面に配置したように視認できる位置に、コンテンツの表示位置を設定可能である。
従って、コンテンツを使用者の足下の面に配置したように視認させることができる。

また、画像表示部２０は、使用者の右眼に画像を視認させる右表示ユニット２２及び使用者の左眼に画像を視認させる左表示ユニット２４を備える。
表示制御部１５５は、コンテンツを、右表示ユニット２２と左表示ユニット２４とが視差を有する状態で表示させる。
従って、コンテンツを３次元的に表示させることができる。

また、基準設定部１５３は、指示体の位置又は動きに従って基準状態を設定する。従って、基準状態を簡易に設定することができる。

また、表示制御部１５５は、指示体の位置又は動きに従って画像表示部２０におけるコンテンツの表示倍率を設定する。
従って、簡単な操作でコンテンツの表示倍率を設定することができる。

また、表示制御部１５５は、いずれかのコンテンツに対する入力操作に用いる入力用コンテンツを画像表示部２０により表示させる。
従って、コンテンツに対する入力操作を入力用コンテンツにより行うことができる。

また、基準設定部１５３は、頭部が設定された所定時間以上停止したと判定した場合に、停止した頭部の位置を基準状態として設定する。
従って、使用者の意図しない位置で基準状態が設定されないようにすることができる。

また、ＨＭＤ１００は、使用者の視線の向きを検出する視線センサー６８を備える。基準設定部１５３は、頭部の位置又は動きと、視線センサー６８が検出する視線の向きとを含む基準状態を設定する。
従って、使用者の状態に対応して、より詳細に基準状態を設定することができる。

また、検出部は画像表示部２０の筐体に配置され、ＧＰＳ信号に基づき位置検出を行うＧＰＳ検出部、加速度を検出する加速度センサー、角加速度を検出する角加速度センサー、単眼カメラ、ステレオカメラ、磁気センサーの少なくともいずれかを含む。
従って、検出部により、頭部の位置又は動きを精度よく検出することができる。

また、磁気センサー２３７が、画像表示部２０の筐体の外面側に配置される。
従って、筐体による磁気センサー２３７による磁気の検出への影響を低減することができる。

また、ＨＭＤ１００は、複数の機能を実行する制御部１５０を備え、各々のコンテンツは制御部１５０が実行する機能に対応する。
従って、制御部１５０が実行する機能に対応したコンテンツを画像表示部２０により表示させることができる。

また、制御部１５０は、画像表示部２０が表示するコンテンツの内容を変更する編集処理部として機能する。従って、制御部１５０によりコンテンツの内容を変更することができる。

また、表示制御部１５５は、基準状態に対する頭部の位置及び動きの変化に基づき、画像表示部２０により表示される複数のコンテンツをサムネイル表示させる。
従って、画像表示部２０により表示されるコンテンツを使用者に容易に把握させることができる。

また、表示制御部１５５は、基準状態に対する頭部の位置及び動きの変化を予測し、予測結果に従ってコンテンツの表示を変化させる。
従って、コンテンツの表示を変化させるタイミングを早めることができる。

また、表示制御部１５５は、複数のコンテンツを、頭部に対して遠近方向に異なる位置に配置されるように画像表示部２０により表示させる。
従って、画像表示部２０が表示するコンテンツを複数の位置に表示させることができる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、上述した実施形態では、６軸センサー２３５や磁気センサー２３７を用いて頭部の位置や動きを検出したが、これらのセンサーに加え、以下の情報に基づいて頭部の位置や動きを検出してもよい。
ＧＰＳ受信部１１５が受信するＧＰＳ信号の電波強度や、ビーコン信号の送信装置（図示略）から送信されるビーコン信の電波強度、カメラ６１の撮像画像、振動検出センサーの検出値等に基づいて頭部の位置や動きを検出してもよい。また、６軸センサー２３５や磁気センサー２３７、振動検出センサーの検出値、ＧＰＳ信号やビーコン信号の電波強度、撮像画像等を組み合わせて頭部の位置や動きを検出してもよい。

また、ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。すなわち、制御装置１０は、箱形のケース１０Ａを備える構成に限定されない。例えば、制御装置１０に代えて、使用者の身体、着衣又は、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記各実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記各実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示といった処理を行わない表示装置に本発明を適用できる。また、仮想画像を表示するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）表示といった処理を行わない表示装置にも本発明を適用できる。例えば、外部から入力される映像データ又はアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。

また、図１６及び図１７に示すフローチャートの処理単位は、ＨＭＤ１００の制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

１…システム、１０…制御装置、１０Ａ…ケース、１１…ボタン、１２、６７…ＬＥＤインジケーター、１４…トラックパッド、１５…上下キー、１６…切替スイッチ、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部(表示部)、２１…右保持部、２２…右表示ユニット（右表示部）、２３…左保持部、２４…左表示ユニット（左表示部）、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６８…視線センサー（視線検出部）、１００…ＨＭＤ（表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部、１２０…コントローラー基板、１２１…不揮発性記憶部、１２３…メモリー、１２５…記憶部、１２７…設定データ、１２８…コンテンツデータ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４１…オペレーティングシステム、１４３…画像処理部、１４５…撮像制御部、１４７…操作制御部、１４９…指示体検出部、１５０…制御部（処理部、編集処理部）、１５１…頭部動き検出部、１５３…基準設定部、１５５…表示制御部、１５７…座標設定部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー（検出部）、２３７…磁気センサー（検出部）、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１、２８１…ハーフミラー、ＶＲ…視界、Ｖ…表示領域。

Claims (21)

1. 使用者の頭部に装着される表示部と、
   前記頭部を含む検出対象部の位置及び動きの少なくともいずれかを検出する検出部と、
   前記検出部により検出される前記検出対象部の位置及び動きの少なくともいずれかに基づき、基準状態を設定する基準設定部と、
   前記表示部により表示されるコンテンツの表示を、前記基準状態に対する前記検出対象部の位置及び動きの変化に基づき変化させる表示制御部と、を備え、
   前記表示制御部は、複数の前記コンテンツの相対的な表示位置が維持されるように、前記表示部が表示する前記コンテンツの表示を変化させる表示装置。
2. 複数の前記コンテンツの相対的な表示位置を示す表示位置情報を記憶する記憶部を備え、
   前記表示制御部は、前記表示位置情報が示す複数の前記コンテンツの相対的な表示位置が維持されるように前記コンテンツの表示を変化させる請求項１記載の表示装置。
3. 前記表示制御部は、前記基準状態に対する前記検出対象部の位置及び動きの変化に基づき前記コンテンツを選択し、選択した前記コンテンツを前記表示部に表示させる請求項１又は２記載の表示装置。
4. 前記基準設定部は、前記検出対象部の回転軸と、前記回転軸を中心として回転する前記検出対象部の位置とに基づいて前記基準状態を設定し、
   前記表示制御部は、前記コンテンツの表示位置を、前記回転軸を中心とする回転方向、及び前記回転方向に対し垂直な方向に設定可能である請求項１から３のいずれか１項に記載の表示装置。
5. 前記表示制御部は、前記コンテンツの表示位置を、前記基準状態における前記検出対象部の背面側に設定可能である請求項４記載の表示装置。
6. 前記表示制御部は、複数の前記コンテンツを前記回転軸上の点を中心とする球面、或いは、前記回転軸から所定距離に位置する平面に配置したように視認できる位置に、前記コンテンツの表示位置を設定可能である請求項４又は５記載の表示装置。
7. 前記表示制御部は、前記コンテンツを前記使用者の足下の面に配置したように視認できる位置に、前記コンテンツの表示位置を設定可能である請求項４から６のいずれか１項に記載の表示装置。
8. 前記表示部は、前記使用者の右眼に画像を視認させる右表示部及び前記使用者の左眼に画像を視認させる左表示部を備え、
   前記表示制御部は、前記コンテンツを、前記右表示部と前記左表示部とが視差を有する状態で表示させる請求項１から７のいずれか１項に記載の表示装置。
9. 前記基準設定部は、指示体の位置又は動きに従って前記基準状態を設定する請求項１から８のいずれか１項に記載の表示装置。
10. 前記表示制御部は、前記指示体の位置又は動きに従って前記表示部における前記コンテンツの表示倍率を設定する請求項９記載の表示装置。
11. 前記表示制御部は、いずれかの前記コンテンツに対する入力操作に用いる入力用コンテンツを前記表示部に表示させる請求項１から１０のいずれか１項に記載の表示装置。
12. 前記基準設定部は、前記検出対象部が設定された所定時間以上停止したと判定した場合に、停止した前記検出対象部の位置を前記基準状態として設定する請求項１から１１のいずれか１項に記載の表示装置。
13. 前記使用者の視線の向きを検出する視線検出部を備え、
    前記基準設定部は、前記検出対象部の位置又は動きと、前記視線検出部が検出する視線の向きとを含む前記基準状態を設定する請求項１から１２のいずれか１項に記載の表示装置。
14. 前記検出部は前記表示部の筐体に配置され、ＧＰＳ信号に基づき位置検出を行うＧＰＳ検出部、加速度を検出する加速度センサー、角加速度を検出する角加速度センサー、単眼カメラ、ステレオカメラ、磁気センサーの少なくともいずれかを含む請求項１から１３のいずれか１項に記載の表示装置。
15. 前記磁気センサーは、前記表示部の筐体の外面側に配置される請求項１４記載の表示装置。
16. 複数の機能を実行する処理部を備え、各々の前記コンテンツは前記処理部が実行する機能に対応する請求項１から１５のいずれか１項に記載の表示装置。
17. 前記表示部が表示する前記コンテンツの内容を変更する編集処理部を備える請求項１から１６のいずれか１項に記載の表示装置。
18. 前記表示制御部は、前記基準状態に対する前記検出対象部の位置及び動きの変化に基づき、前記表示部により表示される複数の前記コンテンツをサムネイル表示させる請求項１から１７のいずれか１項に記載の表示装置。
19. 前記表示制御部は、前記基準状態に対する前記検出対象部の位置及び動きの変化を予測し、予測結果に従って前記コンテンツの表示を変化させる請求項１から１８のいずれか１項に記載の表示装置。
20. 前記表示制御部は、複数の前記コンテンツを、前記検出対象部に対して遠近方向に異なる位置に配置されるように前記表示部により表示させる請求項１から１９のいずれか１項に記載の表示装置。
21. 使用者の頭部に装着される表示部を備える表示装置の制御方法であって、
    前記頭部を含む検出対象部の位置及び動きの少なくともいずれかを検出するステップと、
    前記検出するステップにより検出される前記検出対象部の位置及び動きの少なくともいずれかに基づき、基準状態を設定するステップと、
    前記表示部により表示されるコンテンツの表示を、前記基準状態に対する前記検出対象部の位置及び動きの変化に基づき変化させるステップと、を有し、
    複数の前記コンテンツの相対的な表示位置が維持されるように、前記表示部が表示する前記コンテンツの表示を変化させる表示装置の制御方法。
    

Images