JP2018042004A

JP2018042004A - 表示装置、頭部装着型表示装置、及び、表示装置の制御方法

Info

Publication number: JP2018042004A
Application number: JP2016172430A
Authority: JP
Inventors: 小林　伸一; Shinichi Kobayashi; 伸一小林; 高野　正秀; Masahide Takano; 正秀高野
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2016-09-05
Filing date: 2016-09-05
Publication date: 2018-03-15

Abstract

【課題】表示装置を操作する使用者が、視線や眼球の動きによって操作を行う場合に、使用者の負荷を抑え、より短時間で簡単に操作できるようにする。【解決手段】ＨＭＤ１００は、使用者の身体に装着して使用される表示装置であって、画像を表示する表示部を備える。ＨＭＤ１００は、使用者の眼球の動きを検出する眼球運動検出部１５２と、眼球運動検出部１５２により検出される使用者の眼球の動きを判定する眼球運動判定部１５４と、画像表示部２０における表示を制御する表示制御部１４７と、を備える。表示制御部１４７は、眼球運動判定部１５４の判定結果に応じて、表示部の表示を変化させ、その後に予め設定された復元条件をトリガーとして表示部の表示を復元させる。【選択図】図５

Description

本発明は、表示装置、頭部装着型表示装置、及び、表示装置の制御方法に関する。

従来、使用者の操作に応じて表示を変化させる表示装置が知られている（例えば、特許文献１〜４参照）。特許文献１記載の画像表示装置は、使用者の視線とトラックボールの操作に応じて、ポインターを表示し、ポインターを移動させる。また、特許文献２記載のＨＭＤ（Head Mount Display：頭部装着型表示装置）は、キーボードの操作に対応して、ＨＭＤが表示する仮想キーボードの表示を変化させる。これらの表示装置は入力デバイスを手等によって操作する必要があるが、例えば、特許文献３記載の視線入力装置は、複数の仮想ディスプレイ画面を表示し、使用者の視線入力を検知して、仮想ディスプレイ画面を半透明表示させる。また、例えば、特許文献４記載のヘッドマウントディスプレイは、ユーザーの眼球運動や瞼の動きを検出して、コンテンツの表示のスクロール等を行う。

特開平９−１２８１３８号公報特開２００３−９１３５３号公報特開平９−２０４２８７号公報特開２０１０−１５２４４３号公報

特許文献１〜４に記載されたように、表示装置を操作する使用者が、視線、眼球運動あるいは瞼の動きを利用して操作を行う構成では、操作性を高めることが可能である。しかしながら、視線、眼球、及び瞼は生理的な要因によって動くことがあり、また、動き方の個人差も大きい。このため、視線や眼球の動きによる操作を検出することにより、使用者が意図しない操作が検出されてしまう可能性がある。従って、使用者は操作が誤検出されないように、視線や眼球の動きに注意を払う必要があり、使用者の負荷が増える可能性があった。さらに、操作を行うために視線や眼球を動かす間は、使用者が画像を視認することに集中することは難しい。このため、視線や眼球の動きによる操作は、短時間で済ませられることが望まれる。
本発明は、表示装置を操作する使用者が、視線や眼球の動きによって操作を行う場合に、使用者の負荷を抑え、より短時間で簡単に操作できるようにすることを目的とする。

上記課題を解決するため、本発明は、使用者の身体に装着して使用される表示装置であって、画像を表示する表示部と、前記使用者の眼球の動きを検出する検出部と、前記検出部により検出される前記使用者の眼球の動きを判定する判定部と、前記表示部における表示を制御する制御部と、を備え、前記制御部は、前記判定部の判定結果に応じて、前記表示部の表示を変化させ、その後に予め設定された復元条件をトリガーとして前記表示部の表示を復元させる。
本発明によれば、使用者の眼球の動きに応じて表示部の表示を変化させることができ、変化させた表示を、復元条件に従って復元させることができる。このため、使用者は、表示部が表示する画像に対して簡単に操作を行うことができる。また、誤操作が検出された場合であっても表示を容易に復元させることができるので、誤操作の検出を防止するための使用者の負荷を軽減できる。

また、本発明は、前記判定部の判定結果に対応付けて、前記表示部に表示する情報を記憶する記憶部を備え、前記制御部は、前記判定部が判定を行った場合に、前記判定部の判定結果に対応付けて前記記憶部に記憶される情報の表示を開始させ、前記復元条件をトリガーとして前記情報の表示を終了させる。
本発明によれば、使用者の眼球の動きに対応する情報を表示部に情報を表示させることができる。これにより、使用者が望む情報を、簡単な操作によって表示させることができ、より一層の操作性の向上を図ることができる。また、誤操作の検出を防止するための使用者の負荷を軽減できる。

また、本発明は、前記制御部は、前記情報の表示を開始する際、及び、前記情報の表示を終了させる際に、前記表示部に前記情報をアニメーション表示させる。
本発明によれば、表示部における表示の急激な変化を緩和し、表示される情報の視認性を高めることができるので、より一層の操作性の向上を図ることができる。

また、本発明は、前記制御部は、前記情報の表示を開始する際のアニメーション表示の変化速度と、前記情報の表示を終了させる際のアニメーション表示の変化速度とを対応させる。
本発明によれば、表示部により情報の表示を開始するときと表示を終了するときの表示の変化の速度を対応させることで、表示される情報の視認性を高めることができ、より一層の操作性の向上を図ることができる。

また、本発明は、前記判定部は、前記検出部が検出する前記使用者の眼球の動きに基づき、前記使用者の視線方向を判定し、前記制御部は、前記判定部が判定する前記使用者の視線方向に対応して前記表示部の表示を変化させる。
本発明によれば、使用者が視線の方向を動かすことにより、表示部の表示を変化させることができる。

また、本発明は、前記制御部は、前記判定部が判定する前記使用者の視線方向に対応する情報を前記表示部に表示させる。
本発明によれば、使用者が視線の方向を動かすことにより、視線の方向に対応する情報を表示部に表示させることができる。このため、表示させる情報を選択する操作と、情報を表示させる操作とを、簡単に行うことができる。

また、本発明は、前記使用者による操作を検出する操作検出部を備え、前記制御部は、前記判定部が判定する前記使用者の視線方向に対応する情報を、前記操作検出部が検出する操作に応じて、前記表示部に表示させる。
本発明によれば、使用者が眼球の動きとその他の操作とを組み合わせて、表示装置を操作することができ、例えば複雑な内容の操作を簡単に行うことができる。これにより、より一層の操作性の向上を図ることができる。

また、本発明は、前記制御部は、前記判定部が判定する前記使用者の視線方向が予め設定された変化をした場合に、前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる。
本発明によれば、使用者が視線方向を変化させることにより、容易に、表示を復元させることができる。

また、本発明は、前記使用者の眼瞼の動きを検出する眼瞼運動検出部を備え、前記制御部は、前記眼瞼運動検出部により、予め設定された態様の前記使用者の眼瞼の動きが検出された場合に、前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる。
本発明によれば、使用者が瞼を動かすことにより、易に、表示を復元させることができる。

また、本発明は、前記制御部は、前記表示部の表示を変化させてから、予め設定された時間が経過したときに前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる。
本発明によれば、表示部の表示が変化してから、予め設定された時間が経過したときに表示が復元されるので、表示を復元させる操作が不要である。このため、使用者に要求される操作を、より簡易化できる。

また、本発明は、前記検出部は前記使用者の視線方向を検出し、前記制御部は、前記検出部により検出される前記使用者の視線方向に基づき前記使用者の視線の輻輳角を判定し、前記使用者の視線の輻輳角が予め設定された条件に該当する場合に、前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる。
本発明によれば、使用者の視線の輻輳角に対応して、表示部の表示を復元させることができる。

また、本発明は、前記制御部は、前記使用者の視線の輻輳角が予め設定された条件に該当する可能性がある場合に、前記表示部により報知の表示をさせる。
本発明によれば、使用者の視線の輻輳角に対応して表示部の表示を復元させる可能性がある場合に、報知を行う。これにより、誤操作を容易に防止でき、表示の変化を事前に報知できるので、より一層の操作性の向上を図ることができる。

また、本発明は、前記表示部は、外景を透過し、前記外景とともに視認できるように画像を表示する透過型の表示部であり、前記制御部は、前記判定部の判定結果に応じて、前記外景と重畳して視認される位置に画像を表示させ、その後に予め設定された復元条件をトリガーとして、前記外景と重畳して視認される位置から画像を待避させる。
本発明によれば、外景を透過して視認可能に画像を表示する場合に、使用者の眼の動きに基づいて画像を表示させることができる。また、外景と重畳して視認される位置を利用して画像を表示でき、この画像が外景の視認の障害にならないよう待避させることができる。これにより、外景の視認性を損なうことなく、簡単な操作によって、表示部が画像を表示可能な領域を効率よく利用して、表示を行うことができる。

上記課題を解決するため、本発明は、使用者の頭部に装着され、外景と画像とを重ねて視認可能に表示する表示部と、前記使用者の眼球の動きを検出する検出部と、前記検出部により検出される前記使用者の眼球の動きを判定する判定部と、前記表示部における表示を制御する制御部と、を備え、前記制御部は、前記判定部の判定結果に応じて、前記表示部の表示を変化させ、その後に予め設定された復元条件をトリガーとして前記表示部の表示を復元させる。
本発明によれば、使用者が頭部に装着する表示部の表示を、使用者の眼球の動きに応じて変化させることができ、変化させた表示を、復元条件に従って復元させることができる。このため、使用者は、表示部が表示する画像に対して簡単に操作を行うことができる。また、誤操作が検出された場合であっても表示を容易に復元させることができるので、誤操作の検出を防止するための使用者の負荷を軽減できる。

上記課題を解決するため、本発明は、使用者の身体に装着して使用され、画像を表示する表示部と、前記使用者の眼球の動きを検出する検出部と、を備える表示装置を制御して、前記検出部により検出される前記使用者の眼球の動きを判定するステップと、判定結果に応じて、前記表示部の表示を変化させるステップと、予め設定された復元条件をトリガーとして前記表示部の表示を復元させるステップと、を有する。
本発明によれば、使用者の眼球の動きに応じて表示部の表示を変化させることができ、変化させた表示を、復元条件に従って復元させることができる。このため、使用者は、表示部が表示する画像に対して簡単に操作を行うことができる。また、誤操作が検出された場合であっても表示を容易に復元させることができるので、誤操作の検出を防止するための使用者の負荷を軽減できる。

本発明において、復元とは、表示部の表示を変化させる前の状態と完全に同一の表示に戻すことに限定されない。例えば、制御部が表示部の表示を、変化させる前の状態と近似する状態に変化させることも、復元に含まれる。また、例えば、制御部が表示部の表示について複数の変化をさせた場合に、これら複数の表示変化のいずれかを元の状態にすることを、復元に含めてもよい。
本発明は、上述した表示装置、及び表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の表示装置を含む表示システムを構成することも可能である。また、上記の制御方法を実行するために制御部やコンピューターが実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。

ＨＭＤの外観構成を示す説明図。画像表示部の光学系の構成を示す図。画像表示部と撮像範囲の対応を示す説明図。ＨＭＤを構成する各部のブロック図。制御部および記憶部のブロック図。復元条件に関するデータの一構成例を示す模式図。ＨＭＤが検出する眼球運動の例を示す図。ＨＭＤが検出する体動の例を示す図。ＨＭＤの動作を示すフローチャート。ＨＭＤの表示例を示す図。ＨＭＤの表示例を示す図。ＨＭＤの表示例を示す図。ＨＭＤの表示例を示す図。ＨＭＤの動作を示すフローチャート。ＨＭＤの動作を示す説明図。

図１は、本発明を適用した実施形態に係るＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の外観構成を示す説明図である。
ＨＭＤ１００は、使用者（ユーザー）の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、図１に示すように、平たい箱形のケース１０Ａ（筐体、あるいは本体ともいえる）を備え、ケース１０Ａに後述する各部を備える。ケース１０Ａの表面には、使用者の操作を受け付ける各種のボタン１１、スイッチ、トラックパッド１４等が設けられる。これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。
また、右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、或いは、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１５０（図５）が備える撮像制御部１４９の制御に従って撮像を実行し、撮像画像データを撮像制御部１４９に出力する。

ＨＭＤ１００は、距離センサー６４を備える。距離センサー６４は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。

距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー６４は、後述する制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー６４は光源や受光部、或いは音源と検出部とを備え、測距処理を制御部１５０が行ってもよい。本実施形態の距離センサー６４の測定方向は、頭部装着型表示装置１００の表側方向であり、カメラ６１の撮像方向と重複する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図１に戻り、制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及び、マイク６３を有するヘッドセット３０が、コネクター４６に接続される。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。
ボタン１１は、制御装置１０が実行するオペレーティングシステム１４３（図５）の操作等を行うためのメニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。トラックパッド１４への接触（タッチ操作）は、後述するタッチセンサー１３（図４）により検出される。
また、図１に破線で示すように、トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの点灯によりＬＥＤ表示部１７に操作部が視認可能となる。図１の例では、３つの記号△（三角形）、○（丸）、□（四角形）が、ＬＥＤ表示部１７のＬＥＤの点灯時に現れる。ＬＥＤ表示部１７が消灯している状態では、これらの記号は視認できない状態となる。この構成は、例えば、トラックパッド１４を、透光性を有する有色または無色透明の平板で構成し、この平板の直下にＬＥＤを配置することで、実現できる。

ＬＥＤ表示部１７はソフトウェアボタンとして機能する。例えば、ＬＥＤ表示部１７が点灯中においては、記号の点灯位置（表示位置）が、記号に対応する指示を行うボタンとして機能する。図１の例で、記号○（丸）はホームボタンとして機能し、記号○（丸）の位置に接触する操作が行われると、後述する制御部１５０は、タッチセンサー１３の検出値に基づき、ホームボタンの操作を検出する。また、記号□（四角形）は履歴ボタンとして機能する。記号□（四角形）の位置に接触する操作が行われると、後述する制御部１５０は、タッチセンサー１３の検出値に基づき、履歴ボタンの操作を検出する。また、記号△（三角形形）は戻るボタンとして機能する。記号△（三角形）の位置に接触する操作が行われると、後述する制御部１５０は、タッチセンサー１３の検出値に基づき、戻るボタンの操作を検出する。

図３は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）はカメラ６１の画角の説明図である。なお、図３（Ａ）では接続ケーブル４０の図示を省略する。

図３（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３（Ａ）では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６１は、上記のように画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。図３（Ｂ）は、カメラ６１の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。カメラ６１の画角（撮像範囲）をＣで示す。なお、図３（Ｂ）には水平方向の画角Ｃを示すが、カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば図３（Ｂ）に示すように、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。

また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図３（Ｂ）の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角Ｃは、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角Ｃが、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角Ｃが、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角Ｃが、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

また、距離センサー６４は、右光学像表示部２６と左光学像表示部２８との中央において、前方を向いて配置される。

図３（Ｂ）には、距離センサー６４の検出方向を符号６４Ａで示す。本実施形態で、距離センサー６４は、画像表示部２０の中央位置から正面方向に位置する物体までの距離を検出可能に構成され、例えば対象物ＯＢまでの距離を検出する。頭部装着型表示装置１００を装着した使用者は、注視する方向に頭を向けるので、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。

また、図３（Ａ）に示すように、画像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右光学像表示部２６と左光学像表示部２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、制御部１５０（図５）の制御に従って撮像を行う。制御部１５０は、内側カメラ６８の撮像画像データを解析する。例えば、制御部１５０は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、制御部１５０は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

また、制御部１５０は、内側カメラ６８の撮像画像データから使用者の右眼ＲＥ及び左眼ＬＥの瞼（眼瞼）の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。本実施形態では画像表示部２０が一対の内側カメラ６８、６８を備える構成を例示するが、例えば、１つの内側カメラ６８を、画像表示部２０の中央位置に設けてもよい。この場合、１つの内側カメラ６８が、右眼ＲＥ及び左眼ＬＥを撮像できる画角を有することが好ましいが、例えば、右眼ＲＥまたは左眼ＬＥの一方のみを内側カメラ６８により撮像してもよい。すなわち、右眼ＲＥまたは左眼ＬＥのいずれか一方の視線方向、眼球運動、眼瞼運動、眼瞼の状態等を制御部１５０が検出する構成としてもよい。

また、制御部１５０は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。図３（Ｂ）には輻輳角を符号ＰＡで示す。輻輳角ＰＡは、使用者が注視する対象物ＯＢまでの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

輻輳角は、例えば、内側カメラ６８の撮像画像データから求めることができる。例えば、内側カメラ６８に撮像画像データから右眼ＲＥの視線方向を求め、この視線方向から、右眼ＲＥの正面方向に対する右眼ＲＥの視線方向の角度ＬＡを求める。同様に、内側カメラ６８の撮像画像データから左眼ＬＥの視線方向を求め、この視線方向に基づき、左眼ＬＥの正面方向に対する左眼ＬＥの視線方向の角度ＲＡを求める。輻輳角ＰＡは、角度ＬＡ、ＲＡの和に等しく、容易に輻輳角ＰＡを求めることができる。

図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０からメインプロセッサー１４０に対し、操作信号が出力される。
ＬＥＤ表示部１７は、トラックパッド１４（図１）の直下に配置されＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。
音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

内側カメラ６８は、インターフェイス２１１を介して制御装置１０から入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。図４には１つの内側カメラ６８を図示するが、図３（Ａ）に示す一対の内側カメラ６８、６８が同時に動作してもよい。また、一対の内側カメラ６８、６８のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

距離センサー６４は、インターフェイス２１１を介して制御装置１０から入力される信号に従って距離検出を実行し、検出結果を示す信号を制御装置１０に出力する。図４には１つの距離センサー６４を図示するが、図３（Ａ）に示す一対の距離センサー６４、６４が同時に動作してもよい。また、一対の距離センサー６４、６４のそれぞれが、インターフェイス２１１に接続され、独立して動作する構成であってもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６１、距離センサー６４、照度センサー６５、内側カメラ６８、温度センサー２１７、及び、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図５は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図５に示す記憶部１２２は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。

制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、コンテンツデータ１２４、呼出表示データ１２５、及び表示復元設定データ１２６を記憶する。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１２３に含めてもよい。

コンテンツデータ１２４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータであり、画像データ、或いは映像データを含む。また、コンテンツデータ１２４は、音声データを含んでもよい。また、コンテンツデータ１２４は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部２０に表示される画像に限定されない。
また、コンテンツデータ１２４は、コンテンツを画像表示部２０により表示する際に、制御装置１０によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２４は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。

呼出表示データ１２５は、画像表示部２０により表示する画像に関するデータであり、詳細には、使用者の操作に従って画像表示部２０の表示領域に出現し、その後に表示領域から待避する画像の表示に関するデータである。呼出表示データ１２５は、表示される画像の画像データを含んでもよい。呼出表示データ１２５は、メニュー画面のように、特定の機能が割り当てられた画像や領域を含み、ＧＵＩ（Graphical User Interface）として機能する画像のデータを含んでもよい。また、呼出表示データ１２５は、特定の機能が割り当てられた画像データに対応付けて、割り当てられた機能や処理を示すデータ、或いは、割り当てられた機能や処理に関するデータを含んでもよい。また、呼出表示データ１２５が含む画像を表示領域に出現させる動作を、以下では呼び出し動作と呼ぶ。呼出表示データ１２５は、呼び出し動作を実行させるために画像表示部２０の表示領域に表示される画像を含んでもよい。また、呼出表示データ１２５は、呼び出し動作により画像を表示した状態で、制御部１５０が操作を検出した場合に、この操作に従って表示中の画像を変化させるためのデータを含んでもよい。

表示復元設定データ１２６は、呼び出し動作により呼出表示データ１２５に含まれる画像を表示した場合に、呼び出し動作を行う前の状態に復元する処理に関するデータを含む。表示復元設定データ１２６は、呼び出し動作を行う前の状態に復元する処理を実行するトリガーに関するデータを含む。
ここで、表示を復元するとは、呼出表示データ１２５に含まれる画像を表示した場合に、呼出表示データ１２５に含まれる画像を完全に消去することに限定されない。つまり、呼出表示データ１２５に基づき画像表示部２０の表示を変化させる前の状態を完全に再現することに限定されない。言い換えれば、表示を復元するとは、呼出表示データ１２５に含まれる画像を表示した場合に、この画像を表示する前と全く同一の表示状態にすることに限定されない。例えば、制御部１５０が画像表示部２０の表示について複数の変化をさせた場合に、これら複数の表示変化のいずれかを元の状態にすることを、復元に含めてもよい。具体的には、呼出表示データ１２５に含まれる画像を表示した場合に、表示した画像の少なくとも一部の表示を停止することや、表示した画像の少なくとも一部について、表示の大きさを小さくする等、表示前に近い状態に表示を変化させることを含んでもよい。

図６は、表示復元設定データ１２６の構成例を示す模式図である。図６に示す例では、表示復元設定データ１２６は、復元条件に関するテーブルを含む。
図６のテーブルは、呼び出し動作に従って呼出表示データ１２５に基づき表示される画像を特定する呼出画像ＩＤと、復元条件とを対応付けて含む。復元条件は、表示を復元するトリガーの種類を示す「復元トリガー種別と、具体的な復元条件とを含む。また、本実施形態では、復元条件に対応付けて報知条件が表示復元設定データ１２６に含まれる。
復元するトリガーの種類が、制御部１５０が検出する検出結果である場合、予め、検出を実行する期間（時間）が定められる。つまり、設定された期間に制御部１５０が復元条件に該当する検出をした場合に、復元条件が成立する。報知条件についても同様である。

報知条件は、復元条件が成立する可能性がある、或いは、可能性が高いことを使用者に報知する、報知動作を実行する条件である。報知動作は、例えば、復元条件が成立する可能性があることを示す画像を画像表示部２０により表示する処理や、音声コーデック１８０により音声を右イヤホン３２、左イヤホン３４から出力させる処理である。

図６の例で、呼出画像ＩＤ「１」の画像を表示した場合の復元条件は、後述する眼瞼運動検出部１５６が検出する眼瞼運動であり、具体的には、所定時間内にまばたきを３回検出することである。この呼出画像には報知条件として、所定時間内にまばたきを２回検出することが設定される。

また、復元するトリガーの種類を眼球運動に設定することもできる。図６の例では、具体的な復元条件として図３（Ｂ）に示した輻輳角ＰＡの大きさが設定され、輻輳角ＰＡが１０度以下であることを制御部１５０が検出した場合に復元条件が成立する。また、輻輳角ＰＡが１５度以下であることを制御部１５０が検出した場合に報知条件が成立する。
輻輳角ＰＡが小さいほど使用者の注視方向が遠いといえる。従って、呼出画像の表示中に使用者の輻輳角ＰＡが小さくなることは、使用者の注視点が、呼出画像から、呼出画像の背景として視認される外景に移動したことを示す。従って、ＨＭＤ１００は、輻輳角ＰＡが設定された角度以下となった場合に呼出画像の表示を終了し、表示を復元する。

また、復元するトリガーの種類を使用者の身体の動きである体動に設定することもできる。図６の例では、具体的な復元条件として、予め設定されたパターン（Ａ）の体動が設定される。制御部１５０が検出する使用者の身体の動きについては後述する。

また、復元するトリガーの種類を、呼び出し動作に従って画像を表示してからの経過時間とすることもできる。図６の例では、呼出画像ＩＤ「４」の画像を表示した場合、表示開始から１０秒が経過すると復元条件が成立するよう設定されている。また、画像の表示開始から７秒が経過すると報知条件が成立するよう設定されている。

制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、眼球運動検出部１５２、眼球運動判定部１５４、眼瞼運動検出部１５６、身体動作検出部１５８、及び、検出制御部１６０の機能を有する。
オペレーティングシステム１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の制御部１５０の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

表示制御部１４７（制御部）は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１４７は、眼球運動検出部１５２の検出結果、眼球運動判定部１５４の判定結果、及び、身体動作検出部１５８の検出結果に基づいて、画像表示部２０に表示する画像等の表示態様を変化させる。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶する。

眼球運動検出部１５２（検出部）は、撮像制御部１４９の制御に従って内側カメラ６８が撮像する撮像画像データを解析して、使用者の右眼ＲＥ及び左眼ＬＥの運動を検出する。眼球運動検出部１５２は、右眼ＲＥ及び左眼ＬＥのそれぞれ、或いは、いずれか一方について、動き方向、及び、動き量を求める。

眼球運動判定部１５４（判定部）は、眼球運動検出部１５２が検出した右眼ＲＥ及び左眼ＬＥの眼球運動について、予め設定された動きに該当するか否かを判定する。また、予め設定された動きが複数ある場合、眼球運動判定部１５４は、眼球運動検出部１５２が検出した眼球運動に対応する動きを判定する。例えば、眼球運動判定部１５４は、眼球運動検出部１５２が判定した眼球運動が、図７（Ｂ）〜（Ｅ）のいずれかの動きに該当するか否かを判定する。

図７は、制御部１５０が内側カメラ６８の撮像画像に基づき検出する使用者の眼球運動の例を示す模式図である。図７（Ａ）〜（Ｅ）は使用者の右眼ＲＥ及び左眼ＬＥを正面から見た状態を示す。

図７（Ａ）には使用者が正面を注視する状態を示す。図７（Ｂ）は、使用者が視線を上に向けた状態を示し、右眼ＲＥ及び左眼ＬＥが上を向いている。図７（Ｃ）は使用者が視線を下に向けた状態を示し、右眼ＲＥ及び左眼ＬＥが下を向いている。図７（Ｄ）は使用者が視線を左に向けた状態を示し、右眼ＲＥ及び左眼ＬＥが左を向いている。図７（Ｅ）は使用者が視線を右に向けた状態を示し、右眼ＲＥ及び左眼ＬＥが右を向いている。

眼球運動検出部１５２は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの瞳を検出できる。具体的には、眼球の瞳に反射する反射光、強膜と虹彩あるいは瞳孔の境界等を検出する。これにより、眼球運動検出部１５２は、制御部１５０は右眼ＲＥと左眼ＬＥのそれぞれについて、眼球の動きを検出し、視線方向を検出できる。そして、眼球運動判定部１５４は、眼球運動検出部１５２の検出結果に基づき、眼球の動きを判定し、使用者が意図的に視線を上下左右に向ける操作の有無を判定できる。

眼球運動判定部１５４は、眼球運動検出部１５２が検出する眼球運動について、生理的な視線の揺らぎ、眼振、固視微動等による影響を除く処理を行って、使用者が意図して行う眼球運動を抽出してもよい。例えば、人間の生理的な眼球運動の一種として、サッケードが知られている。サッケード眼球運動は、人間が興味の対象に視線を向けて、興味の対象の像を視力の高い中心窩で捉える役割を果たす。また、他の生理的な眼球運動として、前庭性眼球運動が知られる。前庭性眼球運動は、頭部が動いた時に網膜上で像がぶれるのを防ぐ役割を果たすと考えられている。また、興味の対象を注視して、対象に眼の焦点が合っている状態において、固視微動と呼ばれる小さな視線の揺らぎが生じることが知られている。これらの眼球運動の影響を除くための演算処理も知られている。例えば、眼球運動判定部１５４は、使用者の視線（視点）の移動について、変化量に閾値を設け、定常状態から次の定常状態に移動するまでの時間を抽出し、この変化量が一定値以下の時間域を視点移動域と定義する手法を用いることができる。

眼瞼運動検出部１５６（操作検出部）は、撮像制御部１４９の制御に従って内側カメラ６８が撮像する撮像画像データを解析して、使用者の右眼ＲＥの眼瞼及び左眼ＬＥの眼瞼の状態、及び／または眼瞼の運動を検出する。例えば、眼瞼運動検出部１５６は、右眼ＲＥと左眼ＬＥのいずれか一方、或いはそれぞれについて、眼瞼が閉じているか、開いているかを検出できる。また、この検出結果を時間の経過とともに比較することで、右眼ＲＥと左眼ＬＥのいずれか一方、或いはそれぞれについて、眼瞼を閉じる動き及び眼瞼を開く動きを検出できる。

なお、眼球運動検出部１５２は、内側カメラ６８の撮像画像データに基づき眼球運動を検出する構成に限定されない。例えば、ＨＭＤ１００が、内側カメラ６８だけでなく、瞳孔を撮像する瞳孔撮像カメラと眼瞼動作検出用のカメラとを用いてもよく、カメラの数は任意である。これらのカメラは画像表示部２０の内側に、内側カメラ６８と同様に設けてもよいし、その他の構成であってもよい。この場合、眼球運動検出部１５２は、複数のカメラの撮像画像データに基づいて眼球運動を検出してもよい。

身体動作検出部１５８は、画像表示部２０を装着する使用者の身体の動きを検出する。
図８は、ＨＭＤ１００が検出する体動の例を示す模式図である。図８（Ａ）、（Ｂ）では使用者の身体ＨＵを模式的に示す。図８（Ａ）、（Ｂ）では、図示はしないが、使用者が画像表示部２０を頭部に装着した状態を示す。

図８（Ａ）は使用者が、首を中心として頭を前方に傾ける動作を示す。図８（Ａ）は身体ＨＵを右側から見た図であり、使用者の頭部が身体ＨＵに対しまっすぐな位置（０°）にある状態を破線で示し、頭部を４５°傾けた状態を実線で示す。図中に鉛直方向を符号ＰＬで示す。
図８（Ｂ）は使用者が首を中心として頭を水平方向に回動させる動作を示す。図８（Ｂ）は身体ＨＵを正面から見た図であり、使用者の頭部が正面を向いた位置を０°とした場合に、使用者が頭部を右に７０°回動させた状態を示す。図中に水平方向を符号ＨＬで示す。

画像表示部２０は６軸センサー２３５を備える。６軸センサー２３５が有する３軸加速度センサー、及び、３軸ジャイロセンサーにより、身体動作検出部１５８は、使用者が装着する画像表示部２０の動きを検出できる。また、身体動作検出部１５８は、６軸センサー２３５の検出値を積分することにより、画像表示部２０の移動量及び移動方向を求めることができる。これにより、身体動作検出部１５８は、使用者の体動を検出できる。

従って、使用者が図８（Ａ）の動作を行った場合、及び、図８（Ｂ）の動作を行った場合のいずれも、身体動作検出部１５８は、使用者の頭部の動きの方向、及び、動き量を求めることができる。また、複数の方向への動作が複合して行われた場合、例えば、図８（Ａ）、（Ｂ）に示す動作が複合して行われた場合に、身体動作検出部１５８は、これらの複合した動きを総合して、動き方向と動き量とを求めてもよい。また、身体動作検出部１５８は動き方向ごとに、動き成分を抽出し分離して、動き量を算出してもよい。

身体動作検出部１５８は、６軸センサー２３５の検出値のほか、カメラ６１の撮像画像を利用して画像表示部２０の動きを検出してもよい。例えば、身体動作検出部１５８は、カメラ６１が所定時間毎に撮像する撮像画像の変化に基づき、カメラ６１の画角の変化の方向、変化量あるいは変化速度を求めることができる。これにより、身体動作検出部１５８は、画像表示部２０を装着した使用者の顔（頭部）の動きを検出できる。また、身体動作検出部１５８は、６軸センサー２３５の検出値と、カメラ６１の撮像画像に基づき検出結果とを総合して、使用者の身体の動きを検出してもよい。

検出制御部１６０は、ＨＭＤ１００が備える各種センサーを制御する。検出制御部１６０は、各センサーの初期化を実行し、各センサーにより検出を実行させ、検出値あるいは検出結果を取得する。例えば、検出制御部１６０は、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、及び操作部１１０における検出を制御する。また、検出制御部１６０は、画像表示部２０が備える温度センサー２１７、６軸センサー２３５、磁気センサー２３７、温度センサー２３９を制御して検出結果を取得する。また、検出制御部１６０は、距離センサー６４及び照度センサー６５を制御して、検出結果を取得する。

また、検出制御部１６０は、マイク６３により音声を検出してもよく、マイク６３が検出する音声を解析して、音声コマンドの入力を検出してもよい。ここで、ＨＭＤ１００は、マイク６３に加えて、或いはマイク６３の代わりに、使用者の音声を検出する骨伝導マイク、内耳マイク等を備えてもよい。この場合、極めて小さい声による音声コマンドの入力が可能となり、また、無声音、舌打ち音、歯ぎしり音を音声入力または音声コマンドの入力として検出してもよい。

また、ＨＭＤ１００は、使用者の身体に装着される筋電位センサーを備え、筋電位饒辺かを検出することにより、使用者の筋肉の動きを検出する構成であってもよい。この場合、検出制御部１６０は、筋電位センサーの検出値を取得して、使用者の筋肉の動きを検出する。例えば、検出制御部１６０は、使用者の眼筋の動きを検出し、検出結果を眼球運動検出部１５２により解析させて、眼球運動を検出してもよい。また、検出制御部１６０は、顎の筋肉の動きを検出し、検出結果を身体動作検出部１５８により解析させて、使用者が口を開閉する動きを身体の動きとして検出してもよい。

図９はＨＭＤ１００の動作を示すフローチャートである。図１０〜図１４は、画像表示部２０が表示する表示例を示す。これらの図を参照してＨＭＤ１００の動作を説明する。

図１０は、図９の動作を開始する時点における画像表示部２０の表示例を示す。図中、符号ＶＲは、画像表示部２０を装着する使用者の視野を示す。符号Ｖはハーフミラー２６１、２８１により画像を使用者に視認させることが可能な領域であり、言い換えれば画像表示部２０が画像を表示できる表示可能領域である。

図１０の表示例は、ＨＭＤ１００の初期状態あるいは通常状態の表示を示し、使用者の視線運動を含む動きによって操作可能な、操作対象のオブジェクトが配置される。操作対象のオブジェクトとしては、表示可能領域Ｖの右端に配置されるタブＴＲ１、ＴＲ２、ＴＲ３と、表示可能領域Ｖの上端に配置されるタブＴＵと、表示可能領域Ｖの下端に配置されるタブＴＢとが挙げられる。また、表示可能領域Ｖの左端に配置されるメニュータブＴＭ、及び、表示可能領域Ｖの右下隅に配置される仮想ボタンＶＢも操作対象のオブジェクトに含まれる。

制御部１５０は、内側カメラ６８を制御して撮像を実行させ、撮像画像データを取得する（図９のステップＳ１１）。制御部１５０は、ステップＳ１１で取得した撮像画像データを解析することにより、使用者の眼球運動を検出し、眼球運動の方向、種類等を判定する（ステップＳ１２）。

制御部１５０は、ステップＳ１２で判定した眼球運動が呼び出し動作に該当するか否かを判定する（ステップＳ１３）。呼び出し動作に該当しない場合（ステップＳ１３；Ｎｏ）、制御部１５０はステップＳ１１に戻る。また、呼び出し動作に該当する場合（ステップＳ１３；Ｙｅｓ）、制御部１５０は、使用者の身体の動きを検出する（ステップＳ１４）。ここで、制御部１５０は、ステップＳ１４で検出した身体の動きが、ステップＳ１３の呼び出し動作と組合せ可能な動きであり、画像を選択する操作に該当するか否かを判定する（ステップＳ１５）。

画像を選択する操作に該当する体動でない場合（ステップＳ１５；Ｎｏ）、制御部１５０は、ステップＳ１３で判定した呼び出し動作に対応する画像の画像データを、呼出表示データ１２５から取得する（ステップＳ１６）。制御部１５０は、ステップＳ１６で取得した画像データに基づき、画像表示部２０により表示する画像を生成する（ステップＳ１７）。
また、体動により画像を選択する操作が必要ない場合、制御部１５０は、ステップＳ１４及びステップＳ１５をスキップしてステップＳ１６に移行する。

図１０の表示例において、使用者が視線を上に向ける眼球運動（例えば図７（Ｂ））を検出した場合、制御部１５０は、タブＴＵを指定する呼び出し動作を検出する。この場合、制御部１５０は、タブＴＵに対応する画像を呼出表示データ１２５から取得して、表示可能領域Ｖの中央に表示させる。また、使用者が視線を下に向ける眼球運動（例えば図７（Ｃ））を検出した場合、制御部１５０は、タブＴＢを指定する呼び出し動作を検出する。この場合、制御部１５０は、タブＴＢに対応する画像を呼出表示データ１２５から取得して、表示可能領域Ｖの中央に表示させる。これらタブＴＢ、ＴＵを選択する場合、制御部１５０は、ステップＳ１４、Ｓ１５で体動を検出することなく、画像を表示すればよい。

一方、画像を選択する操作に該当する体動である場合（ステップＳ１５；Ｙｅｓ）、制御部１５０は、体動に基づく選択内容を確定する（ステップＳ１８）。
ステップＳ１４で、制御部１５０が検出する体動は、身体動作検出部１５８が検出する身体の動作であってもよいし、眼瞼運動検出部１５６が検出する眼瞼の動作であってもよい。

図１０の例において、使用者が視線を右に向ける眼球運動（例えば図７（Ｅ））を検出した場合、制御部１５０は、タブＴＲ１〜ＴＲ３のいずれかを選択可能な状態に移行する。ここで、使用者は、頭部を動かす操作を行うことにより、タブＴＲ１〜ＴＲ３のいずれか１つを選択し、指定できる。例えば、使用者が頭を傾ける動き（うなずく動作）を１回行う毎に、タブＴＲ１、タブＴＲ２、タブＴＲ３が順に選択される。また、例えば、使用者が瞼を開閉する動き（瞬きに類似する動き）を１回行う毎に、タブＴＲ１、タブＴＲ２、タブＴＲ３が順に選択されるようにしてもよい。

その後、制御部１５０は、ステップＳ１８で確定した選択内容に従って、呼び出し動作に対応する画像の画像データを、呼出表示データ１２５から取得する（ステップＳ１９）。制御部１５０は、ステップＳ１８で取得した画像データに基づき、画像表示部２０により表示する画像を生成する（ステップＳ２０）。
例えば、進退の動作によりタブＴＲ１が選択された場合、制御部１５０はタブＴＲ１に対応する画像を呼出表示データ１２５から取得して、表示可能領域Ｖの中央に表示させる。

ステップＳ１７、及び、ステップＳ２０の後、制御部１５０は、表示復元設定データ１２６を参照し、表示する画像に対応する復元条件及び報知条件を取得する（ステップＳ２１）。制御部１５０は、ステップＳ１７またはステップＳ２０で生成した表示画像を、表示可能領域Ｖにアニメーション表示させる（ステップＳ２２）。

アニメーション表示は、表示可能領域Ｖに新たな画像を表示する際に、表示可能領域Ｖの端から少しずつ画像が表示され、表示画像の大きさが経時的に増大して、設定された時間が経過した後に画像全体を表示する表示方法である。この設定された時間において、画像の表示の拡大は、スムーズに拡大して見えるように変化する。

図１１は、眼球運動に応じてメニュー画像を表示した表示例を示す。
図１０のメニュータブＴＭが眼球運動により選択された場合に、制御部１５０は、表示可能領域Ｖにメニュー画像Ｇ１を表示させる。メニュー画像Ｇ１は、表示可能領域Ｖの左端から徐々に表示可能領域Ｖの中央に進出するようにアニメーション表示され、最終的に図１１に示す表示状態となる。メニュー画像Ｇ１は、処理の実行を指示する操作用の画像を含む。具体的には、ブラウザーの起動を指示するボタンの画像、カメラの起動を指示するボタンの画像、設定開始を指示するボタンの画像を含む。これらのいずれかのボタンを選択する操作を検出すると、制御部１５０は、選択されたボタンに対応する処理を実行する。

すなわち、制御部１５０は、アニメーション表示が完了した後、操作を検出する（ステップＳ２３）。ステップＳ２３で制御部１５０が検出する操作は、操作部１１０における操作であってもよい。また、６軸センサー２３５や６軸センサー１１１が検出する動きによる操作や、カメラ６１の撮像画像で検出可能なジェスチャーによる操作を含んでもよい。また、マイク６３或いは上述した内耳マイクや骨伝導マイクによる音声入力を検出してもよい。これらの操作を、例えば、図１１に例示したメニュー画像Ｇ１のボタンを選択する操作として受け付ける。制御部１５０は、ステップＳ２３で検出した操作に対応する処理を実行する（ステップＳ２４）。ステップＳ２３において特に操作を検出しない場合、制御部１５０は、処理を実行せずステップＳ２５に移行してもよい。

図１２は、眼球運動に応じて仮想キーボードＶＫＢを表示した例を示す。
例えば図１０で眼球運動によりタブＴＢが選択された場合、制御部１５０は、仮想キーボードＶＫＢの画像を呼び出し表示する。仮想キーボードＶＫＢは、複数の入力キーを含むキーボード形状の画像であり、画像表示部２０が表示可能領域Ｖに表示する。使用者が、仮想キーボードＶＫＢを視認可能な状態で、表示可能領域Ｖにおける位置入力操作を行うと、入力された位置にポインターＶＰが表示される。ここで、使用者により確定操作が行われると、ポインターＶＰに重なる位置のキーが選択され、文字が入力される。ポインターＶＰの位置を指定する操作は、ステップＳ２３で検出される操作である。

図１３は、仮想キーボードＶＫＢとともにアプリケーション画面ＶＡＰを表示した例を示す。アプリケーション画面ＶＡＰは、制御部１５０が実行するアプリケーションプログラムにより、例えば文書編集を行う画面である。アプリケーション画面ＶＡＰはアプリケーションプログラムで使用者が実行する処理に対応する画面である。アプリケーションプログラムがＧＵＩによる操作を可能とする場合、例えば、アイコン配置部ＩＡに配置されたアイコンを選択する操作が行われる。

図１３の例では、仮想キーボードＶＫＢのキーを選択する操作、及び、アプリケーション画面ＶＡＰのアイコン配置部ＩＡに配置されたアイコンを選択する操作が行われる。これらはいずれも位置入力操作を利用できる。また、仮想キーボードＶＫＢを操作する第１状態と、アプリケーション画面ＶＡＰを操作する第２状態とを、ステップＳ２３で検出される操作により切り替えさせることができる。

制御部１５０は、表示可能領域Ｖに画像を呼び出し表示してから、使用者の眼球運動、眼瞼運動、及び、体動の検出を実行する（ステップＳ２５）。制御部１５０は、ステップＳ２５で検出した使用者の眼球運動、眼瞼運動、及び、体動が、ステップＳ２１で取得した復元条件に該当するか否かを判定する（ステップＳ２６）。

ステップＳ２５で検出した使用者の眼球運動、眼瞼運動、及び、体動が、復元条件に該当しない場合（ステップＳ２６；Ｎｏ）、制御部１５０は、報知条件に該当するか否かを判定する（ステップＳ２７）。報知条件に該当しない場合は（ステップＳ２７；Ｎｏ）、制御部１５０はステップＳ２３に戻る。また、報知条件に該当する場合（ステップＳ２７；Ｙｅｓ）、制御部１５０は、報知用の画像を表示可能領域Ｖに表示させる等、報知を実行して（ステップＳ２８）、ステップＳ２３に戻る。

ステップＳ２５で検出した使用者の眼球運動、眼瞼運動、及び、体動が、復元条件に該当する場合（ステップＳ２６；Ｙｅｓ）、制御部１５０は、表示可能領域Ｖに呼び出し表示した画像について、表示を終了するアニメーション表示を行う（ステップＳ２９）。ステップＳ２９のアニメーション表示は、例えば、ステップＳ２２のアニメーション表示の逆の表示動作とし、アニメーションの変化速度も対応させるとよい。

アニメーションの変化速度は、アニメーションの変化の最中において一定であってもよいし、アニメーション表示の間に速度を変化させてもよい。変化速度を決定するパラメーターとして、例えば、慣性力、時定数等を用いてもよい。慣性力はアニメーションの変化中にアニメーションの変化速度を変更するパラメーターであり、制御部１５０が検出する使用者の視線方向の変化速度（眼球運動の速度）に対応して決定すればよい。また、時定数はアニメーションの変化速度を決定するパラメーターであり、制御部１５０が検出する使用者の視線方向の変化速度（眼球運動の速度）に対応して決定すればよい。
例えば、使用者の視線方向の変化速度を制御部１５０が検出して時定数を決定し、この時定数に応じた速度でアニメーションを変化させる。そして、アニメーションの変化の間に、使用者の視線方向の変化速度を制御部１５０が検出して、慣性力を決定する。制御部１５０は、決定した慣性力に基づき、アニメーションの変化速度を変更する。時定数、及び、慣性力は、アニメーションの変化を開始する前に、予め設定されてもよい。また、アニメーションを変化させるときとは異なるタイミングで使用者の視線方向の変化速度を制御部１５０が検出して、時定数及び／又は慣性力を決定してもよい。

その後、制御部１５０は、ＨＭＤ１００の動作停止が指示されたか否かを判定し（ステップＳ３０）、動作停止が指示された場合は（ステップＳ３０；Ｙｅｓ）、本処理を終了する。また、動作停止が指示されていない場合（ステップＳ３０；Ｎｏ）、ステップＳ１１に戻る。

図９の動作において、制御部１５０は、右表示ユニット２２と左表示ユニット２４の両方に画像を表示してもよいが、いずれか一方にのみ画像を表示してもよい。
また、右表示ユニット２２及び左表示ユニット２４に画像を表示する場合に、右表示ユニット２２が表示する画像と左表示ユニット２４が表示する画像とに視差を持たせて、３Ｄ（立体）表示用の画像を表示してもよい。

図１４は、呼び出し動作により表示する画像を３Ｄ画像とする処理を示すフローチャートである。図１４の動作は、例えば、ステップＳ１７、Ｓ２０（図９）で表示画像を生成する処理と組み合わせて実行できる。

制御部１５０は、３Ｄ表示のための初期化を実行する（ステップＳ４１）。この初期化の処理では、使用者の右眼ＲＥ及び左眼ＬＥの視点と画像との３次元的な位置を求めるための３Ｄモデル空間を設定する。
制御部１５０は、使用者と画像表示部２０の表示可能領域Ｖとの相対位置を補正する視野移動情報の有無を判定する（ステップＳ４３）。使用者の瞳孔間距離や画像表示部２０の装着位置に対応して、使用者の右眼ＲＥ及び左眼ＬＥと表示可能領域Ｖとの相対位置を、標準的な相対位置から補正する必要がある場合、設定データ１２３に視野移動情報が含まれる。

視野移動情報がある場合（ステップＳ４３；Ｙｅｓ）、制御部１５０は、視野移動情報を取得して、取得した情報に基づき、３Ｄモデル空間における右眼ＲＥ及び左眼ＬＥの仮想視点の位置を調整する（ステップＳ４４）。

視野移動情報がない場合（ステップＳ４３；Ｎｏ）、及び、仮想視点の位置の調整が済んだ場合（ステップＳ４４）、制御部１５０は、３Ｄモデル空間における仮想視点に他覆うする仮想カメラＬ及び仮想カメラＲを設定する（ステップＳ４５）。仮想カメラＬ、Ｒは、３Ｄモデル空間において左眼ＬＥと右眼ＲＥが視認する範囲を仮想的に撮像するカメラである。すなわち、仮想カメラＬは左眼ＬＥの視野に相当する撮像範囲（画角）を有し、仮想カメラＲは右眼ＲＥの視野に相当する撮像範囲（画角）を有する。

制御部１５０は、使用者に対応付けて設定された使用者設定情報の有無を判定する（ステップＳ４６）。使用者の好み等により、視野の大きさ等を標準的な設定値から補正する必要がある場合、設定データ１２３に使用者設定情報が含まれる。使用者設定情報がある場合（ステップＳ４６；Ｙｅｓ）、制御部１５０は、使用者設定情報を取得して、取得した情報に基づき、仮想カメラＬ、Ｒの位置を調整する（ステップＳ４７）。

使用者設定情報がない場合（ステップＳ４６；Ｎｏ）、及び、仮想カメラＬ、Ｒの位置の調整が済んだ場合（ステップＳ４７）、制御部１５０は、左表示ユニット２４及び右表示ユニット２２のそれぞれに対応する処理を実行する。
すなわち、制御部１５０は、仮想カメラＬの設定情報をもとに表示対象の２Ｄ画像を射影変換して、３Ｄ表示を行うための左眼用の画像を生成する（ステップＳ４８）。制御部１５０は、左表示ユニット２４の表示解像度に合わせてスケーリングを行い（ステップＳ４９）、スケーリングした画像を左表示ユニット２４により表示する（ステップＳ５０）。また、ステップＳ４８〜Ｓ５０の処理と並行して、制御部１５０は、右眼用の処理を行う。すなわち、制御部１５０は、仮想カメラＲの設定情報をもとに表示対象の２Ｄ画像を射影変換して、３Ｄ表示を行うための右眼用の画像を生成する（ステップＳ５１）。制御部１５０は、右表示ユニット２２の表示解像度に合わせてスケーリングを行い（ステップＳ５２）、スケーリングした画像を右表示ユニット２２により表示する（ステップＳ５３）。

このように３Ｄ表示を行う場合、右表示ユニット２２が表示する画像と左表示ユニット２４が表示する画像との視差は一定でなくてもよい。例えば、表示可能領域Ｖの左端から画像をアニメーション表示により出現させる場合、この画像を見る使用者の視線方向は、左から正面に移動する。この場合、３Ｄモデル空間における画像（３Ｄオブジェクト）と右眼ＲＥ及び左眼ＬＥの相対位置が、アニメーション表示中に変化する。制御部１５０は、アニメーション表示中に、使用者の視線の変化に対応して、３Ｄ表示する画像の視差を変化させてもよい。具体的には、視差が異なる画像を順次生成して表示すればよい。

図１５は、ＨＭＤ１００の動作を示す説明図である。図１５には、使用者の右眼ＲＥ及び左眼ＬＥの方向と、使用者が視認する視野ＶＲにおける表示状態とを模式的に示す。図１５は使用者の右眼ＲＥ及び左眼ＬＥを正面から見た状態を示している。この例では、仮想線で示す視野ＶＲに画像表示部２０の表示領域（図示略）がある。
図１５（Ａ）はアニメーション表示の前の状態を示し、図１５（Ｂ）は使用者の眼球運動の例を示し、図１５（Ｃ）は使用者の眼球運動に応じてＣＧが表示された状態を示す。

図１５（Ａ）の例では、図１０と同様に図９の動作を開始する時点において、視野ＶＲの左端、右端、下端、上端のそれぞれに、タブＴ１１、Ｔ２１、Ｔ３１、Ｔ４１が表示される。タブＴ１１、Ｔ２１、Ｔ３１、Ｔ４１は、それぞれ、視線を左、右、下、上の各方向に向けた場合に引き出して表示される内容を示す文字や画像を含んでもよい。タブＴ１１、Ｔ２１、Ｔ３１、Ｔ４１は、使用者の視線運動を含む動きによって操作可能な、操作対象のオブジェクトに相当する。

使用者が視線を左に向ける眼球運動を制御部１５０が検出した場合、制御部１５０は、タブＴ１１に対応する第１段オブジェクトＴ１２を視野ＶＲに引き出すように表示する。詳細には、使用者の視線が左を向く状態が設定された時間（例えば、時間Ｌ１）以上継続すると、制御部１５０は操作として検出し、画像表示部２０により第１段オブジェクトＴ１２を表示させる。第１段オブジェクトＴ１２は、ＣＧの表示の指示であることを示す文字や画像を含む。第１段オブジェクトＴ１２はＣＧの表示を指示できる。第１段オブジェクトＴ１２が表示された状態で、図１５（Ｂ）のように視線が正面を向くと、ＣＧの表示が指示され、この指示に従って、図１５（Ｃ）に示すようにＣＧが表示される。

第１段オブジェクトＴ１２が画像表示部２０により表示された状態で、使用者の視線がさらに左を向くと、第２段オブジェクトＴ１３、Ｔ１４のいずれかが表示される。第２段オブジェクトＴ１３は視線が左下を向いた場合に表示され、第２段オブジェクトＴ１４は視線が左上を向いた場合に表示される。制御部１５０は、視線が左下または左上を向く状態が設定された時間（例えば、時間Ｌ２）以上継続した場合に、視線による操作を検出し、画像表示部２０により第２段オブジェクトＴ１３、Ｔ１４を表示させる。この場合、タブＴ１１、第１段オブジェクトＴ１２が視野ＶＲに進出するようにアニメーション表示がされ、このアニメーション表示に繋がって、第２段オブジェクトＴ１３またはＴ１４が表示される。第２段オブジェクトＴ１３、Ｔ１４は、それぞれ、ＣＧを簡易表示するか、細部を高精細に表示するかを指定できる。第２段オブジェクトＴ１３またはＴ１４が表示された状態で、図１５（Ｂ）のように視線が正面を向くと、ＣＧを簡易表示するか、細部を高精細に表示するかが指定され、指定に従って、図１５（Ｃ）に示すようにＣＧが表示される。

第２段オブジェクトＴ１３またはＴ１４が画像表示部２０により表示された状態で、使用者の視線がさらに左を向くと、第３段オブジェクトＴ１５、Ｔ１６、Ｔ１７、Ｔ１８のいずれかが表示される。第３段オブジェクトＴ１５は第２段オブジェクトＴ１４の表示中に視線が左上を向いた場合に表示され、第３段オブジェクトＴ１６は第２段オブジェクトＴ１４の表示中に視線が左下を向いた場合に表示される。第３段オブジェクトＴ１７は第２段オブジェクトＴ１３の表示中に視線が左上を向いた場合に表示され、第３段オブジェクトＴ１８は第２段オブジェクトＴ１３の表示中に視線が左上を向いた場合に表示される。

制御部１５０は、第２段オブジェクトＴ１３またはＴ１４が画像表示部２０により表示された状態で、視線が左下または左上を向く状態が設定された時間（例えば、時間Ｌ３）以上継続した場合に、視線による操作を検出する。制御部１５０は、画像表示部２０により第３段オブジェクトＴ１５、Ｔ１６、Ｔ１７、Ｔ１８のいずれかを表示させる。この場合、タブＴ１１、第１段オブジェクトＴ１２、第２段オブジェクトＴ１３またはＴ１４が視野ＶＲに進出するようにアニメーション表示がされ、このアニメーション表示に繋がって、第３段オブジェクトＴ１５、Ｔ１６、Ｔ１７、Ｔ１８のいずれかが表示される。
使用者は、第３段オブジェクトＴ１５、Ｔ１６、Ｔ１７、Ｔ１８により、ＣＧの表示属性や表示態様として、白黒表示、外形（輪郭）表示、拡大表示等を指定できる。

また、視線が下方を向いたことを制御部１５０が検出した場合、タブＴ３１が選択され、さらに視線による操作が検出されると、第１段オブジェクトＴ３２が表示される。さらなる視線による操作が検出されると、第２段オブジェクトＴ３３またはＴ３４が表示される。第１段オブジェクトＴ３２によれば、使用者はユーザーインターフェース（ＵＩ）の表示を指示することができ、第２段オブジェクトＴ３３、Ｔ３４により、ホーム画面用のＵＩと専用アプリ用のＵＩとを選択し、指定できる。

視線が上方を向いたことを制御部１５０が検出した場合、タブＴ４１が選択され、さらに視線による操作が検出されると、第１段オブジェクトＴ４２が表示される。さらなる視線による操作が検出されると、第２段オブジェクトＴ４３またはＴ４４が表示される。第１段オブジェクトＴ４２によれば、使用者は説明書の表示を指示することができ、第２段オブジェクトＴ４３、Ｔ４４により、ビギナー用の説明書とプロ用の説明書とを選択し、指定できる。

視線が右方を向いたことを制御部１５０が検出した場合、タブＴ２１が選択され、さらに視線による操作が検出されると、第１段オブジェクトＴ２２が表示される。さらなる視線による操作が検出されると、第２段オブジェクトＴ２３またはＴ２４が表示される。そして、さらなる視線による操作が検出されると、制御部１５０は、画像表示部２０により第３段オブジェクトＴ２５、Ｔ２６、Ｔ２７、Ｔ２８のいずれかを表示させる。使用者は、第１段オブジェクトＴ２２により図面の表示を指示できる。また、第２段オブジェクトＴ２３、Ｔ２４により、図面を３Ｄ（３次元）表示するか、２Ｄ（２次元）表示するかを指定できる。また、使用者は、第３段オブジェクトＴ２５、Ｔ２６、Ｔ２７、Ｔ２８により、図面の表示属性や表示態様として、白黒表示、カラー表示を指定できる。

第１段オブジェクトを表示させる場合に、視線による操作を検出する閾値である時間Ｌ１と、第２段オブジェクトを表示させる場合の閾値である時間Ｌ２と、第３段オブジェクトを表示させる場合の閾値である時間Ｌ３とは、異なる時間とすることができる。例えば、時間Ｌ１を５秒、時間Ｌ２を８秒、時間Ｌ３を１０秒とし、表示の引き出しの段階に従って閾値の時間が長くなるようにしてもよい。

制御部１５０は、図１５（Ｃ）に示す表示を復元する場合、視野ＶＲのＣＧ（符号Ｇ１）が視野ＶＲにおいて見えなくなるようにしてもよい。また、ＣＧが視野ＶＲにおいて、使用者が外景を視認する領域（例えば、視野ＶＲの中央を含む、設定された広さの領域）に重ならない位置及びサイズで表示されることを、復元としてもよい。第１段、第２段、第３段オブジェクトを表示した状態から表示を復元する場合も同様である。
また、タブＴ１１、Ｔ２１、Ｔ３１、Ｔ４１或いは第１段、第２段、第３段オブジェクトを選択する場合において、視線すなわち眼球運動に、眼瞼運動や体動を組み合わせて選択してもよい。

以上説明したように、本発明を適用した実施形態のＨＭＤ１００は、使用者の身体に装着して使用される表示装置であって、画像を表示する画像表示部２０を備える。ＨＭＤ１００は、使用者の眼球の動きを検出する眼球運動検出部１５２と、眼球運動検出部１５２により検出される使用者の眼球の動きを判定する眼球運動判定部１５４と、画像表示部２０における表示を制御する表示制御部１４７と、を備える。表示制御部１４７は、眼球運動判定部１５４の判定結果に応じて、画像表示部２０の表示を変化させ、その後に予め設定された復元条件をトリガーとして画像表示部２０の表示を復元させる。このように、本発明の表示装置、及び、表示装置の制御方法を適用したＨＭＤ１００によれば、使用者の眼球の動きに応じて画像表示部２０の表示を変化させることができ、変化させた表示を、復元条件に従って復元させることができる。このため、使用者は、画像表示部２０が表示する画像に対して簡単に操作を行うことができる。また、誤操作が検出された場合であっても表示を容易に復元させることができるので、誤操作の検出を防止するための使用者の負荷を軽減できる。この場合、設定された復元条件が成立したことを検出して、この検出をトリガーとしてもよい。

例えば、制御部１５０は、図１１に示すメニュー画像Ｇ１や図１２に示す仮想キーボードＶＫＢを、表示可能領域Ｖの中央に表示する。表示可能領域Ｖを広く使用して画像を表示することで、使用者に視認しやすいように画像を表示できる。また、これらメニュー画像Ｇ１や仮想キーボードＶＫＢは、復元条件が成立すると表示が終了するので、使用者が表示可能領域Ｖを透過して外景を視認することを妨げない。このように、表示トリガーとなる簡単な眼球の動きにより、実視野を視認するときに影響しないように、画像を表示させることができる。

また、ＨＭＤ１００は、眼球運動判定部１５４の判定結果に対応付けて、画像表示部２０に表示する情報を記憶する記憶部１２２を備える。表示制御部１４７は、眼球運動判定部１５４が判定を行った場合に、眼球運動判定部１５４の判定結果に対応付けて記憶部１２２に記憶される情報の表示を開始させ、復元条件をトリガーとして情報の表示を終了させる。これにより、使用者の眼球の動きに対応する情報を画像表示部２０に情報を表示させることができる。これにより、使用者が望む情報を、簡単な操作によって表示させることができ、より一層の操作性の向上を図ることができる。また、誤操作の検出を防止するための使用者の負荷を軽減できる。

また、表示制御部１４７は、情報の表示を開始する際、及び、情報の表示を終了させる際に、画像表示部２０に情報をアニメーション表示させる。これにより、画像表示部２０における表示の急激な変化を緩和し、表示される情報の視認性を高めることができるので、より一層の操作性の向上を図ることができる。

また、表示制御部１４７は、情報の表示を開始する際のアニメーション表示の変化速度と、情報の表示を終了させる際のアニメーション表示の変化速度とを対応させる。これにより、画像表示部２０により情報の表示を開始するときと表示を終了するときの表示の変化の速度を対応させることで、表示される情報の視認性を高めることができ、より一層の操作性の向上を図ることができる。

また、眼球運動判定部１５４は、眼球運動検出部１５２が検出する使用者の眼球の動きに基づき、使用者の視線方向を判定し、表示制御部１４７は、眼球運動判定部１５４が判定する使用者の視線方向に対応して画像表示部２０の表示を変化させる。これにより、使用者が視線の方向を動かすことにより、画像表示部２０の表示を変化させることができる。

また、表示制御部１４７は、眼球運動判定部１５４が判定する使用者の視線方向に対応する情報を画像表示部２０に表示させる。これにより、使用者が視線の方向を動かすことにより、視線の方向に対応する情報を画像表示部２０に表示させることができる。このため、表示させる情報を選択する操作と、情報を表示させる操作とを、簡単に行うことができる。

また、使用者による操作を検出する身体動作検出部１５８を備え、表示制御部１４７は、眼球運動判定部１５４が判定する使用者の視線方向に対応する情報を、身体動作検出部１５８が検出する操作に応じて、画像表示部２０に表示させる。これにより、使用者が眼球の動きとその他の操作とを組み合わせて、表示装置を操作することができ、例えば複雑な内容の操作を簡単に行うことができる。これにより、より一層の操作性の向上を図ることができる。

また、表示制御部１４７は、眼球運動判定部１５４が判定する使用者の視線方向が予め設定された変化をした場合に、復元条件が成立したと判定して画像表示部２０に表示させた情報の表示を終了させる。これにより、使用者が視線方向を変化させることにより、容易に、表示を復元させることができる。

また、使用者の眼瞼の動きを検出する眼瞼運動検出部１５６を備え、表示制御部１４７は、眼瞼運動検出部１５６により、予め設定された態様の使用者の眼瞼の動きが検出された場合に、復元条件が成立したと判定して画像表示部２０に表示させた情報の表示を終了させる。これにより、使用者が瞼を動かすことにより、易に、表示を復元させることができる。

また、表示制御部１４７は、画像表示部２０の表示を変化させてから、予め設定された時間が経過したときに復元条件が成立したと判定して画像表示部２０に表示させた情報の表示を終了させる。これにより、画像表示部２０の表示が変化してから、予め設定された時間が経過したときに表示が復元されるので、表示を復元させる操作が不要である。このため、使用者に要求される操作を、より簡易化できる。

また、眼球運動検出部１５２は使用者の視線方向を検出し、表示制御部１４７は、眼球運動検出部１５２により検出される使用者の視線方向に基づき使用者の視線の輻輳角を判定し、使用者の視線の輻輳角が予め設定された条件に該当する場合に、復元条件が成立したと判定して画像表示部２０に表示させた情報の表示を終了させる。これにより、使用者の視線の輻輳角に対応して、画像表示部２０の表示を復元させることができる。

また、表示制御部１４７は、使用者の視線の輻輳角が予め設定された条件に該当する可能性がある場合に、画像表示部２０により報知の表示をさせる。これにより、使用者の視線の輻輳角に対応して画像表示部２０の表示を復元させる可能性がある場合に、報知を行う。これにより、誤操作を容易に防止でき、表示の変化を事前に報知できるので、より一層の操作性の向上を図ることができる。

また、画像表示部２０は、外景を透過し、外景とともに視認できるように画像を表示する透過型の画像表示部２０であり、表示制御部１４７は、眼球運動判定部１５４の判定結果に応じて、外景と重畳して視認される位置に画像を表示させ、その後に予め設定された復元条件をトリガーとして、外景と重畳して視認される位置から画像を待避させる。
これにより、外景を透過して視認可能に画像を表示する場合に、使用者の眼の動きに基づいて画像を表示させることができる。また、外景と重畳して視認される位置を利用して画像を表示でき、この画像が外景の視認の障害にならないよう待避させることができる。これにより、外景の視認性を損なうことなく、簡単な操作によって、画像表示部２０が画像を表示可能な領域を効率よく利用して、表示を行うことができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において。制御部１５０は、内側カメラ６８の撮像画像データから検出する眼球運動が、呼び出し動作に該当する場合に、画像を呼び出して表示する構成として説明した。本発明はこれに限定されず、例えば、操作部１１０の操作、カメラ６１の撮像画像データから検出されるジェスチャー操作、画像表示部２０の動きによる操作などと、眼球運動との組合せを、呼び出し動作として検出してもよい。

例えば、上記実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。例えば、制御装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を画像表示部２０により表示する構成とすれば、画像表示部２０が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に本発明を適用することも勿論可能である。

また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１０…制御装置、２０…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、６１…カメラ、６３…マイク、６４…距離センサー、６４Ａ…検出方向、６５…照度センサー、６８…内側カメラ、１００…ＨＭＤ（表示装置、頭部装着型表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…コンテンツデータ、１２５…呼出表示データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…オペレーティングシステム、１４５…画像処理部、１４７…表示制御部（制御部）、１４９…撮像制御部、１５０…制御部、１５２…眼球運動検出部（検出部）、１５４…眼球運動判定部（判定部）、１５６…眼瞼運動検出部、１５８…身体動作検出部（操作判定部）、１６０…検出制御部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット。

Claims

使用者の身体に装着して使用される表示装置であって、
画像を表示する表示部と、
前記使用者の眼球の動きを検出する検出部と、
前記検出部により検出される前記使用者の眼球の動きを判定する判定部と、
前記表示部における表示を制御する制御部と、を備え、
前記制御部は、前記判定部の判定結果に応じて、前記表示部の表示を変化させ、その後に予め設定された復元条件をトリガーとして前記表示部の表示を復元させる表示装置。
前記判定部の判定結果に対応付けて、前記表示部に表示する情報を記憶する記憶部を備え、
前記制御部は、前記判定部が判定を行った場合に、前記判定部の判定結果に対応付けて前記記憶部に記憶される情報の表示を開始させ、前記復元条件をトリガーとして前記情報の表示を終了させる請求項１記載の表示装置。
前記制御部は、前記情報の表示を開始する際、及び、前記情報の表示を終了させる際に、前記表示部に前記情報をアニメーション表示させる請求項２記載の表示装置。
前記制御部は、前記情報の表示を開始する際のアニメーション表示の変化速度と、前記情報の表示を終了させる際のアニメーション表示の変化速度とを対応させる請求項３記載の表示装置。
前記判定部は、前記検出部が検出する前記使用者の眼球の動きに基づき、前記使用者の視線方向を判定し、
前記制御部は、前記判定部が判定する前記使用者の視線方向に対応して前記表示部の表示を変化させる請求項１から４のいずれか１項に記載の表示装置。
前記制御部は、前記判定部が判定する前記使用者の視線方向に対応する情報を前記表示部に表示させる請求項１から４のいずれか１項に記載の表示装置。
前記使用者による操作を検出する操作検出部を備え、
前記制御部は、前記判定部が判定する前記使用者の視線方向に対応する情報を、前記操作検出部が検出する操作に応じて、前記表示部に表示させる請求項６記載の表示装置。
前記制御部は、前記判定部が判定する前記使用者の視線方向が予め設定された変化をした場合に、前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる請求項６または７記載の表示装置。
前記使用者の眼瞼の動きを検出する眼瞼運動検出部を備え、
前記制御部は、前記眼瞼運動検出部により、予め設定された態様の前記使用者の眼瞼の動きが検出された場合に、前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる請求項６または７記載の表示装置。
前記制御部は、前記表示部の表示を変化させてから、予め設定された時間が経過したときに前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる請求項６または７記載の表示装置。
前記検出部は前記使用者の視線方向を検出し、
前記制御部は、前記検出部により検出される前記使用者の視線方向に基づき前記使用者の視線の輻輳角を判定し、前記使用者の視線の輻輳角が予め設定された条件に該当する場合に、前記復元条件が成立したと判定して前記表示部に表示させた情報の表示を終了させる請求項６または７記載の表示装置。
前記制御部は、前記使用者の視線の輻輳角が予め設定された条件に該当する可能性がある場合に、前記表示部により報知の表示をさせる請求項１１記載の表示装置。
前記表示部は、外景を透過し、前記外景とともに視認できるように画像を表示する透過型の表示部であり、
前記制御部は、前記判定部の判定結果に応じて、前記外景と重畳して視認される位置に画像を表示させ、その後に予め設定された復元条件をトリガーとして、前記外景と重畳して視認される位置から画像を待避させる請求項１から１２のいずれか１項に記載の表示装置。
使用者の頭部に装着され、外景と画像とを重ねて視認可能に表示する表示部と、
前記使用者の眼球の動きを検出する検出部と、
前記検出部により検出される前記使用者の眼球の動きを判定する判定部と、
前記表示部における表示を制御する制御部と、を備え、
前記制御部は、前記判定部の判定結果に応じて、前記表示部の表示を変化させ、その後に予め設定された復元条件をトリガーとして前記表示部の表示を復元させる頭部装着型表示装置。
使用者の身体に装着して使用され、画像を表示する表示部と、前記使用者の眼球の動きを検出する検出部と、を備える表示装置を制御して、
前記検出部により検出される前記使用者の眼球の動きを判定するステップと、
判定結果に応じて、前記表示部の表示を変化させるステップと、
予め設定された復元条件をトリガーとして前記表示部の表示を復元させるステップと、を有する表示装置の制御方法。