JP2018022426A - 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】表示装置を操作する使用者が、表示され画像等を見ながら操作を行うことを可能にし、利便性の向上を図る。【解決手段】画像を表示する画像表示部２０と、操作領域における操作を検出する操作検出部と、振動または音を出力するヘッドセット３０及び振動出力部１９と、検出制御部１５１で検出した操作を画像表示部２０による表示に反映させる制御部１５０と、を備え、制御部１５０は、操作検出部で検出される操作の位置と、操作領域に設定される報知対象領域との相対位置に基づいて、出力部による出力を実行するＨＭＤ１００。【選択図】図５

Description

本発明は、表示装置、頭部装着型表示装置、及び、表示装置の制御方法に関する。

従来、使用者の操作を検出する機能を有する表示装置が知られている（例えば、特許文献１参照）。特許文献１記載の頭部装着型表示装置は、タッチパッドの操作面に対する操作に応じて、ポインティング操作、クリック操作、ドラッグ操作、フリック操作等を検出する。また、操作面に設定される特定操作領域では十字キーによる操作やボタン操作を行った場合と同様の機能が割り当てられる。

特開２０１４−１５４０７４号公報

特許文献１記載の特定操作領域のように、操作用の領域が予め定められている場合、例えばタッチパッドを目視して操作位置を確認することが求められる。このため、使用者は、表示部が表示する画像等から目を離す必要があった。
本発明は上記事情に鑑みてなされたものであり、表示装置を操作する使用者が、表示され画像等を見ながら操作を行うことを可能にし、利便性の向上を図ることを目的とする。

上記課題を解決するため、本発明は、画像を表示する表示部と、操作領域における操作を検出する操作検出部と、振動または音を出力する出力部と、前記操作検出部で検出した操作を前記表示部による表示に反映させる制御部と、を備え、前記制御部は、前記操作検出部で検出される操作の位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部による出力を実行する。
本発明によれば、操作の位置と報知対象領域との相対位置を振動または音によって報知し、操作を行う使用者に知らせることができる。これにより、使用者は、表示部が表示する内容を見ながら適切な位置を操作することができ、表示装置の利便性の向上を図ることができる。

また、本発明は、前記制御部は、前記操作検出部で検出される操作の位置が前記報知対象領域内である場合、または、前記報知対象領域外である場合に、前記出力部による出力を実行する。
本発明によれば、出力部によって、操作の位置が報知対象領域内であること、または、報知対象領域外であることを報知できる。

また、本発明は、前記制御部は、前記操作検出部で検出される操作の位置が、前記報知対象領域の外から前記報知対象領域内に移動した場合、または、前記報知対象領域内から前記報知対象領域の外に移動した場合に、前記出力部による出力を実行する。
本発明によれば、出力部によって、操作の位置が報知対象領域の外から報知対象領域内に移動したこと、または、報知対象領域内から報知対象領域の外に移動したことを報知できる。

また、本発明は、前記制御部は、前記表示装置の動作モードを、前記操作検出部で検出される操作の位置に基づき位置入力操作を検出する第１入力モードと、前記操作検出部で検出される操作の位置に基づき位置入力操作以外の操作を検出する第２入力モードとに設定し、前記操作検出部で検出される操作の位置が前記報知対象領域内である場合は前記第２入力モードを設定する。
本発明によれば、報知対象領域内の操作を、報知対象領域内に該当しない位置と異なる操作として検出する構成において、報知対象領域内の操作を検出した場合に報知を行うことができる。このため、操作性を低下させることなく、表示装置に対する操作のバリエーションを増やすことができ、利便性の向上を図ることができる。

また、本発明は、前記制御部は、前記操作検出部で検出される操作の位置と前記操作領域に設定される報知対象領域との相対位置に基づき前記出力部による出力を実行する場合に、所定の画像を前記表示部によって表示させる。
本発明によれば、操作検出部で検出される操作の位置と報知対象領域との相対位置に関して、振動または音による報知とともに、表示による報知を行うことができる。

また、本発明は、前記制御部は、前記操作検出部で検出される操作の位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部により出力する振動または音について、周波数または出力パターンを設定する。
本発明によれば、出力部が出力する振動または音の周波数または出力パターンにより、操作検出部で検出される操作の位置と報知対象領域との相対位置に関する情報を、使用者に知らせることができる。

また、本発明は、前記制御部は、前記出力部により出力する振動または音について、前記操作検出部で検出される操作の位置と前記操作領域に設定される報知対象領域との間の距離に応じて、周波数または出力パターンを設定する。
本発明によれば、出力部が出力する振動または音の周波数または出力パターンにより、操作検出部で検出される操作の位置と報知対象領域との距離を知らせることができる。

また、本発明は、前記表示部と別体の出力部本体を有し、前記出力部、若しくは、前記出力部と前記操作検出部が前記出力部本体に配置される。
本発明によれば、表示部と別体として設けられる出力部により振動または音を出力して、操作の位置に関して報知を行うことができる。また、振動または音の出力が表示に影響しにくいという利点がある。

また、本発明は、前記出力部及び前記操作検出部は前記表示部に配置される。
本発明によれば、表示部に配置される操作検出部が検出する操作の位置について報知を行うことができる。

また、本発明は、前記操作検出部は接触操作を検出し、前記制御部は、前記操作検出部で検出される接触位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部による出力を実行する。
本発明によれば、接触操作の操作の位置に関して出力部により報知を行うので、使用者は、表示部が表示する内容を見ながら適切な位置を接触操作することができる。

また、本発明は、前記操作検出部は、仮想的に設定される仮想操作領域に対する操作を検出する。
本発明によれば、仮想操作領域における操作の位置について、出力部によって報知を行うことができる。

また、本発明は、前記表示部は、使用者の頭部に装着されて前記使用者に画像を視認させる頭部装着型表示装置である。
本発明によれば、頭部装着型表示装置が表示する画像を見ながら、適切な位置を操作できる。

また、上記課題を解決するため、使用者の頭部に装着され、外景を視認可能に画像を表示する表示部と、前記表示部により外景を視認可能な範囲に重なる操作領域に対する操作を検出する制御部と、振動または音を出力する出力部と、を備え、前記制御部は、前記操作検出部で検出した操作を前記表示部による表示に反映させ、前記操作検出部で検出される操作の位置と、前記操作領域に設定される仮想の報知対象領域との相対位置に基づいて、前記出力部による出力を実行する。
本発明によれば、外景を視認可能に画像を表示する頭部装着型表示装置により、操作領域における操作を表示に反映させることができ、操作性の向上を図ることができる。さらに、操作の位置と報知対象領域との相対位置を、出力部により報知できる。これにより、使用者は、表示部が表示する内容を見ながら適切な位置を操作することができ、表示装置の利便性の向上を図ることができる。

また、上記課題を解決するため、本発明は、画像を表示する表示部、操作領域における操作を検出する操作検出部、及び、振動または音を出力する出力部を備える表示装置を制御して、前記操作検出部で検出した操作を前記表示部による表示に反映させるステップと、前記操作検出部で検出される操作の位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部による出力を実行するステップと、を有する。
本発明によれば、操作の位置と報知対象領域との相対位置を振動または音によって報知し、操作を行う使用者に知らせることができる。これにより、使用者は、表示部が表示する内容を見ながら適切な位置を操作することができ、表示装置の利便性の向上を図ることができる。

本発明は、上述した表示装置、及び表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の表示装置を含む表示システムを構成することも可能である。また、上記の制御方法を実行するために制御部やコンピューターが実行するプログラムとして実現してもよい。また、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。

第１実施形態のＨＭＤの外観図。 ＨＭＤの光学系の構成を示す図。 画像表示部の構成を示す斜視図。 制御装置の構成を示す平面図。 ＨＭＤのブロック図。 制御装置の機能ブロック図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 第２実施形態のＨＭＤの外観図。 第２実施形態の制御装置の構成を示す平面図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの表示例を示す図。 ＨＭＤの表示例を示す図。 ＨＭＤの表示例を示す図。 第３実施形態のＨＭＤの表示例を示す図。 仮想的な操作領域を使用する操作の例を示す図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 時計型デバイスの外観図。 リング型デバイスの外観図。

［第１実施形態］
図１は、本発明を適用した第１実施形態に係るＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の外観構成を示す説明図である。
ＨＭＤ１００は、使用者（ユーザー）の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、図１に示すように、平たい箱形のケース１０Ａ（筐体、あるいは本体ともいえる）を備える。

ケース１０Ａは、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８の各部を備える。ボタン１１、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８は、使用者により操作される被操作部である。また、ＬＥＤインジケーター１２は、例えばＨＭＤ１００の動作状態を示す副表示部として機能する。使用者は、被操作部を操作することにより、ＨＭＤ１００を操作できる。制御装置１０は、ＨＭＤ１００（表示装置）のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を実現する。右表示ユニット２２は、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を実現する。左表示ユニット２４は、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。
右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導く。右導光板２６及び左導光板２８に導かれた画像光は使用者の右眼と左眼に入射して、使用者に虚像を視認させる。これにより、画像表示部２０は画像を表示する。

使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、或いは、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の構成、及び配置は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように決められる。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例で、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されるが、カメラ６１は端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像する。カメラ６１の画角の方向および広さは適宜設定可能である。本実施形態では、後述するように、カメラ６１の画角が、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、カメラ６１の画角は、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
カメラ６１は、制御部１５０（図６）が備える撮像制御部１４９の制御に従って撮像を実行する。カメラ６１は、撮像画像データを、講述するインターフェイス２１１を介して制御部１５０に出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２及び左表示ユニット２４は、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図６）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図１に戻り、制御装置１０及び画像表示部２０は、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６及び制御装置１０は、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及び、マイク６３を有するヘッドセット３０が、コネクター４６に接続される。
制御装置１０と画像表示部２０とを無線接続してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信により、制御装置１０と画像表示部２０とが制御信号やデータを相互に送受信する構成としてもよい。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

図４は、制御装置１０の構成を詳細に示す平面図である。
ケース１０Ａが有する面のうち１つの面に、ボタン１１、ＬＥＤインジケーター１２、及びトラックパッド１４が配置される。この面を操作面１０Ｂとする。ケース１０Ａの側面には、上下キー１５、切替スイッチ１６、及び電源スイッチ１８が配置される。

ボタン１１は、使用者が操作するメニューキー、ホームキー、戻るキー等、独立して操作可能なキーを含む。ボタン１１が有するキーは、いわゆる物理キーであってもよいし、ソフトウェアキーであってもよい。使用者は、ボタン１１が備える各種キーを、制御装置１０が実行するオペレーティングシステム１４３（図６）に対する操作等を行うために使用できる。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。

トラックパッド１４は、ケース１０Ａの平面に重ねて配置され、接触操作を検出する。トラックパッド１４は、例えば、使用者の手、指、その他の身体の一部による接触操作を検出するが、トラックパッド１４を操作する操作体は使用者の身体に限定されない。例えば、使用者が手に持って使用するペン型の操作体による接触操作を、トラックパッド１４が検出してもよい。トラックパッド１４の操作面は操作領域に相当する。

トラックパッド１４は、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。具体的には、トラックパッド１４に、静電容量の変化により操作を検出する静電容量式のセンサーや、押圧を検出する抵抗膜式のセンサーを利用できる。また、操作体（図示略）がコイルを有する回路を備える場合、トラックパッド１４は、操作体のコイルと電磁的に結合するコイルを有し、操作体の位置を電磁的に検出する検出回路を備えてもよい。

トラックパッド１４の検出面には、例えば図４に示すように、座標系が設定される。図４の例では、ケース１０Ａの長手方向に沿ってＹ軸が設定され、Ｙ軸に直交する方向にＸ軸が設定される。これにより、トラックパッド１４がタッチ操作を検出する検出位置を、Ｘ−Ｙ直交座標系の座標で特定できる。

トラックパッド１４の操作面の一部は、検出領域１４Ａに割り当てられる。制御装置１０は、トラックパッド１４に対する接触操作を検出でき、検出領域１４Ａに含まれる位置の接触操作を、検出領域１４Ａに含まれない位置の接触操作と区別できる。検出領域１４Ａは、トラックパッド１４がタッチ操作を検出する領域の少なくとも一部を含む。図４の例で、検出領域１４Ａは、トラックパッド１４の側方の一端部に位置するジェスチャー領域１４Ｂ、及び、他端部に位置するジェスチャー領域１４Ｃを含む。ジェスチャー領域１４Ｂ、１４Ｃは、トラックパッド１４の検出面においてＸ軸方向の端部にある。検出領域１４Ａは、本発明の報知対象領域に相当する。

検出領域１４Ａは、トラックパッド１４の操作面の一部にソフトウェア的に設定され、トラックパッド１４の外観から検出領域１４Ａが特定できない構成が考えられるが、検出領域１４Ａを区別可能な構成であってもよい。例えば、トラックパッド１４においてジェスチャー領域１４Ｂ、１４Ｃの位置や、ジェスチャー領域１４Ｂ、１４Ｃと他の領域との境界を視覚的に示す画像、模様、線等を印刷または付着してもよい。また、タッチ操作時に指や手の触感により、ジェスチャー領域１４Ｂ、１４Ｃの位置や、ジェスチャー領域１４Ｂ、１４Ｃと他の領域との境界を認識できるようにしてもよい。例えば、ジェスチャー領域１４Ｂ、１４Ｃの輪郭を凹凸により示す構成としてもよい。

本実施形態では、制御装置１０は、ジェスチャー領域１４Ｂ、１４Ｃにおけるタッチ操作に基づきジェスチャーを検出する。ジェスチャーは、タッチ操作された位置の軌跡について、予め設定されたパターンである。例えば、ジェスチャー領域１４Ｂ、１４ＣにおいてＹ軸方向に移動する操作位置の軌跡をジェスチャーとして設定できる。この場合、ジェスチャー領域１４Ｂあるいはジェスチャー領域１４Ｃで、タッチ操作の位置がＹ軸方向に所定量移動した場合、制御装置１０はジェスチャー操作を検出する。制御装置１０は、ジェスチャー操作に対応する機能を実行する。例えば、制御装置１０は、画像表示部２０が表示する映像コンテンツを上下方向にスクロールさせる。
ジェスチャーに該当しないタッチ操作を検出した場合、制御装置１０は、位置入力操作を検出する。位置入力操作は、ジェスチャー領域１４Ｂ、１４Ｃを含むトラックパッド１４の操作面の全体で検出される。これに対し、ジェスチャー操作は、ジェスチャー領域１４Ｂ、１４Ｃで検出され、ジェスチャー領域１４Ｂ、１４Ｃの外でジェスチャーに該当する操作が行われた場合、制御装置１０は、位置入力操作を検出する。

制御装置１０で設定できるジェスチャーの種類、及び、数は任意である。ジェスチャーとして検出する操作位置の軌跡の形状も任意である。また、ジェスチャー領域１４Ｂ、１４Ｃの位置、サイズ、及び大きさも任意である。ケース１０Ａの形状、トラックパッド１４の形状やサイズ、ジェスチャー領域１４Ｂ、１４Ｃで検出するジェスチャーの形を考慮して任意に設定できる。

制御装置１０は、トラックパッド１４の検出領域１４Ａに対応して、バイブレーター１９Ａ〜１９Ｄを備える。バイブレーター１９Ａ〜１９Ｄは、後述する制御部１５０の制御に従って振動を発生する装置である。バイブレーター１９Ａ〜１９Ｄは、それぞれ、モーター或いはアクチュエーターで構成される動力源と、動力源が発生する動きを振動に変える変換部とを有する。例えば、バイブレーター１９Ａ〜１９Ｄは、モーターと、モーターの回転軸に偏心して固定される錘とを備えて構成される。バイブレーター１９Ａ〜１９Ｄが生成する振動の強さは特に制限されないが、使用者がケース１０Ａを手に持つ状態で、使用者が振動を知覚できることが望ましい。

バイブレーター１９Ａ〜１９Ｄは、ケース１０Ａに収容され、例えば、ケース１０Ａの内部に固定される基板（図示略）に取り付けられる。本実施形態では、バイブレーター１９Ａ〜１９Ｄの設置位置が、ジェスチャー領域１４Ｂ、１４Ｃの位置に対応する。バイブレーター１９Ａの位置は、ジェスチャー領域１４ＢのＹ軸方向の一端部に重なる位置であり、バイブレーター１９Ｂの位置は、ジェスチャー領域１４ＢのＹ軸方向の他端部に重なる位置である。バイブレーター１９Ｃの位置は、ジェスチャー領域１４ＣのＹ軸方向の一端部に重なる位置であり、バイブレーター１９Ｄの位置は、ジェスチャー領域１４ＣのＹ軸方向の他端部に重なる位置である。

後述するように、制御部１５０は、使用者がトラックパッド１４にタッチ操作を行ったことを検出した場合、検出した操作位置と、ジェスチャー領域１４Ｂ、１４Ｃとの位置関係に対応して、バイブレーター１９Ａ〜１９Ｄのいずれかを振動させる。使用者は、バイブレーター１９Ａ〜１９Ｄの振動を知覚して、操作位置とジェスチャー領域１４Ｂ、１４Ｃとの位置関係を知ることができる。制御部１５０は、使用者が操作した操作位置に対応してバイブレーター１９Ａ〜１９Ｄを選択して、振動させる。これにより、使用者は、振動を知覚した位置を判断することで、操作位置とジェスチャー領域１４Ｂ、１４Ｃとの相対的な位置関係を、より詳細に知ることができる。

図３は、画像表示部２０の構成を示す斜視図であり、画像表示部２０を使用者の頭部側から見た要部構成を示す。この図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６１は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物が画角に含まれるように、設定されることが好ましい。

一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角Ｃが使用者の両眼の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

図５は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、およびＬＥＤ表示部１７を含む。操作部１１０は、ボタン１１が有するボタンやスイッチ等の操作子が操作された場合に、操作された操作子に対応する操作信号をメインプロセッサー１４０に出力する。

ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤインジケーター１２の点灯、及び消灯を制御する。また、ＬＥＤ表示部１７は、トラックパッド１４（図１）の直下に配置されるＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む構成であってもよい。この場合、ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。

ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。コネクター４６はヘッドセット３０に接続される。音声インターフェイス１８２が出力する音声信号は右イヤホン３２、及び左イヤホン３４に入力され、これにより右イヤホン３２及び左イヤホン３４が音声を出力する。また、ヘッドセット３０が備えるマイク６３は、音声を集音して、音声信号を音声インターフェイス１８２に出力する。マイク６３から音声インターフェイス１８２に入力される音声信号は、外部コネクター１８４に入力される。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。ヘッドセット３０は、本発明の出力部に相当する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

バイブレーター１９Ａ、１９Ｂ、１９Ｃ、１９Ｄは、振動出力部１９を構成する。振動出力部１９は、メインプロセッサー１４０の制御に従って動作し、振動を発生する。振動出力部１９は本発明の出力部に相当する。
振動出力部１９は、メインプロセッサー１４０の制御によりバイブレーター１９Ａ、１９Ｂ、１９Ｃ、１９Ｄに駆動電力を出力する駆動回路（図示略）を備えてもよい。この場合、メインプロセッサー１４０は駆動回路（図示略）を制御して、バイブレーター１９Ａ、１９Ｂ、１９Ｃ、１９Ｄにより振動を発生させる。また、バイブレーター１９Ａ、１９Ｂ、１９Ｃ、１９Ｄに対し電源部１３０から電力が供給され、メインプロセッサー１４０がバイブレーター１９Ａ、１９Ｂ、１９Ｃ、１９Ｄを個別に制御して振動を発生させてもよい。これらのいずれの構成でも、メインプロセッサー１４０は、バイブレーター１９Ａ、１９Ｂ、１９Ｃ、１９Ｄのいずれか１以上を選択して振動させることができる。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図４）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図４）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

図６は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図６に示す記憶部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。

制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、コンテンツデータ１２４、検出データ１２５、表示制御データ１２６、及び、出力設定データ１２７を記憶する。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１２３に含めてもよい。

コンテンツデータ１２４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータであり、画像データ、或いは映像データを含む。また、コンテンツデータ１２４は、音声データを含んでもよい。また、コンテンツデータ１２４は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部２０に表示される画像に限定されない。
また、コンテンツデータ１２４は、コンテンツを画像表示部２０により表示する際に、制御装置１０によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２４は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。

検出データ１２５は、トラックパッド１４に対する操作を検出する処理に関する設定データである。制御部１５０は、トラックパッド１４に対する操作を検出する場合に検出データ１２５を参照する。検出データ１２５は、トラックパッド１４へのタッチ操作を検出する条件を定めるデータを含む。具体的には、検出データ１２５は、検出領域１４Ａでジェスチャー操作を検出する処理に関するデータを含む。例えば、検出データ１２５は、トラックパッド１４における検出領域１４Ａの位置及びサイズを示すデータを含む。また、例えば、検出データ１２５は、検出領域１４Ａにおいて検出される操作がジェスチャー操作に該当するか否かを判定するためのデータを含む。例えば、ジェスチャー操作として検出する操作位置の軌跡の形状、位置、大きさ、その他の条件を含めることができる。また、検出データ１２５は、ジェスチャー操作に対応して制御部１５０が実行する処理を指定するデータを含んでもよい。検出データ１２５が含むデータは、トラックパッド１４に設定されるＸ−Ｙ座標系における座標を用いて記述されたデータであってもよい。

表示制御データ１２６は、トラックパッド１４に対する操作を画像表示部２０による表示に反映させる処理に関する設定データである。制御部１５０は、トラックパッド１４に対する操作を検出した後、表示制御データ１２６を参照して、画像表示部２０の表示を制御する。例えば、表示制御データ１２６は、制御部１５０がジェスチャー操作に対応して表示を制御する場合に、検出されたジェスチャー操作に対応する表示態様、或いは、表示の変化の態様を設定するデータを含む。具体的には、検出データ１２５により、ジェスチャー領域１４Ｂにおけるジェスチャー操作に対応して表示スクロールを実行するよう設定された場合、表示制御データ１２６は、表示をスクロールする方向、及び、スクロール量を設定するデータを含む。

出力設定データ１２７は、制御部１５０がヘッドセット３０による報知音の出力、及び／または振動出力部１９による振動の出力を実行させる処理を設定するデータである。具体的には、出力設定データ１２７は、トラックパッド１４の操作位置に対応して制御部１５０が音及び／または振動を出力する条件を指定するデータを含む。例えば、出力設定データ１２７は、トラックパッド１４の操作位置から、使用する出力部としてヘッドセット３０及び振動出力部１９のいずれか１以上を選択するためのデータを含む。また、例えば、出力設定データ１２７は、振動出力部１９において振動を生成するバイブレーター１９Ａ〜１９Ｄを選択するためのデータを含んでも良い。また、例えば、出力設定データ１２７は、バイブレーター１９Ａ〜１９Ｄを振動させる場合の振動パターンを示すデータを含んでもよい。振動パターンは、例えば、振動の周波数、振動継続時間、間欠的に振動する場合の振動継続時間と振動停止時間の組合せ等で構成される。また、振動の周波数や振動継続時間を経時的に変化させる振動パターンであってもよく、この場合、出力設定データ１２７は、振動の周波数や振動継続時間の変化を指定するデータを含む。出力設定データ１２７は複数の振動パターンを示すデータを含んでもよく、トラックパッド１４の操作位置と振動パターンとを対応付けるデータを含んでもよい。

また、出力設定データ１２７は、ヘッドセット３０により出力する音のパターンを示すデータを含んでもよい。ヘッドセット３０が出力する音は、いわゆる報知音とすることができるが、報知音は単一または複数の音階の音で構成されるビープ音、警報音、その他の音であってもよいし、より複雑な音声を用いてもよい。例えば、報知音は人の声、楽器の音、音楽（楽曲）等を用いてもよい。ヘッドセット３０が出力する音、或いは報知音のパターンは、例えば、音声の周波数、音色、メロディー、リズム等を含んでもよい。また、出力設定データ１２７は、右イヤホン３２と左イヤホン３４の両方から音声を出力するか、一方から音声を出力するかを指定するデータを含んでもよい。また、出力設定データ１２７は、複数の音声のパターンに関するデータを含んでもよく、それぞれの音声のパターンがトラックパッド１４の検出位置に対応づけられてもよい。

制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、検出制御部１５１（操作検出部）、及び、出力制御部１５３の機能を有する。オペレーティングシステム１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０と別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

表示制御部１４７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１４７は、検出制御部１５１がジェスチャー操作を検出した場合に、表示制御データ１２６に従って、画像表示部２０に表示する画像等の表示態様を変化させる。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶する。

検出制御部１５１は、トラックパッド１４及び操作部１１０における操作を検出し、操作に対応するデータを出力する。検出制御部１５１は、例えば、操作部１１０のボタン等が操作された場合、操作内容を示す操作データを生成して、表示制御部１４７に出力する。表示制御部１４７は、検出制御部１５１から入力される操作データに従って表示状態を変更する。

検出制御部１５１は、トラックパッド１４における操作を検出した場合に、トラックパッド１４における操作位置の座標を取得する。検出制御部１５１は、操作位置の軌跡を生成する。操作位置の軌跡は、トラックパッド１４のタッチ操作が解除されない間、すなわち操作体がトラックパッド１４に接触した状態が継続する間の操作位置の軌跡である。検出制御部１５１は、操作位置の軌跡が、検出データ１２５に含まれるジェスチャー操作のデータに該当するか否かを判定する。検出制御部１５１は、操作位置の軌跡がジェスチャー操作のデータに該当する場合、ジェスチャー操作を検出する。

出力制御部１５３は、検出制御部１５１により検出された操作位置に基づき、表示制御データ１２６の設定に従って、振動出力部１９による振動の出力、及び、ヘッドセット３０による音の出力のいずれか１以上を実行する。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図７、図８、及び図９は、ＨＭＤ１００の動作を示すフローチャートであり、詳細には、トラックパッド１４の操作を検出した場合の動作を示す。
ＨＭＤ１００は、トラックパッド１４の操作を検出した場合に、操作位置に基づきヘッドセット３０または振動出力部１９で出力する動作（図７、図８）、及び、操作を表示に反映させる動作（図９）を実行する。これらの動作は、検出制御部１５１がトラックパッド１４のタッチ操作を検出した後で、互いに独立して実行され、例えば並列的に実行することも可能である。

図７は、トラックパッド１４の操作に応じて音及び／または振動を出力する動作のフローチャートである。図７の動作は主として出力制御部１５３が実行する。図７の動作は、ＨＭＤ１００がトラックパッド１４のタッチ操作を検出可能な状態になってから、開始される。例えば、ＨＭＤ１００の電源がオンにされ、制御部１５０がトラックパッド１４を含む各部を初期化した後で開始される。

制御部１５０は、トラックパッド１４のタッチ操作を検出したか否かを判定し（ステップＳ１１）、タッチ操作が行われるまで待機する（ステップＳ１１；Ｎｏ）。タッチ操作を検出した場合（ステップＳ１１；Ｙｅｓ）、制御部１５０は操作位置に応じた出力をする出力処理を実行する（ステップＳ１２）。出力処理については図８を参照して詳述する。

その後、制御部１５０は、ＨＭＤ１００の動作を停止するか否かを判定する（ステップＳ１３）。ＨＭＤ１００が動作を継続し、トラックパッド１４の操作を検出する状態が継続する場合（ステップＳ１３；Ｎｏ）、ステップＳ１１に戻る。また、ＨＭＤ１００が動作を終了する場合（ステップＳ１３；Ｙｅｓ）、制御部１５０は本処理を終了する。

図８は、出力処理（ステップＳ１２）を詳細に示すフローチャートである。
制御部１５０は、トラックパッド１４で検出されたタッチ操作の操作位置が、検出領域１４Ａ（ジェスチャー領域１４Ｂまたはジェスチャー領域１４Ｃ）内であるか否かを判定する（ステップＳ２１）。ステップＳ２１で、操作位置が検出領域１４Ａとその他の領域との境界上である場合の判定結果は予め検出データ１２５で設定される。検出制御部１５１は、検出データ１２５に従って判定を行い、例えば、境界上の位置を、検出領域１４Ａ内の位置と判定してもよいし、検出領域１４Ａの外と判定してもよい。本実施形態で操作位置が検出領域１４Ａ内であるか外であるかを判定する他の全ての処理についても同様である。

操作位置が検出領域１４Ａ内である場合（ステップＳ２１；Ｙｅｓ）、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ２２）。第１実施形態では、操作位置が検出領域１４Ａ内であることを報知する音のパターン或いは振動パターンとして、パターン１が指定される。
また、操作位置が検出領域１４Ａ内でない場合（ステップＳ２１；Ｎｏ）、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ３１）。第１実施形態では、操作位置が検出領域１４Ａ内でないことを報知する音のパターン或いは振動パターンとして、パターン３が指定される。また、ステップＳ３１では、操作位置が検出領域１４Ａの外であるため、操作位置とジェスチャー領域１４Ｂまたはジェスチャー領域１４Ｃとの距離に対応するパターンを設定してもよい。この場合、出力設定データ１２７に、距離に対応付けてパターンが設定され、制御部１５０が、操作位置とジェスチャー領域１４Ｂまたはジェスチャー領域１４Ｃとの距離に対応するパターンを設定する。ここで、制御部１５０は、ジェスチャー領域１４Ｂ、１４Ｃのうち操作位置に近い側のジェスチャー領域を特定し、特定したジェスチャー領域と操作位置との距離に対応するパターンを設定すればよい。また、ジェスチャー領域１４Ｂ、１４Ｃと操作位置との距離は、予め設定されるジェスチャー領域１４Ｂ、１４Ｃの基準位置と操作位置との距離に基づき求めることができる。ジェスチャー領域１４Ｂ、１４Ｃの基準位置は、ジェスチャー領域１４Ｂ、１４Ｃの境界に設定される位置、端部の位置、或いは中心位置等とすることができる。ステップＳ３１より後の動作は後述する。

続いて、制御部１５０は、出力設定データ１２７に含まれるデータ或いは設定データ１２３に従って、使用する出力部を設定する（ステップＳ２３）。具体的には、制御部１５０は、ヘッドセット３０と振動出力部１９のどちらを使用するかを設定する。振動出力部１９を使用する場合、制御部１５０は、バイブレーター１９Ａ〜１９Ｄのいずれかを選択する。例えば、制御部１５０は、バイブレーター１９Ａ〜１９Ｄのうち、ステップＳ１１（図７）で検出された操作位置に最も近いバイブレーターを、振動を発生するバイブレーターとして選択する。

制御部１５０は、ステップＳ２３で設定した出力部によって、ステップＳ２２で設定した出力パターンに従って出力を開始させる（ステップＳ２４）。

その後、制御部１５０は、トラックパッド１４において検出される操作位置が検出領域１４Ａの外に出たか否かを判定する（ステップＳ２５）。操作位置が検出領域１４Ａの外に出ない間は（ステップＳ２５；Ｎｏ）、待機する。この待機中において振動または音の出力は継続される。
ここで、制御部１５０は、トラックパッド１４への操作が解除されたか否かを判定してもよい。すなわち、トラックパッド１４から操作体（使用者の指等）が離れたか否かを判定し、操作が解除された場合は、振動または音の出力を停止して図７の動作に戻ればよい。また、制御部１５０は、トラックパッド１４の操作の解除を常時監視し、操作の解除を検出した場合に、割り込み処理として振動または音の出力を停止してもよい。

トラックパッド１４の操作位置が検出領域１４Ａの外に出た場合（ステップＳ２５；Ｙｅｓ）、制御部１５０は、出力設定データ１２７を参照し、操作位置が検出領域１４Ａから出たことを報知するための出力パターンを設定する（ステップＳ２６）。第１実施形態では、操作位置が検出領域１４Ａから出た場合の音のパターン或いは振動パターンとして、パターン３が指定される。

続いて、制御部１５０は、使用する出力部を設定する（ステップＳ２７）。制御部１５０は、例えば、ステップＳ２３と同様に、出力設定データ１２７または設定データ１２３に従って、ヘッドセット３０と振動出力部１９のどちらを使用するかを設定する。また、振動出力部１９を使用する場合、制御部１５０は、バイブレーター１９Ａ〜１９Ｄのいずれかを選択する。
制御部１５０は、ステップＳ２７で設定した出力部によって、ステップＳ２６で設定した出力パターンに従って出力を実行させる（ステップＳ２８）。ステップＳ２８で振動または音を出力する時間は、予め、出力設定データ１２７により指定される。制御部１５０は、設定された時間だけ出力を行った後、出力を停止する（ステップＳ２９）。制御部１５０は、トラックパッド１４への操作が解除されたか否かを判定する（ステップＳ３０）。操作が解除されていない場合（ステップＳ３０；Ｎｏ）、制御部１５０はステップＳ３１に移行する。また、操作が解除された場合は（ステップＳ３０；Ｙｅｓ）、制御部１５０は図７の動作に戻る。

ステップＳ３１で、制御部１５０は、上述したように、検出領域１４Ａの外に対する操作が行われたことを報知する。すなわち、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ３１）。制御部１５０は、出力設定データ１２７に含まれるデータ或いは設定データ１２３に従って、使用する出力部を設定する（ステップＳ３２）。具体的には、制御部１５０は、ヘッドセット３０と振動出力部１９のどちらを使用するかを設定する。また、振動出力部１９を使用する場合、制御部１５０は、バイブレーター１９Ａ〜１９Ｄのいずれかを選択する。例えば、制御部１５０は、バイブレーター１９Ａ〜１９Ｄのうち、ステップＳ１１（図７）で検出された操作位置に最も近いバイブレーターを、振動を発生するバイブレーターとして選択する。

制御部１５０は、ステップＳ３２で設定した出力部によって、ステップＳ３１で設定した出力パターンに従って出力を開始させる（ステップＳ３３）。

制御部１５０は、トラックパッド１４において検出される操作位置が検出領域１４Ａの内部に入ったか否かを判定する（ステップＳ３４）。操作位置が検出領域１４Ａ内に入っていない間は（ステップＳ３４；Ｎｏ）、待機する。この待機中において振動または音の出力は継続される。ここで、制御部１５０は、トラックパッド１４への操作が解除されたか否かを判定してもよい。すなわち、トラックパッド１４から操作体が離れたか否かを判定し、操作が解除された場合は、振動または音の出力を停止して図７の動作に戻ればよい。また、制御部１５０は、トラックパッド１４の操作の解除を常時監視し、操作の解除を検出した場合に、割り込み処理として振動または音の出力を停止してもよい。

トラックパッド１４の操作位置が検出領域１４Ａ内に入った場合（ステップＳ３４；Ｙｅｓ）、制御部１５０は、出力設定データ１２７を参照し、操作位置が検出領域１４Ａに入ったことを報知するための出力パターンを設定する（ステップＳ３５）。第１実施形態では、操作位置が検出領域１４Ａに入った場合の音のパターン或いは振動パターンとして、パターン４が指定される。

続いて、制御部１５０は、使用する出力部を設定する（ステップＳ３６）。制御部１５０は、例えば、ステップＳ３２と同様に、出力設定データ１２７または設定データ１２３に従って、ヘッドセット３０と振動出力部１９のどちらを使用するかを設定する。また、振動出力部１９を使用する場合、制御部１５０は、バイブレーター１９Ａ〜１９Ｄのいずれかを選択する。

制御部１５０は、ステップＳ３６で設定した出力部によって、ステップＳ３５で設定した出力パターンに従って出力を実行させる（ステップＳ３７）。ステップＳ３７で振動または音を出力する時間は、予め、出力設定データ１２７により指定される。制御部１５０は、設定された時間だけ出力を行った後、出力を停止する（ステップＳ３８）。制御部１５０は、トラックパッド１４への操作が解除されたか否かを判定する（ステップＳ３９）。操作が解除されていない場合（ステップＳ３９；Ｎｏ）、制御部１５０はステップＳ２２に移行する。また、操作が解除された場合は（ステップＳ３９；Ｙｅｓ）、制御部１５０は図７の動作に戻る。

このように、制御部１５０は、トラックパッド１４のタッチ操作を検出した場合に、操作位置と検出領域１４Ａとの相対位置に応じて報知を実行する。使用者は、トラックパッド１４を見ることなく、トラックパッド１４を操作した位置と検出領域１４Ａとの相対位置に関する情報を得ることができる。また、制御部１５０は、操作位置が移動して、操作位置が検出領域１４Ａに入った場合、及び検出領域１４Ａから出た場合に、報知を行う。このため、使用者に対し、操作位置と検出領域１４Ａとの位置関係について、より詳細な情報を提供できる。

また、操作が解除された場合、即ちトラックパッド１４から操作体が離れた場合には、振動または音の出力による報知を停止して、図７の動作に戻り、次のトラックパッド１４への操作を待機できる。

図９は、ＨＭＤ１００の動作を示すフローチャートであり、トラックパッド１４に対する操作を画像表示部２０の表示に反映させる動作を示す。図９の動作は、ＨＭＤ１００がトラックパッド１４のタッチ操作を検出可能な状態になってから、開始される。例えば、ＨＭＤ１００の電源がオンにされ、制御部１５０がトラックパッド１４を含む各部を初期化した後で開始される。上述のように、図９に示す動作は図７及び図８の動作と独立して実行される。

制御部１５０は、トラックパッド１４のタッチ操作を検出したか否かを判定し（ステップＳ４１）、タッチ操作が行われるまで待機する（ステップＳ４１；Ｎｏ）。タッチ操作を検出した場合（ステップＳ４１；Ｙｅｓ）、制御部１５０は、トラックパッド１４で検出されたタッチ操作の操作位置が、検出領域１４Ａ（ジェスチャー領域１４Ｂまたはジェスチャー領域１４Ｃ）内であるか否かを判定する（ステップＳ４２）。

操作位置が検出領域１４Ａ内でない場合（ステップＳ４２；Ｎｏ）、制御部１５０は、ＨＭＤ１００の動作モードを、位置入力モード（第１入力モード）に切り替える（ステップＳ４３）。位置入力モードはトラックパッド１４に対する操作を位置入力として受け付ける動作モードである。位置入力モードで、制御部１５０は、トラックパッド１４における操作位置の座標に対応して、画像表示部２０が表示する画面に含まれるポインターの位置を移動させて、表示を更新する（ステップＳ４４）。

制御部１５０は、ＨＭＤ１００の動作を停止するか否かを判定する（ステップＳ４５）。ＨＭＤ１００が動作を継続し、トラックパッド１４の操作を検出する状態が継続する場合（ステップＳ４５；Ｎｏ）、ステップＳ４１に戻る。また、ＨＭＤ１００が動作を終了する場合（ステップＳ４５；Ｙｅｓ）、制御部１５０は本処理を終了する。

一方、操作位置が検出領域１４Ａ内である場合（ステップＳ４２；Ｙｅｓ）、制御部１５０は、ＨＭＤ１００の動作モードを、ジェスチャーモード（第２入力モード）に切り替える（ステップＳ４６）。ジェスチャーモードはトラックパッド１４に対する操作をジェスチャー入力として受け付ける動作モードである。制御部１５０は、トラックパッド１４の操作位置の軌跡を取得する（ステップＳ４７）。制御部１５０は、検出データ１２５を検索し、検出データ１２５により設定されるジェスチャーから、取得した操作位置の軌跡に該当するジェスチャーを特定する（ステップＳ４８）。制御部１５０は、ステップＳ４６で特定したジェスチャーに対応して、画像表示部２０が表示する画面を更新する処理を実行する（ステップＳ４９）。例えば、ステップＳ４６で上方向のスクロールを指示するジェスチャーを特定した場合、制御部１５０は、画像表示部２０が表示中の画面を上方向に所定量スクロールさせる。その後、制御部１５０は、ステップＳ４５に移行する。

以上説明したように、ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０を有する頭部装着型の表示装置であり、トラックパッド１４における操作を検出する検出制御部１５１を備える。ＨＭＤ１００は、振動または音を出力する出力部としての振動出力部１９、及びヘッドセット３０を備える。具体的には、振動を出力する出力部として振動出力部１９、及び、音を出力する出力部としてのヘッドセット３０を備える。ＨＭＤ１００は、検出制御部１５１で検出した操作を画像表示部２０による表示に反映させる制御部１５０を備える。制御部１５０は、検出制御部１５１で検出される操作の位置と、トラックパッド１４に設定される検出領域１４Ａとの相対位置に基づいて、出力部による出力を実行する。ＨＭＤ１００は、操作の位置と検出領域１４Ａとの相対位置を振動または音によって報知し、操作を行う使用者に知らせることができる。このため、使用者は、画像表示部２０が表示する内容を見ながら適切な位置を操作することができ、表示装置の利便性の向上を図ることができる。

制御部１５０は、検出制御部１５１で検出される操作の位置が検出領域１４Ａ内である場合、または、検出領域１４Ａ外である場合に、出力部による出力を実行する。これにより、出力部によって、操作の位置が検出領域１４Ａ内であること、または、検出領域１４Ａ外であることを報知できる。

制御部１５０は、検出制御部１５１で検出される操作の位置が、検出領域１４Ａの外から検出領域１４Ａ内に移動した場合、または、検出領域１４Ａ内から検出領域１４Ａの外に移動した場合に、出力部による出力を実行する。これにより、出力部によって、操作の位置が検出領域１４Ａの外から検出領域１４Ａ内に移動したこと、または、検出領域１４Ａ内から検出領域１４Ａの外に移動したことを報知できる。

制御部１５０は、ＨＭＤ１００の動作モードを、位置入力モードと、ジェスチャーとに設定可能であり、検出された操作位置が検出領域１４Ａ内である場合は、ジェスチャーモードを設定する。これにより、検出領域１４Ａ内の操作を、検出領域１４Ａ内に該当しない位置の操作と異なる操作として検出し、報知を行うことができる。このため、操作性を低下させることなく、表示装置に対する操作のバリエーションを増やすことができ、利便性の向上を図ることができる。

制御部１５０は、検出制御部１５１で検出される操作の位置と、トラックパッド１４に設定される検出領域１４Ａとの相対位置に基づいて、出力部により出力する振動または音について、周波数または出力パターンを設定する。これにより、出力部が出力する振動または音の周波数または出力パターンにより、検出制御部１５１で検出される操作の位置と検出領域１４Ａとの相対位置に関する情報を、使用者に知らせることができる。

制御部１５０は、出力部により出力する振動または音について、検出制御部１５１で検出される操作の位置とトラックパッド１４に設定される検出領域１４Ａとの間の距離に応じて、周波数または出力パターンを設定してもよい。この場合、出力部が出力する振動または音の周波数または出力パターンにより、検出制御部１５１で検出される操作の位置と検出領域１４Ａとの距離を知らせることができる。

また、検出制御部１５１はトラックパッド１４への接触操作を検出し、制御部１５０は、検出制御部１５１で検出される接触位置と、トラックパッド１４に設定される検出領域１４Ａとの相対位置に基づいて、出力部による出力を実行する。これにより、接触操作の操作の位置に関して出力部により報知を行うので、使用者は、画像表示部２０が表示する内容を見ながら適切な位置を接触操作することができる。

画像表示部２０は、使用者の頭部に装着されて使用者に画像を視認させる頭部装着型表示装置であるため、使用者は、頭部装着型表示装置が表示する画像を見ながら、適切な位置を操作できる。

本実施形態では、ＨＭＤ１００が備える振動出力部１９及びトラックパッド１４はケース１０Ａに配置されるので、ケース１０Ａに配置される検出制御部１５１が検出する操作の位置について報知を行うことができる。この報知が振動出力部１９の振動により行われる場合、使用者は、操作を行うトラックパッド１４とともにケース１０Ａに設けられる振動出力部１９の振動をもとに、操作位置に関する情報を得ることができる。

また、出力部として、ケース１０Ａと別体として構成されるヘッドセット３０の右イヤホン３２及び左イヤホン３４を使用する場合、操作されるトラックパッド１４と別体の出力部で報知を行うことができる。この場合、使用者は、操作を行うトラックパッド１４と別の部位により、例えば耳において、報知が行われたことを知覚する。このため、操作性に影響しないように、報知を行うことができる。

また、振動出力部１９を構成するバイブレーター１９Ａ〜１９Ｄの少なくとも一部を収容する報知部本体（図示略）を、ケース１０Ａ、及びヘッドセット３０と別体として構成してもよい。この場合、報知部本体を、例えば制御装置１０と異なる位置において使用者の身体に装着してもよい。

さらにまた、出力部である振動出力部１９を構成するバイブレーター１９Ａ〜１９Ｄの少なくとも一部、或いは、右イヤホン３２または左イヤホン３４を、画像表示部２０に設けてもよい。この場合、トラックパッド１４に相当する操作部を、画像表示部２０に設けてもよい。この構成によれば、使用者は、画像表示部２０に設けられる操作部を操作し、この操作部により位置入力やジェスチャー入力を行うことができる。また、操作位置と、ジェスチャー入力が検出される検出領域との相対位置について、出力部による報知をたよりに、情報を得ることができる。

第１実施形態では、タッチ操作の位置が検出領域１４Ａであればジェスチャーモードを実行し、検出領域１４Ａの外であれば位置入力モードを実行する構成としたが、ジェスチャーモードと位置入力モードの切り替えに時間に関する判定を加味してもよい。
例えば、ステップＳ４１で検出した操作が検出領域１４Ａ内であって、かつ、予め設定された時間以上、タッチ操作が継続した場合（いわゆる長押し操作）に、ステップＳ４６に移行してジェスチャーモードを実行してもよい。この場合、ステップＳ４１で検出した操作が検出領域１４Ａ内であって、設定時間内にトラックパッド１４のタッチ操作が解除された場合、操作位置を入力する位置入力モードを実行すればよい。このほか、検出領域１４Ａの外にタッチ操作が行われても設定時間以上のタッチ操作が行われた場合に、ジェスチャーモードを実行してもよく、その他の構成も可能である。

また、検出領域１４Ａにおいて、２以上の操作位置で同時にタッチ操作されるマルチタッチに対応してジェスチャーを検出してもよい。例えば、ジェスチャー領域１４Ｂで２点のタッチを検出した場合に、音や振動で選択したことを報知し、その後の２点の操作位置の動きで、表示中の画像や文書をスクロール表示する構成が挙げられる。例えば、図４のジェスチャー領域１４Ｃで２点のタッチ操作がされ、ジェスチャー領域１４Ｂに向かいタッチ操作位置が移動するスワイプ操作が行われた場合に、表示中の画像や文書を右にスクロール表示する態様が挙げられる。また、例えば、ジェスチャー領域１４Ｂで２点のタッチ操作がされ、ジェスチャー領域１４Ｃに向かいタッチ操作位置が移動するスワイプ操作が行われた場合に、表示中の画像や文書を左にスクロール表示する態様が挙げられる。このように、マルチタッチを組み合わせることで検出するジェスチャーの種類を増すことが可能となる。

［第２実施形態］
図１０は、本発明を適用した第２実施形態のＨＭＤ１０１（表示装置）の外観構成を示す説明図である。
ＨＭＤ１０１は、ＨＭＤ１００（図１）と同様に構成される画像表示部２０と、画像表示部２０を制御する制御装置７０と、を備える表示装置である。ＨＭＤ１０１は、ＨＭＤ１００の制御装置１０（図１）を制御装置７０に代えた構成に相当する。以下の説明において第１実施形態と共通する構成には同符号を付して説明を省略する。

制御装置７０は、制御装置１０（図１）のケース１０Ａと同様に、平たい箱形のケース７０Ａ（筐体、あるいは本体ともいえる）を備える。

ケース７０Ａは、ボタン１１、ＬＥＤインジケーター１２、上下キー１５、切替スイッチ１６、及び電源スイッチ１８の各部を備える。また、制御装置７０は、トラックパッド１４（図１）に代えてトラックパッド７１を備える。制御装置７０は、接続ケーブル４０（図１）により画像表示部２０に接続され、ＨＭＤのコントローラーとして機能する。また、制御装置７０には、ヘッドセット３０を接続できる。

トラックパッド７１は、ケース７０Ａの平面に重ねて配置され、接触操作を検出する。トラックパッド７１は、例えば、使用者の手、指、その他の身体の一部による接触操作を検出するが、トラックパッド７１を操作する操作体は使用者の身体に限定されない。例えば、使用者が手に持って使用するペン型の操作体による接触操作を、トラックパッド７１が検出してもよい。トラックパッド７１の操作面は操作領域に相当する。

トラックパッド７１は、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。具体的には、トラックパッド７１に、静電容量の変化により操作を検出する静電容量式のセンサーや、押圧を検出する抵抗膜式のセンサーを利用できる。また、操作体（図示略）がコイルを有する回路を備える場合、トラックパッド７１は、操作体のコイルと電磁的に結合するコイルを有し、操作体の位置を電磁的に検出する検出回路を備えてもよい。

トラックパッド７１の検出面には、例えば図１１に示すように、座標系が設定される。図１１の例では、ケース７０Ａの長手方向に沿ってＹ軸が設定され、Ｙ軸に直交する方向にＸ軸が設定される。これにより、トラックパッド７１がタッチ操作を検出する検出位置を、Ｘ−Ｙ直交座標系の座標で特定できる。

ケース７０Ａの平面において、ボタン１１を除くほぼ全体が、トラックパッド７１の操作面である。トラックパッド７１の操作面には、十字キー領域７２、及び機能キー領域７３が配置される。トラックパッド７１の操作面で十字キー領域７２及び機能キー領域７３以外の部分を、検出領域７４と呼ぶ。

制御部１５０（図６）の検出制御部１５１（図６）は、トラックパッド７１における操作体のタッチ操作を検出し、操作位置を特定する。制御部１５０は、十字キー領域７２、或いは機能キー領域７３においてタッチ操作を検出した場合に、検出領域７４に対するタッチ操作と異なる操作を受け付ける。

十字キー領域７２は、図１１に示すように、十字キー操作部８１を有する。十字キー操作部８１は、複数のキーを模した画像あるいは目印である。図１１の例では、十字キー操作部８１は、上下左右の各方向に対応する方向キー８１Ａ、８１Ｂ、８１Ｃ、８１Ｄ、及び、方向キーの中央に位置する決定キー８１Ｅを模した画像で構成される。十字キー操作部８１は、トラックパッド７１の操作面に印刷され、或いはステッカーを貼付することにより、十字キー領域７２に表示され、機能キー操作部８２の各キーはソフトウェアボタンとして機能する。

検出制御部１５１は、トラックパッド７１の操作を検出し、操作位置が十字キー領域７２内である場合、十字キー操作部８１に対する操作を受け付ける動作モードに移行する。検出制御部１５１は、十字キー操作部８１の方向キー８１Ａ、８１Ｂ、８１Ｃ、８１Ｄ、及び決定キー８１Ｅのうち、操作位置に該当するキーを特定し、特定したキーに対応する処理を行う。

機能キー領域７３は、機能キー操作部８２を有する。機能キー操作部８２は、特定の機能が割り当てられるキーを模した画像あるいは目印である。図１１の例では、３つの記号□（四角形）、○（丸）、△（三角形）が、機能キー操作部８２に配置される。すなわち、機能キー操作部８２は、記号□に対応する機能キー８２Ａ、記号○に対応する機能キー８２Ｂ、記号△に対応する機能キー８２Ｃを含む。機能キー８２Ａ、８２Ｂ、８２Ｃは、トラックパッド７１の操作面に印刷され、或いはステッカーを貼付することにより、十字キー領域７２に表示されてもよい。また、機能キー操作部８２の各記号は、トラックパッド７１の操作面に透かしとして形成され、透かしの直下にＬＥＤが埋設された構成であってもよい。この構成では、ＨＭＤの電源がオンにされた場合に、トラックパッド７１に埋設されたＬＥＤが、ＬＥＤ表示部１７の制御により点灯し、機能キー操作部８２の各記号が視認可能となる。

機能キー８２Ａは、オペレーティングシステム１４３上で動作するアプリケーションプログラムの動作履歴を操作する履歴ボタンとして機能する。機能キー８２Ａが操作された場合、制御部１５０は、実行したアプリケーションプログラムの履歴を表示し、この履歴に対する動作の指示を受け付ける。機能キー８２Ｂはホームボタンとして機能する。機能キー８２Ｂが操作された場合、制御部１５０は、画像表示部２０が表示する画面を、オペレーティングシステム１４３の動作に関するホーム画面に切り替えて、ホーム画面に対する動作の指示を受け付ける。機能キー８２Ｃは、戻るボタンとして機能する。機能キー８２Ｃが操作された場合、制御部１５０は、画像表示部２０が表示する画面を、１段階前の処理で表示した画面に遷移させ、アプリケーションプログラムまたはオペレーティングシステム１４３の動作状態を１段階前の状態に移行させる。

検出制御部１５１は、トラックパッド７１の操作を検出し、操作位置が機能キー領域７３内である場合、機能キー操作部８２に対する操作を受け付ける動作モードに移行する。検出制御部１５１は、機能キー操作部８２の機能キー８２Ａ、８２Ｂ、８２Ｃのうち、操作位置に該当するキーを特定し、特定したキーに対応する処理を行う。十字キー領域７２、及び機能キー領域７３は、本発明の報知対象領域に相当する。

また、検出制御部１５１は、トラックパッド７１の操作を検出し、操作位置が十字キー領域７２及び機能キー領域７３の外である場合、位置入力操作を受け付ける動作モードに移行する。検出制御部１５１は、位置入力操作に対応する処理を行う。

ここで、操作位置が十字キー領域７２とその他の領域との境界上である場合の判定結果は予め検出データ１２５で設定される。検出制御部１５１は、検出データ１２５に従って判定を行い、例えば、境界上の位置を、十字キー領域７２内の位置と判定してもよいし、十字キー領域７２の外と判定してもよい。機能キー領域７３についても同様である。

制御装置７０は、トラックパッド７１に対応する位置に設置されるバイブレーター１９Ｆを備える。バイブレーター１９Ｆは、制御部１５０の制御に従って振動を発生する装置であり、振動出力部１９（図６）と同様に出力部として機能する。バイブレーター１９Ｆの構成は、バイブレーター１９Ａ〜１９Ｄと同様である。バイブレーター１９Ｆが生成する振動の強さは特に制限されないが、使用者がケース７０Ａを手に持つ状態で、使用者が振動を知覚できることが望ましい。
図１１の例では、バイブレーター１９Ｆは、検出領域７４において、機能キー領域７３の近傍に配置されるが、バイブレーター１９Ｆの位置は特に制限されない。後述するように、例えば、出力制御部１５３は、トラックパッド７１の操作位置が十字キー領域７２または機能キー領域７３内である場合に、バイブレーター１９Ｆを動作させる。この例では、十字キー領域７２または機能キー領域７３に対する操作であることを使用者に報知できることが好ましいので、十字キー領域７２または機能キー領域７３の近傍にバイブレーター１９Ｆを設置することが好ましい。

図１２は、ＨＭＤ１０１の動作を示すフローチャートであり、図７に示したステップＳ１２において実行される動作を詳細に示す。
第２実施形態のＨＭＤ１０１は、ＨＭＤ１００と同様に図７の動作を実行する。ステップＳ１２で実行する動作は、トラックパッド７１の構成に対応して、図１２に示す動作となる。

図１２、及び図１３は、いずれも制御部１５０がトラックパッド７１の操作を検出した場合の動作であり、検出制御部１５１がトラックパッド７１のタッチ操作を検出した後で、互いに独立して実行され、例えば並列的に実行することも可能である。すなわち、ＨＭＤ１０１は、トラックパッド７１の操作を検出した場合に、操作位置に基づきヘッドセット３０または振動出力部１９で出力する動作（図７、図１２）、及び、操作を表示に反映させる動作（図１３）を実行する。

図１２において、制御部１５０は、トラックパッド７１で検出されたタッチ操作の操作位置が、十字キー領域７２内であるか否かを判定する（ステップＳ１０１）。操作位置が十字キー領域７２内である場合（ステップＳ１０１；Ｙｅｓ）、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ１０２）。第２実施形態では、操作位置が十字キー領域７２内であることを報知する音のパターン或いは振動パターンとして、パターン１１が指定される。

制御部１５０は、ステップＳ１０２で設定した出力パターンに従ってバイブレーター１９Ｆを動作させ、振動を出力させる（ステップＳ１０３）。
制御部１５０は、トラックパッド７１への操作が解除されたか否かを判定する（ステップＳ１０４）。操作が解除されていない場合（ステップＳ１０４；Ｎｏ）、制御部１５０はステップＳ１０１に戻る。また、操作が解除された場合は（ステップＳ１０４；Ｙｅｓ）、制御部１５０は図７の動作に戻る。

また、操作位置が十字キー領域７２内でない場合（ステップＳ１０１；Ｎｏ）、制御部１５０は、トラックパッド７１で検出されたタッチ操作の操作位置が、機能キー領域７３内であるか否かを判定する（ステップＳ１０５）。操作位置が機能キー領域７３内である場合（ステップＳ１０５；Ｙｅｓ）、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ１０６）。第２実施形態では、操作位置が機能キー領域７３内であることを報知する音のパターン或いは振動パターンとして、パターン１２が指定される。

制御部１５０は、ステップＳ１０６で設定した出力パターンに従ってバイブレーター１９Ｆを動作させ、振動を出力させ（ステップＳ１０７）、ステップＳ１０４へ移行する。

また、操作位置が機能キー領域７３内でない場合（ステップＳ１０５；Ｎｏ）、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ１０８）。第２実施形態では、操作位置が十字キー領域７２内及び機能キー領域７３内のいずれにも該当しないことを報知する音のパターン或いは振動パターンとして、パターン１３が指定される。
制御部１５０は、ステップＳ１０８で設定した出力パターンに従ってバイブレーター１９Ｆを動作させ、振動を出力させ（ステップＳ１０９）、ステップＳ１０４へ移行する。

このように、制御部１５０は、トラックパッド７１のタッチ操作を検出した場合に、操作位置が十字キー領域７２であるか、機能キー領域７３であるか、それ以外の位置であるかを示す報知を実行する。使用者は、振動のパターンを識別することで、トラックパッド７１を見ることなく、トラックパッド７１を操作した位置と、十字キー領域７２及び機能キー領域７３との相対位置に関する情報を得ることができる。

図１３は、ＨＭＤ１０１の動作を示すフローチャートであり、トラックパッド７１に対する操作を画像表示部２０の表示に反映させる動作を示す。図１３の動作は、ＨＭＤ１０１がトラックパッド７１のタッチ操作を検出可能な状態になってから、開始される。例えば、ＨＭＤ１０１の電源がオンにされ、制御部１５０がトラックパッド７１を含む各部を初期化した後で開始される。上述のように、図１３に示す動作は図７及び図１２の動作と独立して実行される。

制御部１５０は、トラックパッド７１のタッチ操作を検出したか否かを判定し（ステップＳ１２１）、タッチ操作が行われるまで待機する（ステップＳ１２１；Ｎｏ）。タッチ操作を検出した場合（ステップＳ１２１；Ｙｅｓ）、制御部１５０は、トラックパッド７１で検出されたタッチ操作の操作位置が、十字キー領域７２内であるか否かを判定する（ステップＳ１２２）。

操作位置が十字キー領域７２内である場合（ステップＳ１２２；Ｙｅｓ）、制御部１５０は、ＨＭＤ１０１の動作モードを、十字キーモード（第２入力モード）に切り替える（ステップＳ１２３）。十字キーモードはトラックパッド７１に対する操作を十字キー操作部８１の操作として受け付ける動作モードである。

制御部１５０は、表示制御部１４７の機能により、画像表示部２０が表示する画面に、十字キー操作部８１を模した画像を表示させる（ステップＳ１２４）。この表示によって、使用者に対し、操作者が操作体を接触させた位置が十字キー操作部８１上であることを報知できる。

さらに、制御部１５０は、方向キー８１Ａ、８１Ｂ、８１Ｃ、８１Ｄ、及び、決定キー８１Ｅのうち、操作位置に対応するキーを特定し、特定したキーが意味する指示を検出する（ステップＳ１２５）。制御部１５０は、検出した指示に従って処理を実行する（ステップＳ１２６）。例えば、制御部１５０は、画像表示部２０が表示する画面に含まれる表示オブジェクトを選択する操作や移動させる操作において、方向指示に対応して、表示オブジェクトの選択の切り替えや表示位置の移動を行い、表示を更新する。

制御部１５０は、トラックパッド７１への操作が解除されたか否かを判定する（ステップＳ１２７）。操作が解除されていない場合（ステップＳ１２７；Ｎｏ）、制御部１５０はステップＳ１２５に戻る。
操作が解除された場合（ステップＳ１２７；Ｙｅｓ）、制御部１５０は、ステップＳ１２４で表示した十字キー操作部８１の画像を消去する（ステップＳ１２８）。

その後、制御部１５０は、ＨＭＤ１０１の動作を停止するか否かを判定する（ステップＳ１２９）。ＨＭＤ１０１が動作を継続し、トラックパッド１４の操作を検出する状態が継続する場合（ステップＳ１２９；Ｎｏ）、ステップＳ１２１に戻る。また、ＨＭＤ１０１が動作を終了する場合（ステップＳ１２９；Ｙｅｓ）、制御部１５０は本処理を終了する。

また、操作位置が十字キー領域７２内でない場合（ステップＳ１２２；Ｎｏ）、制御部１５０は、トラックパッド７１で検出されたタッチ操作の操作位置が、機能キー領域７３内であるか否かを判定する（ステップＳ１３０）。

操作位置が十字キー領域７２内である場合（ステップＳ１３０；Ｙｅｓ）、ＨＭＤ１０１の動作モードを、機能キーモード（第２入力モード）に切り替える（ステップＳ１３１）。機能キーモードはトラックパッド７１に対する操作を機能キー操作部８２の操作として受け付ける動作モードである。

制御部１５０は、表示制御部１４７の機能により、画像表示部２０が表示する画面に、機能キー操作部８２を模した画像を表示させる（ステップＳ１３２）。この表示によって、使用者に対し、操作者が操作体を接触させた位置が機能キー操作部８２上であることを報知できる。

さらに、制御部１５０は、機能キー操作部８２Ａ、８２Ｂ、８２Ｃのうち、操作位置に対応するキーを特定し、特定したキーが意味する指示を検出する（ステップＳ１３３）。制御部１５０は、検出した指示に従って処理を実行する（ステップＳ１３４）。具体的には、制御部１５０は、機能キー操作部８２Ａの操作に応じてアプリケーションプログラムの実行の履歴を表示する。或いは、制御部１５０は、機能キー８２Ｂの操作に応じてホーム画面を表示する。或いは、制御部１５０は、機能キー８２Ｃの操作に応じて画面を１段階前に遷移させる。

制御部１５０は、トラックパッド７１への操作が解除されたか否かを判定する（ステップＳ１３５）。操作が解除されていない場合（ステップＳ１３５；Ｎｏ）、制御部１５０はステップＳ１３３に戻る。
操作が解除された場合（ステップＳ１３５；Ｙｅｓ）、制御部１５０は、ステップＳ１２８に移行して、ステップＳ１３２で表示した十字キー操作部８１の画像を消去する（ステップＳ１２８）。

また、操作位置が機能キー領域７３内でない場合（ステップＳ１３０；Ｎｏ）、制御部１５０は、ＨＭＤ１０１の動作モードを、トラックパッドモード（第１入力モード）に切り替える（ステップＳ１３７）。トラックパッドモードはトラックパッド７１に対する操作を位置入力操作として受け付ける動作モードである。

制御部１５０は、表示制御部１４７の機能により、画像表示部２０が表示する画面に、トラックパッド７１を模した画像を表示させる（ステップＳ１３７）。この表示によって、使用者に対し、操作者が操作体を接触させた位置が十字キー操作部８１及び機能キー操作部８２のいずれでもないことを報知できる。

制御部１５０は、ステップＳ１２１で検出した操作位置の座標を、入力座標として検出し（ステップＳ１３８）、トラックパッド７１における操作位置の座標に対応する処理を実行する（ステップＳ１３９）。例えば、制御部１５０は、画像表示部２０が表示する画面に含まれるポインターの位置を移動させて、表示を更新する。

制御部１５０は、トラックパッド７１への操作が解除されたか否かを判定する（ステップＳ１４０）。操作が解除されていない場合（ステップＳ１４０；Ｎｏ）、制御部１５０はステップＳ１３８に戻る。
操作が解除された場合（ステップＳ１４０；Ｙｅｓ）、制御部１５０は、ステップＳ１２８に移行して、ステップＳ１３７で表示した十字キー操作部８１の画像を消去する（ステップＳ１２８）。

図１４、図１５、及び図１６は、ＨＭＤの表示例を示す図である。図中の符号Ｖは、使用者の視野において、右表示ユニット２２及び左表示ユニット２４により画像を表示可能な表示領域を示す。
図１４は、ステップＳ１２４（図１３）で十字キー操作部８１の画像を表示した例を示す。表示領域Ｖに十字キー操作部８１の画像Ｐ１が表示されることで、使用者は、トラックパッド７１を見ることなく、操作位置が十字キー操作部８１に重なる位置であることを知ることができる。

図１５は、ステップＳ１３２（図１３）で機能キー操作部８２の画像を表示した例を示す。表示領域Ｖに機能キー操作部８２の画像Ｐ２が表示されることで、使用者は、トラックパッド７１を見ることなく、操作位置が機能キー操作部８２に重なる位置であることを知ることができる。

また、図１６は、ステップＳ１３７（図１３）でトラックパッドの画像を表示した例を示す。表示領域Ｖにトラックパッドの画像Ｐ３が表示されることで、使用者は、トラックパッド７１を見ることなく、位置入力操作が可能な操作位置であることを知ることができる。

このように、本発明を適用した実施形態に係るＨＭＤ１０１は、上述した第１実施形態のＨＭＤ１００と同様に、使用者がトラックパッド７１を見なくても操作状態を認識できるように、報知を行うことができる。これにより、ＨＭＤ１００と同様の作用効果を得ることができる。また、制御部１５０は、検出制御部１５１で検出される操作の位置とトラックパッド１４に設定される検出領域１４Ａとの相対位置に基づき、バイブレーター１９Ｆによる出力を実行する場合に、所定の画像を画像表示部２０によって表示させる。具体的には、十字キー操作部８１を模した画像Ｐ１、機能キー操作部８２を模した画像Ｐ２、或いは、トラックパッドを模した画像Ｐ３を、表示させる。これにより、検出制御部１５１で検出される操作の位置と検出領域１４Ａとの相対位置に関して、振動または音による報知とともに、表示による報知を行うことができる。

第２実施形態では、タッチ操作の位置が十字キー領域７２か、機能キー領域７３か、それ以外かによって、実行するモードを切り替える構成としたが、実行するモードの切り替えに時間に関する判定を加味してもよい。例えば、ステップＳ１２１で検出した操作が十字キー領域７２内であって、かつ、予め設定された時間以上、タッチ操作が継続した場合（いわゆる長押し操作）に、ステップＳ１２３に移行して十字キーモードを実行してもよい。同様に、ステップＳ１２１で検出した操作が機能キー領域７３内であって、かつ、予め設定された時間以上、タッチ操作が継続した場合（いわゆる長押し操作）に、ステップＳ１３１に移行して機能キーモードを実行してもよい。
このような構成では、例えばトラックパッド７１の操作面が限られていて、検出領域７４の大きさを確保しにくい場合であっても、トラックパッドモードで使用する領域を広く確保できる。また、十字キー領域７２及び機能キー領域７３で長押し操作を行うことで、十字キーモード及び機能キーモードへの切り替えを容易に行うことが可能となり、高い機能性と利便性を両立できる。

［第３実施形態］
図１７は、本発明を適用した第３実施形態に係るＨＭＤの表示例を示す図である。第３実施形態で説明する表示は、ＨＭＤ１００、及び、ＨＭＤ１０１のいずれにおいても実行可能である。以下ではＨＭＤ１００が表示を行うものとして説明する。

図中、符号ＶＲは使用者の視野を示す。符号Ｖは、使用者の視野において、右表示ユニット２２及び左表示ユニット２４により画像を表示可能な表示領域を示す。また、符号Ｂは、使用者が右表示ユニット２２及び左表示ユニット２４を透過する外光によって視認する実空間であり、表示領域Ｖの背景となる。

第３実施形態で、ＨＭＤ１００は、表示領域Ｖに重なる仮想的な操作領域ＶＩＮ（仮想操作領域）を設定する。図１７の例では、表示領域Ｖに操作対象の各種のアイコンが設定され、この表示領域Ｖに、使用者の手などの操作体を重ねることにより、ＨＭＤ１００が操作を検出できる。この例では表示領域Ｖの全体、或いはほぼ全体が操作領域ＶＩＮであるため、使用者が操作領域ＶＩＮを認識しやすいように、画像表示部２０によって、表示領域Ｖに枠を表示する。表示領域Ｖを視認可能とする表示形態は任意であり、例えば表示領域Ｖまたは操作領域ＶＩＮの全体に色や模様を表示してもよい。表示領域Ｖは、実空間の背景Ｂに重ねて視認できるように、ＡＲ（Augmented Reality）表示される。実際には、表示領域ＶにＡＲ表示されるアイコンや枠等（これをＡＲ画像と呼ぶ）が、実空間における所定距離の位置に存在するように見える。ここでいう所定距離は、使用者の眼から表示領域Ｖまでの距離を指し、使用者が、表示領域Ｖが存在する位置までの距離として知覚する。

操作領域ＶＩＮは、使用者の視野ＶＲに設定される仮想的な領域であり、画像表示部２０に対する相対的な位置が固定される。画像表示部２０に対する操作領域ＶＩＮの相対位置は、表示領域Ｖと一致する。

使用者が知覚する画像表示部２０から表示領域Ｖまでの距離は、右表示ユニット２２及び左表示ユニット２４により表示するＡＲ画像の輻輳角により決定される。輻輳角は、使用者の右眼ＲＥの視線と左眼ＬＥの視線とがなす角度である。すなわち、実空間の対象を視認する場合、右眼ＲＥが対象を見る視線と、左眼ＬＥが対象を見る視線とが、対象において交差する角度を輻輳角という。輻輳角は、使用者の眼から対象までの距離が長いほど小さく、距離が短いほど大きい。

画像表示部２０が表示するＡＲ画像は実空間に存在しないため、ハーフミラー２６１、２８１（図３）における画像の表示位置を調整することで、使用者がＡＲ画像を見る場合の輻輳角を誘導できる。第３実施形態では表示領域Ｖの全体に表示される枠などのＡＲ画像の輻輳角を制御するので、使用者が知覚する表示領域Ｖまでの距離を誘導できる。ＨＭＤ１００が実行する輻輳角制御の方法はこれに限定されず、例えば、表示領域Ｖに表示される表示オブジェクトの輻輳角を制御することもできる。この場合、表示領域Ｖに複数の表示オブジェクトを表示する場合に、各表示オブジェクトの輻輳角を個別に設定することで、使用者に、複数の表示オブジェクトが異なる距離にあるように知覚させることができる。

第３実施形態では、使用者の手Ｈ（図１８）を操作体として使用することを想定する。制御部１５０は、使用者が知覚する操作領域ＶＩＮまでの距離が、手Ｈで操作しやすい距離となるように輻輳角を設定する。例えば、使用者から操作領域ＶＩＮまでの距離が３０ｃｍ〜１ｍ程度となるように輻輳角を制御する。具体的には、ＨＭＤ１００は、操作領域ＶＩＮを示す表示オブジェクト（枠など）の輻輳角を制御する。表示領域Ｖに、操作領域ＶＩＮを示す表示オブジェクトと、その他の表示オブジェクトとを表示する場合は、操作領域ＶＩＮを示す表示オブジェクトの輻輳角を、３０ｃｍ〜１ｍ程度の距離に対応させればよい。

図１８は、仮想的な操作領域ＶＩＮを使用する操作の例を示す図である。
ＨＭＤ１００は、画像表示部２０に対する操作体（手Ｈ）の位置を検出する。図１８に示すように、ＨＭＤ１００を装着する使用者が操作領域ＶＩＮに向かって手Ｈを移動させ、ＨＭＤ１００が検出する手Ｈの位置が操作領域ＶＩＮの位置に重なると、ＨＭＤ１００は手Ｈによる操作を検出する。ＨＭＤ１００は、操作領域ＶＩＮと手Ｈとの相対位置を検出し、この相対位置を、位置入力操作の操作位置として処理する。

ＨＭＤ１００が操作体の位置、すなわち手Ｈの位置を検出する方法は任意であり、たとえば、カメラ６１の撮像画像を使用する方法が挙げられる。
第１の方法では、撮像制御部１４９によりカメラ６１を制御して撮像を実行させ、検出制御部１５１が撮像画像から操作体の画像を抽出する。検出制御部１５１は、撮像画像における操作体の画像のサイズから画像表示部２０から操作体までの距離を算出できる。検出制御部１５１は、操作領域ＶＩＮの輻輳角に基づき、使用者が知覚する操作領域ＶＩＮまでの距離を推定できる。検出制御部１５１は、推定した操作領域ＶＩＮまでの距離と、算出した操作体までの距離とに基づき、操作領域ＶＩＮに対する操作体の相対位置を求めることができる。ここで求められる相対位置は、画像表示部２０からの距離すなわち奥行き方向の位置である。また、検出制御部１５１は、撮像画像における操作体の画像の位置から、画像表示部２０に対する操作体の相対位置を求めることができる。ここで求められる位置は、カメラ６１の画角の中における位置であり、撮像画像の上下方向、及び、左右方向における位置である。

この場合、ＨＭＤ１００によって、予め、キャリブレーションが実行されることが望ましい。キャリブレーションにおいて、撮像制御部１４９及び検出制御部１５１は、撮像画像における位置、及びサイズと、実空間における位置とを対応付ける。このキャリブレーションの結果として、撮像画像における位置及びサイズと実空間における画像表示部２０からの距離及び画像表示部２０に対する相対位置とを対応付けるデータが生成され、例えば検出データ１２５として記憶される。

また、画像表示部２０が、前方に位置する物体までの距離を検出する距離センサーを備え、この距離センサーを用いて手Ｈの位置を検出する構成であってもよい。距離センサーは、使用者の視野の方向、或いは、カメラ６１の画角内に位置する物体までの距離を検出できるものであればよい。ＨＭＤ１００は、カメラ６１の撮像画像と距離センサーの検出結果とを用いて、手Ｈの位置を検出してもよい。

図１９及び図２０は、ＨＭＤ１００の動作を示すフローチャートであり、詳細には、操作領域ＶＩＮに対する手Ｈの操作を検出した場合の動作を示す。
ＨＭＤ１００は、操作領域ＶＩＮの操作を検出した場合に、操作体の位置に基づきヘッドセット３０または振動出力部１９で出力する動作を実行する。また、ＨＭＤ１００は、操作領域ＶＩＮで操作された位置に基づき位置入力操作を受け付ける動作（図示略）を実行する。これらの動作は、検出制御部１５１が操作領域ＶＩＮのタッチ操作を検出した後で、互いに独立して実行され、例えば並列的に実行することも可能である。

図１９の動作は、ＨＭＤ１００が操作領域ＶＩＮの操作を検出可能な状態になってから、開始される。例えば、ＨＭＤ１００の電源がオンにされ、制御部１５０が、操作領域ＶＩＮに対応する表示を開始し、カメラ６１を含む各部を初期化した後で開始される。

制御部１５０は、カメラ６１の撮像画像に基づき操作体を検出する（ステップＳ１５１）。カメラ６１の画角は表示領域Ｖより広いので、ステップＳ１５１で操作体が検出された場合であっても操作領域ＶＩＮに対する操作が行われたとは限らない。
制御部１５０は、ＨＭＤ１００が操作体を検出できる範囲であるカメラ６１の画角において、操作体を検出したか否かを判定する（ステップＳ１５２）。すなわち、制御部１５０は、カメラ６１の撮像画像から操作体を検出したか否かを判定する。操作体が検出されない場合（ステップＳ１５１；Ｎｏ）、ステップＳ１５１に戻って操作が行われるまで待機する。

制御部１５０は、カメラ６１の撮像画像から操作体を検出した場合（ステップＳ１５２）、操作体の位置と操作領域ＶＩＮのＡＲ表示の位置とに基づき出力をする出力処理を実行する（ステップＳ１５３）。出力処理については図２０を参照して詳述する。

その後、制御部１５０は、ＨＭＤ１００の動作を停止するか否かを判定する（ステップＳ１５４）。ＨＭＤ１００が動作を継続し、トラックパッド１４の操作を検出する状態が継続する場合（ステップＳ１５４；Ｎｏ）、ステップＳ１５１に戻る。また、ＨＭＤ１００が動作を終了する場合（ステップＳ１５４；Ｙｅｓ）、制御部１５０は本処理を終了する。

図２０は、出力処理（ステップＳ１５３）を詳細に示すフローチャートである。
制御部１５０は、操作体の位置と、操作領域ＶＩＮとの相対位置を特定する（ステップＳ１６１）。ステップＳ１６１で、制御部１５０は、使用者が操作領域ＶＩＮを視認する位置及び距離と、カメラ６１の撮像画像から検出された操作体の位置とを比較する。使用者が操作領域ＶＩＮを視認する位置及び距離は、上述したように、操作領域ＶＩＮの輻輳角から推定される。

制御部１５０は、操作体の位置が、操作領域ＶＩＮ内であるか否かを判定する（ステップＳ１６２）。操作体の位置が操作領域ＶＩＮ内である場合（ステップＳ１６２；Ｙｅｓ）、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ１６３）。第３実施形態では、操作体の位置が操作領域ＶＩＮ内であることを報知する音のパターン或いは振動パターンとして、パターン１が指定される。

制御部１５０は、出力設定データ１２７に含まれるデータ或いは設定データ１２３に従って、使用する出力部を設定する（ステップＳ１６４）。具体的には、制御部１５０は、ヘッドセット３０と振動出力部１９のどちらを使用するかを設定する。振動出力部１９を使用する場合、制御部１５０は、バイブレーター１９Ａ〜１９Ｄのいずれかを選択する。
制御部１５０はステップＳ１６４で選択した出力部により、ステップＳ１６３で設定した出力パターンに従って出力を開始する（ステップＳ１６５）。

制御部１５０は、操作領域ＶＩＮへの操作が解除されたか否かを判定する（ステップＳ１６６）。ステップＳ１６６で、制御部１５０は、カメラ６１の撮像画像から操作体を検出できない場合に、操作が解除されたと判定する。操作が解除されていない場合（ステップＳ１６６；Ｎｏ）、制御部１５０はステップＳ１５１に戻る。また、操作が解除された場合は（ステップＳ１６６；Ｙｅｓ）、制御部１５０は図１９の動作に戻る。

操作体の位置が操作領域ＶＩＮ内でないと判定した場合（ステップＳ１６２；Ｎｏ）、制御部１５０は、出力設定データ１２７を参照して、出力パターンを設定する（ステップＳ１６７）。例えば、操作体の位置が操作領域ＶＩＮ内でないことを報知する音のパターン或いは振動パターンとして、パターン２が指定される。

制御部１５０は、出力設定データ１２７に含まれるデータ或いは設定データ１２３に従って、使用する出力部を設定する（ステップＳ１６８）。制御部１５０は、ステップＳ１６８で選択した出力部により、ステップＳ１６７で設定した出力パターンに従って出力を開始し（ステップＳ１６９）、ステップＳ１６６に移行する。

このように、制御部１５０は、操作体による操作を検出した場合に、操作体の位置と操作領域ＶＩＮとの相対位置に応じて報知を実行する。使用者は、ＡＲ画像として表示される操作領域ＶＩＮに対する操作を行う場合に、操作体が操作領域ＶＩＮに重なる位置であるか否かを、視覚以外の感覚により知ることができる。これにより、仮想的に設定される操作領域ＶＩＮに対する操作の状態を、視覚以外の方法で確実に使用者に報知できる。

また、外景を視認可能に画像を表示するＨＭＤ１００は、制御部１５０により、仮想的な操作領域ＶＩＮを設定し、操作領域ＶＩＮにおける操作を画像表示部２０の表示に反映させることができる。そして、操作の位置と操作領域ＶＩＮとの相対位置を、出力部により報知できる。これにより、使用者は、画像表示部２０が表示する内容を見ながら適切な位置を操作することができ、ＨＭＤ１００の利便性の向上を図ることができる。
なお、第３実施形態では、操作領域ＶＩＮが、報知対象領域であり、仮想的に設定される操作領域である例を説明した。本発明はこれに限定されず、操作領域ＶＩＮよりも広い操作領域を設定し、報知対象領域としての操作領域ＶＩＮを設定する構成であってもよい。

ところで、上記各実施形態では、操作位置と報知対象領域との相対位置に応じて、制御装置１０、７０により音や振動を出力する構成を例示したが、他の装置により、音や振動を出力することも可能である。

図２１は、時計型デバイス３の外観図である。時計型デバイス３は、出力を行うデバイスの例であり、例えば、制御装置１０、７０とともに使用できる。時計型デバイス３は、いわば出力デバイスの１つであり、この場合、制御装置１０、７０は、音や振動を出力しない構成であってもよい。

時計型デバイス３は、腕時計のバンドと同様の形状であるバンド部３００を有する。バンド部３００は、図示しないバックル等の固定部を有し、例えば使用者の前腕部に巻き付けて固定できる。時計型デバイス３のバンド部３００には、時計の文字盤に相当する位置に、略円盤状の平面部３００Ａが形成される。平面部３００Ａには、ベゼル３０１、ＬＣＤ３０３、ボタン３０５、リュウズ型操作子３０７、及び、複数のボタン３０９が設けられる。

ベゼル３０１は、リング形状の操作子であり、平面部３００Ａの周縁部に配置される。ベゼル３０１は、バンド部３００に対して円周方向に回転可能に設けられる。時計型デバイス３は、後述するように、ベゼル３０１の回転方向、及び回転量を検出する機構を備える。また、ベゼル３０１を回転可能にバンド部３００に指示する機構は、回転に応じてさせる際にノッチ音を発生する記憶を備えてもよい。

ＬＣＤ３０３は、文字や画像を表示する液晶ディスプレイである。
ボタン３０５は、ベゼル３０１の外側に配置される押しボタン式スイッチである。ボタン３０５は、時計型デバイス３の装着状態において、使用者から見てベゼル３０１の下方に位置する。ボタン３０５は、リュウズ型操作子３０７やボタン３０９に比べて大型であり、手探りでも操作が可能である。

リュウズ型操作子３０７は、腕時計の竜頭を模した形状の操作子であり、図中矢印で示すように回転させることが可能である。時計型デバイス３は、使用者がリュウズ型操作子３０７を回転させた場合に、リュウズ型操作子３０７の回転方向、及び回転量を検出する機構を備える。また、リュウズ型操作子３０７を回転可能にバンド部３００に指示する機構は、回転に応じてさせる際にノッチ音を発生する記憶を備えてもよい。

ボタン３０９は、平面部３００Ａの外周部に設けられた押しボタン式のスイッチである。ボタン３０９の数について特に制限はなく、本実施形態では４つのボタン３０９を設けた例を示す。
ボタン３０９には異なる機能を割り当てることが可能であり、各々のボタン３０９に割り当てられた機能を、ＬＣＤ３０３に表示できる。

時計型デバイス３は、通信部１１７と同様に機能する図示しない通信部を備える。この通信部は、制御装置１０、７０から無線送信される制御信号や制御データを受信するものであればよい。

時計型デバイス３は、振動を出力するバイブレーター３１９Ａ、３１９Ｂを備える。バイブレーター３１９ＡはＬＣＤ３０３の上部側に位置し、バイブレーター３１９ＢはＬＣＤ３０３の下部側に位置する。バイブレーター３１９Ａ、３１９Ｂは時計型デバイス３のケースまたはバンド３００部に埋設または固定される。

時計型デバイス３は、制御装置１０、７０から振動の出力パターンと振動出力の指示とを含む制御データが無線送信された場合に、この制御データを受信し、バイブレーター３１９Ａまたはバイブレーター３１９Ｂにより振動を出力する。使用者は、時計型デバイス３の振動によって、操作位置と報知対象領域との相対位置を容易に知ることができる。

時計型デバイス３において振動するバイブレーター３１９Ａ、３１９Ｂは、制御装置１０、７０の制御により指定することができる。このため、バイブレーター３１９Ａとバイブレーター３１９Ｂとを選択的に振動させることで、操作位置と報知対象領域との相対位置について、より詳細に情報を提供できる。

なお、時計型デバイス３は、スピーカーを備え、スピーカーから音を出力する構成であってもよい。この場合、時計型デバイス３は、制御装置１０、７０から音の出力パターンと音出力の指示とを含む制御データが無線送信された場合に、この制御データを受信し、スピーカーから音を出力する。

また、時計型デバイス３は、６軸センサー１１１と同様の図示しないモーションセンサーを内蔵してもよい。また、時計型デバイス３は、ベゼル３０１、ボタン３０５、リュウズ型操作子３０７、及び、ボタン３０９に対する操作を検出することができる。そして、時計型デバイス３は、モーションセンサーの検出結果や、ベゼル３０１、ボタン３０５、リュウズ型操作子３０７、及び、ボタン３０９に対する操作内容を示すデータを、制御装置１０、７０に送信可能な構成であってもよい。

図２２は、リング型デバイス４の外観図である。リング型デバイス４は、指輪と同様の形状を有し、例えば使用者の指に装着される。リング型デバイス４は、周方向に分散して、バイブレーター４１９Ａ、４１９Ｂ、４１９Ｃ、４１９Ｄが配置される。リング型デバイス４は、図示しない通信部及び電源回路を備える。

リング型デバイス４の通信部は、通信部１１７と同様に機能し、制御装置１０、７０と制御データを送受信する。また、リング型デバイス４の通信部は、制御装置１０、７０から無線送信される制御信号や制御データを受信するものであればよい。

リング型デバイス４は、制御装置１０、７０から振動の出力パターンと振動出力の指示とを含む制御データが無線送信された場合に、この制御データを受信し、バイブレーター４１９Ａ、４１９Ｂ、４１９Ｃ、４１９Ｄの少なくとも１以上により振動を出力する。使用者は、リング型デバイス４の振動によって、操作位置と報知対象領域との相対位置を容易に知ることができる。

なお、リング型デバイス４は、スピーカーを備え、スピーカーから音を出力する構成であってもよい。この場合、リング型デバイス４は、制御装置１０、７０から音の出力パターンと音出力の指示とを含む制御データが無線送信された場合に、この制御データを受信し、スピーカーから音を出力する。

また、時計型デバイス３やリング型デバイス４に限らず、音及び／または振動を出力する出力部は、例えば、筐体を有さないカード型のデバイスとして、制御装置１０、７０とは別体とすることができる。また、他の装置に一体として構成された出力部を用いることも可能である。例えば、スマートフォン、携帯電話機、タブレット型コンピューターが備えるスピーカーやバイブレーターを、出力部として利用してもよい。

また、図２２に示すリング型デバイス４は、第３実施形態で説明した実施態様において使用者の操作を検出するために利用できる。
この場合、リング型デバイス４は、上記の通信部（図示略）に加え、６軸センサー１１１と同様の図示しないモーションセンサーを内蔵する。リング型デバイス４は、バッテリー等を備える電源部、電源部へ充電する非接触充電回路、地磁気センサー、ＬＥＤインジケーター等を備える構成であってもよい。また、リング型デバイス４が備える通信部は、ＮＦＣ（Near Field Communication）に準拠した構成であってもよい。

第３実施形態で、ＨＭＤ１００は、表示領域Ｖに重なる仮想的な操作領域ＶＩＮ（仮想操作領域）に対する操作を検出する。第３実施形態では、ＨＭＤ１００が操作体の位置、すなわち手Ｈの位置を検出する方法として、カメラ６１の撮像画像を使用する方法を説明した。

リング型デバイス４を利用する場合、ＨＭＤ１００は、リング型デバイス４の位置を、使用者が操作する指示体の位置として検出する。この場合、使用者はリング型デバイス４を指に装着し、リング型デバイス４の位置を、リング型デバイス４自身またはＨＭＤ１００が検出する。

第１の方法として、ＨＭＤ１００がカメラ６１の撮像画像データからリング型デバイス４を検出し、リング型デバイス４の位置を特定することで、操作位置を求める方法が挙げられる。この場合、ＨＭＤ１００は、手Ｈを検出する上記の手法と同様に、リング型デバイス４を検出する。この方法では、リング型デバイス４は、上述した通信部、モーションセンサー、電源部等を備える必要はない。

第２の方法として、ＨＭＤ１００が備える通信部１１７とリング型デバイス４とが通信を行うことにより、無線信号の受信強度などにより、画像表示部２０に対するリング型デバイス４の相対位置を検出する方法が挙げられる。この場合、ＨＭＤ１００は、カメラ６１の撮像画像データからリング型デバイス４の位置を検出する処理を、合わせて用いてもよい。この場合、リング型デバイス４は、電源部及び通信部を備えていればよい。

第３の方法として、リング型デバイス４が備えるモーションセンサーや地磁気センサーの検出値を、リング型デバイス４がＨＭＤ１００に無線送信することにより、画像表示部２０に対するリング型デバイス４の相対位置を検出する方法が挙げられる。この場合、リング型デバイス４の位置を求める処理を、リング型デバイス４が行ってもよいし、ＨＭＤ１００が行ってもよく、他の装置が行ってもよい。また、この場合に、画像表示部２０に対するリング型デバイス４の位置の基準を定めるキャリブレーションを予め実行してもよい。また、リング型デバイス４またはＨＭＤ１００が、リング型デバイス４の動きの方向と動き量とを検出して、リング型デバイス４の位置を求めてもよい。この場合、リング型デバイス４を動かす方向は、例えば、図２２に示すＸ軸方向、Ｙ軸方向、及びＺ軸方向を基準として検出し、特定できる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記各実施形態では、出力部としてヘッドセット３０の右イヤホン３２及び左イヤホン３４、或いは、バイブレーター１９Ａ〜１９Ｄ、１９Ｆを用いる構成を例示したが、本発明はこれに限定されない。例えば、ケース１０Ａ、７０Ａにスピーカーを設けて、このスピーカーから音を出力する構成であってもよい。また、ケース１０Ａ、７０Ａとは別体のケースにスピーカーや振動出力部を収容し、このケースを、制御装置１０、７０とは別に、使用者の身体に装着可能としてもよい。

また、上記第１実施形態及び第２実施形態では、本発明の操作デバイスの一例として、ケース１０Ａを有する制御装置１０、及び、ケース７０Ａを有する制御装置７０について説明した。本発明はこれに限定されず、ケース１０Ａ、７０Ａの形状は、丸みをおびた形状であってもよいし、棒状、楕円形、或いはその他の立体形状とすることができる。
また、例えば、上記実施形態において操作を検出する領域は、トラックパッド１４、７１及び操作領域ＶＩＮのいずれも矩形である場合を例示したが、矩形に限定されない。例えば、トラックパッド１４、７１の形状は、ケース１０Ａ、７０Ａの形状に合わせて任意の形状とすることができる。具体的には、トラックパッド１４、７１は、丸みをおびたケース１０Ａ、７０Ａの形状に合わせて、角部を丸くした形状であってもよい。また、トラックパッド１４、７１を円形にしてもよい。また、トラックパッド１４、７１を制御装置１０、７０から分離して、例えば、画像表示部２０の右保持部２１及び／または左保持部２３に、タッチ操作を検出するタッチパッドを配置してもよい。この場合、画像表示部２０が有するタッチパッドに対する操作に応じて、画像表示部２０または制御装置１０、７０が、振動または音を出力する構成とすることができる。

また、タッチ操作されるトラックパッド１４、７１は、制御装置１０、７０に一体に設ける必要はない。制御装置１０、７０とは別に、タッチ操作される操作デバイスとして使用される装置、デバイス、ユニット、或いは器具を備えてもよい。例えば、制御装置１０、７０に代えて、或いは、制御装置１０、７０とは別体として、操作デバイスを設けてもよい。この場合、操作デバイスは、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスに適用できる。具体的には、ウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等が挙げられる。

また、上記各実施形態では、制御装置１０、７０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０、７０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０、７０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０、７０を複数の装置により実現してもよい。すなわち、制御装置１０、７０は、箱形のケース１０Ａ、７０Ａを備える構成に限定されない。例えば、制御装置１０、７０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記各実施形態では、画像表示部２０と制御装置１０、７０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０、７０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、制御装置１０、７０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０、７０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記各実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図５、図６等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０、７０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１０…制御装置、１０Ａ…ケース、１０Ｂ…操作面、１４…トラックパッド（操作領域）、１４Ａ…検出領域（報知対象領域）、１４Ｂ…ジェスチャー領域（報知対象領域）、１４Ｃ…ジェスチャー領域（報知対象領域）、１９…振動出力部（出力部）、１９Ａ、１９Ｂ、１９Ｃ、１９Ｄ、１９Ｆ…バイブレーター（出力部）、２０…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、３０…ヘッドセット（出力部）、３２…右イヤホン（出力部）、３４…左イヤホン（出力部）、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、７０…制御装置、７０Ａ…ケース、７１…トラックパッド（操作領域）、７２…十字キー領域（報知対象領域）、７３…機能キー領域（報知対象領域）、７４…検出領域、８１…十字キー操作部、８１Ａ、８１Ｂ、８１Ｃ、８１Ｄ…方向キー、８１Ｅ…決定キー、８２…機能キー操作部、８２Ａ、８２Ｂ、８２Ｃ…機能キー、１００、１０１…ＨＭＤ（表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…コンテンツデータ、１２５…検出データ、１２７…出力設定データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…オペレーティングシステム、１４５…画像処理部、１４９…撮像制御部、１５０…制御部、１５１…検出制御部（操作検出部）、１５３…出力制御部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２６１、２８１…ハーフミラー、Ｖ…表示領域、ＶＩＮ…操作領域（報知対象領域、仮想操作領域）。

Claims (14)

1. 画像を表示する表示部と、
   操作領域における操作を検出する操作検出部と、
   振動または音を出力する出力部と、
   前記操作検出部で検出した操作を前記表示部による表示に反映させる制御部と、を備え、
   前記制御部は、前記操作検出部で検出される操作の位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部による出力を実行する表示装置。
2. 前記制御部は、前記操作検出部で検出される操作の位置が前記報知対象領域内である場合、または、前記報知対象領域外である場合に、前記出力部による出力を実行する請求項１記載の表示装置。
3. 前記制御部は、前記操作検出部で検出される操作の位置が、前記報知対象領域の外から前記報知対象領域内に移動した場合、または、前記報知対象領域内から前記報知対象領域の外に移動した場合に、前記出力部による出力を実行する請求項１または２記載の表示装置。
4. 前記制御部は、前記表示装置の動作モードを、前記操作検出部で検出される操作の位置に基づき位置入力操作を検出する第１入力モードと、前記操作検出部で検出される操作の位置に基づき位置入力操作以外の操作を検出する第２入力モードとに設定し、
   前記操作検出部で検出される操作の位置が前記報知対象領域内である場合は前記第２入力モードを設定する請求項１から３のいずれか１項に記載の表示装置。
5. 前記制御部は、前記操作検出部で検出される操作の位置と前記操作領域に設定される報知対象領域との相対位置に基づき前記出力部による出力を実行する場合に、所定の画像を前記表示部によって表示させる請求項１から４のいずれか１項に記載の表示装置。
6. 前記制御部は、前記操作検出部で検出される操作の位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部により出力する振動または音について、周波数または出力パターンを設定する請求項１から５のいずれか１項に記載の表示装置。
7. 前記制御部は、前記出力部により出力する振動または音について、前記操作検出部で検出される操作の位置と前記操作領域に設定される報知対象領域との間の距離に応じて、周波数または出力パターンを設定する請求項６記載の表示装置。
8. 前記表示部と別体の出力部本体を有し、前記出力部、若しくは、前記出力部と前記操作検出部が前記出力部本体に配置される請求項１から７のいずれか１項に記載の表示装置。
9. 前記出力部及び前記操作検出部は前記表示部に配置される請求項１から７のいずれか１項に記載の表示装置。
10. 前記操作検出部は接触操作を検出し、
    前記制御部は、前記操作検出部で検出される接触位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部による出力を実行する請求項１から９のいずれか１項に記載の表示装置。
11. 前記操作検出部は、仮想的に設定される仮想操作領域に対する操作を検出する請求項１から９のいずれか１項に記載の表示装置。
12. 前記表示部は、使用者の頭部に装着されて前記使用者に画像を視認させる頭部装着型表示装置である請求項１から１２のいずれか１項に記載の表示装置。
13. 使用者の頭部に装着され、外景を視認可能に画像を表示する表示部と、
    前記表示部により外景を視認可能な範囲に重なる操作領域に対する操作を検出する制御部と、
    振動または音を出力する出力部と、を備え、
    前記制御部は、前記操作検出部で検出した操作を前記表示部による表示に反映させ、前記操作検出部で検出される操作の位置と、前記操作領域に設定される仮想の報知対象領域との相対位置に基づいて、前記出力部による出力を実行する頭部装着型表示装置。
14. 画像を表示する表示部、操作領域における操作を検出する操作検出部、及び、振動または音を出力する出力部を備える表示装置を制御して、
    前記操作検出部で検出した操作を前記表示部による表示に反映させるステップと、
    前記操作検出部で検出される操作の位置と、前記操作領域に設定される報知対象領域との相対位置に基づいて、前記出力部による出力を実行するステップと、
    を有する表示装置の制御方法。

Images