JP2018124721A - 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】頭部装着型表示装置において、操作面を用いた接触操作の操作性を向上させる。
【解決手段】操作部１１５により予め設定された態様の操作が検出された場合にシングルタッチモードとマルチタッチモードとを切り替える制御部１５０を備え、制御部１５０は、マルチタッチモードにおいて、操作面１４ａに対する操作に対応して疑似ポインター３３０を画像表示部２０の表示領域ＶＲの外部に対応する位置に移動させる場合に、疑似ポインター３３０の表示態様を変更する頭部装着型表示装置１００。
【選択図】図５

Description

本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。

従来、操作面と、この操作面に対する接触操作の操作位置を検出する検出部とを備え、検出部の検出する操作位置に対応した処理を行う装置が知られている。この装置においては、より複雑な操作の入力が可能なことから、マルチタッチ操作の検出が可能になってきている。マルチタッチ操作とは、複数本の指を操作面に接触させながら行う操作である。
しかしながら、マルチタッチ操作は、複数本の指を操作面に接触させるため、操作面を手に持ちながら操作を行う場合、片手では操作を行うことができなかった。そこで、指１本の操作によりマルチタッチが可能な装置も提案されている（例えば、特許文献１参照）。
特許文献１の装置は、マルチタッチ用の入力データとして、ユーザーにより接触された位置と、この位置と対称となる位置を示す疑似位置の位置情報とを出力する。

特開２０１１−３４４５１号公報

しかしながら、使用者の頭部に装着して使用される頭部装着型表示装置においては、操作面を、画像表示部を介した視野範囲に配置して使用しなければならず、操作面を用いた接触操作の操作性に問題があった。
本発明は、頭部装着型表示装置において、操作面を用いた接触操作の操作性を向上させることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型の表示部と、操作面と、操作を検出する検出部と、前記表示部に操作対象の第１オブジェクトを表示させ、前記操作面に対する操作に対応して前記第１オブジェクトの表示位置を変更するシングル操作モード、及び前記表示部に前記第１オブジェクトと第２オブジェクトとを表示させ、前記操作面に対する操作に対応して前記第１オブジェクト及び前記第２オブジェクトの表示位置を変更するマルチ操作モードを実行可能に構成され、前記検出部により予め設定された態様の操作が検出された場合に前記シングル操作モードと前記マルチ操作モードとを切り替える制御部と、を備え、前記制御部は、前記マルチ操作モードにおいて、前記操作面に対する操作に対応して前記第２オブジェクトを前記表示部の表示領域の外部に対応する位置に移動させる場合に、前記第２オブジェクトの表示態様を変更する。
本発明によれば、操作面に対する操作により、第１オブジェクトの表示位置を変更するシングル操作モードと、第１オブジェクト及び第２オブジェクトの操作位置を変更するマルチ操作モードとを切り替えて実行することができる。
また、第２オブジェクトが表示部の表示領域の外部に対応する位置に移動した場合に、第２オブジェクトの表示態様が変更されるので、第２オブジェクトの表示位置が表示領域から外れたことを使用者に認識させることができる。このため、使用者に、第１オブジェクト及び第２オブジェクトを操作可能な表示位置に戻させることができる。このため、頭部装着型表示装置において、操作面を用いた接触操作の操作性を向上させることができる。

また、本発明は、前記制御部は、前記マルチ操作モードにおいて、前記第１オブジェクト及び前記第２オブジェクトの表示位置を管理する座標管理領域を設定し、前記操作面に対する操作により、前記座標管理領域での前記第１オブジェクト及び前記第２オブジェクトの表示位置を示す座標を変更し、前記座標管理領域は、前記表示領域のサイズよりも大きいことを特徴する。
本発明によれば、第１オブジェクト及び第２オブジェクトの表示位置を座標管理領域での座標として管理することができる。また、座標管理領域のサイズが表示領域のサイズよりも大きいことで、第１オブジェクト又は第２オブジェクトが表示領域の外側に位置する場合であっても、このオブジェクトの座標を管理することができる。

また、本発明は、前記制御部は、操作モードを前記マルチ操作モードに切り替える場合に、前記操作面に対する操作の操作位置を示す補助画像を表示させる。
本発明によれば、操作モードがマルチ操作モードに切り替えられた場合に、操作面に対する操作の操作位置を示す補助画像が表示される。このため、使用者の頭部に装着される頭部装着型の表示部を有する頭部装着型表示装置において、操作面を用いた接触操作の操作性を向上させることができる。

また、本発明は、前記制御部は、前記操作面に対する操作の前記操作位置が、前記操作面の予め設定された領域にある場合に、前記補助画像を表示させる。
本発明によれば、操作面の予め設定された領域にある場合に補助画像を表示させることができる。このため、例えば、操作位置が操作面の端部である場合に補助画像を表示させることで、操作面から外れた操作が行われるのを防止することができる。

また、本発明は、前記検出部は、前記表示部の動きを検出し、前記制御部は、前記検出部により前記表示部の予め設定された動きが検出された場合に、予め設定された態様の操作が検出されたと判定し、操作モードを前記シングル操作モードから前記マルチ操作モードに切り替える。
本発明によれば、使用者が頭部を動かすことで、頭部に装着された表示部の動きが検出され、操作モードをシングル操作モードからマルチ操作モードに切り替えることができる。

また、本発明は、前記表示部を透過して視認される外景を含む範囲を撮像する撮像部を備え、前記制御部は、前記撮像部の撮像画像に前記操作面を備える操作部が撮像された場合に、予め設定された態様の操作が検出されたと判定し、操作モードを前記シングル操作モードから前記マルチ操作モードに切り替える。
本発明によれば、撮像部に操作部が撮像されるように操作部を動かすことで、操作モードをシングル操作モードからマルチ操作モードに切り替えることができる。

また、本発明は、前記操作面を備える操作部は、前記シフト操作モードと前記マルチ操作モードとを切り替えるボタンを備え、前記制御部は、前記ボタンの押下操作が検出された場合に、予め設定された態様の操作が検出されたと判定し、操作モードを前記シングル操作モードから前記マルチ操作モードに切り替える。
本発明によれば、ボタンの操作により操作モードをシングル操作モードからマルチ操作モードに切り替えることができる。

また、本発明は、前記制御部は、前記ボタンの押下操作の検出が継続している間、操作モードを前記マルチ操作モードとし、前記ボタンの押下操作が検出されなくなると、操作モードを前記シングル操作モードに切り替える。
本発明によれば、ボタンの押下操作を継続することで、操作モードをマルチ操作モードに変更し、ボタンの押下操作を解除することで、操作モードをシングル操作モードに変更することができる。

また、本発明は、前記制御部は、前記マルチ操作モードにおいて、予め設定された態様の操作に基づき設定される設定位置を挟んで前記第１オブジェクトと対向する表示位置に前記第２オブジェクトを表示する。
本発明によれば、設定位置を挟んで対向する位置に表示される第１オブジェクト及び第２オブジェクトを、操作面に対する操作により操作することができる。このため、第１オブジェクト及び第２オブジェクトの表示位置の変化を、回転や、拡大、縮小、平行移動等の操作に対応付けることで、操作面に対する操作によりこれらの操作を行うことができる。

また、本発明は、前記制御部は、前記マルチ操作モードにおいて、前記設定位置を対称の中心として、前記第１オブジェクトに対する点対称の位置に前記第２オブジェクトを表示する第１態様と、前記設定位置を対称軸として、前記第１オブジェクトに対する線対称の位置に前記第２オブジェクトを表示する第２態様とを切り替える。
本発明によれば点対称の位置、又は線対称の位置に表示された第１オブジェクト及び第２オブジェクトの表示位置を、操作面に対する操作により変更することができる。このため、第１オブジェクト及び第２オブジェクトの表示位置の変化を、回転や、拡大、縮小、平行移動等の操作に対応付けることで、操作面に対する操作によりこれらの操作を行うことができる。

また、本発明は、前記検出部は、前記操作面に対する接触操作が行われた場合の接触面積、又は前記操作面への押圧力を検出し、前記制御部は、前記検出部が検出する前記接触面積及び前記押圧力の少なくともいずれかに基づき、前記第１態様と前記第２態様とのいずれかを選択する。
本発明によれば、接触操作の接触面積又は押圧力を変更することで、第１態様と第２態様とを選択することができる。

また、本発明は、前記制御部は、前記マルチ操作モードにおいて、前記操作面に対する操作により前記第１オブジェクトの表示位置を変化させ、前記第１オブジェクトの表示位置の変化に対応して前記第２オブジェクトの表示位置を変化させる。
本発明によれば、第１オブジェクトの表示位置の変化に対応して第２オブジェクトの表示位置が変化する。このため、操作面に対する操作により第１オジェクトの表示位置を変更することで、第２オブジェクトの表示位置も変更することができる。

また、本発明は、前記制御部は、前記マルチ操作モードにおいて、前記操作面の連続する位置が１の指示体により指示された場合に、前記第１オブジェクト及び前記第２オブジェクトの表示位置を変更する。
本発明によれば、１の指示体の操作により第１オブジェクト及び第２オブジェクトの表示位置を変更することができる。

また、本発明は、前記制御部は、前記マルチ操作モードにおいて、前記第１オブジェクトと前記第２オブジェクトとの表示位置の変化に対応した処理を実行する。
本発明によれば、操作面に対する操作により、第１オブジェクトと第２オブジェクトとの表示位置の変化に対応した処理を実行することができる。

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型の表示部と、操作面と、操作を検出する検出部とを備える頭部装着型表示装置の制御方法であって、前記表示部に操作対象の第１オブジェクトを表示させ、前記操作面に対する操作に対応して前記第１オブジェクトの表示位置を変更するシングル操作モード、及び前記表示部に前記第１オブジェクトと第２オブジェクトとを表示させ、前記操作面に対する操作に対応して前記第１オブジェクト及び前記第２オブジェクトの表示位置を変更するマルチ操作モードを有し、前記検出部により予め設定された態様の操作が検出された場合に前記シングル操作モードと前記マルチ操作モードとを切り替え、前記マルチ操作モードにおいて、前記操作面に対する操作に対応して前記第２オブジェクトを前記表示部の表示領域の外部に対応する位置に移動させる場合に、前記第２オブジェクトの表示を前記表示領域から消去する処理を実行する。
本発明によれば、操作面に対する操作により、第１オブジェクトの表示位置を変更するシングル操作モードと、第１オブジェクト及び第２オブジェクトの操作位置を変更するマルチ操作モードとを切り替えて実行することができる。
また、第２オブジェクトが表示部の表示領域の外部に対応する位置に移動した場合に、第２オブジェクトの表示が表示領域から消去されるので、第２オブジェクトの表示位置が表示領域から外れたことを使用者に認識させることができる。このため、使用者に、第１オブジェクト及び第２オブジェクトを操作可能な表示位置に戻させることができる。このため、頭部装着型表示装置において、操作面を用いた接触操作の操作性を向上させることができる。

ＨＭＤの外観図。 ＨＭＤの光学系の構成を示す要部平面図。 画像表示部の構成を示す斜視図。 ＨＭＤのブロック図。 制御装置の機能ブロック図。 座標管理領域を示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 トラックパッドの操作面と、画像表示部の表示領域とを示す図。 補助画像が表示された表示領域を示す図。 補助画像の他の表示例を示す図。 補助画像の他の表示例を示す図。 補助画像の他の表示例を示す図。 ＨＭＤの制御部の動作を示すフローチャート。 ＨＭＤの制御部の動作を示すフローチャート。 ＨＭＤの制御部の動作を示すフローチャート。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００の外観構成を示す外観図である。
ＨＭＤ１００は、使用者の頭部に装着され、使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０とを備える表示装置である。画像表示部２０を頭部に装着した者を使用者という。画像表示部２０は、本発明の「表示部」に相当する。

制御装置１０は、図１に示すように平たい箱形のケース１０Ａ（筐体又は本体ともいえる）を備える。ケース１０Ａには、操作ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８の各部を備える。操作ボタン１１、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８等を総称して操作子１３（図４）という。また、ＬＥＤインジケーター１２は、例えばＨＭＤ１００の動作状態を示す副表示部として機能する。使用者は、操作子１３を操作することにより、ＨＭＤ１００を操作できる。制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を実現する。右表示ユニット２２は、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を実現する。左表示ユニット２４は、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。
右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導く。右導光板２６及び左導光板２８に導かれた画像光は使用者の右眼と左眼に入射して、使用者に虚像を視認させる。これにより、画像表示部２０は画像を表示する。

使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、又は、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の構成及び配置は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように決められる。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されるが、カメラ６１を端部ＥＬ側に配置してもよく、また、右導光板２６と左導光板２８との連結部に配置してもよい。カメラ６１は、本発明の「撮像部」に相当する。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。カメラ６１の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、カメラ６１の画角が、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、カメラ６１の画角は、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
カメラ６１は、制御部１５０（図５）が備える撮像制御部１５３の制御に従って撮像を実行する。カメラ６１は、撮像画像データを、後述するインターフェイス２１１を介して制御部１５０に出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２及び左表示ユニット２４は、左右対称に構成される。右表示ユニット２２は、使用者の右眼ＲＥに画像を視認させる構成として、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、左表示ユニット２４は、使用者の左眼ＬＥに画像を視認させる構成として、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図１に戻り、制御装置１０及び画像表示部２０は、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６及び制御装置１０は、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及びマイク６３を有するヘッドセット３０が、コネクター４６に接続される。
制御装置１０と画像表示部２０とを無線接続してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信により、制御装置１０と画像表示部２０とが制御信号やデータを相互に送受信する構成としてもよい。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

次に、制御装置１０の操作子１３について説明する。
操作ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、操作ボタン１１は、制御装置１０が実行するオペレーティングシステム（以下、ＯＳと略記する）１５１（図５）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。

トラックパッド１４は、操作面１４ａ（図７〜１４）を有し、操作面１４ａに対する操作を検出する。トラックパッド１４の詳細については、図４を参照しながら説明する。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。

図３は、画像表示部２０の構成を示す斜視図であり、画像表示部２０を使用者の頭部側から見た要部構成を示す。この図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６１は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。

一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１２２が接続される。また、メインプロセッサー１４０には、ＬＥＤ表示部１７や、バイブレーター１９、入力操作取得部１１０を介して操作部１１５が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１２３、磁気センサー１２４が接続される。また、メインプロセッサー１４０には、ＧＰＳ受信部１２５、通信部１２６、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１２２、不揮発性記憶部１２１、６軸センサー１２３、磁気センサー１２４、ＧＰＳ受信部１２５、通信部１２６、メモリー１２２、不揮発性記憶部１２１、音声コーデック１８０等がさらに実装される。また、本実施形態は、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４及びインターフェイス１９６がコントローラー基板１２０に実装される。

メモリー１２２は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

操作部１１５は、操作子１３を有する。操作部１１５は、本発明の「検出部」に相当する。操作子１３には、上述した操作ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８の他にトリガーボタン１３５が含まれる。
トラックパッド１４は、操作面１４ａを有し、操作面１４ａに対する接触操作を検出する。接触操作とは、使用者の手指の先端を操作面１４ａに接触させ、操作面１４ａとの接触状態を保ったまま操作面１４ａ上を移動させ、操作面１４ａの連続する位置を指示する操作である。接触操作には、操作面１４ａ上の所定の位置を選択する操作や、手指の先端を、操作面１４ａ上を移動させて行う操作が含まれる。以下、操作面１４ａに接触させる使用者の手指を操作指という。操作面１４ａに対する接触操作は、タッチセンサー（図示略）により検出される。タッチセンサーの接触操作の検出方式は、静電式、感圧式、光学式等の種々の方法を採用することができる。トラックパッド１４は、操作面１４ａに対する接触操作が検出されると、接触が検出された操作面１４ａの位置や、操作面１４ａに接触した操作指の圧力（以下、接触圧という）等を示す情報を入力操作取得部１１０に出力する。
また、本実施形態では、指示体として使用者の指を例に挙げて説明するが、指示体は使用者の指に限定されず、例えば、デジタイザーや、スタイラス等の指示体であってもよい。

また、操作子１３には、トリガーボタン１３５が含まれる。
トリガーボタン１３５は、画像表示部２０の表示領域ＶＲ（図７〜図１４）に表示されるポインターの操作を切り替えるボタンである。トリガーボタン１３５が押下された場合、マルチタッチ操作によるポインターの操作を受け付け、トリガーボタン１３５が押下されていない場合には、シングルタッチ操作によるポインターの操作を受け付ける。ポインターは、操作対象のオブジェクトに相当する。
表示領域ＶＲは、画像表示部２０が画像等のオブジェクトを表示させる領域である。使用者は、画像表示部２０により表示領域ＶＲに表示されたオブジェクトを視認しながら、画像表示部２０を透過して視認される外景を視認することができる。
また、シングルタッチ操作は、１本の操作指によりポインターを操作する操作モードである。マルチタッチ操作とは、複数本の操作指を用いてポインターを操作する操作モードであり、複数の操作指を、操作面１４ａ上の異なる位置に時間的に重複して接触させることで行う操作である。マルチタッチ操作により、例えば、表示領域ＶＲに表示された画像等のオブジェクトの拡大、縮小、回転等の複雑な操作を行うことができる。本実施形態は、１本の操作指による接触操作によりシングルタッチ操作及びマルチタッチ操作を実現できるようにした。この処理の詳細については後述する。
また、本実施形態は、トリガーボタン１３５の押下状態が継続している間だけ、マルチタッチ操作によるポインターの操作が可能となる。トリガーボタン１３５の押下が解除された場合、すなわち、ユーザーがトリガーボタン１３５から指を離した場合、ポインターの操作モードがマルチタッチ操作からシングルタッチ操作に変更される。

入力操作取得部１１０は、操作部１１５の操作子１３が操作された場合に、操作を受けた操作子１３の識別情報と、受け付けた操作内容とを示す情報を制御部１５０に出力する。例えば、使用者が操作面１４ａ上を移動させて行う接触操作を行った場合、入力操作取得部１１０は、トラックパッド１４から入力される情報に基づき、操作面１４ａ上を移動した操作指の移動方向や移動距離を示す情報を、操作内容を示す情報として生成する。また、入力操作取得部１１０は、トラックパッド１４から入力される情報に基づいて、操作面１４ａに接触する操作指の面積（以下、接触面積という）を示す情報を生成する。
入力操作取得部１１０は、接触を検出した操作面１４ａ上の座標を示す情報や、操作指の移動方向や移動距離を示す情報、接触面積、接触圧を示す情報と、操作子１３の識別情報とを操作情報として制御部１５０に出力する。

ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤインジケーター１２の点灯、及び消灯を制御する。また、ＬＥＤ表示部１７は、トラックパッド１４の直下に配置されるＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む構成であってもよい。この場合、ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１５に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。

６軸センサー１２３は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１２３は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー１２４は、例えば、３軸の地磁気センサーである。
６軸センサー１２３及び磁気センサー１２４は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。また、６軸センサー１２３及び磁気センサー１２４は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

ＧＰＳ受信部１２５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信されるＧＰＳ信号を受信する。ＧＰＳ受信部１２５は、受信したＧＰＳ信号をメインプロセッサー１４０に出力する。また、ＧＰＳ受信部１２５は、受信したＧＰＳ信号の信号強度を計測し、メインプロセッサー１４０に出力する。信号強度には、例えば、受信信号強度（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）、電界強度、磁界強度、信号雑音比（ＳＮＲ： Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）等の情報を用いることができる。

通信部１２６は、外部の機器との間で無線通信を実行する。通信部１２６は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部１２６は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。コネクター４６はヘッドセット３０に接続される。音声インターフェイス１８２が出力する音声信号は右イヤホン３２、及び左イヤホン３４に入力され、これにより右イヤホン３２及び左イヤホン３４が音声を出力する。また、ヘッドセット３０が備えるマイク６３は、音声を集音して、音声信号を音声インターフェイス１８２に出力する。マイク６３から音声インターフェイス１８２に入力される音声信号は、外部コネクター１８４に入力される。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備える。ＵＳＢコネクター１８８は、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を制御装置１０に接続する。６軸センサー２３５は、本発明の「検出部」に相当する。

６軸センサー２３５は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３又はＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、又は電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

図５は、制御装置１０の制御系を構成する記憶部１６０、及び制御部１５０の機能ブロック図である。図５に示す記憶部１６０は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１２２及び不揮発性記憶部１２１により構成される。

制御部１５０は、記憶部１６０が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１６０は、制御部１５０が処理する各種のデータを記憶する。具体的には、記憶部１６０は、設定データ１６１、コンテンツデータ１６２、座標管理領域１６３を記憶する。

設定データ１６１は、ＨＭＤ１００の動作を設定する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１６１に含めてもよい。

コンテンツデータ１６２は、制御部１５０の制御によって画像表示部２０が表示する表示画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ１６２は、音声データを含んでもよい。
また、コンテンツデータ１６２は、双方向型のコンテンツデータであってもよい。すなわち、画像表示部２０によりコンテンツデータ１６２に含まれる画像データや映像データを表示し、表示した画像データや映像データに対する操作を操作部１１５で受け付け、受け付けた操作に対応した処理を制御部１５０で実行する。この場合、コンテンツデータ１６２は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を有していてもよい。

座標管理領域１６３は、ポインターの表示位置を記録するための領域であり、制御部１５０が記憶部１６０の記憶領域を使用して生成する。座標管理領域１６３の詳細については後述する。

制御部１５０は、ＯＳ１５１、画像処理部１５２、撮像制御部１５３、表示制御部１５４及び操作制御部１５５の機能を有する。

ＯＳ１５１の機能は、記憶部１６０が記憶する制御プログラムの機能であり、その他の各部は、ＯＳ１５１上で実行されるアプリケーションプログラムの機能である。

画像処理部１５２は、例えば、記憶部１６０からコンテンツデータ１６２を読み出し、読み出したコンテンツデータ１６２から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。画像処理部１５２は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。また、画像処理部１５２は、コンテンツデータ１６２に含まれる画像データに対して解像度変換、輝度、彩度の調整、２Ｄ／３Ｄ変換処理等の種々の画像処理を必要に応じて実行してもよい。
画像処理部１５２は、画像処理を施した画像データを、画像の表示単位である１フレームごとに記憶部１６０内のＤＲＡＭに展開する。画像データの１フレームが展開されるＤＲＡＭの領域を、以下ではフレーム領域という。画像処理部１５２は、フレーム領域から画像データを読み出し、読み出した画像データを表示画像データとして画像表示部２０に出力する。

また、画像処理部１５２は、操作制御部１５５からポインターの表示位置を示す座標情報が入力される。この座標情報は、ＤＲＡＭのフレーム領域の座標を示す。画像処理部１５２は、ＤＲＡＭのフレーム領域にコンテンツデータ１６２から取り出した画像データが既に展開されている場合には、操作制御部１５５から入力された座標情報が示すフレーム領域の座標にポインターの画像を重畳させる。また、画像処理部１５２は、ＤＲＡＭのフレーム領域に画像データが展開されていない場合には、操作制御部１５５から入力された座標情報が示すフレーム領域の座標にポインターの画像を展開する。その後、画像処理部１５２は、ＤＲＡＭのフレーム領域からデータを読み出し、画像表示部２０に送信する。
画像処理部１５２は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０と別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ））で構成してもよい。

撮像制御部１５３は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１６０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５３は撮像画像データをカメラ６１から取得して、記憶部１６０に一時的に記憶する。

表示制御部１５４は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１５４は、画像処理部１５２から入力される同期信号に基づき、ＯＬＥＤ駆動回路２２５、２４５を制御し、がＯＬＥＤパネル２２３、２４３に画像を描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

操作制御部１５５は、入力操作取得部１１０から入力される操作情報に基づいてポインターの表示位置を決定し、決定した表示位置を画像処理部１５２に指示する。操作制御部１５５の前述の動作により、表示領域ＶＲの決定した表示位置にポインターの画像が表示される。
本実施形態は、トラックパッド１４によるポインターの操作モードとして、シングルタッチ操作とマルチタッチ操作との２つの操作モードを有する。このため、制御部１５０の動作モードにも、シングルタッチ操作を受け付け可能な状態のシングルタッチモードと、マルチタッチ操作を受け付け可能な状態のマルチタッチモードとの２つのモードを有する。シングルタッチモードは、本発明の「シングル操作モード」に対応し、マルチタッチモードは、本発明の「マルチ操作モード」に相当する。

制御部１５０は、動作モードがシングルタッチモードの場合、画像表示部２０に１つのポインターを表示させる。このシングルタッチモードにおいて、表示されるポインターをシングル実ポインター３１０と表記する。また、制御部１５０は、動作モードがマルチタッチモードの場合、画像表示部２０に複数のポインターを表示させる。本実施形態では、動作モードがマルチタッチモードの場合、３つのポインターを表示させる。これらのポインターを、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０と表記する。マルチ実ポインター３２０は、本発明の「第１オブジェクト」に相当し、疑似ポインター３３０は、本発明の「第２オブジェクト」に相当する。

画像表示部２０により表示領域ＶＲに表示されるマルチ実ポインター３２０の画像は、疑似ポインター３３０や基点ポインター３４０の画像よりも目立つ画像を使用する。例えば、マルチ実ポインター３２０の画像のサイズを疑似ポインター３３０や基点ポインター３４０の画像のサイズよりも大きくする。また、マルチ実ポインター３２０の画像として、疑似ポインター３３０や基点ポインター３４０の画像よりも明度や彩度が高い画像を使用してもよい。また、疑似ポインター３３０や基点ポインター３４０の画像の透過率を、マルチ実ポインター３２０の画像の透過率よりも高くし、マルチ実ポインター３２０の画像が疑似ポインター３３０や基点ポインター３４０の画像よりも見えやすくなるようにしてもよい。
また、疑似ポインター３３０の画像は、基点ポインター３４０の画像よりも目立つ画像を使用する。マルチ実ポインター３２０の場合と同様に、疑似ポインター３３０の画像のサイズを基点ポインター３４０の画像のサイズよりも大きくしたり、疑似ポインター３３０の画像の明度や彩度を、基点ポインター３４０の画像の明度や彩度よりも高くしたりする。また、基点ポインター３４０の画像の透過率を、疑似ポインター３３０の画像の透過率よりも高くし、疑似ポインター３３０の画像が基点ポインター３４０の画像よりも見えやすくないようにしてもよい。

シングル実ポインター３１０及びマルチ実ポインター３２０は、操作面１４ａに対する接触操作に応じて表示領域ＶＲの表示位置を変更するポインターである。操作制御部１５５は、接触操作が検出されると、この接触操作の移動方向に対応する方向に、接触操作の移動距離に対応する距離だけ、シングル実ポインター３１０及び３２０の表示位置を移動させる。疑似ポインター３３０は、マルチ実ポインター３２０の表示位置の変化に対応して、表示位置を変化させるポインターであり、線対称の対称軸又は点対称の対称の中心に対して、マルチ実ポインター３２０の対称な位置に表示される。基点ポインター３４０は、線対称の対称軸上、又は点対称の対称の中心となる位置に表示されるポインターである。線対称の対称軸又は点対称の対称の中心は、本発明の「設定位置」に相当する。

マルチタッチモードは、点対称モードと線対称モードとの２つのモードを有する。マルチタッチモードにおいて、マルチ実ポインター３２０と疑似ポインター３３０とは、線対称の対称軸又は点対称の対称の中心を挟んで対向する位置に表示される。
操作制御部１５５は、動作モードが点対称モードの場合、基点ポインター３４０を点対称の対称の中心として、マルチ実ポインター３２０と点対称の位置に疑似ポインター３３０を表示させる。また、操作制御部１５５は、動作モードが線対称モードの場合、線対称の対称軸に対して、疑似ポインター３３０をマルチ実ポインター３２０の線対称の位置に表示させる。

操作制御部１５５は、動作モードがシングルタッチモードの場合、入力操作取得部１１０から入力される操作情報に基づき、シングル実ポインター３１０の表示位置を示す座標を算出する。操作制御部１５５は、算出した座標に対応する座標管理領域１６３の座標に、シングル実ポインター３１０の表示位置であることを示す情報を対応付けて記録する。以下、表示位置であることを示す情報が対応付けられた座標を、シングル実ポインター３１０の座標という。
座標管理領域１６３は、ポインターの表示位置を示す座標を記録するための領域であり、操作制御部１５５が記憶部１６０の記憶領域を使用して生成する。また、座標管理領域１６３の座標は、画像処理部１５２が画像データを展開するＤＲＡＭのフレーム領域の座標に対応付けられている。すなわち、画像処理部１５２は、操作制御部１５５からシングル実ポインター３１０の表示位置として座標管理領域１６３の座標が指示されると、この座標に対応付けられたＤＲＡＭのフレーム領域の座標にシングル実ポインター３１０の画像を展開する。これにより、操作制御部１５５により決定された表示領域ＶＲの表示位置にシングル実ポインター３１０の画像が表示される。

入力操作取得部１１０から入力される操作情報には、操作指の操作面１４ａ上での移動方向と、移動距離とを示す情報が含まれる。操作制御部１５５は、動作モードがシングルタッチモードの場合、座標管理領域１６３からシングル実ポインター３１０の座標を示す座標情報を取得する。そして、操作制御部１５５は、操作情報に含まれる移動方向に基づいて、取得した座標情報が示す座標に、操作情報に含まれる移動距離を加算又は減算して、操作情報に基づく移動後の座標を算出する。操作制御部１５５は、算出した座標管理領域１６３の座標に、シングル実ポインター３１０の表示位置であることを示す情報を対応付けて記憶させる。このとき、座標管理領域１６３の移動前の座標に対応付けたシングル実ポインター３１０の表示位置であることを示す情報は消去してもよい。

また、操作制御部１５５は、移動後の座標を示す座標情報を画像処理部１５２に出力する。画像処理部１５２は、操作制御部１５５から入力される座標情報が示す座標に対応するＤＲＡＭのフレーム領域の座標に、シングル実ポインター３１０の画像を展開する。画像処理部１５２は、シングル実ポインター３１０の画像が展開された画像データを表示画像データとして画像表示部２０に出力する。これにより、画像表示部２０の表示領域ＶＲであって、トラックパッド１４の操作に対応した位置にシングル実ポインター３１０の画像が表示される。

図６は、座標管理領域１６３を示す図である。
座標管理領域１６３には座標系が設定される。この座標系は、ポインター（シングル実ポインター３１０、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０）の表示位置を管理するための座標系である。本実施形態では、座標管理領域１６３に設定された座標系は、座標管理領域１６３の左上を原点とし、座標管理領域１６３の水平方向をＸ軸方向とし、座標管理領域１６３の垂直方向をＹ軸方向とする座標系である。
操作制御部１５５は、操作指が移動する移動前の位置を示す座標管理領域１６３の座標と、入力操作取得部１１０から入力される操作指の移動方向及び移動距離を示す情報に基づいて、操作指の移動後の位置、すなわち座標管理領域１６３の座標を決定する。すなわち、操作指の移動方向及び移動距離により座標管理領域１６３の座標が決定されるため、座標管理領域１６３のサイズは、トラックパッド１４の操作面１４ａのサイズと同一のサイズである必要はなく、操作面１４ａのサイズよりも大きくてもよい。この場合、座標管理領域１６３に記録される座標は、相対座標を示す座標となる。また、座標管理領域１６３のサイズは、画像表示部２０が画像を表示できる範囲である表示領域ＶＲと同一のサイズであれば、座標管理領域１６３の座標を、そのまま表示領域ＶＲ上の座標としてポインターを表示させることができる。また、座標管理領域１６３のサイズと表示領域ＶＲのサイズとが同一のサイズでない場合には、座標変換を行って、座標管理領域１６３の座標を表示領域ＶＲの座標に変換してもよい。
また、座標管理領域１６３のサイズを、トラックパッド１４の操作面１４ａのサイズと同一のサイズとし、操作制御部１５５は、操作面１４ａ上の座標をそのまま座標管理領域１６３の座標として対応付けてもよい。この場合、座標管理領域１６３に記録される座標は、絶対座標を示す座標となる。

また、図６に示す座標管理領域１６３には、画像表示部２０の表示領域ＶＲを重ねて表示する。図６に示すように、座標管理領域１６３の大きさは、表示領域ＶＲ、すなわちＤＲＡＭのフレーム領域の大きさよりも大きいサイズに設定される。このため、操作制御部１５５は、表示領域ＶＲの範囲外となる座標であっても、この座標を座標管理領域１６３に記録させることができる。
例えば、座標管理領域１６３のサイズを、トラックパッド１４の操作面１４ａを縦に３つ、横に３つ並べた、操作面１４ａの９倍のサイズに設定することができる。座標管理領域１６３のサイズを、このようなサイズに設定することで、操作モードが点対称であってもマルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０の座標を座標管理領域１６３により管理することができる。例えば、操作面１４ａの対角線の一方の端部に基点ポインター３４０が位置し、対角線のもう一方の端部にマルチ実ポインター３２０が位置すると仮定する。点対称モードの場合の疑似ポインター３３０の位置は、基点ポインター３４０を点対称の中心として、マルチ実ポインター３２０の位置とは反対側の位置である。また、基点ポインター３４０と疑似ポインター３３０との距離は、マルチ実ポインター３２０と基点ポインター３４０との距離と同一の距離となる。座標管理領域１６３のサイズを、操作面１４ａのサイズの９倍のサイズとすることで、マルチ実ポインター３２０と基点ポインター３４０との距離が操作面１４ａの対角線の距離だけ離れても、疑似ポインター３３０の座標を座標管理領域１６３に記録することが可能となる。

図６には、座標管理領域１６３の座標に、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０を対応付けた状態を示す。図６には、マルチ実ポインター３２０及び基点ポインター３４０を表示領域ＶＲ内の座標に対応付け、疑似ポインター３３０を表領域ＶＲ外の座標に対応付けた場合を示す。疑似ポインター３３０は、マルチ実ポインター３２０の対称位置に表示する必要があるため、マルチ実ポインター３２０が表示領域ＶＲ内に位置していても、疑似ポインター３３０は表示領域ＶＲの外側に位置する場合があるためである。
操作制御部１５５は、表示領域ＶＲの外側に位置する座標に対応付けられたポインターが存在する場合、このポインターの画像の表示態様を変化させる。例えば、操作制御部１５５は、表示領域ＶＲの外側の座標に疑似ポインター３３０が対応付けられた場合、疑似ポインター３３０の表示を表示領域ＶＲから消去する。また、操作制御部１５５は、疑似ポインター３３０が消去されていることを示す画像を表示領域ＶＲに表示させてもよい。
また、操作制御部１５５は、疑似ポインター３３０が表示領域ＶＲの外側の座標に対応付けられても、疑似ポインター３３０の表示は消去せずに表示領域ＶＲの端部に表示させてもよい。この場合、操作制御部１５５は、疑似ポインター３３０の座標が表示領域ＶＲの座標に対応付けられるまで疑似ポインター３３０を一定の位置（例えば、表示領域ＶＲの端部）に固定表示させ、疑似ポインター３３０を点灯又は点滅させてもよい。また、操作制御部１５５は、疑似ポインター３３０の位置を示す補助画像３６０（図１８参照）を表示させてもよい。

操作制御部１５５は、トリガーボタン１３５が押下され、動作モードがマルチタッチモードに変更されると、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０の３つのポインターの表示位置を示す座標を座標管理領域１６３に記録する。
まず、操作制御部１５５は、トリガーボタン１３５が押下されると、このトリガーボタン１３５が押下されたときに、座標管理領域１６３に記録されたシングル実ポインター３１０の座標を、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０の座標に設定する。その後、操作制御部１５５は、トラックパッド１４から入力される操作情報に基づいて、マルチ実ポインター３２０及び疑似ポインター３３０の座標を変更する。基点ポインター３４０の座標は、トリガーボタン１３５が押下されたときの座標のまま固定され、操作制御部１５５は基点ポインター３４０の座標の変更は行わない。

図７〜図１４は、トラックパッド１４の操作面１４ａと、画像表示部２０の表示領域ＶＲとを示す図である。まず、図７〜図１０を参照して点対称モードの場合のマルチ実ポインター３２０及び疑似ポインター３３０の動きについて説明する。
図７は、制御部１５０の動作モードがシングルタッチモードである場合の表示領域ＶＲの表示状態を示す。動作モードがシングルタッチモードである場合、表示領域ＶＲには、シングル実ポインター３１０が表示される。シングル実ポインター３１０は、操作指の操作面１４ａ上の動きに応じて表示領域ＶＲ上の表示位置が変更される。動作モードがシングルタッチモードの場合、表示領域ＶＲには、シングル実ポインター３１０だけが表示され、マルチタッチモードで表示される疑似ポインター３３０や基点ポインター３４０は表示されない。

操作制御部１５５は、トリガーボタン１３５が押下され、ポインターの動作モードがシングルタッチモードからマルチタッチモードに変更されると、表示領域ＶＲに、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０を表示させる。図８は、動作モードがマルチタッチモードに変更された直後の表示領域ＶＲの表示状態を示す。マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０は、シングルタッチモードの場合のシングル実ポインター３１０の表示位置に重ねて表示される。この状態から使用者が操作指を操作面１４ａ上で動かすと、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置が変更される。基点ポインター３４０は、トリガーボタン１３５が押下されたときのシングル実ポインター３１０の表示位置に固定され、この表示位置から動かない。

図９は、操作面１４ａ上の位置Ａから位置Ｂに操作指を移動させた場合を示す。
操作制御部１５５には、入力操作取得部１１０から操作情報が入力される。入力操作取得部１１０は、操作面１４ａ上の位置Ａ及び位置Ｂの座標に基づいて、操作指の移動方向を示す方向ベクトルと、位置Ａから位置Ｂへの移動の移動距離とを算出し、算出したこれらの情報を含む操作情報を操作制御部１５５に出力する。
操作制御部１５５は、入力操作取得部１１０から操作情報が入力されると、マルチ実ポインター３２０及び疑似ポインター３３０の移動後の座標を算出する。まず、操作制御部１５５は、座標管理領域１６３からマルチ実ポインター３２０の座標を示す座標情報を取得する。次に、操作制御部１５５は、操作情報に含まれる移動方向に基づき、取得した座標情報が示す座標に、操作情報に含まれる移動距離を加算又は減算して、操作情報に基づく移動後の座標を算出する。操作制御部１５５は、算出した座標に対応する座標管理領域１６３の座標に、マルチ実ポインター３２０の表示位置であることを示す情報を対応付けて記録する。
図９には、操作指を操作面１４ａ上の位置Ａから位置Ｂに移動させた場合に、表示領域ＶＲに表示されるマルチ実ポインター３２０の表示位置の変化を示す。図９に示すように、操作指を位置Ａから左下の方向の位置Ｂに移動させると、マルチ実ポインター３２０の表示位置も操作指の動きに対応して左下の方向に移動する。

また、操作制御部１５５は、マルチ実ポインター３２０の座標を変更すると、疑似ポインター３３０の座標も変更する。操作制御部１５５は、基点ポインター３４０の座標を点対称の対称の中心として、疑似ポインター３３０の表示位置がマルチ実ポインター３２０に対して点対称の位置になるように、疑似ポインター３３０の座標を算出する。
操作制御部１５５は、まず、座標管理領域１６３から疑似ポインター３３０の座標を示す座標情報を取得する。操作制御部１５５は、取得した座標情報が示す疑似ポインター３３０の座標に、操作情報に含まれる移動距離を加算又は減算して、疑似ポインター３３０の座標を、操作情報に含まれる移動方向とは１８０度反対の方向に移動させる。操作制御部１５５は、算出した座標に対応する座標管理領域１６３の座標に、マルチ実ポインター３２０の表示位置であることを示す情報を対応付けて記録する。
また、操作制御部１５５は、移動後のマルチ実ポインター３２０の座標と、基点ポインター３４０の座標とに基づき、疑似ポインター３３０の座標を算出してもよい。すなわち、操作制御部１５５は、基点ポインター３４０の座標を点対称の対称の中心としてマルチ、実ポインター３２０の座標と点対称となる座標を算出し、この算出した座標を疑似ポインター３３０の座標として設定する。
図９に示すように、操作指を位置Ａから左下方向の位置Ｂに移動させた場合、疑似ポインター３３０の表示位置は、操作指の移動方向とは１８０度反対の方向に移動する。

図１０は、使用者の操作指が操作面１４ａ上で円を描きながら上方向に移動した場合のマルチ実ポインター３２０及び疑似ポインター３３０の移動の軌跡を示す。
操作制御部１５５が上述したように入力操作取得部１１０から入力される操作情報に従ってマルチ実ポインター３２０及び疑似ポインター３３０の表示位置を示す座標を変更することで、操作面１４ａ上での操作指の動きの軌跡に対応して、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置が変更される。すなわち、シングル実ポインター３１０は、操作指の動きに対応して円を描きながら上方向に移動し、疑似ポインター３３０は、操作指の動きに対応して円を描きながら下方向に移動する。

図１１〜図１３は、トラックパッド１４の操作面１４ａと、画像表示部２０の表示領域ＶＲとを示す図である。図１１〜図１３を参照して線対称モードの場合のマルチ実ポインター３２０及び疑似ポインター３３０の動きについて説明する。
トリガーボタン１３５が押下され、動作モードがマルチタッチモードに変更され、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０が、表示領域ＶＲの同一の位置に重なった状態で表示されるまでの動作は、点対称モードの場合と同様である。

操作制御部１５５は、入力操作取得部１１０から操作情報が入力されると、まず、入力された操作情報に基づき、線対称の対称軸３５０を設定する方向を判定する。
操作制御部１５５は、操作情報に含まれる移動方向及び移動距離の情報に基づき、操作指のｘ方向の移動距離と、ｙ方向の移動距離とを算出して、これらの移動距離を比較する。ｘ方向は操作面１４ａの水平方向に対応し、ｙ方向は操作面１４ａの垂直方向に対応する。操作制御部１５５は、ｘ方向の移動距離がｙ方向の移動距離よりも大きい場合、座標管理領域１６３のＸ軸方向、すなわち表示領域ＶＲのＸ軸方向に線対称の対称軸３５０を設定する。また、操作制御部１５５は、ｙ方向の移動距離がｘ方向の移動距離よりも大きい場合、座標管理領域１６３のＹ軸方向、すなわち表示領域ＶＲのＹ軸方向に線対称の対称軸３５０を設定する。

図１１には、表示領域ＶＲのＸ軸方向に平行な方向に線対称の対称軸３５０が設定された場合を示す。
操作制御部１５５は、ｘ方向の移動距離がｙ方向の移動距離も大きい場合、線対称の対称軸３５０を、座標管理領域１６３のＸ軸方向に平行な方向に設定する。また、操作制御部１５５は、線対称の対称軸３５０を設定する座標管理領域１６３のＹ座標を、基点ポインター３４０のＹ座標に設定する。すなわち、操作制御部１５５は、基点ポインター３４０の表示位置を通過し、座標管理領域１６３のＸ軸方向に平行な方向に線対称の対称軸３５０を設定する。

図１２及び図１３は、線対称モードでのマルチ実ポインター３２０及び疑似ポインター３３０の動きを示す図である。
操作制御部１５５は、線対称の対称軸３５０を設定すると、入力操作取得部１１０から入力される操作情報に基づいて、マルチ実ポインター３２０の移動後の座標を算出する。マルチ実ポインター３２０の移動後の座標の算出方法は、シングルタッチモード及び点対称モードの場合と同一である。
また、操作制御部１５５は、疑似ポインター３３０の移動後の座標を算出する。操作制御部１５５は、線対称の対称軸３５０を基準として、移動後のマルチ実ポインター３２０の座標と線対称となる位置を、マルチ実ポインター３２０の座標として算出する。
例えば、図１２に示すようにＸ軸に平行な方向に線対称の対称軸３５０を設定した場合、操作制御部１５５は、マルチ実ポインター３２０のＹ座標と、対称軸３５０とのＹ座標との差を求め、マルチ実ポインター３２０と対称軸３５０とのＹ軸方向での距離を算出する。操作制御部１５５は、マルチ実ポインター３２０と対称軸３５０とのＹ軸方向の距離を算出すると、対称軸３５０のＹ座標の値に、算出した距離の値を加算又は減算して、対称軸３５０に対してマルチ実ポインター３２０と線対称となる位置のＹ座標の値を算出する。操作制御部１５５は、疑似ポインター３３０のＹ座標の値として算出したＹ座標の値を設定し、疑似ポインター３３０のＸ座標の値として、マルチ実ポインター３２０のＸ座標の値を設定する。
線対称の対称軸３５０をＹ軸に平行な方向に設定した場合も同様な手順によって疑似ポインター３３０の座標が決定される。

図１３は、操作指を対称軸３５０に平行な方向に移動させた場合のマルチ実ポインター３２０及び疑似ポインター３３０の動きを示す。
操作面１４ａの水平方向に平行な方向に操作指を移動させた場合、操作制御部１５５に入力される操作情報には、移動方向としてｘ方向を示す情報が入力され、移動距離としてｘ方向の移動距離を示す情報が入力される。この場合、操作制御部１５５は、操作情報に従って、マルチ実ポインター３２０及び疑似ポインター３３０の座標を、対称軸３５０に平行な方向の座標に移動させる。これにより、表示領域ＶＲに表示されるマルチ実ポインター３２０及び疑似ポインター３３０は、表示領域ＶＲのＸ軸方向に平行な方向に移動される。

図１２及び図１３には、表示領域ＶＲに線対称の対称軸３５０を表示し、基点ポインター３４０は表示させない場合を示した。図１４には、対称軸３５０の表示に代えて、基点ポインター３４０を表示させた場合を示す。図１４には、線対称の対称軸上であって、マルチ実ポインター３２０と疑似ポインター３３０とのＹ軸方向の中点の位置に基点ポインター３４０を表示させた場合を示す。
また、点対称モードでは、基点ポインター３４０の表示位置を固定にしていたが、線対称モードの場合、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置が移動すると、この移動に伴って基点ポインター３４０の表示位置も移動させてもよい。すなわち、マルチ実ポインター３２０と疑似ポインター３３０との中点に、常に基点ポインター３４０が位置するように基点ポインター３４０の表示位置を変更する。
また、疑似ポインター３３０を複数表示させてもよい。例えば、基点ポインター３４０の表示位置は、動作モードがシングルタッチモードからマルチタッチモードに変更されたときのシングル実ポインター３１０の表示位置から動かさない。そして、マルチ実ポインター３２０と疑似ポインター３３０との中点の位置であって、線対称の対称軸３５０上に第２の疑似ポインター（図示略）を表示させる。第２の疑似ポインターは、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置が変更されると、この表示位置の変更に伴って表示位置が変更される。

また、操作制御部１５５は、トリガーボタン１３５の押下状態が継続している場合、操作指の操作面１４ａへの接触が検出されなくなっても、座標管理領域１６３に記録したポインターの座標を消去しない。すなわち、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０の座標はそのまま維持される。そして、操作制御部１５５は、操作面１４ａへの操作指の接触が再度検出され、入力操作取得部１１０から操作情報が入力されると、座標管理領域１６３に記録したポインターの座標を移動前の座標として、各ポインターの移動後の座標を算出する。
また、操作制御部１５５は、トリガーボタン１３５の押下状態が解除されると、座標管理領域１６３に記録したマルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０の座標を消去する。トリガーボタン１３５の押下状態が解除されたときに、操作面１４ａに操作指が接触している場合には、この操作面１４ａの接触位置に対応する表示領域ＶＲの表示位置にシングルタッチモードのシングル実ポインター３１０を表示させる。また、トリガーボタン１３５の押下状態が解除されたときに、操作面１４ａに操作指が接触していない場合、トリガーボタン１３５の押下を解除した後に検出される操作面１４ａの接触位置に対応する表示領域ＶＲの表示位置にシングル実ポインター３１０を表示させる。

また、操作制御部１５５は、動作モードがマルチタッチモードに変更されると、表示領域ＶＲに補助画像３６０を表示させる。図１５は、補助画像３６０が表示された表示領域ＶＲを示す図である。
補助画像３６０は、操作指が接触する操作面１４ａ上の位置を示す画像である。画像表示部２０を頭部に装着し、画像表示部２０により表示される画像が眼前に表示された状態では、トラックパッド１４の操作面１４ａを認識できない又は認識が難しい場合がある。この場合、接触操作の操作指が操作面１４ａの外に外れてしまう場合がある。このため、操作制御部１５５は、動作モードがマルチタッチモードに変更されると、入力操作取得部１１０から入力される操作情報に基づき、操作指が接触する操作面１４ａ上の位置を示す補助画像３６０を表示させる。補助画像３６０には、トラックパッド１４の操作面１４ａを示す画像３６１と、操作指が接触する操作面１４ａ上の位置を示すマーク３６２とが表示される。

入力操作取得部１１０から入力される操作情報には、操作指が接触した操作面１４ａの接触位置を示す座標情報が含まれる。操作制御部１５５は、入力された座標情報が示す座標を、補助画像３６０を展開するＤＲＡＭのフレーム領域内の座標であって、操作指が接触した操作面１４ａの接触位置に対応する座標に変換する。操作制御部１５５は、変換した座標を示す座標情報を画像処理部１５２に出力する。
画像処理部１５２は、補助画像３６０の展開予定のＤＲＡＭのフレーム領域に、補助画像３６０のデータを展開する。また、画像処理部１５２は、操作制御部１５５から入力された座標情報が示す座標に対応するフレーム領域の座標にマーク３６２の画像を展開する。画像処理部１５２は、ＤＲＡＭのフレーム領域に展開された画像データを表示画像データとして画像表示部２０に出力する。これにより、表示領域ＶＲの予め設定された領域に補助画像３６０が表示される。また、操作指が接触した操作面１４ａの接触位置に対応する補助画像３６０の座標には、マーク３６２の画像が表示される。

図１６は、補助画像３６０の他の表示例を示す図であり、表示領域ＶＲの全体に補助画像３６０を表示させた場合を示す図である。
操作制御部１５５は、事前に、操作面１４ａ上の座標を、表示領域ＶＲ上の座標、すなわちＤＲＡＭのフレーム領域上の座標に変換するパラメーターを生成する。操作制御部１５５は、操作面１４ａの４隅の座標を、ＤＲＡＭのフレーム領域の４隅の座標に対応付け、操作面１４ａの４隅の座標を、フレーム領域の４隅の座標に変換する変換パラメーターを生成する。操作制御部１５５は、入力操作取得部１１０から操作情報が入力されると、生成した変換パラメーターを用いて、操作情報が示す操作面１４ａの接触位置を示す座標をＤＲＡＭのフレーム領域の座標に変換する。操作制御部１５５は、変換後の座標を画像処理部１５２に出力して、ＤＲＡＭのフレーム領域の該当する座標にマーク３６２の画像を重畳させる。

図１７は、補助画像３６０の他の表示例を示す図であり、表示領域ＶＲに操作面１４ａと同一サイズの補助画像３６０を表示させた場合を示す図である。図１７には、表示領域ＶＲの中央に補助画像３６０を表示した場合を示すが、補助画像３６０は、表示領域ＶＲの左端又は右端に表示してもよい。表示領域ＶＲに操作面１４ａと同一サイズの補助画像３６０を表示させる場合、入力操作取得部１１０から入力される操作情報が示す操作面１４ａ上の座標を、ＤＲＡＭのフレーム領域の座標に変換する変換処理が簡易になる。

また、表示領域ＶＲに補助画像３６０を表示させるタイミングは、シングルタッチモードからマルチタッチモードに変更されたタイミングであってもよい。また、操作指の操作面１４ａ上の接触位置が、操作面１４ａの端部に近づいた場合に、補助画像３６０を表示させてもよい。操作制御部１５５は、操作指の接触位置と、操作面１４ａの端部との距離がしきい値として設定した距離以内になった場合に、補助画像３６０を表示させてもよい。
より詳細には、操作制御部１５５は、操作指の接触位置が操作面１４ａの角に近づくと、この角を構成する２辺と接触位置との距離を算出する。すなわち、操作制御部１５５は、接触位置の座標から角を構成する２辺に向けて垂線をそれぞれに下ろし、２辺と接触位置との距離を算出する。そして、操作制御部１５５は、算出した距離のうち、距離が短い方を選択し、選択した距離をしきい値と比較する。操作制御部１５５は、選択した距離がしきい値以下である場合に、補助画像３６０を表示させる。また、操作制御部１５５は、選択した距離がしきい値よりも大きい場合には、補助画像３６０は表示させない。角を構成する２辺のうちの距離が短い方の辺と、接触位置との距離をしきい値と比較し、距離がしきい値以下であった場合が、本発明の「操作面に対する操作位置が予め設定された領域にある場合」に相当する。

操作制御部１５５は、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置を変更すると、変更されたマルチ実ポインター３２０及び疑似ポインター３３０の動きに基づいて、使用者により入力された操作を判定する。
例えば、操作制御部１５５は、動作モードとして点対称モードが選択された場合、入力された操作は回転操作であると判定する。操作制御部１５５は、変更前のマルチ実ポインター３２０及び疑似ポインター３３０の表示位置と、変更後のマルチ実ポインター３２０及び疑似ポインター３３０の表示位置とに基づき、回転操作の回転方向及び回転量を判定する。そして、操作制御部１５５は、表示領域ＶＲに表示した画像等のオブジェクトを、検出した回転方向に、検出した回転量だけ回転させる。

また、操作制御部１５５は、動作モードとして線対称モードが選択され、マルチ実ポインター３２０及び疑似ポインター３３０を対称軸３５０から離れる方向に移動させる操作が検出された場合、この操作を拡大操作と判定する。操作制御部１５５は、拡大操作と判定した場合、移動前のマルチ実ポインター３２０と疑似ポインター３３０との距離と、移動後のマルチ実ポインター３２０と疑似ポインター３３０との距離とを算出し、算出した距離に基づいて画像等のオブジェクトを拡大させる。

また、操作制御部１５５は、マルチ実ポインター３２０及び疑似ポインター３３０を対称軸３５０に近づける方向に移動させる操作が検出された場合、この操作を縮小操作と判定する。操作制御部１５５は、縮小操作と判定した場合、移動前のマルチ実ポインター３２０と疑似ポインター３３０との距離と、移動後のマルチ実ポインター３２０と疑似ポインター３３０との距離との算出し、算出した距離に基づいて画像等のオブジェクトを縮小させる。

また、操作制御部１５５は、マルチ実ポインター３２０及び疑似ポインター３３０を対称軸３５０に平行に移動させる操作が検出された場合、この操作を平行移動と判定する。
操作制御部１５５は、平行移動と判定した場合、マルチ実ポインター３２０の対称軸３５０方向の移動距離に基づいて、画像等のオブジェクトを平行移動させる。

図１８は、補助画像３６０の他の表示例を示す図である。図１８に示す補助画像３６０は、疑似ポインター３３０の表示が表示領域ＶＲから消去された場合、又は疑似ポインター３３０と表示領域ＶＲの端部との距離が予め設定された距離よりも近くなった場合に表示される画像３６０である。
前述したように、操作制御部１５５は、表示領域ＶＲの外部に位置する座標に対応付けられたポインターが存在する場合、このポインターの座標を画像処理部１５２には通知されず、このポインターの画像が表示領域ＶＲから消去される。使用者は、ポインターが表示領域ＶＲから消去された場合、消去されたポインターの位置を認識することができない。このため、操作制御部１５５は、図１８に示す補助画像３６０を表示領域ＶＲに表示させて、消去されたポインターの位置を補助画像３６０により示してもよい。図１８に示す補助画像３６０には、表示領域ＶＲを示す画像３６５と、図６に示す座標管理領域１６３を示す画像３６６とが表示される。また、図１８に示す補助画像３６０には、マルチ実ポインター３２０を示す画像３６７と、疑似ポインターを示す画像３６８と、基点ポインター３４０を示す画像３６９とが表示される。疑似ポインターを示す画像３６８は、座標管理領域１６３を示す画像３６６上であって、表示領域ＶＲを示す画像３６５の外側に表示される。

図１９及び図２０は、ＨＭＤ１００の制御部１５０の動作を示すフローチャートである。
まず、制御部１５０は、制御装置１０のトリガーボタン１３５が押下されたか否かを判定する（ステップＳ１）。制御部１５０は、トリガーボタン１３５が押下されていない場合（ステップＳ１／ＮＯ）、制御部１５０の動作モードをシングルタッチモードとし（ステップＳ２）、操作面１４ａに対する接触操作の操作情報が入力操作取得部１１０から入力されたか否かを判定する（ステップＳ３）。制御部１５０は、操作情報が入力されなかった場合（ステップＳ３／ＮＯ）、ＨＭＤ１００の電源がオフされたか否かを判定する（ステップＳ５）。制御部１５０は、ＨＭＤ１００の電源がオフされた場合（ステップＳ５／ＹＥＳ）、ＲＡＭ等の揮発性メモリーに記憶させたデータを記憶部１６０に記憶させ、シャットダウンを実行して処理を終了する。
また、制御部１５０は、ＨＭＤ１００の電源がオフされていないと判定する場合（ステップＳ５／ＮＯ）、ステップＳ１に戻りトリガーボタン１３５が押下されたか否かを判定する（ステップＳ１）。また、制御部１５０は、操作情報が入力された場合（ステップＳ３／ＹＥＳ）、シングル実ポインター３１０の表示位置を、入力された操作情報に従って移動させる（ステップＳ４）。制御部１５０は、シングル実ポインター３１０の表示位置を変更すると、ステップＳ１に戻り、トリガーボタン１３５が押下されたか否かを判定する（ステップＳ１）。

また、制御部１５０は、ステップＳ１においてトリガーボタン１３５が押下された場合（ステップＳ１／ＹＥＳ）、ＨＭＤ１００の動作モードをマルチタッチモードに設定する（ステップＳ６）。次に、制御部１５０は、入力操作取得部１１０から接触操作の操作情報が入力されたか否かを判定する（ステップＳ７）。制御部１５０は、操作情報が入力されていない場合（ステップＳ７／ＮＯ）、トリガーボタン１３５が押下された状態が継続しているか否かを判定する（ステップＳ８）。制御部１５０は、トリガーボタン１３５の押下状態が継続していないと判定した場合（ステップＳ８／ＮＯ）、ステップＳ２に移行して動作モードをシングルタッチモードに変更する（ステップＳ２）。
また、制御部１５０は、トリガーボタン１３５の押下状態が継続している場合（ステップＳ８／ＹＥＳ）、ステップＳ７に戻り入力操作取得部１１０から操作情報が入力されたか否かを判定する（ステップＳ７）。

また、制御部１５０は、入力操作取得部１１０から操作情報が入力された場合（ステップＳ７／ＹＥＳ）、操作情報が示す操作面１４ａの接触位置に対応する表示領域ＶＲの位置にポインターを表示させる（ステップＳ９）。マルチタッチモードの場合、制御部１５０は、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０の３つのポインターを表示させる（ステップＳ９）。このとき、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０は、同一の位置に重なって表示される。

次に、制御部１５０は、補助画像３６０を表示領域ＶＲに表示させる（ステップＳ１０）。補助画像３６０には、操作情報が示す操作面１４ａの接触位置を示すマーク３６２の画像が表示される。次に、制御部１５０は、入力された操作情報から操作指の接触面積を示す情報を取得し、取得した情報が示す接触面積を予め設定されたしきい値と比較する。制御部１５０は、接触面積がしきい値以上である場合（ステップＳ１１／ＹＥＳ）、動作モードを点対称モードに設定する（ステップＳ１２）。そして、制御部１５０は、入力操作取得部１１０から次の操作情報が入力されたか否かを判定する（ステップＳ１３）。制御部１５０は、次の操作情報が入力されない場合（ステップＳ１３／ＮＯ）、トリガーボタン１３５の押下状態が継続しているか否かを判定する（ステップＳ１４）。制御部１５０は、トリガーボタン１３５の押下状態が継続していない場合（ステップＳ１４／ＮＯ）、ステップＳ２に移行して動作モードをシングルタッチモードに変更するステップＳ２）。また、制御部１５０は、トリガーボタン１３５の押下状態が継続している場合（ステップＳ１４／ＹＥＳ）、ステップＳ１３の判定に戻る。

また、制御部１５０は、操作情報が入力された場合（ステップＳ１３／ＹＥＳ）、この操作情報に含まれる移動方向及び移動距離の情報に基づき、操作指の接触位置に変化があるか否かを判定する（ステップＳ１５）。制御部１５０は、接触位置に変化がないと判定する場合（ステップＳ１５／ＮＯ）、ステップＳ１３に戻り、次の操作情報が入力操作取得部１１０から入力されたか否かを判定する（ステップＳ１３）。また、制御部１５０は、接触位置に変化があったと判定する場合（ステップＳ１５／ＹＥＳ）、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置を変更する（ステップＳ１６）。具体的には、制御部１５０は、操作情報に含まれる移動方向に対応する方向であって、操作情報に含まれる移動距離に対応する距離だけマルチ実ポインター３２０の表示位置を変更する。また、制御部１５０は、基点ポインター３４０の表示位置を点対称の中心として、マルチ実ポインター３２０に対して点対称な位置に疑似ポインター３３０を表示させる。

次に、制御部１５０は、変更されたマルチ実ポインター３２０及び疑似ポインター３３０の動きに基づいて、使用者により入力された操作を判定する。制御部１５０は、判定した操作に対応した処理を実行する（ステップＳ１７）。

次に、制御部１５０は、トリガーボタン１３５が押下状態であるか否かを判定する（ステップＳ１８）。制御部１５０は、トリガーボタン１３５が押下状態である場合（ステップＳ１８／ＹＥＳ）、ステップＳ１３に戻り、入力操作取得部１１０から操作情報が入力されたか否かを判定する（ステップＳ１３）。また、制御部１５０は、トリガーボタン１３５の押下状態が解除された場合（ステップＳ１８／ＮＯ）、ステップＳ２に戻り動作モードをシングルタッチモードに変更する。

また、制御部１５０は、ステップＳ１１の判定において、接触面積がしきい値よりも小さいと判定すると（ステップＳ１１／ＮＯ）、動作モードとして線対称モードを選択する（ステップＳ１９）。そして、制御部１５０は、入力操作取得部１１０から次の操作情報が入力されたか否かを判定する（ステップＳ２０）。制御部１５０は、次の操作情報が入力されない場合（ステップＳ２０／ＮＯ）、トリガーボタン１３５の押下状態が継続しているか否かを判定する（ステップＳ２１）。制御部１５０は、トリガーボタン１３５の押下状態が継続していない場合（ステップＳ２１／ＮＯ）、ステップＳ２に移行して動作モードをシングルタッチモードに変更する（ステップＳ２）。また、制御部１５０は、トリガーボタン１３５の押下状態が継続している場合（ステップＳ２１／ＹＥＳ）、ステップＳ２０に戻り入力操作取得部１１０から次の操作情報が入力されたか否かを判定する（ステップＳ１９）。

また、制御部１５０は、操作情報が入力された場合（ステップＳ２０／ＹＥＳ）、入力された操作情報に基づき、操作指の接触位置に変化があるか否かを判定する（ステップＳ２２）。制御部１５０は、接触位置に変化がないと判定する場合（ステップＳ２２／ＮＯ）、ステップＳ２０に戻り、次の操作情報が入力操作取得部１１０から入力されたか否かを判定する（ステップＳ２０）。また、制御部１５０は、接触位置に変化があったと判定する場合（ステップＳ２２／ＹＥＳ）、操作情報に含まれる移動方向及び移動距離の情報に基づいて、線対称の対称軸３５０を設定する方向を判定する（ステップＳ２３）。制御部１５０は、接触操作の操作面１４ａ上のｘ方向の移動距離がｙ方向の移動距離よりも大きい場合には、表示領域ＶＲのＸ軸に平行な方向に線対称の対称軸３５０を設定する。また、制御部１５０は、接触操作の操作面１４ａ上のｙ方向の移動距離がｘ方向の移動距離よりも大きい場合には、表示領域ＶＲのＹ軸に平行な方向に線対称の対称軸３５０を設定する。

制御部１５０は、線対称の対称軸３５０を設定すると、入力された操作情報に含まれる移動方向及び移動距離の情報に基づいて、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置を変更する（ステップＳ２４）。具体的には、制御部１５０は、操作情報に含まれる移動方向に対応する方向であって、操作情報に含まれる移動距離に対応する距離だけマルチ実ポインター３２０の表示位置を移動させる。また、制御部１５０は、設定した線対称の対称軸３５０に対して、マルチ実ポインター３２０の線対称の位置に表示されるように疑似ポインター３３０の表示位置を変更する。

次に、制御部１５０は、変更されたマルチ実ポインター３２０及び疑似ポインター３３０の表示位置に基づいて、使用者により入力された操作を判定する。制御部１５０は、判定した操作に対応した処理を実行する（ステップＳ２５）。

次に、制御部１５０は、トリガーボタン１３５が押下状態であるか否かを判定する（ステップＳ２６）。制御部１５０は、トリガーボタン１３５が押下状態である場合（ステップＳ２６／ＹＥＳ）、ステップＳ２０に戻り、入力操作取得部１１０から操作情報が入力されたか否かを判定する（ステップＳ２０）。また、制御部１５０は、トリガーボタン１３５の押下状態が解除された場合（ステップＳ２６／ＮＯ）、ステップＳ２に戻り動作モードをシングルタッチモードに変更する。

図２１は、ＨＭＤ１００の制御部１５０の第２の動作を示すフローチャートである。この動作モードでは、複数本の操作指によるマルチタッチ操作も可能な場合の処理フローである。
まず、制御部１５０は、トラックパッド１４の操作面１４ａに接触する操作指の本数を検出する（ステップＳ３１）。操作面１４ａに複数本の操作指を同時に接触させた場合、入力操作取得部１１０は、操作面１４ａ上の複数の位置を示す座標情報を操作情報として制御部１５０に出力する。このため、制御部１５０は、入力操作取得部１１０から入力される操作情報に基づいて操作面１４ａに接触する操作指の本数を検出することができる。

次に制御部１５０は、検出した操作指の本数が０本である場合（ステップＳ３２／ＹＥＳ）、表示領域ＶＲに表示させたポインター（シングル実ポインター３１０、又はマルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０）を非表示にする（ステップＳ３３）。また、制御部１５０は、検出した操作指の本数が０本ではなく（ステップＳ３３／ＮＯ）、２本以上の操作指が検出された場合（ステップＳ３４／ＹＥＳ）、検出した複数本の操作指によりマルチタッチ操作を行うマルチタッチモードに設定する（ステップＳ３５）。そして、制御部１５０は、複数本の操作指によるマルチタッチ操作を実行するため、他の処理フローに移行する（ステップＳ３６）。また、制御部１５０は、マルチタッチ操作のための処理と並行して、操作面１４ａに接する操作指の本数を検出する（ステップＳ３１）。制御部１５０は、操作面１４ａに接する操作指の本数に変化があった場合には、図２１に示すフローに戻り、検出した本数に対応した処理を実行する。

また、制御部１５０は、検出した操作指の本数が２本以上ではない場合（ステップＳ３４／ＮＯ）、１本の操作指によりマルチタッチ操作を行うマルチタッチモードに移行するか否かを判定する（ステップＳ３７）。制御部１５０は、トリガーボタン１３５が押下されたか否かを判定して、マルチタッチモードに移行するか否かを判定する。制御部１５０は、マルチタッチモードに移行しないと判定した場合（ステップＳ３７／ＮＯ）、シングル実ポインター３１０を表示領域ＶＲに表示させる（ステップＳ３８）。また、制御部１５０は、マルチタッチモードに移行すると判定した場合（ステップＳ３７／ＹＥＳ）、表示領域ＶＲに補助画像３６０を表示させる（ステップＳ３９）。

次に制御部１５０は、補助画像３６０を表示領域ＶＲに表示させると、使用者により選択されたモードは点対称モードであるか否かを判定する（ステップＳ４０）。制御部１５０は、入力操作取得部１１０から入力される操作情報に含まれる接触面積の情報を、予め設定されたしきい値と比較して、点対称モードが選択されたか否かを判定する。制御部１５０は、操作指の選択面積がしきい値よりも大きい場合、点対称モードが選択されたと判定する（ステップＳ４０／ＹＥＳ）。この場合、制御部１５０は、シングル実ポインター３１０を表示領域ＶＲに表示させると共に、疑似ポインター３３０と点対称に疑似ポインター３３０を表示させる（ステップＳ４１）。そして、制御部１５０は、トリガーボタン１３５から指が離され（ステップＳ４２）、トリガーボタン１３５の押下が解除されたか否かを判定してマルチタッチモードを解除するか否かを判定する。制御部１５０は、トリガーボタン１３５の押下が解除された場合（ステップＳ４２／ＹＥＳ）、ステップＳ３１の判定に戻る。また、制御部１５０は、トリガーボタン１３５の押下が解除されていない場合（ステップＳ４２／ＮＯ）、操作情報に従ってマルチ実ポインター３２０の表示位置を変更し、さらに疑似ポインター３３０をマルチ実ポインター３２０の点対称の位置に表示させる（ステップＳ４１）。

また、制御部１５０は、操作指の選択面積がしきい値以下の場合、線対称モードが選択されたと判定する（ステップＳ４０／ＮＯ）。この場合、制御部１５０は、シングル実ポインター３１０を表示領域ＶＲに表示させると共に、疑似ポインター３３０と線対称に疑似ポインター３３０を表示させる（ステップＳ４３）。そして、制御部１５０は、トリガーボタン１３５から指が離され（ステップＳ４４）、トリガーボタン１３５の押下が解除されたか否かを判定してマルチタッチモードを解除するか否かを判定する。制御部１５０は、トリガーボタン１３５の押下が解除された場合（ステップＳ４４／ＹＥＳ）、ステップＳ３１の判定に戻る。また、制御部１５０は、トリガーボタン１３５の押下が解除されていない場合（ステップＳ４４／ＮＯ）、操作情報に従ってマルチ実ポインター３２０の表示位置を変更し、さらに疑似ポインター３３０をマルチ実ポインター３２０の線対称の位置に表示させる（ステップＳ４３）。

以上説明したように本実施形態は、画像表示部２０と、トラックパッド１４の操作面１４ａと、操作を検出する操作部１１５とを備える。また、本実施形態は、シングルタッチモードとマルチタッチモードとを備える。シングルタッチモードでは、画像表示部２０に操作対象のシングル実ポインター３１０を表示させ、操作面１４ａに対する操作に対応してシングル実ポインター３１０の表示位置を変更する。また、マルチタッチモードでは、画像表示部２０にマルチ実ポインター３２０と疑似ポインター３３０とを表示させ、操作面１４ａに対する操作に対応してマルチ実ポインター３２０及び疑似ポインター３３０の表示位置を変更する。
制御部１５０は、操作部１１５により予め設定された態様の操作が検出された場合にシングルタッチモードとマルチタッチモードとを切り替える。また、制御部１５０は、マルチタッチモードにおいて、操作面１４ａに対する操作に対応して疑似ポインター３３０を画像表示部２０の表示領域ＶＲの外部に対応する位置に移動させる場合に、疑似ポインター３３０の表示態様を変更する。
従って、操作面１４ａに対する操作により、マルチ実ポインター３２０の表示位置を変更するシングルタッチモードと、マルチ実ポインター３２０及び疑似ポインター３３０の操作位置を変更するマルチタッチモードとを切り替えて実行することができる。
また、疑似ポインター３３０が画像表示部２０の表示領域ＶＲの外部に対応する位置に移動した場合に、疑似ポインター３３０の表示態様が変更される。このため、疑似ポインター３３０の表示位置が表示領域ＶＲから外れたことを使用者に認識させることができる。従って、使用者に、マルチ実ポインター３２０及び疑似ポインター３３０を操作可能な表示位置に戻させることができる。

また、制御部１５０は、マルチタッチモードにおいて、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置を管理する座標管理領域１６３を設定する。制御部１５０は、操作面１４ａに対する操作により、座標管理領域１６３でのマルチ実ポインター３２０及び疑似ポインター３３０の表示位置を示す座標を変更する。さらに、座標管理領域１６３は、表示領域ＶＲのサイズよりも大きい。
従って、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置を座標管理領域１６３での座標として管理することができる。また、座標管理領域１６３のサイズが表示領域ＶＲのサイズよりも大きいことで、マルチ実ポインター３２０又は疑似ポインター３３０が表示領域ＶＲの外側に位置する場合であっても、このオブジェクトの座標を管理することができる。

また、制御部１５０は、操作モードをマルチタッチモードに切り替える場合に、操作面１４ａに対する操作の操作位置を示す補助画像３６０を表示させる。
従って、操作モードがマルチタッチモードに切り替えられた場合に、操作面１４ａに対する操作の操作位置を示す補助画像３６０を表示させることができる。このため、使用者の頭部に装着される画像表示部２０を有するＨＭＤ１００において、操作面１４ａに対する操作の操作性を向上させることができる。

また、制御部１５０は、操作面１４ａに対する操作の操作位置が、操作面１４ａの予め設定された領域にある場合に、補助画像３６０を表示させる。
例えば、操作位置が操作面１４ａの端部である場合に補助画像３６０を表示させることで、操作面１４ａから外れた操作が行われるのを防止することができる。

また、６軸センサー２３５は、画像表示部２０の動きを検出し、制御部１５０は、６軸センサー２３５により画像表示部２０の予め設定された動きが検出された場合に、予め設定された態様の操作が検出されたと判定する。この場合、制御部１５０は、操作モードをシングルタッチモードからマルチタッチモードに切り替える。
従って、使用者が頭部を動かすことで、頭部に装着された画像表示部２０の動きが検出され、操作モードをシングルタッチモードからマルチタッチモードに切り替えることができる。

また、ＨＭＤ１００は、画像表示部２０を透過して視認される外景を含む範囲を撮像するカメラ６１を備える。制御部１５０は、カメラ６１の撮像画像に操作面１４ａを備える制御装置１０が撮像された場合に、予め設定された態様の操作が検出されたと判定し、操作モードをシングルタッチモードからマルチタッチモードに切り替える。
従って、カメラ６１に制御装置１０が撮像されるように操作部を動かすことで、操作モードをシングルタッチモードからマルチタッチモードに切り替えることができる。

また、本発明は、操作面１４ａを備える操作部は、シフト操作モードとマルチタッチモードとを切り替えるボタンを備え、制御部１５０は、ボタンの押下操作が検出された場合に、予め設定された態様の操作が検出されたと判定し、操作モードをシングルタッチモードからマルチタッチモードに切り替える。
本発明によれば、ボタンの操作により操作モードをシングルタッチモードからマルチタッチモードに切り替えることができる。

また、制御部１５０は、トリガーボタン１３５の押下操作の検出が継続している間、操作モードをマルチタッチモードとし、ボタンの押下操作が検出されなくなると、操作モードをシングルタッチモードに切り替える。
従って、トリガーボタン１３５の押下操作を継続することで、操作モードをマルチタッチモードに変更し、ボタンの押下操作を解除することで、操作モードをシングルタッチモードに変更することができる。

また、制御部１５０は、マルチタッチモードにおいて、予め設定された態様の操作に基づき設定される設定位置を挟んでマルチ実ポインター３２０と対向する表示位置に疑似ポインター３３０を表示する。
従って、設定位置を挟んで対向する位置に表示されるマルチ実ポインター３２０及び疑似ポインター３３０を、操作面１４ａに対する操作により操作することができる。このため、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置の変化を、回転や、拡大、縮小、平行移動等の操作に対応付けることで、操作面１４ａに対する操作によりこれらの操作を行うことができる。

また、制御部１５０は、マルチタッチモードにおいて、設定位置を対称の中心として、マルチ実ポインター３２０に対する点対称の位置に疑似ポインター３３０を表示する第１態様と、設定位置を対称軸として、マルチ実ポインター３２０に対する線対称の位置に疑似ポインター３３０を表示する第２態様とを切り替える。
従って、点対称の位置、又は線対称の位置に表示されたマルチ実ポインター３２０及び疑似ポインター３３０の表示位置を、操作面１４ａに対する操作により変更することができる。このため、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置の変化を、回転や、拡大、縮小、平行移動等の操作に対応付けることで、操作面１４ａに対する操作によりこれらの操作を行うことができる。

また、トラックパッド１４及び入力操作取得部１１０は、操作面１４ａに対する接触操作が行われた場合の接触面積、又は操作面１４ａへの押圧力を検出する。制御部１５０は、検出部が検出する接触面積及び押圧力の少なくともいずれかに基づき、第１態様と第２態様とのいずれかを選択する。従って、接触操作の接触面積又は押圧力を変更することで、第１態様と第２態様とを選択することができる。

また、制御部１５０は、マルチタッチモードにおいて、操作面１４ａに対する操作によりマルチ実ポインター３２０の表示位置を変化させ、マルチ実ポインター３２０の表示位置の変化に対応して疑似ポインター３３０の表示位置を変化させる。
従って、マルチ実ポインター３２０の表示位置の変化に対応して疑似ポインター３３０の表示位置が変化する。このため、操作面１４ａに対する操作により第１オジェクトの表示位置を変更することで、疑似ポインター３３０の表示位置も変更することができる。

また、制御部１５０は、マルチタッチモードにおいて、操作面１４ａの連続する位置が１の指示体により指示された場合に、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置を変更する。
従って、１本の操作指の操作によりマルチ実ポインター３２０及び疑似ポインター３３０の表示位置を変更することができる。

また、制御部１５０は、マルチタッチモードにおいて、マルチ実ポインター３２０と疑似ポインター３３０との表示位置の変化に対応した処理を実行する。
従って、操作面１４ａに対する操作により、マルチ実ポインター３２０と疑似ポインター３３０との表示位置の変化に対応した処理を実行することができる。

上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、操作面１４ａに接触する操作指の接触面積がしきい値以上である場合に点対称モードに設定し、接触面積がしきい値よりも小さい場合に線対称モードに設定した。これとは逆に、操作指の接触面積がしきい値以上である場合に線対称モードとに設定し、接触面積がしきい値よりも小さい場合に点対称モードに設定してもよい。
また、操作指による操作面１４ａの接触圧をしきい値と比較して、点対称モードと線対称モードとを切替えてもよい。例えば、接触圧がしきい値以上である場合、操作制御部１５５は動作モードとして点対称モードを選択し、接触圧がしきい値よりも小さい場合、操作制御部１５５は動作モードとして線対称モードを選択する。また、これとは逆に、操作制御部１５５は、接触圧がしきい値以上である場合に線対称モードを選択し、接触圧がしきい値よりも小さい場合に点対称モードを選択してもよい。
また、操作部１１５に操作子１３として設けられた操作ボタン１１や、上下キー１５、切替スイッチ１６等の操作により点対称モードと線対称モードとの切替えを行ってもよい。また、操作子１３を長押しする、複数の操作子１３を同時に操作する、等の操作により点対称モードと線対称モードとの切替えを行ってもよい。
また、上述した実施形態では、トリガーボタン１３５が押下されている間だけ、制御部１５０の動作モードをマルチタッチモードとしたが、マルチタッチモードとシングルタッチモードの切替えをトリガーボタン１３５が押下された回数により変更してもよい。例えば、トリガーボタン１３５が１回押下された場合、制御部１５０はシングルタッチモードを選択し、トリガーボタン１３５が２回連続して押下された場合、制御部１５０はマルチタッチモードを選択する。

また、操作制御部１５５は、６軸センサー１２３により検出される制御装置１０の向きに基づいて、シングルタッチモードとマルチタッチモード、及び点対称モードと線対称モードとの切替えを実行してもよい。
例えば、操作制御部１５５は、制御装置１０の向きが第１の向き（例えば、垂直）で、トリガーボタン１３５等の操作部１１５の操作を受け付けた場合に、シングルタッチモードとマルチタッチモードとの切替えを行う。また、操作制御部１５５は、制御装置１０の向きが第２の向き（例えば、水平）で、トリガーボタン１３５等の操作部１１５の操作を受け付けた場合に、点対称モードと線対称モードとの切替えを行う。操作部１１５の操作は、画像表示部２０に搭載された６軸センサー２３５により検出される頭部の動き（うなずきや首振り）であってもよい。

また、上述した実施形態では、トリガーボタン１３５の操作によりシングルタッチモードとマルチタッチモードとの動作モードの変更を行ったが、カメラ６１の撮像画像により動作モードの変更を行ってもよい。例えば、カメラ６１により制御装置１０が撮像された場合に、操作制御部１５５は、動作モードをシングルタッチモードからマルチタッチモードに変更し、カメラ６１により制御装置１０が撮像されなくなると、操作制御部１５５は、動作モードをマルチタッチモードからシングルタッチモードに変更してもよい。
また、画像表示部２０に搭載された６軸センサー２３５の検出値に基づいて、操作制御部１５５の動作モードを変更してもよい。例えば、操作制御部１５５は、６軸センサー２３５の検出値により使用者の頭部のうなずき（頭部の上下方向への動き）が検出された場合、操作制御部１５５は、動作モードをマルチタッチモードに変更し、首振り（頭部の左右方向への動き）が検出された場合、操作制御部１５５は、動作モードをシングルタッチモードに変更する。
また、カメラ６１の撮像画像により制御装置１０が撮像され、その後に、予め設定されたトリガーが検出された場合に、操作制御部１５５は、動作モードをシングルタッチモードからマルチタッチモードに変更してもよい。この予め設定されたトリガーは、トリガーボタン１３５の押下操作であってもよいし、操作部１１５の操作子１３の操作であってもよい。また、予め設定されたトリガーは、６軸センサー２３５の検出値により検出される使用者の頭部のうなずきや首振り動作であってもよい。

また、図７〜図１４には、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０を示す画像として円の画像を示したが、これらのポインターの画像は他の形状の画像であってもよい。例えば、マルチ実ポインター３２０及び疑似ポインター３３０が静止した状態では円の画像を表示し、接触操作により表示位置を変更する場合には、ポインターの移動方向を示す矢印の画像を表示させてもよい。
また、図７〜図１４には、マルチ実ポインター３２０、疑似ポインター３３０及び基点ポインター３４０を示す画像として同一の形状の画像を示したが、これらのポインターを示す画像をそれぞれ異なる形状の画像としてもよい。

また、上述した実施形態は、１本の操作指による接触操作により、マルチ実ポインター３２０及び疑似ポインター３３０の表示位置を変更する場合について説明したが、操作指の本数は、１本に限定されるものではなく、２本以上であってもよい。例えば、人指し指と中指、又は人指し指と中指と薬指の３本の指を接触させて、１本の操作指として操作することも可能である。

また、ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータ１６２に基づく画像や音声を出力できる。

また、上述した実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１２６が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。すなわち、制御装置１０は、箱形のケース１０Ａを備える構成に限定されない。例えば、制御装置１０に代えて、使用者の身体、着衣又は、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記の実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、画像表示部２０に代えてヘッドアップディスプレイを用いることで、自動車や飛行機等の車両に搭載することも可能である。例えば、車両にヘッドアップディスプレイを搭載する場合、トラックパッド１４の操作面１４ａに相当する操作面を車両のハンドル等に設ける。
また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１２６や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１５が使用者インターフェイス（ＵＩ）として形成されてもよい。

また、図１８〜図２０に示すフローチャートの処理単位は、ＨＭＤ１００の制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

１０…制御装置、１０Ａ…ケース、１１…操作ボタン、１２…ＬＥＤインジケーター、１３…操作子、１４…トラックパッド、１４ａ…操作面、１５…上下キー、１６…切替スイッチ、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部（表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ（撮像部）、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…頭部装着型表示装置、１１０…入力操作取得部、１１５…操作部（検出部）、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…メモリー、１２３…６軸センサー、１２４…磁気センサー、１２５…ＧＰＳ受信部、１２６…通信部、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１３５…トリガーボタン（ボタン）、１４０…メインプロセッサー、１５０…制御部、１５１…ＯＳ、１５２…画像処理部、１５３…撮像制御部、１５５…操作制御部、１６０…記憶部、１６１…設定データ、１６２…コンテンツデータ、１６３…座標管理領域、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６、２１１、２３１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３３…受信部、２３５…６軸センサー（検出部）、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１、２８１…ハーフミラー、３１０…シングル実ポインター、３２０…マルチ実ポインター（第１オブジェクト）、３３０…疑似ポインター（第２オブジェクト）、３４０…基点ポインター、３４０…疑似ポインター、３５０…対称軸、３６０…補助画像、３６２…マーク。

Claims (15)

1. 使用者の頭部に装着される頭部装着型の表示部と、
   操作面と、
   操作を検出する検出部と、
   前記表示部に操作対象の第１オブジェクトを表示させ、前記操作面に対する操作に対応して前記第１オブジェクトの表示位置を変更するシングル操作モード、及び前記表示部に前記第１オブジェクトと第２オブジェクトとを表示させ、前記操作面に対する操作に対応して前記第１オブジェクト及び前記第２オブジェクトの表示位置を変更するマルチ操作モードを実行可能に構成され、前記検出部により予め設定された態様の操作が検出された場合に前記シングル操作モードと前記マルチ操作モードとを切り替える制御部と、を備え、
   前記制御部は、前記マルチ操作モードにおいて、前記操作面に対する操作に対応して前記第２オブジェクトを前記表示部の表示領域の外部に対応する位置に移動させる場合に、前記第２オブジェクトの表示態様を変更する頭部装着型表示装置。
2. 前記制御部は、前記マルチ操作モードにおいて、前記第１オブジェクト及び前記第２オブジェクトの表示位置を管理する座標管理領域を設定し、前記操作面に対する操作により、前記座標管理領域での前記第１オブジェクト及び前記第２オブジェクトの表示位置を示す座標を変更し、
   前記座標管理領域は、前記表示領域のサイズよりも大きいことを特徴する請求項１記載の頭部装着型表示装置。
3. 前記制御部は、操作モードを前記マルチ操作モードに切り替える場合に、前記操作面に対する操作の操作位置を示す補助画像を表示させる請求項１又は２に記載の頭部装着型表示装置。
4. 前記制御部は、前記操作面に対する操作の前記操作位置が、前記操作面の予め設定された領域にある場合に、前記補助画像を表示させる請求項３記載の頭部装着型表示装置。
5. 前記検出部は、前記表示部の動きを検出し、
   前記制御部は、前記検出部により前記表示部の予め設定された動きが検出された場合に、予め設定された態様の操作が検出されたと判定し、操作モードを前記シングル操作モードから前記マルチ操作モードに切り替える請求項１から４のいずれか１項に記載の頭部装着型表示装置。
6. 前記表示部を透過して視認される外景を含む範囲を撮像する撮像部を備え、
   前記制御部は、前記撮像部の撮像画像に前記操作面を備える操作部が撮像された場合に、予め設定された態様の操作が検出されたと判定し、操作モードを前記シングル操作モードから前記マルチ操作モードに切り替える請求項１から４のいずれか１項に記載の頭部装着型表示装置。
7. 前記操作面を備える操作部は、前記シフト操作モードと前記マルチ操作モードとを切り替えるボタンを備え、
   前記制御部は、前記ボタンの押下操作が検出された場合に、予め設定された態様の操作が検出されたと判定し、操作モードを前記シングル操作モードから前記マルチ操作モードに切り替える請求項１から４のいずれか１項に記載の頭部装着型表示装置。
8. 前記制御部は、前記ボタンの押下操作の検出が継続している間、操作モードを前記マルチ操作モードとし、前記ボタンの押下操作が検出されなくなると、操作モードを前記シングル操作モードに切り替える請求項７記載の頭部装着型表示装置。
9. 前記制御部は、前記マルチ操作モードにおいて、予め設定された態様の操作に基づき設定される設定位置を挟んで前記第１オブジェクトと対向する表示位置に前記第２オブジェクトを表示する請求項１から８のいずれか１項に記載の頭部装着型表示装置。
10. 前記制御部は、前記マルチ操作モードにおいて、前記設定位置を対称の中心として、前記第１オブジェクトに対する点対称の位置に前記第２オブジェクトを表示する第１態様と、前記設定位置を対称軸として、前記第１オブジェクトに対する線対称の位置に前記第２オブジェクトを表示する第２態様とを切り替える請求項９記載の頭部装着型表示装置。
11. 前記検出部は、前記操作面に対する接触操作が行われた場合の接触面積、又は前記操作面への押圧力を検出し、
    前記制御部は、前記検出部が検出する前記接触面積及び前記押圧力の少なくともいずれかに基づき、前記第１態様と前記第２態様とのいずれかを選択する請求項１０記載の頭部装着型表示装置。
12. 前記制御部は、前記マルチ操作モードにおいて、前記操作面に対する操作により前記第１オブジェクトの表示位置を変化させ、前記第１オブジェクトの表示位置の変化に対応して前記第２オブジェクトの表示位置を変化させる請求項１から１１のいずれか１項に記載の頭部装着型表示装置。
13. 前記制御部は、前記マルチ操作モードにおいて、前記操作面の連続する位置が１の指示体により指示された場合に、前記第１オブジェクト及び前記第２オブジェクトの表示位置を変更する請求項１から１２のいずれか１項に記載の頭部装着型表示装置。
14. 前記制御部は、前記マルチ操作モードにおいて、前記第１オブジェクトと前記第２オブジェクトとの表示位置の変化に対応した処理を実行する請求項１から１３のいずれか１項に記載の頭部装着型表示装置。
15. 使用者の頭部に装着される頭部装着型の表示部と、操作面と、操作を検出する検出部とを備える頭部装着型表示装置の制御方法であって、
    前記表示部に操作対象の第１オブジェクトを表示させ、前記操作面に対する操作に対応して前記第１オブジェクトの表示位置を変更するシングル操作モード、及び前記表示部に前記第１オブジェクトと第２オブジェクトとを表示させ、前記操作面に対する操作に対応して前記第１オブジェクト及び前記第２オブジェクトの表示位置を変更するマルチ操作モードを有し、前記検出部により予め設定された態様の操作が検出された場合に前記シングル操作モードと前記マルチ操作モードとを切り替え、
    前記マルチ操作モードにおいて、前記操作面に対する操作に対応して前記第２オブジェクトを前記表示部の表示領域の外部に対応する位置に移動させる場合に、前記第２オブジェクトの表示を前記表示領域から消去する処理を実行する頭部装着型表示装置の制御方法。

Images