JP2018142168A - 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】画像の視認性を維持したまま、使用者に指示体の状態を認識させる。【解決手段】使用者の頭部に装着され、使用者が外景を視認可能に画像を表示する画像表示部２０と、カメラ６１と、カメラ６１の撮像画像に基づき指示体による操作を検出する検出制御部１４９と、検出制御部１４９が検出する操作に基づいて画像表示部２０の画像を制御する操作制御部１５１と、を備え、操作制御部１５１は、カメラ６１の撮像画像から指示体が検出された場合に、画像表示部２０により、指示体の位置及び形状の少なくともいずれかを示す手指画像３０５を表示させる頭部装着型表示装置１００。【選択図】図５

Description

本発明は、頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法に関する。

従来、頭部装着型表示装置は、ＨＭＤ（Head Mounted Display）と呼ばれ、ＨＭＤを頭部に装着した使用者に画像を視認させることができる。使用者は、ＨＭＤにより表示される画像を視認しながら作業を行うことで、作業を効率的に進めることができる。また、ＨＭＤの操作は、主としてコントローラーを用いて行われるため、操作の度にコントローラーを操作するのは不便であった。このため、直感的な操作により情報の入力が可能なＨＭＤが提案されている（例えば、特許文献１参照）。
特許文献１は、眼鏡型透過型ディスプレイに組み込まれた一体型の装着型計算機を開示する。この装着型計算機は、透過型ディスプレイ装置を被った利用者が眼前に手を開いて提示することで入力画面を呼び出し、もう一方の手で指さしする、或いは開いた手の指を折ることでメニューを選択する。

特開２００１−３１２３５６号公報

しかしながら、透過型のＨＭＤは、表示部を通して視認する外界に画像を重畳させるが、外界光よりも画像光の光が強い場合、画像光に遮られて外界の視認性が低下してしまう場合がある。このため、使用者の手を避けて画像を表示させたり、画像光の輝度を外界光の輝度よりも小さくしたりする対策も考えられる。しかし、操作を行う度に画像の表示位置が変更されてしまったり、画像光の光量が変更されてしまったりすると、使用者に煩わしさを感じさせてしまう場合があった。
本発明は、画像の視認性を維持したまま、使用者に指示体の状態を認識させることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着され、前記使用者が外景を視認可能に画像を表示する表示部と、撮像部と、前記撮像部の撮像画像に基づき指示体による操作を検出する操作検出部と、前記操作検出部が検出する操作に基づいて前記表示部の画像を制御する制御部と、を備え、前記制御部は、前記操作検出部によって前記撮像部の撮像画像から前記指示体が検出された場合に、前記表示部により、前記指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトを表示させる。
本発明によれば、撮像部の撮像画像から前記指示体が検出された場合に、表示部により、指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトが表示される。このため、表示部が画像を表示している場合であっても、この画像の視認性を維持したまま、使用者に指示体の位置又は形状を認識させることができる。

また、本発明は、前記表示部は、前記使用者が視認する外景に重ねて前記画像を表示し、前記撮像部は、前記使用者が視認する外景の少なくとも一部を含む範囲を撮像し、前記制御部は、前記表示オブジェクトを、前記使用者が外景において前記指示体を視認する位置に対応する位置に表示させる。
本発明によれば、使用者が外景において指示体を視認する位置に対応する位置に表示オブジェクトを表示させることができる。このため、表示された表示オブジェクトの位置により指示体の位置を認識することができる。

また、本発明は、前記表示部は、外光を透過可能に構成され、前記表示部を透過する外光の透過率を調整する透過率調整部を備え、前記制御部は、前記透過率調整部による外光の透過率に基づき、前記表示オブジェクトの表示と非表示とを切り替える。
本発明によれば、外光の透過率に基づいて表示オブジェクトの表示と非表示とが切り替えられる。このため、透過率調整部によって外光の透過率が低く抑えられ、外界の視認性が低下している場合には、表示オブジェクトを表示させることで、使用者に指示体の状態を認識させることができる。

また、本発明は、前記制御部は、前記表示部が表示する前記画像のサイズに基づき、前記表示オブジェクトの表示と非表示とを切り替える。
本発明によれば、表示部が表示する画像のサイズが大きく、外界の視認性が低下すると判定される場合に、表示オブジェクトを表示させることができる。

また、本発明は、前記操作検出部は、前記撮像部の撮像画像に基づき、前記指示体と、前記指示体とは異なる副指示体とを組み合わせた操作を検出する。
本発明によれば、指示体と副指示体とを組み合わせた操作により表示部の画像を制御することができる。

また、本発明は、前記制御部は、前記指示体の部位、又は前記指示体の形状を示す前記表示オブジェクトの部位に対応させて、前記制御部が実行可能な処理を特定する画像を表示させ、前記操作検出部により検出される前記指示体又は前記表示オブジェクトに対する前記副指示体の指示位置に基づいて選択された部位を判定し、判定した前記部位に対応付けられた処理を実行する。
本発明によれば、指示体又は表示オブジェクトに対する副指示体の指示位置を変更することで、指示体又は表示オブジェクトの部位に対応付けられた処理を特定する画像の選択が可能になる。また、選択した処理を特定する画像に対応した処理を実行させることができる。

また、本発明は、前記制御部は、前記指示体、若しくは前記指示体の形状を示す前記表示オブジェクトに処理を特定する前記画像を重畳して表示させる、又は前記指示体若しくは前記表示オブジェクトの周囲に処理を特定する前記画像を表示させる。
本発明によれば、指示体若しくは表示オブジェクトに重畳させて、又は指示体若しくは表示オブジェクトの周囲に表示オブジェクトを表示させることができる。従って、指示体と副指示体とを組み合わせた操作により処理を特定する画像の選択を容易に行うことができる。

また、本発明は、前記表示オブジェクトは、前記撮像部により撮像される前記使用者の手の画像、又は前記手の輪郭の一部又は全部を示す画像である。
本発明によれば、表示オブジェクトとして、使用者の手の画像、又は手の輪郭の一部又は全部を示す画像を表示させることができる。このため、表示部の表示する画像によって使用者の手が見えない場合であっても、使用者に手の画像又は手の輪郭を認識させ、使用者が手を使った操作を実行可能とすることができる。

また、本発明は、前記制御部は、前記操作検出部が検出する操作により選択された前記指示体又は前記表示オブジェクトの部位に対応付けられた処理を実行する操作モードと、前記指示体又は前記表示オブジェクトの部位に対応させる処理を設定する設定モードとを切り替えて実行する。
本発明によれば、設定モードを備えることで、手又は手の画像の部位に対応させる処理を変更することができる。また、操作モードを備えることで、指示体又は表示オブジェクトの部位に対応する処理を頭部装着型表示装置に実行させることができる。

上記課題を解決するため、本発明は、使用者の頭部に装着され、前記使用者が外景を視認可能に画像を表示する表示部と、撮像部と、前記表示部に表示させる画像を制御する制御部と、を備える頭部装着型表示装置に搭載されるコンピューターに実行させるプログラムであって、前記コンピューターに、前記撮像部の撮像画像に基づき指示体を検出する手順と、前記撮像画像から前記指示体が検出された場合に、前記表示部により、前記指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトを表示させる手順と、を実行させる。
本発明によれば、撮像部の撮像画像から前記指示体が検出された場合に、表示部により、指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトが表示される。このため、表示部が画像を表示している場合であっても、この画像の視認性を維持したまま、使用者に指示体の位置又は形状を認識させることができる。

上記課題を解決するため、本発明は、使用者の頭部に装着され、前記使用者が外景を視認可能に画像を表示する表示部と、撮像部と、前記表示部に表示させる画像を制御する制御部と、を備える頭部装着型表示装置の制御方法であって、前記撮像部の撮像画像に基づき指示体を検出するステップと、前記撮像画像から前記指示体が検出された場合に、前記表示部により、前記指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトを表示させるステップと、を有することを特徴とする。
本発明によれば、撮像部の撮像画像から前記指示体が検出された場合に、表示部により、指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトが表示される。このため、表示部が画像を表示している場合であっても、この画像の視認性を維持したまま、使用者に指示体の位置又は形状を認識させることができる。

ＨＭＤの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部を使用者の頭部側から見た要部斜視図。 ＨＭＤを構成する各部のブロック図。 制御部及び記憶部のブロック図。 表示領域に表示される画像を示す図。 表示領域に表示される画像を示す図。 表示領域に表示される画像を示す図。 表示領域に表示される画像を示す図。 表示領域に表示される画像を示す図。 表示領域に表示される画像を示す図。 表示領域に表示される画像を示す図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。

図１は、本発明を適用した実施形態のＨＭＤ（頭部装着型表示装置）１００の外観構成を示す説明図である。
ＨＭＤ１００は、使用者の頭部に装着された状態で、使用者に、外景を視認可能に画像を表示する画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、図１に示すように、平たい箱形のケース１０Ａ（筐体、あるいは本体ともいえる）を備え、ケース１０Ａに後述する各部を備える。ケース１０Ａの表面には、使用者の操作を受け付ける各種の操作ボタン１１、スイッチ、トラックパッド１４等が設けられる。これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される眼鏡形状の装着体であり、外光を透過可能に構成される。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。右導光板２６と左導光板２８との連結位置は、使用者が画像表示部２０を装着する装着状態において、使用者の眉間に位置する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムによって構成される。右導光板２６及び左導光板２８は、右表示ユニット２２及び左表示ユニット２４が出力する画像光を使用者の眼に導く。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像を使用者に視認させることによって、画像を表示する。使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に右電子シェード２２７及び左電子シェード２４７（図４）を配置し、虚像の視認のしやすさを調整できる。右電子シェード２２７及び左電子シェード２４７は、本発明の「透過率調整部」に相当する。

カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。カメラ６１は、本発明の「撮像部」に相当する。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１５０（図５）が備える検出制御部１４９の制御に従って撮像を実行し、撮像画像データを検出制御部１４９に出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

また、画像表示部２０は、右電子シェード２２７及び左電子シェード２４７を備える。右電子シェード２２７は、シェード駆動部２２８（図４）と、液晶パネル２２９とを備える。左電子シェード２４７は、シェード駆動部２４８（図４）と、液晶パネル２４９とを備える。
右電子シェード２２７の液晶パネル２２９は、右導光板２６の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。液晶パネル２２９は、図２に示すように、右導光板２６と距離をおいて配置される。これは、液晶パネル２２９を右導光板２６に貼り合わせると、画像光Ｌの右導光板２６での全反射を阻害する可能性があるからである。
左電子シェード２４７の液晶パネル２４９は、左導光板２８の前面側、すなわち、使用者の頭部の側とは反対側に設けられる。液晶パネル２４９も、図２に示すように左導光板２８と距離をおいて配置される。
また、液晶パネル２２９及び２４９を、右導光板２６及び左導光板２８に重ねて配置することも可能である。この場合、屈折率が右導光板２６及び左導光板２８の屈折率よりも低い材料を右導光板２６及び左導光板２８の全反射面に貼り合わせる必要がある。

液晶パネル２２９及び２４９は、複数の画素をマトリクス状に配置した透過型の液晶パネルである。液晶パネル２２９及び２４９は、ＴＮ（twisted nematic）液晶、ゲストホスト液晶、ＰＤＬＣ（Polymer Dispersed Liquid Crystal）等によって構成される。また、液晶パネル２２９及び２４９に代えて、エレクトロクロミック、ガスクロミックを設けてもよい。
液晶パネル２２９及び２４９は、供給電圧の増減により、外部から使用者の眼ＲＥに導かれる外光の透過率を画素単位で増減させる。本実施形態の右電子シェード２２７及び左電子シェード２４７は、供給電圧なしの状態では外光の透過率が１００％となり、供給電圧が最大の状態では外光の透過率が０％（遮断）される。

図１に戻り、制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及び、マイク６３を有するヘッドセット３０が、コネクター４６に接続される。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、使用者により操作される被操作部として、操作ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。
操作ボタン１１は、制御装置１０が実行するオペレーティングシステム（以下、ＯＳと略記する）１４３（図５）の操作等を行うためのメニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。トラックパッド１４への接触（タッチ操作）は、例えば、操作面に沿って埋設されたタッチセンサー（図示略）により検出される。

図３は、画像表示部２０を使用者の頭部側から見た要部斜視図である。すなわち、図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。なお、図３では接続ケーブル４０の図示を省略する。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６１は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。

一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５が接続される。また、メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

操作部１１０は、操作ボタン１１及びトラックパッド１４を含む。トラックパッド１４は、操作面（図示略）を備える。トラックパッド１４は、操作面へのタッチ操作を検出して、検出したタッチ操作の操作面の操作位置を特定する。トラックパッド１４は、特定したタッチ操作の操作位置を示す操作信号をメインプロセッサー１４０に出力する。

６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。又は６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。
音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して画像表示部２０に接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０の内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、ＯＬＥＤユニット２２１、カメラ６１、照度センサー６５、ＬＥＤインジケーター６７、圧電センサー２１７、シェード駆動部２２８を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

圧電センサー２１７は、例えば、右保持部２１であって、画像表示部２０が使用者の頭部に装着された状態のときに使用者の耳に当接する位置に設けられる。画像表示部２０が使用者の頭部に装着され、圧電センサー２１７に使用者の耳が当接すると、圧電センサー２１７は、接触を検出したことを示す信号を制御装置１０に出力する。

シェード駆動部２２８は、メインプロセッサー１４０に従って、右電子シェード２２７に供給される電圧を制御し、右電子シェード２２７の外光の透過率を画素単位で増減させる。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５及び磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、圧電センサー２３９及びシェード駆動部２４８を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

圧電センサー２３９は、例えば、左保持部２３であって、画像表示部２０が使用者の頭部に装着された状態のときに使用者の耳に当接する位置に設けられる。画像表示部２０が使用者の頭部に装着され、圧電センサー２３９に使用者の耳が当接すると、圧電センサー２３９は、接触が検出されたことを示す信号を制御装置１０に出力する。

シェード駆動部２４８は、メインプロセッサー１４０に従って、左電子シェード２４７に供給する電圧を制御し、左電子シェード２４７の外光の透過率を画素単位で増減させる。

インターフェイス２１１及び２３１は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図５は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図５に示す記憶部１２２は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。

制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、コンテンツデータ１２４及び辞書データ１２５を記憶する。
設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、後述する機能表示画像３１０として表示する機能の設定データや、機能表示画像３１０を表示させる指の設定データ等を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１２３に含めてもよい。

コンテンツデータ１２４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータであり、画像データ、或いは映像データを含む。また、コンテンツデータ１２４は、音声データを含んでもよい。また、コンテンツデータ１２４は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部２０に表示される画像に限定されない。
また、コンテンツデータ１２４は、コンテンツを画像表示部２０により表示する際に、制御装置１０によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２４は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。

辞書データ１２５は、予め設定された手や指の形状や位置（以下、ハンドサインという）を特定するための情報を記憶する。辞書データ１２５には、ハンドサインを特定するための情報として、ハンドサインの各形状における指の位置や形等を示すデータが含まれる。

制御部１５０は、ＯＳ１４３、画像処理部１４５、表示制御部１４７、検出制御部１４９及び操作制御部１５１の機能を備える。検出制御部１４９は、本発明の「操作検出部」に相当し、操作制御部１５１は、本発明の「制御部」に相当する。
ＯＳ１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の制御部１５０の各部は、ＯＳ１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０に表示させる画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号には、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等が含まれる。
また、画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

表示制御部１４７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

検出制御部１４９は、カメラ６１を制御して、カメラ６１に撮像画像データを生成させる。生成された撮像画像データは、記憶部１２２に一旦記憶される。
検出制御部１４９は、記憶部１２２から撮像画像データを読み出し、読み出した撮像画像データに基づき指示体による操作を検出する。本実施形態は、使用者の手や指（以下、手及び指を総称して手指という）を指示体として検出する。検出制御部１４９が検出する操作には、撮像画像データに撮像された使用者の手指の形状や位置が含まれる。

検出制御部１４９は、撮像画像データから手指が撮像された領域（以下、撮像領域という）を検出する。例えば、検出制御部１４９は、例えば、肌色抽出処理により、撮像画像データから肌色の領域を抽出し、しきい値処理により、抽出した肌色の領域の画素値を予め設定されたしきい値と比較することで手指領域を検出する。また、検出制御部１４９は、エッジ検出処理により手指領域の輪郭を抽出し、抽出した輪郭の凹凸による特徴点を、辞書データ１２５として予め登録された各ハンドサインの特徴点と比較することで、手指の形状や位置、左手や右手の判定を行ってもよい。
検出制御部１４９は、検出した情報を検出情報として操作制御部１５１に出力する。検出情報には、手指領域の範囲（水平方向の範囲、垂直方向の範囲）を示す範囲情報や、各指の位置（例えば、指先の位置）を示す位置情報が含まれる。範囲情報や位置情報は、例えば、撮像画像データの左上を原点とし、水平方向をＸ軸方向、垂直方向をＹ軸方向とした座標系での座標を示す情報である。また、検出情報には、手指の形状を示す情報や、検出した手指領域が左手の手指であるのか、右手の手指であるのかを示す情報が含まれる。
また、検出制御部１４９は、撮像画像データから使用者の手指が撮像された画像が検出されなかった場合、手指が検出されなかったことを示す情報を検出情報として操作制御部１５１に出力する。

操作制御部１５１には、検出制御部１４９から検出情報や、撮像画像データが入力される。
操作制御部１５１は、予め設定されたトリガーとなる操作が検出された場合に、表示領域ＤＡに表示オブジェクトを表示させるか否かを判定する。操作制御部１５１は、表示オブジェクトを表示させる必要があると判定する場合に、表示領域ＤＡに表示オブジェクトを表示させる。表示オブジェクトには、カメラ６１により撮像された使用者の手指の画像や、操作制御部１５１が生成する手指領域の全部又は一部の輪郭を示す輪郭画像が含まれる。本実施形態の操作制御部１５１は、カメラ６１の撮像画像データから切り出した手指領域の画像を表示オブジェクトとして表示する。表示領域ＤＡは、画像表示部２０が画像を表示可能な領域である。具体的には図３に示すハーフミラー２６１、２８１が配置された領域である。ハーフミラー２６１、２８１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを反射して、右眼ＲＥ、左眼ＬＥに入射させる部材である。このため、ハーフミラー２６１、２８１が配置された領域が表示領域ＤＡに対応する。

本実施形態は、トリガーとなる操作として、使用者が、一方の手の手のひらを使用者の顔の方向に広げる操作である場合について説明する。すなわち、操作制御部１５１は、カメラ６１の撮像画像データから、使用者の手の画像であって、手のひらを開いた状態の画像が検出された場合に、トリガーとなる操作が検出されたと判定する。
手の甲ではなく、手のひらが撮像された場合をトリガーとして設定したのは、画像表示部２０を装着した使用者が、手を使って作業を行うと、カメラ６１に使用者の手の甲が撮像される可能性が高いためである。すなわち、使用者の意図に反して表示オブジェクトが表示されるのを防止するためである。
この他に、操作部１１０の操作ボタン１１が押下された場合や、使用者が頭部を上下（うなずき）又は左右（首振り）に動かした場合を予め設定されたトリガーとして設定することもできる。以下では、カメラ６１に撮像され、操作制御部１５１に予め設定されたトリガーとなる操作として認識された手を「第１の手」という。第１の手は、使用者の左手であってもよいし、右手であってもよい。第１の手は、本発明の「指示体」に相当する。

操作制御部１５１は、トリガーとなる操作が検出されると、例えば、右電子シェード２２７及び左電子シェード２４７が駆動しているか否かを判定して、表示オブジェクトを表示させるか否かを判定する。右電子シェード２２７及び左電子シェード２４７が駆動状態にある場合、画像表示部２０を透過する外界光の透過率が低く抑えられ、使用者の眼に届く外界光の割合が低下する。このため、画像表示部２０を装着した使用者は、外界を視認し難くなる。また、右電子シェード２２７及び左電子シェード２４７が駆動状態にある場合、画像表示部２０により動画像や静止画像（動画像や静止画像をまとめて表示画像という）が表示されている可能性が高い。画像表示部２０において外界光の透過率を低く抑えることで、画像表示部２０が表示する表示画像の画像光の視認性が高くなる。画像表示部２０により表示画像が表示された状態の場合、外界の視認性が低く抑えられ、使用者は自身の手が見えない場合がある。このため、操作制御部１５１は、表示領域ＤＡに表示オブジェクトを表示させて、表示オブジェクトに対する使用者の操作を検出する。
また、操作制御部１５１は、画像表示部２０により表示される画像の輝度が、外界光の輝度よりも低い場合や、外界に存在する物体と、画像表示部２０が表示する画像との色の類似度が高い場合に、表示オブジェクトを表示させてもよい。外界光の輝度は、カメラ６１により検出することができる。また、ＨＭＤ１００に光センサーを別途設けてもよい。

また、操作制御部１５１は、表示領域ＤＡに表示オブジェクトを表示させるか否かの判定を、駆動状態にある右電子シェード２２７及び左電子シェード２４７の透過率に基づいて設定してもよい。
例えば、操作制御部１５１は、右電子シェード２２７及び左電子シェード２４７の透過率が予め設定された透過率以下の場合、外界光の透過率が低く抑えられ、使用者は外界を視認し難い状態であると判定する。この場合、操作制御部１５１は、表示領域ＤＡに表示オブジェクトを表示させる。

また、操作制御部１５１は、画像表示部２０により表示画像を表示させている場合に、表示領域ＤＡに表示オブジェクトを表示させると判定してもよい。上述のように、画像表示部２０が表示画像を表示した状態では、外界の視認性が低下する。このため、操作制御部１５１は、表示領域に表示画像が表示されている場合に、表示領域ＤＡに表示オブジェクトを表示させると判定する。

また、操作制御部１５１は、表示領域ＤＡに表示画像を表示している場合に、表示領域ＤＡにおける表示画像の位置やサイズに基づいて、表示オブジェクトを表示させるか否かを判定してもよい。例えば、表示領域ＤＡの４隅のいずれかに、表示画像を小さく表示させた場合、表示画像が表示された状態でも使用者は外界を視認することが可能である。このため、操作制御部１５１は、表示領域ＤＡに表示させた表示画像のサイズが、予め設定れたサイズよりも小さい場合や、表示画像の表示位置が表示領域ＤＡの中央を含む予め設定された領域よりも外側である場合には、表示オブジェクトを表示させない。これとは逆に、表示画像のサイズが、予め設定れたサイズ以上である場合や、表示領域ＤＡの中央を含む予め設定された領域内に表示画像を表示させる場合には、表示オブジェクトを表示させる。

操作制御部１５１は、表示オブジェクトを表示させると判定した場合、検出制御部１４９から入力される検出情報に基づき、撮像画像データから第１の手の手指領域の画像データを切り出す。操作制御部１５１は、切り出した手指領域の画像データを手指画像３０５として画像表示部２０により表示させる。手指画像３０５は、本発明の「表示オブジェクト」に相当する。
また、操作制御部１５１は、検出制御部１４９から入力される検出情報に基づいて、手指領域の輪郭を示す輪郭画像を生成し、生成した輪郭画像を画像表示部２０により表示させてもよい。この輪郭画像は、手指領域の全体の輪郭を示す画像であってもよいし、手指領域の一部（例えば、指分だけや、手のひらだけ）の輪郭を示す画像であってもよい。

また、操作制御部１５１が表示させる表示オブジェクトとしての手指画像３０５は、画像表示部２０が表示画像（例えば、動画像や静止画像）を表示している場合には、この表示画像に重ならないように表示領域ＤＡに表示させてもよい。また、画像表示部２０が表示する表示画像に一部又は全部が重なるように手指画像３０５を表示させる場合、手指画像３０５の明るさを、表示画像よりも明るくしてもよいし、表示画像が動画像である場合には、動画像の再生を停止させてもよい。

また、操作制御部１５１が手指画像３０５や輪郭画像を表示させる表示領域ＤＡの位置は、撮像画像データに撮像された使用者の手指の位置に対応する位置である。
操作制御部１５１が予め実行するキャリブレーションにより、表示領域ＤＡ上の座標と、カメラ６１の撮像画像上の座標とは対応付けがされている。例えば、操作制御部１５１は、画像表示部２０により予め設定されたマーカーを、表示領域ＤＡの予め設定された位置に表示する。使用者は、画像表示部２０により表示されるマーカーを認識し、表示されたマーカーの位置に手の指先を合わせ、操作部１１０の操作ボタン１１等を押下する。制御部１５０は、操作ボタン１１の押下操作を受け付けると、カメラ６１に撮像を実行させ、カメラ６１の撮像画像データを取得する。検出制御部１４９は、取得した撮像画像データから手指領域を検出して、撮像画像データ上の指先の位置を特定する。操作制御部１５１は、検出制御部１４９により特定された指先の位置に基づいて、マーカーを表示させた表示領域ＤＡ上の座標と、特定した指先の位置を示す撮像画像データ上の座標とを対応付ける。また、操作制御部１５１は、前述の処理を、マーカーを表示させる位置を変更しながら複数回行い、撮像画像データ上の座標を、表示領域ＤＡ上の座標に変換する変換パラメーターを生成する。

図６〜図１２は、表示領域ＤＡに表示される画像を示す図である。
図６〜図１２には、撮像画像データから切り出した手指画像３０５を表示領域ＤＡに表示した状態を示す。また、表示領域ＤＡには表示画像も表示されるが、表示画像の図示は省略する。
操作制御部１５１は、表示領域ＤＡに第１の手の手指画像３０５を表示させると、この手指画像３０５の指等に対応させて機能表示画像３１０を表示させる。機能表示画像３１０は、機能を特定する情報が表示された画像である。また、機能とは、制御部１５０がアプリケーションプログラムを実行することで実現される機能である。アプリケーションプログラムが、例えば、表示画像の表示プログラムである場合、機能には、一時停止、停止、再生、巻き戻し、早送り等が含まれる。機能表示画像３１０は、本発明の「処理を特定する画像」に相当する。

図６〜図８は、第１の手の画像に機能表示画像３１０を対応付けて表示させた状態を示す。
機能表示画像３１０に表示される機能を特定する情報は、例えば、機能の名称（機能名）を表示した画像であってもよいし、機能に対応付けられた番号やアルファベット等の識別情報であってもよい。機能を特定する情報として番号等の識別情報を使用する場合、機能と識別情報との対応関係を示す画像（以下、対応表示画像という）３０１を別途表示させるとよい。
例えば、図６には、左手画像の親指の指先（部位）に機能名として機能Ａの画像を表示し、人指し指の指先（部位）に機能名として機能Ｂの画像を表示し、中指の指先（部位）に機能名として機能Ｃの画像を表示した状態を示す。また、左手の画像の薬指の指先（部位）に機能名として機能Ｄの画像を表示し、小指の指先（部位）に機能名して機能Ｅの画像を表示した状態を示す。また、図７には、左手の画像の各指（部位）に、機能表示画像３１０としての識別番号の画像を対応させて表示させた状態を示す。また、図８には、左手の画像の手のひらであって、各指の付け根部分（部位）に機能表示画像３１０としてのアルファベットの画像を対応付けて表示させた状態を示す。機能表示画像３１０の表示位置は、図６〜図８に示すものに限定されるものではなく、使用者の手又は手の画像の上であればよい。また、手又は手の画像から離れた位置であっても、手の部位に対応付けられていることが認識可能であればよい。

また、操作制御部１５１は、表示領域ＤＡに表示オブジェクトを表示させない場合、検出制御部１４９から入力される検出情報に基づいて、第１の手の各指の指先に対応する位置に機能表示画像３１０を表示させる。
本実施形態では、第１の手の指先に機能表示画像３１０を表示させる場合について説明するが、機能表示画像３１０を表示させる位置は、第１の手の画像を表示させた場合と同様に、指上であってもよいし、手のひらの上であってもよい。

図９は、機能の選択方法を示す図である。
使用者は、図６〜図８に示すように第１の手の手のひらを使用者に向けた状態で、図９に示すように他方の手（以下、第２の手という）の指を機能表示画像３１０の上に重ねる操作（以下、選択操作という）を行う。第２の手は、本発明の「副指示体」に相当する。図９には、１〜５の５つの識別番号をそれぞれに表示させた５つの機能表示画像３１０を第１の手の画像の各指の指先に表示させた状態を示す。使用者は、選択したい機能に対応付けられた識別番号の機能表示画像３１０の上に、第２の手である右手の指を重ねて選択操作を行う。本実施形態では、第１の手が左手であり、第２の手が右手である場合について説明するが、右手を第１の手とし、左手を第２の手としてもよい。また、使用者と手との距離に基づいて第１の手及び第２の手を設定してもよい。例えば、使用者（すなわち、画像表示部２０のカメラ６１）からの距離が遠いほうの手を第１の手とし、使用者からの距離が近いほうの手を第２の手としてもよい。画像表示部２０のカメラ６１との距離は、撮像画像データに撮像された手の大きさに基づいて判定することができる。また、ＨＭＤ１００の画像表示部２０に距離センサーを設けて、この距離センサーにより使用者の左手と右手との距離をそれぞれ求めてもよい。また、カメラ６１をステレオカメラとし、カメラ６１の撮像する２枚の撮像画像データを用いて三角測量の原理により各手までの距離を検出してもよい。
操作制御部１５１は、第１の手の場合と同様に、撮像画像データから第２の手の手指領域の画像データを切り出す。操作制御部１５１は、切り出した手指領域の画像データを手指画像３０６として画像表示部２０により表示させる。

操作制御部１５１は、第１の手の手指画像３０５及び機能表示画像３１０が表示領域ＤＡに表示されると、検出制御部１４９に、カメラ６１による撮像を指示する。検出制御部１４９は、操作制御部１５１から指示が入力されると、カメラ６１に撮像を実行させる。そして、検出制御部１４９は、撮像された撮像画像データから手指領域の範囲や、各指の位置、手指の形状、手指領域が左手であるのか右手であるのか等を検出し、検出した情報を検出情報として操作制御部１５１に出力する。
操作制御部１５１は、検出制御部１４９から入力される検出情報に基づいて、使用者により選択された機能表示画像３１０を判定する。トリガーとなる操作として認識された第１の手の位置は固定である。このため、検出制御部１４９が検出する第１の手の位置も変動が検出されないか又は所定範囲内の変動しか検出されない。操作制御部１５１は、撮像画像データに撮像された第２の手の指先の位置に対応する表示領域ＤＡの位置に、機能表示画像３１０が表示されているか否かを判定する。操作制御部１５１は、第２の手の指先を検出した撮像画像データの位置に対応する表示領域ＤＡの位置に機能表示画像３１０が表示されていない場合、機能表示画像３１０は選択されていないと判定する。また、操作制御部１５１は、第２の手の指先を検出した撮像画像データの位置に対応する表示領域ＤＡの位置に機能表示画像３１０が表示されている場合、この位置に表示された機能表示画像３１０に対応する機能が選択されたと判定する。

操作制御部１５１は、機能表示画像３１０が選択されると、選択された機能表示画像３１０を点滅させる。また、操作制御部１５１は、選択された機能表示画像３１０の表示色を、他の機能表示画像３１０の表示色とは別の色に変更したり、選択された機能表示画像３１０の明るさを他の機能表示画像３１０の明るさとは異なる明るさに変更したりしてもよい。機能表示画像３１０を点滅させたり、表示色を変更したり、画像の明るさを変更することで、選択されたと判定した機能表示画像３１０を使用者に通知することができる。

使用者は、第２の手により選択した機能の機能表示画像３１０が点滅していない場合、再度、第２の手の指を機能表示画像３１０上に重ねる選択操作を行う。また、使用者は、選択した機能の機能表示画像３１０が点滅している場合、選択操作を確定させるため、第１の手の形状を予め設定された形状に変化させる。

使用者は、選択操作を確定させるため、第１の手である左手の形状を予め設定された形状に変更する。例えば、トリガーとなる操作では、開いた状態で認識された手のひらを閉じた状態（すなわち、グー）としたり、人指し指と中指の２本の指を立てた状態（いわゆる、チョキ）にしたりする。この手の形状は、予め設定された形状であって、使用者が任意に変更することができる。図１０には、予め設定された形状として、手を閉じた状態を示す。

操作制御部１５１は、検出制御部１４９に、カメラ６１による撮像を指示して、検出制御部１４９から入力される検出情報に基づき、第１の手の形状が予め設定された形状に変化したか否かを判定する。検出制御部１４９又は操作制御部１５１は、記憶部１２２の辞書データ１２５を参照して、第１の手の形状が予め設定された形状に変化したか否かを判定する。操作制御部１５１は、第１の手の形状が予め設定された形状に変化したと判定した場合、選択操作が確定したと判定し、点滅させた機能表示画像３１０に対応付けられた機能の実行を表示制御部１４７又は画像処理部１４５に指示する。

操作制御部１５１は、動作モードとして、操作モードと設定モードとを備える。
操作モードは、第１の手又は第１の手の画像の指先に対応する機能表示画像３１０を表示させ、第２の手による選択操作により選択された機能表示画像３１０が示す機能を実行するモードである。設定モードは、第１の手又は第１の手の画像の指先に対応付ける機能表示画像３１０を変更するモードである。

図１１及び図１２は、設定モードについて説明するための図である。
操作制御部１５１は、予め設定された操作が入力されると、第１の手又は第１の手の画像の指先に、各指に設定された機能を示す機能表示画像３１０を表示させる。また、操作制御部１５１は、表示領域ＤＡに、制御部１５０が実行可能な機能であって、第１の手の指に対応付けられていない機能の一覧を表示した画像（以下、一覧表示画像という）３０２も表示させる。図１１は、表示領域ＤＡを示す図であって、第１の手又は第１の手の画像の指先に、対応付けられた機能表示画像３１０が表示された状態を示す図である。また、図１１に示す表示領域ＤＡには、対応表示画像３０１及び一覧表示画像３０２が表示される。

使用者は、トラックパッド１４を第２の手により操作して、選択したい機能名が表示された位置にポインター３０３を移動させる。使用者は、選択したい機能名が表示された位置にポインター３０３を移動させると、トラックパッド１４の操作面を、ポインター３０３を移動させたときとは異なる押圧力で強く押す。これによりポインター３０３の位置に表示された機能名が選択される。図１２には、機能Ｋが選択された状態を示す。

次に、使用者は、トラックパッド１４上で第２の手の指を移動させ、ポインター３０３を、対応付ける機能を変更する機能表示画像３１０の表示位置まで移動させる。このとき、図１２に示すように、ポインター３０３の移動に伴って選択された機能名の画像も移動する（ドラッグ操作）。
使用者は、機能名を示す画像を、機能を変更したい機能表示画像３１０の表示位置まで移動させると、トラックパッド１４から第２の手の指を離しドロップ操作を行う。このドロップ操作により、使用者により選択された機能表示画像３１０に対応付けられた機能が、使用者に選択された機能名の画像に対応する機能に変更される。図１２に示す例では、「５」の番号を表示した機能表示画像３１０に対応付けられた機能が、機能Ｅから機能Ｋに変更された様子を示す。

図１３は、制御部１５０の動作を示すフローチャートである。
制御部１５０は、カメラ６１に撮像を実行させ、カメラ６１によって撮像された撮像画像データを記憶部１２２から読み出す。制御部１５０は、読み出した撮像画像データに第１の手の画像が撮像されているか否かを判定し、トリガーとなる操作が入力されたか否かを判定する（ステップＳ１）。ここで検出される第１の手の画像は、手のひらが撮像された画像であって、左手の画像であっても右手の画像であってもよい。

制御部１５０は、撮像画像データから第１の手の画像が検出されなかった場合（ステップＳ１／ＮＯ）、第１の手の画像が検出されるまで待機する。また、制御部１５０は、第１の手の画像が検出された場合（ステップＳ１／ＹＥＳ）、右電子シェード２２７及び左電子シェード２４７が駆動状態にあるか否かを判定する（ステップＳ２）。

制御部１５０は、右電子シェード２２７及び左電子シェード２４７が駆動状態にはないと判定した場合（ステップＳ２／ＮＯ）、撮像画像データに基づいて第１の手の各指の位置を特定する。そして、制御部１５０は、特定した第１の手の各指の指先に、各指に対応付けられた機能表示画像３１０を表示させる（ステップＳ４）。
また、制御部１５０は、右電子シェード２２７及び左電子シェード２４７が駆動状態にあると判定した場合（ステップＳ２／ＹＥＳ）、撮像画像データから第１の手の手指領域が撮像された画像である手指画像３０５を切り出す。制御部１５０は、切り出した手指画像３０５を表示オブジェクトとして表示領域ＤＡに表示させる（ステップＳ３）。そして、制御部１５０は、手指画像３０５の各指の指先に、各指に対応付けられた機能表示画像３１０を表示させる（ステップＳ４）。

次に、制御部１５０は、カメラ６１に撮像を実行させ、カメラ６１の撮像画像データに第２の手の画像が撮像されているか否かを判定する（ステップＳ５）。制御部１５０は、第２の手の画像が撮像されていないと判定する場合（ステップＳ５／ＮＯ）、機能表示画像３１０を表示領域ＤＡに表示させてから予め設定された時間を経過したか否かを判定する（ステップＳ１０）。制御部１５０は、予め設定された時間を経過していない場合（ステップＳ１０／ＮＯ）、ステップＳ５の判定に戻り、撮像画像データに第２の手の画像が撮像されたか否かを判定する。
また、制御部１５０は、予め設定された時間を経過したと判定した場合（ステップＳ１０／ＹＥＳ）、表示領域ＤＡに表示させた機能表示画像３１０の表示を消去して（ステップＳ１１）、ステップＳ１の判定に戻る。

また、制御部１５０は、撮像画像データに第２の手の画像が撮像されている場合（ステップＳ５／ＹＥＳ）、撮像画像データに撮像された第２の手の指先に対応する表示領域ＤＡの表示位置に表示した機能を判定する（ステップＳ６）。次に、制御部１５０は、カメラ６１に撮像を実行させ、カメラ６１の撮像画像データから、第１の手の画像であって、予め設定された形状の画像が検出されたか否かを判定する（ステップＳ７）。例えば、制御部１５０は、閉じられた状態の第１の手が撮像されたか否かを判定する。制御部１５０は、撮像画像データに、予め設定された形状の第１の手の画像が撮像されていないと判定した場合（ステップＳ７／ＮＯ）、予め設定された時間を経過したか否かを判定する（ステップＳ９）。制御部１５０は、予め設定された時間を経過していない場合（ステップＳ９／ＮＯ）、ステップＳ７の判定に戻り、予め設定された形状の画像が撮像されたか否かを判定する（ステップＳ７）。また、制御部１５０は、予め設定された時間が経過したと判定した場合（ステップＳ９／ＹＥＳ）、表示領域ＤＡに表示させた機能表示画像３１０の表示を消去して、ステップＳ１の判定に戻る。

また、制御部１５０は、撮像画像データから、予め設定された形状の第１の手の画像が検出された場合（ステップＳ７／ＹＥＳ）、ステップＳ６で判定された機能表示画像３１０に対応付けられた機能が選択されたと判定する。制御部１５０は、この選択された機能を実行するように表示制御部１４７又は画像処理部１４５に通知する（ステップＳ８）。

図１４は、機能変更操作の手順を示すフローチャートである。
まず、制御部１５０は、予め設定された操作を受け付けたか否かを判定する（ステップＳ２１）。この操作は、操作部１１０の操作ボタン１１に対する操作であってもよいし、使用者が頭部を上下（うなずき）又は左右（首振り）に動かす操作であってもよい。
制御部１５０は、予め設定された操作が受け付けていない場合（ステップＳ２１／ＮＯ）、予め設定された操作を受け付けるまで待機する。また、制御部１５０は、予め設定された操作を受け付けた場合（ステップＳ２１／ＹＥＳ）、右電子シェード２２７及び左電子シェード２４７が駆動状態にあるか否かを判定する（ステップＳ２２）。

制御部１５０は、右電子シェード２２７及び左電子シェード２４７が駆動状態にはない場合（ステップＳ２２／ＮＯ）、撮像画像データに撮像された第１の手の各指の位置を特定する。そして、制御部１５０は、特定した第１の手の各指の指先に、各指に対応付けられた機能表示画像３１０を表示させ、また、実行可能な機能の一覧を表示した一覧表示画像を表示させる（ステップＳ２４）。
また、制御部１５０は、右電子シェード２２７及び左電子シェード２４７が駆動状態にあると判定した場合（ステップＳ２２／ＹＥＳ）、第１の手の手指領域の画像である手指画像３０５を撮像画像データから切り出す。制御部１５０は、切り出した手指画像３０５を表示オブジェクトとして表示領域ＤＡに表示させる。また、制御部１５０は、手指画像３０５の各指の指先に、各指に対応付けられた機能表示画像３１０を表示させると共に、制御部１５０が実行可能な機能の一覧を表示した一覧表示画像３０２を表示させる（ステップＳ２４）。

次に、制御部１５０は、トラックパッド１４に対するドラッグ操作が検出されたか否かを判定する（ステップＳ２５）。ドラッグ操作が検出されない場合（ステップＳ２５／ＮＯ）、制御部１５０は、ドラッグ操作が検出されるまで待機する。また、制御部１５０は、ドラッグ操作が検出された場合（ステップＳ２５／ＹＥＳ）、このドラッグ操作により選択された機能名を示す画像の表示位置を、ドラッグ操作の操作位置に対応する位置に変更する（ステップＳ２６）。

次に、制御部１５０は、ドロップ操作が検出されたか否かを判定する（ステップＳ２７）。制御部１５０は、ドロップ操作を検出していない場合（ステップＳ２７／ＮＯ）、ステップＳ２６の処理に戻り、機能名を示す画像の表示位置を、ドラッグ操作の操作位置に対応する位置に変更する。
また、制御部１５０は、ドロップ操作を検出した場合（ステップＳ２７／ＹＥＳ）、ドロップされた位置に表示された機能表示画像３１０に対応付けられた機能を判定する。そして、制御部１５０は、機能表示画像３１０に対応付けられた機能を、ドラッグ操作で選択された機能名の機能に変更する（ステップＳ２８）。次に、制御部１５０は、終了操作として設定された操作を受け付けたか否かを判定する（ステップＳ２９）。例えば、操作部１１０の操作ボタン１１を押下する押下操作が終了操作として設定されている場合、制御部１５０は、この操作ボタン１１の押下操作が検出されたか否かを判定する。制御部１５０は、操作ボタン１１の押下操作が検出された場合（ステップＳ２９／ＹＥＳ）、この処理フローを終了させる。また、制御部１５０は、操作ボタン１１の押下操作が検出されなかった場合（ステップＳ２９／ＮＯ）、ステップＳ２５に戻り、ドラッグ操作の検出を再開する。

以上説明したように本実施形態は、画像表示部２０と、カメラ６１と、検出操作制御部１５１１４９と、選択操作制御部１５１１５１とを備える。画像表示部２０は、使用者の頭部に装着され、使用者が外景を視認可能に画像を表示する。検出操作制御部１５１１４９は、カメラ６１の撮像画像に基づき手による操作を検出する。選択操作制御部１５１１５１は、検出操作制御部１５１１４９が検出する操作に基づいて画像表示部２０の画像を制御する。また、選択操作制御部１５１１５１は、カメラ６１の撮像画像から手が検出された場合に、画像表示部２０により、手の位置及び形状の少なくともいずれかを示す手の画像を表示させる。
従って、画像表示部２０が画像を表示している場合であっても、この画像の視認性を維持したまま、使用者に手の位置又は形状を認識させることができる。

また、画像表示部２０は、使用者が視認する外景に重ねて画像を表示し、カメラ６１は、使用者が視認する外景の少なくとも一部を含む範囲を撮像する。操作制御部１５１は、手の画像を、使用者が外景において手を視認する位置に対応する位置に表示させる。
従って、表示された手の画像により使用者に手の位置を認識させることができる。

また、本発明は、画像表示部２０は、外光を透過可能に構成され、画像表示部２０を透過する外光の透過率を調整する右電子シェード２２７及び左電子シェード２４７を備える。操作制御部１５１は、右電子シェード２２７及び左電子シェード２４７による外光の透過率に基づき、手の画像の表示と非表示とを切り替える。
従って、右電子シェード２２７及び左電子シェード２４７によって外光の透過率が低く抑えられ、外界の視認性が低下している場合には、手の画像を表示させることで、使用者に手の状態を認識させることができる。

また、操作制御部１５１は、画像表示部２０が表示する画像のサイズに基づき、手の画像の表示と非表示とを切り替える。
従って、画像表示部２０が表示する画像のサイズが大きく、外界の視認性が低下すると判定される場合に、手の画像を表示させることができる。

また、検出制御部１４９は、カメラ６１の撮像画像に基づき、左手と、右手とを組み合わせた操作を検出する。従って、左手と、右手とを組み合わせた操作により画像表示部２０の画像を制御することができる。

また、操作制御部１５１は、手の部位、又は手の画像の部位に対応させて、操作制御部１５１が実行可能な処理を特定する機能表示画像３１０を表示させる。
操作制御部１５１は、検出制御部１４９により検出される第１の手（左手）又は第１の手（左手）の画像に対する第２の手（右手）手の指示位置に基づいて選択された部位を判定し、判定した部位に対応付けられた処理を実行する。
従って、第１の手又は第１の手の画像に対する第２の手の指示位置を変更することで、第１の手又は第１の手の画像の部位に対応付けられた機能表示画像３１０を選択することができる。また、ＨＭＤ１００に、選択した機能表示画像３１０に対応する処理を実行させることができる。

また、操作制御部１５１は、手、若しくは手の画像に機能表示画像３１０を重畳して表示させる、又は手若しくは手の画像の周囲に機能表示画像３１０を表示させる。
従って、左手と右手を組み合わせた操作による機能表示画像３１０の選択を容易に行うことができる。

また、手の画像は、カメラ６１により撮像される使用者の手の画像、又は手の輪郭の一部又は全部を示す画像である。
従って、画像表示部２０の表示する画像によって使用者の手が見えない場合であっても、使用者に手の画像又は手の輪郭を認識させ、使用者が手を使った操作を実行可能とすることができる。

また、本発明は、操作制御部１５１は、検出制御部１４９が検出する操作により選択された手又は手の画像の部位に対応する機能を実行する操作モードと、手又は手の画像の部位に対応させる機能を設定する設定モードとを切り替えて実行する。
従って、設定モードにより手又は手の画像の部位に対応させる機能を変更することができる。また、操作モードにより、手又は手の画像の部位に対応する処理をＨＭＤ１００に実行させることができる。

上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述した実施形態は、指示体として使用者の手を使用する場合について説明したが、指示体は使用者の手に限定されるものではない。例えば、指示体として使用者の腕に装着された時計やバンド等を用いてもよい。
また、表示オブジェクトとして用いた第１の手の画像に変えて、事前に登録され、記憶部１２２に記憶された使用者の顔写真や全身写真を用いてもよい。

また、上述した実施形態は、カメラ６１の撮像画像により使用者の手の位置や形状を判定した。この他の例として、使用者の手や腕に加速度センサーやジャイロセンサー等のセンサーを備えたウェアラブル端末を装着させ、このウェアラブル端末が検出する加速度や角速度をＨＭＤ１００に送信させる。ＨＭＤ１００は、ウェアラブル端末から受信した加速度や角速度の情報に基づいて使用者の手の位置を検出し、表示オブジェクトの表示位置を変更してもよい。また、ＨＭＤ１００に搭載されたカメラ６１の撮像画像と、ウェアラブル端末から受信した加速度や角速度の情報に基づいて使用者の手の位置を検出する構成であってもよい。
また、ひずみセンサー等のセンサーを搭載し、このセンサーを利用して手指の動きをモニタリングするグローブを用いて、使用者の手指の形状を認識する構成であってもよい。

また、上述の実施形態では、使用者の両手を使用して機能を選択する場合について説明した。これ以外に、使用者の左手又は右手の一方の手だけを使用して、処理を実行可能に構成してもよい。例えば、手のひらの指の根元に、各指に対応して機能表示画像３１０を表示させる。使用者は、選択したい機能の機能表示画像３１０が対応付けられた指を折り曲げる等によって動かす。制御部１５０は、この指の動きをカメラ６１の撮像画像データにより検出して、選択された指を判定する。そして、制御部１５０は、選択されたと判定した指の色を変更したり、表示位置を変更したりする。使用者は、ＨＭＤ１００が選択されたと判定された指が正しい場合に、開いた状態の手を閉じ（グーの形にする）動作を行って、選択操作を確定させる。

また、上述した実施形態では、表示オブジェクトとして、指示体の形状を示す手指画像３０５、３０６を表示させる場合について説明したが、ポインター等によって指示体の位置を表示させてもよい。例えば、カメラ６１の撮像画像データから指示体が検出されると、撮像画像データ上の指示体の検出位置に対応する表示領域ＤＡの位置に、ポインターを表示させる。また、撮像画像データ上の指示体の検出位置を示す画像を補助画像として表示させてもよい。

また、第１の手として設定した手と、第２の手として設定した手を途中で入れ替えることも可能である。
例えば、制御部１５０は、カメラ６１の撮像画像データにより右手が左手よりもカメラ６１に近い（左手が右手よりも離れている）と判定する場合に、左手を第１の手に設定し、右手を第２の手に設定する。制御部１５０は、第１の手として設定した左手の手指画像３０５の指に対応させて機能表示画像３１０を表示させる。
また、制御１５０は、カメラ６１により順次撮像される撮像画像データにより、使用者の左手と右手のまた、画像表示部２０は、一定間隔で判定する。制御１５０は、左手が右手よりもカメラ６１に近い（右手が左手よりも離れている）と判定する場合に、第１の手と第２の手の設定を変更して、右手を第１の手に設定し、左手を第２の手に設定する。そして、制御部１５０は、左手の手指画像３０５の指に対応させて表示させていた機能表示画像３１０を、右手の手指画像３０５の指に対応させて機能表示画像３１０を表示させる。

また、上述した実施形態では、使用者の左右の手を指示体及び副指示体として用いた場合について説明したが、指示体は、使用者の手に限らない。例えば、指示体として、先端が複数に分岐した棒状の物体を使用してもよい。この場合、指示体として使用する物体の形状や色を指示体の情報として記憶部１２２に登録しておくとよい。

また、手指画像３０５、３０６や機能表示画像３１０の色として、外界に存在する物体であって、手指画像３０５、３０６や機能表示画像３１０に重なる物体の色の補色を表示させてもよい。
例えば、制御部１５０は、表示領域ＤＡに手指画像３０５、３０６や機能表示画像３１０を表示させる場合に、カメラ６１の撮像画像データに基づき、手指画像３０５、３０６や機能表示画像３１０に重なる領域の色（複数色が含まれる場合には、最も面積が大きい色）を判定する。制御部１５０は、判定した色の補色に手指画像３０５、３０６や機能表示画像３１０を加工して、表示領域ＤＡに表示させる。

また、制御部１５０は、表示領域ＤＡに手指画像３０５、３０６や機能表示画像３１０を表示させる場合に、手指画像３０５、３０６や機能表示画像３１０にこれらの輪郭線を付与して表示させてもよい。例えば、手指画像３０５、３０６や機能表示画像３１０に付与する輪郭線の幅の設定として事前に２種類を用意する。制御部１５０は、右電子シェード２２７及び左電子シェード２４７の透過率を、予め設定されたしきい値よりも高い値に設定した場合には、幅の細い輪郭線を手指画像３０５、３０６や機能表示画像３１０に付与する。また、制御部１５０は、右電子シェード２２７及び左電子シェード２４７の透過率を、予め設定されたしきい値よりも低い場合には、幅の太い輪郭線を手指画像３０５、３０６や機能表示画像３１０に付与する。

また、表示オブジェクトとして表示する手指画像３０５、３０６の色や輪郭線の幅を、指示体である第１の手と、副指示体である第２の手とで変更してもよい。第１の手の手指画像３０５の輪郭線の幅は太く表示し、第２の手の手指画像３０６の輪郭線の幅は細く表示してもよい。

また、本実施形態は、右電子シェード２２７及び左電子シェード２４７として、供給電圧なしの状態では外光の透過率が１００％となり、供給電圧が最大の状態では外光の透過率が０％（遮断）されるノーマリーブラックの液晶を用いる場合を説明した。電子シェード２２７及び左電子シェード２４７に用いる液晶として、供給電圧なしの状態では外光の透過率が０％となり、供給電圧が最大の状態では外光の透過率が１００％となるノーマリーホワイトの液晶を用いてもよい。

また、上述した実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。例えば、制御装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、本発明は、ＡＲ表示や、ＭＲ（Mixed Reality）表示、ＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。ＡＲ表示は、実空間に重ねて画像を表示する表示であり、撮像した実空間の画像と仮想画像とを組み合わせて表示する表示であり、ＶＲ表示は、仮想画像を表示する表示である。例えば、外部から入力される映像データ又はアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１０…制御装置、１２…ＬＥＤインジケーター、１９…バイブレーター、２０…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、６１…カメラ、６３…マイク、６５…照度センサー、１００…ＨＭＤ（頭部装着型表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…コンテンツデータ、１２５…辞書データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…ＯＳ、１４５…画像処理部、１４７…表示制御部、１４９…検出制御部（操作検出部）、１５０…制御部、１５１…選択制御部（制御部）、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、、２２１…ＯＬＥＤユニット、２２７…右電子シェード（透過率調整部）、２２８…シェード駆動部、２２９…液晶パネル、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２４１…ＯＬＥＤユニット、２４７…左電子シェード（透過率調整部）、２４８…シェード駆動部、２４９…液晶パネル、３０１…対応表示画像、３０２…一覧表示画像、３０３…ポインター、３０５、３０６…手指画像、３１０…機能表示画像。

Claims (11)

1. 使用者の頭部に装着され、前記使用者が外景を視認可能に画像を表示する表示部と、
   撮像部と、
   前記撮像部の撮像画像に基づき指示体による操作を検出する操作検出部と、
   前記操作検出部が検出する操作に基づいて前記表示部の画像を制御する制御部と、を備え、
   前記制御部は、前記操作検出部によって前記撮像部の撮像画像から前記指示体が検出された場合に、前記表示部により、前記指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトを表示させる頭部装着型表示装置。
2. 前記表示部は、前記使用者が視認する外景に重ねて前記画像を表示し、
   前記撮像部は、前記使用者が視認する外景の少なくとも一部を含む範囲を撮像し、
   前記制御部は、前記表示オブジェクトを、前記使用者が外景において前記指示体を視認する位置に対応する位置に表示させる請求項１記載の頭部装着型表示装置。
3. 前記表示部は、外光を透過可能に構成され、
   前記表示部を透過する外光の透過率を調整する透過率調整部を備え、
   前記制御部は、前記透過率調整部による外光の透過率に基づき、前記表示オブジェクトの表示と非表示とを切り替える請求項１又は２記載の頭部装着型表示装置。
4. 前記制御部は、前記表示部が表示する前記画像のサイズに基づき、前記表示オブジェクトの表示と非表示とを切り替える請求項１から３のいずれか１項に記載の頭部装着型表示装置。
5. 前記操作検出部は、前記撮像部の撮像画像に基づき、前記指示体と、前記指示体とは異なる副指示体とを組み合わせた操作を検出する請求項１から４のいずれか１項に記載の頭部装着型表示装置。
6. 前記制御部は、前記指示体の部位、又は前記指示体の形状を示す前記表示オブジェクトの部位に対応させて、前記制御部が実行可能な処理を特定する画像を表示させ、
   前記操作検出部により検出される前記指示体又は前記表示オブジェクトに対する前記副指示体の指示位置に基づいて選択された部位を判定し、判定した前記部位に対応付けられた処理を実行する請求項５記載の頭部装着型表示装置。
7. 前記制御部は、前記指示体、若しくは前記指示体の形状を示す前記表示オブジェクトに処理を特定する前記画像を重畳して表示させる、又は前記指示体若しくは前記表示オブジェクトの周囲に処理を特定する前記画像を表示させる請求項６記載の頭部装着型表示装置。
8. 前記表示オブジェクトは、前記撮像部により撮像される前記使用者の手の画像、又は前記手の輪郭の一部又は全部を示す画像である請求項１から７のいずれか１項に記載の頭部装着型表示装置。
9. 前記制御部は、前記操作検出部が検出する操作により選択された前記指示体又は前記表示オブジェクトの部位に対応付けられた処理を実行する操作モードと、前記指示体又は前記表示オブジェクトの部位に対応させる処理を設定する設定モードとを切り替えて実行する請求項６記載の頭部装着型表示装置。
10. 使用者の頭部に装着され、前記使用者が外景を視認可能に画像を表示する表示部と、撮像部と、前記表示部に表示させる画像を制御する制御部と、を備える頭部装着型表示装置に搭載されるコンピューターに実行させるプログラムであって、
    前記コンピューターに、
    前記撮像部の撮像画像に基づき指示体を検出する手順と、
    前記撮像画像から前記指示体が検出された場合に、前記表示部により、前記指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトを表示させる手順と、
    を実行させるためのプログラム。
11. 使用者の頭部に装着され、前記使用者が外景を視認可能に画像を表示する表示部と、撮像部と、前記表示部に表示させる画像を制御する制御部と、を備える頭部装着型表示装置の制御方法であって、
    前記撮像部の撮像画像に基づき指示体を検出するステップと、
    前記撮像画像から前記指示体が検出された場合に、前記表示部により、前記指示体の位置及び形状の少なくともいずれかを示す表示オブジェクトを表示させるステップと、
    を有することを特徴とする頭部装着型表示装置の制御方法。
    

Images