JP2018092206A - 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】指示体による入力の精度を向上させ、使用者の使い勝手を向上させる頭部装着型表示装置、プログラム及び制御方法を提供する。【解決手段】頭部装着型表示装置（ＨＭＤ）は、外景を透過し、外景とともに視認できるように画像を表示領域に表示する画像表示部と、使用者の身体の一部を含む指示体を検出するカメラ及び検出制御部１５１と、検出制御部１５１が指示体を検出する領域を示す検出範囲画像を表示領域に表示させ、検出制御部１５１が検出する指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、表示領域において検出範囲画像に対応する位置に表示させる表示制御部１５３とを備える。【選択図】図５

Description

本発明は、頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法に関する。

従来、指示体の動き等を検出して、検出した指示体の動き等に対応した処理を実行する装置が知られている（例えば、特許文献１参照）。
特許文献１は、手話者の指文字を撮像して、撮像した画像データを処理して手話者の指文字を認識する手話認識装置を開示する。

特開２０１２−２５２５８１号公報

ところで、使用者の頭部に装着され、外景に重ねて画像を視認させる頭部装着型表示装置は、表示される画像によって外景の視認性が低下する場合があるため、頭部装着型表示装置の操作部を操作し難い場合があった。このため、入力の精度が高く、使い勝手のよい入力方法が求められていた。
本発明は、指示体による入力の精度を向上させ、使用者の使い勝手を向上させることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、前記使用者の動作に対応付けられた指示体を検出する検出部と、前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させ、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させる表示制御部と、を備える。
本発明によれば、検出部が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示されるので、指示体による入力の精度を向上させることができる。また、使用者は、指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。

また、本発明は、前記表示制御部は、前記候補を前記表示領域の候補表示エリアに表示させ、前記候補表示エリアを示す画像を、前記検出エリアを示す前記画像に対応する位置、又は前記検出エリアにおいて検出された前記指示体に対応する位置に表示させる。
本発明によれば、候補表示エリアを示す画像が、検出エリアを示す画像に対応する位置、又は検出エリアにおいて検出された指示体に対応する位置に表示される。このため、候補表示エリアに表示された候補を選択する操作が簡易になる。

また、本発明は、前記表示制御部は、前記検出部が前記候補表示エリアに対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補のいずれかを選択する。
本発明によれば、指示体の動き、形状及び位置の少なくともいずれかにより、複数の候補のいずれかを選択することができる。

また、本発明は、前記表示制御部は、前記検出部が前記候補表示エリアに表示される前記候補の文字に対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補の文字のいずれかを選択する。
本発明によれば、指示体の動き、形状及び位置の少なくともいずれかに基づき、候補として表示された複数の文字からいずれかを選択することができる。

また、本発明は、前記表示制御部は、前記検出エリアを示す前記画像の周囲に複数の前記候補を表示させ、前記検出部により検出された前記指示体の移動方向が前記候補を表示させたいずれかの方向に対応する場合に、対応する前記候補を選択する。
本発明によれば、候補を表示させた方向に指示体を移動させることで、移動させた方向に表示された候補を選択することができる。

また、本発明は、前記表示制御部は、前記検出部により検出された前記指示体の形状が、予め設定された時間以上同一の形状である場合に、前記候補を表示させる。
本発明によれば、指示体の形状が予め設定された時間以上同一の形状である場合に、候補が表示される。このため、使用者の意図する候補が表示される確率を高めることができる。

また、本発明は、表示制御部は、前記検出エリアを示す画像として、前記使用者の左手を含む指示体を検出する検出エリアを示す画像と、前記使用者の右手を含む指示体を検出する検出エリアを示す画像とを表示させる。
本発明によれば、使用者の左手を含む指示体の検出エリアを示す画像と、右手を含む指示体の検出エリアを示す画像とがそれぞれに表示される。このため、検出部が検出した指示体が左手を含む指示体であるのか、右手を含む指示体であるのかを判定する必要がなくなり、候補を表示する時間を短縮し、使用者の意図する候補が表示される確率を高めることができる。

また、本発明は、音声を入力する音声入力部を備え、前記検出部は、前記音声入力部が予め設定された音声を入力した場合に、前記指示体を検出する。
本発明によれば、予め設定された音声により、頭部装着型表示装置に、指示体の検出を開始させることができる。

また、本発明は、前記指示体としての前記使用者の手指の予め設定された動きの軌跡を示すジェスチャーと、前記候補とを対応付けたジェスチャー登録辞書と、前記手指の予め設定された形状を示すハンドサインと、前記候補とを対応付けたハンドサイン登録辞書との少なくとも一方を記憶する記憶部を備え、前記表示制御部は、前記検出部が検出する前記手指の動き又は形状と、前記ジェスチャー登録辞書又は前記ハンドサイン登録辞書とのマッチングにより前記ジェスチャー又は前記ハンドサインを選択し、選択した前記ジェスチャー又は前記ハンドサインに対応する前記候補を表示させる。
本発明によれば、使用者の手指の動き又は形状に基づいてジェスチャー又ハンドサインを特定し、特定したジェスチャー又はハンドサインに対応する候補を表示させることができる。

上記課題を解決するため、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置に搭載されたコンピューターが実行するプログラムであって、コンピューターに、前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させる手順と、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させる手順と、を実行させるプログラム。
本発明によれば、検出部が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示されるので、指示体による入力の精度を向上させることができる。また、使用者は、身体の一部を含む指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。

上記課題を解決するため、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置の制御方法であって、前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させるステップと、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させるステップと、を有する。
本発明によれば、検出部が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示されるので、指示体による入力の精度を向上させることができる。また、使用者は、身体の一部を含む指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。

ＨＭＤの外観図。 ＨＭＤの光学系の構成を示す要部平面図。 画像表示部の構成を示す斜視図。 ＨＭＤのブロック図。 制御装置の機能ブロック図。 制御部の動作を示すフローチャート。 ＨＭＤを装着した使用者の視界を示す図である。 左右の検出範囲画像内に使用者の手指が表示された状態を示す図。 候補表示領域の表示例を示す図。 制御部の動作を示すフローチャート。 候補表示領域の他の表示例を示す図。

図１は、本発明を適用したＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型表示装置）１００の外観構成を示す外観図である。
ＨＭＤ１００は、使用者の頭部に装着され、使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。画像表示部２０を頭部に装着した者を使用者という。

制御装置１０は、図１に示すように平たい箱形のケース１０Ａ（筐体又は本体ともいえる）を備える。ケース１０Ａは、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８の各部を備える。ボタン１１、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８は、使用者により操作される被操作部である。また、ＬＥＤインジケーター１２は、例えばＨＭＤ１００の動作状態を示す副表示部として機能する。使用者は、被操作部を操作することにより、ＨＭＤ１００を操作できる。制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を実現する。右表示ユニット２２は、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を実現する。左表示ユニット２４は、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。
右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導く。右導光板２６及び左導光板２８に導かれた画像光は使用者の右眼と左眼に入射して、使用者に虚像を視認させる。これにより、画像表示部２０は画像を表示する。

使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、又は、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の構成及び配置は、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように決められる。例えば、カメラ６１は、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されるが、カメラ６１を端部ＥＬ側に配置してもよく、また、右導光板２６と左導光板２８との連結部に配置してもよい。カメラ６１は、本発明の「検出部」に相当する。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。カメラ６１の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、カメラ６１の画角が、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、カメラ６１の画角は、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
カメラ６１は、制御部１５０（図５）が備える撮像制御部１４７の制御に従って撮像を実行する。カメラ６１は、撮像画像データを、後述するインターフェイス２１１を介して制御部１５０に出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６１の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２及び左表示ユニット２４は、左右対称に構成される。右表示ユニット２２は、使用者の右眼ＲＥに画像を視認させる構成として、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、左表示ユニット２４は、使用者の左眼ＬＥに画像を視認させる構成として、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図５）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図１に戻り、制御装置１０及び画像表示部２０は、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６及び制御装置１０は、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及びマイク６３を有するヘッドセット３０が、コネクター４６に接続される。
制御装置１０と画像表示部２０とを無線接続してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信により、制御装置１０と画像表示部２０とが制御信号やデータを相互に送受信する構成としてもよい。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。マイク６３は、本発明の「音声入力部」に相当する。

制御装置１０は、使用者により操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。

ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン１１は、制御装置１０が実行するオペレーティングシステム１４３（図５参照）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド１４への接触（タッチ操作）は、タッチセンサー（図示略）により検出される。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。

図３は、画像表示部２０の構成を示す斜視図であり、画像表示部２０を使用者の頭部側から見た要部構成を示す。この図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６１は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとって前方を撮像する。カメラ６１の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者が設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。

一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図１及び図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６１の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３が接続される。また、メインプロセッサー１４０には、ＧＰＳ受信部１１５、通信部１１７、ビーコン受信部１１９、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１及びＬＥＤ表示部１７を含む。操作部１１０は、ボタン１１が有するボタンやスイッチ等の操作子が操作された場合に、操作された操作子に対応する操作信号をメインプロセッサー１４０に出力する。

ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤインジケーター１２の点灯、及び消灯を制御する。また、ＬＥＤ表示部１７は、トラックパッド１４の直下に配置されるＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む構成であってもよい。この場合、ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
６軸センサー１１１及び磁気センサー１１３は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。また、６軸センサー１１１及び磁気センサー１１３は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

ＧＰＳ受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信されるＧＰＳ信号を受信する。ＧＰＳ受信部１１５は、受信したＧＰＳ信号をメインプロセッサー１４０に出力する。また、ＧＰＳ受信部１１５は、受信したＧＰＳ信号の信号強度を計測し、メインプロセッサー１４０に出力する。信号強度には、例えば、受信信号強度（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）、電界強度、磁界強度、信号雑音比（ＳＮＲ： Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）等の情報を用いることができる。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。コネクター４６はヘッドセット３０に接続される。音声インターフェイス１８２が出力する音声信号は右イヤホン３２、及び左イヤホン３４に入力され、これにより右イヤホン３２及び左イヤホン３４が音声を出力する。また、ヘッドセット３０が備えるマイク６３は、音声を集音して、音声信号を音声インターフェイス１８２に出力する。マイク６３から音声インターフェイス１８２に入力される音声信号は、外部コネクター１８４に入力される。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備える。ＵＳＢコネクター１８８は、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９６を介した伝送を実行する。

ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図２）に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３又はＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、又は電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

図５は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図５に示す記憶部１２２は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。また、制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８及び不揮発性記憶部１２１により構成される。

制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。具体的には、記憶部１２２は、設定データ１２３、コンテンツデータ１２４、パターン認識辞書１２５及び音声パターン辞書１２６を記憶する。

設定データ１２３は、ＨＭＤ１００の動作を設定する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１２３に含めてもよい。

コンテンツデータ１２４は、制御部１５０の制御によって画像表示部２０が表示する表示画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ１２４は、音声データを含んでもよい。また、コンテンツデータ１２４は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部２０に表示される画像に限定されない。
また、コンテンツデータ１２４は、コンテンツを画像表示部２０により表示する際に、制御装置１０によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２４は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。

パターン認識辞書１２５は、ジェスチャー認識辞書１２５Ａと、ハンドサイン認識辞書１２５Ｂとを備える。
ジェスチャー認識辞書１２５Ａは、ジェスチャーを特定するための情報と、文字や記号を示す情報（以下、文字情報という）とを対応付けて登録した辞書である。ジェスチャーは、予め設定された手の形状（形態）を予め設定された順番に行う手指の動きの軌跡である。ジェスチャーを特定するための情報として、各形状（形態）における指の位置や形状等を示すデータがジェスチャーごとに辞書に登録される。例えば、ジェスチャーが、握った手を開く動作、すなわち「グー」の状態の手を開いて「パー」の状態にする動作であると仮定する。この場合、ジェスチャーを特定するための情報には、手や指の変化前の形状や位置を示す情報と、変化後の形状や位置を示す情報とが含まれる。また、手や指の変化前や変化後の形状や位置を示す情報には、例えば、各指の位置等を示す情報が含まれる。具体的には、手のひらが閉じられた状態での各指の位置等を示す情報と、手のひらが開いた状態での各指の位置等を示す情報とが含まれる。
また、ハンドサイン認識辞書１２５Ｂは、ハンドサインを特定するための情報と、文字情報とを対応付けて登録した辞書である。ハンドサインは、予め設定された手や指の形状や位置を示し、ハンドサインを特定するための情報は、手や指の位置や形状を示す情報である。

また、記憶部１２２は、音声パターン辞書１２６を記憶する。
音声パターン辞書１２６は、予め設定された音声データを登録した辞書である。音声パターン辞書１２６には、例えば、指を鳴らす動作であるフィンガースナップの音声データや、例えば、トラックパッド１４等を叩くノック音の音声データが登録される。

制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、撮像制御部１４７、操作制御部１４９、検出制御部１５１及び表示制御部１５３の機能を有する。検出制御部１５１は、本発明の「検出部」に相当する。

オペレーティングシステム１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、又は２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０と別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ））で構成してもよい。

撮像制御部１４７は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４７は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶する。

操作制御部１４９は、トラックパッド１４及び操作部１１０における操作を検出し、操作に対応するデータを出力する。操作制御部１４９は、例えば、操作部１１０のボタン等が操作された場合、操作内容を示す操作データを生成して、表示制御部１５３に出力する。表示制御部１５３は、操作制御部１４９から入力される操作データに従って画像表示部２０の表示状態を変更する。
また、操作制御部１４９は、トラックパッド１４における操作を検出した場合に、トラックパッド１４における操作位置の座標を取得する。操作制御部１４９は、操作位置の軌跡を生成する。操作位置の軌跡は、トラックパッド１４のタッチ操作が解除されない間、すなわち操作体がトラックパッド１４に接触した状態が継続する間の操作位置の軌跡である。

検出制御部１５１は、カメラ６１の撮像画像データから使用者の動作に対応付けられた指示体を検出する。指示体は、例えば、使用者の手や指（以下、手指という）を用いることができる。また、指示体には、使用者の手指や腕に装着された部材を用いることができる。例えば、使用者の指に装着された指輪や、使用者の腕に装着された時計やバンド等を指示体として用いることができる。これらの指示体は、使用者が身につける物であるため、使用者が手指や腕を動かせば、手指や腕の動きに応じて指示体も一体に（一緒に）動く。
検出制御部１５１は、記憶部１２２から撮像画像データを取得し、取得した撮像画像データに撮像された使用者の手や指の領域（以下、手指領域という）を検出する。また、検出制御部１５１は、検出した手指領域に写った手指の形状や位置を特定し、特定した手指の形状や位置を、パターン認識辞書１２５に登録された情報と比較して、ジェスチャーやハンドサインを検出する。
具体的には、検出制御部１５１は、取得した撮像画像データから使用者の手指が撮像された領域を検出する。検出制御部１５１は、例えば、肌色抽出処理により、撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手指領域を検出する。また、検出制御部１５１は、エッジ検出処理により、求めた手指領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手指の形状や位置を検出する。また、検出制御部１５１は、連続して撮像される撮像画像データのそれぞれから手指の形状や位置を検出し、手指の形状や位置の変化、すなわち動きを検出する。検出制御部１５１は、手指の形状や位置を検出すると、検出した手指の形状や位置を、パターン認識辞書１２５に登録された情報と比較して、ジェスチャーやハンドサインを検出する。

本実施形態では、検出制御部１５１が、指示体としての使用者の手指を検出する場合について説明するが、検出制御部１５１が検出する指示体は、使用者の腕全体であってもよい。また、使用者が指示棒等を手に持っている場合、この指示棒を指示体として検出してもよいし、指示棒を含む使用者の手指や腕全体を検出してもよい。また、指示体として、使用者の手指に嵌められた指輪や、使用者の腕（手首）に装着された時計やバンド、使用者の爪等を用いてもよい。
また、使用者が身に付けた指輪や時計、バンドを検出し、検出した指輪や時計、バンドよりも使用者の体から離れた側を手指と判定して、ジェスチャーやハンドサインを判定してもよい。これにより、複雑な手指認識を行わなくても簡易に手指を認識することができ、ジェスチャーやハンドサインの認識にかかる時間を短縮し、ジェスチャーやハンドサインの認識精度を高めることができる。

表示制御部１５３は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１５１は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１５１は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１５３は、検出制御部１５１が検出する手指の動きや、形状及び位置の少なくともいずれかに対応する入力内容の候補を、後述する表示領域３１０に表示させる。表示制御部１５１は、検出制御部１５１が検出する手指の動きや、形状及び位置を、パターン認識辞書１２５に登録されたジェスチャーやハンドサインを特定するための情報と比較し、少なくとも一部が一致するジェスチャーやハンドサインを選択する。表示制御部１５３は、選択したジェスチャーやハンドサインに対応付けられた文字情報の示す文字の画像を入力内容の候補として表示させる。
表示制御部１５３が表示させる入力内容の候補は、文字や記号に限定されるものではない。例えば、表示制御部１５３が表示領域３１０にソフトウェアキーボードの画像を表示させ、検出制御部１５１が撮像画像データから手指の位置を検出して、選択されたキーを検出する構成であると仮定する。この場合、表示制御部１５３は、検出制御部１５１が検出した手指の位置に表示されたキーを入力内容の候補として表示してもよい。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図６は、制御部１５０の動作を示すフローチャートである。特に、図６は、使用者のジェスチャーやハンドサインを検出して、検出したジェスチャーやハンドサインに対応する文字や記号を入力する動作を示すフローチャートである。
制御部１５０は、まず、予め設定された操作を受け付けたか否かを判定する（ステップＳ１）。予め設定された操作には、例えば、ボタン１１や、上下キー１５、トラックパッド１４の操作が含まれる。
また、制御部１５０は、使用者の頭部の動きを画像表示部２０に搭載された６軸センサー２３５により検出し、予め設定された頭部の動きが検出された場合に、予め設定された操作を受け付けたと判定してもよい。例えば、制御部１５０は、６軸センサー２３５の検出値に基づいて、うなずきや首振りといった頭部の動きを検出した場合に、予め設定された操作を受け付けたと判定してもよい。
また、制御部１５０は、カメラ６１が撮像した撮像画像データから使用者の手指領域を検出し、予め設定されたジェスチャーやハンドサインが検出された場合に、予め設定された操作を受け付けたと判定してもよい。
また、制御部１５０は、マイク６３から入力される音声信号に基づき、予め設定された操作を受け付けたか否かを判定してもよい。制御部１５０は、マイク６３から入力される音声信号を、音声パターン辞書１２６から取得した音声パターンと比較する。制御部１５０は、音声パターン辞書１２６に登録されたフィンガースナップやノック音に一致する音声信号が入力された場合に、予め設定された操作を受け付けたと判定してもよい。

制御部１５０は、予め設定された操作を受け付けていないと判定した場合（ステップＳ１／ＮＯ）、予め設定された操作を受け付けるまで待機し、他に実行可能な処理があれば、この実行可能な処理を実行する。また、制御部１５０は、予め設定された操作を受け付けたと判定した場合（ステップＳ１／ＹＥＳ）、検出範囲画像３２０を表示領域３１０に表示させる（ステップＳ２）。検出範囲画像３２０及び表示領域３１０について、図７を参照しながら説明する。検出範囲画像３２０は、本発明の「検出エリアを示す画像」に相当する。

図７は、ＨＭＤ１００を装着した使用者の視界３００を示す図である。
ＨＭＤ１００の右導光板２６及び左導光板２８は、外界から入射される光を透過する。このため使用者は、外景を視認することができる。外景とは、使用者の眼に画像表示部２０越しに見える景色である。図７には、先生が黒板を使って授業を行っている授業風景が外景として視認される場合を示す。すなわち、図７は、ＨＭＤ１００を装着した生徒の視界３００を示す。
また、ＨＭＤ１００の使用者は、表示領域３１０に表示される拡張現実の画像を視認する。拡張現実の画像は、右表示ユニット２２及び左表示ユニット２４により使用者の両眼に導かれた画像光が使用者の網膜に結像することによって視認される。表示領域３１０は、ＨＭＤ１００が画像を表示することができる領域をいう。使用者は、表示領域３１０内では、ＨＭＤ１００の表示する拡張現実の画像と外景とを視認する。また、使用者は、表示領域３１０の外側では、外景を視認する。
なお、図７には、説明のため表示領域３１０を示す矩形の画像を示したが、使用者が表示領域３１０を示す画像を視認することはない。

図７には、拡張現実の画像として、検出範囲画像３２０が表示された状態を示す。検出範囲画像３２０は、制御部１５０が使用者の手や指を検出する範囲を示す画像である。制御部１５０は、カメラ６１の撮像画像データから、この検出範囲画像３２０に対応する領域を抽出し、抽出した領域から手指領域を検出する。検出範囲画像３２０を表示領域３１０に表示させることで、表示領域３１０の全体から手指を検出する必要がなくなり、手指の検出時間を短縮することができる。

また、図７には、検出範囲画像３２０として、左検出範囲画像３２１と右検出範囲画像３２２の２つの画像が表示された状態を示す。左検出範囲画像３２１は、使用者の左の手指の検出範囲を示す検出範囲画像３２０である。また、右検出範囲画像３２２は、使用者の右の手指の検出範囲を示す検出範囲画像３２０である。例えば、使用者の左手と右手とによって示されるハンドサインやジェスチャーを検出した場合、制御部１５０は、左検出範囲画像３２１と右検出範囲画像３２２との２つの検出範囲画像３２０を表示領域３１０に表示させる。
制御部１５０は、左検出範囲画像３２１に対応する撮像画像データの範囲から検出した手指領域を使用者の左手の手指と判定する。また、制御部１５０は、右検出範囲画像３２２に対応する撮像画像データの範囲から検出した手指領域を使用者の右手の手指と判定する。このため、制御部１５０は、検出した手指が右手の手指であるのか、左手の手指であるのかを判定する必要がなくなり、手指の認識にかかる時間を短縮することができる。また、左右の手指を誤って認識する誤認識の発生を低減することができる。

図７には、検出範囲画像３２０として、左検出範囲画像３２１と右検出範囲画像３２２とを示したが、１つの検出範囲画像３２０を表示領域３１０に表示する構成であってもよい。制御部１５０は、この検出範囲画像３２０に対応する撮像画像データの領域から使用者の左右の手指を検出してもよい。
また、図７には、左検出範囲画像３２１及び右検出範囲画像３２２として円形の画像を表示させたが、検出範囲画像３２０の形状は円形に限定されるものではない。例えば、検出範囲画像３２０として、矩形の画像であってもよいし、多角形の画像であってもよい。
また、検出範囲画像３２０の画像サイズは、カメラ６１が撮像する撮像画像データに写った使用者の手指のサイズよりも大きくなるように予め設定される。

使用者は、表示領域３１０に検出範囲画像３２０が表示されると、入力したい文字や記号に対応したハンドサインや、ジェスチャーを手指により行う。このとき、使用者は、左右の手指が左検出範囲画像３２１及び右検出範囲画像３２２内にそれぞれ表示されるようにハンドサインやジェスチャーを行う。
使用者が行うハンドサインやジェスチャーは、左右の手指がそれぞれ１つの文字や記号を表すものであってもよいし、左手指が母音を示し、右手指が子音を示す等、両手の組み合わせで１つの文字を表すものであってもよい。
図８は、左検出範囲画像３２１及び右検出範囲画像３２２内に使用者の手指が表示された状態を示す図である。

次に、制御部１５０は、カメラ６１に撮像を実行させ、カメラ６１の生成する撮像画像データを取得する（ステップＳ３）。制御部１５０は、取得した撮像画像データから、検出範囲画像３２０に対応する領域を抽出する。制御部１５０は、キャリブレーションにより生成したパラメーターを使用して、検出範囲画像３２０に対応する領域を特定し、特定した領域を撮像画像データから抽出する。抽出した撮像画像データを抽出データという。
制御装置１０は、カメラ６１の撮像画像データ上での位置と、画像表示部２０が画像を表示する表示領域３１０上での位置とを対応付けるためのキャリブレーションを、この処理フローの開始前に予め実行する。本実施形態では、次の方法によりキャリブレーションを行う。
制御部１５０は、画像表示部２０にキャリブレーション用画像を表示させながら、キャリブレーション用画像に対応した参照実物体を、カメラ６１の撮像画像データから認識し、追跡する。この状態で、使用者が、トラックパッド１４等のユーザーインターフェイスを介してキャリブレーション用画像の位置を画像表示部２０上で移動させる。そして、使用者が、キャリブレーション用画像と参照実物体とが重なる（位置、大きさ、向きの少なくとも１つがほぼ一致する）ように知覚したタイミングにて、ユーザーインターフェイスを介して制御部１５０に通知する。制御部１５０は、取得した通知に応じて、当該タイミングでの参照実物体の検出結果（撮像画像データ上の位置）と、画像表示部２０上でのキャリブレーション用画像の表示位置とを対応付けるパラメーターを生成する。

次に、制御部１５０は、撮像画像データから抽出データを抽出すると、抽出データに対して任意の公知技術を実行し、手指領域を検出する検出処理を実行する（ステップＳ４）。
例えば、制御部１５０は、肌色抽出処理により、抽出した領域した撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手指領域を求める。また、制御部１５０は、エッジ検出処理により、求めた手指領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手指を検出する。

また、制御部１５０は、連続する複数の撮像画像データの差分を求め、求めた差分に基づいて動きのある領域（動領域）を特定し、特定した動領域を手指領域として抽出してもよい。また、制御部１５０は、例えば、ＢｏｏｓｔｉｎｇやＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等、一般的に顔検出に用いられているものと同様の手法を用いて手指領域を検出してもよい。

次に、制御部１５０は、検出処理により手指領域が検出されたか否かを判定する（ステップＳ５）。制御部１５０は、手指領域が検出されなかった場合（ステップＳ５／ＮＯ）、ステップＳ７の処理に移行する。また、制御部１５０は、手指領域を検出した場合（ステップＳ５／ＹＥＳ）、検出された手指領域の撮像画像データ（以下、手指画像データという）を記憶部１２２に記憶させる（ステップＳ６）。そして、制御部１５０は、予め設定された枚数の撮像画像データに対して検出処理を実行したか否かを判定する（ステップＳ７）。この予め設定された枚数の撮像画像データは、連続して撮像された撮像画像データであってもよいし、連続して撮像された撮像画像データから所定の枚数ごとに取り出した撮像画像データであってもよい。なお、カメラ６１の撮像によって得られる１フレーム画像分の撮像画像データを１枚と表記する。制御部１５０は、予め設定された枚数の撮像画像データに対して検出処理を実行していない場合（ステップＳ７／ＮＯ）、ステップＳ３に戻り、記憶部１２２から撮像画像データを新たに取得する。そして、制御部１５０は、取得した撮像画像データに対して検出処理を実行する（ステップＳ４）。

また、制御部１５０は、予め設定された枚数の撮像画像データに対して検出処理を実行した場合（ステップＳ７／ＹＥＳ）、ステップＳ６において記憶部１２２に記憶させた手指画像データを取得する。そして、制御部１５０は、取得した手指画像データが複数枚ある場合、これらの手指画像データを比較して、手指の位置や形状に変化があるか否かを判定する（ステップＳ８）。

制御部１５０は、手指の形状や位置に変化がある、すなわち、手指に動きがあると判定した場合（ステップＳ８／ＹＥＳ）、ジェスチャー認識辞書１２５Ａを参照して、入力候補の文字（以下、候補文字という）を選択する。
例えば、制御部１５０は、連続して撮像される撮像画像データから手指の形状や位置特定して手指の動きを追跡し、追跡した手指の動きに対応する文字を特定する。より詳細には、制御部１５０は、手指が検出範囲画像３２０内において撮像され始めた時点をジェスチャーの開始時、手指が検出範囲画像３２０から外に出た時点をジェスチャーの終了時として、一連の動きを追跡する。そして、制御部１５０は、ジェスチャー認識辞書１２５Ａに登録されたジェスチャーを特定するための情報と、追跡した手指の動きとのマッチング処理を行って、マッチング結果が条件を満たすジェスチャーを選択する（ステップＳ９）。
例えば、制御部１５０は、手指の変化前の形状や位置や、手指の変化後の形状や位置を、ジェスチャーを特定するための情報と比較する。そして、制御部１５０は、変化前の手指の形状や位置や、変化後の手指の形状や位置と少なくとも一部が一致するジェスチャーを選択する（ステップＳ９）。そして、制御部１５０は、選択したジェスチャーを示す画像を候補表示領域３３０に表示させると共に、このジェスチャーに対応付けられた文字を候補文字として候補表示領域３３０に表示させる（ステップＳ１０）。

また、制御部１５０は、手指の位置や形状に変化がない、すなわち、手指に動きがないと判定する場合（ステップＳ８／ＮＯ）、ハンドサイン認識辞書１２５Ｂを参照して、候補文字を選択する。制御部１５０は、検出した手指の形状や位置を、ハンドサインを特定するための情報と比較して、検出した手指の形状や位置に少なくとも一部が一致するハンドサインを選択する（ステップＳ１１）。そして、制御部１５０は、選択したハンドサインを示す画像を候補表示領域３３０に表示させ、このハンドサインに対応付けられた候補文字を候補表示領域３３０に表示させる（ステップＳ１２）。
制御部１５０は、同一の手指の形状が予め設定された時間以上、継続して検出された場合に、検出された手指の形状や位置に基づいてハンドサインを選択してもよい。同一の手指の形状が予め設定された時間以上、継続して検出された場合にハンドサインを選択することで、使用者が意図した候補文字が候補表示領域３３０に表示される確率を高めることができる。

図９は、候補表示領域３３０の表示例を示す図である。候補表示領域３３０は、本発明の「候補表示エリア」に対応する。
候補表示領域３３０は、検出範囲画像３２０に対応する位置、又は検出範囲画像３２０において検出された手指に対応する位置に表示される。候補表示領域３３０は、左候補表示領域３３１と、右候補表示領域３３２とを有する。左候補表示領域３３１は、左検出範囲画像３２１に対応する位置、又は左検出範囲画像３２１において検出された手指に対応する位置に表示される。また、右候補表示領域３３２は、右検出範囲画像３２２に対応する位置、又は右検出範囲画像３２２において検出された手指に対応する位置に表示される。
図９には、左候補表示領域３３１を左検出範囲画像３２１の周囲に表示し、右候補表示領域３３２を右検出範囲画像３２２の周囲に表示した例を示す。左検出範囲画像３２１の周囲とは、左検出範囲画像３２１の近傍であって、左候補表示領域３３１と左検出範囲画像３２１とが対応付けられていると使用者が認識できる距離の範囲である。この距離は、使用者が予め設定した距離を用いてもよい。右検出範囲画像３２２の周囲も同様である。左候補表示領域３３１は、撮像画像データに撮像された左の手指の動きや形状、位置等に基づいて選択したジェスチャーやハンドサインを表示する領域である。右候補表示領域３３２は、撮像画像データに撮像された右の手指の動きや形状、位置等に基づいて選択したジェスチャーやハンドサインを表示する領域である。

左候補表示領域３３１及び右候補表示領域３３２の表示位置は、図９に示す例に限定されるものではない。例えば、左候補表示領域３３１を左検出範囲画像３２１に接するように表示し、右候補表示領域３３２を右検出範囲画像３２２に接するように表示してもよい。
また、左候補表示領域３３１の少なくとも一部が左検出範囲画像３２１に重なるように左候補表示領域３３１を表示し、右候補表示領域３３２の少なくとも一部が右検出範囲画像３２２に重なるように右候補表示領域３３２を表示してもよい。また、検出された手指に対応する位置として、例えば、使用者の手指のうち、人指し指等の予め設定された指の指先の位置に左候補表示領域３３１及び右候補表示領域３３２を表示してもよい。このように候補表示領域３３０を検出範囲画像３２０の近傍に表示することで、使用者は、視線を移動させることなく、手指の近傍に表示される候補文字を選択することができる。

図１０に示すフローチャートを参照して、ジェスチャーやハンドサイン検出による文字入力の動作を引き続き説明する。
次に、制御部１５０は、カメラ６１に撮像を実行させ、カメラ６１の生成する撮像画像データを取得する（ステップＳ１３）。制御部１５０は、キャリブレーションにより生成したパラメーターを使用して、候補表示領域３３０に対応する撮像画像データの領域を特定し、特定した領域に対して抽出処理を実行して手指領域を抽出する。制御部１５０は、ステップＳ４で実行した抽出処理と同様の処理を行って、特定した撮像画像データの領域から手指領域を検出する検出処理を実行する。制御部１５０は、検出処理を実行すると、撮像画像データから手指領域を検出したか否かを判定する（ステップＳ１４）。
制御部１５０は、手指領域を検出できなかった場合（ステップＳ１４／ＮＯ）、ステップＳ１３に戻り撮像画像データを取得し（ステップＳ１３）、検出処理を再度実行する。

また、制御部１５０は、手指領域が検出された場合（ステップＳ１４／ＹＥＳ）、この手指領域が検出された撮像画像データの領域に基づいて、選択された候補表示領域３３０の領域を特定する。すなわち、制御部１５０は、手指領域が検出された撮像画像データの領域に対応する候補表示領域３３０の領域を特定する。そして、制御部１５０は、特定した候補表示領域３３０の領域に表示された候補文字が選択されたと判定する（ステップＳ１５）。以下、選択されたと判定した候補文字を選択文字という。制御部１５０は、選択文字を記憶部１２２に記憶させる（ステップＳ１６）。そして、制御部１５０は、カメラ６１の撮像画像データを取得し（ステップＳ１７）、検出範囲画像３２０に対応する撮像画像データの領域に対して検出処理を実行して（ステップＳ１８）、手指領域を検出する。制御部１５０は、手指領域が検出された場合（ステップＳ１９／ＹＥＳ）、図６に示すステップＳ６に戻り、手指画像データを記憶部１２２に記憶させる。その後、制御部１５０は、ステップＳ７以降の処理を繰り返す。また、制御部１５０は、手指領域が検出されなかった場合（ステップＳ１９／ＮＯ）、前回の手指領域の検出から所定時間を経過したか否かを判定する（ステップＳ２０）。前回の手指領域の検出から所定時間を経過していない場合（ステップＳ２０／ＮＯ）、制御部１５０は、ステップＳ１７に戻り、撮像画像データを取得して検出処理を実行する（ステップＳ１７）。

また、制御部１５０は、前回の手指領域の検出から所定時間を経過した場合（ステップＳ２０／ＹＥＳ）、記憶部１２２から選択文字を読み出す。ここで、制御部１５０が記憶部１２２から読み出す選択文字は、１文字である場合もあれば、複数個、すなわち文字列である場合もある。制御部１５０は、選択文字を読み出すと、読み出した選択文字に基づいて対応する処理を実行する（ステップＳ２１）。例えば、制御部１５０は、アプリケーションプログラムとしてウェブブラウザーが起動されている場合には、ウェブブラウザーの検索欄に、選択文字を入力する。また、制御部１５０は、メールアプリを起動している場合、例えば、メールの宛て先や本文に、選択文字を入力する。

上述したフローチャートでは、ステップＳ１５において、手指領域が検出された候補表示領域３３０の領域に表示した候補文字を、選択された候補文字と判定した。これ以外に、制御部１５０は、１枚又は複数枚の撮像画像データに基づいて、手指の動きや、形状、位置を特定し、特定した手指の動きや、形状、位置に基づき選択された候補文字を判定してもよい。
例えば、制御部１５０は、候補表示領域３３０に表示する複数の候補文字にそれぞれ番号を付し、この番号を候補文字と共に候補表示領域３３０に表示させる。
使用者は、選択する候補文字に対応する番号の指文字を作り、指文字を作った手指が候補表示領域３３０に重なるようにする。制御部１５０は、撮像画像データから手指領域を検出し、検出した手指領域に写った手指の形状を特定して、選択された候補文字を判定する。また、使用者は、選択する候補文字に対応する番号に対応付けられたジェスチャーを行ってもよい。制御部１５０は、連続して撮像される複数枚の撮像画像データから手指領域を検出して手指の動きを検出し、パターン認識辞書１２５を参照してジェスチャーを特定する。そして、制御部１５０は、特定したジェスチャーに対応付けられた番号を判定して、候補文字を選択する。

図１１は、候補表示領域３３０の他の表示例を示す図である。
図１１には、左検出範囲画像３２１の上下左右の４方向に対応する方向に左候補表示領域３３１をそれぞれ表示し、右検出範囲画像３２２の上下左右の４方向に対応する方向に右候補表示領域３３２をそれぞれ表示した例を示す。
使用者は、入力したい候補文字が表示された候補表示領域３３０の方向に手指を移動させる。制御部１５０は、カメラ６１の撮像画像データを取得し、上下左右の候補表示領域３３０に対応する撮像画像データの各領域から、上述した方法により手指領域を検出する。制御部１５０は、手指領域が検出された場合、この手指領域を検出した候補表示領域３３０に表示した候補文字が選択されたと判定する。使用者は、入力したい文字が表示された方向に手指を移動させればよいので、候補文字の選択を容易に行うことができる。
図１１には、検出範囲画像３２０の上下左右の４方向に候補表示領域３３０を表示させた場合を示したが、選択される候補文字の数に応じて候補表示領域３３０を表示させる方向を変更してもよい。例えば、候補文字として２つの文字を選択した場合、検出範囲画像３２０の上下方向、又は左右方向に候補表示領域３３０を表示させることができる。

また、制御部１５０は、候補文字と、使用者が実際に選択した選択文字とを対応付けて記憶部１２２に記憶させてもよい。制御部１５０は、候補文字として、記憶部１２２に記憶させた候補文字を選択した場合、この候補文字に対応付けられた選択文字を候補表示領域３３０に候補文字として表示させてもよい。このように、候補文字と、選択文字とを対応付けて記憶部１２２に記憶させることで、ジェスチャーやハンドサインの認識精度を向上させることができる。また、使用者が作る手や指の形に癖があっても、使用者の意図した文字や記号の候補を候補表示領域３３０に表示させることができる。

以上説明したように本実施形態のＨＭＤ１００は、画像表示部２０と、カメラ６１と、検出制御部１５１と、表示制御部１５３とを備える。
画像表示部２０は、外景を透過し、外景とともに視認できるように画像を表示領域３１０に表示する。カメラ６１及び検出制御部１５１は、使用者の動作に対応付けられた指示体を検出する。表示制御部１５３は、検出制御部１５１が指示体を検出する範囲を示す検出範囲画像３２０を表示領域３１０に表示させる。また、表示制御部１５３は、検出制御部１５１が検出する指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、表示領域３１０において検出範囲画像３２０に対応する位置に表示させる。
従って、検出制御部１５１が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出範囲画像３２０に対応する位置に表示される。このため、指示体による入力の精度を向上させることができる。また、使用者は、身体の一部を含む指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。

また、表示制御部１５３は、候補表示領域３３０に候補文字を表示させ、候補表示領域３３０を、検出範囲画像３２０に対応する位置、又は検出範囲画像３２０において検出された指示体に対応する位置に表示させる。
従って、候補表示領域３３０に表示された候補文字を選択する操作が簡易になる。

また、表示制御部１５３は、検出制御部１５１が候補表示領域３３０に対応する位置で指示体を検出した場合に、検出された指示体の動き、形状及び位置の少なくともいずれかに基づき、候補表示領域３３０に表示された複数の候補のいずれかを選択する。
従って、指示体の動き、形状及び位置の少なくともいずれかにより、複数の候補文字の中からいずれかを選択することができる。

また、表示制御部１５３は、検出制御部１５１が候補表示領域３３０に表示される候補文字に対応する位置で指示体を検出した場合に、検出された指示体の動き、形状及び位置の少なくともいずれかに基づき、候補表示領域３３０に表示された複数の候補の文字のいずれかを選択する。
従って、指示体の動き、形状及び位置の少なくともいずれかに基づき、複数の候補文字の中からいずれかを選択することができる。

また、表示制御部１５３は、検出範囲画像３２０の周囲に複数の候補を表示させ、検出制御部１５１により検出された指示体の移動方向が候補を表示させたいずれかの方向に対応する場合に、対応する候補を選択する。
従って、候補文字を表示させた方向に指示体を移動させることで、移動させた方向に表示された候補を選択することができる。

また、表示制御部１５３は、検出制御部１５１により検出された指示体の形状が、予め設定された時間以上同一の形状である場合に、候補文字を表示させる。
従って、使用者の意図する候補文字が表示される確率を高めることができる。

また、表示制御部１５３は、検出範囲画像３２０として、使用者の左手を含む指示体を検出する左検出範囲画像３２１と、使用者の右手を含む指示体を検出する右検出範囲画像３２２とを表示させる。
従って、検出制御部１５１が検出した指示体が左手を含む指示体であるのか、右手を含む指示体であるのかを判定する必要がなくなり、候補文字を表示する時間を短縮し、使用者の意図する候補が表示される確率を高めることができる。

上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態は、カメラ６１の撮像画像データを用いて使用者の手指を検出したが、使用者の手指の検出方法はこの方法に限定されるものではない。例えば、ＨＭＤ１００に赤外線を撮像するカメラを搭載し、使用者の手に付けたデバイスから出力される赤外線をこのカメラにより撮像して、使用者の手指の動きや、形状、位置等を検出してもよい。
また、使用者の指にセンサーを付けて、このセンサーにより使用者の手指の動きや、形状、位置等を検出し、センサーにより検出される手指の動きや、形状、位置等を近距離無線通信によりＨＭＤ１００に送信してもよい。
また、ジャイロセンサーや加速度センサー等の慣性センサーを使用者の手指に装着し、慣性センサーにより動きとして計測される情報から逆算して、手指の動きや形状、位置等を求めてもよい。

また、上述した実施形態では、カメラ６１の撮像画像データに写った使用者の手や指を検出したが、使用者の腕を含む手指を検出してもよい。例えば、使用者は、手旗信号によってＨＭＤ１００に入力する文字や記号を表現する。ＨＭＤ１００の制御部１５０は、カメラ６１の撮像画像データから腕を含む手指が写った領域を検出し、検出した領域に写った腕の位置を特定する。また、制御部１５０は、連続して撮像される撮像画像データから腕を含む手指が写った領域を検出して、この領域に写った腕の位置を特定することで、腕の動きを検出して、対応する手旗信号を特定し、候補文字を候補表示領域３３０に表示させる。

また、上述した説明では、ボタン１１や、上下キー１５、トラックパッド１４の操作や、予め設定された頭部の動き、予め設定された音声の入力をトリガーとして、ＨＭＤ１００がジェスチャーやハンドサインの検出を開始する場合について説明した。これら以外のトリガーとして、ＨＭＤ１００が使用者の頭部に装着された場合に、ＨＭＤ１００がジェスチャーやハンドサインの検出を開始するようにしてもよい。
例えば、ＨＭＤ１００の画像表示部２０に装着検出部（図示略）を設ける。装着検出部は、例えば、画像表示部２０に設けられた６軸センサー２３５や磁気センサー２３７の検出値に基づいて、ＨＭＤ１００が使用者の頭部に装着されたことを検出してもよい。また、ＨＭＤ１００の画像表示部２０にハードスイッチを設け、ＨＭＤ１００が使用者の頭部に装着され、ハードスイッチの状態が切り替わったことを装着検出部が検出して、ＨＭＤ１００が使用者の頭部に装着されたことを検出してもよい。

また、上述した実施形態では、カメラ６１の撮像画像データから手指領域を検出して候補表示領域３３０の領域を特定した。これ以外の動作として、制御部１５０は、手指領域を検出して、対応する候補表示領域３３０の領域を特定した後に、特定した領域に表示させた候補文字を点滅させる。そして、制御部１５０は、使用者の頭部の動き、例えば、うなずき動作を検出した場合に、この候補文字が選択されたと判定してもよい。また、使用者が首を左右に振る動きが検出された場合には、再度、カメラ６１の撮像画像データを取得して手指領域を検出するとよい。

また、上述した実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。すなわち、制御装置１０は、箱形のケース１０Ａを備える構成に限定されない。例えば、制御装置１０に代えて、使用者の身体、着衣又は、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記の実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。

また、図６及び図１０に示すフローチャートの処理単位は、ＨＭＤ１００の制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

１…システム、１０…制御装置、１０Ａ…ケース、１１…ボタン、１２、６７…ＬＥＤインジケーター、１４…トラックパッド、１５…上下キー、１６…切替スイッチ、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部（表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ（検出部）、６３…マイク（音声入力部）、６５…照度センサー、１００…ＨＭＤ（表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…コンテンツデータ、１２５…パターン認識辞書、１２５Ａ…ジェスチャー認識辞書、１２５Ｂ…ハンドサイン認識辞書、１２６…音声パター辞書、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…オペレーティングシステム、１４５…画像処理部、１４７…撮像制御部、１４９…操作制御部、１５１…検出制御部（検出部）、１５３…表示制御部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェイス、２００…ビーコン装置、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１、２８１…ハーフミラー、３００…視界、３１０…表示領域、３２０…検出範囲画像、３２１…左検出範囲画像、３２２…右検出範囲画像、３３０…候補表示領域、３３１…左候補表示領域、３３２…右候補表示領域。

Claims (11)

1. 使用者の頭部に装着される頭部装着型表示装置であって、
   外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、
   前記使用者の動作に対応付けられた指示体を検出する検出部と、
   前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させ、前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させる表示制御部と、
   を備える頭部装着型表示装置。
2. 前記表示制御部は、前記候補を前記表示領域の候補表示エリアに表示させ、前記候補表示エリアを、前記検出エリアを示す前記画像に対応する位置、又は前記検出エリアにおいて検出された前記指示体に対応する位置に表示させる請求項１記載の頭部装着型表示装置。
3. 前記表示制御部は、前記検出部が前記候補表示エリアに対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補のいずれかを選択する請求項２記載の頭部装着型表示装置。
4. 前記表示制御部は、前記検出部が前記候補表示エリアに表示される前記候補の文字に対応する位置で前記指示体を検出した場合に、検出された前記指示体の動き、形状及び位置の少なくともいずれかに基づき、前記候補表示エリアに表示された複数の前記候補の文字のいずれかを選択する請求項３記載の頭部装着型表示装置。
5. 前記表示制御部は、前記検出エリアを示す前記画像の周囲に複数の前記候補を表示させ、前記検出部により検出された前記指示体の移動方向が前記候補を表示させたいずれかの方向に対応する場合に、対応する前記候補を選択する請求項１から４のいずれか１項記載の頭部装着型表示装置。
6. 前記表示制御部は、前記検出部により検出された前記指示体の形状が、予め設定された時間以上同一の形状である場合に、前記候補を表示させる請求項１から５のいずれか１項記載の頭部装着型表示装置。
7. 表示制御部は、前記検出エリアを示す画像として、前記使用者の左手を含む指示体を検出する検出エリアを示す画像と、前記使用者の右手を含む指示体を検出する検出エリアを示す画像とを表示させる請求項１から６のいずれか１項記載の頭部装着型表示装置。
8. 音声を入力する音声入力部を備え、
   前記検出部は、前記音声入力部が予め設定された音声を入力した場合に、前記指示体を検出する請求項１から７のいずれか１項記載の頭部装着型表示装置。
9. 前記指示体としての前記使用者の手指の予め設定された動きの軌跡を示すジェスチャーと、前記候補とを対応付けたジェスチャー登録辞書と、前記手指の予め設定された形状を示すハンドサインと、前記候補とを対応付けたハンドサイン登録辞書との少なくとも一方を記憶する記憶部を備え、
   前記表示制御部は、前記検出部が検出する前記手指の動き又は形状と、前記ジェスチャー登録辞書又は前記ハンドサイン登録辞書とのマッチングにより前記ジェスチャー又は前記ハンドサインを選択し、選択した前記ジェスチャー又は前記ハンドサインに対応する前記候補を表示させる請求項１から８のいずれか１項記載の頭部装着型表示装置。
10. 外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置に搭載されたコンピューターが実行するプログラムであって、
    コンピューターに、
    前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させる手順と、
    前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させる手順と、
    を実行させるプログラム。
11. 外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置の制御方法であって、
    前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させるステップと、
    前記検出部が検出する前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域において前記検出エリアを示す前記画像に対応する位置に表示させるステップと、
    を有することを特徴とする頭部装着型表示装置の制御方法。
    

Images