JP2017067876A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム - Google Patents

Abstract

【課題】現実空間の奥行き方向において、対象物がどの位置に存在するか把握することが容易とする。
【解決手段】表示部を備える頭部装着型表示装置（ＨＭＤ）である。ＨＭＤは、表示部を介して視認される対象物についてのＨＭＤからの奥行きを示す対象物奥行情報を取得する対象物奥行情報取得部と、ＨＭＤを取り巻く外界において使用者によって操作される操作体についてのＨＭＤらの奥行きを示す操作体奥行情報を取得する操作体奥行情報取得部と、前記取得された対象物奥行情報と、前記取得された操作体奥行情報とに基づいて、ＨＭＤからの奥行き方向において、対象物と操作体との位置関係が所定の条件を満たすと判定されたときに、対象物についての前記奥行き方向の位置の認識を容易にするための補助画像を、表示部に表示させる補助画像表示制御部と、を備える。
【選択図】図７

Description

本発明は、頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラムに関する。

使用者の頭部に装着されて用いられることによって、使用者の視野領域に拡張現実感（ＡＲ、Augmented Reality）情報を提示する頭部装着型表示装置が知られている（例えば、特許文献１）。ＡＲは、現実空間にコンピューターの生成する仮想的な物体を重ね合わせて表示を行う技術である。頭部装着型表示装置を装着した使用者は、視野領域に、現実空間に存在する対象物とＡＲ情報である仮想物体との両方を視認することで、拡張現実感を体感することができる。

特開２０１５−８４１５０号公報

上記従来の技術では、使用者は、視野領域に、現実空間に存在する対象物とＡＲ情報との両方を視認する必要があることから、現実空間の奥行き方向において、対象物がどの位置に存在するかを把握することが容易でなかった。

なお、この問題は、現実空間の対象物に限らず、仮想３次元空間に配置された対象物（３Ｄオブジェクト）が奥行き方向においてどの位置に存在するかを把握する場合にも共通する問題であった。そのほか、従来の頭部装着型表示装置においては、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態は、表示部を備える頭部装着型表示装置である。前記頭部装着型表示装置は、前記表示部を介して視認される対象物についての前記頭部装着型表示装置からの奥行きを示す対象物奥行情報を取得する対象物奥行情報取得部と、前記頭部装着型表示装置を取り巻く外界において使用者によって操作される操作体についての前記頭部装着型表示装置からの奥行きを示す操作体奥行情報を取得する操作体奥行情報取得部と、前記取得された対象物奥行情報と、前記取得された操作体奥行情報とに基づいて、前記頭部装着型表示装置からの奥行き方向において、前記対象物と前記操作体との位置関係が所定の条件を満たすと判定されたときに、前記対象物についての前記奥行き方向の位置の認識を容易にするための補助画像を、前記表示部に表示させる補助画像表示制御部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置からの奥行き方向において、対象物と操作体との位置関係が所定の条件を満たすと判定されたときに、対象物についての奥行き方向の位置の認識を容易にするための補助画像が、表示部に表示される。このため、使用者は、奥行き方向において、対象物がどの位置に存在するかを容易に把握することができる。

（２）前記形態の頭部装着型表示装置において、前記補助画像表示制御部は、前記奥行き方向において、前記対象物から第１の距離だけ前記頭部装着型表示装置側に位置する第１の位置よりも、前記操作体が前記対象物側に移動したと判定されたときに、前記補助画像を表示させていてもよい。この形態の頭部装着型表示装置によれば、操作体が第１の位置より対象物側に移動したときに、補助画像を表示することができる。このため、使用者は、操作体が第１の位置より対象物側に移動したときに限って補助画像を表示させることができ、第１の位置より頭部装着型表示装置側に操作体があるときには、補助画像は表示されない。したがって、操作体が対象物に近づいていないときには補助画像は表示されないことから、使用者にとって、利便性に優れている。

（３）前記形態の頭部装着型表示装置において、前記奥行き方向に垂直な二次元空間における前記対象物の位置と前記操作体の位置とを示す二次元位置情報を取得する二次元位置情報取得部を備えていてもよい。前記補助画像表示制御部は、前記奥行きの方向において、前記対象物から前記第１の距離よりも短い第２の距離だけ前記頭部装着型表示装置側に位置する第２の位置よりも、前記操作体が前記対象物側に移動したと判定され、かつ、前記取得された二次元位置情報に基づいて、前記二次元空間における前記操作体と前記対象物との間の距離が所定値を下回る距離であると判定されたときに、前記補助画像の表示を停止していてもよい。この形態の頭部装着型表示装置によれば、奥行き方向に加えて、二次元空間においても操作体が対象物に十分に近づいたと判定できた場合に、補助画像の表示は停止される。このために、操作体によって対象物に対して作業が行われる直前には、補助画像の表示は消される。したがって、補助画像が作業の支障となることがなく、作業性が低下することを防止できる。

（４）前記形態の頭部装着型表示装置において、前記補助画像は、同じ奥行きの点の集まりでできる矩形破線を、一定の間隔でつらねた線群であってもよい。この形態の頭部装着型表示装置によれば、対象物についての奥行き方向の位置の認識を、より容易とすることができる。

（５）前記形態の頭部装着型表示装置において、前記表示部は、前記外界を透過視認可能な表示部であり、前記操作体は、前記外界に実在する物体であってもよい。この形態の頭部装着型表示装置によれば、外界に実在する対象物についての奥行き方向の位置の認識を、より容易とすることができる。

（６）前記形態の頭部装着型表示装置において、前記操作体は、仮想３次元空間に配置された物体であり、前記対象物奥行情報は、前記仮想３次元空間における前記対象物までの奥行きを示す情報であってもよい。この形態の頭部装着型表示装置によれば、仮想３次元空間に配置された対象物についての奥行き方向の位置の認識を、より容易とすることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤによる拡張現実感表示の一例を示す説明図である。 ＨＭＤの使用形態の一例を示す説明図である。 補助画像表示ルーチンを示すフローチャートである。 デプスマップの一例を示す説明図である。 マーカーの一例を示す説明図である。 ＨＭＤと第１のボールとを上方から見たときの平面図である。 補助画像の一例を示す説明図である。 補助画像表示停止ルーチンを示すフローチャートである。 補助画像の表示が停止される直前の使用者の視界を例示する説明図である。 補助画像の表示が停止された直後の使用者の視界を例示する説明図である。 補助画像の表示が停止されない状態の使用者の視界を例示する説明図である。 変形例１における補助画像としての影を示す説明図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．頭部装着型表示装置の基本構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型の頭部装着型表示装置である。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を区別せず「保持部」として説明する。同様に、右表示駆動部２２および左表示駆動部２４を区別せず「表示駆動部」として説明し、右光学像表示部２６および左光学像表示部２８を区別せず「光学像表示部」として説明する。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６と反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、ｉＢｅａｃｏｎ（登録商標）といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、表示制御部１６２、対象物奥行情報取得部１６４、操作体奥行情報取得部１６６、補助画像表示制御部１６８、および音声処理部１７０として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデータの画像データＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。

一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データＤａｔａに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データＤａｔａ１」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１６２は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１６２は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１６２は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。同様に、表示制御部１６２は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

対象物奥行情報取得部１６４は、透過して視認される外界の対象物についてのＨＭＤ１００からの奥行きを示す対象物奥行情報を取得する。「奥行き」とは、ＨＭＤ１００の所定の向き、すなわち、使用者が画像表示部２０を頭部に装着した状態において使用者が向いている方向におけるＨＭＤ１００からの距離である。「奥行き方向」とは、使用者が画像表示部２０を頭部に装着した状態において使用者が向いている方向、すなわち、光学像表示部２６、２８の向きであり、図１のＺ軸方向である。

操作体奥行情報取得部１６６は、透過して視認される外界に侵入した使用者の手についてのＨＭＤ１００からの奥行きを示す手奥行情報を取得する。使用者の手が、本発明の一形態における「操作体」の下位概念に相当する。

補助画像表示制御部１６８は、対象物奥行情報取得部１６４によって取得された対象物奥行情報と、操作体奥行情報取得部１６６によって取得された操作体奥行情報とに基づいて、ＨＭＤ１０からの奥行き方向において、前記対象物と前記操作体との位置関係が所定の条件を満たすと判定されたときに、対象物についての奥行き方向の位置の認識を容易にするための補助画像を、表示制御部１６２に表示させる。対象物奥行情報取得部１６４、操作体奥行情報取得部１６６、および補助画像表示制御部１６８については、後ほど詳述する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１（図１も参照）と、デプス（Ｄｅｐｔｈ）センサー６２と、９軸センサー６６とを備えている。

カメラ６１は、ＲＧＢカメラであり、使用者が画像表示部２０を装着した際の使用者の鼻根部に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において使用者が向いている方向の外界をカラー撮像する。なお、カメラ６１は、ＲＧＢカメラに換えて、白黒カメラとすることができる。

デプスセンサー６２は、奥行き（距離）センサーの一種であり、カメラ６１と並んで配置されている。そのため、デプスセンサー６２は、使用者が向いている方向におけるＨＭＤ１００からの距離である奥行きを検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーであり、本実施形態では使用者の眉間に対応する位置に配置されている。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、ＨＭＤ１００が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右ＬＣＤ２４１と同様に、左ＬＣＤ２４２は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左ＬＣＤ２４２を透過する光の透過率を変化させることにより、左バックライト２２２から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

Ｂ．拡張現実感表示について：
図３は、ＨＭＤ１００による拡張現実感表示の一例を示す説明図である。図３では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感（ＡＲ）としての画像ＶＩを視認する。図３の例では、画像ＶＩは、ＨＭＤ１００のＯＳの待ち受け画面である。また、光学像表示部２６、２８が外界ＳＣからの光を透過することで、使用者は外界ＳＣを視認する。このように、本実施形態のＨＭＤの使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、画像ＶＩと、画像ＶＩの背後に外界ＳＣと、を見ることができる。また、視界ＶＲ１のうち画像ＶＩが表示されていない部分については、外界ＳＣだけを見ることができる。

図４は、ＨＭＤ１００の使用形態の一例を示す説明図である。図４では、使用者の視界ＶＲを例示している。図４の例では、光学像表示部２６、２８が外界ＳＣからの光を透過することで、外界に存在する３つのボールＢ１，Ｂ２，Ｂ３を視認している。図示の例示では、実空間において、第１のボールＢ１は、第２のボールＢ２および第３のボールＢ３よりも使用者、すなわちＨＭＤ１００側に位置しており、使用者は、光学像表示部２６、２８を通して、そのように視認される。第１のボールＢ１には、作業を行う対象物であることを示すマーカーＭＫが予め貼り付けられている。図示はしないが、このマーカーＭＫの近傍には、必要に応じてＡＲ情報が表示される。ＡＲ情報は、例えば、作業内容や作業手順等である。

使用者は、光学像表示部２６、２８を覗きながら、自身の手ＨＡによって、第１のボールＢ１を掴む作業を行う。この掴む作業を行う際に、使用者の視認を補助するため補助画像が、補助画像表示制御部１６８によって表示される。対象物奥行情報取得部１６４、操作体奥行情報取得部１６６、および補助画像表示制御部１６８は、記憶部１２０に記憶されている所定のプログラムをＣＰＵ１４０が実行することで、機能的に実現される。所定のプログラムの詳細について、次に説明する。

Ｃ．補助画像表示／表示停止ルーチンについて：
図５は、補助画像表示ルーチンを示すフローチャートである。この補助画像表示ルーチンは、上記所定のプログラムに対応するもので、ＣＰＵ１４０によって所定時間ごとに繰り返し実行される。処理が開始されると、ＣＰＵ１４０は、まず、カメラ６１からＲＧＢ画像を取得し（ステップＳ１１０）、デプスセンサー６２の出力信号から、外界を二次元の画像として捉え、その画像の各画素での奥行きを画素の濃淡によって示すデプスマップ（距離画像）を生成する（ステップＳ１２０）。

図６は、デプスマップの一例を示す説明図である。図示するように、デプスマップＤＰは、濃淡画像であり、濃淡によって各画素での奥行き（距離）を表す。

図５のステップＳ１２０の実行後、ＣＰＵ１４０は、ステップＳ１１０によって取得したＲＧＢ画像内からマーカーを認識し、マーカーの二次元位置座標を取得する（ステップＳ１３０）。本実施形態では、図４に示すように、手で掴む作業を行う対象物である第１のボールＢ１にマーカーＭＫが予め貼り付けられており、ＲＧＢ画像内からマーカーＭＫを認識することで、対象物の認識を可能としている。

図７は、マーカーＭＫの一例を示す説明図である。図示するように、マーカーＭＫは、二次元マーカーであり、対象物を指定するための標識となる、予め定められたパターンの画像が印刷されている。このパターンの画像によって、対象物が識別可能となる。図５のステップＳ１３０では、ＲＧＢ画像内からマーカーＭＫを認識し、二次元空間におけるマーカーＭＫの位置を示す座標値を、二次元位置座標として取得する。

なお、本実施形態では、対象物に対してマーカーを予め貼り付けることによって対象物の認識を可能としていた。これに対して、変形例として、対象物である第１のボールＢ１以外の物体、すなわち、第２および第３のボールＢ１，Ｂ２を球でない他の形状とし、対象物である第１のボールＢ１の形状パターンを予め記憶しておき、ＲＧＢ画像におけるパターン認識によって対象物を認識するようにしてもよい。また、第１のボールＢ１を第２および第３のボールＢ１，Ｂ２の各色と相違する色とし、対象物である第１のボールＢ１の色を予め記憶しておき、ＲＧＢ画像における色認識によって対象物を認識するようにしてもよい。

図５のステップＳ１３０の実行後、ＣＰＵ１４０は、ステップＳ１２０によって取得したデプスマップ内からマーカーＭＫを認識し、マーカーＭＫの奥行きＤｍｋを取得する（ステップＳ１４０）。マーカーＭＫの奥行きＤｍｋとは、奥行き方向におけるＨＭＤ１００からマーカーＭＫまでの距離である。ステップＳ１２０およびＳ１４０の処理が、対象物奥行情報取得部１６４（図２）に相当する。なお、二次元位置座標を取得する場合と同様に、マーカーＭＫに替えて、対象物である第１のボールＢ１の形状パターンを予め記憶しておき、デプスマップにおけるパターン認識によって対象物を認識するようにしてもよい。

次いで、ＣＰＵ１４０は、ステップＳ１３０によって取得したマーカーの二次元位置座標と、ステップＳ１２０によって取得したデプスマップとを、光学像表示部２６、２８を透過して見た座標系で表現する値に変換する視野変換を行う（ステップＳ１５０）。カメラ６１およびデプスセンサー６２は、光学像表示部２６、２８とは異なった位置に設けられており、ステップＳ１３０によって取得したマーカーの二次元位置座標はカメラ６１から見た二次元座標系で表現されたものであり、ステップＳ１３０によって取得したデプスマップはデプスセンサー６２から見た二次元座標系で表現されたものである。このため、ステップＳ１５０では、二次元位置座標とデプスマップとを、光学像表示部２６、２８を透過して見た二次元座標系で表現する値に変換する視野変換を行う。

なお、上記二次元座標系は、光学像表示部２６、２８を透過して見た二次元空間を示す座標系である。この二次元空間は奥行き方向であるＺ軸に対して垂直な空間であり、二次元座標系の２つの座標軸は図１におけるＸ軸とＹ軸である。

図５のステップＳ１５０の実行後、ＣＰＵ１４０は、ステップＳ１１０によって取得したＲＧＢ画像内に手が含まれるか否かを判定する（ステップＳ１６０）。本実施形態では、人の手の形状パターンを予め記憶しておき、ＲＧＢ画像におけるパターン認識によって手の認識を行う。これに換えて、人の手の色（肌色）を予め記憶しておき、ＲＧＢ画像における色認識によって手を認識するようにしてもよい。あるいは、手の形状パターンと肌色との両方から手を認識するようにしてもよい。ステップＳ１６０では、ＲＧＢ画像内に手が認識されたときには、手が含まれると判定し、手が認識されないときには、手が含まれないと判定する。

手の認識は、上記の形状パターンや色によって認識する方法に換えて、手を識別するためのマーカーを使用者の手に貼り付けて、このマーカーを認識する構成としてもよい。

ステップＳ１６０で、ＲＧＢ画像内に手が含まれないと判定された場合には、ＣＰＵ１４０は、「リターン」に処理を進めて、補助画像表示ルーチンを一旦終了する。一方、ステップＳ１６０で、ＲＧＢ画像内に手が含まれると判定された場合には、ステップＳ１７０に処理を進める。

ステップＳ１７０では、ＣＰＵ１４０は、ステップＳ１２０によって取得したデプスマップ内からステップＳ１６０で手と認識した部分を抽出し、その抽出したデータから手の奥行きＤｈａを取得する。手の奥行きＤｈａとは、奥行き方向におけるＨＭＤ１００から手までの距離である。なお、手までの距離とは、手のうちの特定点までの距離である。特定点は、本実施形態では、５つの指先のうちで、奥行き方向においてマーカーＭＫに最も近い指先とした。特定点は、これに換えて、特定の指（例えば、中指）の先としてもよい。また、手の重心位置等の他の位置としてもよい。ステップＳ１２０およびＳ１７０の処理が、操作体奥行情報取得部１６６（図２）に相当する。

ステップＳ１７０の実行後、ＣＰＵ１４０は、ステップＳ１７０によって取得された手の奥行きＤｈａが、ステップＳ１４０によって取得されたマーカーＭＫの奥行きＤｍｋから第１の距離Ｄ１だけ引いた値より、大きいか否かを判定する（ステップＳ１８０）。

図８は、ＨＭＤ１００と、マーカーＭＫの貼り付けられた第１のボールＢ１とを上方から見たときの平面図である。ＨＭＤ１００からマーカーＭＫに向かう方向が奥行き方向Ｚである。マーカーＭＫの奥行きＤｍｋから第１の距離Ｄ１だけ引いた値の位置、すなわち、マーカーＭＫに対して第１の距離Ｄ１だけＨＭＤ１００側の位置が、図中の第１の位置Ｐ１である。手の奥行きＤｈａは、奥行き方向Ｚにおける手の指先（マーカーＭＫに最も近い指先、以下、同じ）の位置Ｐｈａまでの距離である。このため、ステップＳ１８０による判定は、奥行き方向において、手の指先の位置Ｐｈａが第１の位置Ｐ１よりマーカーＭＫ側に移動したか否かを判定することを意味する。

ステップＳ１８０で、手の奥行きＤｈａが、マーカーＭＫの奥行きＤｍｋ−Ｄ１以下であると判定されたとき、すなわち、手の指先の位置Ｐｈａが第１の位置Ｐ１よりマーカーＭＫ側に移動していないと判定されたときには、ＣＰＵ１４０は、「リターン」に処理を進めて、補助画像表示ルーチンを一旦終了する。

一方、ステップＳ１８０で、手の奥行きＤｈａが、マーカーＭＫの奥行きＤｍｋ−Ｄ１より大きいと判定されたとき、すなわち、手の指先の位置Ｐｈａが第１の位置Ｐ１よりマーカーＭＫ側に移動していると判定されたときには、ＣＰＵ１４０は、ステップＳ１９０に処理を進めて、補助画像を表示制御部１６２（図２）に表示させる。ステップＳ１８０およびＳ１９０の処理が、補助画像表示制御部１６８（図２）に相当する。

図９は、補助画像の一例を示す説明図である。図９では、使用者の視界ＶＲを例示している。この例示では、実空間において、第１のボールＢ１が対象物として視認されており、第１のボールＢ１に対して補助画像ＧＤが表示されている。図示するように、補助画像ＧＤは、対象物の奥行き感が視認できるように、同じ奥行きの点の集まりでできる矩形破線Ｇ１，Ｇ２，Ｇ３，…，Ｇｎ（ｎは正数）を、一定の間隔でつらねた線群（グリッド）である。なお、図示では、矩形破線の数は７本としたが、７本に限る必要はなく、他の数とすることもできる。

図９において、外側から２つ目の矩形破線Ｇ２が、Ｄｍｋ−Ｄ１の奥行きを示すものであるとする。図中においては、矩形破線Ｇ２は太線で描いているが、これは説明のために便宜的に太線としているだけで、矩形破線Ｇ２は他の矩形破線Ｇ１，Ｇ３〜Ｇｎと同じ線の太さである。手ＨＡの指先ＦＧが、矩形破線Ｇ２よりも第１のボールＢ１側に移動したとき、図５のステップＳ１８０で肯定判定され、ステップＳ１９０によって補助画像ＧＤが表示される。すなわち、使用者は、手ＨＡが矩形破線Ｇ２を超えるまでは、矩形破線Ｇ２を含む補助画像ＧＤは視認できず、矩形破線Ｇ２を超えて初めて、矩形破線Ｇ２を含む補助画像ＧＤが視認される。

図５に戻り、ステップＳ１９０によって補助画像ＧＤが表示された後、ＣＰＵ１４０は、ステップＳ２００に処理を進めて、補助画像ＧＤが表示された旨を示すフラグＦを値１にセットする（ステップＳ１９５）。フラグＦは、初期状態では値０であり、ステップＳ１９５によって値1にセットされる。ステップＳ１９５の実行後、ＣＰＵ１４０は、「リターン」に処理を進めて、補助画像表示ルーチンを一旦終了する。

図１０は、補助画像表示停止ルーチンを示すフローチャートである。この補助画像表示停止ルーチンは、補助画像ＧＤが表示された旨を示すフラグＦが値1であるときに、図５の補助画像表示ルーチンに換えて実行される。すなわち、フラグＦが値1であるときに、ＣＰＵ１４０によって所定時間ごとに繰り返し実行される。

補助画像表示停止ルーチンにおけるステップＳ２１０からステップＳ２６０までの処理は、図５の補助画像表示ルーチンにおけるステップＳ１１０からステップＳ１６０までの処理と同一である。

ステップＳ２６０で、ＲＧＢ画像内に手が含まれると判定された場合には、ステップＳ２７０に処理を進める。ステップＳ２７０では、ＣＰＵ１４０は、ステップＳ２２０によって取得したデプスマップ内からステップＳ２６０で手と認識した部分を抽出し、その抽出したデータから手の奥行きＤｈａと、手のマーカーＭＫに対する二次元空間内距離Ｓｈａを算出する。手の奥行きＤｈａは、図５の補助画像表示ルーチンにおけるステップＳ１７０で取得した手の奥行きＤｈａと同一である。ステップＳ２７０では、さらに、デプスマップを用いて、奥行き方向に垂直な二次元空間の幅方向（図９におけるＸ−Ｙ空間）における、手の指先とマーカーＭＫとの間の距離を算出、この距離を二次元空間内距離Ｓｈａとして取得する。

続いて、ＣＰＵ１４０は、図５の補助画像表示ルーチンにおけるステップＳ１８０と同様に、ステップＳ２７０によって取得された手の奥行きＤｈａが、ステップＳ２４０によって取得されたマーカーＭＫの奥行きＤｍｋから第１の距離Ｄ１だけ引いた値より、大きいか否かを判定する（ステップＳ２８０）。ここで、手の奥行きＤｈａが、マーカーＭＫの奥行きＤｍｋ−Ｄ１以下であると判定されたとき、すなわち、手の指先の位置Ｐｈａが第１の位置Ｐ１よりマーカーＭＫ側でなくなったと判定されたときには、ＣＰＵ１４０は、ステップＳ２９５に処理を進めて、図５のステップＳ１９０で表示された補助画像の表示を、表示制御部１６２（図２）に停止させるとともに、補助画像が表示された旨を示すフラグＦを値０にクリアする（ステップＳ２９７）。なお、ステップＳ２６０で、ＲＧＢ画像内に手が含まれないと判定された場合にも、ＣＰＵ１４０は、ステップＳ２９５、Ｓ２９７と処理を進めて、補助画像の表示を停止させるとともに、フラグＦを値０にクリアする。

一方、ステップＳ２８０で、手の奥行きＤｈａが、マーカーＭＫの奥行きＤｍｋ−Ｄ１より大きいと判定されたとき、すなわち、手の指先の位置Ｐｈａが第１の位置Ｐ１よりマーカーＭＫ側に移動していると判定されたときには、ＣＰＵ１４０は、ステップＳ２９０に処理を進める。ステップＳ２９０では、以下の第１の条件と第２の条件の双方を満たすか否かを判定する。

第１の条件は、ステップＳ２７０によって取得された手の奥行きＤｈａが、ステップＳ２４０によって取得されたマーカーＭＫの奥行きＤｍｋから第２の距離Ｄ２だけ引いた値より大きいことである。図８に示すように、第２の距離Ｄ２は、第１の距離Ｄ１より短い。このため、第１の条件は、手の指先の位置Ｐｈａが、第１の位置Ｐ１よりマーカーＭＫ側に位置する第２の位置Ｐ２よりも、マーカーＭＫ側に移動していることを意味する。

第２の条件は、ステップＳ２７０によって取得された二次元空間内距離Ｓｈａ（図８を参照）が、所定値Ｓ０より短いことである。すなわち、第２の条件は、Ｘ−Ｙ空間における手の指先の位置ＰｈａとマーカーＭＫとの間の距離が所定値Ｓ０を下回る距離であることを意味する。図８では、手の指先の位置ＰｈａとマーカーＭＫとが、Ｙ軸方向においては同じ位置にある場合を例示している。図８の例では、ＳｈａがＳ０より大きいことから、第２の条件は満たされない。

第１の条件と第２の条件の双方を満たしたとき、奥行き方向Ｚに加えて、Ｘ−Y空間において、手の指先は対象物である第１のボールＢ１に十分に近づいたことを意味する。このため、ステップＳ２９０で、第１の条件と第２の条件の双方を満たしたと判定されたときには、ＣＰＵはステップＳ２９５、Ｓ２９７と処理を進めて、補助画像の表示を停止させるとともに、フラグＦを値０にクリアする。ステップＳ２９７の実行後、ＣＰＵ１４０は、「リターン」に処理を進めて、補助画像表示停止ルーチンを一旦終了する。

一方、ステップＳ２９０で否定判定、すなわち、第１の条件と第２の条件のうちの少なくとも一方を満たさないと判定されたときには、ＣＰＵ１４０は、「リターン」に処理を進めて、補助画像表示停止ルーチンを一旦終了する。すなわち、ステップＳ２９０で否定判定されたときには、補助画像の表示を停止させることなく、その表示を継続する。

図１１は、補助画像が停止される直前の使用者の視界ＶＲを例示する説明図である。図１２は、補助画像が停止された直後の使用者の視界ＶＲを例示する説明図である。図１１において、外側から３つ目の矩形破線Ｇ３が、Ｄｍｋ−Ｄ２の奥行きを示すものであるとする。図中においては、矩形破線Ｇ３は太線で描いているが、これは説明のために便宜的に太線としているだけで、矩形破線Ｇ３は他の矩形破線Ｇ１，Ｇ２，Ｇ４〜Ｇｎと同じ線の太さである。手ＨＡの指先ＦＧが、矩形破線Ｇ３に達するまでは、補助画像ＧＤが表示されている。その後、手ＨＡの指先ＤＧが、矩形破線Ｇ３よりも第１のボールＢ１側に移動し、かつ前述した第２の条件を満たしたときに、図１２に示すように、補助画像の表示は停止される。

図１３は、補助画像の表示が停止されない状態の使用者の視界ＶＲを例示する説明図である。この例示では、Ｘ−Ｙ空間における手の指先ＦＧとマーカーＭＫとの間の距離である二次元空間内距離Ｓｈａが、所定値Ｓ０より長い。このため、補助画像の表示は停止されず、補助画像ＧＤは継続して表示される。

Ｄ．実施形態の効果について：
以上のように構成された本実施形態のＨＭＤ１００によれば、ＨＭＤ１００からの奥行き方向Ｚにおいて、手の指先が、矩形破線Ｇ２よりも第１のボールＢ１側に移動したと判定されたときに、同じ奥行きの点の集まりでできる矩形破線Ｇ１〜Ｇｎを一定の間隔でつらねた線群からなる補助画像ＧＤが、光学像表示部２６、２８に表示される。このため、使用者は、現実空間の奥行き方向において、対象物がどの位置に存在するかを容易に把握することができる。

また、本実施形態では、奥行き方向Ｚにおいて、手の指先が、第１の位置Ｐ１よりマーカーＭＫ側に位置する第２の位置Ｐ２よりもマーカーＭＫ側に移動したと判定され、さらに、Ｘ−Ｙ平面において、手の指先が、マーカーＭＫに対して所定値Ｗ０を下回る距離に近づいていると判定されたときに、補助画像ＧＤの表示が停止される。このため、奥行き方向ＺおよびＸ−Ｙ平面において、手の指先がマーカーＭＫに十分に近づいたと判定でき、この場合に補助画像ＧＤの表示は停止される。このために、手の指先によって対象物である第１のボールＢ１に対して作業が行われる直前には、補助画像ＧＤの表示は消される。したがって、補助画像ＧＤが作業の支障となることがなく、作業性が低下することを防止できる。

Ｅ．変形例：
なお、この発明は前記実施形態およびその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｅ−１．変形例１：
前記実施形態では、対象物についての奥行き方向の位置の認識を容易にするための補助画像ＧＤ（図９）は、同じ奥行きの点の集まりでできる矩形破線Ｇ１〜Ｇｎを一定の間隔でつらねた線群であった。これに対して、変形例として、補助画像は、対象物の影であってもよい。

図１４は、変形例１における補助画像としての影ＳＤを示す説明図である。影ＳＤは、対象物である第１のボールＢ１に接続されている。影ＳＤは、第１のボールＢ１によって光線が妨げられることで生じる暗い部分である。影ＳＤの長さで、第１のボールＢ１のＨＭＤに対する奥行きを示している。奥行きが長いほど（すなわち、遠いほど）、影ＳＤの長さは長くなる。この構成によっても、第１実施形態と同様の効果を奏することができる。

なお、補助画像は、前記実施形態のような船群や、この変形例のような影に限る必要はなく、対象物についての奥行き方向の位置の認識を容易にするためのものであれば、距離を示す数値、色によって奥行きを示すボーダー線等、種々の形状、色等に換えることができる。

Ｅ−２．変形例２：
前記実施形態では、使用者によって操作される操作体は使用者の手としていた。これに対して、変形例として、操作体を工具や、指示棒等としてもよい。

Ｅ−３．変形例３：
前記実施形態では、対象物の奥行きと操作体の奥行きとをデプスセンサーによって検出していた。これに対して、変形例として、ステレオカメラや、単眼カメラで撮影した２枚の画像に基づいて奥行きを求めるようにしてもよい。さらに、光学的に奥行きを測定する構成に換えて、ｉＢｅａｃｏｎ（登録商標）の技術を用いて、対象物や操作体にＢＬＥ（Bluetooth Low Energy）端末を設けることで、対象物や操作体からの距離を取得するようにしてもよい。また、ｉＢｅａｃｏｎ以外の通信技術を用いて、距離を測定するようにしてもよい。

Ｅ−４．変形例４：
前記実施形態では、奥行き方向において、対象物に対して第１の距離Ｄ１だけＨＭＤ側である第１の位置Ｐ１より対象物側に、操作体が移動したと判定されたときに、補助画像を表示させる構成とした。これに対して、変形例として、ＨＭＤと対象物との間の距離の所定の割合だけ対象物側に、操作体が移動したと判定されたとき、補助画像を表示させる構成としてもよい。要は、奥行き方向において、対象物と操作体との位置関係が所定の条件を満たすと判定されたときであれば、種々の条件に換えることもできる。

Ｅ−５．変形例５：
前記実施形態では、光学像表示部２６、２８（図１）を透過して視認できる現実世界の物体を対象物とし、その視認された現実世界の物体に対してＡＲとしての補助画像を表示する構成とした。これに対して、変形例として、ＡＲとしての３Ｄオブジェクトを対象物として光学像表示部に表示し、その３Ｄオブジェクトに対して補助画像を表示する構成としてもよい。３Ｄオブジェクトは、仮想的な３次元空間に配置される物体であり、３次元空間上の座標位置が定められていることから、対象物奥行情報取得部は、３Ｄオブジェクトの座標位置から取得する構成とすればよい。この構成によれば、画面上に表示された３Ｄオブジェクトに対して、操作体を近づけたときに、３Ｄオブジェクトについての奥行き方向の位置の認識を容易にするための補助画像が表示されることになり、使用者は、奥行き方向において、仮想オブジェクトがどの位置に存在するかを容易に把握することができる。

なお、３Ｄオブジェクトの座標位置は、３Ｄオブジェクトの表面を示す位置であってもよいし、３Ｄオブジェクトの中心を示す位置であってもよく、これらの位置から奥行きを求める。さらに、外界の対象物に対して３Ｄオブジェクトを、対象物の表面よりもＨＭＤ側に付加することが考えられるが、この場合には、３Ｄオブジェクトを対象物として奥行きを求めるようにしてもよい。

Ｅ−６．変形例６：
前記実施形態では、ＨＭＤ１００は、使用者が装着した状態において外景が透過される透過型ヘッドマウントディスプレイとした。これに対して、変形例として、外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。この構成は、例えば、外景をカメラで撮影して、表示部に撮影された外景を表示し、その外景の画像にＡＲ画像を重畳することによって実現できる。なお、非透過型ヘッドマウントディスプレイは、変形例５に示した、３Ｄオブジェクトを対象物として表示する際に好適である。

Ｅ−７．その他の変形例：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（ｉ）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。

図１５は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１３（Ａ）の例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図１３（Ｂ）の例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤとして実現することもできる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。

例えば、画像処理部、表示制御部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていてもよい。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としてもよい。例えば、表示駆動部は、ＬＣＤに代えてＤＭＤ（デジタル・マイクロミラー・デバイス）等を用いることもできる。例えば、表示駆動部は、ＲＧＢの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、ＭＥＭＳミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ＥＬやＤＭＤやＭＥＭＳミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス（表示駆動部）における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する１つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー（表示駆動部）におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ
６２…デプスセンサー
１００…頭部装着型表示装置（ＨＭＤ）
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１３４…ＧＰＳモジュール
１４０…ＣＰＵ
１６０…画像処理部
１６２…表示制御部
１６４…対象物奥行情報取得部
１６６…操作体奥行情報取得部
１６８…補助画像表示制御部
１７０…音声処理部
１８０…インターフェイス
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
Ｂ１…第１のボール
Ｂ２…第２のボール
Ｂ３…第３のボール
ＤＰ…デプスマップ
ＨＡ…手
ＦＧ…指先
ＧＤ…補助画像
ＭＫ…マーカー
ＳＤ…影

Claims (8)

1. 表示部を備える頭部装着型表示装置であって、
   前記表示部を介して視認される対象物についての前記頭部装着型表示装置からの奥行きを示す対象物奥行情報を取得する対象物奥行情報取得部と、
   前記頭部装着型表示装置を取り巻く外界において使用者によって操作される操作体についての前記頭部装着型表示装置からの奥行きを示す操作体奥行情報を取得する操作体奥行情報取得部と、
   前記取得された対象物奥行情報と、前記取得された操作体奥行情報とに基づいて、前記頭部装着型表示装置からの奥行き方向において、前記対象物と前記操作体との位置関係が所定の条件を満たすと判定されたときに、前記対象物についての前記奥行き方向の位置の認識を容易にするための補助画像を、前記表示部に表示させる補助画像表示制御部と、
   を備える頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記補助画像表示制御部は、
   前記奥行き方向において、前記対象物から第１の距離だけ前記頭部装着型表示装置側に位置する第１の位置よりも、前記操作体が前記対象物側に移動したと判定されたときに、前記補助画像を表示させる、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記奥行き方向に垂直な二次元空間における前記対象物の位置と前記操作体の位置とを示す二次元位置情報を取得する二次元位置情報取得部を備え、
   前記補助画像表示制御部は、
   前記奥行きの方向において、前記対象物から前記第１の距離よりも短い第２の距離だけ前記頭部装着型表示装置側に位置する第２の位置よりも、前記操作体が前記対象物側に移動したと判定され、かつ、前記取得された二次元位置情報に基づいて、前記二次元空間における前記操作体と前記対象物との間の距離が所定値を下回る距離であると判定されたときに、前記補助画像の表示を停止する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記補助画像は、同じ奥行きの点の集まりでできる矩形破線を、一定の間隔でつらねた線群である、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記表示部は、前記外界を透過視認可能な表示部であり、
   前記操作体は、前記外界に実在する物体である、頭部装着型表示装置。
6. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記操作体は、仮想３次元空間に配置された物体であり、
   前記対象物奥行情報は、前記仮想３次元空間における前記対象物までの奥行きを示す情報である、頭部装着型表示装置。
7. 表示部を備える頭部装着型表示装置の制御方法であって、
   前記表示部を介して視認される対象物についての前記頭部装着型表示装置からの奥行きを示す対象物奥行情報を取得する工程と、
   前記頭部装着型表示装置を取り巻く外界において使用者によって操作される操作体についての前記頭部装着型表示装置からの奥行きを示す操作体奥行情報を取得する工程と、
   前記取得された対象物奥行情報と、前記取得された操作体奥行情報とに基づいて、前記頭部装着型表示装置からの奥行き方向において、前記対象物と前記操作体との位置関係が所定の条件を満たすと判定されたときに、前記対象物についての前記奥行き方向の位置の認識を容易にするための補助画像を、前記表示部に表示させる工程と、
   を備える頭部装着型表示装置の制御方法。
8. 表示部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
   前記表示部を介して視認される対象物についての前記頭部装着型表示装置からの奥行きを示す対象物奥行情報を取得する機能と、
   前記頭部装着型表示装置を取り巻く外界において使用者によって操作される操作体についての前記頭部装着型表示装置からの奥行きを示す操作体奥行情報を取得する機能と、
   前記取得された対象物奥行情報と、前記取得された操作体奥行情報とに基づいて、前記頭部装着型表示装置からの奥行き方向において、前記対象物と前記操作体との位置関係が所定の条件を満たすと判定されたときに、前記対象物についての前記奥行き方向の位置の認識を容易にするための補助画像を、前記表示部に表示させる機能と、
   をコンピューターに実現させる、コンピュータープログラム。