JP2016173693A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Abstract

【課題】画像を表示させるために処理の負担を低減しつつ、使用者にとっての画像の視認性を低下させない技術を提供する。
【解決手段】透過型の頭部装着型表示装置は；画像を表示領域に表示可能な画像表示部と；使用者の視線方向を特定する視線方向特定部と；特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、を備える。
【選択図】図１

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、使用者の視野を２つ以上の領域に分割し、分割した領域ごとに対応させた仮想画像を表示させる頭部装着型表示装置が記載されている。また、特許文献２には、検出された使用者の視線位置の近傍に入力を補助するためのガイド情報を示す画像を表示させるマルチモーダル・インターフェース（multimodal interface）が記載されている。また、特許文献３には、使用者の歩行などの移動状態に合わせて変化する使用者の注視点までの距離と同じ位置に、使用者に視認される画像を表示させる頭部装着型表示装置が記載されている。

特表２０１４−５２６１５７号公報 特開平１１−５４７７８号公報 特開２０１４−２２５７２７号公報

しかし、特許文献１に記載された技術では、分割された領域に表示される仮想画像が多い場合には、仮想画像を表示させるための処理の負担が大きく、仮想画像の表示に遅れを生じるおそれがあった。また、特許文献２，３に記載された技術でも、表示される画像の容量が大きい場合には、画像を表示させるための処理の負担が大きい場合があった。そのほか、従来の頭部装着型表示装置の技術においては、その小型化や、低コスト化、製造の容易化、使い勝手の向上等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示領域に表示可能な画像表示部と；使用者の視線方向を特定する視線方向特定部と；特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、を備える。この形態の頭部装着型表示装置によれば、使用者が視認している位置に応じて、画像の表示態様を変更することで、使用者の表示画像に対する視認性を低下させずに、画像を表示させるための処理の負担を低減できる。

（２）上記形態の頭部装着型表示装置において、前記画像変更部は、特定された前記視線方向に応じて変化する使用者の視覚特性に対応させて前記表示画像を変更してもよい。この形態の頭部装着型表示装置によれば、画像を視認する使用者の認識などの視覚特性を損なわないで、画像を表示させる処理の速度を向上させることができる。

（３）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示領域の一部に前記表示画像を表示する場合に、前記表示画像の位置と前記視線方向とに応じて、前記表示画像を変更してもよい。この形態の頭部装着型表示装置によれば、画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度を向上させることができる。

（４）上記形態の頭部装着型表示装置において、前記画像表示部は、外景を透過可能であり；前記頭部装着型表示装置は、さらに；前記外景を撮像する外景撮像部を備え；前記画像変更部は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定してもよい。この形態の頭部装着型表示装置によれば、特定対象物と表示される画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。

（５）上記形態の頭部装着型表示装置において、前記視線方向特定部は、前記画像表示部の向きを検出する表示部方向検出部を有し、検出された前記画像表示部の向きに基づいて前記視線方向を特定してもよい。この形態の頭部装着型表示装置によれば、例えば、使用者の眼を撮像するような装置を使用せずに、簡便に安価に使用者の視線方向を特定できる。

（６）上記形態の頭部装着型表示装置において、前記視線方向特定部は、使用者の眼を撮像する眼撮像部を有し、撮像された使用者の眼の画像に基づいて、前記視線方向を特定してもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向を精度良く特定できる。

（７）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示画像が文字画像を含む場合には、特定された前記視線方向を含む第１の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させ、前記第１の視野範囲よりも大きい範囲であると共に前記第１の視野範囲を含まない第２の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させなくてもよい。この形態の頭部装着型表示装置によれば、使用者が文字を認識しづらい視野範囲では文字画像を含まない画像が表示領域に表示されるため、画像を視認する使用者の認識のしやすさをより低減させないで、画像を表示させる処理の速度を向上させることができる。

（８）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示画像が使用者に三次元画像として視認される画像の場合には、特定された前記視線方向を含む第３の視野範囲では前記表示画像を三次元画像として前記表示領域に表示させ、前記第３の視野範囲よりも大きい範囲であると共に前記第３の視野範囲を含まない第４の視野範囲に表示では前記表示画像を二次元画像として使用者に視認されるように前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者が表示画像までの距離を認識しづらい視野範囲において二次元画像を表示領域に表示させるため、対応画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度をより向上させることができる。

（９）上記形態の頭部装着型表示装置において、前記画像変更部は、前記表示画像が複数の色の情報を含む画像である場合には、特定された前記視線方向を含む第５の視野範囲では前記表示画像を複数の色の情報を含む画像として前記表示領域に表示させ、前記第５の視野範囲よりも大きい範囲であると共に前記第５の視野範囲を含まない第６の視野範囲では前記表示画像を単色の濃淡を用いて前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度をより向上させることができる。

（１０）上記形態の頭部装着型表示装置において、前記画像変更部は、前記第６の視野範囲では、前記表示画像の輪郭のみを前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者が色情報を認識しづらい範囲においては画像の外枠のみを表示させので、対応画像を視認する使用者の認識のしやすさを低減させないで、画像を表示させる処理の速度をより向上させることができる。

（１１）上記形態の頭部装着型表示装置において、前記画像変更部は、特定された前記視線方向を含む第７の視野範囲よりも大きい範囲であると共に前記第７の視野範囲を含まない第８の視野範囲では、前記表示画像を前記第７の視野範囲に表示される画像よりも簡略化した簡易画像として前記表示領域に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者が表示画像の詳細な内容までを認識できない視野範囲では画像があることだけを示す簡略化した画像のみが表示領域に表示されるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、視線方向特定部と、画像変更部と、の３つ要素の内の一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、視線方向特定部を有していてもよく、有していなくてもよい。また、装置は、画像変更部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像を表示領域に表示可能であってもよい。視線方向特定部は、例えば、使用者の視線方向を特定してもよい。画像変更部は、例えば、特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、制御システム、頭部装着型表示システム、表示装置、制御システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本実施形態における頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 本実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 注視点と使用者の視線方向と関係の説明図である。 注視点を中心とする水平視野および鉛直視野の概略図である。 水平視野における視野の範囲ごとの人間の認識の度合いを示す説明図である。 鉛直視野における視野の範囲ごとの人間の認識の度合いを示す説明図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 画像表示処理の流れを示すフローチャートである。 対応画像の画像表示位置と区別された視野範囲との関係を示す説明図である。 対応画像が表示された場合の使用者の視野の一例を示す説明図である。 カメラの撮像範囲が変化した後の対応画像が表示された場合に使用者の視野の一例を示す説明図である。 使用者の視線方向が変化した後の対応画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 本実施形態の変形例における使用者が視認する視野の一例を示す説明図である。 変形例における使用者が視認する視野の一例を示す説明図である。 対応画像が視野範囲に属する場合に使用者が視認する視野の一例を示す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本実施形態における頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、第１カメラ６１と、第２カメラ６２と、右眼撮像カメラ３７と、左眼撮像カメラ３８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

第１カメラ６１および第２カメラ６２は、外景を撮像する。第１カメラ６１と第２カメラ６２とのそれぞれは、画像表示部２０の異なる位置に配置されている。第１カメラ６１は、右光学像表示部２６の他端である端部ＥＲにおいて、画像表示部２０が使用者に装着された場合の使用者の頭部方向に配置されている。また、同じように、第２カメラ６２は、左光学像表示部２８の他端である端部ＥＬにおいて、画像表示部２０が使用者に装着された場合の使用者の頭部方向に配置されている。本実施形態では、第１カメラ６１と第２カメラ６２とのそれぞれは、画像表示部２０の中心である右光学像表示部２６の一端と左光学像表示部２８の一端とが接続する位置を通る中心線に対して、線対称に配置されている。なお、以降では、第１カメラ６１と第２カメラ６２とを合わせて、単に、カメラ６１，６２とも呼ぶ。本実施形態では、第１カメラ６１が画像表示部２０に配置されている場所と、第２カメラ６２が画像表示部２０に配置されている場所と、が異なるため、第１カメラ６１の撮像範囲と第２カメラ６２の撮像範囲との両方に撮像されている対象までの距離を、三角法を用いて算出できる。なお、カメラ６１，６２は、請求項における外景撮像部に相当する。

右眼撮像カメラ３７は、画像表示部２０を装着した使用者の右眼を撮像するカメラである。同様に、左眼撮像カメラ３８は、画像表示部２０を装着した使用者の左眼を撮像するカメラである。右眼撮像カメラ３７によって撮像された使用者の右眼の画像および左眼撮像カメラ３８によって撮像された使用者の左眼の画像は、後述する方向特定部１６６が使用者の視線方向を特定するための処理に用いられる。なお、右眼撮像カメラ３７および左眼撮像カメラ３８は、単眼カメラであるが、ステレオカメラであってもよい。以降では、右眼撮像カメラ３７および左眼撮像カメラ３８を合わせて、眼撮像カメラ３７，３８とも呼ぶ。眼撮像カメラ３７，３８と後述する方向特定部１６６とは、請求項における視線方向特定部に相当する。また、眼撮像カメラ３７，３８は、請求項における眼撮像部に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、本実施形態におけるＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。

記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、を有する。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、画像設定部１６５、距離測定部１６８、および、方向特定部１６６として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して音声信号を供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

方向特定部１６６は、眼撮像カメラ３７，３８によって撮像された使用者の右眼ＲＥの画像および左眼ＬＥの画像を解析することによって、使用者の視線方向を特定する。撮像された使用者の右眼ＲＥの画像および左眼ＬＥの画像に基づく使用者の視線方向の特定方法としては、種々の公知技術を用いることができる。例えば、方向特定部１６６は、撮像された画像を、記憶部１２０に予め記憶された使用者の視線方向に対応させた画像のデータベースを基準として、撮像された眼の画像に対してパターンマッチングや統計的識別法を用いて、使用者の視線方向を特定できる。

距離測定部１６８は、第１カメラ６１の撮像画像に含まれる対象物と、第２カメラ６２の撮像画像に含まれる対象物と、に対して三角法を用いることで、カメラ６１，６２の撮像画像に含まれる対象物の画像までの距離を測定する。なお、本実施形態では、配置された場所が異なるステレオカメラである第１カメラ６１と第２カメラ６２とによって、対象物までの距離が測定されたが、他の実施形態では、ＴＯＦ（Time Of Flight）センサーなどの異なる測定手段によって、対象物までの距離が測定されてもよい。

画像設定部１６５は、画像表示部２０に表示させる画像（表示画像）の各種設定を行なう。例えば、画像設定部１６５は、表示画像の表示位置や表示画像の大きさや表示画像の輝度などを設定したり、表示画像を三次元画像として、使用者に立体的（３Ｄ）に視認させるために両眼視差（単に、「視差」ともいう）を形成するように右眼用画像データと左眼用画像データとを設定する。また、画像設定部１６５は、撮像画像に対してパターンマッチング等を用いることで、撮像画像の中から予め設定された検出対象の画像を検出する。

本実施形態では、画像設定部１６５は、同じ画像データに基づく画像であっても、特定された使用者の視線方向と、画像が表示される画像領域の位置と、の関係によって、異なる画像を画像表示部２０に表示させる。例えば、画像設定部１６５は、ＲＧＢ（Red Green Blue）の色情報を有する三次元画像データに基づいて、使用者の注視点を中心とする所定の視野の範囲ではＲＧＢの色情報を有し、測定された距離情報を用いた三次元画像として画像表示部２０に表示させる。一方、画像設定部１６５は、三次元画像データに基づいて、当該所定の視野の範囲外では白と黒のみの色情報を有する二次元画像として画像表示部２０に表示させる。画像設定部１６５は、視線方向と画像領域の位置との関係について、同じ画像データであってもどのように異なる画像を表示するかの対応を決定するルックアップテーブルを、ＲＯＭを介して読み取ることで、画像表示部２０に表示させる画像を決定している。

図３は、注視点ＰＯＲと使用者の視線方向ＥＤと関係の説明図である。図３には、使用者の右眼ＲＥと左眼ＬＥとが注視点ＰＯＲを見ている場合の視線方向ＥＤが示されている。本実施形態では、右眼ＲＥと左眼ＬＥとの中間点である左右眼球中心ＭＰから注視点ＰＯＲまでの方向を視線方向ＥＤとして定義している。なお、使用者の視線方向ＥＤの定義については、種々変形可能であり、例えば、利き眼から注視点ＰＯＲまでの方向を視線方向ＥＤとして定義してもよい。

人間は、注視点ＰＯＲを中心とする一定の範囲である視野に存在する対象を視認できる。一般に、人間は、注視点ＰＯＲまでの距離と同じ距離に存在し、注視点ＰＯＲの近い位置に存在する対象ほど、より明確に視認できる。人間が視野のどの範囲に存在する対象かによって人間の視認性が変化する視覚特性には、種々の形態がある。例えば、ある視野の範囲までは対象の輪郭を明確に視認できるが、それ以外の視野の範囲では、対象が存在することを認識できるものの、対象の輪郭が把握できないといった視覚特性が存在する。なお、対象の代わりとなる表示画像についても同様のことが言える。換言すると、人間は、注視点ＰＯＲから離れるほど、視野に含まれる対象物を認識する能力が低下する。そのため、本実施形態では、画像設定部１６５は、使用者の視線方向ＥＤから離れる位置に表示される画像については、同じ画像データに基づく画像であっても、例えば、画像の解像度を落とすなどの手段によって、当該画像を画像表示部２０に表示させるための処理を低減させて画像表示部２０に当該画像を表示させる。なお、画像設定部１６５は、請求項における画像変更部に相当する。

注視点ＰＯＲを中心とする約５度以内の領域は、視力などの視機能が優れている弁別視野と呼ばれている。また、注視点ＰＯＲを中心として水平方向に約３０度以内で、かつ、視点を中心として垂直方向に約２０度以内の領域は、眼球運動だけで瞬時に対象を認識できる有効視野と呼ばれている。また、注視点ＰＯＲを中心として水平方向に約６０〜９０度で、かつ、視点を中心として垂直方向に約４５〜７０度以内の領域は、使用者が眼球を動かす眼球運動や頭部運動を行なうことで無理なく対象を認識できる安定注視野と呼ばれている。

図４は、注視点ＰＯＲを中心とする水平視野ＶＲｗおよび鉛直視野ＶＲｈの概略図である。図４には、水平方向および鉛直方向における弁別視野と有効視野と安定注視野との関係が示されている。図４には、使用者が注視点ＰＯＲを見ている場合に、注視点ＰＯＲを中心として視認できる視野ＶＲと、視野ＶＲを水平方向成分に分けて説明するための水平視野ＶＲｗと、視野ＶＲを鉛直方向成分に分けて説明するための鉛直視野ＶＲｈと、が示されている。図４では、弁別視野と有効視野と安定注視野とは、下記の関係（１）のように表される。なお、関係（１）における括弧書きの角度は、注視点ＰＯＲを中心とした場合の片側の角度である。
弁別視野：Ｗ０，Ｈ０（〜約５度）
有効視野：Ｗ１（〜約３０度），Ｈ１（〜約２０度） ・・・（１）
安定注視野：Ｗ２（〜約６０（９０）度），Ｈ２（〜約４５（７０）度）
図４に示すように、視野ＶＲの鉛直方向では、上側よりも下側における安定注視野などが広い範囲である。これは、人間にとって、鉛直方向に沿って上側よりも下側を視認しやすいことを示している。

図５は、水平視野ＶＲｗにおける視野の範囲ごとの人間の認識の度合いを示す説明図である。図５には、使用者ＵＳの視線方向ＥＤを中心として６つに区別した視野範囲ＶＲ１から視野範囲ＶＲ６が示されており、下記の関係（２）が成立する。なお、関係（２）における括弧書きの角度は、注視点ＰＯＲを中心とした場合の片側の角度である。
ＶＲ１：注視点ＰＯＲとみなせる範囲（〜約１度）
ＶＲ２：文字を識別できる範囲（〜約１０度）
ＶＲ３：眼球運動が楽に行なえる範囲（〜約１５度）・・・（２）
ＶＲ４：形状を識別できる範囲（〜約３０度）
ＶＲ５：色情報を識別できる範囲（〜約６０度）
ＶＲ６：視野の限界（〜約９４度）
以上、図５に示すように、視野によって使用者ＵＳが認識できる情報が異なってくる。

図６は、鉛直視野ＶＲｈにおける視野の範囲ごとの人間の認識の度合いを示す説明図である。図６には、図５の水平視野ＶＲｗの代わりとしての鉛直視野ＶＲｈについての区別された使用者ＵＳの視野が示されている。そのため、区別した視野範囲がどういった視野範囲であるのかの説明は省略する。

図２に示すインターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、第１カメラ６１と、第２カメラ６２と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図７は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図２に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．画像表示処理：
図８は、画像表示処理の流れを示すフローチャートである。画像表示処理では、ＣＰＵ１４０が、カメラ６１，６２の撮像画像の中から検出された検出対象に対応付けられた対応画像を画像表示部２０に表示させる際に、使用者の視線方向ＥＤを中心として区別された視野範囲と画像の表示位置とに基づいて、表示画像を変更して画像表示部２０に表示させる処理である。

画像表示処理では、初めに、画像設定部１６５は、カメラ６１，６２を用いて、外景を撮像する（ステップＳ１１）。画像設定部１６５は、撮像されたカメラ６１，６２の撮像画像の中から画像表示部２０に表示させる対応画像に対応付けられた検出対象をパターンマッチング等によって検出する（ステップＳ１３）。画像設定部１６５は、撮像画像の中から検出対象を検出しない場合には（ステップＳ１３：ＮＯ）、引き続き、撮像画像の中から検出対象の検出を待機する（ステップＳ１３）。

ステップＳ１３の処理において、画像設定部１６５は、撮像画像の中から検出対象を検出した場合には（ステップＳ１３：ＹＥＳ）、検出対象に予め対応付けられた対応画像を画像表示部２０に表示させる画像表示位置を決定する（ステップＳ１５）。対応画像の画像表示位置については、種々の決定が可能であり、例えば、撮像画像の中の検出対象の位置にかかわらず画像表示部２０が画像を表示できる画像表示最大領域ＰＮにおける固定された位置に表示させたり、検出対象に設定された特徴点の位置の近傍に表示させる場合などがある。なお、画像表示最大領域ＰＮは、請求項における表示領域に相当する。

対応画像の画像表示位置が決定されると（ステップＳ１５）、ＣＰＵ１４０は、画像表示部２０を頭部に装着している使用者の注視点ＰＯＲおよび視線方向ＥＤを、眼撮像カメラ３７，３８の撮像画像を用いて特定する（ステップＳ１７）。ＣＰＵ１４０は、距離測定部１６８がカメラ６１，６２の撮像画像を用いて測定した検出対象までの距離と、方向特定部１６６が眼撮像カメラ３７，３８の撮像画像を用いて特定した使用者の視線方向ＥＤと、を特定する。

画像設定部１６５は、対応画像の画像表示最大領域ＰＮにおける画像表示位置が、特定された視線方向ＥＤに基づいて設定された複数の視野範囲の内のいずれの視野範囲に属するかを特定する（ステップＳ１９）。画像設定部１６５は、例えば、図５に示すように、特定された視線方向ＥＤを中心とする複数の視野範囲を区別し、画像表示位置が区別したどの視野範囲に属するのかを特定する。

図９は、対応画像ＩＭ１の画像表示位置と区別された視野範囲との関係を示す説明図である。図９には、使用者が視認する視野ＶＲの一例が示されている。図９に示すように、使用者は、光学像表示部２６，２８を透過した外景ＳＣを視認できる。外景ＳＣには、検出対象ＴＷとしてのランドマークの１つとしての「スカイツリー」が含まれている。図９には、ＣＰＵ１４０によって特定された使用者の注視点ＰＯＲと、注視点ＰＯＲを中心として所定の範囲で設定された視野範囲ＶＲ２，ＶＲ３，ＶＲ４，ＶＲ５と、が示されている。なお、視野範囲ＶＲ３とは、視野範囲ＶＲ３に含まれ、かつ、視野範囲ＶＲ２に含まれない範囲をいう。同じように、視野範囲ＶＲ４とは、視野範囲ＶＲ４に含まれ、かつ、視野範囲ＶＲ２，ＶＲ３に含まれない範囲をいい、視野範囲ＶＲ５とは、視野範囲ＶＲ５に含まれ、かつ、視野範囲ＶＲ２，ＶＲ３，ＶＲ４のいずれにも含まれない範囲をいう。図９では、破線の画像表示最大領域ＰＮと、注視点ＰＯＲを示す星印と、各視野範囲を示す一点鎖線と、を説明のために便宜上示しているが、これらは使用者には視認されない。本実施形態では、カメラ６１，６２の撮像画像によって、使用者が視認する視野に相当する撮像画像が作成されているため、作成された撮像画像と使用者の視野ＶＲとは一致する。他の実施形態では、撮像画像と使用者の視野ＶＲとが異なっていてもよい。

画像設定部１６５は、図８のステップＳ１９の処理を行なうと、検出対象ＴＷに対応付けられた対応画像の画像データに基づいて画像表示最大領域ＰＮに表示させる対応画像の表示態様を設定する（ステップＳ２３）。本実施形態では、画像設定部１６５は、画像表示最大領域ＰＮにおいて対応画像が表示される位置に対応させて、同じ画像データに基づく表示画像であっても、表示画像の態様の設定を変更する。画像設定部１６５は、対応画像ＩＭ１の表示態様を設定すると、表示態様を設定した対応画像ＩＭ１を画像表示最大領域ＰＮに表示させる（ステップＳ２３）。

図１０は、対応画像ＩＭ１が表示された場合の使用者の視野ＶＲの一例を示す説明図である。図１０に示すように、使用者の視野ＶＲには、光学像表示部２６，２８を透過して使用者が視認できる外景ＳＣと、画像表示最大領域ＰＮ内に表示された対応画像ＩＭ１と、が含まれている。対応画像ＩＭ１は、撮像画像の中から検出された検出対象ＴＷに対応付けられて画像表示最大領域ＰＮに表示される画像である。対応画像ＩＭ１は、検出対象ＴＷの近くに検出対象ＴＷに重複しないように表示されるように予め設定されている。特に、特定された使用者の注視点ＰＯＲが検出対象ＴＷに重複する場合には、対応画像ＩＭ１は、特定された注視点ＰＯＲの位置に合わせて表示される。なお、検出対象ＴＷは、請求項における特定対象物に相当する。

画像設定部１６５は、特定された注視点ＰＯＲの位置に対応付けた対応画像ＩＭ１を表示させる画像表示位置と各視野範囲との位置関係を特定する。画像設定部１６５は、対応画像ＩＭ１の少なくとも一部が最も注視点ＰＯＲに近い視野範囲ＶＲ２に含まれることを特定すると、対応画像ＩＭ１の画像データに基づいて表示させる画像の表示態様として、対応画像ＩＭ１の画像データを最も詳細まで表した表示態様として設定する。画像設定部１６５は、設定した表示態様の対応画像ＩＭ１として、下記の内容（Ａ）〜（Ｃ）の全てを充足した画像を画像表示最大領域ＰＮに表示させる。
（Ａ）文字画像
（Ｂ）三次元画像（距離情報を含む）
（Ｃ）ＲＧＢの色情報を含む画像
設定された表示態様の対応画像ＩＭ１は、文字画像を含んでおり、検出対象ＴＷまでの距離と同じ距離に視認されるような三次元画像として画像表示最大領域ＰＮに表示される。また、対応画像ＩＭ１に含まれる文字画像の内の下線が引いてある「こちら」には、別に画像表示最大領域ＰＮに表示されるカーソルなどを移動させることによって、「こちら」を選択可能であることを示すために、他の文字画像と異なる色（例えば、青（ＢＬＵＥ））によって表示されている。操作部１３５が受け付けた所定の操作によって、対応画像ＩＭ１に含まれる「こちら」が選択されると、ＣＰＵ１４０は、無線通信部１３２を介して、検出対象ＴＷのホームページ（ＨＰ）へと接続される。なお、本実施形態では、対応画像ＩＭ１の画像表示位置が複数の視野範囲に含まれる場合には、画像設定部１６５は、最も内側の視野範囲に対応画像ＩＭ１の全体が含まれた場合に表示される態様で、対応画像ＩＭ１を画像表示最大領域ＰＮに表示させる。なお、他の実施形態では、対応画像ＩＭ１の表示位置がいずれの視野範囲に含まれるかの特定について種々変形可能であり、例えば、画像の内の最も含まれる表示領域が多い視野範囲が、表示態様を設定するための視野範囲として特定されてもよい。視野範囲ＶＲ２は、請求項における第１の視野範囲に相当し、視野範囲ＶＲ２以外の視野範囲は、請求項における第２の視野範囲に相当する。

図８のステップＳ２３において、対応画像ＩＭ１が画像表示最大領域ＰＮに表示されると、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を監視する（ステップＳ２５）。ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を検出した場合には（ステップＳ２５：ＹＥＳ）、ステップＳ１３以降の処理を繰り返す。なお、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化は、所定の閾値を用いて、所定の閾値以下の変化であれば、撮像画像に変化がないとして扱ってもよい。

図１１は、カメラ６１，６２の撮像範囲が変化した後の対応画像ＩＭ２が表示された場合に使用者の視野ＶＲの一例を示す説明図である。図１１には、図１０と比較して、使用者が検出対象ＴＷよりも離れた位置に存在し、使用者の注視点ＰＯＲが外景ＳＣに含まれる月ＭＮである場合の視野ＶＲが示されている。すなわち、図１１では、図１０と比較して、使用者の注視点ＰＯＲも変化している。図１１に示す例では、カメラ６１，６２の撮像画像から検出された検出対象ＴＷは、視野範囲ＶＲ５よりもさらに外側の範囲に含まれる。この場合に、画像設定部１６５は、対応画像ＩＭ１と同じ対応画像ＩＭ２の画像データに基づいて画像表示最大領域ＰＮに表示させる画像の表示態様として、検出対象ＴＷの位置のみを簡略化した距離情報を有さない表示態様として設定する。図１１に示すように、画像設定部１６５は、対応画像ＩＭ２の画像データに基づく簡略化した対応画像ＩＭ２として、検出対象ＴＷの位置に重複する丸の画像である対応画像ＩＭ２を、画像表示最大領域ＰＮに無限遠の位置に表示させる。本実施形態では、画像設定部１６５は、視野範囲ＶＲ５に含まれる検出対象ＴＷの対応画像として、検出対象ＴＷの位置を表すだけの画像を画像表示最大領域ＰＮに表示させる。なお、視野範囲ＶＲ５よりも外側の範囲は、請求項における第８の視野範囲に相当し、視野範囲ＶＲ５を含む視野範囲ＶＲ５より内側の視野範囲は、請求項における第７の視野範囲に相当する。

図８のステップＳ２３において、対応画像ＩＭ２が表示されると、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を監視する（ステップＳ２５）。ＣＰＵ１４０は、カメラ６１，６２の撮像画像の変化がないと判定した場合には（ステップＳ２５：ＮＯ）、使用者の視線方向ＥＤの変化を監視する（ステップＳ２７）。ＣＰＵ１４０は、使用者の視線方向ＥＤが変化したと判定した場合には（ステップＳ２７：ＹＥＳ）、ステップＳ１７以降の処理を繰り返す。

図１２は、使用者の視線方向ＥＤが変化した後の対応画像ＩＭ３が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１２には、図１１と比較して、使用者の注視点ＰＯＲが変化した場合の視野ＶＲが示されている。図１２に示す例では、使用者の注視点ＰＯＲは、外景ＳＣに含まれる建物ＢＤ１であり、カメラ６１，６２の撮像画像における検出対象ＴＷの位置は、視野範囲ＶＲ４および視野範囲ＶＲ５に含まれている。そのため、画像設定部１６５は、検出対象ＴＷが視野範囲ＶＲ４に属すると判定して、検出対象ＴＷに対応付けられた対応画像ＩＭ１と同じ画像データである対応画像ＩＭ３の画像データに基づいて画像表示最大領域ＰＮに表示させる画像の表示態様を設定する。画像設定部１６５は、設定した表示態様に基づいて、ホームページ（ＨＰ）とリンクしており、選択可能なボタンとしての対応画像ＩＭ３を、図１０の対応画像ＩＭ１の「こちら」と同じ色の無限遠に視認される画像として、画像表示最大領域ＰＮに表示させる。換言すると、画像設定部１６５は、図１０に示す対応画像ＩＭ１に対して、（Ａ）文字画像の内容と、（Ｂ）距離情報を含む三次元画像の内容と、を含まないで、（Ｃ）ＲＧＢの色情報を含む画像として、画像表示最大領域ＰＮに対応画像ＩＭ３を表示させる。なお、視野範囲ＶＲ４は、請求項における第４の視野範囲に相当し、視野範囲ＶＲ４よりも内側の視野範囲は、請求項における第３の視野範囲に相当する。

図８のステップＳ２３の処理において、対応画像ＩＭ３が画像表示最大領域ＰＮに表示されると、ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化を監視する（ステップＳ２５）。ＣＰＵ１４０は、カメラ６１，６２の撮像範囲の変化がないと判定した場合には（ステップＳ２５：ＮＯ）、使用者の視線方向ＥＤの変化を監視する（ステップＳ２７）。ＣＰＵ１４０は、使用者ＵＳの視線方向ＥＤの変化がないと判定した場合には（ステップＳ２７：ＮＯ）、操作部１３５に対する画像表示処理を終了する所定の操作の受付を監視する（ステップＳ２９）。画像表示処理を終了する所定の操作が受け付けられない場合には（ステップＳ２９：ＮＯ）、ＣＰＵ１４０は、ステップＳ２５以降の処理を繰り返す。ステップＳ２９の処理において、画像表示処理を終了する所定の操作が受け付けられた場合には（ステップＳ２９：ＹＥＳ）、ＣＰＵ１４０は、画像表示処理を終了する。

また、本実施形態におけるＨＭＤ１００では、画像設定部１６５は、特定された使用者の視線方向ＥＤと対応画像の表示位置との関係に基づいて、同じ対応画像の画像データであっても、異なる画像として画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度を向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、カメラ６１，６２の撮像画像の中から検出された検出対象ＴＷの位置に対応付けて対応画像の画像表示位置を設定する。そのため、本実施形態のＨＭＤ１００では、検出対象ＴＷと対応画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。

また、本実施形態のＨＭＤ１００では、眼撮像カメラ３７，３８の撮像画像によって使用者の視線方向ＥＤが特定されるため、使用者の視線方向ＥＤおよび注視点ＰＯＲを精度良く特定できる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ２では文字画像を含む対応画像ＩＭ１を画像表示部２０の画像表示最大領域ＰＮに表示させる。一方で、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ２よりも外側の視野範囲では、文字画像を含まない対応画像（例えば、対応画像ＩＭ２）を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者が文字を認識しづらい視野範囲では文字画像を含まない対応画像が画像表示部２０に表示されるため、対応画像を視認する使用者の認識のしやすさをより低減させないで、対応画像を表示させる処理の速度を向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ５では、簡略化した丸の画像の対応画像ＩＭ２を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者が表示画像の詳細な内容までを認識できない視野範囲では画像があることだけを示す簡略化した画像のみが画像表示部２０に表示されるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ４では、使用者の注視点ＰＯＲまでの距離にかかわらず、距離情報を含まない二次元画像としての対応画像ＩＭ３を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者が表示画像までの距離を認識しづらい視野範囲において二次元画像を画像表示部２０に表示させるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ−１．変形例１：
図１３は、変形例における使用者が視認する視野ＶＲの一例を示す説明図である。図１３には、実施形態の図１２と比較して、使用者の注視点ＰＯＲが建物ＢＤ１から建物ＢＤ２へと変化した後の視野ＶＲが示されている。図１３に示す例では、使用者の注視点ＰＯＲが建物ＢＤ２であるため、画像設定部１６５は、カメラ６１，６２の撮像画像における検出対象ＴＷの位置が視野範囲ＶＲ３に属すると判定して、画像表示最大領域ＰＮに表示画像としての対応画像ＩＭ４を表示させる。対応画像ＩＭ４は、図１２に示す対応画像ＩＭ３に対して、さらに、（Ｂ）距離情報を含む三次元画像として表示される画像である。換言すると、対応画像ＩＭ４は、（Ｂ）距離情報を含む三次元画像の内容と、（Ｃ）ＲＧＢの色情報と、を含む画像である。なお、視野範囲ＶＲ４は、請求項における第４の視野範囲に相当し、視野範囲ＶＲ４よりも内側の視野範囲は、請求項における第３の視野範囲に相当する。

このように、この変形例のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ３では、距離情報を含む三次元画像としての対応画像ＩＭ４を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、この変形例のＨＭＤ１００では、同じ画像データに基づいて、使用者が三次元画像として認識できる範囲においては三次元画像が表示され、使用者が三次元画像を認識しづらい範囲においては二次元画像が表示される。これにより、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

図１４は、変形例における使用者が視認する視野ＶＲの一例を示す説明図である。図１４には、実施形態の図１２と比較して、使用者の注視点ＰＯＲが建物ＢＤ１から建物ＢＤ３へと変化した後の視野ＶＲが示されている。図１４に示す例では、使用者ＵＳの注視点ＰＯＲが建物ＢＤ３であるため、画像設定部１６５は、カメラ６１，６２の撮像画像における検出対象ＴＷの位置が視野範囲ＶＲ５に属すると判定して、画像表示最大領域ＰＮに表示画像としての対応画像ＩＭ５を表示させる。対応画像ＩＭ５は、白と黒との濃淡によって表され、対応画像ＩＭ１と同じ画像データに基づいて作成される画像である。対応画像ＩＭ５は、ＲＧＢの色情報を含まない上で使用者の視認性を向上させるために、濃淡の濃い色の長方形の画像を背景として、濃淡の薄い色の「ＨＰ」の文字を表した画像である。換言すると、対応画像ＩＭ５は、対応画像ＩＭ３に対して、（Ｃ）ＲＧＢの色情報を含まない画像である。なお、視野範囲ＶＲ５は、請求項における第６の視野範囲に相当し、視野範囲ＶＲ５よりも内側の視野範囲は、請求項における第５の視野範囲に相当する。

このように、この変形例のＨＭＤ１００では、画像設定部１６５は、対応画像ＩＭ１の画像データに基づいて、視野範囲ＶＲ５では、ＲＧＢの色情報を含まない対応画像ＩＭ５を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、この変形例のＨＭＤ１００では、同じ画像データに基づいて、使用者がＲＧＢを含む種々の色情報を認識できる範囲においてはＲＧＢの色情報を用いた対応画像が表示され、使用者が色情報を認識しづらい範囲においては白と黒との色情報のみを有する対応画像が表示させる。これにより、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

Ｂ−２．変形例２：
図１５は、対応画像ＩＭ５が視野範囲ＶＲ５に属する場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１５には、撮像された人間の被写体ＯＢに頭部の位置に、帽子の画像である対応画像ＩＭ６が重畳されて表示されている場合の視野ＶＲが示されている。被写体ＯＢは、上半身および下半身にスキーウェアを試着している人間であり、実際には帽子を頭部に試着していない。図１５に示すように、ＨＭＤ１００の使用者の注視点ＰＯＲは、被写体ＯＢから離れた位置であり、この場合に、対応画像ＩＭ６が画像表示最大領域ＰＮにおいて表示される領域は、視野範囲ＶＲ５に属する。対応画像ＩＭ６の基となる画像データは、対応画像ＩＭ６として表示されている帽子の模様などの色情報も含んでいる。しかし、画像設定部１６５は、対応画像ＩＭ６の表示位置が視野範囲ＶＲ５に属するため、対応画像ＩＭ６を、模様やＲＧＢなどの色情報を含まず、帽子の外枠だけを黒の濃い濃淡で表示させた画像として画像表示最大領域ＰＮに表示させる。換言すると、画像設定部１６５は、対応画像ＩＭ６の輪郭を使用者に認識させるため、帽子の画像の外枠のみの画像を画像表示最大領域ＰＮに表示させる。

このように、この変形例のＨＭＤ１００では、画像設定部１６５は、画像データに基づいて、視野範囲ＶＲ５では、表示画像の輪郭のみの対応画像ＩＭ６を画像表示部２０の画像表示最大領域ＰＮに表示させる。そのため、この変形例のＨＭＤ１００では、使用者が色情報を認識しづらい範囲においては画像の外枠のみを表示させので、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。

Ｂ−３．変形例３：
上記実施形態では、表示画像が画像表示最大領域ＰＮの一部に表示されたが、表示画像は、画像表示最大領域ＰＮの全体に表示される画像であってもよいし、カメラ６１，６２の撮像画像から検出される検出対象と対応付けられた対応画像とは異なる画像であってもよい。例えば、表示画像は、検出対象と無関係に、コンテンツ等によって再生される映画などの動画であってもよい。また、表示画像としての動画は、画像表示最大領域ＰＮの全体に表示されてもよい。画像が画像表示最大領域ＰＮの全体に表示される動画の場合に、画像設定部１６５は、使用者の視線方向ＥＤが画像表示最大領域ＰＮ上にないと判定したときには、動画を非表示にしてもよい。このように、画像設定部１６５は、画像表示最大領域ＰＮに表示される画像と特定された使用者の視線方向ＥＤとに基づいて、表示画像の表示態様を種々変形して設定する。

上記実施形態では、使用者の視線方向ＥＤは、眼撮像カメラ３７，３８の撮像画像に基づいて特定されたが、別の方法によって特定されてもよい。例えば、画像表示部２０の向きによって使用者の視線方向ＥＤが特定されてもよい。具体的には、画像表示部２０を頭部に装着している使用者の視線方向ＥＤは、画像表示部２０の正面方向であると特定し、常に、画像表示最大領域ＰＮの中心を使用者の注視点ＰＯＲとして設定してもよい。この変形例のＨＭＤ１００によれば、眼撮像カメラ３７，３８のような装置を使用せずに、簡便に安価に使用者の視線方向ＥＤを特定できる。また、画像表示部２０にジャイロセンサーが搭載されて、ジャイロセンサーによって検出された角速度に基づいて、画像表示部２０の向きが特定されてもよい。また、使用者のこめかみや鼻に接触する部分に配置された電極が検出する筋電位によって使用者の視線方向が特定されてもよい。

また、上記実施形態では、人間の視野と視野に関連した人間に視認の程度によって、視野範囲ＶＲ２などの使用者の注視点ＰＯＲに対する範囲を設定したが、これらの範囲によっては、種々変形可能である。外景ＳＣの輝度などの明るさ、ＨＭＤ１００の使用者の視力、表示される画像の解像度などによって視野範囲ＶＲ２などが設定されてもよい。

上記実施形態では、カメラ６１，６２の撮像画像に基づいて、撮像画像に含まれる対象物までの距離が測定されたが、対象物までの距離の測定の方法や測定の有無については、種々変形可能である。また、必ずしも、対象物までの距離が測定される必要はない。

上記実施形態では、画像表示部２０を装着した使用者が透過した外景ＳＣを視認できたが、使用者が外景ＳＣを視認できないいわゆるクローズ型のＨＭＤであってもよい。

また、上記実施形態では、外景ＳＣを撮像する撮像部として、第１カメラ６１と第２カメラ６２とによって構成されるステレオカメラが用いられたが、１つのカメラが用いられてもよいし、３つ以上のカメラが用いられてもよい。また、カメラの配置される位置は、必ずしも画像表示部２０に含まれる必要はなく、カメラは、画像表示部２０と別体で構成されてもよい。

また、使用者の視覚特性には個人差があるため、操作部１３５が所定の操作を受け付けることで、視野範囲と画像表示部２０に表示される画像との対応関係が変更されてもよい。

上記実施形態では、三次元画像として使用者に認識させるために、両眼視差を形成する方法を用いたが、三次元画像として使用者に認識させる方法については、種々変形可能である。例えば、三次元画像として使用者に認識させる方法として、輻輳運動させる画像が画像表示部２０に表示されたり、陰影が画像に付与したり、画像の大きさの変更させることで奥行き感が表されてもよい。また、二次元画像についても、例えば、距離情報を含まない無限遠として画像表示部２０に表示される画像であってもよく、種々変形可能である。

図１４に示すように、視野範囲ＶＲ５では、ＲＧＢの色情報を含まない対応画像ＩＭ５が画像表示最大領域ＰＮに表示されたが、色情報を含まない例としては、これに限られず、種々変形可能である。例えば、赤（ＲＥＤ）などの単色に対して、濃淡が付与された画像が画像表示最大領域ＰＮに表示されてもよい。色情報を減らした画像としては、単に、特定の色のグレースケールなどによって表示された画像であってもよい。

上記実施形態では、図１１に示すように、簡略化した画像として丸の画像である対応画像ＩＭ２が画像表示最大領域ＰＮに表示されたが、簡略化した画像については、種々変形可能である。例えば、丸以外の三角や四角の画像であってもよいし、画像データに対応付けられた当該画像データを連想しやすい何らかのシンボルマークの形状であってもよい。簡略化した画像とは、画像データに基づいて表示される画像（例えば、対応画像ＩＭ１）と比較して、複雑ではなく、そこに簡略化した画像が存在することを使用者に認識させる程度の画像であればよい。

上記実施形態では、使用者の視線方向と使用者の視野範囲との関係に基づいて、画像表示最大領域ＰＮに表示される画像の態様が変化したが、態様ではなく、画像が表示される位置が変化してもよい。例えば、視野範囲ＶＲ２に含まれる場合には、画像表示最大領域ＰＮの全体に画像が表示され、視野範囲ＶＲ５よりも外側の範囲である場合には、画像表示最大領域ＰＮの一部に簡略化された画像が表示されてもよい。

Ｂ−４．変形例４：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１，６２が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。

また、画像光生成部として、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用したＨＭＤ１００であってもよい。具体的な構成としては、ＨＭＤ１００は、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材と、を光射出部として備えてもよい。ＨＭＤ１００がこの構成を備えると、信号光形成部によって射出された光は、ＭＥＭＳミラーによって反射され、光学部材に入射し、光学部材に導かれて、虚像形成面（例えば、反射面）に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、形成された虚像を使用者が視認することで、使用者に画像が認識される。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｂ−５．変形例５：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図１６は、変形例におけるＨＭＤの外観構成を示す説明図である。図１６（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１６（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部（画像表示部）
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
３７…右眼撮像カメラ（眼撮像部、視線方向特定部）
３８…左眼撮像カメラ（眼撮像部、視線方向特定部）
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…第１カメラ（外景撮像部）
６２…第２カメラ（外景撮像部）
１００…ＨＭＤ（頭部装着型表示装置）
１２０…記憶部
１３０…電源
１３２…無線通信部
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…画像設定部（画像変更部）
１６６…方向特定部（視線方向特定部）
１６８…距離測定部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右ＢＬ制御部
２０２…左ＢＬ制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＡＰ…先端部
ＢＤ１，ＢＤ２，ＢＤ３…建物
ＥＤ…使用者の視線方向
ＥＬ…左光学像表示部の端部
ＥＲ…右光学像表示の端部
ＨＳｙｎｃ…水平同期信号
ＶＳｙｎｃ…垂直同期信号
ＰＣＬＫ…クロック信号
ＩＬ…照明光
ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４，ＩＭ５，ＩＭ６…対応画像
ＬＥ…左眼
ＲＥ…右眼
ＭＮ…月
ＭＰ…左右眼球中心
ＯＡ…外部機器
ＯＢ…被写体
ＰＬ…画像光
ＰＮ…画像表示最大領域（表示領域）
ＰＯＲ…注視点
ＳＣ…外景
ＴＷ…検出対象（特定対象物）
ＵＳ…使用者
ＶＲ…視野
ＶＲ１，ＶＲ２，ＶＲ３，ＶＲ４，ＶＲ５，ＶＲ６…視野範囲
ＶＲｈ…鉛直視野
ＶＲｗ…水平視野

Claims (13)

1. 頭部装着型表示装置であって、
   画像を表示領域に表示可能な画像表示部と、
   使用者の視線方向を特定する視線方向特定部と、
   特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記画像変更部は、特定された前記視線方向に応じて変化する使用者の視覚特性に対応させて前記表示画像を変更する、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記画像変更部は、前記表示領域の一部に前記表示画像を表示する場合に、前記表示画像の位置と前記視線方向とに応じて、前記表示画像を変更する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像表示部は、外景を透過可能であり、
   前記頭部装着型表示装置は、さらに、
   前記外景を撮像する外景撮像部を備え、
   前記画像変更部は、撮像された前記外景の画像の中から特定対象物を検出し、検出した特定対象物の位置に対応付けて前記表示画像の位置を設定する、頭部装着型表示装置。
5. 請求項４に記載の頭部装着型表示装置であって、
   前記視線方向特定部は、前記画像表示部の向きを検出する表示部方向検出部を有し、検出された前記画像表示部の向きに基づいて前記視線方向を特定する、頭部装着型表示装置。
6. 請求項４に記載の頭部装着型表示装置であって、
   前記視線方向特定部は、使用者の眼を撮像する眼撮像部を有し、撮像された使用者の眼の画像に基づいて、前記視線方向を特定する、頭部装着型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像変更部は、前記表示画像が文字画像を含む場合には、特定された前記視線方向を含む第１の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させ、前記第１の視野範囲よりも大きい範囲であると共に前記第１の視野範囲を含まない第２の視野範囲では前記文字画像を前記表示画像として前記表示領域に表示させない、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像変更部は、前記表示画像が使用者に三次元画像として視認される画像の場合には、特定された前記視線方向を含む第３の視野範囲では前記表示画像を三次元画像として前記表示領域に表示させ、前記第３の視野範囲よりも大きい範囲であると共に前記第３の視野範囲を含まない第４の視野範囲に表示では前記表示画像を二次元画像として使用者に視認されるように前記表示領域に表示させる、頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像変更部は、前記表示画像が複数の色の情報を含む画像である場合には、特定された前記視線方向を含む第５の視野範囲では前記表示画像を複数の色の情報を含む画像として前記表示領域に表示させ、前記第５の視野範囲よりも大きい範囲であると共に前記第５の視野範囲を含まない第６の視野範囲では前記表示画像を単色の濃淡を用いて前記表示領域に表示させる、頭部装着型表示装置。
10. 請求項９に記載の頭部装着型表示装置であって、
    前記画像変更部は、前記第６の視野範囲では、前記表示画像の輪郭のみを前記表示領域に表示させる、頭部装着型表示装置。
11. 請求項１から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像変更部は、特定された前記視線方向を含む第７の視野範囲よりも大きい範囲であると共に前記第７の視野範囲を含まない第８の視野範囲では、前記表示画像を前記第７の視野範囲に表示される画像よりも簡略化した簡易画像として前記表示領域に表示させる、頭部装着型表示装置。
12. 画像を表示領域に表示可能な画像表示部を有する、頭部装着型表示装置の制御方法であって、
    使用者の視線方向を特定する工程と、
    特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する工程と、を備える、制御方法。
13. 頭部装着型表示装置のためのコンピュータープログラムであって、
    画像を表示領域に表示可能な画像表示機能と、
    使用者の視線方向を特定する視線方向特定機能と、
    特定された前記視線方向に応じて、前記表示領域に表示される表示画像を変更する画像変更機能と、を頭部装着型表示装置に実現させるコンピュータープログラム。

Images