JP2016024208A - 表示装置、表示装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】外景とともに画像を表示できる表示装置によって、外景中の物体の付加情報を外景とともに見えるように適切な手法で表示する。【解決手段】頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する透過型の表示装置であって、使用者の左眼に対応して画像を表示する左光学像表示部２８、及び、使用者の右眼に対応して画像を表示する右光学像表示部２６を有する画像表示部２０と、付加情報を取得する付加情報取得部１７０と、付加情報取得部１７０により取得した付加情報を、画像表示部２０が有する左光学像表示部２８、及び、右光学像表示部２６のいずれか一方に表示させる制御部１４０と、を備える。【選択図】図２

Description

本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。

従来、背景映像と、背景映像以外のオブジェクト映像とを重畳して表示する表示装置が知られている（例えば、特許文献１参照）。また、使用者の眼前に装着できる半透過型のディスプレイを備え、使用者の見ている実空間の物体に関連する情報を、物体に重ね合わせて表示する表示装置が知られている（例えば、特許文献２参照）。特許文献２の表示装置は、使用者の視野方向に見えている物体の映像を取り込むカメラを備えている。このカメラで実空間が撮影され、実空間の物体を含む映像が取得される。表示装置は、カメラが撮影した映像中から物体を特定し、特定した物体の付加情報を記憶部から抽出して、付加情報を実空間の対象の物体に重ねて表示する。

特開２０１１−３４０８６号公報 特開２０１３−５４６６１号公報

上記従来の表示装置では、使用者が透過型ディスプレイを通して外景を見ると、実空間に存在する対象に重なるように、付加情報を見ることとなる。このため、透過型ディスプレイに表示される付加情報と、実空間の対象との見え方が一定せず、例えば、付加情報が明瞭に見えないことがあった。
本発明は、上述した事情に鑑みてなされたものであり、外景とともに画像を表示できる表示装置によって、外景として見える実空間の対象物体等に関連する情報を、外景とともに見えるように表示することを目的とする。

上記目的を達成するために、本発明の表示装置は、使用者に画像を視認させるとともに外景を透過する透過型の表示装置であって、使用者の左眼に対応して画像を表示する第１の表示部、及び、使用者の右眼に対応して画像を表示する第２の表示部を有する画像表示部と、付加情報を取得する付加情報取得部と、前記付加情報取得部により取得した付加情報を、前記画像表示部が有する前記第１及び第２の表示部のいずれか一方に表示させる制御部と、を備えることを特徴とする。
本発明によれば、付加情報を、第１及び第２の表示部のいずれか一方に表示させるので、使用者には、付加情報と外景との両方が明瞭に見える。すなわち、使用者は、片方の眼に見える付加情報を視認すればよく、右眼に見える付加情報と左眼に見える付加情報とを像として捉える必要がない。このため、使用者が付加情報を見るときに知覚或いは意識する焦点距離と、外景を見るときに知覚或いは意識する焦点距離との差異に起因する違和感を、解消できる。これにより、付加情報を外景とともに適切な手法で表示できる。

また、本発明は、上記表示装置において、前記表示部を通して視認される前記外景のうち、前記付加情報を重畳する対象を検出する対象検出部を備え、前記制御部は、前記対象検出部により検出された対象に重なるように前記付加情報を表示させること、を特徴とする。
本発明によれば、検出された対象に重なるように、付加情報を、見やすく表示できる。

また、本発明は、上記表示装置において、前記外景を撮像する撮像部を備え、前記対象検出部は、前記撮像部の撮像画像に基づいて前記付加情報を重畳する対象を検出すること、を特徴とする。
本発明によれば、撮像画像から、付加情報を重畳する対象を検出して、付加情報を表示するので、予め設定された認識情報などの条件に基づいて対象を検出することができる。これにより、表示装置が撮像画像から認識情報を認識して動作する場合の利便性の向上を図ることができる。

また、本発明は、上記表示装置において、前記使用者の視線方向を検出する視線検出部を備え、前記制御部は、前記視線検出部により検出された視線方向に基づき、前記付加情報を表示させる表示位置を決定すること、を特徴とする。
本発明によれば、使用者の視線方向にある対象の付加情報を外景とともに適切な手法で表示して利便性を高めることができる。

また、本発明は、上記表示装置において、前記付加情報の表示方法を選定する表示方法選定部を備え、前記制御部は、前記表示方法選定部により選定された方法に基づいて、前記付加情報を表示させること、を特徴とする。
本発明によれば、表示方法選定部により付加情報の表示方法を選定するので、付加情報を外景とともに適切に表示して利便性を高めることができる。

また、本発明は、上記表示装置において、前記表示方法選定部は、前記外景の環境に応じて、前記付加情報の表示方法を変えること、を特徴とする。
本発明によれば、外景の環境に応じて、付加情報の表示方法を変えるので、付加情報を外景とともに適切な手法で表示して利便性を高めることができる。

また、本発明は、上記表示装置において、前記表示方法選定部は、前記外景の色に応じて、前記付加情報の色を選定すること、を特徴とする。
本発明によれば、外景の色に応じて、付加情報の色を選定するので、外景に対して見やすい色を選定することができ、付加情報を外景とともに適切な手法で表示して利便性を高めることができる。

また、本発明は、上記表示装置において、前記表示方法選定部は、前記外景の明るさに応じて、前記付加情報の透過率を変えること、を特徴とする。
本発明によれば、外景の明るさに応じて、付加情報の透過率を変えるので、付加情報を外景とともに適切な手法で表示して利便性を高めることができる。

また、本発明は、上記表示装置において、前記表示方法選定部は、前記付加情報の重要性に応じて、前記付加情報の表示方法を変えること、を特徴とする。
本発明によれば、付加情報の重要性に応じて、付加情報の表示方法を変えるので、付加情報を外景とともに適切な手法で表示して利便性を高めることができる。

また、本発明は、上記表示装置において、前記表示方法選定部は、前記付加情報の種類に応じて、前記付加情報を前記第１及び第２の表示部のいずれか一方に表示させるか、或いは、前記第１及び第２の表示部の両方に表示させるかを切り替えること、を特徴とする。
本発明によれば、付加情報の種類に応じて、付加情報の表示を片方の表示部にするか、両方の表示部にするかを切り替える。これにより、付加情報を外景とともに適切な手法で表示して利便性を高めることができる。

また、上記目的を達成するために、本発明は、使用者に画像を視認させるとともに外景を透過し、使用者の左眼に対応して画像を表示する第１の表示部、及び、使用者の右眼に対応して画像を表示する第２の表示部を有する透過型の表示装置の制御方法であって、付加情報を取得し、前記付加情報を、前記第１及び第２の表示部のいずれか一方に表示させること、を特徴とする。
本発明によれば、付加情報を、第１及び第２の表示部のいずれか一方に表示させるので、使用者には、付加情報と外景との両方が明瞭に見え、付加情報を外景とともに適切な手法で表示できる。

また、上記目的を達成するために、本発明は、使用者に画像を視認させるとともに外景を透過し、使用者の左眼に対応して画像を表示する第１の表示部、及び、使用者の右眼に対応して画像を表示する第２の表示部を有する透過型の表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、付加情報を取得する付加情報取得部と、前記付加情報取得部により取得した付加情報を、前記第１及び第２の表示部のいずれか一方に表示させる制御部として機能させる。
本発明によれば、付加情報を、第１及び第２の表示部のいずれか一方に表示させるので、使用者には、付加情報と外景との両方が明瞭に見え、付加情報を外景とともに適切な手法で表示できる。

頭部装着型表示装置の外観構成を示す説明図である。 頭部装着型表示装置の機能的構成を示すブロック図である。 頭部装着型表示装置の動作を示すフローチャートである。 頭部装着型表示装置の表示の例を示す説明図である。 頭部装着型表示装置の表示の別の例を示す説明図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０（コントローラー）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）を備える。また、右光学像表示部２６、２８の前面側に調光板（図示略）を備えてもよい。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置すればよい。この調光板としては、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板の光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板を用いる場合について説明する。この調光板は右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制するために役立つ。
調光板は右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向を撮像する。カメラ６１の画角は、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外景を含む範囲であることが好ましい。さらに、調光板を通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。

なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、頭部装着型表示装置１００の機能ブロック図である。図２に示すように、制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有している。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。
制御部１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭまたは記憶部１２０に記憶されたプログラムを実行することにより、頭部装着型表示装置１００の各部を制御する。制御部１４０は、上記プログラムを実行することにより、頭部装着型表示装置１００の基本制御システムであるオペレーティングシステム（ОＳ）１５０として機能する。また、制御部１４０は、上記プログラムを実行して、画像処理部１６０、視線検出部１６１、対象検出部１６３、表示方法選定部１８５、付加情報取得部１７０、及び表示制御部１９０として機能する。これらの機能はオペレーティングシステム１５０の一部であってもよいし、オペレーティングシステム１５０上で動作するアプリケーションプログラムの機能であってもよい。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

視線検出部１６１は、後述する９軸センサー６６が検出した画像表示部２０の向きから、使用者の視線方向を検出する。なお、視線検出部１６１は、使用者の眼球画像を取得して、使用者の注視位置を正確に検出することができる構成であってもよい。

対象検出部１６３は、カメラ６１を制御して撮像（撮影）を実行させ、撮像画像の画像データを取得する。頭部装着型表示装置１００は、少なくとも、実空間に存在する対象に関連する付加情報を画像表示部２０に表示する情報表示モードと、実空間の対象に関連する付加情報を表示しない通常動作モードと、を含む複数の動作モードを実行可能である。頭部装着型表示装置１００では、通常モードと情報表示モードとを切り換えて実行することができる。情報表示モードでは、対象検出部１６３がカメラ６１を動作させて、撮像を行い、撮像画像データを取得する。情報表示モードでは、対象検出部１６３の制御に従って、カメラ６１が予め設定された周期で連続的に撮像を実行し、１フレームを撮像する毎に、対象検出部１６３が撮像画像データを取得する。このように対象検出部１６３がカメラ６１に撮像をさせる動作は、カメラ６１により動画像を撮像する場合と同様であってもよい。また、情報表示モードでは、カメラ６１の撮像範囲が、使用者の視界の全体を撮像できるように自動で設定されてもよい。なお、本実施形態では、対象検出部１６３がカメラ６１を制御して撮像を実行する構成としたが、これに限らず、制御部１４０の他の機能により、カメラ６１が制御され撮像が実行されてもよい。例えば、使用者の操作部１３５の操作により撮像が実行されて、カメラ６１が撮像した画像が対象検出部１６３に入力されてもよい。また、視線検出部１６１が使用者の視線が一点に注視されたことを検出して、視線検出部１６１によりカメラ６１が制御され撮像が実行されてもよい。

また、対象検出部１６３は、後述するＧＰＳ１１５によって求められた制御装置１０の現在位置を取得する。また、対象検出部１６３は、視線検出部１６１によって検出された使用者の視線方向を取得する。
対象検出部１６３は、カメラ６１の撮像画像から、予め設定された認識情報に該当する画像を検出する機能を有する。予め設定された認識情報とは、例えば、検出する対象の画像や、複数の画素の画素値のパターン等である。これらの認識情報は、予め記憶部１２０に記憶される。対象検出部１６３は、カメラ６１の撮像画像と、記憶部１２０に予め記憶された対象の画像と、に基づいて画像認識により、撮影画像中の対象を検出する。また、複数の画素の画素値のパターンは、例えばＱＲコード（登録商標）等の２次元コード、１次元バーコード等の、いわゆるマーカーであり、コンピューターにより光学的に読み取り、認識可能であり、コンピューターが情報を取得可能な画像である。対象検出部１６３は、カメラ６１の撮像画像から、上記のマーカーを検出する。なお、本実施形態では、対象検出部１６３がカメラ６１の撮像画像から認識情報を検出する構成としたが、これに限らず、制御部１４０の他の機能により、カメラ６１の撮像画像から認識情報が検出されてもよい。また、使用者の操作部１３５の操作により認識情報が特定され、特定された認識情報に基づいて対象検出部１６３が対象を検出することができる構成であってもよい。

記憶部１２０には、検出する対象の認識情報と、位置情報と、付加情報と、が紐付けて記憶される。カメラ６１の撮像画像には、複数の対象が含まれる場合がある。対象検出部１６３は、ＧＰＳ１１５によって求められた制御装置１０の現在位置と、視線検出部１６１によって検出された使用者の視線方向と、カメラ６１の撮像画像内に検出された認識情報と、個々の認識情報に紐付けられた位置情報と、に基づいて、検出する対象を特定する。また、対象検出部１６３は、検出した対象のＬＣＤ２４１及びＬＣＤ２４２における画素座標を求める。カメラ６１の撮影画像における座標と、導光板２６１及び導光板２６２の画像（虚像）が使用者に見える位置と、ＬＣＤ２４１及びＬＣＤ２４２における画素座標とは、予め対応付けされている。対象検出部１６３は、撮影画像から対象を検出し、この対象の撮影画像中の座標を求める。対象検出部１６３は、対象の撮影画像中の座標に基づいて、対象のＬＣＤ２４１及びＬＣＤ２４２における画素座標を求める。
なお、対象検出部１６３は、制御部１４０の機能として実現されるものであり、対象検出部１６３が実行する上記の動作が制御部１４０の他の機能により実現されてもよい。

付加情報取得部１７０は、対象検出部１６３が検出した対象に関連する付加情報を取得する。付加情報取得部１７０は、対象検出部１６３が検出した対象を付加情報データベース１２１に記憶された情報と照合し、対象に紐付けて記憶された対象の付加情報を取得する。
表示方法選定部１８５は、カメラ６１が撮像した撮像画像の画像データを取得する。また、表示方法選定部１８５は、付加情報取得部１７０から付加情報を取得する。表示方法選定部１８５は、カメラ６１の撮像画像と、対象に関連する付加情報と、に基づいて表示方法を選定する。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得して、制御装置１０の動き及び動きの方向を検出可能である。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。また、ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置の緯度経度から、現在位置に該当する施設を特定する機能を備えていてもよい。
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））や、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に準じた無線データ通信を実行する。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の画像供給装置ＯＡを接続するためのインターフェイスである。画像供給装置ＯＡが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
ここで、画像供給装置ＯＡを無線通信回線により制御装置１０に接続することも可能である。この場合、画像供給装置ＯＡは、通信部１１７と無線通信を実行して、コンテンツのデータをＭｉｒａｃａｓｔ（登録商標）等の無線通信技術により送信する。

記憶部１２０は、検出対象を認識するための認識情報と、検出対象の位置情報と、に紐付けて検出対象の付加情報を記憶する付加情報データベース１２１を備える。付加情報データベース１２１には、対象に係る情報が、対象の位置情報（例えば、施設の名称等の情報）に基づいて階層化されて記憶されていている。また、制御装置１０は、自己の位置情報（例えば、現在位置に該当する施設等の情報）に基づいて、通信部１１７、或いは、インターフェイス１８０に、現在位置に係る対象に関連する情報を、画像供給装置ＯＡから取得させてもよい。なお、付加情報データベース１２１は、記憶部１２０が備える構成に限らず、画像供給装置ＯＡが付加情報データベースを備えていてもよい。この場合、制御装置１０は、通信部１１７により画像供給装置ＯＡと無線通信を行って、付加情報データベースに記憶された情報を随時取得してもよい。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備える。

振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。例えば、制御部１４０は、９軸センサー６６で検出された使用者の頭部の動きから画像表示部２０の向きを判定し、使用者の視線方向を推定できる。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

そして、左表示駆動部２４及び左導光板２６２は、使用者の左眼に対応して画像を表示する第１の表示部を構成する。また、右表示駆動部２２及び右導光板２６１は、使用者の右眼に対応して画像を表示する第２の表示部を構成する。

頭部装着型表示装置１００は、情報表示モードにおいて、カメラ６１が撮像を行い、カメラ６１の撮像画像データを利用して動作する。カメラ６１は、図１に示したように、使用者の頭部に装着される画像表示部２０に設けられる。このため、カメラ６１の撮像方向は使用者の視線方向と同じ方向であり、使用者が見ている方向が撮像されるため便利である。以下に、情報表示モードでの頭部装着型表示装置１００の動作について詳細に説明する。以下の説明では、情報表示モードの一実施例として、図書館内で目当ての書籍コーナーがどこにあるか、注視している書籍はどのような書籍か、などの情報を表示する例を用いて説明する。

図３は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、情報表示モードの実行に係る動作を示す。
情報表示モードは、使用者による操作部１３５の操作に基づいて、制御部１４０により開始される。制御部１４０が、情報表示モードを開始すると（ステップＳ１）、対象検出部１６３がカメラ６１に撮像を開始させ、撮像画像データを取得する（ステップＳ２）。次に、対象検出部１６３は、カメラ６１の撮像画像に写っている、認識情報を検出する（ステップＳ３）。対象検出部１６３は、ＧＰＳ１１５から現在位置情報を取得し、現在位置情報に紐付けて、付加情報データベース１２１に記憶されているマーカーや対象の画像等の認識情報と一致する認識情報を撮像画像から検出する。対象の画像は、図書館の例では、書籍や雑誌の表紙の画像、図書館内に掲示されている案内サインの画像等である。対象検出部１６３は、カメラ６１の撮像画像中に、付加情報データベース１２１に記憶されているマーカーと同一のマーカーを検出する。また、対象検出部１６３は、付加情報データベース１２１に記憶されている画像と一致する物体がカメラ６１の撮像画像にあるかを調べる。対象検出部１６３は、カメラ６１の撮像画像中の局所パターンとほぼ一致する局所パターンを持つ画像を付加情報データベース１２１中から検索することによって物体認識を行う。

続いて、視線検出部１６１が、使用者の視線方向、及び／或いは、注視位置を検出する（ステップＳ４）。対象検出部１６３は、視線検出部１６１が検出した使用者の視線方向、及び／或いは、注視位置を取得する。対象検出部１６３は、撮像画像から検出した認識情報の中から、使用者の視線方向、及び／或いは、注視位置にある認識情報を特定する。対象検出部１６３は、特定した認識情報に紐付けられた対象を、付加情報データベース１２１を参照して検出する（ステップＳ５）。また、対象検出部１６３は、検出した対象のＬＣＤ２４１及びＬＣＤ２４２における画素座標を特定する（ステップＳ６）。

続いて付加情報取得部１７０が、対象検出部１６３により検出された対象を付加情報データベース１２１に記憶された情報と照合し、対象に紐付けられて記憶された付加情報を取得する（ステップＳ７）。対象が書籍の場合、付加情報は、書籍の紹介や、当該書籍が最新刊であるか否か等の情報である。
表示方法選定部１８５は、対象検出部１６３により検出された対象の付加情報を表示するための表示方法を選定する（ステップＳ８）。表示方法選定部１８５は、付加情報取得部１７０により取得された対象の付加情報を取得する。また、表示方法選定部１８５は、カメラ６１の撮像画像データを取得する。表示方法選定部１８５は、取得した対象の付加情報と、カメラ６１の撮像画像と、に基づいて、付加情報の表示方法を選定する。

表示方法選定部１８５は、カメラ６１の撮像画像を解析して、外景の色相、及び、明度を求める。また、表示方法選定部１８５は、カメラ６１の撮像画像に基づいて、外景の危険因子を検出する。例えば、表示方法選定部１８５は、カメラ６１が連続的に撮像した複数の撮像画像に基づいて、外景に移動する物体が多い等の危険因子を検出する。

表示方法選定部１８５は、外景の色相に応じて、付加情報を表示する表示色を選定する。表示方法選定部１８５は、カメラ６１の撮像画像の色相を解析し、外景に少ない色を付加情報の表示色として選定する。
また、表示方法選定部１８５は、付加情報の種類に応じて、付加情報を右光学像表示部２６、及び、左光学像表示部２８のいずれか一方に表示させるか、或いは、右光学像表示部２６、及び、左光学像表示部２８の両方に表示させるかを選定する。

図４（Ａ）、（Ｂ）、（Ｃ）は、頭部装着型表示装置１００の表示例を示す説明図である。
表示方法選定部１８５は、付加情報が文字や記号等の外景とともに視認しやすい情報の場合には、図４（Ａ）に示すように、右光学像表示部２６、及び、左光学像表示部２８のいずれか一方に表示させる表示方法を選定する。図４（Ａ）では、左光学像表示部２８に表示された左表示画像ＶＬに、対象の書籍に関する付加情報ＩＦが表示されている。つまり、対象の付加情報ＩＦは、使用者の左眼だけに視認可能に表示される。これにより、使用者は、焦点距離を調節することなく、外景と、外景に重畳表示された付加情報と、をはっきりと視認することができる。なお、右光学像表示部２６、及び、左光学像表示部２８のいずれか一方に表示させる表示方法が選定された場合に、どちらの表示部に表示させるかは、使用者が操作部１３５に対する操作で設定可能な構成であってもよい。

また、表示方法選定部１８５は、制御装置１０の現在位置と、対象検出部１６３により検出された対象の位置情報と、を取得して、対象との位置関係に基づいて、付加情報の表示サイズを選定する。表示方法選定部１８５は、図４（Ａ）示すように、対象との距離が近い場合には、付加情報を大きく表示する表示方法を選定する。また、表示方法選定部１８５は、図４（Ｂ）示すように、対象との距離が遠い場合には、付加情報を小さく表示する表示方法を選定する。図４（Ｂ）は、使用者から離れた位置に在る書棚が対象として検出された場合の、表示画像の例を示す。図４（Ｂ）に示したように、対象として検出された書棚に関する付加情報ＩＦ（例えば、書棚に陳列された書籍の分類等）が、書棚を指し示す矢印と共に左光学像表示部２８に左表示画像ＶＬとして表示される。このように、表示方法選定部１８５は、使用者から対象までの距離に応じて付加情報の表示サイズを変えるため、使用者は、対象までの距離を感覚的に把握することができる。
また、表示方法選定部１８５は、対象に応じて、付加情報の表示方法を選定してもよい。表示方法選定部１８５は、例えば、対象が単体の場合には、図４（Ａ）に示すように、対象を枠で囲む線吹き出しを用いて付加情報を表示する表示方法を選定する。また、表示方法選定部１８５は、例えば、対象が特定の範囲に亘る場合には、図４（Ｂ）に示すように、対象の範囲を指し示す矢印と共に付加情報を表示する表示方法を選定する。

また、表示方法選定部１８５は、外景が明るいときは、付加情報を表示する透過率を下げ、外景が暗いときは、付加情報を表示する透過率を上げてもよい。また、表示方法選定部１８５は、外景に移動する物体等の危険因子を検出したときには、図４（Ｃ）に示すように、付加情報ＩＦを表示する透過率を下げ、外景の見やすさを優先してもよい。図４（Ｃ）は、外景に動く子供が検出された場合の、表示画像の例を示す。図４（Ｃ）に示したように、外景に移動する物体が検出された場合、表示方法選定部１８５は、左光学像表示部２８に表示する左表示画像ＶＬの付加情報ＩＦを、高い透過率で表示する表示方法を選定する。これにより、使用者は、付加情報と共に、外景の動く子供を視認することができる。このように、表示方法選定部１８５は、外景に物が多い場合や、眩しい場合等、外景の環境に応じて、付加情報の表示方法を選定する。表示方法選定部１８５は、外景の環境に応じて付加情報を表示する色や透過率を適宜に選定することができる。また、表示方法選定部１８５は、外景の環境に応じて付加情報を表示するか否かを判断してもよい。表示方法選定部１８５は、付加情報を表示せずに、例えば、検出された対象を枠で囲んで示す表示方法を選定してもよい。

図５（Ａ）及び（Ｂ）は、頭部装着型表示装置１００の別の表示例を示す説明図である。
表示方法選定部１８５は、付加情報の重要性に応じて、付加情報の表示方法を選定する。付加情報の重要度は、個々の付加情報に紐付けて付加情報データベース１２１に記憶されている。表示方法選定部１８５は、重要性の高い付加情報については、図５（Ａ）に示すように、見やすく表示する、或いは、何らかの方法で強調して表示する表示方法を選定する。表示方法選定部１８５は、重要性の高い付加情報の文字の透過率を下げる、太字にする、点滅表示させる等の方法で強調させて表示する表示方法を選定する。図５（Ａ）は、消火器、或いは、消火器の場所を示すサインが対象として検出された場合の、表示画像ＶＬを示す。図５（Ａ）に示した例では、対象として検出された消火器の位置を示す付加情報ＩＦが点滅表示されている。

表示方法選定部１８５は、付加情報が画像や映像等の、外景とともに視認しにくい情報の場合には、図５（Ｂ）に示すように、右光学像表示部２６、及び、左光学像表示部２８の両方に表示させる表示方法を選定する。図５（Ｂ）に示すように、右光学像表示部２６には、右表示画像ＶＲが表示され、左光学像表示部２８には、左表示画像ＶＬが表示される。図５（Ｂ）の右表示画像ＶＲ、及び、左表示画像ＶＬは、図書館内に配置された書籍検索システムや、書籍貸し出しシステムが対象として検出された場合の付加情報ＩＦであり、システムの操作方法を説明する画像である。このように、付加情報ＩＦが画像や映像等の場合には、付加情報ＩＦは、右光学像表示部２６、及び、左光学像表示部２８の両方に表示される。

また、表示方法選定部１８５は、図示は省略するが、付加情報の種類や重要性に応じて、付加情報をより判り易い方法で表示することができる。例えば、表示方法選定部１８５は、付加情報の種類や重要性に応じて、付加情報に紐付けて付加情報データベース１２１に予め記憶された当該付加情報をより強調する情報を、付加情報と共に表示してもよい。付加情報をより強調する情報として、例えば、付加情報に係るキャラクター等の画像や動画であってもよい。また、表示方法選定部１８５は、付加情報が文字の場合には、この付加情報を表示する文字色や大きさ、或いは、斜体、影付き、白抜き等の文字の修飾やデザインを適宜に変えて表示することができる。また、表示方法選定部１８５は、付加情報をより判り易く表示するために、背景色を変えて表示することができてもよい。
さらに、表示方法選定部１８５は、３Ｄ映像の付加情報を表示することもできる。表示方法選定部１８５は、付加情報データベース１２１に予め記憶された３Ｄ映像の付加情報を取得する。そして、この３Ｄ映像の付加情報を右光学像表示部２６、及び、左光学像表示部２８の両方に表示するとともに、右光学像表示部２６と、左光学像表示部２８と、の表示に視差を付けることにより、３Ｄ映像を表示する。
なお、表示方法選定部１８５は、制御部１４０の機能として実現されるものであり、表示方法選定部１８５が実行する上記の動作が制御部１４０の他の機能により実現されてもよい。また、使用者の操作部１３５の操作により表示方法が選定され、選定された表示方法に基づいて付加情報が表示できる構成であってもよい。

制御部１４０は、表示方法選定部１８５により選定された方法で、対象検出部１６３が検出した対象の画素座標に基づき、付加情報取得部１７０が取得した付加情報を画像表示部２０に表示する（ステップＳ９）。制御部１４０は、対象検出部１６３により検出された対象に重なるように、当該対象に関連する付加情報を表示させる。また、付加情報を右光学像表示部２６、及び、左光学像表示部２８のいずれか一方に表示させる場合、制御部１４０は、予め設定されている光学像表示部２６、及び、左光学像表示部２８のいずれか一方に付加情報を表示する。付加情報を右光学像表示部２６、及び、左光学像表示部２８のいずれか一方に表示させる場合、右光学像表示部２６、及び、左光学像表示部２８のどちらに付加情報を表示するかは、使用者が操作部１３５に対する操作で設定可能であってもよい。

また、頭部装着型表示装置１００は、使用者が図書館内で目当ての書籍を見つけるための支援を行うことができる。頭部装着型表示装置１００は、使用者が操作部１３５を介して入力した書籍がどこにあるかを、画像表示部２０に表示することができる。操作部１３５を介して、使用者が探している書籍を入力すると、対象検出部１６３は、データベースに予め記録されている当該書籍の認識情報を取得する。対象検出部１６３は、カメラ６１の撮影画像中に当該書籍の認識情報に一致する認識情報を検出する。制御部１４０は、対象検出部１６３が検出した認識情報に重なるように、画像表示部２０に当該書籍の場所を示す情報や、付加情報を表示する。

また、頭部装着型表示装置１００は、例えば、使用者が作業を行う場合に、マーカー等の認識情報を使用して、作業支援のための情報を提供するシステムとしても用いることができる。頭部装着型表示装置１００を用いた作業支援のための情報を提供するシステムでは、作業机等の作業場所またはその近傍にマーカー等の認識情報が付されている。この認識情報がカメラ６１によって撮像され、対象検出部１６３は、カメラ６１の撮影画像から認識情報を検出する。制御部１４０は、対象検出部１６３が検出した認識情報に紐付けられてデータベースに予め記録された作業支援のための情報を、画像表示部２０に表示する。このとき、制御部１４０は、作業支援のための情報の種類や、作業環境等の外景の状態から、作業支援のための情報の表示方法を選定し、画像表示部２０に表示する。

以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する透過型の表示装置であって、使用者の左眼に対応して画像を表示する左光学像表示部２８、及び、使用者の右眼に対応して画像を表示する右光学像表示部２６を有する画像表示部２０と、付加情報を取得する付加情報取得部１７０と、付加情報取得部１７０により取得した付加情報を、画像表示部２０が有する左光学像表示部２８、及び、右光学像表示部２６のいずれか一方に表示させる制御部１４０と、を備える。
このため、付加情報が、左光学像表示部２８、及び、右光学像表示部２６のいずれか一方に表示されるので、使用者には、付加情報と外景との両方が明瞭に見える。すなわち、使用者は、片方の眼に見える付加情報を視認すればよく、右眼に見える付加情報と左眼に見える付加情報とを合成して１つの像として捉えなくてもよい。このため、使用者が付加情報を見るときに、付加情報に焦点を合わせることなく、付加情報を外景とともに見ることができる。このように、付加情報を使用者の片眼に対して表示することで、外景と付加情報との視認性を両立し、利便性を高めることができる。

また、頭部装着型表示装置１００において、画像表示部２０を通して視認される外景のうち、付加情報を重畳する対象を検出する対象検出部１６３を備え、制御部１４０は、対象検出部１６３により検出された対象に重なるように付加情報を表示させる。このため、検出された対象の付加情報が、対象に重なるように表示されるので、使用者は、付加情報と対象との関連を感覚的に認識することができる。このように、外景と付加情報との視認性を両立するとともに、付加情報を適切に表示して利便性を高めることができる。

また、頭部装着型表示装置１００において、外景を撮像するカメラ６１を備え、対象検出部１６３は、カメラ６１の撮像画像に基づいて付加情報を重畳する対象を検出する。これにより、撮像画像から、付加情報を重畳する対象を検出して、付加情報を表示するので、予め記憶された認識情報などの条件に基づいて対象を検出することができる。これにより、頭部装着型表示装置１００が撮像画像から認識情報を認識して動作する場合の利便性の向上を図ることができる。

また、頭部装着型表示装置１００において、使用者の視線方向を検出する視線検出部１６１を備え、制御部１４０は、視線検出部１６１により検出された視線方向に基づき、付加情報を表示させる表示位置を決定する。これにより、使用者の視線方向にある対象に対して、付加情報を外景とともに表示することができる。このため、カメラ６１の撮像画像中に多数の検出対象がある場合でも、使用者の視線方向の対象を特定して、当該対象に関連する付加情報を表示することができ、撮像画像から対象を検出して動作する場合の利便性を高めることができる。

また、頭部装着型表示装置１００において、付加情報の表示方法を選定する表示方法選定部１８５を備え、制御部１４０は、表示方法選定部１８５により選定された方法に基づいて、付加情報を表示させる。これにより、付加情報の表示方法を選定して表示することができ、付加情報を外景とともに適切に表示して利便性を高めることができる。
また、頭部装着型表示装置１００において、表示方法選定部１８５は、外景の環境に応じて、付加情報の表示方法を変える。これにより、付加情報を外景とともに適切に表示して利便性を高めることができる。
また、頭部装着型表示装置１００において、表示方法選定部１８５は、外景の色に応じて、付加情報の色を選定する。これにより、例えば、外景に少ない色等、外景に対して見やすい色を選定することができ、付加情報を外景とともに適切に表示して利便性を高めることができる。
また、頭部装着型表示装置１００において、表示方法選定部１８５は、外景の明るさに応じて、付加情報の透過率を変える。これにより、外景が明るいときは、付加情報の透過率を下げて、外景が暗いときは、付加情報の透過率を上げて、外景に対して付加情報を見やすく表示することができる。このため、付加情報を外景とともに適切に表示して利便性を高めることができる。
また、頭部装着型表示装置１００において、表示方法選定部１８５は、付加情報の重要性に応じて、付加情報の表示方法を変える。これにより、例えば、重要な付加情報に関しては強調して表示することができ、付加情報を外景とともに適切に表示して利便性を高めることができる。

また、頭部装着型表示装置１００において、表示方法選定部１８５は、付加情報の種類に応じて、付加情報を左光学像表示部２８、及び、右光学像表示部２６のいずれか一方に表示させるか、或いは、左光学像表示部２８、及び、右光学像表示部２６の両方に表示させるかを切り替える。これにより、表示方法選定部１８５は、付加情報が文字や記号の場合には左光学像表示部２８、及び、右光学像表示部２６のいずれか一方に表示させ、付加情報が画像や映像の場合には、左光学像表示部２８、及び、右光学像表示部２６の両方に表示させる。このため、付加情報を外景とともに適切に表示して利便性を高めることができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。例えば、制御装置１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御装置１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記実施形態では、制御装置１０は、ＧＰＳ１１５によりＧＰＳ信号に基づいて現在位置を求める構成としたが、これに限らず、制御装置１０は、通信部１１７が受信したＷｉＦｉアクセスポイントからの電波に基づいて、現在位置を測位しても良い。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。

また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７またはインターフェイス１８０を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

１０…制御装置、２０…画像表示部、２２…右表示駆動部（第２の表示部）、２４…左表示駆動部（第１の表示部）、２６…右光学像表示部（第２の表示部）、２８…左光学像表示部（第１の表示部）、６１…カメラ、６５…振動センサー、６６…９軸センサー、１００…頭部装着型表示装置、１１０…入力情報取得部、１１３…３軸センサー、１１５…ＧＰＳ、１１７…通信部、１２０…記憶部、１２１…付加情報データベース、１３５…操作部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…視線検出部、１６３…対象検出部、１７０…付加情報取得部、１８０…インターフェイス、１８５…表示方法選定部、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…液晶ディスプレイ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、ＩＦ…付加情報、ＯＡ…画像供給装置、ＶＬ…左表示画像、ＶＲ…右表示画像。

Claims (12)

1. 使用者に画像を視認させるとともに外景を透過する透過型の表示装置であって、
   使用者の左眼に対応して画像を表示する第１の表示部、及び、使用者の右眼に対応して画像を表示する第２の表示部を有する画像表示部と、
   付加情報を取得する付加情報取得部と、
   前記付加情報取得部により取得した付加情報を、前記画像表示部が有する前記第１及び第２の表示部のいずれか一方に表示させる制御部と、
   を備えることを特徴とする表示装置。
2. 前記表示部を通して視認される前記外景のうち、前記付加情報を重畳する対象を検出する対象検出部を備え、
   前記制御部は、前記対象検出部により検出された対象に重なるように前記付加情報を表示させること、
   を特徴とする請求項１記載の表示装置。
3. 前記外景を撮像する撮像部を備え、
   前記対象検出部は、前記撮像部の撮像画像に基づいて前記付加情報を重畳する対象を検出すること、
   を特徴とする請求項２記載の表示装置。
4. 前記使用者の視線方向を検出する視線検出部を備え、
   前記制御部は、前記視線検出部により検出された視線方向に基づき、前記付加情報を表示させる表示位置を決定すること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記付加情報の表示方法を選定する表示方法選定部を備え、
   前記制御部は、前記表示方法選定部により選定された方法に基づいて、前記付加情報を表示させること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記表示方法選定部は、前記外景の環境に応じて、前記付加情報の表示方法を変えること、
   を特徴とする請求項５に記載の表示装置。
7. 前記表示方法選定部は、前記外景の色に応じて、前記付加情報の色を選定すること、
   を特徴とする請求項５または６に記載の表示装置。
8. 前記表示方法選定部は、前記外景の明るさに応じて、前記付加情報の透過率を変えること、
   を特徴とする請求項５または６に記載の表示装置。
9. 前記表示方法選定部は、前記付加情報の重要性に応じて、前記付加情報の表示方法を変えること、
   を特徴とする請求項５から８のいずれかに記載の表示装置。
10. 前記表示方法選定部は、前記付加情報の種類に応じて、前記付加情報を前記第１及び第２の表示部のいずれか一方に表示させるか、或いは、前記第１及び第２の表示部の両方に表示させるかを切り替えること、
    を特徴とする請求項５から９のいずれかに記載の表示装置。
11. 使用者に画像を視認させるとともに外景を透過し、使用者の左眼に対応して画像を表示する第１の表示部、及び、使用者の右眼に対応して画像を表示する第２の表示部を有する透過型の表示装置の制御方法であって、
    付加情報を取得し、
    前記付加情報を、前記第１及び第２の表示部のいずれか一方に表示させること、
    を特徴とする表示装置の制御方法。
12. 使用者に画像を視認させるとともに外景を透過し、使用者の左眼に対応して画像を表示する第１の表示部、及び、使用者の右眼に対応して画像を表示する第２の表示部を有する透過型の表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、
    付加情報を取得する付加情報取得部と、
    前記付加情報取得部により取得した付加情報を、前記第１及び第２の表示部のいずれか一方に表示させる制御部と、
    して機能させるためのプログラム。

Images