JP2016031373A - 表示装置、表示方法、表示システム、及び、プログラム - Google Patents

Abstract

【課題】外部表示装置が表示する表示画像の視認性を向上させることができる表示装置を提供する。【解決手段】頭部装着型表示装置１００は、透過型の表示装置であって、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、プロジェクター２００が表示する表示画像のデータを取得するデータ取得部ＤＡと、画像表示部２０を通して表示画像を視認可能なときに、データ取得部ＤＡが取得したデータに基づき、表示画像の少なくとも一部を画像表示部２０により表示する制御部１４０と、を備える。【選択図】図２

Description

本発明は、表示装置、表示方法、表示システム、及び、プログラムに関する。

従来、表示装置において、ホログラフィック素子やハーフミラー等を用いて画像をユーザーに表示し、ユーザーに外景がシースルーで見える構成を有するものが知られている（例えば、特許文献１参照）。例えば、特許文献１に記載された光学透過型のＨＭＤ（ヘッドマウントディスプレイ）を装着したユーザーは、ＨＭＤを通してテレビモニター等の外部表示装置に表示された映像も見ることができる。

特開２０１４−１１６５６号公報

上記従来の表示装置によれば、特許文献１のテレビモニターや、スクリーンに画像を投射して表示するプロジェクター等の外部の装置が表示する表示画像を見ることができる。特許文献１の構成では、テレビモニターとＨＭＤを組み合わせて立体映像の表現を図っているが、立体映像に限らない活用法が望まれていた。すなわち、外部の装置の表示画像をシースルーで見ることが可能な表示装置を、外部の装置とともに使用する新たな活用に対する要求があった。
本発明は、上述した事情に鑑みてなされたものであり、外部表示装置が表示する表示画像とともに視認できるように画像を表示し、外部表示装置の表示画像の見え方の向上に寄与する表示装置、表示方法、表示システム、及び、プログラムを提供することを目的とする。

上記目的を達成するために、本発明は、透過型の表示装置であって、使用者に画像を視認させるとともに外景を透過する表示部と、外部表示装置が表示する表示画像のデータを取得するデータ取得部と、前記表示部を通して前記表示画像を視認可能なときに、前記データ取得部が取得した前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示する制御部と、を備えることを特徴とする。
この構成によれば、外部表示装置が表示する表示画像の少なくとも一部を表示部によっても表示するので、外部表示装置の表示と表示装置の表示とを組み合わせることで、外部表示装置の表示画像の視認性を向上させることができる。例えば、外部表示装置が表示する表示画像の一部が障害物によって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を表示部に表示して視認可能とすることができる。

また本発明は、上記表示装置において、前記外部表示装置が表示する表示画像における補完対象領域を検出する検出部を備え、前記制御部は、前記データ取得部が取得した前記データから、前記検出部が検出した前記補完対象領域に対応する対応領域のデータを抽出するデータ抽出部と、前記画像処理部により抽出された前記対応領域のデータに基づく画像を、前記表示部により、前記補完対象領域に対応する表示位置に表示させる表示制御部と、を備えること、を特徴とする。
この構成によれば、外部表示装置が表示する表示画像に補完対象領域がある場合に、補完対象領域に対応する対応領域のデータに基づく画像を表示部により、補完対象領域に対応する表示位置に表示させることができる。このため、例えば、外部表示装置が表示する表示画像の一部が障害物によって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像における補完対象領域に対応する画像を表示部に表示して視認可能とすることができる。このように、外部表示装置が表示する表示画像の視認性を向上させることができる。

また本発明は、上記表示装置において、前記表示制御部は、前記対応領域のデータに基づく画像を、前記検出部が検出した前記補完対象領域の少なくとも一部に重なるように前記表示部に表示させること、を特徴とする。
この構成によれば、表示画像における補完対象領域に対応する画像を補完対象領域の少なくとも一部に重ねて表示部に表示して視認可能とすることができる。このように、外部表示装置が表示する表示画像の視認性を向上させることができる。

また本発明は、上記表示装置において、前記データ抽出部は、前記補完対象領域を含む前記対応領域のデータを抽出し、前記表示制御部は、前記対応領域のデータに基づく画像を、前記検出部が検出した前記補完対象領域に重なるように前記表示部に表示させること、を特徴とする。
この構成によれば、表示画像における補完対象領域に対応する画像を補完対象領域の全体に重なるように表示部に表示して視認可能とすることができる。このように、外部表示装置が表示する表示画像の視認性を向上させることができる。

また本発明は、上記表示装置において、前記検出部は、前記外部表示装置が投射対象物に画像光を投射するプロジェクターである場合に、前記投射対象物以外の物体の影響で前記プロジェクターの投射画像が変化した領域を前記補完対象領域として検出すること、を特徴とする。
この構成によれば、プロジェクターの投射画像の補完対象領域を表示部によっても表示することができる。このため、例えば、プロジェクターの投射画像の一部が障害物によって遮られ、視認不可能、或いは視認しにくくなった場合に、投射画像における補完対象領域に対応する画像を表示部に表示して視認可能とすることができる。このように、プロジェクターの投射画像の視認性を向上させることができる。

また上記目的を達成するために、本発明は、表示システムにおいて、画像を表示する第１の表示装置、及び、使用者に画像を視認させるとともに外景を透過す表示部を備える透過型の第２の表示装置を有し、前記第２の表示装置は、前記第１の表示装置が表示する表示画像のデータを取得するデータ取得部と、前記表示部を通して前記表示画像を視認可能なときに、前記データ取得部が取得した前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示する制御部と、を備えること、を特徴とする。
この構成によれば、外部表示装置が表示する表示画像の少なくとも一部を表示部によっても表示するので、外部表示装置の表示と表示装置の表示とを組み合わせることで、外部表示装置の表示画像の視認性を向上させることができる。例えば、外部表示装置が表示する表示画像の一部が障害物によって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を表示部に表示して視認可能とすることができる。

また上記目的を達成するために、本発明は、使用者に画像を視認させるとともに外景を透過する表示部を備える透過型の表示装置の制御方法であって、外部表示装置が表示する表示画像のデータを取得し、前記表示部を通して前記表示画像を視認可能なときに、前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示すること、を特徴とする。
この構成によれば、外部表示装置が表示する表示画像の少なくとも一部を表示部によっても表示するので、外部表示装置の表示と表示装置の表示とを組み合わせることで、外部表示装置の表示画像の視認性を向上させることができる。例えば、外部表示装置が表示する表示画像の一部が障害物によって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を表示部に表示して視認可能とすることができる。

また上記目的を達成するために、本発明は、使用者に画像を視認させるとともに外景を透過する表示部を備える透過型の表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、外部表示装置が表示する表示画像のデータを取得するデータ取得部と、前記表示部を通して前記表示画像を視認可能なときに、前記データ取得部が取得した前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示する制御部と、して機能させることを特徴とする。
この構成によれば、外部表示装置が表示する表示画像の少なくとも一部を表示部によっても表示するので、外部表示装置の表示と表示装置の表示とを組み合わせることで、外部表示装置の表示画像の視認性を向上させることができる。例えば、外部表示装置が表示する表示画像の一部が障害物によって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を表示部に表示して視認可能とすることができる。

また、本発明は、透過型の表示装置であって、使用者に画像を視認させるとともに外景を透過する表示部と、外景を撮影するカメラと、前記表示部を通して使用者が視認する視認像を取得する視認像取得部と、前記視認像取得部が取得した使用者の視認像に基づいて、前記カメラが撮影した外景の画像を補正して、当該補正した画像を前記表示部を通して使用者が視認している外景に重ねて前記表示部に表示する制御部と、を備えることを特徴とする。
この構成によれば、使用者が視認している外景に、当該外景を撮影した外景画像を重ねて表示する。これにより、外景に、見えない、或いは、見えにくい部分がある場合に、この部分を外景画像により補完することで、視認可能とすることができる。よって、外景の視認性を向上させることができる。

また本発明は、上記表示装置において、前記視認像取得部が取得した視認像おける補完対象領域を検出する検出部を備え、前記制御部は、前記外景を撮影するカメラの撮影データから、前記検出部が検出した前記補完対象領域に対応する対応領域のデータを抽出するデータ抽出部と、前記データ抽出部により抽出された前記対応領域のデータに基づく画像を、補正して前記表示部を通して使用者が視認している外景に重ねて表示させる表示制御部と、を備えることを特徴とする。
この構成によれば、使用者が視認している外景に、当該外景を撮影した外景画像を補正して重ねて表示する。これにより、外景に、見えない、或いは、見えにくい部分がある場合に、この部分を外景画像により補完することで、視認可能とすることができる。よって、外景の視認性を向上させることができる。

また、本発明は、上記表示装置において、前記外景を撮影するカメラが、ＩＲカメラ、暗視カメラ、または、サーモグラフィーカメラであること、を特徴とする。
この構成によれば、使用者が視認している外景に、人間の目には見えない、或いは、見えにくい部分がある場合に、この部分を外景画像により補完することで、視認可能とすることができる。よって、外景の視認性を向上させることができる。

本発明の第１実施形態に係る頭部装着型表示装置の外観図である。 表示システムの制御系の機能ブロック図である。 プロジェクターにより表示される画像の説明図である。 頭部装着型表示装置の動作を示すフローチャートである。 頭部装着型表示装置の動作を示すフローチャートである。 画像表示部を通して視認可能な画像の例を示した図である。 第２実施形態に係る表示システムの制御系の機能ブロック図である。 頭部装着型表示装置の動作を示すフローチャートである。 画像表示部を通して視認可能な視認像の例を示した図である。

以下、図面を参照して本発明の実施形態について説明する。

＜第１実施形態＞
１．頭部装着型表示装置の構成
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０（コントローラー１０）と、を備えている。画像表示部２０は、単に「表示部」とも呼ぶ。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板２０Ａは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。カメラ６１は、請求項における画像取得部に相当する。
カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮影できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。

なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

２．表示システムの構成
図２は、実施形態に係る表示システム１を構成する各部の機能ブロック図である。
図２に示すように、表示システム１は、外部表示装置（第１の表示装置）としてのプロジェクター２００と、外部機器ＯＡと、頭部装着型表示装置１００とを備える。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。外部機器ＯＡは、プロジェクター２００、及び／或いは、頭部装着型表示装置１００に画像を供給する画像供給装置として用いられる。頭部装着型表示装置１００は、表示システム１において、使用者が、画像表示部２０を通して、プロジェクター２００によりスクリーンＳＣ（図３参照）に投射された画像を視認する第２の表示装置として用いられる。

プロジェクター２００は、外部機器ＯＡに接続され、外部機器ＯＡから入力された画像データに基づいて、投射対象物であるスクリーンＳＣに画像を投射して表示する表示装置である。なお、本明細書では、プロジェクター２００によってスクリーンＳＣ上に表示される画像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を投射することを「画像を表示する」ともいう。プロジェクター２００は、入力される画像データに基づき動画像および静止画像のいずれも投射できる。プロジェクター２００は、外部機器ＯＡに、無線通信を利用した無線ＬＡＮ等のネットワークを介して接続される。なお、プロジェクター２００は、有線の通信ネットワークにより外部機器ＯＡに接続されていても良い。また、プロジェクター２００は、画像供給部を内蔵している構成であってもよい。すなわち、プロジェクター２００が内蔵する回路により、プロジェクター２００が投射する画像データを生成する構成であってもよい。この場合、表示システム１において、外部機器ＯＡを省略する構成とすることができる。プロジェクター２００は、図示は省略するが、大きく分けて光学的な画像の形成を行う投射部と、この投射部に入力される画像信号を電気的に処理する画像処理系とから構成される。
なお、本明細書では、外部表示装置の実施形態として、プロジェクターを用いて説明するが、外部表示装置は、プロジェクターに限定されるものではない。液晶表示パネルに画像／画像を表示する液晶モニターまたは液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像／画像を表示するモニター装置またはテレビ受像機、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＯＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等と呼ばれる有機ＥＬ表示パネルに画像／画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の外部表示装置に含まれる。

頭部装着型表示装置１００の制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有している。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０には、頭部装着型表示装置１００の画像表示部２０に表示する画像データが格納されていても良い。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、の有線接続に対応したインターフェイスを用いることができる。

制御部１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１９０、座標特定部１６３、検出部１８５、データ抽出部１６１、として機能する。
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１８０に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１８０より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７、及び、インターフェイス１８０を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡからコンテンツデータを取得する。データ取得部ＤＡは、プロジェクター２００がスクリーンＳＣに投射して表示する画像のデータ（以下、「表示画像データ」という）を、外部機器ＯＡから取得する。データ取得部ＤＡは、プロジェクター２００が、画像供給部を内蔵している場合には、表示画像データを、直接プロジェクター２００から取得しても良い。また、記憶部１２０に格納された画像データを、データ取得部ＤＡから外部機器ＯＡ、或いは、プロジェクター２００に送信して、プロジェクター２００により表示することもできる。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

検出部１８５は、頭部装着型表示装置１００の画像表示部２０を通して、使用者がプロジェクター２００の表示画像を視認可能なときに、表示画像における視認不可能、或いは視認しにくくなった領域を含む補完対象領域ＮＲ（図３参照）を検出する。検出部１８５は、スクリーンＳＣ上の表示画像をカメラ６１が撮影した画像を取得する。検出部１８５は、カメラ６１が撮影した画像の画像解析を行い、表示画像における補完対象領域ＮＲを検出する。また、検出部１８５は、スクリーンＳＣ上の表示画像をカメラ６１が撮影した画像と、データ取得部ＤＡが取得したプロジェクター２００の表示画像データに基づく画像と、を比較（マッチング）して、補完対象領域ＮＲを検出する構成であっても良い。

座標特定部１６３は、プロジェクター２００の表示画像データに対して、どの領域が補完対象領域ＮＲかを特定する。座標特定部１６３は、スクリーンＳＣに表示されたプロジェクター２００の表示画像をカメラ６１により撮影した撮影画像を取得し、表示画像のスクリーン面座標を特定する。スクリーン面座標は、表示画像データに対する表示画像のスクリーン面内における座標であり、少なくとも水平方向の位置Ｘと、垂直方向の位置Ｙの２値の組み合わせからなる。座標特定部１６３は、表示制御部１９０の機能により、スクリーンＳＣに特徴のある画像を表示し、カメラ６１を用いてこの特徴のある画像を認識することで、スクリーン面座標を特定しても良い。座標特定部１６３は、表示画像データに対してどこが補完対象領域ＮＲかを、補完対象領域ＮＲのスクリーン面座標に対する相対的な座標により特定する。

データ抽出部１６１は、データ取得部ＤＡが取得した、プロジェクター２００の表示画像データから、補完対象領域ＮＲに対応する対応領域のデータを抽出する。データ抽出部１６１は、座標特定部１６３が特定した補完対象領域ＮＲのスクリーン面座標、或いは、後述する投影面座標に基づいて、補完対象領域ＮＲにマッピングする画像のデータを抽出する。

頭部装着型表示装置１００の画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備えている。

振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、制御部１４０は、使用者の視線方向を推定できる。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図３は、プロジェクター２００によって表示される画像の説明図である。図３に示すように、プロジェクター２００は、投射対象物であるスクリーンＳＣに画像を投射して表示する。プロジェクター２００と、スクリーンＳＣとの間に、障害物ＯＢが在る場合には、プロジェクター２００の表示画像の一部が、視聴者ＡＵにより、視認不可能、或いは視認しにくくなる。この、表示画像における、視聴者ＡＵにより、視認不可能、或いは視認しにくくなった領域を、補完対象領域ＮＲと称する。補完対象領域ＮＲは、スクリーンＳＣに表示された画像を視認不可能とする位置に在る障害物ＯＢ、スクリーンＳＣ上に投影された障害物ＯＢの影ＳＨ、及び、障害物ＯＢ上に投影された障害物上画像ＯＩを含む。
以下に、視聴者ＡＵが、画像表示部２０を通して、表示画像を視認可能な場合の頭部装着型表示装置１００の動作を説明する。なお、視聴者ＡＵは、頭部装着型表示装置１００を装着する使用者のことである。

頭部装着型表示装置１００の制御部１４０は、プロジェクター２００の表示画像に補完対象領域ＮＲが有るか無いかを判定し、補完対象領域ＮＲが有る場合には、補完対象領域ＮＲの画像を画像表示部２０に表示して表示画像を補完する補完処理を行う。図４は、頭部装着型表示装置１００の動作を示すフローチャートであり、制御部１４０により補完処理を行う際の動作を示す。制御部１４０は、プロジェクター２００の表示画像に対しフレーム毎に補完処理を行う。なお、補完処理の開始、及び、終了は、画像表示部２０を通してスクリーンＳＣ上の表示画像を視認する視聴者ＡＵが操作部１３５に対する指示操作により行われても良い。
まず、頭部装着型表示装置１００の制御部１４０は、データ取得部ＤＡを制御し、プロジェクター２００、或いは、外部機器ＯＡから、プロジェクター２００の表示画像データを取得する（ステップＳ１）。また、制御部１４０は、カメラ６１を制御し、画像表示部２０を通して視認される表示画像を撮影する（ステップＳ２）。このとき、カメラ６１で撮影する画像は、視聴者ＡＵが画像表示部２０を通して視認している画像であり、表示画像の一部が撮影されていても良いし、或いは、全体が撮影されていても良い。

次に、制御部１４０は、カメラ６１が撮影した画像に基づいて、検出部１８５の機能により、表示画像の補完対象領域ＮＲを検出する（ステップＳ３）。検出部１８５は、データ取得部ＤＡが取得したプロジェクター２００の表示画像データと、表示画像をカメラ６１で撮影した画像と、に基づいて、表示画像の補完対象領域ＮＲを検出しても良い。続いて、制御部１４０は、検出部１８５により補完対象領域ＮＲが検出されたか否かを判定する（ステップＳ４）。検出部１８５により補完対象領域ＮＲが検出されなかった場合には（ステップＳ４：ＮＯ）、制御部１４０は、このフレームでの補完対象領域ＮＲの補完処理を終了する。

検出部１８５により補完対象領域ＮＲが検出された場合には（ステップＳ４：ＹＥＳ）、制御部１４０は、座標特定部１６３の機能により、補完対象領域ＮＲの座標を特定する（ステップＳ５）。
座標特定部１６３は、スクリーンＳＣと、視聴者ＡＵとの間に置かれた障害物ＯＢによって、補完対象領域ＮＲが生じた場合に、視聴者ＡＵから見た、補完対象領域ＮＲのスクリーン面座標を特定する。また、座標特定部１６３は、プロジェクター２００とスクリーンＳＣとの間に置かれた障害物ＯＢの影ＳＨがスクリーンＳＣ上に投影され、影ＳＨによって補完対象領域ＮＲが生じた場合に、視聴者ＡＵから見た、補完対象領域ＮＲのスクリーン面座標を特定する。
さらに、プロジェクター２００とスクリーンＳＣとの間に障害物ＯＢが在る場合、スクリーンＳＣ上に投影されるべき画像が、障害物ＯＢに投影される。スクリーンＳＣと、障害物ＯＢとでは、プロジェクター２００から投影面までの距離が異なるため、障害物ＯＢには、画像が正常に表示されない。これにより、障害物ＯＢに投影された画像である障害物上画像ＯＩは、補完対象領域ＮＲとなる。

座標特定部１６３は、プロジェクター２００の画像光が障害物ＯＢに投射された場合に、視聴者ＡＵから見た、障害物上画像ＯＩの投影面座標を特定する。座標特定部１６３は、投影面に表示されたプロジェクター２００の表示画像をカメラ６１により撮影した撮影画像を取得し、表示画像の投影面座標を特定する。投影面座標は、表示画像データに対する表示画像の投影面内における座標であり、少なくとも水平方向の位置Ｘと、垂直方向の位置Ｙの２値の組み合わせからなる。座標特定部１６３は、表示制御部１９０の機能により、投影面に特徴のある画像を表示し、カメラ６１を用いてこの特徴のある画像を認識することで、投影面座標を特定しても良い。座標特定部１６３は、表示画像データに対してどこが補完対象領域ＮＲかを、補完対象領域ＮＲの投影面座標に対する相対的な座標により特定する。なお、前述したスクリーン面座標は、投射対象物がスクリーンＳＣの場合の表示画像データに対する表示画像の投影面内における座標である。これに対し、投影面座標は、投射対象物が、スクリーンＳＣを含む広義の投影面である場合の、表示画像データに対する表示画像の投影面内における座標である。

続いて、制御部１４０は、データ抽出部１６１の機能により、補完対象領域ＮＲに対応する対応領域の表示画像データを、データ取得部ＤＡが取得したプロジェクター２００の表示画像データから抽出する（ステップＳ６）。データ抽出部１６１は、プロジェクター２００の表示画像データから、補完対象領域ＮＲ全体に対応する対応領域の表示画像データを、抽出する。データ抽出部１６１は、プロジェクター２００の表示画像データから、補完対象領域ＮＲ全体を含み、補完対象領域ＮＲに対応する対応領域より広い領域の表示画像データを、抽出しても良い。
次に、制御部１４０は、画像処理部１６０の機能により、プロジェクター２００の表示画像データから抽出した補完対象領域ＮＲに対応する対応領域の表示画像データに基づく画像を生成する。制御部１４０は、生成した画像を、表示制御部１９０の機能により、画像表示部２０の補完対象領域ＮＲに対応する表示位置に表示する（ステップＳ７）。制御部１４０は、生成した画像を、補完対象領域ＮＲの全体に重なるように画像表示部２０に表示する。また、制御部１４０は、補完対象領域ＮＲに対応する対応領域より広い領域で表示画像データを切り抜いた場合には、生成した画像を、補完対象領域ＮＲの全体、及び、正常領域にオーバーラップさせて画像表示部２０に表示しても良い。さらに、制御部１４０は、生成した画像を、補完対象領域ＮＲに対応する対応領域に対して縮小して、補完対象領域ＮＲ内に収まるように画像表示部２０に表示しても良い。

このように、制御部１４０は、プロジェクター２００の表示画像に対して、フレーム毎に補完対象領域ＮＲを検出する。そして、制御部１４０は、補完対象領域ＮＲに対応する対応領域の画像を画像表示部２０の補完対象領域ＮＲに対応する表示位置に表示して、表示画像を補完する、補完処理を行うことができる。これにより、制御部１４０は、補完対象領域ＮＲが表示画像内で移動したり、表示画像中に出入したりする場合でも、フレーム毎に補完対象領域ＮＲに対応する対応領域の画像を頭部装着型表示装置１００により補完することができる。補完対象領域ＮＲが表示画像内で移動したり、表示画像中に出入したりする場合は、例えば、障害物ＯＢが、プレゼンテーション中のプレゼンターの場合などである。これにより、補完対象領域ＮＲに対応する対応領域がスクリーン面座標に対して固定ではない場合でも、プロジェクター２００の表示画像の視認性を向上することができる。
また、制御部１４０は、補完処理の開始、及び、終了を視聴者ＡＵの操作部１３５に対する指示操作に基づいて行うことができる構成であっても良い。これにより、視聴者ＡＵが表示画像に視認不可能、或いは視認しにくくなった領域があると判断し、補完処理の実行を望む場合に補完処理を行うことができる。よって、プロジェクター２００の表示画像の視認性を向上することができる。

補完対象領域ＮＲに障害物上画像ＯＩが含まれる場合には、制御部１４０は、この障害物上画像ＯＩをキャンセルする補完処理を行うことができる。図５は、補完対象領域ＮＲに障害物上画像ＯＩが含まれる場合の頭部装着型表示装置１００の動作を示すフローチャート。制御部１４０は、補完対象領域ＮＲが検出されたと判定すると、この補完対象領域ＮＲに障害物上画像ＯＩが含まれているか否かを判定する（ステップＳ１１）。補完対象領域ＮＲに障害物上画像ＯＩが含まれていると判定すると（ステップＳ１１：ＹＥＳ）、制御部１４０は、座標特定部１６３の機能により、障害物上画像ＯＩの投影面座標を特定する（ステップＳ１２）。続いて、制御部１４０は、特定した障害物上画像ＯＩの投影面座標に基づいて、データ抽出部１６１の機能により、障害物上画像ＯＩに対応する対応領域の表示画像データを、プロジェクター２００の表示画像データから抽出する（ステップＳ１３）。次に、制御部１４０は、画像処理部１６０の機能により、障害物上画像ＯＩに対応する対応領域の表示画像データから、プロジェクター２００の投影画像とは色反転させた画像を生成する。そして、制御部１４０は、表示制御部１９０の機能により、生成した画像を画像表示部２０の、障害物上画像ＯＩの投影面座標に対応する表示位置に表示する（ステップＳ１４）。これにより、視聴者ＡＵが、画像表示部２０を通して表示画像を視認すると、障害物ＯＢ上に投影された障害物上画像ＯＩがキャンセルされ、障害物ＯＢをはっきりと視認することができる。

図６は、補完対象領域ＮＲに障害物上画像ＯＩが含まれる場合に、視聴者ＡＵが画像表示部２０を通して視認した表示画像の例を示した図である。図６（Ａ）は、補完対象領域ＮＲに障害物上画像ＯＩが含まれる場合の視聴者ＡＵの視認画像の例を示し、頭部装着型表示装置１００により表示画像を補完する前の図である。補完対象領域ＮＲに障害物上画像ＯＩが含まれる場合、制御部１４０は、障害物上画像ＯＩをキャンセルすると共に、補完対象領域ＮＲのスクリーン面座標に対応する対応領域の表示画像を補完する。つまり、制御部１４０は、障害物上画像ＯＩの投影面座標に対応する領域の表示画像データを抽出して色反転させた画像と、補完対象領域ＮＲのスクリーン面座標に対応する領域の表示画像データを抽出して生成した画像と、を重ねて画像表示部２０に表示する。これにより、図６（Ｂ）に示すように、視聴者ＡＵは、画像表示部２０を通して完全な表示画像を見ることができる。

補完対象領域ＮＲに障害物上画像ＯＩが含まれている場合、視聴者ＡＵは、補完対象領域ＮＲの画像全体を補完して完全な表示画像を観るか、或いは、障害物ＯＢを視認するか、を選択可能な構成であっても良い。この場合、視聴者ＡＵは、操作部１３５に対する操作により、補完対象領域ＮＲの画像全体を補完するか、或いは、障害物ＯＢを視認するか、を切り替えることができる構成であっても良い。視聴者ＡＵが、障害物ＯＢを視認する操作を行った場合には、制御部１４０は、補完対象領域ＮＲの対応領域うち、障害物上画像ＯＩに対応する領域には、プロジェクターの投影画像をキャンセルする画像を画像表示部２０の対応する表示位置に表示する。また、制御部１４０は、障害物上画像ＯＩに対応する領域以外の補完対象領域ＮＲの対応領域に、スクリーン上の表示画像を補完する画像を画像表示部２０の対応する表示位置に表示する。これにより、図６（Ｃ）に示すように、視聴者ＡＵは、画像表示部２０を通して障害物ＯＢを鮮明に見ることができる。

以上説明したように、本発明を適用した実施形態に係る透過型の頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、プロジェクター２００が表示する表示画像のデータを取得するデータ取得部ＤＡと、画像表示部２０を通して表示画像を視認可能なときに、データ取得部ＤＡが取得したデータに基づき、表示画像の少なくとも一部を画像表示部２０により表示する制御部１４０と、を備える。このため、プロジェクター２００が表示する表示画像の少なくとも一部を画像表示部２０によっても表示することができる。これにより、例えば、プロジェクター２００が表示する表示画像の一部が障害物ＯＢによって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００が表示する表示画像の視認性を向上させることができる。

また、プロジェクター２００が表示する表示画像における補完対象領域ＮＲを検出する検出部１８５を備え、制御部１４０は、データ取得部ＤＡが取得したデータから、検出部１８５が検出した補完対象領域ＮＲに対応する対応領域のデータを抽出するデータ抽出部１６１と、データ抽出部１６１により抽出された対応領域のデータに基づく画像を、画像表示部２０により、補完対象領域ＮＲに対応する表示位置に表示させる表示制御部１９０と、を備える。このため、プロジェクター２００が表示する表示画像に補完対象領域ＮＲがある場合に、補完対象領域ＮＲに対応する対応領域のデータに基づく画像を画像表示部２０により、補完対象領域ＮＲに対応する表示位置に表示させることができる。これにより、例えば、プロジェクター２００が表示する表示画像の一部が障害物ＯＢによって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像における補完対象領域ＮＲに対応する画像を画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００が表示する表示画像の視認性を向上させることができる。

また、表示制御部１９０は、対応領域のデータに基づく画像を、検出部１８５が検出した補完対象領域ＮＲの少なくとも一部に重なるように画像表示部２０に表示させる。このため、表示画像における補完対象領域ＮＲに対応する画像を補完対象領域ＮＲの少なくとも一部に重ねて画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００が表示する表示画像の視認性を向上させることができる。

また、データ抽出部１６１は、補完対象領域ＮＲを含む対応領域のデータを抽出し、表示制御部１９０は、対応領域のデータに基づく画像を、検出部１８５が検出した補完対象領域ＮＲに重なるように画像表示部２０に表示させる。このため、表示画像における補完対象領域ＮＲに対応する画像を補完対象領域ＮＲに重ねて画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００が表示する表示画像の視認性を向上させることができる。

また、検出部１８５は、プロジェクター２００がスクリーンＳＣに画像光を投射するプロジェクター２００である場合に、スクリーンＳＣ以外の物体の影響でプロジェクター２００の投射画像が変化した領域を補完対象領域ＮＲとして検出する。このため、プロジェクター２００の投射画像の補完対象領域ＮＲを画像表示部２０によっても表示することができる。これにより、例えば、プロジェクター２００の投射画像の一部が障害物ＯＢに投射されて、視認不可能、或いは視認しにくくなった場合に、投射画像における補完対象領域ＮＲに対応する画像を画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００の投射画像の視認性を向上させることができる。
また、障害物ＯＢに投射された画像を補完対象領域ＮＲとして検出することができるため、画像表示部２０の障害物ＯＢに対応する表示位置に、プロジェクター２００の表示画像とは異なる画像を表示することができる。これにより、スクリーンＳＣと、障害物ＯＢとに２種類の画像を表示することもできる。

また、本発明を適用した実施形態に係る表示システム１は、画像を表示する第１の表示装置であるプロジェクター２００、及び、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える第２の表示装置である頭部装着型表示装置１００を有し、頭部装着型表示装置１００は、プロジェクター２００が表示する表示画像のデータを取得するデータ取得部ＤＡと、画像表示部２０を通して表示画像を視認可能なときに、データ取得部ＤＡが取得したデータに基づき、表示画像の少なくとも一部を画像表示部により表示する制御部１４０と、を備える。このため、プロジェクター２００が表示する表示画像の少なくとも一部を頭部装着型表示装置１００の画像表示部２０によっても表示することができる。これにより、例えば、プロジェクター２００が表示する表示画像の一部が障害物ＯＢによって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を頭部装着型表示装置１００の画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００が表示する表示画像の視認性を向上させることができる。

また、本発明を適用した実施形態に係る頭部装着型表示装置１００の制御方法は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える頭部装着型表示装置１００の制御方法であって、プロジェクター２００が表示する表示画像のデータを取得し、画像表示部２０を通して表示画像を視認可能なときに、データ取得部ＤＡが取得したデータに基づき、表示画像の少なくとも一部を画像表示部２０により表示する。これにより、プロジェクター２００が表示する表示画像の少なくとも一部を画像表示部２０によっても表示することができる。このため、例えば、プロジェクター２００が表示する表示画像の一部が障害物ＯＢによって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００が表示する表示画像の視認性を向上させることができる。

また、本発明を適用した実施形態に係るプログラムは、外景を透過し、前記外景とともに視認できるように画像を表示する画像表示部２０を備える頭部装着型表示装置１００を制御するコンピューターが実行可能なプログラムであって、コンピューターを、プロジェクター２００が表示する表示画像のデータを取得するデータ取得部ＤＡと、画像表示部２０を通して表示画像を視認可能なときに、データ取得部ＤＡが取得したデータに基づき、表示画像の少なくとも一部を画像表示部２０により表示する表示制御部１９０と、して機能させる。このため、プロジェクター２００が表示する表示画像の少なくとも一部を画像表示部２０によっても表示することができる。これにより、例えば、プロジェクター２００が表示する表示画像の一部が障害物ＯＢによって遮られ、視認不可能、或いは視認しにくくなった場合に、この表示画像の一部を画像表示部２０に表示して視認可能とすることができる。このように、プロジェクター２００が表示する表示画像の視認性を向上させることができる。

＜第２実施形態＞
上述した第１実施形態の表示システム１では、頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０を通してプロジェクター２００の表示画像を視認可能なときに、表示画像の少なくとも一部を画像表示部２０により表示する構成であった。頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、使用者の視界の景色である外景を撮像するカメラ６１と、を備える。頭部装着型表示装置１００は、カメラ６１の撮像画像を画像表示部２０に表示することもできる。つまり、頭部装着型表示装置１００では、画像表示部２０を通して視る実像（実現実の物体／外景）に、カメラ６１で撮像した外景の画像を虚像として重ねて使用者に視認させることができる。

この第２実施形態の表示システム１Ａでは、外景をシースルーで見ることが可能な表示装置の新たな活用に対する要求に応えるために、外景とともに視認できるように外景の画像を表示し、外景の見え方の向上に寄与する表示装置を提供することを目的とする。なお、この第２実施形態において、上述の第１実施形態と同一の構成について、図中に同一の符号を付し、その説明を省略する。

図７は、第２実施形態の表示システム１Ａの制御系の機能ブロック図である。
表示システム１Ａは、カメラ６１ａを備える。カメラ６１ａは、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。カメラ６１ａは、本実施形態では画像表示部２０に設けられている構成であるが、これに限らず、頭部装着型表示装置１００の外部のカメラであってもよい。カメラ６１ａは、ＩＲ（赤外線）カメラ、暗視カメラ、サーモグラフィーカメラ等の、人間の目には見えない、或いは、見えにくい波長の光を撮影するカメラである。カメラ６１ａの撮像範囲は、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。カメラ６１ａの撮像範囲は、調光板２０Ａを通した使用者の視界の全体を撮影できるように設定されていると、より好ましい。

頭部装着型表示装置１００の制御装置１０は、制御部１４０の機能により、カメラ６１ａの撮像画像を、画像表示部２０を通してみる実景（外景）に重ねて表示する。表示システム１Ａの画像表示部２０は、さらに、視認像取得部６２を備える。視認像取得部６２は画像表示部２０に設けられ、頭部装着型表示装置１００の使用者の視認像を取得する。視認像取得部６２は、導光板２６１，２６２に設けられた光学センサーであってもよいし、使用者の目や鼻の側に設けられた受光素子であってもよい。

頭部装着型表示装置１００は、プロジェクター２００の表示画像を補完する表示画像補完モードと、実景（外景）に実景の虚像を重ねて表示する実景補完モードと、補完対象領域ＮＲの補完を行わない通常動作モードと、を含む複数の動作モードを実行可能である。モードの切り替えは、使用者の操作部１３５に対する指示操作で行われる。
表示画像補完モードでは、第１の実施形態で説明したように、画像表示部２０を通して視るプロジェクター２００の表示画像に補完対象領域ＮＲを検出し、補完対象領域ＮＲの画像を画像表示部２０に表示することで、プロジェクター２００の表示画像を補完する。実景補完モードでは、画像表示部２０を通して使用者が視る実景に、実景の虚像を重ねることで、実景の少なくとも一部が人間の目には見えない、或いは、見えにくい場合でも、実景を視認可能とすることができる。実景補完モードは、使用者が操作部１３５に対する指示操作で開始することができるため、使用者が実景中に見えない、或いは、見えにくい領域があると判断した場合に、補完処理を実行することができる。

図８は、実景補完モードにおける頭部装着型表示装置１００の動作を示すフローチャートである。実景補完モードが開始されると、制御部１４０は、まず、カメラ６１ａを制御して、使用者の視界の外景を撮像し、外景画像を取得する。制御部１４０は、画像処理部１６０、および、表示制御部１９０を制御して、カメラ６１ａが撮影した外景画像を画像表示部２０に虚像として、実景ＲＶに重ねて表示する。ここで、画像表示部２０に表示されるカメラ６１ａが撮影した外景画像に基づく画像を、表示画像ＰＶと称する。
実景補完モードでは、制御部１４０は、カメラ６１ａを制御して、予め設定された周期で連続的に撮影を実行させる。制御部１４０を、カメラ６１ａが１フレームを撮影する毎に、画像表示部２０に実景ＲＶに重ねて表示画像ＰＶを表示する。

制御部１４０は、視認像取得部６２を制御して、画像表示部２０を通して使用者が視認している、視認像を取得する（ステップＳ２１）。制御部１４０は、カメラ６１ａが撮影した１フレームの表示画像ＰＶを画像表示部２０に表示する度に、使用者の視認像ＩＭの取得を視認像取得部６２に実行させる。視認像取得部６２は、上述したように、光学センサー、或いは、受光素子により構成され、視認像ＩＭを画像として撮像することができる。視認像取得部６２は、画像表示部２０を通して使用者が視認している視認像ＩＭを制御装置１０の制御部１４０に入力する。制御部１４０は、検出部１８５の機能により、視認像取得部６２が取得した視認像ＩＭから、表示画像ＰＶの補完対象領域ＮＲを検出する（ステップＳ２２）。検出部１８５は、視認像ＩＭの画像解析を行って、画像表示部２０を通して使用者が視認している、実景ＲＶと、実景ＲＶに重ねて表示された表示画像ＰＶと、がずれている部分を、補完対象領域ＮＲとして検出する。

続いて、制御部１４０は、検出部１８５により補完対象領域ＮＲが検出されたか否かを判定する（ステップＳ２３）。検出部１８５により補完対象領域ＮＲが検出されなかった場合には（ステップＳ２３：ＮＯ）、制御部１４０は、このフレームでの補完対象領域ＮＲの補完処理を終了する。検出部１８５により補完対象領域ＮＲが検出された場合には（ステップＳ２３：ＹＥＳ）、制御部１４０は、座標特定部１６３の機能により、補完対象領域ＮＲの液晶ディスプレイ２４１，２４２における画素座標を特定する（ステップＳ２４）。

続いて、制御部１４０は、データ抽出部１６１の機能により、補完対象領域ＮＲに対応する対応領域の画像データを、表示画像ＰＶの画像データから抽出する（ステップＳ２５）。データ抽出部１６１は、表示画像ＰＶの画像データから、補完対象領域ＮＲ全体に対応する対応領域の画像データを抽出する。データ抽出部１６１は、表示画像ＰＶの画像データから、補完対象領域ＮＲ全体を含み、補完対象領域ＮＲに対応する対応領域より広い領域の画像データを、抽出しても良い。
次に、制御部１４０は、画像処理部１６０の機能により、表示画像ＰＶの画像データから抽出した補完対象領域ＮＲに対応する対応領域の画像データの補正を行う。画像処理部１６０は、補完対象領域ＮＲに対応する対応領域の画像データに対して、位置補正や、形状調整、色補正、カバー率調整などの画像調整を行って、画像データを補正する。そして、制御部１４０は、補正した画像を、表示制御部１９０の機能により、実景にぴったりと重なるように画像表示部２０の対応する表示位置に表示する（ステップＳ２６）。

このように、制御部１４０は、使用者が視認している、実景ＲＶに重ねて表示された表示画像ＰＶの視認像ＩＭに対して、フレーム毎に補完対象領域ＮＲを検出する。そして、制御部１４０は、補完対象領域ＮＲに対応する対応領域の画像を補正して、実景にぴったりと重なるように、画像表示部２０に表示する。これにより、制御部１４０は、使用者が移動している場合等で、使用者が視認する実景が変わる場合でも、フレーム毎に実景を撮影した外景画像を、実景にぴったりと重なるように表示することができる。

図９は、使用者が画像表示部２０を通して視認する視認像を示す図であり、つまり、視認像取得部６２により取得された視認像ＩＭを示す図である。画像表示部２０を通して使用者が視認している、実景ＲＶと、実景ＲＶに重ねて表示された表示画像ＰＶとは、図９（Ａ）に示すように、表示画像ＰＶの一部が、例えば歪んで表示されることにより、ずれる場合がある。このように、表示画像ＰＶの一部が実景ＲＶからずれて表示された場合には、視認像取得部６２により取得された視認像ＩＭから、このずれている部分が補完対象領域ＮＲとして検出される。制御部１４０は、補完対象領域ＮＲに対応する対応領域の画像データを表示画像ＰＶの画像データから抽出して、位置補正、歪み補正、拡大縮小等の補正を行って、図９（Ｄ）に示すように、補正した画像を実景にぴったりと重なるように画像表示部２０に表示する。

また、画像表示部２０を通して使用者が視認している、実景ＲＶと、実景ＲＶに重ねて表示された表示画像ＰＶとは、図９（Ｂ）に示すように、表示画像ＰＶが実景よりも小さく表示されることにより、ずれる場合がある。制御部１４０は、視認像ＩＭに基づいて、補完対象領域ＮＲを検出して、表示画像ＰＶの画像データを、拡大し、位置補正をおこなって、図９（Ｄ）に示すように、補正した画像を実景にぴったりと重なるように画像表示部２０に表示する。
さらに、画像表示部２０を通して使用者が視認している、実景ＲＶと、実景ＲＶに重ねて表示された表示画像ＰＶとは、図９（Ｃ）に示すように、表示画像ＰＶが実景に対してずれた位置に表示される場合がある。制御部１４０は、視認像ＩＭに基づいて、補完対象領域ＮＲを検出して、表示画像ＰＶの画像データの位置補正や、画像調整（形状調整、カバー率調整）をおこなって、図９（Ｄ）に示すように、補正した画像を実景にぴったりと重なるように画像表示部２０に表示する。

表示画像ＰＶは、上述したように、ＩＲ（赤外線）カメラ、暗視カメラ、サーモグラフィーカメラ等のカメラ６１ａで撮影された画像である。よって、実景ＲＶ中に人間の目には見えない、或いは、見えにくい部分があっても、実景ＲＶに表示画像ＰＶをぴったり重ねて表示することで、人間の目には見えない、或いは、見えにくい部分が表示画像ＰＶにより補完される。これにより、使用者は、画像表示部２０を通して、実景をはっきりと視認することができる。

以上説明したように、本発明を適用した実施形態によれば、透過型の表示装置１００であって、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、使用者が視認する外景を撮影するカメラ６１ａと、画像表示部２０を通して使用者が視認する視認像を取得する視認像取得部６２と、視認像取得部６２が取得した使用者の視認像ＩＭに基づいて、カメラ６１ａが撮影した外景の画像を補正して、当該補正した画像を画像表示部２０を通して使用者が視認している外景に重ねて画像表示部２０に表示する制御部１４０と、を備えることを特徴とする。
この構成によれば、使用者が画像表示部２０を通して視認している外景（実景）ＲＶに、当該外景を撮影した外景画像ＰＶを重ねて表示する。これにより、外景に、見えない、或いは、見えにくい部分がある場合に、この部分を外景画像ＰＶにより補完することで、視認可能とすることができる。よって、外景の視認性を向上させることができる。

また本発明は、上記表示装置において、視認像取得部６２が取得した視認像ＩＭおける補完対象領域ＮＲを検出する検出部１８５を備え、制御部１４０は、外景を撮影するカメラ６１ａの撮影データから、検出部１８５が検出した補完対象領域ＮＲに対応する対応領域のデータを抽出するデータ抽出部１６１と、データ抽出部１６１により抽出された対応領域のデータに基づく画像を、補正して画像表示部２０を通して使用者が視認している外景ＲＶに重ねて表示させる表示制御部１９０と、を備えることを特徴とする。
この構成によれば、使用者が画像表示部２０を通して視認している外景ＲＶに、当該外景を撮影した外景画像ＰＶを補正して重ねて表示する。これにより、外景に、見えない、或いは、見えにくい部分がある場合に、この部分を外景画像により補完することで、視認可能とすることができる。よって、外景の視認性を向上させることができる。

また、本発明は、上記表示装置において、外景を撮影するカメラ６１ａが、ＩＲカメラ、暗視カメラ、または、サーモグラフィーカメラであること、を特徴とする。
この構成によれば、使用者が画像表示部２０を通して視認している外景ＲＶに、人間の目には見えない、或いは、見えにくい部分がある場合に、この部分を外景画像ＰＶにより補完することで、視認可能とすることができる。よって、外景の視認性を向上させることができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。例えば、制御装置１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御装置１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ；ＨＵＤ）であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ， ＬＣｏＳは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。

また、上記実施形態では、平面のスクリーンＳＣを、プロジェクター２００の投射対象物として例に挙げて説明したが、投射対象物は、３次元の建物や物体、或いは、空間などでも良い。本発明の表示装置は、例えば、表示部を通して視認可能な画像が３Ｄプロジェクションマッピングの場合にも適用可能である。表示装置は、外部機器ＯＡから３Ｄマッピングデータを取得して、補完対象領域を検出し、表示部により、補完対象領域に対応する表示位置に、補完対象領域に対応する画像を表示させて、補完することができる。
また、上記実施形態では、一台のプロジェクターを用いて、投射対象物に画像を表示する構成を例に挙げて説明したが、これに限らず、複数台のプロジェクターを用いて、表示画像データに基づく画像を投射対象物に表示する構成であっても良い。

また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７またはインターフェイス１８０を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

１，１Ａ…表示システム、１０…制御装置、２０…画像表示部（表示部）、６１，６１ａ…カメラ、６２…視認像取得部、１００…頭部装着型表示装置、１１７…通信部（データ取得部）、１３５…操作部、１４０…制御部、１６０…画像処理部、１６１…データ抽出部、１６３…座標特定部、１８０…インターフェイス（データ取得部）、１８５…検出部、１９０…表示制御部、２００…プロジェクター（外部表示装置）、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、ＡＵ…視聴者、ＤＡ…データ取得部、ＮＲ…補完対象領域、ＯＡ…外部機器、ＯＢ…障害物、ＯＩ…障害物上画像、ＳＣ…スクリーン、ＳＨ…影。

Claims (11)

1. 透過型の表示装置であって、
   使用者に画像を視認させるとともに外景を透過する表示部と、
   外部表示装置が表示する表示画像のデータを取得するデータ取得部と、
   前記表示部を通して前記表示画像を視認可能なときに、前記データ取得部が取得した前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示する制御部と、
   を備えることを特徴とする表示装置。
2. 前記外部表示装置が表示する表示画像における補完対象領域を検出する検出部を備え、
   前記制御部は、
   前記データ取得部が取得した前記データから、前記検出部が検出した前記補完対象領域に対応する対応領域のデータを抽出するデータ抽出部と、
   前記データ抽出部により抽出された前記対応領域のデータに基づく画像を、前記表示部により、前記補完対象領域に対応する表示位置に表示させる表示制御部と、を備えること、
   を特徴とする請求項１記載の表示装置。
3. 前記表示制御部は、前記対応領域のデータに基づく画像を、前記検出部が検出した前記補完対象領域の少なくとも一部に重なるように前記表示部に表示させること、
   を特徴とする請求項２記載の表示装置。
4. 前記データ抽出部は、前記補完対象領域を含む前記対応領域のデータを抽出し、
   前記表示制御部は、前記対応領域のデータに基づく画像を、前記検出部が検出した前記補完対象領域に重なるように前記表示部に表示させること、
   を特徴とする請求項２または３記載の表示装置。
5. 前記検出部は、前記外部表示装置が投射対象物に画像光を投射するプロジェクターである場合に、前記投射対象物以外の物体の影響で前記プロジェクターの投射画像が変化した領域を前記補完対象領域として検出すること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 画像を表示する第１の表示装置、及び、使用者に画像を視認させるとともに外景を透過す表示部を備える透過型の第２の表示装置を有し、
   前記第２の表示装置は、
   前記第１の表示装置が表示する表示画像のデータを取得するデータ取得部と、
   前記表示部を通して前記表示画像を視認可能なときに、前記データ取得部が取得した前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示する制御部と、を備えること、
   を特徴とする表示システム。
7. 使用者に画像を視認させるとともに外景を透過する表示部を備える透過型の表示装置の制御方法であって、
   外部表示装置が表示する表示画像のデータを取得し、
   前記表示部を通して前記表示画像を視認可能なときに、前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示すること、
   を特徴とする表示装置の制御方法。
8. 使用者に画像を視認させるとともに外景を透過する表示部を備える透過型の表示装置を制御するコンピューターが実行可能なプログラムであって、
   前記コンピューターを、
   外部表示装置が表示する表示画像のデータを取得するデータ取得部と、
   前記表示部を通して前記表示画像を視認可能なときに、前記データ取得部が取得した前記データに基づき、前記表示画像の少なくとも一部を前記表示部により表示する制御部と、
   して機能させるためのプログラム。
9. 透過型の表示装置であって、
   使用者に画像を視認させるとともに外景を透過する表示部と、
   外景を撮影するカメラと、
   前記表示部を通して使用者が視認する視認像を取得する視認像取得部と、
   前記視認像取得部が取得した使用者の視認像に基づいて、前記カメラが撮影した外景の画像を補正して、当該補正した画像を前記表示部を通して使用者が視認している外景に重ねて前記表示部に表示する制御部と、
   を備えることを特徴とする表示装置。
10. 前記視認像取得部が取得した視認像おける補完対象領域を検出する検出部を備え、
    前記制御部は、
    前記外景を撮影するカメラの撮影データから、前記検出部が検出した前記補完対象領域に対応する対応領域のデータを抽出するデータ抽出部と、
    前記データ抽出部により抽出された前記対応領域のデータに基づく画像を、補正して前記表示部を通して使用者が視認している外景に重ねて表示させる表示制御部と、
    を備えることを特徴とする請求項１０記載の表示装置。
11. 前記外景を撮影するカメラが、ＩＲカメラ、暗視カメラ、または、サーモグラフィーカメラであること、
    を特徴とする請求項９または１０記載の表示装置。