JP2014155083A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム - Google Patents

Abstract

【課題】使用者に特定の対象物の位置を示す画像を視認させる頭部装着型表示装置を提供する。
【解決手段】透過型の頭部装着型表示装置は、使用者の頭部に装着された状態において、画像を生成して、生成した画像を使用者に視認させる画像表示部と；画像表示部に対する特定の対象物の位置である対象位置を特定する位置特定部と；位置特定部が特定した対象位置に基づいて、画像表示部に対して、対象位置を示す対象位置表示画像を生成させると共に、画像表示部が画像を生成する領域である画像生成領域における対象位置表示画像の位置を設定する制御部と、を備える。
【選択図】図１２

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

他方、被写体に装着された発信機から発信される信号を受信して、受信した信号に基づいて被写体の位置を特定し、被写体の位置の変化に追尾して被写体を撮像できる自動追尾型の撮像装置であるビデオカメラが知られている。

特許文献１には、被写体に装着された赤外線発信機からの赤外光を受光することで被写体の位置を特定し、ビデオカメラを固定している三脚を可動させることで、被写体を自動追尾で撮像できる技術について開示されている。また、特許文献２には、被写体に装着された赤外線発信機からの赤外光を受光して特定した被写体の位置を画像信号へと変換して、ビデオカメラのファインダーに画像信号に基づいて生成される画像を被写体の位置と関連付けて表示する技術について開示されている。また、特許文献３には、被写体に装着された赤外線発信機を増やすことで、被写体の位置を特定しやすい自動追尾型のビデオカメラについて開示されている。また、特許文献４には、被写体に装着された発信機が発信する信号を受信して、被写体の位置および被写体の加速度を特定し、被写体の加速度に応じてズーム制御を行なう自動追尾型の撮像システムについて開示されている。

特開平９−７４５１２号公報 特開平９−７４５０４号公報 特開平９−７４５０５号公報 特開２００３−２７４２５２号公報

しかし、特許文献１から特許文献４までの特許文献に記載された技術では、被写体の速度や加速度といった移動量が大きい場合には、被写体を自動追尾できずに撮像できないおそれがある。また、被写体を撮像しているビデオカメラの使用者は、正常に撮像が行なわれているかの確認をファインダーやモニターを見て確認する必要があり、被写体を視認すると共に正常に被写体を撮像するための撮像方法について改善の余地があった。また、ビデオカメラにおいて、ビデオカメラの使用者が視認する外景と撮像される外景とが異なる場合があった。この他にも、被写体を撮像せずに、被写体の位置を特定したいという課題があった。そのほか、撮像機能を有し、さらに使い勝手の良い装置が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着された状態において、画像を生成して、生成した画像を使用者に視認させる画像表示部と；前記画像表示部に対する特定の対象物の位置である対象位置を特定する位置特定部と；前記位置特定部が特定した前記対象位置に基づいて、前記画像表示部に対して、前記特定の対象位置を示す対象位置表示画像を生成させると共に、前記画像表示部が画像を生成する領域である画像生成領域における前記対象位置表示画像の位置を設定する制御部と、を備える。この形態の頭部装着型表示装置によれば、使用者の頭部に装着された画像表示部における画像生成領域に、特定の対象物の位置を示す画像が使用者に視認される。そのため、使用者は、頭部を動かしたりしなくても、特定の対象物の位置を認識でき、使用者の利便性が向上する。また、使用者は、何らかの遮蔽物等によって特定の対象物を直接視認できなくても、特定の対象物がいる方向を知ることができる。

（２）上記形態の頭部装着型表示装置において、さらに；使用者の視線方向を含む所定の範囲の外景を撮像する撮像部を備えてもよい。この頭部装着型表示装置によれば、使用者が視認する外景とほぼ同じ外景を撮像することができ、使用者は、わざわざ撮像している画像を確認しなくても済むため、外景を撮像しやすく、使用者の利便性が向上する。

（３）上記形態の頭部装着型表示装置において、さらに；前記撮像部が撮像する前記所定の範囲である撮像方向範囲に前記特定の対象物が含まれているかを判定する判定部を備え；前記制御部は、前記判定部が前記撮像方向範囲に前記特定の対象物が含まれていると判定した場合には、前記対象位置に基づいて、前記画像表示部に対して、前記対象位置表示画像を生成させると共に、前記画像生成領域における前記対象位置表示画像の位置を設定し、前記判定部が前記撮像方向範囲に前記特定の対象物が含まれていないと判定した場合には、前記対象位置に基づいて、前記画像表示部に対して、前記対象表示特定画像を前記画像表示部から前記特定の対象物への方向を示す画像である対象方向推定画像として生成させると共に、前記画像生成領域における前記対象方向推定画像の位置を設定してもよい。この頭部装着型表示装置によれば、使用者に特定の対象物が視認されている状態および視認されていない状態のそれぞれにおいて、特定の対象物を示す画像の位置が異なるため、使用者は、特定の対象物が撮像部の画角の範囲に含まれているか否かを判断しやすく、使用者の利便性が向上する。

（４）上記形態の頭部装着型表示装置において、前記対象方向推定画像は、前記対象位置を示す画像を含んでもよい。この頭部装着型表示装置によれば、使用者は、特定の対象物を視認できない場合に、使用者に対する特定の対象物の位置を視認できるため、特定の対象物を見つけやすく、使用者の利便性が向上する。

（５）上記形態の頭部装着型表示装置において、前記制御部は、前記画像表示部に対して、前記撮像部が撮像した撮像画像を前記画像生成領域よりも小さい領域の画像となるように生成してもよい。この頭部装着型表示装置によれば、使用者は、画像表示部を透過して視認できる外景を妨げられることなく、撮像部の撮像画像を外景と同時に視認できるため、使用者の利便性が向上する。

（６）上記形態の頭部装着型表示装置において、前記制御部は、前記視線方向と、前記画像表示部から前記特定の対象物への方向とがなす角度に基づいて、前記画像生成領域における前記撮像画像の位置を設定してもよい。この頭部装着型表示装置によれば、使用者に特定の対象物が視認されている状態および視認されていない状態のそれぞれにおいて、特定の対象物を示す画像の位置が異なるため、使用者は、特定の対象物が撮像部の画角の範囲に含まれているか否かを判断しやすく、使用者の利便性が向上する。

（７）上記形態の頭部装着型表示装置において、前記制御部は、前記画像生成領域における前記撮像画像の位置を、前記画像生成領域における中心を除く周辺部分に設定してもよい。この頭部装着型表示装置によれば、使用者が外景をより視認しやすく、使用者の利便性がさらに向上する。

（８）上記形態の頭部装着型表示装置において、前記制御部は、前記対象位置に基づいて前記画像表示部と前記特定の対象物との距離を特定し、前記画像表示部に対して、特定した前記距離を示す画像を生成させてもよい。この頭部装着型表示装置によれば、使用者と特定の対象物との位置関係が特定されるだけでなく、使用者と特定の対象物との距離も特定される。そのため、使用者は、距離に応じて移動、または、視線方向のみ変更といった行動が選択できるので、使用者の利便性が向上する。

（９）上記形態の頭部装着型表示装置において、さらに；前記特定の対象物を示す画像である対象画像を記憶すると共に、前記撮像部が撮像した撮像画像に前記対象画像が含まれているかを判定する画像判定部を備え；前記位置特定部は、前記撮像画像に前記対象画像が含まれていると判定された場合には前記対象位置を特定し、前記撮像画像に前記対象画像が含まれていないと判定された場合には前記対象位置を特定しなくてもよい。この頭部装着型表示装置によれば、特定の対象物に予め発信機等の装置を携帯や装着させなくても、特定の対象物の位置を特定できるので、使用者の利便性が向上する。また、特定の対象物が撮像部の画角の範囲に含まれていても、特定の対象物が遮蔽物等によって撮像部の撮影画像に写らない場合には、特定の対象物の位置が特定されず、使用者は、特定の対象物をより効率的に撮像できる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、位置特定部と、制御部と、の３つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、位置特定部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、使用者の頭部に装着された状態において、画像を生成して、生成した画像を使用者に視認させてもよい。位置特定部は、例えば、画像表示部に対する特定の対象物の位置である対象位置を特定してもよい。また、制御部は、位置特定部が特定した対象位置に基づいて、画像表示部に対象位置を示す対象位置表示画像を生成させると共に、画像表示部が画像を生成する領域である画像生成領域における対象位置表示画像の位置を設定してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本発明の実施形態における撮像システム１０００の概略構成を示す説明図である。 頭部装着型表示装置１００の外観構成を示す説明図である。 頭部装着型表示装置１００の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 被写体ＯＢの位置画像表示処理の流れを示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 被写体方向表示処理の流れについて示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。 使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．実施形態：
Ａ−１．撮像システムの構成：
Ａ−２．頭部装着型表示装置の構成：
Ａ−３．被写体の位置画像表示処理：
Ｂ．変形例：

Ａ．実施形態：
Ａ−１．撮像システムの構成

図１は、本発明の実施形態における撮像システム１０００の概略構成を示す説明図である。図１に示す撮像システムでは、運動会において、頭部装着型表示装置１００（詳細は後述する）の使用者ＵＳが被写体ＯＢの位置を特定する被写体位置特定装置５００を装着した被写体ＯＢを撮像している。撮像システム１０００は、被写体位置特定装置５００と、頭部装着型表示装置１００と、を備えている。被写体位置特定装置５００は、被写体ＯＢが頭部に装着している帽子の中に形成されており、ＧＰＳモジュールを内蔵しており、ＧＰＳ衛星からの信号を受信することにより、被写体ＯＢの現在位置を検出する。被写体ＯＢの現在位置が検出されることで、無線通信を介して、頭部装着型表示装置１００の使用者ＵＳは、被写体ＯＢの現在位置を特定できる。なお、撮像システム１０００は、請求項における画像表示システムに相当し、被写体位置特定装置５００は、対象位置情報送信装置に相当する。また、被写体ＯＢは、請求項における特定の対象物に相当する。

Ａ−２．頭部装着型表示装置の構成：
図２は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者ＵＳが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者ＵＳが視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者ＵＳの頭部に装着された状態において使用者ＵＳに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者ＵＳの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者ＵＳが画像表示部２０を装着した際に使用者ＵＳの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者ＵＳの頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図３参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者ＵＳの眼に導く。調光板は、薄板状の光学素子であり、使用者ＵＳの眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者ＵＳの眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの眉間に対応する位置に配置されている。カメラ６１は、使用者ＵＳの眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。本実施形態におけるカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。本実施形態で用いられるカメラ６１の画角は、後述する頭部装着型表示装置１００の使用者ＵＳの視線方向と同じ方向を中心として、上下においてはそれぞれ４０度であり、左右においてはそれぞれ６０度である。カメラ６１は、請求項における撮像部に相当する。マイク６３は、音声を取得する装置であり、使用者ＵＳが画像表示部２０を装着した際の使用者ＵＳの眉間に対応する位置であると共にカメラ６１の下の位置に配置されている。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者ＵＳの指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図３は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図３に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者ＵＳによる操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

入力情報取得部１１０は、使用者ＵＳによる操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば被写体位置特定装置５００の現在位置を表わす位置情報の受信といった他の機器との間で各種情報の送受信を行なう。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。ＧＰＳモジュール１３４の現在位置が検出されることで、頭部装着型表示装置１００の使用者ＵＳの現在位置が特定される。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ОＳ１５０）、画像処理部１６０、表示制御部１９０、音声処理部１７０、方向判定部１６１、画像判定部１４２、として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データＤａｔａ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

方向判定部１６１は、後述する９軸センサー６６が検出した画像表示部２０の向きから推定される使用者ＵＳの視線方向と、画像表示部２０から被写体ＯＢへの方向である被写体方向と、がなす角度が予め定められた閾値以上であるか否かを判定する。方向判定部１６１は、視線方向と被写体方向とがなす角度に基づいて、以下の３つの状態の内のいずれかに該当するかを判定する。
（１）被写体ＯＢがカメラ６１の画角の範囲に含まれている状態。
（２）被写体ＯＢがカメラ６１の画角の範囲に含まれず、かつ、使用者ＵＳの視野ＶＲに含まれている状態。
（３）被写体ＯＢが使用者ＵＳの視野ＶＲに含まれていない状態。
なお、使用者ＵＳの視野角は、左右のそれぞれが１００度、上が５０度、下が７５度、と予め設定されており、カメラ６１の画角よりも広い。使用者ＵＳの視線方向と被写体方向とがなす角度が使用者ＵＳの視野角の範囲を超えると、方向判定部１６１は、被写体ＯＢが使用者ＵＳの視野ＶＲに含まれていないと判定する。

画像判定部１４２は、カメラ６１が撮像した外景画像の中に、記憶部１２０に予め記憶された画像データの表わす特定の画像と同じ被写体ＯＢの画像が含まれているか否かを判定する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３が取得した音声を音声信号に変換し、記憶部１２０は、変換された音声信号を記憶する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６と、マイク６３と、を備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者ＵＳの頭部に装着されているときには、使用者ＵＳの頭部の動きを検出する。検出された使用者ＵＳの頭部の動きから画像表示部２０の向きがわかるため、方向判定部１６１は、使用者ＵＳの視線方向を推定できる。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２０２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者ＵＳの左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−３．被写体の位置画像表示処理：
図５は、被写体ＯＢの位置画像表示処理の流れを示す説明図である。位置画像表示処理は、使用者ＵＳに被写体ＯＢの位置を認識させるために、被写体ＯＢの位置を示す画像を使用者ＵＳに視認させる処理である。図６は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図６には、運動会において、使用者ＵＳが画像表示部２０を装着した状態で、画像表示部２０を透過して使用者ＵＳに視認される被写体ＯＢを含む外景ＳＣが示されている。なお、図６に示す最大画像表示領域ＰＮは、画像表示部２０が生成した画像を表示できる最大の領域である。なお、最大画像表示領域ＰＮの外郭を示す実線は、本実施形態を説明するために示したものであり、実際には表示されていないため、使用者ＵＳには視認されない。本実施形態における最大画像表示領域ＰＮは、横の画素数が９６０であり、縦の画素数が５４０であるが、他の実施形態では異なる画素数であってもよい。最大画像表示領域ＰＮは、請求項における画像生成領域に相当する。

被写体ＯＢの画像位置表示処理では、初めに、制御部１０は、画像表示部２０と被写体位置特定装置５００との相対位置を特定する（ステップＳ３１０）。制御部１０は、ＧＰＳモジュール１３４によって画像表示部２０の現在位置を特定し、無線通信部１３２が特定された被写体位置特定装置５００の現在位置を示す情報を取得する。本実施形態では、制御部１０が使用者ＵＳに携帯され、画像表示部２０が使用者ＵＳに装着されるため、制御部１０の現在位置が画像表示部２０の現在位置であるとみなすことができ、ＧＰＳモジュール１３４は、画像表示部２０の現在位置を特定できる。制御部１０は、画像表示部２０および被写体位置特定装置５００の現在位置に基づいて画像表示部２０に対する被写体位置特定装置５００の相対位置を特定する。なお、他の実施形態では、ＧＰＳモジュール１３４が画像表示部２０に配置されていてもよい。制御部１０は、請求項における位置特定部に相当する。

次に、制御部１０の方向判定部１６１は、被写体ＯＢがカメラ６１の画角の範囲に含まれているか否かを判定する（ステップＳ３２０）。図６に示す例では、最大画像表示領域ＰＮには被写体ＯＢが含まれているため、カメラ６１の画角の範囲に含まれていると判定されて（図５のステップＳ３２０：ＹＥＳ）、制御部１０は、被写体ＯＢの位置を示す画像を最大画像表示領域ＰＮに表示する（図５のステップＳ３４０）。なお、カメラ６１の画角の範囲に含まれるとは、カメラ６１が撮像する外景ＳＣに写っていることに限らず、カメラ６１の画角の範囲にあるものの遮蔽物等によりカメラ６１が撮像できない場合も含む。

ステップＳ３２０の処理において、被写体ＯＢがカメラ６１のカメラ６１の画角の範囲に含まれていないと判定された場合には（ステップＳ３２０：ＮＯ）、制御部１０は、画像表示部２０から被写体ＯＢへの方向を示す画像を表示する被写体方向表示処理を行なう（ステップＳ３３０）。図７は、被写体方向表示処理の流れについて示す説明図である。

図８は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図８には、図６と異なり、使用者ＵＳの視線方向に対して被写体ＯＢが右側にずれて、最大画像表示領域ＰＮの範囲外、かつ、使用者ＵＳの視野ＶＲ内に視認されている状態が示されている。被写体方向表示処理では、初めに、方向判定部１６１は、被写体方向と視線方向とがなす角度が予め定められた使用者ＵＳの視野角の範囲であるか否かを判定する（図７のステップＳ３２１）。図８に示す例では、被写体ＯＢは、使用者ＵＳの視野ＶＲにおいて視認されているため、図７のステップＳ３２１の処理において使用者ＵＳの視野角の範囲であると判定され（ステップＳ３２１：ＹＥＳ）、制御部１０は、画像表示部２０の表示モードを第１の表示モードへと設定する（ステップＳ３２２）。

図９は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図９には、画像表示部２０の表示モードが第１の表示モードである場合に、最大画像表示領域ＰＮに表示される被写体ＯＢの方向を示す画像である矢印ＭＫ１が示されている。図９に示すように、被写体ＯＢは、使用者ＵＳの視野ＶＲに含まれると共に、最大画像表示領域ＰＮ外の右方向に存在する。そのため、第１の表示モードでは、矢印ＭＫ１は、最大画像表示領域ＰＮにおいて、垂直方向では被写体位置特定装置５００と同じ高さ、かつ、水平方向では被写体ＯＢが存在する方向の右側の部分に表示されている。制御部１０は、右方向を向いている矢印ＭＫ１を最大画像表示領域ＰＮにおける右周辺部に表示することにより、被写体ＯＢの方向を示している。

次に、方向判定部１６１は、被写体ＯＢがカメラ６１の画角の範囲に含まれているかを監視する（ステップＳ３２３）。被写体ＯＢがカメラ６１の画角の範囲に含まれていない場合には（ステップＳ３２３：ＮＯ）、再度、方向判定部１６１は、ステップＳ３２１の処理を行なう。被写体ＯＢがカメラ６１の画角の範囲に含まれている場合には（ステップＳ３４３：ＹＥＳ）、制御部１０は、被写体ＯＢの被写体方向表示処理を終了する。

ステップＳ３２１の処理において、使用者ＵＳの視野角の範囲外であると判定された場合には（ステップＳ３２１：ＮＯ）、制御部１０は、画像表示部２０の表示モードを第２の表示モードへと設定する（ステップＳ３２５）。図１０は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図１０には、画像表示部２０の表示モードが第２の表示モードである場合に、最大画像表示領域ＰＮに表示されている被写体ＯＢの方向を示す画像である矢印ＭＫ２と、鳥瞰図ＶＩ１と、が示されている。図１０に示すように、被写体ＯＢは、使用者ＵＳの視野ＶＲに含まれていない。矢印ＭＫ２は、最大画像表示領域ＰＮにおける右上の部分に表示されており、図９に示す矢印ＭＫ１よりも長い矢印の画像である。そのため、制御部１０が矢印ＭＫ１よりも長い矢印ＭＫ２を表示することにより、矢印の長さによって感覚的に被写体方向と視線方向とがなす角度がどれだけ大きいかを使用者ＵＳに認識させることができる。

第２の表示モードにおける鳥瞰図ＶＩ１は、最大画像表示領域ＰＮにおける中心を除く周辺部である右下の領域に表示されている。鳥瞰図ＶＩ１が表示される領域は、最大画像表示領域ＰＮを縦と横とのそれぞれにおいて３分割した９つの領域の右下の領域であり、横の画素数は３２０、縦の画素数は１８０である。なお、他の実施形態では、鳥瞰図ＶＩ１が最大画像表示領域ＰＮにおいて表示される領域や表示される位置が異なっていてもよい。また、最大画像表示領域ＰＮにおける中心を除く周辺部とは、９つの領域の中央の１つの領域を除く部分である。最大画像表示領域ＰＮにおける周辺部とは、最大画像表示領域ＰＮを縦と横とのそれぞれにおいて４分割した１６の領域における中央の４つの領域を除く部分だと、さらに好ましい。図１０に示すように、鳥瞰図ＶＩ１では、使用者ＵＳから上方向が使用者ＵＳの視線方向とされ、想定される使用者ＵＳの視野範囲ｅｙが点線で示され、画像表示部２０の位置と被写体ＯＢの位置との相対関係が上空から見下ろしたように示されている。鳥瞰図ＶＩ１において表示されている使用者ＵＳの位置および被写体ＯＢの位置は、使用者ＵＳの視線方向の変化、使用者ＵＳおよび被写体ＯＢの移動による相対位置の変化、等によってリアルタイムに変更される。その後、画像表示部２０の向きが変わると、制御部１０は、図７のステップＳ３２１以降の処理を行なう。

被写体方向表示処理が終了すると、次に、制御部１０は、被写体ＯＢの位置を示す画像を最大画像表示領域ＰＮに表示する（図５のステップＳ３４０）。図１１は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図１１に示すように、最大画像表示領域ＰＮにおける被写体ＯＢの上には、被写体ＯＢの位置を示す矢印ＭＫ３が表示されている。本実施形態では、カメラ６１の画角の範囲と最大画像表示領域ＰＮとがほぼ同じになるように設定されているため、制御部１０は、最大画像表示領域ＰＮにおいて、外景ＳＣの被写体ＯＢの位置に対応するように矢印ＭＫ３を表示できる。矢印ＭＫ３は、被写体ＯＢと重なって表示されるのが望ましくないため、被写体ＯＢが装着している被写体位置特定装置５００の位置から所定の距離だけ上方向に表示される。なお、矢印ＭＫ１、矢印ＭＫ２、矢印ＭＫ３、鳥瞰図ＶＩ１は、請求項における対象位置表示画像に相当する。また、矢印ＭＫ１、矢印ＭＫ２、鳥瞰図ＶＩ１は、請求項における対象方向推定画像に相当する。

次に、操作部１３５が使用者ＵＳからの所定の操作を受け付けると、制御部１０は、カメラ６１の撮像画像の録画を開始する前に、画像表示部２０の表示モードをスタンバイモードに設定する。（図５のステップＳ３５０）。図１２は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図１２では、図１１に示す例に加えて、録画を開始した場合に、最大画像表示領域ＰＮに録画されるカメラ６１の撮像画像ＶＩ２が縮小されて表示されている。図１２に示すように、撮像画像ＶＩ２は、最大画像表示領域ＰＮにおける右下に、鳥瞰図ＶＩ１と同じ領域に表示される。

次に、操作部１３５が使用者ＵＳから録画開始の操作を受け付けると、制御部１０は、カメラ６１の撮像画像の録画を開始する。（図５のステップＳ３６０）。録画が開始されると、図１２に示す撮像画像ＶＩ２における左上に「録画中」の文字が表示される。なお、他の実施形態では、「録画中」以外の文字であってもよいし、最大画像表示領域ＰＮにおける文字が表示される位置が異なる位置であってもよい。そのため、使用者ＵＳは、視野ＶＲを視認しながら、特に頭の向き等を変えなくても自然に、録画している撮像画像ＶＩ２の撮像画像を確認できる。

次に、制御部１０は、録画しながら、被写体ＯＢが引き続きカメラ６１の画角の範囲に含まれているか否かを監視する（ステップＳ３７０）。被写体ＯＢがカメラ６１の画角の範囲に含まれている場合には（ステップＳ３７０：ＹＥＳ）、制御部１０は、録画を終了する操作部１３５への入力があるかを監視する（ステップＳ３９０）。

ステップＳ３７０の処理において、被写体ＯＢがカメラ６１の画角の範囲に含まれなくなった場合には（ステップＳ３７０：ＮＯ）、制御部１０は、ステップＳ３３０と同じ被写体方向表示処理を行なう（ステップＳ３８０）。ステップＳ３８０における被写体方向表示処理において、本実施形態では、制御部１０は、撮像画像の録画を引き続き行なうが、他の実施形態では、被写体ＯＢがカメラ６１の画角の範囲に含まれなくなった場合に録画を自動で停止してもよい。また、被写体ＯＢがカメラ６１の画角の範囲に含まれなくなった場合に、制御部１０は、録画を引き続き行なうか否かを決定する選択画像を最大画像表示領域ＰＮに表示して、操作部１３５が受け付けた操作に基づいて録画を行なうか否かを決定させてもよい。なお、ステップＳ３８０の処理については、図７に示す被写体方向表示処理と同じであるため、説明を省略する。

ステップＳ３８０の被写体方向表示処理が終了すると、次に、制御部１０は、被写体ＯＢの位置を示す画像を最大画像表示領域ＰＮに表示する（図５のステップＳ３８５）。その後、制御部１０は、録画を終了する操作部１３５への入力があるかを監視する（ステップＳ３９０）。操作部１３５が使用者ＵＳから録画を終了する操作を受け付けた場合には（ステップＳ３９０：ＹＥＳ）、制御部１０は、カメラ６１の撮像画像の録画を終了する。ステップＳ３９０の処理において、操作部１３５が録画を終了する操作を受け付けなかった場合には（ステップＳ３９０：ＮＯ）、引き続き、撮像画像の録画が行なわれた状態で、方向判定部１６１は、被写体ＯＢがカメラ６１の画角の範囲に含まれているか否かを監視する（ステップＳ３７０）。

以上説明したように、本実施形態における頭部装着型表示装置１００では、制御部１０は、画像表示部２０の現在位置を特定し、被写体位置特定装置５００の現在位置を示す情報を取得して、画像表示部２０に対する被写体位置特定装置５００の相対位置を特定する。制御部１０は、相対位置に基づいて、最大画像表示領域ＰＮにおける被写体ＯＢの位置を示す画像を画像表示部２０に生成させて、最大画像表示領域ＰＮにおける生成させた画像の位置を設定する。そのため、本実施形態における頭部装着型表示装置１００では、使用者ＵＳの頭部に装着された画像表示部２０における最大画像表示領域ＰＮに、被写体ＯＢの位置を示す画像が使用者ＵＳに視認される。そのため、使用者ＵＳは、頭を動かしたりしなくても、被写体ＯＢの位置を認識でき、使用者ＵＳの利便性が向上する。また、使用者ＵＳは、被写体ＯＢに予め被写体位置特定装置５００を装着させておけば、何らかの遮蔽物等によって被写体ＯＢを直接視認できなくても、被写体ＯＢがいる方向を知ることができる。

また、本実施形態における頭部装着型表示装置１００では、カメラ６１が使用者ＵＳの視線方向を中心とするカメラ６１の画角の範囲の外景ＳＣを撮像する。そのため、本実施形態における頭部装着型表示装置１００では、使用者ＵＳが視認する外景ＳＣとほぼ同じ外景ＳＣを撮像することができ、使用者ＵＳは、わざわざ撮像している画像を確認しなくても済むため、外景ＳＣを撮像しやすく、使用者ＵＳの利便性が向上する。

また、本実施形態における頭部装着型表示装置１００では、方向判定部１６１は、カメラ６１の画角の範囲に被写体ＯＢが含まれているかを判定する。方向判定部１６１がカメラ６１の画角の範囲に被写体ＯＢが含まれていると判定した場合には、制御部１０は、最大画像表示領域ＰＮにおける矢印ＭＫ３を被写体ＯＢの近くに表示する。方向判定部１６１がカメラ６１の画角の範囲に被写体ＯＢが含まれていないと判定した場合には、制御部１０は、最大画像表示領域ＰＮにおける矢印ＭＫ１および矢印ＭＫ２のように、被写体ＯＢの方向を示す画像を表示する。そのため、本実施形態における頭部装着型表示装置１００では、使用者ＵＳに被写体ＯＢが視認されている状態および視認されていない状態のそれぞれにおいて、被写体ＯＢを示す画像の位置が異なるため、使用者ＵＳは、被写体ＯＢがカメラ６１の画角の範囲に含まれているか否かを判断しやすく、使用者ＵＳの利便性が向上する。

また、本実施形態における頭部装着型表示装置１００では、画像表示部２０の表示モードが第２の表示モードの場合に、最大画像表示領域ＰＮに表示される鳥瞰図ＶＩ１では、使用者ＵＳから上方向が使用者ＵＳの視線方向とされ、画像表示部２０の位置と被写体ＯＢとの位置との相対関係が表されている。そのため、本実施形態における頭部装着型表示装置１００では、使用者ＵＳは、被写体ＯＢを視認できない場合に、使用者ＵＳに対する被写体ＯＢの相対位置を視認できるため、被写体ＯＢを見つけやすく、使用者ＵＳの利便性が向上する。

また、本実施形態における頭部装着型表示装置１００では、制御部１０は、カメラ６１が撮像した撮像画像を最大画像表示領域ＰＮよりも小さい領域の画像として画像表示部２０に表示させる。そのため、本実施形態における頭部装着型表示装置１００では、使用者ＵＳは、画像表示部２０を透過して視認できる外景ＳＣを妨げられることなく、カメラ６１の撮像画像を外景ＳＣと同時に視認できるため、使用者ＵＳの利便性が向上する。また、制御部１０は、最大画像表示領域ＰＮにおける撮像画像が表示される位置を、最大画像表示領域ＰＮにおける中心を除く周辺部に設定する。そのため、本実施形態の頭部装着型表示装置１００では、使用者ＵＳが外景ＳＣをより視認しやすく、使用者ＵＳの利便性がさらに向上する。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ１．変形例１：
上記実施形態では、図１２に示すように、鳥瞰図ＶＩ１および撮像画像ＶＩ２が最大画像表示領域ＰＮを９分割した場合の右下の領域に表示される態様としたが、鳥瞰図ＶＩ１および撮像画像ＶＩ２が表示される領域については、種々変形可能である。図１３は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図１３では、上記実施形態における図１２に示した図と異なり、最大画像表示領域ＰＮにおける撮像画像ＶＩ２が表示される位置が異なる。この変形例の頭部装着型表示装置１００では、制御部１０は、最大画像表示領域ＰＮにおいて撮像画像ＶＩ２が表示される位置を、特定した画像表示部２０と被写体位置特定装置５００の位置関係に基づいて、最大画像表示領域ＰＮにおける被写体ＯＢに重ならない位置に設定する。そのため、この変形例の頭部装着型表示装置１００では、使用者ＵＳは、外景ＳＣの被写体ＯＢを常に視認でき、使用者ＵＳの利便性が向上する。

また、操作部１３５に受け付けた操作に基づいて、鳥瞰図ＶＩ１および撮像画像ＶＩ２の表示と非表示とが切り替えられてもよいし、表示位置および表示する領域の大きさが変更されてもよい。この変形例の頭部装着型表示装置１００では、使用者ＵＳの意思によって鳥瞰図ＶＩ１および撮像画像ＶＩ２の表示態様が変更されるため、使用者ＵＳの利便性が向上する。

また、最大画像表示領域ＰＮに表示する画像は、被写体ＯＢの位置を示す画像、鳥瞰図ＶＩ１、撮像画像ＶＩ２に限られず、種々変形可能である。例えば、画像表示部２０の表示モードが第２の表示モードの場合に、制御部１０は、使用者ＵＳと被写体ＯＢとの相対位置に基づいて使用者ＵＳと被写体ＯＢとの距離を算出して、算出した距離を数値の画像として最大画像表示領域ＰＮに表示してもよい。また、被写体ＯＢがカメラ６１の画角の範囲に含まれていても、使用者ＵＳと被写体ＯＢとの距離に基づいて画像表示部２０の表示モードを変更してもよいし、常に鳥瞰図ＶＩ１を最大画像表示領域ＰＮに表示させていてもよい。この変形例の頭部装着型表示装置１００では、鳥瞰図ＶＩ１のように、使用者ＵＳと被写体ＯＢとの位置関係が特定されるだけでなく、使用者ＵＳと被写体ＯＢとの距離も特定される。そのため、使用者ＵＳは、距離に応じて移動、または、視線方向のみ変更といった行動が選択できるので、使用者ＵＳの利便性が向上する。

Ｂ２．変形例２：
上記実施形態では、使用者ＵＳに対する被写体ＯＢの相対位置に基づいて、最大画像表示領域ＰＮに表示される被写体ＯＢの位置を示す画像および最大画像表示領域ＰＮにおける画像の位置が変更されたが、画像および画像を表示する位置についてはこれに限られず、種々変形可能である。図１４は、使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。図１４に示すように、最大画像表示領域ＰＮの中心を含む部分に、被写体ＯＢの位置を示す画像である矢印ＭＫ４が表示されている。図１４では、使用者ＵＳの視野ＶＲに被写体ＯＢが含まれておらず、矢印ＭＫ４によって被写体ＯＢが使用者ＵＳの右側にいることが示されている。この変形例の頭部装着型表示装置１００では、使用者ＵＳの視野ＶＲに被写体ＯＢが含まれている場合には、最大画像表示領域ＰＮに、上記実施形態における矢印ＭＫ３のような画像を表示しない。被写体ＯＢが視野ＶＲに含まれていない場合のみ、最大画像表示領域ＰＮにおける同じ位置である中心に被写体ＯＢの方向を示す矢印の画像を表示する。

Ｂ３．変形例３：
上記実施形態では、被写体ＯＢの位置が被写体位置特定装置５００によって特定され、画像表示部２０と被写体位置特定装置５００との相対位置が特定されたが、被写体ＯＢの位置を特定する方法はこれに限られず、種々変形可能である。例えば、画像表示部２０と被写体位置特定装置５００との相対位置ではなく、単に被写体位置特定装置５００の位置が特定されてもよいし、画像表示部２０と被写体位置特定装置５００との位置が別々に特定されてもよい。また、ＧＰＳ衛星を用いずに、頭部装着型表示装置１００と一対一対応の特定の周波数を発信する発信機を被写体ＯＢに携帯させることで、被写体ＯＢの位置が特定されてもよい。具体的な通信方法としては、無線ＬＡＮ、Bluetooth（登録商標）、４Ｇ携帯通信等がある。また、被写体ＯＢが携帯または装着しているＧＰＳ機能が搭載された携帯端末（例えば、スマートフォン）や時計によって、被写体ＯＢの位置が特定されてもよい。なお、本明細書における相対位置とは、単に画像表示部２０と被写体位置特定装置５００との位置のみならず、画像表示部２０および被写体位置特定装置５００の向き等の位置情報を含む。

また、被写体ＯＢの位置が画像認識によって特定されてもよい。例えば、被写体ＯＢが人である場合、被写体ＯＢの顔の画像を予め制御部１０の記憶部１２０に登録しておき、制御部１０の画像判定部１４２がカメラ６１の撮像画像に、被写体ＯＢの顔が含まれると判定されて、被写体ＯＢの位置が特定されてもよい。また、被写体ＯＢの顔以外の画像認識では、特定のマーカー、服の模様、特徴的な装着物、当によって被写体ＯＢの位置が特定されてもよい。この変形例の頭部装着型表示装置１００では、被写体ＯＢに予め発信機等の装置を携帯および装着させなくても、被写体ＯＢの位置を特定できるので、使用者ＵＳの利便性が向上する。また、被写体ＯＢがカメラ６１の画角の範囲に含まれていても、被写体ＯＢが遮蔽物等によってカメラ６１の撮影画像に写らない場合には、被写体ＯＢの位置が特定されず、使用者ＵＳは、被写体ＯＢが写らない場合を排除でき、より効率的に撮像できる。

また、上記実施形態では、ＧＰＳモジュール１３４によって画像表示部２０の位置を特定したが、画像表示部２０の位置および向き等を含む位置情報を特定する方法については、種々変形可能である。例えば、画像表示部２０にＧＰＳモジュール１３４を内蔵させ、内蔵されたＧＰＳモジュール１３４と９軸センサー６６とに基づいて、画像表示部２０の位置情報がより詳細に特定される。この頭部装着型表示装置１００では、使用者ＵＳの眼を覆う光学像表示部２６，２８の詳細な位置情報を特定できるので、使用者ＵＳの水平方向および垂直方向における向き等が特定されて、画像表示部２０と被写体位置特定装置５００とのより詳細な位置関係が特定される。そのため、使用者ＵＳに被写体ＯＢの詳細な位置関係を知らせることができ、使用者の利便性がより向上する。

また、上記実施形態では、被写体ＯＢの位置に基づいて被写体ＯＢの位置を示す画像が最大画像表示領域ＰＮに表示されたが、被写体ＯＢの位置を示す画像を表示する制御に加えて、他の制御が行なわれてもよく、使用者ＵＳに被写体ＯＢを視認させる方法については、種々変形可能である。例えば、使用者ＵＳと被写体ＯＢとの距離に応じてオートフォーカスの制御が行なわれてもよい。具体的には、被写体ＯＢがカメラ６１の画角に含まれているが、使用者ＵＳと被写体ＯＢとの距離が閾値以上離れている場合には、制御部１０は、オートフォーカスによって予め定められた大きさ以上の被写体ＯＢを録画する態様であってもよい。この変形例の頭部装着型表示装置１００では、使用者ＵＳが被写体ＯＢを視認しづらい場合であっても、被写体ＯＢをより明確に撮像できる。また、被写体ＯＢがカメラ６１の画角に含まれているが、被写体ＯＢの撮像される位置がカメラ６１の画角における周辺部分である場合には、オートフォーカスによって被写体ＯＢが中心に配置されるような撮像が行なわれていてもよい。

Ｂ４．変形例４：
上記実施形態では、制御部１０が無線通信部１３２を介して被写体位置特定装置５００の位置情報を取得し、ＧＰＳモジュール１３４によって画像表示部２０の位置を特定したが、使用者ＵＳに対する被写体ＯＢの相対位置を特定する方法はこれに限らず、種々変形可能である。例えば、屋内で行なわれる一定範囲でのイベントにおいて、複数の頭部装着型表示装置１００の使用者ＵＳの位置を特定する位置情報を、サーバーに一時的に保管して、サーバーから個々の使用者ＵＳへと各使用者ＵＳの位置情報を送信してもよい。

また、上記実施形態では、画像表示部２０に配置された９軸センサー６６によって使用者ＵＳの視線方向が推定されたが、視線方向の推定方法はこれに限られず種々変形可能である。例えば、単に、画像表示部２０の向きを視線方向としてもよいし、ＣＣＤカメラによって使用者の眼を撮像して、撮像した画像を解析することで、使用者の視線方向が推定されてもよい。

上記実施形態では、制御部１０に操作部１３５を形成したが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者ＵＳの操作性が向上する。また、操作部１３５の動きを検出する９軸センサーを操作部１３５に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者ＵＳは、感覚的に頭部装着型表示装置１００の操作ができる。

Ｂ５．変形例５：
上記実施形態では、カメラ６１が画像表示部２０に固定されて配置されたが、カメラ６１の配置および態様についてはこれに限られず、種々変形可能である。例えば、カメラ６１は、画像表示部２０に形成されるものの、画像表示部２０に対して、向きが変えられる態様であってもよい。この変形例の頭部装着型表示装置１００では、カメラ６１の画角の範囲に被写体ＯＢが含まれなくなった場合に、被写体ＯＢを自動追尾で録画しながら、カメラ６１の画角の範囲に被写体ＯＢが含まれなくなったことを使用者ＵＳに知らせることができる。また、カメラ６１は、制御部１０に配置されてもよいし、制御部１０や画像表示部２０とは別体で、例えば、使用者ＵＳが装着するヘルメットの上部等に配置されてもよい。

上記実施形態では、カメラ６１の画角の範囲と最大画像表示領域ＰＮとがほぼ同じになるように設定されていたが、カメラ６１の画角の範囲と最大画像表示領域ＰＮとの範囲の関係についてはこれに限られず、種々変形可能である。例えば、カメラ６１がズーム機能を有していて、ズーム後の画角の範囲と最大画像表示領域ＰＮとの範囲の関係の変化が算出されるように設定されていてもよい。この場合に、制御部１０は、カメラ６１の画角の範囲が変化したとしても、最大画像表示領域ＰＮに対する被写体ＯＢの位置と、カメラ６１の撮像画像に対する被写体ＯＢと位置と、の関係を算出できる。そのため、カメラ６１の画角の範囲と最大画像表示領域ＰＮとが異なっていても、最大画像表示領域ＰＮに被写体ＯＢの位置を示す画像が表示される。

Ｂ６．変形例６：
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者ＵＳの眼に認識される画像領域として定義することができる。

また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者ＵＳの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者ＵＳの眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、請求項における画像生成領域は、使用者ＵＳに虚像を視認させる範囲とも言い換えることができる。

また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

Ｂ７．変形例７：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４、カメラ６１、は適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者ＵＳの頭の動きを検出するセンサーとして９軸センサー６６を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサーのうちの１つまたは２つから構成されたセンサーを利用するとしてもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、上記実施形態において、頭部装着型表示装置１００は、使用者ＵＳの左右の眼に同じ画像を表わす画像光を導いて使用者ＵＳに二次元画像を視認させるとしてもよいし、使用者ＵＳの左右の眼に異なる画像を表わす画像光を導いて使用者ＵＳに三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図２および図３に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

また、制御部１０がパーソナルコンピューター（ＰＣ）に内蔵されて、ＰＣのモニターに代えて画像表示部２０が使用される態様であってもよいし、制御部１０と画像表示部２０とが一体化して、使用者ＵＳの衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（位置特定部）
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（撮像部）
６３…マイク
６６…９軸センサー
１００…頭部装着型表示装置
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１３４…ＧＰＳモジュール
１３５…操作部
１４０…ＣＰＵ
１４２…画像判定部
１５０…オペレーティングシステム
１６０…画像処理部
１６１…方向判定部（判定部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
５００…被写体位置特定装置（対象位置情報送信装置）
１０００…撮像システム（画像表示システム）
ＯＡ…外部機器
ＯＢ…被写体（特定の対象物）
ＳＣ…外景
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…最大画像表示領域（画像生成領域）
ＡＰ…先端部
ＶＲ…視野
ＵＳ…使用者
ｅｙ…視野範囲
ＶＩ１…鳥瞰図（対象方向推定画像）
ＶＩ２…撮像画像
ＭＫ１，ＭＫ２，ＭＫ４…矢印（対象方向推定画像）
ＭＫ３…矢印（対象位置表示画像）

Claims (11)

1. 透過型の頭部装着型表示装置であって、
   使用者の頭部に装着された状態において、画像を生成して、生成した画像を使用者に視認させる画像表示部と、
   前記画像表示部に対する特定の対象物の位置である対象位置を特定する位置特定部と、
   前記位置特定部が特定した前記対象位置に基づいて、前記画像表示部に対して、前記対象位置を示す対象位置表示画像を生成させると共に、前記画像表示部が画像を生成する領域である画像生成領域における前記対象位置表示画像の位置を設定する制御部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、さらに、
   使用者の視線方向を含む所定の範囲の外景を撮像する撮像部を備える、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、さらに、
   前記撮像部が撮像する前記所定の範囲である撮像方向範囲に前記特定の対象物が含まれているかを判定する判定部を備え、
   前記制御部は、前記判定部が前記撮像方向範囲に前記特定の対象物が含まれていると判定した場合には、前記対象位置に基づいて、前記画像表示部に対して、前記対象位置表示画像を生成させると共に、前記画像生成領域における前記対象位置表示画像の位置を設定し、前記判定部が前記撮像方向範囲に前記特定の対象物が含まれていないと判定した場合には、前記対象位置に基づいて、前記画像表示部に対して、前記対象表示特定画像を前記画像表示部から前記特定の対象物への方向を示す画像である対象方向推定画像として生成させると共に、前記画像生成領域における前記対象方向推定画像の位置を設定する、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置の頭部装着型表示装置であって、
   前記対象方向推定画像は、前記対象位置を示す画像を含む、頭部装着型表示装置。
5. 請求項２から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、前記画像表示部に対して、前記撮像部が撮像した撮像画像を前記画像生成領域よりも小さい領域の画像となるように生成させる、頭部装着型表示装置。
6. 請求項５に記載の頭部装着型表示装置であって、
   前記制御部は、前記視線方向と、前記画像表示部から前記特定の対象物への方向とがなす角度に基づいて、前記画像生成領域における前記撮像画像の位置を設定する、頭部装着型表示装置。
7. 請求項５または請求項６に記載の頭部装着型表示装置であって、
   前記制御部は、前記画像生成領域における前記撮像画像の位置を、前記画像生成領域における中心を除く周辺部分に設定する、頭部装着型表示装置。
8. 請求項２から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
   前記制御部は、前記対象位置に基づいて前記画像表示部と前記特定の対象物との距離を特定し、前記画像表示部に対して、特定した前記距離を示す画像を生成させる、頭部装着型表示装置。
9. 請求項２から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記特定の対象物を示す画像である対象画像を記憶すると共に、前記撮像部が撮像した撮像画像に前記対象画像が含まれているかを判定する画像判定部を備え、
   前記位置特定部は、前記撮像画像に前記対象画像が含まれていると判定された場合には前記対象位置を特定し、前記撮像画像に前記対象画像が含まれていないと判定された場合には前記対象位置を特定しない、頭部装着型表示装置。
10. 使用者の頭部に装着された状態において、画像を生成して、生成した画像を使用者に視認させる画像表示部を有する透過型の頭部装着型表示装置の制御方法であって、
    前記画像表示部に対する特定の対象物の位置である対象位置を特定する工程と、
    特定された前記対象位置に基づいて、前記画像表示部に対して、前記対象位置を示す対象位置表示画像を生成させると共に、前記画像表示部が画像を生成する領域である画像生成領域における前記対象位置表示画像の位置を設定する工程と、を備える、制御方法。
11. 特定の対象物の位置である対象位置を示す位置情報を送信する対象位置情報送信装置と、透過型の頭部装着型表示装置と、を備える画像表示システムであって、
    前記頭部装着型表示装置は、
    使用者の頭部に装着された状態において、画像を生成して、生成した画像を使用者に視認させる画像表示部と、
    前記対象位置情報送信装置が送信する前記位置情報を受信して、前記対象位置を特定する位置特定部と、
    前記位置特定部が特定した前記対象位置に基づいて、前記画像表示部に対して、前記対象位置を示す対象位置表示画像を生成させると共に、前記画像表示部が画像を生成する領域である画像生成領域における前記対象位置表示画像の位置を設定する制御部と、を備える、画像表示システム。

Images