JP2016133399A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Abstract

【課題】撮像画像における測定距離の精度が低い部分の精度を向上させた頭部装着型表示装置を提供する。【解決手段】頭部装着型表示装置は、所定の範囲の中に存在する対象までの距離を測定する距離測定部と；前記所定の範囲を撮像して、測定された距離と異なる予備情報を取得する撮像部と；前記対象が撮像された前記所定の範囲の内の第１の領域と前記第１の領域と異なる前記第２の領域とに含まれる場合に、測定された前記第１の領域に含まれる前記対象について取得された予備情報に基づいて、前記第２の領域に含まれる前記対象までの距離を決定する距離決定部と、を備える。【選択図】図２

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、自動車に備え付けられたステレオカメラが前方の自動車を撮像して、ステレオカメラが撮像した複数の画像に基づいて、自車と前方の自動車との距離を三角法によって測定するステレオカメラ装置が記載されている。このステレオカメラ装置では、自車と前方の自動車との距離の大小に応じて、ステレオカメラの撮像画像の解像度を変更して、距離の精度を向上させている。また、特許文献２には、２眼のレンズの内の一方の撮像素子の画素数をもう一方に対して落とすことで、画素数が高い撮像素子によって色情報を取得する撮像を行ない、画素数が低い撮像素子によって深さ方向の情報を取得する撮像を行なうことで、安価で簡単な構成で深さ情報も取得できる電子ステレオカメラが記載されている。

特開２０１１−１９１９０５号公報 特開２０００−１０２０４０号公報

しかし、特許文献１，２に記載された技術では、撮像画像の中に含まれる対象までの距離の精度を向上させることができるものの、例えば、カメラなどの撮像素子では、画角の中心よりも画角の周辺部で測定距離の精度が落ち、撮像画像の中の位置によって精度が異なるため、精度が悪い画角の周辺部の測定距離の精度も向上させたいという課題があった。そのほか、従来の画像処理の技術においては、使い勝手の向上等が望まれていた。

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、所定の範囲の中に存在する対象までの距離を測定する距離測定部と；前記所定の範囲を撮像して、測定された距離と異なる予備情報を取得する撮像部と；前記対象が撮像された前記所定の範囲の内の第１の領域と前記第１の領域と異なる第２の領域とに含まれる場合に、測定された前記第１の領域に含まれる前記対象について取得された予備情報に基づいて、前記第２の領域に含まれる前記対象までの距離を決定する距離決定部と、を備える。この形態の頭部装着型表示装置によれば、精度の高い第１の領域に含まれる対象までの測定距離を用いて、精度の低い第２の領域に含まれる対象までの測定距離を、測定距離以外の予備情報に基づいて設定することで、第２の領域に含まれる対象までの測定距離の精度を向上させることができる。

（２）上記形態の頭部装着型表示装置において、前記予備情報は、色情報であってもよい。この形態の頭部装着型表示装置によれば、精度の高い第１の領域に含まれる対象までの測定距離を用いて、精度の低い第２の領域に含まれる対象までの測定距離を色情報に基づいて設定することで、第２の領域に含まれる対象までの測定距離の精度を向上させることができる。

（３）上記形態の頭部装着型表示装置において、前記撮像部は、前記所定の範囲の色情報として、ＲＧＢデータを取得し；前記距離決定部は、前記第２の領域に含まれる前記対象のＲＧＢデータが前記第１の領域に含まれる前記対象のＲＧＢデータに基づいて所定の範囲内の値であった場合に、前記第１の領域に含まれる前記対象と前記第２の領域に含まれる前記対象とを同じ前記対象と判定して、前記第２の領域に含まれる前記対象までの距離を決定してもよい。この形態の頭部装着型表示装置によれば、色情報として通常用いられるＲＧＢデータが採用されるため、使い勝手が向上する。

（４）上記形態の頭部装着型表示装置において、前記距離決定部は、前記第２の領域に含まれる前記対象までの距離を、前記第１の領域に含まれる前記対象までの距離と同じと決定してもよい。この形態の頭部装着型表示装置によれば、第２の領域の距離を設定する際の処理を低減できる。

（５）上記形態の頭部装着型表示装置において、前記距離決定部は、前記対象が前記第１の領域と前記第２の領域との一方に含まれると共にもう一方に含まれない場合に、前記第１の領域と前記第２の領域との一方に含まれる前記対象までの距離を、前記距離測定部によって測定された距離として決定してもよい。この形態の頭部装着型表示装置によれば、撮像画像に含まれる対象によって、測定された距離の精度が高い方法によって対象までの距離を特定できる。

（６）上記形態の頭部装着型表示装置において、前記第１の領域は、撮像された前記所定の範囲の中心を、中心とする領域であり；前記第２の領域は、前記第１の領域の周辺の領域であってもよい。この形態の頭部装着型表示装置によれば、測定距離の精度が低くなる撮像画像の一部の領域の測定距離の精度も向上させることができる。

（７）上記形態の頭部装着型表示装置において、前記第２の領域は、撮像された前記所定の範囲の内、前記第１の領域と重複しない領域であってもよい。この形態の頭部装着型表示装置によれば、測定距離の精度が低くなる撮像画像の一部の領域の測定距離の精度も向上させることができる。

（８）上記形態の頭部装着型表示装置において、前記第１の領域は、特定の時点に撮像された前記所定の範囲の内の少なくとも一部分であり、取得された領域であり；前記第２の領域は、前記特定の時点とは異なる時点で撮像された前記所定の範囲の内の少なくとも一部分であってもよい。この形態の頭部装着型表示装置によれば、特定の時点において、撮像されていない撮像画像以外の範囲にある対象までの距離を推定でき、撮像範囲が変化した場合に、変化後の撮像画像に含まれる対象までの距離を測定する時間を短縮できる。また、変化後の撮像画像に含まれる対象までの距離を測定する処理の負担を軽減できる。

（９）上記形態の頭部装着型表示装置において、さらに；特定の対象を記憶する対象記憶部を備え；前記距離決定部は、撮像された前記所定の範囲に対して、記憶された前記特定の対象を照合することで、撮像された前記所定の範囲に含まれる前記対象までの距離を決定してもよい。この形態の頭部装着型表示装置によれば、撮像範囲外に存在する特定の対象の一部までの距離を予め推定でき、撮像範囲が変化した場合に、変化後の撮像画像に含まれる特定の対象までの距離の測定に必要な時間を短縮できる。また、変化後の撮像画像に含まれる特定の対象までの距離の測定を行なうための処理の負担を軽減できる。

（１０）上記形態の頭部装着型表示装置において、さらに；他の機器から特定の対象についての情報を受信する情報受信部を備え；前記距離決定部は、撮像された前記所定の範囲に対して、受信された前記特定の対象を照合することで、撮像された前記所定の範囲に含まれる前記対象までの距離を決定してもよい。この形態の頭部装着型表示装置によれば、撮像範囲外に存在する特定の対象の一部までの距離を予め推定でき、撮像範囲が変化した場合に、変化後の撮像画像に含まれる特定の対象までの距離の測定に必要な時間を短縮できる。また、変化後の撮像画像に含まれる特定の対象までの距離の測定を行なうための処理の負担を軽減できる。

（１１）上記形態の頭部装着型表示装置において、前記距離決定部は、撮像された前記所定の範囲に記憶された前記特定の対象が含まれていない場合に、撮像された前記所定の範囲以外の範囲における前記対象の色情報と前記対象までの距離との少なくとも一方を推定してもよい。この形態の頭部装着型表示装置によれば、撮像範囲外に存在する特定の対象の一部までの距離や特定の対象の色情報を予め推定でき、撮像範囲が変化した場合に、変化後の撮像画像に含まれる特定の対象までの距離の測定や特定の対象の色情報の特定に必要な時間を短縮できる。また、変化後の撮像画像に含まれる特定の対象までの距離の測定や特定の対象の色情報の特定を行なうための処理の負担を軽減できる。

（１２）上記形態の頭部装着型表示装置において、さらに；使用者の視線方向を検出する視線検出部を備え；撮像される前記所定の範囲は、検出された前記視線方向に基づいて設定されてもよい。この形態の頭部装着型表示装置によれば、検出された使用者の視線方向に応じて、撮像部によって撮像される撮像範囲が変更されるため、撮像された撮像画像は、使用者の視認する外景により近づくため、使用者の利便性が向上する。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、距離測定部と、撮像部と、距離特定部と、３つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、距離測定部を有していてもよく、有していなくてもよい。また、装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、距離特定部を有していてもよく、有していなくてもよい。距離測定部は、例えば、所定の範囲の中に存在する対象までの距離を測定してもよい。撮像部は、例えば、前記所定の範囲を撮像して、測定された距離と異なる予備情報を取得してもよい。距離特定部は、例えば、前記対象が撮像された前記所定の範囲の内の第１の領域と前記第１の領域と異なる前記第２の領域とに含まれる場合に、測定された前記第１の領域に含まれる前記対象について取得された予備情報に基づいて、前記第２の領域に含まれる前記対象までの距離を決定してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

第１実施形態における頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 第１実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 カメラの画角とカメラによって撮像される撮像画像の範囲を示す概略図である。 画像設定部によって作成された使用者が視認するとして設定される仮想画像の説明図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 距離特定処理のフローチャートである。 画像表示部に画像が表示された場合に使用者が視認する視野の説明図である。 使用者の頭部の向きが変化した後に使用者が視認する視野の説明図である。 第２実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 変形例におけるＨＭＤの構成を機能的に示すブロック図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、第１実施形態における頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、第１カメラ６１と、第２カメラ６２と、１０軸センサー６６と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

第１カメラ６１および第２カメラ６２は、外景を撮像する。第１カメラ６１と第２カメラ６２とのそれぞれは、画像表示部２０の異なる位置に配置されている。第１カメラ６１は、右光学像表示部２６の他端である端部ＥＲにおいて、画像表示部２０が使用者に装着された場合の使用者の頭部方向に配置されている。また、同じように、第２カメラ６２は、左光学像表示部２８の他端である端部ＥＬにおいて、画像表示部２０が使用者に装着された場合の使用者の頭部方向に配置されている。本実施形態では、第１カメラ６１と第２カメラ６２とのそれぞれは、画像表示部２０の中心である右光学像表示部２６の一端と左光学像表示部２８の一端とが接続する位置を通る中心線に対して、線対称に配置されている。第１カメラ６１と第２カメラ６２とのそれぞれは、撮像した外景をＲＧＢ（ＲＥＤ，ＧＲＥＥＮ，ＢＬＵＥ）データとして取得する。なお、以降では、第１カメラ６１と第２カメラ６２とを合わせて、単に、カメラ６１，６２とも呼ぶ。第１カメラ６１と第２カメラ６２とは、異なる位置または異なる向きを撮像すればよく、他の実施形態では、第１カメラ６１および第２カメラ６２が配置される向きや位置について種々変形可能である。

１０軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、および、気圧（１軸）を検出するセンサーである。１０軸センサー６６は、画像表示部２０における右表示駆動部２２の近くに内蔵されており、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きや位置を検出する。なお、本実施形態では、使用者の頭部の向きを特定するために１０軸センサー６６が用いられたが、他の実施形態では、１０軸センサー６６の代わりに、角速度（３軸）のみを検出するジャイロセンサーが用いられてもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、第１実施形態におけるＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、を有する。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、変位測定部１６６、距離測定部１６８、および、画像設定部１６５として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

変位測定部１６６は、１０軸センサー６６によって検出された加速度等を用いることで、特定の時点の画像表示部２０の位置および向きを基準として、現時点での画像表示部２０の位置および向きの変位量を算出する。

距離測定部１６８は、変位測定部１６６が算出した画像表示部２０の変位量と、特定の時点および現時点におけるカメラ６１，６２の撮像画像と、を用いて、現時点の撮像画像における画角の中心部分から離れた周辺部分に含まれる対象の距離を測定する。また、距離測定部１６８は、時間軸で異なる特定の時点と現時点との撮像画像からの距離測定のみではなく、時間軸で一点である特定の時点におけるカメラ６１，６２の撮像画像の中心部分のＲＧＢデータを用いて、撮像画像の周辺部分に含まれる対象の距離を測定する。

具体的には、距離測定部１６８は、特定の時点において、第１カメラ６１によって撮像された第１画像と、第２カメラによって撮像された第２画像と、に対して三角法により、撮像画像の中心部分としての第１領域に含まれる対象までの距離を測定する。図３は、カメラ６１，６２の画角とカメラ６１，６２によって撮像される撮像画像の範囲を示す概略図である。図３には、第１カメラ６１の画角θ１と、第２カメラ６２の画角θ２と、が示されている。１つのカメラの撮像画像では、距離測定部１６８は、三角法を用いて撮像画像に含まれる対象までの距離を測定できないため、第１カメラ６１の画角θ１と第２カメラ６２の画角θ２とが重複し、第１カメラ６１および第２カメラ６２が撮像できる撮像範囲ＩＡ（図３のハッチングされた範囲）に含まれる対象までの距離を測定できる。

画像設定部１６５は、画像表示部２０に表示させる画像（表示画像）の各種設定を行なう。例えば、画像設定部１６５は、表示画像の表示位置や表示画像の大きさや表示画像の輝度などを設定したり、表示画像を使用者に立体的に視認させるために視差を形成するように右眼用画像データと左眼用画像データとを設定する。また、画像設定部１６５は、第１カメラ６１の撮像画像と第２カメラ６２の撮像画像とを用いて、使用者に視認される外景としての仮想画像を作成する。本実施形態では、使用者の右眼ＲＥの位置と左眼ＬＥの位置とは、第１カメラ６１が配置された位置や第２カメラ６２が配置された位置と異なる。そのため、画像設定部１６５は、画像表示部２０に対する第１カメラ６１の位置および向きと第２カメラ６２の位置および向きとを用いて、使用者の右眼ＲＥの位置と左眼ＬＥの位置とを予め固定して、使用者から視認される仮想画像を作成する。なお、本実施形態では、作成される仮想画像は、画像表示部２０を装着している使用者が前方を向いている場合に使用者に視認されるとして設定された外景の画像である。他の実施形態では、使用者の眼を撮像することで、使用者の視線方向が特定されて、画像設定部１６５は、特定された使用者の視線方向に応じて仮想画像を作成してもよい。

図４は、画像設定部１６５によって作成された使用者が視認するとして設定される仮想画像ＶＩの説明図である。画像設定部１６５は、仮想画像ＶＩを、仮想画像ＶＩの中心を中心とする所定の領域である第１領域ＡＲ１と、仮想画像ＶＩの内の第１領域の周辺部分である第１領域以外の領域である第２領域ＡＲ２と、に分割する。一般的に、カメラなどの撮像素子は、画角の中心の測定距離の精度が高く、中心から遠ざかるにつれて測定距離の精度が低下する。本実施形態では、画像設定部１６５は、撮像画像に含まれる対象が存在する領域が、（１）第１領域ＡＲ１と第２領域ＡＲ２との一方のみの場合と、（２）第１領域ＡＲ１と第２領域ＡＲ２との両方の場合とで、第２領域ＡＲ２に含まれる対象までの距離の特定方法を変更する。具体的には、撮像画像に含まれる対象が存在する領域が（１）の場合には、画像設定部１６５は、対象までの距離を、距離測定部１６８によって測定された距離として設定する。また、撮像画像に含まれる対象が存在する領域が（２）の場合には、画像設定部１６５は、第１領域ＡＲ１に含まれる対象までの距離を、距離測定部１６８によって測定された距離として設定し、第２領域ＡＲ２に含まれる対象までの距離を、第１領域ＡＲ１に含まれる対象の色情報に基づいて特定する。（２）の場合に、本実施形態では、画像設定部１６５は、第２領域ＡＲ２に含まれる対象までの距離を、第１領域ＡＲ１に含まれる対象までの距離と同じ距離として設定する。画像設定部１６５は、カメラ６１，６２によって取得された外景のＲＧＢデータに対して、撮像画像を複数の画素に分割し、複数の画素のそれぞれについて、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれを２５６段階の階調値として区別する。画像設定部１６５は、隣り合う画素のＲ成分、Ｇ成分、Ｂ成分のそれぞれを比較して、一方の画素の階調値を基準として、隣り合うもう一方における画素の各成分が所定の範囲内の階調値である場合に、この隣り合う画素は同じ対象に含まれる画素として認識する。なお、以降では、（２）の場合、すなわち、撮像画像における第１領域ＡＲ１および第２領域ＡＲ２に含まれる対象を、重複対象とも呼ぶ。

また、画像設定部１６５は、特定の時点の仮想画像ＶＩにおける第１領域ＡＲ１と第２領域ＡＲ２との距離情報を用いて、画像表示部２０を装着している使用者の向きや位置が変更された場合に、特定の時点の仮想画像ＶＩに含まれず、使用者の向きや位置が変更した後のカメラ６１，６２の撮像画像に含まれる対象までの距離を予め推定する。例えば、画像設定部１６５は、色情報であるＲＧＢデータを用いて、特定の時点の仮想画像ＶＩの第２領域ＡＲ２の最も端の部分に建物ＢＤ１が含まれると判定する。この場合に、使用者の頭部の向きが、仮想画像ＶＩの中心から建物ＢＤ１が含まれる端の部分の方向へと変化し、新たな撮像画像から作成された仮想画像ＶＩに建物ＢＤ１と同じＲＧＢデータの画像が含まれると、新たに含まれた部分を特定の時点に撮像された建物ＢＤ１までの距離を設定する。このように、画像設定部１６５は、特定の時点における撮像画像を用いて、特定の時点から時間軸で後の時点において撮像される対象までの距離を予め推定できる。なお、本実施形態における画像設定部１６５は、請求項における距離決定部に相当する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、第１カメラ６１と、第２カメラ６２と、１０軸センサー６６と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図５は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．距離特定処理：
図６は、距離特定処理のフローチャートである。距離特定処理は、ＣＰＵ１４０が、撮像画像に基づいて使用者に視認されるとして設定される仮想画像ＶＩを作成し、仮想画像ＶＩに含まれる対象までの距離を測定し、作成した仮想画像ＶＩを第１領域ＡＲ１と第２領域ＡＲ２とに分割して、第２領域ＡＲ２に含まれる対象までの距離を、当該対象が重複対象であるか否かによって異なる方法で特定する処理である。

距離特定処理では、初めに、ＣＰＵ１４０は、操作部１３５が距離特定処理を始める所定の操作の受付を待機する（ステップＳ１１）。ＣＰＵ１４０は、距離特定処理を始める所定の操作を受け付けない場合には（ステップＳ１１：ＮＯ）、引き続き、距離特定処理を始める所定の操作の受付を待機する。距離特定処理の所定の操作を始める処理が受け付けられた場合には（ステップＳ１１：ＹＥＳ）、カメラ６１，６２は、外景の撮像を開始する（ステップＳ１３）。

距離測定部１６８は、第１カメラ６１の撮像画像と第２カメラ６２の撮像画像とに対して、三角法を用いることで、第１カメラ６１と第２カメラ６２とが撮像する撮像範囲ＩＡ（図３）に含まれる対象までの距離を測定する（ステップＳ１５）。次に、画像設定部１６５は、撮像範囲ＩＡの中に、第１領域ＡＲ１と第２領域ＡＲ２との両方に含まれる重複対象があるか否かを判定する（ステップＳ１７）。画像設定部１６５は、重複対象があると判定した場合には（ステップＳ１７：ＹＥＳ）、色情報であるＲＧＢデータを用いて、第２領域ＡＲ２に含まれる重複対象まで距離を、第１領域ＡＲ１に含まれる重複対象までの距離と同じ距離として特定する（ステップＳ１９）。次に、画像設定部１６５は、第１領域ＡＲ１または第２領域ＡＲ２に含まれる重複対象以外の対象までの距離を、距離測定部１６８によって測定された距離と同じ距離として特定する（ステップＳ２３）。なお、ステップＳ１７の処理において、画像設定部１６５は、重複対象がないと判定した場合には（ステップＳ１７：ＮＯ）、ステップＳ２１の処理を行なう。

画像設定部１６５は、ステップＳ２３の処理を行なうと、撮像画像の範囲外の対象までの距離を推定する（ステップＳ１９）。具体的には、前述したとおり、画像設定部１６５は、撮像画像の第２領域ＡＲ２に含まれる対象のＲＧＢデータを用いて、撮像画像の撮像範囲が変化した場合に、変化後の撮像画像の中に、変化前の撮像画像の中に含まれる対象のＲＧＢデータを基準として、所定の値以内のＲＧＢデータであると共に変化前の撮像画像の中に含まれる対象と連続性がある対象までの距離を推定する。推定する範囲については、適宜設計事項であるが、例えば、カメラ６１，６２の画角に対して上下左右のそれぞれに＋１０％を加えた範囲であってもよい。その後、画像設定部１６５は、外部機器ＯＡなどから取得したコンテンツに基づく画像を、仮想画像ＶＩの中に含まれる対象の距離情報と関連付けて画像表示部２０に表示させる（ステップＳ２１）。

図７は、画像表示部２０に画像が表示された場合に使用者が視認する視野ＶＲの説明図である。図７には、使用者が視認する外景ＳＣと、画像表示部２０が画像を表示できる最大の領域である画像表示可能領域ＰＮの中に表示された画像ＩＭＧ１と、が示されている。本実施形態では、画像設定部１６５は、仮想画像ＶＩを、使用者が前方を向いている場合に使用者に視認される画像として設定してある。そのため、仮想画像ＶＩと使用者の視野ＶＲは、ほぼ一致する。図７に示すように、画像設定部１６５は、仮想画像ＶＩの中に含まれるお店の看板ＡＢ１をパターンマッチングにより検出する。その後、画像設定部１６５は、右眼画像用データと左眼画像用データとを設定して視差を形成することで、検出した看板ＡＢ１までの距離と同じ位置に視認されるように画像ＩＭＧ１を三次元画像として画像表示可能領域ＰＮに表示させる。画像ＩＭＧ１は、看板ＡＢ１に関連付けられており、看板ＡＢ１のお店が魚料理を扱うことを示すための魚の画像である。なお、図７では、便宜上、画像表示可能領域ＰＮの外枠を表す破線と、第１領域ＡＲ１の外枠を現す破線と、が示されているが、これらの破線は、使用者には視認されない。

図６のステップＳ２１の処理において、画像表示部２０に画像が表示されると、ＣＰＵ１４０は、操作部１３５が距離特定処理を終了する所定の操作の受付を待機する（ステップＳ２３）。ＣＰＵ１４０は、操作部１３５が距離特定処理を終了する所定の操作を受け付けた場合（ステップＳ２３：ＹＥＳ）、距離特定処理を終了する。距離特定処理を終了する所定の操作が受け付けられなかった場合には（ステップＳ２３：ＮＯ）、変位測定部１６６は、１０軸センサー６６によって検出された加速度等を用いて、画像表示部２０を装着した使用者の頭部の位置および向きの変化を検出する（ステップＳ２５）。使用者の頭部の位置と向きとに変化が検出されなかった場合には（ステップＳ２５：ＮＯ）、ＣＰＵ１４０は、操作部１３５が距離特定処理を終了する所定の操作の受付を待機する（ステップＳ２３）。ステップＳ２５の処理において、変位測定部１６６は、使用者の頭部の位置または向きに変化を検出した場合には（ステップＳ２５：ＹＥＳ）、使用者の頭部の位置と向きとの変化量を算出する（ステップＳ２７）。その後、ＣＰＵ１４０は、ステップＳ１５以降の処理を繰り返す。

図８は、使用者の頭部の向きが変化した後に使用者が視認する視野ＶＲの説明図である。図８には、図７で示した使用者の視野ＶＲと比較して、使用者の頭部の向きが左に回転した場合の使用者の視野ＶＲが示されている。図８に示すように、看板ＡＢ１に対応付けて画像表示可能領域ＰＮに表示される画像ＩＭＧ２は、図７の画像ＩＭＧ１と内容は同じであるものの、表示される位置が異なる。本実施形態では、画像設定部１６５は、コンテンツに基づく画像を画像表示可能領域ＰＮの中心を除く位置に表示する。なお、他の実施形態では、画像の表示位置については種々変形可能であり、例えば、画像ＩＭＧ２は、外景ＳＣに対して、図７の画像ＩＭＧ１と同じ位置に表示されてもよい。また、看板ＡＢ１のお店である建物ＢＤ１は、図７の視野ＶＲと比較して、新たにカメラ６１，６２の撮像画像に表示されるようになった部分がある。本実施形態では、画像設定部１６５は、図７の仮想画像のＲＧＢデータに基づいて、図８の仮想画像で新たに撮像された建物ＢＤ１の一部までの距離を予め推定してある。そのため、図８の仮想画像で新たに含まれる建物ＢＤ１の一部までの距離を特定するまでの時間を短縮できる。

以上説明したように、本実施形態のＨＭＤ１００では、画像設定部１６５は、第１領域ＡＲ１に含まれる重複対象までの距離を、距離測定部１６８によって測定された距離として設定し、第２領域ＡＲ２に含まれる重複対象までの距離を、第１領域ＡＲ１に含まれる対象の距離情報とは異なる情報に基づいて特定する。そのため、本実施形態のＨＭＤ１００では、精度の高い第１領域ＡＲ１に含まれる対象までの測定距離を用いて、精度の低い第２領域ＡＲ２に含まれる対象までの測定距離を、測定距離以外の情報に基づいて設定することで、第２領域ＡＲ２に含まれる対象までの測定距離の精度を向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、測定距離以外の情報として、色情報を用いて、第２領域ＡＲ２に含まれる重複対象までの距離を特定する。そのため、本実施形態のＨＭＤ１００では、精度の高い第１領域ＡＲ１に含まれる対象までの測定距離を用いて、精度の低い第２領域ＡＲ２に含まれる対象までの測定距離を色情報に基づいて設定することで、第２領域ＡＲ２に含まれる対象までの測定距離の精度を向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、第２領域ＡＲ２に含まれる対象までの距離を、第１領域ＡＲ１に含まれる対象までの距離と同じ距離として設定するため、第２領域ＡＲ２の距離を設定する際の処理を低減できる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、撮像画像に重複対象が含まれる場合には、第２領域ＡＲ２に含まれる重複対象までの距離を、第１領域ＡＲ１に含まれる重複対象の色情報を用いて設定する。また、画像設定部１６５は、撮像画像に含まれる重複対象以外の対象について、第２領域ＡＲ２に含まれる対象までの距離を、距離測定部１６８によって測定された距離と同じ距離として設定する。そのため、本実施形態のＨＭＤ１００では、撮像画像に含まれる対象によって、測定された距離の精度が高い方法によって対象までの距離を特定できる。

また、本実施形態のＨＭＤ１００では、第１領域ＡＲ１は、撮像画像の中心を中心とする範囲であり、第２領域ＡＲ２は、撮像画像の中における第１領域ＡＲ１の周辺の領域である。また、第２領域ＡＲ２は、撮像画像における第１領域ＡＲ１以外の全ての領域である。一般的に用いられる撮像素子としてのカメラは、画角の中心の測定距離の精度が高くなるため、本実施形態のＨＭＤ１００では、測定距離の精度が低くなる画角の周辺の測定距離の精度も向上させることができる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、特定の時点における撮像画像から測定した距離情報を用いて、カメラ６１，６２が配置された画像表示部２０の位置や向きが変更した後の特定の時点とは異なる時点の撮像画像に含まれる対象までの距離を推定する。そのため、本実施形態のＨＭＤ１００では、特定の時点において、撮像されていない撮像画像以外の範囲にある対象までの距離を推定でき、撮像範囲が変化した場合に、変化後の撮像画像に含まれる対象までの距離を測定する時間を短縮できる。また、変化後の撮像画像に含まれる対象までの距離を測定する処理の負担を軽減できる。

Ｂ．第２実施形態：
図９は、第２実施形態におけるＨＭＤ１００ａの構成を機能的に示すブロック図である。第２実施形態のＨＭＤ１００ａは、第１実施形態の１００と比較して、制御部１０ａが無線通信部１３２を有することと、記憶部１２０ａが対象記憶部１２２を有することと、ＣＰＵ１４０ａが対象識別部１６９を有することと、ＣＰＵ１４０ａが変位測定部１６６を有しないことと、画像表示部２０ａが１０軸センサー６６を有しないことと、が異なり、他の構成については、第１実施形態のＨＭＤ１００と同じである。詳細については後述するが、第２実施形態のＨＭＤ１００ａでは、対象識別部１６９が、撮像画像の中に含まれる対象を、対象記憶部１２２に記憶された特定の対象または無線通信部１３２を介して受信した特定の対象と同じであるかを照合する。撮像画像の中に含まれる対象と特定の対象とが同じであると判定された場合に、画像設定部１６５ａは、特定の対象の画像データを元に、撮像画像の範囲外に存在する特定の対象までの距離を推定する。なお、無線通信部１３２は、請求項における情報受信部に相当する。

対象記憶部１２２は、複数の対象の画像データを三次元モデルとして記憶している。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。無線通信部１３２は、対象記憶部１２２に記憶された対象の画像データを、他の機器から取得できる。対象識別部１６９は、パターンマッチングや統計的識別法によって、撮像画像の中から、対象記憶部１２２に記憶された三次元モデルの画像データと同じ対象とみなせる対象を検出する。画像設定部１６５ａは、三次元モデルの画像データと同じ対象とみなせる対象が撮像画像の中から検出された場合に、検出された対象の全てが撮像画像に含まれているかを判定する。画像設定部１６５ａは、撮像画像に検出された対象の全てが含まれていないと判定した場合に、撮像画像に含まれていない対象の一部を推定する。これにより、画像設定部１６５ａは、予め撮像画像に含まれていない対象までの距離を推定でき、カメラ６１，６２の撮像範囲が変わっても、迅速に新たな撮像範囲に含まれる対象までの距離を測定できる。

第２実施形態の距離特定処理では、第１実施形態の距離特定処理におけるステップＳ１９の処理（図６）が異なり、他の処理については、第１実施形態の距離特定処理と同じである。そのため、第２実施形態では、距離特定処理において第１実施形態と異なるステップＳ１９の処理について説明し、その他の処理については説明を省略する。第２実施形態の距離特定処理におけるステップＳ１９では、画像設定部１６５ａは、対象識別部１６９によって撮像画像の中から既知の画像データと同じ対象として検出された対象について、撮像画像の中に含まれていない検出された対象の一部の形状と対象の一部までの距離を推定する。

以上説明したように、第２実施形態のＨＭＤ１００ａでは、対象記憶部１２２に記憶される、または、無線通信部１３２を介して取得された特定の対象の画像データを基に、画像設定部１６５ａは、撮像画像の範囲外に存在する特定の対象の一部までの距離を推定する。そのため、第２実施形態のＨＭＤ１００ａでは、撮像範囲外に存在する特定の対象の一部までの距離や特定の対象の色情報を予め推定でき、撮像範囲が変化した場合に、変化後の撮像画像に含まれる特定の対象までの距離の測定や特定の対象の色情報の特定に必要な時間を短縮できる。また、変化後の撮像画像に含まれる特定の対象までの距離の測定や特定の対象の色情報の特定を行なうための処理の負担を軽減できる。

Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｃ−１．変形例１：
上記実施形態では、撮像された対象までの距離を測定する手段として、複数のカメラであるカメラ６１，６２が用いられたが、撮像された対象までの距離を測定する手段としては、上記実施形態のステレオカメラに限られず、種々変形可能である。例えば、ＨＭＤ１００は、単眼のカメラと距離を測定するデプスセンサーとを有していてもよい。デプスセンサーとしては、赤外線を用いたセンサーであってもよく、種々変形可能である。

上記実施形態では、カメラ６１，６２の撮像画像によって作成された仮想画像ＶＩにおける第１領域ＡＲ１に含まれる対象までの測定された距離の精度が、仮想画像ＶＩにおける第２領域ＡＲ２に含まれる対象までの測定された距離の精度よりも高い設定であったが、領域における測定距離の精度の良し悪しについては、種々変形可能である。例えば、距離を測定するために用いられるセンサーやステレオカメラの画角に応じて、第１領域ＡＲ１と第２領域ＡＲ２とは、適宜設定されてもよい。また、第２領域ＡＲ２よりも測定距離の精度が劣る第３領域が設定されてもよい。

上記実施形態では、測定された距離とは異なる情報として色情報が用いられたが、測定された距離とは異なる情報については、種々変形可能である。例えば、測定された距離とは異なる情報は、撮像画像の中における領域の面積や２つの異なる任意の点までの長さでもよい。例えば、領域の面積や２つの異なる任意の点の間の長さは、対象記憶部１２２に記憶された三次元モデルの画像データにおける大きさと比較されてもよい。また、上記実施形態では、色情報として、ＲＧＢデータが用いられたが、測定距離を特定するために用いられる色情報については、種々変形可能である。例えば、色情報として、ＹＵＶ系が用いられてもよいし、輝度、明度、彩度、色相、撮像された対象の光沢などが用いられてもよい。また、色情報としては、ＲＧＢ系やＹＵＶ系だけでなく、単に白と黒とのコントラストの差が用いられてもよい。

上記実施形態では、画像設定部１６５は、測定された撮像画像に含まれる対象までの距離を用いて、コンテンツに基づく画像を立体的な画像として使用者に視認されるように画像表示可能領域ＰＮに表示させたが、必ずしも画像を表示させる必要はない。本発明は、画像表示の有無にかかわらず、撮像範囲に含まれる対象までの距離を精度良く測定でき、単に、特定の対象までの距離が測定されるために用いられてもよい。

上記実施形態では、第２領域ＡＲ２は、第１領域ＡＲ１と重複しない周辺の領域であったが、第１領域ＡＲ１の周辺の領域の定義については、種々変形可能である。例えば、第２領域ＡＲ２の内側の一部は、第１領域ＡＲ１の外側の領域と一部が重複していてもよい。第１領域ＡＲ１の周辺の領域は、画角の中心に対して、第１領域ＡＲ１よりも外側にある領域であり、隣り合うまたは一部分が重複する領域を表してもよい。また、画角の中心以外において、測定された距離の精度が高い場合には、測定された距離の精度が高い撮像範囲の周りの範囲が、第１領域ＡＲ１の周辺の領域として設定されてもよい。

上記実施形態では、距離特定処理において、画像表示部２０に表示される画像の一例について説明したが、特定された距離を用いた画像の表示方法については、種々変形可能である。画像の表示方法として、例えば、撮像された対象が自動車であった場合に、対象である自動車のボディーカラーを現時点と異なる色として使用者に視認させるときには、自動車として認識された領域に、画像として異なる色が重畳されてもよい。この場合には、異なる色が重畳された自動車の領域が、自動車自体のボディーカラーと画像として表示された色が重畳された異なる色として使用者に視認される。また、画像設定部１６５は、特定された距離情報を用いて、自動車のボディーの凹凸などに遠近感を表すための陰影などを表現するために、自動車のボディーと重畳される位置の画素のＲＧＢデータを異ならせることで、自動車のボディーの凹凸に対応した色を使用者に視認させてもよい。また、画像設定部１６５は、照明や太陽光などの光の反射を表すために光沢や輝度を種々設定することで、自動車のボディーを反射する光の陰影を使用者に視認させてもよい。このような場合に、本発明による特定された距離の精度を向上させることで、よりリアルな情報を使用者に視認させることができる。

上記実施形態では、画像設定部１６５は、重複対象があると判定した場合には、色情報を用いて、第２領域ＡＲ２に含まれる重複対象までの距離を、第１領域ＡＲ１に含まれる重複対象までの距離と同じ距離として特定したが、第２領域ＡＲ２に含まれる重複対象までの距離の特定方法については、種々変形可能である。例えば、第１カメラ６１と第２カメラ６２との性能や配置に基づいて、第１カメラ６１と第２カメラ６２とのそれぞれから取得されたＲＧＢデータについて予め変換テーブルが作成されている場合に、画像設定部１６５は、変換テーブルを用いて、第２領域ＡＲ２における重複対象の位置に応じた精度を考慮して、距離を特定してもよい。また、上記実施形態におけるステレオカメラとしてのカメラ６１，６２の代わりに、例えば、色情報などの距離情報と異なる情報を、測定距離と同じタイミングで取得できない撮像部としてのカメラが用いられた場合に、時系列のタイミングの誤差が予め算出されていることで、画像設定部１６５は、予め算出された誤差に応じて、第２領域ＡＲ２に含まれる重複対象までの距離を特定してもよい。以上に説明した変換テーブルとしては、例えば、太陽光などの環境光、カメラなどのセンサーの固有の特性、カメラの位置および向き、カメラのレンズなどの性能、第１領域ＡＲ１と第２領域ＡＲ２との区別の仕方、外景と表示画像との輝度のバランスなどが用いられて設定されてもよい。

Ｃ−２．変形例２：
図１０は、変形例におけるＨＭＤ１００ｂの構成を機能的に示すブロック図である。図１０に示すように、この変形例のＨＭＤ１００ｂは、第１実施形態のＨＭＤ１００と比較して、画像表示部２０ｂが右眼撮像カメラ６８と左眼撮像カメラ６９とを有する点が異なり、他の構成については、第１実施形態のＨＭＤ１００と同じである。右眼撮像カメラ６８および左眼撮像カメラ６９は、画像表示部２０ｂに配置されている。右眼撮像カメラ６８は、使用者の右眼を撮像し、左眼撮像カメラ６９は、使用者の左眼を撮像する。変位測定部１６９ｂは、撮像された使用者の右眼の画像および左眼の画像における動向の位置を特定して、使用者の視線方向を特定する。距離測定部１６８ｂおよび画像設定部１６５ｂは、使用者の視線方向の撮像画像を基として撮像画像に含まれる対象の距離測定および距離の設定を行なう。なお、この変形例における右眼撮像カメラ６８と左眼撮像カメラ６９と変位測定部１６９ｂとは、請求項における視線検出部に相当する。このように、変形例のＨＭＤ１００ｂでは、特定された使用者の視線方向に応じて、カメラ６１，６２によって撮像される撮像範囲が変更されるため、撮像画像は、使用者の視認する外景により近づくため、使用者の利便性が向上する。

この変形例では、使用者の視線方向を検出する手段として右眼撮像カメラ６８および左眼撮像カメラ６９が用いられたが、使用者の視線方向を検出する手段については、種々変形可能である。例えば、右眼撮像カメラ６８と左眼撮像カメラ６９との一方によって、右眼または左眼が撮像されることで、変位測定部１６９ｂは、使用者の視線方向を特定してもよい。また、カメラではなく、赤外線を用いたセンサーによって、使用者の眼の動向の部分の位置が特定されて、使用者の視線方向が特定されてもよい。

Ｃ−３．変形例３：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示可能領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示可能領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｃ−４．変形例４：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図１１は、変形例におけるＨＭＤの外観構成を示す説明図である。図１１（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１１（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…第１カメラ（撮像部）
６２…第２カメラ（撮像部）
６６…１０軸センサー
６８…右眼撮像カメラ（視線検出部）
６９…左眼撮像カメラ（視線検出部）
１００…ＨＭＤ
１２０…記憶部
１２２…対象記憶部（対象記憶部）
１３０…電源
１３２…無線通信部（情報受信部）
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１７０…音声処理部
１６０…画像処理部
１６５…画像設定部（距離特定部）
１６６…変位測定部（視線検出部）
１６８…距離測定部（距離測定部）
１６９…対象識別部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＡＰ…先端部
ＥＲ…端部
ＥＬ…端部
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
θ１，θ２…画角
ＩＡ…撮像範囲
ＲＥ…右眼
ＬＥ…左眼
ＶＩ…仮想画像
ＡＲ１…第１領域（第１の領域）
ＡＲ２…第２領域（第２の領域）
ＢＤ１…建物
ＯＡ…外部機器
ＩＬ…照明光
ＰＬ…画像光
ＶＲ…視野
ＳＣ…外景
ＰＮ…画像表示可能領域
ＩＭＧ１，ＩＭＧ２…画像
ＡＢ１…看板

Claims (14)

1. 頭部装着型表示装置であって、
   所定の範囲の中に存在する対象までの距離を測定する距離測定部と、
   前記所定の範囲を撮像して、測定された距離と異なる予備情報を取得する撮像部と、
   前記対象が撮像された前記所定の範囲の内の第１の領域と前記第１の領域と異なる第２の領域とに含まれる場合に、測定された前記第１の領域に含まれる前記対象について取得された前記予備情報に基づいて、前記第２の領域に含まれる前記対象までの距離を決定する距離決定部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記予備情報は、色情報である、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記撮像部は、前記所定の範囲の色情報として、ＲＧＢデータを取得し、
   前記距離決定部は、前記第２の領域に含まれる前記対象のＲＧＢデータが前記第１の領域に含まれる前記対象のＲＧＢデータに基づいて所定の範囲内の値であった場合に、前記第１の領域に含まれる前記対象と前記第２の領域に含まれる前記対象とを同じ前記対象と判定して、前記第２の領域に含まれる前記対象までの距離を決定する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記距離決定部は、前記第２の領域に含まれる前記対象までの距離を、前記第１の領域に含まれる前記対象までの距離と同じと決定する、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記距離決定部は、前記対象が前記第１の領域と前記第２の領域との一方に含まれると共にもう一方に含まれない場合に、前記第１の領域と前記第２の領域との一方に含まれる前記対象までの距離を、前記距離測定部によって測定された距離として決定する、頭部装着型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記第１の領域は、撮像された前記所定の範囲の中心を、中心とする領域であり、
   前記第２の領域は、前記第１の領域の周辺の領域である、頭部装着型表示装置。
7. 請求項６に記載の頭部装着型表示装置であって、
   前記第２の領域は、撮像された前記所定の範囲の内、前記第１の領域と重複しない領域である、頭部装着型表示装置。
8. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記第１の領域は、特定の時点に撮像された前記所定の範囲の内の少なくとも一部分であり、取得された領域であり、
   前記第２の領域は、前記特定の時点とは異なる時点で撮像された前記所定の範囲の内の少なくとも一部分である、頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   特定の対象を記憶する対象記憶部を備え、
   前記距離決定部は、撮像された前記所定の範囲に対して、記憶された前記特定の対象を照合することで、撮像された前記所定の範囲に含まれる前記対象までの距離を決定する、頭部装着型表示装置。
10. 請求項１から請求項９までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    他の機器から特定の対象についての情報を受信する情報受信部を備え、
    前記距離決定部は、撮像された前記所定の範囲に対して、受信された前記特定の対象を照合することで、撮像された前記所定の範囲に含まれる前記対象までの距離を決定する、頭部装着型表示装置。
11. 請求項９または請求項１０に記載の頭部装着型表示装置であって、
    前記距離決定部は、撮像された前記所定の範囲に記憶された前記特定の対象が含まれていない場合に、撮像された前記所定の範囲以外の範囲における前記対象の色情報と前記対象までの距離との少なくとも一方を推定する、頭部装着型表示装置。
12. 請求項１から請求項１１までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    使用者の視線方向を検出する視線検出部を備え、
    撮像される前記所定の範囲は、検出された前記視線方向に基づいて設定される、頭部装着型表示装置。
13. 所定の範囲を撮像する撮像部を有する頭部装着型表示装置の制御方法であって、
    撮像された前記所定の範囲の中に存在する対象までの距離を測定する工程と、
    前記対象が撮像された前記所定の範囲の内の第１の領域と前記第１の領域と異なる第２の領域とに含まれる場合に、測定された前記第１の領域に含まれる前記対象について撮像されることによって取得された前記対象までの距離とは異なる予備情報に基づいて、前記第２の領域に含まれる前記対象までの距離を決定する工程と、を備える、制御方法。
14. 所定の範囲を撮像する撮像部を有する頭部装着型表示装置のためのコンピュータープログラムであって、
    撮像された前記所定の範囲の中に存在する対象までの距離を測定する距離測定機能と、
    前記対象が撮像された前記所定の範囲の内の第１の領域と前記第１の領域と異なる第２の領域とに含まれる場合に、測定された前記第１の領域に含まれる前記対象について撮像されることによって取得された前記対象までの距離とは異なる予備情報に基づいて、前記第２の領域に含まれる前記対象までの距離を決定する距離決定機能と、をコンピューターに実現させるコンピュータープログラム。

Images