JP2016082462A - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

Abstract

【課題】対象物と拡張情報との間の位置ずれを解消する。【解決手段】外界を透過視認可能な表示部を備えた頭部装着型表示装置である。頭部装着型表示装置は、表示部に、透過して視認される外界の対象物Ｔ１，Ｔ２の位置に対応づけて所定の画像ＡＲ１，ＡＲ２を表示させる重畳画像表示制御部と、表示部の動きを表す視界移動情報を取得する視界移動情報取得部と、対象物の前記表示部に対する相対的な動きを表す対象物移動情報を取得する対象物移動情報取得部とを備える。前記重畳画像表示制御部は、前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合しない場合に、少なくとも対象物移動情報に基づいて所定時間後の対象物の表示部に対する相対位置を推定し、所定の画像ＡＲ１の表示位置を、前記推定した相対位置に基づいて定める。【選択図】図１９

Description

本発明は、外界を透過視認可能な表示部を備えた頭部装着型表示装置およびその制御方法、並びにコンピュータープログラムに関する。

近年、現実空間の物体に対してコンピューターによる情報を付加する拡張現実（ＡＲ、Augmented Reality）と呼ばれる技術が注目されている。拡張現実を実現する手法の一つとして、外界を透過視認可能なシースルー型の頭部装着型表示装置がある。シースルー型の頭部装着型表示装置によれば、液晶パネル等の光変調素子によって生成された画像光を、使用者の眼前に配置した光学系等で反射させることによって、透過して視認される外界に、拡張現実としての拡張情報を画像として浮かび上がらせることができる。

通常のＩＴ機器では画像を表示するために若干の処理時間（遅れ時間）がかかり、頭部装着型表示装置でも同じである。例えば、正面を向いている頭部装着型表示装置の使用者が横を向く動作をした場合に、視認している外界の動きとは若干遅れて画像表示がなされる。このために、透過して視認される外界の対象物と、その対象物の位置に対応づけて表示される拡張情報との間で位置ずれが生じ、使用者には、それが表示遅れとして認識されることになる。

上記の問題を解消するために、従来、特許文献１が提案されている。特許文献１に記載の技術によれば、表示する領域よりも大きな画像を生成すると共に、ジャイロセンサーにより遅れ時間における使用者の頭部の動きを検出し、前記生成された画像が、頭部の動きに対してどれだけ遅延しているかを計算し、その遅延の分だけ、前記生成された画像からの表示画像としての切り出し位置を変更することによって、上記の表示遅れを解消することができる。

特開２００７−２１３４０７号公報

しかしながら、前記従来の技術では、使用者の頭部の動きに応じた表示遅れを解消するだけのものであり、物体である対象物が例えば刻々と移動した場合に、遅れ時間の間に、対象物と、その対象物の位置に対応づけて表示される拡張情報との間で位置ずれが起きることに変わりがなかった。このために、対象物と拡張情報との間の位置ずれを解消することができないという課題があった。そのほか、従来の頭部装着型表示装置においては、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態は、外界を透過視認可能な表示部を備えた頭部装着型表示装置である。この頭部装着型表示装置は、前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる重畳画像表示制御部と、前記表示部の動きを表す視界移動情報を取得する視界移動情報取得部と、前記対象物の前記表示部に対する相対的な動きを表す対象物移動情報を取得する対象物移動情報取得部と、を備えてもよい。前記重畳画像表示制御部は、前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合しない場合に、少なくとも前記対象物移動情報に基づいて、所定時間後の前記対象物の前記表示部に対する相対位置を推定し、前記所定の画像の表示位置を、前記推定した相対位置に基づいて定めてもよい。この形態の頭部装着型表示装置によれば、対象物が、表示部の動きによらず表示部に対して相対的に移動する移動物である場合において、所定時間後の対象物の推定された位置に対応づけて所定の画像を表示させることができる。したがって、対象物が前記移動物である場合において、所定時間の間に発生する対象物と前記所定の画像との間の位置ずれを解消することができる。

（２）前記形態の頭部装着型表示装置において、前記所定の画像は、前記対象物に付与する拡張現実としての拡張情報であってもよい。この形態の頭部装着型表示装置によれば、対象物と、対象物に付与する拡張現実としての拡張情報との間の位置ずれを解消することができる。

（３）前記形態の頭部装着型表示装置において、前記重畳画像表示制御部は、前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合する場合に、前記視界移動情報に基づいて、所定時間後の前記対象物の前記表示部に対する相対位置を推定し、前記所定の画像の表示位置を、前記推定した相対位置に基づいて定めていてもよい。この形態の頭部装着型表示装置によれば、対象物が、表示部の動きによってのみ、表示部に対して相対的に移動する静止物である場合においても、対象物と所定の画像との間の位置ずれを解消することができる。

（４）前記形態の頭部装着型表示装置において、前記視界移動情報取得部は、前記表示部に設けられたモーションセンサーを有していてもよい。この形態の頭部装着型表示装置によれば、表示部の動きを高精度に検出することができる。

（５）前記形態の頭部装着型表示装置において、前記対象物移動情報取得部は、前記表示部に設けられたＲＧＢセンサーおよびデプスセンサーを有していてもよい。この形態の頭部装着型表示装置によれば、移動物の表示部に対する相対移動を高精度に検出することができる。

（６）前記形態の頭部装着型表示装置において、前記対象物移動情報取得部は、前記対象物に予め配設されたモーションセンサーの検出信号を無線通信にて受信してもよい。この形態の頭部装着型表示装置によれば、移動物の表示部に対する相対移動を高精度に検出することができる。

（７）前記形態の頭部装着型表示装置において、前記対象物移動情報取得部は、前記対象物に予め配設された無線通信端末からの信号を受信してもよい。この形態の頭部装着型表示装置によれば、移動物の表示部に対する相対移動を高精度に検出することができる。

（８）前記形態の頭部装着型表示装置において、前記所定時間を可変する調整部を備えるようにしてもよい。この形態の頭部装着型表示装置によれば、所定時間の間に発生する対象物と前記所定の画像との間の位置ずれを、より確実に解消することができる。

（９）前記形態の頭部装着型表示装置において、前記視界移動情報を、他の頭部装着型表示装置に対して送信する情報提供部を備えるようにしてもよい。この形態の頭部装着型表示装置によれば、簡易な構成によって、他の頭部装着型表示装置との間で、互いの表示部の動きをやり取りすることができる。

（１０）本発明の他の形態は、頭部装着型表示装置である。この頭部装着型表示装置は、外界を透過視認可能な表示部と、前記外界の対象物が、前記表示部の動きによらず前記表示部に対して相対的に移動する移動物と、前記表示部の動きによってのみ前記表示部に対して相対的に移動する静止物とのいずれの場合であっても、所定時間後の前記対象物の前記表示部に対する相対位置に対応づけて所定の画像を、前記表示部に表示させる重畳画像表示制御部と、を備えるようにしてもよい。この形態の頭部装着型表示装置によれば、表示部の動きによらず対象物が表示部に対して相対的に移動する場合、表示部の動きによってのみ表示部に対して対象物が相対的に移動する場合のいずれにおいても、対象物と所定の画像との間の位置ずれを解消することができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、表示部と、重畳画像表示制御部と、視界移動情報取得部と、対象物移動情報取得部と、の４つの要素の内の一つ以上の要素を備えた装置として実現可能である。すなわち、この装置は、表示部を有していてもよく、有していなくてもよい。また、装置は、重畳画像表示制御部を有していてもよく、有していなくてもよい。また、装置は、視界移動情報取得部を有していてもよく、有していなくてもよい。また、装置は、対象物移動情報取得部を有していてもよく、有していなくてもよい。表示部は、例えば、外界を透過視認可能なものとしてもよい。重畳画像表示制御部は、例えば、表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させるようにしてもよい。視界移動情報取得部は、例えば、表示部の動きを表す視界移動情報を取得するようにしてもよい。対象物移動情報取得部は、例えば、対象物の表示部に対する相対的な動きを表すようにしてもよい。さらに、重畳画像表示制御部は、例えば、取得された視界移動情報と取得された対象物移動情報とが実質的に整合しない場合に、少なくとも対象物移動情報に基づいて、所定時間後の前記対象物の表示部に対する相対位置を推定し、所定の画像の表示位置を、推定した相対位置に基づいて定めるようにしてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

例えば、本発明の他の形態は、表示部と、重畳画像表示制御部と、の２つの要素の内の一つ以上の要素を備えた装置として実現可能である。すなわち、この装置は、表示部を有していてもよく、有していなくてもよい。また、装置は、重畳画像表示制御部を有していてもよく、有していなくてもよい。表示部は、例えば、外界を透過視認可能なものとしてもよい。重畳画像表示制御部は、例えば、外界の対象物が、表示部の動きによらず表示部に対して相対的に移動する移動物と、表示部の動きによってのみ表示部に対して相対的に移動する静止物とのいずれの場合であっても、所定時間後の対象物の表示部に対する相対位置に対応づけて所定の画像を、表示部に表示させるようにしてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本発明の第１実施形態における頭部装着型表示装置（ＨＭＤ）の概略構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤによる拡張現実表示の一例を示す説明図である。 ＨＭＤによる拡張現実表示の他の例を示す説明図である。 拡張現実表示制御処理を示すフローチャートである。 ９軸センサーから得られる加速度ａx，ａy，ａzを示すグラフである。 ９軸センサーから得られる角速度ωzを示すグラフである。 対象物移動情報取得処理の詳細を示すフローチャートである。 デプスセンサーによって得られた距離画像の一例を示す説明図である。 マーカーの一例を示す説明図である。 移動物／静止物判定処理の詳細を示すフローチャートである。 視界における対象物の動きを示す説明図である。 移動物位置推定処理の詳細を示すフローチャートである。 移動物位置推定処理によって求められる移動位置の変化を概念的に示す説明図である。 静止物位置推定処理の詳細を示すフローチャートである。 視界における対象物の推定位置を示す説明図である。 拡張情報生成・表示処理の詳細を示すフローチャートである。 拡張情報データベースのデータ構造の一例を示す説明図である。 拡張現実表示制御処理によって表示される拡張情報を示す説明図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の基本構成：
図１は、本発明の第１実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型の頭部装着型表示装置である。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を区別せず「保持部」として説明する。同様に、右表示駆動部２２および左表示駆動部２４を区別せず「表示駆動部」として説明し、右光学像表示部２６および左光学像表示部２８を区別せず「光学像表示部」として説明する。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６と反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、ｉＢｅａｃｏｎ（登録商標）といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、表示制御部１６２、重畳画像表示制御部１６４、視界移動情報取得部１６６、対象物移動情報取得部１６８、および音声処理部１７０として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデータの画像データＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。

一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データＤａｔａに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データＤａｔａ１」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１６２は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１６２は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１６２は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。同様に、表示制御部１６２は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

重畳画像表示制御部１６４は、表示制御部１６２に、透過して視認される外界の対象物の位置に所定の画像、例えば拡張現実としての拡張情報を表示させる。視界移動情報取得部１６６は、画像表示部２０の動きを表す視界移動情報を取得する。対象物移動情報取得部１６８は、対象物の画像表示部２０に対する相対的な動きを表す対象物移動情報を取得する。重畳画像表示制御部１６４は、前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合しない場合に、少なくとも前記対象物移動情報に基づいて、所定時間後の前記対象物の画像表示部２０に対する相対位置を推定し、前記拡張情報の表示位置を、前記推定した相対位置に基づいて定める。各部１６４、１６６、１６８については、後ほど詳述する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１（図１も参照）と、デプス（Ｄｅｐｔｈ）センサー６２と、９軸センサー６６とを備えている。

カメラ６１は、ＲＧＢカメラであり、使用者が画像表示部２０を装着した際の使用者の鼻根部に対応する位置に配置されている。そのため、カメラ６１は、ＨＭＤ１００の所定の向き、すなわち、使用者が画像表示部２０を頭部に装着した状態において使用者が向いている方向の外界をカラー撮像する。なお、カメラ６１は、ＲＧＢカメラに換えて白黒カメラとしてもよい。

デプスセンサー６２は、距離センサーの一種であり、外界を二次元の画像として捉え、それぞれのピクセルでの奥行きを濃淡によって示す距離画像（デプスマップ）を出力する。デプスセンサー６２は、カメラ６１と並んで配置されている。なお、デプスセンサー６２はステレオカメラに換えることができ、ステレオカメラによっても各部の距離を測定することができる。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーであり、本実施形態では使用者の眉間に対応する位置に配置されている。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、ＨＭＤ１００が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右ＬＣＤ２４１と同様に、左ＬＣＤ２４２は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左ＬＣＤ２４２を透過する光の透過率を変化させることにより、左バックライト２２２から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

Ａ−２．拡張現実表示について：
図３は、ＨＭＤ１００による拡張現実表示の一例を示す説明図である。図３では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実（ＡＲ）としての画像ＶＩを視認する。図３の例では、画像ＶＩは、ＨＭＤ１００のＯＳの待ち受け画面である。また、光学像表示部２６、２８が外界ＳＣからの光を透過することで、使用者は外界ＳＣを視認する。このように、本実施形態のＨＭＤの使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、画像ＶＩと、画像ＶＩの背後に外界ＳＣと、を見ることができる。また、視界ＶＲ１のうち画像ＶＩが表示されていない部分については、外界ＳＣだけを見ることができる。

図４は、ＨＭＤ１００による拡張現実表示の他の例を示す説明図である。図４では、使用者Ｕの視界ＶＲ１を例示している。視界ＶＲ１には、図示するように、人Ｔ１と椅子Ｔ２とが存在する外界ＳＣ１が含まれている。また、外界ＳＣ１に重畳して、拡張現実としての第１および第２の拡張情報ＡＲ１、ＡＲ２が表示される。第１の拡張情報ＡＲ１は、人Ｔ１の位置に対応づけて表示される吹き出しの画像であり、人Ｔ１の名前を示す文字が記載されている。第２の拡張情報ＡＲ２は、椅子Ｔ２の位置に対応づけて表示される吹き出しの画像であり、「椅子」という文字が記載されている。使用者Ｕは、光学像表示部２６，２８を透過して視認した外界ＳＣ１の物体についての説明情報を、第１および第２の拡張情報ＡＲ１、ＡＲ２によって視認することができる。拡張情報が付与される物体を、以下、「対象物」と呼ぶ。すなわち、第１および第２の拡張情報ＡＲ１、ＡＲ２が付与される人Ｔ１および椅子Ｔ２を、以下、「対象物Ｔ１」、「対象物Ｔ２」と呼ぶ。

図４の状態において、使用者Ｕが、矢印Ｒに示すように頭を回して横を向く動作をした場合に、視界ＶＲ１は、右向きに所定量、すなわち、＋Ａだけ移動する。この場合、視界ＶＲ１内における対象物Ｔ１、Ｔ２の位置は、＋Ａと逆方向、同一の移動量である−Ａだけ相対移動することになり、その移動した位置に対応づけて第１および第２の拡張情報ＡＲ１、ＡＲ２の表示位置も移動する。こうした拡張情報の表示および表示位置の制御を行うのが、図２の重畳画像表示制御部１６４、視界移動情報取得部１６６、および対象物移動情報取得部１６８である。各部１６４、１６６、１６８は、記憶部１２０に記憶されている所定のプログラムをＣＰＵ１４０が実行することで、機能的に実現される。所定のプログラムの詳細について、以下に説明する。

図５は、拡張現実表示制御処理を示すフローチャートである。この拡張現実表示制御処理は、上記所定のプログラムに対応するもので、ＣＰＵ１４０によって所定時間ごとに繰り返し実行される。ここで、所定時間は、ＨＭＤ１００で表示する映像の１フレーム当たりの時間である。処理が開始されると、ＣＰＵ１４０は、まず、初期設定として早送り時間の設定を行う（ステップＳ１００）。「早送り時間」は、ＨＭＤ１００が移動したときに拡張情報を再表示するまでに要する、画面表示の遅れ時間に相当する時間である。遅れ時間は、予め実験的にあるいはシミュレーションにより求めることができる。この求めた遅れ時間を踏まえて、本実施形態では、早送り時間を１０〜２００ｍｓｅｃの範囲内の値、例えば１００ｍｓｅｃに設定した。

次いで、ＣＰＵ１４０は、画像表示部２０の動きを示す情報を、使用者Ｕの視界移動情報として取得する視界移動情報取得処理を行う（ステップＳ２００）。この視界移動情報取得処理では、９軸センサー６６（図１、図２）から、３軸（ｘ軸、ｙ軸、ｚ軸）方向の加速度と、１軸（ｚ軸）周りの回転の角速度とを取得し、これらの情報から画像表示部２０の動きを求める。図１に示すように、ｘ軸、ｙ軸、ｚ軸は互いに垂直な軸であり、ｚ軸は画像表示部２０の上下方向であり、ｘ軸は画像表示部２０の左右方向である。

図６は、９軸センサー６６から得られる加速度ａx、ａy、ａzを示すグラフである。第１の加速度ａxはｘ軸方向の加速度であり、第２の加速度ａyはｙ軸方向の加速度であり、第３の加速度ａzはｚ軸方向の加速度である。

図７は、９軸センサー６６から得られる角速度ωzを示すグラフである。角速度ωzは、ｚ軸周りの回転の角速度である。

ステップＳ２００では、ＣＰＵ１４０は、図６に示す加速度ａx、ａy、ａzと、図７に示す角速度ωzとを取得し、これらの情報と時間情報から画像表示部２０の位置、姿勢の変化、および速度、すなわち、画像表示部２０の動きを求める。画像表示部２０の動きは、使用者の頭部の動きに追従することから、使用者の視界の動きと考えることができる。このために、上記求められた画像表示部２０の動きは、記憶部１２０に格納される視界移動情報に追記される。視界移動情報は、使用者の視界についての現在までの履歴を示すもので、上記のように画像表示部２０の動きを追記することで、視界移動情報は最新の状態に更新される。

なお、ステップＳ２００では、人体の首の回転自由度から、角速度としてｚ軸周りの回転の角速度ωzだけを用いていたが、これに換えて、角速度ωzを含む２軸や３軸回りの回転の角速度を用いるようにしてもよい。

続いて、ＣＰＵ１４０は、対象物移動情報取得処理を行う（ステップＳ３００）。対象物移動情報取得処理は、対象物Ｔ１、Ｔ２の画像表示部２０に対する相対的な動きを表す情報を、対象物移動情報として取得する処理である。

図８は、対象物移動情報取得処理の詳細を示すフローチャートである。対象物移動情報取得処理に処理が移行すると、ＣＰＵ１４０は、まず、カメラ６１からＲＧＢ画像を取得し（ステップＳ３１０）、デプスセンサー６２から距離画像を取得する（ステップＳ３２０）。

図９は、デプスセンサー６２によって得られた距離画像の一例を示す説明図である。図示するように、距離画像ＤＰは、濃淡画像であり、濃淡によって各ピクセルでの奥行き（距離）を表す。距離画像ＤＰは、「デプスマップ」とも呼ばれる。

図８のステップＳ３２０の実行後、ＣＰＵ１４０は、ステップＳ３１０によって取得したＲＧＢ画像内からマーカーを検出し（ステップＳ３３０）、マーカーの二次元位置座標を取得する（ステップＳ３４０）。本実施形態では、対象物Ｔ１、Ｔ２に対してマーカーが予め貼り付けられており、ＲＧＢ画像内からマーカーを検出することで、視界ＶＲ１に入った対象物Ｔ１、Ｔ２の認識を可能としている。

図１０は、マーカーＭＫの一例を示す説明図である。図示するように、マーカーＭＫは、二次元マーカーであり、拡張情報を表示する位置を指定するための標識となる、予め定められたパターンの画像が印刷されている。このパターンの画像によって、各対象物Ｔ１、Ｔ２が識別可能となる。図８のステップＳ３３０では、ＲＧＢ画像内からマーカーＭＫを検出し、マーカーＭＫの位置を二次元座標として取得する。二次元座標は、ＲＧＢ画像の４隅のうちの一点を原点とする座標である。

なお、本実施形態では、対象物Ｔ１、Ｔ２に対してマーカーを予め貼り付けることによって対象物の認識を可能としていたが、これに替えて、対象物である「人」とか「椅子」の形状パターンを予め記憶しておき、ＲＧＢ画像におけるパターン認識によって対象物を認識するようにしてもよい。

ステップＳ３４０の実行後、ＣＰＵ１４０は、ステップＳ３２０によって取得した距離画像内からマーカーＭＫを検出し（ステップＳ３５０）、マーカーの奥行き情報を取得する（ステップＳ３６０）。なお、マーカーＭＫに替えて、対象物の形状パターンを予め記憶しておき、距離画像におけるパターン認識によって対象物を認識するようにしてもよい。

その後、ＣＰＵ１４０は、ステップＳ３４０によって取得したマーカーの二次元位置座標と、ステップＳ３６０によって取得したマーカーの奥行き情報とによって、対象物の現在の三次元位置を特定し（すなわち、マーカーの位置を対象物の位置とみなして三次元位置を特定し）、この三次元位置を、記憶部１２０に格納される三次元軌跡データに追記する。三次元軌跡データは、対象物の画像表示部２０に対する相対位置についての現在までの履歴を示すもので、位置と、位置の時間変化率（すなわち速度）とを表す。上記の特定した現在の三次元位置を追記することで、三次元軌跡データは、最新の状態に更新される。

ステップＳ３７０の実行後、ＣＰＵ１４０は、「リターン」に抜けて、対象物移動情報取得処理を一旦、終了する。なお、ステップＳ３４０からステップＳ３７０までの処理によれば、マーカー毎、すなわち対象物Ｔ１、Ｔ２毎に処理が繰り返し行われ、その結果、視界ＶＲ１に入った対象物Ｔ１、Ｔ２毎に三次元軌跡データが生成されることになる。こうして生成された対象物Ｔ１、Ｔ２毎の三次元軌跡データは、対象物移動情報として記憶部１２０に一旦格納される。

図８の対象物移動情報取得処理を終えると、次いで、ＣＰＵ１４０は、移動物／静止物判定処理を行う（図５：ステップＳ４００）。移動物／静止物判定処理は、対象物Ｔ１、Ｔ２が、現実空間で動きのある移動物か、現実空間で静止している静止物かを判定する処理である。

図１１は、移動物／静止物判定処理の詳細を示すフローチャートである。移動物／静止物判定処理に処理が移行すると、ＣＰＵ１４０は、まず、ステップＳ２００によって取得された視界移動情報と、ステップＳ３００によって取得された対象物移動情報とを比較して（ステップＳ４１０）、対象物Ｔ１、Ｔ２は、視界ＶＲ１の動きと同じだけ逆方向に動いているか否かを判定する（ステップＳ４２０）。

図１２は、図４で例示した視界ＶＲ１における対象物Ｔ１、Ｔ２の動きを示す説明図である。図４で例示したように、使用者Ｕが頭を回して横を向く動作をした際には、図１２に示すように、視界ＶＲ内で、静止物である対象物Ｔ２は、視界ＶＲ１の動き＋Ａと同一の移動量だけ逆方向に移動する（すなわち、−Ａだけ移動する）。このために、対象物Ｔ２は、図１１のステップＳ４２０で肯定判定される。ステップＳ４２０で肯定判定されたときには、対象物を「静止物」であると判定する（ステップＳ４３０）。なお、静止物は、画像表示部２０の動きによってのみ画像表示部２０に対して相対的に移動する対象物と言うことができる。また、図４では、使用者Ｕが横を向く動作を行うことで視界ＶＲが移動する場合を説明したが、これに換えて、使用者Ｕが歩行等によって移動することで視界ＶＲが移動する場合もある。この場合にも、静止物である対象物Ｔ２は、視界ＶＲ１の動き＋Ａと同一の移動量だけ逆方向に移動し、ステップＳ４２０では肯定判定される。

一方、図１２に示すように、視界ＶＲ１において、対象物Ｔ１は、−Ａとは異なる移動、例えばＢだけ移動する。これは、対象物Ｔ１が、画像表示部２０の動きによらず画像表示部２０に対して相対的に移動する「移動物」であるためである。このために、移動物である対象物Ｔ１は、図１１のステップＳ４２０で否定判定される。ステップＳ４２０で否定判定されたときには、対象物を「移動物」であると判定する（ステップＳ４４０）。

ステップＳ４２０の判定処理は、視界移動情報と対象物移動情報とが実質的に整合するか否かを判定する処理といえる。「実質的に整合する」とは、視界移動情報によって表される画像表示部２０の動きと、対象物移動情報によって表される対象物Ｔ１、Ｔ２の画像表示部２０に対する相対的な動きとが、逆方向、かつ、大きさの差が閾値以内であることをいう。「逆方向」とは、画像表示部２０で規定される表示面またはそれと平行な仮想的な平面に写像された２つの動きベクトルの間の角度が１８０°を中心に所定範囲内（たとえば誤差範囲内）にあることをいう。視界移動情報と対象物移動情報とが実質的に整合すれば、視界移動情報によって表される画像表示部２０の動きと、対象移動情報によって表される対象物の動きとが、実質的に一致する。ステップＳ４３０またはＳ４４０の実行後、ＣＰＵ１４０は、「リターン」に抜けて、移動物／静止物判定処理を一旦、終了する。

図１１の移動物／静止物判定処理を終えると、次いで、ＣＰＵ１４０は、移動物／静止物判定処理の判定結果が「移動物」、「静止物」のいずれであるかを判別し（図５：ステップＳ５００）、「移動物」であると判別された場合には、移動物位置推定処理を実行する（ステップＳ６００）。移動物位置推定処理は、現在からステップＳ１００で設定した早送り時間だけ経過したときに、移動物がいずれの位置に移動したかを推定するものである。ここでいう「位置」は、移動物についての画像表示部２０に対する相対位置である。

図１３は、移動物位置推定処理の詳細を示すフローチャートである。移動物位置推定処理に処理が移行すると、ＣＰＵ１４０は、まず、記憶部１２０から、移動物である対象物についての三次元軌跡データを読み込む（ステップＳ６１０）。三次元軌跡データは、図８のステップＳ３７０によって記憶部１２０に格納されたデータであり、これら三次元軌跡データの中から、移動物である対象物についての三次元軌跡データを読み込む。

次いで、ＣＰＵ１４０は、ステップＳ６１０によって読み込んだ対象物（移動物）の三次元軌跡データに基づいて、早送り時間後の対象物の移動速度を推定する（ステップＳ６２０）。早送り時間は、図５のステップＳ１００で設定した値である。上記の推定は、本実施形態ではカルマンフィルターを用いて行う。カルマンフィルターは、離散的な誤差のある観測から、時々刻々と時間変化する量（例えばある物体の位置と速度）を推定するもので、周知の技術である。なお、カルマンフィルターに替えて、ベイズ推定、ニューラルネットワーク等の他の推定理論によって移動速度を推定する構成としてもよい。

続いて、ステップＳ６１０によって算出された移動速度に早送り時間を掛けることによって、早送り時間後の対象物（移動物）の移動位置を算出する（ステップＳ６３０）。ステップＳ６３０の実行後、ＣＰＵ１４０は、「リターン」に抜けて、移動物位置推定処理を一旦、終了する。

図１４は、図１３の移動物位置推定処理によって求められる移動位置の変化を概念的に示す説明図である。図中の（ａ）には、三次元軌跡データによって表される対象物の動きが示されており、矢印の先端Ｐ１が対象物の現在の位置である。図中の（ｂ）には、ステップＳ６３０によって求められる早送り時間後の対象物の移動位置Ｐ２が示されている。早送り時間後において、破線に示すように、対象物は、現在の位置Ｐ１から位置Ｐ２に移動すると推定される。なお、ここでいう「動き」、「位置」とは、対象物の画像表示部２０に対する相対的な「動き」、「位置」である。また、対象物の位置とは、厳密には、対象物におけるマーカーの貼付位置である。

図５のステップＳ５００で、移動物／静止物判定処理の判定結果が「静止物」であると判別された場合には、静止物位置推定処理を実行する（ステップＳ７００）。静止物位置推定処理は、現在からステップＳ１００で設定した早送り時間だけ経過したときに、静止物がいずれの位置に移動したかを推定するものである。ここでいう「位置」は、静止物についての画像表示部２０に対する相対位置である。

図１５は、静止物位置推定処理の詳細を示すフローチャートである。静止物位置推定処理に処理が移行すると、ＣＰＵ１４０は、まず、記憶部１２０から視界移動情報を読み込む（ステップＳ７１０）。視界移動情報は、図５のステップＳ２００によって記憶部１２０に格納された視界ＶＲ１の動きを示す情報である。

次いで、ＣＰＵ１４０は、ステップＳ７１０によって読み込んだ視界移動情報に基づいて、早送り時間後の視界ＶＲ１の移動速度を推定する（ステップＳ７２０）。早送り時間は、図５のステップＳ１００で設定した値である。上記の推定は、図１３のステップＳ６２０と同様に、カルマンフィルターを用いて行う。カルマンフィルターに替えて、ベイズ推定、ニューラルネットワーク等の他の推定理論によって移動速度を推定する構成としてもよい。

続いて、ステップＳ７２０によって算出された移動速度に時間を掛けることによって、早送り時間後の視界ＶＲ１の移動量を算出する（ステップＳ７３０）。その後、早送り時間後の対象物（静止物）の位置を、上記の移動量だけ現在の位置から逆方向に移動することによって算出する（ステップＳ７４０）。ステップＳ７４０の実行後、ＣＰＵ１４０は、「リターン」に抜けて、静止物位置推定処理を一旦、終了する。

図１６は、視界ＶＲ１における対象物Ｔ１、Ｔ２の推定位置を示す説明図である。図１５の静止物位置推定処理によれば、静止物である対象物Ｔ２は、破線で示す現在の位置から、早送り時間後には、視界ＶＲ１の動き＋Ａと同一の移動量だけ逆方向に移動した、実線で示す位置に移ると推定される。一方、図１３の移動物位置推定処理によれば、移動物である対象物Ｔ１は、破線で示す現在の位置から、現在までの対象物Ｔ２の画像表示部２０に対する相対移動の履歴に基づいて推定された、実線で示す位置に移ると推定される。

図１３の移動物位置推定処理、または図１５の静止物位置推定処理が終了すると、次いで、ＣＰＵ１４０は、拡張情報生成・表示処理を行う（図５：ステップＳ８００）。拡張情報生成・表示処理は、移動物位置推定処理または静止物位置推定処理によって推定された対象物の位置（マーカーの位置）に対応づけて拡張情報を表示させる処理である。

図１７は、拡張情報生成・表示処理の詳細を示すフローチャートである。拡張情報生成・表示処理に処理が移行すると、ＣＰＵ１４０は、まず、ステップＳ３３０によって検出されたマーカーをマーカー識別番号に変換し、拡張情報データベースからマーカー識別番号に対応する拡張情報を取得する処理を行う（ステップＳ８１０）。拡張情報データベースは、記憶部１２０に予め格納されたものである。

図１８は、拡張情報データベースＤＢのデータ構造の一例を示す説明図である。拡張情報データベースＤＢは、「マーカー識別番号」、「表示内容」、「表示属性」、「表示相対位置」の４つの項目Ｃ１、Ｃ２、Ｃ３、Ｃ４によって構成されるレコードを複数、備える。一のマーカー毎に一のレコードが対応している。「マーカー識別番号」の項目Ｃ１には、マーカーを識別するための１以上の整数が格納される。「表示内容」の項目Ｃ２には、表示する拡張情報の内容を示すテキストデータが格納される。「表示属性」の項目Ｃ３は、表示する拡張情報についての属性を格納するもので、「吹き出し色」の項目Ｃ３１と、文字サイズの項目Ｃ３２とを含む。「表示位置」の項目Ｃ４には、マーカーに対する拡張情報の相対的な表示位置が格納される。表示位置は、例えば、吹き出し画像の左下隅の座標と右上隅の座標とによって規定される。

ステップＳ８１０では、詳しくは、ステップＳ３３０によって検出されたマーカーの画像パターンをマーカー識別番号に変換し、このマーカー識別番号をキーとして、拡張情報データベースＤＢを検索する。「マーカー識別番号」の項目Ｃ１とキーが一致するレコードを選択し、そのレコードに含まれる「表示内容」、「表示属性」、「表示相対位置」の各項目Ｃ２、Ｃ３、Ｃ４のデータを、拡張情報として拡張情報データベースＤＢから読み出す。

次いで、ＣＰＵ１４０は、ステップＳ８１０によって取得した「表示内容」と「表示属性」の各項目Ｃ２、Ｃ３のデータに基づいて、表示画像を生成する（ステップＳ８２０）。続いて、ＣＰＵ１４０は、移動物位置推定処理または静止物位置推定処理によって推定された対象物の位置（マーカーの位置）と、「表示相対位置」の項目Ｃ４のデータとに基づいて、拡張情報の表示位置を決定する（ステップＳ８３０）。その後、ＣＰＵ１４０は、その表示位置に、ステップＳ８２０によって生成された表示画像を表示する（ステップＳ８４０）。ステップＳ８４０の実行後、ＣＰＵ１４０は、拡張情報生成・表示処理を終えて、拡張現実表示制御処理を終了する。

ＣＰＵ１４０および拡張現実表示制御処理における図５のステップＳ２００の処理によって、図２の視界移動情報取得部１６６が実現されている。図５のステップＳ３００の処理によって、図２の対象物移動情報取得部１６８が実現されている。図５のステップＳ４００、Ｓ５００、Ｓ６００およびＳ８００の処理によって、図２の重畳画像表示制御部１６４が実現されている。

Ａ−３．実施形態の効果について：
図１９は、拡張現実表示制御処理によって表示される拡張情報ＡＲ１、ＡＲ２を示す説明図である。図中の実線で示した対象物Ｔ１、Ｔ２が、移動物位置推定処理および静止物位置推定処理によって推定された、早送り時間後の位置である。その対象物Ｔ１に貼り付けられたマーカーの位置に対応づけて第１の拡張情報ＡＲ１が表示され、対象物Ｔ２に貼り付けられたマーカーの位置に対応づけて第２の拡張情報ＡＲ２が表示される。

このために、本実施形態のＨＭＤ１００によれば、透過して視認される外界の対象物が、現実空間で動きのある移動物である対象物Ｔ１と、現実空間で静止している静止物である対象物Ｔ２とのいずれの場合にも、拡張情報を表示するのに早送り時間に相当する遅れ時間を要したとしても、各対象物Ｔ１、Ｔ２に対して各拡張情報ＡＲ１、ＡＲ２は位置すれが起こることなく表示される。

図１９に示すように、視界ＶＲ１が右向きに所定量、すなわち、＋Ａだけ移動した場合に、現在の対象物（図中のＴ１＊）は＋Ａと同一の移動量だけ逆方向に相対移動する（すなわち、−Ａだけ移動する）が、この視界ＶＲ１の移動の最中に、移動物である対象物Ｔ１は、−Ａとは異なる位置に移動することがあり得る。すなわち、移動物である対象物Ｔ１は、画像表示部２０の動きによらず画像表示部２０に対して相対的に移動することがあり得る。この場合に、従来のヘッドマウントディスプレイによれば、上記視界ＶＲ１の移動後に、−Ａだけ相対移動した対象物（図中のＴ１＊＊）の位置に対応して拡張情報ＡＲ１＊＊が表示されるように表示位置を切り替えていることから、視界ＶＲ１の移動後の対象物Ｔ１と拡張情報ＡＲ１＊＊との間に大きな位置ずれが生じていた。これに対して、本実施形態のＨＭＤ１００によれば、上述したように、対象物Ｔ１と拡張情報ＡＲ１との間に位置ずれが生じることがない。したがって、本実施形態のＨＭＤ１００によれば、拡張情報を表示するのに遅れ時間を要したとしても、移動物、静止物のいずれの場合にも、拡張情報を位置ずれを起こすこと表示することができるという効果を奏する。

また、第１実施形態のＨＭＤ１００によれば、対象物が移動物であるか静止物であるかの判定を、対象物の画像表示部２０に対する相対移動の履歴を示す対象物移動情報（三次元軌跡データ）と、画像表示部２０の動きの履歴を示す視界移動情報とに基づいて行っている。このために、移動物、静止物を判定を新たなセンサーを設けることなく、容易に構成することができる。

Ｂ．変形例：
なお、この発明は前記第１実施形態およびその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ−１．変形例１：
第１実施形態およびその変形例では、画像表示部２０に設けたカメラ６１およびデプスセンサー６２によって、対象物の画像表示部２０に対する相対移動を検出する構成としていたが、これに換えて、加速度および角速度、あるいは加速度を検出するモーションセンサーを対象物に設け、モーションセンサーの検出信号を無線通信にてＨＭＤが受信する構成としてもよい。この変形例によれば、移動物である対象物の画像表示部２０に対する相対移動を、より高精度に検出することが可能となる。

Ｂ−２．変形例２：
第１実施形態およびその変形例では、画像表示部２０に設けたカメラ６１およびデプスセンサー６２によって、対象物の画像表示部２０に対する相対移動を検出する構成としていたが、これに換えて、ｉＢｅａｃｏｎ（登録商標）のＢＬＥ（Bluetooth Low Energy）端末や、Ｗｉ−Ｆｉ（登録商標）端末、ＧＰＳ端末などの各種端末のうちの一または複数を対象物に設け、これらの端末からの信号をＨＭＤが受信する構成としてもよい。これらの技術によれば、各種端末に対するＨＭＤの相対位置を検出することが可能となる。したがって、移動物である対象物の画像表示部２０に対する相対移動を高精度に検出することが可能となる。

Ｂ−３．変形例３：
第１実施形態において、ステップＳ２００によって取得した視界移動情報を、無線通信部１３２を介して、他の頭部装着型表示装置に送信する構成としてもよい。この変形例３によれば、簡易な構成によって、他の頭部装着型表示装置との間で、互いの表示部の動きをやり取りすることができる。

Ｂ−４．変形例４：
第１実施形態では、拡張情報として、文字が記載された吹き出しの図形としたが、これはあくまでも一例であり、種々の態様に換えることができる。文字、図形、画像、動画、これらの組合せ等とすることができる。また、画像は３Ｄ画像としてもよい。３Ｄ画像は、対応づける対象物の距離情報に基づいて、奥行きや大きさなどを変更するようにすることができる。

Ｂ−５．変形例５：
第１実施形態では、対象物が静止物である場合と移動物である場合とで、拡張情報の表示の態様（色、サイズ、強調表示／非強調表示の切り換え、点滅の有無等）が同一である構成としたが、これに換えて、拡張情報の表示の態様を切り替えるようにしてもよい。例えば、図１９において、静止物である対象物Ｔ２に対して貼り付けられた第２の拡張情報ＡＲ２は通常表示として、移動物である対象物Ｔ１に対して貼り付けられた第１の拡張情報ＡＲ１は点滅表示としてもよい。この構成によれば、移動中の対象物を容易に視認することができる。

Ｂ−６．変形例６：
第１実施形態では、対象物の位置を推定する将来の時点を、早送り時間後として、その早送り時間を一定時間としたが、これに換えて、早送り時間を可変して適切な時間に調整するように構成してもよい。詳しくは、ステップＳ３１０によってカメラからＲＧＢ画像を取得する際に、ＲＧＢ画像にタイムスタンプ情報を付加するようにして、その取り込んだＲＧＢ画像の少なくとも一部をタイムスタンプ情報とともに画像表示部２０に表示させるようにする。その表示された画面の画像を取り込んで、その画面に記されたタイムスタンプ情報を、現在のタイムスタンプ情報から減算して遅れ時間を計算する。この遅れ時間を早送り時間として設定するようにする。こうした処理を、例えばＨＭＤをオンしたとき毎に行うようにして、早送り時間を適切な時間に調整するようにする。この変形例によれば、画像表示の遅れ時間の間に発生する、対象物と拡張情報との間の位置ずれを、より確実に解消することができる。

Ｂ−７．その他の変形例：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（ｉ）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。

図２０は、変形例におけるＨＭＤの外観の構成を示す説明図である。図２０（Ａ）の例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図２０（Ｂ）の例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤとして実現することもできる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

例えば、画像処理部、表示制御部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていてもよい。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としてもよい。例えば、表示駆動部は、ＬＣＤに代えてＤＭＤ（デジタル・マイクロミラー・デバイス）等を用いることもできる。例えば、表示駆動部は、ＲＧＢの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、ＭＥＭＳミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ＥＬやＤＭＤやＭＥＭＳミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス（表示駆動部）における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する１つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー（表示駆動部）におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ
６２…デプスセンサー
１１０…入力情報取得部
１００…頭部装着型表示装置（ＨＭＤ）
１２０…記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１６０…画像処理部
１６２…表示制御部
１６４…重畳画像表示制御部
１６６…視界移動情報取得部
１６８…対象物移動情報取得部
１７０…音声処理部
１８０…インターフェイス
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
Ｔ１，Ｔ２…対象物
ＭＫ…マーカー
ＳＣ１…外界
ＡＲ１，ＡＲ２…拡張情報

Claims (12)

1. 外界を透過視認可能な表示部を備えた頭部装着型表示装置であって、
   前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる重畳画像表示制御部と、
   前記表示部の動きを表す視界移動情報を取得する視界移動情報取得部と、
   前記対象物の前記表示部に対する相対的な動きを表す対象物移動情報を取得する対象物移動情報取得部と、
   を備え、
   前記重畳画像表示制御部は、
   前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合しない場合に、少なくとも前記対象物移動情報に基づいて、所定時間後の前記対象物の前記表示部に対する相対位置を推定し、前記所定の画像の表示位置を、前記推定した相対位置に基づいて定める、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記所定の画像は、前記対象物に付与する拡張現実としての拡張情報である、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記重畳画像表示制御部は、
   前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合する場合に、前記視界移動情報に基づいて、所定時間後の前記対象物の前記表示部に対する相対位置を推定し、前記所定の画像の表示位置を、前記推定した相対位置に基づいて定める、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記視界移動情報取得部は、
   前記表示部に設けられたモーションセンサーを有する、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記対象物移動情報取得部は、
   前記表示部に設けられたＲＧＢセンサーおよびデプスセンサーを有する、頭部装着型表示装置。
6. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記対象物移動情報取得部は、
   前記対象物に予め配設されたモーションセンサーの検出信号を無線通信にて受信する、頭部装着型表示装置。
7. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記対象物移動情報取得部は、
   前記対象物に予め配設された無線通信端末からの信号を受信する、頭部装着型表示装置。
8. 請求項１に記載の頭部装着型表示装置であって、
   前記所定時間を可変する調整部を備える、頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
   前記視界移動情報を、他の頭部装着型表示装置に対して送信する情報提供部を備える、頭部装着型表示装置。
10. 頭部装着型表示装置であって、
    外界を透過視認可能な表示部と、
    前記外界の対象物が、前記表示部の動きによらず前記表示部に対して相対的に移動する移動物と、前記表示部の動きによってのみ前記表示部に対して相対的に移動する静止物とのいずれの場合であっても、所定時間後の前記対象物の前記表示部に対する相対位置に対応づけて所定の画像を、前記表示部に表示させる重畳画像表示制御部と、
    を備える頭部装着型表示装置。
11. 外界を透過視認可能な表示部を備えた頭部装着型表示装置の制御方法であって、
    前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる工程と、
    前記表示部の動きを表す視界移動情報を取得する工程と、
    前記対象物の前記表示部に対する相対的な動きを表す対象物移動情報を取得する工程と、
    を備え、
    前記所定の画像を表示させる工程は、
    前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合しない場合に、少なくとも前記対象物移動情報に基づいて、所定時間後の前記対象物の前記表示部に対する相対位置を推定し、前記所定の画像の表示位置を、前記推定した相対位置に基づいて定める、頭部装着型表示装置の制御方法。
12. 外界を透過視認可能な表示部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記表示部に、透過して視認される外界の対象物の位置に対応づけて所定の画像を表示させる機能と、
    前記表示部の動きを表す視界移動情報を取得する機能と、
    前記対象物の前記表示部に対する相対的な動きを表す対象物移動情報を取得する機能と、
    をコンピューターに実現させ、
    前記所定の画像を表示させる機能は、
    前記取得された視界移動情報と前記取得された対象物移動情報とが実質的に整合しない場合に、少なくとも前記対象物移動情報に基づいて、所定時間後の前記対象物の前記表示部に対する相対位置を推定し、前記所定の画像の表示位置を、前記推定した相対位置に基づいて定める、コンピュータープログラム。

Images