JP2010067083A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】多数の識別体が検出された場合であっても視認し易く必要十分な表示情報を表示することができるヘッドマウントディスプレイを提供する。
【解決手段】ヘッドマウントディスプレイは、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えた。ヘッドマウントディスプレイは、撮像領域内において検出された結果に基づいて、対応する対応情報を表示手段により表示させる識別体を選択する。ヘッドマウントディスプレイは、選択された識別体に対応する対応情報を、表示手段を透過して観察者に視認される識別体と関連させて表示させる。
【選択図】図４

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射するシースルー型のヘッドマウントディスプレイに関するものである。

従来より、動画ファイル、静止画ファイル、文章ファイル等の各種表示情報を記憶する記憶手段と、この記憶手段に記憶した表示情報を再生する再生手段とを備えた情報処理装置が知られている。

この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために観察者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生された表示情報を画像として表示するディスプレイ等とから構成されている。

この表示情報を表示するディスプレイとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、観察者が頭部に装着した状態で画像を視認することができるＨＭＤ（ヘッドマウントディスプレイ）等も開発されてきていた。

しかし、近年、画像信号に基づいて生成した画像光（以下、「画像光」という。）を２次元方向に走査し、観察者の眼に導く光走査部を備え、観察者が頭部に装着した状態で前記光走査部を動作させることによって、その２次元方向に走査された画像光を観察者の網膜上に投影表示し、観察者に画像を視認させることができるものも開発されている。

これらのようなＨＭＤには、外界視野が透過して視認可能であるシースルー型のＨＭＤがある。このようなシースルー型のＨＭＤにおいては、例えば、特許文献１に示すように、掲示物等の識別体に対して赤外線を照射させ、反射させることによって得ることができる識別体ＩＤ等に基づき識別体に対応付けられたコンテンツ情報が、その識別体に重ねて関連付けて表示される装置が開示されている。
特開２００３−２４２１６８号公報

ところが、上記従来の装置では、識別体が検出された場合には、その識別体に対応するコンテンツ情報（以下、対応情報と称することがある）を表示させたが、多数の識別体が検出された場合には、対応情報を表示するための表示領域が十分とれないおそれがあった。

これに伴い、例えば、識別体に対応する全ての表示情報について詳細に表示させると、十分に表示領域がないため、それら表示情報が重なってしまうおそれがある。一方、識別体に対応する表示情報について詳細に表示せず、簡略化された表示情報を表示すると、観察者が所望とする識別体に対応する表示情報の詳細が表示できないおそれがあった。このため、表示情報が視認し難くなり、利便性の向上が望まれている。

本発明は、上述したような課題に鑑みてなされたものであり、多数の識別体が検出された場合であっても視認し易く必要十分な表示情報を表示することができるヘッドマウントディスプレイを提供することを目的とする。

以上のような目的を達成するために、本発明は、以下のようなものを提供する。

すなわち、請求項１記載の本発明では、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段と、前記識別体検出手段によって検出された結果に基づいて、対応する対応情報を前記表示手段により表示させる識別体を選択する識別体選択手段と、前記対応情報記憶手段に記憶され、前記識別体選択手段によって選択された識別体に対応する対応情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするものである。

すなわち、請求項２記載の本発明では、請求項１に記載の発明において、前記識別体選択手段は、前記識別体検出手段によって検出された識別体と前記観察者との位置関係に基づいて、対応する対応情報を前記表示手段により表示させる識別体の選択範囲を前記撮像領域内に設定し、前記選択範囲における識別体の少なくともいずれかを、前記対応情報を表示させる識別体として選択することを特徴とするものである。

すなわち、請求項３記載の本発明では、請求項２に記載の発明において、前記識別体選択手段は、前記識別体検出手段によって検出された識別体と前記観察者との距離を前記位置関係として、前記対応情報を表示させる識別体として選択することを特徴とするものである。

すなわち、請求項４記載の本発明では、請求項２に記載の発明において、前記識別体選択手段は、前記識別体検出手段によって検出された識別体と前記観察者とを結ぶ直線と観察者正面方向とがなす角度を前記位置関係として、前記対応情報を表示させる識別体として選択することを特徴とするものである。

すなわち、請求項５記載の本発明では、請求項４に記載の発明において、前記識別体選択手段は、前記識別体検出手段によって検出された識別体のうち、前記観察者の視野範囲の中心を基準として近い位置関係である識別体を優先して、前記対応情報を表示させる識別体として選択することを特徴とするものである。

すなわち、請求項６記載の本発明では、請求項２から５のいずれかに記載の発明において、前記撮像手段によって前記識別体として撮像された撮像画素の範囲によって、前記位置関係を算出する位置関係算出手段を備えたことを特徴とするものである。

すなわち、請求項７記載の本発明では、請求項２から６のいずれかに記載の発明において、前記識別体選択手段は、初期状態において、前記撮像手段による撮像領域の全域を前記選択範囲として設定することを特徴とするものである。

すなわち、請求項８記載の本発明では、請求項２から７のいずれかに記載の発明において、観察者によって操作可能な操作手段を備え、前記表示制御手段は、前記選択範囲を前記表示手段に表示させる制御を行い、前記識別体選択手段は、前記操作手段の操作に応じて、前記選択範囲を変更させることを特徴とするものである。

すなわち、請求項９記載の本発明では、請求項１から８のいずれかに記載の発明において、前記識別体選択手段は、前記識別体検出手段によって検出された前記撮像領域内における識別体の数に基づいて、対応情報を表示させる識別体を選択することを特徴とするものである。

すなわち、請求項１０記載の本発明では、請求項１から９のいずれかに記載の発明において、前記識別体選択手段は、前記識別体検出手段によって検出された識別体の種別に基づいて、対応情報を表示させる識別体を選択することを特徴とするものである。

すなわち、請求項１１記載の本発明では、請求項１から１０のいずれかに記載の発明において、観察者によって識別体に向けてレーザ光を照射可能なレーザマーカ手段を備え、前記識別体選択手段は、前記レーザマーカ手段によって照射されるレーザ光に応じて、対応情報を表示させる識別体を選択することを特徴とするものである。

すなわち、請求項１２記載の本発明では、請求項１から１１のいずれかに記載の発明において、前記ヘッドマウントディスプレイの変位を検知する変位検知手段を備え、前記識別体選択手段は、前記変位検知手段によって前記ヘッドマウントディスプレイが変位した場合に、対応する対応情報を前記表示手段により表示させる識別体を選択することを特徴とするものである。

すなわち、請求項１３記載の本発明では、請求項１から１１のいずれかに記載の発明において、前記ヘッドマウントディスプレイの変位を検知する変位検知手段を備え、前記識別体選択手段は、前記変位検知手段によって所定時間だけ前記ヘッドマウントディスプレイが変位しなかった場合に、暫定的に選択した識別体を、対応情報を表示させる識別体として確定することを特徴とするものである。

本発明によれば、多数の識別体が検出された場合であっても視認し易く必要十分な表示情報を表示することができる。

以下、本発明の一実施形態について、図面を参照して具体的に説明する。図１は、本実施形態に係るヘッドマウントディスプレイシステムを示す説明図である。

［ＨＭＤ概観］
ここで、図１は、ヘッドマウントディスプレイシステムの概観を示す斜視図である。

図１に示すように、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）システムＳは、観察者Ｐが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を画像としてその観察者Ｐに視認可能に表示するＨＭＤ１を備えている。

このＨＭＤ１は、内部又は外部に記憶されている各種コンテンツ情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を観察者Ｐの眼に導いて走査する光走査部１０（図２参照）を備え、観察者Ｐが頭部に装着した状態で光走査部１０を動作させることによって、画像光を観察者の網膜上で２次元方向に走査させることにより、観察者Ｐにコンテンツ情報に対応する画像（以下、単に「コンテンツ」という。）を視認させることができるように構成している。なお、このＨＭＤ１の具体的構成については、後に詳述する。

また、このＨＭＤ１は、コンテンツを表示している最中であっても、観察者Ｐの視野の中で、そのコンテンツを表示している領域以外の領域では、観察者Ｐが外界を視認できるように構成している。

すなわち、このＨＭＤ１は、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者Ｐの眼に投射するシースルー型のヘッドマウントディスプレイである。

そして、このＨＭＤシステムＳでは、２次元コード（例えば、ＱＲコード）などの識別体を検出し、その識別体に対応付けられたコンテンツ情報を表示させる表示制御をＨＭＤ１に実行させることができるように構成している。このため、識別体に対応するコンテンツ情報を対応情報として以下に称することがある。

すなわち、本実施形態のＨＭＤ１は、観察者Ｐの視野範囲のうち少なくとも一部の領域を撮像する撮像手段としてのＣＣＤ（Charge Coupled Devices）センサ２を備え、このＣＣＤセンサ２の撮像領域に識別体があることを条件に、複数種類のコンテンツ情報の中から、その識別体に対応付けられたコンテンツ情報を選択し、表示させることとなる。

特に、本実施形態においては、検出された識別体に対応付けられたコンテンツ情報の中から所定数のコンテンツ情報を選択的に表示させることとなり、多数の識別体が検出された場合であっても、表示領域の関係上、視認し易くコンテンツ情報を表示させることができる。

なお、図１に示すように、ＨＭＤ１は、外界の明るさを検出する輝度センサ８と、ＣＣＤセンサ２の撮像領域を照らす照明手段としてのＬＥＤ（Light Emitting Diode）３と、を備えており、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＬＥＤ３がＣＣＤセンサ２の撮像領域を照らすこととなる。

［ＨＭＤ電気的構成］
ここで、本実施形態に係るＨＭＤ１の電気的構成等について、図２を参照して説明する。図２は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。

図２に示すように、このＨＭＤ１は、当該ＨＭＤ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部１０と、を備えている。

光走査部１０は、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部２０を備え、さらに、その画像光生成部２０と観察者Ｐの眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（画像光）を平行光化するコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に往復走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に往復走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射するためのリレー光学系９０と、を備えている。

また、画像光生成部２０には、パーソナルコンピュータ（図示略。）等の外部装置から供給される画像データが、インターフェース１０４と制御部１１０とを介して入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられ、この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。

さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。

光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。

光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。

各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。

具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。

それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。

水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。

水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。

本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。

垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。

また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。

そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平走査部７０と垂直走査部８０に画像光の走査角を変更させて、表示する画像の輝度を調整するようにしている。

こうして変更された走査角度は水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号に基づいて制御部１１０により検出され、信号処理回路２１と水平走査駆動回路７２とを介して水平駆動信号２３にフィードバックされると共に、信号処理回路２１と垂直走査制御回路８２とを介して垂直駆動信号２４にフィードバックされる。

また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５を備えており、共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって偏向素子８１の反射面に収束され、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射される。

リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が観察者の瞳孔Ｅａに収束するように変換される。

なお、本実施形態においては、光ファイバ１００から入射された画像光を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査することとしたが、水平走査部７０と垂直走査部８０との配置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するようにしてもよい。

また、制御部１１０は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Reed Only Memory）としての不揮発性メモリであるフラッシュメモリ（図中においてはFlash Memoryと示す）１０２と、ＲＡＭ（Random Access Memory）１０３と、表示させる画像データを記憶しておくＶＲＡＭ（Video Random Access Memory）１０５とを備えている。

そして、これらＣＰＵ１０１、フラッシュメモリ１０２、ＲＡＭ１０３、ＶＲＡＭ１０５は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

また、この制御部１１０は、当該ＨＭＤ１の電源スイッチＳＷ、識別体を含む画像を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像領域Ａ（図４参照）を照らすＬＥＤ３、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。

ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１を構成する図示しない各種回路を動作させて、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。

フラッシュメモリ１０２は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がＨＭＤ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。

さらに、このフラッシュメモリ１０２には、制御部１１０がＣＣＤセンサ２により撮像した識別体の形態を判別するために用いるテーブル等、制御部１１０が各種表示制御を行う際に参照する複数種類のテーブルが記憶されている。

［ＨＭＤ機能構成］
ここで、本実施形態に係るＨＭＤ１の機能構成等について、図３を参照して説明する。図３は、本実施形態に係るＨＭＤ１の機能構成を示す説明図である。

図３に示すように、このＨＭＤ１におけるＣＣＤセンサ２は、撮像手段２０１を有している。この撮像手段２０１は、観察者の視野範囲のうち少なくとも一部を撮像する。そして、撮像手段２０１は、制御部１１０にその撮像データを供給することとなる。

そして、ＨＭＤ１における制御部１１０は、対応情報記憶手段２０２と、識別体検出手段２０３と、位置関係算出手段２０４と、識別体選択手段２０５と、表示制御手段２０６と、を有している。ＨＭＤ１の制御部１１０において、後述のＣＰＵ１０１が所定の情報処理プログラムを実行することによって、識別体検出手段２０３、位置関係算出手段２０４、識別体選択手段２０５及び表示制御手段２０６として制御部１１０が機能することとなる。

対応情報記憶手段２０２は、上述したフラッシュメモリ１０２が相当し、識別体の各々に対応するコンテンツ情報（対応情報）を記憶する。

識別体検出手段２０３は、撮像手段２０１による撮像領域内における画像データから識別体を検出する。

位置関係算出手段２０４は、撮像手段２０１によって識別体として撮像された撮像画素の範囲によって、ＨＤＭ１（ＨＤＭ１を装着している観察者）と識別体との位置関係を算出する。なお、本実施形態において、このような位置関係は、識別体とＨＤＭ１との距離等であるが、これに限らず、例えば、別の実施形態として詳しく後述するが、識別体とＨＭＤ１とを結ぶ直線と観察者正面方向とがなす角度などであってもよい。

識別体選択手段２０５は、識別体検出手段２０３によって検出された結果に基づいて、その識別体に対応するコンテンツ情報を後述する表示手段２０７により表示させる識別体を選択する。特に、識別体選択手段２０５は、位置関係算出手段２０４によって算出されたＨＤＭ１と識別体との距離関係等の位置関係により、コンテンツ情報を表示させる識別体を選択することとなる。

表示制御手段２０６は、表示手段２０７に対して画像データに応じた画像を表示させる制御を行う。本実施形態において、表示制御手段２０６は、識別体選択手段２０５によって選択された識別体に対応するコンテンツ情報を、対応情報記憶手段２０２から読み出し、そのコンテンツ情報を表示手段２０７により表示させる制御を行う。特に、表示制御手段２０６は、表示手段２０７を透過して観察者に視認される識別体と関連させて、その識別体に対応付けられたコンテンツ情報を表示させる制御を行う。

このＨＭＤ１における光走査部１０は、表示手段２０７を有している。この表示手段２０７は、外光を透過しつつ、画像情報（表示情報）に応じた画像光を観察者の眼に投射してその観察者に前記画像光に応じた画像を視認させる。

［ＨＭＤ表示内容］
ここで、本実施形態に係るＨＭＤ１における表示内容等について、図４を参照して説明する。図４は、本実施形態に係るＨＭＤ１の表示内容等を示す説明図である。

ＨＭＤ１を装着した観察者Ｐが、倉庫のような場所で商品を探すような状況を一例とする。図４（ａ）に示すように、倉庫には、各種商品が入ったダンボールが並べられている。この観察者Ｐの視野範囲のうちの一部の領域が撮像領域Ａとして設定されている。

このような状況においては、図４（ｂ）に示すように、撮像領域Ａ内において６つの識別体が検出された場合には、その識別体の位置を示す黒丸印のマークが表示される。そして、６つの識別体のうちの４つの識別体に対応付けられたコンテンツ情報が表示される。

従来においては、図４（ｃ）に示すように、６つの識別体が検出された場合には、全ての識別体に対応する６つのコンテンツ情報が表示されたが、本実施形態においては、図４（ｂ）に示すように、それらのうち、識別体に対応する４つのコンテンツ情報が表示される。これは、６つの識別体から４つの識別体が選択されることとなる。特に、本実施形態においては、識別体と観察者Ｐとの距離が近い順に選択される（例えば、商品Ａ、商品Ｂ、商品Ｅ、商品Ｆ）。

［識別体との位置関係算出］
ここで、識別体と観察者Ｐとの位置関係の算出について、図５を参照して説明する。

識別体を撮像するＣＣＤセンサ２においては、それぞれの素子がマトリクス状に配置されている。このため、図４（ａ）に示すような画像が撮像された場合には、その撮像された画像の中から、図５（ａ）に示すような識別体として認識できる撮像画素の範囲が検出される。そして、図５（ｂ）から図５（ｄ）に示すように、識別体のそれぞれ毎に撮像画素の範囲が検出される。このように検出された識別体に対応する撮像画素の範囲によって、識別体と観察者Ｐとの距離や、観察者とを結ぶ直線と観察者正面方向とがなす角度などが算出可能となる。このように、識別体として撮像された撮像画素の範囲によって、識別体と観察者Ｐとの位置関係が算出される。

このように、識別体として撮像された撮像画素の範囲によって、位置関係を算出する。従って、撮像された画像から位置関係を算出することができ、簡素な構成で位置関係を認識することができる。

［制御動作］
次に、図６及び図７のフローチャートを参照して、ＨＭＤ１の動作について説明する。
図６及び図７は、ＨＭＤ１において実行される処理の動作を示すフローチャートである。特に、図６に示すメイン処理は、ＨＭＤ１の電源がオンされた際に制御部１１０によって実行される。ここでは、ＨＭＤ１の制御部１１０（以下、単に「制御部１１０」という。）がメイン処理について説明することとし、その他の処理については説明を省略する。

本実施形態のＨＭＤ１において、制御部１１０は、フラッシュメモリ１０２内に記憶している情報処理プログラムを実行することによって、上記した識別体検出手段、位置関係算出手段、識別体選択手段、表示制御手段等として機能することとなる。

［メイン処理］
最初に、図６に示すように、ＨＭＤ１に電源が投入されると、制御部１１０は、初期設定を行う（ステップＳ１１）。この処理において、制御部１１０は、ＲＡＭアクセス許可、作業領域の初期化等を実行する。また、制御部１１０は、対応する対応情報を表示手段２０７により表示させる識別体の選択範囲を撮像領域Ａ内に設定することとなる。この処理が終了した場合には、ステップＳ１２に処理を移す。

ステップＳ１２において、制御部１１０は、撮像処理を実行する。この処理において、制御部１１０は、撮像手段２０１としてのＣＣＤセンサ２に撮像領域Ａの画像を撮像させる制御を行う。この処理が終了した場合には、ステップＳ１３に処理を移す。

ステップＳ１３において、制御部１１０は、識別体選択処理を実行する。詳しくは図７を用いて後述するが、この処理において、制御部１１０は、ＣＣＤセンサ２によって撮像された撮像領域の画像から、識別体を検出し、その識別体とＨＭＤ１との距離を算出し、その距離に基づいて、複数の識別体の中から、表示手段２０７によってコンテンツ情報を表示させる識別体を選択することとなる。この処理が終了した場合には、ステップＳ１４に処理を移す。

ステップＳ１４において、制御部１１０は、選択された識別体に対応する対応情報の画像データをフラッシュメモリ１０２から読み込み、画像として、識別体位置指示ドットと共にＶＲＡＭ１０５におけるフレームバッファ上に描画する。これによって、制御部１１０は、このフレームバッファ上に描画した画像を識別体位置指示ドットと共に光走査部１０に供給することとなり、観察者Ｐによって視認可能に表示させることとなる。特に、表示手段２０７は、図４（ｂ）に示すように、透過して視認可能な視野範囲の識別体と関連付けることができるように、識別体と対応する対応情報を表示させることとなる。つまり、制御部１１０は、選択された識別体に対応する対応情報を、表示手段２０７を透過して観察者に視認される当該識別体と関連させて表示させる制御を行うこととなる。このような処理を実行することによって、制御部１１０は、表示制御手段２０６として機能する。尚、制御部１１０は、選択された識別体に対応する対応情報が動画コンテンツである場合にも、識別体に対応する対応情報を所定周期毎に画像としてフレームバッファ上に描画する。この処理が終了した場合には、ステップＳ１５に処理を移す。

ステップＳ１５において、制御部１１０は、その他制御処理を実行する。そして、制御部１１０は、電源オフであるか否かを判定する（ステップＳ１６）。この処理において、制御部１１０は、電源スイッチＳＷの操作等に応じて、電源オフであるか否かを判定することとなる。制御部１１０は、電源オフであると判定すると（ステップＳ１６：ＹＥＳ）、メイン処理を終了する。一方、制御部１１０は、電源オフではないと判定すると（ステップＳ１６：ＮＯ）、再度、ステップＳ１２に処理を移す。これによって、制御部１１０は、電源オフとなるまで、ステップＳ１２からステップＳ１５を繰り返し実行することとなる。

［識別体選択処理］
図６のステップＳ１３において実行されるサブルーチンについて図７を用いて説明する。

最初に、図７に示すように、制御部１１０は、撮像素子から画像を取り込む（ステップＳ２１）。この処理において、制御部１１０は、撮像手段２０１としてのＣＣＤセンサ２によって撮像された撮像領域Ａの画像を取り込み、ＲＡＭ１０３に記憶する。この処理が終了した場合には、ステップＳ２２に処理を移す。

ステップＳ２２において、制御部１１０は、画像内の全識別体をＩＤとともに抽出する。この処理において、制御部１１０は、ステップＳ２１において取り込んだ撮像領域Ａの画像から、識別体を検出する。そして、制御部１１０は、識別体を検出した場合には、その検出した識別体に含まれているＩＤを読み出す。これによって、制御部１１０は、どのような識別体であるかを認識可能である。このような処理を実行することによって、制御部１１０は、識別体検出手段２０３として機能する。この処理が終了した場合には、ステップＳ２３に処理を移す。

ステップＳ２３において、制御部１１０は、抽出した各識別体までの距離を算出する。この処理において、制御部１１０は、ステップＳ２２において検出した識別体毎に、その識別体として撮像された撮像画素の範囲によって、その識別体とＨＭＤ１（ＨＭＤ１を装着した観察者Ｐ）との距離を、その識別体とＨＭＤ１との位置関係として算出する。このような処理を実行することによって、制御部１１０は、位置関係算出手段２０４として機能する。この処理が終了した場合には、ステップＳ２４に処理を移す。

ステップＳ２４において、制御部１１０は、探索範囲決定距離よりも近くにある識別体を選択する。この処理において、制御部１１０は、予め設定されている探索範囲決定距離をフラッシュメモリ１０２から読み出す。そして、制御部１１０は、その探索範囲決定距離と、ステップＳ２３において算出された識別体とＨＭＤ１との距離とを参照する。そして、制御部１１０は、探索範囲決定距離よりも近くにある識別体を選択し、ＲＡＭ１０３の所定領域にセットする。つまり、制御部１１０は、対応する対応情報を表示させる識別体の選択範囲（上述した探索範囲決定距離）を撮像領域Ａ内に設定し、検出された識別体と観察者Ｐとの距離に基づいて、選択範囲における識別体の少なくともいずれかを、表示手段２０７により対応情報を表示させる識別体として選択することとなる。このような処理を実行することによって、制御部１１０は、識別体選択手段２０５として機能する。なお、本実施形態においては、制御部１１０は、探索範囲決定距離よりも近くにあり、近い順番で上限を４個として識別体を選択することとなる。この処理が終了した場合には、本サブルーチンを終了する。

このように、観察者の視野範囲のうち少なくとも一部を撮像し、撮像領域内における識別体を検出する。そして、検出された結果に基づいて、対応する対応情報を表示手段により表示させる識別体を選択する。そして、選択された識別体に対応する対応情報を、表示手段を透過して観察者に視認される識別体と関連させて表示手段により表示させる制御を行う。従って、多数の識別体が検出されたときでも、その識別体の検出結果に基づいて、対応情報を表示手段により表示させる識別体を選択することとなり、多数の識別体が検出された場合であっても視認し易く必要十分な表示情報を表示することができる。

また、検出された識別体と観察者との位置関係に基づいて、対応する対応情報を表示手段により表示させる識別体の選択範囲を撮像領域内に設定し、選択範囲における識別体の少なくともいずれかを、対応情報を表示させる識別体として選択する。従って、検出された識別体と観察者との位置関係に基づいて、設定された選択範囲における識別体を、対応情報を表示させる識別体として選択するため、その位置関係に応じた識別体を選択することができる。また、観察者が識別体との位置関係を意識して、対応情報を表示させる識別体を選択することができ、多数の識別体が検出された場合であっても、煩雑な操作を行うことなく、視認し易く表示情報を表示することができる。

また、検出された識別体と観察者との距離を位置関係として、対応情報を表示させる識別体として選択する。従って、観察者との距離に応じた識別体を選択することができる。例えば、観察者との距離が近い識別体を優先して選択することができ、簡便である。また、観察者が識別体との距離を意識して、対応情報を表示させる識別体を選択することができ、多数の識別体が検出された場合であっても、煩雑な操作を行うことなく、視認し易く表示情報を表示することができる。

［第二の実施形態］
なお、上述した実施形態においては、ＨＭＤ１との距離に基づいて、対応情報を表示させる識別体を選択したが、これに限らず、例えば、識別体、ＨＭＤ１を結ぶ直線と、ＨＭＤ１正面方向とがなす角度に基づいて、対応情報を表示させる識別体を選択してもよい。つまり、検出された識別体とＨＭＤ１との位置関係に基づいて、対応情報を表示させる識別体を選択してもよい。

具体的な一実施形態について図４（ｄ）及び図８を用いて以下に説明する。なお、本実施形態においては、発明の理解を容易とするために、異なる構成、処理について主に説明をし、同じような構成、処理については説明を省略する。

［ＨＭＤ表示内容］
本実施形態においては、図４（ｄ）に示すように、撮像領域Ａ内において６つの識別体のうちの４つの識別体に対応付けられたコンテンツ情報が表示されるが、図４（ｂ）に示す識別体とは異なる。上述した実施形態とは異なり、識別体と観察者Ｐとを結ぶ直線と、観察者Ｐ正面方向とがなす角度に基づいて、識別体を選択するため、視野範囲の中心近くの識別体が優先してコンテンツ情報が表示される（例えば、商品Ｂ、商品Ｃ、商品Ｄ、商品Ｅ）。また、コンテンツ情報を表示させるか否かを決定するために予め設定されている探索範囲決定角度を示す探索範囲決定角度画像Ｂが表示されている。

［識別体選択処理］
図６のステップＳ１３において実行されるサブルーチンについて図８を用いて説明する。

最初に、図７に示すように、制御部１１０は、撮像素子から画像を取り込み（ステップＳ２１）、画像内の全識別体をＩＤとともに抽出する（ステップＳ２２）。この処理が終了した場合には、ステップＳ３３に処理を移す。

ステップＳ３３において、制御部１１０は、抽出した各識別体とのなす角度を算出する。この処理において、制御部１１０は、ステップＳ２２において検出した識別体毎に、その識別体として撮像された撮像画素の範囲によって、その識別体とＨＭＤ１（ＨＭＤ１を装着した観察者Ｐ）との角度を、その識別体とＨＭＤ１との位置関係として算出する。ここでいう識別体とＨＭＤ１（ＨＭＤ１を装着した観察者Ｐ）との角度とは、その識別体と観察者Ｐとを結ぶ直線と、観察者Ｐ正面方向と、がなす角度である。このような処理を実行することによって、制御部１１０は、位置関係算出手段２０４として機能する。この処理が終了した場合には、ステップＳ３４に処理を移す。

ステップＳ３４において、制御部１１０は、視野範囲の中心を基準とした探索範囲決定角度よりも内側にある識別体を選択する。この処理において、制御部１１０は、予め設定されている探索範囲決定角度をフラッシュメモリ１０２から読み出す。そして、制御部１１０は、その探索範囲決定角度と、ステップＳ３３において算出された識別体とＨＭＤ１とのなす角度とを参照する。そして、制御部１１０は、視野範囲の中心を基準とした探索範囲決定角度よりも内側にある識別体を選択し、ＲＡＭ１０３の所定領域にセットする。つまり、制御部１１０は、対応する対応情報を表示させる識別体の選択範囲（上述した探索範囲決定角度）を撮像領域Ａ内に設定し、検出された識別体、観察者Ｐを結ぶ直線と、観察者Ｐ正面方向とがなす角度距離に基づいて、選択範囲における識別体の少なくともいずれかを、表示手段２０７により対応情報を表示させる識別体として選択することとなる。特に、制御部１１０は、検出された識別体のうち、観察者Ｐの視野範囲の中心を基準として近い位置関係である識別体を優先して、対応情報を表示させる識別体として選択することとなる。このような処理を実行することによって、制御部１１０は、識別体選択手段２０５として機能する。なお、本実施形態においては、制御部１１０は、探索範囲決定角度よりも内側にあり、視野範囲の中心に近い順番で上限を４個として識別体を選択することとなる。この処理が終了した場合には、本サブルーチンを終了する。

このように、検出された識別体と観察者とを結ぶ直線と観察者正面方向とがなす角度を位置関係として、対応情報を表示させる識別体として選択する。従って、識別体と観察者とを結ぶ直線と、観察者正面方向とがなす角度に応じた識別体を選択することができる。また、観察者が識別体とのなす角度を意識して、対応情報を表示させる識別体を選択することができ、多数の識別体が検出された場合であっても、煩雑な操作を行うことなく、視認し易く表示情報を表示することができる。

また、検出された識別体のうち、観察者の視野範囲の中心を基準として近い位置関係である識別体を優先して、対応情報を表示させる識別体として選択する。従って、観察者の視野範囲の中心を基準として近い識別体を優先して選択することができ、簡便である。

［第三の実施形態］
なお、上述した実施形態においては、ＨＭＤ１と観察者Ｐとの位置関係が所定の選択範囲にあるか否かと、表示させる上限数とに基づいて、コンテンツ情報を表示させる識別体を選択したが、これに限らず、例えば、上限数を、検出した識別体の数によって変動させてもよい。

具体的な一実施形態について図９及び図１０を用いて以下に説明する。なお、本実施形態においては、発明の理解を容易とするために、異なる構成、処理について主に説明をし、同じような構成、処理については説明を省略する。

［表示個数決定テーブル］
上述したフラッシュメモリ１０２には、図９に示すような表示個数決定テーブルが記憶されている。表示個数決定テーブルは、コンテンツ情報を表示させる上限個数を決定するためのテーブルである。表示個数決定テーブルには、識別体数と表示個数とが対応付けられている。具体的には、識別体数が１〜１０である場合には、表示個数が４個として決定され、識別体数が１１〜２０である場合には、表示個数が５個として決定され、識別体数が２１以上である場合には、表示個数が６個として決定される。

なお、本実施形態においては、撮像領域Ａにおいて検出された識別体の数に基づいて表示個数を決定したが、これに限らず、例えば、撮像領域Ａにおける選択範囲（探索範囲決定距離、探索範囲決定角度）において検出された識別体の数に基づいて表示個数を決定してもよい。

［識別体選択処理］
図６のステップＳ１３において実行されるサブルーチンについて図１０を用いて説明する。

最初に、図１０に示すように、制御部１１０は、撮像素子から画像を取り込み（ステップＳ２１）、画像内の全識別体をＩＤとともに抽出する（ステップＳ２２）。そして、制御部１１０は、抽出した各識別体までの距離を算出する（ステップＳ２３）。この処理が終了した場合には、ステップＳ２５に処理を移す。

ステップＳ２５において、制御部１１０は、抽出した識別体数に基づいて、対応情報の表示個数を算出する。この処理において、制御部１１０は、撮像領域Ａにおいて抽出した識別体数を計数する。そして、制御部１１０は、図９に示す表示個数決定テーブルを参照し、撮像領域Ａにおける識別体数に基づいて対応情報の表示個数を算出し、ＲＡＭ１０３の所定領域にセットする。この処理が終了した場合には、ステップＳ２６に処理を移す。

ステップＳ２６において、制御部１１０は、距離が近い識別体から順に、表示個数の識別体を選択する。この処理において、制御部１１０は、ステップＳ２５において算出された表示個数を参照する。そして、制御部１１０は、探索範囲決定距離よりも近くにあり、近い順番で、参照した表示個数を上限として識別体を選択し、ＲＡＭ１０３の所定領域にセットする。つまり、制御部１１０は、検出された撮像領域Ａ内における識別体の数に基づいて、対応情報を表示させる識別体を選択することとなる。このような処理を実行することによって、制御部１１０は、識別体選択手段２０５として機能する。この処理が終了した場合には、本サブルーチンを終了する。

このように、検出された撮像領域内における識別体の数に基づいて、対応情報を表示させる識別体を選択するので、識別体の数に応じて識別体を選択することができ、簡便である。特に、識別体の数が多くなると、対応情報を表示させる識別情報を多くするように設定することによって、観察者によって撮像領域内における識別体の数が認識可能となり、更には、全ての対応情報を視認するための時間を短縮することができる。

［第四の実施形態］
なお、上述した実施形態においては、検出した識別体と観察者Ｐとの位置関係に基づいて、コンテンツ情報を表示させる識別体を選択したが、これに限らず、例えば、識別体のＩＤ、即ち、識別体の種別に基づいて、コンテンツ情報を表示させる識別体を選択してもよい。また、例えば、検出した識別体と観察者との距離、角度、識別体の種別などから選択された要素に基づいて、コンテンツ情報を表示させる識別体を選択してもよい。更には、上述した実施形態においては、選択範囲は予め設定されていたが、これに限らず、例えば、操作手段の操作に応じて、選択範囲を変更可能に設定してもよい。更には、上述した実施形態においては、コンテンツ情報を表示させる上限となる表示個数は予め設定されていたが、これに限らず、例えば、操作手段の操作に応じて、表示個数を変更可能に設定してもよい。

具体的な一実施形態について図４（ｅ）、図１１及び図１４を用いて以下に説明する。なお、本実施形態においては、発明の理解を容易とするために、異なる構成、処理について主に説明をし、同じような構成、処理については説明を省略する。

［ＨＭＤ電気的構成］
ここで、本実施形態に係るＨＭＤ１の電気的構成等について、図１１を参照して説明する。図１１は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。

図１１に示すように、制御部１１０は、ＨＭＤ１の変位を検知する加速度センサ６、観察者によって操作可能な操作スイッチ７とも接続されている。

［ＨＭＤ機能構成］
ここで、本実施形態に係るＨＭＤ１の機能構成等について、図１２を参照して説明する。図１２は、本実施形態に係るＨＭＤ１の機能構成を示す説明図である。

図１２に示すように、ＨＭＤ１における加速度センサ６は、変位検知手段２０８を有している。この変位検知手段２０９は、ＨＭＤ１の変位を検知することとなる。

また、ＨＭＤ１における操作スイッチ７は、操作手段２０９を有している。この操作手段２０９は、観察者によって操作可能である。

［ＨＭＤ表示内容］
なお、本実施形態においては、操作スイッチ７の操作に応じて探索範囲決定距離や、探索範囲決定角度、選択範囲を変更可能に設定可能である。例えば、探索範囲決定角度が変更された場合には、図４（ｅ）に示すように、探索範囲決定角度を示す探索範囲決定角度画像Ｂが変更されて表示される。また、その探索範囲決定角度によって、コンテンツ情報が表示される識別体が変化することとなる（例えば、商品Ｄ、商品Ｅ、商品Ｆなど）。

［メイン処理］
最初に、図６に示すように、ＨＭＤ１に電源が投入されると、制御部１１０は、初期設定を行う（ステップＳ１１）。この処理において、制御部１１０は、ＲＡＭアクセス許可、作業領域の初期化等を実行する。特に、制御部１１０は、初期状態においては、撮像手段２０１による撮像領域Ａの全域を、対応情報を表示させる識別体の選択範囲として設定することとなる。この処理が終了した場合には、ステップＳ１２に処理を移す。

［各種設定処理］
図６のステップＳ１５においては、所定のタイミングで各種設定処理を実行する。このようなサブルーチンについて図１３を用いて説明する。

最初に、図１３に示すように、制御部１１０は、探索条件設定操作ありか否かを判定する（ステップＳ１０１）。この処理において、制御部１１０は、操作スイッチ７などの操作に応じて、探索条件設定操作ありか否かを判定することとなる。

制御部１１０は、探索条件設定操作ありと判定した場合には（ステップＳ１０１：ＹＥＳ）、探索条件設定処理を実行し（ステップＳ１０２）、ステップＳ１０３に処理を移す。この探索条件設定処理においては、制御部１１０は、探索条件の設定を行う。ここでいう探索条件とは、識別体に対応するコンテンツ情報の表示の探索基準であり、具体的には、識別体との距離、識別体との角度、識別体の種別の少なくともいずれかを基準とするかである。

一方、制御部１１０は、探索条件設定操作なしと判定した場合には（ステップＳ１０１：ＮＯ）、ステップＳ１０２を実行することなく、ステップＳ１０３に処理を移す。

ステップＳ１０３において、制御部１１０は、選択範囲設定操作ありか否かを判定する。この処理において、制御部１１０は、操作スイッチ７などの操作に応じて、選択範囲設定操作ありか否かを判定することとなる。

制御部１１０は、選択範囲設定操作ありと判定した場合には（ステップＳ１０３：ＹＥＳ）、選択範囲設定処理を実行し（ステップＳ１０４）、ステップＳ１０５に処理を移す。この選択範囲設定処理においては、制御部１１０は、選択範囲の設定を行う。ここでいう選択範囲とは、探索範囲決定距離や探索範囲決定角度であり、例えば、操作スイッチ７の操作に応じて、図４（ｅ）に示すように、探索範囲決定角度を示す探索範囲決定角度画像Ｂを変更することができる。

一方、制御部１１０は、選択範囲設定操作なしと判定した場合には（ステップＳ１０３：ＮＯ）、ステップＳ１０４を実行することなく、ステップＳ１０５に処理を移す。

ステップＳ１０５において、制御部１１０は、探索範囲決定距離設定操作ありか否かを判定する。この処理において、制御部１１０は、操作スイッチ７などの操作に応じて、探索範囲決定距離設定操作ありか否かを判定することとなる。

制御部１１０は、探索範囲決定距離設定操作ありと判定した場合には（ステップＳ１０５：ＹＥＳ）、探索範囲決定距離設定処理を実行し（ステップＳ１０６）、ステップＳ１０７に処理を移す。この探索範囲決定距離設定処理においては、制御部１１０は、上述した実施形態のような探索範囲決定距離の設定を行う。

一方、制御部１１０は、探索範囲決定距離設定操作なしと判定した場合には（ステップＳ１０５：ＮＯ）、ステップＳ１０６を実行することなく、ステップＳ１０７に処理を移す。

ステップＳ１０７において、制御部１１０は、探索範囲決定角度設定操作ありか否かを判定する。この処理において、制御部１１０は、操作スイッチ７などの操作に応じて、探索範囲決定角度設定操作ありか否かを判定することとなる。

制御部１１０は、探索範囲決定角度設定操作ありと判定した場合には（ステップＳ１０７：ＹＥＳ）、探索範囲決定角度設定処理を実行し（ステップＳ１０８）、ステップＳ１０９に処理を移す。この探索範囲決定角度設定処理においては、制御部１１０は、上述した実施形態のような探索範囲決定角度の設定を行う。

一方、制御部１１０は、探索範囲決定角度設定操作なしと判定した場合には（ステップＳ１０７：ＮＯ）、ステップＳ１０８を実行することなく、ステップＳ１０９に処理を移す。

ステップＳ１０９において、制御部１１０は、選択種別設定操作ありか否かを判定する。この処理において、制御部１１０は、操作スイッチ７などの操作に応じて、選択種別設定操作ありか否かを判定することとなる。

制御部１１０は、選択種別設定操作ありと判定した場合には（ステップＳ１０９：ＹＥＳ）、選択種別設定処理を実行し（ステップＳ１１０）、ステップＳ１１１に処理を移す。この選択種別設定処理においては、制御部１１０は、選択種別の設定を行う。ここでいう選択種別とは、探索する識別体の種別であり、ＤＶＤ、ＣＤ、本などメディアの種別や、アクション、ロマンス、ヒューマンドラマ、サスペンスなどジャンルが一例に挙げられる。

一方、制御部１１０は、選択種別設定操作なしと判定した場合には（ステップＳ１０９：ＮＯ）、ステップＳ１１０を実行することなく、ステップＳ１１１に処理を移す。

ステップＳ１１１において、制御部１１０は、表示個数設定操作ありか否かを判定する。この処理において、制御部１１０は、操作スイッチ７などの操作に応じて、表示個数設定操作ありか否かを判定することとなる。

制御部１１０は、表示個数設定操作ありと判定した場合には（ステップＳ１１１：ＹＥＳ）、表示個数設定処理を実行し（ステップＳ１１２）、本サブルーチンを終了する。この表示個数設定処理においては、制御部１１０は、上述した実施形態のような表示個数の設定を行う。

一方、制御部１１０は、表示個数設定操作なしと判定した場合には（ステップＳ１１１：ＮＯ）、ステップＳ１１２を実行することなく、本サブルーチンを終了する。

［識別体選択処理］
図６のステップＳ１３において実行されるサブルーチンについて図１４を用いて説明する。

最初に、図１４に示すように、制御部１１０は、撮像素子から画像を取り込み（ステップＳ２１）、画像内の全識別体をＩＤとともに抽出する（ステップＳ２２）。この処理が終了した場合には、ステップＳ４１に処理を移す。

ステップＳ４１において、制御部１１０は、抽出した識別体数に基づいて、対応情報の表示個数を算出する。この処理において、制御部１１０は、撮像領域Ａにおいて抽出した識別体数を計数する。そして、制御部１１０は、ステップＳ１１１において設定された表示個数を参照し、撮像領域Ａにおける識別体数に基づいて対応情報の表示個数を算出し、ＲＡＭ１０３の所定領域にセットする。この処理が終了した場合には、ステップＳ４２に処理を移す。

ステップＳ４２において、制御部１１０は、ステップＳ１０４において設定された選択範囲設定を参照し、選択範囲を決定する。なお、ステップＳ１０４において設定されていない場合には、初期状態の設定により、撮像領域Ａが選択範囲となる。この処理が終了した場合には、ステップＳ４３に処理を移す。

ステップＳ４３において、制御部１１０は、ステップＳ１０２において種別による探索条件が設定された場合には、ステップＳ１１０において設定された選択種別設定を参照し、設定された種別の識別体を抽出することとなる。この処理が終了した場合には、ステップＳ４４に処理を移す。

ステップＳ４４において、制御部１１０は、探索条件が距離設定であるか否かを判定する。この処理において、制御部１１０は、ステップＳ１０２において種別による探索条件を参照し、探索条件が距離設定であるか否かを判定することとなる。

制御部１１０は、探索条件が距離設定であると判定した場合には（ステップＳ４４：ＹＥＳ）、上述したように、ステップＳ４１からステップＳ４３の実行により抽出された各識別体までの距離を算出し（ステップＳ２３）、距離が近い識別体から順に、表示個数の識別体を選択する（ステップＳ２６）。この処理が終了した場合には、本サブルーチンを終了する。

一方、制御部１１０は、探索条件が距離設定ではないと判定した場合には（ステップＳ４４：ＮＯ）、ステップＳ４５に処理を移す。

ステップＳ４５において、制御部１１０は、探索条件が角度設定であるか否かを判定する。この処理において、制御部１１０は、ステップＳ１０２において種別による探索条件を参照し、探索条件が角度設定であるか否かを判定することとなる。

制御部１１０は、探索条件が角度設定であると判定した場合には（ステップＳ４５：ＹＥＳ）、上述したように、ステップＳ４１からステップＳ４３の実行により抽出された各識別体とのなす角度を算出し（ステップＳ３３）、視野範囲の中心からなす角度が小さい識別体から順に、表示個数の識別体を選択する（ステップＳ３６）。この処理が終了した場合には、本サブルーチンを終了する。この処理が終了した場合には、本サブルーチンを終了する。

一方、制御部１１０は、探索条件が角度設定ではないと判定した場合には（ステップＳ４５：ＮＯ）、ステップＳ４１からステップＳ４３の実行により抽出された識別体から、表示個数の識別体をランダムに選択する（ステップＳ４６）。この処理が終了した場合には、本サブルーチンを終了する。

このように、検出された識別体の種別に基づいて、対応情報を表示させる識別体を選択する。従って、識別体の種別に応じた識別体を選択することができる。

また、初期状態において、撮像領域の全域を選択範囲として設定する。従って、初期状態であっても、撮像領域の全域における識別体を検出可能であり、識別体の未検出を防止し、簡便である。

更には、選択範囲を表示手段に表示させる制御を行い、観察者の操作に応じて、選択範囲を変更させる。従って、観察者の意図する選択範囲における識別体を選択することができ、簡便である。

［その他の実施形態］
なお、上述した実施形態においては、操作スイッチ７の操作に応じて、各種の設定や決定を行うようにしたが、これに限らず、例えば、上述したようにＨＭＤ１に設置された加速度センサ６を用いて各種の設定や決定を行うようにしてもよい。また、ＨＭＤ１自体に設置された操作スイッチ７ではなく、操作手段としてレーザマーカを用いて、レーザが照射されたか否かによって各種の設定や決定を行うようにしてもよい。

具体的には、例えば、レーザマーカを用いて、図４（ｆ）に示すように、識別体を指定することで、撮像領域Ａにおいて撮像された画像からレーザ光スポットを認識し、指定された識別体に対応するコンテンツ情報を表示させることもできる。

このように、観察者によって識別体に向けてレーザ光を照射可能であり、その照射されるレーザ光に応じて、対応情報を表示させる識別体を選択する。従って、ＨＭＤに直接的に接続せずに、識別体を選択することができ、簡便である。また、レーザ光の照射によって直接的に識別体を指定することができ、簡便である。

また、例えば、上述したようなレーザを識別体に照射し、観察者Ｐが頷くことによって、ＨＭＤ１が縦方向に変位したことを認識し、レーザが照射された識別体に対応するコンテンツ情報を表示させることもできる。

このように、ＨＭＤの変位を検知し、ＨＭＤが変位した場合に、対応する対応情報を表示手段により表示させる識別体を選択する。従って、特別な操作手段をＨＭＤに設けなくても、対応情報を表示させる識別体を選択することができる。また、手等を用いなくも、対応情報を表示させる識別体を選択することができる。

また、例えば、上述したようなレーザを識別体に照射し、観察者Ｐが首を固定して所定時間経過することによって、ＨＭＤ１が所定時間だけ変位していないことを認識し、レーザが照射された識別体を、コンテンツ情報を表示させる識別体として確定させることもできる。

このように、ＨＭＤの変位を検知し、所定時間だけヘッドマウントディスプレイが変位しなかった場合に、暫定的に選択した識別体を、対応情報を表示させる識別体として確定する。従って、特別な操作手段を設けなくても、対応情報を表示させる識別体として確定することができる。また、手等を用いなくも、対応情報を表示させる識別体として確定することができる。

なお、上述した実施形態においては、ＨＭＤ１自体で各種の処理を行っていたが、これに限らず、例えば、ＨＭＤ１がネットワークを介して通信を行うことによって、各種の処理を行ってもよい。

具体的な一例としては、図１５に示すように、ＨＭＤ１、サーバ３００、パーソナルコンピュータ３１０及び携帯型端末装置３１２が、ネットワーク網３０２に接続され、相互に通信可能に構成する。この場合において、例えば、コンテンツ情報やその種別などがサーバ３００に記憶されており、所定のタイミングでＨＭＤ１がサーバ３００との通信によってそれら情報を取得するように構成してもよい。また、これらの通信をパーソナルコンピュータ３１０や携帯型端末装置３１２を介して行ってもよい。

なお、上述した実施形態においては、ＨＭＤ１において操作スイッチ７などが設けられ、その操作に応じて、自体で各種の処理を行っていたが、これに限らず、例えば、図１５に示すように、ＨＭＤ１と、パーソナルコンピュータ３１０や携帯型端末装置３１２とが接続され、相互に通信可能に構成することによって、操作信号がＨＭＤ１に供給されるようにしてもよい。

本発明の一実施形態に係るＨＭＤシステムを示す説明図である。 本発明の一実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。 本発明の一実施形態に係るＨＭＤ１の機能構成を示す説明図である。 本発明の一実施形態に係るＨＭＤ１の表示内容等を示す説明図である。 本発明の一実施形態に係るＨＭＤ１において識別体と観察者Ｐとの位置関係の算出に関する説明図である。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 表示個数決定テーブルの一例を示す説明図である。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 本発明の一実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。 本発明の一実施形態に係るＨＭＤ１の機能構成を示す説明図である。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 本発明の一実施形態に係るＨＭＤ１の電気的構成を示す説明図である。

符号の説明

１ ＨＭＤ
２ ＣＣＤセンサ
１１０ 制御部

Claims (13)

1. 外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
   前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、
   前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、
   前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段と、
   前記識別体検出手段によって検出された結果に基づいて、対応する対応情報を前記表示手段により表示させる識別体を選択する識別体選択手段と、
   前記対応情報記憶手段に記憶され、前記識別体選択手段によって選択された識別体に対応する対応情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記識別体選択手段は、前記識別体検出手段によって検出された識別体と前記観察者との位置関係に基づいて、対応する対応情報を前記表示手段により表示させる識別体の選択範囲を前記撮像領域内に設定し、前記選択範囲における識別体の少なくともいずれかを、前記対応情報を表示させる識別体として選択することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記識別体選択手段は、前記識別体検出手段によって検出された識別体と前記観察者との距離を前記位置関係として、前記対応情報を表示させる識別体として選択することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記識別体選択手段は、前記識別体検出手段によって検出された識別体と前記観察者とを結ぶ直線と観察者正面方向とがなす角度を前記位置関係として、前記対応情報を表示させる識別体として選択することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
5. 前記識別体選択手段は、前記識別体検出手段によって検出された識別体のうち、前記観察者の視野範囲の中心を基準として近い位置関係である識別体を優先して、前記対応情報を表示させる識別体として選択することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
6. 前記撮像手段によって前記識別体として撮像された撮像画素の範囲によって、前記位置関係を算出する位置関係算出手段を備えたことを特徴とする請求項２から５のいずれかに記載のヘッドマウントディスプレイ。
7. 前記識別体選択手段は、初期状態において、前記撮像手段による撮像領域の全域を前記選択範囲として設定することを特徴とする請求項２から６のいずれかに記載のヘッドマウントディスプレイ。
8. 観察者によって操作可能な操作手段を備え、
   前記表示制御手段は、前記選択範囲を前記表示手段に表示させる制御を行い、
   前記識別体選択手段は、前記操作手段の操作に応じて、前記選択範囲を変更させることを特徴とする請求項２から７のいずれかに記載のヘッドマウントディスプレイ。
9. 前記識別体選択手段は、前記識別体検出手段によって検出された前記撮像領域内における識別体の数に基づいて、対応情報を表示させる識別体を選択することを特徴とする請求項１から８のいずれかに記載のヘッドマウントディスプレイ。
10. 前記識別体選択手段は、前記識別体検出手段によって検出された識別体の種別に基づいて、対応情報を表示させる識別体を選択することを特徴とする請求項１から９のいずれかに記載のヘッドマウントディスプレイ。
11. 観察者によって識別体に向けてレーザ光を照射可能なレーザマーカ手段を備え、
    前記識別体選択手段は、前記レーザマーカ手段によって照射されるレーザ光に応じて、対応情報を表示させる識別体を選択することを特徴とする請求項１から１０のいずれかに記載のヘッドマウントディスプレイ。
12. 前記ヘッドマウントディスプレイの変位を検知する変位検知手段を備え、
    前記識別体選択手段は、前記変位検知手段によって前記ヘッドマウントディスプレイが変位した場合に、対応する対応情報を前記表示手段により表示させる識別体を選択することを特徴とする請求項１から１１のいずれかに記載のヘッドマウントディスプレイ。
13. 前記ヘッドマウントディスプレイの変位を検知する変位検知手段を備え、
    前記識別体選択手段は、前記変位検知手段によって所定時間だけ前記ヘッドマウントディスプレイが変位しなかった場合に、暫定的に選択した識別体を、対応情報を表示させる識別体として確定することを特徴とする請求項１から１１のいずれかに記載のヘッドマウントディスプレイ。

Images