JP2020205061A - 表示装置及びヘッドマウントディスプレイ - Google Patents

Abstract

【課題】視線誘導を行うことでユーザに情報を適切に視認させることが可能な表示装置及びヘッドマウントディスプレイを提供する。【解決手段】表示装置は、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させることで、画像を視認させる。つまり、表示装置は、視線方向依存型の表示装置である。また、表示装置は、ユーザが視認する現実環境に対して情報を付加提示するＡＲを実現可能に構成されている。表示装置の視線誘導手段は、ユーザの視線を向けさせるべき位置である誘導ポイントにユーザの視線を誘導するための情報を出力する。誘導ポイントは、現実環境に存在する対象物の位置、又は現実環境に存在する対象物に対して表示された情報の位置である。【選択図】図１

Description

本発明は、ユーザが視線を向けた方向の画像のみを視認させる表示装置の技術分野に関する。

この種の技術が例えば特許文献１に記載されている。特許文献１には、表示すべき画像に対応する光の集光点を眼球の略中心に設定することで、ユーザが視線を向けた方向にのみ画像を表示することが可能な表示装置（以下では「視線方向依存型の表示装置」と呼ぶ。）が記載されている。視線方向依存型の表示装置では、集光点を眼球の略中心に設定することで、視線方向の光線のみが瞳孔を通過するため、視線方向の画像のみが視認されることとなる。

特開２００２−９０６８８号公報

上記したような視線方向依存型の表示装置では、視線方向の画像は見えるが、視線方向以外の画像は見えない。そのため、当該表示装置にて提示した情報を、ユーザに適切に提供することができない場合があった。

本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、視線誘導を行うことでユーザに情報を適切に視認させることが可能な表示装置及びヘッドマウントディスプレイを提供することを課題とする。

請求項１に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、前記現実環境に存在する対象物を検出する検出手段と、音声を出力する音声出力部と、検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための音声を前記音声出力部に出力させる視線誘導手段と、を備える。

請求項２に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、前記現実環境に存在する対象物を検出する検出手段と、前記ユーザの視線を検出する視線検出手段と、検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段と、を備え、前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記報知を終了する。

請求項３に記載の発明では、画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させる表示装置であって、前記ユーザの視線を検出する視線検出手段と、前記表示装置により前記ユーザの視線方向に応じた視認エリアの外に表示されるべき画像に対応する位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段を備え、前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記報知を終了する。

請求項４に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、前記現実環境に存在する対象物を検出する検出手段と、前記ユーザの頭部の動きを検出する動き検出手段と、検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段と、を備え、前記視線誘導手段は、前記動き検出手段によって前記誘導ポイントに向かう前記頭部の動きが検出されてから所定時間が経過した際に、前記報知を終了する。

請求項１６に記載の発明では、ヘッドアップディスプレイは、ユーザの視線方向に応じた視認エリアの外に表示されるべき画像に対応する位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段を備えることを特徴とする。

ヘッドマウントディスプレイ（ＨＭＤ）の概略構成を示す。 制御部の構成を示すブロック図である。 従来の視線方向依存型の表示装置の問題点を説明するための図を示す。 誘導画像の第１の表示例を示す図である。 誘導画像の第２の表示例を示す図である。 誘導画像の第３の表示例を示す図である。 誘導画像の第４の表示例を示す図である。 視線誘導の終了に関する第１の例を示す図である。 視線誘導の終了に関する第２の例を示す図である。 ＡＲシステムによる表示を説明するための図を示す。 エリア別の視線誘導の具体例を示す。

本発明の１つの観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。

上記の表示装置は、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置（例えば眼球の略中心）に集光させることで、画像を視認させる。つまり、表示装置は、視線方向依存型の表示装置である。また、表示装置は、ユーザが視認する現実環境に対して情報を付加提示するＡＲ（Augment Reality）を実現可能に構成されている。このような視線方向依存型の表示装置では、視線方向以外の画像がユーザには見えないため、当該装置によって提示された情報をユーザが見逃しやすいといった課題がある。そのため、視線誘導手段は、ユーザの視線を向けさせるべき位置である誘導ポイントにユーザの視線を誘導するための誘導画像を表示させる。誘導ポイントは、現実環境に存在する対象物の位置、又は現実環境に存在する対象物に対して表示された情報の位置である。上記の表示装置によれば、ユーザの視線を誘導することで、現実環境に存在する対象物や対象物に対して表示された情報を、ユーザに適切に視認させることが可能となる。

上記の表示装置の一態様では、前記視線誘導手段は、前記誘導画像として、時間の経過に伴って前記誘導ポイントに向かってサイズが縮小してく画像を表示させる。これにより、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。

上記の表示装置において好適には、前記視線誘導手段は、前記誘導ポイントと、前記表示装置の表示エリアにおいて前記誘導ポイントから最も離れた端の位置との距離に応じたサイズを、前記誘導画像の初期サイズとし、当該初期サイズから前記誘導画像のサイズを縮小していく。これにより、視線誘導効果が得られない視線方向を無くすことができると共に、視線誘導効果の時間効率の悪化を抑制することができる。

上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導画像として、前記誘導ポイントまでの距離に応じた空間的な変化を有する画像を表示させる。これによっても、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。

好適な例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた明るさの変化である。好適な他の例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた色の変化である。また、好適な他の例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた画像の密度の変化である。例えば、画像の密度の変化は、線分や点の密度の変化である。

上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導画像として、前記誘導ポイントの方向を指し示す画像を表示させる。これによっても、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。

上記の表示装置の他の一態様では、前記ユーザの視線を検出する視線検出手段を更に有し、前記視線誘導手段は、前記視線方向検出手段によって検出された前記視線に応じたエリアにのみ、前記誘導画像を表示させる。これにより、視線方向を中心にユーザが視認しやすい誘導画像を表示させることができる。

上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導ポイントに視線を向けた際の視認エリアに応じた第１エリアに、前記誘導画像を表示させない。これにより、ユーザが誘導ポイントに視線を移動させると、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。

好適には、前記視線誘導手段は、前記ユーザの瞳孔の大きさ又は前記ユーザの周囲の明るさに応じて、前記第１エリアのサイズを変化させる。こうするのは、ユーザの周囲の明るさ（環境光の明るさ）により瞳孔径が変化し、第１エリアを規定する視認エリアの大きさが変化するからである。

上記の表示装置の他の一態様では、前記視線誘導手段は、前記第１エリアを取り囲む周囲の第２エリアでは、前記第１エリアに近づくほど、前記誘導画像による視線の誘導効果が低下するような画像を表示させる。例えば、前記視線誘導手段は、前記第２エリアでは、前記第１エリアに近づくほど、前記誘導画像の明るさを低下させる。これにより、環境光の明るさに起因する瞳孔径の変化による視認エリアの変動に対して、適切に対処することができる。

上記の表示装置の他の一態様では、前記ユーザの頭部の動きを検出する動き検出手段を更に有し、前記視線誘導手段は、前記動き検出手段によって前記誘導ポイントに向かう前記頭部の動きが検出されてから所定時間が経過した際に、前記誘導画像の表示を停止させる。これにより、ユーザが誘導ポイントの方向に顔を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。

上記の表示装置の他の一態様では、記ユーザの視線を検出する視線検出手段を更に有し、前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記誘導画像の表示を停止させる。これにより、ユーザが誘導ポイントに視線を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。

上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導ポイントが前記ユーザの顔の正面に位置した際に、前記誘導画像の表示を停止させる。これにより、誘導ポイントに対応する対象物の方向にユーザが顔を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。

上記の表示装置の他の一態様では、前記視線誘導手段は、前記表示装置の表示エリアの全体に、前記誘導画像を表示させることができる。これにより、表示エリアにおいて視線誘導効果が得られない視線方向を無くすことができる。

上記の表示装置の他の一態様では、前記視線誘導手段は、前記表示装置の表示エリアの一部のエリアに、前記誘導画像を表示させる。これにより、例えばユーザの興味がない情報についての誘導画像を視認させないことができる。よって、ユーザへの不要な情報の提供を抑制することができる。

好適には、前記一部のエリアは、前記現実環境の特定エリアと対応している。

好適には、前記視線誘導手段は、異なる場所に位置する複数の前記誘導ポイントを用いて、前記複数の誘導ポイントごとに前記誘導画像を表示させる。これにより、分類された空間ごとに注目して欲しい情報に、ユーザの視線を適切に誘導することができる。

本発明の他の観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示するヘッドマウントディスプレイは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。

本発明の更に他の観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示方法は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導工程を備える。

本発明の更に他の観点では、コンピュータを有すると共に、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示プログラムは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段、として前記コンピュータを機能させる。

上記の表示プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

（１）第１実施例
まず、第１実施例について説明する。

（１−１）装置構成
図１は、第１実施例に係るヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記する。）１０の概略構成を示す。ＨＭＤ１０は、主に、表示部１と、マスク２と、球面鏡３と、ハーフミラー４と、制御部５とを有する。ＨＭＤ１０は、球面鏡３を用いることで、眼のレンズ機能を利用せずに直接網膜上に画像を表示可能に構成されている。例えば、ＨＭＤ１０は、眼鏡型に構成されており、ユーザの頭部に装着して使用される。なお、ＨＭＤ１０は、本発明における「表示装置」の一例である。

表示部１は、ＬＣＤ（Liquid Crystal Display）や、ＤＬＰ（Digital Light Processing）や、有機ＥＬなどで構成され、表示すべき画像に対応する光を出射する。なお、レーザ光源からの光をミラーでスキャンするような構成を、表示部１に適用しても良い。

表示部１から出射された光はマスク２でマスクされ、マスク２を通過した光は球面鏡３及びハーフミラー４で反射されて眼球に到達する。この場合、マスク２以降の拡散した光は、眼球の略中心の位置に集光する。本実施例に係るＨＭＤ１０は、表示すべき画像に対応する光が眼球の略中心の位置に集光するように光学系が設計されている。これにより、視線方向の光のみが瞳孔を通過するため、視線方向の画像（詳しくは虚像である。以下同様とする。）のみがユーザに視認されることとなる。即ち、ＨＭＤ１０は、視線方向依存型の表示装置として機能する。なお、視線方向依存型の表示装置の機能や作用の詳細については、例えば特許文献１に記載されている。

制御部５は、図示しないＣＰＵやＲＡＭやＲＯＭなどを有し、ＨＭＤ１０の全体的な制御を行う。詳細は後述するが、制御部５は、本発明における「視線誘導手段」の一例である。

なお、眼球の略中心の位置に、表示すべき画像に対応する光を集光させることに限定はされない。眼球の略中心の位置でなくても、瞳孔と網膜との間の位置に光を集光すれば、上記した視線方向依存型の表示装置を実現することができる。

また、図１では、視線方向依存型の表示装置として、球面鏡３を利用した装置を例示したが、本発明は、球面鏡３の代わりにレンズを利用した装置や、球面鏡３の代わりにホログラム素子の反射特性を利用した装置など、種々の装置に適用することができる。

次に、図２を参照して、第１実施例に係る制御部５の具体的な構成について説明する。図２は、第１実施例に係る制御部５の構成を示すブロック図である。図２に示すように、制御部５は、誘導ポイント指定部５ａと、誘導画像生成部５ｂと、表示画像生成部５ｃと、表示合成部５ｄとを有する。本実施例では、制御部５は、ユーザの視線を向けさせるべき位置である誘導ポイントに、ユーザの視線を誘導するための誘導画像を表示させる制御を行う。

誘導ポイント指定部５ａは、ユーザの視線を誘導したいポイント（誘導ポイント）を指定する。例えば、誘導ポイント指定部５ａは、ＨＭＤ１０によってユーザに提示すべき画像に対応する位置を、誘導ポイントとして指定する。

誘導画像生成部５ｂは、ユーザの視線を誘導ポイントに誘導するための誘導画像を生成する。誘導画像の具体例については後述する。

表示画像生成部５ｃは、ＨＭＤ１０によってユーザに提示すべき画像（誘導画像とは別の画像）を生成する。例えば、表示画像生成部５ｃは、ＣＧ（Computer Graphics）や文字などの画像を生成する。

表示合成部５ｄは、誘導画像生成部５ｂによって生成された誘導画像と表示画像生成部５ｃによって生成された画像とを合成した画像のデータを、表示部１に出力する。

（１−２）従来技術の問題点
ここで、図３を参照して、従来の視線方向依存型の表示装置（例えば特許文献１に記載された装置など）の問題点について説明する。図３（ａ）、（ｂ）で示す矩形エリアは、視線方向依存型の表示装置による表示エリアを示している（以下で示す図面についても同様とする）。ここでは、表示エリアの中央にメールの着信通知（符号２１参照）が表示され、表示エリアの右上側に時刻（符号２２参照）が表示された場合を例示している。また、符号２０ａ、２０ｂは、ユーザの視線方向に応じた視界に相当する視認エリアを示している。

図３（ａ）に示すように、ユーザが中央に視線を向けている場合には、ユーザはメールの着信通知に気付く。しかしながら、図３（ｂ）に示すように、ユーザが時刻を見るために右上に視線を向けている場合には、ユーザは中央のメールの着信通知に気付かない。このとき、たとえメールの着信通知を点滅等して強調表示を行ったとしても、その強調表示がユーザの視界には入らないため、ユーザはメールの着信通知に気付かない。

以上のように、従来の視線方向依存型の表示装置では、視線方向以外の画像がユーザには見えないため、当該装置によって提示された情報をユーザが見逃しやすいといった問題点があった。したがって、第１実施例では、ＨＭＤ１０によってユーザに提示すべき画像に対応する位置などを誘導ポイントとして用いて、当該誘導ポイントにユーザの視線を誘導するための誘導画像を表示させる。

（１−３）表示例
次に、第１実施例に係る誘導画像の具体例について示す。なお、誘導画像は、制御部５の誘導画像生成部５ｂによって生成される。

（１−３−１）第１の表示例
図４を参照して、誘導画像の第１の表示例について説明する。図４（ａ）〜（ｄ）では、星２３は誘導ポイントを示しており、太線２４（２４ａ〜２４ｄ）は誘導画像を示しており、複数の細線は誘導画像２４の軌道を示している。具体的には、図４（ａ）〜（ｄ）は、誘導画像２４の時間変化を示している。この場合、図４（ａ）→図４（ｂ）→図４（ｃ）→図４（ｄ）の順に時間が経過したものとする。

なお、図４において、誘導ポイント２３を示す星は説明の便宜上の観点から示したものであり、実際には表示されない（実際には、表示画像生成部５ｃによって生成された画像が表示される）。また、誘導画像２４の軌道を示す複数の細線も説明の便宜上の観点から示したものであり、実際には表示されない。星及び細線については、以下で示す図面についてもこれと同様とする。

第１の表示例では、図４（ａ）〜（ｄ）に示すように、ＨＭＤ１０は、誘導画像２４として、時間の経過に伴って誘導ポイント２３に向かってサイズが縮小してく円の画像（詳しくは円を構成する曲線（円周、円弧）を示す画像であり、以下では「縮小円」と呼ぶ。）を表示させる。つまり、ＨＭＤ１０は、誘導ポイント２３を収束点として、時間と共にサイズが縮小していく縮小円を表示させる。このような縮小円を表示させることで、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。よって、ユーザに対して意図的な情報提示および視線誘導が可能となる。

また、第１の表示例では、ＨＭＤ１０は、表示エリアの端の位置から、縮小円を表示し始める。具体的には、ＨＭＤ１０は、誘導ポイント２３と、表示エリアにおいて誘導ポイント２３から最も離れた端の位置（図４に示す例では概ね左下の位置）との距離を、縮小円の初期半径として、当該初期半径から半径を徐々に小さくしていった縮小円を表示させる。こうしているのは、例えば、図４（ｂ）に示すような縮小円の半径を初期半径とすると、左下の端に縮小円が表示されないため、ユーザの視線が当該端にある場合には、視線誘導効果が得られないからである。また、初期半径が大きすぎると、縮小円が表示されない時間が発生してしまい、視線誘導効果の時間効率が悪いと言えるからである。そのため、ＨＭＤ１０は、誘導ポイント２３から最も離れた端の位置と誘導ポイント２３との距離を縮小円の初期半径にする。これにより、視線誘導効果が得られない視線方向を無くすことができると共に、視線誘導効果の時間効率の悪化を抑制することができる。

また、縮小円の縮小スピードを「δｒ／δｔ」と定義すると（ｒ：縮小円の半径、ｔ：時間）、１つの例では、ＨＭＤ１０は、縮小スピードを概ね一定にする。こうすることで、表示エリア全体で同じ視線誘導効果を生じさせることができる。また、縮小スピードが速すぎるとユーザが縮小円を眼で追うことができず、縮小スピードが遅すぎると視線誘導に時間がかかり過ぎるため、これらを考慮して縮小スピードを設定することが好ましい。具体的には、ユーザが縮小円を眼で追うことができ、且つ視線誘導効果の時間効率が確保されるような縮小スピードに設定することが好ましい。他の例では、ＨＭＤ１０は、視線誘導効果が必要ないエリアでは、縮小円の縮小スピードを速くすることができる。こうすることで、視線誘導効果の時間効率を良くすることができる。

更に、ＨＭＤ１０は、縮小円の表示を繰り返し行うことができる。具体的には、ＨＭＤ１０は、縮小円を収束させ終わった後に（この際に縮小円は一旦消滅する）、初期半径を有する縮小円を再度表示させて縮小させていくといった表示を、繰り返し行うことができる。これにより、瞬き等でユーザが縮小円を見ていない時間があっても、視線を誘導ポイント２３に適切に誘導することが可能となる。

なお、上記では、誘導画像の第１の表示例として、円の画像（縮小円）を縮小する例を示したが、縮小する画像の形状は円に限定はされない。例えば、四角や星やキャラクタなどの種々の形状の画像を、誘導ポイント２３に向かって縮小させることができる。そのような場合にも、縮小円で述べた縮小スピードを同様に適用することができる。例えば、縮小スピードは、縮小させる画像に外接する円の半径の変化速度と定義することができる。

（１−３−２）第２の表示例
第１の表示例では、表示エリアにおいて時間的に変化させた画像を誘導画像として表示させていたが、第２の表示例では、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させる。具体的には、第２の表示例では、誘導ポイント２３までの距離に応じた空間的な変化を有する画像を、誘導画像として表示させる。

図５は、誘導画像の第２の表示例を示す図である。図５に示すように、第２の表示例では、ＨＭＤ１０は、誘導ポイント２３に向かって明るさが変化する画像を誘導画像として表示させる。この画像は、誘導ポイント２３に近くなるほど明るくなり、誘導ポイント２３から離れるほど暗くなるように構成されている。

なお、誘導ポイント２３に向かって明るさが変化する画像を誘導画像として表示させることに限定はされず、この代わりに、誘導ポイント２３に向かって色が変化する画像を誘導画像として表示させても良い。例えば、誘導ポイント２３に近くなるほど黄色の度合いが大きくなり、誘導ポイント２３から離れるほど青色の度合いが大きくなるような画像を表示させることができる。

（１−３−３）第３の表示例
第３の表示例でも、第２の表示例と同様に、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させる。しかしながら、第２の表示例では、誘導ポイント２３に向かって明るさや色が変化する画像を誘導画像として表示させていたが、第３の表示例では、誘導ポイント２３に向かって線分の密度が変化するような画像を誘導画像として表示させる。

図６は、誘導画像の第３の表示例を示す図である。図６に示すように、第３の表示例では、ＨＭＤ１０は、誘導ポイント２３に向かって線分の密度が変化する画像を誘導画像として表示させる。この画像は、誘導ポイント２３から放射状に延びる線分によって構成されている。当該画像では、誘導ポイント２３に近くなるほど線分の密度が大きくなり、誘導ポイント２３から離れるほど線分の密度が小さくなる。

なお、図６では、説明の便宜上の観点から誘導画像を構成する線分の一部のみを示しており、実際にはもっと多くの線分が表示される。誘導画像を構成する線分の数は、例えば、どの視線方向においても少なくとも１本以上の線分が見えるように決められる。

また、誘導ポイント２３に向かって線分の密度が変化するような画像を誘導画像として表示させることに限定はされず、この代わりに、誘導ポイント２３に向かって点の密度が変化するような画像を誘導画像として表示させても良い。例えば、誘導ポイント２３に近くなるほど点の密度が大きくなり、誘導ポイント２３から離れるほど点の密度が小さくなるような画像を表示させることができる（誘導ポイント２３からの距離と点の密度との関係は、これの逆にしても良い）。

（１−３−４）第４の表示例
第４の表示例では、誘導ポイント２３の方向を指し示すような画像を誘導画像として表示させる点で、第１乃至第３の表示例と異なる。具体的には、第４の表示例では、誘導ポイント２３の方向を指し示す矢印画像を誘導画像として表示させる。

図７は、誘導画像の第４の表示例を示す図である。図７に示すように、第４の表示例では、ＨＭＤ１０は、各々が誘導ポイント２３の方向を指している複数の矢印画像を、誘導画像として表示させる。複数の矢印画像は、誘導ポイント２３から放射状に延びている。

なお、図７では、説明の便宜上の観点から誘導画像を構成する矢印画像の一部のみを示しており、実際にはもっと多くの矢印画像が表示される。誘導画像としての矢印画像の数は、例えば、どの視線方向においても少なくとも１つ以上の矢印画像が見えるように決められる。

（１−３−５）第５の表示例
第１の表示例では、表示エリアにおいて時間的に変化させた画像を誘導画像として表示させ、第２乃至第４の表示例では、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させていた。第５の表示例では、第１の表示例と第２乃至第４の表示例とを組み合わせたような画像、つまり表示エリアにおいて時間的な変化及び空間的な変化を有する画像を、誘導画像として表示させる。

（１−３−６）他の表示例
上記した表示例では、一つの誘導ポイントを用いて誘導画像を表示させていたが、複数の誘導ポイントを用いて、複数の誘導ポイントに対応する誘導画像を表示させても良い。つまり、上記した表示例は、複数箇所への誘導を行う場合にも適用することができる。１つの例では、複数の誘導ポイントのそれぞれに向かってサイズが縮小していくような円の画像（縮小円）を、同時に表示させる。他の例では、一定時間や一周期毎などで誘導ポイントを変更し、その時点での誘導ポイントに応じた誘導画像を表示させる、つまり時分割表示を行う。更に他の例では、表示エリアを左右や上下に分割したエリアのそれぞれに誘導画像を表示させる、つまり空間分割表示を行う。

（１−４）誘導画像の表示エリアの限定
上記した全ての誘導画像は、表示エリア全体ではなく、ユーザの視線方向に応じた視認エリアにのみ表示させても良い。具体的には、公知の手法を用いてユーザの視線を検出すれば、検出された視線に応じた視認エリアにのみ誘導画像を表示させることができる。こうすることで、視線方向を中心にユーザが視認しやすい誘導画像の表示が可能となる。例えば、第４の表示例で示した矢印画像を、ユーザの視線方向を中心に表示することで、矢印画像が指している方向を容易に視認させることが可能となる。

（１−５）視線誘導の終了
上記したような誘導画像は、基本的には、ユーザの視線が誘導ポイント２３に向いた後は不要なものとなる。また、視線が誘導ポイント２３に向いた後も誘導画像を表示させると、ユーザが不快感を覚えたりする可能性もある。したがって、ユーザの視線が誘導ポイント２３に向いた後は、誘導画像の表示を終了する（つまり視線誘導を終了する）ことが好ましいと言える。以下に、視線誘導の終了に関する具体例を示す。

なお、以下で示す視線誘導の終了に関する具体例は、上記した第１乃至第４の表示例で示したような誘導画像に対して適用されるものである。

（１−５−１）第１の例
図８を参照して、視線誘導の終了に関する第１の例について説明する。図８において、表示エリア内のエリア２５ａは誘導画像を表示させないエリアであり、表示エリア内のエリア２６ａは誘導画像を表示させるエリアである。エリア２５ａは、誘導ポイント２３に視線を向けた際の視認エリアに相当する。なお、エリア２５ａは、本発明における「第１エリア」の一例である。

図８に示すように、第１の例では、ＨＭＤ１０は、ユーザの視線が誘導ポイント２３にあるときの視認エリアに相当するエリア２５ａ内には視線画像を表示させない。これにより、ユーザが誘導ポイント２３に視線を移動させると、誘導画像が視認されなくなるため、つまり誘導画像の表示が終了するため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。他方で、ユーザの視線が誘導ポイント２３と異なる際には、ユーザに誘導画像を視認させることで視線を適切に誘導することができる。

なお、誘導画像を表示させないエリア２５ａのサイズを、ユーザの瞳孔径に応じて変えても良い。こうするのは、エリア２５ａを規定する視認エリアの大きさは、瞳孔径によって変わるからである。例えば、ＨＭＤ１０は、公知の手法によってユーザの瞳孔径を検出し、検出した瞳孔径に基づいて視認エリアを推定し、推定した視認エリアに応じてエリア２５ａのサイズを設定することができる。

また、瞳孔径は環境光の明るさ（ユーザの周囲の明るさ）によって変化するため、上記のように瞳孔径を直接的に用いる代わりに、環境光の明るさに応じて、誘導画像を表示させないエリア２５ａのサイズを変えても良い。例えば、ＨＭＤ１０は、環境光の明るさを検出し、検出した明るさに基づいて瞳孔径に相当する視認エリアを推定し、推定した視認エリアに応じてエリア２５ａのサイズを設定することができる。

（１−５−２）第２の例
第２の例は、環境光の明るさ等に起因する瞳孔径の変化による視認エリアの変動を考慮して、誘導画像を表示させないエリアを取り囲む周囲のエリア（以下では「緩衝エリア」と呼ぶ。）では、視線誘導効果が徐々に低下するような誘導画像を表示させる点で、第１の例と異なる。つまり、第１の例では、誘導画像を表示させないエリア２５ａと誘導画像を表示させるエリア２６ａとを用いることで、誘導画像の表示のオンとオフとを切り替えていたが、第２の例では、誘導画像を表示させないエリアと誘導画像を表示させるエリアとの間に設けられた緩衝エリアを用いることで、誘導画像の表示のオンの状態から誘導画像の表示のオフの状態に徐々に移行させる。

図９は、視線誘導の終了に関する第２の例を示す図である。図９において、表示エリア内のエリア２５ｂは誘導画像を表示させないエリアであり、表示エリア内のエリア２６ｂは誘導画像を表示させるエリアであり、表示エリア内のエリア２６ｃは上記した緩衝エリアである。詳しくは、エリア２６ｂでは、通常の視線誘導効果を有する誘導画像が表示され、緩衝エリア２６ｃでは、エリア２６ｂよりも視線誘導効果を低下させた誘導画像が表示される。緩衝エリア２６ｃは、本発明における「第２エリア」の一例であり、環境光の明るさ等に起因する瞳孔径の変化による視認エリアの変動幅に応じてサイズが設定される。

第２の例では、ＨＭＤ１０は、ユーザの視線が緩衝エリア２６ｃにある場合には、視線が誘導画像を表示させないエリア２５ｂに近付くほど、視線誘導効果が徐々に低下するような誘導画像を表示させる。例えば、ＨＭＤ１０は、緩衝エリア２６ｃでは、エリア２６ｂよりも、誘導画像の明るさを下げたり、誘導画像を構成する線分を細線化したり、誘導画像を縮小させるスピードを速くしたりする。

（１−５−３）第３の例
第３の例では、ＨＭＤ１０は、誘導画像を表示してから所定時間経過した際に誘導画像の表示を終了する。このような第３の例は、上記した第１の例及び第２の例の代わりに実施することとしても良いし、第１の例又は第２の例と組み合わせて実施しても良い。

（１−５−４）第４の例
第４の例では、ＨＭＤ１０は、誘導ポイント２３に向かうユーザの頭部の動きが生じてから所定時間経過した際に誘導画像の表示を終了する。具体的には、第４の例では、ＨＭＤ１０は、カメラや加速度センサやジャイロセンサなどのセンサの出力に基づいて、ユーザの頭部の動きを検出する。そして、ＨＭＤ１０は、誘導ポイント２３に向かう頭部の動きが検出された場合に、その検出後に所定時間経過した際に誘導画像の表示を終了する。

なお、第４の例は、上記した第１乃至第３の例の代わりに実施することとしても良いし、第１乃至第３の例と適宜組み合わせて実施しても良い。

（１−５−５）第５の例
第５の例では、ＨＭＤ１０は、ユーザの視線が誘導ポイント２３に向いた際に誘導画像の表示を終了する。具体的には、第５の例では、ＨＭＤ１０は、公知の手法を用いてユーザの視線を検出し、検出された視線が誘導ポイント２３に向いた際に誘導画像の表示を終了する。

なお、第５の例は、上記した第１乃至第４の例の代わりに実施することとしても良いし、第１乃至第４の例と適宜組み合わせて実施しても良い。

（２）第２実施例
次に、第２実施例について説明する。第２実施例は、第１実施例で示したような、ユーザの視線を誘導ポイント２３に誘導するための構成を、現実環境に対してＣＧや文字等の付加情報を提示するＡＲ（Augment Reality）の構成に適用するものである。以下では、ＡＲを実現可能な構成を適宜「ＡＲシステム」と呼ぶ。

図１に示したような視線方向依存型の表示装置（ＨＭＤ１０）によれば、ハーフミラー４により、前方の現実環境と表示画像とを同時に視認可能である。そのため、現実環境に実際に存在する対象物等を検出する手段（例えばカメラなど）を設けることで、当該対象物に合わせた画像を表示させることが可能である。つまり、ＡＲシステムを実現することができる。

図１０を参照して、ＡＲシステムによる表示について具体例を挙げて説明する。図１０（ａ）は、ＨＭＤ１０の表示部１によって表示された画像３０ａ〜３０ｃを示しており、図１０（ｂ）は、画像３０ａ〜３０ｃを表示させた場合において、視認エリア３１において視認される像を示している。この場合には、画像３０ｂのみが視認される。他方で、図１０（ｃ）は、現実環境に存在する対象物３２ａ〜３２ｃを示しており、図１０（ｄ）は、ＡＲシステムによって視認される像を示している。具体的には、図１０（ｄ）は、図１０（ｃ）に示すような現実環境において図１０（ａ）に示すような画像３０ａ〜３０ｃを表示させた場合に、図１０（ｂ）に示すような視認エリア３１において視認される像を示している。図１０（ｄ）に示すように、ＡＲシステムによれば、現実環境に存在する対象物３２ｂに合わせた画像３０ｂを表示させることが可能である。

ここで、上記のＡＲシステムにおいては、視線方向依存型の表示装置（ＨＭＤ１０）を頭部に装着した場合、頭部などの動きによって表示上での誘導ポイント２３の位置が変化する。以下では、ＡＲシステムにおける視線誘導に関する具体例を示す。

（２−１）ＡＲシステムにおける視線誘導
視線方向依存型の表示装置でのＡＲシステムでは、現実環境に存在する対象物と情報（画像）とを、位置を合わせて表示することが可能である。また、誘導ポイント２３を、現実環境に存在する対象物の位置に合わせることも可能である。したがって、第１実施例で示したような構成（具体的には誘導ポイント２３に視線を誘導するための誘導画像を表示させる構成）をＡＲシステムに適用すると、現実環境に存在する対象物の位置や現実環境に存在する対象物に付随した表示情報（画像）の位置を誘導ポイント２３として、そのような誘導ポイント２３に視線を誘導するための誘導画像を表示させることができる。例えば、第１実施例の第１乃至第４の表示例で示したような誘導画像を、同様にして表示させることができる。

（２−２）ＡＲシステムにおける視線誘導の終了
ＡＲシステムにおいても、ユーザの視線が誘導ポイント２３に向いた後は誘導画像は不要なものとなる。また、視線が誘導ポイント２３に向いた後も誘導画像を表示させると、ユーザが不快感を覚えたりする可能性がある。したがって、ＡＲシステムにおいても、ユーザの視線が誘導ポイント２３に向いた後は、誘導画像の表示を終了することが好ましいと言える。

上記したように、視線方向依存型の表示装置でのＡＲシステムでは、現実環境に存在する対象物の位置や現実環境に存在する対象物に付随した表示情報（画像）の位置を誘導ポイント２３として、そのような誘導ポイント２３に視線を誘導するための誘導画像を表示させる。ここで、ユーザが現実環境に存在する任意の対象物に注目した場合、ユーザは当該対象物の方向に顔を向ける傾向にある。したがって、視線方向依存型の表示装置でのＡＲシステムでは、現実環境に存在する対象物の位置と連動した誘導ポイント２３がユーザの顔の正面付近に移動した際に、ユーザの視線が誘導ポイント２３に向いたものと判断して、誘導画像の表示を終了する。これにより、適切な視線誘導と、ユーザの不快感等の抑制とを両立することが可能となる。１つの例では、ユーザの前方の現実環境を撮影するカメラの撮影画像などに基づいて、対象物の位置と連動した誘導ポイント２３が顔の正面付近に移動したか否かを判定することができる。

なお、視線方向依存型の表示装置でのＡＲシステムに対して、「（１−５）視線誘導の終了」のセクションで述べたような種々の視線誘導の終了方法を適用しても良い。

（２−３）エリア別の視線誘導
現実環境の特定のエリアに応じて表示エリア内に複数のエリアを設けて、各エリアごとに誘導画像を表示させると、ユーザにとって不要な情報への視線誘導を抑制することができる。これにより、効率的な視線誘導と、ユーザへの不要な情報の提供の抑制とを両立することが可能となる。

図１１は、エリア別の視線誘導の具体例を示している。図１１は、２つの誘導ポイント２３ａ、２３ｂに応じた２つのエリア４０ａ、４０ｂを表示エリア内に設けた場合を例示している。エリア４０ａ、４０ｂでは、それぞれ、第１実施例の第１の表示例で示した誘導画像２４と同様の誘導画像４２ａ、４２ｂが表示される。具体的には、エリア４０ａ、４０ｂでは、それぞれ、時間の経過に伴って誘導ポイント２３ａ、２３ｂに向かってサイズが縮小してく円の画像（縮小円）が、誘導画像４２ａ、４２ｂとして表示される。なお、誘導画像４２ａ、４２ｂは、それぞれエリア４０ａ、４０ｂ内でのみ表示され、重なって表示されることはない。

例えば、図１１に示すような誘導画像４２ａ、４２ｂは、モールやスーパーなど物が種類で分けられている空間において、ユーザに見てもらいたい対象物や情報がある場合に適用すると、効果的である。１つの例では、時計屋と洋服屋とが並んでいるモールにおいて、エリア４０ａを時計屋に対して用いることとし、誘導ポイント２３ａを時計屋でユーザに見てもらいたい商品の位置とすることができ、また、エリア４０ｂを洋服屋に対して用いることとし、誘導ポイント２３ｂを洋服屋でユーザに見てもらいたい商品の位置とすることができる。こうした場合、ユーザが時計に興味があり、時計屋に視線を向けると、視認エリア４３が時計屋用のエリア４０ａ内に入ることで、時計屋用の誘導画像４２ａが視認されることとなる。これにより、ユーザの視線が時計屋用の誘導ポイント２３ａに誘導されることで、ユーザは誘導ポイント２３ａにある商品に注目することとなる。この場合、ユーザには洋服屋用の誘導画像４２ｂは見えないので、ユーザの視線は洋服屋用の誘導ポイント２３ｂへは誘導されない。

以上のように、エリア４０ａ、４０ｂごとに誘導画像４２ａ、４２ｂを表示させることで、視線などを検出することなく、分類された空間ごとに注目して欲しい対象物や情報にユーザの視線を適切に誘導することができる。また、ユーザが興味のない対象物や情報への誘導画像はユーザには見えないため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。

なお、図１１に示すような表示は、「３次元の現実環境の情報」と「画像と現実環境との位置姿勢関係を検出する手段」などによって実現することができる。「３次元の現実環境の情報」としては、時計屋や洋服屋の３次元のエリア情報や、誘導ポイントの３次元位置や、表示情報などである。「画像と現実環境との位置姿勢関係を検出する手段」は、例えばユーザの前方の現実環境を撮影するカメラの撮影画像を用いて実現できる。このような「画像と現実環境との位置姿勢関係を検出する手段」を利用して、「３次元の現実環境の情報」を各エリアに対応付けて表示すれば良い。

なお、図１１では、表示エリア内に２つのエリア４０ａ、４０ｂを設けて２つの誘導画像４２ａ、４２ｂを表示させる例を示したが、表示エリア内に３つ以上のエリアを設けて３つ以上の誘導画像を表示させても良い。また、表示エリア内に複数のエリアを設けて複数の誘導画像を表示させることに限定はされず、表示エリア内に１つのエリア（表示エリアの一部分のエリア）のみを設けて、そのエリアにのみ誘導画像を表示させても良い。

（３）変形例
上記では、誘導画像を用いてユーザの視線を誘導する実施例を示したが、誘導画像を用いることに限定はされない。他の例では、誘導画像の代わりに、ＬＥＤなどの点滅や、振動や、音声などを用いて、ユーザの視線を誘導することができる。例えば、表示装置に複数のＬＥＤを設けて、視線を誘導すべき方向に対応する場所に位置するＬＥＤを点滅させたり、視線を誘導すべき方向に対応する表示装置の箇所を振動させたり、視線を誘導すべき方向に対応する表示装置の箇所から音声を発生させたりすることができる。

本発明は、ＨＭＤ１０への適用に限定はされない。本発明は、ヘッドアップディスプレイ（ＨＵＤ）などの表示装置にも適用することができる。

本発明は、ヘッドマウントディスプレイやヘッドアップディスプレイなどの表示装置に利用することができる。

１ 表示部
２ マスク
３ 球面鏡
４ ハーフミラー
５ 制御部
５ａ 誘導ポイント指定部
５ｂ 誘導画像生成部
５ｃ 表示画像生成部
５ｄ 表示合成部
１０ ヘッドマウントディスプレイ（ＨＭＤ）

Claims (1)

1. 表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、
   前記現実環境に存在する対象物を検出する検出手段と、
   音声を出力する音声出力部と、
   検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための音声を前記音声出力部に出力させる視線誘導手段と、を備えることを特徴とする表示装置。

Images