JP2014010418A - 立体表示装置及び立体表示方法 - Google Patents

Abstract

【課題】視覚疲労や不快感を減少させ、立体像を周囲の景色等と同時に表示させることができる立体表示装置および立体映像表示方法を提供する。
【解決手段】インストルメントパネル内に収容されたＨＵＤ本体２が右目用ディスプレイ２１および左目用ディスプレイ２２を有し、ＨＵＤ本体２内の非球面ミラー２３で右目用ディスプレイ２１および左目用ディスプレイ２２が表示した右目用映像と左目用映像を反射して、ウインドシールド３に投影しているので、ドライバから見てウインドシールド３を挟んだ位置に右目用虚像ＶＩＲと左目用虚像ＶＩＲが表示され、それらの虚像によりにより立体表示像ＴＤＩが、虚像よりもドライバから離れた位置に表示される。
【選択図】図１

Description

本発明は、立体表示像を表示する立体表示装置および立体表示方法に関する。

立体映像（立体表示像）を表示する方法としては、パララックスバリアを用いる方法（パララックスバリア方式、例えば特許文献１参照）、レンズアレイなどを用いる方法（レンチキュラ方式、例えば特許文献２参照）や、偏光板が設けられた眼鏡等を用いる方法（偏光板方式、例えば特許文献３参照）などが知られている。

これらの方式は、両目視差を利用した立体表示方法であり、図１６に示したように、映像を表示するディスプレイ面を必要とし、当該ディスプレイ面とは異なる（ディスプレイ面から観察者の方向に向かって飛び出る）位置に立体表示像を知覚させる。

特開２００５−１５１０８０号公報 特開２００６−２１１２９１号公報 特開２０１１−４８２３６号公報

しかしながら、ディスプレイ面に表示された映像に対して両目視差を利用した方法では、観察者の目の焦点はディスプレイ面に合っているので、ディスプレイ面と立体表示像との乖離が大きいと、視覚疲労や不快感を生じることがある。

そのため、立体表示像を視覚疲労や不快感を生じることなく楽しむために奥行き（飛び出しや引っ込み）を表現する視差範囲が存在する。この視差範囲が過度に大きいと立体視の成立を妨害し二重像を生じさせ、視覚疲労や不快感を生じさせる原因となる。また、ディスプレイ面に目の焦点を合わせることにより、視野が狭くなり、観察者の活動範囲を狭めてしまうといった問題もある。

また、観察者の正面にディスプレイ面を配置する必要があるため、例えば、当該立体像を周囲の景色等に重畳させて表示させることは困難である。したがって、特許文献に記載されている方法では、自動車などの車両において、運転者（ドライバ）に様々な情報を表示する表示装置に適用するのは困難であるという問題があった。

そこで、本発明は、上述した問題に鑑み、視覚疲労や不快感を減少させ、立体表示像を周囲の景色等に重畳させて表示させることができる立体表示装置および立体表示方法を提供することを課題とする。

上記課題を解決するためになされた請求項１に記載の発明は、観察者の視線上に表示される立体表示像を形成する前記観察者の右目用映像の虚像と左目用映像の虚像を表示する立体表示装置であって、観察者の視線を遮らない位置に設置され、前記右目用映像を表示する右目用映像表示手段および前記左目用映像を表示する左目用映像表示手段と、前記右目用映像表示手段に表示された前記右目用映像と、前記左目用映像表示手段に表示された前記左目用映像と、をそれぞれ前記観察者の右目および左目の視線方向に反射するとともに、前記観察者の視線方向からの光は透過する反射手段と、を有していることを特徴とする立体表示装置である。

請求項２に記載の発明は、請求項１に記載の発明において、前記観察者の眼の位置を検出する眼の位置検出手段と、前記眼の位置検出手段が検出した前記眼の位置に前記立体表示像が表示されるように、前記右目用映像および前記左目用映像が前記反射手段に投影される位置を調整する調整手段と、を有していることを特徴とするものである。

請求項３に記載の発明は、請求項２に記載の発明において、前記観察者の右目と左目の輻輳角を検出する輻輳角検出手段と、前記調整手段が、前記輻輳角検出手段が検出した前記輻輳角と前記眼の位置検出手段が検出した前記眼の位置に基づいて前記右目用映像および前記左目用映像が前記反射手段に投影される位置を調整する、ことを特徴とするものである。

請求項４に記載の発明は、請求項３に記載の発明において、前記焦点位置検出手段が検出した前記輻輳角が予め定めた閾値以上である場合は、前記右目用映像表示手段または前記左目用映像表示手段のいずれか一方のみを表示させる表示制御手段を有していることを特徴とするものである。

請求項５に記載の発明は、観察者の視線上に表示される立体表示像を形成する前記観察者の右目用映像の虚像と左目用映像の虚像を表示する立体表示方法であって、観察者の視線を遮らない位置から前記右目用映像および前記左目用映像を表示し、前記右目用映像および前記左目用映像を前記観察者の視線方向に反射させて立体表示像を前記観察者の視線上に表示することを特徴とする立体映像表示方法である。

以上説明したように請求項１に記載の発明によれば、右目用映像表示手段に表示された右目用映像と左目用映像表示手段に表示された左目用映像を反射手段で視線方向に反射するので、観察者の正面にディスプレイを設置する必要が無く、右目用映像と左目用映像の虚像から形成される立体表示像を周囲の景色等と同時に表示させることができる。また、ディスプレイが観察者の正面に設置されず、右目用映像と左目用映像の虚像から形成される立体表示像に観察者の眼の焦点を合わせることができるので、視覚疲労や不快感を減少させることができる。

請求項２に記載の発明によれば、調整手段が、眼の位置検出手段が検出した眼の位置に立体表示像が表示されるように右目用映像および左目用映像を反射手段に投影する位置を調整するので、観察者の眼の位置に合わせて立体表示像の表示位置を調整することができる。したがって、より視覚疲労や不快感を減少させることができる。

請求項３に記載の発明によれば、輻輳角検出手段で検出した観察者の右目と左目の輻輳角と眼の位置検出手段が検出した眼の位置に基づいて右目用映像および前記左目用映像が反射手段に投影される位置を調整しているので、より高精度に観察者の焦点を検出して、立体表示像の表示位置を調整することができる。

請求項４に記載の発明によれば、表示制御手段が、焦点位置検出手段が検出した輻輳角が予め定めた閾値以上である場合は、右目用映像表示手段または左目用映像表示手段のいずれか一方のみを表示させるので、観察者が近方を視認しており、右目用映像や左目用映像の虚像と観察者の眼球運動とがずれて二重像や不快感を生じさせやすい場合は、立体視を行わずに平面視に切り替えることができる。したがって、二重像や不快感を生じにくくすることができる。

請求項５に記載の発明によれば、右目用映像と左目用映像を視線方向に反射するので、観察者に正面にディスプレイを設置する必要が無く、立体表示像を周囲の景色等と同時に表示させることができる。また、ディスプレイが観察者の正面に設置されず、右目用映像と左目用映像から形成される立体表示像に観察者の目の焦点を合わせることができるので、視覚疲労や不快感を減少させることができる。

本発明の第１の実施形態にかかるヘッドアップディスプレイ装置の構成図である。 本発明の第２の実施形態にかかるヘッドアップディスプレイ装置の構成図である。 図２に示されたコントローラの構成図である。 アイポイントの算出方法の説明図である。 視線ベクトルの移動の説明図である。 利目判定の動作を示したフローチャートである。 知覚判定画像の例を示した説明図である。 輻輳開散運動の説明図である。 輻輳角の算出方法の説明図である。 輻輳角と立体表示像が表示される位置までの距離との関係を示した説明図である。 ドライバの眼と虚像と立体表示像とそれぞれの高さの関係を示した説明図である。 ドライバの眼の位置から立体表示像までの距離とドライバの眼の位置から虚像までの距離とドライバの右目と左目の間隔とドライバの眼の位置から虚像のズレ量との関係を示した説明図である。 図２に示されたヘッドアップディスプレイ装置の動作を示したフローチャートである。 本発明の第３の実施形態にかかるヘッドアップディスプレイ装置の構成図である。 本発明の第４の実施形態にかかるヘッドアップディスプレイ装置の動作説明図である。 従来技術にかかる立体表示装置の説明図である。

（第１実施形態）
次に、本発明の第１の実施形態を図１を参照して説明する。図１は本発明の第１の実施形態にかかる立体表示装置としてのヘッドアップディスプレイ装置の構成図である。

本発明の第１の実施形態にかかるヘッドアップディスプレイ（ＨＵＤ）装置１は、図１に示したようにＨＵＤ本体２と、ウインドシールド３と、を備えている。

ＨＵＤ本体２は、右目用ディスプレイ２１と、左目用ディスプレイ２２と、非球面ミラー２３と、を備えている。ＨＵＤ本体２は、インストルメントパネルのウインドシールド３下端近傍に収容されている。そして、ウインドシールド３に向けて後述する右目用映像と左目用映像を投射して、観察者（ドライバ）に、ウインドシールド３を透して視認される車両の前景と、投射された右目用虚像ＶＩＲ及び左目用虚像ＶＩＬで形成される立体表示像ＴＤＩと、を重畳視認させる。

右目用映像表示手段としての右目用ディスプレイ２１は、右目用虚像ＶＩＲとして投射される映像（右目用映像）を表示するディスプレイである。左目用映像表示手段としての左目用ディスプレイ２２は、左目用虚像ＶＩＬとして投射される映像（左目用映像）を表示するディスプレイである。右目用ディスプレイ２１および左目用ディスプレイ２２は、例えば、自発光デバイス（エレクトロルミネッセンスディスプレイ、蛍光表示管、フィールドエミッションディスプレイ等）や、バックライト付きの液晶ディスプレイ等の表示デバイスが用いられる。

また、右目用ディスプレイ２１および左目用ディスプレイ２２は、ナビゲーション装置の進行方向情報や走行速度といった運転に必要な補助情報が入力され映像として表示する。

非球面ミラー２３は、右目用ディスプレイ２１および左目用ディスプレイ２２と対向するように配置され、右目用ディスプレイ２１および左目用ディスプレイ２２が表示している映像をウインドシールド３に向けて反射する。また、非球面ミラー２３は、右目用ディスプレイ２１および左目用ディスプレイ２２が表示している映像を、ミラー形状によって予め決定される倍率に拡大して投影している。

反射手段としてのウインドシールド３は、例えば、合わせガラス、ＩＲカットガラス、ＵＶカットガラス等を用いて、車両の外径に応じて縦方向及び横方向に湾曲した曲面形状に形成されている。そして、ウインドシールド３は、車室内のドライバの視線は透過するとともに、ＨＵＤ本体２から投射された右目用映像と左目用映像は視線方向に反射する。

このように構成されたＨＵＤ装置１は、右目用虚像ＶＩＲと左目用虚像ＶＩＬが、車両前方のドライバの視線上のウインドシールド３を挟んだ位置に表示され、それらの虚像により立体表示像（立体表示映像）ＴＤＩが虚像よりもドライバから離れた位置に表示される。

本実施形態によれば、インストルメントパネル内に収容されたＨＵＤ本体２が右目用ディスプレイ２１および左目用ディスプレイ２２を有し、ＨＵＤ本体２内の非球面ミラー２３で右目用ディスプレイ２１および左目用ディスプレイ２２が表示した右目用映像と左目用映像を反射して、ウインドシールド３に投影しているので、ドライバから見てウインドシールド３を挟んだ位置に右目用虚像ＶＩＲと左目用虚像ＶＩＲが表示され、それらの虚像により立体表示像ＴＤＩが、虚像よりもドライバから離れた位置に表示されるので、ドライバの正面にディスプレイを設置する必要が無く、立体表示像ＴＤＩを周囲の景色等と同時に表示させることができる。また、ディスプレイがドライバの正面に設置されず、右目用映像と左目用映像から形成される立体表示像ＴＤＩに眼の焦点を合わせることができるので、視覚疲労や不快感を減少させることができる。

（第２実施形態）
次に、本発明の第１の実施形態を図２乃至図１２を参照して説明する。なお、前述した第１の実施形態と同一部分には、同一符号を付して説明を省略する。図２は本発明の第２の実施形態にかかるヘッドアップディスプレイ装置の構成図である。

本発明の第２の実施形態にかかるヘッドアップディスプレイ（ＨＵＤ）装置１は、図２に示したように、ＨＵＤ本体２と、ウインドシールド３と、カメラ４と、コントローラ５と、を備えている。

ＨＵＤ本体２は、第１の実施形態と同様に右目用ディスプレイ２１と、左目用ディスプレイ２２と、非球面ミラー２３と、を備えている。

本実施形態の右目用ディスプレイ２１および左目用ディスプレイ２２は、後述するコントローラ５から制御される図示しない駆動手段等により、非球面ミラー２３に対して平行な方向に移動することができ、ウインドシールド３上の左右の投影位置を調整することができる。本実施形態では、右目用ディスプレイ２１および左目用ディスプレイ２２は、移動することでウインドシールド３上の左右の投影位置を調整することができるので、調整手段の一部をなしている。

また、本実施形態の非球面ミラー２３は、後述するコントローラ５から制御される図示しない駆動手段により、右目用ディスプレイ２１および左目用ディスプレイ２２の映像をウインドシールド３方向に反射する角度を変更して、ウインドシールド３上の上下の投影位置を調整することができる。本実施形態では、非球面ミラー２３は、移動することでウインドシールド３上の上下の投影位置を調整することができるので、調整手段の一部をなしている。

カメラ４は、インストルメントパネル上のドライバの顔を撮影することができる位置に設置されている。カメラ４は、赤外線撮像素子と、赤外線照射ＬＥＤが一体的に構成されている。このようにすることで、夜間やトンネル内等の車室内が暗くなる状況でもドライバの顔を判別して撮影することができる。なお、詳細は後述するが、カメラ４で撮影された画像によりドライバの眼の位置や輻輳角を検出する動作を行っているので、カメラ４は眼の位置検出手段と輻輳角検出手段の一部をなしている。

眼の位置検出手段、調整手段、輻輳角検出手段としてのコントローラ５は、図３に示したように、演算部５１と、制御部５２と、を備えている。コントローラ５は、ＣＰＵ（Central Processing Unit）およびメモリ等を内蔵したマイクロコンピュータ（マイコン）やＡＳＩＣ（Application Specific Integrated Circuit）、あるいはマイコンとＡＳＩＣの組み合わせ等により構成される。また、演算部５１と制御部５２は同じデバイス内に構成してもよいし、別のデバイスとしてもよい。

演算部５１は、顔検出部５１ａと、眼の位置検出部５１ｂと、視線検出部５１ｃと、アイポイント算出部５１ｈと、右目視線加速度算出部５１ｉと、左目視線加速度算出部５１ｊと、利目判定部５１ｋと、輻輳角算出部５１ｍと、を備えている。

顔検出部５１ａは、カメラ４で撮影された画像からドライバの顔を検出する。顔検出方法としては、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などの周知の顔認識アルゴリズムを使用すればよい。

眼の位置検出部５１ｂは、顔認識部５１ａで検出された顔画像のうち、眼の位置を検出する。眼の位置検出方法も、パターンマッチングなどの周知の画像認識処理により検出すればよい。また、眼の位置検出部５１ｂは、検出された右目の位置の座標（右目座標）を算出する。つまり、眼の位置検出部５１ｂで検出された右目の位置を、地面と平行な方向を示すｘ座標と、ｘ座標と直交する方向を示すｙ座標からなる値に変換する。同様に検出された左目の位置の座標（左目座標）を算出する。つまり、眼の位置検出部５１ｂで検出された左目の位置を、地面と平行な方向を示すｘ座標とｘ座標と直交する方向を示すｙ座標からなる値に変換する。これらの、座標は、後述する眼の高さ、奥行き（アイポイント）や眼幅および視線検出に利用される。

視線検出部５１ｃは、検出された眼の視線を検出する。視線の検出方法としては、例えば特開平８−２９７０１９号公報に記載されているような、ドライバの網膜反射像および角膜反射像と顔の画像に基づいて検出する方法など周知の方法を用いればよい。また、検出された視線から右目と左目の視線ベクトルをそれぞれ算出する。

アイポイント算出部５１ｈは、視線検出部５１ｃで算出された右目座標と左目座標に基づいてアイポイントを算出する。ここで、アイポイントの算出について図４を参照して説明する。

図２や図４に示したように、ＨＵＤ本体２はインストルメントパネル内に収容され、インストルメントパネル１０の開口部１０ａ（図４参照）からウインドシールド３に向けて右目用映像と左目用映像を投影している。ここで、ＨＵＤ装置１の立体表示像を観察することになるドライバの眼球位置（アイポイント）は通常、ドライバに向かって側面視した状態で楕円となる範囲に分布することが知られている（アイポイント存在範囲ＥＰＡ）。

まず、アイポイント存在範囲ＥＰＡの中心であるアイポイントセンタＥＰＣにドライバの眼がある場合、カメラ４からは所定の仰角ａ０の位置に眼の画像が検出される。次に、アイポイントセンタＥＰＣ以外のアイポイントの場合、カメラ４からは仰角ａ０と異なる所定の仰角ａ１の位置に眼の画像が検出される。このとき、カメラ４から仰角ａ１の直線Ａ上のアイポイントＡ０，Ａ１，Ａ２，Ａ３，Ａｎ，Ａｆでは、ＨＵＤ装置１の光軸として見ると最遠点Ａｆではやや高く、最近点Ａｎではやや低くなる。

アイポイントが存在する確率は一般的にアイポイント存在範囲ＥＰＡの中央付近ほど大きくなるため、直線Ａと、カメラ４とアイポイントセンタＥＰＣを結んだ直線Ｃの法線Ｈと、の交点であるアイポイントＡ０を仰角Ａ１の場合の代表点とする。つまり、アイポイントがこの仰角ａ１の直線Ａ上にあると検出された場合（Ａ１，Ａ２，Ａ３，Ａｎ，Ａｆ）は、アイポイントＡ０にあるものとして制御する。このようにすることにより、２次元画像を撮影するカメラ４を用いて容易にアイポイントを算出することができる。

なお、上述した方法でアイポイントを算出すると、最近点Ａｎと最遠点Ａｆでは誤差が大きくなるが、最近点Ａｎと最遠点Ａｆでも正しく観察できるように、表示される映像の可視範囲上限を設定すればよい。

右目視線加速度算出部５１ｉは、右目視線ベクトル算出部５１ｆで算出された右目視線ベクトルに基づいて、右目視線加速度を算出する。

左目視線加速度算出部５１ｊは、左目視線ベクトル算出部５１ｇで算出された左目視線ベクトルに基づいて、左目視線加速度を算出する。

ここで、視線ベクトルから加速度の算出方法について説明する。図５に示すようにドライバの視線がベクトルａからベクトルｂに移動したとき、その移動距離ベクトルｃは次の式（１）で表される。

したがって、ドライバの視線がベクトルａからベクトルｂに移動したときの時間をｔとすると、ドライバの視線がベクトルａからベクトルｂに移動したときの加速度ａは次の式（２）で表される。

以上の２式を、右目と左目でそれぞれ演算することにより右目視線加速度および左目視線加速度が算出される。

利目判定部５１ｋは、右目視線加速度算出部５１ｉで算出された右目視線加速度と、左目視線加速度算出部５１ｊで算出された左目視線加速度と、に基づいて利目の判定を行う。利目判定処理について図６のフローチャートを参照して説明する。まず、ステップＳ１０１において、ＨＵＤ像表示位置調整を行ってステップＳ１０２に進む。ＨＵＤ像表示位置調整は、上述したアイポイントに応じた位置にＨＵＤ像（右目用虚像ＶＩＲ、左目用虚像ＶＩＬ）を表示するように非球面ミラー３２および右目用ディスプレイ２１および左目用ディスプレイ２２の位置を調整する。

次に、ステップＳ１０２において、ＨＵＤ像に知覚判定画像を表示してステップＳ１０３に進む、知覚判定画像とは、例えば、図７に示したようにＨＵＤ像の表示範囲に３行３列など規則的に配列された点または円状の画像のうち１つのみを点灯させたものである。ここでは中央の画像を点灯する場合で説明する。

次に、ステップＳ１０３において、左右視線ベクトル算出（１）として、視線検出部５１ｃで右目と左目の視線ベクトルを算出する。また、この際に右目視線加速度算出部５１ｉと左目視線加速度算出部５１ｊで右目と左目の視線加速度を算出する。

本ステップでは、ドライバは、ステップＳ１０２で表示された知覚判定画像を注視しているが、人間は絶えず視線移動と注視を繰り返して前方視野にある物体を認識するため、注視中も視線加速度が検出される。そこで、この注視中に検出された視線加速度のうち最大の視線加速度を視線移動したか否かの判定に用いる閾値とする。

次に、ステップＳ１０４において、ＨＵＤ像表示位置調整を行ってステップＳ１０５に進む。本ステップでもステップＳ１０１と同様にＨＵＤ像表示位置調整を行う。なお、本ステップを行わずに次のステップを行ってもよい。

次に、ステップＳ１０５において、ステップＳ１０２と異なる知覚判定画像を表示してステップＳ１０６に進む。本ステップでは、ステップＳ１０２で表示したのと異なる知覚判定画像として、例えば、点または円状の画像の点灯位置を中央から別の位置に変更する。

次に、ステップＳ１０６において、左右視線ベクトル算出（２）として、ステップＳ１０３と同様に、視線検出部５１ｃで右目と左目の視線ベクトルを算出する。また、この際に右目視線加速度算出部５１ｉと左目視線加速度算出部５１ｊで右目と左目の視線加速度を算出する。なお、本ステップでは、ステップＳ１０５で表示した知覚判定画像に対して視線ベクトルや視線加速度を算出する。また、ステップＳ１０３で設定した閾値を上回る視線加速度が算出された場合はその視線加速度を新たな閾値として更新する。

次に、ステップＳ１０７において、ステップＳ１０３で算出した左右視線ベクトル、ステップＳ１０６で算出した左右視線ベクトル算出より左右視線移動の加速度を算出してステップＳ１０８に進む。つまり、これらのステップで算出した視線ベクトルを式（１）と式（２）に当てはめて加速度を算出している。なお、視線ベクトルが移動したときの時間をｔは、例えば知覚判定画像の切替時間とすればよい。

次に、ステップＳ１０８において、視線移動したか否かを判断し、視線移動した場合（Ｙｅｓの場合）はステップＳ１０９に進み、視線移動していない場合（Ｎｏの場合）はステップＳ１０１に戻る。本ステップにおける判断基準は、ステップＳ１０３およびＳ１０６で設定した閾値である。閾値よりも大きな加速度である場合は視線移動したとみなし、閾値以下の加速度である場合は視線移動したとみなさず、再度ステップＳ１０１からの処理をやり直す。やり直しの場合は、前回と異なる知覚判定画像を表示してもよい。

次に、ステップＳ１０９において、左右の視線加速度のうち、変化が大きい方を利目とする。つまり、加速度の大きいということは、その眼を主に使って視認していることとなり、利目と判定される。

輻輳角算出部５１ｍは、利目判定部５１ｋで利目判定に用いた左右の視線ベクトルと利目判定結果に基づいて輻輳角を算出する。輻輳角について図８を参照して説明する。人間が奥行きを知覚する際に、左右の眼の動きは図８に示したように左右逆に動く。図８において、近くを見る場合は寄り目になり（輻輳運動）、遠くを見る場合は開きぎみになる（開散運動）。

この際の注視画像（注視位置）から見て右目と左目とのなす角が輻輳角となる。図９に示すように、右目の視線ベクトルＲ、左目の視線ベクトルＬとすると、輻輳角θは次の式（３）で表される。

上記式（３）を演算することにより輻輳角が算出される。即ち、この輻輳角を算出することで、観察者の眼の焦点位置を検出することができる。

制御部５２は、ＨＵＤ表示像光路算出部５２ａと、非球面ミラー位置制御部５２ｂと、利目判定制御５２ｃと、ＨＵＤ表示像生成部５２ｄと、ＨＵＤ表示像位置制御部５２ｅと、を備えている。

ＨＵＤ表示像光路算出部５２ａは、演算部５１で算出されたアイポイントと輻輳角に基づいてＨＵＤ表示像光路と右目用虚像ＶＩＲと左目用虚像ＶＩＬのズレ量を算出する。まず、ＨＵＤ表示像光路の算出について説明する。

まず、輻輳角算出部５１ｍで算出された輻輳角に基づいてドライバの眼から焦点位置までの距離、つまり、立体表示像ＴＤＩが表示される位置までの距離Ｌを算出する。図１０に示したように、カメラ４で撮影された顔画像から演算部５１のアイポイント算出部５１ｈで予め算出されたドライバの右目と左目の間隔をＤｅｙｅ、輻輳角算出部５１ｍで算出された輻輳角をθとすると、眼から立体表示像ＴＤＩを表示される位置までの距離Ｌは次の式（４）で表される。なお以降の式中「／」は除算を示す。
Ｌ＝（Ｄｅｙｅ／２）／ｔａｎθ´・・・（４）
（ここで、θ´＝θ／２）

次に、ＨＵＤ表示像光路算出部５２ａは、演算部５１で算出されたアイポイントから眼の高さを求める。眼の高さは地面など基準となる位置からの高さであり、アイポイントの座標から算出する。

次に、右目用虚像ＶＩＲと左目用虚像ＶＩＬの表示位置の高さを求める。この高さも、眼の高さ同じ基準からの高さである。図１１に、ドライバの眼と、右目用虚像ＶＩＲと左目用虚像ＶＩＬと、立体表示像ＴＤＩと、それぞれの高さの関係を簡略化した図を示す。なお、立体表示像ＴＤＩの高さは予め設定またはドライバによって指定された高さとすればよい。

図１１に示したように、立体表示像ＴＤＩの高さをＨ０、眼の高さをＨｅｙｅ、ドライバの眼の位置から立体表示像ＴＤＩが表示される位置までの距離をＬ、ドライバの眼の位置から右目用虚像ＶＩＲと左目用虚像ＶＩＬまでの距離をＬ０とすると、右目用虚像ＶＩＲと左目用虚像ＶＩＬの表示位置の高さＨは、次の式（５）で求めることができる。
Ｈ＝（（（Ｌ−Ｌ０）／Ｌ）×（Ｈｅｙｅ−Ｈ０））＋Ｈ０ ・・・式（５）

なお、ドライバの眼の位置から右目用虚像ＶＩＲと左目用虚像ＶＩＬまでの距離Ｌ０は、右目用ディスプレイ２１や左目用ディスプレイ２２からウインドシールド３で反射してドライバの眼までの光路長と同等の距離であり、予め設計時に設定される値である。

式（５）により右目用虚像ＶＩＲと左目用虚像ＶＩＬの表示位置の高さＨを求めることで、右目用虚像ＶＩＲと左目用虚像ＶＩＬの表示位置が決定するので、右目用光路と左目用光路、つまり、右目用ディスプレイ２１からドライバの右眼までの光路、左目用ディスプレイ２２からドライバの左眼までの光路であるＨＵＤ表示像光路が算出される。つまり、非球面ミラー２３の調整によりウインドシールド３へ投影する位置が確定する。

次に、右目用虚像ＶＩＲと左目用虚像ＶＩＬのズレ量の算出について説明する。図１２に、ドライバの眼と、右目用虚像ＶＩＲと左目用虚像ＶＩＬと、立体表示像ＴＤＩと、の関係を簡略化した図を示す。

図１２に示したように、ドライバの眼の位置から立体表示像ＴＤＩが表示される位置までの距離Ｌ、ドライバの眼の位置から右目用虚像ＶＩＲと左目用虚像ＶＩＬまでの距離をＬ０、ドライバの右目と左目の間隔をＤｅｙｅとすると、ドライバの眼の位置から右目用虚像ＶＩＲと左目用虚像ＶＩＬのズレ量Ｄは次の式（６）で求めることができる。このドライバの眼の位置から右目用虚像ＶＩＲと左目用虚像ＶＩＬのズレ量Ｄを求めることで右目用ディスプレイ２１と左目用ディスプレイ２２の位置が確定する。
Ｄ＝（（Ｌ−Ｌ０）／Ｌ）×Ｄｅｙｅ ・・・式（６）

非球面ミラー位置制御５２ｂは、ＨＵＤ像光路算出部５２ａで算出された右目用光路と左目用光路および右目用虚像ＶＩＲと左目用虚像ＶＩＬの高さＨ並びにドライバの眼の位置から右目用虚像ＶＩＲと左目用虚像ＶＩＬのズレ量Ｄにそれぞれ合うように駆動手段等を制御して非球面ミラー２３の位置（角度）を調整する。即ち、眼の位置と輻輳角に基づいて、右目用映像および左目用映像が反射手段に投影される位置を調整している。

利目判定制御部５２ｃは、演算部５１の利目判定部５１ｋが利目判定動作を行う際に、後述するＨＵＤ表示像生成部５２ｄを制御して、知覚判定画像の表示等を行わせる。

ＨＵＤ表示像生成部５２ｄは、図示しない入力画像情報等より右目用ディスプレイ２１と左目用ディスプレイ２２に表示する映像（表示画像）を生成し、右目用ディスプレイ２１と左目用ディスプレイ２２に出力する。また、ＨＵＤ表示像生成部５２ｄは、利目判定制御部５２ｃからの制御により利目判定用の知覚判定画像の出力も行う。

ＨＵＤ表示像位置制御部５２ｅは、ＨＵＤ像光路算出部５２ａで算出された右目用光路と左目用光路および右目用虚像ＶＩＲと左目用虚像ＶＩＬの高さＨ並びにドライバの眼の位置から右目用虚像ＶＩＲと左目用虚像ＶＩＬのズレ量Ｄにそれぞれ合うように駆動手段等を制御して右目用ディスプレイ２１および左目用ディスプレイ２２の位置を調整する。また、利目判定時の位置調整（図６のステップＳ１０１、Ｓ１０４）の制御も行う。即ち、眼の位置と輻輳角に基づいて、右目用映像および左目用映像が反射手段に投影される位置を調整している。

上述したように構成されたコントローラ５を用いたＨＵＤ装置１の動作を図１３のフローチャートを参照して説明する。

まず、ステップＳ２０１において、車両のイグニッションボタンがＯＮされると、非球面ミラー２３の位置と、右目用ディスプレイ２１および左目用ディスプレイ２２の位置と、利目などを初期状態にしてステップＳ２０２に進む。これらの初期状態は、例えばアイポイントセンタＥＰＣに眼がある場合など、予め設定した眼の位置における表示位置等に設定されている。

次に、ステップＳ２０２において、カメラ４で撮影した画像から顔検出部５１ａで顔検出し、続くステップＳ２０３において、眼の位置検出部５１ｂで目の位置を検出し、ステップＳ２０４とＳ２０５に進む。

ステップＳ２０４においては、眼の位置検出部５１ｂで算出された右目と左目の座標に基づいてアイポイント算出部５１ｈでアイポイントを算出してステップＳ２１１に進む。

一方、ステップＳ２０５においては、視線検出部５１で視線検出を行い、続くステップＳ２０６において右目視線加速度算出部５１ｉと左目視線加速度算出部５１ｊで左右加速度を検出してステップＳ２０７に進む。

次に、ステップＳ２０７において、利目が判定済みか否かを判断し、利目が判定済みの場合はステップＳ２０９に進み、利目が判定済みで無い場合はステップＳ２０８で利目判定部５１ｋにより利目判定処理を行う。

次に、ステップＳ２０９において、利目に対して視線加速度の変化が検出されたか否かを判断し、検出された場合はステップＳ２１０に進み輻輳角算出部５１ｍで輻輳角を算出してステップＳ２１１に進み、検出されない場合はそのままステップＳ２１１に進む。つまり、利目の視線加速度が変化したことで視線位置が変化したと判断し、眼の焦点が変化した可能性が高いとして輻輳角の算出を行っている。

ここで、ステップＳ２０４と、ステップＳ２０５〜Ｓ２１０は並行して行われる。

次に、ステップＳ２１１において、ＨＵＤ表示像光路算出部５２ａでＨＵＤ表示像光路（右目用光路、左目用光路）を算出してステップＳ２１２に進み、続くステップＳ２１２において、非球面ミラー位置制御５２ｂで非球面ミラー２３の位置制御を行いステップＳ２１３に進む。なお、ステップＳ２１２においてはＨＵＤ表示像位置制御部５２ｅで右目用ディスプレイ２１と左目用ディスプレイ２２の位置制御も行っている。

次に、ステップＳ２１３において、イグニッションスイッチがＯＦＦか否かを判断し、ＯＦＦである場合は終了し、ＯＦＦでない場合はステップＳ２０２に戻る。

本実施形態によれば、カメラ４で撮影したドライバの顔画像に基づいて、コントローラ５で、アイポイントを算出し、利目の判定を行い、輻輳角を算出し、ＨＵＤ像光路と右目用虚像ＶＩＲおよび左目用虚像ＶＩＬの高さＨと右目用虚像ＶＩＲおよび左目用虚像ＶＩＬのズレ量Ｄを算出して、非球面ミラー２３と、右目用ディスプレイ２１と左目用ディスプレイ２２の位置の調整を行っているので、ドライバの眼の位置や輻輳角に合わせて立体表示像ＴＤＩの表示位置を高精度に調整することができるために、より視覚疲労や不快感を減少させることができる。

なお、この実施形態において、アイポイント算出方法は、図４に示した方向に限らず、ドライバの眼との距離を抽出することによりアイポイントを算出する方法など他の方法により算出してもよい。

また、非球面ミラー２３や右目用ディスプレイ２１および左目用ディスプレイ２２の調整は、輻輳角を考慮せずアイポイント（眼の位置）のみで行ってもよい。

（第３実施形態）
次に、本発明の第３の実施形態を図１４を参照して説明する。なお、前述した第１、第２の実施形態と同一部分には、同一符号を付して説明を省略する。図１４は本発明の第３の実施形態にかかるヘッドアップディスプレイ装置の構成図である。

本実施形態では、第２の実施形態に対して、ＨＵＤ本体２内の非球面ミラーが、右目用非球面ミラー２３ａと左目用非球面ミラー２３ｂに分けられている。また、右目用ディスプレイ２１および左目用ディスプレイ２２は固定となっている。つまり、第２の実施形態で右目用ディスプレイ２１および左目用ディスプレイ２２が移動する機能を右目用非球面ミラー２３ａと左目用非球面ミラー２３ｂに含めている。したがって、本実施形態では、図３のＨＵＤ表示像位置制御５２ｅの出力は非球面ミラー位置制御５２ｂに接続される。

本実施形態によれば、ＨＵＤ本体２内の非球面ミラーが、右目用非球面ミラー２３ａと左目用非球面ミラー２３ｂに分けられているとともに、右目用ディスプレイ２１および左目用ディスプレイ２２は固定となっているので、駆動手段などを非球面ミラー部分に集約することができ、構成の簡略化を図ることができる。

（第４実施形態）
次に、本発明の第４の実施形態を図１５を参照して説明する。なお、前述した第１〜第３の実施形態と同一部分には、同一符号を付して説明を省略する。図１５は本発明の第４の実施形態にかかるヘッドアップディスプレイ装置の動作説明図である。

本実施形態では、構成は第２の実施形態と同様であるが、制御を一部変更している。つまり、輻輳角算出部５１ｍで算出された輻輳角に基づいて立体表示を行うか否かを変更する。即ち、コントローラ５が、検出した輻輳角が予め定めた閾値以上である場合は、右目用映像表示手段または左目用映像表示手段のいずれか一方のみを表示させる表示制御手段として機能する。

具体的には、輻輳角が予め設定された閾値以上の場合は、右目用ディスプレイ２１または左目用ディスプレイ２２のいずれか一方のみを表示させ、右目用虚像ＶＩＲまたは左目用虚像ＶＴＬのいずれか一方のみが表示されるようにする。図１５の場合、実線で示した光路が立体表示を行う場合であり、一点鎖線で示した光路が立体表示を行わない場合である。

立体表示を行う場合は、立体表示像ＴＤＩの位置に眼の焦点位置（ｆ１）がある。この場合の輻輳角をθ１とする。次に、右目用虚像ＶＩＲおよび左目用虚像ＶＴＬの表示位置よりドライバ側に眼の焦点位置（ｆ２）がある場合の輻輳角をθ２とすると、θ１＜θ２の関係が成立する。ここで、右目用虚像ＶＩＲおよび左目用虚像ＶＴＬの表示位置における輻輳角を閾値とすれば、図１５のθ２の場合は右目用虚像ＶＩＲまたは左目用虚像ＶＴＬのいずれか一方のみが表示されるようになる。

この判定は、輻輳角そのもので判定を行ってもよいが、例えば、式（４）で求めたＬとＬ０を比較することで判定してもよい。つまり、Ｌ０は、右目用虚像ＶＩＲおよび左目用虚像ＶＴＬの表示位置までの距離であり、Ｌは輻輳角から算出される立体表示像ＴＤＩを表示される位置までの距離（焦点距離）であるので、Ｌ０を閾値として、Ｌ≧Ｌ０のときは立体表示とし、Ｌ＜Ｌ０のときは右目用虚像ＶＩＲまたは左目用虚像ＶＴＬのいずれか一方のみが表示されるようにする。

そして、このような動作は、例えば、図３の輻輳角算出部５１ｍの結果をＨＵＤ表示像生成部５２ｄに出力し、ＨＵＤ表示像生成部５２ｄで閾値判定を行うようにすればよい。

輻輳角が大きい場合は、ドライバは視線を比較的近方に向けていることになるため、ドライバの眼球運動と立体視させるための虚像がずれると二重像や不快感を生じさせてしまう。そこで、本実施形態によれば、虚像位置よりも眼の焦点が近い場合には立体視を行わず、平面視に切り替えることで比較的近方を見ている際に二重像や不快感を生じさせないようにすることができる。

なお、上述した各実施形態では、車両に取り付けられたＨＵＤ装置１で説明したが、それに限らず、家庭内や事務所等に設置する表示装置に適用してもよい。また、反射手段としては、観察者からの光は透過し、右目用映像表示手段や左目用映像表示手段（あるいは各表示手段の映像を投影する非球面ミラー）からの映像は観察者の視線方向に反射するハーフミラーとしてもよい。

また、上述した各実施形態は本発明の代表的な形態を示したに過ぎず、本発明は、実施の形態に限定されるものではない。すなわち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。

１ ＨＵＤ装置（立体表示装置）
２１ 右目用ディスプレイ（右目用映像表示手段、調整手段）
２２ 左目用ディスプレイ（左目用映像表示手段、調整手段）
２３ 非球面ミラー（調整手段）
３ ウインドシールド（反射手段）
４ カメラ（眼の位置検出手段、輻輳角検出手段）
５ コントローラ（眼の位置検出手段、調整手段、輻輳角検出手段、表示制御手段）

Claims (5)

1. 観察者の視線上に表示される立体表示像を形成する前記観察者の右目用映像の虚像と左目用映像の虚像を表示する立体表示装置であって、
   前記観察者の視線を遮らない位置に設置され、前記右目用映像を表示する右目用映像表示手段および前記左目用映像を表示する左目用映像表示手段と、
   前記右目用映像表示手段に表示された前記右目用映像と、前記左目用映像表示手段に表示された前記左目用映像と、をそれぞれ前記観察者の右目および左目の視線方向に反射するとともに、前記観察者の視線方向からの光は透過する反射手段と、
   を有していることを特徴とする立体表示装置。
2. 前記観察者の眼の位置を検出する眼の位置検出手段と、
   前記眼の位置検出手段が検出した前記眼の位置に前記立体表示像が表示されるように、前記右目用映像および前記左目用映像が前記反射手段に投影される位置を調整する調整手段と、
   を有していることを特徴とする請求項１に記載の立体表示装置。
3. 前記観察者の右目と左目の輻輳角を検出する輻輳角検出手段と、
   前記調整手段が、前記輻輳角検出手段が検出した前記輻輳角と前記眼の位置検出手段が検出した前記眼の位置に基づいて前記右目用映像および前記左目用映像が前記反射手段に投影される位置を調整する、
   ことを特徴とする請求項２に記載の立体表示装置。
4. 前記焦点位置検出手段が検出した前記輻輳角が予め定めた閾値以上である場合は、前記右目用映像表示手段または前記左目用映像表示手段のいずれか一方のみを表示させる表示制御手段を有していることを特徴とする請求項３に記載の立体表示装置。
5. 観察者の視線上に表示される立体表示像を形成する前記観察者の右目用映像の虚像と左目用映像の虚像を表示する立体表示方法であって、
   前記観察者の視線を遮らない位置から前記右目用映像および前記左目用映像を表示し、前記右目用映像および前記左目用映像を前記観察者の視線方向に反射させて立体表示像を前記観察者の視線上に表示することを特徴とする立体映像表示方法。

Images