JP2022036432A - ヘッドアップディスプレイ装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法 - Google Patents

Abstract

【課題】 視認者の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施するときに、ワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して視認者に違和感を生じさせることを抑制する。【解決手段】 変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、視点位置追従ワーピング制御を実施する制御部１８０は、第１のワーピングパラメータから第２のワーピングパラメータへの切り替えの際、パラメータの値が、第１のパラメータ値から第２のパラメータ値に、線形に、又は非線形に、徐々に変化するように制御する。【選択図】 図３

Description

本発明は、例えば、車両のウインドシールドやコンバイナ等の被投影部材に画像の表示光を投影（投射）し、視認者の前方等に虚像を表示するヘッドアップディスプレイ（Ｈｅａｄ－ｕｐ Ｄｉｓｐｌａｙ：ＨＵＤ）装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法等に関する。

実景に重畳したコンテンツを表示（描画）するヘッドアップディスプレイ（ＨＵＤ）装置によって、視線移動の最小化と進路方向や注意喚起等の情報を、ロスなく運転者等（視認者）に伝えることができ、運転の安全を提供できると考えられている。

それを実現するためには外界をセンシングし、実際の対象物に合わせた表示を実現するシステムや運転者が視点を移動したときに生じる対象物との位置関係の変化に合わせて表示位置を変化させるシステムが必要になる。その補正には遅延なく精度高く運転者の変化や外界の変化を捉えて表示補正する必要がある.

但し、例えば、オンロード（路面重畳）ＨＵＤや３Ｄ－ＨＵＤのようなシステムにおいては、像歪みが大きくなる傾向があり、視点移動をした場合に、重畳対象物から表示コンテンツがずれることが発生しやすくなる。

このため、より精度が高く、遅延の少ない運転者の視点位置検出や表示位置補正システム等が必要になる。この場合、システムによる補正処理の負荷が大きくなってしまうのは否めない。また、その補正処理にも限界があり、遅延や位置ずれが発生して提示情報の認知が低下する場合もないとは言えない。

この対策の１つとして、運転者等の視点位置に応じてワーピングパラメータを更新する、視点位置追従ワーピングを実施することが考えられる。なお、ワーピングとは、ＨＵＤ装置において、投影される画像を、光学系やウインドシールド等の曲面形状等に起因して生じる虚像の歪みとは逆の特性をもつように予め歪ませる画像補正のことである。ＨＵＤ装置におけるワーピング処理については、例えば特許文献１に記載されている。

特開２０１５－８７６１９号公報

本発明者は、視認者（運転者、操縦者及び乗務員等、広く解釈可能である）の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施することについて検討し、以下に記載する新たな課題を認識した。

視点位置が移動してワーピングパラメータを更新する場合において、パラメータの切り替え時に、視認者から見た虚像の見た目（虚像の様子や虚像から受ける印象等）が瞬時的に変化し、視認者に違和感を生じさせたり、視認者の情報等の認知性（奥行きの知覚）を低下させたりすることがあり得る。

本発明の目的の１つは、ＨＵＤ装置において、視点位置追従ワーピング処理を実施するときに、ワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して視認者に違和感を生じさせることを抑制することである。

本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、ヘッドアップディスプレイ装置は、
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置であって、
前記画像を生成する画像生成部と、
前記画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、
アイボックスにおける視認者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する制御部と、
を有し、
変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、
前記制御部は、
前記第１のワーピングパラメータから前記第２のワーピングパラメータへの切り替えの際、パラメータの値が、前記第１のパラメータ値から前記第２のパラメータ値に、線形に、又は非線形に、徐々に変化するように制御する。

第１の態様では、視点移動が生じてワーピングパラメータを切り替える際、ワーピングパラメータを時間軸上で、徐々に変化させる。例えば、複数の表示点があるとき、各表示点で線形もしくは非線形に同時間で変化が完了するようにワーピングパラメータを変化させる。

この場合、例えば、各表示点の変化の軌跡や変化の速度は予め決定されており、視点移動前の視域情報と変化後（現状）の視域情報が入力されると、線形あるいは非線形の変化が生じて、変化前の視点位置に対応した第１のワーピングパラメータ（変化前のワーピングパラメータ）は、変化後の視点位置に対応した第２のワーピングパラメータ（変化後のワーピングパラメータ）に切り替わり、ワーピングパラメータ値は、第１のパラメータ値から徐々に変化し、変化開始から所定時間後に、第２のパラメータ値に達する。

これにより、ワーピングパラメータの切り替え（更新）の際、表示している画像（虚像）に、不自然な挙動（カクカクした変化や急激な変化等）を抑制することができ、歪みが低減された虚像を表示することができる。よって、情報の認知性が低下することを効果的に抑制することができる。

第１の態様に従属する第２の態様において、
アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
前記制御部は、
前記視域に対応付けられたワーピングパラメータを用いて前記視点位置追従ワーピング制御を実施するが、
前記第２の視域が、前記第１の視域に隣接する視域であるときは、前記第２の視域に対応づけられた前記第２のワーピングパラメータへの変更を実施せず、
前記第２の視域が、前記第１の視域から少なくとも１つの視域を隔てた視域であるときは、第２の視域に対応付けられた前記第２のワーピングパラメータに変更してもよい。

第２の態様では、視点移動後の視域が、視点移動前の視域に隣接する場合はワーピングパラメータの変更（更新）を行わず、１つ以上の視域を隔てて視点が移動する（言い換えれば、２つ以上離れた視域に移動する、あるいは、視域１個分の距離を超えて移動する）場合に、ワーピングパラメータを更新（変更）する。

視点移動前の視域に隣接する、複数の視域の集まりを「隣接領域」というとき、その隣接領域内における視点移動は、移動距離が小さい（言い換えれば、微小な）視点移動ということができる。この微小な視点移動に対するワーピングパラメータの更新を実施しない（言い換えれば、ワーピングパラメータの更新感度を零として不感帯を設ける）ことで、更新の回数を減らすことができる。これによって、更新のたびに虚像の表示態様が微妙に変化し、かえって表示が不自然なものとなる、といった問題が生じない。なお、「隣接領域」は、広義に解釈可能である。例えば、視点移動前の視域に隣接する領域に、さらに隣接する領域を含めて「隣接領域（広義の隣接領域）」とすることも可能である。

また、例えば、車を運転している運転者の視点は、アイボックスの中央（中心）付近にあることが多いと考えられ、その中央付近にある視域を基準として、その周囲に「隣接領域」が設定されるとすると、視点が隣接領域内にあるときは、表示している虚像の歪みは小さく、一方、隣接領域よりも外側へと視点が移動すると、表示している虚像の歪みは増大する傾向が生じる。その原因の一例としては、ウインドシールドの湾曲の度合いが周辺にいくほど大きくなることがあげられる。よって、歪みが増大する傾向にある後者の場合のみ、ワーピングパラメータを適切に更新して対応することで、虚像の歪みを低減し、表示品質の低下を抑制することができる。

第２の態様に従属する第３の態様では、
前記制御部は、
前記視域に対応付けられたワーピングパラメータを用いて前記視点位置追従ワーピング制御を実施するが、
前記第２の視域が、前記第１の視域との間の視域の数が予め定められたｎ個（ｎは０又はそれより大きい整数）以下のときは、前記第２の視域に対応づけられた前記第２のワーピングパラメータへの変更を実施せず、
前記第２の視域が、前記第１の視域との間の視域の数が前記ｎ個より多いときは、第２の視域に対応付けられた前記第２のワーピングパラメータに変更してもよい。

第３の態様における制御は、内容としては第２の態様と同様である。但し、第２の態様では、パラメータの更新をしない（言い換えれば、パラメータの更新感度を零として不感帯とする）視域が、移動前の第１の視域に「隣接する視域（隣接視域）」としている。この「隣接する視域（隣接視域）」は、広義に解釈することができる。言い換えれば、移動前の視域（第１の視域）に隣接する「第１の隣接視域」、その第１の隣接視域に、さらに隣接する「第２の隣接視域」・・・「第ｍの隣接視域（ｍは３以上の自然数）」というように、広義に解釈することができる。この「広義の隣接視域」の全部を含めて「広義の隣接領域」とすれば、その「広義の隣接領域」では、ワーピングパラメータの更新はしないことになる。

第３の態様では、この点を、念のために確認的に明確化するべく、「第１の視域との間の視域の数が予め定められたｎ個（ｎは０又はそれより大きい整数）以下のときは、第２の視域に対応づけられた第２のワーピングパラメータへの変更を実施せず」と記載している。

上記の「第１の隣接する視域」は、移動前の「第１の視域」に接して隣接しているため。第１の視域との間の視域の数は０（ｎ＝０）である。ここで、例えば設計段階で、予めｎ＝０に設定してあったとすると、視域の数（＝０）はｎ（＝０）以下であり、条件を満たすので、「第１の隣接する視域」は、ワーピングパラメータを更新しない視域となる。「第２の隣接する視域」は、第１の視域との間の視域の数が１個であり、ｎ（＝０）よりも大きいため、ワーピングパラメータを更新する視域となる。同様に、予めｎ＝１に設定してあったとすると、「第１、及び第２の隣接する視域の双方」が、ワーピングパラメータを更新しない視域となり、「第３の隣接する視域」が、ワーピングパラメータを更新する視域となる。
このように、ｎの値を事前に設定することで、ワーピングパラメータを更新しない範囲（言い換えれば、広義の隣接領域の範囲）を可変に制御することができ、設計の自由度が向上する。

第１の態様に従属する第４の態様では、
アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
前記制御部は、
前記第２の視域が、前記第１の視域に隣接するか、あるいは、少なくとも１つの視域を隔てているか、にかかわらず、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を同じとする。

第４の態様では、視点が、隣接領域の内側で移動する場合と、隣接領域の外側へと移動する場合とで、パラメータ値の時間に対する変化率に差を設けない。いずれの場合も変化率に差がないことから、画像（虚像）に生じる変化の態様に差がなく、例えば急激な変化が生じにくい。よって、ワーピングパラメータの更新に伴う違和感が感得されることが抑制される。

第１の態様に従属する第５の態様において、
アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
前記制御部は、
前記第２の視域が、第１の視域から少なくとも１つの視域を隔てている視域であるときは、前記第１の視域に隣接する視域であるときに比べて、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を大きくしてもよい。

第５の態様では、視点が、隣接領域の内側で移動する場合よりも、隣接領域の外側へと移動する場合の方が、パラメータ値の時間に対する変化率が大きい。視点移動後の視域に対応するパラメータの値に、より素早く移行させることで、長い距離の視点移動によって画像（虚像）の歪みが増大する場合でも、できるかぎり早くワーピングパラメータの変更を完了させ、適正な画像補正を早期に実施することができる。よって、表示されている画像（虚像）の歪みを抑えることが可能である。

第１乃至第５の態様に従属する第６の態様において、
前記制御部は、
前記視認者の移動状況、周囲状況、環境状況の少なくとも１つの状況の判断の基礎となり得る情報を取得し、
前記視認者が前方を含む周囲から得る実景の情報が減少する状況であるときは、情報の減少が問題とならない状況のときよりも、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を小さくしてもよい。

第６の態様では、周囲の実景から得る情報が減少する状況下（例えば、車速が速いとき、周囲が暗いとき、あるいは雨天のとき等）では、背景（実景）の変化が抑制されている分、相対的に、ＨＵＤ装置による虚像表示の変化が目立つことになることから、パラメータの更新時の変化率を小さくして、画像（虚像）の変化が目立たないようにする。これによって、違和感が生じにくくなり、表示品質の低下を抑制することができる。

第６の態様に従属する第７の態様において、
前記判断の基礎となり得る情報は、
前記ヘッドアップディスプレイ装置が車載用であるときの車速情報、
及び、
周囲の明暗の情報、
及び、
晴天／雨天を含む天候の情報、の少なくとも１つを含み、
車速が速いときは、遅いときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定し、
周囲が暗いときは、明るいときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定し、
雨天のときは、晴天のときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定してもよい。

第７の態様では、前方を含む周囲から得る実景の情報が減少する状況について、例示している。

第１乃至第７の何れか１つの態様に従属する第８の態様において、
前記ヘッドアップディスプレイ装置は、
前記視認者の前記視点の高さ位置に応じてアイボックスの位置を調整するに際し、前記光学部材を動かさず、前記画像の表示光の、前記光学部材における反射位置を変更してもよい。

第８の態様では、上記の制御を実施するＨＵＤ装置は、視認者の目（視点）の高さ位置に応じてアイボックスの高さ位置を調整する場合に、光を被投影部材に投影する光学部材を、例えばアクチュエータを用いて回動させるようなことをせず、その光学部材における光の反射位置を変更することで対応する。

近年のＨＵＤ装置は、例えば車両の前方のかなり広い範囲にわたって虚像を表示することを前提として開発される傾向があり、この場合、必然的に装置が大型化する。当然、光学部材も大型化する。この光学部材をアクチュエータ等を用いて回動等させるとその誤差によって、かえってアイボックスの高さ位置の制御の精度が低下することがあり、これを防止するために、光線が光学部材で反射する位置を変更することで対応することとしたものである。

このような大型の光学部材では、その反射面を自由曲面として最適設計すること等によって、できるかぎり虚像の歪みが顕在化しないようにするが、しかし、上記のように、例えばアイボックスの周辺に視認者の視点が位置する場合等には、どうしても歪みが顕在化してしまう場合もある。よって、このようなときに、上記のワーピングパラメータの更新の感度を低下させる等の制御を実施することで、虚像の歪みによる見え方の変化による違和感が生じにくくすることができ、上記の制御を有効に活用して視認性を向上させることができる。

第１乃至第８の何れか１つの態様に従属する第９の態様において、
前記ヘッドアップディスプレイ装置は、
前記表示部の画像表示面に対応する仮想的な虚像表示面が、前記車両の前方の、路面に重畳するように配置される、
又は、
前記虚像表示面の前記車両に近い側の端部である近端部と前記路面との距離が小さく、前記車両から遠い側の端部である遠端部と前記路面との距離が大きくなるように、前記路面に対して斜めに傾いて配置されてもよい。

第９の態様では、ＨＵＤ装置における、車両の前方等に配置される仮想的な虚像表示面（表示部としてのスクリーン等の表示面に対応する）が、路面に重畳されるように、あるいは、路面に対して傾斜して設けられる。前者は路面重畳ＨＵＤと称され、後者は傾斜面ＨＵＤと称されることがある。

これらは、路面に重畳される広い虚像表示面、又は路面に対して傾斜して設けられる広い虚像表示面を用いて、例えば、車両前方５ｍ～１００ｍの範囲で、種々の表示を行うことができるものであり、ＨＵＤ装置は大型化し、アイボックスも大型化して、従来よりも広い範囲で視点位置を高精度に検出して、適切なワーピングパラメータを用いた画像補正を行うことが好ましい。この場合、例えば、視点がアイボックスの周辺にあるとき等において、ワーピングパラメータの頻繁な更新に伴う画像（虚像）の視認性の低下が生じる場合があり、よって、本発明の制御方式の適用が有効となる。

第１０の態様の表示制御装置は、
画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、を含み、画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置を制御する表示制御装置であって、
アイボックスにおける視認者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する１つ又は複数のプロセッサ、を有し、
変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、
前記プロセッサは、
前記第１のワーピングパラメータから前記第２のワーピングパラメータへの切り替えの際、パラメータの値が、前記第１のパラメータ値から前記第２のパラメータ値に、線形に、又は非線形に、徐々に変化するように制御する。

表示制御装置（に含まれるプロセッサ）の表示制御によって、第１の態様で記載した効果と同様の効果が得られる。言い換えれば、ワーピングパラメータの切り替え（更新）の際、表示している画像（虚像）に、不自然な挙動（カクカクした変化や急激な変化等）を抑制することができ、歪みが低減された虚像を表示することができる。よって、情報の認知性が低下することを効果的に抑制することができる。

第１０の態様に従属する第１１の態様では、
アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
前記プロセッサは、
前記第２の視域が、第１の視域から少なくとも１つの視域を隔てている視域であるときは、前記第１の視域に隣接する視域であるときに比べて、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を大きくしてもよい。

表示制御装置（に含まれるプロセッサ）の表示制御によって、第５の態様で記載した効果と同様の効果が得られる。言い換えれば、視点移動後の視域に対応するパラメータの値に、より素早く移行させることで、長い距離の視点移動によって画像（虚像）の歪みが増大する場合でも、できるかぎり早くワーピングパラメータの変更を完了させ、適正な画像補正を早期に実施することができる。よって、表示されている画像（虚像）の歪みを抑えることが可能である。

第１２の態様のヘッドアップディスプレイ装置の制御方法は、
画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、を含み、画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置を制御する方法であって、
アイボックスにおける視認者の視点位置に応じてワーピングパラメータを更新することと、
そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施することと、
変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、
前記第１のワーピングパラメータから前記第２のワーピングパラメータへの切り替えの際、パラメータの値が、前記第１のパラメータ値から前記第２のパラメータ値に、線形に、又は非線形に、徐々に変化するように制御することと、を含む。

第１２の態様のヘッドアップディスプレイ装置の制御方法によれば、上記の第１の態様、又は第１０の態様における効果と同様の効果が得られる。言い換えれば、ワーピングパラメータの切り替え（更新）の際、表示している画像（虚像）に、不自然な挙動（カクカクした変化や急激な変化等）を抑制することができ、歪みが低減された虚像を表示することができる。よって、情報の認知性が低下することを効果的に抑制することができる。

第１２の態様に従属する第１３の態様において、
アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
前記第２の視域が、第１の視域から少なくとも１つの視域を隔てている視域であるときは、前記第１の視域に隣接する視域であるときに比べて、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を大きくすること、をさらに含んでもよい。

第１３の態様のヘッドアップディスプレイ装置の制御方法によれば、上記の第５の態様、又は第１１の態様における効果と同様の効果が得られる。言い換えれば、視点移動後の視域に対応するパラメータの値に、より素早く移行させることで、長い距離の視点移動によって画像（虚像）の歪みが増大する場合でも、できるかぎり早くワーピングパラメータの変更を完了させ、適正な画像補正を早期に実施することができる。よって、表示されている画像（虚像）の歪みを抑えることが可能である。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

図１（Ａ）は、ワーピング処理の概要、及びワーピング処理を経て表示される虚像（及び虚像表示面）の歪みの態様を説明するための図、図１（Ｂ）は、ウインドシールドを介して視認者が視認する虚像の一例を示す図である。 図２（Ａ）は、視点位置追従ワーピング処理の概要を説明するための図、図２（Ｂ）は、内部を複数の視域に分割したアイボックスの構成例を示す図である。 図３（Ａ）は、アイボックスにおける視点移動の一例（視点が隣接する視域に移動する例）を示す図、図３（Ｂ）は、ワーピングパラメータの切り替え時における、パラメータ値を徐々に変化させる制御の一例を示す図である。 図４は、ワーピングパラメータの切り替え時における、パラメータ値を徐々に変化させる制御の他の例を示す図である。 図５は、表示部の表示面上における、複数点でのワーピングパラメータの切り替えの一例を示す図である。 図６（Ａ）は、アイボックスにおける視点移動の他の例（複数の隣接視域を移動し、最終的に隣接視域の外に移動する例）を示す図、図６（Ｂ）は、図６（Ａ）に対応したパラメータ値の切り替え制御の一例を示す図である。 図７（Ａ）は、アイボックスにおける視点移動の例（視点が、１つの視域を隔てた視域へと移動する例）を示す図、図７（Ｂ）は、視点の隣接視域への移動、及び１つの視域を隔てた視域への移動の各々に対応した、ワーピングパラメータの変化率の設定の一例（同じ変化率とする例）を示す図である。 図８（Ａ）は、アイボックスにおける視点移動の例（視点が、１つの視域を隔てた視域へと移動する例）を示す図、図８（Ｂ）は、視点の隣接視域への移動、及び１つの視域を隔てた視域への移動の各々に対応した、ワーピングパラメータの変化率の設定の他の例（変化率に差を設けた例）を示す図である。 図９（Ａ）は、アイボックスにおける視点移動の例（視点が、隣接視域へと移動する例）を示す図、図９（Ｂ）は、周囲の明るさ、車速あるいは天候に応じて、ワーピングパラメータの変化を異ならせる制御の一例を示す図である。 図１０は、ＨＵＤ装置のシステム構成の一例を示す図である。 図１１（Ａ）は、路面重畳ＨＵＤによる表示例を示す図、図１１（Ｂ）は、傾斜面ＨＵＤによる表示例を示す図、図１１（Ｃ）は、ＨＵＤ装置の主要部の構成例を示す図である。 ワーピングによる画像補正処理の手順例を示すフローチャートである。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

図１を参照する。図１（Ａ）は、ワーピング処理の概要、及びワーピング処理を経て表示される虚像（及び虚像表示面）の歪みの態様を説明するための図、図１（Ｂ）は、ウインドシールドを介して視認者が視認する虚像の一例を示す図である。

図１（Ａ）に示されるように、ＨＵＤ装置１００は、表示部（例えば、光透過型のスクリーン）１０１と、反射鏡１０３と、表示光を投影する光学部材としての曲面ミラー（例えば凹面鏡であり、反射面は自由曲面である場合もある）１０５と、を有する。表示部１０１（液晶パネル等）１０１の表示面１０２に表示された画像は、反射鏡１０３、曲面ミラー１０５を経て、被投影部材としてのウインドシールド２に投影される。図１において、符号４は投影領域を示す。なお、ＨＵＤ装置１００は、曲面ミラーを複数設けてもよく、本実施形態のミラー（反射光学素子）に加えて、又は本実施形態のミラー（反射光学素子）の一部（又は全部）に代えて、レンズなどの屈折光学素子、回折光学素子などの機能性光学素子を含んでいてもよい。

画像の表示光の一部は、ウインドシールド２で反射されて、予め設定されたアイボックス（ここでは所定面積の四角形の形状とする）ＥＢの内部に（あるいはＥＢ上に）位置する視認者等の視点（目）Ａに入射され、車両１の前方に結像することで、表示部１０１の表示面１０２に対応する仮想的な虚像表示面ＰＳ上に虚像Ｖが表示される。

表示部１０１の画像は、曲面ミラー１０５の形状やウインドシールド２の形状等の影響を受けて歪む。その歪みを相殺するために、その歪みとは逆特性の歪みが画像に与えられる。このプレディストーション（前置歪み）方式の画像補正を、本明細書ではワーピング処理、あるいはワーピング画像補正（あるいはワーピング補正）と称する。

図１（Ａ）の左上において、破線で示されるＰＳ’は、ワーピング処理無しの場合の虚像表示面を示し、Ｖ’は、その虚像表示面ＰＳ’に表示される虚像を示している。

図１（Ｂ）には、ウインドシールド２を介して視認者が視認する虚像Ｖの一例が示されている。図１（Ｂ）では、矩形の外形を有する虚像Ｖには、例えば縦に５個、横に５個、合計で２５個の基準点（基準画素点）Ｇ（ｉ，ｊ）（ここで、ｉ、ｊは共に１～５の値をとり得る変数）が設けられる。画像（原画像）における各基準点に対して、ワーピング処理によって、虚像Ｖに生じる歪みとは逆特性の歪みが与えられ、したがって、その事前に与えられる歪みと、現実に生じる歪みとが相殺され、図１（Ｂ）に示されるような湾曲のない虚像Ｖが表示される。基準点Ｇ（ｉ，ｊ）の数は、補間処理等によって適宜、増やすことができる。なお、図１（Ｂ）において、符号７はステアリングホイールである。

次に、図２を参照する。図２（Ａ）は、視点位置追従ワーピング処理の概要を説明するための図、図２（Ｂ）は、内部を複数の視域に分割したアイボックスの構成例を示す図である。図２において、図１と共通する部分には同じ参照符号を付している（この点は以降の図においても同様である）。

図２（Ａ）に示されるように、アイボックスＥＢは、複数（ここでは９個）の視域Ｚ１～Ｚ９に分割されており、各視域Ｚ１～Ｚ９を単位として、視認者の視点Ａの位置が検出される。なお、アイボックスＥＢは立体的構成であるが、説明の便宜上、平面的に示している。

ＨＵＤ装置１００の投射光学系１１８から画像の表示光Ｋが出射され、その一部がウインドシールド２により反射されて、視認者の視点（目）Ａに入射する。視点Ａがアイボックス内にあるとき、視認者は画像の虚像を視認することができる。

ＨＵＤ装置１００は、ＲＯＭ２１０を有し、ＲＯＭ２１０は、画像変換テーブル２１２を内蔵する。画像変換テーブル２１２は、例えばデジタルフィルタによる画像補正（ワーピング画像補正）のための多項式、乗数、定数等を決定するワーピングパラメータＷＰを記憶している。ワーピングパラメータＷＰは、アイボックスＥＢにおける各視域Ｚ１～Ｚ９の各々に対応して設けられる。図２（Ａ）では、各視域に対応するワーピングパラメータをＷＰ（Ｚ１）～ＷＰ（Ｚ９）が示されている。なお、図中、符号としては、ＷＰ（Ｚ１）、ＷＰ（Ｚ４）、ＷＰ（Ｚ７）のみを示している。

視点Ａが移動した場合、その視点Ａが、複数の視域Ｚ１～Ｚ９のうちの、どの位置にあるかが検出される。そして、検出された視域に対応するワーピングパラメータＷＰ（Ｚ１）～ＷＰ（Ｚ９）の何れかがＲＯＭ２１０から読みだされ（ワーピングパラメータの更新）、そのワーピングパラメータを用いてワーピング処理が実施される。

図２（Ｂ）には、視域の数を図２（Ａ）の例よりも増やしたアイボックスＥＢが示されている。アイボックスＥＢは、縦に６個、横に１０個、合計で６０個の視域に分割されている。各視域は、Ｘ方向、Ｙ方向の各座標位置をパラメータとして、Ｚ（Ｘ、Ｙ）と表示されている。

また、図２（Ｂ）の例では、太線の矩形Ｃの内部の１２個の視域（白抜きの領域）が中央部（中央領域）ＺＡであり、その外側の領域（斜線を付して示される）が周辺部（周辺領域）ＺＢであり、両者は、本発明に係るワーピング処理の感度の調整のために、区別されて認識（検出）される。

次に、図３を参照する。図３（Ａ）は、アイボックスにおける視点移動の一例（視点が隣接する視域に移動する例）を示す図、図３（Ｂ）は、ワーピングパラメータの切り替え時における、パラメータ値を徐々に変化させる制御の一例を示す図である。図３（Ａ）において、視点Ａの移動は太線の矢印で示されている（この点は、図６～図９においても同様である）。

図３（Ａ）のように、アイボックスの内部は、複数の、矩形の視域（分割領域）に分割されている。各視域には１つのワーピングパラメータが対応しており、その視域（矩形の１つの区画）を単位として、視点移動が検出（判定）される。図中のｗｐ１～ｗｐ２５は、各視域に対応付けられたワーピングパラメータを示す。

視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、又、変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、図３（Ａ）では、第１のワーピングパラメータは「ｗｐ１２」であり、第２のワーピングパラメータは「ｗｐ１３」である。よって、ｗｐ１２からｗｐ１３への切り替え（更新）が行われる。

言い換えれば、アイボックスにおける視認者の視点位置に応じてワーピングパラメータをｗｐ１２からｗｐ１３に更新して、そのワーピングパラメータを用いて表示部（図１（Ａ）の符号１０１）の表示面（図１（Ａ）の符号１０２）に表示する画像を、画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御が実施される。この制御は、図１０のワーピング制御部１８０により実施される（詳細は後述する）。

ワーピング制御部１８０は、ワーピングパラメータを、第１のワーピングパラメータｗｐ１２から第２のワーピングパラメータｗｐ１３に切り替える際、図３（Ｂ）に示すように、パラメータの値が、第１のパラメータ値から第２のパラメータ値に、時間に対して（言い換えれば、時間軸上で）、線形に、又は非線形に、徐々に変化するように制御する。

図３（Ｂ）において、ワーピングパラメータの切り替えタイミングは時刻ｔ１である。線形の変化は、破線の特性線Ｑ１により示され、非線形の変化は、破線の特性線Ｑ２で示されている。特性線Ｑ２は、ワーピングパラメータの切り替えの初期期間においては変化が急峻で、後半の期間では変化は緩やかとなる特性をもつ。初期の急峻な変化で、切り替えが遅くなることが抑制され、後半の緩やかな変化によって、ｗｐ１２からｗｐ１３への、滑らかな移行が実現され、ｗｐ１３に移行する時点での視覚的な違和感が低減される。なお、非線形の変化は、図３（Ｂ）の特性線Ｑ２に限定されるものではない。

線形、あるいは非線形にワーピングパラメータ値を変化させることで、ワーピングパラメータ値は、第１のパラメータ値から徐々に変化し、変化開始から所定時間後に、第２のパラメータ値に達する。よって、時刻ｔ１において、急に（ステップ的に）変化させる場合に比べて、表示している画像（虚像）の見た目が急峻に変化することがなく、視認者（運転者等）の視覚的な違和感が低減される。

次に、図４を参照する。図４は、ワーピングパラメータの切り替え時における、パラメータ値を徐々に変化させる制御の他の例を示す図である。図４では、ワーピングパラメータ値の非線形の変化の他の例が、破線の特性線Ｑ３、Ｑ４で示されている。

特性線Ｑ３は、ワーピングパラメータの切り替えの初期期間においては変化が穏やかで、後半の期間では変化は急峻になる特性をもつ。後半の急峻な変化で、切り替えが遅くなることが抑制され、前半の緩やかな変化によって、切り替えが開始されたときの視覚的な違和感が低減される。

特性線Ｑ４は、前半の変化が特性線Ｑ３と同様（言い換えれば、最初は緩やかで後に急峻となる）であり、後半の変化が、先に示した特性線Ｑ２と同様（言い換えれば、最初は急峻で後に緩やかとなる）である。変化が開始された当初に緩やかな変化とすることで視覚的違和感が低減され、やがて急峻となることで変化の遅延が軽減され、続いて、その急峻な変化が継続されることで遅延が抑制され、変化の終りの期間において変化が緩やかとなることで視覚的違和感が軽減される。

次に、図５を参照する。図５は、表示部の表示面上における、複数点でのワーピングパラメータの切り替えの一例を示す図である。表示部１０１の表示面１０２上にて、複数の表示点でワーピングパラメータが同様に切り替えられる。

図５において、変化前のワーピングパラメータは丸で示され、変化後のワーピングパラメータは三角で示され、変化の軌跡（視点移動の軌跡）は、破線で示されている。この場合、例えば、各表示点の変化の軌跡や変化の速度は予め決定されており、視点移動前の視域情報と変化後（現状）の視域情報が入力されると、線形あるいは非線形の変化が生じて、変化前の視点位置に対応した第１のワーピングパラメータ（変化前のワーピングパラメータ）は、変化後の視点位置に対応した第２のワーピングパラメータ（変化後のワーピングパラメータ）に切り替わり、ワーピングパラメータ値は、第１のパラメータ値から徐々に変化し、変化開始から所定時間後に、第２のパラメータ値に達する。

これにより、ワーピングパラメータの切り替え（更新）の際、表示している画像（虚像）に、不自然な挙動（カクカクした変化や急激な変化等）を抑制することができ、歪みが低減された虚像を表示することができる。よって、情報の認知性が低下することを効果的に抑制することができる。

次に、図６を参照する。図６（Ａ）は、アイボックスにおける視点移動の他の例（複数の隣接視域を移動し、最終的に隣接視域の外に移動する例）を示す図、図６（Ｂ）は、図６（Ａ）に対応したパラメータ値の切り替え制御の一例を示す図である。

図６の例でも、視点追従ワーピングが実施される。但し、図６の例では、視点移動後の視域が、視点移動前の視域に隣接する場合はワーピングパラメータの変更（更新）を行わず、１つ以上の視域を隔てて視点が移動する（言い換えれば、２つ以上離れた視域に移動する、あるいは、視域１個分の距離を超えて移動する）場合に、ワーピングパラメータを更新（変更）する、という制御が実施される。

視点移動前の視域に隣接する、複数の視域（複数の隣接視域）の集まりを「隣接領域」と称する。図６（Ａ）では、視点移動前は、視点Ａは、アイボックスＥＢの、ｗｐ１２に対応した視域（区画）に位置する。その周囲の、ｗｐ６～８、ｗｐ１１、ｗｐ１３、ｗｐ１６～ｗｐ１８に対応する視域（区画）により定まる領域が隣接領域である。図６（Ａ）では、隣接領域には、斜線が施されている。視点Ａは、ｗｐ１２に対応する視域から、ｗｐ１６、ｗｐ１７、ｗｐ１２、ｗｐ７、ｗｐ８、ｗｐ１３の各々に対応する視域を経て、ｗｐ１４に対応する視域へと移動する。上記の複数の視域の内、ｗｐ１２及びｗｐ１４を除く他の視域が隣接視域である。

図６（Ｂ）に示されるように、隣接領域内の移動では、ワーピングパラメータは更新されない。時刻ｔ１に、視点Ａが、ｗｐ１４に対応する視域に位置することが検出（確定的に検出）される。したがって、この時刻ｔ１～ワーピングパラメータの変更（更新）を開始する。ワーピングパラメータの変化の態様は、図３（Ｂ）と同じである。

隣接領域内における視点Ａの移動は、移動距離が小さい（言い換えれば、微小な）視点移動ということができる。この微小な視点移動に対するワーピングパラメータの更新を実施しない（言い換えれば、ワーピングパラメータの更新感度を零として不感帯を設ける）ことで、更新の回数を減らすことができる。これによって、更新のたびに虚像の表示態様が微妙に変化し、かえって表示が不自然なものとなる、といった問題が生じない。

また、例えば、車を運転している運転者の視点は、アイボックスの中央（中心）付近（図６（Ａ）では、例えばｗｐ１２～ｗｐ１４に対応する視域等）にあることが多いと考えられ、その中央付近にある視域を基準として、その周囲に「隣接領域」が設定されるとすると、視点が隣接領域内にあるときは、表示している虚像の歪みは小さく、一方、隣接領域よりも外側へと視点が移動すると、表示している虚像の歪みは増大する傾向が生じる。その原因の一例としては、ウインドシールド２の湾曲の度合いが周辺にいくほど大きくなること等があげられる。よって、歪みが増大する傾向にある後者の場合のみ、ワーピングパラメータを適切に更新して対応することで、虚像の歪みを低減し、表示品質の低下を抑制することができる。

上記の説明では、「隣接視域」内の視点移動と、さらにその外側への視点移動とを区別しているが、「隣接視域」は、より広義には、「移動前の視域（第１の視域）に隣接する第１の隣接視域、その第１の隣接視域に、さらに隣接する第２の隣接視域・・・第ｍの隣接視域（ｍは３以上の自然数）」というように、広義に解釈することができる。また、その外側の視域は、広義には、「第ｍの隣接視域よりも外側（アイボックスＥＢの周辺側）に位置する視域」ということができる。言い換えれば、隣接視域（及び、複数の隣接視域が集合した隣接領域）を広義に解釈し、その範囲を可変に制御することで、ワーピングパラメータの更新を開始する位置を、適宜、決める（ずらす）ことが可能である。

このように、「広義の隣接する視域」の全部を含めて「広義の隣接領域」とすれば、その「広義の隣接領域」では、ワーピングパラメータの更新はしないことになる。この点は、パラメータｎを用いて、以下のように表現することができる。すなわち、「第１の視域（移動前の視域）との間の視域の数が予め定められたｎ個（ｎは０又はそれより大きい整数）以下のときは、第２の視域に対応づけられた第２のワーピングパラメータへの変更を実施しない」と表現することができる。

上記の「第１の隣接する視域」は、移動前の「第１の視域」に接して隣接しているため。第１の視域との間の視域の数は０（ｎ＝０）である。ここで、例えば設計段階で、予めｎ＝０に設定してあったとすると、視域の数（＝０）はｎ（＝０）以下であり、条件を満たすため、「第１の隣接する視域」は、ワーピングパラメータを更新しない視域となる。「第２の隣接する視域」は、第１の視域との間の視域の数が１個であり、ｎ（＝０）よりも大きい）ため、ワーピングパラメータを更新する視域となる。同様に、予めｎ＝１に設定してあったとすると、「第１、及び第２の隣接する視域の双方」が、ワーピングパラメータを更新しない視域となり、「第３の隣接する視域」が、ワーピングパラメータを更新する視域となる。

このように、ｎの値を事前に設定することで、ワーピングパラメータを更新しない範囲（言い換えれば、広義の隣接領域の範囲）を可変に制御することができ、設計の自由度が向上する。

次に、図７を参照する。図７（Ａ）は、アイボックスにおける視点移動の例（視点が、１つの視域を隔てた視域へと移動する例）を示す図、図７（Ｂ）は、視点の隣接視域への移動、及び１つの視域を隔てた視域への移動の各々に対応した、ワーピングパラメータの変化率の設定の一例（同じ変化率とする例）を示す図である。

図７の例では、図７（Ａ）に太線の矢印で示されるように、視点Ａは、ｗｐ１２に対応する視域から、ｗｐ１３に対応する視域を経由して、ｗｐ１４に対応する視域へと移動する。ｗｐ１２は、第１のパラメータであり、ｗｐ１４は第２のパラメータである。

図７（Ｂ）には、ｗｐ１２からｗｐ１３に移行する際のパラメータ値の変化（変動）を示す特性線Ｌ１、及びｗｐ１２からｗｐ１４へ移行する際のパラメータ値の変化（変動）を示す特性線Ｌ２が示されている。なお、ｔ（ｗｐ１２／１３）は、ワーピングパラメータをｗｐ１２からｗｐ１３に切り替えるタイミングを示し、ｔ（ｗｐ１２／１４）は、ワーピングパラメータをｗｐ１２からｗｐ１４に切り替えるタイミングを示す。

図７（Ｂ）では、ｗｐ１２からｗｐ１３に切り替えられる場合における、パラメータ値が線形的に変化しているときの変化率（傾斜線の傾き）と、ｗｐ１２からｗｐ１３に切り替えられる場合における、パラメータ値が線形的に変化しているときの変化率（傾斜線の傾き）とは同じである。

言い換えれば、第２の視域（視点移動後の視域）が、第１の視域（視点移動前の視域）に隣接するか、あるいは、少なくとも１つの視域を隔てているか、にかかわらず、第１のパラメータ値（視点移動前のパラメータの値）から第２のパラメータ値（視点移動後のパラメータ値）に変化させるときの変化率に差を設けない。いずれの場合も変化率に差がないことから、画像（虚像）に生じる変化の態様に差がなく、例えば急激な変化が生じにくい。よって、ワーピングパラメータの更新に伴う違和感が感得されることが抑制される。

上記の、「第２の視域が、第１の視域に隣接するか、あるいは、少なくとも１つの視域を隔てているか、にかかわらず」という記載における、「第１の視域に隣接する」という点については、「視点の移動先が隣接視域（隣接領域）である」と言い換えることができるが、この場合の隣接視域（隣接領域）についても、上述した、広義の隣接領域（隣接視域）の定義、すなわち、「第ｍの隣接領域（隣接視域）」という概念を適用可能である。この場合、第ｍの隣接領域（隣接視域）であるか、その外側の視域であるかに関わらず、パラメータ値の変化率は同じとする、ということである。なお、この点（隣接領域を広義に解釈する点）は、次の図８の例にも適用可能である。

次に、図８を参照する。図８（Ａ）は、アイボックスにおける視点移動の例（視点が、１つの視域を隔てた視域へと移動する例）を示す図、図８（Ｂ）は、視点の隣接視域への移動、及び１つの視域を隔てた視域への移動の各々に対応した、ワーピングパラメータの変化率の設定の他の例（変化率に差を設けた例）を示す図である。

図８（Ａ）は、図７（Ａ）と同じである。図８（Ｂ）では、視点Ａが、隣接領域の内側で移動する場合よりも、隣接領域の外側へと移動する場合の方が、パラメータ値の時間に対する変化率が大きく設定される。

図８（Ｂ）の例では、破線で示される特性線Ｌ１における、パラメータ値の変化を示す傾斜線の傾きよりも、実線で示される特性線Ｌ３における、パラメータ値の変化を示す傾斜線の傾きの方が大きい。

この場合、視点移動後の視域に対応するパラメータの値に、より素早く移行させることで、長い距離の視点移動によって画像（虚像）の歪みが増大する場合でも、できるかぎり早くワーピングパラメータの変更を完了させ、適正な画像補正を早期に実施することができる。よって、表示されている画像（虚像）の歪みを抑えることが可能である。

次に、図９を参照する。図９（Ａ）は、アイボックスにおける視点移動の例（視点が、隣接視域へと移動する例）を示す図、図９（Ｂ）は、周囲の明るさ、車速あるいは天候に応じて、ワーピングパラメータの変化を異ならせる制御の一例を示す図である。

図９の例では、視認者（車両の運転者等）が、前方を含む周囲から得る実景の情報が減少する状況であるときは、情報の減少が問題とならない状況のときよりも、パラメータ値を徐々に変化させるときの変化率を小さくする。

周囲の実景から得る情報が減少する状況下（例えば、車速が速いとき、周囲が暗いとき、あるいは雨天のとき等）では、背景（実景）の変化が抑制されている分、相対的に、ＨＵＤ装置による虚像表示の変化が目立つことになることから、パラメータの更新時の変化率を小さくして、画像（虚像）の変化が目立たないようにする。これによって、違和感が生じにくくなり、表示品質の低下を抑制することができる。

図９（Ａ）では、視点Ａは、ｗｐ１２に対応する視域からｗｐ１３に対応する視域へと移動している。図９（Ｂ）において、特性線Ｌ４は、周囲が暗い、又は車速が低速、又は雨天のときの、パラメータ値の変化を示す。特性線Ｌ５は、周囲が明るい、又は車速が高速、又は晴天のときの、パラメータ値の変化を示す。特性線Ｌ４におけるパラメータ値が徐々に変化しているときの変化率（傾斜線の傾き）は、特性ｌ５における変化率（傾斜線の傾き）よりも小さく設定されている。

言い換えれば、制御部（図１０の符号１８０）は、視認者の移動状況、周囲状況、環境状況の少なくとも１つの状況の判断の基礎となり得る情報を取得して、状況を判定し、視認者（車両の運転者等）が、前方を含む周囲から得る実景の情報が減少する状況であるときは、情報の減少が問題とならない状況のときよりも、パラメータ値を徐々に変化させるときの変化率を小さく設定する制御を実施する。

ここで、その判断の基礎となり得る情報は、例えば、ヘッドアップディスプレイ装置が車載用であるときの車速情報、及び、周囲の明暗の情報、及び、晴天／雨天を含む天候の情報、の少なくとも１つを含み、車速が速いときは、遅いときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定し、周囲が暗いときは、明るいときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定し、雨天のときは、晴天のときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定してもよい。

次に、図１０を参照する。図１０は、ＨＵＤ装置のシステム構成の一例を示す図である。車両１（あるいはＨＵＤ装置１００自体）には、視認者の視点Ａ（目、瞳）の位置を検出する視点検出カメラ１１０が設けられている。また、車両１には、視認者がＨＵＤ装置１００に必要な情報を設定すること等を可能とするために操作部１３０が設けられ、また、車両１の各種の情報を収集することが可能な車両ＥＣＵ１４０が設けられている。

また、ＨＵＤ装置１００は、光源１１２と、投光部１１４と、表示部としてのスクリーン１１６（表示面１１７を有する）と、投射光学系１１８と、視点位置検出部（視点位置判定部）１２０と、バス１５０と、表示制御部（表示制御装置）１６０と、画像変換テーブル２１２を内蔵するＲＯＭ２１０と、画像（原画像）データ２２２を記憶し、かつワーピング処理後の画像データ２２４を一時的に記憶するＶＲＡＭ２２０と、画像出力部２３０と、を有している。

視点位置検出部１２０は、ＨＵＤ装置１００とは別に設けることもできる。視点位置検出部１２０は、視点座標検出部１２２と、アイボックス内の視域検出部１２４と、を有する。

表示制御部１６０は、１つ又は複数のプロセッサ（不図示）から構成され、Ｉ／Ｏインタフェース１７０と、図３～図９に示したようなワーピング制御を実施するワーピング制御部１８０（視点位置情報設定部１８２、及びワーピングパラメータ変化制御部１８４を有する）と、画像生成部１９２と、ワーピング処理部１９４と、を有する。「表示制御部１６０」は、「表示制御装置」、あるいは、「１又は複数のプロセッサ」ということもできる。

基本的な動作は以下のとおりである。視点位置検出部１２０から送られてくる視域情報（視点Ａがアイボックスのどの視域にあるかを示す情報）に基づいて、ワーピング制御部１８０の視点位置情報設定部１８２が、視点移動前の視点位置と視点移動後の視点位置を設定する。ワーピングパラメータ変化制御部１８４は、車両ＥＣＵ１４０等からの種々の情報を参考としつつ、先に、図３（Ｂ）、図４、図６（Ｂ）、図７（Ｂ）、図８（Ｂ）で示したような、ワーピングパラメータ値の時間に対する変化の態様（変化率、変化を示す特性線の種類等）を決定する。

ワーピングパラメータ変化制御部１８４は、
（１）各視域に対応するワーピングパラメータＷＰ（Ｚ１）～ＷＰ（Ｚ９）、及びこれらの間を補間する１つ又は複数のワーピングパラメータを、予めＲＯＭ２１０に記憶しておき、これらを順次読み出すことで、画像を緩やかに変化させる、
（２）線形、又は非線形の特性線（演算式）を用いて、各視域に対応するワーピングパラメータＷＰ（Ｚ１）～ＷＰ（Ｚ９）の間を補間する１つ又は複数のワーピングパラメータを順次生成することで、画像を緩やかに変化させる、
（３）車両ＥＣＵ１４０等からの種々の情報を参考としつつ、上記（１）、（２）の処理を補正する、ことに関係する様々な動作を実行する。
すなわち、ワーピングパラメータ変化制御部１８４は、視点位置検出部１２０から送られてくる視域情報（視点Ａがアイボックスのどの視域にあるかを示す情報）に基づいて、ワーピングパラメータ値の時間に対する変化の態様（変化率、変化を示す特性線の種類等）を決定するためのコマンド、判定値、テーブルデータ、演算式、などの様々なソフトウェア構成要素を含み得る。

画像生成部１９２は、ＶＲＡＭ２２０にアクセスして画像データを読み出し、画像（原画像）を生成し、ワーピング処理部１９４に供給する。ワーピング処理部１９４は、ＲＯＭ２１０にアクセスし、画像変換テーブル（図２参照）２１２から、対応するワーピングパラメータを読み出し、読みだされたワーピングパラメータを用いて画像データ（原画像データ）に対してワーピング処理を施す。ワーピング処理後データは、一旦、画像生成部１９２に戻され、適宜、ＶＲＡＭ２２０に一時的に保存され、所定のタイミングで画像出力部２３０に供給される。画像出力部２３０にて所定のフォーマットの画像が生成され、その画像が、例えば光源１１２や投光部１１４等に供給される。

次に、図１１を参照する。図１１（Ａ）は、路面重畳ＨＵＤによる表示例を示す図、図１１（Ｂ）は、傾斜面ＨＵＤによる表示例を示す図、図１１（Ｃ）は、ＨＵＤ装置の主要部の構成例を示す図である。

図１１（Ａ）は、表示部（図１（Ａ）の符号１０１、又は図１１（Ｃ）の符号１６１）の画像表示面（図１（Ａ）の符号１０２、又は図１１（Ｃ）の符号１６３）に対応する仮想的な虚像表示面ＰＳが、車両１の前方の、路面４１に重畳するように配置される、路面重畳ＨＵＤ（オンロードＨＵＤ）による虚像表示例を示す。

図１１（Ｂ）は、虚像表示面ＰＳの車両１に近い側の端部である近端部と路面４１との距離が小さく、車両１から遠い側の端部である遠端部と路面４１との距離が大きくなるように、虚像表示面ＰＳが路面４１に対して、例えば角度θ（０＜θ≦９０°）で傾斜している、傾斜面ＨＵＤ（傾斜像面ＨＵＤ）による虚像表示例を示す。

これらは、路面４１に重畳される広い虚像表示面ＰＳ、又は路面４１に対して傾斜して設けられる広い虚像表示面ＰＳを用いて、例えば、車両１の前方５ｍ～１００ｍの範囲で、種々の表示を行うことができるものであり、ＨＵＤ装置は大型化し、アイボックスＥＢも大型化して、従来よりも広い範囲で視点位置を高精度に検出して、適切なワーピングパラメータを用いた画像補正を行うことが好ましい。この場合、例えば、視点Ａの移動が多くなり、ワーピングパラメータの頻繁な更新に伴う画像（虚像Ｖ）の視認性の低下が生じる場合があり、よって、本発明の制御方式の適用が有効となる。

次に、図１１（Ｃ）を参照する。図１１（Ｃ）のＨＵＤ装置１０７は、制御部１７１と、投光部１５１と、画像表示面１６３を有する表示部としてのスクリーン１６１と、反射鏡１３３と、反射面が自由曲面として設計されている曲面ミラー（凹面鏡等）１３１と、表示部１６１を駆動するアクチュエータ１７３と、を有する。

図１４（Ｃ）の例では、ＨＵＤ装置１０７は、視認者の視点Ａの高さ位置に応じてアイボックスＥＢの位置を調整するに際し、表示光をウインドシールド２に投影する光学部材である曲面ミラー１３１を動かさず（曲面ミラー１３１用のアクチュエータは設けられていない）、画像の表示光５１の、光学部材１３１における反射位置を変更することで対応する。

言い換えれば、視認者の目（視点Ａ）の高さ位置に応じてアイボックスＥＢの高さ位置を調整する場合に、光を被投影部材２に投影する光学部材１３１を、例えばアクチュエータを用いて回動させるようなことをせず、その光学部材１３１における光の反射位置を変更することで対応する。なお、高さ方向とは、図中のＹ方向（路面４１の垂線に沿う方向であり、路面４１から離れる方向が正の方向となる）。なお、Ｘ方向は、車両１の左右方向、Ｚ方向は車両１の前後方向（あるいは前方方向）である。

近年のＨＵＤ装置は、例えば車両の前方のかなり広い範囲にわたって虚像を表示することを前提として開発される傾向があり、この場合、必然的に装置が大型化する。当然、光学部材１３１も大型化する。この光学部材１３１をアクチュエータ等を用いて回動等させるとその誤差によって、かえってアイボックスＥＢの高さ位置の制御の精度が低下することがあり、これを防止するために、光線が光学部材（曲面ミラー、具体的には例えば凹面鏡）１３１の反射面で反射する位置を変更することで対応することとしたものである。

このような大型の光学部材１３１では、その反射面を自由曲面として最適設計すること等によって、できるかぎり虚像の歪みが顕在化しないようにするが、しかし、例えばアイボックスＥＢの周辺に視認者の視点Ａが位置する場合等には、どうしても歪みが顕在化してしまう場合もある。よって、このようなときに、上記のワーピングパラメータの更新ン伴なパラメータ値の変化を緩やかにして違和感を低減し、あるいは、ワーピングパラメータの切り替えの回数を低減して違和感を抑制する、といった制御を実施することが有効となり得る。言い換えれば、上記の制御を有効に活用して虚像Ｖの視認性を向上させることができる。

次に、図１２を参照する。図１２は、ワーピングによる画像補正処理の手順例を示すフローチャートである。視点監視を行い（ステップＳ１）、視点移動の有無を検出する（ステップＳ２）。ステップＳ２で、ＮのときはステップＳ１に戻り、ＹのときはステップＳ３に移行する。

ステップＳ３では、ワーピングパラメータの更新（変更）要件を満足するかが判定される。具体的には、例えば、図６の例のように、隣接領域（隣接視域）での視点移動に対してはワーピングパラメータの更新を実施しない場合において、視点がその隣接領域よりも外側に移動して、ワーピングパラメータの更新が必要となったか否かが判定される。

ステップＳ４では、ワーピングパラメータを徐々に変化させる条件（線形／非線形、時間に対する変化率等）を決定する。但し、この際、車速の高低、周囲の明るさの明暗、運転シーン、天候、ＥＣＵから得られる情報や通信等で得られる情報を考慮することが可能である。

ステップＳ５では、決定された変化条件に従い、所定時間経過後に、視点移動後の視域に対応したワーピングパラメータ値となるように、パラメータ値を時間軸上で徐々に変化させつつ画像を補正し、補正後の画像を、表示画像として出力する。

以上説明したように、本発明によれば、視認者の視点位置に応じてワーピングパラメータを更新する視点位置追従ワーピング制御を実施するときに、ワーピングパラメータの更新に伴って画像の見た目が瞬時的に変化して視認者に違和感を生じさせることを効果的に抑制することができる。

本発明は、左右の各眼に同じ画像の表示光を入射させる単眼式、左右の各眼に、視差をもつ画像を入射させる視差式のいずれのＨＵＤ装置においても使用可能である。

本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語（例えば標識等）についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、ＨＵＤ装置には、シミュレータ（例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

１・・・車両（自車両）、２・・・被投影部材（反射透光部材、ウインドシールド等）、４・・・投影領域、７・・・ステアリングホイール、１００・・・ＨＵＤ装置、１１０・・・視点検出カメラ、１１２・・・光源、１１４・・・投光部、１０１・・・表示部、１０２・・・表示面（画像表示面）、１１８・・・投射光学系、１２０・・・視点位置検出部（視点位置判定部）、１２２・・・視点座標検出部、１２４・・・アイボックス内の視域検出部、１３０・・・操作部、１３１・・・曲面ミラー（凹面鏡等）、１３３・・・反射鏡（反射ミラー、補正鏡等を含む）、１４０・・・車両ＥＣＵ、１５０・・・バス、１５１・・・光源部、１１６・・・表示部（スクリーン等）、１１７・・・表示面（画像表示面）、１６０・・・表示制御部（表示制御装置：１又は複数のプロセッサを含む）、１７０・・・Ｉ／Ｏインタフェース、１８０・・・表示制御部、１８２・・・視点位置情報設定部、１８４・・・ワーピングパラメータ変化制御部、１９２・・・画像生成部、１９４・・・ワーピング処理部、２１０・・・ＲＯＭ、２１２・・・画像変換テーブル、２２０・・・ＶＲＡＭ、２２２・・・画像（原画像）データ、２２４・・・ワーピング処理後の画像データ、２３０・・・画像出力部、ＥＢ・・・アイボックス、Ｚ（Ｚ１～Ｚ９等）・・・アイボックスの視域（分割領域）、ＷＰ・・・ワーピングパラメータ、ＰＳ・・・虚像表示面、Ｖ・・・虚像。

Claims (13)

1. 画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置であって、
   前記画像を生成する画像生成部と、
   前記画像を表示する表示部と、
   前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、
   アイボックスにおける視認者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する制御部と、
   を有し、
   変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、
   前記制御部は、
   前記第１のワーピングパラメータから前記第２のワーピングパラメータへの切り替えの際、パラメータの値が、前記第１のパラメータ値から前記第２のパラメータ値に、線形に、又は非線形に、徐々に変化するように制御する、
   ことを特徴とするヘッドアップディスプレイ装置。
2. アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
   前記制御部は、
   前記視域に対応付けられたワーピングパラメータを用いて前記視点位置追従ワーピング制御を実施するが、
   前記第２の視域が、前記第１の視域に隣接する視域であるときは、前記第２の視域に対応づけられた前記第２のワーピングパラメータへの変更を実施せず、
   前記第２の視域が、前記第１の視域から少なくとも１つの視域を隔てた視域であるときは、第２の視域に対応付けられた前記第２のワーピングパラメータに変更する、
   ことを特徴とする、請求項１に記載のヘッドアップディスプレイ装置。
3. 前記制御部は、
   前記視域に対応付けられたワーピングパラメータを用いて前記視点位置追従ワーピング制御を実施するが、
   前記第２の視域が、前記第１の視域との間の視域の数が予め定められたｎ個（ｎは０又はそれより大きい整数）以下のときは、前記第２の視域に対応づけられた前記第２のワーピングパラメータへの変更を実施せず、
   前記第２の視域が、前記第１の視域との間の視域の数が前記ｎ個より多いときは、第２の視域に対応付けられた前記第２のワーピングパラメータに変更する、
   ことを特徴とする、請求項２に記載のヘッドアップディスプレイ装置。
4. アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
   前記制御部は、
   前記第２の視域が、前記第１の視域に隣接するか、あるいは、少なくとも１つの視域を隔てているか、にかかわらず、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を同じとする、
   ことを特徴とする、請求項１に記載のヘッドアップディスプレイ装置。
5. アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
   前記制御部は、
   前記第２の視域が、第１の視域から少なくとも１つの視域を隔てている視域であるときは、前記第１の視域に隣接する視域であるときに比べて、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を大きくする、
   ことを特徴とする、請求項１に記載のヘッドアップディスプレイ装置。
6. 前記制御部は、
   前記視認者の移動状況、周囲状況、環境状況の少なくとも１つの状況の判断の基礎となり得る情報を取得し、
   前記視認者が前方を含む周囲から得る実景の情報が減少する状況であるときは、情報の減少が問題とならない状況のときよりも、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を小さくする、
   ことを特徴とする、請求項１乃至５の何れか１項に記載のヘッドアップディスプレイ装置。
7. 前記判断の基礎となり得る情報は、
   前記ヘッドアップディスプレイ装置が車載用であるときの車速情報、
   及び、
   周囲の明暗の情報、
   及び、
   晴天／雨天を含む天候の情報、の少なくとも１つを含み、
   車速が速いときは、遅いときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定し、
   周囲が暗いときは、明るいときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定し、
   雨天のときは、晴天のときに比べて、前方を含む周囲から得る実景の情報が減少する状況であると判定する、
   ことを特徴とする、請求項６に記載のヘッドアップディスプレイ装置。
8. 前記ヘッドアップディスプレイ装置は、
   前記視認者の前記視点の高さ位置に応じてアイボックスの位置を調整するに際し、前記光学部材を動かさず、前記画像の表示光の、前記光学部材における反射位置を変更する、ことを特徴とする請求項１乃至７の何れか１項に記載のヘッドアップディスプレイ装置。
9. 前記ヘッドアップディスプレイ装置は、
   前記表示部の画像表示面に対応する仮想的な虚像表示面が、前記車両の前方の、路面に重畳するように配置される、
   又は、
   前記虚像表示面の前記車両に近い側の端部である近端部と前記路面との距離が小さく、前記車両から遠い側の端部である遠端部と前記路面との距離が大きくなるように、前記路面に対して斜めに傾いて配置される、
   ことを特徴とする請求項１乃至８の何れか１項に記載のヘッドアップディスプレイ装置。
10. 画像を表示する表示部と、
    前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、を含み、画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置を制御する表示制御装置であって、
    アイボックスにおける視認者の視点位置に応じてワーピングパラメータを更新し、そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施する１つ又は複数のプロセッサ、を有し、
    変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、
    前記プロセッサは、
    前記第１のワーピングパラメータから前記第２のワーピングパラメータへの切り替えの際、パラメータの値が、前記第１のパラメータ値から前記第２のパラメータ値に、線形に、又は非線形に、徐々に変化するように制御する、
    ことを特徴とする表示制御装置。
11. アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
    前記プロセッサは、
    前記第２の視域が、第１の視域から少なくとも１つの視域を隔てている視域であるときは、前記第１の視域に隣接する視域であるときに比べて、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を大きくする、
    ことを特徴とする、請求項１０に記載の表示制御装置。
12. 画像を表示する表示部と、
    前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、を含み、画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ（ＨＵＤ）装置を制御する方法であって、
    アイボックスにおける視認者の視点位置に応じてワーピングパラメータを更新することと、
    そのワーピングパラメータを用いて前記表示部に表示する画像を、前記画像の虚像の歪み特性とは逆の特性をもつように予め歪ませる視点位置追従ワーピング制御を実施することと、
    変更前の第１のワーピングパラメータの値を第１のパラメータ値とし、変更後の第２のワーピングパラメータの値を第２のパラメータ値とするとき、
    前記第１のワーピングパラメータから前記第２のワーピングパラメータへの切り替えの際、パラメータの値が、前記第１のパラメータ値から前記第２のパラメータ値に、線形に、又は非線形に、徐々に変化するように制御することと、を含む、
    ヘッドアップディスプレイ装置の制御方法。
13. アイボックスの内部を複数に分割したときの各分割領域を視域とし、視点移動前の視域を第１の視域とし、視点移動後の視域を第２の視域とし、前記視域を単位として前記視認者の視点の移動が検出される場合に、
    前記第２の視域が、第１の視域から少なくとも１つの視域を隔てている視域であるときは、前記第１の視域に隣接する視域であるときに比べて、前記第１のパラメータ値から前記第２のパラメータ値に変化させるときの変化率を大きくすること、をさらに含む、
    請求項１２に記載のヘッドアップディスプレイ装置の制御方法。

Images