JP2023149628A - 画像生成装置、表示システム、画像生成方法、及び、プログラム - Google Patents

Abstract

【課題】表示物に対するユーザの違和感を軽減することができる画像生成装置等を提供する。【解決手段】画像生成装置（車両情報取得部１１０及び制御部１２０）は、車両２の表示媒体に画像を投影してユーザ１に虚像を視認させる表示システム１００に用いられる画像生成装置であって、車両２の現在位置を示す車両位置情報、及び、車両２を目的地に案内するための経路を示す経路情報を取得する車両情報取得部１１０と、取得された車両位置情報に基づいて現在位置の周辺の地図画像を生成する地図画像生成部１２５と、取得された車両位置情報及び経路情報に基づいて、現在位置における経路を指示するための案内画像を生成する案内画像生成部１２１と、生成された案内画像及び地図画像を互いに対応付けた態様で投影するための合成画像を生成する画像合成部１２４と、を備える。【選択図】図３

Description

本開示は、画像を虚像としてユーザに視認させる表示システム、表示システムに用いられる画像生成装置、画像生成方法及びプログラムに関する。

従来、透光性を有する板状の表示媒体に、画像を表す光を投射してその表示媒体に光を反射させる（投影する）ことにより、その表示媒体越しの背景をユーザに見せながら、その画像を虚像としてユーザに視認させる表示システムが提案されている。このような表示システムは、いわゆるＡＲ（Augmented Reality）を用いたものであり、実際の背景の中に、その背景に関連する画像を表示することができる。特に、自動車関連の分野などでは、運転時に速度や各種の警告を示す画像をウィンドシールドの前方に虚像として表示する、いわゆるヘッドアップディスプレイ（ＨＵＤ）が開発されている（例えば、特許文献１参照）。

このような表示システムを用いると、ユーザである運転手は、前方の外界を見ながら、視線を大きく動かすことなく、運転に関する画像である表示物（例えば、地図、スピードメータ、ナビゲーション方向など）を見ることができるため、より安全に運転を行うことができる。

国際公開第２０１５／１１８８５９号

しかしながら、表示物に対してユーザが違和感を受け易いという課題がある。

そこで、本開示は、表示物に対するユーザの違和感を軽減することができる表示システム、表示システムに用いられる画像生成装置、画像生成方法及びプログラムを提供する。

本開示の一態様に係る画像生成装置は、車両の表示媒体に画像を投影してユーザに虚像を視認させる表示システムに用いられる画像生成装置であって、前記車両の現在位置を示す車両位置情報、及び、前記車両を目的地に案内するための経路を示す経路情報を取得する車両情報取得部と、取得された前記車両位置情報に基づいて前記現在位置の周辺の地図画像を生成する地図画像生成部と、取得された前記車両位置情報及び前記経路情報に基づいて、前記現在位置における前記経路を指示するための案内画像を生成する案内画像生成部と、生成された前記案内画像及び前記地図画像を互いに対応付けた態様で投影するための合成画像を生成する画像合成部と、を備える。

また、本開示の一態様に係る表示システムは、上記に記載の画像生成装置と、前記合成画像を表示する表示部と、前記表示部により表示された前記合成画像を示す光を前記表示媒体に投射する投射部と、を備える。

また、本開示の一態様に係る画像生成方法は、コンピュータを用いて、車両の表示媒体に投影することでユーザに虚像を視認させるための画像を生成する画像生成方法であって、前記車両の現在位置を示す車両位置情報、及び、前記車両を目的地に案内するための経路を示す経路情報を取得し、取得された前記車両位置情報に基づいて前記現在位置の周辺の地図画像を生成し、取得された前記車両位置情報及び前記経路情報に基づいて、前記現在位置における前記経路を指示するための案内画像を生成し、生成された前記案内画像及び前記地図画像を互いに対応付けた態様で投影するための合成画像を生成する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

本開示の画像生成装置等は、表示物に対するユーザの違和感を軽減することができる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態における表示システムの使用例を示す図である。 図２は、実施の形態における表示システムを備えた車両の内部の一例を示す図である。 図３は、実施の形態における表示システムの機能構成を示すブロック図である。 図４は、実施の形態における表示物の一例を示す図である。 図５Ａは、実施の形態における表示システムによって路面に重畳される表示物の具体例を示す図である。 図５Ｂは、実施の形態における表示システムによって路面に重畳される表示物の具体例を示す図である。 図６は、実施の形態における表示システムによって路面に重畳される表示物の他の具体例を示す図である。 図７は、実施の形態における表示システムによって路面に重畳される表示物のさらに他の具体例を示す図である。 図８は、実施の形態における表示システムによって路面に重畳される表示物のさらに他の具体例を示す図である。 図９は、実施の形態における表示システムによって路面に重畳される表示物のさらに他の具体例を示す図である。 図１０は実施の形態に係る画像生成装置の処理動作を示すフローチャートである。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した特許文献１の表示システムに関し、以下の課題が生じ得ることを見出した。

特許文献１の表示システムは、車両をナビゲーションするための誘導表示を行う。つまり、表示システムは、矢印などの表示物を路面に重畳する。このような誘導表示は、ＡＲとして表現され、その誘導表示の表示物は、長尺のカーペット状である。

しかし、このような誘導表示では、ナビゲーションに用いられる地図精度またはセンサの検出精度が不十分である場合に、その誘導表示の表示物が走行車線からはみ出してしまうことや正しい経路を指し示さない可能性がある。言い換えれば、重畳ずれが生じる可能性がある。そのため、従来、このような誘導表示に加えて、地図情報を併せて表示することによって、より正確な情報をユーザに提供するといった試みがなされている。ただし、このように多くの情報を一挙に視認させてしまうと、ユーザにとっては、自身に必要な情報を取捨選択し、さらに、複数の情報から総合的に読み取られる複合情報を自身で構築しなければならないといった煩雑さが生じる。この煩雑さは、ユーザに違和感を覚えさせ、その違和感によって、ユーザが車両を誤誘導してしまう可能性もある。

このような課題を解決するために、本開示の一態様に係る画像生成装置は、車両の表示媒体に画像を投影してユーザに虚像を視認させる表示システムに用いられる画像生成装置であって、車両の現在位置を示す車両位置情報、及び、車両を目的地に案内するための経路を示す経路情報を取得する車両情報取得部と、取得された車両位置情報に基づいて現在位置の周辺の地図画像を生成する地図画像生成部と、取得された車両位置情報及び経路情報に基づいて、現在位置における経路を指示するための案内画像を生成する案内画像生成部と、生成された案内画像及び地図画像を互いに対応付けた態様で投影するための合成画像を生成する画像合成部と、を備える。

これにより、生成された案内画像及び地図画像を互いに対応付けた態様で投影することができる。案内画像及び地図画像の対応付けを自然に読み取ることができるので、案内画像及び地図画像が併せて表示される場合にあってもユーザの違和感を軽減することができる。

また、例えば、地図画像生成部は、車両の前方の路面に沿うようにユーザに視認される地図画像を生成してもよい。

これにより、地図画像が路面に対応付けられた情報として読み取る必要があることを自然に訴求できるので、ユーザの違和感をより軽減することができる。

また、例えば、地図画像上で案内画像を対応付ける補助画像を生成する補助画像生成部をさらに備え、合成画像では、地図画像上に重畳された補助画像によって、案内画像及び地図画像が互いに対応付けられていてもよい。

これにより、補助画像によって、案内画像及び地図画像の対応付けを自然に読み取ることができる。

また、例えば、案内画像の虚像が経路上の経路点に重なる位置においてユーザに視認されるように、案内画像の表示位置を設定する表示位置設定部をさらに備え、補助画像は、案内画像の虚像が表示される経路点に対応する地図画像上の位置に重畳されていてもよい。

これにより、案内画像の表示位置と地図画像上の対応する位置に重畳された補助画像との対応付けによって、案内画像及び地図画像の対応付けを自然に読み取ることができる。

また、例えば、補助画像生成部は、案内画像の形状に対応した形状でユーザに視認される補助画像を生成してもよい。

これにより、案内画像と補助画像とが同じ形状であることから案内画像及び地図画像上の補助画像の対応付けを自然に読み取ることができる。

また、例えば、補助画像は、現在位置に対応する地図画像上の位置に重畳されていてもよい。

これにより、現在位置に対応する地図画像上の位置を示す補助画像を自然に読み取ることができる。

また、例えば、案内画像の虚像が経路上の経路点に重なる位置においてユーザに視認されるように、案内画像の表示位置を設定する表示位置設定部をさらに備え、補助画像生成部は、２つの補助画像のそれぞれである第１補助画像及び第２補助画像を生成し、第１補助画像は、案内画像の虚像が表示される経路点に対応する地図画像上の位置に重畳されており、第２補助画像は、現在位置に対応する地図画像上の位置に重畳されていてもよい。

これにより、第１補助画像及び第２補助画像によって複数視点的に補助画像による、案内画像及び地図画像の対応付けを自然に読み取ることを可能とする効果をより高めることができる。

また、例えば、補助画像生成部は、案内画像の形状に対応した形状でユーザに視認される第１補助画像を生成してもよい。

これにより、案内画像と第１補助画像とが同じ形状であることから案内画像及び地図画像上の第１補助画像の対応付けを自然に読み取ることができる。

また、例えば、案内画像生成部は、経路情報に基づいて、ユーザに視認される案内画像の虚像の姿勢及び形状の少なくとも一方を決定し、決定した姿勢及び形状の少なくとも一方でユーザに視認される案内画像を生成してもよい。

これにより、経路情報に基づく姿勢及び形状の少なくとも一方として決定された姿勢及び形状の少なくとも一方で案内画像をユーザに視認させることができる。

また、例えば、地図画像生成部は、地図画像の上方向が車両の進行方向に対応する方向となるように、地図画像を生成してもよい。

これにより、地図画像上の上方向に向かって車両が進行していることをユーザが理解しやすいという利点がある。

また、例えば、地図画像生成部は、地図画像の中央部が現在位置に対応するように地図画像を生成してもよい。

これにより、車両の現在位置を中心として、周囲にどのような目印などがあるかなどの付加的な情報を得ながら地図画像と車両からの景観として視覚的に得られる情報とを対応付けることができる。

また、例えば、地図画像生成部は、地図画像内の中央部が経路上の第１位置に対応するように地図画像を生成し、車両が第１位置を通過した場合に中央部が経路上の第２位置であって、第２位置は、第１位置よりも目的地に近い第２位置に対応するように地図画像を生成してもよい。

これにより、経路上の複数の位置（例えば右左折地点や、経由地店など）を順に辿りながら目的地に近づくように車両を誘導することができるように地図画像を生成することができる。

また、例えば、案内画像生成部は、車両の現在位置から経路上にある右左折地点までの距離に応じてユーザに視認される案内画像の態様を変化させ、地図画像生成部は、案内画像の態様の変化に対応付けられた態様でユーザに視認される地図画像を生成してもよい。

これにより、車両の現在位置から経路上にある右左折地点までの距離に応じて変化する態様の案内画像と、その変化に合わせて対応付けられた態様の地図画像とによって、案内画像及び地図画像の対応付けを自然に読み取ることができる。

また、例えば、案内画像生成部は、車両の現在位置から経路上にある右左折地点までの距離に応じてユーザに視認される案内画像の色を変化させてもよい。

これにより、車両の現在位置から経路上にある右左折地点までの距離に応じて色が変化する態様の案内画像によって、案内画像及び地図画像の対応付けを自然に読み取ることができる。

また、例えば、地図画像生成部は、車両の現在位置から経路上にある右左折地点までの地図画像上の区間において右左折地点までの距離に応じて変化するように色付けし、案内画像生成部は、車両の現在位置に対応する地図画像上の位置に色付けされた色に対応する色となるように案内画像の色を変化させてもよい。

これにより、車両の現在位置から経路上にある右左折地点までの地図画像上の区間において右左折地点までの距離に応じて変化するように色付けされた態様の地図画像と、地図画像上の対応する位置に色付けされた色に合わせて色が変化する態様の案内画像とによって、案内画像及び地図画像の対応付けを自然に読み取ることができる。

また、本開示の一態様に係る表示システムは、上記に記載の画像生成装置と、合成画像を表示する表示部と、表示部により表示された合成画像を示す光を表示媒体に投射する投射部と、を備える。

これにより、上記に記載の画像生成装置の効果を奏することができる表示システムを実現できる。

また、本開示の一態様に係る画像生成方法は、コンピュータを用いて、車両の表示媒体に投影することでユーザに虚像を視認させるための画像を生成する画像生成方法であって、車両の現在位置を示す車両位置情報、及び、車両を目的地に案内するための経路を示す経路情報を取得し、取得された車両位置情報に基づいて現在位置の周辺の地図画像を生成し、取得された車両位置情報及び経路情報に基づいて、現在位置における経路を指示するための案内画像を生成し、生成された案内画像及び地図画像を互いに対応付けた態様で投影するための合成画像を生成する。

これにより、上記に記載の画像生成装置と同様の効果を奏することができる。

また、本開示の一態様に係プログラムは、上記に記載の画像生成方法をコンピュータに実行させるためのプログラムである。

これにより、コンピュータを用いて上記に記載の画像生成方法と同様の効果を奏することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態）
［全体構成］
図１は、本実施の形態における表示システムの使用例を示す図である。

本実施の形態における表示システム１００は、ヘッドアップディスプレイ（ＨＵＤ）として構成され、車両２に搭載されている。具体的な一例では、表示システム１００は、車両２のダッシュボード２ｂに内蔵されている。

このような表示システム１００は、表示物１０を示す映像光を車両２のウィンドシールド２ａに投射する。その結果、この映像光は、ウィンドシールド２ａに反射し、例えば車両２の運転手であるユーザ１に向かう。これにより、ユーザ１は、ウィンドシールド２ａ越しに表示物１０を虚像として視認する。つまり、表示システム１００は、表示物１０を虚像としてユーザ１に視認させる。なお、このように表示物１０を虚像としてユーザ１に視認させることは、以下、表示物１０の表示とも称され、その映像光を投射する動作は、表示物１０を表示する動作と同義である。また、ウィンドシールド２ａは、表示媒体の一例である。本実施の形態では、表示媒体はウィンドシールド２ａであるが、車両２にコンバイナが備えられている場合には、表示システム１００は、表示媒体としてそのコンバイナに映像光を投射してもよい。

ウィンドシールド２ａは、透光性を有する板状の表示媒体である。したがって、表示システム１００は、そのウィンドシールド２ａ越しの路面などの背景をユーザ１に見せながら、その表示物１０を虚像としてユーザ１に視認させる。つまり、ＡＲによって、実際の背景の中に表示物１０を表示することができる。

また、表示物１０は、一方向を指し示す形状の画像であって、具体的な一例では、矢じりのような３次元形状の画像と、車両２の進行方向側の走行面（路面）に沿う形状の平面地図の画像とである。なお、この一方向は、矢じりの先端の向きであって、以下、指示方向とも称される。この表示物１０の指示方向は、車両２を目的地に案内する方向、すなわちナビゲーション方向に向けられる。

したがって、このような表示システム１００を用いると、ユーザ１である運転手は、前方の外界を見ながら、視線を大きく動かすことなく、表示物１０を見ることができるため、より安全にナビゲーション方向と地図とを把握して運転することができる。

図２は、本実施の形態における表示システム１００を備えた車両２の内部の一例を示す図である。

表示システム１００は、ダッシュボード２ｂ内に隠された状態で、映像光をウィンドシールド２ａに投射する。例えば、表示システム１００による映像光の投射によって、ウィンドシールド２ａにおける表示範囲ｄ１内に表示物１０が虚像として現れる。

図３は、本実施の形態における表示システム１００の機能構成を示すブロック図である。

表示システム１００は、車両情報取得部１１０と、制御部１２０と、描画部１３０とを備える。

車両情報取得部１１０は、画像生成装置の機能の一部であり、車両２に備えられているナビゲーション装置２１、車両制御装置２２およびセンサ２３のそれぞれから車両関連情報を取得する。

ナビゲーション装置２１は、ＧＰＳ（Global Positioning System）などの衛星測位シ
ステムを用い、車両２を目的地にナビゲーションするための装置である。このようなナビゲーション装置２１は、車両２の現在位置を示す車両位置情報と、車両２の現在位置からその目的地への経路を示す経路情報と、車両２の進行方向を示す車両方位情報とを、それぞれ上述の車両関連情報として出力する。

車両制御装置２２は、例えば車両２に搭載されているＥＣＵ（Electronic Control Unit）などとして構成され、車両２の走行速度を示す車速情報を上述の車両関連情報として
出力する。

センサ２３は、車両２の周囲に存在する人または他車両などを検出し、その検出結果を示すセンシング情報を、上述の車両関連情報として出力する。例えば、センサ２３は、ＬｉＤＡＲ（light detection and ranging）によって人または他車両などを検出してもよ
い。

制御部１２０は、画像生成装置の機能の一部であり、車両情報取得部１１０によって取得された車両関連情報を用いて、表示物１０の表示形態を決定して合成画像を生成する。画像生成装置は、すなわち、車両情報取得部１１０及び制御部１２０の組合せによって実現される。具体的には、制御部１２０は、案内画像生成部１２１と、地図画像生成部１２５と、補助画像生成部１２２と、表示位置設定部１２３と、画像合成部１２４と、を備える。また、制御部１２０は、この他に図示しない傾斜処理部と、意匠処理部と、形状処理部と、経路点決定部とを備える。

案内画像生成部１２１は、取得された車両位置情報及び経路情報に基づいて、現在位置における経路を指示するための案内画像を生成する処理部である。案内画像生成部１２１は、主にナビゲーション情報に相当する情報を示す案内画像を生成する。

地図画像生成部１２５は、取得された車両位置情報に基づいて現在位置の周辺の地図画像を生成する処理部である。地図画像生成部１２５も主にナビゲーション情報に相当する情報を示す案内画像を生成する。ただし、地図画像生成部１２５が生成する地図画像は、現在位置の周辺の地図画像であるが、現在位置の周辺とは、現在の車両２の位置から、次の右左折地点までの領域を含む。つまり、地図画像は、次の右左折地点を反映した画像であってもよいし、車両２の現在位置を中心とするユーザの視界範囲内程度の領域を反映した画像であってもよい。次の右左折地点を反映した画像の例では、車両２が次の右左折地点に到達したときには、さらに次の右左折地点に対応する地図画像が生成される。

補助画像生成部１２２は、地図画像上で案内画像を対応付ける補助画像を生成する処理部である。補助画像は、詳しくは後述するが、２つの補助画像である第１補助画像と第２補助画像として生成される。生成後の補助画像は、地図画像上に重畳されることで、地図画像と案内画像とを互いに対応付ける役目を果たす。

表示位置設定部１２３は、案内画像の虚像が経路上の経路点に重なる位置においてユーザに視認されるように、案内画像の表示位置を設定する。これにより、例えば、案内画像によって右折地点での右折を指示する場合に、案内画像である矢じりの表示位置を右折地点に対応させることができる。ただし、人間の反射速度には限界があるため、ある程度右折地点よりも手前側の地点からこのような案内画像を用いた右折の指示が開始される。さらにそれより以前においては、単に車両から前方数十ｍ～数百ｍ程度の位置に固定して車両２と同じ速度で直進方向等を指し示すようにしておく。

画像合成部１２４は、案内画像及び地図画像を互いに対応付けた態様で投影するための合成画像を生成する処理部である。画像合成部１２４は、具体的には、補助画像を用いた案内画像及び地図画像の対応付け、又は、表示態様を合わせることによる案内画像及び地図画像の対応付けを行うように、案内画像、地図画像、及び、補助画像を加工し、合成する処理を行う。画像合成部１２４によるより具体的な合成画像の生成についても詳しくは後述する。

経路点決定部は、上述の経路情報に示される経路上にある経路点を決定し、その決定された経路点を表示位置設定部１２３および傾斜処理部に通知する。

表示位置設定部１２３は、経路点決定部によって決定された経路点を用いて、ユーザ１に視認される表示物１０の位置を決定する。この位置は、３次元空間における位置であって、車両２の横幅方向における横位置と、車両２の進行方向における奥行き位置と、路面からの高さとを含む。

傾斜処理部は、経路点決定部によって決定された経路点を用いて、表示物１０の傾斜態様を決定する。傾斜態様（言い換えると虚像の姿勢）は、表示物１０のヨー角、ロール角およびピッチ角によって決定される。

意匠処理部は、表示物１０の意匠を決定する。なお、本実施の形態における表示物１０の意匠は、その表示物１０の色彩または明度であって、その色彩または明度の動的な変化も含む。

形状処理部は、表示物１０の形状を決定する。なお、本実施の形態における表示物１０の形状は、表示物１０の全長または幅によって定義される。全長は、表示物１０によって指し示される指示方向に沿うその表示物１０の長さであり、幅は、その指示方向に対して垂直な方向に沿う表示物１０の長さである。このような形状処理部は、その全長と幅との比率を変更することによって、表示物１０の形状を決定する。

制御部１２０は、上述の位置、傾斜態様、意匠、および形状を含む表示形態を示す表示形態情報を描画部１３０に出力する。

描画部１３０は、表示部及び投射部の一例である。したがって、描画部１３０は、合成画像を表示する機能と、表示部により表示された合成画像を示す光を表示媒体に投射する機能とを併せ持つ。このために、描画部１３０は、制御部１２０から表示形態情報を取得し、その表示形態情報にしたがって表示物１０を描画する。例えば、描画部１３０は、光源および光学系を備え、表示形態情報によって示される表示形態で表示物１０がユーザ１に視認されるように、その表示形態の表示物１０を示す映像光を生成する。そして、描画部１３０は、その映像光をウィンドシールド２ａに投射する。その結果、決定された位置に、決定された傾斜態様、意匠および形状の表示物１０がユーザ１によって視認される。つまり、傾斜態様については、描画部１３０は、制御部１２０の傾斜処理部によって決定された傾斜態様の表示物１０を示す映像光を、車両２に具備されたウィンドシールド２ａに投射することによって、ウィンドシールド２ａでその映像光を車両２内のユーザ１側に向けて反射させ、ウィンドシールド２ａ越しにその傾斜態様の表示物１０を虚像としてユーザ１に視認させる。

図４は、本実施の形態における表示物１０の一例を示す図である。なお、図４の（ａ）は、表示物１０の一つである案内画像の上面図を示し、図４の（ｂ）は、表示物１０の一つである案内画像の斜視図を示し、図４の（ｃ）は、車両２の進行方向および高さ方向における表示物１０の一つである案内画像の位置を示す。

表示物１０は、図４の（ａ）および（ｂ）に示すように、平板状であって、かつ、略Ｖ字状または略逆Ｖ字状に形成されている。制御部１２０の傾斜処理部は、この表示物１０のヨー角ψ、ロール角φおよびピッチ角θを制御することによって、その表示物１０の傾斜態様を決定する。また、図４では、表示物１０のうちの案内画像について着目して説明しているが、表示物１０の別の一つである地図画像及び地図画像に重畳される補助画像についても同様に虚像の姿勢の制御が行われる。

ヨー角ψは、表示物１０の厚さ方向に沿うヨー軸を中心軸として表示物１０が回転する角度である。例えば、表示物１０の指示方向が車両２の進行方向に沿っている場合には、その表示物１０のヨー角ψは０°である。

ロール角φは、表示物１０の指示方向に沿うロール軸を中心軸として表示物１０が回転する角度である。例えば、表示物１０が水平面に沿っている場合には、その表示物１０のロール角φは０°である。

ピッチ角θは、ヨー軸およびロール軸に垂直な方向に沿うピッチ軸を中心軸として表示物１０が回転する角度である。例えば、表示物１０が水平面に沿っている場合には、その表示物１０のピッチ角θは０°である。

また、制御部１２０の表示位置設定部１２３は、図４の（ｃ）に示すように、例えば車速情報に基づいて、車両２の進行方向における表示物１０の位置ｙを決定する。位置ｙは、その進行方向における車両２からの距離として示される。さらに、表示位置設定部１２３は、表示物１０の高さとして位置ｚを決定する。位置ｚは、車両２が走行する路面からの高さとして示される。

［表示物の表示例］
以下、画像合成部１２４による合成画像の生成についていくつかの例を挙げて詳しく説明する。図５Ａ及び図５Ｂは、実施の形態における表示システムによって路面に重畳される表示物の具体例を示す図である。図５Ａでは、ウィンドシールド２ａ全体で見た場合の表示物１０などを含む景観を示している。この例では、表示物１０における上方向が車両２の進行方向に対応する方向となる、いわゆるヘディングアップ表示となっている。一方で、本実施の形態によれば、合成画像が表示される表示範囲ｄ１が示されていればよいので、以降の説明（図５Ｂに加えて、図６～図９を含む）では、表示範囲ｄ１を含むウィンドシールドの一部のみを示して説明に用いる。

なお、図５Ｂでは、（ａ）に第１時点での表示範囲ｄ１の周辺の状態を示し、（ｂ）に第１時点よりも後の第２時点での表示範囲ｄ１の周辺の状態を示し、（ｃ）に第２時点よりも後の第３時点での表示範囲ｄ１の周辺の状態を示し、（ｄ）に第３時点よりも後の第４時点での表示範囲ｄ１の周辺の状態を示し、（ｅ）に第４時点よりも後の第５時点での表示範囲ｄ１の周辺の状態を示している。このような図面の構成は、以降の図６～図９について同様である。

図５Ｂに示す例では、表示物１０として、案内画像１０ａ、地図画像１０ｂ及び第１補助画像１０ｃが表示されている。第１補助画像１０ｃは、案内画像１０ａの虚像が表示される経路点に対応する地図画像１０ｂ上の位置に重畳されており、これによって、案内画像１０ａの虚像の位置が地図画像上でどの位置であるかという観点で、案内画像１０ａと地図画像１０ｂとが対応付けられる。さらに、案内画像１０ａと第１補助画像１０ｃとは形状が対応する（例えば相似関係又は射影関係）ため、第１補助画像１０ｃが案内画像１０ａに対応するものであると一目でわかるようになっている。さらに、案内画像１０ａが指し示す方向と、対応するような姿勢となるように第１補助画像１０ｃが構成されている（姿勢が変更される）。

図６に示す例では、図５Ｂに示す例に比べて、地図画像１０ｂの構成が異なっている。具体的には、図５Ｂの構成では、地図画像１０ｂが車両２の現在位置を中心（厳密には中心付近に車両２の現在位置が対応する）とした地図画像１０ｂが表示されている。これに対して、図６の例では、地図画像１０ｂは、次の右左折地点を中心とした所定範囲内に固定された状態の地図画像となっている。このため、第１時点では車両２の付近に表示されている案内画像１０ａの位置を示す第１次補助画像１０ｃが、地図画像１０ｂ上には表れていない。第１補助画像１０ｃは第２時点以降に、右左折地点から所定範囲内に到達している。

図７に示す例では、図５Ｂに示す例に比べて、さらに、第２補助画像１０ｄが表示されている。第２補助画像１０ｄは、現在位置に対応する地図画像上の位置に重畳されているので、第１補助画像１０ｃと第２補助画像１０ｄとによって、車両２の位置や車両２に先行する案内画像１０ａの虚像の位置などが一目でわかる。

図８に示す例では、表示物１０として、案内画像１０ａ、地図画像１０ｂ及び第２補助画像１０ｄが表示されている。そして、地図画像１０ｂの経路部分が色付けされている（図中ではハッチング又はドットハッチングを付すことによって着色が表されている）。そして、第２補助画像１０ｄによる車両２の現在位置に対応して案内画像１０ａの表示態様が変化している。例えば、第１時点では、（図中には第２補助画像１０ｄが表示されていないが）案内画像１０ａは図中において右上から左下への斜線で構成されたハッチングに対応する色の状態である。続く第２時点では、案内画像１０ａは、車両２の現在位置に対応する地図画像１０ｂの色付けと、例えば、同じ色（図中では左上から右下への斜線で構成されたハッチングに対応する色）によって表示される。さらに、第３時点でも、同様である。続く第４時点においては、車両２の現在位置に対応する地図画像１０ｂの、さらに異なる色付けと、同じ色（図中ではドットハッチングに対応する色）によって表示される。さらに、第５時点でも、同様である。地図画像１０ｂでは右左折地点に近づくにつれて色付けが変化するようになっているため、上記の構成によって、ユーザは、案内画像１０ａだけで右左折地点までの距離を推測することが可能となる。

図９に示す例でも同様に、地図画像１０ｂの色付けに対応するようにして、案内画像１０ａの色が変化している。ただし、図８に示す例では、案内画像１０ａの上方から下方まで全領域の色が一様に変化していたのに対して、図９に示す例では、案内画像１０ａの上方であるほど右左折地点に近い色であり、案内画像１０ａの下方であるほど、車両２の現在位置に近い色であるように、案内画像１０ａの色を車両２の現在位置から右左折地点までの距離に対応させて分割表示している。

［処理動作フロー］
図１０は、実施の形態に係る画像生成装置の処理動作を示すフローチャートである。図１０に示すように、本実施の形態では、まず、車両情報取得部１１０が車両２の車両関連情報を取得する（Ｓ１１）。車両関連情報には、車両２の現在位置を示す車両位置情報及び車両２を目的地に案内するための経路を示す経路情報が含まれているので、ステップＳ１１では、車両情報取得部１１０は、車両位置情報を取得するともいえるし、経路情報を取得するともいえる。

そして、地図画像生成部１２５は、取得された車両位置情報に基づいて現在位置の周辺の地図画像を生成する（Ｓ１２）。一方で、案内画像生成部１２１は、取得された車両位置情報及び経路情報に基づいて、現在位置における経路を指示するための案内画像を生成する（Ｓ１３）。

その後、画像合成部１２４が、生成された案内画像及び地図画像を互いに対応付けた態様で投影するための合成画像を生成する（Ｓ１４）。

このようにして生成された合成画像が投影されると、案内画像と地図画像とが対応付けられた状態でユーザに視認されるため、表示される情報に不足がなく、かつ、情報同士の関連性が理解しやすいため、表示物に対するユーザの違和感を軽減することが可能となる。

（その他の態様）
以上、本開示の１つまたは複数の態様に係る表示システムについて、実施の形態に基づいて説明したが、本開示は、その実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施したものも本開示に含まれてもよい。

上記実施の形態において、各構成要素は、専用のハードウェアで構成されるが、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の表示システム１００などを実現するソフトウェアプログラムは、例えば図１０に示すフローチャートに含まれる各ステップをコンピュータに実行させる。

また、上記実施の形態においては、表示物として矢じりの形状の画像が表示されるが、その表示物の形状は、矢じりの形状に限定されることなく、三角形、矢印の形状など、経路の案内方向を指し示すものであればどのような形状であってもよい。また、表示物は、長尺のカーペット状で、路面に重畳するように表示されてもよい。また、表示物は、車両を目的地に誘導するために表示されるが、車両の方位に基づいて表示されれば、他の目的または用途のために表示されてもよい。例えば、表示物は、車両の方位そのものを指し示す画像、又は、車両の方位と操舵部の回転角とから推定される車両の予定進行方向を指し示す画像などであってもよい。

また、上記実施の形態においては、ナビゲーション装置、車両制御装置、センサ、表示システムをそれぞれ異なる装置として備える構成について記載しているがこれに限定するものではない。例えば、ナビゲーション装置と表示システムとが一体化された１つの装置として実現される例のように、表示システムがその他の装置の少なくとも１つと一体化された１つの装置として実現してもよい。また、上記のナビゲーション装置、車両制御装置、センサ、表示システムを任意の組合せで組み合わせた１以上の装置群として実現することも本開示の範囲に含まれる。

なお、以下のような場合も本開示に含まれる。

（１）上記の少なくとも１つの装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも１つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとして
もよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

本開示の表示システムは、表示物に対するユーザの違和感を軽減することができるという効果を奏し、例えば、車載用のヘッドアップディスプレイなどに適用することができる。

１ ユーザ
２ 車両
２ａ ウィンドシールド
２ｂ ダッシュボード
１０ 表示物
２１ ナビゲーション装置
２２ 車両制御装置
２３ センサ
１００ 表示システム
１１０ 車両情報取得部（画像生成装置の一部）
１２０ 制御部（画像生成装置の一部）
１２１ 案内画像生成部
１２２ 補助画像生成部
１２３ 表示位置設定部
１２４ 画像合成部
１２５ 地図画像生成部
１３０ 描画部
ｄ１ 表示範囲
ｄ２ 表示平面範囲

Claims (18)

1. 車両の表示媒体に画像を投影してユーザに虚像を視認させる表示システムに用いられる画像生成装置であって、
   前記車両の現在位置を示す車両位置情報、及び、前記車両を目的地に案内するための経路を示す経路情報を取得する車両情報取得部と、
   取得された前記車両位置情報に基づいて前記現在位置の周辺の地図画像を生成する地図画像生成部と、
   取得された前記車両位置情報及び前記経路情報に基づいて、前記現在位置における前記経路を指示するための案内画像を生成する案内画像生成部と、
   生成された前記案内画像及び前記地図画像を互いに対応付けた態様で投影するための合成画像を生成する画像合成部と、を備える
   画像生成装置。
2. 前記地図画像生成部は、前記車両の前方の路面に沿うように前記ユーザに視認される前記地図画像を生成する
   請求項１に記載の画像生成装置。
3. 前記地図画像上で前記案内画像を対応付ける補助画像を生成する補助画像生成部をさらに備え、
   前記合成画像では、前記地図画像上に重畳された前記補助画像によって、前記案内画像及び前記地図画像が互いに対応付けられている
   請求項１又は２に記載の画像生成装置。
4. 前記案内画像の虚像が前記経路上の経路点に重なる位置において前記ユーザに視認されるように、前記案内画像の表示位置を設定する表示位置設定部をさらに備え、
   前記補助画像は、前記案内画像の虚像が表示される前記経路点に対応する前記地図画像上の位置に重畳されている
   請求項３に記載の画像生成装置。
5. 前記補助画像生成部は、前記案内画像の形状に対応した形状で前記ユーザに視認される前記補助画像を生成する
   請求項２に記載の画像生成装置。
6. 前記補助画像は、前記現在位置に対応する前記地図画像上の位置に重畳されている
   請求項５に記載の画像生成装置。
7. 前記案内画像の虚像が前記経路上の経路点に重なる位置において前記ユーザに視認されるように、前記案内画像の表示位置を設定する表示位置設定部をさらに備え、
   前記補助画像生成部は、２つの補助画像のそれぞれである第１補助画像及び第２補助画像を生成し、
   前記第１補助画像は、前記案内画像の虚像が表示される前記経路点に対応する前記地図画像上の位置に重畳されており、
   前記第２補助画像は、前記現在位置に対応する前記地図画像上の位置に重畳されている
   請求項３に記載の画像生成装置。
8. 前記補助画像生成部は、前記案内画像の形状に対応した形状で前記ユーザに視認される前記第１補助画像を生成する
   請求項７に記載の画像生成装置。
9. 前記案内画像生成部は、
   前記経路情報に基づいて、前記ユーザに視認される前記案内画像の虚像の姿勢及び形状の少なくとも一方を決定し、
   決定した姿勢及び形状の少なくとも一方で前記ユーザに視認される前記案内画像を生成する
   請求項１～８のいずれか１項に記載の画像生成装置。
10. 前記地図画像生成部は、前記地図画像の上方向が前記車両の進行方向に対応する方向となるように、前記地図画像を生成する
    請求項１～９のいずれか１項に記載の画像生成装置。
11. 前記地図画像生成部は、前記地図画像の中央部が前記現在位置に対応するように前記地図画像を生成する
    請求項１～９のいずれか１項に記載の画像生成装置。
12. 前記地図画像生成部は、
    前記地図画像内の中央部が前記経路上の第１位置に対応するように前記地図画像を生成し、
    前記車両が前記第１位置を通過した場合に前記中央部が前記経路上の第２位置であって、前記第２位置は、前記第１位置よりも前記目的地に近い第２位置に対応するように前記地図画像を生成する
    請求項１～９のいずれか１項に記載の画像生成装置。
13. 前記案内画像生成部は、前記車両の前記現在位置から前記経路上にある右左折地点までの距離に応じて前記ユーザに視認される前記案内画像の態様を変化させ、
    前記地図画像生成部は、前記案内画像の態様の変化に対応付けられた態様で前記ユーザに視認される前記地図画像を生成する
    請求項１又は２に記載の画像生成装置。
14. 前記案内画像生成部は、前記車両の前記現在位置から前記経路上にある右左折地点までの距離に応じて前記ユーザに視認される前記案内画像の色を変化させる
    請求項１３に記載の画像生成装置。
15. 前記地図画像生成部は、前記車両の前記現在位置から前記経路上にある前記右左折地点までの前記地図画像上の区間において前記右左折地点までの距離に応じて変化するように色付けし、
    前記案内画像生成部は、前記車両の前記現在位置に対応する前記地図画像上の位置に色付けされた色に対応する色となるように前記案内画像の色を変化させる
    請求項１４に記載の画像生成装置。
16. 請求項１～１５のいずれか１項に記載の画像生成装置と、
    前記合成画像を表示する表示部と、
    前記表示部により表示された前記合成画像を示す光を前記表示媒体に投射する投射部と、を備える
    表示システム。
17. コンピュータを用いて、車両の表示媒体に投影することでユーザに虚像を視認させるための画像を生成する画像生成方法であって、
    前記車両の現在位置を示す車両位置情報、及び、前記車両を目的地に案内するための経路を示す経路情報を取得し、
    取得された前記車両位置情報に基づいて前記現在位置の周辺の地図画像を生成し、
    取得された前記車両位置情報及び前記経路情報に基づいて、前記現在位置における前記経路を指示するための案内画像を生成し、
    生成された前記案内画像及び前記地図画像を互いに対応付けた態様で投影するための合成画像を生成する
    画像生成方法。
18. 請求項１７に記載の画像生成方法をコンピュータに実行させるための
    プログラム。

Images