(第1実施形態)
第1実施形態の表示制御装置について、図1〜図7を参照しながら説明する。車両システム1は、自動車といった路上を走行する車両Aで用いられるものである。車両システム1は、一例として、図1に示すように、HMI(Human Machine Interface)システム2、ロケータ5、周辺監視センサ4、運転支援ECU6、およびナビゲーション装置3を含んでいる。HMIシステム2、ナビゲーション装置3、周辺監視センサ4、ロケータ5、および運転支援ECU6は、例えば車内LANに接続されている。
ナビゲーション装置3は、ナビゲーション地図データを格納したナビゲーション地図データベース(以下、ナビゲーション地図DB)30を備える。ナビゲーション装置3は、設定される目的地までの時間優先、距離優先等の条件を満たす経路を探索し、その探索した経路に従った経路案内を行う。ナビゲーション装置3は、探索した経路を予定経路情報として車内LANに出力する。
ナビゲーション地図DB30は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状等のナビゲーション地図データを格納している。ナビゲーション地図データは、高精度地図データよりも比較的広範囲のエリアにて整備されている。リンクデータは、リンクを特定するリンクID、リンクの長さを示すリンク長、リンク方位、リンク旅行時間、リンクの始端と終端とのノード座標、および道路属性等の各データから構成される。ノードデータは、地図上のノード毎に固有の番号を付したノードID、ノード座標、ノード名称、ノード種別、ノードに接続するリンクのリンクIDが記述される接続リンクID、交差点種別等の各データから構成される。ナビゲーション地図データは、経度座標および緯度座標で表された2次元の位置座標情報としてノード座標を有している。
ロケータ5は、図1に示すように、GNSS(Global Navigation Satellite System)受信機50、慣性センサ51、高精度地図データベース(以下、高精度地図DB)52を備えている。GNSS受信機50は、複数の人工衛星からの測位信号を受信する。慣性センサ51は、例えばジャイロセンサおよび加速度センサを備える。ロケータ5は、GNSS受信機50で受信する測位信号と、慣性センサ51の計測結果とを組み合わせることにより、車両Aの自車位置を逐次測位する。
なお、ロケータ5は、車両位置の測位に、自車に搭載された車速センサから逐次出力される検出結果から求めた走行距離等を用いてもよい。また、ロケータ5は、後述の高精度地図データと、道路形状および構造物の特徴点の点群を検出するLIDAR等の周辺監視センサ4での検出結果とを用いて、自車の車両位置を特定してもよい。ロケータ5は、測位した車両位置を自車位置情報として車内LANへ出力する。
高精度地図DB52は、不揮発性メモリであって、高精度地図データ(高精度地図情報)を格納している。高精度地図データは、道路に関する情報、白線および道路標示に関する情報、構造物に関する情報等を有している。道路に関する情報には、例えば地点別の位置情報、カーブ曲率や勾配、他の道路との接続関係といった形状情報が含まれている。白線や道路標示に関する情報には、例えば白線および道路標示の種別情報、位置情報、および形状情報が含まれている。構造物に関する情報には、例えば各構造物の種別情報、位置情報、および形状情報が含まれている。ここで構造物は、道路標識、信号機、街灯、トンネル、陸橋および道路に面する建物等である。高精度地図データは、位置情報に関して経緯度に加えて高度を含んだ3次元地図である。
周辺監視センサ4は、車両Aに搭載されて車両Aの周辺環境を監視する自律センサである。周辺監視センサ4は、歩行者、人間以外の動物、自車以外の車両等の移動する動的物標、および路上の落下物、ガードレール、縁石、走行区画線等の路面表示、および樹木等の静止している静的物標といった自車周辺の対象物を検出する。
例えば周辺監視センサ4としては、自車周囲の前方の所定範囲を撮像する前方カメラ41、自車周囲の所定範囲に探査波を送信するミリ波レーダ42、ソナー、LIDAR等の探査波センサがある。前方カメラ41は、逐次撮像する撮像画像をセンシング情報として車内LANへ逐次出力する。探査波センサは、対象物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として車内LANへ逐次出力する。第1実施形態の周辺監視センサ4は、少なくとも、自車の前方の所定範囲を撮像範囲とする前方カメラ41を含む。前方カメラ41は、例えば、自車のルームミラー、インストルメントパネル上面等に設けられている。
運転支援ECU6は、乗員による運転操作の代行を行う自動運転機能を実行する。運転支援ECU6は、ロケータ5から取得する自車の車両位置および地図データ、周辺監視センサ4でのセンシング情報をもとに、自車の走行環境を認識する。
運転支援ECU6で実行する自動運転機能の一例としては、駆動力および制動力を調整することで、先行車との目標車間距離を維持するように自車の走行速度を制御するACC(Adaptive Cruise Control)機能がある。また、前方のセンシング情報をもとに制動力を発生させることで、自車を強制的に減速させるAEB(Autonomous Emergency Braking)機能がある。なお、運転支援ECU6は、自動運転の機能として他の機能を備えていてもよい。
HMIシステム2は、操作デバイス21、DSM22、ヘッドアップディスプレイ(以下、HUDと表記)23、およびHCU(Human Machine Interface Control Unit)20を備えている。HMIシステム2は、自車のユーザである乗員からの入力操作を受け付けたり、自車の乗員に向けて情報を提示したりする。操作デバイス21は、自車の乗員が操作するスイッチ群である。操作デバイス21は、各種の設定を行うために用いられる。例えば、操作デバイス21としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ等がある。
DSM22は、近赤外光源、近赤外カメラおよび画像解析部を有している。DSM22は、近赤外カメラを運転席側に向けた姿勢にて、例えばインストルメントパネル12の上面等に配置されている。DSM22は、近赤外光源によって近赤外光を照射された運転者の顔周辺または上半身を近赤外カメラで撮影し、運転者の顔を含んだ顔画像を撮像する。DSM22は、撮像した顔画像を画像解析部にて解析し、運転者の視点位置を検出する。DSM22は、視点位置を例えば3次元の位置情報として検出する。DSM22は、検出した視点位置の情報を、HCU20に逐次出力する。
HUD23は、図2に示すように、自車のインストルメントパネル12に設けられている。HUD23は、例えば液晶式または走査式等のプロジェクタ231により、HCU20から出力される画像データに基づく表示画像を形成する。
HUD23は、プロジェクタ231によって形成される表示画像を、例えば凹面鏡等の光学系232を通じて、投影部材としてのフロントウインドシールドWSに規定された投影領域PAに投影する。投影領域PAは、運転席前方に位置するものとする。フロントウインドシールドWSによって車室内側に反射された表示画像の光束は、運転席に着座する乗員によって知覚される。また、透光性ガラスにより形成されるフロントウインドシールドWSを透過した、自車の前方に存在する風景としての前景からの光束も、運転席に着座する乗員によって知覚される。これにより、乗員は、フロントウインドシールドWSの前方にて結像される表示画像の虚像Viを、前景の一部と重ねて視認可能となる。
以上によりHUD23は、車両Aの前景に虚像Viを重畳表示する。HUD23は、虚像Viを前景中の特定の重畳対象に重畳し、所謂AR(Augmented Reality)表示を実現する。加えてHUD23は、虚像Viを特定の重畳対象に重畳せず、単に前景に重畳表示する非AR表示を実現する。なお、HUD23が表示画像を投影する投影部材は、フロントウインドシールドWSに限られず、透光性コンバイナであってもよい。
HCU20は、プロセッサ20a、RAM20b、メモリ装置20c、I/O20d、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、HUD23と車内LANとに接続されている。HCU20は、メモリ装置20cに記憶された表示制御プログラムを実行することにより、HUD23による表示を制御する。HCU20は、表示制御装置の一例であり、プロセッサ20aは処理部の一例である。メモリ装置20cは、コンピュータによって読み取り可能なプログラムおよびデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリまたは磁気ディスクなどによって実現される。
HCU20は、HUD23にて虚像Viとして表示するコンテンツの画像を生成し、HUD23へと出力する。虚像Viの一例として、HCU20は、乗員に対して車両Aの走行予定経路の案内情報を提示する経路案内画像を生成する。HCU20は、特に交差点等の右左折が必要な地点や車線変更が必要な地点において経路案内画像を生成する。
HCU20は、経路案内画像をAR虚像Gi1または非AR虚像Gi2として選択的に表示する。AR虚像Gi1は、表示位置を前景中の対象物の位置と関連付けられて情報を提示する虚像Viである。経路案内画像をAR虚像Gi1として生成する場合、HCU20は、前景中の進行予定経路の路面を対象物とする。一例として図4に示すように、AR虚像Gi1は、車両Aの走行する現在車線から進行予定経路に沿って一列に並べられた、立体形状を呈する複数のオブジェクトとして生成される。これによりAR虚像Gi1は、路面上の進行予定経路を示す。AR虚像Gi1は、車両Aが移動しても乗員の見た目上で路面の特定位置に対して相対固定されて表示される。AR虚像Gi1は、重畳虚像の一例である。
非AR虚像Gi2は、表示位置を対象物の位置と関連付けることなく情報を提示する虚像Viである。非AR虚像Gi2は、前景中の特定の物体には重畳されず、単に前景に重畳されて進行予定経路を示す。一例として図5に示すように、非AR虚像Gi2は、交差点において右左折する際の曲がる方向を示す矢印状のオブジェクトとして生成される。非AR虚像Gi2は、フロントウインドシールドWS等の車両構成に相対固定されているように表示される。非AR虚像Gi2は、非重畳虚像の一例である。
HCU20は、図3に示すように、経路案内画像の生成に関わる機能ブロックとして、撮像画像取得部201、高精度地図取得部202、勾配情報取得部203、視点位置特定部204、現在車線特定部205、重畳対象領域特定部206、道路条件判定部207、および表示生成部210を備える。
撮像画像取得部201は、前方カメラ41の撮影した撮像画像を取得する。高精度地図取得部202は、ロケータ5から車両Aの現在地周辺の高精度地図の情報を取得する。なお、高精度地図取得部202は、車両Aの外部のサーバからプローブデータ等の3次元地図データを取得する構成であってもよい。勾配情報取得部203は、車両Aの走行している道路の勾配に関する情報を取得する。例えば勾配情報取得部203は、高精度地図DB52に格納されている道路の勾配情報を取得する。または、勾配情報取得部203は、撮像画像の画像認識処理の結果に基づいて、勾配情報を取得してもよい。また勾配情報取得部203は、慣性センサ51等の車両Aの姿勢を検出する姿勢センサからの情報に基づき、道路の勾配を算出することで勾配情報を取得してもよい。勾配情報取得部203は、特に下り勾配に関する情報を取得する。
視点位置特定部204は、DSM22で逐次検出する視点位置の情報から自車の車両位置を基準とする運転者の視点位置を特定する。例えば視点位置特定部204は、DSM22で検出する視点位置を、DSM22での視点位置の基準とする位置と自車における車両位置の基準となる位置とのずれに基づき自車の車両位置を基準とする視点位置に変換することで、自車の運転者の視点位置を特定する。
現在車線特定部205は、車両Aの走行している現在車線を特定する。現在車線特定部205は、取得された撮像画像の画像認識処理により、現在車線を特定する。現在車線特定部205は、ナビゲーション地図データまたは高精度地図データ等の地図情報を併用して現在車線を特定してもよい。特定した現在車線に関する情報は、道路条件判定部207に出力される。また現在車線特定部205は、現在車線を特定できない場合、その旨の情報を道路条件判定部207に出力する。
重畳対象領域特定部206は、前景中におけるAR虚像Gi1の重畳対象領域SAを特定する。重畳対象領域SAは、投影領域PA内におけるAR虚像Gi1を重畳する対象となる領域である。経路案内画像の場合、重畳対象領域SAは、投影領域PA内における前景中の対象物(進行予定経路の路面)の存在する領域と同等である。
重畳対象領域SAを特定するため、重畳対象領域特定部206は、まず撮像画像に写る物体の中から、現在車線を含む進行予定経路の路面を抽出する。重畳対象領域特定部206は、例えば進行予定経路が複数の車線を跨ぐ場合、それら複数の車線の路面を抽出する。重畳対象領域特定部206は、例えば撮像画像の中から走行区画線を検出し、走行区画線の間の領域を路面として検出する。または、重畳対象領域特定部206は、撮像画像の画素ごとに写った物体をクラス分けするセマンティックセグメンテーション等の画像認識処理により、路面の抽出を行ってもよい。なお、重畳対象領域特定部206は、交差点に進入する道路の路面等、前景中の進行予定経路の路面のうちの所定の部分のみを抽出してもよい。
また重畳対象領域特定部206は、撮像画像から路面を抽出できない場合、取得した高精度地図データを併用して重畳対象領域SAを特定する。重畳対象領域特定部206は、高精度地図データに含まれる道路の地点別の3次元位置情報を、視点位置および投影領域PAの位置の情報と組み合わせて、路面を抽出する。
加えて重畳対象領域特定部206は、前方カメラ41の設置位置、投影領域PAの位置、および乗員の視点位置の相対的な位置関係に基づいて、乗員の視点位置から投影領域PAを通して視認される前景の領域を、撮像画像の中から特定する。
重畳対象領域特定部206は、撮像画像における路面の抽出結果および投影領域PAを通して視認される領域の特定結果に基づき、乗員の視点位置から投影領域PAを通して視認される前景の領域のうち、進行予定経路の路面が占める領域を、重畳対象領域SAとして特定する。加えて重畳対象領域特定部206は、特定した重畳対象領域SAの面積の大きさを算出する。
道路条件判定部207は、各種情報に基づいて道路条件の成立判定を行う。道路条件は、車両Aの走行する道路に関して前景中の重畳対象物の位置に虚像Viの表示位置を関連付け可能である場合に成立し、関連付け不可能である場合に不成立となる。前景中の重畳対象物の位置に虚像Viの表示位置を関連付け可能な場合とは、虚像ViをAR虚像Gi1として表示させた際に本来の重畳対象領域SAに正しく重畳可能な場合である。道路条件判定部207は、複数の道路条件について成立判定を行う。より具体的には、道路条件判定部207は、現在車線の特定可否、重畳対象領域SAの面積、および下り勾配の有無を道路条件として判定する。
道路条件判定部207は、現在車線特定部205にて現在車線が特定できない場合には、道路条件が不成立であると判定する。現在車線が特定できない場合とは、例えば走行区画線の認識確度が閾値よりも低い場合等である。現在車線が特定できない場合には、AR虚像Gi1の表示位置が現在車線に対してずれた位置となり得る。例えば経路案内画像の場合には、現在車線以外の他車線に進行予定経路が重畳され得るため、道路条件判定部207は、現在車線が特定できない場合に道路条件を不成立とする。
道路条件判定部207は、重畳対象領域特定部206にて算出された重畳対象領域SAの面積が閾値を下回る場合には、道路条件が不成立であると判定する。重畳対象領域SAの面積が閾値を下回る場合、対象物にAR虚像Gi1を重畳するための十分な領域が投影領域PA内に存在せず、AR虚像Gi1の表示位置を重畳対象物の位置に関連付け不可能である。このような状況は、走行中の道路が、図6に示すように上り勾配である、またはカーブの曲率が大きい場合等に発生する。このような場合、図6に示すように、路面に対してAR虚像Gi1が浮いたように表示され得るため、道路条件判定部207は、重畳対象領域SAの面積が閾値を下回る場合に道路条件を不成立とする。
閾値は、生成するAR虚像Gi1の表示範囲の大きさに応じて予め規定された値である。第1実施形態の場合、AR虚像Gi1の表示範囲は、立体形状を呈する複数のオブジェクト全体の表示範囲である。表示範囲は、表示サイズと言い換えることもできる。特にAR虚像Gi1の縦方向の表示範囲の大きさが小さいほど、閾値は小さくなる。すなわち、道路条件判定部207は、表示範囲が少なくてよいAR虚像Gi1の場合、重畳対象領域SAが比較的小さくてもAR虚像Gi1としての表示を優先させる。
道路条件判定部207は、道路が下り勾配である場合には、道路条件が不成立であると判定する。道路が下り勾配である場合、車両Aは前方側が下がった状態となる。この状態で路面にAR虚像Gi1を重畳すると、本来の路面位置よりも低い位置に重畳され、路面に対して沈み込んだようにずれて表示される虞があるため、道路条件判定部207は、道路が下り勾配である場合に道路条件を不成立とする。
表示生成部210は、道路条件の判定結果に応じた表示態様にて経路案内画像を生成する。すなわち、表示生成部210は、道路条件が成立していると判定された場合には、AR虚像Gi1として経路案内画像を生成し、道路条件が不成立であると判定された場合には、非AR虚像Gi2として経路案内画像を生成する。
表示生成部210は、AR虚像Gi1を生成する場合、路面の位置座標と、自車位置座標とに基づき、車両Aに対する路面の相対位置を特定する。表示生成部210は、ナビゲーション地図データの2次元位置情報を用いて相対位置を特定してもよいし、高精度地図データを利用可能な場合には3次元位置情報を用いて相対位置を特定してもよい。表示生成部210は、特定された相対位置、DSM22から取得される乗員の視点位置、および投影領域PAの位置の関係に基づき、幾何学的な演算によってAR虚像Gi1の投影位置および投影形状を決定する。
AR虚像Gi1の生成において、表示生成部210は、AR虚像Gi1が信号機に重畳する場合に、重畳表示の態様を変更する。AR虚像Gi1が信号機に重畳するか否かは、例えば取得した撮像画像に対する画像認識処理により識別された信号機の位置情報と、決定されたAR虚像Gi1の表示位置との関係に基づいて判定される。表示生成部210は、例えば、信号機に重畳しない位置にAR虚像Gi1の表示位置を補正することで、重畳表示の態様を変更する。または、表示生成部210は、AR虚像Gi1の輝度を低下させる、透過度を上げる、輪郭等の一部のみを表示する等、よりAR虚像Gi1と重畳する信号機の視認性を向上するように重畳表示の態様を変更してもよい。
表示生成部210は、非AR虚像Gi2を生成する場合、投影領域PA内の予め設定された位置を表示位置とする。表示生成部210は、生成したAR虚像Gi1または非AR虚像Gi2のデータをHUD23へと出力してフロントウインドシールドWSに投影させ、予定経路情報を乗員に提示する。
次に、HCU20が実行する処理の一例について、図7のフローチャートを参照して説明する。HCU20は、図7に示す処理を、経路案内画像の表示区間に車両Aが到達した場合に実行する。
HCU20は、まずステップS10で、撮像画像を取得する。ステップS20では、高精度地図データが有る場合には高精度地図データを取得する。ステップS30では、DSM22から視点位置を取得する。ステップS40では、取得した視点位置、前方カメラ41の設置位置、投影領域PAの位置に基づいて、撮像画像に写った前景中における投影領域PAを特定する。ステップS50では、重畳対象物である路面を検出し、特定した前景中の投影領域内に占める重畳対象領域SAを特定する。
ステップS60では、取得した撮像画像に基づいて現在車線が特定可能か否かを判定する。現在車線が特定不可能であると判定した場合には、ステップS120へと進み、非AR虚像Gi2を経路案内画像として生成する。一方で、ステップS50にて現在車線が特定可能であると判定すると、ステップS60へと進む。ステップS60では、撮像画像に基づいて、AR虚像Gi1の重畳対象領域SAを特定する。ステップS70では、特定した重畳対象領域SAの面積が、閾値を上回るか否かを判定する。閾値を下回ると判定した場合には、ステップS120へと進む。
一方で、閾値を上回ると判定した場合には、ステップS80へと進み、走行中の道路が下り勾配であるか否かを判定する。下り勾配であるか否かは、例えば勾配の閾値が予め設定された閾値を上回るか否かによって判定する。下り勾配であると判定されると、ステップS120へと進む。
ステップS80にて下り勾配ではないと判定された場合には、ステップS90へと進む。ステップS90では、AR虚像Gi1の表示位置を決定し、AR虚像Gi1が信号機に重畳するか否かを判定する。信号機に重畳しないと判定された場合には、ステップS100へと進み、AR虚像Gi1を生成する。信号機に重畳すると判定された場合には、重畳表示の態様を変更したAR虚像Gi1を生成する。
ステップS100、S110およびS120にて虚像Viを生成すると、ステップS130へと進み、生成した虚像ViのデータをHUDへと出力する。ステップS130の処理を行うと、再びステップS10へと戻る。HCU20は、一連の処理を、車両Aが経路案内画像の表示区間を通過するまで繰り返す。
次に第1実施形態のHCU20の構成および作用効果について説明する。
HCU20は、車両Aの走行する道路に関して、前景中の路面の位置に虚像Viの表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部207を有する。HCU20は、表示生成部210を備える。表示生成部210は、道路条件が成立する場合には、表示位置を路面の位置に関連付けて走行予定経路を提示するAR虚像Gi1として虚像Viを生成する。表示生成部210は、道路条件が不成立である場合には、表示位置を路面の位置に関連付けることなく走行予定経路を提示する非AR虚像Gi2として生成する表示生成部210を備える。
これによれば、HCU20は、道路条件が不成立である場合には、AR虚像Gi1ではなく非AR虚像Gi2によって乗員に情報を提示する。したがって、AR虚像Gi1の表示位置を前景中の対象物の位置に関連付けることが困難である場合には、表示位置を関連付けることなく情報の提示を行うことができる。これにより、HCU20は、乗員に対して表示位置に関わらず同様の情報を乗員に提示することができる。以上により、虚像Viの提示する情報の誤認識を抑制可能なHCU20および表示制御プログラムを提供することができる。
HCU20は、道路がカーブ路および勾配路の少なくとも一方である場合に、道路条件が不成立であると判定する。これによれば、HCU20は、走行している道路の形状について虚像Viの表示位置の関連付けが不可能となり得る形状である場合に、道路条件を不成立とし、非AR虚像Gi2による情報提示を実施することができる。以上によりHCU20は、走行している道路の形状に応じた表示態様による情報提示を実施し、情報の誤認識を抑制することができる。
HCU20は、前景中におけるAR虚像Gi1の重畳対象領域SAを特定する重畳対象領域特定部206を備える。道路条件判定部207は、特定された重畳対象領域SAに基づいて道路条件が成立するか否かを判定する。これによれば、HCU20は、特定した重畳対象領域SAに基づいてAR虚像Gi1を表示するか非AR虚像Gi2を表示するか決定するので、AR虚像Gi1の表示位置を対象物の位置に関連付け可能か否かをより正確に判定することができる。
HCU20は、前方カメラ41による路面の検出情報に基づいて重畳対象領域SAを特定する。これによれば、HCU20は、経年変化の影響を受けることなく実際の走行時の前景中における重畳対象領域SAを特定することができる。
HCU20は、前方カメラ41の撮像画像に基づく重畳対象領域SAの特定が不可能な場合、高精度地図データを併用して重畳対象領域SAを特定する。これによれば、HCU20は、撮像画像のみでの重畳対象領域SAの特定が不可能な場合でも、より正確に重畳対象領域SAを特定することが可能になる。
HCU20は、生成するAR虚像Gi1の表示サイズが小さいほど重畳対象領域SAの面積の閾値を小さく変更する。したがってHCU20は、AR虚像Gi1の表示サイズに応じた道路条件の判定が可能となる。
HCU20は、道路が下り勾配である場合に、道路条件が不成立であると判定する。下り勾配である場合には、AR虚像Gi1を表示すると路面に対して沈み込んだような重畳表示になり得るので、下り勾配である場合に非AR虚像Gi2とすることでこれを回避できる。特に第1実施形態のHCU20は、重畳対象領域SAが閾値を上回るか否かの判定に加えて道路が下り勾配であるか否かを判定する。したがってHCU20は、重畳対象領域SAの面積の判定だけでは判断できないAR虚像Gi1の下方へのずれを生じる条件に応じてAR虚像Gi1と非AR虚像Gi2とを切り替えることができる。
HCU20は、現在車線が特定不可能である場合に、道路条件が不成立であると判定する。現在車線が特定できない場合、AR虚像Gi1の表示位置を確定するのが困難になる。このような場合に非AR虚像Gi2にできるので、AR虚像Gi1の表示ずれを回避できる。
HCU20は、AR虚像Gi1が信号機に重畳する場合には、AR虚像Gi1の表示態様を変更する。これによれば、HCU20は、表示態様の変更により、AR虚像Gi1が信号機に重畳して信号機の視認性が低下することを回避できる。
(他の実施形態)
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
上述の実施形態において、HCU20は、道路条件の判定結果に基づき、AR虚像Gi1と非AR虚像Gi2とを切り替えるとした。これに代えて、HCU20は、道路条件が不成立である場合には、AR虚像Gi1の一部を非AR虚像Gi2に変更する構成であってもよい。この場合、HCU20は、AR虚像Gi1のうち特に対象物の位置に表示位置を関連付け不可能な部分、例えば重畳対象領域SAから外れる部分を非AR虚像Gi2とすればよい。
上述の実施形態において、HCU20は、複数の道路条件について成立したか否かを判定する構成であるとした。これに代えて、HCU20は、少なくとも1つの道路条件についてのみ成立したか否かを判定し、その判定結果に基づいてAR虚像Gi1を生成するか非AR虚像Gi2を生成するか決定してもよい。
上述の実施形態において、HCU20は、前方カメラ41の撮像データに基づいて重畳対象領域SAを特定するとした。これに代えてHCU20は、LIDAR等の他の周辺監視センサ4の検出情報に基づいて重畳対象領域SAを特定してもよい。
上述の実施形態において、HCU20は、道路が上り勾配であるか否かを、重畳対象領域SAの面積が閾値を上回るか否かによって判定するとした。これに代えて、HCU20は、道路が上り勾配であるか否かを、地図情報、姿勢センサの検出情報等により算出される勾配の大きさに基づいて判定してもよい。また同様に、HCU20は、カーブ路であるか否かを、カーブ曲率の大きさに基づいて判定してもよい。
上述の実施形態において、HCU20は、道路条件に基づくAR虚像Gi1と非AR虚像Gi2との生成の切り替え制御を、経路案内画像について実施するとした。HCU20は、経路案内画像に限らず、種々の情報を提示する虚像Viについて切り替え制御を実施してよい。例えば、HCU20は、停止線を表す画像、先行車を強調する画像、レーンキープを促す画像等の表示について、上述の切り替え制御を実施してよい。
上述の実施形態のプロセッサは、1つまたは複数のCPU(Central Processing Unit)を含む処理部である。こうしたプロセッサは、CPUに加えて、GPU(Graphics Processing Unit)およびDFP(Data Flow Processor)等を含む処理部であってよい。さらにプロセッサは、FPGA(Field-Programmable Gate Array)、並びにAIの学習および推論等の特定処理に特化したIPコア等を含む処理部であってもよい。こうしたプロセッサの各演算回路部は、プリント基板に個別に実装された構成であってもよく、またはASIC(Application Specific Integrated Circuit)およびFPGA等に実装された構成であってもよい。
表示制御プログラム等を記憶するメモリ装置には、フラッシュメモリおよびハードディスク等の種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であり、車載ECUに設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された1つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと1つ以上のハードウエア論理回路との組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。