以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
(第一実施形態)
本開示の第一実施形態による表示制御装置の機能は、図1〜図3に示すHMI(Human Machine Interface)システム10に実装されている。HMIシステム10は、車両Aにおいて用いられ、ヘッドアップディスプレイ(以下、「HUD」)100、慣性センサ40及びメータ30aを備えている。HMIシステム10は、虚像表示システムとして機能し、車両Aの前景に重畳される虚像Viを用いた表示により、車両Aに関連する種々の情報をドライバに提示する。
HMIシステム10は、車両Aに搭載された車載ネットワークの通信バス99に通信可能に接続されている。HMIシステム10は、車載ネットワークに設けられた複数のノードのうちの一つである。車載ネットワークの通信バス99には、車両制御ECU(Electronic Control Unit)20、外界センサ27、DSM(Driver Status Monitor)28及びナビゲーション装置29等がノードとして接続されている。通信バス99に接続されたこれらのノードは、相互に通信可能である。
ここで、以下の説明における前後及び左右の各方向は、水平面上に静止させた車両Aを基準として規定される。具体的に、前後方向は、車両Aの長手方向に沿って規定される。また左右方向は、車両Aの幅方向に沿って規定される。
車両制御ECU20は、プロセッサ及びメモリを有するマイクロコンピュータを主体として構成されている。車両制御ECU20は、エンジン制御ECU、モータ制御ECU、ブレーキ制御ECU及びボディ系の統合制御ECU等である。車両制御ECU20は、多数の車載センサ群の検知結果を取得し、各検知結果に基づく情報を、車両Aの状態を示す車両信号として、通信バス99に供給する。車両制御ECU20には、車載センサとして、ペダルセンサ21、ステアセンサ22、車輪速センサ23、ハイトセンサ24、乗員センサ25及び横加速度センサ26等が接続されている。
ペダルセンサ21は、アクセルポジションセンサ及びブレーキ踏力センサ等である。車両制御ECU20は、ペダルセンサ21の検知結果に基づき、車両Aに発生させる前後方向の加速度、具体的には、車軸トルク及びブレーキ力を、フィードフォワード制御する。車両制御ECU20は、フィードフォワード制御における車軸トルク及びブレーキ力の各目標値を、車両Aに発生する制動トルク及び駆動トルクを示す車両信号として、通信バス99に出力する。
ステアセンサ22は、ステアリングシャフトの回転位相を検知する。車両制御ECU20は、ステアセンサ22の検知結果に基づき、ハンドル角又は操舵輪の実舵角等(以下、「操舵角」)を示す車両信号を、通信バス99に出力する。
車輪速センサ23は、各輪のハブ部分に設けられており、各輪の回転速度を検知する。車両制御ECU20は、各輪の車輪速センサ23の検知結果に基づき、車両Aの走行速度を示す車両信号を、通信バス99に出力する。
ハイトセンサ24は、車両Aが置かれた路面からボディまでの高さを計測するため、車両Aに生じる上下方向の変位を検知するセンサである。ハイトセンサ24は、例えば左右いずれか一方のリヤサスペンションに設置されている。ハイトセンサ24は、ボディに懸架されたサスペンションアームの動作によって上下方向に変位する特定の車輪について、ボディに対する沈み込み量を計測する。車両制御ECU20は、ハイトセンサ24の計測結果に基づき、ボディとサスペンションアームとの間の相対距離(車高)を示す車両信号を、通信バス99に出力する。
乗員センサ25は、車両Aに搭載された助手席の座面に設置され、助手席に着座する搭乗者の有無を検知する。車両制御ECU20は、乗員センサ25の検知結果に基づき、助手席に着座する搭乗者の有無を示す車両信号を、通信バス99に出力する。
横加速度センサ26は、車両Aに作用する左右方向の加速度を検知する。車両制御ECU20は、横加速度センサ26の出力に基づき、車両Aに作用している横加速度の大きさを示す車両信号を、通信バス99に出力する。
外界センサ27は、歩行者及び他の車両等の移動物体、さらに路上の縁石、道路標識、道路標示、及び区画線等の静止物体を検出する。これら移動物体及び静止物体の少なくとも一部が、後述する重畳コンテンツCTs(図4参照)の重畳対象とされる。車両Aには、例えばカメラユニット、ライダ、ミリ波レーダ及びソナー等のうち、少なくともフロントのカメラユニットを含む一種類又は複数種類が、外界センサ27として搭載されている。外界センサ27は、検出した移動物体及び静止物体の相対位置及び種別等を示すセンシング情報を、通信バス99に逐次出力する。
DSM28は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。DSM28は、運転席のヘッドレスト部分に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部8の上面、インスツルメントパネル9の上面又はメータ30a内等に設置されている。DSM28は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。DSM28は、制御ユニットは、アイポイントEPの位置及び視線方向等のセンシング情報を、制御ユニットでの解析によって撮像画像から抽出する。DSM28は、抽出したセンシング情報を、通信バス99に逐次出力する。
ナビゲーション装置29は、プロセッサ及びメモリを有するマイクロコンピュータを主体として構成されている。ナビゲーション装置29は、ユーザ操作に基づき、目的地及び目的地までの走行経路を設定する。ナビゲーション装置29は、表示及び音声等を組み合わせ、設定された走行経路に沿って、目的地までの経路案内を実施する。ナビゲーション装置29は、GNSS(Global Navigation Satellite System)受信部29a及びナビゲーション用の地図データベース(以下、「ナビ地図DB」)29bを有している。
GNSS受信部29aは、複数の測位衛星からの測位信号を受信する。GNSS受信部29aは、受信した測位信号を、慣性センサの計測結果等と組み合わせることにより、自車(車両A)の位置等を逐次測位する。ナビ地図DB29bは、不揮発性メモリを主体に構成されており、経路案内に使用する地図データ(以下、「ナビ地図データ」)を記憶している。ナビゲーション装置29は、自車位置情報、自車の方位情報、経路情報、目的地及び経由地等のPOI(Point Of Interest)情報を、関連するナビ地図データ等と共に通信バス99に出力する。
ここで、ナビゲーション装置29に替えて、ロケータ及び高精度地図データベースが、自車位置情報及び高精度地図データ等を、通信バス99に提供してもよい。さらに、ナビゲーション装置29に替えて、ナビアプリ等を実行可能なスマートフォン等のユーザ端末が、自車位置情報及び高精度地図データ等を、通信バス99に提供してもよい。
次に、HMIシステム10に含まれる上述のHUD100、慣性センサ40及びメータ30aの詳細を説明する。
HUD100は、メータ30aと電気的に接続されており、メータ30aによって生成された映像データ又は映像データの生成に必要な情報を逐次取得する。HUD100は、経路情報、標識情報、及び各車載機能のステータス情報等、車両Aに関連する種々の情報を、虚像Viを用いてドライバに提示する。
HUD100は、ウィンドシールドWSの下方にて、インスツルメントパネル9内の収容空間に収容されている(図2参照)。HUD100は、虚像Viとして結像される光を、ウィンドシールドWSの投影範囲PAへ向けて投影する。ウィンドシールドWSに投影された光は、投影範囲PAにおいて運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲PAを通して見える前景に、虚像Viが重畳された表示を視認する。
HUD100は、投影ユニット60及びヘッドアップディスプレイECU(以下、「HUD−ECU」)50を備えている。
投影ユニット60は、プロジェクタ61及び拡大光学系64等によって構成されている。プロジェクタ61は、LCD(Liquid Crystal Display)パネル62及びバックライト63を有している。プロジェクタ61は、LCDパネル62の表示面を拡大光学系64へ向けた姿勢にて、HUD100の筐体に固定されている。プロジェクタ61は、映像データの各フレーム画像をLCDパネル62の表示面に表示し、当該表示面をバックライト63によって透過照明することで、虚像Viとして結像される光を拡大光学系64へ向けて射出する。拡大光学系64は、凹面鏡等の光学素子を、少なくとも一つ含む構成である。拡大光学系64は、プロジェクタ61から射出された光を反射によって広げつつ、上方の投影範囲PAに投影する。
投影ユニット60には、画角VAが設定される。投影ユニット60にて虚像Viを結像可能な空間中の仮想範囲を結像面ISとすると、画角VAは、ドライバのアイポイントEPと結像面ISの外縁とを結ぶ仮想線に基づき規定される視野角である。画角VAは、アイポイントEPから見て、ドライバが虚像Viを視認できる角度範囲となる。HUD100では、垂直方向における垂直画角(例えば4〜5°程度)よりも、水平方向における水平画角(例えば10〜12°程度)の方が大きくされている。アイポイントEPから見たとき、結像面ISと重なる前方範囲が画角VAの範囲内となる。
HUD−ECU50は、HUD100の制御装置であって、処理部51、RAM52、記憶部53、入出力インターフェース54、及びこれらを接続するバス等を備えたマイクロコンピュータを主体として含んでいる。加えてHUD−ECU50には、LCD制御部81及びバックライト制御部82が設けられている。LCD制御部81及びバックライト制御部82は、マイクロコンピュータを主体としたメイン制御基板とは別のハードウェア、具体的には、制御基板又は制御回路として、HUD−ECU50に設けられている。
尚、LCD制御部81及びバックライト制御部82は、後述する表示制御プログラム(ソフトウェア)に基づき、メイン制御基板に構築される機能部であってもよい。HUD−ECU50の機能部の詳細は、メータECU30の詳細と共に後述する。
HUD100は、重畳コンテンツCTs及び非重畳コンテンツCTnを、虚像Viとして表示する(図4参照)。重畳コンテンツCTsは、拡張現実(Augmented Reality,以下「AR」)表示に用いられるAR表示物である。重畳コンテンツCTsの表示位置は、例えば路面の特定位置、前方車両、歩行者及び道路標識等、前景中に存在する特定の重畳対象に関連付けられている。具体的に、重畳コンテンツCTsは、画角VA内にある特定の重畳対象に重畳表示され、当該重畳対象に相対固定されているように、重畳対象を追って、ドライバの見た目上で移動可能である。即ち、ドライバのアイポイントEPと、前景中の重畳対象と、重畳コンテンツCTsとの相対的な位置関係は、継続的に維持される。そのため、重畳コンテンツCTsの形状は、重畳対象の相対位置及び形状に合わせて、所定の周期で更新され続ける。重畳コンテンツCTsは、非重畳コンテンツCTnよりも水平に近い姿勢で表示され、例えばドライバから見た奥行き方向に延伸した表示形状とされる。
非重畳コンテンツCTnは、前景に重畳表示される表示物のうちで、重畳コンテンツCTsを除いた非AR表示物である。非重畳コンテンツCTnは、重畳コンテンツCTsとは異なり、重畳対象を特定されないで、前景に重畳表示される。非重畳コンテンツCTnの表示位置は、特定の重畳対象に関連付けられていない。非重畳コンテンツCTnの表示位置は、投影範囲PA(画角VA)内の特定位置とされる。故に、非重畳コンテンツCTnは、ウィンドシールドWS等の車両構成に相対固定されているように表示される。加えて非重畳コンテンツCTnの形状は、実質的に一定とされる。尚、車両Aと重畳対象との位置関係及び車両姿勢等に起因し、非重畳コンテンツCTnであっても、重畳コンテンツCTsの重畳対象に重畳表示されるタイミングが発生してもよい。
HUD100は、例えば交差点での経路案内において、図4に示すように、重畳コンテンツCTs及び非重畳コンテンツCTnを組み合わせた表示を実施する。交差点での経路案内表示には、常時表示されるスピード表示CTvに加えて、ルートコンテンツCTr及びルートアイコンCTirが含まれている。
ルートコンテンツCTrは、交差点への車両Aの進入経路と、交差点からの車両Aの大出経路とを、ドライバに通知する重畳コンテンツCTsである。ルートコンテンツCTrは、進入指示部CTr1、ポイント部CTr2、及び退出指示部CTr3を少なくとも含むAR表示物である。
進入指示部CTr1は、交差点の手前側(自車側)の路面が重畳対象とされる画像要素である。進入指示部CTr1は、交差点の中央へ向けて並ぶ配置にて、自車の交差点への理想的な進入経路を示す。
ポイント部CTr2は、右左折を実施する交差点の概ね中央が重畳表示とされる画像要素である。ポイント部CTr2は、交差点の中央に重畳されて、右左折すべき交差点の位置をドライバに明示する。
退出指示部CTr3は、交差点での右左折後に走行する路面が重畳対象とされる画像要素である。退出指示部CTr3は、交差点の中央から、退出方向(右方向)に延伸する態様により、交差点から先の退出経路を示す。
ルートアイコンCTirは、画角VA内において、例えば右下隅に、ルートコンテンツCTrと重ならないように表示される非重畳コンテンツCTnである。ルートアイコンCTirは、矢印形状に描画されることで、ルートコンテンツCTrと同種の情報、即ち、交差点での走行経路(右折経路)を、ドライバに提示する。
図1〜図4に示すように、慣性センサ40は、車両Aの姿勢変化を計測する計測部である。慣性センサ40は、車両Aにおけるピッチ方向及びロール方向の各角速度と、車両Aのヨー軸に沿った上下方向の加速度とを計測する。慣性センサ40は、ジャイロセンサ及び加速度センサ等を組み合わせてなる計測部と、計測部の出力信号を処理する信号処理回路とを含む構成である。
信号処理回路は、ローパスフィルタ、AD変換部、ハイパスフィルタ及び積分処理部を含んでいる。ローパスフィルタは、ジャイロセンサ及び加速度センサの各出力から、高周波ノイズを除去する。AD変換部は、ローパスフィルタを通過したアナログ信号を、デジタル信号に変換する。ハイパスフィルタは、予め設定されたカットオフ周波数未満の帯域の信号を減衰させ、カットオフ周波数を超える帯域の信号を選択的に通過させる。カットオフ周波数は、後述する低周波数帯域と高周波数帯域との境界値(例えば、0.5Hz)に設定される。ハイパスフィルタは、ジャイロセンサに生じるドリフト成分を出力信号から除去する機能も発揮する。積分処理部は、姿勢変化の角速度を示す出力を時間積分する信号処理により、車両姿勢(ピッチ角,ロール角等)を示す信号を生成する。
慣性センサ40は、上述のハイトセンサ24等とは別に車両Aに搭載され、例えばHUD100又はメータ30aの筐体内に設置されている。慣性センサ40は、HUD−ECU50又はメータECU30(後述する)の電気回路と直接的に電気接続されている。慣性センサ40は、信号処理回路にて処理された出力信号であって、後述する高周波数帯域の姿勢変化を示す出力信号を、HUD−ECU50又はメータECU30に逐次出力する。
メータ30aは、コンビネーションメータに相当する構成であり、車両Aの車室内にて、運転席に着座したドライバから視認容易な位置に搭載されている。メータ30aは、メータディスプレイ39及びメータECU30を備えている。メータディスプレイ39は、例えば液晶ディスプレイ及び有機ELディスプレイ等である。メータディスプレイ39は、メータECU30から取得する映像データに基づき、スピードメータ画像、タコメータ画像及びナビ地図画像等を表示画面に表示する。
メータECU30は、HMIシステム10において、HCU(Human Machine Interface Control Unit)として機能し、ユーザインターフェース機能を統括する電子制御装置である。メータECU30は、メータディスプレイ39、HUD100及びセンターディスプレイ等の車載表示デバイスによる表示を統合的に制御する。メータECU30は、HUD−ECU50と同様に、処理部31、RAM32、記憶部33、入出力インターフェース34、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。
メータECU30は、HUD−ECU50と連携し、虚像表示のための演算処理を実行する。メータECU30及びHUD−ECU50のそれぞれにおいて、処理部31,51は、RAM32,52と結合された演算処理のためのハードウェアである。処理部31,51は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部31,51は、例えばFPGA(Field-Programmable Gate Array)及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。またRAM32,52は、映像生成のためのビデオRAMを含む構成であってよい。処理部31,51は、RAM32,52へのアクセスにより、本開示の表示制御方法を実現するための種々の処理を実行する。記憶部33,53は、不揮発性の記憶媒体を含む構成である。記憶部33,53には、処理部31,51によって実行される種々のプログラム(表示制御プログラム等)が格納されている。
各ECU30,50は、記憶部33,53に記憶された表示制御プログラムを、処理部31,51によって実行することで、虚像Viを用いたコンテンツの表示制御と、上述の補正制御とを実現する複数の機能部を備える。具体的に、各ECU30,50には、重量補正値算出部71、加減速補正値算出部72、路面補正値算出部73、非AR描画部74、AR描画部75、路面補正部76、レイヤー合成部77及び歪み補正部78等の機能部が構築される。
各ECU30,50は、重畳コンテンツCTsの重畳表示を実施する場合、重畳対象、結像面IS、及びアイポイントEPの相対的な位置関係が変化した場合でも、重畳コンテンツCTsの重畳対象への正しい重畳状態を維持させる補正制御を行う。各ECU30,50は、車両Aの姿勢変化及びアイポイントEPの位置変化に応じて、重畳コンテンツCTsの重畳対象に対する表示ずれを低減させるように、画角VAを通して見える重畳対象の状態に合わせて、虚像光Lviの態様を逐次補正する。
加えて、車両Aの姿勢変化の振動は、一定の周波数で生じるわけではなく、例えば主に0から2Hz程度までの周波数帯域の成分を含んだ振動となる。HMIシステム10では、0から0.5Hz程度までの周波数帯域が、低周波数帯域と定義され、低周波数帯域よりも周波数の高い0.5〜2Hzまでの周波数帯域が、高周波数帯域と定義されている。一例として、車両Aをゆっくりと加減速させる場合等には、低周波数帯域の振動が発生する。一方、車両Aを急発進又は急減速させた場合、及び悪路走行中等では、高周波数帯域の振動が発生する。
上述の各機能部のうちで、重量補正値算出部71、加減速補正値算出部72及びAR描画部75は、低周波数帯域の姿勢変化による重畳コンテンツCTsの表示ずれを低減する機能を有している。これら重量補正値算出部71、加減速補正値算出部72及びAR描画部75は、メータECU30に設けられるのが望ましい。
一方、路面補正値算出部73及び路面補正部76は、高周波数帯域の姿勢変化による重畳コンテンツCTsの表示ずれを低減する機能を有している。これら路面補正値算出部73及び路面補正部76と、非AR描画部74、レイヤー合成部77及び歪み補正部78とは、二つのECU30,50のいずれに設けられていてもよい。但し、慣性センサ40は、二つのECU30,50のうちで、路面補正値算出部73及び路面補正部76が構築される一方と電気接続されるのが望ましい。
重量補正値算出部71、加減速補正値算出部72及び路面補正値算出部73は、重畳コンテンツCTsの重畳対象に対する表示位置のずれの程度を推定し、当該ずれを補正する補正量を準備する。重量補正値算出部71及び加減速補正値算出部72は、車両制御ECU20等によって提供される多数の車両信号を用いた演算により、低周波数帯域の姿勢変化に対する補正量(以下、「低周波補正量」)を準備する。
重量補正値算出部71は、車両Aの走行速度、車高、助手席に着座する乗員の有無、及び横加速度等を示す車両信号等を取得し、乗員及び積載貨物による車両Aの重量変化を把握する。重量補正値算出部71は、重量変化に起因する表示ずれを補正する低周波補正量を算出し、AR描画部75に逐次提供する。
加減速補正値算出部72は、車両Aの制動トルク、駆動トルク、操舵角及び走行速度等を示す車両A信号を取得し、走行中の車両Aに生じる前後方向及び左右方向の各加速度を把握する。加減速補正値算出部72は、把握した各方向の加速度に基づき、車両Aの現在姿勢を特定する。加減速補正値算出部72は、特定した車両姿勢から表示ずれを補正するための低周波補正値を算出し、AR描画部75に逐次提供する。
路面補正値算出部73は、慣性センサ40と直接的に電気接続されており、信号処理回路の出力信号を取得する。信号処理回路の一部又は全部の機能は、路面補正値算出部73に設けられていてもよい。路面補正値算出部73は、慣性センサ40の出力信号を用いた演算により、高周波数帯域の姿勢変化に対する補正量(以下、「高周波補正量」)を準備する。路面補正値算出部73は、算出した最新の高周波補正量を、路面補正部76に逐次提供する。同時刻に生成される高周波補正量と低周波補正量とを比較した場合、高周波補正量は、低周波補正量よりも新しい車両状態を反映した値となる。
非AR描画部74は、非重畳コンテンツCTnの元画像を描画する。一例として、非AR描画部74は、車両Aの走行速度を示す車両信号に基づき、スピード表示CTvの元画像を描画した画像レイヤー(以下、「非ARレイヤーLr2」)を生成する。また非AR描画部74は、ナビゲーション装置29から経路情報等を取得し、ルートアイコンCTirの元画像を描画した非ARレイヤーLr2を生成する。非AR描画部74は、スピード表示CTv及びルートアイコンCTir等の元画像を含む非ARレイヤーLr2の画像データを、画角VA内における非重畳コンテンツCTnの表示位置を示す位置情報と共に、レイヤー合成部77に逐次出力する。尚、非AR描画部74は、複数の非重畳コンテンツCTnの各元画像を、別々の非ARレイヤーLr2に描画してもよい。
AR描画部75は、表示対象とする重畳コンテンツCTsを複数種類の中から選定する機能と、選定した重畳コンテンツCTsを描画する機能とを有している。AR描画部75は、車両信号等に基づき把握可能な複数の情報について、ドライバにとっての優先度を総合的に判定する。AR描画部75は、最も優先度の高い情報に紐付けられた重畳コンテンツCTsを、ドライバへの表示対象に選定する。
AR描画部75は、重畳コンテンツCTsの描画に必要な情報を逐次取得する。AR描画部75は、選定した重畳コンテンツCTsの重畳対象を特定し、特定した重畳対象の相対位置及び形状等を示すセンシング情報を、外界センサ27等から逐次取得する。加えてAR描画部75は、アイポイントEPの位置を示すDSM28のセンシング情報と、重量補正値算出部71及び加減速補正値算出部72によって提供される各低周波補正量とを逐次取得する。さらにAR描画部75は、ルートコンテンツCTrを表示対象に選定した場合、ナビゲーション装置29より提供される自車位置情報、経路情報、及びナビ地図データ等を取得する。
AR描画部75は、取得した複数の情報を用いて、選定した重畳コンテンツCTsの元画像を、画像レイヤー(以下、「ARレイヤーLr1」)に描画する。AR描画部75は、ARレイヤーLr1への元画像の描画にあたり、重畳コンテンツCTsを重畳対象に追従させるため、アイポイントEPの位置、重畳対象の位置、並びに結像面ISの位置及び姿勢について、相対的な位置関係を継続的に把握する。AR描画部75は、これらの位置関係に基づき、結像面ISにおける虚像Viの結像形状を決定するシミュレーション演算を繰り返す。このときAR描画部75は、各補正値算出部71,72より提供される最新の低周波補正量を用いて、アイポイントEPの位置と、結像面ISの位置及び姿勢とを、最新の車両姿勢に応じた状態に逐次補正する。以上により、ARレイヤーLr1における元画像の描画位置及び描画形状は、アイポイントEPの位置、重畳対象の相対位置、及び低周波数帯域の姿勢変化等に応じた様態となる。AR描画部75は、重畳コンテンツCTsの元画像を含むARレイヤーLr1の画像データを、路面補正部76に逐次出力する。
路面補正部76は、路面補正値算出部73によって提供される高周波補正量を取得する。路面補正部76は、高周波補正量を用いて、高周波数帯域の姿勢変化による重畳コンテンツCTsの表示ずれが低減されるように、ARレイヤーLr1における元画像の描画位置及び描画形状をさらに補正する。路面補正部76は、元画像を補正したARレイヤーLr1の画像データを、レイヤー合成部77に逐次出力する。
レイヤー合成部77は、路面補正部76より提供されるARレイヤーLr1と、非AR描画部74より提供される非ARレイヤーLr2とを合成し、一つの出力レイヤーLrsを生成する。一例として、レイヤー合成部77は、ARレイヤーLr1の特定位置に非ARレイヤーLr2を重ねる画像処理を行う。出力レイヤーLrsには、重畳コンテンツCTs及び非重畳コンテンツCTnの各元画像が共に含まれる。レイヤー合成部77は、生成した出力レイヤーLrsを、歪み補正部78に逐次出力する。
歪み補正部78は、レイヤー合成部77より提供される出力レイヤーLrsに、所定の歪み補正を適用する。歪み補正部78は、投影範囲PAへの光の投影に伴う虚像Viの歪みが低減(相殺)されるように、出力レイヤーLrsの全体形状を変形させる。歪み補正の内容は、投影範囲PAにおけるウィンドシールドWSの湾曲形状と、拡大光学系64(図1参照)の反射面形状とに依拠している。歪み補正は、投影範囲PA及び拡大光学系64での反射に起因する虚像Viの変形を考慮し、歪みが低減された状態で虚像Viが結像されるように、出力レイヤーLrsの形状を予め変形させておく補正である。歪み補正部78は、歪み補正を適用した出力レイヤーLrsを一つのフレーム画像とし、予め規定された映像フォーマットに従った映像データを生成する。歪み補正部78は、生成した映像データを、LCD制御部81及びバックライト制御部82へ向けて連続的に出力する。
以上のAR描画部75、路面補正部76、レイヤー合成部77及び歪み補正部78は、HUD100の映像データを生成する映像生成ブロック79を構成している。映像生成ブロック79は、重畳コンテンツCTsを重畳対象に重畳表示させる機能ブロックとなる。映像生成ブロック79において、各機能部は、厳密に分けられる必要はなく、一体的に設けられていてもよい。例えば、路面補正部76、レイヤー合成部77及び歪み補正部78に替えて、高周波補正処理、レイヤー合成処理、及び歪み補正処理を一括実行する画像処理部が、映像生成ブロック79に設けられていてもよい。さらに、映像生成ブロック79には、非AR描画部74が含まれていてもよい。
LCD制御部81は、LCDパネル62の各画素の透過率の制御により、LCDパネル62の表示面に画像を表示させる。LCD制御部81は、映像生成ブロック79から取得する映像データに基づき、LCDパネル62の表示面に、重畳コンテンツCTs及び非重畳コンテンツCTnの各元画像を表示させる。
バックライト制御部82は、バックライト63に含まれる複数の発光ダイオードの発光を個別に制御する部分駆動(ローカルデミング)により、バックライト63の発光輝度を複数のエリア毎に調整する。バックライト制御部82は、映像生成ブロック79から取得する映像データに基づき、重畳コンテンツCTs及び非重畳コンテンツCTnの位置及び形状等に合わせて、バックライト63における各エリアの発光輝度を決定する。バックライト制御部82は、決定した発光輝度にて各エリアを発光させる駆動信号を、バックライト63の各発光ダイオードへ向けて出力する。
以上の映像生成ブロック79において、低周波補正量及び高周波補正量を用いた重畳コンテンツCTsの表示ずれの補正が実施されると、例えば図5に示すように、HUD100の画角VAから重畳コンテンツCTsが見切れる場合がある。こうした事態を回避するため、路面補正部76は、上述の高周波補正処理に用いる高周波補正量を調整する。以下、映像生成ブロック79における補正調整の詳細を、図5〜図9に基づき、図1〜図4を参照しつつ説明する。尚、図5〜図8に示す表示は、図4と同様に、交差点にて経路案内を行うシーンでの表示である。一方、図9に示す表示は、前方の歩行者を注意喚起する表示である。
図5に示すシーンでは、経路案内の対象となる交差点の手前にて、車体前端側が沈み込むようなピッチ方向の姿勢変化が車両Aに生じている。このとき、重畳コンテンツCTsを重畳対象に正確に重畳させるべく、路面補正部76が高周波補正量に基づく補正をルートコンテンツCTrに適用すると、ルートコンテンツCTrの一部は、画角VA外に見切れてしまう。具体的には、交差点の中央が画角VAの上側に外れてしまうため、ルートコンテンツCTrのうちのポイント部CTr2及び退出指示部CTr3(二点鎖線参照)が、画角VA外となる。
こうした見切れの発生を回避するため、路面補正部76は、画角VAから重畳コンテンツCTsが見切れる場合、より正確には、見切れると想定される場合に、補正処理に用いる高周波補正量を調整する。詳記すると、路面補正部76は、高周波補正量を減らす調整により、ルートコンテンツCTrの交差点への正確な位置合わせを一部犠牲にする。そうしたうえで、路面補正部76は、右折案内というコンテンツの提示意図を伝えることが可能なように、ポイント部CTr2及び退出指示部CTr3の表示位置を調整する。
以上の補正調整機能によれば、図6に示す表示が提示される。図6に示す表示にて、ポイント部CTr2及び退出指示部CTr3は、画角VAの上縁と接する位置に表示される。そして、進入指示部CTr1は、調整されたポイント部CTr2の位置に合わせて、下方に移動される。以上により、ルートコンテンツCTrは、画角VAから見切れることなく、提示意図をドライバに伝えることが可能な様態で表示される。
尚、補正調整の結果、ポイント部CTr2及び退出指示部CTr3等の画像要素同士の位置関係が変更されてもよい。又は、画像要素同士の位置関係が維持されるように、補正調整が実施されてもよい。
映像生成ブロック79は、補正調整を行う場合に、調整通知コンテンツCTfをさらに表示させる。調整通知コンテンツCTfは、非重畳コンテンツCTnであり、画角VAの外縁のうちで、重畳コンテンツCTsと接する区間に表示される。調整通知コンテンツCTfは、画角VAの外縁に沿って延伸する形状により、画角VAの外縁の位置を示す。調整通知コンテンツCTfは、ポイント部CTr2及び退出指示部CTr3が画角VAの外縁に達していることをドライバに明示する。調整通知コンテンツCTfは、高周波補正量の調整が行われており、位置合わせの正確性が部分的に犠牲にされていることをドライバに示唆する。
さらに、映像生成ブロック79は、高周波補正量を調整する場合、重畳コンテンツCTsの様態を、補正量を調整しない場合とは異なる様態に変更可能である。具体的には、図7に示すように、映像生成ブロック79は、ポイント部CTr2を、通常形状(図6参照)よりも上下方向に扁平な形状に変形させる。以上によれば、ポイント部CTr2の中心は、本来の重畳対象である交差点により近い位置に重畳される。このように、ポイント部CTr2を変形させる場合に、縦横のアスペクト比は、維持されなくてもよい。
尚、例えば文字及び記号等を含む画像要素のように、アスペクト比の変更を伴う変形がドライバの違和感を引き起こし得る場合、画像要素は、縦横のアスペクト比を維持したまま、縮小されるのがよい。また、重畳コンテンツCTsが画角VAの左右いずれかの外縁に接する場合、画像要素は、横方向に縮小される。
また映像生成ブロック79は、少なくとも一つの中止条件の成立に基づき、補正量の調整を中止する。中止条件の一つは、路面補正値算出部73にて準備された高周波補正量が上限閾値を超えているか否かである。映像生成ブロック79は、高周波補正量が上限閾値を超える場合に、重畳コンテンツCTsの見切れ回避が不可能であると推定し、高周波補正量の調整を中止する。この場合、AR描画部75は、重畳コンテンツCTsの全部又は少なくとも一部を非表示にする。
一例として、図8に示すシーンでは、経路案内の対象となる交差点の手前にて、車体後端側が沈み込むようなピッチ方向の姿勢変化が車両Aに生じている。このとき、案内対象の交差点を含む前方の路面は、全て画角VA外となっている。仮にルートコンテンツCTrを表示させてしまうと、ドライバは、右折すべき交差点を誤認する虞がある。故に、映像生成ブロック79は、ルートコンテンツCTrを非表示とする。ルートコンテンツCTrを非表示とした状態は、例えば重畳対象となる交差点の中央が画角VA内に入るまで継続される。一方で、非重畳コンテンツCTnであるルートアイコンCTirの画角VA内への表示は、継続される。
さらに、映像生成ブロック79は、予め設定された特定コンテンツが表示対象として選定されている場合に、中止条件を成立させ、補正量の調整を中止する。詳記すると、複数種類の重畳コンテンツCTsの中には、重畳位置の示す意味が表示形状の示す意味よりも重要な重畳コンテンツCTsと、表示形状の示す意味が重畳位置の示す意味よりも重要な重畳コンテンツCTsとがある。重畳位置の示す意味が重要な重畳コンテンツCTsが表示対象に選定された場合、路面補正部76は、高周波補正量の調整を中止する。
一例として、図9に示すシーンでは、歩行者を注意喚起する歩行者コンテンツCTpが、重畳コンテンツCTsとして表示されている。歩行者コンテンツCTpは、歩行者を囲むような枠状の様態で表示される。歩行者コンテンツCTpは、歩行者の一部が画角VA外に視認される状態でも、補正量の調整を適用されることなく、見切れた状態で表示される(二点鎖線参照)。
尚、歩行者コンテンツCTpは、直接的に視認可能な歩行者だけでなく、例えば駐車車両等に隠れて直接的には視認できない歩行者を示す重畳コンテンツCTsであってもよい。また特定コンテンツには、坂道の先又は夜道等の視認不可能な一時停止位置に重畳され、こうした一時停止位置を強調する重畳コンテンツCTsが含まれ得る。さらに、特定コンテンツには、霧等の視界不良時に左右の白線等に重畳され、走行可能な範囲を示す視界支援のための重畳コンテンツCTsが含まれ得る。
以上の補正調整機能を実現する表示制御方法の詳細を、図10に示すフローチャートに基づき、図3〜図9等を参照しつつ、以下説明する。図10に示す表示制御処理は、例えばHMIシステム10が起動されたことに基づき、映像生成ブロック79によって繰り返し開始される。
S101では、AR描画部75にて、表示対象とする重畳コンテンツCTsの種別が設定され、S102に進む。S102では、各補正値算出部71〜73にて、重畳コンテンツCTsの表示位置のずれを補正する低周波補正量及び高周波補正量が演算によって準備され、S103に進む。
S103では、重畳コンテンツCTsを画角VA内で補正可能か否かを判定する。具体的に、S103では、S101にて設定した重畳コンテンツCTsを、S102にて準備した各補正量で補正し虚像表示させた場合に、画角VAから見切れるか否かを判定する。重畳コンテンツCTsの画角VAからの見切れが生じない場合、S103では、画角VA内で補正可能と判定し、S108に進む。一方で、重畳コンテンツCTsの見切れが生じる場合、S103では、画角VA内で補正不可能と判定し、S104に進む。
S104では、重畳コンテンツCTsの様態を設定し、S105に進む。S104では、様態の変更なし、一部又は全部を削除、形状又はサイズの変更、或いは輝度の変更等の処理の実行が、高周波補正量、及び重畳コンテンツCTsの見切れ量等に基づき、選択される。
S105では、路面補正部76による高周波補正量の調整について、実施の有無を判定する。換言すれば、S105では、中止条件が成立しているか否かを判定する。例えば、S101にて、上述の歩行者コンテンツCTp(図9参照)が表示対象に選定された場合、中止条件が成立する。また、S102にて準備された高周波補正量が上限閾値を超える場合も、中止条件が成立する。S105では、少なくとも一つの中止条件の成立に基づき、高周波補正量の調整を実施しないと判定し、S108に進む。一方で、S105にて、全ての中止条件が不成立であり、補正量の調整を実施すると判定した場合、S106に進む。
ここで、高周波補正量の調整の実施及び不実施が頻繁に切り替わると、重畳コンテンツCTsは、ドライバの違和感を引き起こすような挙動を示し得る。故に、S105では、実施及び不実施の一方に一旦設定した場合、実施及び不実施の切り替えは、所定時間の経過まで禁止される。
S106では、重畳コンテンツCTsが画角VA内に入るように、重畳コンテンツCTsの補正処理に用いる高周波補正量を調整する。S106では、一例として、高周波補正量に乗算する調整係数(調整量)を算出する。そして、調整係数を乗算した高周波補正量を、調整後の高周波補正量として設定し、S107に進む。
尚、S106での調整後の高周波補正量は、例えばゼロであってもよい。この場合、高周波数帯域の姿勢変化に対する表示ずれの補正は、実質的にキャンセルされた状態となる。また、重畳コンテンツCTsの瞬間的な移動を防ぐため、調整係数を1から漸減させて、高周波補正量を徐々に調整する処理が適用されてもよい。
S107では、調整通知コンテンツCTf(図6参照)を表示するか否かを判定し、S108に進む。一例として、S107では、調整後の高周波補正量を用いた補正処理の結果、重畳コンテンツCTsが画角VAの外縁に接するか否かを判定する。S107にて、重畳コンテンツCTsが画角VAの外縁に接しないと判定した場合、調整通知コンテンツCTfを非表示に設定し、S108に進む。一方で、重畳コンテンツCTsが画角VAの外縁に接すると判定した場合、調整通知コンテンツCTfを表示させる設定とし、S108に進む。
S103の肯定判定又はS105の否定判定に基づくS108では、高周波補正量を調整することなく、重畳コンテンツCTsの表示ずれの補正処理を実行する。以上により、重畳対象に対する表示ずれが最小限に低減された重畳コンテンツCTsが虚像表示される(図4及び図9参照)。
一方、S107に続いて実施されるS108では、調整後の高周波補正量を用いて、重畳コンテンツCTsの表示ずれの補正処理を実行する。以上により、提示意図の把握に必要な主要部分を見切れさせることなく、重畳コンテンツCTsを表示させることが可能になる。
ここまで説明した第一実施形態では、HUD100の画角VAから重畳コンテンツCTsが見切れる場合、重畳コンテンツCTsの表示位置のずれの補正に用いられる補正量が調整される。故に、表示位置のずれを低減させる補正処理が実施されても、重畳コンテンツCTsの画角VAからの見切れは、抑制される。したがって、重畳コンテンツCTsを視認するドライバの違和感が低減可能になる。
詳記すると、車両Aの外景にある特定の重畳対象に対応させて表示させる重畳コンテンツCTsには、重畳対象に対する位置ずれを補正して、ドライバに違和感なく情報を認識させることが要求される。しかし、こうした位置ずれの補正処理の結果、重畳コンテンツCTsが画角VA外に見切れてしまった場合、重畳コンテンツCTsの提示意図がドライバに正確に伝わらない。この場合、ドライバは、重畳コンテンツCTsを煩わしく感じてしまう。
こうした事態を回避するため、第一実施形態では、車両Aの姿勢変化及びアイポイントEPの位置変化等が生じた場合に、正確な重畳を敢えて諦めて、画角VAから見切れないように補正処理が調整される。その結果、重畳対象への正確な位置合わせは、一部犠牲になるものの、重畳コンテンツCTsの提示意図は、ドライバに正確に伝わり得る。また、見切れに起因する重畳コンテンツCTsの煩わしさも、ドライバは感じ難くなる。
加えて第一実施形態では、高周波補正量が調整される場合に、調整通知コンテンツCTfが表示される。こうした調整通知コンテンツCTfの表示によれば、高周波補正量の調整が行われていること、ひいては、重畳コンテンツCTsの重畳位置の正確性が一部犠牲にされていることを、ドライバは認識できる。
また第一実施形態の調整通知コンテンツCTfは、画角VAの外縁のうちで、重畳コンテンツCTsと接する区間に表示されて、画角VAの外縁の位置を示す。こうした調整通知コンテンツCTfは、重畳コンテンツCTsが画角VAの外側へ向けてこれ以上移動できないことを、分かり易く示し得る。その結果、重畳コンテンツCTsが正確な重畳位置からずれていても、ドライバの違和感は、低減される。
さらに第一実施形態の路面補正部76では、中止条件の成立に基づき、高周波補正量の調整が中止される。以上によれば、重畳コンテンツCTsの表示の位置ずれを許容することが、ドライバの違和感をかえって惹起してしまうようなシーンにて、重畳コンテンツCTsの正確な重畳状態が継続可能となる。
具体的に、第一実施形態では、歩行者コンテンツCTp等の特定の重畳コンテンツCTsが表示対象に選定される場合に、中止条件が成立する。その結果、重畳コンテンツCTsは、画角VAから大きく見切れたとしても、正確な重畳位置に表示され続ける。以上のように、重畳位置の示す意味が重要な重畳コンテンツCTsは、重畳対象に正確に重畳されて、ドライバに正確な情報を提示し続けることができる。
加えて第一実施形態では、高周波補正量が上限閾値を超えた場合にも、路面補正部76は、中止条件を成立させて、高周波補正量の調整を中止する。さらに、高周波補正量が上限閾値を超えると、ARレイヤーLr1への重畳コンテンツCTsの描画が中止され、重畳コンテンツCTsは、非表示となる。以上によれば、重畳対象から離れた位置に重畳される重畳コンテンツCTsが、ドライバに誤って認識される事態は、回避され得る。尚、非表示とされた重畳コンテンツCTsは、メータディスプレイ39等の他の車載表示デバイスに表示されてよい。
また第一実施形態において、路面補正部76は、高周波補正量の調整を実施する場合、重畳コンテンツCTsの様態を、高周波補正量の調整しない場合とは異なる様態に変更する。具体的に、第一実施形態では、重畳コンテンツCTsを構成する画像要素の形状が、補正方向(上下方向)に沿って縮小される。以上によれば、重畳コンテンツCTsの表示ずれを許容したことに起因する違和感が低減され得る。尚、重畳コンテンツCTsの様態を変更する画像処理は、路面補正部76のみによって実施されてもよく、又はAR描画部75及び路面補正部76の連携によって実施されてもよい。
さらに第一実施形態では、重畳コンテンツCTsと同種の情報を提示する非重畳コンテンツCTnが画角VA内に表示される。具体的には、ルートコンテンツCTr共に、ルートアイコンCTirが表示される。以上によれば、表示ずれを許容したことで、重畳コンテンツCTsの意図がドライバに伝わり難くなったとしても、非重畳コンテンツCTnは、その悪化分を補うことができる。尚、ルートアイコンCTirは、ルートコンテンツCTrの非表示の期間に限定して、画角VA内に表示されてもよい。
尚、第一実施形態において、プロジェクタ61が「プロジェクタ部」に相当し、路面補正値算出部73が「補正量準備部」に相当する。また、映像生成ブロック79が「表示制御部」に相当し、メータECU30及びHUD−ECU50が協動で「表示制御装置」に相当する。
(第二実施形態)
本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態の映像生成ブロック79(図3参照)は、自車から重畳対象までの距離(以下、「対象距離」)を把握し、対象距離が所定の距離(以下、「近接閾値」)未満か否かに基づき、中止条件の成立及び不成立を切り替える(図10 S105参照)。具体的に、映像生成ブロック79は、対象距離が近接閾値以上である場合には中止条件を不成立とし、対象距離が近接閾値未満である場合には中止条件を成立させる。
一例として、図11に示す交差点案内のシーンでは、重畳対象となる交差点への接近により、中止条件は、不成立から成立に遷移する。車両Aが交差点から十分離れており、交差点までの対象距離が近接閾値を超えている場合、中止条件は成立しない。そのため、補正調整機能が有効となり、ルートコンテンツCTrは、重畳対象に対する表示ずれを許容される。ルートコンテンツCTrは、ポイント部CTr2及び退出指示部CTr3を画角VAの上縁に接触させた様態で、画角VAから見切れることなく表示される。故に、ルートコンテンツCTrは、右折予定の交差点が接近していることを、ドライバに分かり易く通知できる。このとき、画角VAの上縁近傍には、調整通知コンテンツCTfが表示される。
そして、車両Aの走行継続によって対象距離が近接閾値未満となると、中止条件の成立により、補正調整機能は無効化される。その結果、重畳対象である交差点の中央にポイント部CTr2を正確に重畳させたルートコンテンツCTrが、画角VAから見切れた状態で表示される。ルートコンテンツCTrは、右折すべき交差点の正確な位置をドライバに明示する。このとき、調整通知コンテンツCTfは、非表示とされる。
ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏し、重畳コンテンツCTsの画角VAからの見切れは、抑制される。したがって、重畳コンテンツCTsを視認するドライバの違和感が低減可能になる。
加えて第二実施形態では、対象距離が近接閾値よりも短い場合に、補正量の調整が中止される。上述したルートコンテンツCTrは、交差点までの距離が遠い場合には、表示形状の示す意味が重畳位置の示す意味よりも重要となる。一方で、交差点までの距離が近い場合、ルートコンテンツCTrは、重畳位置の示す意味が表示形状の示す意味よりも重要となる。上述したように、対象距離を用いた中止条件が設定されれば、重畳コンテンツCTsの役割が時間経過と共に変化しても、各タイミングでの提示意図が適切にドライバに伝わり得る。
尚、補正調整が中止された直後において、路面補正部76(図3参照)は、調整係数を現在値から1まで徐々に増加させて、高周波補正量を正規の値まで漸増させる処理を実施する(図10 S106参照)。以上により、中止条件の成立直後、ルートコンテンツCTrが見切れた状態に瞬間的に変更される事態は、回避される。
(他の実施形態)
以上、本開示の複数の実施形態及び変形例について説明したが、本開示は、上記実施形態及び変形例に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態の変形例1のHUD300には、図12に示すように、HUD−ECU50に替えて、LCD制御基板381及びバックライト制御基板382が設けられている。LCD制御基板381及びバックライト制御基板382は、第一実施形態のLCD制御部81及びバックライト制御部82(図3参照)に相当する機能を備えた回路基板である。変形例1では、慣性センサ40は、メータ30aの筐体に収容され、メータECU30に電気接続されている。加えて、各補正値算出部71〜73、非AR描画部74及び映像生成ブロック79等の各機能部は、メータECU30に構築される。以上の変形例1のように、虚像表示のための映像データの生成機能は、実質全てメータECU30に集約されていてもよい。以上の変形例1では、メータECU30が「表示制御装置」に相当し、メータECU30の処理部31が「処理部」に相当する。
図13に示す上記実施形態の変形例2では、虚像表示のための映像データの生成機能は、実質全てHUD−ECU50に集約されている。変形例2のHUD400は、メータECUと連携することなく、HUD−ECU50によって生成した映像データを虚像表示する。そのため、各補正値算出部71〜73、非AR描画部74及び映像生成ブロック79等の各機能部は、HUD−ECU50に構築される。また、慣性センサ40は、HUD400の筐体に収容され、HUD−ECU50に電気接続されている。以上の変形例2では、HUD−ECU50が「表示制御装置」に相当し、HUD−ECU50の処理部51が「処理部」に相当する。
上記実施形態では、低周波補正量及び高周波補正量のうちで、高周波補正量のみが調整の対象とされていた。しかし、上記実施形態の変形例3のHMIシステム10では、路面補正部76が高周波補正量の調整機能を有するだけでなく、AR描画部75も、各補正値算出部71,72より取得する低周波補正量の調整機能を有している。こうした変形例3では、重量補正値算出部71、加減速補正値算出部72及び路面補正値算出部73が「補正量準備部」に相当する。
また、上記実施形態の変形例4のHMIシステム10では、AR描画部75が低周波補正量の調整機能を有する一方で、高周波補正量を調整する路面補正部76の機能が省略されている。こうした変形例4では、重量補正値算出部71及び加減速補正値算出部72が「補正量準備部」に相当する。
さらに、上記実施形態の変形例5では、低周波数帯域及び高周波数帯域の両方の帯域の振動が、AR描画部75によって補正される。そして、AR描画部75にて用いられる補正量が、見切れ回避のために調整される。尚、各低周波調整量及び高周波調整量は、算出によって準備されてもよく、又は外部からの取得によって準備されてもよい。
上記実施形態の変形例6では、補正量を調整した場合に、重畳ずれが目立たないように、重畳コンテンツCTsの少なくとも一部の画像要素に対し、輝度を低く様態変更又は発光色の彩度を下げる様態変更等が適用される。さらに、補正量を調整した場合の様態変更として、画角VAの外縁(境界線)の近傍ほど曖昧に表示されるよう、重畳コンテンツCTsの少なくとも一部の画像要素をぼかすような処理が施されてもよい。又は、補正量を調整した場合に、重畳コンテンツCTs全体に、輝度低下、彩度低下及びぼかし等の処理が適用されてもよい。
補正調整を中断させる中止条件の内容は、適宜変更されてよい。一例として、補正量の調整が必要な状態と、補正量の調整が不要な状態とが、所定の時間内に所定の回数以上切り替わった場合、映像生成ブロックは、一定期間、中止条件を成立させてよい。さらに、中止条件は、設定されなくてもよい。
調整通知コンテンツCTfの形状は、適宜変更されてよい。例えば、調整通知コンテンツCTfは、画角VAの外縁全体を明示する矩形枠状に表示されてよい。さらに、調整通知コンテンツCTfの表示は、省略されてよい。また、重畳コンテンツCTsと同種の情報を提示する非重畳コンテンツCTnの表示も、省略されてよい。
上記実施形態の各コンテンツは、表示色、表示輝度、基準となる表示形状等の静的な要素、さらに、点滅の有無、点滅の周期、アニメーションの有無、及びアニメーションの動作等の動的な要素を適宜変更されてよい。また、各コンテンツの静的又は動的な要素は、ドライバの嗜好に応じて変更可能であってよい。
さらに、上記実施形態にて例示した走行シーンは、一例である。上記のものとは異なる走行シーンにて、非重畳コンテンツ及び重畳コンテンツを用いた情報提示を、HMIシステムは実施可能である。加えて、重畳対象とされる物標も、交差点や歩行者等に限定されず、外界センサ27による検出が可能であれば、適宜変更されてよい。
上記実施形態の慣性センサ40は、ジャイロセンサ及び加速度センサを組み合わせた構成であった。しかし、慣性センサ40の構成は、適宜変更可能である。例えば慣性センサは、ヨー方向、ピッチ方向、ロール方向の各角速度を検出する3軸のジャイロセンサと、車両の前後方向、上下方向、左右方向の各加速度を検出する3軸の加速度センサとを備えた6軸のモーションセンサであってもよい。さらに、慣性センサは、ジャイロセンサ及び加速度センサのうちで、加速度センサのみを備える構成であってもよく、又はジャイロセンサのみを備える構成であってもよい。また、補正対象及び補正の調整対象となる姿勢変化は、ピッチング、ローリング及びヒーブ等のうちで、少なくともピッチングを含む一種類又は複数種類とされてよい。
上記実施形態では、DSM28にて検出されるアイポイントEPの位置情報に基づき、重畳コンテンツCTsとして結像される虚像光Lviの投影形状及び投影位置が逐次補正されていた。しかし、変形例7では、DSM28の検出情報を用いることなく、予め設定された基準アイポイント中心の設定情報を用いて、重畳コンテンツとして結像される虚像光Lviの投影形状及び投影位置が制御される。
変形例8のHUDのプロジェクタ61には、LCDパネル62及びバックライト63に替えて、EL(Electro Luminescence)パネルが設けられている。さらに、ELパネルに替えて、プラズマディスプレイパネル、ブラウン管及びLED等の表示器を用いたプロジェクタがHUDに採用可能である。
変形例9のHUDには、LCDパネル62及びバックライト63に替えて、レーザモジュール(以下「LSM」)及びスクリーンが設けられている。LSMは、例えばレーザ光源及びMEMS(Micro Electro Mechanical Systems)スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。こうしたHUDでは、LSMから照射されるレーザ光の走査により、スクリーンに表示像が描画される。HUDは、スクリーンに描画された表示像を、拡大光学系64によってウィンドシールドに投影し、虚像を空中表示させる。
変形例10のHUDには、DLP(Digital Light Processing,登録商標)プロジェクタが設けられている。DLPプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス(以下、「DMD」)と、DMDに向けて光を投射する投射光源とを有している。DLPプロジェクタは、DMD及び投射光源を連携させた制御により、表示像をスクリーンに描画する。
さらに、変形例11のHUDでは、LCOS(Liquid Crystal On Silicon)を用いたプロジェクタが採用されている。また変形例12のHUDには、虚像Viを空中表示させる光学系の一つに、ホログラフィック光学素子が採用されている。
上記実施形態にて、各ECU30,50によって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
また、上記の表示制御方法を実現可能なプログラム等を記憶する記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、各ECU30,50の制御回路に電気的に接続される構成であってよい。さらに、記憶媒体は、各ECU30,50へのプログラムのコピー基となる光学ディスク及びのハードディスクドライブ等であってもよい。
HMIシステムを搭載する車両は、一般的な自家用の乗用車に限定されず、レンタカー用の車両、有人タクシー用の車両、ライドシェア用の車両、貨物車両及びバス等であってもよい。さらに、モビリティサービスに用いられるドライバーレス車両に、HMIシステムが搭載されてもよい。
HMIシステムを搭載する車両は、右ハンドル車両であってもよく、又は左ハンドル車両であってもよい。さらに、車両が走行する交通環境は、左側通行を前提とした交通環境であってもよく、右側通行を前提とした交通環境であってもよい。本開示にて示した虚像表示は、それぞれの国及び地域の道路交通法、さらに車両のハンドル位置等に応じて適宜最適化される。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。