JP2019059248A - ヘッドアップディスプレイ装置 - Google Patents

ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
JP2019059248A
JP2019059248A JP2016062925A JP2016062925A JP2019059248A JP 2019059248 A JP2019059248 A JP 2019059248A JP 2016062925 A JP2016062925 A JP 2016062925A JP 2016062925 A JP2016062925 A JP 2016062925A JP 2019059248 A JP2019059248 A JP 2019059248A
Authority
JP
Japan
Prior art keywords
display
vehicle
virtual image
display device
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016062925A
Other languages
English (en)
Inventor
真希 花田
Maki Hanada
真希 花田
昭央 三沢
Akio Misawa
昭央 三沢
望 下田
Nozomu Shimoda
望 下田
裕司 藤田
Yuji Fujita
裕司 藤田
卓見 中田
Takumi Nakata
卓見 中田
滝澤 和之
Kazuyuki Takizawa
和之 滝澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Holdings Ltd filed Critical Maxell Holdings Ltd
Priority to JP2016062925A priority Critical patent/JP2019059248A/ja
Priority to PCT/JP2016/080181 priority patent/WO2017134861A1/ja
Publication of JP2019059248A publication Critical patent/JP2019059248A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の走行状況に応じて虚像を実際の風景に適切に重畳させるよう表示することを可能とするヘッドアップディスプレイ装置を提供する。【解決手段】車両情報4を取得する車両情報取得部10と、車両情報4に基づいて映像の表示を制御する制御部20と、制御部20からの指示に基づいて映像を形成する映像表示装置30と、映像表示装置30が形成した映像を反射してウィンドシールド3に投射するミラー52と、制御部20からの指示に基づいてミラー52の角度を変化させるミラー駆動部50と、運転者に対する虚像の表示距離を調整する表示距離調整機構40とを有し、制御部20は、車両情報4に基づいて、運転者に対して風景に虚像を重畳させて表示することが可能となるよう、ミラー駆動部50を介してミラー52の角度を調整し、前記虚像が前記風景における所定の対象物に重なる場合に、前記虚像の表示位置を変更する。【選択図】図1

Description

本発明は、ヘッドアップディスプレイ装置の技術に関し、特に、AR(Augmented Reality:拡張現実)を利用したヘッドアップディスプレイ装置に適用して有効な技術に関するものである。
例えば、自動車等の車両において、通常は、車速やエンジン回転数等の情報は、ダッシュボード内の計器盤(インパネ)に表示される。また、カーナビゲーション等の画面は、ダッシュボードに組み込まれもしくはダッシュボード上に設置されたディスプレイに表示される。運転者がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報やカーナビゲーションに係る指示等の情報をフロントガラス(ウィンドシールド)に投射して表示するヘッドアップディスプレイ(Head Up Display、以下では「HUD」と記載する場合がある)が知られている。
HUDも含む車載の表示装置では、車両が走行状況に応じて振動したり傾いたりする場合があるため、表示映像の視認性に問題が生じる場合や、適切な内容を表示できない場合等が生じ得る。
HUDにおける表示映像の視認性の改善等に関連する技術として、例えば、特開2013−237320号公報(特許文献1)には、車体に生じる回転成分を当該車体の傾きとして取得して、これに基づいて映像を3次元的に回転補正し、回転補正した映像を表示するための位置と傾きを決定して投影表示することが記載されている。
また、特開2007−55365号公報(特許文献2)には、HUDに距離スケールを表示する際に、ナビゲーション装置の地図データから、自車両が現在走行している走行地点情報と、自車両が走行するであろう走行予定地点情報とを取得し、これに基づいて自車両が走行する道路の傾斜角度を取得して、傾斜角度に応じた補正係数を用いて距離スケールの地面からの表示高さを補正して表示することが記載されている。
また、特開2006−7867号公報(特許文献3)には、検出した右左折、加減速等の走行状況に応じて、生成した映像の表示位置を、例えば、左折を検出した場合には左の方向にシフトし、右折を検出した場合には右の方向にシフトする、等のように制御することが記載されている。
また、特開2015−202842号公報(特許文献4)には、車両状態に従って運転者の視界が確保される方向に、映像情報の表示位置を移動させることが記載されている。
特開2013−237320号公報 特開2007−55365号公報 特開2006−7867号公報 特開2015−202842号公報
HUDは、映像をウィンドシールドに投射することで、当該映像を車外における虚像として運転者に認識させるものである。これに対し、ウィンドシールド越しに見える車外の実際の風景に虚像を重畳させるように表示することで、対象物等に係る情報を運転者に示すことを可能とするいわゆるAR機能を実現するHUD(以下では「AR−HUD」と記載する場合がある)が知られている。このようなAR−HUDにおいても、車両の走行状況等に応じて表示映像の視認性や適切性等を維持するための調整を行う必要がある。
この点、例えば、上記の特許文献1〜3に記載されたような技術を用いることで、車両が走行状況に応じて振動したり傾いたりする場合でも、表示映像(虚像)の視認性や適切性に与える影響を低減・解消させることが可能である。一方で、これらの技術では、HUDにおける虚像の表示領域内に表示される映像を対象として、その表示位置や表示内容等を走行状況に応じて調整するものである。しかしながら、HUDの場合は、運転者の視線の移動量を低減させるという効果を車両の走行状況に関わらず得られるようにすることも考慮して、表示領域内の映像の調整だけでなく表示領域自体についても位置を移動させる等の調整を行うのが望ましい。
この点、特許文献4に記載された技術では、車両状態に応じてHUDにおける表示領域自体を移動させることが可能である。しかしながら、特許文献4に記載された技術は、車両状態に変化が生じた場合でも運転者の視界を確保することを目的としたものであり、HUDにおける表示領域を運転者の障害とならないような位置に移動させるものである。このような技術をAR−HUDに適用すると、運転者の視界に含まれる実際の風景に虚像を重畳させることができなくなる場合が生じ、AR機能が実効性を有さないことになる。
そこで本発明の目的は、車両の走行状況に応じて虚像を実際の風景に適切に重畳させるよう表示することを可能とするヘッドアップディスプレイ装置を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
本発明の代表的な実施の形態によるヘッドアップディスプレイ装置は、車両のウィンドシールドに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、前記車両情報取得部が取得した前記車両情報に基づいて、前記映像の表示を制御する制御部と、前記制御部からの指示に基づいて前記映像を形成する映像表示装置と、前記映像表示装置が形成した前記映像を反射して前記ウィンドシールドに投射するミラーと、前記制御部からの指示に基づいて前記ミラーの角度を変化させるミラー駆動部と、前記運転者に対する前記虚像の表示距離を調整する表示距離調整機構と、を有するものである。
そして、前記制御部は、前記車両情報に基づいて、前記運転者に対して前記風景に前記虚像を重畳させて表示することが可能となるよう、前記ミラー駆動部を介して前記ミラーの角度を調整する。また、前記虚像が前記風景における所定の対象物に重なる場合に、前記虚像の表示位置を変更する、ヘッドアップディスプレイ装置。
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
すなわち、本発明の代表的な実施の形態によれば、AR−HUDにおいて車両の走行状況に応じて虚像を実際の風景に適切に重畳させるよう表示することが可能となる。
本発明の実施の形態1であるヘッドアップディスプレイ装置の全体の構成例について概要を示した機能ブロック図である。 本発明の実施の形態1におけるヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。 本発明の実施の形態1における車両情報の取得に係るハードウェア構成の例について概要を示した図である。 本発明の実施の形態1におけるヘッドアップディスプレイ装置の構成例について詳細を示した機能ブロック図である。 本発明の実施の形態1における表示距離調整に係る構成の例について詳細を示した図である。 本発明の実施の形態1における初期動作の例について概要を示したフローチャートである。 本発明の実施の形態1における通常動作の例について概要を示したフローチャートである。 本発明の実施の形態1における明るさレベル調整処理の例について概要を示したフローチャートである。 本発明の実施の形態1における虚像の表示領域の位置を上下に調整する例について概要を示した図である。 本発明の実施の形態1におけるミラー調整処理の例について概要を示したフローチャートである。 本発明の実施の形態1における振動補正処理の例について概要を示したフローチャートである。 (a)、(b)は、本発明の実施の形態1における機能性液晶フィルムを用いた表示距離調整の例について概要を示した図である。 本発明の実施の形態1における機能性液晶フィルムによる拡散板の構成例について概要を示した図である。 本発明の実施の形態1における複数枚のミラーを用いた表示距離調整の例について概要を示した図である。 本発明の実施の形態1における可動式レンズを用いた表示距離調整の例について概要を示した図である。 (a)、(b)は、本発明の実施の形態1における調光ミラーを用いた表示距離調整の例について概要を示した図である。 本発明の実施の形態1における調光ミラーの構成例について概要を示した図である。 本発明の実施の形態1における可動式拡散板を用いた表示距離調整の例について概要を示した図である。 (a)、(b)は、本発明の実施の形態1における可動式光学フィルタを用いた表示距離調整の例について概要を示した図である。 本発明の実施の形態1におけるくし状光学フィルタを用いた表示距離調整の例について概要を示した図である。 本発明の実施の形態2における対象物に虚像が重複することを回避する例について概要を示した図である。 本発明の実施の形態2における対象物に虚像が重複することを回避する例について概要を示した図である。 本発明の実施の形態2における対象物に虚像が重複することを回避する他の例について概要を示した図である。 本発明の実施の形態2における虚像の表示内容や表示方法を調整する処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における標準コンテンツ生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2におけるイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における表示位置等調整処理の流れの例について概要を示したフローチャートである。 天候等による路面の標識情報に対する視認性の相違の例について概要を示した図である。 本発明の実施の形態2における映像情報では認識しづらい標識情報を検知して運転者を補助する構成の例について概要を示した図である。 (a)、(b)は、本発明の実施の形態2における夜間や悪天候時の前方の風景等に虚像を表示する際の表示補助例について概要を示した図である。 本発明の実施の形態2における運転者の視点範囲に対するコンテンツの表示位置の調整の例について概要を示した図である。 本発明の実施の形態2におけるアラート表示の表示位置を制御する表示位置等調整処理の流れの他の例について概要を示したフローチャートである。 本発明の実施の形態2における交差点の状況をコンテンツとして表示する例について概要を示した図である。 本発明の実施の形態2における前方車との車間距離に応じてコンテンツの表示色を変化させる例について概要を示した図である。 本発明の実施の形態2におけるカーブへの進入速度に応じてコンテンツの表示色を変化させる例について概要を示した図である。 本発明の実施の形態2における危険度に応じてコンテンツの表示色を変化させる他の例について概要を示した図である。 本発明の実施の形態2における表示色設定処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における危険度に応じて切り替えるコンテンツの表示色の例について概要を示した図である。 本発明の実施の形態2における前方車にアラート表示を重畳させる際に視認性を向上させる例について概要を示した図である。 本発明の実施の形態2における表示色等調整処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における通常の表示コンテンツに対してアラート表示を優先させる例について概要を示した図である。 (a)、(b)は、本発明の実施の形態2における通常の表示コンテンツに対してアラート表示を優先させる他の例について概要を示した図である。 本発明の実施の形態2におけるアラート表示の優先制御を行うイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における歩行者等の属性に応じてアラート表示の内容を切り替える例について概要を示した図である。 本発明の実施の形態2におけるアラート表示の切り替えを行うイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における車速表示を表示する際に視認性を向上させる例について概要を示した図である。 (a)、(b)は、本発明の実施の形態2における車速表示を表示する際に視認性を向上させる他の例について概要を示した図である。 本発明の実施の形態2における前方車に対して車速表示等の表示位置を調整する表示位置等調整処理の流れの例について概要を示したフローチャートである。 (a)、(b)は、本発明の実施の形態2における緊急車両の接近を通知する例について概要を示した図である。 (a)、(b)は、本発明の実施の形態2における緊急車両の接近を通知する他の例について概要を示した図である。 (a)、(b)は、本発明の実施の形態2における緊急車両の走行状態に応じて接近通知の表示を制御する例について概要を示した図である。 本発明の実施の形態2における緊急車両の接近通知を生成するイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における接近中の緊急車両の把握とその進路を予測する手法の例について概要を示した図である。 本発明の実施の形態2における緊急車両接近通知生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態2における接近中の緊急車両と周辺の車両が車車間通信を行う例について概要を示した図である。 (a)、(b)は、本発明の実施の形態2における緊急車両に搭載されたAR−HUDによる周辺の車両の表示方法の例について概要を示した図である。 本発明の実施の形態3における前方の風景等に対して奥行き感を出して虚像を重畳させる例について概要を示した図である。 本発明の実施の形態3におけるコンテンツの表示色と透過度によって奥行き感を表現する例について概要を示した図である。 本発明の実施の形態3における矢印図形に重複する車速表示をより手前に感じるように表示する例について概要を示した図である。 本発明の実施の形態3における前方の風景等の状況に応じてコンテンツを表示する際のベースカラーを設定する例について概要を示した図である。 本発明の実施の形態3における前方車との重複状況に応じてコンテンツを表示する際のベースカラーを設定する例について概要を示した図である。 本発明の実施の形態3における虚像の表示内容や表示方法を調整する処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態3における標準コンテンツ生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態3におけるイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態3における表示位置等調整処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態3における表示色設定処理の流れの例について概要を示したフローチャートである。 本発明の実施の形態3における車両の走行状況に応じて車速表示等の文字に対する装飾を変更して強調する例について概要を示した図である。 本発明の実施の形態3における文字修飾を変更する表示色設定処理の流れの例について概要を示したフローチャートである。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。
(実施の形態1)
<装置構成>
図2は、本発明の実施の形態1であるヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。本実施の形態のAR−HUD1では、プロジェクタやLCD(Liquid Crystal Display)等からなる映像表示装置30に表示された映像を、ミラー51やミラー52(例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等)により反射させて、車両2のウィンドシールド3に投射する。
運転者5は、ウィンドシールド3に投射された映像を見ることで、透明のウィンドシールド3を通してその前方に虚像として上記映像を視認する。本実施の形態では、後述するように、ミラー52の角度を調整することで、映像をウィンドシールド3に投射する位置を調整することにより、運転者5が見る虚像の表示位置を上下方向に調整することが可能である。また、後述する各種の手法を用いることで、虚像を近方(例えば2〜3m先)に表示したり、遠方(例えば30〜40m先)に表示したり等、表示距離を調整することも可能である。そして、虚像を車外の風景(道路や建物、人等)に重畳させるようにその表示位置や表示距離を調整することで、AR機能を実現する。
図1は、本発明の実施の形態1であるヘッドアップディスプレイ装置の全体の構成例について概要を示した機能ブロック図である。車両2に搭載されたAR−HUD1は、例えば、車両情報取得部10、制御部20、映像表示装置30、表示距離調整機構40、ミラー駆動部50、ミラー52、およびスピーカ60からなる。なお、図1の例では、車両2の形状を乗用車のように表示しているが、特にこれに限られず、車両一般に適宜適用することができる。
車両情報取得部10は、車両2の各部に設置された後述するような各種のセンサ等の情報取得デバイスからなり、車両2で生じた各種イベントを検知したり、所定の間隔で走行状況に係る各種パラメータの値を検知・取得したりすることで車両情報4を取得して出力する。車両情報4には、図示するように、例えば、車両2の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンON/OFF情報、カメラ映像情報(車内/車外)、加速度ジャイロ情報、GPS(Global Positioning System)情報、ナビゲーション情報、車車間通信情報、および路車間通信情報等が含まれ得る。
制御部20は、AR−HUD1の動作を制御する機能を有し、例えば、CPU(Central Processing Unit)とこれにより実行されるソフトウェアにより実装される。マイコンやFPGA(Field Programmable Gate Array)等のハードウェアにより実装されていてもよい。制御部20は、図2にも示したように、車両情報取得部10から取得した車両情報4等に基づいて、虚像として表示する映像を映像表示装置30を駆動して形成し、これをミラー52等によって適宜反射させることでウィンドシールド3に投射する。そして、後述するような手法により、虚像の表示領域の表示位置を調整したり、虚像の表示距離を調整したり等の制御を行う。
映像表示装置30は、上述したように、例えば、プロジェクタやLCDにより構成されるデバイスであり、制御部20からの指示に基づいて虚像を表示するための映像を形成してこれを投射したり表示したりする。表示距離調整機構40は、制御部20からの指示に基づいて、表示される虚像の運転者5からの距離を調整するための機構であり、例えば、後述するような各種の表示距離調整手法のいずれか1つ以上を実装したものである。
ミラー駆動部50は、制御部20からの指示に基づいてミラー52の角度を調整し、虚像の表示領域の位置を上下方向に調整する。虚像の表示領域の位置の調整については後述する。スピーカ60は、AR−HUD1に係る音声出力を行う。例えば、ナビゲーションシステムの音声案内や、AR機能によって運転者5に警告等を通知する際の音声出力等を行うことができる。
図3は、本実施の形態のヘッドアップディスプレイ装置における車両情報4の取得に係るハードウェア構成の例について概要を示した図である。ここでは主に車両情報取得部10および制御部20の一部のハードウェア構成について示す。車両情報4の取得は、例えば、ECU(Electronic Control Unit)21の制御の下、ECU21に接続された各種のセンサ等の情報取得デバイスにより行われる。
これらの情報取得デバイスとして、例えば、車速センサ101、シフトポジションセンサ102、ハンドル操舵角センサ103、ヘッドライトセンサ104、照度センサ105、色度センサ106、測距センサ107、赤外線センサ108、エンジン始動センサ109、加速度センサ110、ジャイロセンサ111、温度センサ112、路車間通信用無線受信機113、車車間通信用無線受信機114、カメラ(車内)115、カメラ(車外)116、GPS受信機117、およびVICS(Vehicle Information and Communication System:道路交通情報通信システム、登録商標(以下同様))受信機118等の各デバイスを有する。必ずしもこれら全てのデバイスを備えている必要はなく、また、他の種類のデバイスを備えていてもよい。備えているデバイスによって取得できる車両情報4を適宜用いることができる。
車速センサ101は、車両2の速度情報を取得する。シフトポジションセンサ102は、車両2の現在のギア情報を取得する。ハンドル操舵角センサ103は、ハンドル操舵角情報を取得する。ヘッドライトセンサ104は、ヘッドライトのON/OFFに係るランプ点灯情報を取得する。照度センサ105および色度センサ106は、外光情報を取得する。測距センサ107は、車両2と外部の物体との間の距離情報を取得する。赤外線センサ108は、車両2の近距離における物体の有無や距離等に係る赤外線情報を取得する。エンジン始動センサ109は、エンジンON/OFF情報を検知する。
加速度センサ110およびジャイロセンサ111は、車両2の姿勢や挙動の情報として、加速度や角速度からなる加速度ジャイロ情報を取得する。温度センサ112は車内外の温度情報を取得する。路車間通信用無線受信機113および車車間通信用無線受信機114は、それぞれ、車両2と道路や標識、信号等との間の路車間通信により受信した路車間通信情報、および車両2と周辺の他の車両との間の車車間通信により受信した車車間通信情報を取得する。
カメラ(車内)115およびカメラ(車外)116は、それぞれ、車内および車外の状況の動画像を撮影してカメラ映像情報(車内/車外)を取得する。カメラ(車内)115では、例えば、運転者5の姿勢や、眼の位置、動き等を撮影する。得られた動画像を解析することにより、例えば、運転者5の疲労状況や視線の位置等を把握することが可能である。また、カメラ(車外)116では、車両2の前方や後方等の周囲の状況を撮影する。得られた動画像を解析することにより、例えば、周辺の他の車両や人等の移動物の有無、建物や地形、路面状況(雨や積雪、凍結、凹凸等)等を把握することが可能である。
GPS受信機117およびVICS受信機118は、それぞれ、GPS信号を受信して得られるGPS情報およびVICS信号を受信して得られるVICS情報を取得する。これらの情報を取得して利用するカーナビゲーションシステムの一部として実装されていてもよい。
図4は、本実施の形態のヘッドアップディスプレイ装置の構成例について詳細を示した機能ブロック図である。図4の例では、映像表示装置30がプロジェクタである場合を示しており、映像表示装置30は、例えば、光源31、照明光学系32、および表示素子33等の各部を有する。光源31は、投射用の照明光を発生する部材であり、例えば、高圧水銀ランプやキセノンランプ、LED(Light Emitting Diode)光源、レーザー光源等を用いることができる。照明光学系32は、光源31で発生した照明光を集光し、より均一化して表示素子33に照射する光学系である。表示素子33は、投射する映像を生成する素子であり、例えば、透過型液晶パネル、反射型液晶パネル、DMD(Digital Micromirror Device)(登録商標)パネル等を用いることができる。
制御部20は、より詳細には、ECU21、音声出力部22、不揮発性メモリ23、メモリ24、光源調整部25、歪み補正部26、表示素子駆動部27、表示距離調整部28、およびミラー調整部29等の各部を有する。ECU21は、図3に示したように、車両情報取得部10を介して車両情報4を取得するとともに、取得した情報を必要に応じて不揮発性メモリ23やメモリ24に記録、格納したり読み出したりする。不揮発性メモリ23には、各種制御のための設定値やパラメータ等の設定情報が格納されていてもよい。また、ECU21は、専用のプログラムを実行させる等により、AR−HUD1として表示する虚像に係る映像データを生成する。
音声出力部22は、必要に応じてスピーカ60を介して音声情報を出力する。光源調整部25は、映像表示装置30の光源31の発光量を調整する。光源31が複数ある場合にはそれぞれ個別に制御するようにしてもよい。歪み補正部26は、ECU21が生成した映像について、映像表示装置30によって車両2のウィンドシールド3に投射した場合に、ウィンドシールド3の曲率によって生じる映像の歪みを画像処理により補正する。表示素子駆動部27は、歪み補正部26による補正後の映像データに応じた駆動信号を表示素子33に対して送り、投射する映像を生成させる。
表示距離調整部28は、虚像の表示距離を調整する必要がある場合に、表示距離調整機構40を駆動して、映像表示装置30から投射される映像の表示距離を調整する。虚像の表示距離を調整する各種手法については後述する。ミラー調整部29は、虚像の表示領域自体の位置を調整する必要がある場合に、ミラー駆動部50を介してミラー52の角度を変更し、虚像の表示領域を上下に移動させる。虚像の表示領域の位置調整についても後述する。
図5は、本実施の形態のヘッドアップディスプレイ装置における表示距離調整に係る構成の例について詳細を示した図である。制御部20の表示距離調整部28は、さらに、ECU21により個別に制御される各部として、例えば、機能性液晶フィルムON/OFF制御部281、レンズ可動部282、調光ミラーON/OFF制御部283、拡散板可動部284、および光学フィルタ可動部285等を有する。また、これら各部により制御・駆動されるハードウェアやデバイス等として、表示距離調整機構40は、さらに、機能性液晶フィルム401、レンズ可動機構402、調光ミラー403、拡散板可動機構404、および光学フィルタ可動機構405等を有する。これら各部による虚像の表示距離の調整手法については後述する。
なお、AR−HUD1としてはこれら各部やデバイス等を全て備えている必要はなく、後述する虚像の表示距離の調整手法の中から適用するものを実装するために必要な各部を適宜備えていればよい。
<処理内容>
図6は、本実施の形態のヘッドアップディスプレイ装置の初期動作の例について概要を示したフローチャートである。停止中の車両2においてイグニッションスイッチがONされることでAR−HUD1の電源がONされると(S01)、AR−HUD1は、制御部20からの指示に基づいて、まず、車両情報取得部10により車両情報を取得する(S02)。そして、制御部20は、車両情報4のうち、照度センサ105や色度センサ106等により取得した外光情報に基づいて好適な明るさレベルを算出し(S03)、光源調整部25により光源31の発光量を制御して、算出した明るさレベルとなるように設定する(S04)。例えば、外光が明るい場合には明るさレベルを高くし、暗い場合には明るさレベルを低く設定する。
その後、ECU21により、虚像として表示する映像(例えば、初期画像)を決定、生成し(S05)、生成した映像に対して歪み補正部26により歪みを補正する処理を実施した後(S06)、表示素子駆動部27により表示素子33を駆動・制御して、投射する映像を形成させる(S07)。これにより、映像がウィンドシールド3に投射され、運転者5は虚像を視認することができるようになる。その後、ECU21もしくは表示距離調整部28により虚像の表示距離を算出・決定し(S08)、表示距離調整部28により表示距離調整機構40を駆動して、映像表示装置30から投射される映像の表示距離を制御する(S09)。
AR−HUD1全体で、上述した一連の初期動作も含む各部の起動・始動が完了すると、HUD−ON信号が出力されるが、制御部20ではこの信号を受けたか否かを判定する(S11)。受けていなければ、さらにHUD−ON信号を一定時間待ち受け(S12)、ステップS11でHUD−ON信号を受けたと判定されるまで、HUD−ON信号の待ち受け処理(S12)を繰り返す。ステップS11でHUD−ON信号を受けたと判定された場合は、後述するAR−HUD1の通常動作を開始し(S13)、一連の初期動作を終了する。
図7は、本実施の形態のヘッドアップディスプレイ装置の通常動作の例について概要を示したフローチャートである。通常動作においても、基本的な処理の流れは上述の図6に示した初期動作と概ね同様である。まず、AR−HUD1は、制御部20からの指示に基づいて、車両情報取得部10により車両情報を取得する(S21)。そして、制御部20は、車両情報4のうち、照度センサ105や色度センサ106等により取得した外光情報に基づいて明るさレベル調整処理を行う(S22)。
図8は、本実施の形態のヘッドアップディスプレイ装置の明るさレベル調整処理の例について概要を示したフローチャートである。明るさレベル調整処理を開始すると、まず、取得した外光情報に基づいて好適な明るさレベルを算出する(S221)。そして、現状設定されている明るさレベルと比較することにより、明るさレベルの変更の要否を判定する(S222)。変更が不要である場合にはそのまま明るさレベル調整処理を終了する。一方、変更が必要である場合には、光源調整部25により光源31の発光量を制御して、変更後の明るさレベルとなるように設定し(S223)、明るさレベル調整処理を終了する。なお、ステップS222において、ステップS221で算出した好適な明るさレベルと、現状設定されている明るさレベルとの間に差分がある場合でも、差分が所定の閾値以上である場合にのみ明るさレベルの変更が必要であると判定するようにしてもよい。
図7に戻り、その後、ECU21により、ステップS21で取得した最新の車両情報4に基づいて、虚像として表示する映像を現状のものから必要に応じて変更し、変更後の映像を決定、生成する(S23)。なお、車両情報4に基づいて表示内容を変更するパターンは、取得した車両情報4の内容やそれらの組み合わせ等に応じて多数のものがあり得る。例えば、速度情報が変化したことにより、常時表示されている速度表示の数値を変更する場合や、ナビゲーション情報に基づいて案内の矢印図形を表示/消去したり、矢印の形状や表示位置等を変更したりする場合等、様々なパターンがあり得る。
その後、本実施の形態では、車両2の走行状況に応じて視認性や表示内容の適切性等を維持するための調整・補正処理を行う。まず、虚像の表示領域自体の位置を調整する必要がある場合に、ミラー駆動部50を介してミラー52の角度を変更し、虚像の表示領域を上下に移動させるミラー調整処理を行う(S24)。その後さらに、車両2の振動に対して表示領域内における映像の表示位置を補正する振動補正処理を行う(S25)。ステップS24およびS25の調整・補正処理の詳細な内容については後述する。
その後、調整・補正した映像に対して歪み補正部26により歪みを補正する処理を実施した後(S26)、表示素子駆動部27により表示素子33を駆動・制御して投射する映像を形成させる(S27)。そして、ECU21もしくは表示距離調整部28により虚像の表示距離を算出・決定し(S28)、表示距離調整部28により表示距離調整機構40を駆動して、映像表示装置30から投射される映像の表示距離を制御する(S29)。
上述した一連の通常動作を実行している際に、車両2の停止等に伴って電源OFF等がなされると、AR−HUD1に対してHUD−OFF信号が出力されるが、制御部20ではこの信号を受けたか否かを判定する(S30)。HUD−OFF信号を受けていなければ、ステップS21に戻って、HUD−OFF信号を受けるまで一連の通常動作を繰り返す。HUD−OFF信号を受けたと判定された場合は、一連の通常動作を終了する。
<ミラー調整処理>
図9は、本実施の形態のヘッドアップディスプレイ装置における虚像の表示領域の位置を上下に調整する例について概要を示した図である。例えば、左、中央、右の各図において、上段には車両2が走行中の道路の勾配の状況と、運転者5の視野の状況を側面から見た状態を模式的に示している。また、下段には、それぞれの状態において、運転者5が見る車外の前方の風景と、これに重畳して表示される虚像の表示領域6(破線枠の矩形)の位置の状況を模式的に示している。
左側の図では、上段の図に示すように、車両2の現在地の道路の勾配(上り方向)と前方の道路の勾配(上り方向)とが略同一である場合、すなわち概ね平坦な道路を走行している場合を示している。この場合は、下段の図に示すように、車外の前方の風景(図9の例では道路上を走行する前方の車両)にAR機能により虚像(図9の例では感嘆符のマークもしくは画像)を重畳させて表示するには、虚像の表示領域6の上下方向の位置は通常のままでよい。すなわち、左側の下段の図に示す表示領域6の位置が、表示領域6の上下方向での基本の表示位置となる。
一方、中央の図では、車両2の現在地の道路の勾配(上り方向)が、前方の道路の勾配(上り方向)より大きい場合、すなわち前方が下り坂の道路を走行している場合を示している。この場合は、上段の図に示すように、車両2の位置における勾配に基づく運転者5の視野の高さ(図中の実線枠)に対して、前方の道路上を視野に入れるには視野を下方向に移動させる(図中の点線枠)必要がある。そして、この場合、下段の図に示すように、虚像の表示領域6の表示位置が基本の表示位置(点線枠の矩形)のままでは、車外の前方の風景にAR機能により虚像を重畳させることができないため、重畳させて表示するには表示領域6自体を下方向に移動させる必要がある。
同様に、右側の図では、車両2の現在地の道路の勾配(上り方向)が、前方の道路の勾配(上り方向)より小さい場合、すなわち前方が上り坂の道路を走行している場合を示している。この場合は、上段の図に示すように、車両2の位置における勾配に基づく運転者5の視野の高さ(図中の実線枠)に対して、前方の道路上を視野に入れるには視野を上方向に移動させる(図中の点線枠)必要がある。そして、この場合も、下段の図に示すように、虚像の表示領域6の表示位置が基本の表示位置(点線枠の矩形)のままでは、車外の前方の風景にAR機能により虚像を重畳させることができないため、重畳させて表示するには表示領域6自体を上方向に移動させる必要がある。
このように、走行状況に応じて虚像の表示領域6の上下方向の位置を移動させることが必要となる状況は、図9の例に示したような現在位置の勾配と前方の道路の勾配との間に一定量以上の差分があるような場合に限られない。例えば、高速道路等において車両2の速度が大きくなった場合、運転者5の視線は通常時に比べて一般に遠くを見るようになり、視野の高さが上方向に移動することになる。したがって、例えば、通常時に比べてさらに前方に存在する他の車両等を含む車外の風景に対して虚像を重畳させるには、表示領域6を上方向に移動させる必要が生じ得る。車両2の走行中に運転者5の姿勢や体勢が変化する等により、運転者5の眼の高さ位置自体が変化し、これにより視野の高さが上下方向に移動する場合等も同様である。
本実施の形態では、上述した図7のステップS24のミラー調整処理において、車両2の走行状況に応じてミラー駆動部50によりミラー52の角度を制御して、虚像の表示領域の上下方向の位置を図9の例に示したように調整する。
図10は、図7のステップS24のミラー調整処理の例について概要を示したフローチャートである。ミラー調整処理を開始すると、まず、現在のミラー52の角度を取得し(S241)、さらに、車両情報4に基づいて、ミラー52の角度の調整(すなわち虚像の表示領域の表示位置の調整)に関連するパラメータの現在値を取得する(S242)。
必要となるパラメータの種類は、どのような条件で表示領域の表示位置を調整するかにより異なり得る。例えば、図9に示した例では、関連するパラメータ値として、車両2の現在位置の勾配と、前方の道路の勾配との差分(相対的な勾配)を示す値を取得する。例えば、加速度ジャイロ情報により得られる車両2の傾きの情報から現在位置の勾配を把握することができる。また、車外のカメラ映像情報を解析することで前方の道路の勾配を把握することも可能である。また、ナビゲーション情報から得られる3次元の道路・地形情報等に基づいて現在位置および前方の道路の勾配を得ることも可能である。
次に、ステップS242で取得したパラメータ値に基づいて、予め定められた基準・条件等に基づいてミラー52の目標角度を算出する(S243)。どのパラメータに基づいてどのようなロジックで目標角度を算出するかは、どのような条件で表示領域の表示位置を調整するかにより異なり得る。例えば、図9に示した例では、現在地と前方の道路との相対的な勾配の絶対値が所定の閾値以上である場合に、相対的な勾配の符号に応じてミラー52の目標角度を決定する。上記の所定の閾値としては、例えば、虚像の表示領域の上下方向のFOV(Field Of View:視野角)の1/x(xは所定の値)等とすることができる。
なお、本実施の形態では、ステップS242で取得した現在のパラメータ値に基づいてミラー52の目標角度を算出するものとしているが、現在のパラメータ値や過去の値の履歴の情報に基づいて近い将来の状況を予測し、予測結果に基づいて目標角度を算出するようにしてもよい。例えば、パラメータ値の過去の履歴に基づいて値の遷移の傾向を分析し、当該傾向に基づいて近い将来のパラメータ値を予測するようにしてもよい。また、車外の前方のカメラ映像情報を解析することで近い将来における車両2の周辺状況を予測したり、ナビゲーション情報に基づいて車両2の前方の道路状況を把握したりすることも可能である。
次に、ステップS241で取得した現在のミラー52の角度と、ステップS243で取得した目標のミラー52の角度との差分の有無を判定する(S244)。判定に際しては、例えば、差分が所定の閾値以上である場合に差分ありと判定し、閾値以下の場合には差分なしと判定するようにしてもよい。また、差分ありの状態が一定時間以上継続した場合に限り差分ありと判定するようにしてもよい。これにより、例えば、車両2が縁石等の段差に乗り上げた場合等一時的・瞬間的に車両2の傾きが変化したような事象について、ミラー52の調整対象から除外することができる。
ステップS244で角度の差分がないと判定された場合は、そのままミラー調整処理を終了する。すなわち、ミラー52の角度の調整は行わず、現状の角度のままとする。一方、角度の差分があると判定された場合は、目標角度となるように指定方向にミラー52を回転させる(S245)。具体的には、ミラー駆動部50に対してミラー52を回転させる旨のミラー調整信号を出力する。そして、ミラー52が目標角度に達したか否かを判定し(S246)、達していない場合にはステップS245に戻ってミラー52の回転を継続する。すなわち、ミラー駆動部50に対するミラー調整信号の出力を継続する。一方、ミラー52が目標角度に達した場合は、ミラー52の回転を停止する(S247)。すなわち、ミラー駆動部50に対するミラー調整信号の出力を停止する。そして、一連のミラー調整処理を終了する。
<振動補正処理>
図11は、図7のステップS25の振動補正処理の例について概要を示したフローチャートである。振動補正処理を開始すると、まず、車両情報4に基づいて車両2の振動量の情報を取得する(S251)。例えば、加速度ジャイロ情報や車外のカメラ映像情報等に基づいて振動量(車両2における短周期の上下動の量)を把握することができる。なお、本実施の形態では、現在の車両情報4に基づいて振動情報を取得するものとしているが、例えば、車外の前方のカメラ映像情報を解析することで近い将来における車両2の周辺の路面状況を予測し、これに基づいて近い将来における車両2の振動量を予測するようにしてもよい。
その後、ステップS251で取得した振動量が所定の閾値以上であるか否かを判定する(S252)。閾値未満である場合は、振動が微小であるとしてそのまま振動補正処理を終了する。すなわち、振動に伴う表示映像の補正は行わない。一方、振動量が閾値以上である場合は、表示領域における映像の表示ズレ量を算出する(S253)。例えば、車両2の実際の高さと虚像の表示領域の高さとの比に基づいて、車両2の振動量から表示領域における映像の表示ズレ量を算出する。そして、算出した表示ズレ量に基づいて、表示領域内での映像の表示位置を上下にオフセットし(S254)、一連の振動補正処理を終了する。
<虚像の表示距離調整>
制御部20の表示距離調整部28は、虚像の表示距離を調整する必要がある場合に、表示距離調整機構40を駆動して、映像表示装置30から投射される映像の表示距離を調整する。以下では、図5に示した表示距離調整部28および表示距離調整機構40の各部による、虚像の表示距離の調整手法について説明する。
[機能性液晶フィルム]
図12は、本実施の形態のヘッドアップディスプレイ装置における機能性液晶フィルム401を用いた表示距離調整の例について概要を示した図である。図12の例では、複数枚の機能性液晶フィルム401を拡散板(ディフューザ)41aとして使用する。そして、図12(a)および(b)に示すように、各機能性液晶フィルム401のエリア毎に白色状態にする箇所を変化させることで、エリア毎に焦点距離を変えて、虚像の表示距離(運転者5の眼の位置と虚像の表示位置との距離)を変化させる。
図13は、機能性液晶フィルム401による拡散板41aの構成例について概要を示した図である。機能性液晶フィルム401は、電気により透過状態と白色状態とを制御することができるフィルムである。機能性液晶フィルム401の白色状態の部分が拡散板としての機能を果たし、プロジェクタ30aにより投射された映像は、この白色状態の部分で結像する。本実施の形態では、複数枚の機能性液晶フィルム401について、それぞれ複数のエリア毎に個別に白色状態とするよう制御するものとする。
図12に戻り、図示するような構成において、プロジェクタ30aから投射された映像に基づく虚像の表示位置は、各機能性液晶フィルム401の白色状態の部分と、レンズ42aとの距離に応じて決定される。よって、レンズ42aとの距離がそれぞれ異なるように機能性液晶フィルム401を複数枚配置し、プロジェクタ30aから投射される映像について、図5に示した機能性液晶フィルムON/OFF制御部281によりエリア毎に機能性液晶フィルム401のいずれか1つを白色状態とすることで、エリア毎に虚像の表示距離を変化させることができる。
具体的には、例えば、図12(a)に示すように、対象のエリア(例えば最上部)について、レンズ42aに最も近い位置に配置された機能性液晶フィルム401のみを白色状態とし、他を透過状態とすることで、対応する虚像の表示距離を最も近くすることができる。逆に、図12(b)に示すように、対象のエリア(例えば最上部)について、レンズ42aから最も遠い位置に配置された機能性液晶フィルム401のみを白色状態とし、他を透過状態とすることで、対応する虚像の表示距離を最も遠くすることができる。
なお、図12、図13の例では、表示する映像について、上下方向に3つのエリアを設ける場合を例としているが、以下に説明する例も含めて、エリアの数はこれに限定されず、また、上下方向に限らず左右方向にエリアを分けることも当然可能である。また、機能性液晶フィルム401の枚数も図示するような3枚に限定されず、エリアの数に応じて適宜構成することができる。
[ミラーの複数枚配置]
図14は、本実施の形態のヘッドアップディスプレイ装置における複数枚のミラーを用いた表示距離調整の例について概要を示した図である。図14の例では、LCD30bとレンズ42aとの間にミラー51aを図示するように複数配置し、LCD30bからの映像をエリア毎に異なるミラー51aにより反射してレンズ42aに入射させている。これにより、LCD30bからレンズ42aまでの距離をエリア毎に異なるものとし、これに応じて虚像の表示距離を変えることができる。
具体的には、例えば、図14に示すように、LCD30bから最も遠い位置に配置されたミラー51a(レンズ42aからも最も遠い)により反射されるエリアにおいてLCD30bに映像を表示することで、対応する虚像の表示距離を最も遠くすることができる。逆に、LCD30bから最も近い位置に配置されたミラー51a(レンズ42aからも最も近い)により反射されるエリアにおいてLCD30bに映像を表示することで、対応する虚像の表示距離を最も近くすることができる。
なお、図14の例においても、ミラー51aの数は図示するような3枚に限定されず、エリアの数に応じて適宜構成することができる。
[可動式レンズ]
図15は、本実施の形態のヘッドアップディスプレイ装置における可動式レンズを用いた表示距離調整の例について概要を示した図である。図15の例では、プロジェクタ30aから投射された映像は、拡散板(ディフューザ)41bで結像した後、複数のエリアに分けて設けられた可動式レンズ42bを介してミラー52に入射される。
ここで、各可動式レンズ42bは、図5に示したレンズ可動部282およびレンズ可動機構402によって、それぞれ個別に光軸方向に沿って移動させることができる。プロジェクタ30aから投射された映像に基づく虚像の表示位置は、拡散板41bと各可動式レンズ42bとの距離に応じて決定される。よって、可動式レンズ42bを移動させることで、エリア毎に焦点距離を変えて、虚像の表示距離を変化させることができる。
具体的には、例えば、図15に示すように、最上部のエリアのように可動式レンズ42bを拡散板41bに近い位置に移動させることで、対応する虚像の表示距離を近くすることができる。逆に、最下部のエリアのように可動式レンズ42bを拡散板41bから遠い位置に移動させることで、対応する虚像の表示距離を遠くすることができる。
なお、図15の例においても、可動式レンズ42bの数は図示するような3つに限定されず、エリアの数に応じて適宜構成することができる。
[調光ミラー]
図16は、本実施の形態のヘッドアップディスプレイ装置における調光ミラー51bを用いた表示距離調整の例について概要を示した図である。図16の例では、LCD30bとレンズ42aとの間に複数の調光ミラー403を図示するように断面方向から見て行列状となるように配置することで調光ミラー51bを構成する。そして、図16(a)および(b)に示すように、鏡状態とする調光ミラー403の箇所を変化させることで、LCD30bからレンズ42aまでの距離をエリア毎に異なるものとし、これに応じて虚像の表示距離を変えることができる。
図17は、調光ミラー403の構成例について概要を示した図である。調光ミラー403は、電気により透過状態と鏡状態とを制御することができるフィルムやシート、ガラス等の部材である。透過状態となっている調光ミラー403は、LCD30bからの映像を透過し、鏡状態となっている調光ミラー403のみが、映像をレンズ42aの方向に反射させる。本実施の形態では、断面方向から見て行列状に配置された複数の調光ミラー403について、各行、各列(各エリア)につき1つの調光ミラー403のみが鏡状態となるよう、調光ミラーON/OFF制御部283により制御するものとする。
具体的には、例えば、図16(a)に示すように、レンズ42aから最も近い調光ミラー403の列に対応するエリアについて、最下段の行の調光ミラー403のみを鏡状態とし、他を透過状態とすることで、LCD30bからレンズ42aまでの光路長を最も短くすることができ、対応する虚像の表示距離を最も近くすることができる。逆に、レンズ42aから最も遠い調光ミラー403の列に対応するエリアについて、最上段の行の調光ミラー403のみを鏡状態とし、他を透過状態とすることで、LCD30bからレンズ42aまでの光路長を最も長くすることができ、対応する虚像の表示距離を最も遠くすることができる。
また、例えば、図16(b)に示すように、レンズ42aから最も近い調光ミラー403の列に対応するエリアについて、最上段の行の調光ミラー403のみを鏡状態とし、また、レンズ42aから次に近い調光ミラー403の列に対応するエリアについて、最下段の行の調光ミラー403のみを鏡状態とし、他を透過状態とする。これにより、これらのエリアのLCD30bからレンズ42aまでの光路長を比較的短くすることができ、対応する虚像の表示距離を近くすることができる。逆に、レンズ42aから最も遠い調光ミラー403の列に対応するエリアについて、中段の行の調光ミラー403のみを鏡状態とし、他を透過状態とすることで、LCD30bからレンズ42aまでの光路長を他のエリアより比較的長くすることができ、対応する虚像の表示距離を遠くすることができる。
なお、図16、図17の例においても、調光ミラー403の数は図示するような3行3列に限定されず、エリアの数に応じて適宜構成することができる。
[可動式拡散板]
図18は、本実施の形態のヘッドアップディスプレイ装置における可動式拡散板を用いた表示距離調整の例について概要を示した図である。図18の例では、プロジェクタ30aから投射された映像は、可動式拡散板(可動式ディフューザ)41cで結像した後、レンズ42aを介してミラー52に入射される。
ここで、可動式拡散板41cは、図5に示した拡散板可動部284および拡散板可動機構404によって、光軸方向に沿って移動および/または回転させることができる。プロジェクタ30aから投射された映像に基づく虚像の表示位置は、可動式拡散板41cとレンズ42aとの距離および/または傾きに応じて決定される。よって、可動式拡散板41cを移動および/または回転させることで、焦点距離を変えて虚像の表示距離を変化させることができる。
具体的には、可動式拡散板41cをレンズ42aに近い位置に移動および/または回転させることで、虚像の表示距離を近くすることができる。逆に、可動式拡散板41cをレンズ42aから遠い位置に移動および/または回転させることで、虚像の表示距離を遠くすることができる。
[可動式光学フィルタ]
図19は、本実施の形態のヘッドアップディスプレイ装置における可動式光学フィルタを用いた表示距離調整の例について概要を示した図である。図19の例では、レンズ42aと拡散板(ディフューザ)41bとの間に可動式光学フィルタ43aを設置し、図19(a)および(b)に示すように、可動式光学フィルタ43aを光路に対して挿抜することで、エリア毎に焦点距離を変えて、虚像の表示距離を変化させる。
光学フィルタは、レンズ等の光学部品単体もしくは組み合わせにより焦点距離を変える特性を有する部材である。本実施の形態では、それぞれ異なる屈折率を有する複数の光学フィルタを組み合わせて、領域毎に異なる屈折率を有する1つの光学フィルタを形成するとともに、光路に対して挿抜できるような可動式光学フィルタ43aとして構成する。領域毎に光学フィルタの焦点距離が異なることから、図5に示した光学フィルタ可動部285および光学フィルタ可動機構405によって、可動式光学フィルタ43aを光路に対して挿抜することで、エリア毎に虚像の表示距離を変化させることができる。
具体的には、例えば、図19(a)に示すように、可動式光学フィルタ43a全体を光路に対して挿入することで、最下段のエリアに対応する光学フィルタの焦点距離を最も短くし、虚像の表示距離を遠くするとともに、最上段のエリアに対応する光学フィルタの焦点距離を最も長くし、虚像の表示距離を近くすることができる。また、例えば、図19(b)に示すように、可動式光学フィルタ43aを一部抜出して最下段のエリアが光学フィルタを通らないようにすることで、このエリアについては拡散板41bとレンズ42aとの距離で虚像の表示距離が決まるようにし、光学フィルタを通る他のエリアよりも虚像の表示距離を遠くすることができる。
なお、図19の例においても、可動式光学フィルタ43aにおける焦点距離が異なる領域の数は図示するような3つに限定されず、エリアの数に応じて適宜構成することができる。
[くし状光学フィルタ]
図20は、本実施の形態のヘッドアップディスプレイ装置におけるくし状光学フィルタを用いた表示距離調整の例について概要を示した図である。図20の例では、プロジェクタ30aから投射された映像は、拡散板(ディフューザ)41bで結像した後、くし状光学フィルタ43bおよびレンズ42aを介してミラー52に入射される。
くし状光学フィルタ43bは、レンズと同様の機能を有して焦点距離に応じて虚像の表示距離を変えることができる光学フィルタ部分がくし状に設けられた部材である。図20に示すように、例えば、プロジェクタ30aから投射された映像のライン単位(1ライン毎に限らず、任意のライン毎とすることができる)で光学フィルタ部分と光学フィルタがない部分とを対応させることで、ライン単位で虚像の表示距離を変えることができる。
具体的には、光学フィルタ部分に対応するラインの映像に基づく虚像の表示距離を近くし、光学フィルタがない部分に対応するラインの映像に基づく虚像の表示距離を遠くすることができる。
以上に説明したように、本発明の実施の形態1であるヘッドアップディスプレイ装置によれば、車両2の走行状況によって、車両2の前方の風景に虚像を重畳させることができなくなるような場合でも、虚像の表示領域自体の表示位置を上下方向に動的に調整することで、虚像を前方の風景に適切に重畳させてAR機能を実現することが可能となる。さらに、走行状況等に応じて虚像の表示距離を適切に調整することも可能となる。
(実施の形態2)
本発明の実施の形態2であるヘッドアップディスプレイ装置は、実施の形態1における虚像の表示領域の調整や表示距離の調整に加えて、さらに、車両2における前方の風景等の状況に応じて、表示する虚像自体の表示内容や表示方法を調整するものである。これにより、前方の風景に対してより適切な虚像をより適切な位置や態様にて重畳させることを可能とする。なお、AR−HUD1の装置構成や基本的な動作内容については、上述の実施の形態1と同様であるため、説明は省略する。
[対象物の回避]
図21、図22は、前方の風景等における対象物に虚像が重複することを回避する例について概要を示した図である。ここでは、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された表示領域6内の虚像(コンテンツ)の状態の例を模式的に示している。
図21では、表示領域6に進行方向等を指示・ナビゲートする矢印図形(図中では「≪」の図形)と、車速等を表示する計器類のアイコン(図中では「25km/h」の文字、以下では「車速表示」と記載する場合がある)が虚像として表示されている状態を示している。そして図21の上段の図では、矢印図形により前方の風景におけるカーブミラーが隠れてしまっているため、カーブミラーの内容を運転者5が視認しにくい状態であることを示している。
これに対し、本実施の形態のAR−HUD1では、図21の下段の図に示すように、矢印図形の表示位置をカーブミラーを避ける位置に移動させる。これにより、カーブミラー等の運転者が注意を払うべき対象物の視認性を向上させる。なお、図21の例では、矢印図形が左折を指示するものであることから、カーブミラーと重ならない状態となるまで左側に矢印図形の表示位置を移動させているが、移動させる位置の決定方法は特にこれに限定されない。移動量についても、ピクセル単位での移動に限らず、例えば、表示領域6を所定の数のブロックに区切り、矢印図形が属するブロックから別のブロック(例えば、隣のブロック)にブロック単位で移動させるようにしてもよい。カーブミラー等の対象物と虚像が重なっているか否かは、例えば、車両情報4における車外のカメラ映像情報に対する画像処理により判定することができる。
また、矢印図形の移動に代えて、もしくはこれに加えてさらに、図22に示すように、カーブミラーに写っている内容を拡大して虚像として表示するようにしてもよい。カーブミラーに写っている内容は、車両情報4における車外のカメラ映像情報から画像処理により取得することができ、さらにこれを画像処理により拡大することができる。このとき、カーブミラーの内容を拡大した虚像は矢印図形と重ならない位置に表示する。または、カーブミラーの内容を拡大した虚像を表示するときには矢印図形を消す、あるいは矢印を小さくするなどしてもよい。カーブミラーの内容を拡大した虚像の表示位置は、図22で示すように運転者の視界を妨げない位置に表示するほか、逆に運転者の視界範囲や視点の方向に表示して余計な視点移動をすることなくカーブミラーの内容を拡大した虚像を見ることができるようにしてもよい。
同様に、図23は、前方の風景等における対象物に虚像が重複することを回避する他の例について概要を示した図である。図23では、矢印図形と車速表示に加えて、道路標識等の対象物について注意を促すアラート表示(図中では▲のマークと感嘆符記号からなる図形)が虚像として表示されている状態を示している。そして図23の上段の図では、アラート表示により前方の風景における道路標識が隠れてしまっている。したがって、道路標識の内容を運転者5が視認しにくい状態であることを示している。
これに対し、本実施の形態のAR−HUD1では、図23の下段の図に示すように、アラート表示の表示位置を道路標識を避ける位置に移動させている。これにより、道路標識等の運転者が注意を払う必要がある対象物の視認性を向上させる。なお、図23の例では、表示領域6の右上に表示されていたアラート表示を、最も遠い対角の左下に移動させているが、この場合も、移動させる位置の決定方法は特に限定されない。図21の例と同様に、道路標識と重ならない周辺の位置まで最低限の移動を行うようなものであってもよい。
なお、ここでいう表示位置の移動とは、一旦道路標識を隠す位置にアラート表示した後に道路標識を避ける位置に表示を移動させるのではなく、最初に表示しようとした位置(デフォルト位置)に道路標識など運転者が注意を払う必要がある対象物があったときに、そのまま表示を行って対象物を隠してしまわないように、対象物を隠さないように表示位置の調整を行ってから表示することを意味する。
図24は、虚像の表示内容や表示方法を調整する処理の流れの例について概要を示したフローチャートである。AR−HUD1における虚像の表示内容(コンテンツ)の生成・表示は、上述の実施の形態1における図6の初期動作時のステップS05や、図7の通常動作時のステップS23によって行う。ここでは、図7の通常動作時におけるステップS23での表示映像変更・決定処理を例として、その処理内容を示す。
まず、ECU21により、標準コンテンツ生成処理(S231)およびイベントコンテンツ生成処理(S232)を行う。標準コンテンツとは、基本的に車両2の走行中は表示領域6に常に表示されている車速表示等のコンテンツを指す。また、イベントコンテンツとは、車両2の走行状況(前方の風景の状況も含む)に基づいて必要に応じて表示されるアラート表示等のコンテンツを指す。いずれについても、複数のコンテンツが生成される場合がある。
その後、ECU21により、カメラ映像情報により把握される前方の風景との関係で、生成した各コンテンツの表示位置や表示色等を調整する表示位置等調整処理(S233)および表示色等調整処理(S234)を行う。そして、調整後の各コンテンツに係る表示用の映像データを生成し(S235)、処理を終了する。なお、ここで生成された映像データは、実施の形態1の図7におけるその後のステップS27で、表示素子駆動部27により投射される。
図25は、図24の表示映像決定・変更処理における標準コンテンツ生成処理(ステップS231)の流れの例について概要を示したフローチャートである。ここではまず、必要な標準コンテンツを生成する(S1100)。そして、生成した各標準コンテンツにつき、それぞれデフォルトの表示位置を設定する(S1200)。例えば、図21〜図23に示すように、車速表示を生成し、表示位置を表示領域6の右下に設定する。そして、各標準コンテンツにつき、表示色として初期値を設定する表示色設定処理(S1300)を行い、処理を終了する。なお、表示色の設定・調整に係る処理ついては後述する。
図26は、図24の表示映像決定・変更処理におけるイベントコンテンツ生成処理(ステップS232)の流れの例について概要を示したフローチャートである。ここではまず、実施の形態1の図7におけるステップS21で取得した車両情報4を解析し(S2100)、イベントコンテンツの表示が必要となるイベントが発生中であるか否かを解析する(S2200)。例えば、図21〜図23の例に示すような、矢印図形の表示が必要となる曲がり角やカーブが近付いていること、注意を促すためにアラート表示をする必要がある道路標識等が前方に存在すること等が上記のイベントに該当する。この他にも、例えば、歩行者の存在や前方車の接近等、後述するような各種のイベントも対象となる。
ステップS2200でイベントが発生中であると判定された場合は、必要なイベントコンテンツを生成する(S2300)。そして、生成した各イベントコンテンツにつき、それぞれデフォルトの表示位置を設定する(S2400)。例えば、図21の上段の図に示すように、矢印図形を生成し、表示位置を表示領域6の中央に設定する。また、図23の上段の図に示すように、アラート表示を生成し、表示位置を表示領域6の右上の道路標識上に設定する。そして、各イベントコンテンツにつき、表示色に初期値を設定する表示色設定処理(S2500)を行い、処理を終了する。なお、表示色の設定・調整に係る処理ついては後述する。
一方、ステップS2200でイベントが発生していないと判定された場合は、現在イベントコンテンツを表示中であるか否かを判定する(S2600)。イベントコンテンツを表示中ではない場合は、何もせずに処理を終了する。表示中である場合は、当該イベントコンテンツは不要になったものとしてこれを消去し(S2700)、処理を終了する。
図27は、図24の表示映像決定・変更処理における表示位置等調整処理(ステップS233)の流れの例について概要を示したフローチャートである。ここではまず、実施の形態1の図7におけるステップS21で取得した車両情報4における車外のカメラ映像情報を解析し、前方の風景等に、表示が隠されるのを回避すべき対象物があるか否かを把握する(S3100)。例えば、図21〜図23の例に示すようなカーブミラーや道路標識等の他に、信号機や、歩行者、二輪車、前方車等が該当し得る。
その後、図24の処理フローのステップS231、S232で生成した各標準コンテンツおよび各イベントコンテンツの現在の表示位置と、各対象物の座標とを照合する(S3200)。そして、各コンテンツの表示位置を調整する必要があるか否か、すなわち、各コンテンツの表示が対象物の障害となるか否かを判定する(S3300)。図21〜図23の例では、矢印図形やアラート表示の表示位置と、カーブミラーや道路標識の位置とを画像処理等により比較して、カーブミラーや道路標識が隠される状態となるか否かを判定する。
ステップS3300で、表示位置の調整が不要であると判定された場合は、処理を終了する。表示位置の調整が必要であると判定された場合は、対象のコンテンツにつき、表示位置を調整・移動させて、新たな表示位置を設定する(S3400)。上述したように、コンテンツを移動させる位置の決定方法は特に限定されない。コンテンツの位置の調整に代えて、もしくはこれに加えて、コンテンツの表示サイズを小さくすることで、対象物を隠さないよう調整するようにしてもよい(S3500)。
これらの調整を行った後、再度ステップS3200に戻って、各コンテンツの表示位置を調整する必要がなくなるまで上記の一連の処理を繰り返す。コンテンツを移動させた先に別の対象物が存在する可能性もあるため、適切な表示位置となるまで調整を行う必要がある。なお、この調整に時間がかかり過ぎると運転者にとって好適なタイミングで表示を行えなくなってしまう。したがって、例えば、交差点に差しかかる前の早い段階からカーブミラーや道路標識の位置を認識して表示位置の調整を行うなどするとよい。
以上の一連の処理により、対象物を回避した状態で虚像のコンテンツを表示することができ、対象物の視認性を向上させることができる。
[夜間や悪天候時の補助]
図28は、天候等による路面の標識情報に対する視認性の相違の例について概要を示した図である。ここでも図21等と同様に、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された虚像(コンテンツ)の状態の例を模式的に示している。
図28の上段の図では、前方の風景等として、晴天の昼間の走行路の状況を示しており、下段の図では、夜間および/または悪天候時の走行路の状況を示している。ここでは、例えば、晴天の昼間では明瞭に認識できる道路標識が、悪天候時には路肩に積もった雪により隠される場合がある状況を示している。また、晴天の昼間では明瞭に認識できる路面標識や横断歩道が、夜間や悪天候時には見づらくなる状況を示している。
そこで、本実施の形態では、運転者の目視はもちろん、車外のカメラ映像情報でも視界が悪いために認識しづらいこれらの標識情報等を、他の手段で検知し、運転者5を補助する情報としてこれを虚像により表示する。
図29は、映像情報では認識しづらい標識情報を検知して運転者5を補助する構成の例について概要を示した図である。図29の上段の図では、車両2の前方の路面状況が、夜間や悪天候等による視界不良で認識しづらい状況を示している。また、下段の左側の図では、その結果、路面の標識情報を認識できていない状況を示している。
ここで本実施の形態のAR−HUD1では、中央の図に示すように、車両2が車両情報4として取得している地図情報(GPS情報やナビゲーション情報から得ることができる)や、走行中に記録・蓄積している走行ログの内容を解析する。これにより、下段の右側の図に示すように、前方の道路情報として道路標識や横断歩道等が存在することを把握する。そして、このように映像情報から認識できる路面の標識情報と、地図情報や走行ログ等のデータから把握することができる道路情報とを比較し、不一致がある場合に、後者に基づいて運転者5を補助するための虚像を表示する。すなわち、不一致を検知したことをイベントとして、上述の図26に示したイベントコンテンツ生成処理(図24の処理フローにおけるステップS232)により、運転者5を補助するための虚像をイベントコンテンツとして生成し、表示する。
図30は、夜間や悪天候時の前方の風景等に虚像を表示する際の補助例について概要を示した図である。図29に示したように、映像情報では認識できない道路標識や路面標識等の標識情報について、地図情報や走行ログ等のデータからその存在を検知・把握した場合、本実施の形態では、図30(a)の例に示すように、これらの標識情報を虚像として表示する。図30(a)の例では、前方の横断歩道等の路面標識自体を、地図情報や走行ログ等からそれらが存在するとして把握された位置・座標に虚像として表示している。また、隠されている道路標識についても、アイコンとしてその虚像を適当な位置に表示している。虚像を表示するだけでなく、スピーカ60を介して車内に音声での通知(例えば、「前方に横断歩道があります。注意してください。」等)を行うようにしてもよい。
また、図30(b)の例では、図30(a)の例で示した路面標識の虚像を、さらに光らせたり点滅させたりなどの装飾を施して強調表示している。強調表示の手段はこれらに限られず、例えば、表示色を順次変化させたりするなど、他の種々の手段を適宜採用することができる。また、図示するように歩行者が存在する場合には、横断歩道の虚像表示の強調の程度をさらに強くしたり、歩行者が存在しない場合より虚像の表示時間を長くしたりするなど、歩行者の有無、すなわち危険度の大小で強調表示の内容に差異を設けるようにしてもよい。
また、路面標識が見えづらく認識できない場合でも、道路標識を認識できているときには、路面標識の認識結果と道路標識の認識結果の不一致を検知して(道路標識に基づけば横断歩道があるはずだが路面標識としては認識できない)、認識した道路標識の情報に基づいて運転者5を補助するための虚像を生成し、表示してもよい。これにより、地図情報や走行ログの情報を用いずに虚像を生成し、表示することができる。もちろん、道路標識の認識結果と、地図情報や走行ログの情報を組み合わせてもよく、これによりさらに確度の高い情報を得ることができる。
運転者5の補助のために表示した虚像は、虚像表示による補助が不要となった場合、具体的には、虚像表示が必要な路面標識や道路標識が存在する場所を車両2が通過してしまった場合には消去する。すなわち、上述の図26に示したイベントコンテンツ生成処理において、イベントの発生がなくなったものとして、イベントコンテンツである虚像を消去する。
なお、上述した手法は、夜間や悪天候時に限らず、例えば、路面標識が薄くなって見えづらい道路を走行する場合にも適用することが可能であり、上述した効果と同様の効果を得ることができる。
[視点に対する表示位置調整]
図31は、運転者の視点範囲に対するコンテンツの表示位置の調整の例について概要を示した図である。ここでも、図21等の例と同様に、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された表示領域6内の虚像(コンテンツ)の状態の例を模式的に示している。
図31では、交差点での右折時におけるコンテンツの表示例を示しており、図21等の例と同様に、車速表示と、右折を指示する矢印図形が表示されていることを示している。図31の例では、これらに加え、車両2の周辺状況(歩行者の存在等)を通知するアラート表示としてのアイコンが表示領域6の左下部分に表示されている。また、前方の風景等や虚像のコンテンツを示すものではないが、説明の便宜のため、運転者5の視点範囲の概略を点線の円により示している。
図示するように、運転者5の視点範囲は、右折時には右側に寄りつつ、カーブミラーや道路標識、歩行者等の対象物を中心に見る傾向があるものと考えられる。ここで、図31の上段の図では、運転者5の視点範囲に対して、周辺状況を通知するアラート表示が離れた位置に表示されている。したがって、運転者5にとって見落とされやすい、または通常の運転時には必要のない視点移動をしなければ見ることができない状態であることを示している。
これに対し、本実施の形態のAR−HUD1では、図31の下段の図に示すように、周辺状況を通知するアラート表示の表示位置を、運転者5の視点範囲内に移動させる。これにより、交差点等においてもアラート表示の視認性を向上させて見落とされにくくし、かつ、運転者5の視点移動を少なくする。なお、アラート表示を移動させる位置は、運転者5の視点範囲との関係で見落とされにくい位置であれば、視点範囲内に移動させるものに限られない。例えば、視点範囲の近くに移動させるものであってもよい。
なお、上記の例では、一旦図31の上段の位置に表示したアラート表示を、位置調整によって図31の下段の位置に移動させるのではなく、その時々の運転者の視点に応じた適切なアラート表示位置(例えば、右折時は図31の下段の位置)を決定した上で、これを表示するものである。
上述したアラート表示の表示位置の制御の処理は、例えば、上述の図24の表示映像決定・変更処理における表示位置等調整処理(ステップS233)により行われる。図32は、アラート表示の表示位置を制御する表示位置等調整処理の流れの他の例について概要を示したフローチャートである。ここでは、上述の図27に示した表示位置等調整処理のフローの例に対して、ステップS3100の前にステップS3010〜S3040が追加されている。
まず、車両情報4における車内のカメラ映像情報を解析し、公知の技術により運転者5の視点の情報を取得する(S3010)。上述したように、運転状況によって運転者5がどこを中心的に見ているかは様々に異なり得る。カメラ映像情報のみに限らず、例えば、ハンドルの操舵状況等の他の情報に基づいて視点の位置を推測するようにしてもよい。
その後、対象のコンテンツのデフォルトの表示位置と、ステップS3010で取得した視点位置とを照合し(S3020)、コンテンツの表示位置が視点位置から所定の距離以上離れているか否かを判定する(S3030)。そして、所定の距離以上離れていると判定された場合は、対象のコンテンツにつき、視点位置に近い位置(例えば、視点位置から一定の距離以内)に移動させて、新たな表示位置を仮設定する(S3040)。
その後は、図27に示した表示位置等調整処理のフローの例におけるステップS3100以降と同様の処理を行い、全体の処理を終了する。これにより、ステップS3040で視点位置に近い位置にコンテンツを移動させた結果、当該コンテンツが道路標識等の対象物を隠してしまうような状況となった場合でも、適切に表示位置を再調整することができる。
交差点等における安全確認を補助するという点では、例えば、交差点等の状況を虚像として表示することも有効である。図33は、交差点の状況をコンテンツとして表示する例について概要を示した図である。ここでは、車両2の前方にある交差点の状況を俯瞰図として表現した虚像を表示する例を示している。俯瞰図には、例えば、自車、他車、歩行者等の位置や移動状況をリアルタイムに近い状態で表示する。これらの情報は、例えば、交差点に設置されたカメラ画像のデータを車両2が路車間通信により取得したり、他車の位置等の情報を車車間通信により取得したり等により得ることができる。俯瞰図を表示することによって、上述の図31の例のように歩行者の接近をアラート表示するときに比べて、自車と歩行者、または他車との位置関係や距離をより的確かつ効率的に把握することができる。
[危険度に応じた表示色の調整]
表示領域6に虚像のコンテンツを表示するにあたり、例えば、対象物に対するアラート表示を行う場合、本実施の形態のAR−HUD1では、対象物の危険度に応じて表示色を変更することで、より適切に注意を促すことを可能とする。
図34は、前方車との車間距離に応じてコンテンツの表示色を変化させる例について概要を示した図である。ここでは、下段の図に示すように、例えば、車外のカメラ映像情報等に基づいて前方車の存在を認識した場合に、前方車に重畳させて虚像によりマーク(図34の例ではリング状の図形)を表示する場合の例を示している。
左側、中央、右側の各図では、それぞれ、車間距離がX、Y、Z(X>Y>Z)である場合を示している。ここでは、例えば、車間距離を危険度に応じて3つの範囲(例えば、安全、やや危険、危険)に区分する。そして、車間距離が大きく安全な区分に属するXである場合は、マークを表示色A(例えば青色)で表示する。また、車間距離がやや小さい区分に属するYである場合は、マークを表示色B(例えば黄色)で表示する。また、車間距離が小さく危険な区分に属するZである場合は、マークを表示色C(例えば赤色)で表示する。そして、前方車との車間距離が変わるのに応じて、表示色を切り替える。
同様に、図35は、カーブへの進入速度に応じてコンテンツの表示色を変化させる例について概要を示した図である。ここでは、下段の図に示すように、例えば、カーブや曲がり角に進入する際に、曲がる方向を指示する矢印図形を虚像により表示する場合の例を示している。
左側、中央、右側の各図では、それぞれ、カーブへの進入速度がP、Q、R(P<Q<R)である場合を示している。そして、進入速度が小さく安全な区分に属するPである場合は、矢印図形を表示色A(例えば青色)で表示する。また、進入速度がやや大きい区分に属するQである場合は、矢印図形を表示色B(例えば黄色)で表示する。また、進入速度が大きく危険な区分に属するRである場合は、矢印図形を表示色C(例えば赤色)で表示する。そして、進入速度が変わる(通常は減速する)のに応じて、表示色を切り替える。
図36は、危険度に応じてコンテンツの表示色を変化させる他の例について概要を示した図である。危険度に関連する指標は、上記の車間距離やカーブへの進入速度に限られず、例えば、車両2の速度や、歩行者等の対象物との距離など各種のものが想定される。図36の左側の図では、車両2の速度に応じて、車速表示における文字の表示色を変化させる例を示している。車速の絶対値に応じて3つの区分を設定してもよいし、走行中の道路の制限速度との関係に応じて3つの区分を設定してもよい。後者の場合、例えば、車速が制限速度以下の場合は安全に属し、制限速度の超過が一定値もしくは一定割合の範囲内の場合はやや危険、これを超過する場合は危険に属するものと判断する。また、天候が悪い場合や、前方車両の運転者が初心者や高齢者の場合には、通常より車間距離を大きくとるように促すなど、外的要因に応じて危険度の指標を変化させてもよい。
図36の右側の図では、車外のカメラ映像情報により歩行者の存在を認識した場合に、歩行者に重畳させて虚像によりマーク(図36の例では歩行者を囲む枠の図形)をアラート表示する場合の例を示している。ここでは、歩行者との距離に応じて、アラート表示の表示色を変化させる。
上記の例では、コンテンツの色を表示させるものとしているが、これに加えて他の手法を適宜組み合わせて用いてもよい。例えば、指標が危険な区分に属する場合に、表示色を表示色C(例えば赤色)にするのに加えて、図23の例に示したような警告マークを追加表示するようにしてもよい。また、図34の例に示したようなリング状のマークを二重のリングにするなど、表示の形態を変更して強調するようにしてもよい。さらに、音声による警告(例えば、「車間距離が近すぎます。注意してください。」等)を行うようにしてもよい。また、上記の例では、危険度の区分を3つとする例について説明したが、区分の数はこれに限定されない。
上述したアラート表示の表示色の変更は、例えば、上述の図25の標準コンテンツ生成処理における表示色設定処理(ステップS1300)や、図26のイベントコンテンツ生成処理における表示色設定処理(ステップS2500)により行われる。図37は、表示色設定処理の流れの例について概要を示したフローチャートである。
まず、車両情報4における危険度に関連する指標(車間距離やカーブへの進入速度等)を解析し(S2511)、指標が危険度のいずれの区分に属するかを判定する(S2512)。そして、判定された区分に対して、過去の所定の判定回数(N回)で、指標の値が一定量以上変化したか否かを判定し(S2513)、一定量以上変化していないと判定された場合は、表示色の変更を行わずに処理を終了する。この制御は、指標の値が区分間の境界値付近で細かく変動した場合に、表示色の切り替えが頻繁に繰り返されることを防止するために行うものである。
ステップS2513で一定量以上変化したと判定された場合は、変化後の区分を判定し(S2514)、その値に応じて上述の図34〜図36の例に示したようにコンテンツの表示色を変更して設定する(S2515a〜c)。
上述の例では、危険度を3つに区分し、それぞれに対して表示色A〜Cを割り当てて、これを切り替えるものとしている。しかし、例えば、指標の値が危険を示す区分に達した場合に、コンテンツの表示色を急に表示色C(例えば赤色)に切り替えた場合、運転者5が驚いてしまうことも考えられる。そこで、例えば、表示色の切り替えをより細かく行うようにしてもよい。
図38は、危険度に応じて切り替えるコンテンツの表示色の例について概要を示した図である。上段の帯では、上記の例と同様に、危険度を3つに区分し、安全な方からそれぞれ、表示色A(例えば青色)、表示色B(例えば黄色)、および表示色C(例えば赤色)を割り当てていることを示している。
これに対し、中段の帯に示すように、さらに危険度の区分を細かくし、表示色Aと表示色B、および表示色Bと表示色Cの中間色をそれぞれ割り当てるようにしてもよい。これにより、表示色の切り替わり(特に表示色Bから表示色Cへの切り替わり)の際の変化率を緩やかにしてよりスムーズに注意を促すことができる。さらに、下段の帯に示すように、表示色Aから表示色Bを経由して表示色Cに至るまでのグラデーションとすることも可能である。この場合は、危険度に関連する指標について区分に分類する必要はなく、指標の値に基づいて表示色を直接設定することができる。
[前方車に対する表示色の調整]
図39は、前方車にアラート表示を重畳させる際に視認性を向上させる例について概要を示した図である。ここでも図21と同様に、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された虚像(コンテンツ)の状態の例を模式的に示している。
図39では、車外のカメラ映像情報等に基づいて前方車の存在を認識した場合に、前方車に重畳させて虚像によりマーク(リング状の図形)を表示するとともに、さらに図23の例に示したような警告マークを追加表示した状態を示している。そして、図39の上段の図では、前方車の車体の色と、警告マークの色とが同系色となっており見づらい状態であることを示している。
これに対し、本実施の形態のAR−HUD1では、図39の下段の図に示すように、警告マーク等のアラート表示の表示色を前方車の車体の色とは異なる系統の色に変更する。これにより、アラート表示の視認性を向上させ、見落とされることを防止する。
このような、前方の風景等の状況に応じたアラート表示等の表示色の変更は、例えば、上述の図24の処理フローにおける表示色等調整処理(ステップS234)により行われる。図40は、表示色等調整処理の流れの例について概要を示したフローチャートである。まず、対象のコンテンツの現在の表示色の情報を取得する(S4100)。そして、車外のカメラ映像情報に基づいて、前方の風景等における、当該コンテンツの表示位置に対応する領域の色情報を取得する(S2400)。図39の例では、対象の領域は前方車であるが、必ずしも前方車だけに限るものではなく、アラート表示を重畳させる領域一般に適用することができる。色情報は、例えば、対象領域内の各ピクセルの輝度の平均値等により求める。
その後、ステップS4100で取得したコンテンツの現在の表示色と、対象領域の色情報とを比較し(S4300)、コンテンツの表示色の変更が必要か否かを判定する(S4400)。ここでは、例えば、公知の判断手法や基準に基づいて、色彩として同系統か否かを判定し、同系統である場合に表示色の変更が必要と判定する。この場合は、公知の手法や基準に基づいて、コンテンツの表示色として異なる系統の色を設定し(S4500)、処理を終了する。表示色の変更が不要と判定された場合は、そのまま処理を終了する。
なお、ここではコンテンツの表示色を異なる系統に変更することで、重畳させる前方車等の風景に対して視認性を向上させているが、このような手法に限られない。例えば、上述の図21に示したような手法を用いて、コンテンツの表示位置を前方車等の対象物と重ならない位置までずらすことで視認性を向上させるようにしてもよい。
[アラート表示の優先制御]
図41は、通常の表示コンテンツに対してアラート表示を優先させる例について概要を示した図である。ここでも図21と同様に、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された虚像(コンテンツ)の状態の例を模式的に示している。
図41では、通常時に表示するコンテンツとして、車速表示と、曲がり角が近付いてきたことをその距離とともに指示する矢印図形を表示していることを示している。さらに、車外のカメラ映像情報等に基づいて歩行者の存在を認識した場合に、当該歩行者に対して虚像によりマーク(歩行者を囲う枠および警告マークからなる図形)をアラート表示した状態を示している。そして、図41の上段の図では、歩行者に対するアラート表示が、通常時に表示する車速表示や矢印図形等のコンテンツに紛れてしまい、見づらい状態であることを示している。
これに対し、本実施の形態のAR−HUD1では、図41の下段の図に示すように、例えば、矢印図形の表示を薄くする。もしくは、車速表示を小さくする。これらにより、歩行者等のアラート表示について、運転者5に対する表示のインパクトや訴求力という点での優先度を、他のコンテンツに対して相対的に上げる。これにより、アラート表示の視認性を向上させて、見落とされることを防止する。
図42は、通常の表示コンテンツに対してアラート表示を優先させる他の例について概要を示した図である。アラート表示の視認性を向上させる手法は上記のものに限られず、他にも各種の手法をとることができる。例えば、図42(a)に示すように、矢印図形について、形状をシンプルにするとともに、曲がり角までの距離表示も消去することで、表示を簡略化するようにしてもよい。もしくは、車速表示の表示位置を、歩行者等の対象物から離れた位置に移動させる。また、図42(b)に示すように、車速表示を小さくする。これらの各手法は、必要に応じて適宜組み合わせて用いることも可能である。
上述したアラート表示の優先制御は、例えば、上述の図24の表示映像決定・変更処理におけるイベントコンテンツ生成処理(ステップS232)により行われる。図43は、アラート表示の優先制御を行うイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。まず、車両情報4に基づいて、アラート表示が必要な障害物の有無を解析し(S2110)、対象の障害物があるか否か(アラート表示が必要か否か)を判定する(S2210)。
ステップS2210で、対象の障害物がある(アラート表示が必要)と判定された場合は、当該障害物付近に表示される他のコンテンツの状況を取得する(S2310)。そして、これら他のコンテンツの表示の優先度を下げる(アラート表示の優先度を相対的に上げる)必要があるか否かを判定する(S2311)。他のコンテンツの表示の優先度を下げる必要がある場合は、例えば、図41、図42に示したような手法を用いて、これら他のコンテンツの表示の優先度を下げる(S2312)。
その後、対象の障害物に係るアラート表示のためのイベントコンテンツを生成する(S2313)。そして、生成した各アラート表示のコンテンツにつき、それぞれデフォルトの表示位置を設定し(S2410)、表示色として初期値を設定する表示色設定処理(S2510)を行い、処理を終了する。
一方、ステップS2210で対象の障害物がない(アラート表示が不要)と判定された場合は、対応するアラート表示を現在表示中であるか否かを判定する(S2610)。アラート表示がされていない場合は、何もせずに処理を終了する。表示中である場合は、当該アラート表示の優先度が上げられた状態であるか(他のコンテンツの表示の優先度が下げられた状態であるか)否かを判定する(S2710)。アラート表示の優先度が上げられた状態である場合は、他のコンテンツの表示の優先度を復元してアラート表示の優先度を下げる(S2711)。その後、アラート表示のコンテンツを消去し(S2712)、処理を終了する。
以上の一連の処理により、アラート表示の優先度を、通常時に表示される他のコンテンツに対して相対的に上げることができ、アラート表示の視認性を向上させることができる。
[歩行者等の属性に応じたアラート表示の切り替え]
図44は、歩行者等の属性に応じてアラート表示の内容を切り替える例について概要を示した図である。ここでも図21と同様に、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された虚像(コンテンツ)の状態の例を模式的に示している。
図44では、通常時に表示するコンテンツとして、車速表示を表示した状態を示している。さらに、車外のカメラ映像情報等に基づいて歩行者の存在を認識した場合に、当該歩行者に対して虚像によりマーク(歩行者を囲う枠および警告マークからなる図形)をアラート表示した状態を示している。そして、図44の上段の図では、歩行者に子供が含まれる場合でも、アラート表示の内容が大人の歩行者に対するものと同じであるため、より注意が必要な子供の存在を認識しにくい状態であることを示している。
これに対し、本実施の形態のAR−HUD1では、図44の下段の図に示すように、子供の歩行者に対するアラート表示を、大人の歩行者に対するものと区別する。さらに、子供だけではなく、高齢者の歩行者についても、アラート表示を区別する。これにより、大人の歩行者に比して、より注意が必要な子供や高齢者の歩行者の存在を容易に認識できるようにする。
図44の下段の図では、アラート表示の区別の手法として、例えば、大人と子供、高齢者について、それぞれ、アラート表示における枠の色や形、線種等を異なるものとして区別しているが、このような手法に限られない。例えば、枠の色や形を変えるのに合わせて警告マークの色や形(例えば、▲を●にする等)も変えるようにしてもよい。図示するように、色や形、線種等による区別の手法を適宜組み合わせるようにしてもよい。
上述した歩行者の属性に応じたアラート表示の切り替えは、例えば、上述の図24の表示映像決定・変更処理におけるイベントコンテンツ生成処理(ステップS232)により行われる。図45は、歩行者の属性に応じたアラート表示の切り替えを行うイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。まず、車両情報4における車外のカメラ映像情報に基づいて、アラート表示が必要な歩行者の有無を解析し(S2120)、対象の歩行者が存在するか否か(アラート表示が必要か否か)を判定する(S2220)。このとき、併せて、公知の画像認識技術等により対象の歩行者の年齢層についても解析しておく。
ステップS2220で、対象の歩行者が存在する(アラート表示が必要)と判定された場合は、対象の歩行者の年齢層を判定し(S2320)、その内容に応じて上述の例に示したようにアラート表示の内容を設定し、コンテンツを生成する(S2321a〜c)。上記の例では、歩行者を年齢層により子供、大人、高齢者の3種類に区分しているが、他の区分方法を用いてもよい。他に注意を要する歩行者として、例えば、飼い犬を連れている人、ヘッドホンやイヤホンを装着している人、携帯端末機器を操作している人、酒酔いしている人、ベビーカーを使用している人などを区分してもよい。さらには、自転車に乗っている人、車椅子を使用している人などを区分してもよい。
その後、生成したアラート表示のコンテンツにつき、それぞれデフォルトの表示位置を設定し(S2420)、処理を終了する。
一方、ステップS2220で対象の歩行者が存在しない(アラート表示が不要)と判定された場合は、対応するアラート表示を現在表示中であるか否かを判定する(S2620)。アラート表示がされていない場合は、何もせずに処理を終了する。表示中である場合は、対象のアラート表示のコンテンツを消去し(S2720)、処理を終了する。
以上の一連の処理により、認識した歩行者等の属性に応じてアラート表示の内容を切り替えて区別することができ、注意が必要な歩行者をより確実に認識させることができる。
[前方車に対する車速表示等の調整]
図46は、車速表示を表示する際に視認性を向上させる例について概要を示した図である。ここでも図21と同様に、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された虚像(コンテンツ)の状態の例を模式的に示している。図46では、車速表示が常時表示されている状態を示している。そして、図46の上段の図では、車速表示が前方車と重複してしまい、見づらい状態であることを示している。一般的に、車速表示など常時表示される情報は、前方車と重複しづらい位置に表示されるが、例えば、渋滞時などには通常走行時に比べて前方車との車間距離が小さくなるため、コンテンツが前方車と重複してしまい、見づらくなることが起こり得る。
これに対し、本実施の形態のAR−HUD1では、図46の下段の図に示すように、車速表示を前方車と重複しない位置で、かつ前方の風景等における情報量が比較的少ない位置(図中の例では右下)に移動させている。これにより、渋滞時など車間距離が小さくなって車速表示などのコンテンツが前方車と重複するようなときでも、コンテンツの視認性が損なわれないようにすることができる。なお、これに併せて上述の図21等に示したような手法をとることにより、移動させた先が信号や道路標識等の対象物に重ならないように制御するのが望ましい。
図47は、車速表示を表示する際に視認性を向上させる他の例について概要を示した図である。車速表示の視認性を向上させる手法は上記のものに限られず、他にも各種の手法をとることができる。例えば、図47(a)に示すように、車速表示の表示位置は変えずに、表示サイズを小さくして、前方車と重複しないようにしてもよい。また、図47(b)に示すように、車速表示が前方車と重複している状況でも、前方車の車体の色と異なる系統の文字色により表示することで視認性を向上させるようにしてもよい。車速表示に限らず、常時表示される他の計器類等のアイコンに対して同様の制御を行ってもよい。
上述した車速表示等の調整の処理は、例えば、上述の図24の表示映像決定・変更処理における表示位置等調整処理(ステップS233)により行われる。図48は、前方車に対して車速表示等の表示位置を調整する表示位置等調整処理の流れの例について概要を示したフローチャートである。まず、車両情報4における車外のカメラ映像情報を解析して、前方車の位置(表示領域における座標)の情報を取得する(S3110)。図示しないが、前方車が存在しない場合は、そのまま処理を終了する。
次に、車速表示等の常時表示するコンテンツにつき、現在の表示位置がデフォルトの表示位置であるか否かを判定する(S3210)。デフォルトの表示位置であると判定された場合は、表示中のコンテンツの現在の表示位置(すなわちデフォルトの表示位置)と前方車の位置とを比較し(S3211)、表示中のコンテンツが前方車と重複するか否かを判定する(S3311)。重複しないと判定された場合はそのまま処理を終了する。
一方、ステップS3311で表示中のコンテンツが前方車と重複すると判定された場合は、所定の基準に基づいてコンテンツの移動先を設定する(S3410)。そして、移動先に信号や道路標識等がないかを判定し(S3411)、道路標識等がある場合は、ステップS3410に戻って、道路標識等がない状態となるまでコンテンツの移動先の設定を繰り返す。
ステップS3411で、移動先に道路標識等がない状態であると判定された場合は、対象のコンテンツを表示してから、もしくは前回表示位置を変更してから一定時間以上経過しているか否かを判定する(S3412)。一定時間以上経過していない場合は、そのまま処理を終了する。そして、一定時間以上経過している場合にのみ、ステップS3410で設定された移動先に対象のコンテンツを移動させる(S3413)。上述したように、必要に応じてコンテンツの表示サイズを変更することで重複を回避するようにしてもよい(S3511)。
このように、コンテンツの表示位置の移動に際して一定時間の経過を条件とすることにより、車両2および前方車が走行するのに伴って車両2に対する前方車の相対的な位置が移動する毎に、コンテンツの表示位置が頻繁に切り替わって煩雑となる状況を回避する。
ステップS3210に戻り、コンテンツの現在の表示位置がデフォルトの表示位置ではないと判定された場合は、表示中のコンテンツのデフォルトの表示位置と前方車の位置を比較し(S3212)、デフォルトの表示位置にコンテンツを表示した場合に前方車と重複するか否かを判定する(S3312)。重複すると判定された場合はそのまま処理を終了する。
一方、ステップS3312でデフォルトの表示位置にコンテンツを表示した場合に前方車と重複しないと判定された場合は、上記のステップS3412の場合と同様に、対象のコンテンツを表示してから、もしくは前回表示位置を変更してから一定時間以上経過しているか否かを判定する(S3414)。一定時間以上経過していない場合は、そのまま処理を終了する。そして、一定時間以上経過している場合にのみ、対象のコンテンツの表示位置をデフォルトの表示位置に戻す(S3415)。必要に応じてコンテンツの表示サイズを変更することで重複を回避するようにしてもよい(S3511)。
なお、上記の処理フローは、前方車の状況に応じて車速表示等の表示位置や表示サイズを変更する例を示しているが、図47(b)に示すように車速表示等の表示色を変更する場合は、例えば、上述の図40に示した処理フローの例と同様の処理を行うことで実現することができる。
以上の一連の処理により、前方車に対して車速表示等のコンテンツの表示位置等を切り替えることができ、車速表示等のコンテンツの視認性を向上させることができる。
[緊急車両の接近通知]
図49は、緊急車両の接近を通知する例について概要を示した図である。ここでも図21と同様に、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された虚像(コンテンツ)の状態の例を模式的に示している。
本実施の形態のAR−HUD1は、車両情報4に基づいて、消防車や救急車、警察車両等の緊急車両の接近を認識し、これを運転者5に通知することで、適切な退避行動や待機行動等をとることを促す。図49では、車速表示を表示するとともに、アラート表示として緊急車両の接近を通知するアイコンを虚像により表示した状態を示している。
図49(a)では、文字と警告マークにより緊急車両の接近を通知する例を示している。図示するように単に「緊急車両接近中」として緊急車両の接近を通知するだけでなく、検知が可能な場合には、例えば「後方から緊急車両接近中」として、接近方向を通知するようにしてもよい。また、緊急車両との距離や速度が検知できる場合には、例えば「前方150m すれ違い予測10秒後」などとしてさらに詳細な予測情報を通知するようにしてもよい。また、このような情報を文字情報ではなく、図49(b)に示すように、例えば、道路状況の俯瞰イメージで表示するようにしてもよい。また、音声や、表示と音声の組み合わせにより通知するようにしてもよい。
緊急車両の接近状況の把握については、各種の手法を適宜組み合わせて用いることが可能である。例えば、緊急車両が発しているサイレン音を、車両2に搭載した図示しないマイク等により検知し、サイレン音の種類により緊急車両の種類を判別したり、音量や周波数の変化の状況により緊急車両の接近方向や距離を判別したりすることが考えられる。また、路車間通信や車車間通信により詳細な情報を把握することも可能である。車外のカメラ映像情報を用いることも考えられる。
図50は、緊急車両の接近を通知する他の例について概要を示した図である。図50(a)では、緊急車両の接近に備えて路肩等に退避するルートをナビゲーションする例を示している。ここでは、退避を指示する文字情報を表示するアイコンに加えて、左側に退避ルートを指示する矢印図形と、車両の目標停止位置を示す図形を虚像により表示している。
また、図50(b)では、緊急車両が接近するのに従って、接近通知の表示を強調して注意をより促す例を示している。図中の例では、文字を反転させ、さらに警告マークの数を増やして強調しているが、強調の手法はこれらに限られない。例えば、他の手法として、文字色やアイコンの色を変更したり、表示の輝度を高くしたりしてもよい。また、アイコンや警告マークの形を変更したり、文字のフォントを変更したりしてもよい。また、アイコンや文字を点滅させてもよい。これらの手法を適宜組み合わせて用いてもよい。
図51は、緊急車両の走行状態に応じて接近通知の表示を制御する例について概要を示した図である。本実施の形態では、走行中の緊急車両の全てを接近通知の対象とするものではなく、出動中、すなわちサイレン音を発している状態にある緊急車両のみを、接近通知の対象とする。すなわち、図51(a)の上段の図に示すように、緊急車両が接近していても、サイレン音を発していない場合(例えば、帰還中や単なる移動中の消防車等)には、下段の図に示すように、接近通知を行わない。一方、図51(b)の上段の図に示すように、緊急車両が接近していて、かつサイレン音を発している場合は、下段の図に示すように、接近通知のアイコンを表示する。上述したように、サイレン音は、車両2に搭載した図示しないマイク等により検知することができる。
上述した緊急車両の接近通知を行う処理は、例えば、上述の図24の表示映像決定・変更処理におけるイベントコンテンツ生成処理(ステップS232)により行われる。図52は、緊急車両の接近通知を生成するイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。まず、車両情報4におけるマイクで検知したサイレン音の情報や、路車間通信情報、車車間通信情報などに基づいて、緊急車両の接近情報を取得し(S2130)、接近している緊急車両の有無を判定する(S2230)。接近している緊急車両が検知できた場合は、退避行動や待機行動の要否を判断し(S2231)、退避行動等が必要か否かを判定する(S2232)。退避行動等の要否は、例えば、後述するような手法により緊急車両の進路を予測し、これと自車の進路との関係を判断する等により行う。
ステップS2232で退避行動等が必要であると判定された場合は、上述の例に示したような緊急車両の接近通知のコンテンツを生成する緊急車両接近通知生成処理を行う(S2330)。その後、緊急車両の接近に備えるための退避ルートを検討する(S2331)。退避ルートの検討は、例えば、後述するような手法により緊急車両の進路を予測し、これと自車の位置、道路状況等の情報を判断して行うことができる。そして、検討結果の退避ルートについて、図50(a)の例に示したような現在位置から目標停止位置までのナビゲーションを行うコンテンツを生成する(S2332)。
その後、現時点で運転者5による退避行動等が既に完了しているか否かを判定する(S2333)。完了していると判定された場合は、ステップS2332で生成した退避ルートのナビゲーション表示を終了する(S2334)。完了していないと判定された場合は、ステップS2330で生成した緊急車両の接近通知のコンテンツについて、図50(b)の例に示したような表示の強調を行う(S2335)。このとき、ステップS2332で生成した退避ルートのナビゲーション表示の終了は、ステップS2335で緊急車両の接近を強調して表示した後、または強調表示した後に改めて運転者5による退避行動が完了したことを確認した後に行うとよい。
その後、生成した緊急車両の接近通知のコンテンツやナビゲーション表示につき、それぞれデフォルトの表示位置を設定し(S2430)、表示色に初期値を設定する表示色設定処理(S2530)を行い、処理を終了する。
ステップS2230に戻り、接近している緊急車両が検知できなかった場合、およびステップS2232で退避行動等が不要であると判定された場合は、緊急車両の接近通知を現在表示中であるか否かを判定する(S2630)。接近通知を表示中でないと判定された場合は、そのまま処理を終了する。接近通知を表示中であると判定された場合は、対象の接近通知のコンテンツを消去し(S2730)、処理を終了する。
図53は、接近中の緊急車両の把握とその進路を予測する手法の例について概要を示した図である。本実施の形態のAR−HUD1では、上段の図に示すように、例えば、車両2が車両情報4として取得している路車間通信や車車間通信等により得られる緊急車両出動情報や、マイクにより取得したサイレン音等に基づいて緊急車両を把握する。緊急車両出動情報には、図中の表に示すように、例えば、稼働中の緊急車両毎に、状況(「帰還中」、「待機中」、「出動準備中」)および行き先の情報等を保持している。そして、これらの情報と、車両情報4として取得している地図情報や、車両2が走行中に記録・蓄積している走行ログの内容等を併せて解析する。これにより、車両2の現在位置の最寄りの緊急車両の出動状況を把握するとともに、下段の図に示すように接近中の緊急車両の進路を予測する。
左下の図では、消防署から出動する緊急車両(消防車や救急車等)の進路を予測する例を示している。サイレン音が次第に大きくなる等により緊急車両が接近中であることを検知した場合、例えば、車両2が消防署を通過前である場合は、前方の消防署から出動した緊急車両が前方から接近中であると予測する。逆に車両2が消防署を通過後である場合は、後方の消防署から出動した緊急車両が後方から接近中であると予測する。
同様に、右下の図では、病院へ急行する緊急車両(救急車等)の進路を予測する例を示している。緊急車両が接近中であることを検知した場合、例えば、車両2が病院を通過前である場合は、前方の病院へ急行する緊急車両が後方から接近中であると予測する。この場合、前方の病院へ急行する緊急車両が病院よりさらに前方から接近中であることも考えられる。しかし、この場合は原則として退避行動をとる必要がないため考慮が不要となる。また、逆に車両2が病院を通過後である場合は、後方の病院へ急行する緊急車両が前方から接近中であると予測する。この場合も、後方の病院へ急行する緊急車両が病院よりさらに後方から接近中であることも考えられる。しかし、この場合も原則として退避行動をとる必要がないため考慮が不要となる。
図54は、接近中の緊急車両の進路の予測に基づいて接近通知のコンテンツを生成する緊急車両接近通知生成処理の流れの例について概要を示したフローチャートである。緊急車両接近通知生成処理は、上述の図52の例に示した緊急車両通知処理におけるステップS2330の処理であり、既に接近中の緊急車両の存在自体は検知されている状態である。
まず、車両情報4の地図情報や走行ログ等に基づいて、車両2の現在位置を取得する(S2330_1)。さらに、車両情報4の緊急車両出動情報等に基づいて、最寄りの緊急車両の出動情報を取得する(S2330_2)。そして、上述の図53の例に示したような手法により、緊急車両の進路を予測し(S2330_3)、予測結果を判定する(S2330_4)。前方もしくは後方から接近中であると判定された場合は、それぞれ、前方もしくは後方からの接近を通知するアラート表示のコンテンツを生成し(S2330_5a、S2330_5b)、処理を終了する。いずれとも判定できなかった場合は、緊急車両の走行ルート外にいるものとして、接近通知のコンテンツは生成せずに処理を終了する。
以上の一連の処理により、緊急車両の接近通知を適切に表示して、退避行動等を適切に行えるよう補助することができる。
図55は、接近中の緊急車両と周辺の車両2が車車間通信を行う例について概要を示した図である。図55の左側の図では、緊急車両が通過する旨を車車間通信により通知した状態を示している。ここで、周辺を走行中の車両D(2d)〜F(2f)のうち、緊急車両との間で車車間通信を行うことが可能な車両D(2d)および車両F(2f)が当該通知を受信しており、車車間通信を行うことができない(車車間通信機能を備えていない、もしくは緊急車両との通信に非対応等)車両E(2e)は当該通知を受信していない状態であることを示している。この場合、車両D(2d)および車両F(2f)は、通知を受信して緊急車両の接近を認識し、その旨をAR−HUD1によりアラート表示することができる。
図55の右側の図では、緊急車両からの通知を受信した車両D(2d)および車両F(2f)が、通知に対する応答を送信した状態を示している。この場合、緊急車両は、車両D(2d)および車両F(2f)からの応答を受信し、車両E(2e)からは応答を受信できない。緊急車両は、この受信結果を自車に搭載されたAR−HUD1によって虚像のコンテンツとして表示することができる。
図56は、緊急車両に搭載されたAR−HUD1による周辺の車両2の表示方法の例について概要を示した図である。図56(a)では、緊急車両から見た前方車である車両2が、上述の図55の例における車両D(2d)や車両F(2f)のように緊急車両の接近を認識している場合を示している。この場合、下段の図に示すように、例えば、車外のカメラ映像情報等に基づいて前方車の存在を認識し、これに重畳させて虚像によりマーク(図56の例ではリング状の図形)を表示する場合、上述の図38の例に示した表示色A(例えば青色)により表示する。
一方、図56(b)では、緊急車両から見た前方車である車両2が、上述の図55の例における車両E(2e)のように緊急車両の接近を認識していない場合を示している。この場合、下段の図に示すように、例えば、前方車に重畳させて虚像によりマークを表示する場合、上述の図38の例に示した表示色C(例えば赤色)により表示する。このとき、例えば、上述の図22に示したような警告マーク等を組み合わせて表示し、緊急車両の運転者に注意を促すようにしてもよい。
これにより、緊急車両は、周辺の車両2のうち自車を認識していないものを運転者5に容易に把握させることができ、通過の際の注意を促すことができる。なお、上記のような、自車を認識しているか否かによりコンテンツの表示内容を変化させる手法は、本実施の形態のAR−HUD1が緊急車両に搭載されている場合に限られない。一般の自家用車等も含む他の種類の車両2に搭載されている場合に適用してもよい。
以上に説明したように、本発明の実施の形態2であるヘッドアップディスプレイ装置によれば、実施の形態1における虚像の表示領域の調整や表示距離の調整に加えて、さらに、車両2における前方の風景等の状況に応じて、表示する虚像自体の表示内容や表示方法を調整することができる。これにより、前方の風景に対してより適切な虚像をより適切な位置や態様にて重畳させることが可能となる。
(実施の形態3)
上述した実施の形態1のAR−HUD1によれば、表示領域6内を複数のエリアに分け、エリア毎に虚像の表示距離を調整することができる。これにより、ある程度表示コンテンツの奥行き感・遠近感(仮想的な距離の知覚を含む)を出すことは可能である。しかし、表示する個々のコンテンツのデータ自体が奥行き感等を考慮することなく生成されていると、実際の前方の風景等に対して、奥行きも含めて違和感なく重畳させることは困難な場合がある。
そこで、本発明の実施の形態3であるヘッドアップディスプレイ装置は、実施の形態1における虚像の表示領域の調整や表示距離の調整に加えて、さらに、虚像のコンテンツの表示内容や表示方法によって、奥行き感・遠近感を出すものである。これにより、遠方に重畳させる虚像はより遠方に、近方に重畳させる虚像はより近方に感じられるようにして、前方の風景等に対してより違和感なく虚像のコンテンツを重畳させることを可能とする。なお、AR−HUD1の装置構成や基本的な動作内容については、上述の実施の形態1と同様であるため、説明は省略する。
[奥行き感の表現]
図57は、前方の風景等に対して奥行き感を出して虚像を重畳させる例について概要を示した図である。ここでは、車両2の運転者5が、運転席からウィンドシールド3を介して視認している前方の風景およびウィンドシールド3に投射された虚像(コンテンツ)の状態の例を模式的に示している。
図57では、車両2の進行方向等を指示・ナビゲートする矢印図形(図中では複数の連続した矢印)と、車速等を表示する計器類のアイコン(図中では「45km/h」の文字、以下では「車速表示」と記載する場合がある)が虚像として表示されている状態を示している。図中では、矢印図形のうち、近方(手前)の矢印に対して、遠方(奥)の矢印を小さく表示することで奥行き感を出している。これに加えて、本実施の形態では、さらに、後述するような手法により表示内容についても変化させることでより奥行き感・遠近感を出す。
図58は、コンテンツの表示色と透過度によって奥行き感を表現する例について概要を示した図である。図58では、上述の図57と同様に、車速表示に加えて、前方の風景における道路上に、車両2の進行方向等を指示・ナビゲートする一連の矢印図形を虚像として表示する場合を例としている。図58の例では、一連の矢印図形は、現在位置から直進した後、前方の交差点で左折することを指示・ナビゲートするよう形成されている。
図58の上段の図では、左折する交差点はまだ遠方にある状態を示している。この場合、一連の矢印図形において、最も近方(手前)の矢印を表示色1で表示し、最も遠方(奥)の矢印、すなわち前方の交差点での左折を指示する矢印を表示色2で表示する。そして、その間の各矢印については、表示色1から表示色2まで漸次変化させた表示色でそれぞれ表示する。これにより、一連の矢印図形全体として表示色1から徐々に表示色2となるグラデーションを形成する。ここで、表示色1および表示色2については、例えば、近方の表示色1を濃色とし、遠方の表示色2を淡色とする等、グラデーションにより奥行き感を表現することができる設定とするのが望ましい。
また、各矢印の表示色のグラデーションに代えて、もしくはこれに加えて、各矢印の透過度(α値)のグラデーションにより奥行き感を表現するようにしてもよい。すなわち、最も近方の矢印の透過度をゼロ(不透過)もしくはこれに準ずる小さい値とする。そして、遠方の矢印については、距離が遠くなるにしたがって透過度を漸次大きくした値(透過)としてそれぞれ表示する。これにより、一連の矢印図形全体として、不透過から徐々に透過となるグラデーションを形成する。これにより、手前の矢印が明瞭に視認でき、より奥行き感・遠近感を表現することができる。
図58の下段の図では、左折する交差点が近付いてきた状態を示している。この例では、各矢印の表示色のグラデーションは上段の図と同様であり、表示色1から表示色2までのグラデーションとしている。一方、透過度のグラデーションについては、最も遠方の矢印、すなわち前方の交差点での左折を指示する矢印までの距離が徐々に近付いてくることから、透過度も徐々に小さくなってゼロ(不透過)に近付いてくる(透過が解除される)。これにより、交差点が近付くにしたがって表示色2の矢印が徐々に明瞭に視認できるようになってくる。
上述した例では、一連の矢印図形に対して、近方から遠方まで表示色および/または透過度をグラデーション状に変化させることで奥行き感を出しているが、グラデーションの内容はこれに限られない。例えば、最も遠方の矢印の表示色を表示色2で固定せずに、矢印までの距離が近付くにしたがって表示色を変化させるようにしてもよい。また、グラデーションにより表示する対象も、進行方向等を指示する矢印図形に限らず、前方の風景等に重畳させて表示する他のコンテンツを対象としてもよい。
図59は、矢印図形に重複する車速表示をより手前に感じるように表示する例について概要を示した図である。図59についても、上述の図58と同様に、車速表示に加えて、前方の風景における道路上に、車両2の進行方向等を指示・ナビゲートする一連の矢印図形を虚像として表示する場合を例としている。図示するように、進行方向等を指示する矢印図形と、車速表示等の計器類のアイコンを同時に表示する場合、基本的には車速表示の方が前面(手前)に表示される。この場合、例えば、両者が重なる部分については、図示するように、背面(奥)の矢印部分に前面の車速表示の影をつける。これにより、前面の車速表示が背面の矢印図形に対してより手前に見えるようにして奥行き感を表現することができる。
図60は、前方の風景等の状況に応じてコンテンツを表示する際のベースカラーを設定する例について概要を示した図である。図60についても、上述の図58と同様に、車速表示に加えて、前方の風景における道路上に、車両2の進行方向等を指示・ナビゲートする一連の矢印図形を虚像として表示する場合を例としている。
図60(a)では、前方の風景等が、夜間や悪天候で暗い場合、すなわち前方の風景等の色が全体として黒色系となっている場合の例を示している。この場合、黒色系に対してコントラストが高い白色や黄色、もしくは橙色や赤色等の暖色系(ベースカラーBA)によってコンテンツを表示する。これにより、青色や水色、黄緑色等の寒色系によって表示する場合と比較して、表示されたコンテンツが運転者5にとって大きく感じられ、明瞭に視認できるという効果を奏する。(参考文献:“北岡明佳の錯視のページ 色立体視2(進出色・後退色)”、インターネット<URL:http://www.psy.ritsumei.ac.jp/~akitaoka/scolor2.html>)
具体的には、例えば、暖色系のベースカラーBAの中で、濃色のベースカラーBA1を表示色1とし、淡色のベースカラーBA2を表示色2として設定する。そして、上述の図58の例と同様に、最も近方の矢印を表示色1で表示し、最も遠方の矢印を表示色2で表示して、その間の各矢印の表示色を表示色1から表示色2まで漸次変化させてグラデーションを形成する。車速表示についてもベースカラーBAに属する色で表示する。
同様に、図60(b)では、前方の風景等が、昼間の逆光時や照り返し、雪道など明るい場合、すなわち前方の風景等の色が全体として白色系となっている場合の例を示している。この場合、白色系に対してコントラストが高い青色や水色、黄緑色などの寒色系(ベースカラーBB)によってコンテンツを表示する。これにより、白色や黄色、もしくは橙色や赤色等の暖色系によって表示する場合と比較して、表示されたコンテンツが運転者5にとって大きく感じられ、明瞭に視認できるという効果を奏する。
具体的には、例えば、寒色系のベースカラーBBの中で、濃色のベースカラーBB1を表示色1とし、淡色のベースカラーBB2を表示色2として設定する。そして、上述の図58の例と同様に、最も近方の矢印を表示色1で表示し、最も遠方の矢印を表示色2で表示して、その間の各矢印の表示色を表示色1から表示色2まで漸次変化させてグラデーションを形成する。車速表示についてもベースカラーBBに属する色で表示する。
なお、前方の風景等の明るさが通常である場合は、ベースカラー(すなわちデフォルトのベースカラー)を上記のようなベースカラーBA(暖色系)やベースカラーBB(寒色系)のいずれかとしてもよいし、これら以外の他の色としてもよい。
図61は、前方車との重複状況に応じてコンテンツを表示する際のベースカラーを設定する例について概要を示した図である。図61についても、上述の図58と同様に、車速表示に加えて、前方の風景における道路上に、車両2の進行方向等を指示・ナビゲートする一連の矢印図形を虚像として表示する場合を例としている。
ここでは、上述の図60の例に示した手法によるコンテンツのベースカラーの設定に加えて、さらに、コンテンツが前方車の車体と重複する場合に、前方車の車体の色に応じて部分的にベースカラーの設定を変更する例を示している。
図61(a)では、上述の図60(a)の例と同様に、前方の風景等が全体として黒色系となっており、ベースカラーがベースカラーBA(暖色系)となっている状態で、前方車の車体が白色やシルバーなど明るい色である場合を示している。この場合、図示するように、一連の矢印図形や車速表示のうち、明るい色の前方車と重複箇所があるものについては、ベースカラーをベースカラーBA(暖色系)からベースカラーBB(寒色系)に部分的に切り替えるようにしてもよい。
同様に、図61(b)では、上述の図60(b)の例と同様に、昼間の逆光や雪道で前方の風景等が全体として白色系となっており、ベースカラーがベースカラーBB(寒色系)となっている状態で、前方車の車体が黒色など暗い色である場合を示している。この場合、図示するように、一連の矢印図形や車速表示のうち、暗い色の前方車と重複箇所があるものについては、ベースカラーをベースカラーBB(寒色系)からベースカラーBA(暖色系)に部分的に切り替えるようにしてもよい。
図62は、虚像の表示内容や表示方法を調整する処理の流れの例について概要を示したフローチャートである。AR−HUD1における虚像の表示内容(コンテンツ)の生成・表示は、上述の実施の形態1における図6の初期動作時のステップS05や、図7の通常動作時のステップS23によって行う。ここでは、図7の通常動作時におけるステップS23での表示映像変更・決定処理を例として、その処理内容を示す。
まず、ECU21により、標準コンテンツ生成処理(S231)およびイベントコンテンツ生成処理(S232)を行う。標準コンテンツとは、基本的に車両2の走行中は表示領域6に常に表示されている車速表示等のコンテンツを指す。また、イベントコンテンツとは、車両2の走行状況(前方の風景の状況も含む)に基づいて必要に応じて表示されるアラート表示等のコンテンツを指す。いずれについても、複数のコンテンツが生成される場合がある。
その後、ECU21により、カメラ映像情報により把握される前方の風景との関係で、生成した各コンテンツの表示位置や表示色等を調整する表示位置等調整処理(S233)および表示色等調整処理(S234)を行う。そして、調整後の各コンテンツに係る表示用の映像データを生成し(S235)、処理を終了する。なお、ここで生成された映像データは、実施の形態1の図7におけるその後のステップS27で、表示素子駆動部27により投射される。
図63は、図62の表示映像決定・変更処理における標準コンテンツ生成処理(ステップS231)の流れの例について概要を示したフローチャートである。ここではまず、必要な標準コンテンツを生成する(S1100)。そして、生成した各標準コンテンツにつき、それぞれデフォルトの表示位置を設定する(S1200)。そして、各標準コンテンツにつき、表示色として初期値を設定する表示色設定処理(S1300)を行い、処理を終了する。なお、表示色の設定・調整に係る処理ついては後述する。
図64は、図62の表示映像決定・変更処理におけるイベントコンテンツ生成処理(ステップS232)の流れの例について概要を示したフローチャートである。ここではまず、実施の形態1の図7におけるステップS21で取得した車両情報4を解析し(S2100)、イベントコンテンツの表示が必要となるイベントが発生中であるか否かを解析する(S2200)。例えば、図57、図58の例に示すような、交差点等が近付いていること等が上記のイベントに該当する。この他にも、例えば、注意を促す必要がある道路標識等が前方に存在することや、歩行者の存在、前方車の接近等の各種のイベントも対象となる。
ステップS2200でイベントが発生中であると判定された場合は、必要なイベントコンテンツを生成する(S2300)。そして、生成した各イベントコンテンツにつき、それぞれデフォルトの表示位置を設定する(S2400)。そして、各イベントコンテンツにつき、表示色に初期値を設定する表示色設定処理(S2500)を行い、処理を終了する。なお、表示色の設定・調整に係る処理ついては後述する。
一方、ステップS2200でイベントが発生していないと判定された場合は、現在イベントコンテンツを表示中であるか否かを判定する(S2600)。イベントコンテンツを表示中ではない場合は、何もせずに処理を終了する。表示中である場合は、当該イベントコンテンツは不要になったものとしてこれを消去し(S2700)、処理を終了する。
図65は、図62の表示映像決定・変更処理における表示位置等調整処理(ステップS233)の流れの例について概要を示したフローチャートである。ここではまず、実施の形態1の図7におけるステップS21で取得した車両情報4における車外のカメラ映像情報を解析し、前方の風景等に、表示が隠されるのを回避すべき対象物があるか否かを把握する(S3100)。
その後、図62の処理フローのステップS231、S232で生成した各標準コンテンツおよび各イベントコンテンツの現在の表示位置と、各対象物の座標とを照合する(S3200)。そして、各コンテンツの表示位置を調整する必要があるか否か、すなわち、各コンテンツの表示が対象物の障害となるか否かを判定する(S3300)。
ステップS3300で、表示位置の調整が不要であると判定された場合は、処理を終了する。表示位置の調整が必要であると判定された場合は、対象のコンテンツにつき、表示位置を調整・移動させて、新たな表示位置を設定する(S3400)。コンテンツを移動させる位置の決定方法は特に限定されない。コンテンツの位置の調整に代えて、もしくはこれに加えて、コンテンツの表示サイズを小さくすることで、対象物を隠さないよう調整するようにしてもよい(S3500)。
これらの調整を行った後、再度ステップS3200に戻って、各コンテンツの表示位置を調整する必要がなくなるまで上記の一連の処理を繰り返す。コンテンツを移動させた先に別の対象物が存在する可能性もあるため、適切な表示位置となるまで調整を行う必要がある。
上述の図58で示したようなコンテンツの表示色や透過度をグラデーションとする処理は、例えば、上述の図63の標準コンテンツ生成処理における表示色設定処理(ステップS1300)や、図64のイベントコンテンツ生成処理における表示色設定処理(ステップS2500)により行われる。図66は、表示色設定処理の流れの例について概要を示したフローチャートである。
まず、車両情報4における車外のカメラ映像情報および外光情報等に基づいて、前方の風景等における背景の明るさレベルを取得する(S2541)。次に、取得した明るさレベルに基づいて、上述の図60、図61に示したような手法により、ベースカラーを設定する(S2542)。その後、設定したベースカラーに基づいて表示色1、表示色2を設定し、上述の図58、図60等に示したような手法により、コンテンツに対する表示色のグラデーション処理を施す(S2543)。
また、車両情報4における地図情報等に基づいて、右左折箇所までの距離を取得し(S2544)、上述の図58に示したような手法により、距離に応じたコンテンツに対する透過度の設定処理を行う(S2545)。このとき、右左折箇所までの距離が近くなるに従って透過度を小さくするよう設定するが、距離が所定の閾値より小さくなるまでは、最も遠い右左折箇所の矢印図形の透過度は一定の値のまま維持するようにしてもよい。
その後、上述の図59に示したような手法により、一連の矢印図形と車速表示などの計器類を表示するアイコンとの重複がある場合に、影を付す等、車速表示等の視認性を向上させる処理を行い(S2546)、処理を終了する。
以上の一連の処理により、交差点等の右左折箇所までの距離に応じて矢印図形等のコンテンツの表示色や透過度を変化させて、奥行き感を表現することができる。また、前方の風景等の色の状況に応じてベースカラーを適切な色とし、視認性をより向上させることができる。
[走行状況に応じた文字装飾の変更]
図67は、車両2の走行状況に応じて車速表示等の文字に対する装飾を変更して強調する例について概要を示した図である。図67についても、上述の図58と同様に、車速表示に加えて、前方の風景における道路上に、車両2の進行方向等を指示・ナビゲートする一連の矢印図形を虚像として表示する場合を例としている。
本実施の形態のAR−HUD1では、図示するように、例えば、最高速度の制限(図中の例では40km/h)がある道路において、車両2が速度超過している場合、車速表示における文字を修飾して強調することで、運転者5に注意を促す。具体的には、図示するように、文字色を変えたり、文字の輪郭を太くしたり、文字を大きくしたりフォントを変更したり、間欠発光させたり等することができる。
図67で示したような文字修飾を変更して強調する処理は、例えば、上述の図63の標準コンテンツ生成処理における表示色設定処理(ステップS1300)により行われる。図68は、文字修飾を変更する表示色設定処理の流れの例について概要を示したフローチャートである。
まず、車両情報4から車両2の車速情報を取得する(S1311)。また、車両情報4の地図情報等から、現在の走行位置の法定速度の情報を取得する(S1312)。そして、車両2の車速が法定速度を超過しているか否かを判定する(S1313)。法定速度を超過している場合は、上述の図67に示したような手法により車速表示の文字修飾を変更する(S1314)。さらに、ステップS1313で法定速度を超過していない場合も併せて、一連の矢印図形と車速表示などの計器類を表示するアイコンとの重複がある場合に、上述の図59に示したような手法により、影を付す等、車速表示等の視認性を向上させる処理(S1315)を行なってもよい。
以上の一連の処理により、制限速度超過等の走行状況に応じて、車速表示の文字修飾を変化させて強調し、運転者5の注意をより促すことができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
本発明は、ARを利用したヘッドアップディスプレイ装置に利用可能である。
1…AR−HUD、2…車両、2d〜2f…車両D〜車両F、3…ウィンドシールド、4…車両情報、5…運転者、6…表示領域、
10…車両情報取得部、
20…制御部、21…ECU、22…音声出力部、23…不揮発性メモリ、24…メモリ、25…光源調整部、26…歪み補正部、27…表示素子駆動部、28…表示距離調整部、29…ミラー調整部、
30…映像表示装置、30a…プロジェクタ、30b…LCD、31…光源、32…照明光学系、33…表示素子、
40…表示距離調整機構、41a…拡散板、41b…拡散板、41c…可動式拡散板、42a…レンズ、42b…可動式レンズ、43a…可動式光学フィルタ、43b…くし状光学フィルタ、
50…ミラー駆動部、51…ミラー、51a…ミラー、51b…調光ミラー、52…ミラー、
60…スピーカ、
101…車速センサ、102…シフトポジションセンサ、103…ハンドル操舵角センサ、104…ヘッドライトセンサ、105…照度センサ、106…色度センサ、107…測距センサ、108…赤外線センサ、109…エンジン始動センサ、110…加速度センサ、111…ジャイロセンサ、112…温度センサ、113…路車間通信用無線受信機、114…車車間通信用無線受信機、115…カメラ(車内)、116…カメラ(車外)、117…GPS受信機、118…VICS受信機、
281…機能性液晶フィルムON/OFF制御部、282…レンズ可動部、283…調光ミラーON/OFF制御部、284…拡散板可動部、285…光学フィルタ可動部、
401…機能性液晶フィルム、402…レンズ可動機構、403…調光ミラー、404…拡散板可動機構、405…光学フィルタ可動機構

Claims (25)

  1. 車両のウィンドシールドに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、
    前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、
    前記車両情報取得部が取得した前記車両情報に基づいて、前記映像に係る情報を生成し、表示を制御する制御部と、
    前記制御部からの指示に基づいて前記映像を形成する映像表示装置と、
    前記映像表示装置が形成した前記映像を反射して前記ウィンドシールドに投射するミラーと、
    前記制御部からの指示に基づいて前記ミラーの角度を変化させるミラー駆動部と、
    前記運転者に対する前記虚像の表示距離を調整する表示距離調整機構と、を有し、
    前記制御部は、
    前記車両情報に基づいて、前記運転者に対して前記風景に前記虚像を重畳させて表示することが可能となるよう、前記ミラー駆動部を介して前記ミラーの角度を調整し、
    また、前記虚像が前記風景における所定の対象物に重なる場合に、前記虚像の表示位置を変更する、ヘッドアップディスプレイ装置。
  2. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて、前記風景における視認が困難な標識情報を検知し、前記標識情報に係る前記虚像を、前記風景における前記標識情報の所在位置に重畳させて表示する、ヘッドアップディスプレイ装置。
  3. 請求項2に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて、前記風景において前記標識情報の付近に歩行者が存在することを検知した場合、前記標識情報の所在位置に重畳させて表示する前記虚像を強調表示する、ヘッドアップディスプレイ装置。
  4. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて前記運転者の視点の情報を取得し、前記虚像が前記視点から所定の範囲内に表示されるよう表示位置を変更する、ヘッドアップディスプレイ装置。
  5. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて、前記車両が交差点付近に所在する場合に、前記虚像として前記交差点の状況の俯瞰画像を表示する、ヘッドアップディスプレイ装置。
  6. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両もしくは前記風景における対象物の危険度に応じて、対応する前記虚像の表示色を変更する、ヘッドアップディスプレイ装置。
  7. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記風景における前記虚像が重なる領域の色と、前記虚像の表示色とが同系統である場合に、前記虚像の表示色を変更する、ヘッドアップディスプレイ装置。
  8. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記風景における前記虚像が重なる領域の色と、前記虚像の表示色とが同系統である場合に、前記虚像の表示位置を変更する、ヘッドアップディスプレイ装置。
  9. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記風景における前記虚像が重なる領域の色と、前記虚像の表示色とが同系統である場合に、前記虚像の表示サイズを小さくする、ヘッドアップディスプレイ装置。
  10. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、アラート表示を行う前記虚像の付近に他の通常の虚像が1つ以上表示されている場合に、前記通常の虚像について表示の優先度を下げて表示する、ヘッドアップディスプレイ装置。
  11. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて、前記風景において歩行者が存在することを検知した場合、検知した前記歩行者の属性に応じて、前記歩行者を示すための前記虚像の表示方法を変更する、ヘッドアップディスプレイ装置。
  12. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて緊急車両の接近を検知した場合に、前記虚像として前記緊急車両の接近を通知する画面を表示する、ヘッドアップディスプレイ装置。
  13. 請求項12に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて前記緊急車両の接近状況を予測し、前記虚像として前記緊急車両の接近を通知する画面を表示する際に、前記接近状況に係る情報についても併せて表示する、ヘッドアップディスプレイ装置。
  14. 請求項13に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて前記緊急車両が出動もしくは帰還する施設の情報を取得し、前記車両と前記施設との位置関係に基づいて前記緊急車両の接近状況を予測する、ヘッドアップディスプレイ装置。
  15. 請求項12に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて、前記車両が前記緊急車両を退避するためのルートを取得し、前記虚像として前記ルートをナビゲーションする画面を表示する、ヘッドアップディスプレイ装置。
  16. 請求項12に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記緊急車両のサイレン音を検知している場合にのみ、前記虚像として前記緊急車両の接近を通知する画面を表示する、ヘッドアップディスプレイ装置。
  17. 請求項1に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報における周辺の他の車両との車車間通信の情報に基づいて、前記虚像として、前記他の車両が前記車両の存在を認識しているか否かを示す画像を表示する、ヘッドアップディスプレイ装置。
  18. 車両のウィンドシールドに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、
    前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、
    前記車両情報取得部が取得した前記車両情報に基づいて、前記映像に係る情報を生成し、表示を制御する制御部と、
    前記制御部からの指示に基づいて前記映像を形成する映像表示装置と、
    前記映像表示装置が形成した前記映像を反射して前記ウィンドシールドに投射するミラーと、
    前記制御部からの指示に基づいて前記ミラーの角度を変化させるミラー駆動部と、
    前記運転者に対する前記虚像の表示距離を調整する表示距離調整機構と、を有し、
    前記制御部は、
    前記車両情報に基づいて、前記運転者に対して前記風景に前記虚像を重畳させて表示することが可能となるよう、前記ミラー駆動部を介して前記ミラーの角度を調整し、
    また、近方の前記風景に重畳させる第1の虚像の表示サイズを大きくして第1の表示色で表示し、遠方の前記風景に重畳させる第2の虚像の表示サイズを小さくして第2の表示色で表示し、前記第1の虚像から前記第2の虚像に至る他の1つ以上の第3の虚像について、表示色を、前記第1の表示色から前記第2の表示色までのグラデーションとする、ヘッドアップディスプレイ装置。
  19. 請求項18に記載のヘッドアップディスプレイ装置において、
    前記制御部は、近方の前記風景に重畳させる第1の虚像の表示サイズを大きくして第1の透過度で表示し、遠方の前記風景に重畳させる第2の虚像の表示サイズを小さくして、重畳させる遠方の前記風景までの距離に応じた、前記第1の透過度より小さい第2の透過度で表示し、前記第1の虚像から前記第2の虚像に至る他の1つ以上の第3の虚像について、透過度を、前記第1の透過度から前記第2の透過度までのグラデーションとする、ヘッドアップディスプレイ装置。
  20. 請求項18に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記第1〜前記第3の虚像に対して、文字からなる第4の虚像を重ねて表示する場合に、前記第1〜前記第3の虚像における前記第4の虚像と重なる領域の周辺に影を付す、ヘッドアップディスプレイ装置。
  21. 請求項18に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて前記風景の明るさに係る情報を取得し、前記明るさに係る情報に基づいて前記第1の表示色および前記第2の表示色のベースカラーを設定する、ヘッドアップディスプレイ装置。
  22. 請求項21に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記明るさに係る情報に基づいて前記風景が暗いと判定した場合に、前記ベースカラーを暖色系の色に設定する、ヘッドアップディスプレイ装置。
  23. 請求項21に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記明るさに係る情報に基づいて前記風景が明るいと判定した場合に、前記ベースカラーを寒色系の色に設定する、ヘッドアップディスプレイ装置。
  24. 請求項21に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記風景における前記第1〜前記第3の虚像が重なる領域の明るさに係る情報に基づいて、前記領域に対応する前記第1〜前記第3の虚像の表示色を前記ベースカラーから部分的に変更する、ヘッドアップディスプレイ装置。
  25. 請求項18に記載のヘッドアップディスプレイ装置において、
    前記制御部は、前記車両情報に基づいて、前記車両の車速、および前記車両が所在する位置の制限速度に係る情報を取得し、前記車速が前記制限速度を超過している場合に、前記車速を表示するための前記虚像における前記車速を示す文字に対して所定の装飾を行う、ヘッドアップディスプレイ装置。
JP2016062925A 2016-02-05 2016-03-28 ヘッドアップディスプレイ装置 Pending JP2019059248A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016062925A JP2019059248A (ja) 2016-03-28 2016-03-28 ヘッドアップディスプレイ装置
PCT/JP2016/080181 WO2017134861A1 (ja) 2016-02-05 2016-10-12 ヘッドアップディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016062925A JP2019059248A (ja) 2016-03-28 2016-03-28 ヘッドアップディスプレイ装置

Publications (1)

Publication Number Publication Date
JP2019059248A true JP2019059248A (ja) 2019-04-18

Family

ID=66177944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016062925A Pending JP2019059248A (ja) 2016-02-05 2016-03-28 ヘッドアップディスプレイ装置

Country Status (1)

Country Link
JP (1) JP2019059248A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151903A (ja) * 2017-03-14 2018-09-27 アイシン・エィ・ダブリュ株式会社 虚像表示装置及びコンピュータプログラム
JP2020181485A (ja) * 2019-04-26 2020-11-05 ファナック株式会社 無人搬送ロボットシステム
JP2020201824A (ja) * 2019-06-12 2020-12-17 トヨタ自動車株式会社 情報表示装置
JP2021012231A (ja) * 2019-07-03 2021-02-04 日本精機株式会社 ヘッドアップディスプレイ装置
JP2021068015A (ja) * 2019-10-18 2021-04-30 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2021076741A (ja) * 2019-11-11 2021-05-20 矢崎総業株式会社 表示装置及びヘッドアップディスプレイ装置
JP2021085992A (ja) * 2019-11-27 2021-06-03 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
JP2021089578A (ja) * 2019-12-04 2021-06-10 株式会社Soken 表示制御装置
JP2021091334A (ja) * 2019-12-11 2021-06-17 株式会社デンソー 表示制御装置
JP2021128400A (ja) * 2020-02-12 2021-09-02 本田技研工業株式会社 緊急車両待避制御装置及び緊急車両待避制御方法
JP2022065806A (ja) * 2020-10-16 2022-04-28 日本精機株式会社 表示制御装置、表示装置、及び画像の表示制御方法
KR20220080582A (ko) * 2020-12-07 2022-06-14 한국자동차연구원 Hud 제어 시스템 및 그 방법
KR20220080798A (ko) * 2020-12-07 2022-06-15 한국자동차연구원 Hud 제어 시스템 및 그 방법
WO2022137558A1 (ja) * 2020-12-25 2022-06-30 日産自動車株式会社 情報処理装置及び情報処理方法
CN114730096A (zh) * 2019-11-27 2022-07-08 京瓷株式会社 平视显示器系统以及移动体
CN115118951A (zh) * 2022-06-06 2022-09-27 东软集团股份有限公司 数据投影方法、装置、存储介质及车辆
KR102447826B1 (ko) * 2021-03-30 2022-09-29 쌍용자동차 주식회사 차량의 헤드업 디스플레이 표시제어방법
JP2022148856A (ja) * 2021-03-24 2022-10-06 本田技研工業株式会社 車両用表示装置、表示制御方法、及びプログラム
JP2022549148A (ja) * 2019-10-24 2022-11-24 ネイバーラボス コーポレーション 走行情報案内方法およびシステム

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151903A (ja) * 2017-03-14 2018-09-27 アイシン・エィ・ダブリュ株式会社 虚像表示装置及びコンピュータプログラム
JP7000378B2 (ja) 2019-04-26 2022-01-19 ファナック株式会社 無人搬送ロボットシステム
JP2020181485A (ja) * 2019-04-26 2020-11-05 ファナック株式会社 無人搬送ロボットシステム
CN111923005A (zh) * 2019-04-26 2020-11-13 发那科株式会社 无人搬运机器人系统
US11628573B2 (en) 2019-04-26 2023-04-18 Fanuc Corporation Unmanned transfer robot system
JP2020201824A (ja) * 2019-06-12 2020-12-17 トヨタ自動車株式会社 情報表示装置
JP7151633B2 (ja) 2019-06-12 2022-10-12 トヨタ自動車株式会社 情報表示装置
JP2021012231A (ja) * 2019-07-03 2021-02-04 日本精機株式会社 ヘッドアップディスプレイ装置
JP7279548B2 (ja) 2019-07-03 2023-05-23 日本精機株式会社 ヘッドアップディスプレイ装置
JP2021068015A (ja) * 2019-10-18 2021-04-30 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11814041B2 (en) 2019-10-18 2023-11-14 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium that performs risk calculation for traffic participant
US12017531B2 (en) 2019-10-24 2024-06-25 Naver Labs Corporation Travel notification method and system including a head-up display that displays the trajectory of a vehicle
JP7365500B2 (ja) 2019-10-24 2023-10-19 ネイバーラボス コーポレーション 走行情報案内方法およびシステム
JP2022549148A (ja) * 2019-10-24 2022-11-24 ネイバーラボス コーポレーション 走行情報案内方法およびシステム
JP2021076741A (ja) * 2019-11-11 2021-05-20 矢崎総業株式会社 表示装置及びヘッドアップディスプレイ装置
US11881130B2 (en) 2019-11-27 2024-01-23 Kyocera Corporation Head-up display system and moving body
WO2021106663A1 (ja) * 2019-11-27 2021-06-03 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
JP7332449B2 (ja) 2019-11-27 2023-08-23 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
JP2021085992A (ja) * 2019-11-27 2021-06-03 京セラ株式会社 ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
CN114730096A (zh) * 2019-11-27 2022-07-08 京瓷株式会社 平视显示器系统以及移动体
CN114746795A (zh) * 2019-11-27 2022-07-12 京瓷株式会社 平视显示器模块、平视显示器系统以及移动体
US20220402361A1 (en) * 2019-11-27 2022-12-22 Kyocera Corporation Head-up display module, head-up display system, and movable body
JP2021089578A (ja) * 2019-12-04 2021-06-10 株式会社Soken 表示制御装置
JP7351734B2 (ja) 2019-12-04 2023-09-27 株式会社Soken 表示制御装置
JP2021091334A (ja) * 2019-12-11 2021-06-17 株式会社デンソー 表示制御装置
JP7415516B2 (ja) 2019-12-11 2024-01-17 株式会社デンソー 表示制御装置
JP2021128400A (ja) * 2020-02-12 2021-09-02 本田技研工業株式会社 緊急車両待避制御装置及び緊急車両待避制御方法
JP7055827B2 (ja) 2020-02-12 2022-04-18 本田技研工業株式会社 緊急車両待避制御装置及び緊急車両待避制御方法
JP2022065806A (ja) * 2020-10-16 2022-04-28 日本精機株式会社 表示制御装置、表示装置、及び画像の表示制御方法
KR20220080798A (ko) * 2020-12-07 2022-06-15 한국자동차연구원 Hud 제어 시스템 및 그 방법
KR20220080582A (ko) * 2020-12-07 2022-06-14 한국자동차연구원 Hud 제어 시스템 및 그 방법
KR102527044B1 (ko) * 2020-12-07 2023-05-02 한국자동차연구원 Hud 제어 시스템 및 그 방법
KR102527043B1 (ko) * 2020-12-07 2023-04-28 한국자동차연구원 Hud 제어 시스템 및 그 방법
WO2022137558A1 (ja) * 2020-12-25 2022-06-30 日産自動車株式会社 情報処理装置及び情報処理方法
US11760202B2 (en) 2021-03-24 2023-09-19 Honda Motor Co., Ltd. Vehicle display device, display control method, and storage medium
JP2022148856A (ja) * 2021-03-24 2022-10-06 本田技研工業株式会社 車両用表示装置、表示制御方法、及びプログラム
KR102447826B1 (ko) * 2021-03-30 2022-09-29 쌍용자동차 주식회사 차량의 헤드업 디스플레이 표시제어방법
CN115118951A (zh) * 2022-06-06 2022-09-27 东软集团股份有限公司 数据投影方法、装置、存储介质及车辆

Similar Documents

Publication Publication Date Title
JP2019059248A (ja) ヘッドアップディスプレイ装置
WO2017134861A1 (ja) ヘッドアップディスプレイ装置
JP6717856B2 (ja) ヘッドアップディスプレイ装置
JP6629889B2 (ja) ヘッドアップディスプレイ装置
WO2018070193A1 (ja) ヘッドアップディスプレイ装置
KR101908308B1 (ko) 차량용 램프
US20170161009A1 (en) Vehicular display device
JP2019059247A (ja) ヘッドアップディスプレイ装置
JP2023024825A (ja) 車両
JP6262111B2 (ja) 車両用表示装置
WO2011108091A1 (ja) 車載用表示装置及び表示方法
JP2015134521A (ja) 車両情報表示制御装置
JP2019113809A (ja) ヘッドアップディスプレイ装置
JP2010143520A (ja) 車載用表示システム及び表示方法
JP2017094882A (ja) 虚像生成システム、虚像生成方法及びコンピュータプログラム
WO2019097762A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2019012236A (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP7111582B2 (ja) ヘッドアップディスプレイシステム
CN113126295A (zh) 一种基于环境显示的抬头显示设备
JP2015074391A (ja) ヘッドアップディスプレイ装置
JP6801508B2 (ja) ヘッドアップディスプレイ装置
US20210197863A1 (en) Vehicle control device, method, and program
JP6102628B2 (ja) ヘッドアップディスプレイ装置
US11345364B2 (en) Attention calling device and attention calling method
US10914948B2 (en) Display device, display control method, and storage medium