JP2020001589A - 車両用表示制御装置、車両用表示制御方法、及び制御プログラム - Google Patents
車両用表示制御装置、車両用表示制御方法、及び制御プログラム Download PDFInfo
- Publication number
- JP2020001589A JP2020001589A JP2018124010A JP2018124010A JP2020001589A JP 2020001589 A JP2020001589 A JP 2020001589A JP 2018124010 A JP2018124010 A JP 2018124010A JP 2018124010 A JP2018124010 A JP 2018124010A JP 2020001589 A JP2020001589 A JP 2020001589A
- Authority
- JP
- Japan
- Prior art keywords
- display
- images
- image
- vehicle
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000003068 static effect Effects 0.000 claims description 55
- 238000002834 transmittance Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 56
- 230000006870 function Effects 0.000 description 26
- 238000012544 monitoring process Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
- B60K35/232—Head-up displays [HUD] controlling the projection distance of virtual images depending on the condition of the vehicle or the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
Landscapes
- Engineering & Computer Science (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】投影部材へ画像を投影することによって車両の前景に虚像を重畳表示させる際に、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、それぞれの画像の意図する内容がドライバに伝わり難くなることを抑える。【解決手段】HUD装置220を制御するHCU20であって、表示器に描画する画像の内容を定めるための内容決定用情報を取得する決定用情報取得部201と、決定用情報取得部201で取得する内容決定用情報に応じて表示器に、動的物標グループ、静的物標グループ、及び路面グループを含む複数のグループに分類される複数グループの画像を、グループ別にレイヤを分けて1つの表示器に描画する描画制御部211とを備え、描画制御部211は、表示器に画像を描画するレイヤ別にその画像の視認性を異ならせるように描画する。【選択図】図3
Description
本開示は、車両用表示制御装置、車両用表示制御方法、及び制御プログラムに関するものである。
従来、ウインドシールド等の投影部材へ画像を投影することによって車両の前景に虚像を重畳表示させるヘッドアップディスプレイ(以下、HUD)が知られている。例えば特許文献1には、走行案内情報としての案内矢印といった情報伝達子を交差点の道路に重なるようにヘッドアップディスプレイで表示させる技術が開示されている。また、特許文献1には、車両前方に存在する障害物と情報伝達子が重なってしまう場合に、情報伝達子を表示させる位置をずらしたり、情報伝達子の表示のうちの障害物と重なる部分を消したりする技術が開示されている。
しかしながら、特許文献1に開示の技術では、車両前方に存在する障害物と情報伝達子の表示位置が重なることを想定しているものの、複数種類の情報伝達子の表示位置が重なる場合は想定していない。よって、特許文献1に開示の技術では、複数種類の情報伝達子の表示位置が重なる場合にそれぞれの画像が混ざり合ってそれぞれの区別がつき難くなり、それぞれの表示の意図する内容がドライバに伝わり難くなるおそれがある。
この開示のひとつの目的は、投影部材へ画像を投影することによって車両の前景に虚像を重畳表示させる際に、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、それぞれの画像の意図する内容がドライバに伝わり難くなることを抑える車両用表示制御装置、車両用表示制御方法、及び制御プログラムを提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
上記目的を達成するために、本開示の車両用表示制御装置は、車両で用いられ、表示器に描画する画像を投影部材へ投影することによって車両の前景に虚像を重畳表示させるヘッドアップディスプレイ装置を制御する車両用表示制御装置であって、表示器に描画する画像の内容を定めるための情報である内容決定用情報を取得する決定用情報取得部(201)と、決定用情報取得部で取得する内容決定用情報に応じて、表示器に、表示項目の種別単位で、動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループを含む複数のグループに分類される複数グループの画像を、グループ別にレイヤを分けて1つの表示器に描画する描画制御部(211)とを備え、描画制御部は、表示器に画像を描画するレイヤ別にその画像の視認性を異ならせるよう描画する。
上記目的を達成するために、本開示の車両用表示制御方法は、車両で用いられ、表示器に描画する画像を投影部材へ投影することによって車両の前景に虚像を重畳表示させるヘッドアップディスプレイ装置を制御する車両用表示制御方法であって、表示器に描画する画像の内容を定めるための情報である内容決定用情報を取得し、取得する内容決定用情報に応じて、表示器に、表示項目の種別単位で、動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループを含む複数のグループに分類される複数グループの画像を、グループ別にレイヤを分けて1つの表示器に描画するとともに、表示器に画像を描画するレイヤ別にその画像の視認性を異ならせるよう描画する。
上記目的を達成するために、本開示の制御プログラムは、コンピュータを、車両で用いられ、表示器に描画する画像を投影部材へ投影することによって車両の前景に虚像を重畳表示させるヘッドアップディスプレイ装置の表示器に描画する画像の内容を定めるための情報である内容決定用情報を取得する決定用情報取得部(201)と、決定用情報取得部で取得する内容決定用情報に応じて、表示器に、表示項目の種別単位で、動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループを含む複数のグループに分類される複数グループの画像を、グループ別にレイヤを分けて1つの表示器に描画するとともに、表示器に画像を描画するレイヤ別にその画像の視認性を異ならせるよう描画する描画制御部(211)として機能させる。
これらによれば、表示項目の種別単位で複数のグループに分類される、動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループを少なくとも含む複数グループの画像を、グループ別にレイヤを分けて、レイヤ別にその画像の視認性を異ならせるよう1つの表示器に描画する。よって、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、少なくとも動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループについては、ドライバがそれぞれを区別して認識することが可能になる。動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループという分類は、車両の前景への重畳表示ならではの、車両の前方空間の観点を加えたグループ分けである。従って、少なくともこれらの車両の前方空間の観点を加えたグループのそれぞれをドライバが区別して認識することが可能になることにより、重畳表示におけるそれぞれの画像の意図する内容をドライバが認識し易くなる。その結果、投影部材へ画像を投影することによって車両の前景に虚像を重畳表示させる際に、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、それぞれの画像の意図する内容がドライバに伝わり難くなることを抑えることが可能になる。
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
(実施形態1)
<車両システム1の概略構成>
以下、本実施形態について図面を用いて説明する。車両システム1は、自動車といった路上を走行する車両で用いられるものである。車両システム1は、一例として、図1に示すように、HMI(Human Machine Interface)システム2、ADAS(Advanced Driver Assistance Systems)ロケータ3、周辺監視センサ4、車両状態センサ5、車両制御ECU6、ナビゲーション装置7、及び自動運転ECU8を含んでいる。HMIシステム2、ADASロケータ3、周辺監視センサ4、車両状態センサ5、車両制御ECU6、ナビゲーション装置7、及び自動運転ECU8は、例えば車内LANに接続されているものとする。
<車両システム1の概略構成>
以下、本実施形態について図面を用いて説明する。車両システム1は、自動車といった路上を走行する車両で用いられるものである。車両システム1は、一例として、図1に示すように、HMI(Human Machine Interface)システム2、ADAS(Advanced Driver Assistance Systems)ロケータ3、周辺監視センサ4、車両状態センサ5、車両制御ECU6、ナビゲーション装置7、及び自動運転ECU8を含んでいる。HMIシステム2、ADASロケータ3、周辺監視センサ4、車両状態センサ5、車両制御ECU6、ナビゲーション装置7、及び自動運転ECU8は、例えば車内LANに接続されているものとする。
ADASロケータ3は、GNSS(Global Navigation Satellite System)受信機、及び慣性センサを備えている。GNSS受信機は、複数の人工衛星からの測位信号を受信する。慣性センサは、例えばジャイロセンサ及び加速度センサを備える。ADASロケータ3は、GNSS受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、自車の車両位置を逐次測位する。なお、車両位置の測位には、自車に搭載された車速センサから逐次出力される検出結果から求めた走行距離等を用いる構成としてもよい。そして、測位した車両位置を車内LANへ出力する。
ADASロケータ3は、地図データとして、道路形状及び構造物の特徴点の点群からなる三次元地図を格納する地図データベース(以下、地図DB)を備える構成としてもよい。ADASロケータ3は、この三次元地図を用いる場合、GNSS受信機を用いずに、この三次元地図と、道路形状及び構造物の特徴点の点群を検出するLIDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)等の周辺監視センサ4での検出結果とを用いて、自車の車両位置を特定する構成としてもよい。なお、この三次元地図の地図データは、通信モジュールを介して自車の外部から取得する構成としてもよい。
周辺監視センサ4は、自車の周辺環境を監視する自律センサである。一例として、周辺監視センサ4は、歩行者,人間以外の動物、自車以外の車両等の移動する動的物標、及び路上の落下物,ガードレール、縁石、及び樹木等の静止している静的物標といった自車周辺の障害物を検出する。他にも、自車周辺の走行区画線等の路面標示を検出する。周辺監視センサ4は、例えば、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、LIDAR等のセンサである。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として車内LANへ逐次出力する。ソナー、ミリ波レーダ、LIDAR等の探査波を送信するセンサは、検出対象によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として車内LANへ逐次出力する。
車両状態センサ5は、自車の各種状態を検出するためのセンサ群である。車両状態センサ5としては、自車の車速を検出する車速センサ,自車の操舵角を検出する操舵センサ,自車のアクセルペダルの開度を検出するアクセルポジションセンサ,自車のブレーキペダルの踏み込み量を検出するブレーキ踏力センサ等がある。車両状態センサ5は、検出するセンシング情報を車内LANへ出力する。なお、車両状態センサ5で検出するセンシング情報は、自車に搭載されるECUを介して車内LANへ出力される構成であってもよい。
車両制御ECU6は、自車の加減速制御及び/又は操舵制御を行う電子制御装置である。車両制御ECU6としては、操舵制御を行う操舵ECU、加減速制御を行うパワーユニット制御ECU及びブレーキECU等がある。車両制御ECU6は、自車に搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、車輪速センサ等の各センサから出力される検出信号を取得し、電子制御スロットル、ブレーキアクチュエータ、EPS(Electric Power Steering)モータ等の各走行制御デバイスへ制御信号を出力する。また、車両制御ECU6は、上述の各センサの検出信号を車内LANへ出力可能である。
ナビゲーション装置7は、地図データを格納した地図DBを備え、設定される目的地までの時間優先,距離優先等の条件を満たす経路を探索し、その探索した経路に従った経路案内を行う。地図DBは、不揮発性メモリであって、リンクデータ、セグメントデータ、ノードデータ、道路形状等の地図データを格納しているものとすればよい。なお、地図データには、道路形状及び構造物の特徴点の点群からなる三次元地図を含む構成であってもよい。
自動運転ECU8は、車両制御ECU6を制御することにより、ドライバによる運転操作の代行を行う自動運転機能を実行する。自動運転ECU8は、ADASロケータ3から取得する自車の車両位置及び三次元地図の地図データ,周辺監視センサ4でのセンシング情報,ナビゲーション装置7から取得する地図データをもとに、自車の走行環境を認識する。一例としては、周辺監視センサ4でのセンシング情報から、自車周辺の物体の形状及び移動状態を認識したり、自車周辺の路面標示の形状を認識したりする。そして、自車の車両位置及び地図データと組み合わせることで、実際の走行環境を三次元で再現した仮想空間を生成する。
また、自動運転ECU8は、認識した走行環境に基づき、自動運転機能によって自車を自動走行させるための走行計画を生成する。走行計画としては、長中期の走行計画と、短期の走行計画とが生成される。長中期の走行計画では、設定された目的地に自車を向かわせるための経路が規定される。長中期の走行計画については、ナビゲーション装置7で探索した経路を用いる構成としてもよい。短期の走行計画では、生成した自車の周囲の仮想空間を用いて、長中期の走行計画に従った走行を実現するための予定走行軌跡が規定される。具体的に、車線追従及び車線変更のための操舵、速度調整のための加減速、並びに衝突回避のための急制動等の実行が、短期の走行計画に基づいて決定される。
HMIシステム2は、HCU(Human Machine Interface Control Unit)20、操作デバイス21、及び表示装置22を備えており、自車のユーザであるドライバからの入力操作を受け付けたり、自車のドライバに向けて情報を提示したりする。操作デバイス21は、自車のドライバが操作するスイッチ群である。操作デバイス21は、各種の設定を行うために用いられる。例えば、操作デバイス21としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ等がある。表示装置22としては、ヘッドアップディスプレイ(HUD)装置220を用いる。ここで、図2を用いてHUD装置220について説明を行う。
図2に示すようにHUD装置220は、自車のインストルメントパネル12に設けられ、表示器221、平面ミラー222、及び凹面ミラー223を有する。HUD装置220は、HCU20の制御下で画像をフロントウインドシールド10に投影する。HUD装置220は、表示器221によって形成される表示画像を、平面ミラー222及び凹面ミラー223といった光学系を通じて、投影部材としてのフロントウインドシールド10に既定された投影領域に投影する。より詳しくは、表示器221に表示される画像(つまり、表示画像)が、平面ミラー222で反射された後、凹面ミラー223により拡大され、フロントウインドシールド10に既定された投影領域に投影される。投影領域は、例えば運転席前方に位置するものとする。表示器221は、例えばTFT液晶パネルであって、バックライトからの光を透過させることで、液晶パネルに描画する表示画像の光を出力する。
フロントウインドシールド10によって車室内側に反射される表示画像の光束は、運転席に着座するドライバによって知覚される。また、透光性ガラスにより形成されるフロントウインドシールド10を透過してくる、自車の前方に存在する風景としての前景からの光束も、運転席に着座するドライバによって知覚される。これにより、ドライバは、フロントウインドシールド10の前方にて結像される表示画像の虚像100を、前景の一部と重ねて視認可能となる。つまり、HUD装置220は、自車の前景に虚像100を重畳表示し、所謂AR(Augmented Reality)表示を実現する。
表示画像としては、重畳表示させる前景中の対象に合わせて位置を変化させる移動属性の画像と、前景にかかわらず位置が定まっている固定属性の画像とがある。移動属性の画像の詳細については後述する。固定属性の画像としては、自車の計器の情報を示す画像,自動運転機能等の自車の機能の設定状態を示す画像,自動運転機能の動作状態を示す画像,走行中の道路の交通標識の内容を示す画像,ドライバのモニタリング状態を示す画像等がある。自車の計器の情報を示す画像としては、車速の値を示す画像等が挙げられる。自動運転機能等の自車の機能の設定状態を示す画像としては、ACC(Adaptive Cruise Control)機能等の自動運転機能のオンオフであったり、経路案内機能のオンオフであったりを示すアイコン画像等が挙げられる。自動運転機能の動作状態を示す画像としては、自動運転機能の動作の有無を示すアイコン画像等が挙げられる。走行中の道路の規制情報を示す画像としては、走行中の道路の速度規制標識等の道路標識の内容を示すアイコン画像等が挙げられる。ドライバのモニタリング状態を示す画像としては、ドライバによるステアリングホイールの把持の有無を示すアイコン画像等が挙げられる。なお、固定属性表示は、ここに挙げた一例に限らない。
本実施形態では、平面ミラー222及び凹面ミラー223といった光学系に対して表示器221を傾けることで、ドライバから見て虚像100の上方が下方よりも遠位側により見え易くなるように虚像100を自車の前後方向に傾けて表示させる場合を例に挙げて説明を行う。これにより、虚像100がドライバの近位側に見えるように表示させるための表示器と虚像100がドライバの遠位側に見えるように表示させるための表示器との2つの表示器を用いなくても、虚像100が近位側から遠位側にわたって表示されているように見せ易くなる。なお、必ずしもこの構成に限らず、虚像100を自車の前後方向に傾けずに表示させる構成としてもよい。
本実施形態では、表示器221がTFT液晶パネルである場合を例に挙げて以降の説明を行うが、必ずしもこれに限らない。例えば、表示画像を描画可能であれば、他の方式の表示器であっても構わず、光学系も平面ミラー222の代わりに反射型のスクリーンを用いるなど上述したものに限らない。なお、HUD装置220が表示画像を投影する投影部材は、フロントウインドシールド10に限らず、透光性コンバイナであっても構わない。また、表示装置22として、HUD装置220の他にも、画像を表示する装置を用いる構成としてもよい。一例としては、コンビネーションメータのディスプレイ,CID(Center Information Display)等がある。
HCU20は、プロセッサ、揮発性メモリ、不揮発性メモリ、I/O、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、HUD装置220に接続されている。HCU20は、不揮発性メモリに記憶された制御プログラムを実行することにより、HUD装置220での表示を制御する。このHCU20が車両用表示制御装置に相当する。プロセッサがこの制御プログラムを実行することは、制御プログラムに対応する車両用表示制御方法が実行されることに相当する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。なお、HUD装置220による表示の制御に関するHCU20の構成については以下で詳述する。
<HCU20の概略構成>
ここで、図3を用いてHCU20の概略構成についての説明を行う。HCU20は、HUD装置220での表示制御に関して、図3に示すように、情報処理ブロック200及び表示制御ブロック210を機能ブロックとして備える。以下では、便宜上、移動属性の画像及び固定属性の画像のうち、固定属性の画像の表示制御についての説明は省略し、移動属性の画像の表示制御についての説明を行う。なお、HCU20が実行する機能の一部又は全部を、一つ或いは複数のIC等によりハードウェア的に構成してもよい。また、HCU20が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
ここで、図3を用いてHCU20の概略構成についての説明を行う。HCU20は、HUD装置220での表示制御に関して、図3に示すように、情報処理ブロック200及び表示制御ブロック210を機能ブロックとして備える。以下では、便宜上、移動属性の画像及び固定属性の画像のうち、固定属性の画像の表示制御についての説明は省略し、移動属性の画像の表示制御についての説明を行う。なお、HCU20が実行する機能の一部又は全部を、一つ或いは複数のIC等によりハードウェア的に構成してもよい。また、HCU20が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
情報処理ブロック200は、車内LANに出力された種々の情報のうちで、表示制御ブロック210での表示制御に必要な情報を選択的に取得する。加えて情報処理ブロック200は、取得した情報を表示制御に適した状態に変換する処理を行う。情報処理ブロック200は、図3に示すように、決定用情報取得部201をサブ機能ブロックとして備える。
決定用情報取得部201は、HUD装置220で表示させる内容を定めるために必要な情報を取得する。言い換えると、HUD装置220の表示器221に描画する画像の内容を定めるための情報(以下、内容決定用情報)を取得する。内容決定用情報の一例としては、ADASロケータ3から出力される車両位置,ナビゲーション装置7で探索する経路,地図DBに格納されている地図データ,自動運転ECU8で認識した走行環境,自動運転ECU8で生成する走行計画,操作デバイス21での操作入力情報,自動運転ECU8での自動運転機能の設定及び動作情報等がある。
表示制御ブロック210は、情報処理ブロック200で取得する情報をもとに、HUD装置220での表示に関する制御(つまり、表示制御)を行う。図3に示すように、表示制御ブロック210は、描画制御部211及び調停部217をサブ機能ブロックとして備える。
描画制御部211は、HUD装置220の表示器221に描画する画像の画像データを、情報処理ブロック200で取得する情報に基づいて生成する。描画制御部211は、生成する画像データを表示器221に出力することで、表示器221に移動属性の画像を描画する。描画制御部211は、表示画像の内容及び配置の態様を、決定用情報取得部201で取得する内容決定用情報に応じて変更する。
描画制御部211は、表示項目の種別単位で複数のグループに分類される複数グループの画像を、グループ別にレイヤを分けて1つの表示器221に描画する。描画制御部211は、図3に示すように、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216を有し、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216がそれぞれ異なるグループの画像を描画する。つまり、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216がそれぞれ異なるレイヤに描画することになる。
ここで、表示項目の種別単位で分類される複数のグループについて図4〜図7を用いて説明を行う。まず、表示項目の種別としては、図4に示すように、大分類として警告系,応答系,情報系に区分される。警告系の表示項目は、ドライバが危険回避のために直近に対応する必要性の高い内容が表示される表示項目である。警告系の表示項目は、さらに緊急性の高さによって、「緊急(Emergency)」、「警告(Warning)」、「注意(Caution)」に細分化して分類される。表示項目「緊急」,「警告」,「注意」は、「緊急」の緊急性が最も高く、続いて「警告」の緊急性が高く、「注意」の緊急性が最も低い。
表示項目「緊急」は、例えばドライバに緊急警告を行って操作を促す表示である。一例としては、衝突被害軽減ブレーキ機能における警告,前方衝突予測警報機能における警告等の危機回避のためのドライバへ運転操作を要求する表示が挙げられる。
表示項目「警告」は、例えば事故の危険性のある情報についてドライバへ警告を行う表示である。一例としては、死角からの他車の割り込み,歩行者の接近等の直近の危険性のある障害物との距離に応じた情報の強調表示が挙げられる。
表示項目「注意」は、例えばドライバに注意を促す表示である。一例としては、ドライバをモニタリングするシステムで検出したドライバが確認を怠った領域等の、ドライバの意識外にあると推定される情報についての注意喚起表示が挙げられる。警告系の表示項目は、例えば危機回避の対象の領域若しくはその近傍に表示させるものとすればよい。
応答系の表示項目は、ドライバの操作に対する反応を伝える表示項目である。応答系の表示項目は、警告系の表示項目よりも緊急性が低い。応答系の表示項目としては、「応答(Response)」がある。表示項目「応答」の一例としては、ACC(Adaptive Cruise Control)機能における車間距離設定変更を伝える表示が挙げられる。この場合、車間距離設定変更を伝える表示は、先行車に表示させたり、自車の走行車線に表示させたり、自車と先行車との間の領域に表示させたりすればよい。
通知系の表示項目は、ドライバが危険回避のために直近に対応する必要性の低い内容であったり、危険回避と関係しない内容であったりが表示される表示項目である。通知系の表示項目は、緊急系の表示項目,応答系の表示項目よりも緊急性が低い。通知系の表示項目は、さらに緊急度の高さによって「通知(Notice)」、「情報(Information)」に細分化して分類される。表示項目「情報」は、表示項目「通知」よりも緊急性が低い。
表示項目「通知」は、自車の移動,安全運転に関係はするものの、ドライバが危険回避のために直近に対応する必要性の低い内容の表示であり、例えばドライバに意識を向けさせる通知を行う表示である。表示項目「通知」は、車両前方の空間的な観点によって、「動的物標(Dynamic)」,「静的物標(Static)」,「路面(Road)」にさらに細分化して分類される。
表示項目「動的物標」は、時間変化の大きい表示であって、周辺車両,歩行者等の動的物標についての表示である。一例としては、周辺車両,歩行者等の動的物標の存在を通知する表示としての、動的物標を指し示す表示,動的物標を中心に路面に沿って拡がる波紋状の表示等が挙げられる。また、先行車,自車と先行車との間,自車の走行車線等に表示させる、前方車車間時間を示す情報の表示がある。他にも、歩行者を指し示したり囲ったりする、ナイトビジョンシステムでの歩行者認識結果を示す表示がある。
表示項目「静的物標」は、時間変化の小さい表示であって、標識,路側物,落下物等の静的物標についての表示である。一例としては、静的物標の存在を通知する表示としての、静的物標を指し示す表示,静的物標を囲う表示等が挙げられる。
表示項目「路面」は、時間変化の小さい表示であって、経路,車線等の路面についての表示である。一例としては、ターンバイターン(以下、TBT)での自車の走行予定経路を示すための、走行予定経路の路面に沿った線状若しくはシート状の表示が挙げられる。また、自車の走行車線を示すレーンガイダンスのための、走行予定車線の区画線を疑似的に発光させる表示,走行予定車線の形状に沿ってその車線内の範囲を示す線状若しくはシート状の表示が挙げられる。
表示項目「情報」は、ドライバへ情報を与える表示であり、危険回避と直接的に関係しない内容の表示である。一例としては、走行予定経路と無関係な周辺施設の情報,休憩提案等のドライバへの情報提供が挙げられる。この場合、周辺施設の情報をその周辺施設に重畳表示させたり、休憩提案を提案する施設に重畳表示させたりすればよい。
本実施形態では、これらの表示項目を、情報そのものの緊急性に加え、車両前方の空間的な観点も加えて優先度設定し、5つのグループに分けて分類している。5つのグループは、図5に示すように、優先度の高いものから順に、緊急グループ,動的物標グループ,静的物標グループ,路面グループ,拡張情報グループである。
緊急グループは、他のグループと比較して緊急性の高い表示項目の画像のグループである。緊急グループには、警告系の表示項目「緊急」,「応答」,「注意」の画像、及び応答系の表示項目「応答」の画像が分類される。緊急関連部212が、緊急グループに分類される画像の描画を担う。緊急関連部212は、決定用情報取得部201で取得する内容決定用情報をもとに、緊急グループに分類される画像として表示する表示内容を決定する。一例としては、内容決定用情報に、歩行者が警告を要する距離まで接近してきていることを示す情報が含まれる場合に、この歩行者の位置に警告マークの画像(図6のWa参照)を表示させる表示内容を決定する等が挙げられる。図6は、前景に重畳表示される画像の一例を示した図であって、Viが投影領域を示している。緊急関連部212は、決定した表示内容の表示の調停を要求する表示要求を調停部217に送る。表示要求には、グループの種類,表示内容の対象の位置等の情報を付与すればよい。
動的物標グループは、ドライバが危険回避のために直近に対応する必要性の低い動的物標についての画像のグループである。動的物標グループには、通知系の表示項目「動的物標」の画像が分類される。動的物標関連部213が、動的物標グループに分類される画像の描画を行う。動的物標関連部213は、決定用情報取得部201で取得する内容決定用情報をもとに、動的物標グループに分類される画像として表示する表示内容を決定する。一例としては、内容決定用情報に、警告を要する距離にまでは接近してきていない歩行者等の動的物標の存在を示す情報が含まれる場合に、この歩行者等の動的物標の位置にこの動的物標の存在を示す波紋状の画像(図6のOm参照)を表示させる表示内容を決定する等が挙げられる。動的物標関連部213でも、緊急関連部212と同様にして表示要求を調停部217に送る。
静的物標グループは、ドライバが危険回避のために直近に対応する必要性の低い静的物標についての画像のグループである。静的物標グループには、通知系の表示項目「静的物標」の画像が分類される。静的物標関連部214が、静的物標グループに分類される画像の描画を行う。静的物標関連部214は、決定用情報取得部201で取得する内容決定用情報をもとに、静的物標グループに分類される画像として表示する表示内容を決定する。一例としては、内容決定用情報に、警告を要する距離にまでは接近してきていない落下物等の動的物標の存在を示す情報が含まれる場合に、この落下物等の静的物標の位置にこの静的物標の存在を示す画像(図7のSo参照)を表示させる表示内容を決定する等が挙げられる。静的物標関連部214でも、緊急関連部212と同様にして表示要求を調停部217に送る。
路面グループは、ドライバが危険回避のために直近に対応する必要性の低い路面についての画像のグループである。路面グループには、通知系の表示項目「路面」の画像が分類される。路面関連部215が、路面グループに分類される画像の描画を行う。路面関連部215は、決定用情報取得部201で取得する内容決定用情報をもとに、路面グループに分類される画像として表示する表示内容を決定する。一例としては、内容決定用情報に、自車の走行予定経路の情報が含まれる場合に、走行予定経路の路面に沿ったシート状の画像(図6のPa参照)を表示させる表示内容を決定する等が挙げられる。路面関連部215でも、緊急関連部212と同様にして表示要求を調停部217に送る。
動的物標グループ,静的物標グループ,路面グループは、車両前方の空間的な観点から優先度設定がされる。詳しくは、路面グループは、路面が動的物標,静的物標よりも下層に位置するため、動的物標グループ,静的物標グループよりも優先度を低く設定している。また、動的物標グループは、動的指標の位置の時間変化が路面,静的物標よりも大きいので、静的物標グループ,路面グループよりも優先度を高く設定している。
拡張情報グループは、危険回避と直接的に関係しない情報提供についての画像のグループである。拡張情報グループには、通知系の表示項目「情報」の画像が分類される。拡張情報関連部216が、拡張情報グループに分類される画像の描画を行う。拡張情報関連部216は、決定用情報取得部201で取得する内容決定用情報をもとに、拡張情報グループに分類される画像として表示する表示内容を決定する。一例としては、内容決定用情報に、ドライバへの提案の好ましい周辺施設の情報が含まれる場合に、周辺施設の位置に周辺施設の存在を示す画像(図6のEi参照)を表示させる表示内容を決定する等が挙げられる。拡張情報関連部216でも、緊急関連部212と同様にして表示要求を調停部217に送る。
調停部217は、描画制御部211の緊急関連部212,動的物標関連部213,静的物標関連部214,路面関連部215,拡張情報関連部216から送られてくる表示要求をもとに、各グループの画像の調停を行い、描画制御部211に制御指示を返す。具体的には、表示要求に付与されるグループの種類をもとに、優先度の高い種類のグループの画像の視認性を高める制御指示を描画制御部211に返す。
例えば優先度の高いグループほど画像のレイヤの重ね順を上位層にする制御指示を返す構成としてもよいし、優先度の高いグループのレイヤほど画像の透過率を他のレイヤに対して相対的に高くする構成としてもよいし、これらを複合させてもよい。なお、調停部217は、優先度の高いグループのレイヤの画像の透過率を上げることで透過率を相対的に高くする構成としてもよいし、優先度の低いグループのレイヤの画像の透過率を下げることで透過率を相対的に高くする構成としてもよい。なお、優先度の低いグループのレイヤの画像の透過率を下げることで優先度の高いグループのレイヤの画像の透過率を相対的に高くすることがより好ましい。
レイヤの重ね順が異なれば各グループの画像がそれぞれ区別し易くなり、各グループの画像の視認性が高まる。レイヤの重ね順が上位層になるグループの画像ほど、前景に重畳表示させた場合により上層側に見えるため、視認性がより高まる。また、画像の透過率が異なれば、見た目の輝度が異なるため、各グループの画像がそれぞれ区別し易くなり、各グループの画像の視認性が高まる。透過率の高い画像ほど、見た目の輝度が高くなるため、視認性がより高まる。なお、画像の透過率を変化させることで各グループの画像の見た目の輝度を変化させるのは、各グループの画像の表示を行うための表示器221が共通であってバックライトが共通であり、バックライトの輝度を各グループの画像で区別して切り替えることが困難なためである。
さらに、自車からの距離がより遠い対象に対する画像(以下、遠位対象画像)が、自車からの距離がより近い対象に対する画像(以下、近位対象画像)よりも上層に表示されてしまうことによる表示の違和感を防ぐために、調停部217は、以下の調停を行うことが好ましい。調停部217は、表示要求に付与されるグループの種類に加え、表示内容の対象の位置をもとに、遠位対象画像のグループが近位対象画像のグループよりも優先度が高い場合には、遠位対象画像のレイヤを近位対象画像のレイヤの重ね順よりも上位層にするのではなく、遠位対象画像の透過率を近位置対象画像に対して相対的に高くすることで視認性を高めればよい。一方、調停部217は、近位対象画像のグループが遠位対象画像のグループよりも優先度が高い場合には、近位対象画像のレイヤを遠位対象画像のレイヤの重ね順よりも上位層にすることで視認性を高めればよい。また、調停部217は、送られてくる表示要求が複数でない場合には、調停を行わずに、表示許可の制御指示を返す。
そして、描画制御部211は、調停部217から返される制御指示に従い、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216での描画を行う。描画制御部211は、制御指示によって重ね順が指示される場合には、この重ね順に従った順に各グループのレイヤを重ねて各グループの画像を描画する。また、描画制御部211は、制御指示によって透過率が指示される場合には、この透過率に従って各グループのレイヤの画像の透過率を変化させて描画する。これにより、描画制御部211は、表示器221に画像を描画するレイヤ別にその画像の視認性を異ならせるよう描画することになる。
一例として、描画制御部211の動的物標関連部213と路面関連部215とから調停部217に表示要求が送られ、動的物標のグループのレイヤの重ね順を路面グループのレイヤよりも上位層にする制御指示が描画制御部211に返される場合には、動的物標のグループのレイヤを路面グループのレイヤよりも上位層に重ねて動的物標のグループの画像と路面グループの画像とが描画されることになる。
また、描画制御部211は、各グループのレイヤを重ねて描画する際、各レイヤに描画される画像を合成する合成処理を行う。ここで、図8を用いて合成処理の一例について説明を行う。図8のHiが優先度の高いグループの画像(以下、高優先度画像)を示しており、Loが優先度の低いグループの画像(低優先度画像)を示している。
最も単純な合成処理としては、図8のAに示す単純な「上書き」がある。単純な「上書き」では、高優先度画像と低優先度画像とで透過率は変化させず、低優先度画像の上層に高優先度画像を重ね合わせて描画する。この場合、高優先度画像と重なる低優先度画像は、高優先度画像によって隠される。
また、「上書き」の変形例として、Bの「加算ブレンド」,Cの「ふち抜き」,Dの「透過率変化」がある。「加算ブレンド」では、高優先度画像と低優先度画像とで透過率は変化させず、低優先度画像の上層に高優先度画像を重ね合わせて描画するとともに、双方が重なる領域では双方のRGB値を加算して描画する。なお、双方のRGB値を乗算するとともに255で除算して描画する「乗算ブレンド」を用いる構成としてもよい。
「ふち抜き」では、高優先度画像と低優先度画像とで透過率は変化させず、低優先度画像の上層に高優先度画像を重ね合わせて描画するとともに、双方が重なる領域の境界部分にあたる下層の画像を白抜きするなどして除いて描画する。「透過率変化」では、低優先度画像の上層に高優先度画像を重ね合わせて描画するとともに、高優先度画像の透過率を低優先度画像に対して相対的に高くして描画する。この「透過率変化」は、「加算ブレンド」,「乗算ブレンド」,「ふち抜き」等と組み合わせてもよい。
ここでは、低優先度画像の上層に高優先度画像を重ね合わせて描画する場合の例について述べたが、低優先度画像の対象が高優先度画像の対象よりも自車からの距離が近い場合には、高優先度画像の上層に低優先度画像を重ね合わせつつ、高優先度画像の透過率を低優先度画像に対して相対的に高くして描画する構成とすればよい。この場合、前述の「加算ブレンド」若しくは「乗算ブレンド」によって下層の高優先度画像をより把握し易くすることが好ましい。また、描画制御部211は、合成処理の無駄を抑えるために、各グループのレイヤを重ねて描画する際、レイヤ別の画像の表示位置が重ならない場合には、合成処理を行わず、各グループのレイヤを重ねて描画することが好ましい。
なお、同じグループに分類される複数の画像を描画する場合には、描画制御部211が、新たに表示する画像ほど上層に重ねて描画したり、自車までの距離が近い対象についての画像ほど上層に重ねて描画したりする構成とすればよい。また、描画処理として3Dグラフィック描画処理を行う場合には、3Dグラフィックの技術として利用されている陰面処理を用いて、特定の視点から見えない部分の画像を消去して描画する構成としてもよい。陰面処理を用いる場合には、アイポイントを特定の視点とし、表示する画像の全画素のうち、例えばZ−バッファ法(Z buffer algorithm)によってアイポイントから見えない陰面を求めることで、自車のドライバから視認可能な範囲を推定すればよい。
<HCU20での虚像表示制御関連処理>
続いて、図9のフローチャートを用いて、HCU20でのHUD装置220での移動属性の画像の表示制御に関連する処理(以下、虚像表示制御関連処理)の流れの一例について説明を行う。図9のフローチャートは、HUD装置220の電源がオン且つHUD装置220の機能がオンになった場合に開始する構成とすればよい。HUD装置220の機能のオンオフは、操作デバイス21で受け付ける入力操作に応じて切り替えられる構成とすればよい。また、HUD装置220の電源のオンオフは、自車の内燃機関又はモータジェネレータを始動させるためのスイッチ(以下、パワースイッチ)のオンオフに応じて切り替えられる構成とすればよい。
続いて、図9のフローチャートを用いて、HCU20でのHUD装置220での移動属性の画像の表示制御に関連する処理(以下、虚像表示制御関連処理)の流れの一例について説明を行う。図9のフローチャートは、HUD装置220の電源がオン且つHUD装置220の機能がオンになった場合に開始する構成とすればよい。HUD装置220の機能のオンオフは、操作デバイス21で受け付ける入力操作に応じて切り替えられる構成とすればよい。また、HUD装置220の電源のオンオフは、自車の内燃機関又はモータジェネレータを始動させるためのスイッチ(以下、パワースイッチ)のオンオフに応じて切り替えられる構成とすればよい。
まず、ステップS1では、決定用情報取得部201が、車内LANに出力された種々の情報から、内容決定用情報を選択的に取得する。ステップS2では、S1で取得する内容決定用情報をもとに、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216の少なくともいずれかが表示要求を調停部217に送る場合(S2でYES)には、ステップS3に移る。一方、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216のいずれからも表示要求が調停部217に送られない場合(S2でNO)には、ステップS8に移る。
ステップS3では、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216のうちの複数が表示要求を調停部217に送る場合(S3でYES)には、ステップS4に移る。一方、緊急関連部212、動的物標関連部213、静的物標関連部214、路面関連部215、及び拡張情報関連部216のうちの1つのみが表示要求を調停部217に送る場合(S3でYES)には、ステップS6に移る。
ステップS4では、調停部217が、送られてくる複数の表示要求をもとに、各グループの画像の調停を行い、優先度の高い種類のグループの画像の視認性を高める制御指示を描画制御部211に返す。ステップS5では、描画制御部211が、調停部217から返される制御指示に従って、各レイヤに描画される画像を合成する合成処理をして描画を行い、ステップS8に移る。
一方、ステップS6では、調停部217が、送られてくる表示要求を許可する表示許可の制御指示を描画制御部211に返す。ステップS7では、描画制御部211が、調停部217から返される表示許可の制御指示に従って、表示要求を行った1つのグループの画像のみの描画を行い、ステップS8に移る。
ステップS8では、虚像表示制御関連処理の終了タイミングであった場合(S8でYES)には、虚像表示制御関連処理を終了する。一方、虚像表示制御関連処理の終了タイミングでなかった場合(S8でNO)には、S1に戻って処理を繰り返す。虚像表示制御関連処理の終了タイミングの一例としては、自車のパワースイッチがオフになった場合,HUD装置220の機能がオフになった場合等がある。
<実施形態1のまとめ>
実施形態1の構成によれば、表示項目の種別単位で複数のグループに分類される、警告グループ、動的物標グループ、静的物標グループ、路面グループ、及び拡張情報グループの画像を、グループ別にレイヤを分けて、レイヤ別にその画像の視認性を異ならせるよう1つの表示器221に描画する。よって、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、少なくとも警告グループ、動的物標グループ、静的物標グループ、路面グループ、及び拡張情報グループの画像については、ドライバがそれぞれを区別して認識することが可能になる。特に、動的物標グループ、静的物標グループ、及び路面グループという分類は、車両の前景への重畳表示ならではの、車両の前方空間の観点を加えたグループ分けである。従って、少なくともこれらの車両の前方空間の観点を加えたグループのそれぞれをドライバが区別して認識することが可能になることにより、重畳表示におけるそれぞれの画像の意図する内容をドライバが認識し易くなる。その結果、投影部材へ画像を投影することによって車両の前景に虚像を重畳表示させる際に、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、それぞれの画像の意図する内容がドライバに伝わり難くなることを抑えることが可能になる。
実施形態1の構成によれば、表示項目の種別単位で複数のグループに分類される、警告グループ、動的物標グループ、静的物標グループ、路面グループ、及び拡張情報グループの画像を、グループ別にレイヤを分けて、レイヤ別にその画像の視認性を異ならせるよう1つの表示器221に描画する。よって、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、少なくとも警告グループ、動的物標グループ、静的物標グループ、路面グループ、及び拡張情報グループの画像については、ドライバがそれぞれを区別して認識することが可能になる。特に、動的物標グループ、静的物標グループ、及び路面グループという分類は、車両の前景への重畳表示ならではの、車両の前方空間の観点を加えたグループ分けである。従って、少なくともこれらの車両の前方空間の観点を加えたグループのそれぞれをドライバが区別して認識することが可能になることにより、重畳表示におけるそれぞれの画像の意図する内容をドライバが認識し易くなる。その結果、投影部材へ画像を投影することによって車両の前景に虚像を重畳表示させる際に、表示項目の種類の異なる複数の画像を共通の投影部材へ投影して車両の前景にそれぞれの虚像を複合的に表示させる場合であっても、それぞれの画像の意図する内容がドライバに伝わり難くなることを抑えることが可能になる。
また、実施形態1の構成によれば、グループ別に画像の透過率を異ならせることで画像の視認性を異ならせることが可能であるので、各グループの画像を1つの表示器221で描画する場合であっても、それぞれの見た目の輝度を個別に切り替えることが容易に可能となる。
なお、実施形態1では、固定属性の画像の表示制御についての説明は省略したが、固定属性の画像についても、移動属性の画像とレイヤを分けて描画する構成とすればよい。この場合、基本的には固定属性の画像のレイヤを移動属性の画像よりも上位層のレイヤとして描画する構成とすればよい。一方、例外として、ドライバが緊急に対応すべき緊急情報が移動属性の画像に含まれる場合には、この移動属性の画像のレイヤを、固定属性の画像よりも上位層に表示されるレイヤとして描画する構成とすればよい。
(実施形態2)
実施形態1では、緊急グループ,動的物標グループ,静的物標グループ,路面グループ,拡張情報グループの5つのグループ別にレイヤを分けて描画する構成を示したが、必ずしもこれに限らない。例えば、表示項目の種類別にレイヤを分けて描画する構成としてもよい。この場合には、「緊急」,「警告」,「注意」,「応答」,「動的物標」,「静的物標」,「路面」,「情報」といった表示項目の種類別に描画するための表示項目の種類別の機能ブロックを、描画制御部211が有する構成とすればよい。この場合、表示項目別の画像の優先度は、高いものから順に、「緊急」,「警告」,「注意」,「応答」,「動的物標」,「静的物標」,「路面」,「情報」となる。また、この場合、表示要求に表示項目の種類を付与する構成とすればよい。
実施形態1では、緊急グループ,動的物標グループ,静的物標グループ,路面グループ,拡張情報グループの5つのグループ別にレイヤを分けて描画する構成を示したが、必ずしもこれに限らない。例えば、表示項目の種類別にレイヤを分けて描画する構成としてもよい。この場合には、「緊急」,「警告」,「注意」,「応答」,「動的物標」,「静的物標」,「路面」,「情報」といった表示項目の種類別に描画するための表示項目の種類別の機能ブロックを、描画制御部211が有する構成とすればよい。この場合、表示項目別の画像の優先度は、高いものから順に、「緊急」,「警告」,「注意」,「応答」,「動的物標」,「静的物標」,「路面」,「情報」となる。また、この場合、表示要求に表示項目の種類を付与する構成とすればよい。
(実施形態3)
実施形態1では、視認性を高める優先度を、動的物標グループ,静的物標グループ,路面グループの順とする構成を示したが、必ずしもこれに限らない。例えば、動的物標グループ,静的物標グループ,路面グループの画像の視認性を異ならせる構成であれば、視認性を高める優先度の順は、動的物標グループ,静的物標グループ,路面グループの順でない構成としてもよい。
実施形態1では、視認性を高める優先度を、動的物標グループ,静的物標グループ,路面グループの順とする構成を示したが、必ずしもこれに限らない。例えば、動的物標グループ,静的物標グループ,路面グループの画像の視認性を異ならせる構成であれば、視認性を高める優先度の順は、動的物標グループ,静的物標グループ,路面グループの順でない構成としてもよい。
(実施形態4)
実施形態1では、自車が自動運転機能を有している場合に適用した例を挙げて説明を行ったが、必ずしもこれに限らない。例えば、自車が自動運転機能を有していない構成であってもよい。この場合には、車両システム1に自動運転ECU8を含まず、走行環境の認識は他のECUで行うなどすればよい。
実施形態1では、自車が自動運転機能を有している場合に適用した例を挙げて説明を行ったが、必ずしもこれに限らない。例えば、自車が自動運転機能を有していない構成であってもよい。この場合には、車両システム1に自動運転ECU8を含まず、走行環境の認識は他のECUで行うなどすればよい。
(実施形態5)
実施形態1では、HUD装置220での表示の制御に関する機能をHUD装置220とは別体のHCU20が担う構成を示したが、必ずしもこれに限らない。例えば、HUD装置220での表示の制御に関する機能をHUD装置220に設けられる制御回路が担う構成としてもよいし、コンビネーションメータに設けられる制御回路等が担う構成としてもよい。
実施形態1では、HUD装置220での表示の制御に関する機能をHUD装置220とは別体のHCU20が担う構成を示したが、必ずしもこれに限らない。例えば、HUD装置220での表示の制御に関する機能をHUD装置220に設けられる制御回路が担う構成としてもよいし、コンビネーションメータに設けられる制御回路等が担う構成としてもよい。
なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
1 車両システム、2 HMIシステム、3 ADASロケータ、4 周辺監視センサ、5 車両状態センサ、6 車両制御ECU、7 ナビゲーション装置、8 自動運転ECU、10 フロントウインドシールド(投影部材)、20 HCU(車両用表示制御装置)、100 虚像、200 情報処理ブロック、201 決定用情報取得部、210 表示制御ブロック、211 描画制御部、212 緊急関連部、213 動的物標関連部、214 静的物標関連部、215 路面関連部、216 拡張情報関連部、217 調停部、220 HUD装置(ヘッドアップディスプレイ装置)、221 表示器
Claims (10)
- 車両で用いられ、表示器に描画する画像を投影部材へ投影することによって前記車両の前景に虚像を重畳表示させるヘッドアップディスプレイ装置を制御する車両用表示制御装置であって、
前記表示器に描画する画像の内容を定めるための情報である内容決定用情報を取得する決定用情報取得部(201)と、
前記決定用情報取得部で取得する前記内容決定用情報に応じて、前記表示器に、表示項目の種別単位で、動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループを含む複数のグループに分類される複数グループの画像を、前記グループ別にレイヤを分けて1つの表示器に描画する描画制御部(211)とを備え、
前記描画制御部は、前記表示器に画像を描画する前記レイヤ別にその画像の視認性を異ならせるよう描画する車両用表示制御装置。 - 前記描画制御部は、前記レイヤを重ねる順番によって、前記表示器に前記画像を描画する前記レイヤ別にその画像の視認性を異ならせる請求項1に記載の車両用表示制御装置。
- 前記描画制御部は、視認性を高くする前記画像を描画する前記レイヤほど上層に重ねる請求項2に記載の車両用表示制御装置。
- 前記描画制御部は、前記レイヤの透過率を異ならせることによって、前記表示器に前記画像を描画する前記レイヤ別にその画像の視認性を異ならせる請求項1〜3のいずれか1項に記載の車両用表示制御装置。
- 前記描画制御部は、視認性を高くする前記画像を描画する前記レイヤほど他の前記レイヤに対して透過率を相対的に高くする請求項4に記載の車両用表示制御装置。
- 前記描画制御部は、路面についての画像のグループよりも静的物標についての画像のグループ及び動的物標についての画像のグループの視認性が高くなるように描画するとともに、静的物標についての画像のグループよりも動的物標についての画像のグループの視認性が高くなるように描画する請求項1に記載の車両用表示制御装置。
- 前記描画制御部は、前記レイヤ別の前記画像の表示位置が重なる場合には、各レイヤに描画される前記画像を合成する処理を行う一方、前記レイヤ別の前記画像の表示位置が重ならない場合には、各レイヤに描画される前記画像を合成する処理を行わない請求項1〜6のいずれか1項に記載の車両用表示制御装置。
- 前記表示項目の種別単位で分類される複数グループの前記画像は、画像に含まれる情報の緊急性が警告若しくは注意喚起に関する前記表示項目よりも低い、通知に関する前記表示項目が、前記動的物標についての画像のグループ、前記静的物標についての画像のグループ、及び前記路面についての画像のグループに細分化して分類される一方、警告若しくは注意喚起に関する前記表示項目は、前記動的物標についての画像のグループ、前記静的物標についての画像のグループ、及び前記路面についての画像のグループに細分化して分類されない請求項1〜7のいずれか1項に記載の車両用表示制御装置。
- 車両で用いられ、表示器に描画する画像を投影部材へ投影することによって前記車両の前景に虚像を重畳表示させるヘッドアップディスプレイ装置を制御する車両用表示制御方法であって、
前記表示器に描画する画像の内容を定めるための情報である内容決定用情報を取得し、
取得する前記内容決定用情報に応じて、前記表示器に、表示項目の種別単位で、動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループを含む複数のグループに分類される複数グループの画像を、前記グループ別にレイヤを分けて1つの表示器に描画するとともに、前記表示器に画像を描画する前記レイヤ別にその画像の視認性を異ならせるよう描画する車両用表示制御方法。 - コンピュータを、
車両で用いられ、表示器に描画する画像を投影部材へ投影することによって前記車両の前景に虚像を重畳表示させるヘッドアップディスプレイ装置の前記表示器に描画する画像の内容を定めるための情報である内容決定用情報を取得する決定用情報取得部(201)と、
前記決定用情報取得部で取得する前記内容決定用情報に応じて、前記表示器に、表示項目の種別単位で、動的物標についての画像のグループ、静的物標についての画像のグループ、及び路面についての画像のグループを含む複数のグループに分類される複数グループの画像を、前記グループ別にレイヤを分けて1つの表示器に描画するとともに、前記表示器に画像を描画する前記レイヤ別にその画像の視認性を異ならせるよう描画する描画制御部(211)として機能させるための制御プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018124010A JP6969509B2 (ja) | 2018-06-29 | 2018-06-29 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
PCT/JP2019/018477 WO2020003750A1 (ja) | 2018-06-29 | 2019-05-09 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
JP2021172582A JP2022020688A (ja) | 2018-06-29 | 2021-10-21 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018124010A JP6969509B2 (ja) | 2018-06-29 | 2018-06-29 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021172582A Division JP2022020688A (ja) | 2018-06-29 | 2021-10-21 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020001589A true JP2020001589A (ja) | 2020-01-09 |
JP6969509B2 JP6969509B2 (ja) | 2021-11-24 |
Family
ID=68985620
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018124010A Active JP6969509B2 (ja) | 2018-06-29 | 2018-06-29 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
JP2021172582A Pending JP2022020688A (ja) | 2018-06-29 | 2021-10-21 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021172582A Pending JP2022020688A (ja) | 2018-06-29 | 2021-10-21 | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6969509B2 (ja) |
WO (1) | WO2020003750A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021039579A1 (ja) * | 2019-08-25 | 2021-03-04 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
JP2022020688A (ja) * | 2018-06-29 | 2022-02-01 | 株式会社デンソー | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
JP2022041289A (ja) * | 2020-08-31 | 2022-03-11 | トヨタ自動車株式会社 | 車両用表示制御装置、表示方法、プログラム及び車両用表示システム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114104162B (zh) * | 2020-08-27 | 2024-02-23 | Tvs电机股份有限公司 | 用于车辆的显示系统 |
WO2022113168A1 (ja) * | 2020-11-24 | 2022-06-02 | 東芝三菱電機産業システム株式会社 | プラント監視制御システム |
CN115480726B (zh) * | 2022-11-15 | 2023-02-28 | 泽景(西安)汽车电子有限责任公司 | 一种显示方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1068906A (ja) * | 1996-05-30 | 1998-03-10 | Asahi Glass Co Ltd | ホログラフィック表示装置 |
WO2016051586A1 (ja) * | 2014-10-03 | 2016-04-07 | 三菱電機株式会社 | 表示制御装置 |
JP2016109645A (ja) * | 2014-12-10 | 2016-06-20 | 株式会社リコー | 情報提供装置、情報提供方法及び情報提供用制御プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3975986B2 (ja) * | 2003-08-26 | 2007-09-12 | 株式会社島津製作所 | 画像表示装置 |
JP6481273B2 (ja) * | 2014-07-11 | 2019-03-13 | 株式会社デンソー | 車両用表示装置 |
JP6401990B2 (ja) * | 2014-09-30 | 2018-10-10 | 矢崎総業株式会社 | 車両用表示装置 |
JP2017013590A (ja) * | 2015-06-30 | 2017-01-19 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
JP2018091908A (ja) * | 2016-11-30 | 2018-06-14 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
JP6658483B2 (ja) * | 2016-12-07 | 2020-03-04 | 株式会社デンソー | 車両用表示制御装置及び車両用表示システム |
JP6969509B2 (ja) * | 2018-06-29 | 2021-11-24 | 株式会社デンソー | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
-
2018
- 2018-06-29 JP JP2018124010A patent/JP6969509B2/ja active Active
-
2019
- 2019-05-09 WO PCT/JP2019/018477 patent/WO2020003750A1/ja active Application Filing
-
2021
- 2021-10-21 JP JP2021172582A patent/JP2022020688A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1068906A (ja) * | 1996-05-30 | 1998-03-10 | Asahi Glass Co Ltd | ホログラフィック表示装置 |
WO2016051586A1 (ja) * | 2014-10-03 | 2016-04-07 | 三菱電機株式会社 | 表示制御装置 |
JP2016109645A (ja) * | 2014-12-10 | 2016-06-20 | 株式会社リコー | 情報提供装置、情報提供方法及び情報提供用制御プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022020688A (ja) * | 2018-06-29 | 2022-02-01 | 株式会社デンソー | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム |
WO2021039579A1 (ja) * | 2019-08-25 | 2021-03-04 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
JP7503239B2 (ja) | 2019-08-25 | 2024-06-20 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
JP2022041289A (ja) * | 2020-08-31 | 2022-03-11 | トヨタ自動車株式会社 | 車両用表示制御装置、表示方法、プログラム及び車両用表示システム |
Also Published As
Publication number | Publication date |
---|---|
WO2020003750A1 (ja) | 2020-01-02 |
JP6969509B2 (ja) | 2021-11-24 |
JP2022020688A (ja) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11008016B2 (en) | Display system, display method, and storage medium | |
JP6969509B2 (ja) | 車両用表示制御装置、車両用表示制御方法、及び制御プログラム | |
US9827907B2 (en) | Drive assist device | |
US10197414B2 (en) | Vehicle display control device and vehicle display control method | |
US11325471B2 (en) | Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program | |
US11016497B2 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US20180024354A1 (en) | Vehicle display control device and vehicle display unit | |
US20170132481A1 (en) | Information display device mounted in vehicle including detector | |
US11904688B2 (en) | Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program | |
JP7024619B2 (ja) | 移動体用表示制御装置、移動体用表示制御方法、及び制御プログラム | |
JP2023112082A (ja) | 車両用表示装置 | |
US20200166362A1 (en) | Information output device, output control method, and storage medium | |
JP2019174459A (ja) | 制御装置、表示装置、移動体、制御方法、及びプログラム | |
WO2020189238A1 (ja) | 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム | |
JP7310851B2 (ja) | 車両用表示装置 | |
US20240042858A1 (en) | Vehicle display system, vehicle display method, and storage medium storing vehicle display program | |
US20240042857A1 (en) | Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program | |
JP7400242B2 (ja) | 車両用表示制御装置および車両用表示制御方法 | |
CN112977451A (zh) | 行驶辅助系统及其控制方法 | |
US20230294517A1 (en) | Vehicle display control device, display device, and vehicle display control method | |
JP2021149319A (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP2019172243A (ja) | 制御装置、表示装置、移動体、制御方法、及びプログラム | |
JP2023123208A (ja) | 車両用表示制御装置、表示制御方法、表示制御プログラム | |
JP7302311B2 (ja) | 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム | |
JP2021028587A (ja) | 車載表示制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211011 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6969509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |