JP2022039936A - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP2022039936A
JP2022039936A JP2021069887A JP2021069887A JP2022039936A JP 2022039936 A JP2022039936 A JP 2022039936A JP 2021069887 A JP2021069887 A JP 2021069887A JP 2021069887 A JP2021069887 A JP 2021069887A JP 2022039936 A JP2022039936 A JP 2022039936A
Authority
JP
Japan
Prior art keywords
vehicle
automatic driving
display
image
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021069887A
Other languages
English (en)
Other versions
JP2022039936A5 (ja
JP7310851B2 (ja
Inventor
敬久 藤野
Takahisa Fujino
敏治 白土
Toshiharu Shirato
俊太朗 福井
Shuntaro FUKUI
しおり 間根山
Shiori MANEYAMA
兼靖 小出
Kaneyasu Koide
一輝 小島
Kazuteru Kojima
拓弥 久米
Takuya Kume
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to DE112021004492.3T priority Critical patent/DE112021004492T5/de
Priority to CN202180052566.7A priority patent/CN115943101A/zh
Priority to PCT/JP2021/029254 priority patent/WO2022044768A1/ja
Publication of JP2022039936A publication Critical patent/JP2022039936A/ja
Publication of JP2022039936A5 publication Critical patent/JP2022039936A5/ja
Priority to US18/165,297 priority patent/US20230191911A1/en
Priority to JP2023101820A priority patent/JP7480894B2/ja
Application granted granted Critical
Publication of JP7310851B2 publication Critical patent/JP7310851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】自動運転中における後続車情報を、自車との関係性を持って提示可能な車両用表示装置を提供する。【解決手段】自動運転機能を有する自車10に適用されて、車両の走行情報を表示するメータディスプレイ120と、車両の位置情報および車両の周辺情報を取得するロケータ30、周辺監視センサ40、車載通信器50と、位置情報および周辺情報を基に、自動運転機能が発揮されていないときに、車両を含む前方エリアの画像FPをメータディスプレイ120に表示すると共に、自動運転機能が発揮されているときには、後続車22を含む後方エリアの画像RPを前方エリアの画像FPに連続するように追加して、メータディスプレイ120に表示するHCU160と、を備える。【選択図】図1

Description

本開示は、自動走行機能を有する車両に用いられる車両用表示装置に関するものである。
車両用表示装置として、例えば、特許文献1に記載されたものが知られている。特許文献1の車両用表示装置(運転支援システム)は、自動運転機能を備える車両に搭載されており、自動運転から手動運転に切り替えられる際に、自車両と、自車両周辺の他車両との位置関係を表す周辺状況提示画面を表示するようになっている。これにより、運転者は、自動運転から手動運転に切り替わるときに、すみやかに自車両周辺の交通状況を把握することができるようになっている。
特許第6425597号公報
しかしながら、自動運転から手動運転への切替えに限らず、自動運転中では、周辺監視義務がないといっても、走行状況に応じては、例えば、自動追従走行によって後続車が近接しているのか、あるいは、あおり運転等によって後続車が近接しているのか、というように、自車と後続車との関係性を含めた情報提供が望まれる。
本開示の目的は、上記問題に鑑み、自動運転中における後続車情報を、自車との関係性を持って提示可能な車両用表示装置を提供することにある。
本開示は上記目的を達成するために、以下の技術的手段を採用する。
第1の開示では、自動運転機能を有する車両(10)に適用されて、
車両の走行情報を表示する表示部(120)と、
車両の位置情報および車両の周辺情報を取得する取得部(30、40、50)と、
位置情報および周辺情報を基に、自動運転機能が発揮されていないときに、車両を含む前方エリアの画像(FP)を表示部に表示すると共に、自動運転機能が発揮されているときには、後続車(22)を含む後方エリアの画像(RP)を前方エリアの画像に連続するように追加して、表示部に表示する表示制御部(160)と、を備えることを特徴としている。
第1の開示によれば、周辺監視義務が不要となる自動運転中であっても、表示部(120)に、車両および後続車を含む後方エリアの画像が表示されるので、自車と後続車との関係性を把握することができる。
第2の開示では、自動運転機能を有する車両(10)に適用されて、
車両の走行情報を表示する表示部(120)と、
車両の位置情報、走行状態、および周辺情報を取得する取得部(30、40、50)と、
走行情報の1つとして車両の周辺画像を表示部に表示すると共に、位置情報、走行状態、および周辺情報を基に設定される自動運転のレベルと、走行状態と、周辺情報としての周辺車両(21、22)の状況とに応じて、周辺画像における車両と周辺車両との関係性にかかる表示形態を切替える表示制御部(160)と、を備えることを特徴としている。
第2の開示によれば、車両の自動運転レベル、走行状態、および周辺車両の状況に応じて、車両と周辺車両との関係性にかかる表示形態が切替え表示されるので、車両と周辺車両との関係性を適切に把握することができる。
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。
車両用表示装置の全体構成を示すブロック図である。 後続車があると、自車を含む前方エリアの画像に、後方エリアの画像を加えた表示に切替えることを示す説明図である(後続車との距離小の場合)。 自車と後続車との距離が所定距離未満の場合の表示形態を示す説明図である。 自車と後続車との距離が所定距離以上の場合の表示形態を示す説明図である。 自車と後続車との距離が変動する様子を示す説明図である。 後方エリアの大きさを固定した場合を示す説明図である。 図6において、自車と後続車との距離の変動が小さくなった場合に、後方エリアの大きさを変更することを示す説明図である。 後続車の状況に応じて、表示形態を変更するための制御要領を示すフローチャートである。 後方エリアに緊急車がある場合の表示形態(緊急車とメッセージ)を示す説明図である。 後方エリアに緊急車がある場合の表示形態(簡易表示とメッセージ)を示す説明図である。 後方エリアに緊急車がある場合の表示形態(簡易表示のみ)を示す説明図である。 後続車が自動追従運転をしている場合の一体感表示(道路面に色表示)を示す説明図である。 後続車が自動追従運転をしている場合の一体感表示(同一車両表示)を示す説明図である。 後続車が自動追従運転をしている場合の一体感表示(牽引表現)を示す説明図である。 後続車が煽り運転車の可能性がある場合の表示形態1を示す説明図である。 後続車が煽り運転車の可能性がある場合の表示形態2を示す説明図である。 自動運転レベル2からレベル3に移行した際の表示形態を示す説明図である。 周辺画像の表示形態が切替えられるタイミングの違いを示す説明図である。 自動運転レベル0からレベル3に移行した際の表示形態を示す説明図である。 自動運転レベル1からレベル3に移行した際の表示形態を示す説明図である。 俯瞰表示と平面表示との切替えを示す説明図である。 渋滞時限定レベル3からレベル2へ移行しても渋滞が解消していないときの表示形態を示す説明図である。 渋滞時限定レベル3からレベル1へ移行しても渋滞が解消していないときの表示形態を示す説明図である。 渋滞時限定レベル3からレベル0へ移行しても渋滞が解消していないときの表示形態を示す説明図である。 エリア限定レベル3からレベル2、1、0へ移行したときの表示形態を示す説明図である。 メータディスプレイと電子ミラー表示部とで危険車両を強調表示することを示す説明図である。 隣の車線が渋滞している場合、渋滞していない場合での表示形態を示す説明図である。 渋滞時限定レベル3のときに、合流地点で後続車がいない場合の表示形態を示す説明図である。 渋滞時限定レベル3のときに、合流地点で後続車がいる場合の表示形態を示す説明図である。 エリア限定レベル3のときに、合流地点で後続車がいない場合の表示形態を示す説明図である。 エリア限定レベル3のときに、合流地点で後続車がいる場合の表示形態を示す説明図である。 運転交代失敗時の表示形態を示す説明図である。 渋滞時限定レベル3への移行可能後に、後続車を非表示とすることを示す説明図である。 渋滞時限定レベル3への移行時に、後続車を非表示とすることを示す説明図である。 渋滞時限定レベル3への移行後に、第1、第2のコンテンツを表示した状態を示す説明図である。 後続車が不検知、あるいは不在となった場合に表示される第3のコンテンツを示す説明図である。 報知マークを示す説明図である。 移行前画像を示す説明図である。
以下に、図面を参照しながら本開示を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
(第1実施形態)
第1実施形態の車両用表示装置100について、図1~図4を参照しながら説明する。第1実施形態の車両用表示装置100は、自動運転機能を有する車両(以下、自車10)に搭載(適用)されている。以下、車両用表示装置100を表示装置100と呼ぶ。
表示装置100は、図1に示すように、HCU(Human Machine Interface Control Unit)160を備えている。表示装置100は、表示部(後述する複数の表示デバイス)に、例えば、車速、エンジン回転数、トランスミッションのシフト位置、更には、ナビゲーションシステム(ここでは、ロケータ30)によるナビゲーション情報等の車両走行情報を表示する。また、表示装置100は、表示部に、自車10および自車10の周辺の画像を表示する。
表示装置100は、自車10に搭載されたロケータ30、周辺監視センサ40、車載通信器50、第1自動運転ECU60、第2自動運転ECU70、および車両制御ECU80と、通信バス90等を介して接続されている。
ロケータ30は、ナビゲーションシステムを形成するものであり、複数の取得情報を組み合わせる複合測位により、自車位置情報(位置情報)等を生成する。ロケータ30は、GNSS(Global Navigation Satellite System)受信機31、慣性センサ32、地図データベース(以下、「地図DB」)33、およびロケータECU34等を備えている。ロケータ30は、本開示の取得部に対応する。
GNSS受信機31は、複数の測位衛星からの測位信号を受信する。
慣性センサ32は、自車10に作用する慣性力を検出するセンサである。慣性センサ32は、例えばジャイロセンサおよび加速度センサを備える。
地図DB33は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状、構造物等の地図データを格納している。地図データは、道路形状および構造物の特徴点の点群からなる三次元地図であってもよい。尚、3次元地図は、REM(Road Experience Management)によって撮像画像をもとに生成されたものであってもよい。また、地図データには、交通規制情報、道路工事情報、気象情報、および信号情報等が含まれていてもよい。地図DB33に格納された地図データは、後述の車載通信器50にて受信される最新の情報に基づいて、定期的または随時に更新される。
ロケータECU34は、プロセッサ、メモリ、入出力インターフェース、およびこれらを接続するバス等を備えたマイクロコンピュータを主体として含む構成である。ロケータECU34は、GNSS受信機31で受信する測位信号、慣性センサ32の計測結果、および地図DB33の地図データを組み合わせることにより、自車10の位置(以下、自車位置)、走行速度(走行状態)を逐次測位する。
自車位置は、例えば緯度経度の座標で表される構成とすればよい。尚、自車位置の測位には、自車10に搭載された車載センサ81(車速センサ等)から逐次出力される信号から求めた走行距離を用いる構成としてもよい。地図データとして、道路形状および構造物の特徴点の点群からなる3次元地図を用いる場合、ロケータECU34は、GNSS受信機31を用いずに、この3次元地図と、周辺監視センサ40での検出結果とを用いて、自車位置を特定する構成としてもよい。
周辺監視センサ40は、自車10の周辺環境を監視する自律センサである。周辺監視センサ40は、自車10の周囲の検出範囲から、歩行者、サイクリスト、人間以外の動物、および他車両20(前方車21、後続車22)等の移動物体、更に、路上の落下物、ガードレール、縁石、道路標識、車線、走行区画線、中央分離帯等の路面表示、および道路脇の構造物等の静止物体などを検出可能である。周辺監視センサ40は、自車10の周囲の物体を検出した検出情報を、通信バス90を通じて、第1自動運転ECU60、第2自動運転ECU70等に提供する。周辺監視センサ40は、物体検出のための検出構成として、例えば、カメラ41、ミリ波レーダ42、および音感知センサ43等を有している。周辺監視センサ40は、本開示の取得部に対応する。
カメラ41は、フロントカメラおよびリアカメラを有している。フロントカメラは、自車10の前方範囲(前方エリア)を撮影した撮像データ、および撮像データの解析結果の少なくとも一方を、検出情報として出力する。同様に、リアカメラは、自車10の後方範囲(後方エリア)を撮影した撮像データ、および撮像データの解析結果の少なくとも一方を、検出情報として出力する。
ミリ波レーダ42は、例えば、自車10の前後の各バンパーに互いに間隔を開けて複数配置されている。ミリ波レーダ42は、ミリ波または準ミリ波を、自車10の前方範囲、前側方範囲、後方範囲および後側方範囲等へ向けて照射する。ミリ波レーダ42は、移動物体および静止物体等で反射された反射波を受信する処理により、検出情報を生成する。尚、地物の特徴点の点群を検出するLiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、超音波の反射波を受信するソナー等の他の検出構成が、周辺監視センサ40に含まれていてもよい。
音感知センサ43は、自車10の周辺の音を感知する感知部であり、例えば、自車10に接近する緊急車23のサイレン音、更にはサイレン音の方向を感知する。緊急車23は、本開示の予め定めた優先度の高い後続車22(優先後続車)に対応し、例えば、パトカー、救急車、消防車等が該当する。
車載通信器50は、自車10に搭載される通信モジュールである。車載通信器50は、LTE(Long Term Evolution)および5G等の通信規格に沿ったV2N(Vehicle to cellular Network)通信の機能を少なくとも有しており、自車10の周囲の基地局等との間で電波を送受信する。車載通信器50は、路車間(Vehicle to roadside Infrastructure,以下「V2I」)通信、および車車間(Vehicle to Vehicle,以下「V2V」)通信等の機能を更に有していてもよい。車載通信器50は、V2N通信により、クラウドと車載システムとの連携(Cloud to Car)を可能にする。車載通信器50の搭載により、自車10は、インターネットに接続可能なコネクテッドカーとなる。車載通信器50は、本開示の取得部に対応する。
車載通信器50は、例えば、VICS(Vehicle information and communication System 登録商標)を用いることによって、FM多重放送や道路に設けられたビーコンから、道路上の渋滞状況や交通規制等の道路交通情報を取得する。
また、車載通信器50は、例えば、DCM(Data Communication Module)、あるいは車車間通信を用いることによって、所定のセンタ基地局を介して、あるいは車車間で、複数の前方車21、および後続車22との通信を行う。そして、車載通信器50は、自車10の前方側、および後方側を走行する他車両20の車速、位置、更には自動運転の実行状況等の情報を入手する。
車載通信器50は、VICSやDCMに基づく他車両20の情報(周辺情報)を第1、第2自動運転ECU60、70、およびHCU160等に提供する。
第1自動運転ECU60、および第2自動運転ECU70は、それぞれメモリ61、71、プロセッサ62、72、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。第1自動運転ECU60、および第2自動運転ECU70は、自車10の走行を部分的または実質全て制御する自動走行制御を実行可能なECUである。
第1自動運転ECU60は、ドライバの運転操作を部分的に代行する部分的自動運転機能を備えている。一例として、米国自動車技術会の規定する自動運転レベルにおいて、第1自動運転ECU60は、手動または周辺監視義務を伴うレベル2以下の部分的な自動走行制御(高度運転支援)を可能にする。
第1自動運転ECU60は、メモリ61に記憶された運転支援プログラムが、複数の命令をプロセッサ62に実行させることで、上記の高度運転支援を実現する複数の機能部を構築する。
第1自動運転ECU60は、周辺監視センサ40から取得する検出情報に基づき、自車10の周囲の走行環境を認識する。一例として、第1自動運転ECU60は、自車10が現在走行する車線(以下、現在車線)の左右の区画線または道路端の相対位置および形状を示す情報(車線情報)を、解析済みの検出情報として生成する。加えて、第1自動運転ECU60は、現在車線にて自車10に先行する前方車21(他車両20)の有無と、前方車21が有る場合のその位置および速度と、を示す情報(前方車情報)を、解析済みの検出情報として生成する。
第1自動運転ECU60は、前方車情報に基づいて、目標速度での自車10の定速走行、または先行車への追従走行を実現するACC(Adaptive Cruise Control)制御を実行する。第1自動運転ECU60は、車線情報に基づいて、自車10の車線内走行を維持するLTA(Lane Tracing Assist)制御を実行する。具体的には、第1自動運転ECU60は、加減速または舵角の制御指令を生成し、後述する車両制御ECU80へと逐次提供する。ACC制御が縦方向制御の一例であり、LTA制御が横方向制御の一例である。
第1自動運転ECU60は、ACC制御およびLTA制御の両方を実行することで、レベル2の自動運転を実現する。尚、第1自動運転ECU60は、ACC制御およびLTA制御のいずれか一方を実行することで、レベル1の自動運転を実現可能であってもよい。
一方、第2自動運転ECU70は、ドライバの運転操作を代行可能な自動運転機能を備えている。第2自動運転ECU70は、上記の自動運転レベルにおいて、レベル3以上の自動走行制御を可能にする。すなわち、第2自動運転ECU70は、周辺監視の中断がドライバに許可される(周辺監視義務が不要な)自動運転を実施可能にする。換言すると、第2自動運転ECU70は、セカンドタスクが許可される自動運転を実施可能にする。
セカンドタスクとは、ドライバに対して許可される運転以外の行為であって、予め規定された特定行為である。
第2自動運転ECU70は、メモリ71に記憶された自動運転プログラムが、複数の命令をプロセッサ72に実行させることで、上記の自動運転を実現する複数の機能部を構築する。
第2自動運転ECU70は、ロケータECU34から取得する自車位置および地図データ、周辺監視センサ40から取得する検出情報、車載通信器50から取得する通信情報等に基づき、自車10の周囲の走行環境を認識する。例えば、第2自動運転ECU70は、自車10の現在車線の位置、現在車線の形状、並びに自車10周辺の移動体(他車両20)の相対位置および相対速度、渋滞状況等を認識する。
加えて、第2自動運転ECU70は、自車10の走行地域における手動運転エリア(MDエリア)および自動運転エリア(ADエリア)の判別、ADエリアにおけるST区間および非ST区間の判別を行い、その認識結果を後述のHCU160に逐次提供する。
MDエリアは、自動運転が禁止されるエリアである。換言すれば、MDエリアは、自車10の縦方向制御、横方向制御および周辺監視の全てをドライバが実行すると規定されたエリアである。例えば、MDエリアは、走行路が一般道路であるエリアとされる。
ADエリアは、自動運転が許可されるエリアである。換言すれば、ADエリアは、縦方向(前後方向)制御、横方向(幅方向)制御および周辺監視のうち1つ以上を、自車10が代替可能なエリアである。例えば、ADエリアは、走行路が高速道路または自動車専用道路であるエリアとされる。
ADエリアは、レベル2以下の自動運転が可能な非ST区間と、レベル3以上の自動運転が可能なST区間とに区分される。尚、本実施形態において、レベル1の自動運転が許可される非ST区間と、レベル2の自動運転が許可される非ST区間は、同等であるとする。
ST区間は、例えば、渋滞が発生している走行区間(渋滞区間)であるとされる。また、ST区間は、例えば、高精度地図が整備された走行区間であるとされる。後述のHCU160は、自車10の走行速度が判定速度以下となる範囲内である状態が所定期間継続している場合に、ST区間であると判断する。または、HCU160は、自車位置と、VICS等によって車載通信器50から得られる渋滞情報とを用いてST区間であるか否かを判断してもよい。更には、HCU160は、自車10の走行速度(渋滞走行区間条件)に加えて、走行道路が2車線以上である、自車10の周囲(同一斜線、および隣の車線)に他車両20がいる、走行道路に中央分離帯がある、また、高精度地図データを保有している等の条件をもって、ST区間であるか否かを判断してもよい。
尚、HCU160は、渋滞区間に加えて、自車10の周辺環境に関して渋滞以外の特定の条件が成立する区間(高速道路で渋滞を伴わない定速走行、追従走行、LTA(レーンキープ走行))等の可能な区間をST区間としてもよい。
以上の第1、第2自動運転ECU60、70を含んで構成される自動運転システムにより、自車10においてレベル2以下、およびレベル3相当(以上)の自動運転が少なくとも実行可能となる。
車両制御ECU80は、自車10の加減速制御、および操舵制御を行う電子制御装置である。車両制御ECU80としては、加減速制御を行うパワーユニット制御ECUおよびブレーキECU、更に、操舵制御を行う操舵ECU等がある。車両制御ECU80は、自車10に搭載された車速センサ、舵角センサ等の各センサから出力される検出信号を取得し、電子制御スロットル、ブレーキアクチュエータ、EPS(Electric Power Steering)モータ等の各走行制御デバイスへ制御信号を出力する。車両制御ECU80は、自車10の制御指示を第1自動運転ECU60、または第2自動運転ECU70から取得することで、当該制御指示に従う自動走行を実現するように、各走行制御デバイスを制御する。
また、車両制御ECU80は、ドライバによる運転部材の運転操作情報を検出する車載センサ81と接続されている。車載センサ81は、例えば、アクセルペダルの踏込量を検出するペダルセンサ、およびステアリングの操舵量を検出するステアセンサ等を含んでいる。加えて、車載センサ81は、自車10の走行速度を検出する車速センサ、走行駆動部(エンジンや走行モータ等)の作動回転数を検出する回転センサ、およびトランスミッションのシフト位置を検出するシフトセンサ等も含んでいる。車両制御ECU80は、検出されたこれら運転操作情報、車両作動情報等を、HCU160へと逐次提供する。
次に、表示装置100の構成について説明する。表示装置100は、表示部としての複数の表示デバイスと、表示制御部としてのHCU160とを備えている。加えて、表示装置100には、オーディオ装置140、操作デバイス150等が設けられている。
複数の表示デバイスは、ヘッドアップディスプレイ(以下、HUD)110、メータディスプレイ120、およびセンタインフォメーションディスプレイ(以下、CID)130等を含んでいる。複数の表示デバイスには、電子ミラーシステムの各ディスプレイEML(左方表示)、EMR(右方表示)が更に含まれていてもよい。HUD110、メータディスプレイ120、およびCID130は、静止画または動画等の画像コンテンツを、視覚情報としてドライバに提示する表示部である。画像コンテンツは、例えば、走行道路(走行レーン)、自車10、および他車両20等の画像が使用される。他車両20には、自車10の横、および前方を走行する前方車21、自車10の後方を走行する後続車22、および緊急車23等が含まれる。
HUD110は、HCU160から取得する制御信号および映像データに基づき、ドライバ前方に結像される画像の光を、自車10のフロントウィンドシールド等に規定された投影領域に投影する。フロントウィンドシールドにて車室内側に反射された画像の光は、運転席に着座するドライバによって知覚される。こうしてHUD110は、投影領域よりも前方の空間中に虚像を表示させる。ドライバは、HUD110によって表示される画角内の虚像を、自車10の前景と重ねて視認する。
メータディスプレイ120、およびCID130は、例えば、液晶ディスプレイまたはOLED(Organic Light Emitting Diode)ディスプレイ等を主体とする構成である。メータディスプレイ120、およびCID130は、HCU160から取得する制御信号および映像データに基づき、種々の画像を表示画面に表示させる。メータディスプレイ120は、例えば、運転席の正面に設置されたメイン表示部である。CID130は、ドライバの前方において車幅方向の中央領域に設けられたサブ表示部である。例えば、CID130は、インストルメントパネルにおけるセンタクラスタの上方に設置されている。CID130は、タッチパネルの機能を有しており、例えばドライバ等による表示画面へのタッチ操作、およびスワイプ操作等を検出する。
本実施形態では、表示部として、メータディスプレイ120(メイン表示部)を使用した場合を例にして説明する。
オーディオ装置140は、車室内に設置された複数のスピーカを有している。オーディオ装置140は、HCU160から取得する制御信号および音声データに基づき、報知音または音声メッセージ等を、聴覚情報としてドライバに提示する。すなわち、オーディオ装置140は、視覚情報と異なる態様の情報を提示可能な情報提示デバイスである。
操作デバイス150は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス150には、例えば自動運転機能の各レベルの開始および停止に関連するユーザ操作等が入力される。操作デバイス150には、例えば、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー、ドライバの発話内容を認識する音声入力装置、およびCID130におけるタッチ操作用のアイコン(スイッチ)等が含まれる。
HCU160は、上記のロケータ30、周辺監視センサ40、車載通信器50、第1自動運転ECU60、第2自動運転ECU70、および車両制御ECU80等が取得した情報に基づき、メータディスプレイ120における表示の制御を行う(詳細後述)。HCU160は、メモリ161、プロセッサ162、仮想カメラ163、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。
メモリ161は、コンピュータにより読み取り可能なプログラムおよびデータ等を非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。メモリ161は、後述の提示制御プログラム等、プロセッサ162によって実行される種々のプログラムを格納している。
プロセッサ162は、演算処理のためのハードウエアである。プロセッサ162は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、およびRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
プロセッサ162は、メモリ161に格納された提示制御プログラムに含まれる複数の命令を、実行する。これによりHCU160は、ドライバへの提示制御ための機能部を、複数構築する。このようにHCU160では、メモリ161に格納された提示制御プログラムが複数の命令をプロセッサ162に実行させることで、複数の機能部が構築される。
仮想カメラ163は、ソフトウェアで作成された3D空間上に設定されたカメラである。仮想カメラ163は、ロケータ30、周辺監視センサ40(カメラ41)、および車載通信器50等の情報から、自車10の座標位置を基準にして他車両20(前方車21、後続車22)の位置を推定して、自車10、および他車両20の画像(例えば、俯瞰的に捉えた画像、図2~図4)を形成する。尚、仮想カメラ163は、自車10、および他車両20の画像を俯瞰的、あるいは平面的に捉えた画像(平面図)として形成することも可能である。
HCU160は、第1自動運転ECU60、または第2自動運転ECU70から、走行環境の認識結果を取得する。HCU160は、取得した認識結果に基づいて、自車10の周辺状態を把握する。具体的には、HCU160は、ADエリアへの接近、ADエリアへの進入、ST区間(渋滞区間、高速区間等)への接近およびST区間への進入等を把握する。HCU160は、第1、第2自動運転ECU60、70から取得した認識結果に代えて、ロケータECU34や周辺監視センサ40等から直接取得した情報に基づいて周辺状態を把握してもよい。
HCU160は、自車10がMDエリアを走行している場合に、自動運転を許可できないと判断する。一方で、HCU160は、ADエリアを走行している場合に、レベル2以上の自動運転を許可できると判断する。更に、HCU160は、ADエリアのうち非ST区間を走行している場合に、レベル2以下の自動運転を許可できると判定し、ST区間を走行している場合には、レベル3以上の自動運転を許可できると判定する。
HCU160は、自車10の位置、走行速度、周辺状態、ドライバの状態、および現在許可されている自動運転レベル、および操作デバイス150への入力情報等に基づいて、実際に実行する自動運転レベルを判断する。即ち、HCU160は、現在許可されている自動運転レベルの開始指示が入力情報として取得された場合に、当該自動運転レベルの実行を決定する。
HCU160は、自動運転に関するコンテンツの提示を制御する。具体的には、HCU160は、各種情報に基づき各表示デバイス110、120、130に提示させるコンテンツを選定する。
HCU160は、各表示デバイス110、120、130に提供する制御信号および映像データと、オーディオ装置140に提供する制御信号および音声データとを生成する。HCU160は、生成した制御信号および各データを各提示デバイスへと出力することで、各表示デバイス110、120、130にて情報提示を実施する。
表示装置100の構成は、以上のようになっており、以下、図2~図4を加えて、作動および作用効果について説明する。
本実施形態では、主に、高速道路走行において、自動運転レベル2以下に対して、渋滞発生区間や高速走行可能区間での自動運転レベル3(渋滞追従運転、高速追従運転、定速走行運転、車線内走行等)が実施される場合を例にしている。自動運転レベル3が可能となる条件(所定の自動運転可能条件)は、例えば、予め定めた車速条件を満たしている、複数の走行車線がある、中央分離帯がある、等となっている。HCU160は、通常走行(非自動運転走行)か、自動運転走行かに応じて、メータディスプレイ120における自車10の周辺画像の表示を切替える。
1.通常運転時(非自動運転時)の表示
HCU160は、自動運転が実行されていないとき、ロケータ30、周辺監視センサ40(主にフロントカメラ)、および車載通信器50によって得られる情報を基に、図2(a)、図3(a)、図4(a)に示すように、主に、自車10を含む前方エリアの画像FP(他車両20、即ち前方車21)をメータディスプレイ120に表示する。メータディスプレイ120に表示される画像は、例えば、自車10の後方上側から進行方向に向けて俯瞰される俯瞰図が用いられている。尚、画像は、俯瞰図に代えて、平面図を用いたものとしてもよい。
2.自動運転時の表示
HCU160(仮想カメラ163)は、自動運転が実行されているとき、ロケータ30、周辺監視センサ40(主にカメラ41)、および車載通信器50によって得られる情報を基に、図2(b)、図3(b)、図4(b)に示すように、後続車22を含む後方エリアの画像RPを前方エリアの画像FPに連続するように追加して、メータディスプレイ120に表示する。図2(b)、図3(b)、図4(b)に示す全体画像は、例えば、自車10周辺の他車両20の座標情報をもらい、動的なグラフィックモデルとして描画したものである。
また、HCU160は、図3(b)に示すように、把握された後続車22が後方エリアに入るように(視認されるように)後方エリアを拡大させる。つまり、HCU160は、自車10と後続車22との距離Dが大きくなる程、後方エリアを大きく設定する。
また、HCU160は、図4(b)に示すように、自車10と後続車22との距離Dが予め定めた所定距離以上となると、後方エリアの大きさを最大設定として、後続車22の表示としては、単なる存在を示すための簡易表示S(例えば、三角マーク表示)とする。簡易表示Sにおいては、自車10と後続車22との距離D(画像中の両者の間隔)は、明確には表示されない。
HCU160は、図2(b)、図3(b)、図4(b)における表示において、仮想カメラ163の位置を移動する、あるいは仮想カメラ163の画角を拡縮する、あるいは仮想カメラ163の向きを移動する、あるいは平面上の表示エリアを拡大(2次元表示の場合)することで対応する。
更に、HCU160は、図2(b)、図3(b)に示すように、後続車22を強調するために、後続車22を囲むように、強調表示E(例えば、矩形枠状のマーク)を付加する。
以上のように、本実施形態では、HCU160は、自車10において、位置情報および周辺情報を基に、自動運転機能が発揮されていないときに、自車10を含む前方エリアの画像FPをメータディスプレイ120に表示する。そして、HCU160は、自車10において、自動運転機能が発揮されているときには、後続車22を含む後方エリアの画像RPを前方エリアの画像FPに連続するように追加して、メータディスプレイ120に表示部に表示する。
これにより、周辺監視義務が不要となる自動運転中であっても、メータディスプレイ120に、自車10および後続車22を含む後方エリアの画像RPが表示されるので、自車10と後続車22との関係性を把握することができる。
また、HCU160は、把握された後続車22が後方エリアに入るように(視認されるように)、後方エリアを拡大させるようにしているので、自車10に対する後続車22を確実に表示することができる。
また、HCU160は、自車10と後続車22との距離Dが予め定めた所定距離以上となると、後方エリアの大きさを最大設定として、後続車22の表示としては、単なる存在を示すための簡易表示Sとしている。これにより、自車10に対して、後続車22がさほど近くない場合には、自車10との距離感は明確にせずとも、その存在を提示することで、ドライバに対して、後続車22があることを認識させることができる。
また、HCU160は、後続車22に対して強調表示Eを付加するようにしているので、後続車22に対する認識度を高めることができる。
(第2実施形態)
第2実施形態を図5~図7に示す。第2実施形態は、上記第1実施形態に対して、メータディスプレイ120における後続車22の表示形態を変更したものである。図5、図6の符号(a)の図は、自動運転時において、自車10と後続車22との距離Dが相対的に長い場合、また、図5、図6の符号(b)の図は、自動運転時において、自車10と後続車22との距離Dが相対的に短い場合を示している。尚、後続車22については、上記第1実施形態と同様に強調表示Eを付加している。
HCU160は、距離Dが変動する場合、ソフトウェアで作成された3D空間上で、仮想カメラ163の位置、画角、向き等を制御して、自車10に対する前方エリア、および後方エリアの撮影をする。図5(a)に示すように、距離Dが相対的に長い場合の後続車22の表示を表示エリアの下側に設定すると、図5(b)に示すように、距離Dが相対的に短くなった場合、自車10の位置が、表示エリア内で下側に変動することになり、ドライバにとっては、見にくい表示となり得る。尚、自車10に対する前方エリア、および後方エリアの撮影にあたっては、実際のカメラ41を用いて、前方、後方のエリアの映像を合成して出力してもよい。
よって、HCU160は、このように距離Dが変動する場合に、仮想カメラ163の設定を固定して、図6に示すように、後方エリアを距離Dの変動を吸収可能な大きさに固定する。つまり、HCU160は、後続車22が表示される後方エリアを固定エリアFAとして設定する。そして、HCU160は、前方エリアにおける自車10の位置を固定し、自車10に対して距離Dの変動を伴う後続車22の位置を、後方エリア内(固定エリアFA内)で変動させるように表示する。
これにより、ドライバに対して、自車10の位置を基準にして、距離Dの変動を伴う後続車22の表示を、見やすいものにすることができる。
尚、図7に示すように、距離Dが所定距離以下となったときに、固定エリアFAの設定を解除した表示に戻すようにしてもよい。
(第3実施形態)
第3実施形態を図8~図16に示す。第3実施形態は、後続車22の種類に応じて、表示形態を制御する。図8は、自動運転時における表示形態制御の要領を示すフローチャートである。自動運転モードは、例えば、高速道路における追従走行(高速、低速含む)、定速走行、車線内走行等である。HCU160が行う表示形態制御について、以下説明する。図8のフローチャートにおいては、所定時間ごとに、スタートからエンドが繰り返し実行される。
自動運転制御が実行される中で、まず、フローチャートのステップS100において、HCU160は、周辺監視センサ40(カメラ41)の情報から、後続車22があるか否かを判定する。HCU160は、後続車22ありと判定すると、ステップS110に進み、否定判定すると本制御を終了する。
ステップS110では、HCU160は、後続車22は、緊急車23(優先後続車)か否かを判定する。HCU160は、周辺監視センサ40における音感知センサ43による情報、例えば、サイレン音、サイレン音の方向等の情報から、後続車22が緊急車23(パトカー、救急車、消防車等)であるか否かを判定する。HCU160は、ステップS110で、肯定判定すると、ステップS120に進み、また、否定判定すると、ステップS150に進む。尚、ステップS120~ステップS141においては、後続車22は、緊急車23と判定しているステップになり、後続車22を緊急車23と呼ぶことにする。
ステップS120では、HCU160は、周辺監視センサ40(例えばカメラ41)の情報から、自車10と緊急車23との距離が、所定距離(例えば100m)未満であるか否かを判定する。
ステップS120で、肯定判定すると(距離は100m未満)、HCU160は、ステップS130で、図9に示すように、緊急車23を、相対的に大きく表示する。具体的には、ステップS131で、HCU160は、後方エリアを拡張して、複数の後続車22があっても、そのうちの緊急車23までを表示する。尚、HCU160は、緊急車23の画像に、強調表示Eを付加して表示する。
更に、HCU160は、自車10と、緊急車23との関係性を示すメッセージMを表示する。HCU160は、メッセージMを表示するにあたって、メッセージMの位置は、表示画像のうち、自車10の画像、および緊急車23の画像には、重ならない位置に設定する。メッセージMは、例えば、「後方に緊急車両あり、道を譲ります。」といった内容である。HCU160は、緊急車23の画像に対する強調表示Eと、メッセージMとによって緊急車23の存在をドライバに知らせる。
そして、緊急車23を優先するために、HCU160は、第2自動運転ECU70に指示を出して、自動運転によって車線を変更して、速やかに緊急車23を通過させるようにする。
一方、ステップS120で、否定判定すると(距離は100m以上)、HCU160は、ステップS140で、図11に示すように、緊急車23を、相対的に小さく表示する。具体的には、ステップS141で、HCU160は、後方エリアを100mの範囲までとし、簡易表示Sを用いて(距離は明確には表示せずに)、後方エリアに緊急車23がいることを表示する。尚、ここでは、緊急車23を優先して通過させるには、まだ時間がかかるため、上記(図9)のようなメッセージMは、表示していない。
尚、図10は、図9と図11の中間的な場合の表示形態の例を示したものであり、例えば、ステップS120での判定結果を3段階に設定した場合、中間段階の判定に対して適用可能である。図10では、緊急車23を簡易表示Sとして、メッセージMを表示する例を示している。
次に、ステップS110で否定判定の後、ステップS150で、HCU160は、車載通信器50の情報から、後続車22は自動運転をしており、且つ、周辺監視センサ40の情報から、自車10との距離が20m未満か否かを判定する。
ステップS150で、肯定判定すると、HCU160は、後続車22は自車10に対して自動運転による追従走行を行っていると判断する。そして、ステップS160で、HCU160は、図12~図14に示すように、自車10と後続車22との一体感を伴う一体感表示Uを行う。
一体感表示Uは、自車10とすぐ後ろの後続車22が、追従走行によって対になっている様子を示す表示となっている。例えば、図12では、一体感表示Uとして、自車10と後続車22とを囲うように枠を設けて、枠内(道路面)に所定の色を付けた表示としている。また、図13では、一体感表示Uとして、自車10と後続車22とを同一のデザインの車両画像としている。また、図14では、自車10と後続車22とが接続(牽引)された表示としている。
尚、ステップS160において、ステップS130、S131と同様に、メッセージMを表示してもよい。メッセージMは、例えば、「後続車22は、自車10に対して自動追従走行しています。」といった内容とすることができる。
一方、ステップS150で、否定判定すると、HCU160は、ステップS170で、後続車22は、煽り運転車か否かを判定する。HCU160は、周辺監視センサ40からの情報、例えば、現在の車速、自車10と後続車22との車間距離、後続車22の蛇行走行有無、後続車22からのハイビーム有無、自車10の周囲における他車両20の台数(後続車22が1台のみか)、後続車22の走行する車線位置(車線を頻繁に変更)等から、後続車22が煽り運転車両か否かを判定する。
ステップS170で、肯定判定すると、HCU160は、ステップS180で、図15、図16に示すように、ドライバに対する注意表示を行う。具体的には、HCU160は、後方エリアに強調表示Eを付加した後続車22(煽り運転車)を表示する。また、HCU160は、自車10、および後続車22に重ならないように、メッセージMを表示する。図15では、自車10よりも前側となる前方エリアにメッセージMを表示し、また、図16では、自車10と後続車22との間にメッセージMを表示する例を示している。
メッセージMは、例えば、「煽り運転の可能性が高いです。録画中です。」といった内容(図15)や、「煽り運転かもしれません。録画中です。」といった内容(図16)である。
尚、ステップS170で、否定判定すると、HCU160は、本制御を終了する。
以上のように、本実施形態では、後続車22の種類に応じて、表示形態を制御しており、ドライバは、自動運転中であっても、後続車22を認識すること、更には必要とされる処置を行うことが可能となる。
HCU160は、後続車22の中に、予め定めた優先度の高い緊急車23(優先後続車)があると、後方エリアにおいて、緊急車23までを表示するようにしている。これにより、ドライバは、確実に緊急車23の存在を認識することができる。
また、HCU160は、緊急車23を強調する強調表示Eを行う。これにより、ドライバは、緊急車23を確実に認識することができる。尚、後続車22が煽り運転車の場合も、同様に強調表示Eを行うことによって、ドライバの認識度を高めることができる。
また、HCU160は、後続車22が、自車10に対して自動追従走行を行っている場合、自車10と後続車22とを、一体感を伴う一体感表示Uを行う。これにより、ドライバは、後続車22が、自動追従走行をしていることを認識することができる。
また、HCU160は、自車10と後続車22との関係性を示すメッセージMを表示する。これにより、ドライバは、後続車22との関係性を詳細に認識することができる。
また、HCU160は、メッセージMを表示するにあたって、画像のうち、自車10および後続車22に重ならないように表示する。これにより、自車10と後続車22との位置関係の表示を阻害することがない。
尚、上記実施形態において、図8に示すフローチャートによる処理をスタートさせることによって、表示形態の制御(後続車22の表示)を行うようにした。しかしながら、これに限らず、ドライバの顔を撮影するドライバカメラを設けて、ドライバの視線がバックミラーを見ている回数が単位時間当たりの閾値を超えた場合に、後続車22の表示処理を実行(スタート)するようにしてもよい。
(第4実施形態)
第4実施形態を図17に示す。第4実施形態では、HCU160は、ロケータ30、周辺監視センサ40、車載通信器50、第1、第2自動運転ECU60、70、および車両制御ECU80等から各種情報を取得する。HCU160は、各種情報のうち、特に、自車10の位置情報、走行状態、および周辺情報を基に設定される自動運転のレベル(レベル1、2、3以上)と、自車10の走行状態(渋滞走行、高速走行等)と、周辺車両(前方車21、後続車22)の状況とに応じて、表示部に表示する周辺画像の表示形態を切替える。周辺画像は、自車10周りの画像であり、自車10と周辺車両21、22との関係性を示す画像である。表示部は、例えば、メータディスプレイ120が使用される。
図17の左側に示すように、自車10が自動運転レベル2(あるいは自動運転レベル1も含む)で走行している場合に、HCU160は、自車10を含む前方エリアの画像FPを表示する。このとき、前方エリアの画像FPは、自車10の後方上部から捉えた俯瞰表現が使用されている。
一方、図17の右側に示すように、自車10が、自動運転のレベル3以上となると、HCU160は、前方エリアの画像FPに、後方エリアの画像RPを加えて表示する。
図17の右側上段に示すように、自動運転のレベルが、渋滞時限定レベル3のときに、HCU160は、後続車22があると、後方エリアの画像RPを、後続車22の後端までとして表示し、後続車22がないと、後続車22を想定したエリアよりも更に広いエリアとなるように表示する。このときの周辺画像は、俯瞰表現が使用されている。尚、後方から高速で後続車22が近づいてきたときに、後方エリアを広く表示してもよい。また、周辺画像は、CID130に表示するようにしてもよい。
また、図17の右側中段に示すように、自動運転のレベルが、予め設定された所定のエリア(例えば、高速道路の規定区間)での自動運転が許可されるエリア限定レベル3(エリア限定自動運転)のときに、HCU160は、周辺画像として、自車10の上方から捉え、自車10を画像の中央に配置した平面的な画像として表示する。周辺画像は、CID130に表示するようにしてもよい。また、後続車22がない場合は、周辺画像内において、自車10は、後方に対応する位置(画像の下側)に表示されるようにしてもよい。
また、図17の右側下段に示すように、自車10にとって、危険を及ぼす可能性のある危険車24(例えば、煽り車両や、高速で接近する車両、自車10の車線に近い位置で接近する車両など)の接近があると、HCU160は、危険車24が後方エリアの画像RP内に入るように表示する。HCU160は、危険車24が接近する前の段階では、自車10を周辺画像の中央に配置し、危険車24が接近すると、自車10の位置を中央からずらして、危険車24が確実に周辺画像内に入るように表示する。
尚、HCU160は、自動運転レベル3の間は、自動運転レベル3に移行していることを示す(識別をする)ための識別表示(ここでは、AUTO25の表示)を行うようになっている。
本実施形態によれば、自車10の自動運転レベル、走行状態(渋滞走行、高速走行等)、および周辺車両21、22の状況に応じて、自車10と周辺車両21、22との関係性にかかる表示形態が切替え表示されるので、自車10と周辺車両21、22との関係性を適切に把握することができる。
渋滞時限定レベル3では、周辺画像は俯瞰表示され、また、後続車22の有無に応じて、後方エリアの広さが変更されるので、接近する後続車22を把握しやすくなる。
また、エリア限定レベル3では、平面表示とされるので、周辺車両21、22を広い範囲で把握でき、特に、高速で接近してくる後続車22や、また、前方、左右における前方車21の動向を把握しやすくなる。
また、危険車24の接近があると、後方エリアの画像RP内に入るように表示されるので、不安を取り除くことができる。
(第5実施形態)
第5実施形態を図18に示す。第5実施形態では、HCU160は、自動運転のレベル、自車10の走行状態、および周辺車両21、22の状況が判定されたタイミングに基づいて、周辺画像の表示形態の切替えタイミングを調整する。
図18のパターン1では、自動運転レベル2において、第1、第2自動運転ECU60、70から自動運転レベル3が許可された信号を受けると、HCU160は、俯瞰表現にて、前方エリアの画像FPの表示に切替える。この周辺画像は、渋滞走行である場合、あるいはエリア限定走行である場合の両方を含む。
その後に、自動運転レベル3は、渋滞時限定レベル3である、あるいはエリア限定レベル3であることを受けると、HCU160は、そのタイミングで、渋滞時での周辺画像(俯瞰表現)の表示に切替える、あるいは、エリア限定での周辺画像(平面表現)の表示に切替える。この場合の周辺画像は、前方エリアの画像FPと後方エリアの画像RPとが含まれる。
一方、図18のパターン2では、自動運転レベル2において、第1、第2自動運転ECU60、70から渋滞時限定レベル3、あるいはエリア限定レベル3が許可された信号を受けると、HCU160は、渋滞時限定レベル3のときは、俯瞰表現にて、前方エリアの画像FPの表示に切替える。あるいは、HCU160は、エリア限定レベル3のときは、平面表現にて、前方エリアの画像FPの表示に切替える。
その後に、後続車22ありの信号を受けると、HCU160は、そのタイミングで、渋滞時での前方エリアの画像FPおよび後方エリアの画像RPの表示に切替える、あるいは、エリア限定時での前方エリアの画像FPおよび後方エリアの画像RPの表示に切替える。
これにより、HUC160は、第1、第2自動運転ECU60、70から受け取る自動運転にかかる信号のタイミングに応じて、無理なく表示形態の切替えを行うことができる。
(第6実施形態)
第6実施形態を図19、図20に示す。第6実施形態では、HCU160は、自動運転のレベルとして、上記で説明したように自動運転レベル2の状態から自動運転レベル3への表示形態の切替えに対して、手動運転(自動運転レベル0)、あるいは自動運転レベル1の状態から自動運転レベル3に移行するときの表示形態の切替えを行う場合を示している。
図19に示すように、自動運転レベル0において、HCU160は、メータディスプレイ120には、本来のメータ(速度計、回転計等)の表示を行う。そして、自動運転レベルが、渋滞時限定レベル3になると、HCU160は、俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合と、ない場合とを示している。
また、自動運転レベル0において、自動運転レベルが、エリア限定レベル3になると、HCU160は、平面表現、あるいは俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合を示している。
一方、図20に示すように、自動運転レベル1において(例えば、追従走行)、HCU160は、メータディスプレイ120には、追従走行にかかる前方車21の表示を行っている。そして、上記と同様に、自動運転レベルが、渋滞時限定レベル3になると、HCU160は、俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合と、ない場合とを示している。
また、自動運転レベル1において、自動運転レベルが、エリア限定レベル3になると、HCU160は、平面表現、あるいは俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合を示している。
これにより、自動運転レベルがレベル0、あるいはレベル1であっても、自動運転レベル3に移行すると、前方エリアの画像FP、および後方エリアの画像RPを含む周辺画像に切替えられるので、自車10と周辺車両21、22との関係性を適切に把握することができる。
(第7実施形態)
上記実施形態(第4実施形態)では、自動運転レベル3における周辺画像の表示形態として、俯瞰表現を用いた場合、あるいは平面表現を用いた場合、更には、俯瞰表現における表示エリアよりも広くする場合に、平面表現を用いることを説明した。
俯瞰表現は、リアリティのある画像表現ができる反面、画像データ量が多い分、画像処理における負荷が増大し、滑らかな画像表現に支障をきたす場合がある。よって、リアリティを追求しなのであれば、平面表現で事足りることになる。よって、周辺の状況に応じて、俯瞰表現と平面表現とを使いわけるのがよい。この場合、俯瞰表現と平面表現とを切替える際に、滑らかな切替えが行われるようにするとよい。
図21は、自車10の周辺状況に応じて、俯瞰表現と平面表現との間で、周辺画像を切替える場合を示している。図21では、例えば、渋滞時限定レベル3での周辺画像と、エリア限定レベル3での周辺画像を示している。
渋滞時限定レベル3において、例えば、自車線以外が渋滞でないときは、エリア限定レベル3のように平面表現に切替えるとよい。また、エリア限定レベル3において、渋滞が発生したときは、渋滞時限定レベル3のように俯瞰表現に切替えるとよい。
また、HCU160は、自車10、および後続車22の車速が高いほど、例えば、俯瞰表現にするための判定閾値を下げることで、俯瞰表現と平面表現とのうち、俯瞰表現の使用頻度を高くするようにするとよい。
また、HCU160は、自車10と後続車22との距離が大きいほど、後方エリアの画像RPの範囲を大きくするとよい。
(第8実施形態)
第8実施形態を図22~図25に示す。第8実施形態では、HCU160は、自動運転のレベルとして、ドライバの周辺監視義務が不要となる渋滞走行時の渋滞時限定レベル3に応じた周辺画像を表示する。そして、HCU160は、ドライバの周辺監視義務を伴う渋滞走行時の自動運転レベル2以下に移行しても、渋滞が解消しないときに、渋滞時限定レベル3の周辺画像の表示を継続し、その後に渋滞が解消して、自動運転レベル2以下に移行すると、自動運転レベル2以下に応じた周辺画像を表示する。
図22は、渋滞時限定レベル3から自動運転レベル2に移行した場合を示している。
図22の左側に示すように、渋滞時限定レベル3では、HCU160は、周辺画像として、俯瞰表現にて、前方エリアの画像FPと、後方エリアの画像RPとを表示する(後続車22有無を含む)。このとき、HCU160は、渋滞時限定レベル3の間は、自動運転レベル3に移行していることを示す(識別をする)ための識別表示(AUTO25の表示)を行うようになっている。
そして、図22の右側上段に示すように、自動運転レベル2に移行しても渋滞が解消しないとき、HUC160は、渋滞時限定レベル3での表示形態をそのまま継続する。尚、自動運転レベル2に移行している間は、AUTO25の表示は、非表示とされる。
渋滞時限定レベル3から自動運転レベル2に移行されても、渋滞が解消しない場合は、車線数の減少、他車両20の合流等が考えられ、自車10の周辺への割込み等の可能性が高いため、前方エリアの画像FPのみではなくて、後方エリアの画像RPも含む表示形態にするのがよい。
渋滞時限定レベル3と、自動運転レベル2とでは、渋滞時限定レベル3のときに、AUTO25の表示が行われることで、渋滞時限定レベル3と、自動運転レベル2との識別が可能となる。
一方、図22の右側下段に示すように、自動運転レベル2に移行して、渋滞が解消したときは、HCU160は、自動運転レベル2に応じた、前方エリアの画像FPの表示に切替える。尚、自動運転レベル2に移行している間は、AUTO25の表示は、非表示とされる。
図23は、渋滞時限定レベル3から自動運転レベル1に移行した場合を示している。渋滞が解消しない場合の表示形態は、上記図22の場合と同様である。また、渋滞が解消した場合は、前方エリアの画像FPとして、例えば、追従走行における前方車21が表示される。
また、図24は、渋滞時限定レベル3から自動運転レベル0(手動運転)に移行した場合を示している。渋滞が解消しない場合の表示形態は、上記図22の場合と同様である。また、渋滞が解消した場合は、本来のメータ表示(速度計、回転計等)とされる。
尚、図25は、参考として、エリア限定レベル3から自動運転レベル2、レベル1、レベル0(手動運転)に移行した場合を示している。エリア限定レベル3では、平面表現、あるいは俯瞰表現によって、前方エリアの画像FPと後方エリアの画像RPとが表示されている(AUTO25の表示あり)。そして、自動運転レベル2に移行すると、前方エリアの画像FP(複数の前方車21)が表示され、自動運転レベル1に移行すると、前方エリアの画像FP(追従走行における前方車21)が表示され、自動運転レベル0に移行すると、本来のメータ表示とされる。自動運転レベル2、レベル1、レベル0では、AUTO25の表示は、非表示とされる。
(第9実施形態)
第9実施形態では、自動運転レベル3におけるセカンドタクスにかかる表示と、周辺画像の表示との切替えについて説明する。
HCU160は、自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行すると、ドライバに対して運転以外の行為として許可されるセカンドタスクにかかる表示を行う。そして、HCU160は、接近する他車両20があったとき、あるいは、急速度の他車両20があったときに、セカンドタスクにかかる表示を周辺画像に切替える。
セカンドタスクを表示する表示部は、メータディスプレイ120や、CID130とすることができる。例えば、CID130にセカンドタスクにかかる表示(映画の再生等)をしており、接近する他車両20や、急速度の他車両20があると、HCU160は、CID130の表示を周辺画像に切替える。周辺画像は、前方エリアの画像FPおよび後方エリアの画像RPとしたり、後方エリアの画像RPのみとしてもよい。
また、HCU160は、自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行して、ドライバが、運転以外の行為として許可されるセカンドタスク(スマートフォンの操作等)を始めると、周辺画像を、予め定めた最小限度の表示内容にする。また、HCU160は、ドライバがセカンドタスクを中断したとき(顔を上げたとき等)、接近する他車両20があったとき、あるいは、急速度の他車両20があったときに、最小限度の表示内容を周辺画像に切替える。周辺画像は、前方エリアの画像FPおよび後方エリアの画像RPとしたり、後方エリアの画像RPのみとしてもよい。
このように、HCU160は、自動運転レベル3において、表示部(メータディスプレイ120、CID130等)におけるセカンドタスクにかかる表示、あるいは、セカンドタスクに伴う最小限度の表示内容を、周辺車両21、22の状況、ドライバのセカンドタスク中断等によって、周辺画像に切替える。よって、自動運転レベル3であっても、自車10と周辺車両21、22との関係性を適切に把握することができる。
(第10実施形態)
第10実施形態を図26に示す。第10実施形態では、表示部として、自車10の後側方における周辺車両21、22を表示する電子ミラー表示部170を備えている。電子ミラー表示部170は、例えば、メータディスプレイ120に隣接して設けられている。そして、HCU160は、自動運転レベル3において(メータディスプレイ120にAUTO25の表示あり)、自車10にとって、危険を及ぼす可能性のある危険車24の接近があると、メータディスプレイ120、および電子ミラー表示部170の両者に、危険車24を強調して表示する。
メータディスプレイ120における周辺画像は、例えば、平面表現による、前方エリアの画像FPと、後方エリアの画像RPとすることができる。また、強調表示は、例えば、上記第1実施形態で説明した強調表示E等とすることができる。
これにより、危険車24の接近があると、メータディスプレイ120と電子ミラー表示部170の両者によって、危険車24が表示されるので、不安を取り除くことができる。
(第11実施形態)
第11実施形態を図27に示す。第11実施形態では、HCU160は、自動運転レベル3において、自車10の隣の車線が渋滞していると、周辺画像の表示形態として、自車10の後方上部から捉えた俯瞰表現に切替え(図27(a))、自車10の隣の車線が渋滞していないと、自車10の上部から捉えた平面表現に切替える(図27(b))。
これにより、隣の車線が渋滞していると、割込みの可能性は低いと思われる。このとき周辺画像が俯瞰表現されるので、主に、後方側の他車両20に注意を向けることができる。また、隣の車線が渋滞していないと、高速度の車両が接近して割込みをかける可能性があると思われる。このとき、周辺画像が平面表現されるので、より広い領域について、注意を向けることができる。
(第12実施形態)
第12実施形態を図28~図31に示す。第12実施形態では、HCU160は、合流地点において、合流しようとする他車両20があると、周辺画像に他車両20を加えて表示する。
図28は、渋滞走行で後続車22がいない場合を示している。図28(a)は、渋滞時限定レベル3にて、俯瞰表現された周辺画像を示している。自車10の位置は、周辺画像の下側、あるいは、周辺画像の中央とすることができる。図28(b)は、合流地点での周辺画像を示している。合流地点では、渋滞時限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、俯瞰表現から平面表現としてもよい。そして、図28(c)は、合流後の周辺画像を示している。ここでは、図28(a)と同様の表示となる(合流後、後続車22なし)。
図29は、渋滞走行で後続車22がいる場合を示している。図29(a)は、渋滞時限定レベル3にて、俯瞰表現された周辺画像を示している。自車10の位置は、周辺画像の中央とすることができる。図29(b)は、合流地点での周辺画像を示している。合流地点では、渋滞時限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、俯瞰表現から平面表現としてもよい。そして、図29(c)は、合流後の周辺画像を示している。ここでは、図29(a)と同様の表示となる(合流後、後続車22あり)。
図30は、エリア限定走行で後続車22がいない場合を示している。図30(a)は、エリア限定レベル3にて、平面表現された周辺画像を示している。自車10の位置は、周辺画像の下側とすることができる。図30(b)は、合流地点での周辺画像を示している。合流地点では、エリア限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、平面表現から俯瞰表現としてもよい。そして、図30(c)は、合流後の周辺画像を示している。ここでは、図30(a)と同様の表示となる(合流後、後続車22なし)。
図31は、エリア限定走行で後続車22がいる場合を示している。図31(a)は、エリア限定レベル3にて、平面表現された周辺画像を示している。自車10の位置は、周辺画像の中央とすることができる。図31(b)は、合流地点での周辺画像を示している。合流地点では、エリア限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、平面表現から俯瞰表現としてもよい。そして、図31(c)は、合流後の周辺画像を示している。ここでは、図31(a)と同様の表示となる(合流後、後続車22あり)。
これにより、各自動運転レベル3の走行状態に応じて、合流地点で合流しようとする他車両20、および後続車22(いる場合)の状況を的確に把握することができる。
(第13実施形態)
第13実施形態を図32に示す。第13実施形態では、HCU160は、ドライバが自動運転から手動運転への交代に失敗すると、緊急避難として緊急停止されるまでの間に、周辺画像において自車10の位置を中央にして周辺車両21、22を表示する。
図32(a)に示すように、例えば、渋滞時限定レベル3にて、周辺画像が俯瞰表現によって表示される。図32(a)の上段は、自車10に後続車22がなく、自車10が周辺画像の下部に表示された場合を示している。図32(a)の中段は、自車10に後続車22がなく、自車10が周辺画像の中央に表示された場合を示している。図32(a)の下段は、自車10に後続車22があり、自車10が周辺画像の中央に表示された場合を示している。
渋滞時限定レベル3から自動運転レベル2へ移行すると、HCU160は、図32(b)に示すように、周辺画像に運転交代のためのメッセージMを表示する。メッセージMは、例えば、「運転交代してください」といった内容とすることができる。ここで、ドライバが、よそ見をしていたり、気づくのが遅れたり等して、運転交代に失敗すると、HCU160は、図32(c)に示すように、緊急停止中である(減速中である)こと表示する。このとき、HCH160は、自車10の位置を周辺画像の中央に配置して、その周りに周辺車両21、22を表示する。
これにより、運転交代に失敗しても、自車10の周辺車両21、22の状況を的確に把握することができる。
(第14実施形態)
第14実施形態を図33に示す。第14実施形態では、第2自動運転ECU70は、自動運転レベル3以上を許可する条件として、前方車21(前方の先行車)と後続車22とが存在するという条件を加えて、自動運転制御を行う。
HCU160は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、周辺監視義務が不要となる自動運転レベル3以上(例えば、渋滞時限定レベル3)に移行可能となったときに、自車10の周辺画像に後続車22を表示する(図33の真中)。そして、HCU160は、例えば、ドライバによって操作デバイス150への入力操作が行われて、自動運転レベル3以上に移行した後に、周辺画像における後続車22を非表示とする(図33の右)。
HCU160は、周辺画像において、後続車22を非表示とするにあたって、カメラ41等によって、取得された後続車22自体の画像データの出力を停止して、メータディスプレイ120等の表示部に表示されないようにする。あるいは、HCU160は、カメラ41等(取得部)のカメラアングルを変更して、周辺画像の表示エリアとして、自車10の後方エリアの画像RPをカットして(自車10を周辺画像内の最下部にして)、後続車22を非表示とする。
尚、後続車22としては、基本的に自車レーン(自車10のレーン)における後続車22を捉えるものとするが、自車レーンにおける後続車22と、隣のレーンにおける後続車22とを捉える場合(図33の真中)を含むようにしてもよい。
また、HCU160は、渋滞時限定レベル3に移行した後は、自動運転レベル3であることを示す(識別をする)ための識別表示(AUTO25の表示)を行う。
本実施形態によれば、自動運転レベル3に移行可能となった段階では、周辺画像において、自動運転を許可する条件として後続車22が存在することをドライバに知らせることができる。そして、自動運転レベル3以上に移行した後は、周辺画像において、後続車22を非表示とすることで、ドライバに対して自動運転中における後方の情報量を減らすことができ、ドライバの利便性を向上させることができる。
(第15実施形態)
第15実施形態を図34に示す。第15実施形態では、上記第14実施形態に対して、周辺画像において、後続車22を非表示とするタイミングを変更したものである。
即ち、HCU160は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、周辺監視義務が不要となる自動運転レベル3以上(例えば、渋滞時限定レベル3)に移行するときに、自車10の周辺画像に後続車22を表示する(図34の真中)。そして、HCU160は、例えば、ドライバによって操作デバイス150への入力操作が行われて、自動運転レベル3以上に移行した後に、周辺画像における後続車22を非表示とする(図34の右)。
これにより、自動運転レベル3に移行する段階では、周辺画像において、自動運転を許可する条件として後続車22が存在することをドライバに知らせることができる。そして、自動運転レベル3以上に移行した後は、周辺画像において、後続車22を非表示とすることで、ドライバに対して自動運転中における情報量を減らすことができ、ドライバの利便性を向上させることができる。
(第16実施形態)
第16実施形態を図35に示す。第16実施形態では、前方車21と後続車22とが存在する条件で、自動運転レベル3以上として、前方車21に追従する自動追従走行を行う場合を例としている。
HCU160は、自動運転レベル3への移行後に、前方車21を強調表示する第1コンテンツC1と、自車10の後方に存在し、自車10によって検知されている後続車22を強調表示する第2コンテンツC2とを、周辺画像に表示する(図35の右)。
第1コンテンツC1、および第2コンテンツC2として、種々のマーク画像が使用される。マーク画像は、例えば、図35に示すように、U字状のマークであって、前方車21および後続車22を下側から囲むような表示とすることができる。尚、第1、第2コンテンツC1、C2は、U字状のマークに限らず、四角形や丸形のように、前方車21および後続車22の全体を囲むものや、目印となるドットマーク等としてもよい。また、第1、第2コンテンツC1、C2は、両者が類似のデザインとする場合、あるいは、両者が異なるデザインとする場合のいずれを用いてもよい。
加えて、HCU160は、第2コンテンツC2による強調度合いは、第1コンテンツC1による強調度合いよりも低く設定されるようにするとよい。
これにより、第1、第2コンテンツC1、C2を周辺画像に表示することによって、ドライバは、自動運転条件となる前方車21と後続車22との認識度合いを向上させることができる。
また、第1コンテンツC1に対して、第2コンテンツC2の強調度合いを低くすることで、周辺画像の下端側における後続車22が強調され過ぎることを抑制して、自車10に対する認識度合いが低下することを抑制できる。
(第17実施形態)
第17実施形態を図36に示す。第17実施形態は、上記第14~第16実施形態と同様に、前方車21と後続車22がある場合の条件を踏まえて、自動運転制御する場合の例である。
HCU160は、後続車22の不検知、あるいは後続車22の不在によって、ドライバの周辺監視義務が不要となる自動運転レベル3以上から、周辺監視義務を伴う自動運転レベル2以下に運転交代するときに、後続車22の不検知あるいは後続車22の不在を示す第3コンテンツC3を周辺画像に表示する(図36の真中)。
第3コンテンツC3は、例えば、後続車22がいないことを示すマーク画像であって、例えば、四角形のマークとすることができる。第3コンテンツC3は、この他にも、後続車22がいないことを示す絵文字等としてもよい。
そして、HCU160は、自動運転レベル2以下への運転交代が完了したときに、第3コンテンツC3を非表示とする(図36の右上)。
更に、HCU160は、第3コンテンツC3を非表示とした後に、周辺画像において、自車10が最下部に表示される表示形態に切替える(図36の右下)。尚、HCU160は、カメラ41等のカメラアングルを変更して、周辺画像の表示エリアとして、自車10の後方エリアの画像RPをカットして、自車10を最下部に表示する。
これにより、ドライバは、第3コンテンツC3が表示されることで、後続車22がなくなったことを認識することができ、それまでの自動運転レベル3以上が解除されることになることを認識することができる。
そして、自動運転レベル2以下への運転交代が完了したときに、第3コンテンツC3は非表示とされるので、ドライバは、後続車22のいないノーマルな周辺画像を確認できる。更に、第3コンテンツC3が非表示とされた後は、周辺画像において、自車10が最下部に表示されるので、不要な後方エリアの画像の情報がなくなり、ドライバは、自車10および前方側を注意すればよくなる。
(第18実施形態)
第18実施形態を図37に示す。第18実施形態は、上記第14~第17実施形態と同様に、前方車21と後続車22とがある場合に、自動運転制御する場合の例である。
HCU160は、上記の第14実施形態で説明したように、自動運転レベル3以上(渋滞限定レベル3)に移行して、後続車22を非表示とする(図37の左)。そして、その後に、HCU160は、後続車22が不検知となったときに、周辺画像において、一時的に後続車22が不検知であることを示す(報知する)報知マークNを、自車10の後方に表示する(図37の真中)。
報知マークNは、後続車22がいないことを示すマーク画像であって、例えば、四角形のマークとすることができる。報知マークNは、この他にも、後続車22がいないことを示す絵文字等としてもよい。
また、HCU160は、再度、後続車22が検知されたときに、周辺画像に後続車22を表示する(図37の右上)と共に、更に、その後に、後続車22の表示を非表示とする(図37の右下)。
HCU160は、周辺画像において、後続車22を非表示とするにあたって、上記実施形態で説明したように、カメラ41等によって、取得された後続車22自体の画像データの出力を停止して、メータディスプレイ120等に表示されないようにする(図37の右下)。
更に、HCU160は、後続車22を非表示するにあたって、後続車22に対する取得部の鳥瞰アングルを変更する。つまり、上記実施形態で説明したように、HCU160は、カメラ41(取得部)等のカメラアングルを変更して、周辺画像の表示エリアとして、自車10の後方エリアの画像RPをカットして、自車10を最下部に表示する(図36の右下に相当)。
これにより、自動運転レベル3以上において、存在しているものの非表示とされた後続車22が、不検知となると(存在しなくなると)、報知マークNが表示されるので、ドライバは、この報知マークNによって、後続車22がいなくなったことを認識することができる。
そして、その後に、再度、後続車22が検知されると、周辺画像に後続車22が表示されるので、ドライバは、実質的な後方の状況を認識することができる。更に、その後に、周辺画像において、後続車22が非表示とされるので、ドライバに対して自動運転中における後方の情報量を減らすことができ、ドライバの利便性を向上させることができる。
(第19実施形態)
第19実施形態を図38に示す。第19実施形態は、上記第14~第18実施形態と同様に、前方車21と後続車22とがある場合に、自動運転制御する場合の例である。
HCU160は、前方車21がすでに存在しており、あと、後続車22が存在すれば、自動運転レベル3以上に移行可能となる状況であると、自動運転への移行可能前状態であるとして、移行前画像Rを周辺画像内の後続車22に相当する位置に表示する(図38の真中)。
移行前画像Rは、例えば、四角形のマークとすることができる。移行前画像Rは、この他にも、移行可能前状態であることを示す絵文字等としてもよい。
尚、移行前画像Rが表示されるのは、あと一つ条件が揃えば自動運転に移行できる場合であって、ゲーム等で言われる「リーチ」の状態に相当し、移行前画像Rを「リーチ画像」と呼ぶこともできる。
尚、後続車22が存在して、自動運転レベル3以上に移行した後は、上記第14実施形態と同様に、後続車22は、非表示とされる(図38の右)。
これにより、ドライバは、移行前画像Rによって、自動運転への移行可能性が高いのか、低いのかを容易に認識することができる。
(その他の実施形態)
上記各実施形態では、表示部をメータディスプレイ120としたが、これに限定されることなく、他のHUD110、あるいはCID130を表示部としてもよい。CID130を表示部として使用すると、自動運転に関する表示と、自動運転に切替える操作(タッチ操作)とが、CID130にて実現できる。
また、CID130が、例えば複数のCIDから形成されて、メータディスプレイ120、および複数のCIDが、インストルメントパネル上で横一列に配置されるピラートゥーピラータイプの表示部としてもよい。
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つないしは複数の機能を実行するようにプログラムされたプロセッサ、およびメモリを構成することによって提供された専用コンピュータにより、実現されるようにした。
しかしながら、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウエア理論回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。
もしくは、本開示に記載の制御部およびその手法は、一つないしは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと、一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合せにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
10 自車(車両)
20 他車両
21 前方車、周辺車両(先行車)
22 後続車、周辺車両
23 緊急車(優先後続車)
24 危険車
25 AUTO表示(識別表示)
30 ロケータ(取得部)
40 周辺監視センサ(取得部)
50 車載通信器(取得部)
100 車両用表示装置
120 メータディスプレイ(表示部)
140 電子ミラー表示部
160 ヒューマンマシーンインターフェイスコントロールユニット(制御部)
FP 前方エリアの画像
RP 後方エリアの画像
D 距離
S 簡易表示
E 強調表示
U 一体感表示
M メッセージ
C1 第1コンテンツ
C2 第2コンテンツ
C3 第3コンテンツ
N 報知マーク
R 移行前画像

Claims (40)

  1. 自動運転機能を有する車両(10)に適用されて、
    前記車両の走行情報を表示する表示部(120)と、
    前記車両の位置情報および前記車両の周辺情報を取得する取得部(30、40、50)と、
    前記位置情報および前記周辺情報を基に、前記車両の前記自動運転機能が発揮されていないときに、前記車両を含む前方エリアの画像(FP)を前記表示部に表示すると共に、前記自動運転機能が発揮されているときには、後続車(22)を含む後方エリアの画像(RP)を前記前方エリアの画像に連続するように追加して、前記表示部に表示する表示制御部(160)と、を備える車両用表示装置。
  2. 前記表示制御部は、前記車両と前記後続車との距離(D)が大きい程、前記後方エリアを大きくする請求項1に記載の車両用表示装置。
  3. 前記表示制御部は、前記距離が所定距離以上となると、前記後方エリアを最大設定にして、前記後続車の表示を、存在を示すための簡易表示(S)にする請求項2に記載の車両用表示装置。
  4. 前記表示制御部は、前記車両と前記後続車との距離が変動するとき、前記後方エリアを前記距離の変動を吸収可能な大きさに固定する請求項1に記載の車両用表示装置。
  5. 前記表示制御部は、前記後続車の中に、予め定めた優先度の高い優先後続車(23)があると、前記後方エリアにおいて、前記優先後続車までを表示する請求項1に記載の車両用表示装置。
  6. 前記表示制御部は、前記優先後続車を強調する強調表示(E)を行う請求項5に記載の車両用表示装置。
  7. 前記表示制御部は、前記後続車が、前記車両に対して自動追従走行を行っている場合、前記車両と前記後続車とを、一体感を伴う一体感表示(U)する請求項1に記載の車両用表示装置。
  8. 前記表示制御部は、前記車両と前記後続車との関係性を示すメッセージ(M)を表示する請求項1~請求項7のいずれか1つに記載の車両用表示装置。
  9. 前記表示制御部は、前記メッセージを表示するにあたって、前記画像のうち、前記車両および前記後続車に重ならないように表示する請求項8に記載の車両用表示装置。
  10. 自動運転機能を有する車両(10)に適用されて、
    前記車両の走行情報を表示する表示部(120)と、
    前記車両の位置情報、走行状態、および周辺情報を取得する取得部(30、40、50)と、
    前記走行情報の1つとして前記車両の周辺画像を前記表示部に表示すると共に、前記位置情報、前記走行状態、および前記周辺情報を基に設定される前記車両の自動運転のレベルと、前記走行状態と、前記周辺情報としての周辺車両(21、22)の状況とに応じて、前記周辺画像における前記車両と前記周辺車両との関係性にかかる表示形態を切替える表示制御部(160)と、を備える車両用表示装置。
  11. 前記表示制御部は、ドライバの周辺監視義務を伴う自動運転レベル1、あるいは自動運転レベル2のときに、前記車両を含む前方エリアの画像(FP)を表示すると共に、前記ドライバの周辺監視義務が不要となる自動運転レベル3以上のときに、前記前方エリアの画像に加えて、前記車両の後方エリアの画像(RP)を表示する請求項10に記載の車両用表示装置。
  12. 前記表示制御部は、渋滞走行時における前記自動運転レベル3以上のときに、後続車(22)があると、前記後方エリアの画像を、前記後続車の後端までとして表示し、前記後続車がないと、前記後続車を想定したエリアよりも広いエリアとなるように表示する請求項11に記載の車両用表示装置。
  13. 前記表示制御部は、予め設定された所定のエリアでの自動運転が許可されるエリア限定自動運転において、前記自動運転レベル3以上のときに、前記周辺画像として、前記車両の上方から捉え、前記車両を中央に配置した平面的な画像として表示する請求項11に記載の車両用表示装置。
  14. 前記表示制御部は、前記車両にとって、危険を及ぼす可能性のある危険車(24)の接近があると、前記危険車が前記後方エリアの画像内に入るように表示する請求項11に記載の車両用表示装置。
  15. 前記表示制御部は、前記自動運転のレベル、前記車両の走行状態、および前記周辺車両の状況が判定されたタイミングに基づいて、前記周辺画像の表示形態の切替えタイミングを調整する請求項10に記載の車両用表示装置。
  16. 前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務を伴う自動運転レベル0、自動運転レベル1、あるいは自動運転レベル2の状態から、前記ドライバの周辺監視義務が不要となる自動運転レベル3に移行するときに、前記表示形態の切替えを行う請求項10に記載の車両用表示装置。
  17. 前記表示制御部は、前記表示形態として、前記車両の後方上部から捉えた俯瞰表現と、前記車両の上部から捉えた平面表現とを可能としており、前記俯瞰表現における表示エリアよりも広くする場合に、前記平面表現を用いる請求項10に記載の車両用表示装置。
  18. 前記表示制御部は、ドライバの周辺監視義務が不要となる前記自動運転のレベルとして、渋滞走行時の自動運転レベル3のときに、前記俯瞰表現を用い、予め設定された所定のエリアにおいて前記自動運転が許可されるエリア限定での自動運転レベル3のときに、前記平面表現を用い、前記周辺車両の状況に応じて、前記俯瞰表現を前記平面表現に、あるいは前記平面表現を前記俯瞰表現に切替える請求項17に記載の車両用表示装置。
  19. 前記表示制御部は、前記車両、および後続車の車速が高いほど、前記俯瞰表現と前記平面表現とのうち、前記俯瞰表現の使用頻度を高くする請求項17に記載の車両用表示装置。
  20. 前記表示制御部は、前記車両と後続車との距離が大きいほど、後方エリアの画像の範囲を大きくする請求項10に記載の車両用表示装置。
  21. 前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務が不要となる渋滞走行時の自動運転レベル3に応じた前記周辺画像を表示し、前記ドライバの周辺監視義務を伴う渋滞走行時の自動運転レベル2以下に移行しても、渋滞が解消しないときに、前記自動運転レベル3の前記周辺画像の表示を継続し、渋滞が解消して、前記自動運転レベル2以下に移行すると、前記自動運転レベル2以下に応じた前記周辺画像を表示する請求項10に記載の車両用表示装置。
  22. 前記表示制御部は、前記自動運転レベル3のときに、前記自動運転レベル3が実行されていることを示す識別表示(25)を行う請求項21に記載の車両用表示装置。
  23. 前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行すると、前記ドライバに対して運転以外の行為として許可されるセカンドタスクにかかる表示を行い、接近する他車両(20)があったとき、あるいは、急速度の前記他車両があったときに、前記セカンドタスクにかかる表示を前記周辺画像に切替える請求項10に記載の車両用表示装置。
  24. 前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行して、前記ドライバが、運転以外の行為として許可されるセカンドタスクを始めると、前記周辺画像を、予め定めた最小限度の表示内容にし、前記ドライバが前記セカンドタスクを中断したとき、接近する他車両(20)があったとき、あるいは、急速度の前記他車両があったとき、前記最小限度の表示内容を前記周辺画像に切替える請求項10に記載の車両用表示装置。
  25. 前記車両の後側方における周辺車両を表示する電子ミラー表示部(140)を備え、
    前記表示制御部は、前記車両にとって、危険を及ぼす可能性のある危険車(24)の接近があると、前記表示部、および前記電子ミラー表示部の両者に、前記危険車を強調して表示する請求項10に記載の車両用表示装置。
  26. 前記表示制御部は、前記車両の隣の車線が渋滞していると、前記表示形態として、前記車両の後方上部から捉えた俯瞰表現に切替え、前記車両の隣の車線が渋滞していないと、前記車両の上部から捉えた平面表現に切替える請求項10に記載の車両用表示装置。
  27. 前記表示制御部は、合流地点において、合流しようとする他車両(20)があると、前記周辺画像に前記他車両を加えて表示する請求項10に記載の車両用表示装置。
  28. 前記表示制御部は、ドライバが自動運転から手動運転への交代に失敗すると、緊急停止されるまでの間に、前記周辺画像において、前記車両の位置を中央にして前記周辺車両を表示する請求項10に記載の車両用表示装置。
  29. 前記表示制御部は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、前記周辺監視義務が不要となる自動運転レベル3以上に移行可能となったときに、前記周辺画像に後続車(22)を表示し、前記自動運転レベル3以上に移行した後に、前記周辺画像における前記後続車を非表示とする請求項10に記載の車両用表示装置。
  30. 前記表示制御部は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、前記周辺監視義務が不要となる自動運転レベル3以上に移行するときに、前記周辺画像に後続車(22)を表示し、前記自動運転レベル3以上に移行した後に、前記周辺画像における前記後続車を非表示とする請求項10に記載の車両用表示装置。
  31. 前記表示制御部は、ドライバの周辺監視義務を不要とする自動運転レベル3以上であって、前方車(21)に追従する自動追従走行を行っているときに、前記前方車を強調表示する第1コンテンツ(C1)と、前記車両の後方に存在し、前記車両によって検知されている後続車(22)を強調表示する第2コンテンツ(C2)と、を前記周辺画像に表示する請求項10に記載の車両用表示装置。
  32. 前記第2コンテンツの強調度合いは、前記第1コンテンツの前記強調度合いよりも低く設定された請求項31に記載の車両用表示装置。
  33. 前記表示制御部は、後続車(22)の不検知、あるいは前記後続車の不在によって、ドライバの周辺監視義務が不要となる自動運転レベル3以上から、前記周辺監視義務を伴う自動運転レベル2以下に運転交代するときに、前記後続車の不検知あるいは前記後続車の不在を示す第3コンテンツ(C3)を前記周辺画像に表示する請求項10に記載の車両用表示装置。
  34. 前記表示制御部は、前記運転交代が完了したときに、前記第3コンテンツを非表示とする請求項33に記載の車両用表示装置。
  35. 前記表示制御部は、前記第3コンテンツを非表示とした後に、前記周辺画像において、前記車両が最下部に表示される表示形態に切替える請求項34に記載の車両用表示装置。
  36. 前記表示制御部は、ドライバの周辺監視義務が不要となる自動運転レベル3以上のときに、後続車(22)が不検知となったときに、前記周辺画像において、一時的に前記後続車が不検知であることを示す報知マーク(N)を前記車両の後方に表示する請求項10に記載の車両用表示装置。
  37. 前記表示制御部は、再度、前記後続車が検知されたときに、前記周辺画像に前記後続車を表示すると共に、更に、その後に、前記後続車の表示を非表示とする請求項36に記載の車両用表示装置。
  38. 前記表示制御部は、前記後続車の表示を非表示とするときに、前記後続車に対する前記取得部の鳥瞰アングルを変更する請求項37に記載の車両用表示装置。
  39. 前記表示制御部は、後続車が存在すれば、ドライバの周辺監視義務が不要となる自動運転レベル3に移行可能となることを示す移行前画像(R)を前記周辺画像に表示する請求項10に記載の車両用表示装置。
  40. 前記自動運転レベル3以上は、前記車両が走行する走行レーンに、前方の先行車および前記後続車が存在するときに実行される請求項29~請求項39のいずれか1つに記載の車両用表示装置。
JP2021069887A 2020-08-27 2021-04-16 車両用表示装置 Active JP7310851B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112021004492.3T DE112021004492T5 (de) 2020-08-27 2021-08-06 Fahrzeuganzeigevorrichtung
CN202180052566.7A CN115943101A (zh) 2020-08-27 2021-08-06 车辆用显示装置
PCT/JP2021/029254 WO2022044768A1 (ja) 2020-08-27 2021-08-06 車両用表示装置
US18/165,297 US20230191911A1 (en) 2020-08-27 2023-02-06 Vehicle display apparatus
JP2023101820A JP7480894B2 (ja) 2020-08-27 2023-06-21 車両用表示装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020143764 2020-08-27
JP2020143764 2020-08-27
JP2021028873 2021-02-25
JP2021028873 2021-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023101820A Division JP7480894B2 (ja) 2020-08-27 2023-06-21 車両用表示装置

Publications (3)

Publication Number Publication Date
JP2022039936A true JP2022039936A (ja) 2022-03-10
JP2022039936A5 JP2022039936A5 (ja) 2022-09-09
JP7310851B2 JP7310851B2 (ja) 2023-07-19

Family

ID=80498724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021069887A Active JP7310851B2 (ja) 2020-08-27 2021-04-16 車両用表示装置

Country Status (1)

Country Link
JP (1) JP7310851B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023112082A (ja) * 2020-08-27 2023-08-10 株式会社デンソー 車両用表示装置
WO2023176854A1 (ja) 2022-03-15 2023-09-21 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091058A (ja) * 2014-10-29 2016-05-23 株式会社デンソー 運転情報表示装置および運転情報表示方法
WO2017046938A1 (ja) * 2015-09-18 2017-03-23 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017102739A (ja) * 2015-12-02 2017-06-08 株式会社デンソー 車両制御装置
JP2017206133A (ja) * 2016-05-19 2017-11-24 カルソニックカンセイ株式会社 車両用表示システム
JP2019006280A (ja) * 2017-06-26 2019-01-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019043176A (ja) * 2017-08-29 2019-03-22 日本精機株式会社 車載表示装置
DE102018215292A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen einer Fahrzeugumgebung in einem Fahrzeug und zugehörige Vorrichtung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091058A (ja) * 2014-10-29 2016-05-23 株式会社デンソー 運転情報表示装置および運転情報表示方法
WO2017046938A1 (ja) * 2015-09-18 2017-03-23 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017102739A (ja) * 2015-12-02 2017-06-08 株式会社デンソー 車両制御装置
JP2017206133A (ja) * 2016-05-19 2017-11-24 カルソニックカンセイ株式会社 車両用表示システム
JP2019006280A (ja) * 2017-06-26 2019-01-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019043176A (ja) * 2017-08-29 2019-03-22 日本精機株式会社 車載表示装置
DE102018215292A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen einer Fahrzeugumgebung in einem Fahrzeug und zugehörige Vorrichtung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023112082A (ja) * 2020-08-27 2023-08-10 株式会社デンソー 車両用表示装置
WO2023176854A1 (ja) 2022-03-15 2023-09-21 オムロン株式会社 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Also Published As

Publication number Publication date
JP7310851B2 (ja) 2023-07-19

Similar Documents

Publication Publication Date Title
US10663315B2 (en) Vehicle display control device and vehicle display control method
WO2022044768A1 (ja) 車両用表示装置
JP6665605B2 (ja) 表示制御装置及び表示制御方法
US20200262349A1 (en) Display system, display method, and program
WO2020208989A1 (ja) 表示制御装置及び表示制御プログラム
US20230182572A1 (en) Vehicle display apparatus
US20230166754A1 (en) Vehicle congestion determination device and vehicle display control device
JP7355057B2 (ja) 車両用制御装置及び車両用制御方法
US12030514B2 (en) Presentation control device and non-transitory computer readable storage medium
JP7310851B2 (ja) 車両用表示装置
US20230373309A1 (en) Display control device
US20230020471A1 (en) Presentation control device and automated driving control system
CN114207692A (zh) 驾驶辅助装置、驾驶辅助系统和驾驶辅助方法
JP7363833B2 (ja) 提示制御装置、提示制御プログラム、自動走行制御システムおよび自動走行制御プログラム
JP6962397B2 (ja) 表示制御装置及び表示制御方法
JP2022031102A (ja) 車両用表示装置、および表示方法
JP2020172251A (ja) 表示制御装置及び表示制御プログラム
US20240294188A1 (en) Vehicle control device
JP7347476B2 (ja) 車両用表示装置
WO2022107466A1 (ja) 車両制御装置、および車両用報知装置
WO2022030317A1 (ja) 車両用表示装置、および車両用表示方法
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
US20230019934A1 (en) Presentation control apparatus
JP7375651B2 (ja) 通知制御装置及び通知制御プログラム
JP2022080260A (ja) 車両制御装置、および車両用報知装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151