JP2019090627A - 表示システム、表示方法、およびプログラム - Google Patents

表示システム、表示方法、およびプログラム Download PDF

Info

Publication number
JP2019090627A
JP2019090627A JP2017217676A JP2017217676A JP2019090627A JP 2019090627 A JP2019090627 A JP 2019090627A JP 2017217676 A JP2017217676 A JP 2017217676A JP 2017217676 A JP2017217676 A JP 2017217676A JP 2019090627 A JP2019090627 A JP 2019090627A
Authority
JP
Japan
Prior art keywords
display
control unit
lane
vehicle
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017217676A
Other languages
English (en)
Other versions
JP6630976B2 (ja
Inventor
嘉崇 味村
Yoshitaka Ajimura
嘉崇 味村
顕司 杉山
Kenji Sugiyama
顕司 杉山
雅幸 ▲高▼橋
雅幸 ▲高▼橋
Masayuki Takahashi
崇 渡邊
Takashi Watanabe
崇 渡邊
雅也 池田
Masaya Ikeda
雅也 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017217676A priority Critical patent/JP6630976B2/ja
Priority to US16/180,089 priority patent/US10589752B2/en
Priority to DE102018218843.2A priority patent/DE102018218843B4/de
Priority to CN201811309870.1A priority patent/CN109760676B/zh
Publication of JP2019090627A publication Critical patent/JP2019090627A/ja
Application granted granted Critical
Publication of JP6630976B2 publication Critical patent/JP6630976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/22
    • B60K35/28
    • B60K35/29
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/3676Overview of the route on the road map
    • B60K2360/1523
    • B60K2360/166
    • B60K2360/175
    • B60K2360/176
    • B60K2360/182
    • B60K2360/184
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows

Abstract

【課題】乗員に運転支援の状態を直感的に視認させることができる表示システム、表示方法、およびプログラムを提供することを目的の一つとする。【解決手段】表示システムにおいて、自動運転の状態を含む車両の運転支援の状態を表す画像を表示する第1の表示部(400)と、前記車両の走行する道路に擬した画像を表示する第2の表示部(400)と、前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる表示制御部(120)と、を備える。【選択図】図1

Description

本発明は、表示システム、表示方法、およびプログラムに関する。
車両の加減速または操舵の少なくとも一方を自動的に制御して車両を走行させる技術(以下、「自動運転」と称する)についての研究が進められている。これに関連して、ディスプレイに、自車両が走行する車線と、自車両および周辺車両の画像とを表示させるとともに、自車両が将来走行するルートを自車両から伸ばした線で表示させた技術が知られている(特許文献1参照)。
米国特許第8738213号明細書
しかしながら、従来技術の手法では、表示されたルートが、目的地へ到達するためのルートであるのか、または周辺車両を考慮した軌道であるのかの判別ができない可能性があった。そのため、表示された内容からでは、自車両に対する運転支援の状態が分かりにくい場合があった。
本発明は、このような事情を考慮してなされたものであり、乗員に運転支援の状態を直感的に視認させることができる表示システム、表示方法、およびプログラムを提供することを目的の一つとする。
(1):自動運転の状態を含む車両の運転支援の状態を表す画像を表示する第1の表示部と、前記車両の走行する道路に擬した画像を表示する第2の表示部と、前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる表示制御部と、を備える表示システムである。
(2):(1)において、前記表示制御部は、前記推奨車線に対応する領域の略全域を、前記第1の表示部により表示される前記車両の運転支援の状態を示す画像と同系色で表示させるものである。
(3):(1)または(2)において、前記表示制御部は、前記目標軌道を前記車両が走行する車線よりも狭い領域で、前記第1の表示部により表示される前記車両の運転支援の状態を示す画像と同系色で表示させるものである。
(4):(1)〜(3)のうち何れか一つにおいて、前記第1の表示部は、前記第2の表示部と同じ表示装置における前記第2の表示部が表示される領域とは異なる領域、ステアリングホイールに設けられた発光部、前記車両のドアに設けられた発光部、インストルメントパネルに設けられた発光部のうち、少なくとも一つである。
(5):(1)〜(4)のうち何れか一つにおいて、前記表示制御部は、前記自動運転において前記車両が走行可能な車線が複数ある場合に、前記走行可能な車線ごとの推奨度合に応じて前記走行可能な車線ごとの色を変えて前記第2の表示部に表示させるものである。
(6):(1)〜(5)のうち何れか一つにおいて、前記表示制御部は、前記自動運転により前記車両の車線変更が実行される場合に、前記車線変更先の車線の略全域を所定色で表示させた後に、前記車線変更を予告するアニメーション画像を表示させるものである。
(7):(1)〜(6)のうち何れか一つにおいて、前記表示制御部は、前記車両が走行する車線の表示色と、前記目標軌道の表示色とを、同系色であって且つ前記車両の乗員が視認しやすい色合いで、前記第2の表示部に表示させるものである。
(8):コンピュータが、自動運転の状態を含む車両の運転支援の状態を表す画像を第1の表示部に表示し、前記車両の走行する道路に擬した画像を第2の表示部に表示し、前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる、表示方法である。
(9):コンピュータに、自動運転の状態を含む車両の運転支援の状態を表す画像を第1の表示部に表示させ、前記車両の走行する道路に擬した画像を第2の表示部に表示させ、前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる、プログラム。
(1)〜(9)によれば、乗員に運転支援の状態を直感的に視認させることができる。
実施形態の表示システムを含む車両システム1の構成図である。 自車両MにおけるHMI400の一例を示す図である。 第1の度合の運転支援が実行している場面で表示される画面IM1の一例を示す図である。 第2の度合の運転支援が実行している場面で表示される画面IM2の一例を示す図である。 車線変更が開始される場面で表示される画面IM3の一例を示す図である。 車線変更先の車線L2が第2の色と同系色で表示された後の場面で表示される画面IM4の一例を示す図である。 車線変更の目標軌道が表示される画面IM5の一例を示す図である。 自車両Mが車線変更を実行中に表示される画面IM6の一例を示す図である。 HMI制御部120により実行される処理の流れの一例を示すフローチャートである。 実施形態のHMI制御部120のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の表示システム、表示方法、およびプログラムの実施形態について説明する。なお、実施形態では、車両が自動運転(自律運転)を行うにあたり、表示システムが車両の周辺を認識した結果を表示させる場合を一例として示す。自動運転とは、乗員による操作に依らず操舵制御または速度制御のうち一方または双方を制御して車両を走行させることをいい、運転支援の一種である。また、実施形態において、運転支援には、例えば、ACC(Adaptive Cruise Control System)やLKAS(Lane Keeping Assistance System)等の運転支援装置が作動することで運転支援を実行する第1の度合と、第1の度合よりも制御度合が高く、乗員が車両の運転操作子に対する操作を行わずに、車両の加減速または操舵のうち少なくとも一方を自動的に制御して自動運転を実行するが、乗員に、ある程度の周辺監視義務を課す第2の度合と、第2の度合よりも制御度合が高く、乗員に周辺監視義務を課さない(或いは第2の度合よりも低い周辺監視義務を課す)第3の度合とがあるものとする。本実施形態において、第2の度合および第3の度合の運転支援が、自動運転に相当するものとする。また、実施形態における「乗員」とは、例えば、運転席すなわち運転操作子が設けられた座席に着座した乗員であるものとする。
[全体構成]
図1は、実施形態の表示システムを含む車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、車両センサ70と、運転操作子80と、マスター制御部100と、運転支援制御部200と、自動運転制御ユニット300と、HMI(Human Machine Interface)400と、走行駆動力出力装置500と、ブレーキ装置510と、ステアリング装置520と、とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。また、HMI400と、HMI制御部120とを合わせたものが「表示システム」の一例である。また、HMI400は、表示部の一例である。また、HMI制御部120は、「表示制御部」の一例である。また、第1制御部320は、「制御部」の一例である。
カメラ10は、自車両Mの周辺を撮像し、撮像画像を生成する。カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される自車両Mの任意の箇所に取り付けられる。自車両の周辺とは、自車両の前方を含み、自車両の側方又は後方を含んでいてもよい。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ10は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ10は、ドアミラー等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ装置12は、FMCW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、照射光に対する散乱光を測定し、対象までの距離を検出するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。ファインダ14は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を運転支援制御部200および自動運転制御ユニット300に出力する。
通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、自車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。また、通信装置20は、車外の人物が所持する端末装置と通信する。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ70の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、後述するHMI400と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(例えば、目的地まで走行するときの経由地に関する情報を含む)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。経路決定部53により決定された経路は、MPU60に出力される。また、ナビゲーション装置50は、経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。
MPU60は、例えば、推奨車線決定部61として機能し、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された経路を、第2地図情報62を参照してブロックごとに推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報、車線の境界の情報、道路情報、交通規制情報、住所情報、施設情報、電話番号情報等を有している。また、第2地図情報62は、車線変更が可能な区間や追い越しが可能な区間に関する情報が含まれていてもよい。
車両センサ70は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含んでよい。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、マスター制御部100、運転支援制御部200、自動運転制御ユニット300、もしくは、走行駆動力出力装置500、ブレーキ装置510、およびステアリング装置520のうち、何れか一つまたは複数に出力される。
[マスター制御部]
マスター制御部100は、例えば、切替制御部110と、HMI制御部120とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
切替制御部110は、例えば、HMI400に含まれる所定のスイッチから入力される操作信号に基づいて運転支援の度合を切り替える。また、切替制御部110は、例えば、アクセルペダルやブレーキペダル、ステアリングホイール等の運転操作子80に対する加速、減速または操舵を指示する操作に基づいて、運転支援をキャンセルして手動運転に切り替えてもよい。切替制御部110の機能の詳細については後述する。
なお、切替制御部110は、行動計画生成部323により生成される行動計画に基づいて、運転支援の度合を切り替えてもよい。例えば、切替制御部110は、行動計画によって規定される自動運転の終了予定地点で、運転支援を終了するようにしてもよい。
HMI制御部120は、運転支援の度合に関する情報および度合の切り替えに関連する通知等を、HMI400に出力させる。また、HMI制御部120は、HMI400により受け付けられた情報を運転支援制御部200または自動運転制御ユニット300の一方または双方に出力してもよい。HMI制御部120の機能の詳細については後述する。
[運転支援制御部]
運転支援制御部200は、第1の度合の運転支援を実行する。運転支援制御部200は、例えば、ACCやLKASその他の運転支援制御を実行する。例えば、運転支援制御部200は、ACCを実行する際には、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力される情報に基づいて、自車両Mと、前走車両との車間距離を一定に保った状態で走行するように走行駆動力出力装置500およびブレーキ装置510を制御する。すなわち、運転支援制御部200は、前走車両との車間距離に基づく加減速制御(速度制御)を行う。また、運転支援制御部200は、LKASを実行する際には、自車両Mが、現在走行中の走行車線を維持(レーンキープ)しながら走行するようにステアリング装置520を制御する。すなわち、運転支援制御部200は、車線維持のための操舵制御を行う。第1の度合の運転支援の種類に関しては、運転操作子80への操作を要求しない自動運転(第2の度合および第3の度合)以外の種々の制御を含んでよい。
[自動運転制御ユニット]
自動運転制御ユニット300は、例えば、第2の度合および第3の度合の運転支援を実行する。自動運転制御ユニット300は、例えば、第1制御部320と、第2制御部340とを備える。第1制御部320と、第2制御部340とは、それぞれ、CPU等のプロセッサがプログラムを実行することで実現される。また、これらの各機能部のうち一部または全部は、LSIやASIC、FPGA等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
第1制御部320は、例えば、外界認識部321と、自車位置認識部322と、行動計画生成部323とを備える。外界認識部321は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力される情報に基づいて、周辺車両の位置および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
外界認識部321は、上述した周辺車両、障害物(例えば、ガードレールや電柱、駐車車両、歩行者等の人物)、道路形状、その他の物体のうち、少なくとも一つを認識してもよい。
自車位置認識部322は、例えば、自車両Mが走行している車線(走行車線)、並びに走行車線に対する自車両Mの相対位置および姿勢を認識する。自車位置認識部322は、例えば、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。自車位置認識部322は、走行車線に対する自車両Mの位置や姿勢を認識してもよい。
行動計画生成部323は、自車両Mが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部323は、推奨車線決定部61により決定された推奨車線を走行するように、且つ、自車両Mの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、低速(例えば40[km/h]以下)を条件に、前走車両に追従する低速追従イベント、自車両Mの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で自車両Mを目的の方向に走行させる分岐イベント、自車両Mを緊急停車させる緊急停車イベント等がある。また、これらのイベントの実行中に、自車両Mの周辺状況(周辺車両や歩行者の存在、道路工事による車線狭窄等)に基づいて、回避のための行動が計画される場合もある。また、行動計画生成部323は、上述した各種イベント等に対応付けて自車両Mが将来走行する目標軌道を生成する。目標軌道は、自車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。
第2制御部340は、例えば、走行制御部342を備える。走行制御部342は、行動計画生成部323によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置500、ブレーキ装置510、およびステアリング装置520を制御する。
HMI400は、車内の乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。HMI400は、例えば、各種表示装置、発光部、スピーカ、ブザー、タッチパネル、各種操作スイッチ、キー等のうち一部または全部を含む。HMI400の機能の詳細については後述する。
走行駆動力出力装置500は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置500は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ブレーキ装置510は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、走行制御部342から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ステアリング装置520は、例えば、ステアリングECUと、電動モータとを備える。ステアリングECUは、走行制御部342から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[HMI400の構成]
以下、実施形態のHMI400の構成例について説明する。図2は、自車両MにおけるHMI400の一例を示す図である。HMI400は、例えば、一以上の表示装置A〜Eと、一以上の発光部F〜Kとを備える。ここで、表示装置A〜Eのうち少なくとも一つは、「第1の表示部」の一例になり得るとともに、「第2の表示部」の一例にもなり得る。また、「第1の表示部」および「第2の表示部」は、同一の表示装置で構成されてもよい。この場合、「第1の表示部」および「第2の表示部」は、表示面における「第1の表示領域」および「第2の表示領域」と言い換えてもよい。第1の表示領域は、例えば、後述する運転支援状態表示領域600である。第2の表示領域は、例えば、後述する周辺情報表示領域620である。また、発光部F〜Kのうち少なくとも一つは、「第1の表示部」の一例である。
表示装置Aは、例えば、インストルメントパネルにおける運転席の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な表示装置である。表示装置Aは、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)表示装置等である。表示装置Aには、自車両Mの手動運転時または自動運転時の走行に必要な情報、あるいは乗員への指示に関する情報が表示される。手動運転時の自車両Mの走行に必要な情報とは、例えば、自車両Mの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報である。一方、自動運転時における自車両Mの走行に必要な情報とは、例えば、自車両Mの将来の軌道、運転支援の度合、乗員に対する指示等の情報である。
表示装置Bは、例えば、HUD(Head Up Display)である。表示装置Bは、表示装置Aよりも高い位置に配置される。表示装置Bは、所定の結像部に映像を投影する。例えば、表示装置Bは、例えば、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。実施形態では、表示装置Bの代わりに、自車両Mのフロントウインドシールドを第2の表示部としてもよい。
表示装置Cは、例えば、インストルメントパネルの中央部に取り付けられる。表示装置Cは、例えば、LCDや有機EL表示装置等である。表示装置Cは、例えば、ナビゲーション装置50により実行されるナビゲーション処理に対応する画像等を表示する。また、表示装置Cは、テレビ番組を表示したり、DVDを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
表示装置Dは、自車両Mの後方を撮影したカメラ画像を表示する。表示装置Dは、例えば、LCDや有機EL表示装置等である。また、表示装置Dは、例えば、表示面の少なくとも一部がミラーであってもよい。
表示装置Eは、例えば、自車両Mの前方を撮影するためにフロントウインドシールドの上部に設置されたカメラ10をカバーするカバー部材に設けられている。表示装置Eは、例えば、LCDや有機EL表示装置等である。
発光部F〜Kは、例えば、LED(Light Emitting Diode)等の照明機器、またはインジケータである。発光部F〜Kは、自車両Mの対する運転支援が開始されるタイミングまたは運転支援の度合が切り替わるタイミングで所定の色で点灯または点滅する。また、発光部F〜Kは、自車両Mに対する運転支援が継続している間、点灯または点滅を継続してもよい。
操作部410、発光部FおよびGは、運転操作子80の一つであるステアリングホイールに設けられている。なお、ステアリングホイールには、乗員がステアリングホイールを把持したことを検知する把持センサ(不図示)が設けられてよい。操作部410は、例えば、運転支援の開始または終了を切り替えたり、運転支援の度合を切り替えるためのスイッチを備える。操作部410は、乗員によるスイッチ操作を受け付けることで、運転支援の開始または終了の切り替えや運転支援の度合を切り替えに関する情報を、切替制御部110に出力する。
発光部Hは、例えば、表示装置Cの一部または近傍に設けられる。近傍とは、発光部Hと、表示装置Cとの最短距離が例えば数[cm](より具体的には3[cm]程度)以下の範囲である。図2の例では、表示装置Cの画面形状を形成する少なくとも一つの辺に沿って延在する発光部Hが取り付けられている。発光部Iは、例えば、インストルメントパネルにおける助手席の正面付近に設けられる。発光部JおよびKは、例えば、自車両Mの左前方および右前方のドアにそれぞれ設けられる。
[運転支援に関連するHMI400の表示制御]
次に、運転支援に関連するHMI400の表示制御について説明する。なお、以下に示す表示画面の例は、表示装置Aに表示される表示画面とし、表示画面におけるレイアウトについては、あくまで一例であり、任意に変更可能である。レイアウトとは、配置、色彩、縮尺、その他をいう。HMI制御部120は、自車両Mに対する運転支援の度合に基づく各場面において、HMI400に情報を出力する。以下、幾つかの場面に対応する表示制御について説明する。
<場面(1)>
場面(1)は、例えば、車両システム1が第1の度合の運転支援を実行している場面である。この場面では、ACCやLCAS等の運転制御が実行されるとともに、乗員には、ステアリングホイールを把持する動作が要求される。この場面の画面例を、図3に示す。
図3は、第1の度合の運転支援が実行している場面で表示される画面IM1の一例を示す図である。画面IM1には、運転支援に関する情報を表示する領域として、運転支援状態表示領域600−1、周辺情報表示領域620−1、および走行状態表示部640−1が含まれる。以下、画面IM1−Xにおけるそれぞれの領域を運転支援状態表示領域600−X、周辺情報表示領域620−X、および走行状態表示部640−Xと称する。
HMI制御部120は、運転支援状態表示領域600−1に、自車両Mが実行可能な運転支援(自動運転を含む)の状態の候補を示す情報を全て表示させる。図3の例では、運転支援の状態の候補を示す情報として、「ACC/LKAS」、「Partial Auto」、「Traffic Jam Pilot」の三つのインジケータを示す画像621が示されている。例えば、それぞれのインジケータ単体で、または複数のインジケータの組み合わせによって、運転支援の度合が表される。
インジケータ「ACC/LKAS」は、自車両Mが、ACCやLKAS等の第1の度合で運転支援を実行している、或いは、第1の度合での運転支援に遷移可能な状態であることを示す。第1の度合で運転支援を実行しているか、或いは、第1の度合での運転支援に遷移可能な状態であるかについては、後述する要求動作通知画像604によって把握することができる。
インジケータ「Partial Auto」は、自車両Mが、乗員が運転操作子80に対する操作を行わなくてよいが、乗員に周辺監視義務が課される第2の度合で運転支援を実行している状態、或いは、第2の度合での運転支援に遷移可能な状態であることを示す。第2の度合で運転支援を実行しているか、或いは、第2の度合での運転支援に遷移可能な状態であるかについては、要求動作通知画像604によって把握することができる。
インジケータ「Traffic Jam Pilot(以下、TJPと称する)」は、自車両Mが、TJP等の第3の度合で運転支援を実行している、或いは、第3の度合での運転支援に遷移可能な状態であることを示す。TJPとは、例えば、所定速度(例えば、60[km/h])以下で前走車両に追従する制御態様である。TJPは、例えば、自車両Mの速度が所定速度以下であり、且つ前走車両との車間距離が所定距離以内であるときに発動してもよく、操作部410が乗員の操作を受け付けることにより発動してもよい。TJPを実行しているか、或いは、TJPの運転支援に遷移可能な状態であるかについては、要求動作通知画像604によって把握することができる。
また、HMI制御部120は、運転支援状態表示領域600−1に、「ACC/LKAS」、「Partial Auto」、「Traffic Jam Pilot」の三つのインジケータを示す画像602−1に対応する表示位置で、要求動作通知画像604−1を表示させる。「対応する」とは、横並び、縦並び、対応付けを示すガイドラインがある等、人によって対応関係が認識可能な様をいう。一例として「画像602−1に対応する表示位置」とは、画像602−1に隣接する表示位置であり、画像602−1の表示位置を基準として上下左右の少なくとも一方に数[cm]以下(例えば、3[cm]以下)の表示位置を示す。要求動作通知画像604−1は、例えば、乗員が運転操作子80に対して行う所定の動作を示す画像である。要求動作通知画像604−1は、例えば、運転操作子80を示す画像と、乗員の所定の部位を示す画像とを含む。要求動作通知画像604−1は、例えば、ステアリングホイールと乗員の手との位置関係を模式的に示す画像である。
また、HMI制御部120は、周辺情報表示領域620−1に、第2地図情報62から取得した自車両Mの前方の道路に擬した画像と、自車位置認識部322により認識された自車両Mを示す画像と、外界認識部321により認識された周辺車両mを示す画像とを表示させる。なお、HMI制御部120は、外界認識部321により認識された全ての周辺車両mを示す画像を表示させてもよく、全ての周辺車両mのうち自車両Mの将来の軌道に影響を与える周辺車両mのみを表示させてもよい。
また、HMI制御部120は、走行状態表示部640−1に、自車両の速度を示す画像642−1を表示させる。なお、図3では、自車両Mが運転支援により、行動計画生成部323により定められた目標速度(例えば、70[km/h])まで加速する例を示している。
場面(1)において、HMI制御部120は、運転支援状態表示領域600−1に、三つのインジケータの画像602−1のうち、「ACC/LKAS」のインジケータを示す画像を他のインジケータと異なる色(第1の色)で表示させる。また、HMI制御部120は、運転支援状態表示領域600−1に、乗員の手がステアリングホイールを把持する旨を示す要求動作通知画像604−1を表示させる。このとき、要求動作通知画像604−1の色は、「ACC/LKAS」のインジケータを示す画像の色と同系色である。同系色とは、例えば、日本色研配色体系(PCCS:Practical Color Co-ordinate System)の24色相環において、同色に分類されるとともに、明度や彩度においても同一カテゴリに分類されるものである。
また、HMI制御部120は、周辺情報表示領域620−1に表示される自車両Mが走行する道路に擬した車線L1の画像と、車線L1を区画する左右の道路区画線LL、LRの画像と、自車両Mの画像とが示されている。車線L1は、例えば、推奨車線決定部61により決定された推奨車線である。また、HMI制御部120は、車線L1に対応する略全域622−1を所定色で表示させる。略全域622−1とは、例えば、道路区画線LLおよびLRで区画された領域のうち、約90[%]以上の領域である。また、略全域622−1とは、例えば、100[%](道路区画線LLおよびLRに対応する部分を除く)の領域でもよく、道路区画線LLおよびLRとの間にオフセットを設けた結果、90[%]以上の割合となる領域であってもよい。所定色とは、例えば、第1の色と同系色である。
また、HMI制御部120は、自車両Mが走行可能な車線が複数ある場合に、走行可能な車線ごとの推奨度合に応じて車線ごとの色を変えて表示させてもよい。推奨度合とは、例えば、車線ごとの混雑度合や目的地までの経路に基づいて、自車両Mの走行を推奨する度合である。推奨度合は、目的地の到着予測時間が早いほど、または、目的地までの経路において車線変更の回数が少ないほど、推奨度合が高くなる。また、追い越し車線の推奨度合は、走行車線の推奨度合よりも低くなるようにしてもよい。HMI制御部120は、例えば、推奨度合が高いほど、車線を濃い色で表示したり、他の車線よりも目立つ色で表示させる。推奨度合に応じて車線の色を異ならせることにより、乗員に車線ごとの推奨度合を容易に把握させることができる。
また、HMI制御部120は、走行状態表示部640−1に表示させる自車両の速度を示す画像642−1のうち、少なくとも一部を第1の色と同系色で表示させてもよい。第1の色と同系色で表示させることにより、運転支援の度合を乗員に容易に把握させることができる。
<場面(2)>
場面(2)は、例えば、車両システム1が第2の度合の運転支援を実行している場面を示している。この場面では、自動運転制御が実行されるとともに、乗員には、ステアリングホイールを把持しなくてもよい旨の画像が表示される。この場面の画面例を、図4に示す。
図4は、第2の度合の運転支援が実行している場面で表示される画面IM2の一例を示す図である。場面(2)において、HMI制御部120は、運転支援状態表示領域600−2に、三つのインジケータの画像602−2のうち、「Partial Auto」のインジケータを示す画像を他のインジケータと異なる色で表示させる。この場合、HMI制御部120は、「Partial Auto」のインジケータを示す画像を、上述した第1の色とは異なる第2の色で表示させる。また、HMI制御部120は、運転支援状態表示領域600−2に、乗員の手をステアリングホイールから離すように要求する要求動作通知画像を表示させる。このとき、要求動作通知画像604−2の色は、第2の色と同系色である。
また、HMI制御部120は、周辺情報表示領域620−2に表示される自車両Mが走行する道路に擬した車線L1の略全域622−2を第2の色と同系色で表示させる。更に、HMI制御部120は、行動計画生成部323により生成される目標軌道の画像624−2を、車線L1よりも狭い領域に表示させる。狭い領域とは、例えば、車線L1の車幅に対して、20[%]程度の幅を有する領域である。HMI制御部120は、画像624−2を、車線L1の画像に重畳して表示させてもよく、車線L1の道路面の所定の高さで浮いているように立体的に表示させてもよい。また、HMI制御部120は、周辺情報表示領域620−2に、周辺車両m1の画像を表示させる。
また、HMI制御部120は、車線L1の表示色と、目標軌道を示す画像624−2の表示色とを、同系色であって且つ乗員が視認しやすい色合いで表示させる。例えば、HMI制御部120は、車線L1の略全域622−2を第2の色の薄い色で表示し、目標軌道を示す画像624−2を、第2の色の濃い色で表示する。
また、HMI制御部120は、走行状態表示部640−2に表示させる自車両の速度を示す画像642−2のうち、少なくとも一部を第2の色と同系色で表示させてもよい。これにより、場面(2)において、場面(1)と異なる第2の色を用いて表示させることにより、運転支援の度合の違いを乗員に容易に把握させることができる。また、運転支援に関する情報の視認性を向上させ、乗員に運転支援の状態を直感的に視認させることができる。
なお、HMI制御部120は、場面(1)から場面(2)に切り替わる場合、言い換えると運転支援の度合が切り替わる場合には、車線L1の略全域622−2の色および目標軌道を示す画像624−2の色を、切り替わる前後において、第1の色と第2の色の両方を画面に表示してもよい。これにより、乗員は、運転支援の度合が切り替わるタイミングや手動運転と自動運転との切り替えタイミングを、より正確に把握することができる。
<場面(3)>
場面(3)は、例えば、車両システム1が第2の度合の運転支援を実行している場合において、車線変更を開始する場面を示している。図5は、車線変更が開始される場面で表示される画面IM3の一例を示す図である。場面(3)において、HMI制御部120が表示する運転支援状態表示領域600−3の表示内容は、運転支援状態表示領域600−2の表示内容と同一であり、走行状態表示部640−3の表示内容は、走行状態表示部640−2の表示内容と同一であるため、ここでの具体的な説明は省略する。
HMI制御部120は、周辺情報表示領域620−3に、自車両Mが走行する道路に擬した車線L1の画像と、車線変更先の車線L2の画像と、周辺車両m2、m3の画像とが表示される。車線L2は、道路区画線LRとLR2とで区画される領域である。このとき、HMI制御部120は、車線変更が開始される場合に、車線L2の略全域626−3を第2の色と同系色で表示させる。また、この段階では、目標軌道の画像624−3は、車線L1上に表示されている。これにより、乗員は、車線変更先の車線L2を、車線変更による自車両Mの挙動が変化する前に把握することができる。
<場面(4)>
場面(4)は、例えば、車線変更先の車線L2が第2の色と同系色で表示された後の場面を示している。図6は、車線変更先の車線L2が第2の色と同系色で表示された後の場面で表示される画面IM4の一例を示す図である。場面(4)において、HMI制御部120が表示する運転支援状態表示領域600−4の表示内容は、運転支援状態表示領域600−2の表示内容と同一であり、走行状態表示部640−4の表示内容は、走行状態表示部640−2の表示内容と同一であるため、ここでの具体的な説明は省略する。
また、HMI制御部120は、周辺情報表示領域620−4には、場面(3)において表示した内容に加えて、自車両Mの車線変更を予告するアニメーション画像628−4を表示する。アニメーション画像とは、例えば、アイコン、文字、サンプル画像等の外形を示す多角形等で表した画像等である。アニメーション画像は、例えば、静止画でもよく、動画でもよい。アニメーション画像628−4は、自車用Mが車線変更する方向を示す旨を示す画像を表示させる。図6の例では、自車両Mが走行車線L1から車線L2に車線変更することを予告する画像が表示されている。アニメーション画像628−4は、例えば、テキスト情報を含まない画像である。アニメーション画像628−4は、道路幅方向に沿って自車両Mの進路変更方向を示す図形である。
また、HMI制御部120は、周辺情報表示領域620−4に、自車両Mの進路変更を予告したテキスト情報630−4を表示させてもよい。図6の例では、テキスト情報630−4として、「右に車線変更します」の文字列が表示される。
<場面(5)>
場面(5)は、例えば、車線変更の目標軌道の画像が表示される場面を示している。図7は、車線変更の目標軌道が表示される画面IM5の一例を示す図である。場面(5)において、HMI制御部120が表示する運転支援状態表示領域600−5の表示内容は、運転支援状態表示領域600−2の表示内容と同一であり、走行状態表示部640−5の表示内容は、走行状態表示部640−2の表示内容と同一であるため、ここでの具体的な説明は省略する。
HMI制御部120は、周辺情報表示領域620−5の表示内容は、周辺情報表示領域620−4の表示内容と比較すると、目標軌道を示す画像624−5の表示が異なる。具体的には、HMI制御部120は、行動計画生成部323により車線L2や周辺車両m2、m3の挙動に基づいて生成された自車両Mが車線変更するための目標軌道を示す画像624−5を、周辺情報表示領域620−5に表示する。この場合、HMI制御部120は、周辺情報表示領域620−4に示す車線L1に沿った目標軌道を示す画像624−4から、画像624−5に遷移する様子を動画によるアニメーション画像によって表示させてもよい。
<場面(6)>
場面(6)は、例えば、自車両Mが車線変更を実行中の場面を示している。図8は、自車両Mが車線変更を実行中に表示される画面IM6の一例を示す図である。場面(6)において、HMI制御部120が表示する運転支援状態表示領域600−6の表示内容は、運転支援状態表示領域600−2の表示内容と同一であり、走行状態表示部640−6の表示内容は、走行状態表示部640−2の表示内容と同一であるため、ここでの具体的な説明は省略する。
また、HMI制御部120は、自車両Mが車線変更を実行している場合に、自車両Mの位置情報に応じて車線L1およびL2に対する自車両Mの位置や、周辺車両の位置をリアルタイムに変更して、周辺情報表示領域620−6に表示させる。また、HMI制御部120は、目標軌道を示す画像624−6の長さや、車線変更のアニメーション画像628−6の長さを車線変更先の車線L2との距離に基づいて変更する。これにより、乗員は、車線変更が完了するまでの残りの距離等を容易に把握することができる。
なお、例えば、車両システム1がTJPの運転支援を実行している場合には、HMI制御部120は、三つのインジケータの画像602のうち、「Traffic Jam Pilot」のインジケータを示す画像を他のインジケータと異なる色(第3の色)で表示させる。第3の色は、例えば、第1の色および第2の色とは異なる色である。また、第3の色は、第2の色と同系色としてもよい。これにより、ACCやLKAS等における運転支援と、自動運転における運転支援とを識別することができる。また、HMI制御部120は、運転支援状態表示領域600に、乗員の手をステアリングホイールから離すように要求する要求動作通知画像を第3の色と同系色で表示させる。また、HMI制御部120は、周辺情報表示領域620に表示される自車両Mが走行する道路に擬した車線L1の略全域622−2を第3の色と同系色で表示させるとともに、目標軌道の画像624を、車線L1よりも狭い領域に、第3の色と同系色で表示させる。
また、HMI制御部120は、運転支援の度合に応じた第1の色〜第3の色で、上述した画像または領域を表示したが、これに加えて、それぞれの色で表示されるタイミングで、発光部F〜Kの少なくとも一つを同系色で点灯または点滅させてもよい。これにより、乗員は、発光部F〜Kを見るだけで、自車両Mに対する運転支援の状態を把握することができる。
[処理フロー]
図9は、HMI制御部120により実行される処理の流れの一例を示すフローチャートである。図9の処理は、例えば、所定のタイミングで繰り返し実行される。また、図9の例では、自車両Mに対して、第2または第3の度合で運転支援が実行されているものとする。まず、HMI制御部120は、自車両Mに対する運転支援の度合を取得し(ステップS100)、運転支援状態表示領域600に、運転支援の度合に応じた運転支援の状態を示す画像を表示させる(ステップS102)。
次に、HMI制御部120は、周辺情報表示領域620に、自車両Mの推奨車線に対応する略全域を、運転支援の状態を示す画像と同系色で表示させる(ステップS104)。次に、HMI制御部120は、行動計画生成部323により生成された自車両Mの目標軌道を取得し(ステップS106)、取得した目標軌道を、周辺情報表示領域620における自車両Mの推奨車線よりも狭い領域に、運転支援の状態を示す画像の色と同系色で表示させる(ステップS108)。これにより、本フローチャートの処理は、終了する。
以上説明した実施形態によれば、運転支援に関する情報の視認性を向上させ、乗員に運転支援の状態を直感的に視認させることができる。また、実施形態によれば、自車両の車線変更のタイミングや、運転支援の度合が切り替わるタイミング、手動運転と自動運転との切り替えタイミング等を容易に把握することができる。
[ハードウェア構成]
上述した実施形態の表示システムのHMI制御部120は、例えば、図10に示すようなハードウェアの構成により実現される。図10は、実施形態のHMI制御部120のハードウェア構成の一例を示す図である。
HMI制御部120は、通信コントローラ120−1、CPU120−2、RAM120−3、ROM120−4、フラッシュメモリやHDD等の二次記憶装置120−5、およびドライブ装置120−6が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置120−6には、光ディスク等の可搬型記憶媒体が装着される。二次記憶装置120−5に格納されたプログラム120−5aがDMAコントローラ(不図示)等によってRAM120−3に展開され、CPU120−2によって実行されることで、HMI制御部120の機能部が実現される。また、CPU120−2が参照するプログラムは、ドライブ装置120−6に装着された可搬型記憶媒体に格納されていてもよいし、ネットワークNWを介して他の装置からダウンロードされてもよい。
上記実施形態は、以下のように表現することができる。
記憶装置と前記記憶装置に格納されたプログラムを実行するハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
自動運転の状態を含む車両の運転支援の状態を表す画像を第1の表示部に表示し、
前記車両の走行する道路に擬した画像を第2の表示部に表示し、
前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる、
ように構成されている表示システム。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、50…ナビゲーション装置、60…MPU、70…車両センサ、80…運転操作子、100…マスター制御部、110…切替制御部、120…HMI制御部、200…運転支援制御部、300…自動運転制御ユニット、320…第1制御部、340…第2制御部、400…HMI、500…走行駆動力出力装置、510…ブレーキ装置、520…ステアリング装置、M…自車両

Claims (9)

  1. 自動運転の状態を含む車両の運転支援の状態を表す画像を表示する第1の表示部と、
    前記車両の走行する道路に擬した画像を表示する第2の表示部と、
    前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる表示制御部と、
    を備える表示システム。
  2. 前記表示制御部は、前記推奨車線に対応する領域の略全域を、前記第1の表示部により表示される前記車両の運転支援の状態を示す画像と同系色で表示させる、
    請求項1に記載の表示システム。
  3. 前記表示制御部は、前記目標軌道を前記車両が走行する車線よりも狭い領域で、前記第1の表示部により表示される前記車両の運転支援の状態を示す画像と同系色で表示させる、
    請求項1または2に記載の表示システム。
  4. 前記第1の表示部は、前記第2の表示部と同じ表示装置における前記第2の表示部が表示される領域とは異なる領域、ステアリングホイールに設けられた発光部、前記車両のドアに設けられた発光部、インストルメントパネルに設けられた発光部のうち、少なくとも一つである、
    請求項1から3のうち何れか1項に記載の表示システム。
  5. 前記表示制御部は、前記自動運転において前記車両が走行可能な車線が複数ある場合に、前記走行可能な車線ごとの推奨度合に応じて前記走行可能な車線ごとの色を変えて前記第2の表示部に表示させる、
    請求項1から4のうち何れか1項に記載の表示システム。
  6. 前記表示制御部は、前記自動運転により前記車両の車線変更が実行される場合に、前記車線変更先の車線の略全域を所定色で表示させた後に、前記車線変更を予告するアニメーション画像を表示させる、
    請求項1から5のうち何れか1項に記載の表示システム。
  7. 前記表示制御部は、前記車両が走行する車線の表示色と、前記目標軌道の表示色とを、同系色であって且つ前記車両の乗員が視認しやすい色合いで、前記第2の表示部に表示させる、
    請求項1から6のうち何れか1項に記載の表示システム。
  8. コンピュータが、
    自動運転の状態を含む車両の運転支援の状態を表す画像を第1の表示部に表示し、
    前記車両の走行する道路に擬した画像を第2の表示部に表示し、
    前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる、
    表示方法。
  9. コンピュータに、
    自動運転の状態を含む車両の運転支援の状態を表す画像を第1の表示部に表示させ、
    前記車両の走行する道路に擬した画像を第2の表示部に表示させ、
    前記第2の表示部に、前記自動運転を行う制御部に与えられる推奨車線に対応する領域の略全域を所定色で表示させるとともに、前記自動運転を行う制御部によって生成される目標軌道を前記推奨車線よりも狭い領域に表示させる、
    プログラム。
JP2017217676A 2017-11-10 2017-11-10 表示システム、表示方法、およびプログラム Active JP6630976B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017217676A JP6630976B2 (ja) 2017-11-10 2017-11-10 表示システム、表示方法、およびプログラム
US16/180,089 US10589752B2 (en) 2017-11-10 2018-11-05 Display system, display method, and storage medium
DE102018218843.2A DE102018218843B4 (de) 2017-11-10 2018-11-05 Anzeigesystem, Anzeigverfahren und Speichermedium
CN201811309870.1A CN109760676B (zh) 2017-11-10 2018-11-05 显示系统、显示方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017217676A JP6630976B2 (ja) 2017-11-10 2017-11-10 表示システム、表示方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019090627A true JP2019090627A (ja) 2019-06-13
JP6630976B2 JP6630976B2 (ja) 2020-01-15

Family

ID=66335888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017217676A Active JP6630976B2 (ja) 2017-11-10 2017-11-10 表示システム、表示方法、およびプログラム

Country Status (4)

Country Link
US (1) US10589752B2 (ja)
JP (1) JP6630976B2 (ja)
CN (1) CN109760676B (ja)
DE (1) DE102018218843B4 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102176483B1 (ko) * 2020-03-30 2020-11-09 한양대학교 산학협력단 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
WO2020261781A1 (ja) * 2019-06-27 2020-12-30 株式会社デンソー 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
JP2021006805A (ja) * 2019-06-27 2021-01-21 株式会社デンソー 表示制御装置及び表示制御プログラム
JP2021135920A (ja) * 2020-02-28 2021-09-13 本田技研工業株式会社 表示制御装置、及び表示制御方法
WO2022030372A1 (ja) * 2020-08-07 2022-02-10 株式会社デンソー 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
DE102021120888A1 (de) 2020-08-31 2022-03-03 Toyota Jidosha Kabushiki Kaisha Anzeigesteuervorrichtung für ein fahrzeug, anzeigeverfahren, speichermedium und anzeigesystem für ein fahrzeug
US11904862B2 (en) 2020-10-20 2024-02-20 Toyota Jidosha Kabushiki Kaisha Automated driving system

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303166B2 (en) * 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
JP7027738B2 (ja) * 2017-09-06 2022-03-02 株式会社デンソー 運転支援装置
JP2020189516A (ja) * 2019-05-20 2020-11-26 本田技研工業株式会社 影響度合表示装置、影響度合表示方法、及びプログラム
JP7151633B2 (ja) * 2019-06-12 2022-10-12 トヨタ自動車株式会社 情報表示装置
JP7151641B2 (ja) * 2019-06-28 2022-10-12 トヨタ自動車株式会社 自動運転車両の操作装置
DE102020201519B4 (de) * 2020-02-07 2023-08-24 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer visuellen Schnittstelle zwischen einem Fahrzeug und einem Fahrzeuginsassen
JP2022041288A (ja) * 2020-08-31 2022-03-11 トヨタ自動車株式会社 車両用表示装置、表示方法及びプログラム
JP2022041245A (ja) * 2020-08-31 2022-03-11 トヨタ自動車株式会社 車両用表示制御装置、方法、プログラムおよび車両用表示システム
JP7170764B2 (ja) * 2021-02-25 2022-11-14 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム
JP7444119B2 (ja) * 2021-03-25 2024-03-06 トヨタ自動車株式会社 車線情報表示装置、車線情報表示方法、および車線情報表示用コンピュータプログラム
CN113631452B (zh) * 2021-03-31 2022-08-26 华为技术有限公司 一种变道区域获取方法以及装置
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281889A (ja) * 1996-04-16 1997-10-31 Hitachi Ltd 地図表示装置及び地図表示方法
JP2007178383A (ja) * 2005-12-28 2007-07-12 Aisin Aw Co Ltd 経路案内システム及び経路案内方法
JP2013124886A (ja) * 2011-12-13 2013-06-24 Aisin Aw Co Ltd 表示システム、表示方法、及び表示プログラム
JP2015199439A (ja) * 2014-04-09 2015-11-12 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
JP2016008894A (ja) * 2014-06-25 2016-01-18 株式会社Screenホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
JP2017146131A (ja) * 2016-02-16 2017-08-24 パイオニア株式会社 経路表示制御装置、制御方法、プログラム及び記憶媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
JP3357778B2 (ja) * 1996-01-18 2002-12-16 アルパイン株式会社 車載用ナビゲーション装置の経路誘導方法
US7430473B2 (en) * 2004-10-01 2008-09-30 Bose Corporation Vehicle navigation display
JP4285500B2 (ja) * 2006-04-25 2009-06-24 トヨタ自動車株式会社 操作装置
JP4791262B2 (ja) * 2006-06-14 2011-10-12 本田技研工業株式会社 運転支援装置
WO2011066850A1 (en) * 2009-11-12 2011-06-09 Tomtom Belgium N.V. Navigation system with live speed warning for merging traffic flow
DE102009060391A1 (de) * 2009-12-22 2011-06-30 Volkswagen AG, 38440 Verfahren und Vorrichtung zur Kennzeichnung der Kontrollverantwortung für automatisierte Fahrvorgänge eines Fahrerassistenzsystems
US8346426B1 (en) 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US8260482B1 (en) * 2010-04-28 2012-09-04 Google Inc. User interface for displaying internal state of autonomous driving system
US9275287B2 (en) * 2011-06-13 2016-03-01 Honda Motor Co., Ltd. Driving assistance device
DE102011121948A1 (de) * 2011-12-22 2013-06-27 Gm Global Technology Operations, Llc Vorausschau auf Aktionen eines autonomen Fahrsystems
DE102012001950A1 (de) * 2012-02-02 2013-08-08 Daimler Ag Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung
US9380275B2 (en) * 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
JP6081570B2 (ja) * 2013-02-21 2017-02-15 本田技研工業株式会社 運転支援装置、および画像処理プログラム
US9802486B2 (en) * 2013-11-18 2017-10-31 Robert Bosch Gmbh Interior display systems and methods
JP6303428B2 (ja) * 2013-11-19 2018-04-04 日本精機株式会社 車両情報投影システム
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP6375754B2 (ja) * 2014-07-25 2018-08-22 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP6536340B2 (ja) * 2014-12-01 2019-07-03 株式会社デンソー 画像処理装置
JP6516089B2 (ja) * 2014-12-17 2019-05-22 日本精機株式会社 車両情報投影システム及び車両情報投影方法
JP6642972B2 (ja) * 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
DE102015209004A1 (de) * 2015-05-15 2016-11-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Anzeige von für einen Fahrer eines Fahrzeugs relevanten Informationen bei einem Fahrmodus-Übergang
KR101750159B1 (ko) * 2015-07-01 2017-06-22 엘지전자 주식회사 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량
JP5945999B1 (ja) * 2015-07-31 2016-07-05 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
KR101866728B1 (ko) * 2016-04-25 2018-06-15 현대자동차주식회사 네비게이션 장치, 차량 및 차량의 제어방법
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량
JP6368959B2 (ja) * 2016-05-19 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2017217676A (ja) 2016-06-09 2017-12-14 三菱電機株式会社 プリフォームろう材の製造装置、製造方法及びプリフォームろう材
US9666067B1 (en) * 2016-08-30 2017-05-30 Allstate Insurance Company Vehicle turn detection
JP6493923B2 (ja) * 2016-11-08 2019-04-03 本田技研工業株式会社 情報表示装置、情報表示方法、および情報表示プログラム
JP6478124B2 (ja) * 2016-12-26 2019-03-06 本田技研工業株式会社 車両用表示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09281889A (ja) * 1996-04-16 1997-10-31 Hitachi Ltd 地図表示装置及び地図表示方法
JP2007178383A (ja) * 2005-12-28 2007-07-12 Aisin Aw Co Ltd 経路案内システム及び経路案内方法
JP2013124886A (ja) * 2011-12-13 2013-06-24 Aisin Aw Co Ltd 表示システム、表示方法、及び表示プログラム
JP2015199439A (ja) * 2014-04-09 2015-11-12 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
JP2016008894A (ja) * 2014-06-25 2016-01-18 株式会社Screenホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
JP2017146131A (ja) * 2016-02-16 2017-08-24 パイオニア株式会社 経路表示制御装置、制御方法、プログラム及び記憶媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261781A1 (ja) * 2019-06-27 2020-12-30 株式会社デンソー 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
JP2021006805A (ja) * 2019-06-27 2021-01-21 株式会社デンソー 表示制御装置及び表示制御プログラム
JP2021135920A (ja) * 2020-02-28 2021-09-13 本田技研工業株式会社 表示制御装置、及び表示制御方法
KR102176483B1 (ko) * 2020-03-30 2020-11-09 한양대학교 산학협력단 차선 정보를 래스터화하여 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
WO2022030372A1 (ja) * 2020-08-07 2022-02-10 株式会社デンソー 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
DE102021120888A1 (de) 2020-08-31 2022-03-03 Toyota Jidosha Kabushiki Kaisha Anzeigesteuervorrichtung für ein fahrzeug, anzeigeverfahren, speichermedium und anzeigesystem für ein fahrzeug
US11904862B2 (en) 2020-10-20 2024-02-20 Toyota Jidosha Kabushiki Kaisha Automated driving system

Also Published As

Publication number Publication date
CN109760676A (zh) 2019-05-17
US20190144004A1 (en) 2019-05-16
JP6630976B2 (ja) 2020-01-15
CN109760676B (zh) 2022-01-04
US10589752B2 (en) 2020-03-17
DE102018218843B4 (de) 2020-11-12
DE102018218843A1 (de) 2019-05-16

Similar Documents

Publication Publication Date Title
JP6630976B2 (ja) 表示システム、表示方法、およびプログラム
JP7077083B2 (ja) 表示システム、表示方法、およびプログラム
JP6795457B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6938244B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6765522B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP7043450B2 (ja) 車両制御装置、車両制御方法、及びプログラム
CN110678371B (zh) 车辆控制系统、车辆控制方法及存储介质
CN110730740B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6547155B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN108973682B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6495971B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN110709304B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6771670B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6765523B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6827378B2 (ja) 車両制御システム、車両制御方法、およびプログラム
WO2019092846A1 (ja) 表示システム、表示方法、およびプログラム
JP2018203009A (ja) 車両制御システム、車両制御方法、およびプログラム
JP2020052559A (ja) 車両制御装置、車両制御方法、及びプログラム
JP6508845B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6840035B2 (ja) 車両制御システム
JP6853903B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP6508846B2 (ja) 車両制御システム、車両制御方法、およびプログラム
JP7043444B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191120

R150 Certificate of patent or registration of utility model

Ref document number: 6630976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150