JP2020041916A - 表示システム、表示制御方法、およびプログラム - Google Patents

表示システム、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP2020041916A
JP2020041916A JP2018169675A JP2018169675A JP2020041916A JP 2020041916 A JP2020041916 A JP 2020041916A JP 2018169675 A JP2018169675 A JP 2018169675A JP 2018169675 A JP2018169675 A JP 2018169675A JP 2020041916 A JP2020041916 A JP 2020041916A
Authority
JP
Japan
Prior art keywords
lane
display
vehicle
image
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018169675A
Other languages
English (en)
Other versions
JP6991948B2 (ja
Inventor
順平 市野川
Junpei Ichinokawa
順平 市野川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018169675A priority Critical patent/JP6991948B2/ja
Priority to US16/558,440 priority patent/US11105651B2/en
Priority to CN201910846349.XA priority patent/CN110884427B/zh
Publication of JP2020041916A publication Critical patent/JP2020041916A/ja
Application granted granted Critical
Publication of JP6991948B2 publication Critical patent/JP6991948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/408Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using a data bus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】道路状況を、より適切なタイミングで乗員に認識させることができる表示システム、表示制御方法、およびプログラムを提供すること。【解決手段】表示システムにおいて、車両の周辺状況を認識する認識部と、画像を表示する表示部と、前記認識部により認識された前記車両の周辺の道路形状を示す画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる。【選択図】図1

Description

本発明は、表示システム、表示制御方法、およびプログラムに関する。
従来、目的地までの経路を画面に表示して運転者の運転を支援する運転支援システムが存在する。これに関連して、道路網上の分岐点に接近する場合に、ディスプレイ上に提示される全ての道路標識のうち、ユーザが進む道路セグメントに関連する道路標識を、他の道路標識の提示方法とは別の方法でディスプレイ上に提示するナビゲーションシステムが存在する(例えば、特許文献1参照)。
特許第5279904号公報
しかしながら、道路状況が変化する地点に車両が接近しないと、変化に応じた道路形状が表示されないため、道路状況を適切なタイミングで認識できない場合があった。
本発明は、このような事情を考慮してなされたものであり、道路状況を、より適切なタイミングで乗員に認識させることができる表示システム、表示制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る表示システム、表示制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る表示システムは、車両の周辺状況を認識する認識部と、画像を表示する表示部と、前記認識部により認識された前記車両の周辺の道路形状を示す画像を前記表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる、表示システムである。
である。
(2):上記(1)の態様において、前記増加車線に関する画像は、前記増加車線に対応付けられた標識情報の画像を含むものである。
(3):上記(1)または(2)の態様において、前記車両の目的地までの経路を決定する経路決定部を更に備え、前記表示制御部は、前記経路決定部により決定された目的地までの経路に対応付けられた推奨車線が前記増加車線である場合に、前記増加車線に関する画像を表示させるものである。
(4):上記(3)の態様において、前記表示制御部は、前記車両が走行中の車線から前記増加車線に移動する必要があり、且つ、前記増加車線の形状を示す画像が表示されていない場合に、前記増加車線に隣接する車線を目標車線として、前記車両の車線変更を案内する案内画像を表示させるものである。
(5):上記(4)の態様において、前記表示制御部は、前記車両の走行車線と前記推奨車線との間の車線数に基づいて、車線ごとに前記案内画像の表示開始時期を制御し、前記案内画像が表示された後に前記車両が車線変更を行った場合に、車線変更後の車線に設定された表示開始時期に到達していなくても、前記案内画像の表示を継続させるものである。
(6):上記(5)の態様において、前記表示制御部は、前記車両の進行方向と同一方向に走行可能な複数の車線に対し、前記推奨車線への車線変更が可能な車線変更限界地点に基づいて、前記車線ごとに前記表示開始時期を設定するものである。
(7):上記(6)の態様において、前記表示制御部は、前記車両が前記推奨車線を走行していない場合であって、且つ、前記車両が前記車線変更限界地点に到達した場合に、前記案内画像の表示を終了するものである。
(8):上記(3)〜(7)のうち何れ一つの態様において、前記表示制御部は、前記車両が前記推奨車線を走行している場合に、前記車両の車線変更が不要であることを示す画像を前記表示部に表示させるものである。
(9):この発明の一態様に係る表示制御方法は、コンピュータが、車両の周辺状況を認識し、認識された前記車両の周辺の道路形状を示す画像を表示部に表示させ、前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる、表示制御方法である。
(10):この発明の一態様に係るプログラムは、コンピュータに、車両の周辺状況を認識させ、認識された前記車両の周辺の道路形状を示す画像を表示部に表示させ、前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる、プログラムである。
(1)〜(10)によれば、道路状況を、より適切なタイミングで乗員に認識させることができる。
実施形態の表示システムを含む車両システム1の構成図である。 HMI80の各部が搭載された車両Mの車室内の様子を例示した図である。 実施形態のHMI制御部150の機能構成図である。 表示態様制御部153の処理について説明するための図である。 時刻t1の場面において、画像生成部155により生成される画像IM1の一例を示す図である。 時刻t2の場面において、画像生成部155により生成される画像IM2の一例を示す図である。 時刻t3の場面において、画像生成部155により生成される画像IM3の一例を示す図である。 時刻t4の場面において、画像生成部155により生成される画像IM4の一例を示す図である。 車線変更マークMK3の形状を変更して表示させた様子を説明するための図である。 時刻t5の場面において、画像生成部155により生成される画像IM5の一例を示す図である。 実施形態の表示システムにより実行される処理の流れの一例を示すフローチャートである。 実施形態のHMI制御部150のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の表示システム、表示制御方法、およびプログラムの実施形態について説明する。なお、実施形態では、表示システムが、ADAS(Advanced Driver Assistance Systems)等の運転支援装置や、目的地までの経路を案内するナビゲーション装置を備えた車両に搭載された例について説明する。実施形態における運転支援には、例えば、ACC(Adaptive Cruise Control System)やLKAS(Lane Keeping Assistance System)、CMBS(Collision Mitigation Brake System)等が含まれる。また、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。
[全体構成]
図1は、実施形態の表示システムを含む車両システム1の構成図である。車両システム1が搭載される車両(以下、車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
図1において、車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、車両センサ40と、ナビゲーション装置50と、運転操作子60と、HMI(Human Machine Interface)80と、運転支援装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す車両システム1の構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。また、ナビゲーション装置50と、HMI80と、HMI制御部150とを合わせたものが、「表示システム」の一例である。また、HMI制御部150は、「表示制御部」の一例である。また、ナビHMI52と、HUD82と、メーター表示部84とを合わせたものが、「表示部」の一例である。また、物体認識装置16と、ナビゲーション装置50と、後述する周辺状況認識部とを組み合わせたものが、「認識部」の一例である。
カメラ10は、車両Mの周辺を撮像し、撮像画像を生成する。カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される車両Mの任意の箇所に取り付けられる。車両Mの周辺とは、車両Mの前方を含み、車両Mの側方又は後方を含んでいてもよい。例えば、車両Mの前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、車両Mの周辺の所定の照射方向に対してミリ波等の電波を放射するとともに、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。物体とは、例えば、車両Mの周辺に存在する他車両、障害物、構造物等である。レーダ装置12は、車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ装置12は、FMCW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、車両Mの周辺の所定の照射方向に対して照射された照射光に対する散乱光を測定し、物体までの距離を検出するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。ファインダ14は、車両Mの任意の箇所に一つまたは複数が取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、車両Mの周辺に存在する物体の位置、種類、速度等を認識する。また、物体認識装置16は、センサフュージョン処理によって、車両Mの周辺の道路形状を認識してもよい。物体認識装置16は、認識結果を運転支援装置100に出力する。
車両センサ40は、例えば、車両Mの速度(以下、車速と称する)を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Mの向きを検出する方位センサ等が含まれる。また、車両センサ40には、駆動力配分比率、エンジン回転数等を計測するセンサが含まれてもよい。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に地図情報54を保持している。地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。リンクには、例えば、TMC(Traffic message channel)リンクが含まれる。TMCリンクとは、例えば、外部サーバが車両Mに交通情報を配信する場合に、配信対象の道路区間を特定するための情報であり、各道路区間を識別する識別番号で管理される。また、地図情報54は、リンク形状、交通規制、道路種別、車線幅、車線数、道路構造、道路の曲率、標識情報、POI(Point Of Interest)情報等を含んでもよい。標識情報には、例えば、道路名称、道路識別情報、制限速度、交通規制(一方通行、直進レーン、右折レーン、駐車禁止)、その道路の行き先に関する情報(例えば、地域や道路)等が含まれる。また、地図情報54は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでもよい。
GNSS受信機51は、GNSS衛星から受信した信号に基づいて、車両Mの位置を特定する。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、後述するHMI80と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員(運転者を含む)により入力された目的地までの経路(例えば、目的地まで走行するときの経由地に関する情報を含む)と、目的地までの経路に基づく推奨車線とを、地図情報54を参照して決定する。例えば、経路決定部53は、目的地までの地図上の経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、分割したブロックごとに推奨車線を決定する。経路決定部53は、例えば、左から何番目の車線を走行するといった決定を行う。経路決定部53は、地図上経路に分岐箇所や合流箇所が存在する場合に、車両Mが分岐先や合流先に進行しやすくなるように、推奨車線を決定する。ナビゲーション装置50は、作動時に経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行う。
運転操作子60は、運転者が手動運転により車両Mの操舵および車速を制御するための操作子である。運転操作子60は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール等を含む。
HMI80は、車両Mの乗員に対して各種情報を通知するとともに、乗員による入力操作を受け付ける。HMI80は、例えば、HUD82およびメーター表示部84等の各種表示装置を備える。また、HMI80には、スピーカ、バイブレータ、発光部、ブザー、マイク、各種操作スイッチ、キー等が含まれてもよい。また、HMI80には、例えば、走行制御部120およびナビゲーション装置50の作動の開始または終了を切り替えるための操作部、HMI制御部150により制御される画像を表示させる表示部を選択するための操作部等が含まれてもよい。HMI80の詳細については、後述する。
運転支援装置100は、例えば、走行制御部120と、HMI制御部150とを備える。走行制御部120は、HMI80により走行制御部120の作動を開始する指示を受け付けた場合に、走行制御部120の作動を終了する指示を受け付けるまでの間、または目的地に到着するまでの間、物体認識装置16や車両センサ40等から得られる情報に基づいて、車両Mの運転支援制御を実行する。例えば、走行制御部120は、ACCを実行する際には、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力される情報に基づいて、車両Mと、前走車両との車間距離を一定に保った状態で走行するように走行駆動力出力装置200およびブレーキ装置210を制御する。すなわち、走行制御部120は、前走車両との車間距離に基づく加減速制御(速度制御)を行う。また、走行制御部120は、LKASを実行する際には、車両Mが、現在走行中の走行車線を維持(レーンキープ)しながら走行するようにステアリング装置220を制御する。すなわち、運転支援装置100は、車線維持のための操舵制御を行う。また、走行制御部120は、CMBSを実行する際には、車両Mとの距離が近づいている障害物との接触を回避するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。すなわち、運転支援装置100は、物体との接触を回避するための加減速制御および操舵制御を行う。
HMI制御部150は、HMI80からの情報の出力や、HMI80により受け付けた情報を取得し、取得した情報に基づいて各種処理を実行する等の制御を行う。例えば、HMI制御部150は、運転者への運転支援に関する情報を所定の表示態様でHMI80に表示させる。運転支援に関する情報には、例えば、周辺の道路形状に関する情報、特定情報、運転支援装置100により実行されている運転支援機能(例えば、ACC、LKAS、CMBS)の動作状態等が含まれる。特定情報とは、例えば、標識情報に関する情報、車線変更に関する情報、推奨車線に関する情報である。車線変更に関する情報には、例えば、車線変更を乗員に案内する車線変更案内情報、車線変更が不要であること乗員に示す車線変更不要情報等が含まれる。HMI制御部150の機能の詳細については後述する。
走行駆動力出力装置200は、車両Mが走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、運転操作子60から入力される情報、或いは走行制御部120から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。ステアリングECUは、運転操作子60から入力される情報、或いは走行制御部120から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[HMI]
次に、HMI80について説明する。図2は、HMI80の各部が搭載された車両Mの車室内の様子を例示した図である。ナビHMI52は、図2に示すように、インスツルメントパネルIPの中央部に配置されたLCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の表示装置である。また、ナビHMI52は、例えば、乗員の手指の接触による入力操作を受け付けるタッチパネルを備える。ナビHMI52は、地図情報54により取得した車両Mの周辺の道路形状や、経路決定部53により決定された目的地までの地図および経路を表示する。また、ナビHMI52は、HMI制御部150により制御された表示態様で運転支援に関する情報等の表示を行ってもよい。
HUD82は、インスツルメントパネルIP上または内部に設けられ、運転席DSの前方のフロントウインドシールドFWSの一部の表示領域82Aに画像を含む光を投射する(投光する)ことで、運転席DSに着座した運転者に虚像を視認させる。フロントウインドシールドFWSは、光透過性を有する部材である。また、HUD82は、フロントウインドシールドFWSに取り付けられた光透過性を有する表示装置(例えば液晶ディスプレイや有機ELによって実現されてもよいし、人が身体に装着するデバイスが有する透明な部材(バイザー、眼鏡のレンズ等)に投光し、または光透過性の表示装置が取り付けられたものであってもよい。
HUD82は、例えば、上述した運転支援に関する情報を画像化した像を、虚像として、HMI制御部150により制御された表示態様で運転者に視認させる。また、HUD82は、車速、駆動力配分比率、エンジン回転数、運転支援機能(例えば、ACC、LKAS、CMBS)の動作状態、シフト位置等を画像化した像を、虚像として、HMI制御部150により制御された表示態様で運転者に視認させてもよい。以下では、HMI制御部150がHUD82に上述した処理を実行させることを、「HUD82に画像を表示させる」と称する場合があるものとする。
メーター表示部84は、例えば、インストルメントパネルIPにおける運転席DSの正面付近に設けられ、運転者が運転操作子60の一例であるステアリングホイール62の間隙から、或いはステアリングホイール62越しに視認可能な表示装置である。メーター表示部84は、例えば、LCDや有機ELディスプレイ等の表示装置である。メーター表示部84は、例えば、速度計や回転速度計等の計器類を表示する。また、メーター表示部84は、計器類を表示する領域以外の領域において、上述した運転支援に関する情報をHMI制御部150により制御された表示態様で表示してもよい。
[HMI制御部]
次に、HMI制御部150の構成例について説明する。図3は、実施形態のHMI制御部150の機能構成図である。HMI制御部150は、例えば、周辺状況認識部151と、推奨車線取得部152と、表示態様制御部153と、特定情報表示判定部154と、画像生成部155とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
周辺状況認識部151は、GNSS受信機51により特定された車両Mの位置情報に基づいて地図情報54を参照し、車両Mの周辺状況を認識する。また、周辺状況とは、例えば、車両Mが走行しているリンク区間を基準に数リンク先の範囲を含む。周辺状況として認識される情報には、例えば、車両Mの周辺の道路形状や車線数、車両Mの走行車線、標識情報等の状況が含まれる。また、周辺状況として認識される情報には、車両Mの進行方向と同一方向に走行可能な車線に合流する車線、または、複数の車線のうち分岐する車線の情報が含まれてもよい。以下では、車両Mの進行方向と同一方向に走行可能な車線(以下、本線と称する)に合流して増加した車線を「増加車線」と称し、本線から分岐した車線を「分岐車線」と称する。また、周辺状況認識部151は、地図情報54から取得するのに代えて(または加えて)、カメラ10により撮像された車両Mの前方の撮像画像を取得し、取得した画像を解析して、道路に描画された車線や中央分離帯等の構造物により区画された車線、車線数、道路形状、および走行車線等を認識してもよい。
推奨車線取得部152は、ナビゲーション装置50が作動中である場合に、経路決定部53により決定された推奨車線に関する情報を取得する。
表示態様制御部153は、運転支援に関する情報の表示態様を制御する。表示態様には、情報を表示する対象機器、表示開始時期、表示区間、表示内容等が含まれる。表示態様制御部153の機能の詳細については、後述する。
特定情報表示判定部154は、車線ごとに決められた表示条件に基づいて、運転支援に関する情報のうち、特定情報を表示する必要があるか否かを判定する。なお、表示条件は、表示する情報ごとに設定されていてもよい。標識情報に関する情報の表示条件としては、例えば、増加車線が存在すること、或いは、増加車線が推奨車線であること等である。また、推奨車線に関する情報の表示条件としては、例えば、ナビゲーション装置50が作動中であり、目的地までの経路に基づき推奨車線が決定されていることである。また、車線変更に関する情報のうち、車線変更案内情報の表示条件としては、例えば、車両Mが走行車線に設定された表示開始時期に到達した場合に、推奨車線を走行していないことである。また、車線変更に関する情報のうち、車線変更不要情報の表示条件としては、例えば、車両Mが車線変更を行うための限界地点である車線変更限界地点に到達する前に、すでに推奨車線を走行していることである。これらの特定情報の表示条件は、上述した条件に限定されず、他の条件(例えば、分岐の有無、乗員による表示指示)が含まれてもよい。
画像生成部155は、表示態様制御部153により設定された表示態様で、運転支援に関する情報を表示するための画像を生成する。また、画像生成部155は、特定情報表示判定部154により上述した特定情報を表示する必要があると判定された場合に、表示態様制御部153により設定された表示態様で、特定情報に対応する画像を生成する。画像生成部155は、生成した画像を、表示態様制御部153により設定された表示対象の機器に表示させる。
[表示態様制御部]
次に、表示態様制御部153の処理と、表示態様制御部153により制御された表示態様により画像生成部155により生成される画像の具体例について説明する。なお、以下の説明では、画像生成部155により生成される画像をHUD82に表示させるものとする。また、以下の説明では、ナビゲーション装置50により乗員が設定した目的地に到着するための経路、および経路に基づく推奨車線が決定されているものとする。
図4は、表示態様制御部153の処理について説明するための図である。図4の例では、車両Mが4車線L1〜L4で形成される道路を走行するものとする。車線L1〜L3は、車線の進行方向と同一方向に走行可能な車線であり、車線L4は、合流地点Pmで車線L1〜L3に合流し、分岐地点pmで車線L1〜L3から分岐する車線である。車線L1〜L3からみた場合、車線L4は、増加した車線となる。また、図4において、ナビゲーション装置50で設定された目的地方面に向かうための推奨車線は、車線L4であるものとする。また、図4において、TL1〜TL5はTMCリンクの識別情報を示す。また、図4において、時刻t1〜t5における車両Mの位置を、車両M(t1)〜M(t5)と表記する。
表示態様制御部153は、道路形状に関する表示態様を設定する。道路形状に関する表示態様には、例えば、車両Mの周辺の道路形状に含まれるそれぞれの車線の表示位置および車幅が含まれる。
また、表示態様制御部153は、車両Mの走行車線と、推奨車線L4との間の車線数に基づいて、車線ごとに車線変更案内情報の表示を開始する表示開始時期を設定する。具体的には、表示態様制御部153は、図4に示す車線L1と推奨車線L4との間の車線数に基づいて、車線L1〜L3の表示開始時期を設定する。
例えば、表示態様制御部153は、推奨車線L4に隣接する車線L3に対し、車両Mの位置を基準として、分岐地Pbから所定距離D0だけ手前の地点を、車線変更を行うための限界地点である車線変更限界地点P1として設定する。所定距離D0は、例えば、車両センサ40により検出された車速や、道路形状等に基づいて変更されてもよい。次に、表示態様制御部153は、車線L3における表示開始時期を車線変更限界地点P1からの距離に基づいて設定する。例えば、表示態様制御部153は、車線変更限界地点P1から所定距離D1だけ手前の地点P2に車両Mが到達したタイミングを、車線L3における表示開始時期とする。
また、表示態様制御部153は、推奨車線L4から二車線分離れた車線L2(車線L3に隣接する車線L2)に対し、車線変更限界地点P1から所定距離D2だけ手前の地点P3に車両Mが到達したタイミングを、車線L2における表示開始時期とする。所定距離D2は、例えば、所定距離D1の2倍の距離である。また、表示態様制御部153は、推奨車線L4から三車線分離れた車線L1(車線L2に隣接する車線L1)に対し、車線変更限界地点P1から所定距離D3だけ手前の地点P4に車両Mが到達したタイミングを、車線L1における表示開始時期とする。所定距離D3は、例えば、所定距離D1の3倍の距離である。つまり、表示態様制御部153は、車両Mの走行車線が推奨車線から離れるほど、所定間隔で車線変更限界地点P1からの距離を増加させて、車線ごとに表示開始時期を設定する。所定間隔とは、例えば、所定距離D1を基準にした一定の間隔である。このように、表示態様制御部153は、推奨車線と走行車線との間の車線数に対応付けて車線ごとの表示開始時期を増加させることで、車線ごとに適切がタイミングで車線変更案内情報を表示させることができる。
また、表示態様制御部153は、車線ごとに、車線変更案内情報を表示する区間(表示区間)を設定する。例えば、表示態様制御部153は、車両Mが、車線ごとに設定した表示開始時期に到達してから車線変更限界地点P1に到達するまでの間を、表示区間として設定する。また、表示態様制御部153は、車線変更案内情報以外の標識情報や推奨車線に関する情報等の特定情報に関する表示開始時期、表示区間、表示位置等を設定する。
画像生成部155は、表示態様制御部153により設定された表示態様に基づいて、HUD82に表示させる画像を生成する。以下では、時刻t1〜t5の各場面において、画像生成部155により生成される画像を用いて、表示態様制御部153により設定される表示態様について説明する。
<時刻t1の場面>
図5は、時刻t1の場面において、画像生成部155により生成される画像IM1の一例を示す図である。図5の例において、画像IM1の大きさは、表示領域82Aの大きさに等しいものとする。以下に説明する他の画像の大きさについても同様とする。例えば、時刻t1の場面において、車両M(t1)は、車線L1に設定された表示開始時期に到達していない。そのため、表示態様制御部153は、道路形状に関する画像のみをHUD82に表示させる。具体的には、表示態様制御部153は、図5に示すように、3車線L1〜L3のうち車両Mの走行車線L1の中央線CL1が表示領域82A(画像IM1)の幅方向の中央Cと重なるように、周辺の道路形状に含まれる複数の車線L1〜L3を配列した画像を画像生成部155に生成させる。中央線CL1と中央Cとが重なるとは、例えば、車線数や道路形状(例えば、カーブ路)、表示領域82Aの大きさ等に基づいて、所定の許容誤差を含んでもよい。
また、表示態様制御部153は、例えば、車線L1〜L3の画像のそれぞれの車幅W1〜W3について、表示領域82Aの幅方向の中央Cに位置付けられる車線L1の車幅W1を、他の車線の車幅W2およびW3よりも広くし、且つ、中央Cから外側の車線になるほど車幅を狭く表示させる。この場合、表示態様制御部153は、車線が外側に向かうにつれて漸次的に細く設定する。具体的には、図5に示すように、表示態様制御部153は、車線L1よりも外側にある車線L2の車幅W2を車幅W1よりも狭く表示させ、車線L2よりも外側にある車線L3の車幅W3を車幅W2よりも狭く表示させる。
また、表示態様制御部153は、上述した車線L1〜L3の画像を所定のタイミングで更新して表示させる。所定のタイミングには、例えば、車両Mが所定距離を走行したタイミング、所定時間が経過したタイミング、道路もしくは道路のリンク(例えば、TMCリンクの識別情報)が切り替わるタイミング、車線変更が行われたタイミング等が含まれる。また、所定のタイミングには、例えば、数リンク先に道路の分岐または合流等が存在することが認識されたタイミングが含まれてよい。
また、時刻t1の場面において、次のリンク区間TL2の終端で車線L4が車線L1〜L3の増加車線として合流する。そのため、表示態様制御部153は、車線L4の形状を表示させる前に、車線L4に関する画像を、道路形状を示す車線L1〜L3の画像の外側であって、且つ車線L4が増加する側に表示させる。増加車線に関する画像には、例えば、増加車線に対応付けられた標識情報の画像が含まれる。
例えば、表示態様制御部153は、標識情報の一例として、図5に示すように、車線L4の道路識別情報を示す標識マークMK1を、合流側である車線L3の画像よりも外側に表示させる。また、表示態様制御部153は、標識マークMK1の表示とともに、標識マークMK1の対象の車線を指し示す指示マークMK2を表示させてもよい。指示マークMK2を表示することにより、車線L4の形状が表示される前に、車線L4の情報を乗員に把握させることができる。これにより、乗員に、車両の近辺の道路形状だけでなく、近い将来に増加される車線に関する情報を、余裕を持って把握させることができる。
なお、増加車線が、車両Mが実際に走行する車線、または走行予定の車線でない場合、余計な情報が表示されることになってしまう。したがって、表示態様制御部153は、標識マークMK1や指示マークMK2の表示条件として、経路決定部53により決定された目的地までの経路に対応付けられた推奨車線が増加車線である場合に、標識マークMK1や指示マークMK2の画像を表示させるようにしてもよい。これにより、目的地までの走行に必要な情報のみを表示させることができる。また、余計な情報の表示をなくすことで、他の表示内容を乗員に認識させやすくすることができる。
<時刻t2の場面>
時刻t2の場面において、車両M(t2)は、車線L1の表示開始時期(地点P4)に到達しており、且つ、推奨車線L4を走行していないため、車線変更案内情報の表示条件を満たす。そのため、表示態様制御部153は、車線変更案内情報の一例として、車両Mの走行車線に対する推奨車線の方向を示すとともに運転者に車線変更の実行を促す車線変更マーク(案内画像の一例)MK3を画像生成部155に生成させ、生成された画像を、車両Mの周辺の道路形状の画像とともにHUD82に表示させる。なお、時刻t2の時点において、車線L4の形状を示す画像は、表示されていない。そのため、表示態様制御部153は、車両Mが走行車線から車線L4に移動する必要があり、且つ、車線L4の形状を示す画像が表示されていない場合に、車線L4に隣接する車線L3を一時的な目標車線とし、目標車線の方向を示すとともに、運転者に車線変更の実行を促す車線変更マークMK3を表示させる。
図6は、時刻t2の場面において、画像生成部155により生成される画像IM2の一例を示す図である。車線変更マークMK3は、例えば、矢印マークやその他の方向を示すマーク、模様、文字情報等により表示される。図6の画像IM2では、二つの矢印が車線変更先を示すととともに、一部が重なった車線変更マークMK3が示されている。また、表示態様制御部153は、車線変更マークMK3を、走行車線である車線L1と、車線変更先の車線である車線L2とを区画する区画線上に表示させる。HUD82に表示された車線変更マークMK3を乗員に視認させることで、目的地方面に進行するために車線変更を行う必要があることを容易に認識させることができる。
また、表示態様制御部153は、ナビゲーション装置50により設定された目的地までの経路に基づく推奨車線または一時的な目標車線を示す推奨車線マークMK4を推奨車線に対応付けた位置に表示させてもよい。図6の画像IM2では、車線L4の形状に関する情報は、表示されていないため、一時的な目標車線である車線L3の画像上(車線L3の画像の上部)に推奨車線マークMK4が示されている。これにより、乗員に、推奨車線または一時的な目標車線を容易に認識させることができ、車線変更をスムーズに実行させることができる。
<時刻t3の場面>
時刻t3の場面において、車両M(t3)は、車線L1からの車線変更が実行され、車線L2を走行しているものとする。この場面において、特定情報表示判定部154は、車線L2に設定した車線変更マークMK3の表示条件を満たすか否かを判定する。時刻t3において、車両M(t3)は、車線L2の表示開始時期(地点P3)に到達していないため、特定情報表示判定部154は、車線変更マークMK3を表示する必要がないと判定する。しかしながら、車両M(t3)の位置から表示開始時期までの区間ΔD1において、車線変更マークMK3の表示が画面から消えてしまうと、乗員は現在の車線L2でも目的地に到着できるものと勘違いし、車線変更ができるタイミングであっても車線変更を行わない状態となる可能性がある。また、車両Mが車線L2の表示開始時期に到達して、再び車線変更マークMK3が表示されることで運転者が混乱するとともに、周辺車両の影響で車線変更ができないといった状況を招く可能性がある。
そこで、表示態様制御部153は、車両Mが車線変更を開始した場合に、車線ごとに定めた表示開始地点に到達しているか(または表示区間を走行しているか)否かを問わずに、継続して車線変更マークMK3を表示させる。例えば、表示態様制御部153は、車両Mが車線L1を走行中に車線変更マークMK3が表示された後に、車線L2への車線変更が実行された場合には、車線変更後の車線L2に設定された表示開始時期に到達していなくても、車線変更マークMK3の表示を継続させる。この場合、表示態様制御部153は、例えば、周辺状況認識部151により認識される走行車線が変更された場合に、車線変更が実行されたと判定する。また、表示態様制御部153は、カメラ10により撮像された撮像画像の解析結果により、車線を跨った走行が行われたことを認識した場合に、車線変更が実行されたと判定してもよい。また、表示態様制御部153は、車両センサ40により検出された車速や角速度、方位等の変化量と道路形状とに基づいて、車線変更が実行されたか否かを判定してもよい。
図7は、時刻t3の場面において、画像生成部155により生成される画像IM3の一例を示す図である。図7の例では、車両M(t3)が車線L2を走行しているため、車線L2の中央線CL2が表示領域82A(画像IM3)の幅方向の中央Cと重なるように、周辺の道路形状に含まれる複数の車線L1〜L4を配列した画像が生成されている。なお、表示態様制御部153は、車線L4が車線L1〜L3に合流して増加車線となることを乗員に認識させるため、図7に示すように、車線L4の道路形状を、直線ではなく曲線に変更した車線線形状変更画像で表示させる。各車線の車幅は、車幅W2が車幅W1、W3、およびW4より広く、車幅W1、W3が車幅W4よりも広くなっている。また、表示態様制御部153は、目的地方面に進行可能な車線L4の道路形状の画像の表示位置に対応付けて、標識マークMK1、指示マークMK2、および推奨車線マークMK4を表示させる。
また、表示態様制御部153は、車線変更マークMK3を継続して表示させる場合に、車両Mの現在の走行車線と、新たな車線変更先の車線との間の区画線上に移動して表示させる。つまり、表示態様制御部153は、車線変更により車両Mの走行車線が変更するごとに、車線変更マークMK3の表示位置を、推奨車線に向かって段階的に移動しながら継続して表示させる。図7の画像IM3において、車線変更マークMK3は、走行車線L2と車線変更先の車線L3とを区画する区画線上に表示される。これにより、乗員に、車線変更先の車線を正確に把握させることができる。また、車線変更マークMK3が継続して表示されるため、乗員に複数の車線変更をスムーズに実行させることができる。
<時刻t4の場面>
時刻t4の場面において、車両M(t4)は、車線L2からの車線変更が実行され、車線L3を走行しているものとする。この場面において、特定情報表示判定部154は、車線L3に設定した車線変更マークMK3の表示条件を満たすか否かを判定し、車線変更マークMK3を表示する必要がないと判定する。しかしながら、車両M(t4)の位置から表示開始時期までの区間ΔD2において、車線変更マークMK3の表示が画面から消えてしまうと、上述した時刻t3の場面と同様の問題が生じるため、表示態様制御部153は、車線L3に設定された表示開始時期に到達していなくても、車線変更マークMK3の表示を継続させる。
図8は、時刻t4の場面において、画像生成部155により生成される画像IM4の一例を示す図である。図8の例では、車両M(t4)が車線L3を走行しているため、車線L3の中央線CL3が表示領域82A(画像IM4)の幅方向の中央Cと重なるように、周辺の道路形状に含まれる複数の車線L1〜L4を配列した画像が生成されている。また、時刻t4において、車線L4の道路形状は、直線であるため、直線形状の画像が表示されている。また、各車線の車幅は、車幅W3が車幅W1、W2、およびW4よりも広く、車幅W2、W4が車幅W1よりも広くなっている。
図8の画像IM4において、車線変更マークMK3は、走行車線L3と車線変更先の車線L4とを区画する区画線上に表示される。これにより、乗員に、車線変更先の車線を正確に把握させることができる。また、車線変更マークMK3が継続して表示されるため、乗員に複数の車線変更をスムーズに実行させることができる。
なお、図6〜図8に示す車線変更マークMK3は同一の形状であるが、これに代えて、走行車線から推奨車線までの車線数(言い換えると、残りの車線変更回数)に基づいて、車線変更マークMK3を変更してもよい。
図9は、車線変更マークMK3の形状を変更して表示させた様子を説明するための図である。図9に示す画像IM2#〜IM4#は、時刻t2〜t4の場面においてHUD82によって表示される画像を示している。時刻t2の場面において、車両M(t2)は、車線L1を走行しており、車線L4までの残りの車線変更回数は、三回である。そのため、表示態様制御部153は、図9の画像IM2#に示すように、三つの矢印マークの全てが車線変更先を示すとともに、三つの矢印の一部を重ね合わせた車線変更マークMK3aを表示させる。また、時刻t3の場面において、車両M(t3)は、車線L2を走行しており、車線L4までの残りの車線変更回数は、二回である。そのため、表示態様制御部153は、図9の画像IM3#に示すように、二つの矢印マークの全てが車線変更先を示すとともに、二つの矢印の一部を重ね合わせた車線変更マークMK3bを表示させる。また、時刻t4の場面において、車両M(t4)は、車線L3を走行しており、車線L4までの残りの車線変更回数は、一回である。そのため、表示態様制御部153は、図9の画像IM4#に示すように、一つの矢印マークが車線変更先を示す車線変更マークMK3cを表示させる。これにより、乗員に、車線変更マークにより残りの車線変更回数を正確に認識させることができるため、余裕を持ってスムーズな車線変更を実行させることができる。
<時刻t5の場面>
時刻t5の場面において、車両M(t5)は、車線変更限界地点P1に到達する前に、車両Mが推奨車線L4を走行しているものとする。この場面において、表示態様制御部153は、車線変更不要情報を示す画像を表示させてもよい。図10は、時刻t5の場面において、画像生成部155により生成される画像IM5の一例を示す図である。図10の例では、車両Mが車線L4を走行しているため、車線L4の中央線CL4が表示領域82A(画像IM5)の幅方向の中央Cと重なるように周辺の道路形状に含まれる複数の車線を配列した画像が生成されている。なお、表示態様制御部153は、車線L4が次のリンク区間TL5で車線L1〜L3から分岐することを乗員に認識させるため、図10に示すように、車線L4の先端部付近の道路形状を、直線ではなく曲線に変更した車線線形状変更画像で表示させる。また、各車線の車幅は、車幅W4が車幅W1〜W3より広く、車幅W3が車幅W1〜W2よりも広く、車幅W2が車幅W1よりも広くなっている。
時刻t5の場面において、表示態様制御部153は、車線変更不要情報を示す画像の一例として、車線変更不要マークMK5を画像生成部155に生成させ、生成させた車線変更不要マークMK5を車線L4上に表示させる。車線変更不要マークMK5は、車線L4に沿って走行することが乗員に把握しやすいように、矢印マークやその他の方向を示すマーク、模様、文字情報等により表示される。図8に示す画像IM5では、二つの矢印の一部を重ね合わせ、それぞれの矢印が道路の延伸方向を示す車線変更不要マークMK5が表示されている。車線変更不要マークMK5を表示することで、乗員に、車線変更を実行する必要がないことを容易に認識させることができる。
また、表示態様制御部153は、車両Mが車線変更限界地点P1に到達した時点で、車線L1〜L3を走行している場合に、車線変更マークMK3の表示を終了する。また、表示態様制御部153は、車両Mが分岐地点P0に到達した時点で、車線L1〜L3を走行している場合に、車線変更マークMK3の表示を終了してもよい。これにより、車線変更ができない状況において、乗員に車線変更を促すことを抑制することができる。上述の処理により、車線変更マークMK3の表示を終了した場合、表示態様制御部153は、改めてナビゲーション装置50によって決定された経路の推奨車線と、走行車線とに基づいて、運転支援に関する情報の表示態様等を再設定する。
また、表示態様制御部153は、車両Mが車線変更限界地点P1に到達した時点で、車線L4を走行している場合に、車線変更不要マークMK5の表示を終了してもよい。
上述した道路形状の画像や、特定情報(標識マークMK1、指示マークMK2、車線変更マークMK3、推奨車線マークMK4、車線変更不要マークMK5)のそれぞれの表示位置、大きさ、形状等のレイアウトは、上述した各画像の例に限定されない。例えば、画像に含まれるそれぞれの情報の一部または全部を、アニメーション画像によって表示させてもよい。
また、表示態様制御部153は、運転支援機能の動作時に、運転支援機能を示す画像を表示させてもよい。また、表示態様制御部153は、例えば、車線変更マークMK3を表示してから所定時間が経過した後も、車線変更が行われていない場合に、HMI80のスピーカにより車線変更を実行させるための音声情報または警告音を出力させてもよく、バイブレータを振動させて運転者に表示内容を気付かせる制御を行ってもよい。
また、表示態様制御部153は、所定のタイミングで特定情報の表示を終了する。所定のタイミングとは、車両Mが合流地点、分岐地点、または車線変更限界地点等を通過したタイミング、特定情報を表示してから所定時間が経過したタイミング、HMI80の操作部から乗員による表示終了指示を受け付けたタイミング等である。
[処理フロー]
図11は、実施形態の表示システムにより実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、ナビゲーション装置50による経路案内の実行中(装置作動中)に所定周期で繰り返し実行される。また、図11では、主に標識情報を表示する処理について説明する。図11の例において、周辺状況認識部151は、車両Mの周辺状況を認識し、車両Mの周辺の道路形状を認識する(ステップS100)。次に、画像生成部155は、表示態様制御部153により設定された表示態様で、認識された道路形状を示す画像を生成し、生成した画像をHUD82に表示させる(ステップ102)。
次に、推奨車線取得部152は、ナビゲーション装置50により決定された目的地までの経路に基づく推奨車線を取得する(ステップS104)。次に、特定情報表示判定部154は、車両Mの進行方向と同一方向に走行可能な車線が増加するか否かを判定する(ステップS106)。車両Mの進行方向と同一方向に走行可能な車線が増加する場合、特定情報表示判定部154は、増加車線が推奨車線であるか否かを判定する(ステップS108)。増加車線が推奨車線である場合、画像生成部155は、表示態様制御部153により設定された表示態様に基づいて、増加車線に対応付けられた標識情報の画像を生成し(ステップS110)、生成した標識情報の画像を、増加車線の形状を表示させる前に、道路形状の外側、且つ車線が増加する側に表示させる(ステップS112)。これにより、本フローチャートの処理は、終了する。また、ステップS106の処理において、車両Mの進行方向と同一方向に走行可能な車線が増加しない場合、または、ステップS108の処理において、増加車線が推奨車線でない場合、本フローチャートの処理は、終了する。
なお、実施形態の表示システムの処理では、増加車線が推奨車線であるか否かの処理を行わず、単に増加車線が存在する場合に、増加車線に対応付けられた標識情報の画像を生成し、生成した画像を増加車線の形状の画像を表示させる前に表示させてもよい。また、実施形態の表示システムの処理では、図11に示す標識情報の表示に加えて、特定情報表示判定部154により表示条件を満たし、表示する必要があると判定された他の情報(例えば、車線変更に関する情報、推奨車線に関する情報)を表示させてもよい。
以上説明した実施形態によれば、車両Mの周辺状況を認識する周辺状況認識部151と、画像を表示する表示部(ナビHMI52、HUD82、メーター表示部84)と、周辺状況認識部151により認識された車両Mの周辺の道路形状を示す画像を表示部に表示させるHMI制御部150を、を備え、HMI制御部150は、車両Mの進行方向と同一方向に走行可能な車線が増加する場合に、表示部に、増加車線の形状を示す画像を表示させる前に、増加車線に関する画像を、道路形状を示す画像の外側、且つ車線が増加する側に表示させることにより、道路状況を、より適切なタイミングで乗員に認識させることができる。これにより、例えば、車両の走行車線から推奨車線への車線変更が必要な場合において、乗員に推奨車線までの車線変更をスムーズに行わせることができる。
[ハードウェア構成]
上述した実施形態の表示システムのHMI制御部150は、例えば、図12に示すようなコンピュータハードウェアの構成により実現される。図12は、実施形態のHMI制御部150のハードウェア構成の一例を示す図である。
HMI制御部150は、通信コントローラ150−1、CPU150−2、RAM150−3、ROM150−4、フラッシュメモリやHDD等の記憶装置150−5、およびドライブ装置150−6が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置150−6には、光ディスク等の可搬型記憶媒体が装着される。記憶装置150−5に格納されたプログラム150−5aがDMAコントローラ(不図示)等によってRAM150−3に展開され、CPU150−2によって実行されることで、HMI制御部150の機能部が実現される。また、CPU150−2が参照するプログラムは、ドライブ装置150−6に装着された可搬型記憶媒体に格納されていてもよいし、ネットワークNWを介して他の装置からダウンロードされてもよい。
上記実施形態は、以下のように表現することができる。
記憶装置と前記記憶装置に格納されたプログラムを実行するハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
車両の周辺状況を認識し、
認識された前記車両の周辺の道路形状を示す画像を表示部に表示させ、
前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる、
ように構成されている表示システム。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、40…車両センサ、50…ナビゲーション装置、51…GNSS受信機、52…ナビHMI、53…経路決定部、54…地図情報、60…運転操作子、80…HMI、82…HUD、84…メーター表示部、100…運転支援装置、120…走行制御部、150…HMI制御部、151…周辺状況認識部、152…推奨車線取得部、153…表示態様制御部、154…特定情報表示判定部、155…画像生成部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、M…車両

Claims (10)

  1. 車両の周辺状況を認識する認識部と、
    画像を表示する表示部と、
    前記認識部により認識された前記車両の周辺の道路形状を示す画像を前記表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる、
    表示システム。
  2. 前記増加車線に関する画像は、前記増加車線に対応付けられた標識情報の画像を含む、
    請求項1に記載の表示システム。
  3. 前記車両の目的地までの経路を決定する経路決定部を更に備え、
    前記表示制御部は、前記経路決定部により決定された目的地までの経路に対応付けられた推奨車線が前記増加車線である場合に、前記増加車線に関する画像を表示させる、
    請求項1または2に記載の表示システム。
  4. 前記表示制御部は、前記車両が走行中の車線から前記増加車線に移動する必要があり、且つ、前記増加車線の形状を示す画像が表示されていない場合に、前記増加車線に隣接する車線を目標車線として、前記車両の車線変更を案内する案内画像を表示させる、
    請求項3に記載の表示システム。
  5. 前記表示制御部は、
    前記車両の走行車線と前記推奨車線との間の車線数に基づいて、車線ごとに前記案内画像の表示開始時期を制御し、
    前記案内画像が表示された後に前記車両が車線変更を行った場合に、車線変更後の車線に設定された表示開始時期に到達していなくても、前記案内画像の表示を継続させる、
    請求項4に記載の表示システム。
  6. 前記表示制御部は、前記車両の進行方向と同一方向に走行可能な複数の車線に対し、前記推奨車線への車線変更が可能な車線変更限界地点に基づいて、前記車線ごとに前記表示開始時期を設定する、
    請求項5に記載の表示システム。
  7. 前記表示制御部は、前記車両が前記推奨車線を走行していない場合であって、且つ、前記車両が前記車線変更限界地点に到達した場合に、前記案内画像の表示を終了する、
    請求項6に記載の表示システム。
  8. 前記表示制御部は、前記車両が前記推奨車線を走行している場合に、前記車両の車線変更が不要であることを示す画像を前記表示部に表示させる、
    請求項3から7のうち何れか1項に記載の表示システム。
  9. コンピュータが、
    車両の周辺状況を認識し、
    認識された前記車両の周辺の道路形状を示す画像を表示部に表示させ、
    前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる、
    表示制御方法。
  10. コンピュータに、
    車両の周辺状況を認識させ、
    認識された前記車両の周辺の道路形状を示す画像を表示部に表示させ、
    前記車両の進行方向と同一方向に走行可能な車線が増加する場合に、前記表示部に、増加車線の形状を示す画像を表示させる前に、前記増加車線に関する画像を、前記道路形状を示す画像の外側、且つ車線が増加する側に表示させる、
    プログラム。
JP2018169675A 2018-09-11 2018-09-11 表示システム、表示制御方法、およびプログラム Active JP6991948B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018169675A JP6991948B2 (ja) 2018-09-11 2018-09-11 表示システム、表示制御方法、およびプログラム
US16/558,440 US11105651B2 (en) 2018-09-11 2019-09-03 Display system, display control method, and storage medium for facilitating display of a road shape based on detection of a change
CN201910846349.XA CN110884427B (zh) 2018-09-11 2019-09-06 显示系统、显示控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018169675A JP6991948B2 (ja) 2018-09-11 2018-09-11 表示システム、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020041916A true JP2020041916A (ja) 2020-03-19
JP6991948B2 JP6991948B2 (ja) 2022-01-13

Family

ID=69720662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018169675A Active JP6991948B2 (ja) 2018-09-11 2018-09-11 表示システム、表示制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11105651B2 (ja)
JP (1) JP6991948B2 (ja)
CN (1) CN110884427B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022084442A (ja) * 2020-11-26 2022-06-07 本田技研工業株式会社 画像処理装置、運転支援装置および車両

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069542A (ko) * 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
JP2022149451A (ja) * 2021-03-25 2022-10-06 本田技研工業株式会社 車両用表示制御装置、車両用表示制御装置の制御方法、およびプログラム
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194582A (ja) * 1997-07-24 1999-04-09 Toyota Motor Corp 車両用走行誘導装置及び方法並びにプログラムを記録した媒体
JP2015155857A (ja) * 2014-02-21 2015-08-27 三菱電機株式会社 運転支援画面生成装置、運転支援装置および運転支援画面生成方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612151B2 (en) 2008-07-11 2013-12-17 Marcus Winkler Apparatus for and method of junction view display
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US20120191344A1 (en) * 2011-01-26 2012-07-26 Alpine Electronics, Inc. Method and apparatus for displaying lane complexity information for navigation system
JP5810842B2 (ja) * 2011-11-02 2015-11-11 アイシン・エィ・ダブリュ株式会社 レーン案内表示システム、方法およびプログラム
JP6536853B2 (ja) * 2015-07-27 2019-07-03 日産自動車株式会社 車線表示装置及び車線表示方法
JP6535634B2 (ja) * 2016-05-26 2019-06-26 本田技研工業株式会社 経路案内装置及び経路案内方法
CN106985749B (zh) * 2016-10-25 2019-07-05 蔚来汽车有限公司 基于车道线灭点的hud显示系统和方法
CN110023718B (zh) * 2016-11-30 2020-08-04 日产自动车株式会社 路线引导方法及路线引导装置
JP2018092290A (ja) * 2016-12-01 2018-06-14 株式会社Subaru 車両用表示装置
JP6699646B2 (ja) * 2017-02-08 2020-05-27 株式会社デンソー 車両用表示制御装置
US11333516B2 (en) * 2017-11-06 2022-05-17 Aisin Corporation Lane guidance system and lane guidance program
CN110248861B (zh) * 2018-01-07 2023-05-30 辉达公司 在车辆操纵过程中使用机器学习模型来引导车辆
US11069245B2 (en) * 2018-05-14 2021-07-20 Toyota Jidosha Kabushiki Kaisha Lane change timing indicator

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194582A (ja) * 1997-07-24 1999-04-09 Toyota Motor Corp 車両用走行誘導装置及び方法並びにプログラムを記録した媒体
JP2015155857A (ja) * 2014-02-21 2015-08-27 三菱電機株式会社 運転支援画面生成装置、運転支援装置および運転支援画面生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022084442A (ja) * 2020-11-26 2022-06-07 本田技研工業株式会社 画像処理装置、運転支援装置および車両

Also Published As

Publication number Publication date
US20200080864A1 (en) 2020-03-12
CN110884427A (zh) 2020-03-17
JP6991948B2 (ja) 2022-01-13
US11105651B2 (en) 2021-08-31
CN110884427B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
US10589752B2 (en) Display system, display method, and storage medium
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110884427B (zh) 显示系统、显示控制方法及存储介质
JP7011559B2 (ja) 表示装置、表示制御方法、およびプログラム
CN109466542B (zh) 车辆控制装置、车辆控制方法及存储介质
US20200262349A1 (en) Display system, display method, and program
WO2020208989A1 (ja) 表示制御装置及び表示制御プログラム
US11137264B2 (en) Display system, display method, and storage medium
CN111220175B (zh) 信息输出装置、输出控制方法及存储介质
US10854172B2 (en) Display system, display control method, and storage medium
JP2023112082A (ja) 車両用表示装置
JP6840035B2 (ja) 車両制御システム
CN110888431B (zh) 通知系统、通知控制方法及存储介质
CN110888432B (zh) 显示系统、显示控制方法及存储介质
JP2022126240A (ja) 車両用表示装置
JP2020172251A (ja) 表示制御装置及び表示制御プログラム
WO2020230612A1 (ja) 表示制御方法及び表示制御装置
JP2019200461A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6991948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150