JP2022063932A - 車両の走行環境表示装置 - Google Patents

車両の走行環境表示装置 Download PDF

Info

Publication number
JP2022063932A
JP2022063932A JP2020172344A JP2020172344A JP2022063932A JP 2022063932 A JP2022063932 A JP 2022063932A JP 2020172344 A JP2020172344 A JP 2020172344A JP 2020172344 A JP2020172344 A JP 2020172344A JP 2022063932 A JP2022063932 A JP 2022063932A
Authority
JP
Japan
Prior art keywords
vehicle
image
lane
road surface
linear road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020172344A
Other languages
English (en)
Inventor
良佑 柿丸
Ryosuke Kakimaru
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2020172344A priority Critical patent/JP2022063932A/ja
Priority to US17/487,958 priority patent/US11973922B2/en
Publication of JP2022063932A publication Critical patent/JP2022063932A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/168Target or limit values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/188Displaying information using colour changes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両において表示する走行環境画像を改善する。【解決手段】車両1の走行環境表示装置10は、車両1の走行環境画像76を繰り返し生成する生成部14と、走行環境画像76を表示する表示デバイス52と、を有する。生成部14は、走行環境画像76として、車両1を後側の視点から見た自車オブジェクト81とともに、車両1が走行する道路の車線境界線と対応する線状の路面オブジェクト82を含む画像であって、自車オブジェクト81を車両1の後上方向から俯瞰したものを生成する。車両1が2つの車線の間で車線変更する際には、生成部14は、車線変更の際に繰り返し生成する複数の走行環境画像76の間で、自車オブジェクト81を線状の路面オブジェクト82により表される2つの車線の間で移動させるとともに、線状の路面オブジェクト82の向きを変更する。【選択図】 図10

Description

本発明は、車両の走行環境表示装置に関する。
自動車では、走行している周囲の走行環境として、自車とその周辺路面の画像を表示するものがある(特許文献1、2)。
そして、特許文献1では、自動車が2つの車線の車線変更する際には、画像の基準となる後上方の視点を、車線変更前の元の車線での自車の後上方から、車線変更でまたぐ車線境界線についての後上方へ移動し、さらに車線変更後の新たな先の車線での自車の後上方へ移動している。
また、特許文献2では、自動車が2つの車線の車線変更する際には、画像中の自車の向きを変更するとともに、一点消失図法で表示されている複数の車線境界線を、消失点を中心として車線変更の方向とは反対側へ回転させている。
これらの画像の表示では、画像中で車線変更する自車の動きが実際の車線変更の動きを模したものとなり、自車とその周辺路面を後上方向から俯瞰する画像でありながら自車とその周辺路面を真上から俯瞰する画像と同様に、画像中で車線変更する自車の動きについて乗員が違和感を受け難くできる。
特表2017-061230号公報 特開2019-053008号公報
しかしながら、これらの画像をたとえばドライバの前に設けられるメータパネルに表示して、ドライバに対して走行環境の画像を提供しようとする場合、これらの画像についてドライバは現実感を得られない可能性が残る。ドライバは、自車の外に見える実際の自車の車線変更と、表示される画像での車線変更との対応関係を一瞥するだけで瞬時に一致していると判断し難い可能性がある。ドライバは、画像の表示について違和感を受けてしまう可能性がある。運転支援や自動運転が可能な自動車のドライバには、走行環境の急激な変化などがあると、運転支援や自動運転での認識状態を画像から把握しい、それらの総合的な判断に基づいて適切な操作を瞬時に実行することが求められる。
たとえば、特許文献1では、画像中での自車の表示位置が、車線変更の段階に応じて左右へ飛ぶように移動することになる。この場合、ドライバは、車線変更を開始する前での表示位置において自車を視認することができなくなる。ドライバは、画像中で車線変更しているはずの自車が、左右へ大きく振れるように制御または走行しているかのように誤って認識してしまう可能性がある。メータパネルの手前にはステアリングがあるため、ドライバは、画像中での微小な左右への移動についても容易に認識し易い。画像の周囲に見えている車内設備に対する位置変動は認識し易い。しかも、画像中の自車の表示位置が左右へ移動することにより、車線変更を開始する前には見えていた自車がステアリングなどの車内設備に隠れてしまう可能性もある。
また、特許文献2では、画像中の自車の表示位置は左右へ移動しないものの、一点消失図法で表示されている複数の車線境界線が消失点を中心として車線変更の方向とは反対側へ回転する。消失点を中心とした回転により画像全体が単に左右へ移動すると、ドライバには、左右へ移動していない自車が左右へ横滑りしているように見える可能性がある。また、消失点を画像の上縁中央に付けて表示しているため、画像全体が遠方を望むようなものになる。遠方を望む画像では、実際に車両の外に見える風景とのバランスをとろうとすると、自車や先行車などの物体は小さく表示する必要がある。画像の基準となる後上方の視点を路面の近くまで下げれば、自車などを大きくしても車両の外に実際に見える風景とのバランスを確保できるが、その場合には、自車に先行車が隠れてしまう映像となり、走行している周囲の走行環境を示す画像としての機能に影響が生じる。
これらの画像での動きの見え方についての現実での車両の動きに基づく見え方に対する違いにより、ドライバは、画像の表示について違和感を受け易くなり、またその違和感を解消するように画像を理解する必要がある。ドライバ、運転支援や自動運転での認識状態を画像から即座に把握し難くなり、適切な操作の実行が遅れる可能性がある。
このように車両において走行環境の画像を表示する走行環境表示装置には、改善する余地がある。
本発明の一形態に係る車両の走行環境表示装置は、前記車両の走行環境の画像を繰り返し生成する生成部と、前記生成部により繰り返し生成される前記車両の走行環境の画像により表示を更新可能な表示デバイスと、を有し、前記生成部は、前記車両の走行環境の画像として、前記車両を後側の視点から見た自車オブジェクトとともに、少なくとも、前記車両が走行する道路、車線または車線境界線と対応するように前記画像において前記自車オブジェクトの位置から遠方へ向けて延在する線状の路面オブジェクトを含む画像であって、前記自車オブジェクトを、前記車両の後上方向から俯瞰したものを生成するものであり、前記車両が2つの車線の間で車線変更する際には、繰り返しにおいて連続的に生成する複数の前記車両の走行環境の画像の間で、前記自車オブジェクトを前記線状の路面オブジェクトにより表される2つの車線の間で移動させるとともに、前記線状の路面オブジェクトの前記視点からの遠方部分が近傍部分と比べて前記車両の車線変更の方向とは反対側へ大きく移動してから戻るように、前記線状の路面オブジェクトの向きを変更する。
好適には、前記生成部は、繰り返し生成する複数の前記車両の走行環境の画像において共通する前記自車オブジェクトを一定の位置に表示し、前記車両が2つの車線の間で車線変更する際には、前記線状の路面オブジェクトを、前記画像において前記車両の車線変更の方向とは反対側へ向けて全体的に前記画像の横方向へ移動させることにより前記自車オブジェクトを2つの車線の間で移動させるとともに、前記線状の路面オブジェクトの前記視点からの遠方部分が近傍部分と比べて前記車両の車線変更の方向とは反対側へ大きく移動してから戻すように、前記自車オブジェクトの周囲で回転させる、とよい。
好適には、前記生成部は、前記自車オブジェクトが前記線状の路面オブジェクトにより表される2つの車線の境界を超えるまで、前記線状の路面オブジェクトを、前記線状の路面オブジェクトの遠方部分が近傍部分と比べて前記車両の車線変更の方向とは反対側へ大きく移動するように回転させ続け、前記自車オブジェクトが前記線状の路面オブジェクトにより表される2つの車線の境界を超えると、前記線状の路面オブジェクトを逆に回転させて戻す、とよい。
好適には、前記生成部は、前記車両の走行環境の画像として、前記車両の周囲に存在する周辺車両に対応する周辺車オブジェクトを含む画像を生成し、前記車両が2つの車線の間で車線変更する際には、向きを変更しながら移動する前記線状の路面オブジェクトによる表される車線に、前記周辺車オブジェクトを配置し、前記線状の路面オブジェクトの移動に応じて、前記周辺車オブジェクトの側面が表示されるように前記周辺車オブジェクトを変化させる、とよい。
好適には、前記生成部は、前記線状の路面オブジェクトを、前記車両が取得可能な道路、車線または車線境界線についての情報に基づいて、前記車両において取得可能な道路、車線または車線境界線に倣った形状で生成する、とよい。
好適には、前記線状の路面オブジェクトは、前記車両が走行する道路についての複数の車線境界線の各々と対応するものであり、前記生成部は、前記車両の走行環境の画像において、複数の前記線状の路面オブジェクトの間隔を、前記自車オブジェクトの位置から離れるほどに狭くなるように表示する、とよい。
本発明では、車両の走行環境の画像として、車両を後側の視点から見た自車オブジェクトとともに、少なくとも、車両が走行する道路、車線または車線境界線と対応するように画像において自車オブジェクトの位置から遠方へ向けて延在する線状の路面オブジェクトを含む画像を生成する。そして、車両が2つの車線の間で車線変更する際には、繰り返しにおいて連続的に生成する複数の車両の走行環境の画像の間で、自車オブジェクトを線状の路面オブジェクトにより表される2つの車線の間で移動させるとともに、線状の路面オブジェクトの視点からの遠方部分が近傍部分より車両の車線変更の方向とは反対側へ大きく移動してから戻すように、線状の路面オブジェクトの向きを変更する。
これにより、自車オブジェクトは、車両が直進していた車線に対して斜めへ向いて車線変更する際の車両の実際の動きを模して画像中で車線に対して斜めを向いたようにして車線変更することができる。車線変更する自車オブジェクトは、画像中で横滑りしているように見えにくくなる。
しかも、本発明での車両の走行環境の画像は、自車オブジェクトを、車両の後上方向から俯瞰したものである。自車オブジェクトを車両の後上方向から俯瞰した画像は、自車オブジェクトを車両の真上方向から俯瞰した画像と比べて、画像中で車線変更する自車の動きが車線間で横滑りするように視認され易い。しかしながら、本発明では、上述したような方法で画像を生成しているため、乗員が画像中で車線変更する自車の動きを横滑りではなく車線変更であると認識し易い。
このように本発明では、車両において走行環境の画像を表示する走行環境表示装置の表示を改善できる。
図1は、本発明の実施形態に係る走行環境表示装置が適用される自動車の説明図である。 図2は、図1の自動車において走行環境表示装置として機能することができる制御系の説明図である。 図3は、走行する自動車におけるドライバの視野の説明図である。 図4は、図2の制御系で実行される表示更新制御のフローチャートである。 図5は、図4の表示更新制御によりメータディスプレイに切り替えて表示可能な複数の表示画面の説明図である。 図6は、図2の制御系で実行される走行環境画像の生成制御のフローチャートである。 図7は、走行環境画像を生成するために図2の制御系で使用される自車周辺三次元空間と、それに基づく走行環境画像との説明図である。 図8は、自動車の車線変更の際に生成される自車周辺三次元空間の遷移(前半)の説明図である。 図9は、自動車の車線変更の際に、図8に続けて生成される自車周辺三次元空間の遷移(後半)の説明図である。 図10は、自動車の車線変更の際に、図8および図9の自車周辺三次元空間に基づいて生成される複数の走行環境画像の説明図である。
以下、本発明の実施形態について、図面に基づいて説明する。
図1は、本発明の実施形態に係る走行環境表示装置が適用される自動車1の説明図である。
図1には、自動車1とともに、自動車1が走行している二車線の道路と、自動車1の前を走る先行車100と、が示されている。道路に設けられる複数の車線は、各々の左右両側の路面に描画された車線境界線により区分けされている。
自動車1は、車両の一例である。
このように二車線の道路の車線を走行する自動車1は、車線境界線を越えて隣接車線へ車線変更することがある。図1の自動車1は、隣接車線の位置P1へ移動するように車線変更することがある。
図2は、図1の自動車1において走行環境表示装置として機能することができる制御系10の説明図である。
図2の自動車1の制御系10は、自動車1を制御するために複数の制御ECUを有する。複数の制御ECUは、具体的にはたとえば、検出ECU11、操作ECU12、ドライブECU13、複数の表示デバイスの表示を制御する制御ECUとしてのCCU(Cockpit Control Unit)14、通信ECU15、である。なお、自動車1の制御系10は、図示しない他の制御ECUを備えてよい。また、各制御ECUは、制御ECUが実行に使用するプログラムおよびデータを記憶する不図示のメモリなどが接続されてよい。制御ECUは、メモリに記録されているプログラムを読み込んで実行することにより、それぞれの制御を実行する。
複数の制御ECUは、自動車1で採用される例えばCAN(Controller Area Network)やLIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay、CXPI(Clock Extension Peripheral Interface)といった車ネットワーク17に接続される。車ネットワーク17は、たとえば、複数の制御ECUに接続される複数のバスケーブルと、複数のバスケーブルがバス接続される中継装置としてのセントラルゲートウェイ(CGW)と、で構成されてよい。複数の制御ECUは、車ネットワーク17を通じて相互にメッセージを送受できる。これにより、複数の制御ECUは、協働して自動車1を制御する。
また、図2の車ネットワーク17には、GNSS受信機16、が接続されている。GNSS受信機16は、GNSS(Global Navigation Satellite System)の衛星の電波を受信し、自動車1の現在位置および現在時刻といった情報を含むメッセージを生成して車ネットワーク17へ出力する。
検出ECU11には、自動車1の状態を検出する各種の検出デバイスが接続される。図2には、検出デバイスとしてステレオカメラ21、レーダー22、が例示されている。検出ECU11は、検出デバイスの検出値、検出値に基づく情報などを車ネットワーク17へ出力する。
ステレオカメラ21は、たとえば自動車1から前向きに設けられた複数のカメラを有する。複数のカメラは、たとえば自動車1の車幅方向に沿って並べられてよい。この場合、複数のカメラは、図1において撮像範囲として示している自動車1の前方を撮像する。検出ECU11は、撮像画像を解析して、自動車1の走行状況についての情報を生成してよい。検出ECU11は、たとえば撮像画像を解析して自動車1の特徴が抽出できる場合、他の自動車の情報を生成してよい。検出ECU11は、たとえば撮像画像を解析して車線境界線の特徴が抽出できる場合、車線境界線の情報を生成してよい。検出ECU11は、双方のカメラの撮像画像において異なる位置に撮像されている他の自動車や車線境界線といった被写体の撮像位置の相違に基づいて、複数のカメラの配置に基づく三角法の演算により、自動車1からの被写体の相対的な方向および距離を演算してよい。検出ECU11は、撮像画像での被写体の撮像範囲の情報に基づいて、被写体の種類、大きさ、などを推定してよい。検出ECU11は、たとえば自動車1が走行している道路の車線境界線を含む撮像画像を取得すると、車線境界線の特徴に基づいて自動車1が走行している車線や道路の形状や幅を推定してよい。
レーダー22は、たとえば自動車1からその周囲へ向けて設けられている複数の超音波センサを有する。複数の超音波センサは、図1に示すように、自動車1の右前方向を中心する検知範囲、自動車1の左前方向を中心する検知範囲、自動車1の右後方向を中心する検知範囲、自動車1の左後方向を中心する検知範囲、の4つの検知範囲について二次元または三次元的に検知してよい。図1の4つの検知範囲は、自動車1の周囲360度の方向を網羅している。検出ECU11は、レーダー22としての複数の超音波センサの検知パターンから、自動車1の周辺に存在する物体を推定してよい。たとえば走行中の自動車1の周囲の一定方向に存在し続ける検知パターンは、自動車1と同方向へ移動している物体の検知パターンとして推定してよい。検出ECU11は、検知パターンを検出した際の超音波の送信から受信までの期間に基づいて、物体までの距離を演算してよい。
また、検出ECU11は、これら検出デバイスから得られる情報を統合して、自動車1の走行状況の情報、たとえば自動車1の周囲にいる他の自動車などの物体、車線境界線、車線、道路についての情報を生成してよい。検出ECU11は、たとえばステレオカメラ21に撮像されている被写体までの方向および距離を、レーダー22の検知情報に基づいて生成してよい。検出ECU11は、検出デバイスの検出値に基づいてさらに自動車1の走行状況を判断し、たとえば走行車線の中央範囲を走行しているか、走行車線の右縁へ寄って走行しているか、または走行車線の左縁へ寄って走行しているかを判断し、その判断結果である自動車1の走行状況の情報を車ネットワーク17へ出力してよい。この場合、検出ECU11は、自動車1の制御系10において取得部として機能できる。
操作ECU12は、自動車1において乗員が操作する各種の操作デバイスが接続される。図2には、操作デバイスとしてステアリング31が例示されている。操作デバイスには、この他にもたとえば、アクセルペダル、ブレーキペダル、サイドブレーキレバー、自動車1を右側または左側へ車線変更させたり右左折させたり際に乗員により操作されるウィンカ―レバー、などがある。ウィンカ―レバーが操作されると、自動車1の右側または左側のウィンカーランプが点滅する。乗員は、自動車1の進行方向を維持または変化させるためにステアリング31を両手で把持して操作する。自動車1は、基本的に、ステアリング31についての乗員の操作による舵角にて進行方向を変化させる。ステアリング31などの操作デバイスが乗員により操作されると、操作ECU12は、その操作値、それに基づく情報などを車ネットワーク17へ出力する。たとえばステアリング31が右へ回されると、操作ECU12には、ステアリング31の右への操作方向および操作量の情報を、車ネットワーク17へ出力する。
ドライブECU13は、自動車1の走行を制御する制御部である。ドライブECU13には、たとえば、自動車1の操舵を制御するアクチュエータ、自動車1の加速を制御するアクチュエータ、自動車1の制動を制御するアクチュエータ、といった複数のアクチュエータ41が接続される。ドライブECU13は、自動車1に設けられる他の制御ECUから情報を取得し、これらのアクチュエータ41の動作を制御することにより、自動車1の走行を制御する。
ドライブECU13は、たとえば操作ECU12から取得する乗員操作の情報に基づいて自動車1の移動を制御するだけでなく、さらに検出ECU11から得られる自動車1が走行している車線での走行状況に関する情報を取得して、それに応じて乗員操作の情報を調整して運転支援制御を実行してよい。
ドライブECU13は、通信ECU15が取得する自動運転の進路や走行可能範囲に関する情報とともに、検出ECU11から得られる自動車1が走行している車線での走行状況に関する情報を取得して、自動車1の自動運転の制御を実行してよい。
ドライブECU13は、運転支援の制御状態の情報、自動運転の制御状態の情報を、車ネットワーク17へ出力する。
通信ECU15には、通信デバイス61が接続される。通信デバイス61は、他の自動車の通信機器、基地局、携帯端末などと通信経路を確立する。通信ECU15は、通信デバイス61により確立される通信経路を用いて、たとえば自動車1の走行や自動運転を支援するサーバ装置と通信して情報を送受する。通信ECU15は、送信する情報を、車ネットワーク17を通じて他の制御ECUから取得し、サーバ装置へ送信する。通信ECU15は、サーバ装置から受信した情報を、車ネットワーク17を通じて他の制御ECUへ出力する。通信ECU15が受信する情報には、たとえば自動車1の自動運転のための進路や走行可能範囲の情報がある。
CCU14は、自動車1に設けられる複数の表示デバイスの表示などを制御して、自動車1における各種の状態の情報を、複数の表示デバイスに表示させる。図2には、表示デバイスとして、メータディスプレイ52と、センタタッチパネル53とが例示されている。
メータディスプレイ52は、たとえば液晶パネルといったディスプレイパネルでよい。
センタタッチパネル53は、たとえば液晶パネルといったディスプレイパネルに対して透明なタッチセンサパネルを重ねたものでよく、表示に対する乗員の操作を検出できるものでよい。
自動車1の状態情報としては、たとえば自動車1の走行状態の情報、自動車1の各種デバイスの動作状態の情報、自動車1で使用するエアコンディショナ、オーディオデバイス55といったAV機器、その他の設備の動作状態の情報、これらデバイスや設備についての設定状態の情報、通信に係る情報、がある。また、自動車1が運転支援や自動運転により走行可能な場合には、運転支援や自動運転のための機能の動作状態の情報、運転支援や自動運転による認識状態の情報、運転支援や自動運転による制御の内容についての情報が含まれてよい。運転支援や自動運転の機能には、たとえばレーンキープ走行機能、先行車100の追従走行機能、最高速度の制御機能、車線変更制御機能、などがある。
このようなCCU14は、自動車1の走行環境の画像を繰り返し生成する生成部として、たとえば、自動車1において検出される各種の情報を取得し、自車の周辺を示す走行環境画像76を生成し、メータディスプレイ52に表示してよい。
また、CCU14は、最新の自動車1において検出される各種の情報を取得し、自車の周辺を示す走行環境画像76を繰り返し生成して、メータディスプレイ52の表示を更新してよい。
CCU14は、自動車1の各部から情報を取得し、取得した情報に応じた表示要素を生成し、複数の表示要素をレイアウトした表示画面を生成し、各表示デバイスに表示させてよい。
たとえば、CCU14は、地図データの情報をセンタタッチパネル53に表示させ、センタタッチパネル53に対する乗員の操作に基づいて、目的地までの経路を生成してよい。
また、CCU14は、走行中に、GNSS受信機16による現在位置を基点として、生成した目的地までの経路の案内や進行先の道路状況の情報を、メータディスプレイ52やセンタタッチパネル53に表示してよい。
また、CCU14は、走行中に、生成した経路に基づく進路を、自動運転のための進路の情報としてドライブECU13へ出力してよい。
また、図2のCCU14には、複数の表示デバイスの他に、メモリ51、ステアリングスイッチ54、オーディオデバイス55、が接続されている。
メモリ51は、CCU14が実行に使用するプログラムおよびデータを記憶する。CCU14は、メモリ51に記録されているプログラムを読み込んで実行することにより、制御部として機能する。
ステアリングスイッチ54は、ステアリング31に設けられて乗員の操作を検出する物理的なスイッチである。ステアリングスイッチ54は、たとえばステアリング31を手で把持する乗員が、ステアリング31を把持したままで指を伸ばすことにより届くように、ステアリング31に設けられてよい。これにより、ドライバは、ステアリングスイッチ54の位置を目視により確認することなく、ステアリング31を把持している手の指を動かすだけで、ステアリングスイッチ54を操作できる。
オーディオデバイス55は、たとえば各種の音声データを再生し、スピーカ56から出力する。音声データには、たとえば運転支援や自動運転の状態、運転制御の変更や終了の案内、が含まれてよい。オーディオデバイス55は、再生する音声データについての表示可能な情報をCCU14へ出力してよい。また、オーディオデバイス55は、マイクロホン57から収集する乗員の声などの音を取得し、CCU14へ出力する。オーディオデバイス55は、収集した音声を解析して、解析した音声に対応するコマンドをCCU14へ出力してよい。
図3は、走行する自動車1におけるドライバの視野の説明図である。
図3に示すように、自動車1のダッシュボードについてのドライバの前となる右側部分には、メータディスプレイ52が配置される。メータディスプレイ52の手前には、ドライバが操作するステアリング31が位置する。ステアリング31には、ステアリングスイッチ54が配置される。
メータディスプレイ52の上側となるダッシュボードの上部には、運転支援や自動運転の状態を簡易的に表示するモニタランプ58が配置される。
自動車1のダッシュボードについての中央部分には、センタタッチパネル53が配置される。
ドライバは、これらの表示を確認することにより、またはフロントガラスを通じて視認できる道路や先行車100の状況を確認することにより、自動車1の周囲の状況を把握し、それに応じて自動車1を操作する。ドライバなどの乗員は、図3でのフロントガラスを通じた視野において、自車としての自動車1が走行している車線についての左右両側の車線境界線と、先行車100とを視認することができる。
自動車1は、ドライバの操作による車線変更により、または運転支援または自動運転による車線変更により、図中に破線の矢印で示す進路で走行することができる。
図4は、図2の制御系10で実行される表示更新制御のフローチャートである。
たとえば図2のCCU14は、図4の表示更新制御を実行することにより、表示デバイスとしてのメータディスプレイ52の表示画面を繰り返し生成し、メータディスプレイ52の表示を更新してよい。
CCU14は、たとえば生成部として、たとえば自動車1の不図示のイグニションスイッチの操作に基づいて、図4の制御を開始してよい。
ステップST1において、CCU14は、表示画面の生成に必要な各種の情報を、自動車1の各部から取得する。CCU14は、基本的に図4の複数の表示画面の生成に必要な情報を取得してよい。CCU14は、最小限の情報として、運転支援の状態の情報を取得する。
ステップST2において、CCU14は、表示中の画面を選択する。CCU14は、メータディスプレイ52に表示可能な複数の表示画面の中から1つを選択し、その選択した表示画面を表示中の画面としてよい。
ステップST3において、CCU14は、表示画面に表示する各表示要素を生成する。表示要素に対応する自動車1の情報が変化している場合、表示要素は新たなものに更新される。
たとえばエンジンの温度が前回の閾値より低い状態から高い状態へ変化している場合、CCU14は、エンジンの温度に対応する表示要素の色をブルーからオレンジへ変更する。
この他にもたとえば、運転支援や自動運転の開始操作がなされた場合、CCU14は、運転支援が作動状態であることを示す「〇」マークを消灯色から点灯色へ更新する。レーンキープ走行機能が作動している場合、CCU14は、レーンキープ走行機能が開始可能な状態であることを示すレーンマークを消灯色から点灯色へ更新する。レーンキープ走行機能により車線境界線が認識できるようになると、CCU14は、運転支援による認識状態を図式化した画像において、認識した車線境界線を消灯色から点灯色へ更新する。レーンキープ走行機能により車線境界線が認識できなくなると、CCU14は、運転支援による認識状態を図式化した画像において、認識していた車線境界線を点灯色から消灯色へ更新する。
この他にもたとえば、CCU14は、自動車1の周辺環境としての走行環境についての画像を生成してよい。
ステップST4において、CCU14は、ステップST2で選択した表示画面を生成する。CCU14は、ステップST3で生成した複数の表示要素の各々を、選択した表示画面の配置およびサイズにより割り当てて、表示画面を生成する。
ステップST5において、CCU14は、ステップST4で生成した表示画面を、メータディスプレイ52へ出力する。これにより、メータディスプレイ52は、表示中として選択された表示画面を表示する。メータディスプレイ52の表示は更新される。
ステップST6において、CCU14は、表示画面の表示を終了するか否かを判断する。CCU14は、たとえば自動車1の不図示のイグニションスイッチの操作に基づいて、表示画面の表示を終了するか否かを判断してよい。表示画面の表示を終了しない場合、CCU14は、処理をステップST1へ戻す。この場合、CCU14は、表示中として選択する表示画面によるメータディスプレイ52の表示更新を繰り返す。表示画面の表示を終了する場合、CCU14は、本制御を終了する。
図5は、図4の表示更新制御によりメータディスプレイ52に切り替えて表示可能な複数の表示画面の説明図である。
図5(A)は、ノーマル表示画面70である。
図5(B)は、運転支援優先表示画面70である。
複数の表示画面70の各々は、画面の上縁に沿って左右方向へ延在する上テルテール領域71、画面の下縁に沿って左右方向へ延在する下テルテール領域72、上テルテール領域71と下テルテール領域72との間の中央領域、中央領域の左右両側の右領域および左領域、を有する。
上テルテール領域71と、下テルテール領域72とには、自動車1の複数の基本的な情報についての複数の表示要素が、複数の表示画面において共通する固定的なレイアウトで表示される。自動車1の基本的な情報には、従来の自動車1において各種の警告ランプにて表示していた情報が含まれてよい。各基本的な情報に対応する表示要素の形状や色は、基本的な情報の内容に応じて切り替わってよい。たとえば警告が不要である場合には、表示要素の色を表示画面の背景色と同じとし、警告が必要である場合には、表示要素の色を表示画面の背景色とは異なる高い彩度の色としてよい。
そして、複数の表示画面70において、中央領域、右領域、および左領域には、表示画面ごとに異なる表示要素が割り当てられる。
図5(A)のノーマル表示画面70の中央領域には、運転支援または自動運転の状態の情報についての複数の表示要素75と、自動車1の走行環境画像76と、が表示される。自動車1の走行環境画像76には、たとえば運転支援または自動運転の下での、自動車1が走行している道路の車線境界線、先行車100などの周辺車の認識状態を図式化した画像でよい。右領域には、最新の速度を示すスピードメータの画像74が表示される。左領域には、最新のエンジン回転数を示すタコメータの画像73が表示される。左領域の下部には、ウィンドウ領域77が表示される。ウィンドウ領域77には、たとえば次の分岐での進行方向の情報、再生中の楽曲の情報、などが表示される。
図5(B)の運転支援優先表示画面70の中央領域には、自動車1の走行環境画像76が表示される。右領域には、運転支援または自動運転の状態の情報についての複数の表示要素75が表示される。左領域には、ウィンドウ領域77のみが表示される。
そして、CCU14は、図5(A)および図5(B)のものを含む複数の表示画面70の中から1つを選択し、選択中の表示画面を自動車1で取得可能な最新の情報に基づいて生成し、表示デバイスとしてのメータディスプレイ52に表示してよい。
CCU14は、ステアリングスイッチ54の操作、またはセンタタッチパネル53の操作に基づいて、複数の表示画面70の中から新たな1つの表示画面を選択し、新たに選択した表示画面を生成し、メータディスプレイ52に表示してよい。
図6は、図2の制御系10で実行される走行環境画像76の生成制御のフローチャートである。
たとえば図2のCCU14は、図4の表示更新制御の一部として、図4の表示更新制御とは別の制御として、図6の走行環境画像76の生成制御を実行してよい。
この場合、CCU14は、生成部として、表示デバイスとしてのメータディスプレイ52の表示画面を繰り返し生成して、メータディスプレイ52の表示を更新することになる。
ステップST11において、CCU14は、走行環境画像76を生成するために、自動車1の各部から情報を取得する。
ステップST12において、CCU14は、走行環境画像76を生成するための自車周辺三次元空間80を取得する。予め自車周辺三次元空間80の記憶領域が確保されている場合、CCU14は、自車周辺三次元空間80のオブジェクトデータを削除してリセットすることにより、新たな自車周辺三次元空間80を取得してよい。
ステップST13において、CCU14は、自車周辺三次元空間80に、自車である自動車1に対応する自車オブジェクト81を配置する。自車オブジェクト81は、自車周辺三次元空間80において予め定められた固定位置に配置される。自車周辺三次元空間80において自車オブジェクト81の固定位置は、自動車1が走行している実空間でのたとえばGNSS受信機16による座標位置となる。
ステップST14において、CCU14は、自動車1が実空間において車線変更を開始しようとしているか否かを判断する。CCU14は、たとえば、自動車1の運転支援または自動運転の制御状態の情報に含まれている車線変更制御の作動状態(制御開始、制御中、制御終了)の情報、または手動運転中のウィンカ―レバーの操作の情報に基づいて、自動車1が実空間において車線変更を開始しようとしているか否かを判断してよい。自動車1が実空間において車線変更を開始しようとしている場合、CCU14は、車線変更に対応する走行環境画像76を生成するために、処理をステップST23へ進める。自動車1が実空間において車線変更を開始しようとしていない場合、CCU14は、処理をステップST15へ進める。
ステップST15において、CCU14は、車線変更に対応する走行環境画像76を生成する際に設定している車線変更設定が設定中であるか否かを判断する。CCU14は、車線変更での動きを表示するために図6の制御をステップST11から複数回で繰り返し、複数の走行環境画像76を繰り返し生成する。この制御期間において、CCU14は、車線変更を設定する。車線変更の設定は、たとえばCCU14に接続されているメモリ51に記録されてよい。CCU14は、メモリ51から車線変更設定を読み込んで、車線変更設定が設定中であるか否かを判断してよい。車線変更設定が設定中である場合、CCU14は、車線変更に対応する走行環境画像76の生成を継続するために、処理をステップST24へ進める。車線変更設定が設定中でない場合、CCU14は、実空間の走行環境に高度に対応する走行環境画像76を生成するために、処理をステップST16へ進める。
ステップST16から、CCU14は、実空間の走行環境に高度に対応する自車周辺三次元空間80の生成処理を開始する。CCU14は、まず、実路面に倣って、自車周辺三次元空間80に路面オブジェクトを配置する。路面オブジェクトは、たとえば道路の車線を仕切る車線境界線に対応する線状の路面オブジェクト82でよい。この場合、CCU14は、たとえば、自動車1に設けられている検出デバイスのたとえば撮像画像を解析して、実路面での道路、走行車線、車線境界線を抽出し、実空間での道路、走行車線、車線境界線の自車位置基準の相対位置を特定する。CCU14は、特定した自車位置基準の相対位置と対応するように、自車オブジェクト81を基準として、車線境界線に対応する線状の路面オブジェクト82を配置する。
なお、実空間から道路、車線、車線境界線の情報を適切に得られない場合、CCU14は、実空間から得る車線境界線の替わりに、たとえば高精度三次元地図データに含まれる現在地での道路や車線の情報に基づく車線境界線を得て、路面オブジェクトを配置してよい。
ステップST17において、CCU14は、実空間の走行環境において自車の周囲の他の自動車、すなわち周辺車があるか否かを判断する。CCU14は、たとえば、自動車1に設けられている検出デバイスのたとえば撮像画像を解析して、実空間において先行車100、後続車、隣接車線の並走車または対向車を特定してよい。なお、実空間での周辺車の特定は、検出ECU11などにより実行されてよい。この場合、CCU14は、検出ECU11などから実空間での周辺車の特定結果の情報を取得する。実空間の走行環境において自車の周囲の他の自動車が存在する場合、CCU14は、周辺車ありと判断し、処理をステップST18へ進める。実空間の走行環境において自車の周囲に他の自動車が1つも存在しない場合、CCU14は、周辺車なしと判断し、ステップST18の処理を飛ばして、処理をステップST19へ進める。
ステップST18において、CCU14は、実空間において特定されている周辺車に対応する周辺車オブジェクト83を配置する。周辺車オブジェクト83の外面は、周辺車に対応する意匠のテクスチャでもよいが、所定のテクスチャによる意匠のものでもよい。CCU14は、実空間での周辺車の自車位置基準の相対位置を特定する。CCU14は、特定した自車位置基準の相対位置と対応するように、自車オブジェクト81を基準として、周辺車に対応する周辺車オブジェクト83を配置する。
ステップST19から、CCU14は、自車周辺三次元空間80の生成を終えて、生成した自車周辺三次元空間80に基づく走行環境画像76の生成を開始する。CCU14は、自車周辺三次元空間80に視点を配置する。視点は、自車に対応する自車オブジェクト81についての後上方向に配置する。自車オブジェクト81から視点までの距離、自車オブジェクト81から視点までの高さなどは、設定により変更可能でよい。ただし、走行環境画像76において自車オブジェクト81が認識し易くなる範囲に、自車オブジェクト81から視点までの距離を制限してよい。視点の高さは、視点から自車オブジェクト81を俯瞰する角度が、たとえば10度以上、70度以下といった適度な範囲に収まるようにしてよい。視点の位置が高くなりすぎると、自車オブジェクト81などを真上から見下ろしているような走行環境画像76となる。真上から自車オブジェクト81を見下ろしている走行環境画像76において自車の周辺の周辺車の状況を見渡せるようにした場合、視点を自車オブジェクト81から離す必要があり、走行環境画像76での自車オブジェクト81が小さくなる。ドライバなどの乗員は、走行環境画像76において自車オブジェクト81を認識し難くなる可能性がある。また、視点の位置が低くなりすぎると、走行環境画像76において自車オブジェクト81が大きくなりすぎる。自車オブジェクト81の周辺の周辺車の状況を見渡せるようにした場合、視点を自車オブジェクト81から後方へ離す必要があり、走行環境画像76での自車オブジェクト81が小さくなる。ドライバなどの乗員は、走行環境画像76において自車オブジェクト81を認識し難くなる可能性がある。視点から自車オブジェクト81を俯瞰する角度をたとえば10度以上、70度以下の範囲とすると、走行環境画像76での自車オブジェクト81を適度な大きさとしつつ、自車オブジェクト81の周辺の状況を見渡せる画像とすることができる。
ステップST20において、CCU14は、生成した自車周辺三次元空間80について、視点から自車オブジェクト81を俯瞰する画像を切り出し、走行環境画像76を生成する。
ステップST21において、CCU14は、ステップST20の切り出しにより生成した走行環境画像76を出力する。CCU14は、メモリ51に走行環境画像76を記録するように出力してよい。この場合、図4の表示更新制御を実行するCCU14は、メモリ51に記録されている走行環境画像76を表示要素として取得して、走行環境画像76を含む表示画面を生成する。
ステップST22において、CCU14は、走行環境画像76の生成制御を終了するか否かを判断する。CCU14は、たとえば自動車1の不図示のイグニションスイッチの操作に基づいて、走行環境画像76の生成を終了するか否かを判断してよい。走行環境画像76の生成を終了しない場合、CCU14は、処理をステップST11へ戻す。この場合、CCU14は、ステップST11からステップST22までの処理を繰り返し、最新の実空間の走行環境に対応する走行環境画像76を繰り返し生成して出力する。メータディスプレイ52の表示画面に含まれる走行環境画像76は、最新の実空間の走行環境に対応するように更新され続ける。走行環境画像76の生成を終了する場合、CCU14は、本制御を終了する。
なお、上述した処理では、CCU14は、実空間について周辺車のみについて有無を判断し、周辺車が存在する場合に周辺車オブジェクト83を配置している。
この他にもたとえば、CCU14は、実空間における他の表示対象についても、その有無を判断し、存在する場合に対応するオブジェクトを配置してよい。たとえば、CCU14は、実空間における車線境界線についてその有無を判断し、存在する場合には車線境界線に対応する線状の路面オブジェクト82を配置してよい。
また、上述した処理では、CCU14は、自動車1で検出された情報について自ら有無を判断している。この他にもたとえば、CCU14は、ドライブECU13による運転支援または自動運転のための判断結果を用いてよい。この場合、CCU14は、ドライブECU13が運転支援または自動運転のために認識している車線境界線、周辺車について、それらに対応するオブジェクトを自車周辺三次元空間80に配置することになる。自車周辺三次元空間80と、それに基づく走行環境画像76とには、ドライブECU13が運転支援または自動運転のために認識している状態が再現されることになる。
図7は、走行環境画像76を生成するために図2の制御系10で使用される自車周辺三次元空間80と、それに基づく走行環境画像76との説明図である。
図7(A)の自車周辺三次元空間80は、図1の実空間の走行環境に対応している。図7(A)は、自車周辺三次元空間80を自車オブジェクト81の直上から見下ろしたものである。図7(A)の自車周辺三次元空間80には、図示の下から上へ向かって走行する自車オブジェクト81と、自車オブジェクト81の図示の左右両側において図示の下から上へ向かって延在する左右一対の車線境界線に対応する線状の路面オブジェクト82と、自車オブジェクト81の前を走行する先行車100の周辺車オブジェクト83と、が含まれる。図中において、左側において破線で示されている線状の路面オブジェクト82は、図1とは異なり、走行車線の左側に分岐車線や隣接車線が存在する場合に配置される線状の路面オブジェクト82である。破線枠84は、後続車が存在する場合に配置される後続車の周辺車オブジェクトである。破線枠85は、隣接車線に並走車や対向車が存在する場合に配置される並走車または対向車の周辺車オブジェクトである。自車オブジェクト81の真後ろにある四角枠86は、視点カメラである。視点カメラは、自車周辺三次元空間80において自車オブジェクト81の後上方向の所定の位置に配置される。視点カメラは、図中に細破線で示す撮像範囲の所定の位置に、自車オブジェクト81が含まれる俯角をもって、視点カメラの前方を撮像する。
図7(B)の走行環境画像76は、視点カメラによる自車周辺三次元空間80の撮像画像である。図7(B)の走行環境画像76の中央下部には、自車オブジェクト81を後上方向から俯瞰した画像成分91が含まれる。中央上部には、先行車100に対応する周辺車オブジェクト83を後上方向から俯瞰した画像成分93が含まれる。これらの左右両側には、道路および車線についての車線境界線に対応する線状の路面オブジェクト82を後上方向から俯瞰した画像成分92が含まれる。
また、図7(B)の走行環境画像76において周辺車オブジェクト83の周囲には、ドライブECU13が運転支援または自動運転のために周辺車を認識できていることを示す四角形の認識枠94が付されている。先行車100を認識できていない場合、画像中の先行車100の周辺車オブジェクト83の画像成分93および認識枠94の表示を消してもよい。
CCU14は、図6のたとえばステップST16からステップST18の処理により、図7(A)のような実空間の走行環境に対応する自車周辺三次元空間80を生成する。
CCU14は、図6のステップST19からステップST21の処理により、生成した自車周辺三次元空間80に基づいて、図7(B)のような走行環境画像76を生成する。
これにより、CCU14は、自動車1の走行環境の画像として、自車である自動車1を後側の視点から見た自車オブジェクト81と、自動車1が走行する道路の複数の車線境界線の各々と対応するように画像において自車オブジェクト81の位置から遠方へ向かうように少なくとも上側へ向けて延在する線状の路面オブジェクト82と、自動車1の周囲に存在する周辺車に対応する周辺車オブジェクト83と、の画像成分を含む画像を生成する。CCU14は、生成部として、たとえば、線状の路面オブジェクト82を、自動車1がたとえば自車センサの検出に基づいて取得可能な現実の道路、車線または車線境界線についての情報に基づいて、自動車1において取得して認識可能な道路、車線または車線境界線の形状に倣った形状で生成し、生成した線状の路面オブジェクト82を用いて自動車1の走行環境画像76を生成してよい。
これら複数のオブジェクトについての自車周辺三次元空間80での相対的な位置関係は、図3の車内から見える実体の相対的な位置関係に好適に対応するように倣ったものとなる。たとえば線状の路面オブジェクト82は、自車オブジェクト81の表示位置についての左右両側において、自車オブジェクト81の表示位置から上側および下側の双方へ向けて延在するように表示される。
また、CCU14は、この走行環境画像76を含む表示画面70を生成し、表示デバイスとしてのメータディスプレイ52に表示する。これにより、自動車1のドライバは、自動車1の進行方向である前側への注意をしながら、自身の前側に配置されているメータディスプレイ52において、走行環境を確認できる。
この際、繰り返し生成される複数の自動車1の走行環境画像76において、自車オブジェクト81は、画像中の表示位置、表示角度などが変化することがない。自車オブジェクト81は、繰り返し生成される複数の自動車1の走行環境画像76において、共通する一定の同じ位置に固定的に表示される。
ここで、走行環境画像76は、自車オブジェクト81を自車オブジェクト81の後上方向から俯瞰したものである。
このため、周辺車オブジェクト83は、その少なくとも一部が自車オブジェクト81により隠されてしまうことなく、画像に表示されている。
また、複数の線状の路面オブジェクト82の間隔は、自車オブジェクト81の位置から上へ離れるほどに狭くなっている。
なお、線状の路面オブジェクト82は、車線境界線に対応するものではなく、走行車線、隣接車線、または道路に対応するものとしてもよい。この場合、線状の路面オブジェクト82は、幅広となる。車線や道路に対応する幅広の線状の路面オブジェクト82は、走行環境画像76において、自車オブジェクト81の位置から離れるほどに幅が狭くなる。
次に、図6に説明を戻し、自動車1が車線変更する際のCCU14による走行環境画像76の生成制御について説明する。
自動車1が車線変更を開始する場合、CCU14は、ステップST14において車線変更を開始することを確認し、車線変更に対応する走行環境画像76を生成するための処理を開始するために、処理をステップST23へ進める。
自動車1が車線変更を既に開始して車線変更の制御中である場合、CCU14は、ステップST15において車線変更の制御中であることを確認し、車線変更に対応する走行環境画像76の生成を継続するために、処理をステップST24へ進める。
ステップST23において、CCU14は、自車周辺三次元空間80において自車オブジェクト81を車線変更させるために、車線変更を設定する。CCU14は、たとえばメモリ51に設けられている車線変更の設定フラグを、車線変更をしない通常時の値から、車線変更をする値へ更新する。
CCU14は、この他にもたとえば、自車オブジェクト81の車線変更の制御に用いる変数、たとえば車線についての左右への移動量の変数、回転角度についての変数、を初期化してよい。
移動量および回転角度は、たとえば図7(A)に示す上下の1点鎖線または左右の1点鎖線を基準として、基準線に対する移動量と回転角度でよい。図7(A)に示す上下の1点鎖線または左右の1点鎖線は、自車オブジェクト81において交差している。左右の1点鎖線は、視点カメラによる走行環境画像76において、画像の左右方向へ延びる線としてよい。上下の1点鎖線は、視点カメラによる走行環境画像76において、画像の上下方向へ延びる線としてよい。
また、メモリ51には、車線変更の段階に応じた複数組の移動量および回転角度が記憶されてよい。複数の移動量は、順番に、たとえば、移動無し(ゼロの移動量)、車線幅の25%の移動量、車線幅の50%の移動量、車線幅の75%の移動量、車線幅の100%の移動量、としてよい。複数の回転量は、たとえば車線変更による移動方向とは逆への回転角度をプラスとして、順番に、回転無し(ゼロの回転角度)、+12度の回転角度、+25度の回転角度、+12度の回転角度、回転無し(ゼロの回転角度)、としてよい。この場合、CCU14は、複数組の移動量および回転角度の最初の順番の組に対してポインタをセットするように初期化してよい。
ステップST24において、CCU14は、ステップST23の初期化の後に、または車線変更の生成制御の段階に応じて、現段階での車線変更のための自車周辺三次元空間80の生成処理を開始する。車線変更の生成制御の段階は、たとえば車線変更のために生成した走行環境画像76の個数で判断し得る。
CCU14は、まず、現段階における、車線変更による自車オブジェクト81に対する路面オブジェクトの配置の移動量および回転角度を取得する。
CCU14は、取得した移動量および回転角度により、たとえば車線境界線に対応する線状の路面オブジェクト82を、自車周辺三次元空間80に配置する。この際、自車周辺三次元空間80に配置される線状の路面オブジェクト82は、実路面に倣った形状のものとしてよい。たとえば直線状の車線境界線の区間からカーブしている車線境界線の区間へ自動車1が移動するタイミングで車線変更が開始される場合、CCU14は、それまでの自車周辺三次元空間80に配置していた直線の形状の線状の路面オブジェクト82を、実路面に倣って曲がる路面オブジェクトに変更して、自車周辺三次元空間80に配置してよい。これにより、車線境界線は、図7(A)に示す上下の1点鎖線に対して取得した移動量で車線変更の方向へ移動し、さらに取得した回転角度で回転した状態で、自車周辺三次元空間80に配置される。
なお、実空間から道路、車線、車線境界線の情報を適切に得られない場合、CCU14は、実空間から得る車線境界線の替わりに、たとえば高精度三次元地図データに含まれる現在地での道路や車線の情報に基づく車線境界線を得て、路面オブジェクトを配置してよい。
ステップST25において、CCU14は、ステップST17と同様に、実空間の走行環境において自車の周囲の他の自動車、すなわち周辺車があるか否かを判断する。実空間の走行環境において自車の周囲の他の自動車が存在する場合、CCU14は、周辺車ありと判断し、処理をステップST26へ進める。実空間の走行環境において自車の周囲に他の自動車が1つも存在しない場合、CCU14は、周辺車なしと判断し、ステップST26の処理を飛ばして、処理をステップST27へ進める。
ステップST26において、CCU14は、実空間において特定されている周辺車に対応する周辺車オブジェクト83を配置する。CCU14は、実空間での周辺車の自車位置基準の相対距離を特定する。CCU14は、実空間において周辺車が存在する車線に、特定した自車位置基準の相対距離にて、周辺車オブジェクト83を配置する。車線境界線に対応する線状の路面オブジェクト82が自車周辺三次元空間80において移動および回転して配置されている場合、CCU14は、その移動および回転して配置されている路面オブジェクトより表されている実空間に対応する車線に、周辺車オブジェクト83を配置する。
ステップST27において、CCU14は、自車周辺三次元空間80における自車オブジェクト81の車線変更を終了するか否かを判断する。CCU14は、たとえば今回の処理により車線変更を表示するための一連の所定数の走行環境画像76が生成されることになる場合、車線変更を終了すると判断してよい。CCU14は、メモリ51に記憶されている車線変更の段階に応じて順番に使用される複数組の移動量および回転角度についての最後の組を用いた処理を実行している場合、車線変更を終了すると判断してよい。車線変更の制御を終了すると判断すると、CCU14は、処理をステップST28へ進める。車線変更の制御を終了しない場合、CCU14は、ステップST28の処理を飛ばして、処理をステップST19へ進める。
ステップST28において、CCU14は、車線変更の設定を解除する。CCU14は、たとえばメモリ51に設けられている車線変更の設定フラグを、車線変更をする値から、車線変更をしない通常時の値へ更新する。その後、CCU14は、処理をステップST19へ進める。
車線変更中のステップST19以降の処理では、CCU14は、生成した自車周辺三次元空間80から、それに基づく走行環境画像76を生成して出力する。ステップST22において画像生成終了と判断しない場合、CCU14は、ステップST15において車線変更の制御中であると判断し、再び車線変更のためのステップST24からステップST28の処理を実行する。この処理を繰り返すことにより、CCU14は、走行環境画像76において自車オブジェクト81を車線変更させるための一連の複数の走行環境画像76を生成して出力する。
車線変更させるための一連の複数の走行環境画像76が生成される状態になると、CCU14は、ステップST27およびステップST28の処理により車線変更の設定を解除する。その後、CCU14は、ステップST14およびステップST15においてNoと判断し、通常の実空間に基づく自車周辺三次元空間80および走行環境画像76の生成処理を再開する。
なお、上述した処理では、車線変更による線状の路面オブジェクト82の移動量および回転角度は、自車周辺三次元空間80での自車オブジェクト81の車線変更のために、予め固定的なものを使用している。CCU14は、実空間を撮像した画像に基づいて、自動車と車線境界線との相対的な位置関係(距離や間隔)および角度を得て、それらを路面オブジェクトの配置の移動量および回転角度として取得してよい。この場合、CCU14は、実空間での自動車の車線変更の期間において複数の走行環境画像76を生成する必要がある。CCU14は、ステップST27において自車オブジェクト81の車線変更の終了を、たとえば実空間での自動車が車線変更先の車線の中央部分を走行していることに基づいて、判断してよい。このような制御としても、CCU14は、自車オブジェクト81を自車周辺三次元空間80において実空間での車線変更に良好に対応するように車線変更させることができる。
図8は、自動車1の車線変更の際に生成される自車周辺三次元空間80の遷移(前半)の説明図である。
図9は、自動車1の車線変更の際に、図8に続けて生成される自車周辺三次元空間80の遷移(後半)の説明図である。
図8および図9に示す車線変更の際の自車周辺三次元空間80には、自車オブジェクト81、走行している道路について認識されている複数の車線境界線に対応する複数の線状の路面オブジェクト82、先行車100の周辺車オブジェクト83、が配置されている。
図8(A)は、車線変更を開始する時点で生成される1番目(最初)の自車周辺三次元空間80である。図中に破線の矢印で示すように、自車オブジェクト81は、現在の走行車線から右側の隣接車線へ車線変更する。図8(A)での複数の複数の線状の路面オブジェクト82は、たとえばメモリ51に記憶されている車線変更の段階に応じた複数組の移動量および回転角度の中の1番目の組に基づいて、ゼロの移動量で移動し且つゼロ度で回転するように配置されている。
図8(B)は、車線変更中において図8(A)の後に生成される2番目の自車周辺三次元空間80である。図8(B)の複数の線状の路面オブジェクト82は、図8(A)のものとくらべて全体的に左側へ移動し、かつ、進行方向前側の遠方部分が近傍部分より左側へ移動するように左回転している。図8(B)での複数の複数の線状の路面オブジェクト82は、たとえばメモリ51に記憶されている車線変更の段階に応じた複数組の移動量および回転角度の中の2番目の組に基づいて、車線幅の25%の移動量で移動し且つ+12度の回転角度で回転するように配置されている。
図8(C)は、車線変更中において図8(B)の後に生成される3番目の自車周辺三次元空間80である。図8(C)の複数の線状の路面オブジェクト82は、図8(B)のものとくらべて全体的に左側へ移動し、かつ、進行方向前側の遠方部分が近傍部分より左側へ移動するように左回転している。図8(C)での複数の複数の線状の路面オブジェクト82は、たとえばメモリ51に記憶されている車線変更の段階に応じた複数組の移動量および回転角度の中の3番目の組に基づいて、車線幅の50%の移動量で移動し且つ+25度の回転角度で回転するように配置されている。
図9(A)は、車線変更中において図8(C)の後に生成される4番目の自車周辺三次元空間80である。図9(A)の複数の線状の路面オブジェクト82は、図8(C)のものとくらべて全体的に左側へ移動し、かつ、進行方向前側の遠方部分が近傍部分より右側へ移動するように右回転している。図9(A)での複数の複数の線状の路面オブジェクト82は、たとえばメモリ51に記憶されている車線変更の段階に応じた複数組の移動量および回転角度の中の4番目の組に基づいて、車線幅の75%の移動量で移動し且つ+12度の回転角度で回転するように配置されている。
図9(B)は、車線変更中において図9(A)の後に生成される5番目(最後)の自車周辺三次元空間80である。図9(B)の複数の線状の路面オブジェクト82は、図9(A)のものとくらべて全体的に左側へ移動し、かつ、進行方向前側の遠方部分が近傍部分より右側へ移動するように右回転している。図9(B)での複数の複数の線状の路面オブジェクト82は、たとえばメモリ51に記憶されている車線変更の段階に応じた複数組の移動量および回転角度の中の5番目の組に基づいて、車線幅の100%の移動量で移動し且つゼロ度の回転角度で回転するように配置されている。
図10は、自動車1の車線変更の際に、図8および図9の自車周辺三次元空間80に基づいて生成される複数の走行環境画像76の説明図である。
図10に示す車線変更の際の走行環境画像76には、視点カメラの撮像範囲に含まれる自車オブジェクト81の画像成分91、走行している道路について認識されている複数の車線境界線に対応する複数の線状の路面オブジェクト82の画像成分92、先行車100の周辺車オブジェクト83の画像成分93、が含まれる。
図10(A)の走行環境画像76は、図8(A)の1番目(最初)の自車周辺三次元空間80から切り出された画像である。
図10(B)の走行環境画像76は、図8(B)の2番目の自車周辺三次元空間80から切り出された画像である。
図10(C)の走行環境画像76は、図8(C)の3番目の自車周辺三次元空間80から切り出された画像である。
図10(D)の走行環境画像76は、図9(A)の4番目の自車周辺三次元空間80から切り出された画像である。
図10(E)の走行環境画像76は、図9(B)の5番目(最後)の自車周辺三次元空間80から切り出された画像である。
そして、これら複数の車線変更中に生成される走行環境画像76において、自車オブジェクト81の画像成分91は、複数の走行環境画像76において共通する固定化された位置に含まれている。
複数の車線境界線に対応する複数の線状の路面オブジェクト82の画像成分92は、自動車1の車線変更の段階に応じて、画像の左右幅方向へ移動し、画像の上下方向に対する角度を変化させている。
先行車100の周辺車オブジェクト83の画像成分93は、車線変更の段階に応じて移動および回転する車線の上に、自車オブジェクト81との相対的な距離を維持するように配置されている。
このように自動車1が2つの車線の間で車線変更する際には、繰り返しにおいて連続的に生成する複数の自動車1の走行環境画像76の間で、線状の路面オブジェクト82の画像成分92が、画像において自動車1の車線変更の方向とは反対側へ向けて全体的に画像の横方向へ移動する。これにより、自車オブジェクト81の画像成分91は、線状の路面オブジェクト82の画像成分92により表される2つの車線の間で移動するように見える。
また、線状の路面オブジェクト82の画像成分92についての描画角度は、自車オブジェクト81の画像成分91の位置の周囲で回転するように、車線変更中に増減変更される。線状の路面オブジェクト82の画像成分92の向きは、視点からの遠方部分が近傍部分と比べて自動車1の車線変更の方向とは反対側へ大きく移動してから、向きを元へ戻すように変更されている。特に、本実施形態では、自車オブジェクト81の画像成分91の中心が線状の路面オブジェクト82の画像成分92により表される2つの車線の境界を超えるまで、線状の路面オブジェクト82の画像成分92を、線状の路面オブジェクト82の画像成分92の遠方部分である上側部分が近傍部分である下側部分と比べて自動車1の車線変更の方向とは反対側へ大きく移動するように回転させ続けている。また、自車オブジェクト81の画像成分91の中心が線状の路面オブジェクト82の画像成分92により表される2つの車線の境界を超えると、線状の路面オブジェクト82の画像成分92を逆方向へ回転させて線状の路面オブジェクト82の画像成分92の遠方部分である上側部分と近傍部分である下側部分とについての画像での横への移動量を揃えるように戻している。
また、周辺車オブジェクト83の画像成分93は、自動車1に対応する自車オブジェクト81の画像成分91が2つの車線の間で車線変更する際には、実空間での相対位置ではなく、向きを変更しながら移動する線状の路面オブジェクト82の画像成分92による表される車線の上となるように配置されている。
また、車線変更中に複数の走行環境画像76に含まれる周辺車オブジェクト83の画像成分93は、自車周辺三次元空間80での配置に基づいて変化している。自車周辺三次元空間80において、車線変更中の自車オブジェクト81を基準とする周辺車オブジェクト83の相対方向は、線状の路面オブジェクト82の配置角度の増減変更に応じて変化する。このため、周辺車オブジェクト83の画像成分93では、線状の路面オブジェクト82の遠方部分の回転方向の側の側面が、車線変更中に自車オブジェクト81から増減して見えるようになる。車線変更中の複数の走行環境画像76には、この周辺車オブジェクト83の見え方の変化が現れている。
以上のように、本実施形態では、自動車1の走行環境の画像として、自動車1を後側の視点から見た自車オブジェクト81とともに、少なくとも、自動車1が走行する道路、車線または車線境界線と対応するように画像において自車オブジェクト81の位置から遠方へ向けて、少なくとも上側へ向けて延在する線状の路面オブジェクト82を含む画像を生成する。そして、自動車1が2つの車線の間で車線変更する際には、繰り返しにおいて連続的に生成する複数の自動車1の走行環境の画像の間で、自車オブジェクト81を線状の路面オブジェクト82により表される2つの車線の間で移動させるとともに、線状の路面オブジェクト82の視点からの遠方部分が近傍部分より自動車1の車線変更の方向とは反対側へ大きく移動してから向きを元へ戻すように、線状の路面オブジェクト82の向きを変更する。
これにより、自車オブジェクト81は、自動車1が直進していた車線に対して斜めへ向いて車線変更する際の自動車1の実際の動きを模して画像中で車線に対して斜めを向いたようにして車線変更することができる。車線変更する自車オブジェクト81は、画像中で横滑りしているように見えにくくなる。
本実施形態によれば、ドライバなどの乗員は、表示される画像での自車の動きが車線変更のものであると一瞥するだけで瞬時に理解し易くなり、自車の外に見える実際の自車の車線変更の動きとの一致を瞬時に理解でき、それに応じた適切な操作を即座に実行することができる。
しかも、本実施形態での自動車1の走行環境の画像は、自車オブジェクト81を、自動車1の後上方向から俯瞰したものである。また、本実施形態での自動車1の走行環境の画像において、線状の路面オブジェクト82は、自動車1が走行する道路についての複数の車線境界線の各々と対応するものであり、複数の線状の路面オブジェクト82の間隔は、自車オブジェクト81の位置から離れるほどに狭くなっている。複数の線状の路面オブジェクト82の表示により、画像中に遠近感を与えて、画像が自動車1の後上方向から俯瞰したものである雰囲気を生じさせることができる。このように自車とその周辺路面を後上方向から俯瞰する画像では、自車とその周辺路面を真上から俯瞰する画像と比べて、画像中で車線変更する自車の動きが車線間で横滑りするように視認され易い。しかしながら、本実施形態では、上述したような方法で画像を生成しているため、乗員が画像中で車線変更する自車の動きを横滑りではなく車線変更であると認識し易い。
なお、線状の路面オブジェクト82が車線や道路に対応するものである場合には、自車オブジェクト81の位置から離れるほどに線状の路面オブジェクト82を幅狭に表示することにより、画像についての俯瞰図らしさを同様に生じさせることができる。
本実施形態では、自車オブジェクト81は、繰り返し生成する複数の自動車1の走行環境の画像において表示位置や表示角度などが変化することがない共通する一定の同じ位置に固定的に表示される。これにより、自車オブジェクト81の位置がたとえば車線変更などの際に左右へ移動してしまう場合のように、自車オブジェクト81が横へ飛んで見えたり、左右へ移動した自車オブジェクト81が表示デバイスとしてのメータディスプレイ52の周囲や手前にある車内設備、たとえばステアリング31などに隠れて見えなくなってしまったり、することがない。
特に、本実施形態では、自車オブジェクト81の中心が線状の路面オブジェクト82により表される2つの車線の境界を超えるまで、線状の路面オブジェクト82を、線状の路面オブジェクト82の遠方部分が自動車1の車線変更の方向とは反対側へ移動するように回転させ続け、自車オブジェクト81の中心が線状の路面オブジェクト82により表される2つの車線の境界を超えると、線状の路面オブジェクト82を逆に回転させて線状の路面オブジェクト82の遠方部分と近傍部分とについての画像での横への移動量を揃えるように戻す。これにより、車線変更のために元の車線で向きを変えて、先の車線で向きを戻す実際の自動車1の動きにおいて、ドライバなどの乗員が自動車1の前側において視認する風景の動きと好適に対応するように画像が変化し得る。ドライバなどの乗員は、自車オブジェクト81についての画像中の動きを、実際の車線変更に倣ったスムースな車線変更の動きとして理解し易くなる。
本実施形態では、自動車1の走行環境の画像に、自動車1の周囲に存在するたとえば先行車100、後続車、隣接車線の他の自動車(並走車、対向車)といった周辺車に対応する周辺車オブジェクト83を含めて表示する。
そして、自動車1が2つの車線の間で車線変更する際には、向きを変更しながら移動する線状の路面オブジェクト82による表される車線に、周辺車オブジェクト83を配置する。これにより、画像における線状の路面オブジェクト82と周辺車オブジェクト83との位置関係を、車線変更中の自動車1から見える風景と対応するように倣ったものとすることができる。
しかも、本実施形態では、自車である自車オブジェクト81が車線変更の動きをする際には、線状の路面オブジェクト82の表示角度の増減変更による線状の路面オブジェクト82の遠方部分についての回転による移動量および方向に応じて、周辺車オブジェクト83の表示角度が増減変更するため、周辺車オブジェクト83についての線状の路面オブジェクト82の遠方部分の回転による移動方向の側の側面が表示されるようになる。周辺車オブジェクト83の向きは、車線変更中に変化する。これにより、自動車1の走行環境の画像に表示される周辺車オブジェクト83の画像成分93は、実際に車線変更している自車から見えている周辺車についての見え方に倣うように変化するものとなる。
このように本実施形態では、自動車1の走行環境の画像に周辺車が表示されている状態であっても、ドライバなどの乗員は、自車オブジェクト81についての画像中の動きを、実際の車線変更に倣ったスムースな車線変更の動きとして理解し易くなる。
このように本実施形態では、自動車1において表示する走行環境画像の表示を改善できる。
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
1…自動車(車両)、10…制御系(走行環境表示装置)、11…検出ECU、12…操作ECU、13…ドライブECU、14…CCU(生成部)、15…通信ECU、16…GNSS受信機、17…車ネットワーク、21…ステレオカメラ、22…レーダー、31…ステアリング、41…アクチュエータ、51…メモリ、52…メータディスプレイ(表示デバイス)、53…センタタッチパネル、54…ステアリングスイッチ、55…オーディオデバイス、56…スピーカ、57…マイクロホン、58…モニタランプ、61…通信デバイス、70…表示画面、71…上テルテール領域、72…下テルテール領域、76…走行環境画像、80…自車周辺三次元空間、81…自車オブジェクト、82…線状の路面オブジェクト、83…周辺車オブジェクト、91…自車オブジェクトの画像成分、92…線状の路面オブジェクトの画像成分、93…周辺車オブジェクトの画像成分、100…先行車


Claims (6)

  1. 前記車両の走行環境の画像を繰り返し生成する生成部と、
    前記生成部により繰り返し生成される前記車両の走行環境の画像により表示を更新可能な表示デバイスと、
    を有し、
    前記生成部は、
    前記車両の走行環境の画像として、前記車両を後側の視点から見た自車オブジェクトとともに、少なくとも、前記車両が走行する道路、車線または車線境界線と対応するように前記画像において前記自車オブジェクトの位置から遠方へ向けて延在する線状の路面オブジェクトを含む画像であって、前記自車オブジェクトを、前記車両の後上方向から俯瞰したものを生成するものであり、
    前記車両が2つの車線の間で車線変更する際には、繰り返しにおいて連続的に生成する複数の前記車両の走行環境の画像の間で、前記自車オブジェクトを前記線状の路面オブジェクトにより表される2つの車線の間で移動させるとともに、前記線状の路面オブジェクトの前記視点からの遠方部分が近傍部分と比べて前記車両の車線変更の方向とは反対側へ大きく移動してから戻るように、前記線状の路面オブジェクトの向きを変更する、
    車両の走行環境表示装置。
  2. 前記生成部は、
    繰り返し生成する複数の前記車両の走行環境の画像において共通する前記自車オブジェクトを一定の位置に表示し、
    前記車両が2つの車線の間で車線変更する際には、前記線状の路面オブジェクトを、前記画像において前記車両の車線変更の方向とは反対側へ向けて全体的に前記画像の横方向へ移動させることにより前記自車オブジェクトを2つの車線の間で移動させるとともに、前記線状の路面オブジェクトの前記視点からの遠方部分が近傍部分と比べて前記車両の車線変更の方向とは反対側へ大きく移動してから戻すように、前記自車オブジェクトの周囲で回転させる、
    請求項1記載の、車両の走行環境表示装置。
  3. 前記生成部は、
    前記自車オブジェクトが前記線状の路面オブジェクトにより表される2つの車線の境界を超えるまで、前記線状の路面オブジェクトを、前記線状の路面オブジェクトの遠方部分が近傍部分と比べて前記車両の車線変更の方向とは反対側へ大きく移動するように回転させ続け、
    前記自車オブジェクトが前記線状の路面オブジェクトにより表される2つの車線の境界を超えると、前記線状の路面オブジェクトを逆に回転させて戻す、
    請求項1または2記載の、車両の走行環境表示装置。
  4. 前記生成部は、
    前記車両の走行環境の画像として、前記車両の周囲に存在する周辺車両に対応する周辺車オブジェクトを含む画像を生成し、
    前記車両が2つの車線の間で車線変更する際には、向きを変更しながら移動する前記線状の路面オブジェクトによる表される車線に、前記周辺車オブジェクトを配置し、
    前記線状の路面オブジェクトの移動に応じて、前記周辺車オブジェクトの側面が表示されるように前記周辺車オブジェクトを変化させる、
    請求項1から3のいずれか一項記載の、車両の走行環境表示装置。
  5. 前記生成部は、
    前記線状の路面オブジェクトを、前記車両が取得可能な道路、車線または車線境界線についての情報に基づいて、前記車両において取得可能な道路、車線または車線境界線に倣った形状で生成する、
    請求項1から4のいずれか一項記載の、車両の走行環境表示装置。
  6. 前記線状の路面オブジェクトは、前記車両が走行する道路についての複数の車線境界線の各々と対応するものであり、
    前記生成部は、
    前記車両の走行環境の画像において、複数の前記線状の路面オブジェクトの間隔を、前記自車オブジェクトの位置から離れるほどに狭くなるように表示する、
    請求項1から5のいずれか一項記載の、車両の走行環境表示装置。


JP2020172344A 2020-10-13 2020-10-13 車両の走行環境表示装置 Pending JP2022063932A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020172344A JP2022063932A (ja) 2020-10-13 2020-10-13 車両の走行環境表示装置
US17/487,958 US11973922B2 (en) 2020-10-13 2021-09-28 Vehicular travel-environment display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020172344A JP2022063932A (ja) 2020-10-13 2020-10-13 車両の走行環境表示装置

Publications (1)

Publication Number Publication Date
JP2022063932A true JP2022063932A (ja) 2022-04-25

Family

ID=81078402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020172344A Pending JP2022063932A (ja) 2020-10-13 2020-10-13 車両の走行環境表示装置

Country Status (2)

Country Link
US (1) US11973922B2 (ja)
JP (1) JP2022063932A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6692981B1 (ja) * 2019-09-13 2020-05-13 マレリ株式会社 表示装置及び表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX367989B (es) 2015-10-08 2019-09-13 Nissan Motor Dispositivo de asistencia de despliegue y método de asistencia de despliegue.
JP6867184B2 (ja) * 2017-02-13 2021-04-28 トヨタ自動車株式会社 運転支援装置
JP2019053008A (ja) 2017-09-19 2019-04-04 日産自動車株式会社 走行支援装置の状態表示方法及び状態表示装置
WO2021053393A1 (en) * 2019-09-17 2021-03-25 Mobileye Vision Technologies Ltd. Systems and methods for monitoring traffic lane congestion

Also Published As

Publication number Publication date
US11973922B2 (en) 2024-04-30
US20220116574A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
JP6801787B2 (ja) 駐車支援方法及び駐車支援装置
JP6254554B2 (ja) 情報提示システム
KR102566377B1 (ko) 운전자 보조 시스템 및 방법
JP6414096B2 (ja) 車載装置、車載装置の制御方法及び車載装置の制御プログラム
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
US11721213B1 (en) Displaying sensor data and supplemental data as a mask for autonomous vehicles
US20150331487A1 (en) Infotainment system
WO2020261781A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
CN106043306A (zh) 车辆控制装置
US20190317600A1 (en) Apparatus and a method for controlling a head-up display of a vehicle
JP6665605B2 (ja) 表示制御装置及び表示制御方法
JP7236442B2 (ja) 自動車における表示デバイスの制御方法
WO2020246113A1 (ja) 表示制御装置および表示制御プログラム
JP2010185761A (ja) ナビゲーションシステム、道路地図表示方法
JP2024029051A (ja) 車載表示装置、方法およびプログラム
JP2022063932A (ja) 車両の走行環境表示装置
JP6631572B2 (ja) 車両用表示制御装置及び車両用表示ユニット
JP2023165721A (ja) 表示制御装置
JP2020095044A (ja) 表示制御装置及び表示制御方法
JP2023138849A (ja) 提示制御装置及び提示制御プログラム
KR20210100187A (ko) 자율 주행 차량 운전자의 운전자 정보의 출력을 제어하고 운전자 주의력을 유지하기 위한 장치 및 방법
JP7293854B2 (ja) 表示制御装置及び表示制御プログラム
CN114867992A (zh) 用于呈现虚拟导航元素的方法和装置
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
JP7014206B2 (ja) 表示制御装置および表示制御プログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240430