CN114655010A - 车辆驾驶环境显示装置及其控制方法 - Google Patents

车辆驾驶环境显示装置及其控制方法 Download PDF

Info

Publication number
CN114655010A
CN114655010A CN202111583044.8A CN202111583044A CN114655010A CN 114655010 A CN114655010 A CN 114655010A CN 202111583044 A CN202111583044 A CN 202111583044A CN 114655010 A CN114655010 A CN 114655010A
Authority
CN
China
Prior art keywords
vehicle
images
distance
origin
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111583044.8A
Other languages
English (en)
Inventor
申郁镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN114655010A publication Critical patent/CN114655010A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/25—Optical features of instruments using filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了车辆驾驶环境显示装置及其控制方法。一种驾驶环境信息显示方法，包括：获取环境信息；基于获取的环境信息，从具有不同曲率的多个车道划分线种子图像中选择与当前在其上执行驾驶的道路的曲率相对应的第一种子图像；将选择的第一种子图像中的两个设置在对应于车辆原点的显示原点；基于与主车辆在其上行驶的车道的左车道划分线的第一横向距离来畸变两个第一种子图像中的一个；基于与车道的右车道划分线的第二横向距离来畸变两个第一种子图像中的另一个；以及通过显示单元输出两个畸变的第一种子图像中的每一个。

Description

车辆驾驶环境显示装置及其控制方法
技术领域
本公开涉及能够基于有限的二维种子图像提供各种驾驶环境信息的车辆驾驶环境显示装置及其控制方法。
背景技术
随着先进驾驶辅助系统(ADAS)和自主驾驶技术的发展，显示系统运行状态的信息种类和配置的复杂性增加。
图1A示出了在自主驾驶期间通过组合仪表(cluster)提供的驾驶环境信息配置的示例。图1B示出了用于提供驾驶环境信息的三维渲染配置的示例。
参照图1A，主车辆111周围的车道划分线112、附近车辆的位置113以及由传感器识别的与前方车辆的目标距离114可以显示在组合仪表100的部分110中，其整个部分被配置为显示器。
如图1B所示，由于需要基于主车辆和附近车辆之间的相对距离和方位以及基于道路的宽度和曲率来不同地改变驾驶环境信息，因此驾驶环境信息通常通过三维渲染来实现。
然而，对于三维渲染，为了执行能够处理三维图形的3D引擎，基本上需要在诸如组合仪表的显示器的显示装置中安装高端处理器。如果没有安装高端处理器，则需要为每个距离和角度设置单独的图像资源，以实现如图1A所示的基本相同的驾驶环境信息，而无需3D引擎。由于所需资源的数量依赖于距离或角度的目标分辨率以几何级数增加，因此在图像准备和存储容量方面实际上不可能预先为所有组合准备图像资源。
例如，假设主车辆前方的纵向距离分为1500步，主车辆两侧的横向距离分为140步，且车道的曲率分为包括左右曲率在内的30步，则所需图像资源的数量为6300000。
因此，需要一种在基于2D图形引擎而不是用于处理3D图形的引擎的显示装置中有效地显示驾驶环境信息的方法。
发明内容
因此，本公开涉及一种用于车辆的驾驶环境显示装置及其控制方法，其基本上避免了由于现有技术的限制和缺点而产生的一个或多个问题。
本公开的目的是提供一种能够更有效地显示驾驶环境信息的车辆驾驶环境显示装置。另一个目的是提供一种控制它的方法。
本公开的另一目的是提供一种用于车辆的驾驶环境显示装置，该装置能够使用2D图形引擎基于有限的资源图像显示各种驾驶环境信息。另一个目的是提供一种控制它的方法。
设计用于解决这些问题的本公开的目的不限于上述目的。基于以下对本公开的详细描述，本领域普通技术人员应清楚地理解其他未提及的目的。
为了实现这些目的和其他优点，并且根据本公开的目的，如本文所体现和广义描述的，驾驶环境信息显示方法可以包括获取附近的环境信息。该方法还可以包括从具有不同曲率的多个车道划分线种子图像中选择与当前在其上执行驾驶的道路的曲率(其是获取的环境信息)相对应的第一种子图像。该方法还可以包括将所选择的第一种子图像中的两个第一种子图像安置在对应于车辆原点的显示原点。该方法还可以包括基于与主车辆在其上行驶的车道的左车道划分线的第一横向距离来畸变两个第一种子图像中的一个，以及基于与车道的右车道划分线的第二横向距离来畸变两个第一种子图像中的另一个。该方法还可以包括通过显示单元输出两个畸变的第一种子图像中的每一个。
在本公开的另一方面，车辆可以包括传感器单元和导航系统，其被配置为获取附近环境信息，并且可以包括驾驶环境显示装置，其被配置为基于所获取的附近环境信息输出驾驶环境信息。驾驶环境显示装置可以包括控制器，其被配置为从具有不同曲率的多个车道划分线种子图像中选择与当前在其上执行驾驶的道路的曲率(其是所获取的环境信息)相对应的第一种子图像。控制器还可以被配置成将所选择的第一种子图像中的两个设置在对应于车辆原点的显示原点。控制器还可以被配置为基于与主车辆在其上行驶的车道的左车道划分线的第一横向距离来畸变两个第一种子图像中的一个。控制器还可以被配置成基于与车道的右车道划分线的第二横向距离来畸变两个第一种子图像中的另一个。驾驶环境显示装置还可以包括显示单元，其被配置为输出两个畸变的第一种子图像中的每一个。
应当理解，本公开的上述一般描述和以下详细描述都是示例和说明性的，并旨在提供对所要求的发明概念的进一步解释。
附图说明
包括附图以提供对本公开的进一步理解，并且附图被结合在本申请中并构成本申请的一部分。附图示出了本公开的实施例，并与描述一起用于解释本公开的原理。在附图中：
图1示出了在自主驾驶期间通过组合仪表提供的已知驾驶环境信息配置的示例；
图1B示出了用于提供驾驶环境信息的已知三维渲染配置的示例；
图2是示出根据实施例的车辆的构造的示例的框图；
图3示出了根据实施例的驾驶环境信息输出的组件；
图4是示出根据实施例的驾驶环境信息显示处理的示例的流程图；
图5示出了根据实施例的用于显示附近车辆的参考信息和分辨率的示例；
图6示出了根据实施例的用于显示附近车辆的种子图像的构造的示例；
图7A至7D示出了根据实施例的用于显示附近车辆的图像处理过程的示例；
图8示出了根据实施例的用于显示目标车辆间距离的参考信息和分辨率的示例；
图9A至9C示出了根据实施例的用于显示目标车辆间距离的图像处理过程的示例；
图10示出了根据实施例的用于显示车道划分线的参考信息和分辨率的示例；
图11示出了根据实施例的用于显示车道划分线的种子图像的构造的示例；以及
图12A至12D示出了根据实施例的用于显示车道划分线的图像处理过程的示例。
具体实施方式
现在详细参考本公开的实施例，其示例在附图中示出。以下实施例作为示例给出，以便使本领域的普通技术人员能够完全理解本公开的思想。因此，本公开不受以下实施例的限制，并且可以以各种其他形式实现。为了清楚地描述本公开，从附图中省略了与本公开的描述无关的部分。在任何可能的情况下，在整个规范中使用相同的参考数字来表示相同或类似的部件。
除非另有提及，本文使用的术语“包含”或“包括”应被解释为不排除其他元素，而是进一步包括此类其他元素。此外，在整个说明书中，相同的参考数字表示相同或等效的组成元件。此外，当将本公开的组件、装置、元件等描述为具有目的或执行操作、功能等时，在此应将组件、装置或元件视为“配置为”满足该目的或执行该操作或功能。本公开描述了作为单元的对象跟踪装置的各种组件，例如：显示单元；通信单元；传感器单元；以及输入单元。这些单元中的每一个可以单独地体现或包括处理器和存储器，例如非瞬时计算机可读介质，作为装置的一部分。
在描述根据本公开的实施例的驾驶环境信息显示方法之前，首先参考图2描述被配置为执行该方法的装置的结构。
图2是示出根据实施例的车辆的构造的示例的框图。
参照图2，适用于实施例的车辆可包括用于车辆的驾驶环境显示装置210、传感器单元220、导航系统230和输入单元240。图2的结构主要包括与本公开的实施例相关的组件，因此实际车辆可以包括更多或更少的组件。
驾驶环境显示装置210可以包括显示单元211、通信单元212、存储器213和控制器214。
显示单元211可以是构成组合仪表的显示器；然而，本公开不限于此。例如，显示单元211可以是平视显示器(HHUD)或音频/视频/导航(AVN)系统的显示器。
通信单元212可以通过车辆通信网络(例如，CAN、CAN-FD、LIN或以太网)与传感器单元220、导航系统230和输入单元240交换数据。
存储器213可以存储各种输入/输出信息，并且具体地可以存储用于驾驶环境信息的每个分量的种子图像和用于图像处理的各种参考表，上面讨论了对其的描述。
根据实施例，控制器214可以执行组件211、212和213的总体控制，且具体是可以执行用于输出驾驶环境信息的各种图像处理。
传感器单元220和导航系统230可以获取构成驾驶环境信息所需的附近环境信息。
传感器单元220可以获取关于车辆周围的物体(特别是附近车辆)的位置、相对速度和距离的信息。此外，传感器单元220可以通过车道划分线检测来获取关于车道划分线与主车辆之间的横向距离以及关于车道划分线的曲率的信息。传感器单元220可以包括雷达、激光雷达、视觉传感器、超声波传感器或红外传感器中的至少一个。然而，这些元件是说明性的，并且传感器单元的种类不受限制，只要能够获取主车辆周围的驾驶环境信息即可。
导航系统230可以安装在AVN系统或头部单元中；然而，本公开不限于此。导航系统230可基于通过GPS确定的当前位置来获取前进道路的曲率信息。根据实施例，导航系统230可根据基于精确地图的车道链接提供针对每个车道划分线的道路宽度信息。
输入单元240可以允许用户输入用于进入显示驾驶环境的模式的命令(例如，自主驾驶使能)，并输入目标车辆间距离设置命令。
图3示出了根据实施例的驾驶环境信息输出的部分。
参照图3，根据实施例的驾驶环境信息可以包括三个主要部分，例如附近车辆310、目标车辆间距离320和车道划分线330。
附近车辆310不仅可以包括位于主车辆的当前行驶车道上的主车辆前面的车辆，还可以包括位于行驶车道的左侧/右侧车道上的车辆。只要车辆位于传感器单元220的感测范围内或由驾驶环境信息表示的周边范围内，就可以显示多个附近车辆310。
目标车辆间距离320(其是通过纵向自主驾驶系统的操作来保持的与前方车辆的目标距离)可以基于在主车辆的行驶车道上的设定距离来改变。
车道划分线330包括限定主车辆的行驶车道的道路宽度的左车道划分线和右车道划分线。车道划分线的形状可以基于道路曲率而改变。
图4是示出根据实施例的驾驶环境信息显示处理的示例的流程图。
参照图4，根据本实施例的驾驶环境信息显示处理可以主要分为信息获取处理(S410)和图像处理过程。图像处理过程可以分为用于附近车辆的图像处理过程(S420A至S460A)、用于目标车辆间距离的图像处理过程(S430B至S460B)和用于车道划分线的图像处理过程(S420C至S470C)。
首先，信息获取处理(S410)可以是控制器214通过通信单元212从传感器单元220、导航系统230和输入单元240获取显示附近环境信息所需的信息的处理。所获取的信息的种类与上述相同，因此省略了重复描述。
当获取显示附近环境信息所需的信息时，控制器214可以对附近环境信息的每个分量执行图像处理。
参照图5至7D描述用于附近车辆的图像处理过程(S420A至S460A)。
图5示出了根据实施例的用于显示附近车辆的参考信息和分辨率的示例。图6示出了根据实施例的用于显示附近车辆的种子图像的构造的示例。图7A至7D示出了根据实施例的用于显示附近车辆的图像处理过程的示例。
首先参照图5，用于显示附近车辆的参考信息包括附近车辆与主车辆之间的横向距离和纵向距离。此时，坐标系的原点(0，0)可以设置在主车辆的前减震器的中间。基于附近车辆的后保险杠的中间和原点之间的距离来确定附近车辆的位置。其原因是传感器单元220设置在主车辆的前减震器周围，并且传感器单元220感测与前方车辆的后保险杠的距离；然而，对于本领域的普通技术人员来说，应该清楚的是，该标准是可变的。为了与在显示单元211上显示附近环境信息的区域的原点区分，可以将表示实际车辆和附近物体(车道划分线、附近车辆等)之间的位置关系的原点称为“车辆原点”。此外，可以将与车辆原点相对应的在显示单元211上显示附近环境信息的区域的位置称为“显示原点”。
此外，纵向距离可能从主车辆到前方最大150米的范围。作为附近环境信息的显示范围，横向距离可以从主车辆到左右各7米。可以将基于在图像处理时引起移动/变形的步长划分设置为0.1m。在这种情况下，纵向距离可分为1500步，横向距离可分为70步(包括中间的“0”在内，共141步)。当然，每个方向的最大距离和步长划分都是说明性的，各种变化都是可能的。
例如，可以定义基于从传感器单元220发送的纵向信号值的实际纵向距离，如表1所示，并且可以定义基于从传感器单元220发送的左侧横向信号值的实际横向距离，如表2所示。这里，可以为附近车辆输入与左侧横向距离对应的信号或与右侧横向距离对应的信号中的任何一个。
[表1]
Figure BDA0003426768020000091
Figure BDA0003426768020000101
[表2]
Figure BDA0003426768020000102
接着参照图6，示出了用于显示位于与在具有特定曲率的道路上行驶的主车辆的相对横向距离和纵向距离内的附近车辆的种子图像集。
种子图像集可以包括总共31个图像，包括面向前方而不向左右偏置(即具有0的横向距离)的车辆的种子图像C、基于道路曲率和车辆的横向距离表示车辆的左侧表面的车辆的种子图像L01至L15、以及基于道路曲率和车辆的横向距离表示车辆的右侧表面的车辆的种子图像R01至R15。在图6中，具有方向性的种子图像在每个方向上被分成15步，然而，这是说明性的，并且本公开不限于此。基于该实现，可以准备示出车辆的右表面或左表面之一的种子图像，并且当需要相反方向的种子图像时，可以在左和右之间反转种子图像。
对于附近车辆的图像处理，可以首先选择种子图像(S420A)。例如，控制器214可以考虑车道的曲率、横向距离和纵向距离，选择预先准备的附近车辆的多个种子图像中的一个。为此，控制器214可参考定义与车道的曲率、横向距离和纵向距离的组合相对应的种子图像的预定表。
当选择用于显示附近车辆的种子图像时，控制器214可将图像310定位在原点(即显示原点)，如图7A所示(S430A)。
随后，控制器214可基于附近车辆与主车辆之间的横向距离来转换图像310的横向坐标，如图7B所示(S440A)。例如，在假设显示单元211具有1280×720的分辨率的情况下，图像310的横向坐标可以每0.1m(即一步)的横向距离移动7个像素。
此外，控制器214可以使用车道的消失点710作为锚点，与显示附近车辆的纵向距离成比例地转换图像310的大小，如图7C所示(S450A)。这里，消失点可以是在没有曲率的直线道路上，围绕主车辆的相对车道划分线在主车辆中间的前方彼此连接的点。此外，当基于主车辆的前方确定纵向距离时，可以执行尺寸转换以便收缩，并且当基于主车辆的后方确定纵向距离时，可以执行尺寸转换以便扩展。在尺寸转换期间，坐标可以通过跟随参考点在纵向和横向方向上移动。另外，对于尺寸转换率，可以参考为每个纵向距离准备的表。
随后，控制器214可补偿基于车道曲率生成的车辆图像的横向坐标，如图7D所示(S460A)。可以参考具有基于车道的曲率和纵向距离定义的移动量的表来确定横向坐标的补偿量，即图像310在横向方向上的移动量。
接下来，参照图8至9C描述目标车辆间距离的图像处理过程(S430B至S460B)。
图8示出了根据实施例的用于显示目标车辆间距离的参考信息和分辨率的示例。另外，图9A至9C示出了根据实施例的用于显示目标车辆间距离的图像处理过程的示例。
首先参照图8，用于显示目标车辆间距离的参考信息可以被定义为基于主车辆的车辆原点的纵向距离(其是设定的目标车辆间距离)。纵向距离可以从主车辆到前方最大150米的范围，并且在图像处理时基于其引起变形的步距可以被设置为0.1米。在这种情况下，纵向距离可能分为1500步。当然，最大距离和步长划分是说明性的，各种变化都是可能的。
例如，可以提供设定的目标车辆间距离和信号值，如上表1所示。
为了对目标车辆间距离执行图像处理，控制器214可将图像320定位在原点(即显示原点)，如图9A所示(S430B)。此时，目标车辆间距离没有方向性，并因此使用单一种子图像。
此外，控制器214可以使用车道的消失点910作为锚点，将图像320的大小与设定的目标车辆间距离成比例地转换，如图9B(S450B)所示。此时，对于尺寸转换率，可以参考为每个纵向距离准备的表。
随后，控制器214可补偿基于车道曲率生成的目标车辆间距离图像的横向坐标，如图9C所示(S460B)。可以参考具有基于车道的曲率和纵向距离定义的移动量的表来确定横向坐标的补偿量，即图像320在横向方向上的移动量。
参照图10至12D描述车道划分线的图像处理过程(S420C至S470C)。
图10示出了根据实施例的用于显示车道划分线的参考信息和分辨率的示例。图11示出了根据实施例的用于显示车道划分线的种子图像的构造的示例。另外，图12A至12D示出了根据实施例的用于显示车道划分线的图像处理过程的示例。
首先参照图10，用于显示车道划分线的参考信息包括主车辆与左车道划分线之间的横向距离和主车辆与右车道划分线之间的横向距离。横向距离可以从主车辆到左右各4.5米作为显示范围。可以将在图像处理时基于其引起变形的步长划分设置为0.1m。当然，每个方向上的最大距离和步长划分是说明性的，且各种变化都是可能的。
接着参照图11，示出了用于显示主车辆当前行驶的车道的左车道划分线和右车道划分线的种子图像集。
种子图像集可以包括总共31个图像，包括用于显示无曲率的直线道路的种子图像C、用于显示向左具有曲率的道路的车道划分线的种子图像L01至L15、以及用于显示向右具有曲率的道路的车道划分线的种子图像R01至R15。在图11中，具有方向性的种子图像在每个方向上被分成15步，然而，这是说明性的，并且本公开不限于此。根据实现，可以准备具有右曲率或左曲率之一的种子图像，并且当需要相反方向的种子图像时，可以在左右之间反转种子图像。
对于车道划分线的图像处理，可以首先选择种子图像(S420C)。例如，控制器214可以考虑车道的曲率来选择预先准备的车道划分线的多个种子图像中的一个。为此，控制器214可参考定义对应于车道曲率的种子图像的预定表。
当选择用于显示车道划分线的种子图像时，控制器214可以将两个图像331和332定位在原点(即显示原点)，如图12A所示(S430C)。
随后，控制器214可以使用车道的消失点1210作为锚点，对车道划分线图像331和332中的每一个执行与横向距离成比例的畸变函数变换(distortion functiontransform)，如图12B所示(S470C)。这里，畸变函数变换可以包括水平偏斜变换。例如，对于具有1280×720分辨率的8英寸显示器，每0.1m的横向距离可执行+1.29°的水平偏斜变换(horizontal skew transform)。横向距离向右为正(+)，向左为负(-)。换言之，如图12B所示，当左车道划分线的横向距离为2m时，可以执行对应于-2m的-25.8°水平偏斜变换。当右车道划分线的横向距离为1m时，可以执行对应于1m的+12.9°水平偏斜变换。
图12C示出了对位于显示原点的左车道划分线331执行-25.8°的偏斜变换后的结果。图12D示出了对位于显示原点的右车道划分线333执行+12.9°的偏斜变换后的结果。
在上述实施例中，为了清楚地理解，已经参考附图将转换每个种子图像的处理(例如原点安置、水平坐标移动、尺寸转换和偏斜)描述为单独的处理。然而，转换期间的图像可以不通过显示单元211输出，并且实际上可以通过显示单元211输出针对每个显示元素的最终转换的图像。例如，在图4的步骤S460A之后，最终显示对应于附近车辆的图像，并且在图4的步骤S460B之后，最终显示对应于目标车辆间距离的图像。
通过使用上述方法使有限的种子图像集变形，可以显示各种驾驶情况。该方法即使由没有3D引擎的相对低端处理器也能够执行。
上面描述的本公开可以实现为存储在计算机可读记录介质中的计算机可读程序。计算机可读介质可以是其中以计算机可读方式存储数据的任何类型的记录装置。计算机可读介质可以包括，例如，硬盘驱动器(HDD)、固态盘(SSD)、硅盘驱动器(SDD)、只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘和光学数据存储装置。
从以上说明可以看出，涉及本公开的至少一个实施例的车辆驾驶环境显示装置能够有效地显示驾驶环境信息。
具体地，与应用3D引擎的情况类似，通过对预先准备的2D种子图像执行基于距离的平行移动、基于消失点的大小调整、以及基于道路曲率的位置补偿和弯曲处理，可以显示各种驾驶环境信息。
本领域普通技术人员应当理解，通过本公开可实现的效果不限于上文特别描述的效果。从上述详细描述中应更清楚地理解本公开的其他效果。
以上详细描述不应被解释为在任何方面限制本公开，而应作为示例考虑。本公开的范围应通过对所附权利要求的合理解释来确定，并且在不偏离本公开的范围的情况下所作的所有等效修改应理解为包括在以下权利要求中。

Claims (19)

1.一种驾驶环境信息显示方法，所述方法包括以下步骤：
获取环境信息；
基于所获取的环境信息，从具有不同曲率的多个车道划分线种子图像中选择与当前在其上执行驾驶的道路的曲率相对应的第一种子图像；
将所选择的第一种子图像中的两个第一种子图像布置在与车辆原点对应的显示原点；
基于与主车辆在其上行驶的车道的左车道划分线的第一横向距离，畸变所述两个第一种子图像中的一者；
基于与所述车道的右车道划分线的第二横向距离，畸变所述两个第一种子图像中的另一者；以及
通过显示单元输出经畸变的所述两个第一种子图像中的每一者。
2.根据权利要求1所述的方法，其中，所述车辆原点是在横向方向上对应于所述主车辆的中间的位置。
3.根据权利要求2所述的方法，其中
所述第一横向距离对应于从所述车辆原点到所述右车道划分线的距离，以及
所述第二横向距离对应于从所述车辆原点到所述左车道划分线的距离。
4.根据权利要求1所述的方法，其中，所述畸变包括使用曲率为0的车道的消失点作为锚点，通过以与所述第一横向距离或所述第二横向距离相对应的角度水平施加的偏斜函数变换。
5.根据权利要求1所述的方法，进一步包括：
基于所获取的环境信息，从具有以不同角度观察的形状的多个车辆种子图像中选择与附近车辆与所述车辆原点之间的第三横向距离、所述附近车辆与所述车辆原点之间的第一纵向距离、所述道路的所述曲率相对应的第二种子图像；以及
基于所述第三横向距离、所述第一纵向距离和所述道路的所述曲率来转换所选择的第二种子图像。
6.根据权利要求5所述的方法，其中，转换所选择的第二种子图像的步骤包括：
将所选择的第二种子图像布置在所述显示原点；
响应于所述第三横向距离，水平移动布置在所述原点处的所选择的第二种子图像的坐标；
使用曲率为0的车道的消失点作为锚点，基于所述第一纵向距离转换具有所移动的坐标的所述第二种子图像的大小；以及
响应于所述道路的所述曲率，补偿具有所转换的尺寸的所述第二种子图像的横向坐标。
7.根据权利要求5所述的方法，其中，所述多个车辆种子图像包括以下各项中的至少一项：示出所述车辆的一侧的第一种子图像集，示出所述车辆的另一侧的第二种子图像集，以及面向前方的种子图像。
8.根据权利要求7所述的方法，其中，当所述多个车辆种子图像包括所述第一种子图像集和所述第二种子图像集中的任一者时，转换所选择的第二种子图像的步骤包括：基于所述第三横向距离的方向在左和右之间反转所选择的第二种子图像。
9.根据权利要求1所述的方法，进一步包括：
在所述显示原点处布置指示目标车辆间距离的第三种子图像；
使用曲率为0的车道的消失点作为锚点，基于对应于所述目标车辆间距离的第一纵向距离来转换布置在所述原点处的所述第三种子图像的大小；以及
响应于所述道路的所述曲率，补偿具有所转换的尺寸的所述第三种子图像的横向坐标。
10.一种非易失性计算机可读记录介质，包含用于执行根据权利要求1所述的驾驶环境信息显示方法的程序。
11.一种车辆，包括：
传感器单元和导航系统，被配置为获取环境信息；以及
驾驶环境显示装置，被配置为基于所获取的环境信息输出驾驶环境信息，其中，所述驾驶环境显示装置包括
控制器，被配置为基于所获取的环境信息，从具有不同曲率的多个车道划分线种子图像中选择与当前在其上执行驾驶的道路的曲率相对应的第一种子图像；将所选择的第一种子图像中的两个第一种子图像布置在对应于车辆原点的显示原点；基于与主车辆在其上行驶的车道的左车道划分线的第一横向距离，畸变所述两个第一种子图像中的一者；基于与所述车道的右车道划分线的第二横向距离，畸变所述两个第一种子图像中的另一者，以及
显示单元，被配置为输出经畸变的所述两个第一种子图像中的每一者。
12.根据权利要求11所述的车辆，其中，所述车辆原点是在横向方向上对应于所述主车辆的中间的位置。
13.根据权利要求12所述的车辆，其中
所述第一横向距离对应于从所述车辆原点到所述右车道划分线的距离，以及
所述第二横向距离对应于从所述车辆原点到所述左车道划分线的距离。
14.根据权利要求11所述的车辆，其中，所述畸变包括使用曲率为0的车道的消失点作为锚点，通过与所述第一横向距离或所述第二横向距离相对应的角度水平施加的偏斜函数变换。
15.根据权利要求11所述的车辆，其中
所述控制器基于所获取的环境信息，从具有以不同角度观察的形状的多个车辆种子图像中选择与附近车辆与所述车辆原点之间的第三横向距离、所述附近车辆与所述车辆原点之间的第一纵向距离、所述道路的所述曲率相对应的第二种子图像；并基于所述第三横向距离、所述第一纵向距离和所述道路的所述曲率来转换所选择的第二种子图像，以及
所述显示单元输出转换后的第二种子图像。
16.根据权利要求15所述的车辆，其中，所述控制器将所选择的第二种子图像布置在所述显示原点；响应于所述第三横向距离，水平移动布置在所述原点处的所选择的第二种子图像的坐标；使用曲率为0的车道的消失点作为锚点，基于所述第一纵向距离转换具有所移动的坐标的所述第二种子图像的大小；以及响应于所述道路的所述曲率，补偿具有所转换的尺寸的所述第二种子图像的横向坐标。
17.根据权利要求15所述的车辆，其中，所述多个车辆种子图像包括以下各项中的至少一项：示出所述车辆的一侧的第一种子图像集，示出所述车辆的另一侧的第二种子图像集，以及面向前方的种子图像。
18.根据权利要求17所述的车辆，其中，当所述多个车辆种子图像包括所述第一种子图像集和所述第二种子图像集中的任一者时，所述控制器基于所述第三横向距离的方向在左和右之间反转所选择的第二种子图像。
19.根据权利要求11所述的车辆，其中，所述控制器在所述显示原点处布置指示目标车辆间距离的第三种子图像；使用曲率为0的车道的消失点作为锚点，基于对应于所述目标车辆间距离的第一纵向距离来转换布置在所述原点处的所述第三种子图像的大小；以及响应于所述道路的所述曲率，补偿具有所转换的尺寸的所述第三种子图像的横向坐标。
CN202111583044.8A 2020-12-23 2021-12-22 车辆驾驶环境显示装置及其控制方法 Pending CN114655010A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200182399A KR20220091148A (ko) 2020-12-23 2020-12-23 차량용 주행 환경 표시 장치 및 그 제어 방법
KR10-2020-0182399 2020-12-23

Publications (1)

Publication Number Publication Date
CN114655010A true CN114655010A (zh) 2022-06-24

Family

ID=82023295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111583044.8A Pending CN114655010A (zh) 2020-12-23 2021-12-22 车辆驾驶环境显示装置及其控制方法

Country Status (3)

Country Link
US (1) US11810264B2 (zh)
KR (1) KR20220091148A (zh)
CN (1) CN114655010A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023017648A (ja) * 2021-07-26 2023-02-07 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636455B2 (en) * 2002-06-04 2009-12-22 Raytheon Company Digital image edge detection and road network tracking method and system
US10444020B2 (en) * 2015-06-03 2019-10-15 Here Global B.V. Method and apparatus for defining road geometry from probe data
US9978161B2 (en) * 2016-04-11 2018-05-22 Here Global B.V. Supporting a creation of a representation of road geometry
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
US11420649B2 (en) * 2020-03-24 2022-08-23 Here Global B.V. Method, apparatus, and computer program product for generating turn paths through an intersection

Also Published As

Publication number Publication date
US20220198602A1 (en) 2022-06-23
KR20220091148A (ko) 2022-06-30
US11810264B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
CN108352056B (zh) 用于校正错误深度信息的系统和方法
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
CN110927708B (zh) 智能路侧单元的标定方法、装置及设备
JP5468426B2 (ja) ステレオカメラ装置
JP6580800B2 (ja) 加速されたライトフィールドディスプレイ
EP2081149B1 (en) Weighted average image blending based on relative pixel position
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
KR101076406B1 (ko) 장애물체 위치 및 속도 추정 장치 및 방법
CN107830869B (zh) 用于车辆的信息输出方法和装置
JP2007147458A (ja) 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体
JP2021056028A (ja) 環境地図調整値算出方法および環境地図調整値算出プログラム
US20200082556A1 (en) Image processing apparatus, image processing program, and driving assistance system
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN113029128A (zh) 视觉导航方法及相关装置、移动终端、存储介质
US11562576B2 (en) Dynamic adjustment of augmented reality image
CN114077306A (zh) 实现内容可视化的装置和方法
CN114655010A (zh) 车辆驾驶环境显示装置及其控制方法
WO2022199195A1 (zh) 地图更新方法、系统、车载终端、服务器及存储介质
KR20010025089A (ko) 촬영 화상을 사용한 지도 작성 방법, 장치 및 촬영 화상의일그러짐 보정 방법
JP2019100924A (ja) 車両軌跡補正装置
CN114655011A (zh) 显示方法、计算机可读记录介质和车辆
JP2021135286A (ja) 座標変換方法、装置及びデータ処理装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
US9846819B2 (en) Map image display device, navigation device, and map image display method
CN112347825B (zh) 车身环视模型的调整方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination