CN115071745A - 用于在车辆中进行交通内容可视化的方法和设备 - Google Patents

用于在车辆中进行交通内容可视化的方法和设备 Download PDF

Info

Publication number
CN115071745A
CN115071745A CN202210781404.3A CN202210781404A CN115071745A CN 115071745 A CN115071745 A CN 115071745A CN 202210781404 A CN202210781404 A CN 202210781404A CN 115071745 A CN115071745 A CN 115071745A
Authority
CN
China
Prior art keywords
vehicle
driver
road environment
environment information
trigger event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210781404.3A
Other languages
English (en)
Inventor
禹尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to CN202210781404.3A priority Critical patent/CN115071745A/zh
Publication of CN115071745A publication Critical patent/CN115071745A/zh
Priority to DE102023002582.8A priority patent/DE102023002582A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/162—Visual feedback on control action
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及车辆的人机交互领域。本发明提供一种用于在车辆中进行交通内容可视化的方法，所述方法包括以下步骤：S1：探测与车辆的驾驶操作相关的第一触发事件，所述第一触发事件反映驾驶员通过对车辆的至少一个功能部件的调整或使用而表现出对非前视方向视野内容的了解需求；以及，S2：响应于探测到所述第一触发事件，将沿着确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域内，所述确定方向不同于车辆的当前行驶方向。本发明还涉及一种用于在车辆中进行交通内容可视化的设备。在本发明中，通过将车辆周边道路环境集中呈现在驾驶员前视区域内，让驾驶员能够充分掌握周边路况而无需使视线离开前方路面，极大地提高了驾驶安全性。

Description

用于在车辆中进行交通内容可视化的方法和设备
技术领域
本发明涉及一种用于在车辆中进行交通内容可视化的方法和一种用于在车辆中进行交通内容可视化的设备。
背景技术
近年来，随着抬头显示器(HUD：Head up display)的兴起，在车辆中能够以更有效方式向车辆操作者呈现重要信息，这不但使驾驶员能够实时掌握车辆运行状态，而且也丰富了人机交互体验感。
然而，目前很多显示功能绑定于驾驶辅助/自动驾驶系统，即受到驾驶功能的设计运行域和/或激活与否的限制，因此很多时候无法实现即时且准确的信息传达。此外，在有些驾驶场景下要求驾驶员的视线在前方道路与反光镜之间来回切换，这容易导致视觉疲劳和注意力分散。
为此，现有技术中提出一种增强型抬头显示系统，其中，当驾驶员发出特定动作时，该系统把与特定动作相关联的内容投影到前挡风玻璃上。
此外，还已知一种用于虚拟投影内容的车载显示器，该显示器不仅能够呈现车辆周围环境，还能提供关于驾驶操作的提示信息。
但是，上述解决方案仍存在诸多不足，特别是，目前只根据用户的特定动作触发信息显示，然而这在很多情况下存在一定不准确性，容易导致显示功能的误触发，从而引起非必要信息内容过于频繁地被呈现并因此对驾驶员注意力造成干扰。另外，现有方案也缺乏对呈现内容的筛选和提取，对于不擅长多视角切换的驾驶员来说，所提供的内容仍不够精准。
在这种背景下，期待提供一种改进的交通内容可视化方案，以使驾驶员在正常驾驶期间更便捷地兼顾到周围交通情况。
发明内容
本发明的目的在于提供一种用于在车辆中进行交通内容可视化的方法和一种用于在车辆中进行交通内容可视化的设备，以至少解决现有技术中的部分问题。
根据本发明的第一方面，提出一种用于在车辆中进行交通内容可视化的方法，所述方法包括以下步骤：
S1：探测与车辆的驾驶操作相关的第一触发事件，所述第一触发事件反映驾驶员通过对车辆的至少一个功能部件的调整或使用而表现出对非前视方向视野内容的了解需求；以及
S2：响应于探测到所述第一触发事件，将沿着确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域内，所述确定方向不同于车辆的当前行驶方向。
本发明尤其包括以下技术构思：通过适时地将车辆周围道路环境呈现在驾驶员的前视区域内，使得驾驶员在无需扭头或大幅调转视角的前提下能够轻松掌握周边交通情况，提高了行车安全性。此外，通过使内容显示机制与特定驾驶操作相耦合，一方面避免了驾驶辅助/自动驾驶功能严格的设计运行域导致的激活限制，另一方面也实现了触发条件的合理过滤，减少了不必要的视觉干扰。
可选地，所述方法还包括以下步骤：探测与车辆的驾驶员的行为动作相关的第二触发事件，所述第二触发事件反映驾驶员通过行为动作而表现出对非前视方向视野内容的了解需求，其中，在所述步骤S2中附加地响应于探测到第二触发事件而将所述确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域内。
由此，实现以下技术优点：结合行为动作能够更准确地识别驾驶意图，促进了可视化内容的定向显示。
可选地，在所述步骤S2中，将道路环境信息以可视化方式表示在前视区域内包括：
将所述道路环境信息以图像、图形、动画、AR投影的形式显示在前视区域中；
以所述道路环境信息替换原本已经显示在前视区域内的可视化内容；
将原本已经显示在前视区域内的可视化内容的至少一部分以增强形式突出显示；和/或；
将道路环境信息以辅助窗口的形式叠加和/或内嵌在原本已经显示在前视区域内的可视化内容中。
由此，实现以下技术优点：通过多样化的视觉表现形式，能够让驾驶员更直观、全面地了解周边交通动态。
可选地，所述步骤S2还包括：
在将道路环境信息以可视化方式表示在驾驶员的前视区域内的同时，对所述道路环境信息中涉及的至少一个交通对象进行语义标注。
由此，实现以下技术优点：目前已经认识到，有些不熟练的驾驶员即使观察到相应交通状况仍不能迅速从中提取与自身驾驶行为关联的信息。因此，通过添加语义标注则能够使交通环境反映的信息更具备可读性，进一步提高了驾驶安全性。
可选地，对至少一个交通对象进行语义标注包括：
借助数字、文字、符号和/或图形标注交通对象的运动状态和/或交通对象相对于所述车辆的关系，其中，尤其标注交通对象的速度、加速度、交通对象相对于所述车辆的距离和/或相对于所述车辆的方位；和/或
借助颜色变换、图形变换、文字描述标注对交通对象的运动状态和/或对交通对象相对于所述车辆的关系的安全评估结果。
由此，实现以下技术优点：通过向用户展示车辆关系并提供安全评估结果，简化了信息提取过程，从而给予驾驶员一定程度的提示且帮助驾驶员将注意力集中在前方路面上。
可选地，沿着确定方向上的道路环境信息包括：车辆的反光镜和/或后视镜中的物像，由车辆的至少一个侧视摄像头和/或后视摄像头拍摄的视频、图像和/或所述图像的局部区段。
由此，实现以下技术优点：通过这种多视角信息的集中化显示方式，解决了很多驾驶员的痛点，即使是不擅长用余光从后视镜观察道路交通状况的驾驶员也能够在专注于前方道路的同时兼顾周边道路情况。
可选地，所述驾驶员的前视区域包括：抬头显示器、娱乐系统显示器、仪表盘以及集中式车载显示器。
由此，实现以下技术优点：通过在驾驶员的前视区域内提供多个可能的显示/投影位置，能够与多种车辆型号适配地集成交通可视化方案，从而实现更广泛的应用。
可选地，所述第一触发事件包括：
-车辆的转向指示灯被开启，
-车辆的制动扭矩和/或制动踏板开度超过阈值，和/或
-车辆的转向机构、尤其方向盘转动超过确定角度；
可选地，所述第二触发事件包括：
-驾驶员的视线望向车辆的反光镜和/或后视镜，和/或
-驾驶员的头部偏向车辆一侧。
由此，实现以下技术优点：通过定向地关注或记录特定驾驶操作或动作行为，有效地限制了观测窗口，简化了意图识别过程。
可选地，所述方法还包括以下步骤：
在所述道路环境信息已经以可视化方式表示在所述前视区域中的情况下探测第三触发事件，所述第三触发事件反映驾驶员对非前视方向视野内容的了解需求的解除；以及
响应于探测到所述第三触发事件，结束道路环境信息在驾驶员的前视区域内的可视化表示。
由此，实现以下技术优点：动态地根据实时变化的交通情况以及用户需求来变更显示内容，提高了整个方案的灵活性。
根据本发明的第二方面，提出一种用于在车辆中进行交通内容可视化的设备，所述设备用于执行本发明的第一方面所述的方法，所述设备包括：
探测模块，其被配置为能够探测与车辆的驾驶操作相关的第一触发事件，所述第一触发事件反映驾驶员通过对车辆的至少一个功能部件的调整或使用而表现出对非前视方向视野内容的了解需求；以及
表示模块，其被配置为能够响应于探测到所述第一触发事件，将沿着确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域内，所述确定方向不同于车辆的当前行驶方向。
附图说明
下面，通过参看附图更详细地描述本发明，可以更好地理解本发明的原理、特点和优点。附图包括：
图1示出了根据本发明的一个示例性实施例的用于在车辆中进行交通内容可视化的设备的框图；
图2示出了根据本发明的一个示例性实施例的用于在车辆中进行交通内容可视化的方法的流程图；
图3示出了在一个示例性应用场景中使用根据本发明的方法的流程图；
图4示出了在另一示例性应用场景中使用根据本发明的方法的流程图；
图5示出了在另一示例性应用场景中使用根据本发明的方法的流程图；
图6示出了道路环境信息在驾驶员的前视区域内的一种可能的可视化表示；以及
图7示出了道路环境信息在驾驶员的前视区域内的另一可能的可视化表示。
具体实施方式
为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。
图1示出了根据本发明的一个示例性实施例的用于在车辆中进行交通内容可视化的设备的框图。
如图1所示，车辆100包括根据本发明的设备1。在此，该车辆100例如还包括由前视摄像机11、左视摄像机12、后视摄像机13、右视摄像机14构成的全景视觉感知系统、雷达传感器15以及激光雷达传感器16。借助这些车载环境传感器，车辆100例如能够执行倒车辅助、障碍物探测、道路结构识别等多种功能以支持部分自主行驶或完全自主行驶。在此应注意，车载环境传感器除了包括在图1中示出的传感器还可能包括其他类型及数量的传感器，还应注意，车载环境传感器的搭载位置并没有固定规则，本发明对此不进行具体限制。
为了能够在车辆100中实现交通内容的可视化，设备1例如包括探测模块10和表示模块20。
探测模块10用于探测与车辆的驾驶操作相关的第一触发事件。为此，探测模块10例如连接到车辆100的制动踏板18、方向盘19、转向指示灯、轮速传感器等，以便能够检测所述第一触发事件，这里该第一触发事件尤其能够反映驾驶员通过对车辆100的至少一个功能部件的调整或使用而表现的出对非前视方向视野内容的了解需求。
此外，探测模块10例如还用于探测与驾驶员的行为动作相关的第二触发事件，该第二触发事件反映驾驶员通过行为动作而表现出对非前视方向视野内容的了解需求。为此，探测模块10例如还连接到车内摄像头17，借助该车内摄像头17能够拍摄驾驶舱内的图像，从而能够估计出乘员的头部位置或眼部注视方向。在此应注意，虽然探测模块10在图1中被示出为与各车载传感器或车辆部件通信连接，然而同样可能的是，探测模块10直接构造成或包括上述车辆部件，亦有可能的是，探测模块10与具备收集和/或派发包括上述车辆部件的一个或多个模块和/或接口相连。
探测模块10连接到表示模块20并用于将关于第一触发事件和/或第二触发事件的探测结果提供给表示模块20。表示模块20用于响应于探测到所述第一触发事件和/或第二触发事件，将沿着确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域内，该确定方向不同于车辆的当前行驶方向。为此，表示模块20例如连接到分布在车身四周的各个摄像机12、13、14，从而能够从这些摄像机12、13、14接收车辆100周围的道路环境信息。此外，表示模块20例如还连接到车辆100的(例如电子)反光镜40，并能够从那里获取反光镜40中的物像。在接收到相应的触发事件之后，表示模块20与车辆100的图形投影系统30通信，以促使图形投影系统30将从摄像机12、13、14和/或反光镜40收集的道路环境信息投影到车辆100的前挡风玻璃上，并在那里形成投影区域31。这里，图形投影系统30例如可以构造成本领域已知的激光器或其他类型的投影仪设备，其与投影区域31例如共同构成抬头显示器(HUD：Heads-up-Display)。此外还能想到的是，表示模块20也可包括或连接到其他类型的车载成像系统，例如娱乐系统显示器(HU：Head Unit)、仪表盘(IC：InstrumentCluster)以及集中式车载显示器(CIVIC：Centralized In-Vehicle IntegrationComputer)等。
图2示出了根据本发明的一个示例性实施例的用于在车辆中进行交通内容可视化的方法的流程图。该方法示例性地包括步骤S1、S2、S2'，并且例如可以在使用图1所示的设备1的情况下实施。
在步骤S1中，探测与车辆的驾驶操作相关的第一触发事件，该第一触发事件反映驾驶员通过对车辆的功能部件的调整或使用而表现出对非前视方向视野内容的了解需求。
在本发明的意义上，非前视方向例如理解为车辆的侧方、侧后方、后方中的任一方向或多个方向的组合。作为示例，当驾驶员想要查看右侧交通场景时，则非前视方向的视野内容例如表示车辆右侧的道路环境信息，当驾驶员想要查看左侧交通场景时，则非前视方向的视野内容表示车辆左侧的道路环境信息。
在此，第一触发事件尤其可以借助分布在车辆上的一个或多个传感器所检测，这些传感器例如与相应的车辆部件(例如横向引导机构、纵向引导机构、转向指示灯等)集成在一起并用于在这些车辆部件被致动时发出相应的触发信号。
还能够想到的是，在步骤S1中还可以检测车辆部件被致动的程度或时长，并以此为基础对第一触发事件的可靠性进行验证。作为示例，仅当探测到确定车辆部件被调整超过确定角度并持续预设时间段时，才确认探测到第一触发事件。
接下来，在步骤S2中，响应于探测到所述第一触发事件，将沿着确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域内，该确定方向不同于车辆的当前行驶方向。
在本发明的意义上，“以可视化方式表示”例如包括：在光学显示器上进行显示或者在近似平面的区域上进行投影。应注意的是，取决于车辆的相应配置，可以选择仅以可视化方式表示道路环境信息中包含的交通对象。然而如果必要，也可以一并对道路环境中涉及的静态道路元素(例如路标、道路形态、建筑物等)进行可视化。
此处，“以可视化方式表示”还包括多种可能情况。在最简单的情况下，如果驾驶员前视区域内没有其他显示内容或投影内容，则可以考虑将相应的道路环境信息直接显示或投影在前视区域内。然而还可能的是，如果前视区域中已经存在特定可视化内容(例如已经显示的交通信息、天气信息、图像信息)，则例如可以将道路环境信息以辅助窗口、元素标签的形式嵌套、叠加于原有可视化内容上。
此外还能想到，对即将被显示内容与原有显示内容之间的重要性进行排序，并将具有较高重要性的内容以突出方式进行显示，具有较低重要性的内容以较小面积、较暗/浅颜色、较低亮度显示。又或者，如果待显示的道路环境信息对于目前的驾驶行为来说非常关键，则也可以考虑以所述道路环境信息直接替换原有显示内容。
在本发明的意义上，驾驶员的前视区域例如包括：抬头显示器(HUD：Heads-up-Display)、娱乐系统显示器(HU：Head Unit)、仪表盘(IC：Instrument Cluster)以及集中式车载显示器(CIVIC：Centralized In-Vehicle Integration Computer)。
在此，“确定方向”并不是指车辆四周的任一方向，而是与相应触发事件相关联，其尤其是指用户想要了解的视野内容所在的方向。沿着确定方向上的道路环境信息例如包括车辆的反光镜和/或后视镜中的物像。如果后视镜或物镜涉及电子显示设备，则例如可以借助相应的通讯连接将后视镜或物镜中的物像传输给相应的投影或显示设备，在进行适当的视角、大小、形状方面的适配之后，即可以将其显示在驾驶员的前视区域内。附加地或替代地，道路环境信息例如还可以包括由车辆的至少一个侧视摄像头和/或后视摄像头拍摄的视频、图像和/或所述图像的局部区段。
接下来，在可选的步骤S2'中，在道路环境信息已经被显示或投影在驾驶员的前视区域中的同时，还可以对道路环境信息中的至少一个交通对象进行语义标注。
在本发明的意义上，“语义标注”例如理解为通过图形、颜色、文字、符号、形状变换或位置变换等方式来修饰道路环境中的至少一个交通对象，以向驾驶员提供关于该交通对象的运动状态、类型、体积大小和/或相对于本车辆的车辆关系方面的有语义的判断。此外还能想到的是，通过适当形式的标注信息来向用户传达对该交通对象的安全评估结果。
图3示出了在一个示例性应用场景中使用根据本发明的方法的流程图。在该示例性应用场景中，驾驶员例如已经按照标准指南调整好座椅、方向盘、后视镜等车辆部件，但是在行车过程中，其仍旧不能通过观察后视镜看到的图像得出有语义的判断：例如现在是否能执行换道操作。
在步骤S11中，借助布置在车辆内部的摄像机采集驾驶舱内的图像。
在步骤S12中，作为图2所示实施例中提到的第一触发事件的附加或补充，还探测与驾驶员的行为动作相关的第二触发事件。在此，例如借助图像识别技术分析处理所采集的一个或多个图像，以辨识驾驶员的头部位置和视线方向。这里，例如可以借助经训练的人工神经网络来实现驾驶员头部位置跟踪和眼球位置跟踪。此外，也可想到利用手势识别来代替所述头部位置和眼球位置的探测。
在步骤S13中，基于步骤S12中的图像识别结果检查：驾驶员是否有望向侧视镜的动作。
如果在步骤S13中基于图像识别结果未探测到驾驶员的上述意图，则例如可以从步骤S13重新跳转回到步骤S12，以便继续监测驾驶员的行为动作并在第二触发事件方面进行判断。
反之，如果探测到驾驶员将头部偏向一侧或视线从前方道路位置偏移至确定位置(例如侧向位置)，则确认驾驶员有望向侧视镜的动作，并且判断出驾驶员存在对非前视方向视野内容的了解需求。在这种情况下，例如在步骤S14中判断出探测到第二触发事件。
接下来，响应于探测到第二触发事件，在步骤S21中在驾驶员的前视区域内(例如借助HUD/HU/IC/CIVIC)显示车辆后侧/侧后侧的道路环境信息。通过这种方式，有利地向驾驶员提供了其想要了解的非前视交通状况，同时，驾驶员无需将其视线从前方路面移开。
在步骤S22中，例如可以在将本车辆周围的相关车辆表示在驾驶员的前视区域内的同时，以距离标尺标注出本车辆周围的至少一个车辆与本车辆的相对位置关系。例如，可以标注出后侧车辆相对于本车辆的距离、方位角等。通过了解这些语义信息，驾驶员不再仅基于主观感受来预估后侧车距，而是可以掌握较准确的真实车辆关系。
在步骤S31中，在相关道路环境信息已经被投影/显示在驾驶员的前视区域内的前提下，记录投影/显示的时长，并检查该时间是否超过预定义时间段(例如2s)。
如果没超过预定义时间段，则例如维持在步骤S31中并继续执行这种持续时间方面的检查。
如果发现已经超过预定义时间段，则例如可以在步骤S32中进一步判断侧后方车辆距本车辆的距离是否在可控范围内。这里，例如可以判断该距离是否大于一预设阈值。
如果相对车距较小并因此仍存在较大风险，则例如持续地以提示方式在前视区域中显示相关交通信息。
如果发现侧后方车辆距本车辆较远，则例如可以在步骤S33中结束可视化内容的显示。这里，步骤S31-S32中执行的判断例如均可被归类为对于“第三触发事件”的探测，该第三触发事件在一定程度上标志着驾驶员对非前视方向视野内容的了解需求解除。
图4示出了在另一示例性应用场景中使用根据本发明的方法的流程图。在图4所示示例性应用场景中，驾驶员通过余光或观察后视镜而了解到侧后方车辆距本车辆还存在一定距离，因此已做好换道准备。但是在已经开始换道期间，驾驶员又直觉感受到后车速度较快，因此并不确定现在执行换道是否真的安全。
在步骤S11'中，持续地监测车辆的转向指示灯的触发状态。这例如可以通过相应的传感器来实现。一旦转向指示灯发生状态切换(例如从“关闭”变为“激活”，或从“激活”变为“关闭”)，则借助传感器向相关处理模块发出相应的触发信号。
在步骤S12'中，检查转向灯是否被触发。如果未被触发，则例如可以维持在步骤S12'中并持续性地执行这种检查。
如果发现转向指示灯被开启，则例如在步骤S13'中判断出探测到第一触发事件。也就是说，判断出驾驶员想要向开启转向指示灯的一侧执行换道操作，在这种情况下，驾驶员尤其需要了解目标车道上的后方车辆的运动情况，于此同时，驾驶员也需要保持对前方路况的关注。
在步骤S21'中，响应于探测到第一触发事件，例如在驾驶员的前视区域内(例如借助HUD/HU/IC/CIVIC)显示目标车道上的侧后方车辆，同时，例如还一并标注出后方车辆的速度、加速度、相对于本车辆的车距等信息。
在步骤S22'中，还附加地借助颜色变换、图形变换、文字描述标注该后方车辆的运动状态和/或相对于本车辆的关系的安全评估结果。作为示例，如果后方车辆的速度、加速度、相对于本车辆的距离允许本车辆向目标车道执行并道操作，则例如在前视区域以绿色圈出后方车辆，若不符合安全要求，则例如以红色圈出后方车辆。附加地，还可考虑在前视区域中提供关于换道操作的辅助指导信息(例如操纵转向机构的时机、本车辆应以怎样的速度、加速度执行换道操作)。
在步骤S31'中，检查转向指示灯是否被关闭。
如果是这种情况，例如意味着换道操作的结束或完成。在这种情况下，例如可以与图3所示实施例类似地，附加地将时间因素考虑在内。例如，可以检查转向指示灯被关闭之后是否已经经过了确定时间(例如1s)。
如果已经经过了确定时间，则例如可以在步骤S33'中结束可视化内容的显示。
图5示出了在另一示例性应用场景中使用根据本发明的方法的流程图。在图5所示应用场景中，在正常行驶期间，驾驶员例如由于前方突然出现障碍物而控制本车辆减速。在这种情况下，驾驶员可能会担心后车是否会由于本车辆的突然减速而发生追尾。
在步骤S11”中，例如持续地监测车辆的制动扭矩/制动踏板开度。
在步骤S12”中，检查制动扭矩/制动踏板开度是否超过阈值。如果未发现异常，则例如保持在步骤S12”中并继续执行检查。
如果发现制动扭矩/制动踏板开度超过阈值，则例如在步骤S13”中判断出探测到第一触发事件。
接下来，在步骤S21”中在驾驶员的前视区域内显示车辆后侧的道路环境信息。
在步骤S22”中，附加地标注车辆后侧车辆相对于本车辆的碰撞时间。
在步骤S31”中，将所计算的碰撞时间与预设阈值进行比较并判断该碰撞时间是否在安全范围内。这里，例如可以判断碰撞时间是否大于预设阈值。
如果不是这种情况，则例如持续地在驾驶员的前视区域显示这种信息，以让驾驶员充分了解后方交通情况。
如果发现碰撞时间大于预设阈值，则表明后方车辆已经发现本车辆的突然制动并做出相应响应。因此，可以在步骤S32”中进一步检查：从显示后方交通内容开始，是否已经经过了确定时间。
如果判断出已经经过确定时间，则例如可以在步骤S33”中结束在驾驶员的前视区域内的这种可视化表示。
图6示出了道路环境信息在驾驶员的前视区域内的一种可能的可视化表示。
在图6左侧示例性地示出了从本车辆的右侧后视镜40观察到的后方道路环境信息。在图6右侧相应地示出了这种道路环境信息在驾驶员的前视区域中的可视化表示。
在该示例中，借助右侧后视镜40观察到：在本车辆右侧车道的后方存在一跟随车辆200。在该示例性场景中，本车辆的驾驶员例如想要通过并道操作而转换到右侧车道行驶。因此，例如已经借助右转指示灯的开启和/或驾驶员的视线识别而探测到存在第一触发事件和/或第二触发事件。
于是，借助车辆的HUD系统将右侧后视镜40中的物像投影在车辆的前挡风玻璃上并形成投影区域31。在该示例中，多个图标310(例如Icon1-IconN)表示已经存在于前挡风玻璃上的投影内容，它们例如分别用于指示车辆的行驶状态参数、路况信息、天气信息等。在IconN右侧还示出一个附加的IconX 320，其例如以附加元素的形式被添加到投影区域并用于显示右侧后视镜40中的道路环境信息。在此，由于各个Icon之间的优先级关系不同，并判断出IconX 320的优先级最高，因此例如以增强显示的方式(例如借助加粗的边框)来显示后方道路环境。
在该示例中，还具体示出了Icon X 320中的具体内容。为了能够让用户更直观地读懂后方交通内容，例如以圆圈简化地表示右后方车辆200，并且以曲线100表示本车辆的右后侧。同时，还标注出了后方车辆200的速度和加速度。
与此对照地，还附加地示出了在本车辆左后方存在车辆的一种可视化表示方式。
图7示出了道路环境信息在驾驶员的前视区域内的另一可能的可视化表示。
在该示例中，本车辆100想要转换到右侧车道上行驶，因此需要并入由前方车辆300与右后方车辆200之间的空挡中。在这种情况下，例如在驾驶员的前视区域中以鸟瞰视图示出这些交通对象的相对关系，同时还在其中标注出了安全评估结果。
在该示例中，例如已经结合相应的距离、速度、碰撞时间信息判断出执行换道操作是安全的，因此例如以绿色矩形框圈出本车辆100并在旁边添加注释性文字“安全”。反之，如果结合位置关系和运动状态判断出本车辆100在当前场景下执行换道操作是危险的，则例如可以以红色矩形框圈出本车辆并标注“危险”。
在此应注意，图6-图7中对车辆周围交通内容的可视化表示方式仅是示例性地，除了以标签、符号、投影图像的方式显示相关道路环境，同样能够想到利用动画、AR等方式抽象出道路元素的相对位置关系，并使用其他形状来动态或静态地显示后方交通状况。
尽管这里详细描述了本发明的特定实施方式，但它们仅仅是为了解释的目的而给出的，而不应认为它们对本发明的范围构成限制。在不脱离本发明精神和范围的前提下，各种替换、变更和改造可被构想出来。

Claims (10)

1.一种用于在车辆(100)中进行交通内容可视化的方法，所述方法包括以下步骤：
S1：探测与车辆(100)的驾驶操作相关的第一触发事件，所述第一触发事件反映驾驶员通过对车辆(100)的至少一个功能部件的调整或使用而表现出对非前视方向视野内容的了解需求；以及
S2：响应于探测到所述第一触发事件，将沿着确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域(31)内，所述确定方向不同于车辆(100)的当前行驶方向。
2.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：探测与车辆(100)的驾驶员的行为动作相关的第二触发事件，所述第二触发事件反映驾驶员通过行为动作而表现出对非前视方向视野内容的了解需求，其中，在所述步骤S2中附加地响应于探测到第二触发事件而将确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域(31)内。
3.根据权利要求1或2所述的方法，其中，在所述步骤S2中，将道路环境信息以可视化方式表示在前视区域(31)内包括：
将所述道路环境信息以图像、图形、动画、AR投影的形式显示在前视区域(31)中；
以所述道路环境信息替换原本已经显示在前视区域(31)内的可视化内容；
将原本已经显示在前视区域(31)内的可视化内容的至少一部分以增强形式突出显示；和/或；
将道路环境信息以辅助窗口的形式叠加和/或内嵌在原本已经显示在前视区域(31)内的可视化内容中。
4.根据权利要求1至3中任一项所述的方法，其中，所述步骤S2还包括：
在将道路环境信息以可视化方式表示在驾驶员的前视区域(31)内的同时，对所述道路环境信息中涉及的至少一个交通对象(200)进行语义标注。
5.根据权利要求4所述的方法，其中，对至少一个交通对象(200)进行语义标注包括：
借助数字、文字、符号和/或图形标注交通对象(200)的运动状态和/或交通对象(200)相对于所述车辆(100)的关系，其中，尤其标注交通对象(200)的速度、加速度、交通对象(200)相对于所述车辆(100)的距离和/或相对于所述车辆(100)的方位；和/或
借助颜色变换、图形变换、文字描述标注对交通对象(200)的运动状态和/或对交通对象(200)相对于所述车辆(100)的关系的安全评估结果。
6.根据权利要求1至5中任一项所述的方法，其中，沿着确定方向上的道路环境信息包括：车辆(100)的反光镜和/或后视镜(40)中的物像，由车辆(100)的至少一个侧视摄像头(12，14)和/或后视摄像头(13)拍摄的视频、图像和/或所述图像的局部区段。
7.根据权利要求1至6中任一项所述的方法，其中，驾驶员的前视区域(31)包括：抬头显示器、娱乐系统显示器、仪表盘以及集中式车载显示器。
8.根据权利要求1至7中任一项所述的方法，其中，
所述第一触发事件包括：
-车辆(100)的转向指示灯被开启，
-车辆(100)的制动扭矩和/或制动踏板开度超过阈值，和/或
-车辆(100)的转向机构、尤其方向盘转动超过确定角度；
所述第二触发事件包括：
-驾驶员的视线望向车辆(100)的反光镜和/或后视镜(40)，和/或
-驾驶员的头部偏向车辆(100)一侧。
9.根据权利要求1至8中任一项所述的方法，其中，所述方法还包括以下步骤：
在所述道路环境信息已经以可视化方式表示在所述前视区域(31)中的情况下探测第三触发事件，所述第三触发事件反映驾驶员对非前视方向视野内容的了解需求的解除；以及
响应于探测到所述第三触发事件，结束道路环境信息在驾驶员的前视区域(31)内的可视化表示。
10.一种用于在车辆(100)中进行交通内容可视化的设备(1)，所述设备(1)用于执行根据权利要求1至9中任一项所述的方法，所述设备(1)包括：
探测模块(10)，其被配置为能够探测与车辆(100)的驾驶操作相关的第一触发事件，所述第一触发事件反映驾驶员通过对车辆(100)的至少一个功能部件的调整或使用而表现出对非前视方向视野内容的了解需求；以及
表示模块(20)，其被配置为能够响应于探测到所述第一触发事件，将沿着确定方向上的道路环境信息以可视化方式表示在驾驶员的前视区域(31)内，所述确定方向不同于车辆(100)的当前行驶方向。
CN202210781404.3A 2022-07-04 2022-07-04 用于在车辆中进行交通内容可视化的方法和设备 Pending CN115071745A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210781404.3A CN115071745A (zh) 2022-07-04 2022-07-04 用于在车辆中进行交通内容可视化的方法和设备
DE102023002582.8A DE102023002582A1 (de) 2022-07-04 2023-06-26 Verfahren und Gerät zum Visualisieren von Verkehrsinhalten in einem Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210781404.3A CN115071745A (zh) 2022-07-04 2022-07-04 用于在车辆中进行交通内容可视化的方法和设备

Publications (1)

Publication Number Publication Date
CN115071745A true CN115071745A (zh) 2022-09-20

Family

ID=83258448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210781404.3A Pending CN115071745A (zh) 2022-07-04 2022-07-04 用于在车辆中进行交通内容可视化的方法和设备

Country Status (2)

Country Link
CN (1) CN115071745A (zh)
DE (1) DE102023002582A1 (zh)

Also Published As

Publication number Publication date
DE102023002582A1 (de) 2024-01-04

Similar Documents

Publication Publication Date Title
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
EP3261871B1 (en) Display control apparatus and method
US9649936B2 (en) In-vehicle device, control method of in-vehicle device, and computer-readable storage medium
JP4941760B2 (ja) 車両周辺監視装置
US10629106B2 (en) Projection display device, projection display method, and projection display program
CN112771592B (zh) 用于警告机动车的驾驶员的方法、控制设备及机动车
CN109204305B (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
JP2004535971A (ja) ヘッドアップディスプレイシステム及び方法
US20100265345A1 (en) Vehicle based night-vision arrangement and method for operating the same
US11130502B2 (en) Method for assisting a driver with regard to traffic-situation-relevant objects and motor vehicle
JP2010130646A (ja) 車両周辺確認装置
CN108791062B (zh) 动态信息系统及操作方法
JP7075189B2 (ja) 運転席と少なくとも一つの乗員席とを備える車両、及び、交代運転者及び又は少なくとも一人の同乗者に現在経験されている運転状況についての情報を提供する方法
CN112105520A (zh) 车辆用显示装置
JP2005067514A (ja) 車両用表示装置
CN116323320A (zh) 虚像显示装置以及显示系统
JP2024029051A (ja) 車載表示装置、方法およびプログラム
US10067341B1 (en) Enhanced heads-up display system
CN113631411B (zh) 显示控制装置、显示控制方法及记录介质
JP2005297810A (ja) 車両用表示システム及びプログラム
EP3892489B1 (en) Vehicle display device
CN108725321A (zh) 信息提示装置
JP2008162550A (ja) 外部環境表示装置
JP7480756B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
CN115071745A (zh) 用于在车辆中进行交通内容可视化的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication