CN113247012A - 在车辆驾驶员的视野中显示空间信息的系统和方法 - Google Patents

在车辆驾驶员的视野中显示空间信息的系统和方法 Download PDF

Info

Publication number
CN113247012A
CN113247012A CN202110183579.XA CN202110183579A CN113247012A CN 113247012 A CN113247012 A CN 113247012A CN 202110183579 A CN202110183579 A CN 202110183579A CN 113247012 A CN113247012 A CN 113247012A
Authority
CN
China
Prior art keywords
vehicle
driver
module
eye position
external object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110183579.XA
Other languages
English (en)
Other versions
CN113247012B (zh
Inventor
D·穆勒
L·勒泽-柯纳
C·普雷迪格尔
A·巴尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN113247012A publication Critical patent/CN113247012A/zh
Application granted granted Critical
Publication of CN113247012B publication Critical patent/CN113247012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. pavement or potholes

Abstract

在车辆驾驶员的视野中显示空间信息的系统和方法。一种在车辆的驾驶员的视野内提供与外部对象相关的信息的方法，所述方法包括：通过摄像头系统监测驾驶员，并且基于摄像头系统提供的数据来标识估计眼睛位置。收集车辆外侧的至少一个外部对象的空间信息。基于空间信息确定与外部对象相关的可视输出的基本显示位置。对车辆的至少一个迫近或即时干扰事件进行检测。响应于迫近或即时干扰事件，确定眼睛位置校正和/或显示位置校正。基于估计眼睛位置和基本显示位置并且基于眼睛位置校正和/或显示位置校正，生成与外部对象相关的可视输出。

Description

在车辆驾驶员的视野中显示空间信息的系统和方法
技术领域
本公开涉及一种经由平视显示器(HUD)在车辆驾驶员的视野内提供与外部对象相关的信息的计算机实现方法和系统。
背景技术
像乘用车之类的现代车辆可以配备有所谓的平视显示器(HUD)，该平视显示器直接在车辆驾驶员的视野中(例如，在车辆的挡风玻璃上)显示与驾驶员相关的信息。该信息可以包括速度限制或者来自安装在车辆中的导航系统的指令。
另外，现代车辆还可以配备有检测或探测车辆环境的装置。这样的装置可以属于高级驾驶员辅助系统(ADAS)，该系统例如可以包括自适应巡航控制(ACC)和车道保持辅助(LKA)以及另一些装置，比如检测车辆环境中的对象(比如行人或其它车辆)的摄像头系统和/或雷达或LIDAR系统。
高级平视显示系统还能够显示与车辆环境中的对象相关的空间信息或元信息。这可以包括突出显示正在接近的行人或者突出显示车辆要走的车道。元信息可以包括例如周围检测到的设施的广告或营业时间。向平视显示器提供的为正确显示与对象相关的空间或元信息所需的可视输出取决于至少三个参数，即，对象本身的空间位置、驾驶员眼睛的空间位置以及车辆挡风玻璃的空间位置。因此，显示对象信息所需的可视输出可能会因驾驶期间的突然和意外事件(例如，因车辆的振动或道路颠簸)而劣化。此类事件可能导致平视显示器上与对象相关的信息的可视外观不稳定。
因此，需要这样的一种系统和方法，即，该系统和方法在车辆的平视显示器上的正确位置处并且以稳定的方式提供与处于车辆外侧的外部对象相关的可视输出。
发明内容
在一个方面，本公开致力于一种在车辆驾驶员的视野内提供与外部对象相关的信息的计算机实现方法。所述方法包括以下步骤：通过车辆内的摄像头系统对驾驶员进行监测；借助于驾驶员建模模块，基于摄像头系统提供的数据，相对于车辆坐标系来标识驾驶员的估计眼睛位置；借助于对象检测模块，收集处于车辆外部的至少一个外部对象的空间信息；通过使用对象检测模块，基于空间信息来确定与外部对象相关的可视输出的基本显示位置；借助于校正模块，检测关于车辆的移动的至少一个迫近或即时干扰事件；通过使用校正模块，响应于至少一个迫近或即时干扰事件，基于估计眼睛位置来确定眼睛位置校正和/或基于基本显示位置来确定显示位置校正，以便对车辆的意外移动进行补偿；以及借助于显示模块，基于估计眼睛位置和基本显示位置并且基于眼睛位置校正和/或显示位置校正，生成与外部对象相关的可视输出。
术语“驾驶员的眼睛位置”可以被定义为驾驶员的右眼和左眼的相应位置之间的连接线的中心位置。即，可以首先例如通过标识驾驶员的相应瞳孔的中心位置来确定驶员的右眼和左眼各自的位置，然后可以将左右瞳孔的位置之间的连接线的中心位置估计为“估计眼睛位置”。
另外，驾驶员的注视方向可以被定义为以下方向：该方向垂直于驾驶员的眼睛的位置之间的连接线并且被定向至要被提供信息的外部对象。即，关于外部对象的注视方向是由驾驶员的估计眼睛位置和外部对象的空间信息给出的。
此外，车辆坐标系可以是使中心处于摄像头系统的位置处的三维坐标系。即，经校准的摄像头系统(即，具有相对于车辆的经校准的位置和对准)可以是针对根据本公开的方法而假定的。因此，也可以假定相对于摄像头系统的位置已知车辆的挡风玻璃的坐标。
例如，车辆的迫近干扰事件可以包括车辆前方的道路颠簸。指向车辆前方道路的另一摄像头例如可以识别可能会在不久的将来干扰车辆移动的坑洼。即时干扰事件可以包括车辆的振动或抖动(jerk)。振动可能是因车辆本身而造成的，例如在特定的发动机转速下，而抖动可能是因外部影响而造成的，例如因风力或风向的变化。所有迫近或即时干扰事件均可能导致车辆的平移坐标(例如，沿在x方向、y方向和/或z方向)以及旋转角度(例如，偏航角度、俯仰角度和/或侧倾角度)发生突然变化。
可以通过车辆的挡风玻璃上的平视显示器(HUD)使与外部对象相关的可视输出可见。根据本公开的方法通过校正估计眼睛位置或者基本显示位置或者这两者，针对因迫近或即时干扰事件而造成的影响，来校正例如为平视显示器提供的可视输出。由于这种校正，因此，眼睛位置与显示位置(例如，在车辆的挡风玻璃上)之间的连接线的距离和方向在干扰事件期间保持不变。结果，尽管发生干扰事件，也仍然使与外部对象相关的可视输出变得稳定。因此，即使在干扰事件期间，可视输出也可以进一步显示在车辆的挡风玻璃上的正确位置处。
外部对象例如可以是可能干扰所考虑的车辆的移动的行人或另一车辆。因此，通过根据本公开的方法可以提高驾驶时的安全性，这是因为例如可以突出显示外部对象，以便引起驾驶员对车辆前方或侧方的可能危险的注意。
总之，根据本公开的方法为与外部对象相关的可视输出提供了“快速响应粗糙度校正(fast response asperity correction)”，以便例如尽管可能会发生干扰事件，但仍提供外部对象的稳定突出显示。另外，与外部对象相关的信息还可以包括元数据信息，比如车辆正在移动的道路附近的一些设施的开放时间或广告。
所述方法可以包括以下特征中的一个或更多个特征：
可以通过经由陀螺仪传感器和加速度计对车辆的振动和/或抖动进行测量，来检测所述至少一个迫近或即时干扰事件。可以由校正模块通过以下步骤来检测所述至少一个迫近或即时干扰事件：i)监测车辆前方的道路，ii)基于通过监测道路而提供的数据来估计地平面，以及iii)确定车辆前方的道路与估计的地平面的偏差。
而且，通过使用校正模块来标识驾驶员的估计眼睛位置的步骤还可以包括：基于摄像头系统提供的数据，相对于车辆坐标系来确定驾驶员的面部空间位置和身体空间位置；以及基于面部空间位置和身体空间位置，确定和/或验证估计眼睛位置。另外，标识驾驶员的估计眼睛位置的步骤还可以包括：基于面部空间位置和身体空间位置在预定时段内预测估计眼睛位置。此外，收集外部对象的空间信息的步骤可以包括：对象检测模块从由车辆的导航系统提供的三维地图提取数据。
根据实施方式，可以通过经由陀螺仪传感器和加速度计对车辆的振动和/或抖动进行测量，来检测所述至少一个迫近或即时干扰事件。另选地或另外地，可以由校正模块通过以下步骤来检测所述至少一个迫近或即时干扰事件：监测车辆前方的道路；基于通过监测道路而提供的数据来估计地平面；以及确定车辆前方的道路与估计的地平面的偏差。
可以通过使用立体摄像头系统和/或LIDAR传感器来监测车辆前方的道路。陀螺仪传感器、加速度计、立体摄像头系统以及LIDAR可能已经安装在车辆中，例如作为高级驾驶员辅助系统(ADAS)的一部分。因此，对于该实施方式，由于可以使用来自已经在车辆中可用的传感器的数据，因此可以以降低的成本在车辆中实现根据本公开的方法。另外，可以通过使用检测振动和抖动以及车辆前方道路与估计的地平面的偏差的陀螺仪传感器、加速度计、以及立体摄像头系统和LIDAR系统两者中的一个系统，检测迫近和即时干扰事件两者，来进一步提高要显示在平视显示器上的可视输出的稳定性。
通过使用校正模块来标识驾驶员的估计眼睛位置的步骤还可以包括：基于摄像头系统提供的数据，相对于车辆坐标系确定驾驶员的面部空间位置和身体空间位置；以及基于面部空间位置和身体空间位置，确定和/或验证估计眼睛位置。
可以基于经由摄像头系统提供的数据所确定的关键点以及这些关键点通过线和/或有向边缘的连接，来定义面部空间位置和身体空间位置。可以将这些点和边缘用于调整驾驶员模型，其中，驾驶员的眼睛、头部以及躯干可以是独立的可移动部分。例如，可以使用布娃娃模型，根据该模型，驾驶员的头部也由简单的立方体来建模，以用于对面部进行建模，并且可以将相似的简单几何形状用于对躯干和眼睛进行建模。
由于除了直接监测眼睛位置以外还可以基于面部空间位置和身体空间位置来确定和验证估计眼睛位置，因此估计眼睛位置的准确度可以因这种冗余而得以提高。而且，可以通过在预定时段内跟踪眼睛位置来检查估计眼睛位置的变化，这可以使得能够检查估计眼睛位置的可靠性。
为了验证估计眼睛位置，可以检查例如躯干、头部以及面部的空间位置是否与估计眼睛位置一致。例如，可以为估计眼睛位置与身体的关键点之间的最大距离或者这两者之间的相对移动的变化率定义一上限。总之，可以基于所确定的身体空间位置来对估计眼睛位置执行合理性检查。
而且，标识驾驶员的估计眼睛位置的步骤还可以包括：基于驾驶员的面部空间位置和身体空间位置来预测估计眼睛位置达预定时段。对于由在考虑驾驶员模型的情况下对驾驶员进行监测的摄像头系统所提供的数据，可以通过使用神经网络来执行估计眼睛位置的预测。由于对估计眼睛位置的预测，可以改善例如用于平视显示器的可视输出的稳定性。可以执行对估计眼睛位置的预测达较短时段(例如，几毫秒)，并且可以由可通过驾驶员的移动进行训练的神经网络来执行。
收集外部对象的空间信息的步骤可以包括：对象检测模块从由车辆的导航系统提供的三维地图提取数据。所述数据可以包括关于车辆正在其上行驶的道路的信息(例如，在下一个十字路口要走的车道)，并且与这些数据相关的信息可以突出显示要走的车道。
由于来自导航系统的已知数据，因此可以预先获知关于特殊外部对象的空间信息。这可以改善例如为平视显示器提供的可视输出的性能和可靠性。
在另一方面，本公开致力于一种在车辆的驾驶员的视野内提供与外部对象相关的信息的系统。该系统包括：摄像头系统，该摄像头系统被配置成监测车辆内的驾驶员；以及驾驶员建模模块，驾驶员建模模块被配置成基于由摄像头系统提供的数据，相对于车辆坐标系来标识驾驶员的估计眼睛位置。该系统还包括对象检测模块，该对象检测模块被配置成收集处于车辆外侧的至少一个外部对象的空间信息，并且基于空间信息来确定与外部对象相关的可视输出的基本显示位置。而且，该系统包括校正模块，该校正模块被配置成：i)检测关于车辆的移动的至少一个迫近或即时干扰事件；以及ii)响应于迫近或即时干扰事件，基于估计眼睛位置来确定眼睛位置校正和/或基于基本显示位置来确定显示位置校正，以便对车辆的意外移动进行补偿。另外，该系统包括显示模块，该显示模块被配置成基于估计眼睛位置和基本显示位置并且基于眼睛位置校正和/或显示位置校正，生成与外部对象相关的可视输出。
总之，根据本公开的系统包括用于执行上面针对对应的方法描述的步骤的摄像头系统和四个模块。因此，上面针对所述方法描述的好处和优点对于根据本公开的系统也是有效的。
如本文所用，术语“模块”可以是指以下项、作为以下项的一部分或者包括以下项：专用集成电路(ASIC)、电子电路、可组合逻辑电路、现场可编程门阵列(FPGA)、执行代码的处理器(共享、专用或组)、提供上述功能的其它合适组件、或者上述中的一些或全部的组合，诸如采用芯片上系统。术语“模块”可以包括存储由处理器执行的代码的存储器(共享、专用或组)。
尽管提供了驾驶员建模模块来分析由摄像头系统提供的数据，并且提供了显示模块来生成可视输出，但是对象检测模块和校正模块正在收集关于车辆环境的进一步的信息，并因此可以包括另一些摄像头和/或传感器。这些摄像头和传感器可能已经安装在车辆中。因此，该系统可以主要执行以下数据的融合：该数据是已经从提供用于其它用途的数据的摄像头和传感器获得的。因此，可以以低成本安装该系统。
该系统可以包括以下特征中的一个或更多个特征：
摄像头系统可以包括飞行时间摄像头和/或近红外摄像头和/或立体摄像头。校正模块可以包括陀螺仪传感器和加速度计，该陀螺仪传感器和加速度计测量车辆的振动和/或抖动，作为关于该车辆的移动的即时干扰事件。另选地或者另外地，校正模块可以包括地平面估计模块，该地平面估计模块被配置成监测车辆前方的道路，并且基于通过监测该道路而提供的数据来估计地平面，其中，校正模块可以被配置成通过确定车辆前方的道路与所估计的地平面的偏差来确定关于该车辆的移动的迫近干扰事件。地平面估计模块可以包括对车辆前方的道路进行监测的立体摄像头系统和/或LIDAR系统。
而且，驾驶员建模模块还可以包括：i)面部检测器，该面部检测器基于由摄像头系统提供的数据，相对于车辆坐标系来确定驾驶员的面部空间位置；ii)身体检测器，该身体检测器基于由摄像头系统提供的数据，相对于车辆坐标系来确定驾驶员的身体空间位置；iii)眼睛跟踪器，该眼睛跟踪器基于面部空间位置来确定并跟踪估计眼睛位置；以及iv)验证单元，该验证单元基于身体空间位置来验证估计眼睛位置。另外，对象检测模块可以包括车辆的高级驾驶员辅助系统的用于标识外部对象的空间信息的至少一个组件。
根据实施方式，摄像头系统可以包括飞行时间摄像头和/或近红外摄像头和/或立体摄像头。如果该系统包括飞行时间摄像头，则除了关于光强度的信息以外，还将获得例如驾驶员的面部的深度分布图。如果该系统包括立体摄像头，则同样有效。如果摄像头系统包括近红外摄像头，则可以很容易将驾驶员的身体与车辆中的其它非生命体区分开。
校正模块可以包括陀螺仪传感器和加速度计，该陀螺仪传感器和加速度计测量车辆的振动和/或抖动，作为关于该车辆的移动的即时干扰事件。这些传感器接可以提供关于坐标系的三个轴的信息，例如关于沿x方向、y方向和/或z方向的加速度，以及关于绕这些方向的旋转。因此，可以通过陀螺仪传感器和加速度计来检测车辆的任何意外移动。这提高了系统的可靠性以及由显示模块提供的可视输出的稳定性。
校正模块可以包括地平面估计模块，该地平面估计模块被配置成监测车辆前方的道路，并且基于通过监测道路而提供的数据来估计地平面。另外，校正模块可以被配置成通过确定车辆前方的道路与估计的地平面的偏差，确定关于该车辆的移动的迫近干扰事件。而且，地平面估计模块可以包括对车辆前方的道路进行监测的立体摄像头系统和/或LIDAR系统。
通过基于对车辆前方的道路进行监测来估计地平面，地面估计模型定义了用于确定例如因车辆前方的道路颠簸(比如坑洼)而造成的迫近干扰事件的参考。如果超出与该估计的地平面的偏差的预定义阈值，则可以识别迫近干扰事件。另外，也可以将比如道路颠簸或坑洼的迫近干扰事件标识为外部对象，可以为其提供附加信息，其中，该对象可以在平视显示器上突出显示。因此，可以通过突出显示迫近干扰事件或对象来提高驾驶安全性。
根据另一实施方式，驾驶员建模模块还可以包括：面部检测器、身体检测器、眼睛跟踪器以及验证单元。面部检测器和身体检测器分别可以基于由摄像头系统提供的数据，相对于车辆坐标系来确定驾驶员的面部空间位置和身体空间位置。眼睛跟踪器可以被设置为基于面部空间位置来确定并跟踪估计眼睛位置。而且，验证单元可以基于身体空间位置来验证估计眼睛位置。
如上提及，面部空间位置和身体空间位置可以分别根据驾驶员的关键位置(例如，面部的上端和下端、头部以及躯干的位置)来进行定义。由于驾驶员的面部空间位置和身体空间位置所提供的附加信息，可以提高该系统的准确度和可靠性。另外，可以例如通过定义相应的空间位置之间的差异的上限来执行合理性检查。
对象检测模块可以包括车辆的高级驾驶员辅助系统(ADAS)的、被配置为标识外部对象的空间信息的至少一个组件。高级驾驶员辅助系统的此类组件的示例是另一些摄像头系统和雷达系统。因此，由于可以使用车辆上已经可用的系统的一个或更多个组件，对象检测模块可以不需要额外的硬件组件。
在另一方面，本公开致力于一种计算机系统，所述计算机系统被配置成执行本文所描述的计算机实现方法的若干或所有步骤。
该计算机系统可以包括处理单元、至少一个存储器单元以及至少一个非暂时性数据存储部。该非暂时性数据存储部和/或存储器单元可以包括计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
在另一方面，本公开致力于一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现方法的若干或所有步骤或各方面的指令。可以将计算机可读介质被配置为：诸如光盘或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等等。而且，可以将计算机可读介质配置为可经由诸如互联网连接的数据连接来访问的数据存储部。计算机可读介质例如可以是在线数据存储库或云存储。
本公开还致力于一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或各方面。
附图说明
本文结合以下示意性地示出的附图，对本公开的示例性实施方式和功能进行描述：
图1示意性地描绘包括平视显示器的车辆，在该平视显示器上显示关于外部对象的信息，
图2示意性地描绘了根据本公开的用于在车辆的平视显示器上提供关于外部对象的信息的系统的组件，以及
图3示意性地描绘了根据本公开的系统在安装在车辆内时的性能。
具体实施方式
图1示意性地描绘了车辆11，其中驾驶员13处于座位15上并且车辆包括挡风玻璃17。车辆11还配备有平视显示器19，该平视显示器由控制系统21提供，用于以平视显示器19的形式在挡风玻璃17处提供可视输出。可视输出可以包括关于例如速度限制的非空间信息以及例如关于车辆11的环境中的交通的另一些通用信息。
车辆11还配备有内部摄像头系统23，该内部摄像头系统23被配置成对驾驶员13进行监测。内部摄像头系统23是校准的摄像头，即，内部摄像头系统23的位置或方位是已知的，并且相对于车辆11的三维坐标系进行了校准。即，摄像头系统23相对于驾驶员13的对准也进行了校准和预定。
而且，车辆11的驾驶员13必须知道车辆11的环境中的对象，例如，可能会干扰车辆11的行驶移动的行人形式的外部对象25。可能干扰车辆11的移动的外部对象25的另一些示例是车辆前方的比如坑洼的道路颠簸或者车辆11的环境中的其它车辆。为了提高车辆11的安全性，希望在车辆11的平视显示器19上示出关于外部对象25的进一步信息。例如，在平视显示器19上突出显示可能是危险的或者因车辆11而自身可能处于危险中的外部对象25，以便加强驾驶员13对外部对象25的注意。
图2示意性地描绘了用于控制车辆11的平视显示器19并且用于在平视显示器19上提供与外部对象25相关的信息的系统21的组件。内部摄像头系统23包括飞行时间摄像头27，该飞行时间摄像头27提供关于被监测对象(即，驾驶员13)的光强度和深度分布图的信息。内部摄像头系统23提供的数据可用于驾驶员建模模块31，该驾驶员建模模块31为系统21的另一些模块提供驾驶员的估计眼睛位置。作为另选例，内部摄像头系统23可以包括立体摄像头或红外摄像头。
驾驶员建模模块31包括面部检测器33和身体检测器35，两者均从内部摄像头系统23接收数据。面部检测器33和身体检测器35皆被配置成确定车辆11的驾驶员13(参见图1)的面部和身体的关键位置。这些关键位置皆包括相对于车辆的三维坐标系的三个坐标(例如，x位置、y位置以及z位置)，内部摄像头系统23针对该三维坐标系进行校准。
将由面部检测器33确定的关键位置传递至面部跟踪器37，该面部跟踪器确定并跟踪车辆11内的驾驶员11的面部的位置。在预定时段内跟踪面部位置。基于由面部跟踪器37提供的数据，驾驶员建模模块31的眼睛跟踪器39确定驾驶员13相对于车辆的三维坐标系的眼睛位置。这可以通过使用驾驶员13的面部的模型来执行。基于面部的模型对驾驶员的眼睛位置的估计的步骤还可以包括：神经网络基于从内部摄像头系统23接收到的数据执行学习过程。由于经由面部跟踪器37跟踪驾驶员13的面部，眼睛跟踪器39也跟踪眼睛位置达预定时段。
详细地，眼睛跟踪器39确定驾驶员13的右眼和左眼的位置，并且计算驾驶员13的左眼位置与右眼位置之间的连接线。将驾驶员13的眼睛之间的该连接线的中心用作眼睛位置，这是因为将驾驶员13的注视或视野以及注视方向定义为垂直于驾驶员13的眼睛之间的连接线的中心。注视方向还由外部对象25的空间位置确定，该外部对象例如要在平视显示器19上突出显示。
由身体检测器35提供的驾驶员13的身体的关键位置用作驾驶员模型41的输入。详细地，使例如图1所示的简化几何形状适合驾驶员13的头部和躯干的关键位置，其中，关键位置是由身体检测器35提供的。按类似的方式，提供由面部检测器33提供的数据(即，面部的关键位置)作为驾驶员模型的关于驾驶员13的头部和面部的输入。用这种方法，可以确定驾驶员13的冗余眼睛位置，即，除了由面部跟踪器37和眼睛跟踪器39估计的眼睛位置之外。
而且，驾驶员建模模块31包括融合和验证模块43，其中，由眼睛跟踪器39和驾驶员模型41所提供的数据被组合并验证。详细地，从眼睛跟踪器39接收到的眼睛位置是通过基于驾驶员模型41确定的冗余眼睛位置来验证的，并且相对于基于驾驶员13的身体的关键位置确定的驾驶员模型41来进行合理性检查。融合和验证模块43输出驾驶员13的相对于车辆的三维坐标系的估计眼睛位置73(参见图3)。
另外，可以基于经由面部跟踪器37对驾驶员13的面部的跟踪，使用神经网络来预测车辆11内的驾驶员13的眼睛位置和注视方向。即，可以将跟踪数据用于神经网络的学习。
系统21还包括对象检测模块45，该对象检测模块被配置成收集处于车辆11外侧的至少一个外部对象25(参见图1)的空间信息。对象检测模块45包括对象检测装置47，该对象检测装置是被安装在车辆11中的高级驾驶员辅助系统(ADAS)的组件。对象检测装置47包括另一摄像头和/或雷达系统(未示出)。另外，对象检测模块45包括三维地图49，该三维地图是例如由车辆11的导航系统提供的。对象检测装置47和三维地图49皆为系统21所包括的校正模块51提供车辆外侧的外部对象25的空间信息，即关于距离以及对准或方向的信息。对象检测模块45还确定检测到的外部对象25的分类，即，该对象检测模块基于由对象检测装置47接收到的数据和/或三维地图49来确定是否要将该外部对象25突出显示为例如行人、外部车辆、或车辆11要走的车道，或者外部对象25是否是要被显示附加信息的设施。
校正模块51包括加速度计53和陀螺仪传感器54，该加速度计和陀螺仪传感器检测关于车辆的移动的快速变化，即，突然的意外移动。详细地，加速度计测量沿车辆坐标系的三个方向中的任一方向的加速度，而陀螺仪传感器确定车辆的关于车辆坐标系的任何旋转移动，即，偏航角度、俯仰角度以及侧倾角度的任何变化。由加速度计53和陀螺仪传感器54提供的数据是由陀螺仪预处理单元55接收的，该陀螺仪预处理单元55确定车辆的加速度或旋转移动的变化是否与要为平视显示器19提供的与外部对象25相关的信息的显示的校正相关。
校正模块51还包括立体摄像头57和/或LIDAR系统59。立体摄像头57和LIDAR系统59用于监测车辆11前方的道路并且为校正模块51的地平面估计器61提供数据。作为另选例，LIDAR系统59可能由雷达系统代替。
另外，校正模块包括用于手动用户输入的装置63，该装置63使得车辆的用户(例如，驾驶员13)能够为要在平视显示器19上显示的关于外部对象25的信息提供用户特定校正65。例如，驾驶员13能够校正经由平视显示器19在挡风玻璃17上示出关于外部对象25的信息的视角。
校正模块51还包括对象呈现器67，该对象呈现器从融合和验证模块43(即，从驾驶员建模模块31)接收估计眼睛位置73。另外，对象呈现器67从对象检测模块45接收关于外部对象25的空间信息，并且基于由对象检测模块45提供的空间信息并且基于估计眼睛位置73来估计基本显示位置77。另外，对象呈现器67从对象检测模块45接收关于外部对象25的分类的数据，即，关于要在平视显示器19上在驾驶员看到的基本显示位置77处显示的与外部对象25相关的信息。
另外，对象呈现器67接收用户特定校正65以便校正将在平视显示器19上显示与对象25相关的信息的位置。考虑到用户特定校正65，以便在将外部对象25的信息显示在车辆11的挡风玻璃17上时使外部对象的信息移位(参见图1和图3)。
而且，校正模块51包括快速响应粗糙度校正控制器(FRAC控制器)69，该FRAC控制器从对象呈现器67接收关于外部对象25的所有相关信息，即，估计眼睛位置73、基本显示位置77以及外部对象25的分类。而且，FRAC控制器69从加速度计53接收数据并且从陀螺仪传感器54接收由陀螺仪预处理模块55进行了预处理的数据，以便在车辆处发生即时干扰事件时校正眼睛位置和注视方向。
FRAC控制器69还从地平面估计器61、立体摄像头57以及LIDAR系统59接收数据。由于立体摄像头57和LIDAR系统59监测车辆11前方的道路，并且由于地平面估计器61估计参考平面作为车辆11前方区域的地平面，FRAC控制器69通过使用来自立体摄像头57和来自LIDAR系统59的数据，来确定与由地平面估计器61确定的地平面或参考平面相对的偏差。用这种方法，FRAC控制器69能够将车辆前方的比如坑洼的道路颠簸标识为车辆11的移动的迫近干扰事件。
总之，FRAC控制器69以较短的时间尺度(例如，在几毫秒内)识别出车辆11的移动的迫近和即时干扰事件，并因此能够识别出这些干扰事件对要在平视显示器19上显示的信息的影响。详细地，FRAC控制器69能够通过以较短的时间尺度分别确定估计眼睛位置73和基本显示位置77的眼睛位置校正和/或显示位置校正来抵消干扰事件。
应注意，关于外部对象25的空间信息在车辆11的挡风玻璃17上的精确显示取决于三个因素，即，i)要显示的对象的空间位置，ii)驾驶员的眼睛的空间位置及其注视方向，以及iii)挡风玻璃的空间位置。因此，当与外部对象25相关的信息的外观被显示在挡风玻璃17处的平视显示器19上时，可以通过校正驾驶员的估计眼睛位置73或挡风玻璃17上的基本显示位置77或者这两者来进行校正。由于校正，尽管发生干扰事件，挡风玻璃17上的显示位置相对于驾驶员13的眼睛位置的距离和空间对准在时间上也保持恒定。
与外部对象25相关的校正信息(包括挡风玻璃17上的经校正的显示位置以及驾驶员13的经校正的眼睛位置)还被从FRAC控制器69传递至系统21的显示模块或最终呈现器71。显示模块71被配置成生成用于平视显示器19的与外部对象25相关的可视输出。可视输出基于与外部对象25相关的信息的经校正的显示位置、驾驶员13的经校正的眼睛位置以及外部对象25的分类。显示模块或最终呈现器71通过传递可视输出来控制平视显示器19。
如图3所示，与外部对象25(即，车辆环境中的行人)相关的可视输出是用于在车辆11内的驾驶员13的视野内突出显示对象25或行人的框架75。即，可视输出实际上是作为平视显示器19的一部分显示在了挡风玻璃17上的显示位置77内。
框架75仅仅是与外部对象25相关的可视输出的一个示例，该框架可以作为空间信息显示在平视显示器19上。进一步的示例是突出显示的信息针对车辆前方的比如坑洼的道路颠簸，以及突出显示基于来自车辆11的导航系统的信息而要走的车道。而且，可以在平视显示器19上显示与车辆11的环境中的静态对象(例如，商店或其它设施)相关的元信息。元信息可以包括相应商店或设施的营业时间或广告。
由于FRAC控制器69(参见图2)，即使发生影响车辆的移动的迫近或即时干扰事件，也使比如用于突出显示行人作为外部对象25的框架75(参见图3)的可视输出变得稳定并进一步在挡风玻璃17上的正确位置处示出。因此，通过使用图2所示的系统，可以减少或避免可视输出的不希望的抖动。
标号列表
11 车辆
13 驾驶员
15 座位
17 挡风玻璃
19 平视显示器(HUD)
21 控制平视显示器的系统
23 内部摄像头系统
25 外部对象
27 飞行时间摄像头
31 驾驶员建模模块
33 面部检测器
35 身体检测器
37 面部跟踪器
39 眼睛跟踪器
41 驾驶员模块
43 融合和验证模块
45 对象检测模块
47 对象检测装置(ADAS)
49 三维地图
51 校正模块
53 加速度计
54 陀螺仪传感器
55 陀螺仪预处理模块
57 立体摄像头
59 LIDAR系统
61 地平面估计器
63 手动用户输入
65 用户特定校正
67 对象呈现器
69 快速响应粗糙度校正(FRAC)控制器
71 显示模块，最终呈现器
73 估计眼睛位置
75 框架
77 基本显示位置

Claims (15)

1.一种在车辆(11)的驾驶员(13)的视野内提供与外部对象(25)相关的信息的计算机实现方法，所述计算机实现方法包括以下步骤：
由所述车辆(11)内的摄像头系统(23)对所述驾驶员(13)进行监测；
借助于驾驶员建模模块(31)，基于由所述摄像头系统(23)提供的数据，相对于车辆坐标系来标识所述驾驶员(13)的估计眼睛位置(73)；
借助于对象检测模块(45)，收集处于所述车辆(11)外侧的至少一个外部对象(25)的空间信息；
通过使用所述对象检测模块(45)，基于所述空间信息来确定与所述外部对象(25)相关的可视输出的基本显示位置(77)；
借助于校正模块(51)，检测关于所述车辆(11)的移动的至少一个迫近或即时干扰事件；
通过使用所述校正模块(51)，响应于所述至少一个迫近或即时干扰事件，基于所述估计眼睛位置(73)来确定眼睛位置校正和/或基于所述基本显示位置(77)来确定显示位置校正，以便对所述车辆(11)的意外移动进行补偿；以及
借助于显示模块(71)，基于所述估计眼睛位置(73)和所述基本显示位置(77)并且基于所述眼睛位置校正和/或所述显示位置校正，生成与所述外部对象相关的所述可视输出。
2.根据权利要求1所述的计算机实现方法，其中，通过经由陀螺仪传感器(53)和加速度计(54)对所述车辆(11)的振动和/或抖动进行测量，来检测所述至少一个迫近或即时干扰事件。
3.根据权利要求1或2所述的计算机实现方法，其中，所述至少一个迫近或即时干扰事件是由所述校正模块(51)通过以下操作检测到的：
监测所述车辆(11)前方的道路；
基于通过监测所述道路而提供的数据来估计地平面；以及
确定所述车辆(11)前方的道路与估计的地平面的偏差。
4.根据前述权利要求中任一项所述的计算机实现方法，其中，通过使用所述校正模块(51)来标识所述驾驶员(13)的所述估计眼睛位置(73)的步骤还包括：
基于由所述摄像头系统(23)提供的数据，相对于所述车辆坐标系来确定所述驾驶员(13)的面部空间位置和身体空间位置；以及
基于所述面部空间位置和所述身体空间位置，确定和/或验证所述估计眼睛位置(73)。
5.根据权利要求4所述的计算机实现方法，其中，标识所述驾驶员(13)的所述估计眼睛位置(73)的步骤还包括：基于所述面部空间位置和所述身体空间位置，在预定时段内预测所述估计眼睛位置。
6.根据前述权利要求中任一项所述的计算机实现方法，其中，收集所述外部对象(25)的所述空间信息的步骤包括：所述对象检测模块(45)从由所述车辆(11)的导航系统提供的三维地图(49)提取数据。
7.一种在车辆(11)的驾驶员(13)的视野内提供与外部对象(25)相关的信息的系统(21)，所述系统(21)包括：
摄像头系统(23)，所述摄像头系统被配置成监测所述车辆(11)内的驾驶员(13)；
驾驶员建模模块(31)，所述驾驶员建模模块被配置成基于由所述摄像头系统(23)提供的数据，相对于车辆坐标系来标识所述驾驶员(13)的估计眼睛位置(73)；
对象检测模块(45)，所述对象检测模块被配置成收集处于所述车辆(11)外侧的至少一个外部对象(25)的空间信息，并且基于所述空间信息来确定与所述外部对象(25)相关的可视输出的基本显示位置(77)；
校正模块(51)，所述校正模块被配置成：
i)检测关于所述车辆(11)的移动的至少一个迫近或即时干扰事件；以及
ii)响应于所述至少一个迫近或即时干扰事件，基于所述估计眼睛位置(73)来确定眼睛位置校正和/或基于所述基本显示位置(77)来确定显示位置校正，以便对所述车辆(11)的意外移动进行补偿；以及
显示模块(71)，所述显示模块被配置成基于所述估计眼睛位置(73)和所述基本显示位置(77)并且基于所述眼睛位置校正和/或所述显示位置校正，生成与所述外部对象相关的所述可视输出。
8.根据权利要求7所述的系统(21)，其中，所述摄像头系统(23)包括飞行时间摄像头(27)和/或近红外摄像头和/或立体摄像头。
9.根据权利要求7或8所述的系统(21)，其中，所述校正模块(51)包括陀螺仪传感器(54)和加速度计(53)，所述陀螺仪传感器和所述加速度计测量所述车辆(11)的振动和/或抖动，作为关于所述车辆(11)的移动的即时干扰事件。
10.根据权利要求7至9中任一项所述的系统(21)，其中，
所述校正模块(51)包括地平面估计模块(61)，所述地平面估计模块被配置成对所述车辆(11)前方的道路进行监测，并且基于通过监测所述道路而提供的数据来估计地平面，并且
所述校正模块(51)被配置成通过确定所述车辆(11)前方的道路与估计的地平面的偏差，来确定关于所述车辆(11)的移动的迫近干扰事件。
11.根据权利要求10所述的系统(21)，其中，所述地平面估计模块(61)包括立体摄像头系统(57)和/或LIDAR系统(59)，所述立体摄像头系统和/或LIDAR系统对所述车辆(11)前方的道路进行监测。
12.根据权利要求7至11中任一项所述的系统(21)，其中，所述驾驶员建模模块(31)还包括：
面部检测器(33)，所述面部检测器基于由所述摄像头系统(23)提供的数据，相对于所述车辆坐标系来确定所述驾驶员(13)的面部空间位置；
身体检测器(35)，所述身体检测器基于由所述摄像头系统(23)提供的数据，相对于所述车辆坐标系来确定所述驾驶员(13)的身体空间位置；
眼睛跟踪器(39)，所述眼睛跟踪器基于所述面部空间位置来确定并跟踪所述估计眼睛位置(73)；以及
验证单元(43)，所述验证单元基于所述身体空间位置来验证所述估计眼睛位置(73)。
13.根据权利要求7至12中任一项所述的系统(21)，其中，所述对象检测模块(31)包括所述车辆(11)的高级驾驶员辅助系统的、被配置为标识所述外部对象(25)的空间信息的至少一个组件。
14.一种计算机系统，所述计算机系统被配置成执行根据权利要求1至6中任一项所述的计算机实现方法。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括执行根据权利要求1至6中任一项所述的计算机实现方法的指令。
CN202110183579.XA 2020-02-12 2021-02-10 在车辆驾驶员的视野中显示空间信息的系统和方法 Active CN113247012B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20157009.0 2020-02-12
EP20157009.0A EP3866055A1 (en) 2020-02-12 2020-02-12 System and method for displaying spatial information in the field of view of a driver of a vehicle

Publications (2)

Publication Number Publication Date
CN113247012A true CN113247012A (zh) 2021-08-13
CN113247012B CN113247012B (zh) 2024-01-30

Family

ID=69581951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110183579.XA Active CN113247012B (zh) 2020-02-12 2021-02-10 在车辆驾驶员的视野中显示空间信息的系统和方法

Country Status (3)

Country Link
US (1) US11763539B2 (zh)
EP (1) EP3866055A1 (zh)
CN (1) CN113247012B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质
WO2023078374A1 (zh) * 2021-11-08 2023-05-11 维沃移动通信有限公司 导航方法、装置、电子设备和可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178894A1 (en) * 2001-06-30 2004-09-16 Holger Janssen Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
CN103300815A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 眼球关注点确定方法、装置和系统
US20130307771A1 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection
US20140160012A1 (en) * 2012-12-11 2014-06-12 Automotive Research & Test Center Automatic correction device of vehicle display system and method thereof
DE102014100352A1 (de) * 2013-01-18 2014-07-24 Carnegie Mellon University Fahrerblickdetektionssystem
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
US20160025973A1 (en) * 2014-07-22 2016-01-28 Navdy, Inc. Compact Heads-Up Display System
US20160163108A1 (en) * 2014-12-08 2016-06-09 Hyundai Motor Company Augmented reality hud display method and device for vehicle
US20170197630A1 (en) * 2016-01-11 2017-07-13 Trw Automotive Gmbh Control system and method for determining an irregularity of a road surface
US20180141561A1 (en) * 2015-05-06 2018-05-24 Continental Teves Ag & Co. Ohg Method and Apparatus for Detecting and Assessing Road Reflections
US20190265703A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101359660B1 (ko) 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
FR3008496B1 (fr) 2013-07-12 2016-12-23 Valeo Etudes Electroniques Dispositif et procede de detection de la position du visage d'un individu, notamment d'un conducteur de vehicule automobile, afficheur comprenant un tel dispositif
KR101519290B1 (ko) 2014-04-09 2015-05-11 현대자동차주식회사 차량용 헤드 업 디스플레이 제어방법
EP3488282A4 (en) 2016-07-19 2019-08-07 Supereye, Inc. SYSTEMS AND METHODS FOR PREDICTIVE VISUAL RENDERING

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178894A1 (en) * 2001-06-30 2004-09-16 Holger Janssen Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
CN103300815A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 眼球关注点确定方法、装置和系统
US20130307771A1 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection
US20140160012A1 (en) * 2012-12-11 2014-06-12 Automotive Research & Test Center Automatic correction device of vehicle display system and method thereof
DE102014100352A1 (de) * 2013-01-18 2014-07-24 Carnegie Mellon University Fahrerblickdetektionssystem
US20140204193A1 (en) * 2013-01-18 2014-07-24 Carnegie Mellon University Driver gaze detection system
US20160025973A1 (en) * 2014-07-22 2016-01-28 Navdy, Inc. Compact Heads-Up Display System
US20160163108A1 (en) * 2014-12-08 2016-06-09 Hyundai Motor Company Augmented reality hud display method and device for vehicle
US20180141561A1 (en) * 2015-05-06 2018-05-24 Continental Teves Ag & Co. Ohg Method and Apparatus for Detecting and Assessing Road Reflections
US20170197630A1 (en) * 2016-01-11 2017-07-13 Trw Automotive Gmbh Control system and method for determining an irregularity of a road surface
US20190265703A1 (en) * 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023078374A1 (zh) * 2021-11-08 2023-05-11 维沃移动通信有限公司 导航方法、装置、电子设备和可读存储介质
CN114043932A (zh) * 2021-11-17 2022-02-15 中汽创智科技有限公司 一种车辆平视显示器的控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11763539B2 (en) 2023-09-19
CN113247012B (zh) 2024-01-30
US20210245767A1 (en) 2021-08-12
EP3866055A1 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
CN113247012B (zh) 在车辆驾驶员的视野中显示空间信息的系统和方法
US20210208597A1 (en) Sensor aggregation framework for autonomous driving vehicles
EP3514032B1 (en) Adjusting velocity of a vehicle for a curve
KR102547823B1 (ko) 컨텐츠 시각화 장치 및 방법
CN112528737B (zh) 用于检测对象的系统和方法
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
KR20200123474A (ko) 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬
WO2018221453A1 (ja) 出力装置、制御方法、プログラム及び記憶媒体
Fletcher et al. Driver assistance systems based on vision in and out of vehicles
CN102372001B (zh) 用于确定车辆的合适的行驶速度的方法和设备
CN106184220B (zh) 一种基于车辆定位轨迹的车道内异常驾驶检测方法
JP2012507780A (ja) 道路データを決定するための方法及びシステム
US10814788B2 (en) Recognized-region estimation device, recognized-region estimation method, and recognized-region estimation program
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
JP2015505759A (ja) 車両の迫っている横転を検知するための方法
KR20210037790A (ko) 자율 주행 장치 및 방법
JP6259680B2 (ja) 安全確認判定装置、及び運転支援装置
EP4001844A1 (en) Method and apparatus with localization
JP6115429B2 (ja) 自車位置認識装置
KR101588787B1 (ko) 전방차량의 횡방향 거리 결정 방법 및 이를 이용한 헤드 업 디스플레이 장치
US10684695B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
US20220238083A1 (en) Information processing device, and display method
JP7462738B2 (ja) 車載クラスタ追跡システム
CN116783886A (zh) 多相机的基于运动的在线校准
JP2021146905A (ja) 制御装置、制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Luxembourg

Patentee after: Aptiv Technology (2) Co.

Country or region after: Luxembourg

Address before: Babado J San Michael

Patentee before: Aptiv Technologies Ltd.

Country or region before: Barbados

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240229

Address after: Luxembourg

Patentee after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Patentee before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240321

Address after: Schaffhausen

Patentee after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Patentee before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg