CN110891841A

CN110891841A - 用于查明目标处于车辆驾驶员的视野中的概率的方法和设备

Info

Publication number: CN110891841A
Application number: CN201880047125.6A
Authority: CN
Inventors: M·布卢默; F·巴德; M·布赫纳; J·尼曼; M·沃尔弗拉姆; J·沃尔特斯; C·伊泽特
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2017-08-21
Filing date: 2018-05-16
Publication date: 2020-03-17
Anticipated expiration: 2038-05-16
Also published as: WO2019037907A1; CN110891841B; US20200193629A1; DE102017214545A1; US11935262B2

Abstract

在所述方法中，根据三维场景的所提供的原始数据(R)来查明所述三维场景的一个或多个目标(O)，所述三维场景代表在车辆之内和/或之外的预定的周围环境。根据所述三维场景的所提供的原始数据(R)来查明二维图像，使得所述二维图像将三维场景的所查明的目标(O)映射到曲面上，其中，所述二维图像具有多个像素(P)，所述各像素分别代表三维场景的一个或多个所述查明的目标(O)的至少一部分。此外，提供代表驾驶员的至少一个所查明的视野的数据(FOV)。对于所查明的目标(O)中的至少一个目标，根据所提供的数据(FOV)和所述二维图像来查明所述至少一个目标(O)处于驾驶员的视野中的概率。

Description

用于查明目标处于车辆驾驶员的视野中的概率的方法和设备

技术领域

本发明涉及一种用于查明目标处于车辆驾驶员的视野中的概率的方法。此外，本发明涉及一种用于查明目标处于车辆驾驶员的视野中的概率的设备。此外，本发明涉及一种用于查明目标处于车辆驾驶员的视野中的概率的计算机程序以及计算机程序产品。

背景技术

早期的驾驶员辅助系统、如防抱死系统和电子稳定程序限于对车辆控制的直接支持，而在此期间存在主动地向驾驶员指示现有的危险的多个驾驶员辅助系统。通过改善周围环境检测，驾驶员辅助系统可以明显更多地识别和预测出潜在的碰撞情况，并且提早向驾驶员指示即将发生的危险情况。然而，过量的指示和警告可能导致驾驶员认知上的超负荷并且这甚至使驾驶员从原本的行驶任务分心。此外认为，驾驶员在存在多个不必要的警告的情况下受这些警告干扰或者甚至感到在其驾驶能力方面被抨击，并且随后关断该系统。因此，有利的可能是，如果在没有警告的情况下也可以期待合适的驾驶员反应，则有针对性地放弃这些警告的发出。

因此，用于部分自动化或者高度自动化行驶的现代的驾驶员辅助系统越来越多地用于评估驾驶员的情况意识。

这样的对情况意识的评估通常基于对驾驶员将其注意力放到何处的评估。因为在行驶期间驾驶员在车辆中被多个视觉上的刺激包围，因此与状态相关地重要的可能是，能够评估：确定的目标对于驾驶员是否可见和/或确定的目标是否能够被驾驶员感知。

发明内容

本发明的目的在于，提供一种方法和一种设备，所述方法或所述设备能实现可靠地查明目标处于车辆驾驶员的视野中的概率。

所述目的通过各独立权利要求的特征来实现。在各从属权利要求中表明有利的实施方案。

按照第一方面，本发明的特征在于一种用于查明目标处于车辆驾驶员的视野中的概率的方法。按照第二方面，本发明的特征在于一种用于查明目标处于车辆驾驶员的视野中的概率的设备。所述设备构成为用于实施所述方法或者所述方法的实施方案。

在所述方法中，根据三维场景的所提供的原始数据来查明所述三维场景的一个或多个目标，所述三维场景代表在车辆之内和/或之外的预定的周围环境。根据所述三维场景的所提供的原始数据来这样查明二维图像，使得所述二维图像将三维场景的所查明的目标映射到曲面上，其中，所述二维图像具有多个像素，所述各像素分别代表三维场景的一个或多个所述查明的目标的至少一部分。此外，提供代表驾驶员的至少一个所查明的视野的数据。在此，所述至少一个所查明的视野根据在车辆中利用预定的检测传感机构所检测的至少一个预定的检测参量来查明。对于所查明的目标中的至少一个目标，根据所提供的数据和所述二维图像来查明所述至少一个目标处于驾驶员的视野中的概率，所述驾驶员的视野也可以表示为驾驶员的真实的或者说实际的视野。

对于渲染可以使用不同的方法、例如光线投射和/或栅格化等等。光线投射表示对可能的视线进行追溯的方法。栅格化、也称为扫描转换表示将矢量图像转化为栅格图像。

三维场景的目标例如包括交通指示牌和/或交通信号灯和/或车辆和/或人和/或车辆中的操作元件等等。

映射或渲染具有如下优点：也能够考虑被遮挡的目标。

此外，按照本发明的方法能实现概率上的如下结论，即，所述至少一个目标以何种概率处于驾驶员的视野中。优选地，对于车辆所已知的所有目标查明所述相应的目标处于驾驶员的视野中的概率。

不同于驾驶员的所查明的视野，驾驶员的视野是驾驶员真实的或者说实际上的视野。所查明的视野由于检测公差和/或模型公差可能偏离于真实的视野。

所述视野可以包括一个或多个视野范围。特别是，所述视野可以包括中央视野范围和/或边缘视野范围。在所述中央视野范围中，使用视网膜的中心位置以用于凝视目标。在边缘视野范围中，为了感知而使用视网膜中央凹外部的区域。

有利地，因此例如能够以更高的准确度作出驾驶员聚焦到哪个目标和/或驾驶员的视觉上的注意力位于何处的结论。特别是能够因此确保提高对于如下结论的质量，即，驾驶员在行驶情况方面是否是适当专注的。

在按照第一和第二方面的一种有利的实施方案中，所述曲面包括或者是球体表面的至少一部分，其中，驾驶员的单只眼睛(Zyklopauge)形成球体的中心。在此，三维场景的所查明的目标的至少一部分映射或渲染到球体表面上。在此，只要直径足够小、亦即球体小到使得所述球体不包括应当映射在表面上的目标，则球体的直径就起到次要的作用。

在按照第一和第二方面的另一种有利的实施方案中，在所述二维图像中查明与驾驶员的所述至少一个所查明的视野相对应的区域。此外，根据所述目标关于所查明的区域的方位来查明，所述至少一个所查明的目标是否至少部分地处于驾驶员的所述至少一个所查明的视野中。

有利地，这能实现将所述至少一个目标与驾驶员的所述至少一个所查明的视野简单地相关联。将驾驶员的所述至少一个所查明的视野例如存储在位图中。为了使所述至少一个目标与驾驶员所述至少一个所查明的视野相关联，将所述二维图像相应地置于所述位图上。

在按照第一和第二方面的另一种有利的实施方案中，所述数据代表驾驶员的所查明的第一视野和至少一个所查明的另外的视野。在此，所查明的第一视野的方位在预定的公差范围内偏离于相应的所查明的所述另外的视野的方位。所查明的第一视野和相应的所查明的所述另外的视野分别配置有加权系数并且根据相应的所述加权系数来查明所述至少一个目标处于驾驶员的“实际”视野中的概率。

特别是，这样查明所述第一视野和所述至少一个另外的视野，使得相应地查明其方位。所查明的第一视野与所述至少一个所查明的另外的视野可以重叠。

相应地要查明的所述视野特别是可以根据驾驶员的所检测的头部姿态和/或所检测的视线方向和/或所检测的位置来查明。由于特定的解剖结构上和生理上的特征，在检测驾驶员的所检测的头部姿态和/或所检测的视线方向和/或所检测的位置时可能出现误差。

例如，所查明的第一视野与驾驶员的所检测的和/或所查明的第一视线方向相对应，而所述至少一个所查明的另外的视野与驾驶员的所检测的和/或所查明的另外的视线方向相对应。例如提出如下假设：哪个视线方向是概率最大的，并且与此相应地，给所查明的相应的视野配置所述加权系数。

优选地，所述加权系数给出：相比于所述至少一个另外的视野相应于驾驶员的“真实视野”的情况，以何种频率发生所查明的第一视野相应于驾驶员的“真实视野”的情况。可以分别将所查明的第一视野和所述至少一个所查明的另外的视野存储在一个位图中。在概率上的关联可以通过位图的多次、加权的叠加来进行。

在按照第一和第二方面的另一种有利的实施方案中，至少一部分像素具有目标标识符的元组。特别是可以借助于所述元组非常简单地在二维图像中考虑透明的和/或被遮挡的目标。

在按照第一和第二方面的另一种有利的实施方案中，所述多个像素包括第一像素，所述第一像素分别代表三维场景的所查明的目标中的至少两个目标的至少一部分。三维场景的所查明的目标的所述至少一部分可以相应地配置有目标标识符。所述第一像素可以分别包括具有至少两个配置给不同目标的目标标识符的元组。

在按照第一和第二方面的另一种有利的实施方案中，根据三维场景的所查明的目标中的至少一个目标的遮挡和/或透光度来查明所述二维图像。能够考虑目标的遮挡和/或透光度、特别是透明度。特别是通过给挡风玻璃配置目标标识符可以相应地在目标的像素描述中考虑透明的挡风玻璃。因此，可以通过具有至少两个目标标识符的像素来描述穿过挡风玻璃可见的目标。所述元组能实现同时还考虑各目标的次序。

在按照第一和第二方面的另一种有利的实施方案中，所述多个像素具有第二像素，所述第二像素代表被另一个目标遮挡的目标的所述至少一部分。备选地或附加地，所述第二像素可以代表透光的或者透明的目标的至少一部分。所述第一像素与第二像素可以是相同的像素。

在按照第一和第二方面的另一种有利的实施方案中，根据所查明的目标中的所述至少一个目标处于驾驶员的视野中的概率来查明三维场景的所查明的目标中的至少一个目标的可见性。在此假设，目标的可见性随着与驾驶员视轴的偏离增大而下降。

在按照第一和第二方面的另一种有利的实施方案中，所查明的视野具有多个视野范围，并且查明所述至少一个目标处于驾驶员的一个确定的视野中的概率。将所查明的视野划分成不同的视野范围能实现更强烈地区分可见性和/或驾驶员视觉上的感知。

在按照第一和第二方面的另一种有利的实施方案中，相应查明的视野代表所查明的中央视野范围，并且查明所述至少一个目标处于驾驶员的“实际的”中央视野范围内的概率。备选地，所述相应查明的视野代表所查明的边缘视野范围，并且查明所述至少一个目标处于驾驶员的“实际的”边缘视野范围内的概率。

在按照第一和第二方面的另一种有利的实施方案中，对于三维场景的所查明的目标中的至少一个目标，根据所查明的目标中的所述至少一个目标处于驾驶员的视野中的概率来查明驾驶员的感知概率。补充地，可以根据目标的可见性来查明所述感知概率。

例如如果识别出驾驶员的眼睛运动，则可以根据所述眼睛运动、所查明的相应视野和目标的可见性来查明驾驶员已感知到目标的感知概率。在此，所述感知概率特别是可以取决于以基于目标的视觉上的注意力为基础的预定的模型。目标相关的注意力的理论基于如下假设：所述注意力不是放到抽象的地点上、而是放到在确定的地点上的确定的目标上或者所述注意力在给定的时间内仅能够放到一个或几个目标上。

相对于视网膜中心，在信息处理时优选处理边缘。例如如果在所述边缘中突然出现目标或者运动，则有利于来自边缘的信息地抑制中央感知并且将注意力转向到所述新的细节上。在此，反射性地进行将头部和眼睛(借助于眼睛运动)重新定向于要分析的目标。此后，可以将中央视觉的更好的空间分辨能力用于分析所述情况。因此，边缘视觉具有探测的功能。

在按照第一和第二方面的另一种有利的实施方案中，为预定的驾驶员辅助功能提供所查明的概率和/或所查明的可见性和/或所查明的感知概率，并且根据所查明的概率和/或所查明的可见性和/或所查明的感知概率来实施所述驾驶员辅助功能。由此，可以为任意的行驶辅助功能、例如在用于部分自动化的行驶运行(在其中人类驾驶员监视行驶周围环境，然而驾驶员在确定的行驶情况中被一个或多个驾驶员辅助系统支持)的驾驶员辅助功能中提供所查明的概率和/或所查明的可见性和/或所查明的感知概率。

按照第三方面，本发明的特征在于一种计算机程序，其中，所述计算机程序构成为，用于执行用于查明目标处于车辆驾驶员的视野中的概率的方法或者所述方法的可选的实施方案。

按照第四方面，本发明的特征在于一种包括可执行的程序代码的计算机程序产品，其中，所述程序代码在通过数据处理装置实施时执行用于查明目标处于车辆驾驶员的视野中的概率的方法或者所述方法的可选的实施方案。

所述计算机程序产品特别是包括能被数据处理装置读取的介质，在所述介质上存储有程序代码。

附图说明

以下借助于示意性的各附图更详细地阐明本发明的各实施例。图中：

图1示出用于查明目标处于车辆驾驶员的视野中的概率的流程图，

图2示出示例性的交通场景，

图3示出中间图像，以及

图4示出二维图像。

具体实施方式

图1示出用于查明目标O处于车辆驾驶员的视野中的概率的程序的流程图。所述程序可以由用于查明目标O处于车辆驾驶员的视野中的概率的设备来执行。

为此，所述设备特别是具有一个计算单元、一个程序和数据存储器以及例如一个或多个通信接口。所述程序和数据存储器和/或计算单元和/或通信接口可以构成在一个构件单元中和/或分布式地构成到多个构件单元上。

为此，在所述设备的程序和数据存储器上特别是存储有用于查明目标O处于车辆驾驶员的视野中的概率的程序。

在步骤S1中启动所述程序，在该步骤中必要时可以初始化各变量。

在步骤S3中，根据三维场景的所提供的原始数据R查明三维场景的一个或多个目标O，所述三维场景代表在车辆之内和/或之外预定的周围环境。优选地，查明三维场景的全部目标O。所述目标O的查明可以、但并非必须包括目标识别，在所述目标识别中例如将一个目标识别为车辆、而将另一个目标识别为交通信号灯。

所述三维场景的原始数据R例如基于所检测的三维图像来查明和提供。所述三维图像典型地通过车辆的至少一个图像检测装置、例如摄像机来获得。所述图像检测装置优选构成为用于检测包括距离信息或深度信息的三维图像数据。在此，原始数据R可以包括至少定义目标O以及观察者的位置和视线方向的虚拟的空间模型。附加地，所述虚拟的模型可以定义光源和目标的材料特性。

在步骤S7中，根据三维场景的所提供的原始数据R来这样查明二维图像，使得所述二维图像将三维场景的所查明的目标O映射在球体的表面上，其中，所述二维图像具有多个像素P，所述各像素分别代表三维场景的一个或多个所述查明的目标O的至少一部分。优选地，驾驶员的单只眼睛形成所述球体的中心，在所述球体表面上映射所查明的目标。

所述多个像素P例如包括第一像素，所述第一像素分别代表三维场景的所查明的各目标O中的至少两个目标的至少一部分。优选地，根据三维场景的所查明的各目标O中的至少一个目标的遮挡和/或透光度来查明所述二维图像。优选地，所述图像检测装置设置在车辆的内部空间中。因此，仅能透过挡风玻璃看到在车辆之外的目标O。根据各挡风玻璃的区域，各挡风玻璃可以具有不同的透光度。

因此，所述像素P中至少一部分像素例如具有包括至少两个目标标识符的元组，所述目标标识符配置给不同的目标O。

在步骤S9中，提供代表驾驶员的所述至少一个所查明的视野的数据FOV。

为此，例如驾驶员的视线方向例如根据所查明的视线矢量或者所查明的鼻矢量借助于内部空间摄像机来查明。当今的视线检测装置(英语“视线追踪仪Eyetracking”)例如涉及输出使用者的三维视线方向的摄像机传感器。附加地，例如可以输出使用者的头部位置。

根据驾驶员的视线方向可以查明驾驶员的视野。附加地，为此也可以使用驾驶员的所检测的头部姿态和/或所检测的头部位置。

在步骤S11中，对于所述所检测的目标O中的至少一个目标根据所提供的数据FOV和所述二维图像来查明所述至少一个所查明的目标O处于驾驶员的“实际”视野中的概率。

为了查明所述概率，优选地在二维图像中查明与驾驶员的所查明的视野相对应的区域，并且根据目标O关于所查明的区域的方位来查明：所查明的目标O中的至少一个目标是否处于驾驶员的所查明的视野中。

将代表所述至少一个所查明的视野的数据FOV例如存储在位图中。为了使目标O与所述至少一个所查明的视野相关联，例如将所述二维图像与所述位图相重叠，并且在该进一步的位图中查明与目标O相重叠的区域。

即使在所述摄像机传感器精度高的情况下，由于个体的眼睛解剖结构(例如中间凹的位置)，也无法精确地确定描述驾驶员的视线方向的矢量。摄像机传感器无法检测所述眼睛解剖结构。如果不考虑所述眼睛结构，则因此视线方向测量不准确。

所述视线检测装置主要使用头部模型。这样的头部模型主要以特定的解剖结构上的或者生理上的特征、如眼角、嘴角、鼻尖为基础，它们彼此之间的关系关于不同的头部类型通常是不同的。因此，在确定视线方向和/或头部姿态时可能出现使要查明的视野受消极影响的误差。

由于视线检测装置的可能的检测和查明误差，所查明的视野的方位通常偏离于驾驶员的“真实”视野或者说“实际”视野的方位。

因此，优选地查明第一视野和在预定的公差范围内偏离于所述第一视野的至少一个另外的视野。将所述第一视野和所述至少一个另外的视野例如存储在一个位图中。目标与驾驶员的“实际”视野的概率上的关联例如通过所述位图的多次、加权的叠加来进行。

所查明的第一视野例如具有加权系数70。所查明的另外的视野例如具有加权系数15，因为假设所检测的视线方向(基于所述视线方向查明了所查明的另外的视野)与所查明的第一视野相比以更高的概率偏离于驾驶员实际的视线方向。如果目标仅能够与一个、例如与所述至少一个所查明的另外的视野相关联，则所述目标处于驾驶员的实际视野中的概率比如果目标能够与所查明的第一视野或者甚至两个视野相关联时更小。

在可选的步骤S13中，根据所查明的概率来查明所述至少一个目标O的可见性S和/或感知概率Z。

在另一个可选的步骤S15中，为预定的驾驶员辅助功能提供所查明的概率和/或所查明的可见性S和/或所查明的感知概率Z。

在另一个步骤S17中结束所述程序。

图2示出示例性的交通场景1。所述交通场景1例如利用车辆的图像检测装置、例如利用3D摄像机来检测。备选地，也可以使用2D摄像机，并且例如借助于其它传感器装置、例如借助于雷达装置和/或激光雷达装置来检测深度信息。

例如由设置在车辆内部中的图像检测装置来检测交通场景1。在图2中示出的示例中，将所述图像检测装置这样定向，使得可识别出车辆的仪表板22的部分和前引擎盖20。所述交通场景1包括多个目标O：一个对向来的车辆24、一个在前行驶的车辆26、一个横行的车辆28、一个交通信号灯30、多个隔离路标32和一只狗34。

图3示出具有经渲染的二维图像的中间图像5。交通场景1的各目标O被简化地示出。例如在三维场景中将各目标表示为长方体。于是，将该简化的示图转换到二维图像中。所述二维图像的各像素P例如分别具有包括两个目标标识符的元组。所述像素P中的大部分像素例如也代表挡风玻璃。被遮挡的目标例如未在像素P的元组中列出。

图4示出具有各目标O与球体表面的关联的经渲染的二维图像。因此，图4示出具有重叠的视野的经渲染的二维图像。驾驶员的视线方向例如对准在前行驶的车辆。对向来的车辆主要位于30°至45°的视野范围内。狗位于大约60°的范围内，并且因此仅能被边缘视觉感知。因此表示驾驶员的注意力(还)未放在该狗上。

附图标记列表

1 交通场景

5 中间图像

7 二维图像

20 前引擎盖

22 仪表板

24 对向来的车辆

26 在前行驶的车辆

28 横行的车辆

30 交通信号灯

32 隔离路标

34 狗

FOV 代表所查明的视野的数据

O 目标

P 像素

R 原始数据

S 可见性

W 概率

Z 感知概率

Claims

1.用于查明目标(O)处于车辆驾驶员的视野中的概率的方法，在所述方法中

-根据三维场景的所提供的原始数据(R)来查明所述三维场景的一个或多个目标(O)，所述三维场景代表在车辆之内和/或之外的预定的周围环境，

-根据所述三维场景的所提供的原始数据(R)来查明二维图像，使得所述二维图像将三维场景的所查明的目标(O)映射到曲面上，其中，所述二维图像具有多个像素(P)，所述各像素分别代表三维场景的一个或多个所述查明的目标(O)的至少一部分，

-提供代表驾驶员的至少一个所查明的视野的数据(FOV)，其中，根据在车辆中利用预定的检测传感机构所检测的至少一个预定的检测参量来查明所述至少一个所查明的视野，

-对于所查明的目标(O)中的至少一个目标根据所提供的数据(FOV)和所述二维图像来查明所述至少一个所查明的目标(O)处于驾驶员的视野中的概率。

2.按照权利要求1所述的方法，

在所述方法中，所述曲面包括球体表面的至少一部分，其中，驾驶员的单只眼睛形成所述球体的中心。

3.按照权利要求1或2所述的方法，

在所述方法中，

-在所述二维图像中查明与驾驶员的所述至少一个所查明的视野相对应的区域，并且

-根据所述目标(O)关于所查明的区域的方位来查明：所述至少一个所查明的目标(O)是否至少部分地处于驾驶员的所述至少一个所查明的视野中。

4.按照上述权利要求之一所述的方法，

在所述方法中，

-所述数据(FOV)代表驾驶员的所查明的第一视野和至少一个所查明的另外的视野，其中，所查明的第一视野的方位在预定的公差范围内偏离于相应的所查明的所述另外的视野的方位，

-所查明的第一视野和相应的所查明的所述另外的视野分别配置有加权系数并且根据相应的加权系数来查明所述至少一个目标(O)处于驾驶员的视野中的概率。

5.按照上述权利要求之一所述的方法，

在所述方法中，至少一部分像素(P)具有目标标识符的元组。

6.按照上述权利要求之一所述的方法，

在所述方法中，所述多个像素(P)包括第一像素，所述第一像素分别代表三维场景的所查明的目标(O)中的至少两个目标的至少一部分。

7.按照上述权利要求之一所述的方法，

在所述方法中，根据所述三维场景的所查明的目标(O)中的至少一个目标的遮挡和/或透光度来查明所述二维图像。

8.按照上述权利要求之一所述的方法，

在所述方法中，根据所查明的目标(O)中的所述至少一个目标处于驾驶员的视野中的概率来查明三维场景的所查明的目标(O)中的至少一个目标的可见性(S)。

9.按照上述权利要求之一所述的方法，

在所述方法中，所查明的视野具有多个视野范围，并且查明所述至少一个目标(O)处于驾驶员的一个确定的视野中的概率。

10.按照上述权利要求之一所述的方法，

在所述方法中，

-相应查明的视野具有中央视野范围或者代表所查明的中央视野范围，并且查明所述至少一个目标(O)处于驾驶员的中央视野范围内的概率，或者

-相应查明的视野具有所查明的边缘视野范围或者代表所查明的边缘视野范围，并且查明所述至少一个目标(O)处于驾驶员的边缘视野范围内的概率。

11.按照上述权利要求之一所述的方法，

在所述方法中，对于三维场景的所查明的目标(O)中的至少一个目标，根据所查明的目标(O)中的所述至少一个目标处于驾驶员的视野中的概率来查明驾驶员的感知概率(Z)。

12.按照上述权利要求之一所述的方法，

在所述方法中，为预定的驾驶员辅助功能提供所查明的概率和/或所查明的可见性(S)和/或所查明的感知概率(Z)，并且根据所查明的概率和/或所查明的可见性(S)和/或所查明的感知概率(Z)来实施所述驾驶员辅助功能。

13.用于查明目标(O)处于车辆驾驶员的视野中的概率的设备，其中，所述设备构成为用于实施按照权利要求1至12之一所述的方法。

14.用于查明目标(O)处于车辆驾驶员的视野中的概率的计算机程序，其中，所述计算机程序构成为，用于在数据处理装置上执行所述计算机程序时实施按照权利要求1至12之一所述的方法。

15.包括可执行程序代码的计算机程序产品，其中，所述程序代码在通过数据处理装置执行时实施按照权利要求1至12之一所述的方法。