CN111094898A

CN111094898A - 用于控制用于机动车辆的增强现实抬头显示设备的显示的方法、设备和具有指令的计算机可读存储介质

Info

Publication number: CN111094898A
Application number: CN201880061343.5A
Authority: CN
Inventors: S.马克斯; U.武特克
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2017-09-21
Filing date: 2018-08-28
Publication date: 2020-05-01
Anticipated expiration: 2038-08-28
Also published as: EP3685123A1; WO2019057452A1; US11325470B2; US20200298703A1; CN111094898B; DE102017216775A1

Abstract

一种用于控制用于机动车辆的增强现实抬头显示设备的显示的方法、设备和具有指令的计算机可读存储介质。在第一步骤中，确定（10）机动车辆相对于地图的姿态。随后，从地图中提取（11）至少一个参考点，其中，所述至少一个参考点来源于机动车辆的驾驶员的视野范围内的面。在将至少一个参考点转换（12）到车辆坐标中之后，在考虑至少一个经转换的参考点的情况下，生成（13）用于通过增强现实抬头显示设备来显示的虚拟对象。最后，输出（14）虚拟对象，用于通过增强现实抬头显示设备来显示。

Description

用于控制用于机动车辆的增强现实抬头显示设备的显示的方法、设备和具有指令的计算机可读存储介质

本发明涉及一种用于控制用于机动车辆的增强现实抬头显示设备的显示的方法、设备和具有指令的计算机可读存储介质。此外，本发明涉及一种机动车辆，在该机动车辆中使用了根据本发明的方法或根据本发明的设备。

随着虚拟和增强现实技术以及增强现实应用的不断发展，它们也进入到汽车中。在增强现实（AR）（德语中“扩展现实”）的情况下，这关系到通过虚拟元素对现实世界进行丰富，将该虚拟元素位置正确地记录在三维空间中，并且允许实时交互。由于相对于表述“扩展现实”，表述“增强现实”已在德语地区的专业领域中被普遍接受，所以在下文中使用后者。

抬头显示（HUD）提供了可行的技术实现方案，以便对应地以透视上正确的虚拟扩展丰富驾驶员工作场所。在此，经由多个镜子和透镜将安装在仪表板上的显示的光束折叠，并且经由投影面反射到驾驶员的眼睛中，从而使该驾驶员感知车辆外部的虚拟图像。在汽车领域中，通常将挡风玻璃用作投影面，在显示时必须考虑该挡风玻璃的弯曲形状。作为备选方案，也部分地使用来自玻璃或塑料的附加板，该附加板布置在驾驶员与仪表板上的挡风玻璃之间。通过显示和驾驶场景的光学叠加，所需的用于读取信息的头部运动和眼部运动更少。此外，由于依据显示的虚拟距离必须更少地甚至完全不被适应调节，从而减少了用于眼睛的适应开销。然而，当前的HUD系列限于直接在驾驶员的主要视野范围下的显示，并且包含诸如例如速度显示的冗余信息，该冗余信息也在驾驶舱的其他位置处被再次找到。虽然该显示技术减少了从街道转开视线，但是还是具有如下缺点：由于所呈现的信息未在真实场景中记录，所以必须解译所呈现的信息并且将其转译为真实情况。在复杂的情况下，这可能展现为精神要求高的认知过程。通过标记对象并在该对象的实际参考位置处淡入（Einblenden）信息，即，通过接触模拟显示，可以在驾驶员的视野中直接显示有关环境的信息。采用增强现实的形式，对环境的这种直接的图形丰富可以显著地降低认知转移要求。

关于此点，DE 10 2010 013 232 A1公开了一种用于机动车辆的抬头显示。抬头显示包括利用发射微粒的光或在挡风玻璃的预定义的区域上的微结构的显示，所述挡风玻璃允许发光显示。借助眼睛采集和头部采集装置，能够实现对眼睛位置的估计和抬头显示中图像的记录，使得图像与操作者的视线相对应。在此，地图数据可以用于确定轨迹几何形状。

通过接触模拟地标记车道和对象，增强现实提供了各种各样的应用可能性以支持驾驶员。相对接近的示例通常涉及导航领域。传统HUD中的经典导航显示通常显示示意图，例如，向右的直角延伸的箭头作为应当在下一个机会右转的标志，而AR显示提供了显著有效的可能性。由于可以作为“环境的一部分”示出显示，所以通过用户实现极其快速且直观的解释。在现代的机动车辆中，通过环境传感器采集各种各样的数据。当前发展的目标是将这些数据有意义地集成到增强现实显示中。显示的重要组成部分是直接放置在街面上的数据。

在增强现实的意义上，在驾驶员的真实视野中对虚拟信息的记录对技术上的执行提出了很高的要求。为了能够位置准确且透视上正确地在现实中示出虚拟内容，需要关于环境和车辆的自身运动的非常详细的知识。

鉴于记录存在一系列的挑战。例如，具体的层（其中或其上应当示出虚拟对象）取决于车辆的定向。因此，例如由车辆的车辆载重量（Zuladung）强烈地影响了车辆的倾角。此外，街道走向通常是不平坦的。因此，必须根据环境的平整度来连续地测量车道的表面。有条件地在车辆的准备阶段通过可能的交通，路面当然可能被部分地遮盖，使得所述路面无法或只能艰难地由车辆的传感机构来采集。

本发明的任务是：阐明用于控制增强现实抬头显示设备的显示的经改进的技术方案。

该任务通过具有权利要求1所述的特征的方法、通过具有根据权利要求9所述的指令的计算机可读存储介质以及通过具有权利要求10所述的特征的设备来解决。本发明的优选的设计方案是从属权利要求的主题。

根据本发明的第一方面，用于控制用于机动车辆的增强现实抬头显示设备的显示的方法包括步骤：

- 确定机动车辆相对于地图的姿态；

- 从地图中提取至少一个参考点，其中，所述至少一个参考点来源于机动车辆的驾驶员的视野范围内的面；

- 将至少一个参考点转换到车辆坐标中；

- 在考虑至少一个经转换的参考点的情况下，生成用于通过增强现实抬头显示设备来显示的虚拟对象；以及

- 输出用于通过增强现实抬头显示设备来显示的虚拟对象。

根据本发明的另一方面，计算机可读存储介质包含指令，该指令在由计算机实施时促使计算机实施以下步骤，用于控制用于机动车辆的增强现实抬头显示设备的显示：

- 确定机动车辆相对于地图的姿态；

- 将至少一个参考点转换到车辆坐标中；

- 输出用于通过增强现实抬头显示设备来显示的虚拟对象。

在此，术语计算机被广义地理解。特别地，该术语计算机还包括控制设备和其他基于处理器的数据处理设备。

根据本发明的另一方面，用于控制用于机动车辆的增强现实抬头显示设备的显示的设备具有：

- 姿态确定单元，用于确定机动车辆相对于地图的姿态；

- 提取单元，用于从地图中提取至少一个参考点，其中，至少一个参考点来源于机动车辆的驾驶员的视野范围内的面；

- 转换单元，用于将至少一个参考点转换到车辆坐标中；

- 图形单元，用于在考虑至少一个经转换的参考点的情况下，生成用于通过增强现实抬头显示设备来显示的虚拟对象；以及

- 输出端，用于输出用于通过增强现实抬头显示设备来显示的虚拟对象。

根据本发明的技术方案使用具有至少关于已在准备阶段测量了的街面的信息的高精度地图。该信息用于产生正确的增强现实显示。同时，地图是用于高精度定位车辆的基础。首先，车辆鉴于相对于地图的位置和取向来定位自己。然后，根据地图数据查明用于所期望的显示层的参考点，例如地面点。这些参考点被转换到车辆坐标中，并且表示应当在其中或其上显示虚拟对象的层。为了产生抬头显示的增强现实显示，现将虚拟对象的图形元素与经转换的参考点的走向相匹配，使得形成光学印象，使得图形元素位于所期望的层中或处于所期望的层上。

根据本发明的一个方面，从地图区域中在机动车辆的行驶方向上提取至少一个参考点。在此，地图区域优选地包括基本区域和依据机动车辆的速度的扩展区域。通过从地图区域中在机动车辆的行驶方向上提取参考点，确保了参考点可靠地位于驾驶员的视野范围内。通过依据机动车辆的速度的扩展区域，特别是在较高的速度的情况下可以保证对于距离较远的、由于较高的速度在相对较短的时间内就到达了的区域也已经存在合适的参考点。

根据本发明的一个方面，根据在准备阶段所计算的保存在地图中的地形的几何抽象来计算至少一个参考点。例如，地形的几何抽象可以包括一维或二维多项式或网格。为了将地图的数据量保持在合理的范围内，仅在地图中保存地形的近似描述才有意义。多项式或网格适用于这种抽象。然后，可以以简单的方式根据需要从地图的数据中计算或内插参考点。

根据本发明的一个方面，在机动车辆的驾驶员的视野范围中的、至少一个参考点所来源于的面是地面。通常，应当将虚拟元素感知为躺在或站立在地上。为此目的，需要地面的知识。此外，可以在准备阶段相对容易地为提供地图数据而采集地面（即，通常是路表面）。

根据本发明的一个方面，在生成虚拟对象时，虚拟对象的图形元素被转换和变形到地面上。以该方式获得光学印象，使得视觉对象（例如，导航指示或警告提示）直接位于地面上。

根据本发明的一个方面，为了确定机动车辆相对于地图的姿态，将已经由机动车辆的传感机构识别到的特征与地图的特征相关联。当车辆在已经测量的环境或地图中行驶时，则车辆可以高精度地定位自己。在此，由车辆识别到的特征与已经测量的特征相关联，以便查明车辆的位置和取向。为此可使用的针对特征的示例是车道标记、另外的地面标记、车道边缘、信号灯、车道附近的路标或地标。

根据本发明的方法或根据本发明的设备特别有利地用于车辆、特别是用于机动车辆。

根据以下描述和所附权利要求书结合附图，本发明的另外的特征将变得显而易见。

图1示意性地示出了用于控制用于机动车辆的增强现实抬头显示设备的显示的方法；

图2示出了用于控制用于机动车辆的增强现实抬头显示设备的显示的设备的第一实施方式；

图3示出了用于控制用于机动车辆的增强现实抬头显示设备的显示的设备的第二实施方式；

图4示意性地示出了其中实现根据本发明的技术方案的机动车辆；

图5示意性地示出了用于机动车辆的抬头显示设备的一般结构；

图6示出了抬头显示设备的增强现实显示的示例；以及

图7示出了用于控制用于机动车辆的增强现实抬头显示设备的显示的根据本发明的技术方案的系统设计。

为了更好地理解本发明的原理，下面将根据附图更详细地解释本发明的实施方式。要理解，本发明不限于这些实施方式，并且所描述的特征也可以在不脱离所附权利要求书中所限定的本发明的保护范围的情况下被组合或修改。

图1示意性地示出了用于控制用于机动车辆的增强现实抬头显示设备的显示的方法。在第一步骤中，确定10机动车辆相对于地图的姿态。为此目的，可以将已经由机动车辆的传感机构识别到的特征与地图的特征相关联。随后，从地图中提取11至少一个参考点，其中，至少一个参考点来源于机动车辆的驾驶员的视野范围内的面。优选地，从地图区域中在机动车辆的行驶方向上提取至少一个参考点。在此，地图区域可以包括基本区域和依据机动车辆的速度的扩展区域。例如，可以根据在准备阶段所计算的保存在地图中的地形（例如采用一维或二维多项式的形式或作为网格）的几何抽象来计算至少一个参考点。驾驶员的视野范围内的面例如可以是地面。在将至少一个参考点转换12到车辆坐标中之后，在考虑至少一个经转换的参考点的情况下，生成13用于通过增强现实抬头显示设备来显示的虚拟对象。在此，虚拟对象的图形元素可以被转换和变形到面上，特别是到地面上。最后，通过增强现实抬头显示设备来显示输出14虚拟对象。

图2示出了用于控制用于机动车辆的增强现实抬头显示设备的显示的设备20的第一实施方式的简化示意图。设备20具有输入端21，经由该输入端21可以接收传感机构的数据，例如来自机动车辆的前置照相机或来自光学雷达传感器、雷达传感器或超声波传感器的数据。此外，设备20具有用于确定机动车辆相对于地图的姿态的姿态确定单元22。为此目的，姿态确定单元22可以例如将已经由机动车辆的传感机构识别到的特征与地图的特征相关联。提取单元23从地图中提取至少一个参考点，其中，至少一个参考点来源于机动车辆的驾驶员的视野范围内的面。优选地，提取单元23从地图区域中在机动车辆的行驶方向上提取至少一个参考点。在此，地图区域可以包括基本区域和依据机动车辆的速度的扩展区域。例如，可以根据在准备阶段所计算的保存在地图中的地形（例如采用一维或二维多项式的形式或作为网格）的几何抽象来计算至少一个参考点。驾驶员的视野范围内的面例如可以是地面。转换单元24将至少一个参考点转换到车辆坐标中。然后，在考虑至少一个经转换的参考点的情况下，图形单元25生成用于通过增强现实抬头显示设备来显示的虚拟对象。在此，图形单元25可以将虚拟对象的图形元素转换和变形到面上，特别是到地面上。经由设备20的输出端28，将所生成的虚拟对象输出到增强现实显示设备的控制装置42。备选地，也可以仅将指示输出到控制装置42，以生成对应的虚拟对象。然后，控制装置42可以将所生成的虚拟对象插入增强现实抬头显示设备的显示中。

姿态确定单元22、提取单元23、转换单元24和图形单元25可以由控制单元26控制。经由用户接口29，必要时可以改变姿态确定单元22、提取单元23、转换单元24、图形单元25或控制单元26的设置。在需要时，可以将在设备20中积压的数据保存在设备20的存储器27中，例如用于随后的评估或用于通过设备20的组件来使用。可以将姿态确定单元22、提取单元23、转换单元24、图形单元25以及控制单元26实现为专用硬件，例如实现为集成电路。当然，还可以部分地或完全地组合它们，或者实现为在合适的处理器上（例如，在GPU上）运行的软件。输入端21和输出端28可以实现为分离的接口或实现为经组合的双向接口。优选地，设备20集成在增强现实抬头显示设备的控制装置42中。

图3示出了用于控制用于机动车辆的增强现实抬头显示设备的显示的设备30的第二实施方式的简化示意图。设备30具有处理器32和存储器31。例如，设备30是计算机或控制装置。存储器31中保存有指令，该指令在由处理器32实施时促使设备30实施根据所描述的方法中的一个方法的步骤。由此，保存在存储器31中的指令体现了可由处理器32实施的程序，该程序实现了根据本发明的方法。设备30具有输入端33，用于接收来自传感机构的数据，例如来自机动车辆的前置照相机或来自光学雷达传感器、雷达传感器或超声波传感器的数据。经由输出端34，提供由处理器32生成的数据。此外，可以将该数据保存在存储器31中。可以联合输入端33和输出端34以形成双向接口。

处理器32可以包括一个或多个处理器单元，例如微处理器、数字信号处理器或其组合。

所描述的实施方式的存储器27、31不仅可以具有易失性存储器区域而且还可以具有非易失性存储器区域，并且包括不同的存储装置和存储介质，例如硬盘、光学存储介质或半导体存储器。

图4示意性地示出了其中实现了根据本发明的技术方案的机动车辆40。机动车辆40具有带有附属控制装置42的增强现实抬头显示设备41。此外，机动车辆40具有用于控制增强现实抬头显示设备41的显示的设备20。设备20还可以集成在用于增强现实抬头显示设备41的控制装置42中。机动车辆40的另外的部件是传感机构43、导航系统44、数据传输单元45以及一系列的辅助系统46，其中的一个被示例性地示出。借助数据传输单元45，可以例如构建到服务提供商的连接。借助例如可以包括照相机以及光学雷达传感器、雷达传感器或超声波传感器的传感机构43，此外可以采集用于车道和用于车辆环境的信息。为了存储数据，存在存储器47。经由网络48，进行机动车辆40的不同组件之间的数据交换。

图5示意性地示出了用于机动车辆40的抬头显示设备41，借助于该抬头显示设备41，可以将内容显示在机动车辆40的投影面52上，例如显示在挡风玻璃上或由玻璃或塑料制成的附加板上，该附加板布置在驾驶员与仪表板上的挡风玻璃之间。所显示的内容由成像单元50产生，并借助于光学模块51投影到投影面52上。通常，投影在此发生在方向盘上方的挡风玻璃的区域中。成像单元50例如可以是LCD TFT显示。增强现实抬头显示设备41通常安装在机动车辆40的仪表板中。

图6示出了增强现实抬头显示设备的增强现实显示的示例。实际环境中叠加了一系列的元素。在图6的示例中，它们是当前的速度、到前方行驶车辆的距离以及导航信息。此外，可以在接触模拟显示中看到一些虚拟对象60，具体来说是用于可能的或即将来临的超车的提示箭头、到前方行驶车辆的距离的视觉显示以及作为安全提示的在右侧线上的“虚拟墙”。所示的元素主要基于已由车辆传感器所采集的信息。对于显示的具体设计，本领域技术人员具有各种各样的设计可能性。

图7示出了用于控制用于机动车辆的增强现实抬头显示设备41的显示的根据本发明的技术方案的简化系统设计。地图61被保留在机动车辆中，此外该地图还包含针对已经被测量的静态特征的说明。这种静态特征的示例是车道标记、另外的地面标记、车道边缘、信号灯、车道附近的路标或地标。地图61可以由服务提供商提供并且例如被保存在导航系统的存储器中。针对直接在机动车辆之前的区域，基于地图的特征被传送到用于控制增强现实抬头显示设备41的显示的设备20。为此，可以示例性地使用PSD协议（PSD：预测性路线数据）。通过从传感机构43的传感器数据中识别出的静态特征与从地图61中已知的静态特征的相关性，查明10机动车辆相对于地图61的姿态。在考虑到以此方式确定的姿态的情况下，从地图61中提取11至少一个参考点。为此目的，地图包含优选地采用地形的几何抽象的形式的用于地形的信息。传感机构43的准确位置和取向受制于制造公差，并且可以在不同的机动车辆之间偏差。因此，在生产期间校准传感机构43，或者在持续运行中估计该传感机构43的位置和取向。得到的参数存储在车辆中。因此，与附属转换规则相对应地将参考点换算12到车辆参考坐标系或目标坐标系62上，例如前轴的中心。由此，消除了涉及传感机构43的所有不准确性。在考虑到经转换的参考点的情况下，最终生成13虚拟对象并输出到增强现实抬头显示设备41的控制装置42。备选地，也可以仅将指示输出到控制装置42，以生成对应的虚拟对象。然后，控制装置42可以将所生成的虚拟对象插入增强现实抬头显示设备41的显示中。

附图标记列表

10 确定车辆相对于地图的姿态

11 从地图中提取参考点

12 将参考点转换到车辆坐标中

13 生成用于显示的虚拟对象

14 输出用于显示的虚拟对象

20 设备

21 输入端

22 姿势确定单元

23 提取单元

24 转换单元

25 图形单元

26 控制单元

27 存储器

28 输出端

29 用户界面

30 设备

31 存储器

32 处理器

33 输入端

34 输出端

40 机动车辆

41 增强现实抬头显示设备

42 增强现实抬头显示设备的控制装置

43 传感机构

44 导航系统

45 数据传输单元

46 辅助系统

47 存储器

48 网络

50 成像单元

51 光学模块

52 投影面

60 虚拟对象

61 地图数据

62 目标坐标系。

Claims

1.一种用于控制用于机动车辆（40）的增强现实抬头显示设备（41）的显示的方法，具有步骤：

- 确定（10）所述机动车辆（40）相对于地图的姿态；

- 从所述地图中提取（11）至少一个参考点，其中，所述至少一个参考点来源于所述机动车辆（40）的驾驶员的视野范围内的面；

- 将所述至少一个参考点转换（12）到车辆坐标中；

- 在考虑至少一个经转换的参考点的情况下，生成（13）用于通过所述增强现实抬头显示设备（41）来显示的虚拟对象（60）；以及

- 输出（14）用于通过所述增强现实抬头显示设备（41）来显示的所述虚拟对象（60）。

2.根据权利要求1所述的方法，其中，从地图区域中在所述机动车辆（40）的行驶方向上提取所述至少一个参考点。

3.根据权利要求2所述的方法，其中，所述地图区域包括基本区域和依据所述机动车辆（40）的速度的扩展区域。

4.根据上述权利要求中的任一项所述的方法，其中，根据在准备阶段所计算的保存在所述地图中的地形的几何抽象来计算所述至少一个参考点。

5.根据权利要求4所述的方法，其中，所述地形的所述几何抽象包括一维或二维多项式或网格。

6.根据上述权利要求中的任一项所述的方法，其中，在所述机动车辆（40）的所述驾驶员的视野范围中的、所述至少一个参考点所来源于的面是地面。

7.根据权利要求6所述的方法，其中，在生成（12）所述虚拟对象（60）时，所述虚拟对象（60）的图形元素被转换和变形到所述地面上。

8.根据上述权利要求中的任一项所述的方法，其中，为了确定（10）所述机动车辆（40）相对于地图的所述姿态，将已经由所述机动车辆（40）的传感机构（43）识别到的特征与所述地图的特征相关联。

9.一种具有指令的计算机可读存储介质，所述指令在由计算机实施时，促使所述计算机实施根据权利要求1至8中的任一项所述的方法的步骤，以控制用于机动车辆（40）的增强现实抬头显示设备（41）的显示。

10.一种用于控制用于机动车辆（40）的增强现实抬头显示设备（41）的显示的设备（20），具有：

- 姿态确定单元（22），用于确定（10）所述机动车辆（40）相对于地图的姿态；

- 提取单元（23），用于从所述地图中提取（11）至少一个参考点，其中，所述至少一个参考点来源于所述机动车辆（40）的驾驶员的视野范围内的面；

- 转换单元（24），用于将所述至少一个参考点转换（12）到车辆坐标中；

- 图形单元（25），用于在考虑至少一个经转换的参考点的情况下，生成（13）用于通过增强现实抬头显示设备（41）来显示的虚拟对象（60）；以及

- 输出端（28），用于输出（14）用于通过所述增强现实抬头显示设备（41）来显示的所述虚拟对象（60）。

11.一种具有增强现实抬头显示设备（41）的机动车辆（40），其特征在于，所述机动车辆（40）具有或装备有根据权利要求10所述的设备（20），用于实施根据权利要求1至8中的任一项所述的用于控制增强现实抬头显示设备（41）的显示的方法。