CN114867992A - 用于呈现虚拟导航元素的方法和装置 - Google Patents

Abstract

本发明涉及一种用于呈现虚拟导航元素的方法和装置，其中，从导航系统的数据中生成至少一个虚拟导航元素(21)并将其在显示设备上与真实周围环境重叠地呈现，其中，虚拟导航元素(21)包括初级图像元素(21a)和次级图像元素(21b)，其中，次级图像元素(21b)根据真实周围环境的至少一个参数可变地呈现。

Description

用于呈现虚拟导航元素的方法和装置

技术领域

本发明涉及一种用于呈现虚拟导航元素的方法和装置。

背景技术

自多年以来已知支持使用者从其当前位置导航至期望的目的地的导航仪器。通常，在此借助于卫星控制的位置确定获取导航仪器的位置并借助于地图数据确定至期望的目的地的路线。这种导航仪器在大多数情况下具有显示器，在该显示器上显示有具有仪器的位置的地图以及确定的路线。除了路线以外，尤其当方向改变即将来临时，可输出对于当前的待遵循的或待改变的方向的听觉的或视觉的提示。针对视觉的方向信息，尤其方向箭头和类似物广泛流行。这种导航仪器供极其不同的前进运动类型使用。例如，导航仪器常常集成到机动车的信息娱乐系统中。但在市场上也存在用于摩托车驾驶员、自行车驾驶员、徒步旅行者等的专用导航仪器。因为智能手机当今具有适合的显示屏和相应的传感机构，所以在此期间在市场上存在用于智能手机的数量众多的导航应用(app)，其可代替专用导航仪器使用。

在许多应用情况中、尤其在机动车领域内，重要的挑战在于，使导航信息的使用者尽可能少地从其主任务(例如车辆的驾驶)分心。因此，今天在许多车辆中安装所谓的抬头显示器(HUD)，其实现将相关的信息、如例如车辆速度但还有导航提示叠加到使用者(例如机动车的驾驶员)的视域中。在传统的HUD中导航信息应虽然对于驾驶员可见，而其不必从道路收取视线，但导航信息的准确的放置还不具有与由驾驶员感知的周围环境的直接关系。但已经存在如下尝试，其如此准确地定位车辆的准确的位置和取向以及由驾驶员感知的周围环境，使得导航信息可在“增强现实”(AR)的意义中如此呈现，使得例如转弯提示(方向箭头)在也在现实中待利用的岔路所处的部位处投影到驾驶员的视域中。

在德语专利申请DE 10 2014 001 710 A1中描述了一种用于在车辆的真实周围环境中增强呈现虚拟图像对象的装置，在其中待呈现的虚拟的图像对象的两个部分图像如此借助于HUD投影到车辆玻璃上，使得使用者感知虚拟的深度图像，该深度图像仿佛在车辆外在玻璃后面处于真实周围环境中。由此，虚拟图像对象应匹配准确地引入到真实周围环境中，从而向驾驶员传达已直接标记感知的真实对象的印象。

在德语专利申请DE 10 2015 006 640 A1中描述了增强的导航元素通过一种抬头显示器系统的呈现，该抬头显示器系统包括接触模拟的(kontaktanalog)导航元素和方向模拟的导航元素。接触模拟的导航元素在此理解为环境的位置固定地投影的组成部分，其可定位在可见的车辆周围环境中。如果对象在具体的行驶情况的范畴内可增强，则显示接触模拟的导航元素。与此相对，方向模拟的导航元素不关联于可感知的周围环境中的具体位置，而是仅显示下一个待进行的方向改变，即使相应的操作点还未可增强。

在德语专利申请DE 10 2014 219 567 A1中描述了一种用于三维导航的系统，在其中图形元素在不同的焦平面中投影到HUD上。通过将图形元素(具象物(Avatar))连续投影到不同的焦平面上，图像元素可作为可动的具象物动画化。由此，例如具象物可以在使用者的视域中在即将来临的方向改变中在从当前的道路运动进入到在方向改变中待运动的道路中，并且因此比仅通过单纯的方向箭头更明显地显示即将来临的方向改变。还提出了待显示的图形元素基于一个或多个道路状态和车辆的瞬间位置进行适配，以便例如象征坑洼和类似物的相应的警告。

利用已知的方法和装置虽然可以将虚拟的图像对象、例如导航提示在增强现实(AR)的意义中叠加到使用者、如例如机动车的驾驶员的视域中并还可以输出附加信息、例如对行车道上的对象或对道路损坏的警告提示。然而，在目前已知的导航系统中虚拟的导航元素仅为图像对象，其特性由从导航系统提供的路线数据产生。即使在将虚拟的导航元素的呈现在增强现实(AR)的意义中尽可能好地适配到可见的周围环境中的情况下，在目前已知的导航呈现中仍缺少图像元素、尤其图像元素的视觉印象与真实周围环境的直接的、对于使用者可理解的联系。使用者因此将始终将虚拟的导航元素感知为视域中的外物，其数据由未与使用者自身的感知关联的技术系统提供。这在纯粹的导航系统中可能还不是较大的问题，因为最终行动主权在实现导航提示的意义中对于驾驶员保留。随着未来的车辆世代的越来越多的自动程度，使用者的个人感知和车辆系统的自动决定的这种脱离联结(Entkopplung)可引起信任问题。

在欧洲层面上，在道路交通中将车辆的自动化分类成五级，其由所谓的0级(所有行驶功能由驾驶员施加)经由1级(简单的辅助系统，如间距调节系统)、2级(部分自动的驾驶，其具有更复杂的辅助系统，如车道保持辅助、堵车辅助、自动泊车辅助)、3级(高度自动的驾驶，其具有可执行具有车道变换的自主的超车过程和转弯过程的辅助系统)、4级(完全自动的驾驶，其中，还存在可在紧急情况下接管控制的驾驶员)直到5级(没有驾驶员的完全自动驾驶)。最迟自3级起，控制车辆的责任的至少一部分至少有时候由计算机控制的系统接管，这可导致使用者的不安。

发明内容

本发明因此技术问题在于，提供一种用于呈现虚拟导航元素的方法和装置，其使使用者能够更好地理解导航系统的显示和行动建议。尤其在自动或部分自动的驾驶的范围内，应利用根据本发明的方法和根据本发明的装置提供如下可能性，使得从导航数据和必要时附加的传感器数据中计算的车辆行为以可直观获取的方式提前呈现。

该技术问题通过权利要求1的方法解决。根据本发明的方法的有利的改进方案是从属权利要求的内容。

本发明因此涉及一种用于呈现虚拟的导航元素的方法，其中，从导航系统的数据中生成至少一个虚拟的导航元素并将其在显示设备上与真实周围环境重叠地呈现，其中，根据本发明的方法特征在于，虚拟的导航元素包括初级图像元素和次级图像元素，其中，次级图像元素根据真实周围环境的至少一个参数可变地呈现。

本发明因此想法在于，将导航元素的呈现拆开成至少两个图像元素，其中，第一初级图像元素基本上根据导航数据动画化，并且因此例如可相应于传统的导航元素、如方向箭头或可动的具象物。初级图像元素的呈现因此主要受导航数据影响。如果例如初级图像元素作为立体的三维箭头动画化，则可通过箭头的转动/翻转显示方向改变。初级图像元素也可动态地动画化，以便例如显示车道或方向变换应以何种形式执行。然而在根据本发明的方法中，导航元素的初级图像元素还关联有另外的次级图像元素，该次级图像元素的呈现根据真实周围环境的至少一个参数改变。该至少一个参数是超出用于呈现初级图像元素的信息的附加参数。优选地，考虑用于呈现次级图像元素的参数源于如下数据，所述数据描述导航系统与其周围环境的相互作用，尤其周围环境对导航系统或对导航系统装入所在的车辆的影响。为了确定这种影响和因此为了确定影响次级图像元素的呈现的参数，例如可考虑与导航系统通信的不同的传感器。在机动车的应用情况下，例如可评估每个在现代的车辆中安装的传感器。在由初级图像元素和次级图像元素构成的呈现范例中，次级图像元素的改变在一定程度上显示了初级图像元素与真实周围环境的相互作用。由此，即象征表现使用者或车辆的初级图像元素与真实周围环境的连接。以该方式可以根据次级图像元素的改变图形化地呈现对导航系统的最终也在初级图像元素的行为中且在车辆中使用的情况下尤其在车辆的行为中反映的行为的具体的、取决于情形的周围环境影响。由于初级导航信息借助于初级图像元素以及周围环境对导航或对车辆行为的影响通过次级图像元素的相应的图形化改变的组合呈现，使用者可以更好地理解导航系统的显示和行动建议或由此衍生的自动或部分自动的车辆动作，这尤其在车辆的自动化越来越多的情况下引起使用者对技术系统的更高的信任。尤其当系统根据次级图像元素的改变预测性给出对即将来临的车辆动作的提示时，对于使用者而言减少令人吃惊的或不可理解的车辆动作，这同样提高了对自动或部分自动的车辆运行的信任。

初级图像元素与真实周围环境的通过次级图像元素的改变图形化表现的相互作用可通过各种不同的因素修改。例如，初级图像元素可以是沿着导航路线可动地动画化的图像元素。在该情况下，例如可利用次级图像元素以便将运动信息与初级图像元素联系，例如次级图像元素可以是悬挂到初级图像元素处的长型的图像元素，其呈现的长度描绘了关于初级图像元素的速度的信息。因为初级图像元素常常呈现车辆的符号或车辆的未来的行为，所以使用者例如通过次级图像元素的长度改变识别出导航系统推荐车辆速度的改变，或在自动系统的情况下使用者识别出车辆马上将进行相应的速度改变。例如关于导航系统的位置确定的当前的精确度、可能的危险情形等的信息也可流入到次级图像元素的呈现中。为此，除了在卫星支持的导航系统的范畴内存在的数据以外，可采用另外的、根据应用情况存在的传感器数据，如摄像头数据、雷达数据、声呐数据、激光雷达数据。

根据本发明的一种实施形式，初级图像元素呈现为不透明的图形符号，例如二维或三维动画化的箭头符号。“不透明”就此而言意味着，其优选地呈现为充填的符号，使得真实周围环境不透射或仅不显著地透射。

根据本发明的一种优选的实施形式，次级图像元素呈现为与初级图像元素连接的图形化网，在该网的网孔之间可识别出真实周围环境。在显示设备上与真实周围环境的重叠的呈现中，该网呈现已经呈现初级图像元素与周围环境的联系，因为网在一定程度上置于周围环境上方并如此已经基于所选择的呈现象征技术系统(导航系统)与周围环境的影响的联系，这提高了使用者对系统的信任。

根据一种实施形式，图形化网由在其角点处连接的三角形构建。通过三角形的可变大小，可象征与周围环境的不同的相互作用，例如通过更密集的网的传感器数据象征更高的准确度，或者也通过网的或多或少密集的区段象征初级图像元素与周围环境的相互作用的不同重要的区域。在部分自动运行中，对于使用者而言如此例如可象征由于变差的传感器数据而应预期很快要求在手动运行中接管车辆。如果这样的要求那么例如在更复杂的交通情形(其利用变差的传感器数据不再可自动掌控)的范畴内实际上触发，则对于使用者而言至少减少了吃惊时刻。

根据一种实施形式，次级图像元素具有可变的长度，以便例如象征不同的速度。如果例如需要车辆的停止，则网也可完全消失。

根据另一种实施形式，次级图像元素具有可变的颜色，以便例如象征危险情况，如坑洼、薄冰、滑水或在行车道上的物品。

本发明还涉及一种导航系统，其包括用于生成至少一个虚拟导航元素的器件和用于与真实周围环境的重叠地呈现虚拟导航元素的显示设备，其中，导航系统具有用于执行根据本发明的方法的器件。

导航系统例如可以是集成到机动车的驾驶员信息系统中的导航系统。在该情况下，显示设备优选地构造为抬头显示器(HUD)。抬头显示器例如可包括投影设备，该投影设备将虚拟导航元素投影到在机动车的驾驶员的视域中的挡风玻璃上或投影到布置在驾驶员和挡风玻璃之间的、专用的透明的、但部分反射的HUD玻璃上。因为真实周围环境那么总归处于驾驶员的视域中，因此实现导航元素的改善的增强现实呈现。

但根据本发明的导航系统也可以是专用导航仪器或在智能手机中实施的应用(App)。在该情况下，真实周围环境可借助于导航仪器的摄像头或智能手机的摄像头获取，并且与虚拟导航元素一起在导航仪器的显示器上或在作为显示设备的智能手机显示器上呈现。在所有目前描述的变型方案中，作为显示设备也可以使用可由使用者携带的数据眼镜(也已知为增强现实(AR)眼镜)，然后在该数据眼镜上虚拟导航元素与真实周围环境重叠呈现。

根据本发明的方法不仅适合用于增强现实(AR)应用，而是例如也可在虚拟现实(VR)周围环境和混合现实(MR)周围环境中使用。

除了机动车、自行车、尤其电动自行车、碰碰车和两轮的人员运输器(如其例如由Segway公司提供)以外，根据本发明的方法和根据本发明的导航系统可在不同的移动应用中使用，如在无人机、飞行器、火车、船只等中使用。

但特别优选地，根据本发明的系统在机动车中使用。因此，本发明的主题此外是机动车，其具有如上面描述的导航系统。

最后，本发明还涉及一种计算机程序，其设计成在计算单元中处理时以上面描述的方式执行用于呈现虚拟的导航元素的方法的步骤。

附图说明

接下来参考在附图中呈现的实施例更详细地阐释本发明。

其中：

图1示出了具有抬头显示器的机动车的座舱；

图2示出了穿过机动车的挡风玻璃的视线，其中抬头显示器的投影区域与真实周围环境重叠；

图3示出了根据本发明的虚拟导航元素的实施形式；以及

图4示出了在另一交通情形下图3的呈现的变型方案。

具体实施方式

在图1中呈现了机动车10的座舱，在其中布置有具有触感式显示屏12的驾驶员信息系统/信息娱乐系统11，该系统包括导航系统12。信息娱乐系统在机动车中、特别是乘用车中是指汽车收音机、导航系统、免提设备、驾驶员辅助系统和另外的功能在中央的操作单元中的结合。术语信息娱乐由词语信息和娱乐(消遣)组合而成。为了操作信息娱乐系统主要使用触敏式显示屏12(“触摸屏”)，其中，该显示屏12尤其可由车辆10的驾驶员、但也可由车辆10的副驾驶良好查看和操作。在显示屏12下面，在输入单元13中还可布置有机械操作元件，例如按钮、转动调节器或其组合(如按压转动调节器)。典型地也可以经由车辆10的方向盘14操作信息娱乐系统11的部分。

因为触敏式显示屏12在行驶期间未处于驾驶员的视域中，所以信息(如导航数据)此外可借助于抬头显示器16的投影器15投影到车辆10的挡风玻璃18的投影区域17上。

在图2中，呈现了图1的机动车10的驾驶员沿行驶方向穿过挡风玻璃18的视线的局部，在方向盘14上方识别出抬头显示器16的透明的投影区域17，通过该投影区域可识别出机动车10的真实周围环境，例如沿行驶方向的道路区段19。借助于在图2中被方向盘14覆盖的所述投影器15将虚拟信息元素20投影到投影区域17中，所述虚拟信息元素从驾驶员的视角来看与真实周围环境重叠。在呈现的示例中，信息元素20由导航元素21和数据元素22构成，其例如可显示当前的车辆速度。导航元素21由初级图像元素21a和次级图像元素21b构成，其接下来参考图3和4更详细地阐释。

图3和图4示出了驾驶员穿过图1和图2的机动车10的挡风玻璃18的视线，其中，由于主动抬头显示器16而使虚拟信息元素20与真实周围环境重叠，该真实周围环境在呈现的示例中包括由道路23和建筑物24构成的场景。

在图3中，以取决于情形的第一呈现示出了虚拟导航元素20的实施形式。虚拟导航元素10由在当前情况下为不透明的方向箭头的初级图像元素21a以及在呈现的示例中构造为图形化网21c的次级图像元素21b构成，该图形化网由数量众多的在角点处彼此联系的三角形21d构建。这样的呈现在计算机图形中也称为网格。在当前的示例中，网21c象征数字地毯，其将初级图像元素21a与真实周围环境联系。例如，网21c横向于道路23的沿行驶方向的道路区段19的宽度和/或网的网孔宽度可表现传感器数据的质量，所述传感器数据当前供导航和/或自动驾驶使用。网21c的宽度因此显示了初级图像元素21a如何精确地安置在周围环境中。因此在部分自动驾驶的情况下，驾驶员可已经由于该视觉信息而准备必要时由系统要求短期地接管手动驾驶功能。

这种网格对象在计算机图形中也用于扫描真实周围环境，并且其在AR、MR或VR周围环境中图形化表现。相应的软件应用已经在商业上可获得，例如在微软公司的HoloLens动态投影的范畴内用于在MR周围环境中的数据眼镜。相应的应用也可用于本发明的范畴内，以便例如扫描道路区段19并且通过网的相应适配在空间上描绘危险对象(如道路不平)并且/或者在呈现网时例如通过信号颜色或强度的局部提高标记网全部或网的相应部分区段，该部分区段相应于识别出的危险对象的位置。

除了通过扫描周围环境也可将其他传感器参数或另外传送的信息流入到网21c的呈现中。例如，如果数据例如指出实际记录的或潜在可能的行车道结冰等，则可使用传感器数据或还有经由信息娱乐系统接收的天气数据用于将网21c染成警告或警报颜色。

此外，例如可将网21c的长度与当前的或在下一时刻建议的车辆速度联系。例如，在图3中呈现的延展的网可以象征此时能够不需要降低速度或甚至能够提高速度。

然而在图4中呈现的基本上相应于图3的呈现的示例中假定车辆相应于确定的路线规划应在下一个岔路向左弯曲。如果车辆靠近岔路，则初级图像元素21a在呈现的交通情形下还处于当前的道路区段19上，然而次级图像元素21b、即网21c通过其延展沿当前的行驶方向的缩短已经显示应降低速度，或在自动驾驶运行的情况下显示速度刚刚降低或暂时降低。如从图4此外可得知的那样，在此构造为立体方向箭头的初级图像元素21a在岔路的高度上沿新的行驶方向被转动，以便也发出即将来临的方向改变的信号。此外，可临时显示另一可动的图像元素21e，其在呈现的示例中具有与初级图像元素类似的形状并从该图像元素出发沿新的行驶方向运动，以便还更明显地显示所规划的方向改变。

附图标记列表

10 机动车

11 驾驶员信息系统/信息娱乐系统

12 触感式显示屏

13 输入单元

14 方向盘

15 投影器

16 抬头显示器

17 投影区域

18 挡风玻璃

19 道路区段

20 虚拟信息元素

21 导航元素

21a 初级图像元素

21b 次级图像元素

21c 网/网格

21d 相联系的三角形

21e 可动的图像元素

22 数据元素

23 道路

24 建筑物。

Claims (12)

1.一种用于呈现虚拟导航元素的方法，其中，从导航系统的数据中生成至少一个虚拟导航元素(21)并将其在显示设备上与真实周围环境重叠地呈现，

其特征在于，

所述虚拟导航元素(21)包括初级图像元素(21a)和次级图像元素(21b)，其中，所述次级图像元素(21b)根据所述真实周围环境的至少一个参数可变地呈现。

2.根据权利要求1所述的方法，其特征在于，所述初级图像元素(21a)呈现为不透明的图形符号。

3.根据权利要求1或2中任一项所述的方法，其特征在于，所述次级图像元素(21b)呈现为与所述初级图像元素(21a)连接的图形化网(21c)，在所述网的网孔之间可识别出所述真实周围环境。

4.根据权利要求3所述的方法，其特征在于，所述图形化网(21c)由在其角点处连接的三角形(21d)构建。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述次级图像元素(21b)具有可变的长度。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述次级图像元素(21b)具有可变的颜色。

7.一种导航系统，其包括：用于生成至少一个虚拟导航元素的器件，所述虚拟导航元素包括初级图像元素(21a)和次级图像元素(21b)；和用于与真实周围环境重叠地呈现所述虚拟导航元素的显示设备，其中，所述导航系统具有用于执行根据权利要求1至6中任一项所述的方法的器件。

8.根据权利要求7所述的导航系统，其特征在于，所述显示设备包括抬头显示器(16)。

9.根据权利要求7所述的导航系统，其特征在于，所述显示设备包括可携带的导航仪器或智能手机的显示器。

10.根据权利要求7-9中任一项所述的导航系统，其特征在于，所述显示设备包括数据眼镜。

11.一种机动车，其特征在于，所述机动车(10)具有根据权利要求7至10中任一项所述的导航系统。

12.一种计算机程序，其特征在于，所述计算机程序设计成在计算单元中处理时执行根据权利要求1至6中任一项所述的用于呈现虚拟导航元素的方法的步骤。

Images