CN114503008A - 车辆驾驶辅助的方法和系统 - Google Patents

Abstract

本发明涉及一种用于辅助车辆（5）的驾驶的方法（900）。所述方法（900）由包括HMD（10）和安装在车辆（5）上的定位模块（20）的相关系统（1）实现。特别地，所述方法（900）包括以下步骤：通过定位模块（20）检测（919）车辆位置；通过将补偿法则应用于车辆位置来确定（921）HMD（10）的位置，基于HMD（10）的位置，确定（923）对应于包括在HMD（10）的视场（FOV）中的空间的体积的视野体积（VOL）；将包括在视野体积（VOL）中的一组位置与存储在系统（1）的存储器区域（31）中的与感兴趣的对象（WP1‑3）相关联的至少一个感兴趣的位置（PW1‑3）进行比较（925），以及如果一个或多个感兴趣的位置（PW1‑3）在视野体积（VOL）中，则计算（927）HMD（10）的可视化位置（PA1‑3），在可视化位置（PA1‑3）中要显示与感兴趣的对象（WP1‑3）相关联的图像（AR1‑3），并且在HMD（10）上显示所述可视化位置（PA1‑3）中的图像（AR1‑3）。可视化位置（PA1‑3）使得佩戴HMD（10）的用户看到与感兴趣的对象（WP1‑3）对应的图像（PA1‑3）。

Description

车辆驾驶辅助的方法和系统

技术领域

本发明涉及运输车辆的领域。特别地，本发明涉及用于辅助车辆的驾驶的方法和系统。

背景技术

迄今为止，诸如关于移动速度、燃料水平、导航方向或诸如此类的信息的驾驶信息在车辆的仪表板中或车辆配备有其的任何信息娱乐屏幕上示出。仪表板和屏幕两者通常位于车辆中需要驾驶员至少部分地将他的注意力（eye）从道路环境中移开的位置中，因此降低了驾驶安全性和使用这样的信息的可能性两者。

在汽车和航空领域中，‘平视显示器（Head Up Displays）’，或简称为HUD，已经被提议作为针对该问题的部分解决方案。HUD是允许将图像投影到车辆的挡风玻璃上的系统。特别地，HUD允许信息直接投影到汽车的挡风玻璃上，从而使驾驶员能保持专注于驾驶，始终保持他对道路的凝视（gaze）。

然而，HUD的当前标准，称为HUD 1.0，仅被用于示出由经典车载仪器提供的冗余信息。此外，申请人已经观察到HUD技术不允许有效地描绘增强现实的元素。事实上，由投影系统完全覆盖驾驶员的视场所需的范围比当前现有技术下技术上可获得的范围大得多。特别地，没有HUD能够利用基本上由车辆的挡风玻璃限定的整个主视场，以及辅助视场，诸如一个或多个侧窗。

除了HUD系统之外，最近已经提议了基于可佩戴屏幕的系统，更广为人知的是‘头戴式显示器’，或简称为HMD，其包括透明或半透明的屏幕，在该屏幕上可以再现图像，例如向驾驶车辆时佩戴HMD的用户提供驾驶辅助信息。

例如，US专利申请第US 2016/084661号描述了一种系统和方法，其充当驾驶工具并向驾驶员提供反馈，诸如经由增强现实设备提供的实时视觉反馈。导航系统收集车辆相关信息和驾驶员信息——例如由HMD确定的驾驶员的凝视的方向——并使用该输入信息以便以虚拟引导线和其他驾驶建议的形式生成实时视觉反馈。这些驾驶建议可以经由增强现实设备（诸如HUD显示器）呈现给驾驶员，其中虚拟引导线被投影到车辆的挡风玻璃上，以便被叠加在由驾驶员看到的实际路面上，并可以向驾驶员示出要遵循的线或路线。此外，可以给出其他驾驶建议，诸如制动、加速、转向和换档建议。

申请人已经观察到，US 2016/084661中提议的用于确定由驾驶员观察到的视场并因此有效显示真实图像的方法实现起来很复杂。特别地，如US 2016/084661中所描述的分析驾驶员的凝视需要从硬件和软件的角度进行复杂的实现，以便以足够的精度标识由驾驶员观察到的视场，并确定HMD o HUD上的一个或多个增强现实图像的大小和位置。

再次，欧洲专利第EP 2933707号描述了一种用于动态定向由HMD呈现的内容的方法。所描述的方法包括使用安装在由车辆的驾驶员佩戴的HMD上的至少一个传感器来收集HMD移动数据，以及使用安装在车辆上的至少一个传感器来收集车辆移动数据。因此，该方法涉及对HMD的移动数据和车辆移动数据执行分析，以检测其间的任何差异。基于所发现的差异，计算HMD设备相对于车辆的取向，该取向基于新计算的取向被计算为要呈现在HMD设备的屏幕上的常规数据。

尽管在EP 2933707中提议的方法能够确定HMD的取向，但是它没有使得能够获得令人满意的准确度和精度。此外，该方法需要高计算资源，以基于对驾驶员通过车辆挡风玻璃可见的场景的图像的比较，从一致呈现的HMD数据中计算和生成数据。

发明内容

本发明的目的是克服现有技术的缺点。

特别地，本发明的目的是提出一种用于辅助驾驶的方法和系统，其能够提供精确和可靠的指示，在驾驶车辆时该指示辅助用户。

本发明的目的是提出一种用于再现增强现实的元素的方法和系统，其适于改善用户在使用车辆时的驾驶体验。

本发明的这些和其他目的通过结合了所附权利要求的特征的方法和系统来实现，所附权利要求形成本说明书的组成部分。

在一个实施例中，该方法包括以下步骤：

- 通过安装在车辆上的定位模块来检测车辆位置，

- 通过将补偿法则应用于车辆位置来确定HMD的位置，

- 基于HMD的位置，确定对应于包括在HMD的视场中的空间的体积的视野体积（view volume）；

- 将包括在视野体积中的一组位置与存储在系统的存储器区域中的与感兴趣的对象相关联的至少一个感兴趣的位置进行比较，以及

- 如果一个或多个感兴趣的位置被包括在视野体积中，则计算HMD的可视化位置，在可视化位置中要显示与感兴趣的对象相关联的图像，并且在HMD上显示所述可视化位置中的图像。有利地，可视化位置使得佩戴屏幕的用户看到与感兴趣的对象对应的图像。

由于该解决方案，可能的是，仅基于定位数据在佩戴HMD的用户的视场中精确地显示增强现实图像。特别地，可能的是，有效地补偿由于定位模块和HMD的不同位置而导致的显示误差；事实上，即使这两个元件之间的小距离，也可能导致增强现实图像的显示中的显著不准确，其具有与增强现实的图像相关联的信息的有用性中的随之而来的降低，或者甚至恶化用户的驾驶状况。

有利地，根据本发明的方法仅需要获取和处理定位信息，诸如由全球导航系统或GNSS（例如，GPS、Galileo、GLONASS、北斗等）提供的定位信息，但是不需要处理获取的图像来识别透过车辆挡风玻璃可见的对象以便正确地显示增强现实图像。这允许在增强现实图像的显示中以高准确度和精度实时操作，其中显著降低计算成本和硬件要求。

在一个实施例中，该系统进一步包括布置在车辆内的参考元件，并且

其中通过定位模块检测车辆位置的步骤包括检测相对于全球参考系的车辆位置。优选地，该方法进一步提供用于确定HMD相对于参考元件的相对位置，所述相对位置参考（being referred to）与参考元件相关联的相对参考系。在这种情况下，通过定位模块检测车辆位置的步骤提供用于检测相对于全球参考系的车辆位置；同时，通过将补偿法则应用于车辆位置来确定HMD位置的步骤包括：

- 将补偿法则应用于检测到的车辆位置，以确定参考元件的全球位置，以及

- 基于参考元件的全球位置，将HMD的相对位置转换成相应的全球位置。

由于该解决方案，可能的是，精确地和实时地标识HMD在它在其中被使用的车辆内的相对位置，并且然后通过甚至可以由具有有限处理能力的电子部件有效实现的操作，将它转换成全球位置，即，参考起源于地球的中心中的三维参考系。

在一个实施例中，确定HMD相对于参考元件的相对位置的步骤包括：

- 获取位于车辆内的参考元件的至少一个图像，以及

- 通过处理所获取的图像来计算HMD相对于参考元件的相对位置。

优选地，HMD包括布置在HMD的屏幕的相对侧上的至少两个相机。在这种情况下，确定HMD相对于参考元件的相对位置的步骤包括：

- 使用HMD的每个相机，以用于获取位于车辆内的参考元件的图像；

- 通过处理相应的获取图像来计算每个相机相对于参考元件的相对位置；

- 通过组合相机的相对位置来计算HMD相对于参考元件的相对位置。

这些解决方案允许以简单但同时精确和准确的方式确定HMD的位置。此外，参考元件的使用消除了对如下部件（摄像机、照片相机、红外传感器、压力传感器等）的需要，所述部件在HMD外，并且被配置成标识用户移动，以便评估由用户佩戴的HMD的位置。

在一个实施例中，该系统包括多个参考元件，其中一个选择的参考元件充当主参考元件，并且其他参考元件充当辅助参考元件。优选地，该方法进一步包括如下步骤：其中，对于每个辅助参考元件，计算对应于辅助参考元件相对于主参考元件之间的旋转平移关系的参考关系。甚至更优选地，确定HMD相对于参考元件的相对位置的步骤包括：

- 计算HMD相对于至少两个参考元件的相对位置；

- 将旋转平移关系应用于相对于每个辅助参考元件计算的HMD的相对位置，以及

- 通过组合相对于至少两个参考元件计算的相对位置来计算HMD相对于主参考元件的组合相对位置。

由于该解决方案，HMD的相对位置和全球位置两者都以精确和鲁棒的方式确定。

此外，可能的是，配置该系统，使得它足以标识任何参考元件，以快速和可靠地确定HMD相对于主参考元件的位置和取向。

这保证了系统更大的通用性——而不会显著增加其复杂性——而不管车辆形状如何，并且同时，当HMD指向配备有参考元件的车辆的各种区域（例如，机动车辆的挡风玻璃和侧窗或后窗中的一个或多个处）时，允许正确显示增强现实图像。

在一个实施例中，确定视野体积的步骤包括：

- 通过处理至少一个获取的图像来计算HMD相对于参考元件的取向，以及

- 基于HMD的全球位置和HMD相对于参考元件的取向来确定HMD的视场。

由于该解决方案，可能的是，即使在不改变HMD的位置的头部移动——诸如旋转、倾斜——的情况下，也精确地标识佩戴HMD的用户的视场。结果，也更准确地标识了视野体积。

在一个实施例中，根据上下文确定HMD相对于参考元件的位置和取向，即，确定HMD相对于参考元件的姿势（pose）。因此，也可以设想对由两个相机获取的两个图像的分析步骤和/或如上所述的与HMD的位置相关的若干参考元件的使用，也确定HMD的取向，从而获得相同的益处。

有利地，即使在车辆处于运动中时，上述解决方案也允许精确地确定HMD的姿势。特别地，如与涉及使用IMU和其他传感器来计算HMD的位置和取向（此外，当车辆处于运动中时具有的有限准确度）的已知的解决方案相反，以更可靠的方式确定HMD的姿势，并且不需要实现复杂的硬件和/或软件部件。

在一个实施例中，该方法进一步包括以下步骤：

- 选择轴线校准（boresighting）位置；

- 在HMD上的可视化位置中显示轴线校准图像，所述可视化位置根据轴线校准位置和车辆位置来计算；

- 测量轴线校准位置和可视化位置之间的位置差异，以及

- 基于所述差异来确定所述补偿法则。

以该方式，不管车辆的具体特征和/或在系统的安装期间选择的实现选择如何，都可以精确并且立即确定补偿法则。

优选地，该差异的测量包括定义虚拟轴线校准位置和轴线校准位置之间的旋转平移关系，所述虚拟轴线校准位置对应于可视化位置在三维参考系中的投影。甚至更优选地，基于所述旋转平移关系来确定补偿法则。

由于该解决方案，可能的是，通过操作来定义补偿法则，该操作也可以由具有有限硬件资源和/或具有特别低的计算成本的系统来实现。

根据实施例，该方法规定轴线校准对象位于轴线校准位置中。在这种情况下，定义旋转平移关系优选地包括：

- 定向HMD以便将轴线校准对象包括在HMD的视场中；

- 平移显示在HMD上的轴线校准图像，直到获得轴线校准图像与轴线校准位置中的轴线校准对象的重叠，以及

- 将轴线校准图像在二维参考系中的所述平移转换为虚拟轴线校准位置在三维参考系中的平移和旋转。

这些校准步骤允许以极其简单的方式确定补偿法则。特别地，这些系统校准步骤可以由用户在没有特定技能和/或培训的情况下执行。此外，如果必要的话，该解决方案允许快速且容易地执行新的校准——例如，如果一个或多个参考元件的位置改变，则通过将系统从一辆车移动到另一辆车，和/或周期性地消除使用期间可能出现的偏差来执行。

在一个实施例中，该方法进一步包括以下步骤：

- 获取车辆移动信息，并且

其中在HMD上显示与感兴趣的对象相关联的图像的步骤包括：

- 根据车辆的移动和时间来修改图像。

由于该解决方案，可能的是，进一步提高增强现实图像的显示中的精度和准确度，尤其是在车辆处于运动中时。

不同的方面涉及一种用于辅助车辆的驾驶的系统。

在一个实施例中，这样的系统包括：

- HMD；

- 安装在车辆上的定位模块，其被配置成检测车辆位置；

- 存储器区域，其中存储了与感兴趣的对象相关联的至少一个感兴趣的位置，以及

- 处理单元，其连接到定位模块、HMD，并被配置成实现根据前述实施例中的任一项所述的方法。

优选地，该系统进一步包括可以被定位在车辆内的至少一个参考元件，并且甚至更优选地，HMD包括至少一个相机。

该系统是特别紧凑的，并且允许使用有限的硬件资源以精确和可靠的方式向驾驶车辆的用户提供信息。

在一个实施例中，至少一个参考元件是背光的，以便可更简单地标识。

在一个实施例中，该系统包括多个参考元件，每个参考元件包括相应的标识码，以便允许将参考元件彼此区分开。

在一个实施例中，定位模块包括GNSS模块。附加地或替代地，定位模块可以包括电磁信号的三角测量模块、雷达、激光雷达和/或类似设备。

在一个实施例中，处理单元存储或可被连接到定位数据数据库，以获取与相应的感兴趣的对象相关联的至少一个感兴趣的位置。

在一个实施例中，处理单元被可操作地连接到以下各项中的至少一个：

- 用于车辆通信的BUS，以及

- 惯性测量单元，

以用于获取车辆信息。

由于该解决方案，该系统能够获取和显示大量有用的信息，以辅助车辆的驾驶。

根据对附图的描述，本发明的另外的特征和优点将更加明显。

附图说明

下面将参考一些示例来描述本发明，所述示例被提供用于解释性而非限制性的目的，并在附图中图示。这些图图示了本发明的不同方面和实施例，并且在适当的情况下，不同附图中图示相似结构、部件、材料和/或元件的参考标号由相似的参考数字指示。

图1是安装在车辆上的根据本发明的实施例的系统的示意图；

图2是其中安装了根据本发明的实施例的系统的行驶的车辆的示意性俯视图；

图3是根据本发明的实施例的方法的流程图；

图4a和4b是图示了包括在图1和2的系统中的HMD的姿势的变化的示意图；

图5a-5c示意性地图示了通过HMD可见的视场；

图6是图示了图1的系统的标记的取向和位置的标识和确定步骤的示意性等距视图；

图7是示意性地图示了具有不同的取向和位置的图1的系统的三个标记的轴测图；

图8a和8b是图示了根据本发明的实施例的系统轴线校准过程的主要步骤的示意图，以及

图9是图示了在系统的HMD上显示与相应感兴趣的对象相关联的图像的示意图。

具体实施方式

虽然本发明易于进行各种修改和替代构造，但是某些优选实施例在附图中示出，并在下文中详细描述。在任何情况下要注意的是，不旨在将本发明限制于所图示的具体实施例，而是相反，本发明旨在覆盖落入如权利要求中所限定的本发明的范围内的所有修改、替代方案和等效构造。

除非另外指示，否则“例如”、“等”、“或”的使用指示非排他性的替代方案，而没有限制。除非另外说明，否则“包括”的使用意味着“包括但不限于”。

参考附图，根据本发明的实施例的系统1包括：可佩戴屏幕，更通常地表示为头戴式显示器或HMD 10；定位模块，例如GNSS模块20（全球导航卫星系统）；处理单元30，其被配置成连接到GNSS模块20和连接HMD 10；以及在所考虑的示例中的ArUco类型的一个或多个标记40。

GNSS模块20被配置成周期性地和/或根据请求来提供关于检测到的位置的指示，优选地，该位置在起源于地球的中心中的三维参考系中定义——该三维参考系在下面被称为术语‘全球参考系’。例如，GNSS模块20包括GPS导航器，并被配置成提供一组地理坐标，该组地理坐标指示由GNSS模块20检测到的全球位置，并因此指示车辆5的全球位置。

HMD 10包括透明和/或半透明屏幕11，以便允许佩戴HMD 10的用户透过屏幕11观看（如图5a和6中示意性图示的那样）。此外，HMD 10被配置成——例如，它包括合适的电路（未示出）——在屏幕11上显示图像，该图像被叠加在佩戴HMD 10的用户的视野（FOV）（为了简洁起见，以下称为‘HMD 10的视野FOV’（在图2中示意性图示））中呈现的内容上——因此产生增强现实效果。为此目的，HMD 10可以包括本地处理单元13，该本地处理单元13被配置成基于由处理单元30提供的数据和/或指令来生成要显示的图像。

优选地，HMD 10包括一对相机15，相机15被配置成从不同的视点对相同的空间的区域进行框定（frame）（如图5a-5c中示意性图示的那样）。有利地，HMD 10的相机15被布置在HMD的屏幕11的框架的相对侧上。相机15中的每个被配置成获取基本上对应于HMD 10的FOV的一个或多个图像。特别地，通过组合由相机15在相同时刻提供的图像，确定HMD 10的视野FOV是可能的。

处理单元30包括微控制器、微处理器、通用处理器（例如，CPU）和/或图形处理器（例如，GPU）、DSP、FPGA、ASIC、存储器模块、用于向处理单元30的各种部件提供能量的电源模块中的一个或多个，以及优选地一个或多个接口模块，以用于连接到其他装备和/或连接到与其他实体（例如，HMD 10、GNSS模块20、远程服务器等）交换数据。

特别地，处理单元30包括存储器区域31和/或被连接到存储器模块（未示出）——其中存储感兴趣的对象的位置PW0-PW3是可能的，该位置也用术语世界点（world point）WP0-WP3表示（如图2中示意性示出的那样）。如将是清楚的那样，在本说明书中，术语“世界点”被用于指示与全球参考系中定义的相应位置或一组位置（即区域或体积）相关联的物理对象——诸如道路或其一部分（例如一段弯曲的道路）、建筑物、路障、人行横道、纪念碑、广告牌、文化兴趣点等。

例如，存储器区域31可以被配置成存储数据库，该数据库包括与世界点WP0-WP3中的每个相关联的地理坐标，并且可能包括关于同一世界点WP0-WP3和/或关于与其相关联的一个或多个图像的一项或多项信息。

替代地或附加地，处理单元30可以被配置成连接到远程导航系统7（例如，经过通过到电信网络8的连接访问软件平台）和/或本地导航系统（例如，车辆5的卫星导航器），以便获取与车辆5、HMD 10和/或一个或多个世界点WP0-WP3的检测位置相关联的一项或多项信息。

在一个实施例中，处理单元30被配置成连接到惯性测量单元或IMU 6，和/或连接到其上安装了处理单元30的车辆5的数据BUS 55——例如CAN总线——以访问由车辆5的车载传感器（未示出）提供的数据（例如：速度、加速度、转向角等），以利用计算能力、用户接口和/或利用车辆5的车载计算机（未示出）的连接性。

在优选实施例中，每个标记40包括基准图案——例如，基本上由白色或黑色像素组成的二进制矩阵，这使得它能够容易地与周围环境区分开。有利地，每个标记40的基准图案包含标识码，该标识码使得唯一地标识所述标记40是可能的。

优选地，但是不以限制性的方式，标记40可以包括背光组件（未示出），该背光组件被配置成对标记40的基准图案进行背光，以便简化基于图像的标记40及其基准图案的标识，特别是通过对由HMD 10的相机15获取的图像的处理来简化。

所描述的系统1可以由车辆5的乘客车厢51内的用户利用（如图1中示意性图示）来实现精确和可靠的驾驶辅助的方法900（由图3的流程图图示），而同时需要特别有限的硬件和软件资源。

在安装步骤中，标记40被定位在车辆5的乘客车厢51内，以作为主参考元件操作，并且优选地，可变数量的辅助标记40（在图中考虑的示例中为三个）可以被布置在乘客车厢中，以作为辅助参考元件操作（框901）。

在所考虑的示例中，标记40位于车辆5的挡风玻璃53上或位于挡风玻璃53处。这允许标识HMD 10相对于标记40的取向和位置，并且因此标识HMD 10的视场FOV，并且可能标识要在其上显示图像的屏幕11的显示区域R——如下所述。

例如，考虑如图示的其中驾驶位置在左侧上的车辆5，示例性布置——其允许以特别可靠的方式标识HMD 10的取向和位置——包括将第一标记40定位在挡风玻璃53的一个左端处，将第二标记40定位在相对于驾驶员的位置的前方位置中——而不遮断路径的视野——并且将第三标记40定位在挡风玻璃53相对于其横向延伸的中间位置处。

随后，方法900包括用于校准系统1的步骤，该步骤包括对准过程和轴线校准过程。

在对准步骤中，首先在位于乘客车厢51中的标记40中标识相对位置。例如，在对准过程中，HMD 10由维持预定驾驶姿势的用户佩戴；优选地，其中头部——以及因此HMD10——面向挡风玻璃53（例如，如图4a中所示）。

最初，基本上在同一时刻通过相机15获取图像对A+和A-（框903）。优选地，在其中HMD 10保持在相同位置中或缓慢移动（例如，由于由佩戴HMD 10的用户执行的正常姿势校正或改变）的时间间隔期间，获取一系列的图像对A+和A-。给定相机15之间的距离，图像A+和A-两者将基本上再现HMD 10的相同视场FOV，但是从不同的观察点f1和f2观察（如可以在图5a-5c中看到的）。

相机15的图像A+和A-被处理以识别每个标记40（框905）。在所考虑的示例中，图像A+和A-被组合在一起，以便利用立体视觉（stereoscopy）来定义和标识在图像A+和A-中框定的每个标记40。例如，图像A+和A-是对应于标记40的标识形状，而单个标记40通过标识对应的基准图案来识别。

通过分析每个获取的图像，相对于与HMD 10相关联的参考系，即基本上以佩戴HMD10的驾驶员的视点为中心的三维参考系，计算每个标记40的平移和取向（框907，并在图6中示意性图示）。优选地，计算标记40相对于每个相机15的平移值和旋转值，从而获得两对测量值，随后组合该两对测量值——例如，通过实现平均和/或相关运算的合适算法——以获得与每个标记40相关联的相应的组合旋转和取向测量值。可选地，还可以确定比例值和/或校正因子，以补偿由所使用的相机15的特定特征引入的变形和/或像差。替代地或附加地，每个标记40相对于HDM 10的位置和计算的取向随着时间被过滤以去除任何噪声。

然后选择主标记40，例如在获取的图像A+和A-中具有最佳可见度的标记40，或者具有预定义标识码的标记40，并且优选地通过旋转平移来计算它们——即，将每个标记40的位置链接到主标记40的位置（框908）。

在优选实施例中，对于通过分析在连续时刻获取的图像对A+和A-确定的标记40的每个位置，计算将每个标记40的位置链接到主标记40的旋转平移。然后对针对每个标记40计算的旋转平移进行时间平均，以便获得针对每个标记40相对于主标记40的单个旋转平移。

总之，对准过程允许标识并有利地存储链接主标记40和辅助标记40中的每个的相应旋转平移关系（如图7中由虚线箭头示意性表示的，其中以标记40为中心的矢量三元组表示以每个标记40为中心的相应参考系，并且箭头表示将辅助标记40链接到主标记40的旋转平移操作）。

否则，校准步骤的轴线校准过程在GNSS模块20的位置和HMD 10相对于全球参考系的实际位置之间建立补偿法则，并且因此允许基于由GNSS模块20提供的测量值来计算显示在HMD 10上的图像的最佳显示。在优选实施例中，通过标识与参考标记40相关联的相对参考系和与GNSS模块20相关联的全球参考系之间的旋转平移关系来定义补偿法则。

特别地参考图8a和8b，最初车辆5、特别是GNSS模块20，被定位在距对准对象或轴线校准世界点WPR（例如真实物理对象）预定距离d处并具有已知取向（框909）。因此，与轴线校准世界点WPR相关联的轴线校准位置PWR是已知的。申请人已经确定，直线段可以被用作轴线校准世界点WPR，并且允许系统1的精确轴线校准。然而，申请人已经发现，多边形图形和/或三维对象允许用户更简单地完成轴线校准过程。

由GNSS模块20测量的轴线校准位置PWR和车辆位置PG被用于确定要在HMD 10的屏幕11上显示的相应（二维）轴线校准图像ARR（框911）。

优选地，轴线校准图像ARR具有一定形状，以便对应于通过HMD 10看到的轴线校准世界点WPR。

轴线校准图像ARR的HMD 10上的可视化位置PAR对应于与相应虚拟对象或虚拟轴线校准点VPR相关联的虚拟轴线校准位置PVP。虚拟轴线校准点VPR是轴线校准世界点WPR的虚拟复制品（replica），而虚拟轴线校准位置PVR是基于由GNSS模块20提供的车辆位置计算的轴线校准位置PWR的复制品（在HMD 10的相对参考系中）。

由于GNSS模块20和HMD 10的不同位置，通常轴线校准图像ARR将不被叠加在轴线校准世界点WPR上。因此，轴线校准过程规定轴线校准图像ARR沿着HMD 10的屏幕11平移，直到二维图像ARR——在新的可视化位置PAR'中——与轴线校准世界点WPR重叠——通过车辆5的挡风玻璃53可见（框913）。例如，处理单元30可以被配置成允许用户移动轴线校准图像ARR，例如经由处理单元30的用户接口（未示出）或者经由连接到处理单元的设备（例如HMD 10本身，或者个人计算机、智能电话、平板计算机、车辆5的车载计算机等）的用户接口来移动。

因此，处理导致轴线校准图像ARR和轴线校准世界点WPR的叠加的HMD 10的屏幕11上的平移，以确定能够补偿轴线校准图像ARR和轴线校准世界点WPR之间的差异——或偏移——的补偿法则（框915）。

例如，补偿法则可以由基于虚拟轴线校准位置PVR（其与轴线校准图像ARR对应于其的虚拟轴线校准点VPR相关联）和对准位置PWR（其与参考世界点WPR相关联）之间的旋转平移关系的补偿矩阵来定义。

事实上，轴线校准过程允许简单且有效地确定GNSS模块20的位置和HMD 10的位置之间的旋转平移关系，其由于检测到标记40中的至少一个——即，与车辆5集成的参考元件——而可标识。换句话说，旋转平移关系将GNSS模块20的位置与位于车辆的乘客车厢51内的静态位置中的至少一个标记40的位置相关联。这允许精确和准确地定义由GNSS模块20使用的全球坐标系中HMD 10的实际位置。

总之，补偿法则允许校正由用户通过其观察环境的HMD 10的不同全球位置和由GNSS模块20检测的全球位置引入的误差。通过应用补偿法则，可能的是，校正HMD 10上任何图像的再现位置，使得其对应于相对世界点WPR，而不管由于例如佩戴HMD 10的用户的头部的移动而导致的HMD 10在乘客车厢51内的移动。

一旦校准步骤已经完成，在方法900的操作步骤中，系统1就能够在HMD 10上实时显示与对应的世界点WP1-3相关联的一个或多个图像AR1-3，从而以高准确度和精度将它们定位在HMD 10的屏幕11上（如图9中示意性图示的）。

最初，确定HMD 10相对于标记40的姿势（框917）。换句话说，确定HMD 10相对于标记40的相对位置，该标记40被安装在车辆5内并与其集成。

在优选实施例中，执行每个相机15相对于每个识别的标记40的姿势的计算。换句话说，图像对A+和A-由相机15获取，以标识相机15和标记40之间的相对位置。

例如，可以通过基于在F. Ababsa、M. Mallem的“Robust Camera Pose Estimation Using 2D Fiducials Tracking for Real-Time Augmented Reality Systems”，International conference on Virtual Reality continuum and itsapplications in industry，第431-435页，2004中描述的算法来标识每个相机15相对于标记40的姿势。此外或替代地，被配置成标识相机的姿势的算法可以基于包含在以下文献中的教导：发表于Machine Vision and Application，第21卷，第3期，第265-376页，2010年中的Madjid Maidi、Jean-Yves Didier、Fakhreddine Ababsa、Malik Mallem：“A performance study for camera pose estimation using visual marker-based tracking”，和/或发表于Image and Vision Computing，第76卷，2018年中的Francisco J.Romero-Ramirez、Rafael Munoz-Salinas、Rafael Medina-Carnicer：“Speeded Up Detection of Squared Fiducial Markers”。

随后，旋转和平移测量值被组合——例如通过实现平均和/或相关运算的适当算法——以获得HMD 10相对于标识的标记40中的每个的旋转和取向的相应测量值。

有利地，在校准步骤中确定的辅助标记40和主标记40之间的旋转平移关系被应用于相对于辅助标记40计算的HMD 10的姿势，以便获得全部参考主标记40的HMD 10的姿势的集合，然后将所述姿势彼此组合——例如通过实现平均和/或相关运算的适当算法——以便获得HMD 10相对于主标记40的组合姿势，这是特别精确的。换句话说，确定HMD 10相对于主标记40，即相对于相对参考系的取向和位置。

此外，一个或多个标识的标记40可以被用于定义屏幕11的显示区域R的形状和范围，其中将显示图像，例如使得图像被叠加显示在车辆5的挡风玻璃53或其一部分上（如图4a和4b中示意性图示的）。

随后或并行地，通过GNSS模块20检测车辆位置PG（框919）。

然后，通过应用在校准步骤期间定义的补偿法则来修改车辆位置PG，以便确定HMD10相对于全球参考系的位置（框921和图2）。

在优选实施例中，通过在轴线校准过程期间确定的旋转平移关系来修改车辆位置PG，从而允许将相对于主标记40确定的HMD 10的相对位置转换成参考全球参考系的位置——例如地理坐标。

换句话说，由于补偿法则，HMD 10相对于全球参考系的位置和取向被实时确定。

基于由HMD 10的姿势定义的取向，确定视野体积VOL，即，包括在HMD 10的视场FOV中的空间的体积（框923）。优选地，视野体积VOL（在图2中示意性图示）在由HMD 10的当前位置预定的距离（即，视场FOV的深度）内延伸，该距离可能基于由IMU 6和/或由车辆传感器5获取的参数（诸如车辆5的速度和/或加速度）而被修改。

随后，验证存储在存储器区域31中的世界点WP0-3的感兴趣的位置PW0-3中的一个或多个是否被包括在视野体积VOL中（框925）。

对于包括在视野体积VOL中的每个感兴趣的位置PW1-3，计算相应的可视化位置PA1-3，使得佩戴屏幕的用户在相应的世界点WP1-3处看到每个图像AR1-3（框927）。有利地，图像AR1-3的形状和其他特性可以基于与相应的世界点WP0-3相关的信息——例如几何信息——优选地，该信息包含在与感兴趣的位置PW0-3相关联的存储器区域31中。

然后，图像AR1-3在HMD 10上再现，每个图像在相应的可视化位置PA1-3中。优选地，如果每个图像AR1-3被包括在叠加在车辆的挡风玻璃53上的屏幕11的显示区域R中，则显示每个图像AR1-3。

例如，通过实现包括在软件产品MATLAB®中并在MathWorks公司的2019年3月的版本9.0（R2019a版）的“Computer Vision Toolbox™ Reference”修订版中描述的Computer Vision Toolbox™的‘worldToImage’功能的类似算法，可以生成图像AR1-3，以便被显示在对应于尽可能多的感兴趣的位置PW1-3的相应的可视化位置PA1-3中。

此外，方法900提供用于修改与世界点WP1-3相关联的二维图像AR（例如，通过比例、视角等中的变化），作为HMD 10的位置和这样的世界点WP1-3之间的时间和/或距离的函数（框929）。换句话说，提供对每个世界点WP1-3的追踪或跟踪，只要它作为车辆5的移动的函数（例如，基于车辆5的位置的变化而估计）被包括在视野体积VOL中。此外，提供动态修改显示在HMD 10上的图像AR1-3的形状和/或位置，使得图像AR1-3中的每个都正确地与对应的世界点WP1-3相关联。

换句话说，在操作步骤期间，方法900允许在HMD 10上显示二维图像（诸如驾驶轨迹、速度限制、关于道路状况、大气状况和/或相对于包括在FOV中的感兴趣的点的信息，诸如城市、建筑物、纪念碑、商业机构等），二维图像与在佩戴HMD 10的用户的视场FOV中可见的内容精确且可靠地集成。有利地，方法900被配置成实时修改所显示的图像AR1-3的形状和可视化位置，以适应车辆5和HMD 10两者的位置变化。

如此构思的本发明易于进行若干修改和变化，所有这些都落入本发明构思的范围内。

例如，在一个实施例中，处理单元30被配置成利用由IMU和/或车辆5的传感器获取的测量值，以便增加HMD 10上的图像的定位准确度和/或提供包含更详细和/或附加信息项的图像。

最终，在轴线校准过程期间，也可以提供缩放轴线校准图像ARR的可能性，以便保证后者和参考世界点之间的最佳重叠。在这种情况下，在评估轴线校准图像ARR和参考世界点WPR之间的差异时，也可以考虑轴线校准图像ARR缩放操作。

此外，在轴线校准过程期间，没有什么禁止使轴线校准图像ARR和轴线校准世界点WPR之间的重叠步骤自动化。例如，处理单元30可以被配置成当框定在HMD 10的视场FOV中时标识轴线校准世界点WPR，并且然后自动地将轴线校准图像ARR叠加在轴线校准世界点WPR上，或者通过应用一个或多个合适的算法自动地直接确定轴线校准世界点WPR处的轴线校准图像ARR之间的差异。

在一个实施例中，方法900提供对GNSS数据数据库7的周期性访问，以便验证新世界点在感兴趣的地理区域中、例如在视野体积中的存在。

如将明显的是，在上述对准过程之后，系统1可以被配置成使用任何数量的标记40来操作。例如，在方法900的操作步骤期间，可以使用一对标记40或单个标记40来确定HMD10的姿势。这允许调整由系统1实时提供驾驶辅助所需的计算负载，其中系统1对由于车辆5和/或世界点WP0-3的移动而引起的变化具有更好的整体响应性。此外，这允许调整HMD 10的姿势的标识的准确度和处理单元30所需的计算负荷之间的关系。

在一个实施例中，对于要显示的每个世界点WP1-3，方法900提供用于相对于至少一个标识的标记40定义相对虚拟点。如果标识了一个或多个辅助标记，则将旋转平移关系应用于相对于辅助标记计算的相对虚拟点，以便相对于主标记重新定义这些相对虚拟点。通过组合参考主标记的所有相关虚拟点来确定最终虚拟点——优选地，通过包括例如平均和/或相关运算的适当算法来组合。然后通过应用补偿法则将最终虚拟点转换成要显示的对应图像，以便校正在HMD 10的屏幕11的表面的二维参考系中定义的图像中虚拟点的位置。

在未示出的实施例中，当世界点（例如图2中的世界点WP0）不被包括在视野体积VOL中时，可能的是，提供相应的虚拟指示器——例如箭头——显示在HMD 10上——例如在显示区域R的边缘处再现——其中尖端指向相应的世界点WP0的位置。除了箭头之外，可以显示关于显示区域R外的世界点WP0的其他信息，诸如世界点WP0的名称、距离等。

在替代实施例中，基于与车辆5的距离、与相对世界点相关联的驾驶危险和/或用于传达其他信息，图像AR可以以假颜色再现。

没有什么禁止实现和/或省略方法900的一个或多个可选步骤，正如没有什么禁止并行或以不同的次序执行两个或更多个步骤。

此外，一个或多个实现细节可以由其他技术上等效的元素来替换。

例如，除了ArUco标记30之外或替代ArUco标记30，可以使用其他参考元件30，诸如一个或多个数据矩阵、QR码和/或其他类型的参考元件。

自然地，可能的是，提供也由不同（更多或更少）数量的标记40组成的标记40的替代布置；最后，没有什么禁止使单个标记40来实现上述方法900。

此外，标记40可以被布置在附加的和/或替代的位置中。例如，一个或多个标记40可以被定位在车辆5的窗户中的一个处或后窗上，以便允许即使当用户将他的凝视移向它们时也再现正确定位的增强现实图像。

优选地，但非限制性地，标记40基于包含在以下文献中的教导来制成：发表于Image and Vision Computing，第76卷，第38-47页，2018年中的Francisco J. Romero-Ramirez、Rafael Muñoz-Salinas、Rafael Medina-Carnicer：“Speeded up detection of squared fiducial markers”；发表于Pattern Recognition第51卷，第481-491页，2016年中的S. Garrido-Jurado、R. Muñoz Salinas、F.J. Madrid-Cuevas、R. Medina-Carnicer：“Generation of fiducial marker dictionaries using mixed integer linear programming”；和/或发表于Pattern Recognition第47卷，第6期，第2280-2292页，2014年中的Garrido-Jurado、Sergio等人：“Automatic generation and detection of highly reliable fiducial markers under occlusion”。

此外，尽管在上述示例性实施例中已经指示补偿法则被应用于由GNSS模块20检测的——全球——位置，但是没有什么禁止定义适用于基于标记40确定的HMD 10在车辆5内的——相对——位置的相应补偿法则。

此外，没有什么禁止通过两个分离的操作而不是通过如上所述的单个操作来标识HMD 10的位置和取向，所述两个分离的操作可以顺序和/或并行执行。

尽管申请人已经确定使用标记40是特别有利的，但是没有什么禁止实现替代方法，其中HMD相对于挡风玻璃和/或乘客车厢的其他元件的位置和取向被不同地标识，例如通过使用瞄准驾驶员的摄像机和/或照片相机和/或安装在HMD上的一个或多个运动传感器。

系统1可以作为要在车辆的乘客车厢内组装的部件的套件来提供。详细地，该套件包括至少处理单元30、专用GNSS模块20——或者替代地，处理单元与车辆的GNSS模块之间的有线和/或无线连接元件，以及HMD 10，优选地，包括两个相机10，并且可连接到处理单元。替代地，处理单元30可以被配置成与一个或多个商业上可获得的HMD（例如，MicrosoftHoloLens）一起操作。因此，套件的一个或多个版本不一定包含HMD。

替代地，没有什么禁止将处理单元30集成到车辆5中或者集成到可以被连接到车辆的用户设备（智能电话、平板计算机、计算机等）中或者在车辆5或用户设备的处理单元中实例化被配置成实现方法900的软件产品。

此外，系统1的元件之间的连接——特别是处理单元30和HMD 10之间的连接——既可以是有线类型的又可以是无线的，并且优选地是无线的。类似地，与系统1的元件和其他元件的连接——例如处理单元30和IMU、车辆5的ECU（未示出）、车辆5的信息娱乐系统（未示出）等之间的连接——可以是有线或无线的。

实际上，所使用的材料以及可能的形状和大小可以是根据要求的任何材料，而不会因此脱离以下权利要求的保护的范围。

Claims (13)

1.用于辅助车辆（5）的驾驶的方法（900），所述方法（900）由包括HMD（10）和安装在车辆（5）上的定位模块（20）的系统（1）实现，所述方法（900）包括以下步骤：

- 通过定位模块（20）检测（919）车辆位置；

- 通过将补偿法则应用于车辆位置来确定（921）HMD（10）的位置；

- 基于HMD（10）的位置，确定（923）对应于包括在HMD（10）的视场（FOV）中的空间的体积的视野体积（VOL）；

- 将包括在视野体积（VOL）中的一组位置与存储在系统（1）的存储器区域（31）中的与感兴趣的对象（WP1-3）相关联的至少一个感兴趣的位置（PW1-3）进行比较（925），以及

- 如果一个或多个感兴趣的位置（PW1-3）被包括在视野体积（VOL）中，则计算（927）HMD（10）的可视化位置（PA1-3），在可视化位置（PA1-3）中要显示与感兴趣的对象（WP1-3）相关联的图像（AR1-3），并且在HMD（10）上显示所述可视化位置（PA1-3）中的图像（AR1-3），可视化位置（PA1-3）使得佩戴HMD（10）的用户看到与感兴趣的对象（WP1-3）对应的图像（PA1-3）。

2.根据权利要求1所述的方法（900），其中，所述系统（1）进一步包括布置在车辆（5）内的参考元件（40），并且

其中所述方法进一步包括：

- 确定（917）HMD（10）相对于参考元件（40）的相对位置，所述相对位置参考与参考元件（40）相关联的相对参考系，并且

其中通过定位模块（20）检测（919）车辆位置的步骤包括：

- 检测相对于全球参考系的车辆位置，并且

其中，通过将补偿法则应用于车辆位置来确定（921）HMD（10）的位置的步骤包括：

- 将补偿法则应用于检测到的车辆位置，以确定参考元件（40）的全球位置，所述全球位置参考全球参考系，以及

- 基于参考元件（40）的全球位置将HMD（10）的相对位置转换成相应的全球位置。

3.根据权利要求2所述的方法（900），其中确定HMD（10）相对于参考元件（40）的相对位置的步骤包括：

- 获取位于车辆（5）内的参考元件（40）的至少一个图像，以及

- 通过处理获取的图像来计算HMD（10）相对于参考元件（40）的相对位置。

4.根据权利要求3所述的方法（900），其中HMD（10）包括布置在HMD（10）的屏幕（11）的相对侧上的至少两个摄像机（15），并且其中确定（917）HMD（10）相对于参考元件（40）的相对位置的步骤包括：

- 使用HMD（10）的每个相机（15），以用于获取位于车辆（5）内的参考元件（40）的图像；

- 通过处理相应的获取图像来计算每个相机（15）相对于参考元件（40）的相对位置；

- 通过组合相机（15）的相对位置来计算HMD（10）相对于参考元件（40）的相对位置。

5.根据权利要求2至4中的任一项所述的方法，其中，所述系统（1）包括多个参考元件（40），其中一个选择的参考元件充当主参考元件，并且其他参考元件充当辅助参考元件，所述方法进一步包括以下步骤：

- 对于每个辅助参考元件，计算（903-908）对应于辅助参考元件和主参考元件之间的旋转平移关系的参考关系，以及

其中确定（917）HMD（10）相对于参考元件（40）的相对位置的步骤包括：

- 计算HMD（10）相对于至少两个参考元件（40）的相对位置；

- 将旋转平移关系应用于相对于每个辅助参考元件计算的HMD（10）的相对位置，以及

- 通过组合相对于至少两个参考元件计算的相对位置来计算HMD（10）相对于主参考元件的组合相对位置。

6.根据前述权利要求2至5中的任一项所述的方法（900），其中确定（923）视野体积（VOL）的步骤包括：

- 通过处理至少一个获取的图像来计算HMD（10）相对于参考元件（40）的取向，以及

- 基于HMD（10）的全球位置和HMD（10）相对于参考元件（40）的取向来确定HMD（10）的视场（FOV）。

7.根据前述权利要求中的任一项所述的方法（900），进一步包括以下步骤：

- 选择（909）轴线校准位置（PWR）；

- 在HMD（10）上的可视化位置（PAR）中显示（911）轴线校准图像（ARR），所述可视化位置（PAR）根据轴线校准位置（PWR）和车辆位置来计算；

- 测量（913）轴线校准位置（PWR）和可视化位置（PAR）之间的位置差异，以及

- 基于所述差异来确定（915）所述补偿法则。

8.根据权利要求7所述的方法（900），其中测量轴线校准位置（PWR）和可视化位置（PAR）之间的差异位置包括：

- 定义虚拟轴线校准位置（PVR）和轴线校准位置（PWR）之间的旋转平移关系，所述虚拟轴线校准位置（PVR）对应于可视化位置（PAR）在三维参考系中的投影，以及

确定所述补偿法则包括：

- 使用所述旋转平移关系来确定所述补偿法则。

9.根据权利要求8所述的方法（900），其中，轴线校准对象位于轴线校准位置（PW）中，并且

其中定义旋转平移关系包括：

- 定向HMD（10）以便将轴线校准对象包括在HMD（10）的视场（FOV）中；

- 平移显示在HMD（10）上的轴线校准图像（ARR），直到获得轴线校准图像（ARR）与轴线校准位置（PWR）中的轴线校准对象（WPR）的重叠，以及

- 将轴线校准图像（ARR）在二维参考系中的所述平移转换为虚拟轴线校准位置（PVR）在三维参考系中的平移和旋转。

10.根据前述权利要求中的任一项所述的方法（900），进一步包括以下步骤：

- 获取车辆移动信息（5），并且

其中在HMD（10）上显示与感兴趣的对象相关联的图像的步骤包括：

- 根据车辆（5）的移动和时间来修改图像。

11.用于辅助车辆（5）的驾驶的系统（1），包括：

- HMD（10）；

- 安装在车辆上的定位模块（20），其被配置成检测车辆位置，

- 存储器区域（31），其中存储了与感兴趣的对象相关联的至少一个感兴趣的位置，以及

- 处理单元（30），其可操作地连接到定位模块（20）、HMD（10），并被配置成实现根据前述权利要求中的任一项所述的方法（900）。

12.根据权利要求11所述的系统（1），进一步包括：

- 至少一个参考元件（40），其可以被定位在车辆（5）内。

13.根据权利要求11或12所述的系统（1），其中所述处理单元（30）可操作地连接到以下各项中的至少一项：

- 用于车辆通信（5）的BUS（55），以及

- 惯性测量单元（6），

以用于获取车辆信息（5）。

Images