CN108694730B - 使用图像跟踪的ar装置的近场操纵 - Google Patents

Abstract

使用图像跟踪的AR装置的近场操纵。本发明涉及一种旨在且被配置为用于计量学、测地学以及土木工程学中的至少一个的领域中的增强现实AR系统，AR系统包括：永久性标志，具有相对于坐标系的限定位姿；AR装置，具有相机和处理单元，其中AR装置被配置为：视觉地检测并识别永久性标志，确定AR装置与永久性标志之间的相对位姿；临时性标志，具有编码设计和相对于坐标系和永久性标志的未限定位姿，其中AR装置被配置为：通过编码设计视觉地检测并识别临时性标志，确定永久性标志与临时性标志之间的相对位姿，基于永久性标志与临时性标志之间的所确定的相对位姿，限定临时性标志相对于坐标系的位姿，确定AR装置与临时性标志之间的相对位姿。

Description

使用图像跟踪的AR装置的近场操纵

技术领域

本发明涉及AR系统、相对于坐标系使增强现实AR装置空间地相互关联的方法以及临时性标志的用途。

背景技术

本发明的技术领域是计量学、测地学以及土木工程学。在这些领域中，增强现实(AR)系统经常用于通过参照可视化支持场所上的用户。

这种AR系统通常包括至少一个标志，所述至少一个标志被精确地设置为相对于AR装置(诸如，AR头盔、AR眼镜或平板电脑/智能电话)可以借助于标志使自己参照到的坐标系的预定位姿(pose)。一旦被锁定(或换言之：“注册”)到坐标系中，AR装置能够以到坐标系(即，到自然环境)的精确空间链接显示虚拟对象。通常必须通过反复扫描标志来连续维持锁定状态。

在用户正接近标志时，AR装置的相机的视场捕捉较少的环境，并且在某一时刻，相机可能要丢失对标志的跟踪。在看不到标志之后，领域中已知的AR装置仍然可以能够在位置和方位传感器(例如，包括加速计和/或陀螺仪的惯性测量单元(IMU))的帮助下或在基于相机图像的定位算法的帮助下维持锁定状态。然而，这种补偿措施面临误差累积，并且因此无法达到高精度标准。

因此，本发明提出了一种这种AR系统的可用性范围的情境临时高精度扩展。

发明内容

本发明涉及一种增强现实(AR)系统，该AR系统包括：永久性标志，该永久性标志具有相对于坐标系的限定位姿；AR装置，该AR装置包括相机和处理单元，其中，AR装置被配置为：通过编码设计视觉地检测并识别永久性标志；确定AR装置与永久性标志之间的相对位姿，其中，临时性标志具有编码设计和相对于坐标系和永久性标志的未限定位姿，其中，AR装置被配置为：通过编码设计视觉地检测并识别临时性标志，确定永久性标志与临时性标志之间的相对位姿，基于永久性标志与临时性标志之间的所确定的相对位姿，限定临时性标志相对于坐标系的位姿，确定AR装置与临时性标志之间的相对位姿。

AR装置可以包括被配置为提供支持方位数据的方位传感器和用于利用虚拟模型增强坐标系的视图的显示器中的一个或更多个。

临时性标志可以被具体实施为可附接条带，并且编码设计可以被具体实施为二维码或二维码(像例如，快速响应(QR)码、Aztec码或绝对编码的条形码)的组合物。

本发明还涉及一种相对于坐标系使增强现实(AR)装置空间地相互关联的方法，其中，AR装置包括相机和处理单元，并且被配置为实施以下步骤：视觉地检测并识别永久性标志，其中，永久性标志具有相对于坐标系的限定位姿；确定AR装置与永久性标志之间的相对位姿；通过编码设计视觉地检测并识别临时性标志，其中，临时性标志具有相对于坐标系的未限定位姿；确定永久性标志与临时性标志之间的相对位姿；限定临时性标志相对于坐标系的位姿；以及确定AR装置与临时性标志之间的相对位姿。

具体地，在检测并识别临时性标志期间，永久性标志和临时性标志都位于相机的视场内。在确定AR装置与临时性标志之间的相对位姿期间，永久性标志可以位于相机的视场外部，同时临时性标志位于相机的视场内。

确定相对位姿相应地可以包括通过处理利用相机获得的图像使用基于图像的定位。确定相对位姿相应地可以包括使用后方交会(resection)，特别是使用同时定位与地图构建(SLAM)算法。确定相对位姿相应地可以包括使用由AR装置所包括的方位传感器获得的支持方位数据。

本发明还涉及一种增强现实(AR)系统中的临时性标志对于临时扩展AR系统的可用性范围的用途，其中，AR系统包括：永久性标志，该永久性标志具有相对于坐标系的已限定位姿；AR装置，该AR装置具有相机和处理单元，其中，AR装置被配置为：视觉地检测并识别永久性标志；确定AR装置与永久性标志之间的相对位姿，其中，临时性标志具有编码设计和相对于坐标系的未限定位姿，通过编码设计，可由AR装置视觉地检测并识别，并且由AR装置用于：确定永久性标志与临时性标志之间的相对位姿，限定临时性标志相对于坐标系的位姿，并且确定AR装置与临时性标志之间的相对位姿。

在永久性标志位于相机的视场外部且临时性标志位于相机的视场内时，临时性标志可以由AR装置用于确定AR装置与临时性标志之间的相对位姿。

临时性标志可以包括快速响应(QR)码的组合物或具有绝对编码的任何其他图案组合物。这种图案可以具有任何形式或颜色，例如为黑色和白色的独立条纹。临时性标志可以被具体实施为矩形片(rectangular sheet)的条带或链。临时性标志可以通过包括诸如粘合剂、磁部件、钩环紧固件或销的紧固装置来附接到对象。

附图说明

在下文中，将通过参照伴有附图的示例性实施方式来详细描述本发明，在附图中：

图1示出了基于GPR扫描结构的本发明的第一实施方式，其中，AR系统在临时性标志的帮助下提供可视化；

图2示出了基于建筑物中的墙壁的本发明的第二实施方式，其中，AR系统在临时性标志的帮助下提供可视化；

图3示出了根据本发明的临时性标志的两个实施方式；

图4示出了根据本发明的临时性标志的两个实施方式，所述临时性标志可以在AR系统中用于临时地扩展AR系统的可用性范围。

具体实施方式

例如，为了捕捉混凝土结构30内部的钢筋、线缆、管道、孔洞或类似元件20，可以在由GPR(探地雷达)扫描的区域中根据图1(鸟瞰图)来具体实施本发明。所记录的扫描数据被链接到坐标系。在扫描完成之后，结果被处理并分配到用于显示AR对象(虚拟模型、照片、文本、动画片等)的AR装置，并且从而在诸如钻孔的操作中支持AR装置的用户。AR装置可以为智能头盔、智能眼镜、平板电脑、智能电话等。

用于识别和参照的标志10被放置在扫描场所内。该标志是永久性的，即，通常以相对于坐标系的限定位姿长期固定，并且可以由永续材料(sustainable material)制成，因为环境可能是苛刻的。示例性地，这里示出了包括QR码的永久性标志，然而，可以应用存储在AR系统中的任何其他码或特性图案。另外，永久性标志可以被具体实施为场景内的一个或更多个自然对象，例如，纪念碑、建筑物、建筑物的特色部分、窗角以及具有可以通过其特征被辨别的永久性且已知结构的任何事物中的一个或更多个。

在穿戴AR装置的用户移动为更靠近混凝土结构20例如以便在结构上钻孔40的情况下，AR装置的相机最终将由于有限的视场50而丢失永久性标志10的跟踪。相对于环境的参照(即，坐标系)的维持还可以使用视觉惯性解决方案、惯性测量单元(IMU)、指南针和/或GPS的组合(特别是由传感器融合)来执行。然而，准确度随着时间的过去将不足以使钻孔操作员确保安全操作和避免切割管道、钢筋或在孔洞中钻孔。另外，在没有参照的情况下桥接时间段的流行方法(即，使用磁强计)具有与环境中的金属干扰的缺点，这导致大偏差。

为了克服该问题，可以在结构表面上部署诸如条带的临时性标志60，其中，该临时性标志在其表面上示出可由AR装置识别的码。具体地，可以使用伪随机码(例如，如用于数字水准仪的杆上的线性码)，该伪随机码的优点是比例的不变性，即，同样可以从更大距离正确并明白地解译码。此外，基于这种线性绝对码图案，还可以测量相机与条带之间的距离。

代替示例性命名的线性码，临时性标志还可以在其表面上示出半随机5×5QR码或可由AR装置识别并存储在AR装置上的任何其他图案。

优选地，用户可以将临时性标志60放置为靠近感兴趣点40(在该点处，他希望执行像钻孔的作业)。从AR装置的相机还拍摄其视场50内的永久性标志10的角度，用户可以估计放置临时性标志60的位置。该位置在用户执行他的操作时应在相机的视场内。然而，临时性标志的确切地点不是决定性的(crucial)：一旦被放置在所估计的位置，则它可以具有相对于坐标系的未限定位置和方位。

于是为了使永久性标志10和临时性标志60进入到相机的视场中退回一些步骤，根据本发明，由AR装置执行临时性标志60的校准。一旦永久性标志10进入到AR装置的视场中，则AR装置相对于坐标系参照其自身。临时性标志60的码被存储在AR系统中(例如，云计算机中或AR装置中)，以使得AR装置能够辨识(检测并识别)临时性标志60。

一旦被辨识，则AR装置确定临时性标志60相对于永久性标志10或相应地相对于坐标系的位姿。这借助于图像处理(例如，特征跟踪结合图像后方交会)来进行。

基于永久性标志10与临时性标志60之间所确定的相对位姿，AR装置限定临时性标志60相对于坐标系的位姿，并且从这时起能够经由临时性标志60参照相对于坐标系的、其自己的位姿。通过校准临时性标志60，就是说，临时性标志“被使得为永久性的”，因为从那时起，它不仅在外观上已知，还具有相对于坐标系的确定(因此：限定)位姿。这是为何经校准的临时性标志甚至可以用于校准另外的临时性标志并于是逐步扩展AR系统的可用性范围的原因。

该校准过程允许用于用户的近场操纵(近场，永久性标志10不可由AR装置来检测，但临时性标志60可由AR装置检测)。在近场的用户操作期间，AR装置通过临时性标志60的图像跟踪相对于坐标系在每一个时刻(AR装置的6个自由度)参照其自身。这允许以高准确度在AR装置上连续显示AR元件20(钢筋、线缆、管道等)。

普通5×5QR码带(图3中的附图标记62)每近似100米没有重复图案，这使得它也适于部署在它可以用于0.2至3米距离范围内的所述近场操作中。

具体实施本发明的另一个示例可以是室内工地。图2示出了作为建筑物内的对象31的墙壁的主视图。在该场景中，用户具有沿着墙壁上的两条水平线等距离钻孔41的任务。

作为永久性标志11，一组四个QR码被安装在墙壁上。参照坐标系预限定永久性标志11的位姿，因此该位姿为AR系统所知。AR元件空间地链接到所述坐标系并可在AR装置上显示。为了使墙壁上的标志致密以便使得AR装置能够相对于坐标系使自己空间地相互关联，以未限定方式将一个或更多个编码带61临时地附接到墙壁(未限定意味着条带被随机放置且不相对于坐标系特别地对齐)。这些条带61或这些条带中的每单个充当临时性标志。

基于使用条带上的码的校准过程，在AR装置在其视场中具有永久性标志11和临时性标志61二者时，关于由永久性标志限定的坐标系参照临时性标志。

从那时起，AR装置可以将自己锁定到坐标系中，以便在AR装置在其视场51中仅具有临时性标志61时正确示出钻孔41和诸如电线的其他AR元件。为了在AR装置上覆盖在坐标系中给出的数据，不仅永久性标志11可以用于相对于坐标系参照AR装置，还或者另选地，临时性标志61可以用于相对于坐标系参照AR装置(即，确定AR装置相对于参照坐标系的位置和方位(6个自由度))。

为此，AR装置的相机仅观察如图2所指示的临时性标志61的整个哈希设置(hashsetup)的一部分是足够的。参照可以通过应用来自摄影测量或计算机视觉的算法(例如，后方交会)来执行。

这里所描述的方法可以另外(即，支持地)使用同时定位与地图构建(SLAM)过程或运动恢复结构(structure-from-motion)过程。在这些过程内，临时性标志的功能是在墙壁上提供纹理。在SLAM过程期间，可以在AR装置的相机的图像中检测临时性标志本身或临时性标志多个条带的交会，作为然后从一帧到另一帧跟踪或匹配的拐角点。在SLAM过程期间，例如通过前方交会在坐标系中确定它们的3D坐标，并且这些坐标用于确定AR装置的位置和方位。

图3示出了根据本发明的示例性AR系统，其中，永久性标志12被具体实施为已知(＝限定)确切位置的一组地标。在AR装置70利用其相机捕捉这些地标中的至少三个时，可以确定永久性标志的位姿(位置和方位)。例如，如果相对于AR系统的坐标系已知图3所示的教堂尖塔的位置，则该教堂尖塔可以为永久性标志的一部分。作为另外的示例，吊车的脚、建筑物的拐角或建筑物窗户的拐角也可以为永久性标志的一部分。在场地处固定在适当位置上且具有已限定或可限定位置的任何对象可以充当地标。地标还可以为正如被具体实施为这里所描述的临时性标志的编码标记(badge)。

为了确定并限定永久性标志的位置，可以利用测绘仪器来测绘至少三个地标。因为在工地内，这些测绘仪器经常被定位在已知绝对位置90上，所以测绘仪器80本身或其位置也可以被认为是地标。

地标相对于坐标系的位置被存储在AR系统内(例如，云计算机中或AR装置中)，以使得AR装置能够辨别(检测并识别)永久性标志60。

因此，作为地标的另外三个不同且单独定位的编码标志可以形成永久性标志，其中，至少这三个标志的位置相对于坐标系已知。这将易于从远距离确定永久性标志与临时性标志或AR装置之间的相对位姿。即使可以通过编码设计检测并识别临时性标志，相机的分辨率也可能不足以准确检测单个编码标志的位姿。然而，在三个编码标志的组合(一起形成永久性标志)中，可以更容易地确定相对位姿。

对于靠近建筑物墙壁32的操作，将看不见永久性标志，这是为何靠近需要执行操作的地点附接临时性标志62的原因。如果在相机的视场中具有永久性标志12(即，至少三个地标或编码标志)以及临时性标志62，则AR装置确定永久性标志与临时性标志之间的相对位姿。由此，限定临时性标志62相对于坐标系的位姿。AR系统“学习”临时性标志的位姿并从那时起可以像永久性标志一样对待它。除了之前已经已知的临时性标志62的外观之外，现在AR系统还可以存储临时性标志62的位姿。因此，可以相对于仅由临时性标志62提供的坐标系参照AR装置。永久性标志12不是必须处于相机看得见的位置内。

图4示出了根据以上描述的、临时性标志的两个实施方式63、64，所述临时性标志可以在AR系统中用于临时地扩展AR系统的可用性范围。

如这里所描述的临时性标志也可以用于另选用途情况下：临时性标志被放置在场景内，由此占据未限定位姿。在所述场景中，将使得AR数据可用于AR装置。AR装置将仅将临时性标志用作用于相对于场景参照的手段。在该使用情况下不需要作为全局或绝对参照的永久性标志。然后通过由激光扫描仪或探地雷达装置捕捉场景的数值表示(例如，点云)来获取AR数据。数值表示被立即链接到也被捕捉的临时性标志。由此限定数值表示与临时性标志之间的空间关系。包括数值表示的至少一部分的AR数据被提供给AR装置。AR装置通过临时性标志的编码设计来视觉地检测并识别该标志，并且确定临时性标志与AR装置之间的相对位姿。基于该相对位姿，可以相对于场景以空间参照方式将AR数据覆盖在AR装置上。该使用情况在工地的建筑信息建模(BIM)模型尚未可用时特别有用。这样，临时性标志可以用于“实时地”提供“临时性”参照系。

虽然以上部分参照一些优选实施方式例示了本发明，但必须理解，可以进行实施方式不同特征的大量修改和组合。所有这些修改位于所附权利要求的范围内。

Claims (13)

1.一种旨在且被配置为用于计量学、测地学以及土木工程学中的至少一个的领域中的增强现实AR系统，

所述AR系统包括：

●永久性标志，该永久性标志具有相对于坐标系的限定位姿；

●AR装置，该AR装置具有相机和处理单元，其中，所述AR装置被配置为：

□视觉地检测并识别所述永久性标志；

□确定所述AR装置与所述永久性标志之间的相对位姿，

其特征在于，

●临时性标志，该临时性标志具有编码设计和相对于所述坐标系和所述永久性标志的未限定位姿，所述临时性标志被配置为放置成靠近需要执行操作的地点，

其中，所述AR装置被配置为：

□通过所述编码设计视觉地检测并识别所述临时性标志，

□确定所述永久性标志与所述临时性标志之间的相对位姿，

□基于所述永久性标志与所述临时性标志之间的所确定的相对位姿，限定所述临时性标志相对于所述坐标系的位姿，

□确定所述AR装置与所述临时性标志之间的相对位姿。

2.根据权利要求1所述的AR系统，

其中，所述AR装置包括被配置为提供支持位置和方位数据的位置和方位传感器。

3.根据权利要求1或2所述的AR系统，

其中，所述AR装置包括用于利用AR对象增强所述坐标系的视图的显示器。

4.根据权利要求1或2所述的AR系统，

其中，所述永久性标志

●具有编码设计，或者

●是一组至少三个地标，其中，各地标具有限定位置。

5.根据权利要求1或2所述的AR系统，

其中，所述临时性标志包括以下内容中的一个或更多个：

●矩形片的条带或链、

●快速响应QR码或绝对编码条纹图案的组合物、以及

●附接装置。

6.根据权利要求5所述的AR系统，

其中，所述附接装置是粘合剂、磁部件、钩环紧固件或销。

7.一种相对于坐标系使增强现实AR装置空间地相互关联的方法，其中，所述AR装置

●旨在且被配置为用于计量学、测地学以及土木工程学中的至少一个的领域中，

●包括相机和处理单元，并且

●被配置为实施以下步骤：

□视觉地检测并识别永久性标志，其中，所述永久性标志具有相对于所述坐标系的限定位姿；

□确定所述AR装置与所述永久性标志之间的相对位姿，

□通过编码设计视觉地检测并识别临时性标志，其中，所述临时性标志具有相对于所述坐标系的未限定位姿，所述临时性标志被配置为放置成靠近需要执行操作的地点；

□确定所述永久性标志与所述临时性标志之间的相对位姿；

□基于所述永久性标志与所述临时性标志之间的所确定的相对位姿，限定所述临时性标志相对于所述坐标系的位姿；以及

□确定所述AR装置与所述临时性标志之间的相对位姿。

8.根据权利要求7所述的方法，

其中，在确定所述永久性标志与所述临时性标志之间的相对位姿期间，所述永久性标志和所述临时性标志都位于所述相机的视场内。

9.根据权利要求8所述的方法，

其中，在确定所述AR装置与所述临时性标志之间的相对位姿期间，

□所述永久性标志位于所述相机的所述视场外部或所述视场内，并且

□所述临时性标志位于所述相机的所述视场内。

10.根据权利要求7或8所述的方法，

其中，确定所述相对位姿相应地包括通过处理利用所述相机获得的图像使用基于图像的定位。

11.根据权利要求7或8所述的方法，

其中，确定所述相对位姿相应地包括使用来自摄影测量法或计算机视觉的算法。

12.根据权利要求11所述的方法，其中，所述算法包括后方交会或同时定位与地图构建SLAM。

13.根据权利要求7或8所述的方法，

其中，确定所述相对位姿相应地包括使用由所述AR装置所包括的位置和方位传感器获得的支持位置和方位数据。

Images