CN117460924A - 用于记录检验数据的方法 - Google Patents

Abstract

本发明涉及一种用于在比例绘图空间中记录环境的检验数据的方法和系统。该方法包括以下步骤：从相机接收图像序列，当相机沿着相机路径移动通过环境时图像序列由相机捕获；基于图像序列生成传感器空间中的相机路径的估计；对于在相机路径上的第一位置处拍摄的图像序列中的第一图像，获得传感器空间中的第一位置并且接收指示相机在比例绘图空间中的第一位置的第一用户输入；对于在相机路径上的第二位置处拍摄的图像序列中的第二图像，获得传感器空间中的第二位置并且接收指示相机在比例绘图空间中的第二位置的第二用户输入；基于传感器空间中的第一位置和第二位置以及比例绘图空间中的第一位置和第二位置来计算传感器空间与比例绘图空间之间的第一变换；在相机路径上的检验位置处，接收检验数据；将检验数据与指示比例绘图空间中的检验位置的数据一起存储。

Description

用于记录检验数据的方法

技术领域

本发明涉及一种用于在比例绘图空间中记录环境的检验数据的方法以及用于执行该方法的检验系统。

背景技术

现代社会依赖于建筑物，诸如房屋、办公楼、工业建筑、桥梁、街道、管道和线缆，这些建筑物需要维护并保持良好状况，以确保其内部和周围的人们的安全。为了及早检测到建筑物中的缺陷，执行检验。常规检验包括检验员在建筑物内或周围行走，并且例如通过肉眼和/或通过非破坏性测试(NDT)方法对其进行检验。检验的文档编制通常通过获取检验数据(例如，通过拍摄照片和/或NDT数据)来完成，并且手动地将它们与检验位置(即，获取检验数据的位置)相关联。理想地，文档编制包括在比例绘图中它们各自的检验位置所关联的检验数据，无论其是在平面图空间中(即，在建筑物的平面图的坐标系中，如果比例绘图是平面图的话)还是在地图空间中(即，在环境的地图的坐标系中)。这种常规检验是乏味且耗时的，因为它要求检验员进行大量的手动交互，特别是位置记录。

最近对检验并且特别是对检验员工作流程的改进如下：对于户外检验以及在全球导航卫星系统(GNSS)定位(例如，通过GPS)可行的情况下，检验数据可以自动与通过GNSS测得的检验位置相关联，即，无需检验员为了定位而进行额外的交互。但是，简单的GNSS定位对于检验目的可能不够精确，例如出于可重复性的原因，可能要求米级或以下的精度。另外，由于通过建筑物的GNSS卫星的视线的遮蔽，因此GNSS定位可能失败。

对于GNSS定位通常不可行的室内检验，检验员仍然需要手动提供指示检验位置的数据，例如通过轻击检验位置处的被检验建筑物的所显示平面图。虽然这个过程比常规检验更快，但它仍然存在几个缺点：手动为每个检验数据提供检验位置不仅仍然繁琐且耗时，而且由于就检验员而言容易出错而不太可靠。

发明内容

因此，本发明要解决的问题是提供一种用于记录环境的检验数据的方法，该方法是快速的并且同时将可靠的检验位置与相应的检验数据相关联，特别是在室内使用中。另外，本发明的目的可以是提供一种用于记录环境的检验数据的方法，该方法在不存在绝对定位系统的情况下工作，特别是在不存在GNSS数据或GNSS数据不充分的情况下工作。

这个问题通过以下用于在比例绘图空间中记录环境的检验数据的方法来解决。例如，比例绘图可以是平面图。在这种情况下，环境通常是建筑物，诸如房屋、办公楼、工业建筑或桥梁，并且比例绘图空间可以被称为平面图空间，如贯穿以下描述的那样。

在替代实施例中，比例绘图可以例如是地图，特别是物理地图。在这种情况下，环境通常是室外环境或室内外混合环境，例如具有建筑物、街道、路径、管道和线缆，并且比例绘图空间可以被称为地图空间。这样的环境可以例如包括建筑工地，特别是在例如出于非破坏性测试或出于文档编制原因而执行检验的地方。一般而言，结合平面图和平面图空间公开的以下特征也适用于具有地图和地图空间的替代实施例。

特别地，平面图包括平面图空间中的环境的二维、按比例表示。平面图空间通常被两个坐标轴(特别是水平坐标轴)跨越。有利地，平面图指定平面图空间中的环境中的物理特征的位置和尺寸，特别是墙壁、门、窗、柱子和楼梯中的至少一个的位置和尺寸。平面图空间中的位置和尺寸可以例如以像素或米为单位给出。在室外或室内外混合环境的替代实施例中，地图空间中的位置和尺寸可以例如以米或度(纬度、经度)为单位给出，特别是建筑物、街道、路径和植被中的至少一个的位置和尺寸。

根据本发明的一方面，该方法包括以下步骤：

-从相机接收图像序列，当相机沿着相机路径移动通过环境时图像序列由相机捕获：相机可以例如由用户(例如，检验员)

沿着相机路径携带，或者它可以是沿着相机路径移动的无人机的一部分，特别是被自主或远程控制。

-基于图像序列生成传感器空间中的相机路径的估计：下面给出可以如何完成这个的技术。传感器空间特别地是真实空间的表示，它是三维的，如由相机在二个(有利地为水平)维度中感测到的。传感器空间中的位置可以例如以米来表达。

-对于在相机路径上的第一位置处拍摄的图像序列中的第一图像，获得传感器空间中的第一位置并且接收指示相机在平面图空间中的第一位置的第一用户输入：换句话说，第一位置表示用于确定传感器空间与平面图空间之间的变换的第一校准点。

-对于在相机路径上的第二位置处拍摄的图像序列中的第二图像，获得传感器空间中的第二位置并且接收指示相机在平面图空间中的第二位置的第二用户输入：换句话说，第二位置表示用于确定传感器空间与平面图空间之间的变换的第二校准点。

-基于传感器空间中的第一位置和第二位置以及平面图空间中的第一位置和第二位置来计算传感器空间与平面图空间之间的第一变换：通常，第一变换可以由第一矩阵表示。特别地，

变换描述平移、旋转和缩放中的至少一种。

-在相机路径上的检验位置处，接收检验数据：如后面详细描述的，检验数据的获取可以由用户手动触发，或者在不同的实施例中，当满足某些条件时自动触发。

-将检验数据与指示平面图空间中的检验位置的数据一起存储：

换句话说，检验数据与它们各自的检验位置相关联或者用它们各自的检验位置进行标记。指示平面图空间中的检验位置的数据特别地是可从其导出平面图空间中的检验位置的数据。

因而，指示平面图空间中的检验位置的数据可以例如包括以下至少之一：平面图空间中的检验位置；传感器空间中的检验位置以及传感器空间与平面图空间之间的第一(或其它适用的)变换；检验数据的时间戳和平面图空间中相机路径的第一估计的带时间戳版本；检验数据的时间戳和传感器空间中相机路径的第一估计的带时间戳版本以及传感器空间与平面图空间之间的第一(或其它适用的)变换。

显然，这种用于在平面图空间中记录检验数据的方法产生了检验数据的快速、可靠且一致的定位：在检验开始时，为了建立传感器空间与平面图空间之间的变换，基于(至少)第一和第二位置的校准是必要的。在建立变换之后，只需要沿着相机路径移动相机，并且获取检验数据，而无需进一步的用户交互来记录检验位置。由于没有进一步的用户交互，该方法不太容易因错误的用户输入而出现定位错误。

当传感器空间中的相机路径的估计的至少一部分在不考虑GNSS位置数据的情况下被生成时，这种方法特别有利。这通常是室内检验中(即在建筑物内部)的情况，其中由于GNSS信号被建筑物衰减而无法获得GNSS数据。另外，这种情形通常发生在建筑区域中的户外检验中，例如，其中建筑物阻碍足够的GNSS数据接收。而且，所描述的方法提供了足够的定位精度，特别是米级或以下，这是例如在不使用基站的情况下通过标准GNSS定位无法达到的。在那方面，本发明的方法提供了室内以及室外的检验数据的精确、可靠和一致的定位。

有利的实施例

有利地，传感器空间中的相机路径的估计以及传感器空间与平面图空间之间的第一变换是在与相机一起沿着相机路径移动的设备中计算的。相机可以是该设备的组成部分。特别地，该设备可以是平板计算机或智能电话。可替代地，相机可以与设备分离，例如，穿戴在用户的胸部或头上的相机。在这种情况下，相机通过无线或者通过线缆连接到设备。

在有利的实施例中，该设备包括被配置为显示检验数据和/或平面图的图形表示的显示器。

检验数据可以是不同类型：检验数据可以例如包括从相机(即，拍摄图像序列的同一相机)接收的图像。此外，检验数据可以包括来自例如安装在用户的头盔上的360度相机的图像。另外，检验数据可以包括非破坏性测试数据，特别是硬度值、超声数据、探地雷达(GPR)数据、涡流数据中的至少一种。

在特别有利的实施例中，实时地计算相机路径的估计、第一变换和指示平面图空间中的检验位置的数据。在本上下文中，“实时”意味着在检验期间，特别是在获取相关数据后不到1秒内，相关数据分别是图像序列中的最新图像、第一和第二用户输入以及检验数据。

这种实时定位，特别是与平面图的显示相结合，允许用户查看并检查他在平面图空间中的当前位置，例如，通过比较他在现实与平面图空间之间关于建筑物的物理特征的相对位置。这在定位中的漂移的情况下(即，当传感器空间中(因此也在平面图空间中)的相机路径的第一估计偏离现实中的实际相机路径时)可能特别令人感兴趣。在这种情况下，用户可以实时地注意到漂移并实时地校正它。下面给出了可以如何完成这个的示例。

实时定位的进一步优点在于可以向用户显示先前的相机路径或直到现在遵循的相机路径。可替代地或附加地，用户可以例如通过查看他在平面图空间中相对于预定检验位置的当前位置的显示来导航至预定检验位置，即，应获取检验数据的位置。

视觉测距

在实施例中，传感器空间中相机路径的第一估计是通过对图像序列执行视觉测距(VO)(特别是基于特征的VO)来生成的。在本上下文中，VO特别地是指通过分析由相机拍摄的图像来确定相机的位置以及可选地还确定相机的朝向的过程。换句话说，VO是通过检查运动在相机拍摄的图像上引起的改变来逐步估计运动中的相机的位置和朝向的过程。

由于当沿着相机路径移动时VO还促进确定相机的朝向(即，相机观察方向)，因此该方法可以有利地扩展为包括以下步骤：

-基于图像序列实时地生成相机观察方向的估计，

-将检验数据与指示平面图空间中检验位置处的相机观察方向的数据一起存储。

可以实时显示相机观察方向的估计，以便支持他在环境中的导航。另外，所存储的在检验位置处的相机观察方向使得检验数据的评估以及在相同检验位置处的重复检验更加容易。

其它基于图像序列的定位解决方案(诸如同步定位和测绘(SLAM))旨在实现相机路径的估计的全局一致性并且特别地需要相机路径中的闭环，而VO仅旨在实现相机路径的估计中的局部一致性。这释放了SLAM中所需的跟踪所有图像序列的需要，并且使VO在所需的计算能力方面减轻了负担。因此，VO(特别是具有如上所述的两点校准)可以实时地和在诸如平板计算机或智能电话之类的移动设备上执行。

在有利的实施例中，传感器空间中的相机路径的第一估计是通过执行基于特征的VO而生成的。在这种基于特征的方法中，在图像序列中的后续图像中提取并跟踪显著且可重复的特征。可替代地，可以应用基于外观的VO(其使用后续图像中所有像素的强度信息)来生成相机路径的第一估计。但是，基于特征的方法一般比基于外观的方法更准确和更快。为了估计序列中后续图像之间的运动，众所周知的随机样本共识(RANSAC)算法由于其在存在异常值的情况下的鲁棒性而被有利地使用。

在一般的三维情况下，对于序列中的每个图像，针对相机要估计六个自由度(DoF)，即，例如，传感器空间中的位置的三个坐标和朝向的三个角度。在这种情况下，将需要传感器空间和平面图空间中的五个对应位置来估计传感器空间与平面图空间之间的变换。

但是，在平面图的二维情况下，其根据定义仅示出一个楼层或一层，可以假设平面运动。因此，在生成传感器空间中的相机路径的估计中，相机路径的垂直分量被忽略。在这种情况下，仅需要估计三个参数，即，例如相机在后续图像之间行进的角度和距离以及观察方向。因此，只需要两个点，这再次在计算上更便宜。这导致上述方法所需的利用两个用户输入的两点校准。相同的原理可以应用于比例绘图是地图的情况，特别是室外环境的情况：即使在检验区域中发生标高(即，垂直分量)的微小变化(例如，小于1m的标高在10m的水平距离上改变)，也可以假设平面运动并忽略相机路径的垂直分量。

在有利的实施例中，相机路径上的第一位置和第二位置分开至少最小距离，特别是至少1m或至少3m。这确保传感器空间和平面图空间之间确定的变换是可靠且准确的。

多点校准

VO中的一个挑战是序列中每个图像到图像运动引入的误差会随着时间的推移而累积。这产生上面提到的相机路径的第一估计相对于实际相机路径的漂移。对漂移问题的解决方案是通过如下在第三位置处建立第三(或另外的)校准点来执行重新校准。

有利地，上述方法附加地包括以下步骤：

-对于在相机路径上的第三位置处拍摄的图像序列中的第三图像，获得传感器空间中的第三位置并且接收指示相机在平面图空间中的第三位置的第三用户输入，

-基于传感器空间中的第二位置和第三位置以及平面图空间中的第二位置和第三位置来计算传感器空间与平面图空间之间的第二变换，

-应用第二变换来计算指示平面图空间中的位置的数据，这些位置位于第三位置之后的相机路径上。

以这种方式，相机路径的第一估计中的漂移在第三位置处被校正，即，归零。对于第三位置，相机在平面图空间中的位置(再次)与其在环境中的实际位置对应。显然，例如以规则的时间或距离间隔重复这种重新校准是有利的。由于这将校准从两点扩展到多点，因此这种方法被称为多点校准。

这种方法还可以扩展为包括以下步骤：

-实时生成用于相机路径的估计的误差测量，

-如果误差测量在当前位置处超过定义的误差阈值，那么：

输出警告或触发用户生成指示相机在平面图空间中的当前位置的另外的用户输入，

基于传感器空间中所述另外的位置和平面图空间中所述另外的位置来计算传感器空间与平面图空间之间的另外的变换。

另外，有可能将第二或另外的变换不仅分别应用于第三或另外的位置之后的相机路径上的位置，而且还应用于自变换的先前计算(即，先前的校准)以来确定的位置的一部分或全部。这是基于如下假设：那些位置在某种程度上已经受到漂移的影响。

因而，上述方法可以附加地包括以下步骤：

-回溯性地应用第二变换来计算指示平面图空间中的位置的数据，这些位置位于第二位置和第三位置之间的相机路径上，

-特别地，对于位于第二位置和第三位置之间的相机路径上的检验数据，改变所存储的指示平面图空间中的检验位置的数据。

以这种方式，也可以对于已经存储的检验数据的检验位置校正漂移。

视觉惯性测距

可以通过附加地包括惯性测量单元(IMU)(例如，加速度计或陀螺仪)和/或磁力计(例如，罗盘)的数据来提高传感器空间中的相机路径的第一估计的准确性。在这种实施例中，该方法附加地包括：

-当它们与相机一起沿着相机路径移动时，接收由惯性测量单元捕获的加速度数据和/或由磁力计捕获的朝向数据，

-附加地使用加速度数据和/或朝向数据来计算传感器空间中的相机路径的估计。

在这种情况下，传感器空间中的相机路径的估计可以通过对图像序列以及加速度和朝向数据中的至少一个执行视觉惯性测距(VIO)来生成。这提高了准确性并使相机路径的估计更加鲁棒，尤其是在图像序列的后续图像中总体特征很少或可重复特征很少的情形下，如可能是长走廊中或差光线条件下的情况。

显示信息

如前面所提到的，可以通过向用户(即，检验员)显示各种信息来促进检验。

在实施例中，该方法还包括在平面图的图形表示上实时显示检验位置和相机在平面图空间中的当前位置。这支持用户的导航。

另外，该方法可以包括在平面图的图形表示上实时显示平面图空间中的相机路径的估计。应该理解的是，这种估计可以是通过对相机路径的相应部分应用不同变换来计算的聚合估计。相机路径的这种显示可以再次促进用户的导航。而且，它支持用户跟踪检验的进度，即，环境的哪些部分已被检验。

在估计相机观察方向的情况下，该方法还可以包括在平面图的图形表示上实时显示在平面图空间中当前位置处的相机观察方向的估计。这再次促进导航。

而且，可以通过向用户显示平面图来以简单且节省时间的方式布置两点或多点校准。在该方法的这种实施例中，接收第一和/或第二用户输入的步骤包括以下步骤：在屏幕上显示平面图的图形表示，以及从用户接收指示相机在平面图的表示上的当前位置的输入事件。输入事件可以例如是屏幕上的轻击或双击。可替代地，特别是在室外或室内外混合检验的情况下，输入事件可以包括地图或平面图的绝对坐标中的当前位置的输入，例如，在GNSS坐标的情况下以纬度和经度的度数为单位。此类坐标可以从地图或平面图获得，或者它们可以从检验系统的GNSS接收器接收，该接收器基本上与相机位于同一位置。

检验工作流程

用于记录检验数据的方法以及因此检验工作流程可以通过以下方式进一步自动化：

在实施例中，该方法附加地包括触发沿着相机路径以定义的时间间隔和/或以定义的空间间隔自动获取检验数据。以这种方式，可以获取更多的检验数据，例如由相机拍摄的图像，这导致对环境的更好检验覆盖。

可替代地或附加地，该方法可以包括在到达预定检验位置后，特别是当相机的当前位置与预定检验位置之间的距离降至低于定义的阈值(例如，1m)时，自动触发获取检验数据。当例如如下那样用户被引导通过环境时，这特别有用。

在实施例中，该方法附加地包括生成用于将用户引导到预定检验位置的引导信息。这可以例如通过在平面图的图形表示上显示平面图空间中的预定检验位置来完成。另一种可能性是例如以箭头的形式显示到预定检验位置的方向。这种方法使得有可能沿着预定的、特别是优化的路线引导用户，以便覆盖所有预定的检验位置和/或节省时间。

后处理和报告

所描述的方法可以被扩展以允许有用的后处理和报告选项。

在实施例中，该方法还包括存储指示传感器空间中的相机路径的估计的未加工数据。特别地，未加工数据可以作为相机路径的三个房间坐标被给出。此外，设备的三个旋转角度可以包括在未加工数据中。可替代地，设备的朝向或旋转可以表达为四元数。因而，未加工数据可以特别地包括四元数，即，描述朝向或旋转的四个数字。另外，可以计算相机路径上的估计位置的准确性的置信度测量并将其存储在未加工数据中。

另外，该方法可以包括存储指示传感器空间中的第一、第二和任何另外的位置以及平面图空间中的第一、第二和任何另外的位置的数据。这意味着校准点与未加工数据一起存储。使未加工数据和校准点可用允许各种后处理选项，例如，生成相机路径的重放、确定检验区域(特别地，检验区域可以是当沿着相机路径移动时相机成像的区域)、或者在后处理期间(即，在检验或相机路径完成之后)校正相机路径或特定检验位置的估计。

在另外的实施例中，该方法包括自动生成检验报告。由于诸如检验数据、检验位置和平面图之类的所有相关数据是可得的，因此可以以标准化的形式输出这样的检验报告。这节省了用户的时间。而且，它允许执行检验数据的完整性的快速检查，例如，刚好在完成检验(或者换句话说，相机路径)之后。

特别地，检验报告可以包含以下至少之一：

-平面图的图形表示，具有检验位置的位置标记，

-平面图的图形表示，具有相机路径的指示(例如，作为线或热图)，或被检验区域的指示(例如，作为阴影区域或热图)，

-与平面图上相应检验位置的图形表示一起的检验数据(例如相机图像或获取的NDT数据)。

冷起动

该方法的另外的实施例促进在冷起动之后(即，在执行该方法的设备已经被关闭并再次打开之后、或者在相机路径的估计已经以其它方式丢失或损坏之后)的自动重新定位。这种方法要求在相同的环境中拍摄图像序列并且在冷起动之前执行如上所述的两点校准。特别地，冷起动后捕获的另外的图像序列需要将环境的对应特性特征描绘为冷起动之前捕获的图像序列。

该方法的这种实施例还包括：

-基于图像序列生成并存储传感器空间中环境的表示：特别地，

该表示可以包含环境的特性特征，诸如颜色或强度的改变。

-在冷起动后，从位于冷起动位置的相机接收另外的图像序列，

-基于所述另外的图像序列和环境的表示来生成传感器空间中的冷起动位置的估计：这可以通过将图像序列和所述另外的图像序列中的相应特性特征相关联(即，基于特征)来完成。可以考虑另外的加速度数据和/或朝向数据以生成传感器空间中的冷起动位置的估计。

-基于传感器空间中的冷起动位置的估计以及冷起动之前计算出的传感器空间与平面图空间之间的变换来确定平面图空间中的冷起动位置：在如上所述的多点校准的情况下，有利地应用冷起动之前最后计算出的变换。

显然，这种方法避免了冷起动之后对其它两点校准的需要，从而节省了用户的时间。

计算机程序产品

本发明的第二方面涉及一种包括指令的计算机程序产品，当程序由计算机执行时，该指令使得计算机执行任何上述方法。

特别地，计算机程序产品可以在Apple的ARKit 4或类似产品中实现，例如，以方便地提供用于基于图像序列生成传感器空间中的相机路径的估计的算法，例如通过VO或VIO。

检验系统

本发明的另一方面涉及一种检验系统，该检验系统包括被配置为捕获图像序列的相机，例如摄像机，以及与该相机通信耦合并被配置为执行上述方法中的任一种的处理器。检验系统可以例如是诸如iPad之类的平板计算机或诸如iPhone之类的智能电话。在这种情况下，相机可以被用于捕获用于生成相机路径的估计的图像序列以及获取照片形式的检验数据两者。

检验可以被扩展为还包括被配置为获取检验数据的360度相机。特别地，360度是经由无线或有线连接与处理器连接。

如上面所讨论的，有利的是，检验系统还包括与处理器通信的显示器，特别是触摸屏。这种检验系统可以包括具有其相应显示器的平板计算机或智能电话。

另外，该系统可以包括惯性测量单元(IMU)(特别是加速度计和/或陀螺仪)和/或磁力计中的至少一种。通过考虑分别由IMU和磁力计获取的惯性数据和/或朝向数据，VIO作为如上面所讨论的生成相机路径的估计的方法被促进。特别是对于室外检验，该系统还可以包括与处理器通信的GNSS接收器。GNSS接收器有利地被配置为提供例如绝对坐标形式(诸如纬度和经度的度数)的GNSS定位数据。提供GNSS定位数据对于校准的第一和第二位置特别有用。此外，如果足够的质量和精度可得，那么可以通过执行如前所述的多点校准，在沿着相机路径的另外的位置处考虑另外的GNSS定位数据。

其它有利的实施例在从属权利要求以及下面的描述中列出。

附图说明

通过下面的其详细描述，本发明将得到更好的理解，并且除上述目的以外的目的也将变得清晰。这种描述参考附图，其中：

图1示出了根据本发明的实施例的检验系统的框图；

图2示出了根据本发明的实施例的用于执行记录检验数据的方法的设备的示意图；

图3示出了根据本发明的实施例的检验工作流程的流程图；

图4示出了根据本发明的实施例的用于记录检验数据的方法的流程图；

图5a至图5d示出了根据本发明的实施例的传感器空间与平面图空间之间的变换的示意图；

图6a和图6b示出了根据本发明的实施例的传感器空间与平面图空间之间的多点校准的示意图；

图7a和7b示出了根据本发明的实施例的执行用于记录检验数据的方法的设备的现实示例。

具体实施方式

图1的检验系统包括处理器1和通信地耦合到处理器1的相机2。相机2可以是被配置为每秒记录多个图像(即，帧)(例如30或60帧/秒)的视频相机。处理器1和相机2可以是同一设备(例如平板计算机或智能电话)的组成部分。处理器被配置为执行如上所述的方法。

可选地，图1的系统还可以包括显示器3，例如触摸屏，诸如在平板计算机或智能电话的情况下。显示器3与处理器1连接，并且被配置为接收和显示来自处理器1的数据，例如，由相机2捕获的图像、平面图(特别是具有检验位置)或检验数据。

该系统还可以包括被配置为获取加速度和/或朝向数据的IMU 4。IMU可以再次是设备的组成部分，诸如在平板计算机或智能电话的情况下。

另外，该系统可以包括360度相机5，其例如经由无线连接通信地耦合到处理器1，并且在检验期间由用户或无人机携带。360度相机5被配置为拍摄环境的360度图像。此类图像促进在后处理中(例如，在增强现实(AR)模型中)检验的更详细文档编制和环境的重构。这允许第三方(例如，远程检验员)后面远程回顾和评估检验。

可选地，系统还可以包括通信地耦合到处理器1的NDT传感器6。NDT传感器6可以例如是机械硬度传感器、超声发送器、获取NDT数据的GPR发送器或者获取涡流数据的轮廓仪。NDT数据可以在检验期间被记录为检验数据，并且特别是如果需要的话显示在显示器3上。

另外，该系统可以包括通信地耦合到处理器1的GNSS接收器7。GNSS接收器7可以包括GPS天线并且可以被配置为提供GNSS位置数据，例如作为纬度和经度的度数的坐标。在这种情况下，上述校准一般将包括从由GNSS接收器在全局坐标系(诸如WGS84)中提供的坐标到检验系统的局部坐标系(例如，在传感器空间中)的坐标变换，其通常以米为单位给出位置。

图2示出了检验设备11的示意图，在这种情况下，检验设备11是常规的平板计算机或智能电话。设备11包括处理器(未示出)、正面上的触摸屏13、相机12(特别是安装到与正面相反的背面)、IMU 14、磁力计或电子罗盘15以及GNSS接收器17作为组成部分。这种设备11适合并且可以被配置用于根据上述方法记录检验数据。该方法的至少一部分可以使用现成的VO或VIO解决方案(诸如Apple的ARKit)来实现。一般而言，有利的是该方法是计算机实现的，例如，作为被配置为向用户显示用户界面的应用(app)。该应用可以根据该方法引导用户完成检验。

图7a和7b中示出了这种设备的现实示例，具有执行上述方法的检验应用。两个图都表示由用户在检验期间手持的平板计算机的屏幕截图，而平板计算机显示建筑物的平面图以及用户所在的楼层。图7a示出了校准期间应用的显示。当设备的相机获取图像序列以便在传感器空间中执行定位时，用户需要输入平面图空间中的当前(第一)位置。这可以通过移动十字准线图标21并在十字准线图标21位于当前位置时检查勾号22来完成。对于第二位置重复该过程。这样，两点校准被执行，并且设备准备好进行实际检验。

图7b示出了在例如由诸如平面图上显示的图标26之类的气球图标指示的相应检验位置处获取一些检验数据之后应用的显示。一般而言，应用可以允许用户在相机视图23(在图7b中处于背景中)与平面图视图24(在图7b中处于前景中)之间进行选择。相机视图示出当前位于相机视角中的环境部分。通常，用户将在相机视图中获取照片作为检验数据。平面图视图允许用户看到平面图上所确定的当前位置(如点符号25所指示的)连同所确定的相机的观察方向(如与点25相邻的阴影片段所指示的)。先前的检验位置(即，已获取检验数据的位置)被示为气球图标26。而且，用户可以选择将直到当前位置的相机路径显示为例如线，或者，如图7b中阴影27所指示的，显示为描绘被检验区域的热图。

因此，用户可以实时监视相机的当前位置以及已获取的检验数据和已检验的区域。这使得用户能够控制检验，例如，导航到预定的检验位置、校正当前位置的估计(参见下文)或者甚至校正或重复已经获取的检验数据或位置。

根据本发明的实施例的检验工作流程在图3中以流程图的形式示出。在步骤S1中，用户在检验系统或设备上起动检验应用，例如在包括相机、IMU和触摸屏的平板计算机或智能电话上。在步骤S2中，用户从存储在设备上或连接的存储器中的平面图列表中选择平面图。作为响应，应用可以向用户显示所选择的平面图。在步骤S3中，在应用内起动定位会话，或者由用户手动触发或者在步骤S2完成后自动触发。在定位会话开始时，可以提示用户走几步，使得相机和/或IMU分别获取用在初始校准中的初始图像和初始加速度数据。在初始校准中，可以生成设备的朝向的初始估计。

在步骤S4中，开始上述两点校准。用户例如通过长按触摸屏上的相应位置来指示由应用显示的平面图上的设备的当前位置。可选地并且作为用户指导，应用可以提示用户这样做。这个位置与之前描述的第一位置对应。可替代地或附加地，处理器可以在第一位置处从GNSS接收器(如果存在的话)接收GNSS定位数据。随后，用户从第一位置步行几米到第二位置。可选地并且作为用户指导，可以再次提示用户这样做。在步骤S5中，用户再次指示平面图上的设备的当前位置，例如，如上所述。可替代地或附加地，处理器可以再次从GNSS接收器接收针对第二位置的GNSS定位数据。通过与第一和第二位置相关的输入，应用执行两点校准，即，它计算传感器空间与平面图空间之间的变换。然后，设备准备好进行实际检验。

在步骤S6中，用户在携带设备时遵循其打算的检验路径，即，相机路径。一般而言，重要的是沿着相机路径的环境被充分照亮，特别是示出足够的特征，使得可以可靠地执行VO。这意味着相机捕获的后续图像示出对应的特征，使得可以完成运动跟踪。在检验期间，应用可以连续地并且实时地向用户指示计算出的设备在平面图上的当前位置。这促进导航并使用户能够检查校准(即，传感器空间与平面图空间之间的变换)是否仍然正确或者当前位置是否已经漂移。

在用户遵循检验路径(特别是其包括用户自由漫游而不遵循预定路径)期间，检验数据可以被手动获取(即，由用户触发)，或者被自动获取(即，根据某些条件，诸如以规则的时间或空间间隔)。这是在步骤S7中完成的。获取检验数据，例如，相机拍摄的图像。在步骤S8中，检验数据被自动标记有检验位置，即，获取检验数据时设备的位置。与常规检验方法相比的优点是不要求为了位置标记而进行用户交互。这节省时间并使检验位置更加可靠。

在需要时重复步骤S7和S8，即，直到检验路径完成为止。同时，已获取检验数据的检验位置可以实时示出在平面图上。

在完成检验路径之后，在步骤S9中用户终止定位会话并且特别是退出应用。所有检验数据以及对应的检验位置可立即在设备上使用，例如，用于检查检验的覆盖范围的完整性或用于后处理。

可选地，在步骤S10中可以将检验数据和检验位置传送到云存储器。在云存储器中，任何授权的第三方都可以远程访问和评估检验数据。这促进简单的后处理和高质量报告。

显然，这种检验工作流程是简单的，甚至可以通过应用的指导来支持。与常规检验例程相比，通过用对应检验位置自动标记检验数据节省了时间。而且，检验位置以一致、从而可靠的方式被获取。用户使用仅一个设备执行整个检验工作流程，这使其简单且方便。

图4的流程图示出了从应用或类似地处理器的角度记录检验数据的方法。所示步骤具体地开始于上述工作流程的步骤S3，即，当定位会话开始时。

在步骤S11中，当设备移动通过待检验的建筑物或者一般而言待检验的环境时，从设备的相机接收图像序列，例如实时视频记录。

在步骤S12中，定位算法，例如VO算法，基于图像序列生成传感器空间中的相机路径的估计。这通常是通过从后续图像中提取特征、将后续图像中的对应特征彼此相关、并根据后续图像之间对应特征的位移计算设备在传感器空间中的运动来迭代地完成的。

步骤S13与图3中的步骤S4对应：在第一位置处，从图像序列获得传感器空间中的第一位置。而且在第一位置处，例如经由用户在所显示的平面图上的第一位置上的轻击来接收指示平面图空间中的第一位置的第一用户输入。可替代地，第一用户输入可以触发从GNSS接收器接收平面图空间或地图空间中的第一位置，如上所述。

步骤S14与图3中的步骤S5对应：在第二位置处，重复步骤S13。

根据在传感器空间以及平面图空间中现在已知的第一和第二位置，在步骤S15中计算传感器空间与平面图空间之间的变换。由于平面图空间通常是2D空间，但真实建筑物位于3D空间中，因此进一步的约束是有必要的，以便能够根据图像序列重构平面图空间中设备的运动。对于建筑物内部的检验以及典型的室外检验环境(诸如街道)来说，有用的约束是平面运动的假设，即，运动是纯水平的，垂直分量为零。在这种情况下，传感器空间中位置的垂直分量被忽略，使得传感器空间有效地变成2D空间。对于两个2D空间，它们之间的变换被定义并且可以根据两个空间中已知的两个点(诸如第一和第二位置)来确定。图5和图6进一步图示了这种变换。

在步骤S16中，与图3的步骤S7对应，设备已经移动到检验位置，即，获取检验数据的位置。然后接收检验数据，例如，由相机拍摄的图像。

在步骤S17中，与图3的步骤S8对应，检验数据与指示平面图空间中的检验位置的数据一起存储。平面图空间中的检验位置通常通过将所确定的变换应用于传感器空间中的检验数据来导出，传感器空间中的检验数据是由定位算法基于图像序列计算出的。

在检验期间可以针对几个检验位置迭代步骤S16和S17。在漂移(即，定位误差累积)的情况下，可以通过迭代步骤S14至S17来执行重新校准。这导致另外的位置—位置n+1，在传感器空间和平面图空间中是已知的。根据另外的位置n+1和先前的位置n，计算传感器空间与平面图空间之间更新后的变换。然后，更新后的变换被用于根据图像序列确定平面图空间中的后续位置。

图5a至图5d示意性地图示了传感器空间与平面图空间之间的2D变换。这种变换一般包括平移、旋转和缩放。例如，如根据相机拍摄的图像序列的后续图像估计的、传感器空间中从点Sp1到点Sp2的运动由图5a中的粗箭头图示。这个运动与平面图空间中从点Fp1到点Fp2的运动对应，如细虚线箭头所描绘的。期望的变换使两个运动以及因此箭头一致，如图5d所示。该变换可以被划分为中间步骤：在图5a和5b之间，传感器空间箭头Sp1-Sp2被平移以便源自与Fp1-Fp2相同的点。在图5b和5c之间，传感器空间箭头被旋转以平行于Fp1-Fp2定向。在图5c和5d之间，传感器空间箭头最终被缩放，以便具有与Fp1-Fp2相同的长度。这种变换可以由矩阵表示。因此，计算传感器空间与平面图空间之间的变换相当于确定矩阵。

图6a和图6b将图5的两点校准扩展到多个两点校准，在这种情况下是按顺序执行的五个校准。粗箭头Sp11-Sp12-…-Sp16表示相机路径，其通常相当于检验路径或用户携带检验设备时的路径，如根据相机拍摄的图像序列估计并通过变换的初始估计变换到平面图空间的(“估计的相机路径”)。另一方面，细虚线箭头Fp11-Fp12-…Fp16表示平面图空间中的相机路径，或者更精确地说，平面图空间中的“真实的相机路径”，这是希望检索的量。例如，由于漂移，估计的相机路径偏离真实的相机路径。以这种方式，定位误差在相机路径上累积，使得在终点Sp16/Fp16处，估计的位置偏离了漂移误差d。这意味着随着时间的推移，在检验期间确定的位置(例如，检验位置)变得越来越不准确。

为了防止这种情况，执行多点校准，即，多个两点校准。在位置Sp12/Fp12处，接收指示平面图空间中的当前位置的用户输入。第一变换根据Sp11-Sp12和Fp11-Fp12计算并用于确定后续位置。然后，再次在位置Sp13/Fp13处，接收指示平面图空间中的当前位置的用户输入。第二变换是根据Sp12-Sp13和Fp12-Fp13计算的，并用于确定后续位置。等等。这在需要时迭代，或者由用户主动地迭代(例如，因为用户注意到显著的漂移)，或者由设备提示用户执行重新校准来触发，例如，因为所确定的误差测量超过了某个阈值。在对于不同位置Fp11-Fp12-…Fp16以足够精度可得GNSS定位数据的情况下，可以基于这些数据来执行多点校准。

以这种方式，定位误差保持在可接受的范围内，例如低于1m，并且检验产生与检验数据相关联的可靠检验位置。同时，由于其迭代性质和用户的控制，这种方法是稳健的。另外，这种方法计算成本低，使得其可以在移动设备上实时执行。

Claims (33)

1.一种用于在比例绘图空间中记录环境的检验数据的方法，包括：

-从相机(2，12)接收图像序列，当相机(2，12)沿着相机路径移动通过环境时图像序列由相机捕获，

-基于图像序列生成传感器空间中的相机路径的估计，

-对于在相机路径上的第一位置处拍摄的图像序列中的第一图像，获得传感器空间中的第一位置，并且接收指示相机在比例绘图空间中的第一位置的第一用户输入，

-对于在相机路径上的第二位置处拍摄的图像序列中的第二图像，获得传感器空间中的第二位置，并且接收指示相机在比例绘图空间中的第二位置的第二用户输入，

-基于传感器空间中的第一位置和第二位置以及比例绘图空间中的第一位置和第二位置，来计算传感器空间与比例绘图空间之间的第一变换，

-在相机路径上的检验位置处，接收检验数据，

-将检验数据与指示比例绘图空间中的检验位置的数据一起存储。

2.如权利要求1所述的方法，

其中比例绘图是平面图，

其中比例绘图包括比例绘图空间中环境的二维、按比例表示，

特别地，其中环境是建筑物。

3.如权利要求1所述的方法，

其中比例绘图是地图，

其中比例绘图包括比例绘图空间中环境的二维、按比例表示，

特别地，其中环境是室外环境或室内外混合环境。

4.如前述权利要求中的任一项所述的方法，

其中比例绘图指定比例绘图空间中环境中的物理特征的位置和尺寸，特别是墙壁、门、窗、柱子和楼梯中的至少一个的位置和尺寸，和/或特别是建筑物、街道、路径、植被中的至少一个的位置和尺寸。

5.如前述权利要求中的任一项所述的方法，

其中传感器空间中的相机路径的估计的至少一部分是在不考虑GNSS位置数据的情况下生成的。

6.如前述权利要求中的任一项所述的方法，

其中传感器空间中的相机路径的估计以及传感器空间与比例绘图空间之间的第一变换是在与相机一起沿着相机路径移动的设备中计算的。

7.如前述权利要求中的任一项所述的方法，

其中实时地计算相机路径的估计、第一变换以及指示比例绘图空间中的检验位置的数据。

8.如前述权利要求中的任一项所述的方法，

其中检验数据包括从相机(2，12)接收的图像，

特别地，其中检验数据附加地包括来自360度相机(5)的图像。

9.如前述权利要求中的任一项所述的方法，

其中检验数据包括非破坏性测试数据，特别是以下各项中的至少一项：

-硬度值，

-超声数据，

-GPR数据，

-涡流数据。

10.如前述权利要求中的任一项所述的方法，还包括：

-对于在相机路径上的第三位置处拍摄的图像序列中的第三图像，获得传感器空间中的第三位置，并且接收指示相机在比例绘图空间中的第三位置的第三用户输入，

-基于传感器空间中的第二位置和第三位置以及比例绘图空间中的第二位置和第三位置，来计算传感器空间与比例绘图空间之间的第二变换，

-应用第二变换来计算指示比例绘图空间中的位置的数据，这些位置位于第三位置之后的相机路径上。

11.如权利要求10所述的方法，附加地包括：

-回溯性地应用第二变换来计算指示比例绘图空间中的位置的数据，这些位置位于第二位置和第三位置之间的相机路径上，

-特别地，对于位于第二位置和第三位置之间的相机路径上的检验数据，改变所存储的指示比例绘图空间中的检验位置的数据。

12.如前述权利要求中的任一项所述的方法，

其中指示比例绘图空间中的检验位置的数据包括以下各项中的至少一项：

-比例绘图空间中的检验位置，

-传感器空间中的检验位置以及传感器空间与比例绘图空间之间的变换，

-检验数据的时间戳以及相机路径的第一估计在比例绘图空间中的带时间戳版本。

13.如前述权利要求中的任一项所述的方法，

其中传感器空间中的相机路径的第一估计是通过对图像序列执行视觉测距来生成的，特别是基于特征的视觉测距。

14.如前述权利要求中的任一项所述的方法，

其中在生成传感器空间中的相机路径的估计时，相机路径的垂直分量被忽略。

15.如前述权利要求中的任一项所述的方法，还包括：

-当惯性测量单元(4，14)和/或磁力计(15)与相机一起沿着相机路径移动时，接收由惯性测量单元(4，14)捕获的加速度数据和/或由磁力计(15)捕获的朝向数据，

-附加地使用加速度数据和/或朝向数据来计算传感器空间中的相机路径的估计。

16.如权利要求15所述的方法，

其中传感器空间中的相机路径的估计是通过对加速度和朝向数据中的至少一个以及图像序列执行视觉惯性测距来生成的。

17.如前述权利要求中的任一项所述的方法，还包括：

-在比例绘图的图形表示上实时地显示比例绘图空间中的相机的当前位置和检验位置。

18.如权利要求17所述的方法，还包括：

-在比例绘图的图形表示(24)上实时地显示比例绘图空间中的相机路径的估计。

19.如前述权利要求中的任一项所述的方法，

其中接收第一用户输入和/或第二用户输入的步骤包括以下步骤：

在屏幕上显示比例绘图的图形表示(24)，

从用户接收指示相机在比例绘图的表示上的当前位置的输入事件。

20.如前述权利要求中的任一项所述的方法，还包括：

-基于图像序列以及如果适用的话基于加速度和/或朝向数据，

实时地生成相机观察方向的估计，

-将检验数据与指示在比例绘图空间中检验位置处的相机观察方向的数据一起存储。

21.如权利要求20所述的方法，还包括：

-在比例绘图的图形表示(24)上实时地显示在比例绘图空间中当前位置(25)处的相机观察方向的估计。

22.如前述权利要求中的任一项所述的方法，还包括：

-触发沿着相机路径以定义的时间间隔和/或以定义的空间间隔自动获取检验数据。

23.如前述权利要求中的任一项所述的方法，还包括：

-在到达预定检验位置后自动触发获取检验数据，

特别是在相机的当前位置与所述预定检验位置之间的距离降至低于定义的阈值后自动触发获取检验数据。

24.如前述权利要求中的任一项所述的方法，还包括：

-生成用于将用户引导到预定检验位置的引导信息，

特别是通过在比例绘图的图形表示(24)上显示比例绘图空间中的所述预定检验位置来生成，和/或

特别是通过显示到所述预定检验位置的方向来生成。

25.如前述权利要求中的任一项所述的方法，还包括：

-实时地生成用于相机路径的估计的误差测量，

-如果在当前位置处误差测量超过定义的误差阈值，那么：

输出警告或触发用户生成指示相机在比例绘图空间中的当前位置的另外的用户输入，

基于传感器空间中的另外的位置和比例绘图空间中的另外的位置来计算传感器空间与比例绘图空间之间的另外的变换。

26.如前述权利要求中的任一项所述的方法，还包括：

-存储指示传感器空间中的相机路径的估计的未加工数据，特别是三个房间坐标、三个旋转角度和置信度测量，

-存储指示传感器空间中的第一位置、第二位置和任何另外的位置以及指示比例绘图空间中的第一位置、第二位置和任何另外的位置的数据。

27.如前述权利要求中的任一项所述的方法，还包括：

-自动生成检验报告，

其中检验报告包含以下各项中的至少一项：

-比例绘图的图形表示(24)，具有检验位置的位置标记(26)，

-比例绘图的图形表示(24)，具有相机路径或被检验区域的指示(27)，

-检验数据连同比例绘图上相应检验位置的图形表示。

28.如前述权利要求中的任一项所述的方法，还包括：

-基于图像序列生成并存储传感器空间中的环境的表示，

-在冷起动后，从位于冷起动位置处的相机接收另外的图像序列，

-基于另外的图像序列和环境的表示来生成传感器空间中的冷起动位置的估计，

-基于传感器空间中的冷起动位置的估计以及冷起动之前计算出的传感器空间与比例绘图空间之间的变换，来确定比例绘图空间中的冷起动位置。

29.一种包括指令的计算机程序产品，当程序由计算机执行时，所述指令使计算机执行如前述权利要求中的任一项所述的方法。

30.一种检验系统，包括：

-相机(2，12)，被配置为捕获图像序列，

-与相机(2，12)通信的处理器(1)，被配置为执行如权利要求1至28中的任一项所述的方法。

31.如权利要求30所述的检验系统，还包括：

-与处理器(1)通信的360度相机(5)，被配置为获取检验数据。

32.如权利要求30和31中的任一项所述的检验系统，附加地包括：

-与处理器(1)通信的显示器(3，13)，

特别地，其中检验系统包括平板计算机或智能电话(11)。

33.如权利要求30至32中的任一项所述的检验系统，附加地包括以下各项中的至少一项：

-惯性测量单元(4，14)，特别是加速度计和/或陀螺仪，

-磁力计(15)，

-与处理器(1)通信的GNSS接收器(7，17)。