CN109029389A - 用于显示测量间隙的装置、系统和方法 - Google Patents

Abstract

用于显示测量间隙的装置、系统和方法。本发明涉及一种增强现实(AR)装置，该装置包括被配置用于捕获AR装置的环境的视觉传感器；被配置用于提供环境的真实视图的显示器；以及根据AR数据覆到该真实视图上的覆盖图，其中，该AR数据与参考系统在空间上相关联并且包括设计数据、测量数据、和重新测量指示；计算机，该计算机被配置用于读取和控制视觉传感器、确定该AR装置相对于参考系统的姿势、进行接收AR数据、生成AR数据和存储AR数据中的至少一个；其中，重新测量指示基于对测量数据的评估并且在其中测量数据缺乏目标质量的环境的对应位置处与参考系统在空间上相关联。

Description

用于显示测量间隙的装置、系统和方法

技术领域

本发明涉及根据权利要求1的一种增强现实(AR)装置、根据权利要求7的一种测绘系统、根据权利要求9的一种方法、以及根据权利要求15的一种计算机程序产品。

背景技术

本发明的技术领域是计量学、大地测量学和土木工程。因此，本发明的典型应用领域是生产车间、测量室、建筑工地、挖掘现场、或任何其它待测绘的土地、建筑物和/或物体。

在这些技术中，在所述应用领域的人员尤其感兴趣的是获得关于已经执行的测绘工作或计划执行的测绘工作的可视化信息。作为趋势技术，增强现实(AR)是为用户提供这样的信息的一种先进方式，并且因此，测绘系统在所提及的利用参考的AR数据的可视化支持用户的技术领域中已经是流行的辅助装置，所述AR数据是诸如测量数据(例如点云)、描述性文本、描述性数字、指令、检查计划、测绘计划、二维或三维物体、导航指示、导航地图、图像和/或视频剪辑。

为了将AR数据覆盖在AR装置的显示器内(诸如在AR头盔的头戴式显示器(HMD)内或平板计算机的屏幕内)的正确位置处，使得观察者(AR装置的用户)感知AR数据与他的环境在空间上相关联，始终检测AR装置相对于参考系统的姿势。这些覆盖图(overlay)利用人工可视化增强了现实性。已知的参考程序是AR装置相对于其本身具有已知姿势的参考系统的姿势的基于图像的确定。例如，这样的姿势检测可以通过计算机视觉(尤其是图像切除)来实现。用于参考AR装置相对于参考系统的常用手段是标记(尤其是QR标记)，或者根据图像特征区分的特性物理特征。

在所提及的工作环境中，信息的复杂性以及随之而来的数据量的增长使得清晰度和可理解性成为严峻的挑战。一如既往，用户正在依靠辅助手段重新获得概观，以便及时、保证质量且完整地完成工作。

因此，本发明的目的是提供一种AR装置、一种测绘系统和一种方法，其允许关于AR可视化的用户体验更符合人体工程学。具体而言，目的是提供允许更可监督和更有目的的工作分配AR可视化的AR装置、测绘系统以及方法。

这些改进中的至少一个通过根据权利要求1所述的AR装置、根据权利要求7所述的测绘系统、根据权利要求9所述的方法、根据权利要求15所述的计算机程序产品、以及本发明的从属权利要求中的至少一个来实现。

发明内容

本发明涉及一种增强现实(AR)装置，该装置包括被配置用于捕获所述AR装置的环境的视觉传感器；被配置用于提供所述环境的真实视图的显示器；以及根据AR数据覆到所述真实视图上的覆盖图，其中，所述AR数据与参考系统在空间上相关联并且包括设计数据、测量数据、和重新测量指示；计算机，该计算机被配置用于读取和控制视觉传感器，确定AR装置相对于参考系统的姿势，进行接收AR数据、生成AR数据和存储AR数据中的至少一个，以及生成覆盖图；其中，重新测量指示基于对测量数据的评估并且在其中测量数据缺乏目标质量的环境的对应位置处与参考系统在空间上相关联。所述计算机可以被配置成控制显示器或者控制被配置成将AR数据投影到显示器上的投影仪。

所述AR数据还可以包括重新测量指令，所述重新测量指令基于在所述环境结构背景下对所述重新测量指示的分析，并且在其中为了重新测量而需要设置测绘仪器的环境的对应位置处与所述参考系统在空间上相关联。

可以调整评估以使测量数据的质量与目标质量相匹配。

所述AR装置还可以包括被配置用于跟踪该AR装置的位置和定向的姿势传感器，其中，所述计算机可以被配置用于读取和控制该姿势传感器。

所述计算机可以进一步被配置成执行视觉同步定位与建图(VSLAM)过程。该VSLAM过程可以基于利用所述视觉传感器捕获的图像。VSLAM过程可以由姿势传感器所输出的姿势数据支持。VSLAM过程可以用于建立和保持AR装置相对于参考系统的参考状态中的至少一个。VSLAM过程还可以用于通过生成所述环境结构的点云来获得测量数据。

所述计算机可以被配置用于接收评估结果、接收分析结果、处理评估、以及处理分析中的至少一个。

本发明还涉及一种测绘系统，该测绘系统包括根据本文的描述的AR装置、以及被配置用于生成环境的测量数据并且将该测量数据发送至所述AR装置的测绘仪器。该测绘仪器尤其是激光扫描仪、经纬仪、或全站仪。该测绘仪器可以包括计算机并且可以无线连接至所述AR装置。

所述测绘系统还可以包括服务器，该服务器还可以包括计算机并且可以无线连接至所述AR装置和所述测绘仪器中的至少一个。

所述测绘仪器和所述服务器的计算机中的至少一个可以被配置用于进行处理评估、将评估的结果发送至AR装置、处理分析、以及将分析结果发送至AR装置中的至少一个。尤其是，所述测绘仪器的计算机和所述服务器的计算机中的至少一个被配置用于处理评估和分析中的至少一个。

本发明还涉及一种用于向根据本文的描述的AR装置以及根据本文的描述的测绘系统中的一个的用户提供待重新测量的位置的指示的方法，所述方法包括以下步骤：在质量方面评估测量数据；基于对测量数据的评估生成重新测量指示，其中，在其中所述测量数据缺乏目标质量的环境的对应位置处，所述重新测量指示与参考系统在空间上相关联；提供所述重新测量指示作为所述AR装置的显示器上的覆盖图。

评估测量数据和生成重新测量指示中的至少一个可以由AR装置、测绘系统的测绘仪器、以及服务器中的至少一个的计算机来执行，它们分别可以包括配置用于上述步骤的计算机。

所述方法还可以包括以下步骤：在环境结构背景下分析重新测量指示；以及基于对重新测量指示的分析生成重新测量指令，其中，在其中为了重新测量而需要设置测绘仪器的环境的对应位置处，所述重新测量指令与参考系统在空间上相关联。

分析重新测量指示和生成重新测量指令中的至少一个可以由AR装置、测绘系统的测绘仪器、以及服务器中的至少一个的计算机来执行，它们分别可以包括配置用于上述步骤的计算机。

可以通过以下步骤中的至少一个将测量数据提供至AR装置：利用AR装置的视觉传感器生成测量数据、利用测绘仪器生成测量数据并将测量数据从测绘仪器发送至AR装置、将测量数据从服务器发送至AR装置、以及将测量数据存储在AR装置的计算机上。

可以通过以下步骤中的至少一个将评估结果提供至AR装置：利用AR装置的计算机处理评估、以及利用AR装置从测绘系统的测绘仪器和服务器中的至少一个接收评估结果。

可以通过以下步骤中的至少一个将分析结果提供至AR装置：利用AR装置的计算机处理分析、以及利用AR装置从测绘系统的测绘仪器和服务器中的至少一个接收分析结果。

所述方法还可以包括以下步骤中的至少一个：

-确定AR装置相对于参考系统的姿势，

-根据重新测量指示生成覆盖图并将其提供至由AR装置的显示器提供的环境的真实视图上，其中，所述重新测量指示与所述参考系统在空间上相关联，

-根据重新测量指令生成覆盖图并将其提供至由AR装置的显示器提供的环境的真实视图上，其中，所述重新测量指令与所述参考系统在空间上相关联，

-读取和控制AR装置的视觉传感器，

-读取和控制AR装置的姿势传感器，以及

-执行视觉同步定位和建图(VSLAM)过程。

本发明还涉及一种具有计算机可执行指令的计算机程序产品，所述计算机可执行指令用于控制和执行根据本文的描述的方法，尤其是当由根据本文的描述的AR装置的计算机运行时。

附图说明

在下文中，将通过参照附图的示例性实施方式来详细描述本发明，其中：

图1a至图1b：示出了导致不令人满意的测量数据的示例性测绘情况；

图1c：示出了根据本发明的AR装置、测绘系统、以及方法的第一实施方式；

图1d：示出了根据本发明的AR装置、测绘系统、以及方法的第二实施方式；

图2a至图2b：示出了导致不令人满意的测量数据的另一示例性测绘情况下的AR装置、测绘系统、以及方法的特定第三实施方式。

具体实施方式

图1a示出了具有待由激光扫描仪11测量的房屋前部的场景。作为示例性障碍物，圆盘锯12正在扬起灰尘120，其遮盖住了待测量物体的从激光扫描仪11的角度的直视。由于灰尘120是多孔的，一些测量激光束穿过而另一些未穿过。

在图1b所示的情况下，尘埃落定。由于干扰情况(图1a)的影响，测量数据13包括具有低密度的区域130，如图1b所示。

通过根据本发明的增强现实(AR)装置10在测量数据13中向用户通知该缺陷130。如图1c所示，该AR装置可以是相对于环境参考的手持计算机装置，诸如智能电话或平板计算机，并因此能够将AR数据覆盖到AR装置10的显示器100上的照相机输出101上。根据本发明，AR数据包括重新测量指示1020。该重新测量指示1020表示测量数据13的所述缺陷区域130。

由于AR装置关于参考系统被实时连续地参考，并且AR数据与该参考系统在空间上相关联，因此重新测量指示1020被覆盖在显示器100的对应位置处以精确地指示测量数据缺乏目标质量的位置，并且尤其是重新测量应相应发生的位置。

根据本发明的测绘系统的一个实施方式可以包括所示出的AR装置10和所示出的测绘仪器11。AR装置和测绘仪器适于协作，因为由测绘仪器生成的测量数据被发送至AR装置，例如，通过无线技术(如Wi-Fi)、无线电链接、和/或蓝牙。AR装置的计算机可以被配置成对这些测量数据针对其质量进行评估，并且从其生成重新测量指示。

另选地，AR装置和测绘仪器适合于协作，因为测量数据的评估结果或甚至重新测量指示被发送至AR装置。在这种情况下，测绘仪器被配置成评估测量数据或者甚至生成重新测量指示。

AR装置和测绘仪器二者均被配置成建立相对于参考系统的参考状态，以使得测量数据与所述参考系统在空间上相关联，并且AR装置的姿势相对于参考系统被连续确定。因此，重新测量指示和重新测量指令也与所述参考系统在空间上相关联。

参考系统可以通过测绘仪器的设置来限定，即AR装置正在建立关于测绘仪器的参考状态。所有测量数据本身都在测绘仪器的(本地)参考系统中给出。

例如，可以使用欧洲专利申请EP 16 170 479中提出的参考方法。

除了测量数据和重新测量指示以外的AR数据，即诸如描述性文本、描述性数字、指令、检查计划、测量计划、二维或三维物体、导航指示、导航地图、图像、和视频剪辑的设计数据可以通过服务器被提供至AR装置，该服务器至少链接至AR装置并且可选地还链接至测绘仪器。根据AR数据，AR装置的计算机被配置用于生成用于AR装置的显示器的覆盖图。

根据本发明的方法的一个实施方式向所示出的AR装置10的用户提供物体130待重新测量的指示。本发明方法的另一实施方式向上述测绘系统的用户提供这样的重新测量指示，所述测绘系统包括所示出的AR装置10和所示出的测绘仪器11。

在所述方法中，针对质量方面对测量数据13进行评估。如上所述，该评估可以在测绘仪器上(借助其计算机113)、在AR装置上(借助其计算机103)或在服务器上进行。测量数据的质量(例如)可以指测量点密度或测量点的数字化波形。测量数据的质量评估可易于达到绝对标准(例如，每平方厘米的具体点数)或相对标准(例如，相邻区域或整个点云的统计平均值)。质量评估还可以基于对由AR装置的视觉传感器或测绘仪器所包括的视觉传感器捕获的测量场景的照片图像进行反检查。

此外，质量评估可以附加地或可选地基于测量数据的“年龄”，其中评估标准可以例如是与测量数据相关联的相对或绝对有效日期。测量数据的年龄在需要在规定的时间间隔内重复测量的监测过程中可能很重要。因此，AR装置的特定实施方式可以在测量数据过期(太旧而不可靠)并因此缺乏目标质量的情况下发出警告。重新测量指示还可以指已经获取测量数据的时间或应进行下一次测量的时间。

基于对测量数据的评估，由AR装置、测绘仪器、或服务器生成重新测量指示。该重新测量指示在其中测量数据缺乏目标质量的环境的对应位置处与参考系统在空间上相关联。参照图1b，这是区域130中的情况。然后，这些重新测量指示作为覆盖图(例如，突出或着色区域)1020被提供在AR装置10的显示器100上。这将以简单和符合人体工程学的方式告知AR装置的用户，现有测量数据不足并因此哪里应进行重新测量。

所指定的不同类型的质量(即测量间隙、低密度、低准确度、过时测量结果)可以以不同的外观(尤其是覆盖图的不同颜色)可视化。

在如图1d所示的本发明的AR装置、测绘系统、或方法的特定实施方式中，AR装置可以被配置成示出更具体的重新测量指示1021、1022、和1023。上述重新测量指示1020可以用简短的说明来标记测量数据13在区域130中有缺陷的原因。在所示情况下，点云具有较差的密度，其以重新测量指示1021示出。可选地，可以覆盖另一指示1022，例如其以警告标志的形式出现，该警告标志在点击时展开详细的重新测量指示1023，以解释结果。图1c和图1d中示出的重新测量指示1020基于对测量数据的评估，并且因此“仅”指示测量数据哪里出了什么问题。

图2a示出了一种测绘情况，其中呈现为壁220的障碍物导致利用激光扫描仪21获得的房间扫描包括间隙230并因此是不完整的。激光扫描仪21可以包括用于控制、尤其是用于数据通信的计算机213。

图2b分别示出了本发明的AR装置、测绘系统、或方法的特定实施方式。这里，重新测量指令被显示在AR装置上，该AR装置在为了重新测量需要而设置(测绘系统的)测绘仪器的环境的对应位置处与参考系统在空间上相关联。这将以简单和符合人体工程学的方式指导AR装置的用户，并且向他提供如何完成重新测量的指令。图2b中所示的重新测量指令基于在环境结构背景下对重新测量指示的分析，并因此还指导用户如何实现对测量数据的校正。环境的总体结构可以是已知的并且作为BIM(建筑信息管理)模型存储在服务器或AR装置上，或者可以通过执行视觉同步定位和建图(VSLAM)过程利用AR装置本身获得。所述分析可以包括利用由AR装置的视觉传感器或由测绘装置所包括的视觉传感器捕获的测量场景的照片图像的反检查。

在与运动恢复结构(SfM)非常相似的VSLAM中，确定装置的轨迹以及(通常作为副产品的)周围环境的三维(3D)结构。该算法使用在图像中检测到的特征的视觉对应(尤其是与其它传感器数据(例如，惯性测量单位)结合)作为输入。可以通过诸如特征跟踪或特征匹配等算法来建立所述对应。示例性地，在交替过程中

-基于对应的特征和通过切除表示环境的3D点来确定AR装置的新姿势，以及

-基于对应的特征和装置的前向交叉姿势来确定新的3D点。

图2b的示例中的AR装置是具有被配置成(例如通过投影仪(未示出))覆盖AR数据的显示器200的AR眼镜20。同样，AR眼镜20具有计算机203，该计算机203用于捕获环境的视觉传感器(未示出)和用于读取和控制该视觉传感器，以便确定AR装置相对于参考系统的姿势，从而进行接收AR数据、生成AR数据和存储AR数据中的至少一个，以及用于生成覆盖图。例如，视觉传感器是照相机，尤其是被配置成对可见光、(近)红外光、或热辐射进行操作的照相机。利用类似的设备，AR装置可以被实现为AR头盔。

为了指示AR装置20的用户如何执行重新测量并由此从间隙获得测量数据(用2020表示)，重新测量指令2040被覆盖到环境的视图上。可选地，标签2041说明指令2040。重新测量指令2040的放置受制于环境形状背景下对重新测量指示2020的分析。在所示的示例中，考虑壁220。还考虑其它因素，例如，需要一定距离或角度的特定测绘仪器的特征。

可选的附加重新测量指示2024是在用户的当前视野之外存在更多AR数据的通知。在所示情况下，箭头和标签指示所示测量间隙2020进一步延伸至顶部。标签2021可以标记指示2020。

覆盖重新测量指示也可用于多用户工作流程：如果配备有AR装置的两个或更多用户各自在一个地点或较大的工件上同时或彼此之后不久执行测量任务，则每个AR装置可以向用户提供关于哪些测量结果已经执行或哪些仍然丢失的覆盖信息。

对测量数据的评估的输出也可用于质量控制。在这样的实施方式中，所述测量数据的质量不是或不仅涉及测量的完整性或密度，而是涉及实际测量与预定几何形状或布局的偏差。因此，AR装置被配置成在执行测量时或者在已经执行测量之后覆盖关于施工场地或工件的建造状况的信息(例如，彩色地图)。还可以处理评估以报告测绘仪器的效率、跟踪偏差、性能变化、用户表现、以及误差或重新测量的相对数量中的至少一个。对测量数据的评估的输出也可用于自动或机器人测量的机器学习增强。这可意味着测绘仪器的计算机或协调服务器被配置成从这样的重新测量指示中学习(即，测量质量的失败)以便在未来提供更高质量的测量结果，例如，通过测绘仪器的改进的定位或基于测绘条件(诸如，地形、几何、室内或室外气候)的测绘仪器的改进的选择。

关于所有示出和指定的示例，可以通过AR装置的计算机连续执行以下步骤：

-确定AR装置相对于参考系统的姿势，

-根据重新测量指示，生成覆盖图并将其提供至由AR装置的显示器提供的环境的真实视图上，其中，重新测量指示与参考系统在空间上相关联，

-读取和控制AR装置的视觉传感器，

-读取和控制AR装置的姿势传感器，以及

-执行视觉同步定位和建图(VSLAM)过程。

显示器所提供的真实视图可以由以下来实现

-透明眼镜或透明眼罩，使得用户能够透视并且一对一观察现实，或

-通过显示捕捉现实的照相机的输出来再现现实的屏幕，使得用户能够看到现实的再现。

对测量数据的评估、重新测量指示的生成、以及对重新测量指示的分析中的至少一个可以由AR装置20、测绘仪器21、和服务器(未示出)中的至少一个来执行。在特定实施方式中，所述评估和所述分析中的至少一个基于视觉传感器的输出。

根据本发明的AR装置可以通过例如从服务器或从测绘仪器本身被发送至AR装置的测量数据而提供有测量数据。AR装置可以处理由其自身测量的评估，或者可以将评估的结果例如从服务器或从测绘仪器本身发送至AR装置。

尽管以上部分参照一些优选实施方式地说明了本发明，但是必须理解，可以对这些实施方式的不同特征进行多种修改和组合。所有这些修改都在所附权利要求的范围内。

Claims (15)

1.一种增强现实AR装置，所述AR装置包括

·视觉传感器，所述视觉传感器被配置用于捕获所述AR装置的环境，

·显示器，所述显示器被配置用于提供以下各项

□所述环境的真实视图，其中，参考系统与所述环境相关联，以及

□根据AR数据覆盖至所述真实视图上的覆盖图，其中，所述AR数据与参考系统在空间上相关联，并且包括设计数据和测量数据；

·计算机，所述计算机被配置用于

□读取和控制所述视觉传感器，

□确定所述AR装置相对于所述参考系统的姿势，

□进行接收所述AR数据、生成所述AR数据和存储所述AR数据中的至少一个，以及

□生成所述覆盖图；

其特征在于，

所述AR数据还包括重新测量指示，所述重新测量指示

·基于在质量方面对所述测量数据的评估，并且

·在所述测量数据缺乏目标质量的环境的对应位置处与所述参考系统在空间上相关联。

2.根据权利要求1所述的AR装置，

其中，所述AR数据还包括重新测量指令，所述重新测量指令

·基于在所述环境的结构背景下对所述重新测量指示的分析，并且

·在为了重新测量而需要设置测绘仪器的环境的对应位置处与所述参考系统在空间上相关联。

3.根据前述权利要求中任一项所述的AR装置，

其中，所述评估适于将所述测量数据的所述质量与所述目标质量相匹配。

4.根据前述权利要求中任一项所述的AR装置，该AR装置包括

·配置用于跟踪所述AR装置的位置和取向的姿势传感器；

其中，所述计算机被配置用于

□读取和控制所述姿势传感器。

5.根据前述权利要求中任一项所述的AR装置，

其中，所述计算机被配置用于

□执行视觉同步定位和建图(VSLAM)过程。

6.根据前述权利要求中任一项所述的AR装置，

其中，所述计算机被配置用于以下各项中的至少一个

□接收所述评估的结果，

□接收所述分析的结果，

□处理所述评估，以及

□处理所述分析。

7.一种测绘系统，该测绘系统包括

·根据前述权利要求中任一项所述的AR装置，以及

·配置用于以下各项的测绘仪器

□生成所述环境的测量数据，以及

□将所述测量数据发送至所述AR装置。

8.根据权利要求7所述的测绘系统，

其中，所述测绘仪器被配置用于以下各项中的至少一个

□处理所述评估，

□将所述评估的结果发送至所述AR装置，

□处理所述分析，

□将所述分析的结果发送至所述AR装置。

9.一种向以下各项中的一个的用户提供待重新测量的位置的指示的方法

·根据权利要求1至6中任一项所述的AR装置，以及

·根据权利要求7或8所述的测绘系统，

所述方法包括以下步骤：

·在质量方面对所述测量数据进行评估，

·基于对所述测量数据的所述评估生成所述重新测量指示，其中，所述重新测量指示在所述测量数据缺乏目标质量的所述环境的对应位置处与所述参考系统在空间上相关联，

·将所述重新测量指示作为覆盖图提供在所述AR装置的所述显示屏上。

10.根据权利要求9所述的方法，该方法包括以下步骤

·在所述环境的结构背景下对所述重新测量指示进行分析，以及

·基于对所述重新测量指示的所述分析生成所述重新测量指令，其中，所述重新测量指令在为了重新测量而需要设置测绘仪器的环境的对应位置处与所述参考系统在空间上相关联。

11.根据权利要求9至10中任一项所述的方法，

其中，至少以下各项中的一个

□评估所述测量数据，

□生成所述重新测量指示，

□分析所述重新测量指示，以及

□生成所述重新测量指令，

由以下各项中的至少一个来执行

□所述AR装置，

□所述测绘系统的所述测绘仪器，以及

□服务器。

12.根据权利要求9至11中任一项所述的方法，

其中，通过以下各项中的至少一个将所述测量数据提供至所述AR装置

·利用所述AR装置的所述视觉传感器生成所述测量数据，

·利用所述测绘仪器生成所述测量数据并将所述测量数据从所述测绘仪器发送至所述AR装置，

·将所述测量数据从服务器发送至所述AR装置，以及

·将所述测量数据存储在所述AR装置的所述计算机上。

13.根据权利要求9至12中任一项所述的方法，

其中，所述评估的结果通过以下各项中的至少一个被提供至所述AR装置：

·利用所述AR装置的所述计算机处理所述评估，以及

·利用所述AR装置从所述测绘系统的所述测绘仪器和服务器中的至少一个接收所述评估的结果。

14.根据权利要求9至13中任一项所述的方法，

其中，所述分析的结果通过以下各项中的至少一个被提供至所述AR装置

·利用所述AR装置的所述计算机处理所述分析，以及

·利用所述AR装置从所述测绘系统的所述测绘仪器和服务器中的至少一个接收所述分析的结果。

15.一种具有计算机可执行指令的计算机程序产品，所述计算机可执行指令用于尤其是当由根据权利要求1至8中任一项所述的AR装置的计算机运行时控制和执行根据权利要求9至14中任一项所述的方法。