CN114667434A

CN114667434A - 用于捕捉地下线路网络的基础设施元件的方法和移动式捕捉设备

Info

Publication number: CN114667434A
Application number: CN202080077634.0A
Authority: CN
Inventors: M·普茨; S·伊斯梅尔; M·奥登伯格; M·阿诺德; P·鲁克里奇
Original assignee: Shensheng Co ltd
Current assignee: Shensheng Co ltd
Priority date: 2019-10-28
Filing date: 2020-10-27
Publication date: 2022-06-24
Also published as: US20220282967A1; WO2021083915A1; AU2020372614A1; JP2022553750A; DE102019216548A1; BR112022008096A2; CL2022001061A1; EP4051982A1; CA3159078A1; MX2022005059A

Abstract

本发明涉及一种用于借助移动检测单元(1)、特别是在明挖中检测地下线路网络的基础设施的暴露元件的方法和装置。

Description

用于捕捉地下线路网络的基础设施元件的方法和移动式捕捉设备

技术领域

本发明涉及一种用于通过移动式捕捉设备在位置上正确地捕捉布置在地下的、特别是在露天挖掘中的暴露的基础设施元件的方法。此外，本发明涉及一种移动式捕捉设备，其用于在位置上正确地捕捉布置在地下的、特别是在露天挖掘中的暴露的基础设施元件。暴露的基础设施元件尤其是分配网络的基础设施元件。

背景技术

地下基础设施元件通常大量位于所谓的线路网络中。根据这些线路网络的网络结构和根据其中它们的铺设方式以及根据它们的管理边界条件而将它们区分为所谓的传输网络和分配网络。尽管传输网络由具有用于国内输送和国际输送的直线走向的高级、大型、单独的长距离线路组成，而分配网络以其多个基础设施元件的高度交织和其由小部分组成或高度分散的结构向终端消费者执行区域再分配。传输网络的基础设施元件甚至明显比分配网络的基础设施元件埋得更深。

根据公共分配网络的所有者和运营商的规范和条例，对于铺设在地下的线路网络的文件记录，目前原则上在跨多个部门的两种测量变体之间进行区分：通过电子速度计装置、GNSS系统(全球导航卫星系统的缩写)或者甚至通过传统的卷尺手动标定线路和连接元件。在铺设光缆的情况下，为了日后定位的目的，最近也使用了具有RFID芯片(射频识别的缩写)的所谓球形标记，因为通过当前传统方法进行的标定在精度方面是不够的。对于地下线路网络的标定，通常委托外部工程公司进行测量，以用于建筑项目。在这种情况下，在客户(网络运营商)、承包商(建筑公司)和子服务提供商(测量工程师)之间的协调上有很高的时间支出。同时，客户目前仍然没有获得安装的基础设施元件的地理参考的三维模型，客户可利用该模型进行例如关于是否符合准则的质量调查或用于以后的线路信息。在小型建筑项目的情况下，诸如个体消费者与分配网络的连接，出于成本和时间的原因，建筑公司通常仅在现场通过卷尺来绘制草图。在某些情况下，这些草图很容易出错，并且不准确。在两种测量变体中，在文件图纸中通常仅通过一系列导线描绘作为基础设施元件的线路。因此，这里忽略了线路的实际几何走向。

对于这些线路网络的维护以及对于在分配网络中的此类线路网络附近的新土木工程项目的规划，因此绝对有必要获得尽可能精准的可用文件，该文件具有这些地下基础设施元件的精确位置指示，其绝对精度为几厘米。对这些基础设施元件的位置和深度了解不足可能会导致这些基础设施元件的损坏、供应中断，并且在最糟糕的情况下甚至会对人员造成致命伤害。

US 2014 210 856 A1描述了一种用于捕捉和可视化线路网络的基础设施元件的方法，这些基础设施元件以隐藏在建筑物的墙壁或地板元件中的方式布置。在其中基础结构元件以暴露的方式布置的状态下，它们通过激光扫描仪被捕捉。另外，捕捉控制点，这些控制点的坐标是已知的。基于由激光扫描仪捕捉的数据，创建基础设施元件的3D模型，该模型的坐标相对于控制点来定义。在隐藏了基础设施元件之后，标记布置在可见的地方。为了现已隐藏的基础设施元件的可视化，所述标记由移动显示单元的相机捕捉，并且以叠加在显示单元中的相机图像上的方式呈现基础设施元件的3D模型。然而，已经证明已知方法的缺点是，在为了生成3D模型的目的而捕捉基础设施元件的过程中以及在叠加在捕捉场景中的相机图像上的3D模型的可视化过程中，都必须布置相应的控制点或标记。这导致相对大量的工作步骤，并且还增加了对故意破坏行为的敏感性，例如标记的不期望的移除或移动。

WO 2018/213 927 A1描述了一种用于捕捉传输网络中的大型国家长途线路(“管道”)的暴露的基础设施元件的方法，其追求检查法规规定的最小覆盖深度的目标。为此目的，安装在挖方外面的车辆上的平台以恒定的速度沿着暴露的管道向前移动。借助于经由机械装置连接到移动平台的传统LIDAR测量装置来生成局部点云。在局部点云中，借助于边缘识别算法来识别几何特征，例如管道的纵向轴线。在进一步的步骤中，几何特征可与经由全球导航卫星系统获得的绝对位置数据相关联。该系统设计成用于检查在农村地区暴露较长时间的管道的铺设深度(由法规规定)，这些管道具有大约1m的较大直径和可预见的直线走向。然而，这种方法不适用于地下分配网络的基础设施元件的位置正确捕捉，例如具有小横截面和分支路线的光缆，特别是在城镇/城市环境中。这是因为考虑到与道路相关的交通法令和地面以下通常有限的可用路线区域，与管道建设相比，城镇/城市和郊区分配网络中的土木工程项目的排水系统运行的部分更小，并且挖掘深度通常在0.3米至2米之间。在此种土木工程项目的情况下，需要以几厘米范围内的绝对精度捕捉基础设施元件。考虑到按期完成建设项目的巨大的期限压力，在标定期间，建筑工地的雇员通常在挖方的外部和内部进行进一步的工作。此外，例如由于树木、停放的汽车或建筑工地材料，在挖掘处附近和上方通常不可接近，这意味着在标定期间必须同时穿过挖掘处。因此，不断变化的环境条件使得基础设施元件的捕捉明显不可预测。另一个因素是传感器特有的和外部的干扰影响，由于有限的卫星可见性和较差的移动无线电覆盖，这些因素对惯性测量单元(IMU)的相对精度以及全球导航卫星系统的测量值的绝对精度有非常不利的影响。此外，惯性测量单元没有设计成足够精确地补偿全球导航卫星系统接收器的故障。这意味着在一些地区和区域，高精度的基于卫星的位置确定要么是不可能的，要么仅在某些点上是可能的。因此，从WO 2018/213 927 A1已知的安装在车辆、机器人或无人驾驶航空系统上的移动平台不适于捕捉分配网络中的地下线路网络的基础设施元件，或者可能对建筑工地雇员和/或附近的路人带来额外的危险。此外，从技术角度来看，这种方法尤其在城镇/城市地区是不充分的，因为当仅使用LIDAR生成局部点云时，会出现传感器特有的和不期望的漂移效应以及由此导致的不准确性。这些漂移效应和不准确性使得不可能以个位数的厘米范围内的绝对精度来执行捕捉，而这是在绘制分配网络中的地下线路网络的暴露的基础设施元件时所需要的。

US 9 230 453 B2描述了一种用于捕捉暴露的基础设施元件的方法，其中借助LIDAR扫描仪或一个或多个相机读取手动附着到基础设施元件的QR码，以便确定其属性。没有描述利用绝对地理参考来捕捉暴露的基础设施元件的方法。为了将基础设施元件与绝对位置联系起来，必须为其坐标在相应官方坐标系中事先已知的环境相关物体提供目标标记，并由一个或多个相机或LIDAR捕捉环境相关物体。因此，又必须在其它先前步骤中由专家使用额外的、传统的和昂贵的GNSS测量器材或速度计装置来标定这些与环境相关的物体。其结果是，总的来说，不仅有许多容易出错的工作步骤，而且地理参考领域的专业知识也是预先假定的，并且由此产生的大量传感器特定的漂移效应和不准确性被接受的，这使得不可能以个位数的厘米范围内的绝对精度来执行捕捉，而这是在绘制分配网络中的地下线路网络的暴露的基础设施元件时所需要的。此外，由于依赖于QR码的识别，该方法具有明显的缺点。如果由于建筑工地常见的污染(例如由于灰尘、污垢或降水沉淀)而无法识别QR码，则不能使用该方法。在US 9 230 453 B2中描述的设备由多个独立的部件组成：这里，数据首先由诸如LIDAR系统或具有多个相机的相机系统的设备捕捉，随后经由通信网络发送到数据处理系统。独立的数据处理装置通过“AutoCAD”软件将数据转换成3D点云，然后使用“Photo Soft”软件以及用于识别QR码和目标标记的附加软件。在这种情况下，必须在程序之间手动导入/导出所述数据。如果绝对地理参考是必要的，则必须额外使用测量系统和目标标记。

在这种背景下，所解决的问题是能够以几厘米的绝对精度、减少的工作步骤数量、无需专业知识以及补偿几乎所有的干扰影响和传感器特有的测量不确定性来在位置上正确地捕捉地下线路网络、特别是在分配网络中的基础设施元件。

发明内容

为了解决此问题，提出了一种用于借助移动式捕捉设备捕捉地下线路网络的、特别是在露天挖掘中的暴露的基础设施元件的方法，，其中：

-借助移动式捕捉设备的3D重建装置，捕捉包含布置在地下的至少一个暴露的基础设施元件的场景的图像数据和/或深度数据，并且基于这些图像数据和/或深度数据生成具有多个点的3D点云；

-借助移动式捕捉设备的一个或多个接收器，接收一个或多个全球导航卫星系统的信号，并且确定捕捉设备在全球参考系中的位置的第一位置指示；以及

-确定捕捉设备在局部参考系中的位置的多个第二位置指示和捕捉设备在相应局部参考系中的取向的多个取向指示，

a.其中借助移动式捕捉设备的惯性测量单元来实现所述确定第二位置指示中的一个和取向指示中的一个，该惯性测量单元捕捉移动式捕捉设备在局部参考系的三个相互正交的主轴上的线性加速度和移动式捕捉设备围绕这些主轴旋转的角速度，以及

b.其中3D重建装置包括一个或多个2D相机，借助所述一个或多个2D相机捕捉场景的图像数据和/或深度数据，并且基于图像数据和/或深度数据、借助视觉里程计来实现所述确定第二位置指示中的一个和取向指示中的一个；以及

c.其中3D重建装置包括LIDAR测量装置，借助于LIDAR测量装置捕捉场景的深度数据，并且基于深度数据、借助视觉里程计来实现所述确定第二位置指示中的一个和取向指示中的一个；

-基于第一位置指示和多个第二位置指示以及多个取向指示，将相应的地理参考分配至3D点云的点，

-其中移动式捕捉设备能够由人携带，其中移动式捕捉设备能够由人的双手、优选地由人的一只手握持，并且移动式捕捉设备具有外壳，外壳的最大边缘长度小于50cm，其中接收器、惯性测量单元和3D重建装置布置在外壳中。

本发明的另一个主题是一种移动式捕捉设备，其用于在位置上正确地捕捉布置在地下的、特别是在露天挖掘中的暴露的基础设施元件，该移动式捕捉设备包括：

-3D重建装置，其用于捕捉包含布置在地下的至少一个暴露的基础设施元件的场景的图像数据和/或深度数据，并且用于基于这些图像数据和/或深度数据生成具有多个点的3D点云；

-一个或多个接收器，其用于接收一个或多个全球导航卫星系统的信号，并用于确定捕捉设备在全球参考系中的位置的第一位置指示；

-惯性测量单元，其用于确定捕捉设备在局部参考系中的位置的第二位置指示和捕捉设备在局部参考系中的取向的取向指示，其中惯性测量单元设计成捕捉移动式捕捉设备在局部参考系的三个相互正交的主轴上的线性加速度和移动式捕捉设备围绕这些主轴旋转的角速度；

以及

其中3D重建装置包括一个或多个2D相机，借助于一个或多个2D相机可捕捉场景的图像数据，其中可基于图像数据借助于视觉里程计来确定捕捉设备在局部参考系中的位置的第二位置指示和取向指示；

以及

其中3D重建装置包括LIDAR测量装置，借助于LIDAR测量装置可捕捉场景的深度数据，其中基于深度数据、借助视觉里程计来实现捕捉设备在局部参考系中的位置的第二位置指示和取向指示；

-其中，捕捉设备配置成基于第一位置指示和多个第二位置指示以及多个取向指示，向3D点云中的点分配相应的地理参考；

在根据本发明的方法中，暴露的基础设施元件通过移动式捕捉设备捕捉，其中移动式捕捉设备包括用于接收一个或多个全球导航卫星系统的信号的一个或多个接收器，以及3D重建装置和惯性测量单元。用于一个或多个全球导航卫星系统的信号的接收器和3D重建装置以及惯性测量单元的这种组合使得能够以高精度简单地捕捉大地参考系中基础设施元件的位置和取向。在这种情况下，生成包括一个或多个给定基础设施元件的所记录场景的3D点云。将相应的地理参考分配给所述3D点云中的点。在这种情况下，地理参考被理解为表示3D点云的点在大地参考系中，优选地在官方位置参考系中(例如ETRS89/UTM中)的位置指示，特别是加上几何高度参考和/或物理高度参考的位置指示。

基于第一位置指示(即，移动式捕捉设备在全球参考系中的经确定的位置)并且基于多个第二位置指示(即，捕捉设备在局部参考系中的经估计的位置)以及基于取向指示(即，捕捉设备在局部参考系中的经估计的取向的指示)，将地理参考分配给3D点云的点。因此，图像数据可具有独立于相应基础设施元件或挖掘区域中的参考点的位置指示。因此，能够以更高的精确度和可靠性来确定地理参考。根据本发明，例如根据US2014210856A1，布置和捕捉控制点或标记是不必要的，因此可以节省标定期间的工作步骤。因此，能够以减少的工作步骤尽可能精确和在位置上正确地捕捉暴露的基础设施元件。

借助于公共外壳，可提供用于捕捉暴露的基础设施元件的移动式捕捉设备，其结构紧凑、坚固并且适用于建筑工地，并且其可在露天挖掘旁边使用，并且还使得能够使用移动式捕捉设备，其中位于露天挖掘中并且用一只或两只手握住移动式捕捉设备的人使用它来捕捉一个或多个暴露的基础设施元件。因此，根据本发明的方法和根据本发明的移动式捕捉设备可特别有利地用于捕捉特别是在城镇/城市环境中的分配网络中布置在地下的暴露的基础设施元件。

本发明的有利配置是从属权利要求的主题，并且同样涉及用于捕捉基础设施元件的方法和用于捕捉基础设施元件的移动设备。

在本发明的含义中，地下基础设施元件被理解为特别是指线路或电缆元件，诸如光缆、煤气管、区域供热管、水管、电力电缆或电信电缆以及相关的导管、电缆管道和连接元件。连接元件例如可实施为用于恰好两个线路或电缆元件的连接器、用于连接三个或更多线路或电缆元件的分配器、或者放大器元件。待捕捉的地下基础设施元件优选地是此类地下基础设施元件，其是分配网络的一部分，特别是光缆分配网络、电力电缆分配网络或电信电缆分配网络的一部分。

地下基础设施元件的直径优选小于30厘米，优选小于20厘米，特别优选小于10厘米，例如小于5厘米。

优选地，在根据本发明的方法中，捕捉包含布置在地下的多个暴露的基础设施元件的场景的多个帧的图像数据和/或深度数据，并且基于这些图像数据和/或深度数据生成具有多个点的3D点云。

优选地，接收器设计成接收和处理全球导航卫星系统的信号。特别优选的是，如果接收器设计成同时捕捉和处理多个全球导航卫星系统(GNSS)的信号，特别是来自不同全球导航卫星系统的卫星并且在多个频带中的信号。全球导航卫星系统可以是例如GPS、GLONASS、伽利略或北斗。替代地或附加地，接收器可设计成从陆基参考站接收信号，特别是参考或校正信号。举例来说，接收器可设计成经由移动无线电网络接收陆基发射台的信号。校正信号可是例如SAPOS校正信号(德国卫星定位服务)或全球HxGN SmartNet的信号。优选地，为了确定捕捉设备的位置，使用一种或多种以下方法：实时动态定位(称为RTK)、精确点定位(PPP)、动态后处理技术(PPK)。这些方法中的一种或多种的使用使得当确定捕捉设备的位置时，可以将精度降低到小于10cm的范围，优选小于5cm，特别优选小于3cm，例如小于2cm。为了确保全球参考系中所确定的第一位置指示的质量，能够以用户不可见的方式执行地理参考的质量调查。这是通过优选地监控全球卫星导航系统的一个或多个质量参数，例如DOP(精度因子)来实现的。

惯性测量单元(IMU)优选地设计成在每种情况下捕捉三个相互正交的空间方向(例如，沿着x轴、y轴和z轴)上的平移运动以及在每种情况下围绕这三个空间方向(例如，围绕x轴、y轴和z轴)的旋转运动，特别是以时间间隔多次重复这些数据捕捉。举例来说，惯性测量单元可获取平移运动的三个线性加速度值和旋转运动的转速的三个角速度作为观察变量。可基于所测量的电压差的比例导出这些观察变量。借助于诸如捷联算法(SDA)的其他方法，例如，可通过测量的比力和旋转速率来推断位置、速度和取向的变化。

3D重建装置可包括：特别是具有一个或多个2D相机的，飞行时间相机、结构光相机、立体相机、LIDAR测量装置、RADAR测量装置和/或它们彼此的组合。

3D重建装置的LIDAR测量装置优选地配置为固态LIDAR测量装置(称为固态LIDAR或闪光LIDAR)。此种固态LIDAR测量装置提供的优点是，它们可配置成不含机械部件。固态LIDAR测量装置的另一个优点是，测量装置可在同一时间点捕捉多个点的图像和/或深度信息，使得在固态LIDAR测量装置的情况下不会出现由于视场中的移动物体而导致的失真效应。因此，可省去用于校正在扫描具有旋转视场的LIDAR测量装置的情况下出现的此种失真的措施。

根据本发明，移动式捕捉设备包括外壳，其中接收器、惯性测量单元和3D重建装置布置在外壳中。如果移动式捕捉设备不具有帧，则是有利的，在所述帧上以暴露方式布置接收器、惯性测量单元和3D重建装置。借助于公共外壳，可以提供一种用于捕捉暴露的基础设施元件的捕捉设备，该捕捉设备结构紧凑且坚固、可移动且适用于建筑工地。

本发明提供了能够由人携带的移动式捕捉设备，其中捕捉设备能够由人的双手，优选地由人的一只手来握持，使得移动式捕捉设备能够由用户携带到露天挖掘，并在那里用于捕捉暴露的基础设施元件。根据本发明，移动式捕捉设备具有外壳，其最大边缘长度小于50cm，优选小于40cm，特别优选小于30cm，例如小于20cm。特别地，本发明提供了未实施为无人驾驶飞行器的移动式捕捉设备。特别地，本发明提供了不能够固定到，优选不固定到地面机器或地面车辆上的移动式捕捉设备。

优选地，仅借助于移动式捕捉设备、例如借助于一个或多个全球导航卫星系统的一个或多个信号接收器、惯性测量单元和3D重建装置来确定地理参照。优选地，作为地理参考的结果，3D点云的多个点，特别是所有点，包括大地参考系中的位置指示。大地参考系可与全球参考系相同。

根据方法的一个有利配置，规定将相应的颜色信息或灰度值信息分配给3D点云的点，其中优选地借助于3D重建装置的一个或多个2D相机来捕捉颜色信息或灰度值信息。颜色信息或灰度值信息可例如作为RGB颜色空间中的RGB颜色信息或HSV颜色空间中的HSV颜色信息存在。

根据方法的一个有利配置，基于3D点云和一个或多个2D相机的图像数据生成纹理网格模型。使用纹理网格模型使得可以减少要存储的数据量。

根据一个有利的配置，规定，

-全球参考系中位置的第一位置指示和/或分配给该位置指示的原始数据；以及

-一个或多个第二位置指示；以及

-一个或多个第二取向指示；以及

-被捕捉的图像数据和/或被捕捉的深度数据和/或移动式捕捉设备在局部参考系的三个相互正交的主轴上的被捕捉的线性加速度，以及移动式捕捉设备围绕这些主轴旋转的角速度；

以时间同步的方式存储，特别是存储在捕捉设备的存储单元中。为了同步的目的，在这种情况下可规定存储共同的时间戳和/或共同的帧标记。移动式捕捉设备优选地包括存储单元，该存储单元设计成以时间同步的方式存储全球参考系中的位置的第一位置指示和/或分配给该位置指示的原始数据；和一个或多个第二位置指示；和一个或多个第二取向指示；以及被捕捉的图像数据和/或被捕捉的深度数据和/或移动式捕捉设备在局部参考系的三个相互正交的主轴上的被捕捉的线性加速度，以及移动式捕捉设备围绕这些主轴旋转的角速度。

根据一个有利的配置，特别是为了确定和/或分配地理参考，优选地通过刚体变换或赫尔默特变换或通过主轴变换，规定将一个或多个第二位置指示从相应的局部参考系变换到全球参考系。可选地，全球参考系中的第一位置指示和相应的局部参考系中的一个或多个第二位置指示可变换到另一个参考系中。

根据一个有利的配置，规定借助于基于图像数据和/或深度数据的视觉里程计和/或借助于惯性测量单元、通过同时的位置确定和映射来实现所述确定第二位置指示中的一个和取向指示中的一个。确定一个或多个第二位置指示和取向指示有助于通过实现对捕捉设备的轨迹的更准确的确定来改进3D点云的点的地理参考。

如果借助于传感器数据融合来实现将地理参考分配给3D点云的点，则是有利的，其中作为图形模型的因子图和/或所应用的估计方法优选地用于优化目的，其中优选地使用全球参考系中的位置的第一位置指示。在这点上，特别地，可识别和校正捕捉设备的全球参考系中的第二位置指示和第一位置指示之间的漂移效应和偏差。由全球参考系中的一个或多个并入的接收器捕捉第一位置指示可补偿相对传感器系统的限制因素(具有短期稳定性)，并且借助于到上级坐标系的变换导致移动式捕捉设备的地理参考。

在一个有利的配置中，传感器数据融合基于非线性方程组，基于该非线性方程组，实现移动式捕捉设备的位置和取向的估计。优选地，基于非线性方程组来实现轨迹的估计，即移动式捕捉设备的位置的时间轮廓的估计，以及移动式捕捉设备的取向的时间轮廓的估计。位置和取向或取向的轨迹和轮廓的估计首先使得可以实现几厘米范围内的地理参考的高绝对精度，其次使得可以补偿传感器的偶然故障，例如，如果由于有限的卫星可见性而不能确定可靠的第一位置指示。

优选的是，基于由3D重建装置捕捉的图像数据和/或深度数据，检测并分类至少一个基础设施元件，特别是线路或连接元件，并且附加地基于基础设施元件的检测和分类的结果、特别是基于包含颜色信息和/或线径和/或走向和/或弯曲半径和/或地理参考的结果指示，从而实现基于非线性方程组的移动式捕捉设备的位置和取向的估计。在此种配置的情况下，可实现基础设施元件的特别坚固和精确的地理参考。

因子图优选用于传感器数据融合的目的，该因子图映射不同变量和因子之间的复杂关系。在这种情况下，为每个帧顺序添加的运动信息(角速度、取向指示等)可在光束调整中与载波相位观测(GNSS因子)融合。在这种情况下，GNSS因子表示对帧的地理参考位置的直接观察，而相对姿态因子产生关于帧之间的姿态变化的信息，并且特征点因子链接在图像记录中检测到的局部位置参考(例如，可识别的结构和/或物体)并建立对周围环境的空间参考。此外，基础设施元件的检测、分类和/或分割的结果(颜色信息、几何应用特定特征，诸如直径、走向、弯曲半径、移动式捕捉设备的第一位置指示/第二位置指示等)能够同时影响上述传感器数据融合。产生的结果是场景的记录帧的连续的、全局完整的、新对准的3D点云，在此基础上，能够以地理参考的方式以几厘米的绝对精度三维提取所有基础设施元件。

根据一个有利的配置，规定通过移动式捕捉设备的一个或多个接收器接收来自全球导航卫星系统的最多三个导航卫星的信号，其中以小于10cm、优选小于5cm、特别优选小于3cm的精度将相应的地理参考分配给3D点云的点。由于使用了多个传感器数据源，可在几厘米的范围内确定在其中只有有限的卫星可见性和/或较差的移动无线电覆盖的环境中的基础设施元件的三维绝对地理坐标。

根据一个有利配置，规定作为先验信息的捕捉设备的位置的第二位置指示和/或移动式捕捉设备的取向指示帮助解决载波相位的差分测量的模糊性，以便即使接收器报告故障或仅在短时间内通过惯性测量单元确定可用的第二位置指示和/或取向指示，也地理参考基础设施元件。

有利的是，借助传感器数据融合，识别多次或在不同时间记录的基础设施元件的区域，诸如两个场景之间的重叠，并将所述区域简化到基础设施元件的在时间上最近捕捉的区域。

一个有利的配置优选地通过基于第一位置指示的时间序列确定第一速度指示以及基于被捕捉的线性加速度和被捕捉的角速度计算第二速度指示并与第一速度指示进行比较，从而提供了待确定的捕捉设备在全球参考系中的位置的第一位置指示的时间序列的似然性。为此目的，可实现与线性加速度的时间积分的比较。因此，可提高所确定的或分配给点的地理参考的可靠性。因此优选地，基于一个或多个第一位置指示和一个或多个第二位置指示以及一个或多个取向指示以及移动式捕捉设备沿着局部参考系的主轴测量的加速度和移动式捕捉设备围绕这些主轴旋转的测量的角速度，将相应的地理参考分配给3D点云的点。

基于3D点云和/或基于图像数据，一种有利的配置提供了待检测和/或待分类和/或待分割的至少一个基础设施元件，特别是线路或连接元件。

在这种情况下，优选的是，使用一种或多种图像分割方法进行对基础设施元件的检测、分类和/或分割，所述图像分割方法诸如阈值方法、特别是基于直方图的方法，或者面向纹理的方法，或者基于区域的方法，或者诸如支持向量机、决策树和神经网络的基于像素的方法。举例来说，为了基础设施元件的检测、分类和/或分割，可将捕捉的图像数据的颜色信息与预定义的颜色信息进行比较。因为不同线路网络的基础设施元件通常具有不同的颜色和/或不同的几何信息，所以捕捉的图像数据的颜色信息和/或几何信息可与例如存储在数据库中的预定义颜色信息和/或几何信息进行比较，以便首先将基础设施元件与它们在场景中的周围环境区分开，然后识别基础设施元件的类型，例如基础设施元件是光缆还是区域供热管。优选地，将3D点云的点的颜色信息与预定义的颜色信息进行比较，使得可直接将3D点云的点分配给识别的基础设施元件。

根据一个有利的配置，规定针对检测、分类和/或分割生成3D点云的多个点的颜色和/或灰度值信息、和/或饱和度值信息和/或亮度值信息和/或电磁波谱的至少一个直方图。在第一步中，生成颜色信息或灰度值信息的直方图使得能够分配点云中与预定义的颜色信息和/或灰度值信息、和/或饱和度值信息和/或亮度值信息和/或电磁波谱最相似的点，从而为改进识别场景中的基础设施元件建立基础。优选地，例如在图像数据到HSV颜色空间的先前变换之后，生成HSV颜色空间中的图像数据的颜色信息或灰度值信息的直方图。特别优选地，生成颜色值(称为色调)的直方图，其也称为颜色角度。

优选地，在一个或多个直方图中检测局部最大值，并且在局部最大值当中，确定或检测关于基础设施元件的预定义的颜色阈值、饱和度阈值和亮度阈值具有最小间隔的那些最大值。

已经证明，如果一组点中的点关于由检测到的局部最大值组成的颜色信息不超过预定义的分离阈值，通过其它的点(这些点不超过关于相关联的相邻点的定义的几何分离和颜色分离)来迭代地扩展所述一组点，以便形成具有相似颜色信息的基础设施元件的局部连续区域，则这是有利的。以这种方式，可以检测具有相似颜色值的基础设施元件的局部连续区域。也可将其颜色值在基础设施元件的几何过程中逐渐变化的基础设施元件识别为图像数据中的连续基础设施元件。优选地，在基础设施元件的捕捉期间，可为对应于移动式捕捉设备的移动方向的优选空间方向预定义优选方向分离阈值。优选方向分离阈值可大于其他空间方向的分离阈值，因为可假设在露天挖掘中捕捉基础设施元件期间，用户在与基础设施元件的主要延伸方向相对应的方向上移动移动式捕捉设备。

本发明的一个有利配置规定，为了基础设施元件的检测、分类和/或分割和/或为了改进的距离测量和/或为了绝对取向的初始化，捕捉和/或在显示方向上显示捕捉设备的激光指示器的光点。为此目的，移动式捕捉设备优选地包括用于基础设施元件的光学标记的激光指示器，借助该激光指示器，优选地能够产生指向由3D重建装置捕捉的场景的方向的激光束。借助激光指示器，捕捉设备的用户可在捕捉的场景中标记代表基础设施元件的一部分的点。可在捕捉的图像数据中识别借助激光指示器标记的点，并且与标记的点具有几何间隔的点可代表候选点，候选点可能同样是基础设施元件的一部分。在进一步的步骤中，候选点的颜色值可相互比较，例如通过一个或多个直方图。根据后者，可以检测关于基础设施元件的先前定义的色调、饱和度和亮度值具有最小间隔的局部最大值。

根据本发明的方法的一个有利配置规定，为了基础设施元件的检测、分类和/或分割，将捕捉的图像数据的颜色信息或灰度值信息、特别是3D点云的点的颜色信息或灰度值信息，和/或被捕捉的深度数据和相关联的标签信息馈送给一个或多个人工神经网络，以用于训练目的。在训练人工神经网络的情况下，图像数据可用作人工神经网络的训练数据，其中由捕捉设备的用户附加地提供校正数据，以便训练人工神经网络。人工神经网络可实现为移动式捕捉设备的数据处理装置的一部分，特别是软件和/或硬件。或者，人工神经网络可以作为服务器的一部分来提供，移动式捕捉设备经由无线通信连接而连接到该服务器。借助于经过训练的神经网络，以降低的计算复杂度实现基础设施元件的检测、分类和/或分割成为可能。

一种有利的配置规定，对于每个检测到的基础设施元件，特别是基于3D点云来生成相关联的3D对象。优选地从大地参考系中的3D点云开始实现3D对象的生成，并且因此进行地理参考。3D对象可具有纹理。优选地，移动式捕捉设备包括图形处理单元(GPU)，其设计成表示对应于所捕捉的基础设施元件的3D对象。

在捕捉分配网络中的基础设施元件期间，由于各种原因，可出现布置在地下的基础设施元件的一部分由于隐蔽性而不能由移动式捕捉设备光学捕捉的情况。因此，在3D点云中或由3D对象定义的网络中出现光学空位。例如，如果基础设施元件被在挖掘处上方延伸的板覆盖，例如在挖掘处上方形成交叉的钢板，则可能出现这种情况。此外，暴露的基础设施元件可以连接到另一个基础设施元件，其中后者以封闭的构造方式铺设，因此例如通过冲压钻孔铺设。此外，例如，由于移动式捕捉设备的用户的不注意移动，可导致基础设施元件或其部分被沙子或土壤掩盖，或者树叶可能从附近的树上掉落并导致掩盖。可采取措施来实现不能由移动式捕捉设备光学捕捉的此种基础设施元件的附加捕捉，这些措施在下面给出。

本发明的一个有利配置规定，识别两个3D对象之间的光学空位，并且生成连接3D对象，特别是作为3D样条的连接3D对象，以用于封闭光学空位。

优选地，为了识别光学空位，确定第一3D对象的第一端的特征和第二3D对象的第二端的相同特征，其中将第一特征和第二特征相互比较，并且第一特征和第二特征是直径或颜色或取向或地理参考。特别优选地，为了识别光学空位，确定第一3D对象的第一端的多个特征和第二3D对象的第二端的相同特征，其中将第一特征和第二特征相互比较，并且第一特征和第二特征是直径和/或颜色和/或取向和/或地理参考。

或者，可规定将移动式捕捉设备置于光学空位模式，并且从第一端向第二端移动。可由操作者控制捕捉设备的元件来激活光学空位模式。

根据一个有利的配置，规定移动式捕捉设备包括用于语音控制的装置。命令和/或信息的听觉输入可经由用于语音控制的装置来实现。在捕捉基础设施元件期间，听觉输入使得有可能防止由于操作者控制元件的致动而导致的不期望的模糊，这有助于改善捕捉结果。此外，可通过用于语音控制的装置来实现输入请求和/或信息的声音输出，特别是反馈消息和/或警告。用于语音控制的装置可包括一个或多个麦克风和/或一个或多个扬声器。

优选地，借助于用于语音控制的装置识别听觉信息，并且额外地基于听觉信息将地理参考分配给3D点云的点。特别优选地，听觉信息，特别是在传感器数据融合期间，用于估计移动式捕捉设备的位置和取向。替代地或附加地，听觉信息可用于基础设施元件的检测和分类。举例来说，可通过用于语音控制的装置来识别关于要识别的基础设施元件的类型(“线路是光缆”)和/或关于要识别的基础设施元件的数量(“铺设三条线路”)和/或关于基础设施元件的布置(“左边是煤气管，以及右边是光缆”)的用户听觉信息。优选地规定，基于由3D重建装置捕捉的图像数据和/或深度数据，检测并分类至少一个基础设施元件，特别是线路或连接元件，并且附加地基于听觉信息来实现基于非线性方程组的移动式捕捉设备的位置和取向的估计。

根据一个有利的配置，规定通过移动式捕捉设备的显示装置，显示对应于基础设施元件的3D点云和/或3D对象的表示。这提供了优点，即移动式捕捉设备的用户可例如在露天挖掘中捕捉基础设施元件之后立即在现场查看和可选地检查对应于基础设施元件的3D点云和/或3D对象。

替代地或附加地，借助于显示装置，可显示基于3D点云和一个或多个2D相机的图像数据生成的纹理网格模型。

根据一个有利的配置，规定通过移动式捕捉设备的显示装置，显示2D位置图。例如基于特定的经地理参考的3D点云，可借助于移动式捕捉设备的数据处理装置来生成2D位置图。优选地，2D位置图可存储在文件中，例如存储在.dxf文件格式或具有单独属性的Shapefiles中。此种2D位置图的配置用于将基础设施元件数字集成到责任人的各个地理信息系统中。

根据一个有利的配置，规定通过移动式捕捉设备的显示装置，显示基础设施元件、尤其是线路元件和连接元件的部件列表。可借助于移动式捕捉设备的数据处理装置、基于检测到的、分类的和/或分割的基础设施元件来生成部件列表，并且可由用户手动修改。部件列表可包括例如不同线路网络的基础设施元件。部件列表可包括例如关于各个基础设施元件的数量和/或各个基础设施元件的铺设长度单位的数量和/或各个基础设施元件在大地测量参考系中的位置指示和/或施工进度的信息。

根据一个有利的配置，规定通过移动式捕捉设备的显示装置，显示捕捉设备的2D相机的图像数据以及与基础设施元件对应的一个或多个3D对象的投影的叠加。为了将基础设施元件的3D对象投影到挖掘处，首先必须初始化移动式捕捉设备的相机观察方向的取向。为此目的，用户有必要将移动式捕捉设备移动到该地点，例如在几米的范围内，或者执行特定的移动模式/过程，以便通过移动式捕捉设备的足够的传感器数据来获取空间中的取向。优选地，显示作为3D重建装置的一部分提供的2D相机的图像数据以及与多个、特别是互连的基础设施元件对应的3D对象的多个投影的叠加。此种表示也可以被称为“增强现实”表示，并且即使在关闭状态下，也能够实现以隐藏方式布置的基础设施元件的真实或在位置上正确的表示。这意味着，借助于移动式捕捉设备，即使在结束挖掘后，也可向用户呈现铺设在地下的基础设施元件的真实表示。由于地理参考图像数据，用户不必为了能够以高精度感知它们的走向而暴露基础设施元件。

根据一个有利的配置，规定通过移动式捕捉设备的显示装置，显示捕捉设备的2D相机(作为3D重建装置的一部分提供)的图像数据与3D点云的多个点的投影的叠加。如果在显示装置上显示3D点云的投影，与3D对象的投影的表示相比，这确实导致在表示期间计算复杂度的增加。然而，可因此省去3D对象的前一代。

优选地，移动式捕捉设备包括用于显示显示数据的显示装置和设计成提供显示数据的数据处理装置，显示数据包括：

-3D点云的表示，和/或

-基于3D点云和一个或多个2D相机的图像数据生成的纹理网格模型，和/或

-对应于基础设施元件的3D对象，和/或

-2D位置图，和/或

-基础设施元件的部件列表，和/或

-捕捉设备的2D相机的图像数据以及与基础设施元件对应的一个或多个3D对象的投影的叠加，和/或

-捕捉设备的2D相机的图像数据与3D点云的多个点的投影的叠加。

显示装置可实现为组合的显示器和操作者控制装置，其可用于捕捉用户的输入，例如实现为触摸屏。

根据一个有利的配置，移动式捕捉设备包括激光指示器，其用于光学标记基础设施元件和/或用于扩展距离测量和/或用于初始化在显示方向上的取向。

根据一个有利的配置，移动式捕捉设备包括偏振滤光器，其用于避免眩光、镜面反射和反射，以便提高观察数据的质量并优化观察数据。

根据一个有利的配置，移动式捕捉设备包括一个或多个照明装置，其用于基础设施元件的改进的检测、分类和/或分割。

根据一个有利的配置，移动式捕捉设备包括用于语音控制的装置。

优选地，用于语音控制的装置设计成能够实现输入请求和/或信息的声音输出、特别是反馈消息和/或警告。

附图说明

下面应基于附图中所示的示例性实施例来解释本发明的更多细节和优点。本文示出了以下内容：

图1以示意框图示出了根据本发明的移动式捕捉设备的一个示例性实施例；

图2示出了根据本发明的用于在流程图中捕捉位于地下的暴露的基础设施元件的方法的一个示例性实施例；

图3示出了3D点云的一个示例性投影；

图4示出了场景的一个示例性表示；

图5、图6示出了其中可使用本发明的建筑工程的示意图；

图7示出了用于说明当将地理参考分配给3D点云的点时的过程的框图；

图8示出了多个场景的示意图；

图9a示出了具有多个至少部分光学隐藏的基础设施元件的挖掘的平面图；以及

图9b示出了根据图9a的挖掘的平面图，其具有识别和封闭的光学空位。

具体实施方式

图1示出了移动式捕捉设备1的一个示例性实施例的框图，该移动式捕捉设备用于捕捉位于地下的暴露的、特别是在露天挖掘中的基础设施元件。移动式捕捉设备1尤其包括一个或多个接收器2，接收器由接收装置组成，以用于接收和处理一个或多个全球导航卫星系统的信号，并用于基于卫星信号的飞行时间测量来确定捕捉设备在全球参考系中的第一位置。接收器2，特别是接收器2的接收装置，可连接到一个或多个天线，优选地天线布置在移动式捕捉设备1的外壳9外部，特别优选地在外壳9的外轮廓上。或者，天线可布置在外壳9内。捕捉设备1在全球参考系中的此第一位置尤其可通过参考站或参考网络的服务来完善。移动式捕捉设备1还包含3D重建装置4，其用于捕捉场景的图像数据和/或深度数据，特别是包含位于地下的暴露的基础设施元件的场景的帧。此外，移动式捕捉设备1包括惯性测量单元3，其用于测量移动式捕捉设备1沿主轴的加速度和旋转的角速度。此外，借助于图像数据和/或深度数据的视觉里程计以及借助于惯性测量单元3通过同时的位置确定和映射来估计捕捉设备的位置的多个第二位置指示。具体地，确定捕捉设备1在局部参考系中的位置的多个第二位置指示和捕捉设备1在相应局部参考系中的取向的多个取向指示，

a.其中通过移动式捕捉设备1的惯性测量单元3来实现确定第二位置指示中的一个和取向指示中的一个，该惯性测量单元捕捉移动式捕捉设备1在局部参考系的三个相互正交的主轴上的线性加速度和移动式捕捉设备1绕这些主轴旋转的角速度，和/或

b.其中3D重建装置4包括一个或多个2D相机，借助于一个或多个2D相机捕捉场景的图像数据和/或深度数据，并且基于图像数据和/或深度数据、借助于视觉里程计来实现确定第二位置指示中的一个和取向指示中的一个；和/或

c.其中3D重建装置4包括LIDAR测量装置，借助于LIDAR测量装置捕捉场景的深度数据，并且基于深度数据、借助于视觉里程计来实现确定第二位置指示中的一个和取向指示中的一个。

接收器2、惯性测量单元3和3D重建装置4布置在公共外壳9中。

外壳9的尺寸使得用户可用双手，优选用单只手握住移动式捕捉设备1。外壳9的最大边缘长度小于50厘米，优选小于40厘米，特别优选小于30厘米，例如小于20厘米。

同样布置在外壳9中的移动式捕捉设备1的其他组件是激光指示器5、数据处理装置6、存储单元7、通信装置10和显示装置8。

激光指示器5可用于基础设施元件的光学标记和/或辅助距离测量，并且以此方式布置在外壳或框架9中，使得可由所述激光指示器产生指向由3D重建装置4捕捉的场景的方向上(例如指向由3D重建装置4捕捉的场景的中心处)的激光束。

数据处理装置6连接到接收器2、惯性测量单元3和3D重建装置4，使得单独测量和估计的数据以及图像数据可被馈送到数据处理装置6。此外，激光指示器5、存储单元7和显示装置8连接到数据处理装置6。

捕捉设备1包含通信装置10，该通信装置特别配置为例如借助蓝牙、WLAN或移动无线电的用于无线通信的通信装置。

显示装置8用于可视化通过捕捉设备1捕捉的基础设施元件。显示装置8优选实施为组合的显示和操作者控制装置，例如以触摸感应屏(称为触摸屏)的方式。

图1中所示的移动式捕捉设备1可用于捕捉位于地下的暴露的基础设施元件的方法中。此种方法100的一个示例性实施例将在下面参考图2的图示进行解释。

在用于借助于移动式捕捉设备1捕捉露天挖掘中的地下线路网络的基础设施元件的方法100中，在捕捉步骤101中，借助于移动式捕捉设备1的一个或多个接收器2，接收并处理一个或多个全球导航卫星系统的信号，并且还确定捕捉设备1在全球参考系中的位置的一个或多个位置指示。同时，借助于移动式捕捉设备1的2D相机捕捉包含位于地下的暴露的基础设施元件的场景的图像数据，将所述2D相机提供作为3D重建装置4的一部分。3D重建装置的LIDAR测量装置捕捉场景的图像数据和/或深度数据。此外，借助于图像数据和/或深度数据的视觉里程计以及借助于惯性测量单元3通过同时的位置确定和映射来估计捕捉设备的位置的多个第二位置指示。惯性测量单元3设计成捕捉移动式捕捉设备1在局部参考系的三个相互正交的主轴上的线性加速度以及移动式捕捉设备1围绕这些主轴旋转的角速度。捕捉设备1由人携带，优选由人的双手，特别优选由人的一只手携带。

局部系统中的估计的第二位置指示、局部参考系中的估计的取向指示、全球参考系中的测量的第一位置、测量的沿着主轴的加速度和测量的移动式捕捉设备1绕主轴旋转的角速度以及捕捉的图像数据以同步的方式存储在捕捉设备1的存储单元7中。在捕捉步骤101期间，用户可携带捕捉设备1移动，例如沿着暴露的基础设施元件移动。这些数据的同步存储确保了可在随后的方法步骤中正确处理数据。在随后的重建步骤102中调节由3D重建装置捕捉的图像数据，以此方式使得它们生成具有多个点和这些点的颜色信息的3D点云。在这方面，这里被称为彩色3D点云。

在地理参考步骤103中，基于3D重建装置4在局部参考系中的估计的第二位置指示，3D重建装置4在局部参考系中的估计取向和移动式捕捉设备1在全球参考系中的测量的第一位置，以及移动式捕捉设备1沿着主轴的测量的加速度和移动式捕捉设备1围绕移动式捕捉设备1的主轴旋转的测量的角速度，将大地参考系(例如官方认可的坐标系)中的第一位置指示分配给3D点云的点。在这方面，在地理参考步骤103之后，计算并提供彩色的、地理参考的3D点云。

之后，在识别步骤104中，基于数据的颜色信息检测基础设施元件。为了基础设施元件的检测、分类和/或分割，将捕捉的图像数据的颜色信息与预定义的颜色信息进行比较。替代地或附加地，可以由用户在通过激光点5捕捉场景的过程中实现基础设施元件的标记。可在图像数据中检测到激光点5的标记，并且将其用于检测基础设施元件。作为识别步骤104的结果，分别将图像数据的多个图像点，特别是彩色的、地理参考的3D点云的多个点，分配给公共的基础设施元件，例如线路元件或线路连接元件。图3中的图示示出了2D投影中识别的基础设施元件的一个示例性图像表示。

在随后的数据调节步骤105中，调节在单独识别步骤产生的数据，并检测其基础设施元件。该调节可通过数据处理装置6来实现。在这种情况下，各种类型的调节是可能的，其可交替地或累积地执行：在数据调节步骤105中，可生成对应于捕捉的基础设施元件的3D对象，从而生成地下线路网络的3D模型。此外，可计算3D点云的投影。有可能生成2D位置图，其中再现了检测到的基础设施元件。此外，可生成识别的基础设施元件的部件列表。

在可视化步骤106中，借助于移动式捕捉设备1的显示装置8，然后可显示

-3D点云的表示，和/或

-2D位置图，和/或

-基础设施元件的部件列表，和/或

图4可视化了根据本发明的方法和根据本发明的设备的应用。示出了包含分配网络的多个基础设施元件200、200’的记录场景的多个帧。基础设施元件200、200’是光缆和电信电缆，它们在一些情况下彼此之间没有间隔地铺设在共同的挖方中。这些基础结构元件200、200’的直径小于30厘米，在某些情况下小于20厘米。一些基础设施元件200’的直径小于10厘米。人201站在露天挖掘中，并使用移动式捕捉设备1(图4中不可见)通过根据本发明的方法来捕捉暴露的基础设施元件200、200’。

图5和图6中的表示示出了用于在城镇/城市环境中铺设地下分配网络的基础设施元件的典型建筑工地。这些建筑工地位于城镇/城市道路区域，并且特点在于挖掘深度为30厘米至2米。在挖掘处周围，可用的空间是有限的，并且挖掘处的可接近性部分地受到停放的汽车和/或持续的道路交通的限制。通常，挖方的城镇/城市环境以遮蔽GNSS信号和移动无线电接收为特征。

图7示出了说明用于生成3D点云并将地理参考分配给点云的点的数据流的框图。作为数据源或传感器，移动式捕捉设备1包括：惯性测量单元3；接收器2，其用于包括移动无线电接口302的全球导航卫星系统的信号；3D重建装置4的LIDAR测量装置303(这里体现为固态LIDAR测量装置)；以及3D重建装置4的第一2D相机304和可选的3D重建装置4的第二2D相机305。

由这些数据源或传感器提供的数据以同步的方式存储在移动式捕捉设备的存储单元7中(步骤306)。这意味着

-一个或多个第二位置指示；以及

-一个或多个第二取向指示；以及

–被捕捉的图像数据和/或被捕捉的深度数据和/或移动式捕捉设备1在局部参考系的三个相互正交的轴上的被捕捉的线性加速度，以及移动式捕捉设备1围绕这些轴旋转的角速度；

以时间同步的方式存储在捕捉设备1的存储单元7中。

借助于LIDAR测量装置303，捕捉场景的深度数据，并且基于深度数据、借助于视觉里程计确定第二位置指示中的一个和取向指示中的一个。基于由LIDAR测量装置303确定的图像数据和/或深度数据，生成具有多个点的局部3D点云，参见框307。

借助于第一2D相机304和可选的第二2D相机305，捕捉场景350的图像数据和/或深度数据，并且在每种情况下，基于2D相机304和可选地305的相应图像数据和/或深度数据，借助于视觉里程计来确定第二位置指示中的一个和取向指示中的一个。为此目的，提取特征点，参见框308和可选的309。

此外，基于由3D重建装置4捕捉的图像数据和/或深度数据，检测和分类并且可选地分割至少一个基础设施元件，特别是线路或连接元件，参见框310。在这种情况下，获得以下一项或多项信息：基础设施元件的颜色、基础设施元件的直径、基础设施元件的走向、基础设施元件的弯曲半径、移动式捕捉设备的第一位置指示和第二位置指示。检测、分类和可选的分割可通过人工神经网络来实现，人工神经网络配置为移动式捕捉设备的数据处理装置的一部分，特别是软件和/或硬件。

可选地，移动式捕捉设备可包括用于语音控制的装置。可经由用于语音控制的装置来捕捉用于检测和分类基础设施元件和/或用于将地理参考分配给3D云的点的听觉信息。

作为框307、308、309和310的局部2D数据呈现的输出数据首先被转换成3D数据(框311)，特别是通过反投影被转换成3D数据。

然后，将以这种方式转换的场景的多个帧350、351、352的数据馈送到传感器数据融合312，传感器数据融合基于非线性方程组执行移动式捕捉设备1的位置和取向的估计。因子图优选用于传感器数据融合312的目的，该因子图表示不同变量和因子之间的复杂关系。在这种情况下，为每个帧顺序添加的运动信息(角速度、取向指示等)可在光束调整中与载波相位观测(GNSS因子)融合。在这种情况下，GNSS因子表示对帧的地理参考位置的直接观察，而相对姿态因子产生关于帧之间的姿态变化的信息，并且特征点因子链接在图像记录中检测到的局部位置参考(例如，可识别的结构和/或物体)并建立对周围环境的空间参考。此外，基础设施元件的检测、分类和/或分割的结果(颜色信息、几何应用特定特征，诸如直径、走向、弯曲半径、移动式捕捉设备的第一位置指示和/或第二位置指示等)能够同时影响上述传感器数据融合。传感器数据融合312产生的结果是场景的所有完整帧的连续的、全局完整的、新对准的3D点云，在此基础上，能够以地理参考的方式以几厘米的绝对精度三维地提取所有基础设施元件。

图8中的图示示出了具有多个基础设施元件200的分配网络的一部分的平面图，这些基础设施元件是通过根据本发明的方法和根据本发明的设备捕捉的。在这种情况下，由小方框360标记作为共同场景的一部分，即作为多个帧的连续序列的一部分被捕捉的区域。场景是按时间顺序记录的，例如每当分配网络的相应部分暴露时。作为重叠的结果，一些重叠区域361包含在两个不同的场景中，因此是双重的。场景的时间顺序可以延续几天。在传感器数据融合的背景下组合这些场景，其结果是生成分配网络的单个公共3D点云，其不包含双重记录的区域。在这种情况下，有利的是，借助于传感器数据融合，识别多次或在不同时间记录的基础设施元件的区域，诸如两个记录之间的重叠，并将其简化到基础设施元件的在时间上最近捕捉的区域。

图9a示出了以封闭构造方式(例如通过冲压钻孔)部分铺设的分配网络的一部分的平面图。在捕捉分配网络的这一部分时，布置在地下的基础设施元件200的一部分由于隐蔽而不能由移动式捕捉设备1光学捕捉，参见隐蔽区域400。图9a中示出了总共四个此种部分隐蔽的基础设施元件。因此，在3D点云中或由3D对象定义的网络中出现光学空位。根据本发明的一种配置，识别对应于第一基础设施元件200的两个3D对象401、402之间的光学空位，并且生成连接3D对象403，特别是作为3D样条，以用于封闭光学空位，参见图9b。为了识别光学空位，确定第一3D对象401的第一端的一个或多个特征和第二3D对象402的第二端的相同特征。将两端的特征相互比较。这些特征可是例如直径和/或颜色和/或取向和/或位置指示。可选地，可规定移动式捕捉设备的用户将后者置于光学空位模式，例如通过激活移动式捕捉设备的操作者控制元件。在光学空位模式中，操作者可在隐藏的基础设施元件上方移动移动式捕捉设备，从基础设施元件的对应于第一3D对象401的第一端的端部沿着光学空位轨迹前进，直到基础设施元件200的对应于第二3D对象402的第二端的端部。然后，移动式捕捉设备1可生成将第一3D对象401的第一端连接到第二3D对象402的第二端的连接3D对象403，在图9b中示出所述连接3D对象。

附图标记

1 移动式捕捉设备

2 一个或多个接收器

3 惯性测量单元

4 3D重建装置

5 激光指示器

6 数据处理装置

7 储存单元

8 显示装置

9 外壳

10 通信装置

100 方法

101 数据捕捉步骤

102 重建步骤

103 地理参考步骤

104 识别步骤

105 数据调节步骤

106 可视化步骤

200、200’、200” 基础设施元件

201 人

302 移动无线电接口

303 LIDAR测量装置

304 2D相机

305 2D相机

306 同步

307 局部3D点云的生成

308 特征点的提取

309 特征点的提取

310 检测和分类

311 反投影

312 传感器数据融合

350、351、352 帧

360 场景

361 重叠区域

400 光学隐蔽区域

401、402 3D对象

403 连接3D对象。

Claims

1.一种用于借助移动式捕捉设备(1)在位置上正确地捕捉布置在地下的、特别是在露天挖掘中的暴露的基础设施元件的方法，其中：

-借助所述移动式捕捉设备(1)的3D重建装置(4)，捕捉包含布置在地下的至少一个暴露的基础设施元件的场景的图像数据和/或深度数据，并且基于这些图像数据和/或深度数据生成具有多个点的3D点云；

-借助所述移动式捕捉设备(1)的一个或多个接收器(2)，接收一个或多个全球导航卫星系统的信号，并且确定所述捕捉设备(1)在全球参考系中的位置的第一位置指示；以及

-确定所述捕捉设备(1)在局部参考系中的位置的多个第二位置指示和所述捕捉设备(1)在相应局部参考系中的取向的多个取向指示，

a.其中借助所述移动式捕捉设备(1)的惯性测量单元(3)来实现所述确定所述第二位置指示中的一个和所述取向指示中的一个，所述惯性测量单元捕捉所述移动式捕捉设备(1)在所述局部参考系的三个相互正交的主轴上的线性加速度和所述移动式捕捉设备(1)围绕这些主轴的旋转的角速度，以及

b.其中所述3D重建装置(4)包括一个或多个2D相机，借助所述一个或多个2D相机捕捉所述场景的所述图像数据和/或所述深度数据，并且基于所述图像数据和/或所述深度数据、借助视觉里程计来实现所述确定所述第二位置指示中的一个和所述取向指示中的一个；以及

c.其中所述3D重建装置(4)包括LIDAR测量装置，借助所述LIDAR测量装置捕捉所述场景的所述深度数据，并且基于所述深度数据、借助视觉里程计来实现所述确定所述第二位置指示中的一个和所述取向指示中的一个；

-基于所述第一位置指示和多个所述第二位置指示以及多个所述取向指示，将相应的地理参考分配至所述3D点云的所述点，

-其中所述移动式捕捉设备(1)能够由人携带，其中所述移动式捕捉设备(1)能够由人的双手、优选地由人的一只手握持，并且所述移动式捕捉设备具有外壳(9)，所述外壳的最大边缘长度小于50cm，其中所述接收器(2)、所述惯性测量单元(3)和所述3D重建装置(4)布置在所述外壳(9)中。

2.根据权利要求1所述的方法，其特征在于，所述地下基础设施元件是光缆或电力电缆或电信电缆。

3.根据前述权利要求中任一项所述的方法，其特征在于，所述地下基础设施元件是分配网络的一部分，尤其是光缆分配网络、电力电缆分配网络或电信电缆分配网络的一部分。

4.根据前述权利要求中任一项所述的方法，其特征在于，所述地下基础设施元件的直径小于30厘米，优选小于20厘米，特别优选小于10厘米，例如小于5厘米。

5.根据前述权利要求中任一项所述的方法，其特征在于，捕捉包含布置在地下的多个暴露的基础设施元件的场景的多个帧的图像数据和/或深度数据，并且基于这些图像数据和/或深度数据生成具有多个点的3D点云。

6.根据前述权利要求中任一项所述的方法，其特征在于，所述一个或多个接收器(2)附加地设计成从陆基参考站接收信号，尤其是参考信号或校正信号。

7.根据前述权利要求中任一项所述的方法，其特征在于，所述3D重建装置(4)的所述LIDAR测量装置配置为固态LIDAR。

8.根据前述权利要求中任一项所述的方法，其特征在于，将相应的颜色信息或灰度值信息分配给所述3D点云的所述点，其中优选地通过所述3D重建装置(4)的所述一个或多个2D相机来捕捉所述颜色信息或所述灰度值信息。

9.根据前述权利要求中任一项所述的方法，其特征在于，基于所述3D点云和所述一个或多个2D相机的所述图像数据生成纹理网格模型。

10.根据前述权利要求中任一项所述的方法，其特征在于，

-所述全球参考系中所述位置的所述第一位置指示和/或分配给该位置指示的原始数据；以及

-所述一个或多个第二位置指示；以及

-所述一个或多个第二取向指示；以及

-被捕捉的图像数据和/或被捕捉的深度数据和/或所述移动式捕捉设备(1)

在所述局部参考系的三个相互正交轴上的被捕捉的线性加速度，以及所述移动式捕捉设备(1)围绕这些轴的所述旋转的所述角速度；

以时间同步的方式存储，特别是存储在所述捕捉设备(1)的存储单元(7)中。

11.根据前述权利要求中任一项所述的方法，其特征在于，优选借助刚体变换或赫尔默特变换或借助主轴变换，将所述相应局部参考系中的所述一个或多个第二位置指示变换到所述全球参考系中。

12.根据前述权利要求中任一项所述的方法，其特征在于，通过传感器数据融合来实现将所述地理参考分配给所述3D点云的所述点，其中作为图形模型的因子图和/或所应用的估计方法，特别是根据麦夸特法(Levenberg-Marquardt)的估计方法，优选地应用于优化目的，其中优选地使用所述全球参考系中的所述位置的所述第一位置指示。

13.根据前述权利要求中任一项所述的方法，其特征在于，所述传感器数据融合基于非线性方程组，基于所述非线性方程组，实现对所述移动式捕捉设备的所述位置和所述取向的估计。

14.根据权利要求13所述的方法，其特征在于，基于由所述3D重建装置捕捉的所述图像数据和/或所述深度数据，检测并分类至少一个基础设施元件，特别是线路或连接元件，并且附加地基于所述基础设施元件的所述检测和分类的结果来实现基于所述非线性方程组对所述移动式捕捉设备的所述位置和所述取向的所述估计。

15.根据前述权利要求中任一项所述的方法，其特征在于，借助所述移动式捕捉设备(1)的所述一个或多个接收器(2)，接收来自所述全球导航卫星系统的最多三个导航卫星的信号，其中以小于10cm、优选小于5cm、优选小于3cm的范围内的精度将相应的地理参考分配给所述3D点云的所述点。

16.根据前述权利要求中任一项所述的方法，其特征在于，作为先验信息的所述捕捉设备的所述位置的所述第二位置指示和/或所述移动式捕捉设备的所述取向指示帮助解决载波相位的差分测量的模糊性，以便即使所述接收器报告故障或仅在短时间内通过所述惯性测量单元确定能够使用的第二位置指示和/或取向指示，也地理参考基础设施元件。

17.根据前述权利要求中任一项所述的方法，其特征在于，借助所述传感器数据融合，识别多次或在不同时间记录的基础设施元件的区域，诸如两个场景之间的重叠，并将所述区域简化到所述基础设施元件的在时间上最近捕捉的区域。

18.根据前述权利要求中任一项所述的方法，其特征在于，为了确保由所述接收器(2)确定的所述全球参考系中的所述一个或多个第一位置指示的质量，监控所述全球导航卫星系统的一个或多个质量参数，例如DOP(精度因子的缩写)。

19.根据前述权利要求中任一项所述的方法，其特征在于，优选地通过基于所述第一位置指示的时间序列确定第一速度指示以及基于所述被捕捉的线性加速度和被捕捉的角速度计算第二速度指示并与所述第一速度指示进行比较，从而确定所述捕捉设备(1)在所述全球参考系中的所述位置的所述第一位置指示的所述时间序列的似然性。

20.根据前述权利要求中任一项所述的方法，其特征在于，基于所述3D点云和/或基于所述图像数据，检测并分类至少一个基础设施元件，尤其是线路或连接元件。

21.根据权利要求20所述的方法，其特征在于，使用一种或多种图像分割方法进行对基础设施元件的检测、分类和/或分割，所述图像分割方法诸如阈值方法、特别是基于直方图的方法，或者面向纹理的方法、基于区域的方法，或者诸如支持向量机、决策树和神经网络的基于像素的方法。

22.根据权利要求20或21所述的方法，其特征在于，生成所述3D点云的多个点的颜色信息和/或灰度值信息、和/或饱和度值信息和/或亮度值信息和/或电磁波谱的至少一个直方图，以用于检测、分类和/或分割。

23.根据权利要求22所述的方法，其特征在于，在一个或多个直方图中检测局部最大值，并且在所述局部最大值当中，检测关于基础设施元件的预定义颜色阈值、饱和度阈值和亮度阈值具有最小间隔的最大值。

24.根据权利要求23所述的方法，其特征在于，针对一组点，所述一组点中的点关于由检测到的局部最大值组成的所述颜色信息不超过预定义的分离阈值，对所述一组点通过不超过关于所述组中的那些点的所定义的几何分离和颜色分离的其他点而迭代地扩展，以形成具有相似颜色信息的基础设施元件的局部连续区域。

25.根据权利要求20至24中任一项所述的方法，其特征在于，为了所述基础设施元件的所述检测、所述分类和/或所述分割和/或为了改进的距离测量和/或为了绝对取向的初始化，捕捉和/或在所述显示方向(8)上显示所述捕捉设备(1)的激光指示器(5)的光点。

26.根据权利要求20至25中任一项所述的方法，其特征在于，为了所述基础设施元件的所述检测、所述分类和/或所述分割，将所述被捕捉的图像数据的颜色信息或灰度值信息、特别是所述3D点云的所述点的颜色信息或灰度值信息，和/或所述被捕捉的深度数据和相关联的标签信息馈送给人工神经网络，以用于训练目的。

27.根据前述权利要求中任一项所述的方法，其特征在于，对于每个检测到的基础设施元件，特别是基于所述3D点云来生成相关联的3D对象。

28.根据前述权利要求中任一项所述的方法，其特征在于，识别两个3D对象之间的光学空位，并且生成连接3D对象、特别是作为3D样条的连接3D对象，以用于封闭所述光学空位。

29.根据权利要求28所述的方法，其特征在于，为了识别所述光学空位，确定第一3D对象的第一端的特征和第二3D对象的第二端的相同特征，其中将第一特征和第二特征相互比较，并且所述第一特征和所述第二特征是直径或颜色或取向或地理参考。

30.根据权利要求28所述的方法，其特征在于，所述移动式捕捉设备(1)被置于光学空位模式，并且从所述第一端向所述第二端移动。

31.根据前述权利要求中任一项所述的方法，其特征在于，所述移动式捕捉设备(1)包括用于语音控制的装置。

32.根据权利要求31所述的方法，其特征在于，通过所述用于语音控制的装置来实现输入请求和/或信息的声音输出、特别是反馈消息和/或警告。

33.根据权利要求31和32中任一项所述的方法，其特征在于，借助所述用于语音控制的装置来识别听觉信息，并且附加地基于所述听觉信息而将所述地理参考分配给所述3D点云的所述点。

34.根据前述权利要求中任一项所述的方法，其特征在于，借助所述移动式捕捉设备(1)的显示装置(8)来显示：

-所述3D点云的表示，和/或

-基于所述3D点云和所述一个或多个2D相机的所述图像数据生成的纹理网格模型，和/或

-对应于基础设施元件的3D对象，和/或

-2D位置图，和/或

-基础设施元件的部件列表，和/或

-所述捕捉设备的2D相机的图像数据以及与基础设施元件对应的一个或多个3D对象的投影的叠加，和/或

-所述捕捉设备的2D相机的图像数据与所述3D点云的多个点的投影的叠加。

35.一种移动式捕捉设备(1)，其用于在位置上正确地捕捉布置在地下的、特别是在露天挖掘中的暴露的基础设施元件，所述移动式捕捉设备包括：

-3D重建装置(4)，其用于捕捉包含布置在地下的至少一个暴露的基础设施元件的场景的图像数据和/或深度数据，并且用于基于这些图像数据和/或深度数据生成具有多个点的3D点云；

-一个或多个接收器(2)，其用于接收一个或多个全球导航卫星系统的信号，并用于确定所述捕捉设备(1)在全球参考系中的位置的第一位置指示；

-惯性测量单元(3)，其用于确定所述捕捉设备(1)在局部参考系中的位置的第二位置指示和所述捕捉设备(1)在所述局部参考系中的取向的取向指示，其中所述惯性测量单元(3)设计成捕捉所述移动式捕捉设备(1)在所述局部参考系的三个相互正交的主轴上的线性加速度和所述移动式捕捉设备(1)围绕这些主轴的旋转的角速度；

以及

其中所述3D重建装置(4)包括一个或多个2D相机，借助所述一个或多个2D相机能够捕捉所述场景的图像数据，其中能够基于所述图像数据、借助视觉里程计来确定所述捕捉设备在所述局部参考系中的所述位置的第二位置指示和所述取向指示；

以及

其中所述3D重建装置(4)包括LIDAR测量装置，借助所述LIDAR测量装置能够捕捉所述场景的深度数据，其中基于所述深度数据、借助视觉里程计来实现所述捕捉设备在所述局部参考系中的所述位置的第二位置指示和所述取向指示；

-其中所述捕捉设备配置成基于所述第一位置指示和多个所述第二位置指示以及多个所述取向指示，向所述3D点云中的所述点分配相应的地理参考；

36.根据权利要求35所述的移动捕获设备，其特征在于，将所述接收器(2)设计成优选地利用来自参考服务的校正数据、接收和处理一个或多个全球导航卫星系统和/或一个或多个陆基参考站的信号。

37.根据权利要求35和36中任一项所述的移动式捕捉设备，其特征在于，所述3D重建装置(4)包括：特别是具有一个或多个2D相机的，飞行时间相机、结构光相机、立体相机、LIDAR测量装置、RADAR测量装置和/或上述项彼此的组合。

38.根据权利要求35至37中任一项所述的移动式捕捉设备，其特征在于，用于显示显示数据的显示装置(8)和设计成提供显示数据的数据处理装置(6)，所述显示数据包括

-所述3D点云的表示，和/或

-对应于基础设施元件的3D对象，和/或

-2D位置图，和/或

-基础设施元件的部件列表，和/或

39.根据权利要求35至38中任一项所述的移动式捕捉设备，其特征在于包括激光指示器(5)，其用于光学标记基础设施元件和/或用于扩展距离测量和/或用于初始化在所述显示方向上的所述取向。

40.根据权利要求35至39中任一项所述的移动式捕捉设备，其特征在于包括偏振滤光器，其用于避免眩光、镜面反射和反射，以便提高观察数据的质量并优化所述观察数据。

41.根据权利要求35至40中任一项所述的移动式捕捉设备，其特征在于包括一个或多个照明装置，其用于基础设施元件的改进的检测、分类和/或分割。

42.根据权利要求35至41中任一项所述的移动式捕捉设备，其特征在于，所述移动式捕捉设备(1)包括用于语音控制的装置。

43.根据权利要求42所述的移动式捕捉设备，其特征在于，所述用于语音控制的装置设计成能够实现输入请求和/或信息的声音输出、特别是反馈消息和/或警告。

44.根据权利要求35至43中任一项所述的移动式捕捉设备，其特征在于，所述3D重建装置(4)的所述LIDAR测量装置配置为固态LIDAR。