CN119044993B

CN119044993B - 一种基于数字孪生的建筑群外表面空鼓定位方法及系统

Info

Publication number: CN119044993B
Application number: CN202411160433.3A
Authority: CN
Inventors: 田源; 刘思梦; 许镇; 刘俊荣; 顾栋炼; 岳清瑞; 陆新征
Original assignee: Tsinghua University; University of Science and Technology Beijing USTB
Current assignee: Tsinghua University; University of Science and Technology Beijing USTB
Priority date: 2024-08-22
Filing date: 2024-08-22
Publication date: 2025-07-22
Anticipated expiration: 2044-08-22
Also published as: CN119044993A

Abstract

本发明涉及土木工程结构健康监测技术领域，特别是指一种基于数字孪生的建筑群外表面空鼓定位方法及系统。所述方法包括：无人机搭载激光雷达；通过激光雷达采集三维点云数据，获得无人机航线；无人机搭载红外相机；根据无人机航线，通过红外相机进行拍摄，获得红外图像数据以及红外图像对应的可见光图像；基于图像融合技术以及机器学习技术，根据红外图像对应的可见光图像和无人机航线，获得拍摄位置信息；基于预设的拍摄范围阈值进行虚拟航拍，获得虚拟航拍空鼓图像；根据可见光图像以及虚拟航拍空鼓图像进行特征对比，获得空鼓真实坐标。本发明是一种基于数字孪生技术的效率高、精确度好的空鼓定位方法。

Description

一种基于数字孪生的建筑群外表面空鼓定位方法及系统

技术领域

本发明涉及土木工程结构健康监测技术领域，特别是指一种基于数字孪生的建筑群外表面空鼓定位方法及系统。

背景技术

建筑外表面空鼓的识别与定位是土木工程结构健康监测的关键环节。空鼓作为建筑结构中的常见问题，其存在可能导致结构强度下降、耐久性降低、防水和热绝缘性能变差等影响，严重可能引发安全事故。近年来，采用无人机搭载红外相机对建筑外表面缺陷进行识别和定位的方法逐渐流行开来。然而，目前对于建筑外表面空鼓检测研究仅停留在无人机搭载红外相机拍摄得到建筑空鼓的大致位置与模糊边缘，难以精准获得空鼓的识别与定位信息，无法彻底解决建筑空鼓对结构的危害问题。

采用数字孪生技术用无人机搭载激光雷达获得建筑三维点云模型，为后续航线规划和虚拟航拍奠定基础。为解决传统方法拍摄到空鼓图像的边缘模糊问题，采用边缘检测算法或机器学习等方法完成对空鼓边缘的精准识别。为解决空鼓的精准定位问题，通过虚拟航拍的方法在点云模型附近按照一定规则遍历不同位置与拍摄角度得到多组照片，并将其与红外相机采集原始可见光图像进行特征比对，实现空鼓的精准定位。

发明内容

为了解决现有技术存在的无人机搭载红外相机拍摄得到建筑空鼓的大致位置与模糊边缘，难以精准获得空鼓的识别与定位信息，无法彻底解决建筑空鼓对结构的危害的技术问题，本发明实施例提供了一种基于数字孪生的建筑群外表面空鼓定位方法及系统。所述技术方案如下：

一方面，提供了一种基于数字孪生的建筑群外表面空鼓定位方法，该方法由空鼓定位设备实现，该方法包括：

无人机搭载激光雷达；通过所述激光雷达采集三维点云数据以及可见光图像；根据所述三维点云数据以及可见光图像构建三维点云模型；根据所述三维点云模型进行航线规划，获得无人机航线；

无人机搭载红外相机；根据所述无人机航线，通过所述红外相机进行拍摄，获得红外图像数据；

基于图像融合技术以及机器学习技术，根据所述红外图像、所述可见光图像和所述无人机航线，获得拍摄位置信息；

基于预设的拍摄范围阈值，根据所述可见光图像以及所述拍摄位置信息，对所述三维点云模型进行虚拟航拍，获得虚拟航拍空鼓图像；

根据所述可见光图像以及所述虚拟航拍空鼓图像进行特征对比，获得空鼓真实坐标。

另一方面，提供了一种基于数字孪生的建筑群外表面空鼓定位系统，该系统应用于基于数字孪生的建筑群外表面空鼓定位方法，该系统包括无人机、激光雷达、红外相机和电子设备，其中：

所述无人机，用于无人机搭载激光雷达；无人机搭载红外相机；

所述激光雷达，用于通过所述激光雷达采集三维点云数据以及可见光图像；

所述红外相机，用于根据所述无人机航线，通过所述红外相机进行拍摄，获得红外图像数据；

所述电子设备，用于根据所述三维点云数据以及可见光图像构建三维点云模型；根据所述三维点云模型进行航线规划，获得无人机航线；基于图像融合技术以及机器学习技术，根据所述红外图像、所述可见光图像和所述无人机航线，获得拍摄位置信息；基于预设的拍摄范围阈值，根据所述可见光图像以及所述拍摄位置信息，对所述三维点云模型进行虚拟航拍，获得虚拟航拍空鼓图像；根据所述可见光图像以及所述虚拟航拍空鼓图像进行特征对比，获得空鼓真实坐标。

另一方面，提供一种空鼓定位设备，所述空鼓定位设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述基于数字孪生的建筑群外表面空鼓定位方法中的任一项方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于数字孪生的建筑群外表面空鼓定位方法中的任一项方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明提出一种基于数字孪生的建筑群外观空鼓定位方法，采用无人机搭载激光雷达获得建筑三维点云模型，为后续航线规划和虚拟航拍奠定基础。为解决传统方法拍摄到空鼓图像的边缘模糊问题，采用边缘检测算法或机器学习等方法完成对空鼓边缘的精准识别。为解决空鼓的精准定位问题，通过虚拟航拍的方法在点云模型附近按照一定规则遍历不同位置与拍摄角度得到多组照片，并将其与红外相机采集原始可见光图像进行特征比对从而实现空鼓的精准定位。本发明通过数字孪生技术和虚拟航拍解决空鼓的定位问题，通过边缘检测或机器学习技术解决空鼓的识别问题，能够为大场景建筑群外表面空鼓健康监测问题提供科学、合理的方法。本发明是一种基于数字孪生技术的效率高、精确度好的空鼓定位方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于数字孪生的建筑群外表面空鼓定位方法流程图；

图2是本发明实施例提供的一种基于数字孪生的建筑群外表面空鼓定位系统框图；

图3是本发明实施例提供的一种空鼓定位设备的结构示意图。

具体实施方式

下面结合附图，对本发明中的技术方案进行描述。

在本发明实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。此外，在本发明实施例中，“和/或”所表达的含义可以是两者都有，或者可以是两者任选其一。

本发明实施例中，“图像”，“图片”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。“的(of)”，“相应的（corresponding，relevant）”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

本发明实施例中，有时候下标如W₁可能会写为非下标的形式如W1，在不强调其区别时，其所要表达的含义是一致的。

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种基于数字孪生的建筑群外表面空鼓定位方法，该方法可以由空鼓定位设备实现，该空鼓定位设备可以是终端或服务器。如图1所示的基于数字孪生的建筑群外表面空鼓定位方法流程图，该方法的处理流程可以包括如下的步骤：

S1、无人机搭载激光雷达；通过激光雷达采集三维点云数据以及可见光图像；根据三维点云数据以及可见光图像构建三维点云模型；根据三维点云模型进行航线规划，获得无人机航线。

一种可行的实施方式中，本发明所采用的无人机云台在俯仰和平移之间包含一定范围的转动角度。其中，规定俯仰转动角度为-120°至+30°，平移角度为±90°。

本发明采用的激光雷达是大疆的机载高精度测绘激光雷达禅思L2，该激光雷达为集成框幅式激光雷达，具备高精度自研惯导和4/3CMOS可见光测绘相机。

激光雷达采用重复扫描模式，重复扫描模式下激光雷达传感器在水平视场和垂直视场上能够覆盖一定的空间范围。重复扫描激光雷达传感器覆盖的空间范围为水平视场±70°，垂直视场±75°。

根据点云模型规划无人机航线包括考虑无人机的导航算法和实时监控功能，合理规划飞行路径、自主规避障碍物及优化飞行效率等问题。

其中，三维点云模型包括激光雷达到达建筑群外表面的直线距离以及建筑群外表面点的坐标信息；

坐标信息包括建筑群外表面点的三维坐标、时间戳和RGB颜色值；

一种可行的实施方式中，激光雷达采集建筑点云信息及可见光图像，生成一个带实际纹理的点云模型。

其中，无人机航线包括折线型航线、环绕型航线和直线型航线。

一种可行的实施方式中，无人机航线规划包括但不限于折线形航线、环绕型航线、直线型航线等，可根据建筑外表面实际情况合理规划选择不同航线模式。

S2、无人机搭载红外相机；根据无人机航线，通过红外相机进行拍摄，获得红外图像数据。

一种可行的实施方式中，本发明所采用的红外相机在拍摄时红外相机中包含变焦镜头、广角镜头、激光测距功能及热成像功能，并通过调整焦距、视场角等参数将红外图像和可见光图像调整至相同的覆盖范围。

S3、基于图像融合技术以及机器学习技术，根据红外图像、可见光图像和无人机航线，获得拍摄位置信息。

根据红外图像以及可见光图像，获得红外图像的对应可见光图像；

基于空鼓温度特征，对红外图像进行图像分割，获得温度异常区域图像；将温度异常区域图像确定为第一处理图像；

使用预设的边缘检测算法，对第一处理图像进行空鼓红外图像的像素强度分析，获得定位空鼓存在区域图像；将定位空鼓存在区域图像确定为第二处理图像；

将对应可见光图像进行墙体提取；将墙体提取后的对应可见光图像扣除门窗洞口部分，获得第三处理图像；

采用图像融合技术，对第一处理图像、第二处理图像和第三处理图像进行图像融合，获得融合图像；

根据融合图像，采用机器学习技术学习融合图像中空鼓图像的层次结构特征；

基于层次结构特征，对融合图像中存在空鼓的区域进行目标检测，获得最终空鼓轮廓图像；

基于红外图像以及对应可见光图像，根据无人机航线以及最终空鼓轮廓图像进行拍摄位置计算，得到无人机的拍摄位置信息。

一种可行的实施方式中，由于建筑外表面空鼓区域与周围结构材料的热传导性能不同，会产生微小的温度差异，空鼓可通过红外图像显示出来。

在图像融合过程中，根据红外图像分割出温度异常区域，获得第一处理图像；其次利用边缘检测算法通过分析空鼓红外图像中像素强度的变化来识别和定位空鼓在红外图像中的边界信息，获得第二处理图像；再采用可视化图像提取扣除门窗洞口的墙体部分获得第三处理图像。采用图像融合技术，对所述第一处理图像、第二处理图像、第三处理图像进行图像融合，获得融合图像。

融合后将图像作为机器学习的图像输入，机器学习将从大量带有空鼓的融合图像中学习图像的层次结构特征，并对新输入的融合图像中存在空鼓的区域进行语义分割或目标检测，得到空鼓图像的边界信息并识别出最终的空鼓轮廓，其中边界信息应包含每个像素点的边缘强度、边缘方向及包含像素坐标的边缘位置等。

图像的层次结构特征指的是在图像中不同级别上的特征表示，这些特征可以反映出图像内容的不同层次的信息。图片的层次结构特征可以分为：底层特征，底层特征是图像的初始和基础特征，通常包括颜色、纹理、边缘、轮廓和形状等；中间层特征，位于底层特征之上，可以包括某些对象的部分属性特征，如对象在某一时刻的状态；高层特征，高层特征位于层次结构的顶端，通常包含丰富的语义信息，能够反映出图像中更为复杂和抽象的概念。

根据规划航线计算拍摄该图像时对应的无人机理想坐标，应确保每张照片的拍摄时间与无人机的飞行数据同步，根据所拍摄的红外图像和可见光图像的GPS信息得到拍摄该图像时对应的无人机理想经纬度坐标及拍摄高度等信息。

本发明采用的图像分割方法包括但不限于基于小波分析和小波变换的图像分割方法、基于遗传算法的图像分割方法、基于主动轮廓模型的分割方法等；边缘检测方法包括但不限于Canny边缘检测器、索贝尔边缘检测算法、普雷维特边缘检测算法等；可视化图像提取方法包括但不限于基于Python中Opencv库提供的Hog算法等。机器学习方法包括但不限于一种用于目检检测算法（You Only Look Once，YOLO）、快速区域卷积神经网络（FastRegion-based Convolutional Neural Network，Fast R-CNN）、掩码区域卷积神经网络（Mask Region-based Convolutional Neural Network，Mask R-CNN）等。

S4、基于预设的拍摄范围阈值，根据可见光图像以及拍摄位置信息，对三维点云模型进行虚拟航拍，获得虚拟航拍空鼓图像。

可选地，基于预设的拍摄范围阈值，根据可见光图像以及拍摄位置信息，对三维点云模型进行虚拟航拍，获得虚拟航拍空鼓图像，包括：

根据拍摄位置信息，在三维点云模型中检索对应的无人机坐标；

基于预设的拍摄范围阈值，根据无人机坐标向周围延伸进行计算，得到无人机拍摄范围；

基于无人机拍摄范围，根据可见光图像，对三维点云模型对应的可见光图像遍历多个固定角度进行虚拟航拍，获得虚拟航拍空鼓图像。

一种可行的实施方式中，本发明采用虚拟航拍的方法，回到三维点云模型空鼓图像所对应的理想无人机坐标处，向四周延伸一定预设的拍摄范围阈值，在阈值范围内按照一定间距遍历理想无人机坐标周围的各个位置，再设置相机一定范围的旋转角度，按照固定的角度依次遍历多个拍摄角度，以多方位、多角度的规则依次遍历并采集在虚拟航拍下的多组可见光图像。

在理想的无人机坐标向外延伸5cm空间范围按照1cm为单位依次遍历无人机坐标周围的前、后、左、右、上、下各个位置，完成后依次按上述步骤递增至5cm。

分别设定0°至60°范围内的多种镜头角度，按照固定10°的旋转角度依次按上述遍历规则从0°遍历到60°，由此得到虚拟航拍下多方位、多角度的多组可见光图像；

其中，虚拟航拍的镜头参数与红外相机的镜头参数一致；镜头参数包括焦距、光圈和视场角。

一种可行的实施方式中，在虚拟航拍下镜头的参数要与实际镜头参数保持一致，包括焦距、光圈、视场角等参数，另外光照和阴影模拟及后期处理的色彩校正、对比度调整等参数，需最大程度的实现虚拟航拍视角与实际红外相机航拍视角在视觉上保持一致。

S5、根据可见光图像以及虚拟航拍空鼓图像进行特征对比，获得空鼓真实坐标。

可选地，根据可见光图像以及虚拟航拍空鼓图像，使用预设的图像匹配算法进行特征对比，获得空鼓真实坐标，包括：

对可见光图像进行特征提取，获得可见光图像特征；

对虚拟航拍空鼓图像进行特征提取，获得虚拟航拍图像特征；

根据可见光图像特征以及虚拟航拍图像特征，通过预设的图像匹配算法进行匹配，获得图像特征匹配结果；

根据图像特征匹配结果，在可见光图像中进行检索，获得相似度最高的匹配图片；

提取匹配图片中的位置信息，获得空鼓真实坐标。

一种可行的实施方式中，将虚拟航拍得到的多组可见光图像与实际无人机搭载红外相机拍摄的红外图像对应的可见光图像进行特征比对，得到每张虚拟航拍图像与红外相机拍摄的空鼓可见光图像的相似度最高的虚拟航拍图片，通过虚拟航拍图片信息得到该图片对应的虚拟航拍坐标。

图像匹配算法包括但不限于运用基于特征提取和匹配的尺度不变特征变换算法（Scale-Invariant Feature Transform，SIFT）、加速稳健特征算法（Speeded Up RobustFeatures，SURF）、定向FAST和旋转BRIEF算法（Oriented FAST and Rotated BRIEF，ORB），或基于Opencv库的直方图比较算法、像素比较算法等。

图2是根据一示例性实施例示出的一种基于数字孪生的建筑群外表面空鼓定位系统框图，该系统用于基于数字孪生的建筑群外表面空鼓定位方法。参照图2，该系统包括无人机210、激光雷达220、红外相机230以及电子设备240，其中：

无人机210，用于无人机搭载激光雷达；无人机搭载红外相机；

激光雷达220，用于通过激光雷达采集三维点云数据以及可见光图像；；

红外相机230，用于根据无人机航线，通过红外相机进行拍摄，获得红外图像数据；

电子设备240，用于根据三维点云数据以及可见光图像构建三维点云模型；根据三维点云模型进行航线规划，获得无人机航线；基于图像融合技术以及机器学习技术，根据红外图像、可见光图像和无人机航线，获得拍摄位置信息；基于预设的拍摄范围阈值，根据可见光图像以及拍摄位置信息，对三维点云模型进行虚拟航拍，获得虚拟航拍空鼓图像；根据可见光图像以及虚拟航拍空鼓图像进行特征对比，获得空鼓真实坐标。

坐标信息包括建筑群外表面点的三维坐标、时间戳和RGB颜色值。

可选地，电子设备240，进一步用于：

对可见光图像进行特征提取，获得可见光图像特征；

提取匹配图片中的位置信息，获得空鼓真实坐标。

图3是本发明实施例提供的一种空鼓定位设备的结构示意图，如图3所示，空鼓定位设备可以包括上述图2所示的基于数字孪生的建筑群外表面空鼓定位系统。可选地，空鼓定位设备310可以包括第一处理器2001。

可选地，空鼓定位设备310还可以包括存储器2002和收发器2003。

其中，第一处理器2001与存储器2002以及收发器2003，如可以通过通信总线连接。

下面结合图3对空鼓定位设备310的各个构成部件进行具体的介绍：

其中，第一处理器2001是空鼓定位设备310的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，第一处理器2001是一个或多个中央处理器（centralprocessing unit，CPU），也可以是特定集成电路（application specific integratedcircuit，ASIC），或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器（digital signal processor，DSP），或，一个或者多个现场可编程门阵列（field programmable gate array，FPGA）。

可选地，第一处理器2001可以通过运行或执行存储在存储器2002内的软件程序，以及调用存储在存储器2002内的数据，执行空鼓定位设备310的各种功能。

在具体的实现中，作为一种实施例，第一处理器2001可以包括一个或多个CPU，例如图3中所示出的CPU0和CPU1。

在具体实现中，作为一种实施例，空鼓定位设备310也可以包括多个处理器，例如图3中所示的第一处理器2001和第二处理器2004。这些处理器中的每一个可以是一个单核处理器（single-CPU），也可以是一个多核处理器（multi-CPU）。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

其中，所述存储器2002用于存储执行本发明方案的软件程序，并由第一处理器2001来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。

可选地，存储器2002可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器2002可以和第一处理器2001集成在一起，也可以独立存在，并通过空鼓定位设备310的接口电路（图3中未示出）与第一处理器2001耦合，本发明实施例对此不作具体限定。

收发器2003，用于与网络设备通信，或者与终端设备通信。

可选地，收发器2003可以包括接收器和发送器（图3中未单独示出）。其中，接收器用于实现接收功能，发送器用于实现发送功能。

可选地，收发器2003可以和第一处理器2001集成在一起，也可以独立存在，并通过空鼓定位设备310的接口电路（图3中未示出）与第一处理器2001耦合，本发明实施例对此不作具体限定。

需要说明的是，图3中示出的空鼓定位设备310的结构并不构成对该路由器的限定，实际的知识结构识别设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，空鼓定位设备310的技术效果可以参考上述方法实施例所述的基于数字孪生的建筑群外表面空鼓定位方法的技术效果，此处不再赘述。

应理解，在本发明实施例中的第一处理器2001可以是中央处理单元（centralprocessing unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（digitalsignal processor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本发明实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random accessmemory，RAM）可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。

上述实施例，可以全部或部分地通过软件、硬件（如电路）、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种基于数字孪生的建筑群外表面空鼓定位方法，其特征在于，所述方法包括：

其中，所述基于图像融合技术以及机器学习技术，根据所述红外图像、所述可见光图像和所述无人机航线，获得拍摄位置信息，包括：

根据所述红外图像以及所述可见光图像，获得所述红外图像的对应可见光图像；

基于空鼓温度特征，对所述红外图像进行图像分割，获得温度异常区域图像；将所述温度异常区域图像确定为第一处理图像；

使用预设的边缘检测算法，对所述第一处理图像进行空鼓红外图像的像素强度分析，获得定位空鼓存在区域图像；将所述定位空鼓存在区域图像确定为第二处理图像；

将所述对应可见光图像进行墙体提取；将墙体提取后的对应可见光图像扣除门窗洞口部分，获得第三处理图像；

采用图像融合技术，对所述第一处理图像、第二处理图像和第三处理图像进行图像融合，获得融合图像；

根据所述融合图像，采用机器学习技术学习所述融合图像中空鼓图像的层次结构特征；

基于所述层次结构特征，对所述融合图像中存在空鼓的区域进行目标检测，获得最终空鼓轮廓图像；

基于所述红外图像以及所述对应可见光图像，根据所述无人机航线以及所述最终空鼓轮廓图像进行拍摄位置计算，得到无人机的拍摄位置信息；

2.根据权利要求1所述的基于数字孪生的建筑群外表面空鼓定位方法，其特征在于，所述三维点云模型包括激光雷达到达建筑群外表面的直线距离以及建筑群外表面点的坐标信息；

所述坐标信息包括建筑群外表面点的三维坐标、时间戳和RGB颜色值。

3.根据权利要求1所述的基于数字孪生的建筑群外表面空鼓定位方法，其特征在于，所述无人机航线包括折线型航线、环绕型航线和直线型航线。

4.根据权利要求1所述的基于数字孪生的建筑群外表面空鼓定位方法，其特征在于，所述基于预设的拍摄范围阈值，根据所述可见光图像以及所述拍摄位置信息，对所述三维点云模型进行虚拟航拍，获得虚拟航拍空鼓图像，包括：

根据所述拍摄位置信息，在所述三维点云模型中检索对应的无人机坐标；

基于预设的拍摄范围阈值，根据所述无人机坐标向周围延伸进行计算，得到无人机拍摄范围；

基于所述无人机拍摄范围，根据所述可见光图像，对所述三维点云模型对应的可见光图像遍历多个固定角度进行虚拟航拍，获得虚拟航拍空鼓图像。

5.根据权利要求4所述的基于数字孪生的建筑群外表面空鼓定位方法，其特征在于，所述虚拟航拍的镜头参数与红外相机的镜头参数一致；所述镜头参数包括焦距、光圈和视场角。

6.根据权利要求1所述的基于数字孪生的建筑群外表面空鼓定位方法，其特征在于，所述根据所述可见光图像以及所述虚拟航拍空鼓图像，使用预设的图像匹配算法进行特征对比，获得空鼓真实坐标，包括：

对所述可见光图像进行特征提取，获得可见光图像特征；

对所述虚拟航拍空鼓图像进行特征提取，获得虚拟航拍图像特征；

根据所述可见光图像特征以及所述虚拟航拍图像特征，通过预设的图像匹配算法进行匹配，获得图像特征匹配结果；

根据所述图像特征匹配结果，在可见光图像中进行检索，获得相似度最高的匹配图片；

提取所述匹配图片中的位置信息，获得空鼓真实坐标。

7.一种基于数字孪生的建筑群外表面空鼓定位系统，所述基于数字孪生的建筑群外表面空鼓定位系统用于实现如权利要求1-6任一项所述基于数字孪生的建筑群外表面空鼓定位方法，其特征在于，所述系统包括无人机、激光雷达、红外相机和电子设备，其中：

8.一种空鼓定位设备，其特征在于，所述空鼓定位设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至6中任一项所述的方法。

9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至6任一项所述的方法。