CN110044964A - 基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法 - Google Patents

Abstract

本发明公开了一种基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，包括以下步骤：1）按照设定航线对建筑立面饰面层进行视频录制，获得建筑立面完整的红外热成像视频；2）形成饰面层脱粘缺陷语义分割数据集；3）基于Deeplab网络构建建筑外墙饰面脱粘缺陷识别语义分割网络，利用步骤2)中数据集训练得到饰面层脱粘缺陷红外图像语义分割模型，4）利用步骤3）中得到的语义分割模型对饰面层检测视频进行分析，分割提取脱粘缺陷形状；5）计算得到饰面层脱粘实际面积；6）对脱粘缺陷进行标记，形成建筑立面饰面层检测结果图。本发明操作简单，自动化程度高，实现对建筑饰面层脱粘缺陷的快速、高效、全覆盖检测；可保障公众安全。

Description

基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法

技术领域

本发明属于无人飞机热成像技术领域,具体是涉及一种基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法。

背景技术

饰面层广泛应用于建筑外墙，大量利用陶瓷、混凝土、薄石片等材料粘贴在建筑外墙表面形成装饰层。由于施工过程中可能存在的局部脱空、脱粘、材料强度达不到要求等问题，在雨水侵蚀、反复冻融、季节温差、昼夜温差等作用下，饰面层与建筑结构外墙之间容易发生脱粘，且随着时间的推移，脱粘面积会逐渐增大，在自重或风等外力作用下最终导致饰面层从主体结构上剥离、脱落。建筑外墙表面饰面层剥落可能造成车辆损毁、人员伤亡，严重威胁居民的生命财产安全。

传统饰面层脱粘缺陷检测手段主要有：目测法、锤击法、拉拔法以及手持或固定式红外热成像方法。目测、锤击、拉拔等方法需要搭设支架依靠人工攀爬检测，对于高层建筑搭设支架相当困难，利用蜘蛛人检测则费用巨大且检测人员安全无人得到保障。由于搭设支架耗费时间长，采用红外热成像扫描已成为目前唯一选择，但存在以下问题：

第一，由于红外热成像范围较小、像素分辨率低，固定或手持红外热成像设备对建筑外墙饰面砖脱粘缺陷测试在实际应用时需采用大仰角成像，精度无法保证。

第二，采用手持或固定式红外热成像的建筑饰面脱粘缺陷检测，无法对建筑立面进行无差别、全覆盖的扫描成像，检测的可靠性无法保证。

第三，固定或手持红外热成像设备无法对高层、异形建筑进行外墙饰面砖脱粘缺陷测试。

第四，红外热成像图像反应的是成像范围内温度场的差异，其像素对比度低、像素边缘不清晰，使用传统的图像处理方法难以准确、快速的进行缺陷提取识别。

因此，针对高发态势的建筑物外墙饰面层剥落造成人员伤亡、财产损失的情况，研究精度高、可靠性好、适用于各形式建筑物的外墙饰面层脱粘缺陷测试评定技术，对减少相关事故发生，保证人民生命财产安全具有重要意义。

发明内容

为了解决上述技术问题，本发明提供了一种操作简便、精确度高、适用范围广、能够保证人员财产安全的基于无人飞机红外热成像视频的建筑饰面层粘结缺陷识别方法。

本发明采用的技术方案是：一种基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，其实施装置包括激光测距仪、红外热成像相机、带航迹规划系统的多旋翼无人飞行器及云台；所述云台安装在多旋翼无人飞行器的飞机平台上，云台与多旋翼无人飞行器之间设有减震装置，云台上设有红外热成像相机，所述红外热成像相机上设有激光测距仪；红外热成像相机和激光测距仪能够将数据通过无线传输系统传回地面电脑；

包括以下步骤：

1)根据被检测建筑立面的尺寸信息对无人飞机设定检测飞行航线，按照设定航线对建筑立面饰面层进行视频录制，同时将激光测距仪的测距频率设置与红外热成像相机的帧率同步，获得一个建筑立面完整的红外热成像视频；

2)对建筑立面饰面层红外热成像进行测试，对录制的建筑饰面层红外成像视频按帧进行解压，对其中的脱粘缺陷图像利用Labelme工具制作人工标签，形成饰面层脱粘缺陷语义分割数据集；

3)基于Deeplab网络构建建筑外墙饰面脱粘缺陷识别语义分割网络，将饰面脱粘缺陷数据集在网络上进行训练，得到饰面层脱粘缺陷红外图像语义分割模型，作为饰面层脱粘缺陷检测的基准；

4)利用步骤3)中得到的语义分割模型对饰面层检测视频进行分析，分割提取脱粘缺陷形状，并计算脱粘缺陷像素面积；

5)结合同步帧率激光测距仪，根据光学成像换算，计算得到饰面层脱粘实际面积；

6)根据缺陷图像帧对应的航迹位置对脱粘缺陷进行标记，形成建筑立面饰面层检测结果图。

上述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤2)的具体操作如下：采用Labelme作为图像标记工具，对饰面层脱粘缺陷红外热成像图片进行人工标记，将脱粘缺陷标记为(R，G，B)＝(128，0，0)的红色区域，将背景标记为(R，G，B)＝(0，0，0)的黑色区域，制作饰面层脱粘缺陷红外热成像数据集；按照训练集：验证集＝4∶1的比例，将图像样本数据集分成训练集和验证集，训练集图像数量为800张，验证集图像数量为200张。

上述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤3)的具体操作如下：

a)红外图像特征提取

饰面层脱粘缺陷红外图像的特征提取是通过卷积过程将数据集图像中的低层次特征转化为高阶特征的过程，其中卷积公式为：

式中：为第l层的输出特征；M _ij为输入图像,为第l-1层特征；*为卷积运算；为第l层的卷积核；为偏置项；f()为非线性激活函数；i,j为计数参数。

b)空洞卷积扩大红外特征提取的感受野，其输出y[i]表示为：

其中：x[]表示输入特征；ω[k]是一个长度为k的卷积核；r是采样比，表示在一个卷积核的卷积操作中，被采样点之间的间隔，当r＝1时，空洞卷积和普通卷积操作相同，i,k为计算参数；

c)并联空洞卷积模块(ASPP)获得红外图像多尺度特征

在特征提取部分采用并联空洞卷积模块(ASPP)，ASPP利用扩张率分别为6、12、18的3×3空洞卷积和一个1×1的卷积对饰面层红外特征图并行采样，获得图像的多尺度特征，通过全局平均池化(GAP)实现图像级别的特征提取；

d)解码

将得到的全局特征经过一次1×1的卷积，输出特征图，经过双线性插值恢复到到原图像的大小，采用Concat算法与步骤c)中得到的多尺度特征图进行级联拼接(Concatenate)，形成最后预测结果；

e)采用多级交叉熵损失来计算脱粘缺陷输出预测图与脱粘缺陷标签之间的差异，交叉熵损失的计算公式为：

其中，表示分割网络输出结果中准确的将标签a分配给像素x的概率，表示监督学习的训练集的分类准确性的概率；M为一批尺寸，N表示掩膜的像素数，C表示数据集的类别号，a表示样本标签，x表示语义分割网络对原图像的分割结果，b为计数参数；

然后，在该框架下对数据集进行训练,得到图像掩模

其中是图像掩模，θ是分割模型的参数，a表示样本标签，M为批尺寸，使用反向传播学习和随机梯度下降来最小化损失，使用正向传播交叉熵来计算交叉熵损失l_s；在每次迭代中，从训练集中抽取一小批图像，通过公式(5)更新参数θ，直到达到设定条件停止计算，得到饰面层脱粘缺陷识别语义分割模型；

式中：τ为参数更新系数，为θ的偏导。

上述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤3)中，模型建立后对模型进行评估，采用交互比进行模型评估，交互比计算方法如下：

式中：TP是被模型预测为正的正样本，FP是被模型预测为正的负样本，FN是被模型预测为负的正样本；若IoU参数达标则完成了语义分割模型的训练，若达不到标准则调整训练参数，重新训练模型，直到IoU指标达到要求。

上述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤5)中，饰面层脱粘缺陷实际面积计算方法如下：

a)对饰面层红外检测视频的分割结果进行形态学提取，计算其像素面积S”；

b)根据语义分割模型自动判别的缺陷图像帧序号，得到其对应的激光测距仪的物距信息，其计算公式为：

J＝L*λ (7)

其中：J为像素解析度,即像素尺寸所代表的实际尺寸,L为物距，即激光测距仪与被测目标之间的距离；f为红外热成像相机镜头焦距,λ为空间分辨率；

c)饰面层脱粘缺陷实际面积计算

S＝J·S” (8)

将式(7)及脱粘缺陷像素面积S”代入式(8)，便可求得饰面层脱粘缺陷的实际面积。

与现有技术相比，本发明的有益效果如下：

(Ⅰ)本发明采用无人飞机载热成像仪对建筑的饰面层脱粘缺陷识进行采集，不受建筑物高度、形状限制，可实现超高层建筑、异形建筑的外墙脱粘缺陷测试。

(Ⅱ)本发明通过规划无人飞机飞行航迹拍摄视频，操作简单，自动化程度高，实现对建筑饰面层脱粘缺陷的快速、高效、全覆盖检测。

(Ⅲ)本发明通过视频解析得到饰面层红外图像，制作缺陷红外图像数据集，构建基于深度学习的语义分割网络，通过深度学习网络训练外墙饰面层脱粘缺陷模型，实现缺陷位置和面积大小的自动智能识别；可解决我国缺乏可行的建筑物外墙饰面层脱粘缺陷测试方法的问题。

(Ⅳ)本发明利用人工智能深度学习图像处理技术对所采集到的图像进行后处理，并根据激光测距仪的物距测量数据，精确计算出缺陷面积，大大提高了检测精度与智能化水平。

(Ⅴ)本发明的基于无人飞机的建筑物外墙饰面层脱粘缺陷测试评定模型一旦形成，可实现对城市街区建筑物外墙饰面层进行定期快速评定检测，对位于人流量较大区域的建筑物，经历极端恶劣天气之后的城市街区、已有剥落现象的老旧建筑可加大测试评定频率，可减少乃至避免相关事故发生，保障公众安全。

(Ⅵ)本发明能够快速、高效的对建筑饰面层脱粘缺陷进行识别，而且安全性高；

(Ⅶ)本发明彻底解决了建筑外墙饰面层脱粘缺陷检测问题，对老旧建筑的饰面脱粘预警以及维修加固提供了准确的数据，防范了脱粘缺陷的危险，能够保证人民群众的安全。

附图说明

图1为本发明的流程图。

图2为本发明的试试装置的飞行航迹规划路线图。

图3为本发明构建饰面脱粘缺陷数据集，获得饰面层缺陷自动分割提取模型的流程图。

图4为本发明基于Deeplab V3网络的饰面层脱粘缺陷模型训练过程图。

图中：1、激光测距仪2、红外热成像相机3、多旋翼无人飞机4、云台5、激光光线6、激光光点7、被测建筑立面饰面层8、无人飞机飞行航迹。

具体实施方式

下面结合附图对本发明作进一步的说明。

如图2所示，本发明的实施装置包括激光测距仪1、红外热成像相机2、带航迹规划系统的多旋翼无人飞行器3、云台4、所述多旋翼无人飞行器3的飞机平台上设有云台4，云台4与多旋翼无人飞行器3连接处设有减震装置，云台4上设有红外热成像相机2，所述红外热成像相机2上设有激光测距仪1。红外热成像相机和激光测距仪能够将数据通过无线传输系统传回地面电脑。

如图1所示，本发明包括如下步骤：

1)脱粘缺陷图像获取

根据被检测立面的尺寸信息规划无人飞机飞行航迹，无人飞机飞行航迹的设置包括飞行速度，飞行物距，以及航迹间距三个部分的设置。指令无人飞机沿设定航迹自动飞行并录制红外成像视频，将激光测距仪1的测距频率调整为与红外热成像相机2的帧率保持一致，并实时监控无人机与被测试建筑立面之间的距离AB，反馈至航迹规划系统，使其保持在设计物距下检测飞行。获得全覆盖的建筑立面饰面层热成像视频及其对应的实时激光测距信息，通过无线传输系统传回地面电脑软件，并自动保存起来。

2)饰面层缺陷识别模型构建

如图3所示，采用Labelme作为图像标记工具，对饰面层脱粘缺陷红外热成像图片进行人工标记，将脱粘缺陷标记为(R，G，B)＝(128，0，0)的红色区域，将背景标记为(R，G，B)＝(0，0，0)的黑色区域，共计2类，制作饰面层脱粘缺陷红外热成像数据集。按照训练集：验证集＝4∶1的比例，将图像样本数据集分成训练集和验证集，训练集图像数量为800张，验证集图像数量为200张。

3)利用Deeplab V3网络训练饰面层脱粘缺陷语义分割模型，其网络结构如图4所示，由特征提取与特征解码两个部分组成。特征提取时，以Resnet做为特征提取主干，为充分提取饰面层红外图像深层次特征，避免池化过程造成信息丢失，在block 4中使用rate＝2的空洞卷积进行特征提取。为获得饰面层红外图像的多尺度特征，提高对密集块的分割能力，采用不同采样率的空洞卷积并行架构即ASPP模块对feater map进行多尺度特征提取，对伪特征进行有效判断。通过级联输出与特征解码过程完成对饰面层脱粘缺陷图像的分割与预测。

其详细步骤如下:

a)红外图像特征卷积提取

饰面层脱粘缺陷红外图像的特征提取是通过卷积过程将数据集图像中的低层次特征转化为高阶特征的过程，其卷积公式为：

式中：为第l层的输出特征；M _ij为输入图像,为第l-1层特征；*为卷积运算；为第l层的卷积核；为偏置项；f()为非线性激活函数；i,j为计数参数。

b)空洞卷积扩大红外特征感受野

在卷积神经网络中通过增加步长或者池化的操作增大感受野，但会造成特征信息丢失。空洞卷积是一种特殊的卷积方式,其通过在卷积核中加入空洞，扩大了对特征的感受范围，最大化的保留了特征信息。其卷积过程与普通卷积相同，其输出y[i]可以表示为：

其中：x[]表示输入特征；ω[k]是一个长度为k的卷积核；r是采样比，表示在一个卷积核的卷积操作中，被采样点之间的间隔，当r＝1时，空洞卷积和普通卷积操作相同，i,k为计算参数。

c)ASPP获得红外图像多尺度特征

为了进一步提高网络对不同尺寸目标的识别能力，在特征提取部分采并联空洞卷积模块(ASPP)。ASPP架构利用扩张率分别为6、12、18的3×3空洞卷积和一个1×1的卷积对饰面层红外特征图并行采样，获得图像的多尺度特征，最后通过全局平均池化(GAP)实现图像级别的特征提取。

d)解码

将步骤c)得到的全局特征经过一次1*1的卷积，输出为256通道的特征图，经过双线性插值恢复到到原图像的大小，采用Concat算法与步骤c)中得到的多尺度特征图进行级联拼接(Concatenate)，形成预测结果。

e)采用多级交叉熵损失来计算脱粘缺陷输出预测图与脱粘缺陷标签之间的差异，交叉熵损失的计算公式为：

其中，表示分割网络输出结果中准确的将标签a分配给像素x的概率，表示监督学习的训练集的分类准确性的概率；M为一批尺寸，N表示掩膜的像素数，C表示数据集的类别号，a表示样本标签，x表示语义分割网络对原图像的分割结果，b为计数参数；

然后，在该框架下对数据集进行训练,得到图像掩模

其中是图像掩模，θ是分割模型的参数，a表示样本标签，M为批尺寸，使用反向传播学习和随机梯度下降来最小化损失，使用正向传播交叉熵来计算交叉熵损失l_s；在每次迭代中，从训练集中抽取一小批图像，通过公式(5)更新参数θ，直到达到设定条件停止计算，得到饰面层脱粘缺陷识别语义分割模型；

式中：τ为参数更新系数，为θ的偏导。

f)采用交互比进行模型评估，交互比的计算公式如下：

其中：TP是被模型预测为正的正样本，FP是被模型预测为正的负样本，FN是被模型预测为负的正样本。若IoU参数达标则完成了语义分割模型的训练，若达不到标准则调整训练参数，重新训练模型，直到IoU指标达到要求。

4)将建筑饰面红外测试视频按帧进行解析，输入到训练好的语义分割模型中，自动判断并分割脱粘缺陷图像。

5)饰面层脱粘缺陷实际面积计算，具体操作如下：

a)对饰面层红外检测视频的分割结果进行形态学提取，并计算其像素面积S”；

b)根据语义分割模型自动判别的缺陷图像帧序号，得到其对应的激光测距仪的物距信息，并计算

J＝L*λ (7)

其中：J为像素解析度,即像素尺寸所代表的实际尺寸,L为物距，即激光测距仪与被测目标之间的距离；f为红外热成像相机镜头焦距,λ为空间分辨率；

c)饰面层脱粘缺陷实际面积计算

S＝J·S” (8)

将式(7)及脱粘缺陷像素面积S”，等代入式(8)，便可求得饰面层脱粘缺陷的实际面积。

6)根据缺陷图像帧对应的航迹位置对脱粘缺陷进行标记，形成建筑立面饰面层检测结果图。

Claims (5)

1.一种基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，其实施装置包括激光测距仪、红外热成像相机、带航迹规划系统的多旋翼无人飞行器及云台；所述云台安装在多旋翼无人飞行器的飞机平台上，云台与多旋翼无人飞行器之间设有减震装置，云台上设有红外热成像相机，所述红外热成像相机上设有激光测距仪；红外热成像相机和激光测距仪能够将数据通过无线传输系统传回地面电脑；

包括以下步骤：

1)根据被检测建筑立面的尺寸信息对无人飞机设定检测飞行航线，按照设定航线对建筑立面饰面层进行视频录制，同时将激光测距仪的测距频率设置与红外热成像相机的帧率同步，获得一个建筑立面完整的红外热成像视频；

2)对录制的建筑饰面层红外成像视频按帧进行解压，对其中的脱粘缺陷图像利用Labelme工具制作人工标签，形成饰面层脱粘缺陷语义分割数据集；

3)基于Deeplab网络构建建筑外墙饰面脱粘缺陷识别语义分割网络，将饰面脱粘缺陷数据集在网络上进行训练，得到饰面层脱粘缺陷红外图像语义分割模型，作为饰面层脱粘缺陷检测的基准；

4)利用步骤3)中得到的语义分割模型对饰面层检测视频进行分析，分割提取脱粘缺陷形状，并计算脱粘缺陷像素面积；

5)结合同步帧率激光测距仪，根据光学成像换算，计算得到饰面层脱粘实际面积；

6)根据缺陷图像帧对应的航迹位置对脱粘缺陷进行标记，形成建筑立面饰面层检测结果图。

2.根据权利要求1所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，步骤2)的具体操作如下：采用Labelme作为图像标记工具，对饰面层脱粘缺陷红外热成像图片进行人工标记，将脱粘缺陷标记为(R，G，B)＝(128，0，0)的红色区域，将背景标记为(R，G，B)＝(0，0，0)的黑色区域，制作饰面层脱粘缺陷红外热成像数据集；按照训练集：验证集＝4∶1的比例，将图像样本数据集分成训练集和验证集，训练集图像数量为800张，验证集图像数量为200张。

3.根据权利要求1所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法，步骤3)的具体操作如下：

a)红外图像特征提取

饰面层脱粘缺陷红外图像的特征提取是通过卷积过程将数据集图像中的低层次特征转化为高阶特征的过程，其中卷积公式为：

式中：为第l层的输出特征；M_ij为输入图像,为第l-1层特征；*为卷积运算；为第l层的卷积核；为偏置项；f()为非线性激活函数；i,j为计数参数；

b)空洞卷积扩大红外特征提取的感受野，其输出y[i]表示为：

其中：x[]表示输入特征；ω[k]是一个长度为k的卷积核；r是采样比，表示在一个卷积核的卷积操作中，被采样点之间的间隔，当r＝1时，空洞卷积和普通卷积操作相同，i,k为计算参数；

c)并联空洞卷积模块获得红外图像多尺度特征

在特征提取部分采用并联空洞卷积模块，并联空洞卷积模块利用扩张率分别为6、12、18的3×3空洞卷积和一个1×1的卷积对饰面层红外特征图并行采样，获得图像的多尺度特征，通过全局平均池化实现图像级别的特征提取；

d)解码

将得到的全局特征经过一次1×1的卷积，输出特征图，经过双线性插值恢复到到原图像的大小，采用Concat算法与步骤c)中得到的多尺度特征图进行级联拼接，形成最后预测结果；

e)采用多级交叉熵损失来计算脱粘缺陷输出预测图与脱粘缺陷标签之间的差异，交叉熵损失的计算公式为：

其中，表示分割网络输出结果中准确的将标签a分配给像素x的概率，表示监督学习的训练集的分类准确性的概率；M为一批尺寸，N表示掩膜的像素数，C表示数据集的类别号，a表示样本标签，x表示语义分割网络对原图像的分割结果，b为计数参数；

然后，在该框架下对数据集进行训练,得到图像掩模

其中是图像掩模，θ是分割模型的参数，a表示样本标签，M为批尺寸，使用反向传播学习和随机梯度下降来最小化损失，使用正向传播交叉熵来计算交叉熵损失l_s；在每次迭代中，从训练集中抽取一小批图像，通过公式(5)更新参数θ，直到达到设定条件停止计算，得到饰面层脱粘缺陷识别语义分割模型；

式中：τ为参数更新系数，为θ的偏导。

4.根据权利要求3所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤3)中，模型建立后对模型进行评估，采用交互比进行模型评估，交互比计算方法如下：

式中：TP是被模型预测为正的正样本，FP是被模型预测为正的负样本，FN是被模型预测为负的正样本；若IoU参数达标则完成了语义分割模型的训练，若达不到标准则调整训练参数，重新训练模型，直到IoU指标达到要求。

5.根据权利要求1、2或3所述的基于无人飞机热成像视频的建筑饰面层脱粘缺陷识别方法中，步骤5)中，饰面层脱粘缺陷实际面积计算方法如下：

a)对饰面层红外检测视频的分割结果进行形态学提取，计算其像素面积S”；

b)根据语义分割模型自动判别的缺陷图像帧序号，得到其对应的激光测距仪的物距信息，其计算公式为：

J＝L*λ (7)

其中：J为像素解析度,即像素尺寸所代表的实际尺寸,L为物距，即激光测距仪与被测目标之间的距离；f为红外热成像相机镜头焦距,λ为空间分辨率；

c)饰面层脱粘缺陷实际面积计算

S＝J·S” (8)

将式(7)及脱粘缺陷像素面积S”代入式(8)，便可求得饰面层脱粘缺陷的实际面积。