CN112330593A - 基于深度学习网络的建筑物表面裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习网络的建筑物表面裂缝检测方法，包括以下步骤：创建网络训练数据集；构建深度学习网络模型，并进行训练；使用训练好的深度学习网络模型检测图像，并输出预测标签图像；对含有裂缝的预测标签图像进行基于裂缝特征的分析与检测；裂缝参数计算与输出，包括每条裂缝的坐标信息、及其长度与宽度。与传统的裂缝检测方法对比，本发明结合全卷积网络与残差网络的思想，构建了用于裂缝检测的深度学习网络，可以任意尺寸的彩色图像为输入，实现了端到端的检测，模型具有较高的检测准确率与较强的泛化能力；此外，基于特征对裂缝进行了连接处理，进而计算其长度和宽度，为裂缝的定量评估提供了有力的手段。

Description

基于深度学习网络的建筑物表面裂缝检测方法

技术领域

本发明属于工程缺陷检测领域，具体涉及一种基于深度学习网络的建筑物表面裂缝检测方法。

背景技术

公路、桥梁、坝体、高楼等建筑的定期检测与维护，是保证其安全运行的重要前提和保障。裂缝缺陷检测是其中的一个重要项目。但目前人工检测存在效率低、数据统计不全、检测者安全保障难度高等问题，因此急需自动化手段来实现裂缝缺陷的巡检。无人机、机器人等设备携带图像获取装置，为自动化数据采集提供了先进的手段，因而所采集图像的自动检测算法就成为系统的瓶颈，对整个检测过程的自动化程度、精度都有至关重要的影响。

发明专利201810038939.5公开了一种基于深度学习的隧道裂缝快速识别方法，该方法基于CNN网络模型实现裂缝检测，要求输入图像大小一致，无法实现端到端的检测；此外，该方法未对检测结果中裂缝断裂的问题做优化处理，无法进行有效准确的计算。

发明专利201911371906.3公开了一种基于图像处理的裂缝检测方法及系统，采用基于像素追踪算法来连接裂缝，同时对连接后的区域进行形状特征分析，筛去不符合要求的区域。该方法实现的模型需要人工选取特征，且受环境因素影响较大，可泛化性不够高。

发明专利201911385351.8公开了一种基于深度学习的路面裂缝快速识别方法，该方法对图像进行预处理，减小了环境对图像质量带来的影响，采用基于连接构件的方法使裂缝形状增强；但是同样未实现端到端的检测。此外，该方法未提出对裂缝的损伤等级衡量方法，不能得到裂缝的长宽等信息。

发明专利202010236401.2公开了一种基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法，得到裂缝检测结果图像，提高了水下建筑物的检测精度，但是该方法使用的全卷积模型较复杂，训练难度较高；此外，同样未提出对裂缝的评价方法。

综上所述，基于深度学习的裂缝检测方法可大幅提高对裂缝的检测效率，但是目前普遍存在模型复杂度较高、训练难度大、要求输入图像尺寸一致等问题，导致无法真正实现端到端的检测；此外，裂缝量化评估的准确率也不够高。

发明内容

针对目前裂缝检测网络模型不够优越，以及难以获得裂缝形状、长宽的问题，本发明提供一种基于深度学习网络的建筑物表面裂缝检测方法，以提高裂缝检测的准确率和效率。

实现本发明目的的技术方案为：一种基于深度学习网络的建筑物表面裂缝检测方法，包括以下步骤：

S1、创建网络训练数据集；

S2、构建深度学习网络模型，并进行训练；

S3、使用训练好的深度学习网络模型，对待测图像进行检测，并输出预测标签图像；

S4、若预测标签图像中含有裂缝，则基于裂缝特征对裂缝进行分析与检测；

S5、裂缝参数计算与输出，包括每条裂缝的坐标信息、及其长度与宽度。

与现有技术相比，本发明具有以下优点：

(1)本发明基于全卷积网络与残差网络构建了裂缝检测网络模型，模型复杂度不高，且有较高的检测效率；

(2)本发明使用深度学习网络实现了端到端的裂缝检测，输入可以为任意尺寸的彩色图像，输出为裂缝检测结果，简化了裂缝检测流程，鲁棒性和准确率更高；

(3)本发明基于裂缝特征分析，采用连接方法对分割出的裂缝进行处理，然后计算裂缝的长宽，提高了裂缝计算评估的准确度；

(4)本发明能够快速计算出裂缝的长度和宽度信息，且有较高精度。

附图说明

图1本发明基于深度学习网络的建筑物表面裂缝检测方法流程图。

图2本发明构建的深度学习网络结构图。

具体实施方式

如图1所示，一种基于深度学习网络的建筑物表面裂缝检测方法，包括以下步骤：

S1、创建训练数据集。

所述步骤S1的具体操作如下：

(1)通过现场图像采集、数据增广等手段，制作足够数量的裂缝图像数据集，并将图像记为I；

(2)对图像I进行滤波、对比度增强等预处理，处理后的图像记为I'；

(3)使用Labelme软件对训练集图像I'进行标记，裂缝区域标记为正样本，非裂缝区域标记为负样本，并保存图像。

S2、构建深度学习网络模型，并进行训练。

所述步骤S2的具体操作如下：

(1)构建深度学习网络模型：基于全卷积网络和残差网络构建深度学习网络模型，如图2所示，网络主要由10个卷积层、5个池化层、1个Dropout层、3个反卷积层、2个裁剪层和2个融合层组成。具体的，在前5个卷积层后添加池化层，并在每个池化层后加入残差模块；在第6个卷积层中加入Dropout层，Dropout比例设为0.5；在第9、10个卷积层后依次加入裁剪层和融合层，并在第8个卷积层和融合层后添加反卷积层，以获得原图大小的输出图像；

(2)选择训练策略；

(3)选择深度学习库。

S3、使用训练好的深度学习网络模型，对经过滤波、对比度增强的待测图像进行检测，并输出预测标签图像I_out。

S4、对预测标签图像I_out进行基于裂缝特征的分析与检测；

所述的步骤S4包括：

(1)对I_out进行二值化、滤波、开运算后，计算连通域面积，并剔除面积小于特定阈值的连通域；

(2)记录每条裂缝连通域最小外接矩形与裂缝的交点P_i，得到裂缝端点集合S＝{P₁,P₂,...,P_i}；

(3)对S中的端点建立KD搜索树，搜索每个裂缝端点的最近邻端点，若二者距离满足阈值条件，则连接裂缝端点；

(4)对端点连接线段进行其所在图像区域的灰度特征检验，以平滑连接的裂缝线段。

S5、裂缝参数计算与输出，包括每条裂缝的坐标信息、及其长度与宽度。

所述步骤S5的具体操作如下：

(1)计算步骤S4所得图像的每条裂缝的最小外接矩形，且以外接矩形的较短边为宽得到图像I_roi；

(2)裂缝的像素级长度计算：采用形态学方法对图像I_roi进行细化，然后统计裂缝像素个数，即为所求裂缝长度；

(3)裂缝的像素级宽度计算：在图像I_roi长度方向以抽样间隔N_w进行采样，在采样点的宽方向从图像I_roi两边遍历像素点，得到连通域的左右轮廓点，取其在图像I_out中的像素坐标值(x_l,y_l)、(x_r,y_r)，计算裂缝对应的宽度，所得最大宽度值，即为所求像素级裂缝宽度，计算公式如下：

其中，W为连通域轮廓点最大宽度值。

由于现实情况中裂缝形状不规则，为避免裂缝岔支对计算的影响，取连通域最小外接矩形的宽边方向作为宽度的遍历方向，以得到较为准确的计算结果。

(4)裂缝的实际长度与宽度计算：

若采集设备是RGBD相机或其他可同时获得像素深度的设备，则每个像素都有对应的三维坐标，进而可计算出裂缝实际的长宽值。

下面结合附图及实施例对本发明的具体实施方式做详细说明。

实施例

一种基于深度学习网络的建筑物表面裂缝检测方法，具体流程如图1所示，包括以下步骤：

S1、创建图像训练集。

所述步骤S1的具体操作如下：

步骤1、采集原始数据并进行增广，构成包含2000张裂缝图像的数据集，图像记为I，宽和高记为(W,H)，其具体数值由采集设备的分辨率决定，如(W,H)可为(1280，960)；

步骤2、对图像进行预处理，主要包括滤波和对比度增强，滤波器核大小取3×3，采用直方图均衡化对图像进行对比度增强，将预处理后的图像标记为I'；

步骤3、使用Labelme软件对I'进行标记，裂缝区域标记为绿色，非裂缝区域标记为红色，并保存图像。

图像数据集分成训练集、验证集和测试集三个部分，分配比例设为7:2:1。

S2、训练深度学习神经网络模型。

所述步骤S2的具体操作如下：

(1)搭建深度学习网络结构：基于全卷积网络和残差网络构建深度学习网络模型，网络结构如图2所示，其中有10个卷积层，5个池化层，1个Dropout层，3个反卷积层，2个裁剪层和2个融合层，具体的，在前5个卷积层后添加池化层，并在每个池化层后加入残差模块；在第6个卷积层中加入Dropout层，Dropout比例设为0.5；在第9、10个卷积层后依次加入裁剪层和融合层，并在第8个卷积层和融合层后添加反卷积层，以获得原图大小的输出图像。10个卷积层记为C₁～C₁₀，5个池化层记为P₁～P₅，3个反卷积层记为DC₁～DC₃。

卷积层C₁～C₁₀的卷积核大小(宽，高，通道数)依次为(11,11,1)、(5,5,96)、(3,3,256)、(3,3,384)、(3,3,384)、(1,1,4096)、(1,1,4096)、(1,1,384)、(1,1,384)、(1,1,568)。

反卷积层DC₁～DC₃使用双线性插值方法对C₈和P₃、P₄输出的特征图进行上采样，其参数可通过反向传播来学习。

深度学习网络的代价函数选择交叉熵函数，激活函数选择ReLU函数。为了防止网络模型过拟合，在代价函数中加入权值衰减L2正则化项，在池化层后加入残差模块，并在第6个卷积层C₆后加入Dropout层，Dropout比例设为0.5；

(2)选择训练策略：对深度学习网络训练，采用Adam方法更新模型参数；

(3)选择深度学习库：使用深度学习库TensorFlow实现上述全卷积网络结构，并根据已选择的训练策略和图像训练集进行训练。采用多GPU模式进行分布式训练，网络的大部分超参数设定，根据具体训练情况而定。

S3、使用训练好的深度学习网络模型，对待测图像进行检测，并输出预测标签图像。

所述步骤S3的具体操作如下：

(1)对待检测图像，进行滤波与对比度增强的预处理，滤波器核大小取3×3，采用直方图均衡化对图像进行对比度增强；

(2)调用TensorFlow的Python接口加载训练好的深度学习网络模型，对待检测图像进行推理预测，输出预测标签图像I_out。

S4、对预测标签图像I_out进行基于裂缝特征的分析与检测。

所述步骤S4的具体操作如下：

(1)对I_out进行二值化、滤波、开运算后，计算连通域面积，并剔除面积小于特定阈值的连通域；其中，滤波器核大小可取3×3；

(2)记录每条裂缝连通域最小外接矩形与裂缝的交点，得到裂缝端点集合S＝{P₁,P₂,...,P_i}；

(3)搜索每个裂缝端点的最近邻端点，若二者距离满足阈值条件，则连接裂缝端点，具体流程如下：

(a)初始状态：S＝{P₁,P₂,...,P_i}，U＝{P₁}，V＝{P₂,...,P_i}，其中，U中存放端点集合S中第一个值表示待查询的点，余下的端点为V＝S-U；

(b)首先根据V中的元素剔除L(1,i)＝0的端点，利用其余端点建立KD树，L(1,i)表示端点P₁与其余端点的距离；然后，查找KD树，确定待查询点P₁的最近邻P_j，判断L(1,j)是否小于阈值，若小于阈值则连接这两点，S＝S-{P₁,P_j}，否则，S＝S-{P₁}，并更新U、V；

(c)重复(b)直到S中元素个数为1或者为空集。

(4)对端点连接线段进行其所在图像区域的灰度特征检验，以平滑连接的裂缝线段；具体步骤如下：

(a)计算裂缝连接线段的邻域大小范围，并且标记出连接线段的像素距离小于阈值的区域位置；

(b)采用P分位法对裂缝邻域图像进行二值化预处理，阈值可设置为0.15；

(c)对连通域进行标记，采用闭操作对二值化后的邻域图像进行増强、填充。

S5、裂缝参数计算与输出，包括每条裂缝的坐标信息、及其宽度值与长度值；

所述步骤S5的具体操作如下：

(1)计算步骤S4所得图像的每条裂缝的最小外接矩形，且以外接矩形的较短边为宽得到图像I_roi；

(2)裂缝的像素级长度计算：采用形态学方法对I_roi进行细化，然后统计裂缝像素个数，即得所求裂缝长度；形态学细化流程具体如下：

二值图像中裂缝区域为1，显示为白色，背景区域为0，显示为黑色；取每个目标像素P₁的8邻域，其余点记为P₂,P₃,...,P₉，若邻域点满足：(a)

(b)P₂×P₄×P₆＝0；(c)P₈×P₄×P₆＝0；(d)当且仅当满足以下条件之一：P₂＝0且P₃＝1，P₃＝0且P₄＝1，P₄＝0且P₅＝1，P₅＝0且P₆＝1，P₆＝0且P₇＝1，P₇＝0且P₈＝1，P₈＝0且P₉＝1；则将目标像素P₁变为背景点，即值为0。重复上述步骤，最终得到细化图像。

(3)裂缝的像素级宽度计算：

在I_roi长度方向以抽样间隔N_w进行采样，在采样点的宽方向从I_roi的两边遍历像素点，得到连通域的左右轮廓点，取其在图像I_out中的像素坐标值(x_l,y_l)、(x_r,y_r)，计算裂缝对应的宽度，所得最大宽度值，即为所求像素级裂缝宽度，计算公式如下：

其中，W为连通域轮廓最大宽度值。本实施例中N_w取为15，该值越大，宽度计算效率越高。

由于现实情况中裂缝形状不规则，为避免裂缝岔支对计算的影响，取连通域最小外接矩形的宽边方向作为宽度的遍历方向，以得到较为准确的计算结果。

(4)裂缝的实际长度与宽度计算：

若采集设备是RGBD相机或其他可同时获得像素深度的设备，则可根据上述像素的三维坐标，计算裂缝实际的长宽值。

对于本领域技术人员而言，显然本发明不限于上述示范性实例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，包括以下步骤：

S1、创建网络训练数据集；

S2、构建深度学习网络模型，并进行训练；

S3、使用训练好的深度学习网络模型，对待测图像进行检测，并输出预测标签图像；

S4、若预测标签图像中含有裂缝，则基于裂缝特征对裂缝进行分析与检测；

S5、裂缝参数计算与输出，包括每条裂缝的坐标信息、及其长度与宽度。

2.根据权利要求1所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，步骤S1创建网络训练数据集，具体为：

(1)通过现场图像采集、数据增广，制作足够数量的裂缝图像数据集，并将图像记为I；

(2)对图像I进行滤波、对比度增强处理，处理后的图像记为I'；

(3)使用Labelme软件对训练集图像I'进行标记，裂缝区域标记为正样本，非裂缝区域标记为负样本，并保存图像。

3.根据权利要求2所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，滤波器核大小取3×3，采用直方图均衡化对图像进行对比度增强。

4.根据权利要求1所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，步骤S2中所述构建深度学习网络模型的具体方法为：

基于全卷积网络和残差网络构建深度学习网络模型，网络主要由10个卷积层、5个池化层、1个Dropout层、3个反卷积层、2个裁剪层和2个融合层组成，具体的，在前5个卷积层后添加池化层，并在每个池化层后加入残差模块；在第6个卷积层中加入Dropout层；在第9、10个卷积层后依次加入裁剪层和融合层，并在第8个卷积层和融合层后添加反卷积层，以获得原图大小的输出图像。

5.根据权利要求4所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，Dropout比例设为0.5。

6.根据权利要求4所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，10个卷积层的卷积核大小依次为(11,11,1)、(5,5,96)、(3,3,256)、(3,3,384)、(3,3,384)、(1,1,4096)、(1,1,4096)、(1,1,384)、(1,1,384)、(1,1,568)。

7.根据权利要求1所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，步骤S4包括：

对预测图像进行二值化、滤波、开运算后，计算连通域面积，并剔除面积小于设定阈值的连通域；

记录每条裂缝连通域最小外接矩形与裂缝的交点，得到裂缝端点集合；

对所有的端点建立KD搜索树，搜索每个裂缝端点的最近邻端点，若二者距离满足阈值条件，则连接裂缝端点；

对端点连接线段进行其所在图像区域的灰度特征检验，以平滑连接的裂缝线段。

8.根据权利要求7所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，所述的步骤S5包括：

计算步骤S4所得图像的每条裂缝的最小外接矩形，且以外接矩形的较短边为宽得到图像I_roi；

裂缝的像素级长度计算：采用形态学方法对图像I_roi进行细化，然后统计裂缝像素个数，即为裂缝像素级长度；

裂缝的像素级宽度计算：在图像I_roi长度方向以N_w抽样间隔进行采样，在采样点的宽方向从图像I_out两边遍历像素点，得到连通域的左右轮廓点，取其在图像I_out中的像素坐标值(x_l,y_l)、(x_r,y_r)，计算裂缝对应的宽度，所得最大宽度值作为裂缝像素级宽度，计算公式如下：

裂缝实际长度和宽度计算：若采集设备是RGBD相机或其他可同时获得像素深度的设备，则可根据上述像素的三维坐标，计算裂缝实际的长宽值。

9.根据权利要求8所述的基于深度学习网络的建筑物表面裂缝检测方法，其特征在于，N_w取为15。

Images