CN114359542A - 基于计算机视觉与深度学习的混凝土结构裂缝识别方法 - Google Patents

Abstract

本发明提供基于计算机视觉与深度学习的混凝土结构裂缝识别方法，包括S0训练所述混凝土结构裂缝检测模型，其中混凝土结构裂缝检测模型基于改进的YOLOv4网络结构搭建而成；S1获取基于视觉拍摄的混凝土目标图像；S2将获取的混凝土目标图像输入到训练好的混凝土结构裂缝检测模型中，得到对应的混凝土结构裂缝识别结果。本发明采用改进的YOLOv4网络结构搭建混凝土结构裂缝检测模型，通过对现有YOLO v4网络结构进行剪枝，以提高检测速度。

Description

基于计算机视觉与深度学习的混凝土结构裂缝识别方法

技术领域

本发明涉及混凝土结构病害检测技术领域，特别是基于计算机视觉与深度学习的混凝土结构裂缝识别方法。

背景技术

混凝土是当今用途最广、用量最大的一种建筑材料，广泛应用于道路、桥梁、房建、隧道及大坝等基础设施的建设中。由于混凝土抗拉强度低，且受收缩徐变、外界温度变化、地基变形等内外因素的共同影响，在施工建设和运营使用中的混凝土结构经常出现不同程度和形式的裂缝病害。准确识别出混凝土结构中的裂缝长度、走向和宽度，对判断结构的病害程度和运营状况有重要意义。

目前，混凝土结构裂缝检测仍以人工检测为主，其工作强度大、效率低且不安全，而且需要借助检测辅助设备接近结构表面，对检测人员的专业知识和经验要求较高。近年来，随着人工智能的快速发展，深度学习算法可以利用深度神经网络来自动获得裂缝的图像特征，为混凝土裂缝检测提供了一个很好的解决思路。常用于裂缝检测的深度学习算法有FCN(全卷积神经网络)，VGG(视觉几何组)，AlexNets(Alex神经网络)等，其中目标检测算法是在给定图片中精确找到物体所在位置，并标注出物体的类别。目标检测算法分为两类：one-stage(一阶段)目标检测算法与two-stage(二阶段)目标检测算法，You Only LookOnce(YOLO)是one-stage目标检测算法，识别目标速度很快，可以达到实时性要求，而且精度基本能达到two-stage目标检测算法。其在道路、桥梁、大坝混凝土结构进行结构裂缝的自动识别方面得到广泛的应用，并取得不错的实际应用效果。

但是上述的目标检测算法在结构物裂缝检测的实际场景的应用中仍存在一些问题有待解决，特别是对一些现场检测环境比较复杂的情况，如混凝土表面有水渍、爬藤植物、人工涂画痕迹、伸缩缝等干扰，无法准确识别结构裂缝。

发明内容

针对上述问题，本发明旨在提供基于计算机视觉与深度学习的混凝土结构裂缝识别方法。

本发明的目的采用以下技术方案来实现：

第一方面，提出基于计算机视觉与深度学习的混凝土结构裂缝识别方法，包括：

S1获取基于视觉拍摄的混凝土目标图像；

S2将获取的混凝土目标图像输入到训练好的混凝土结构裂缝检测模型中，得到对应的混凝土结构裂缝识别结果；其中混凝土结构裂缝检测模型基于改进的YOLOv4网络结构搭建而成。

一种实施方式中，改进的YOLOv4网络结构包括CSPDarknet53结构、SPP结构、PANet结构和YOLO Head结构；在CSPDarknet53结构中，输入的混凝土目标图像通过1个卷积块调整其高宽和通道数，随后连续经过5个CSP Resblock结构来提取图像特征，并生成相应层面的特征层。最后一个CSPResblock结构输出的特征层，经过1次卷积块后进入SPP结构。SPP结构采用大小分别是1、5、9、13的池化核，对输入的特征层分别进行最大池化，池化后的特征层经过堆叠和1次卷积块后生成(19*19，2048)的特征层，该特征层随后进入PANet结构。PANet结构将不同大小、不同通道数的特征层，通过上采样或下采样操作，使特征层大小、通道数统一，并利用堆叠和卷积操作进行特征融合，分别生成三个相应层面的特征层结果，输出到对应的YOLOhead结构。YOLOhead结构根据相应的三个特征层结果来预测图像中的目标。

一种实施方式中，改进的YOLOv4网络结构中将卷积块中的归一化层和激活层替换成EvoNorm结构。

一种实施方式中，该方法还包括：

S0训练所述混凝土结构裂缝检测模型，具体包括：

S01获取混凝土对象的图像数据，其中混凝土对象包括道路、桥梁和房屋建筑物的结构表面；

S02将获取的图像数据集分类标记为6个不同的类型：植物枝条、表面裂缝、结构裂缝、水流痕迹、人工图画和伸缩缝；并通过数据增强的方式扩充图像数据集得到图像数据集，其中图像数据集中包含有图像数据和与图像数据对应的分类标签信息；

S03从图像数据集中按比例划分训练集和测试集；

S04基于得到的训练集对混凝土结构裂缝检测模型进行训练；

S05采用测试集对得到的混凝土结构裂缝检测模型进行测试，评估模型性能；

S06通过模型性能测试后，得到训练好的混凝土结构裂缝检测模型。

第二方面，提出基于计算机视觉与深度学习的混凝土结构裂缝识别方法，包括：该装置用于实现如上述第一方面中任一种实施方式所述的基于计算机视觉与深度学习的混凝土结构裂缝识别方法。

本发明的有益效果为：本发明提出的基于计算机视觉与深度学习的混凝土结构裂缝识别方法，采用改进的YOLOv4网络结构搭建混凝土结构裂缝检测模型，对现有YOLO v4网络结构进行剪枝，以提高检测速度；并在YOLO v4网络中引入EvoNorm结构，以改善YOLO v4的准确度，从而实现对结构裂缝的实时精确检测。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明实施例所示基于计算机视觉与深度学习的混凝土结构裂缝识别方法的方法流程图；

图2为本发明实施例所示改进的YOLOv4网络结构的框架结构图；

图3为本发明实施例所示CSP Resblock的框架结构图；

图4为本发明实施例所示卷积块的框架结构图；

图5为本发明实施例所示EvoNorm-S0结构的计算流程示意图；

图6为本发明实施例所示经标注后的各类图像数据示例图

图7为本发明实施例所示模型识别效果示意图；

图8为本发明实施例所示模型识别精度示意图。

具体实施方式

结合以下应用场景对本发明作进一步描述。

参见图1，其示出基于计算机视觉与深度学习的混凝土结构裂缝识别方法，包括：

S0训练所述混凝土结构裂缝检测模型，其中混凝土结构裂缝检测模型基于改进的YOLOv4网络结构搭建而成；

一种实施方式中，步骤S0具体包括：

S01获取混凝土对象的原始图像数据，其中混凝土对象包括道路、桥梁和房屋建筑物的结构表面；

S02将获取的图像数据集分类标记为6个不同的类型：植物枝条、表面裂缝、结构裂缝、水流痕迹、人工图画和伸缩缝；并通过数据增强的方式扩充图像数据集，其中图像数据集包含有图像数据和与图像数据对应的分类标签信息；

S03从图像数据集中按比例划分训练集和测试集；

S04基于得到的训练集对混凝土结构裂缝检测模型进行训练；

S05采用测试集对得到的混凝土结构裂缝检测模型进行测试，评估模型性能；

S06通过模型性能测试后，输出训练好的混凝土结构裂缝检测模型。

一种实施方式中，参见图2，改进的YOLOv4网络结构包括CSPDarknet53结构、SPP结构、PANet结构和YOLO Head结构。在CSPDarknet53结构中，输入的混凝土目标图像通过1个卷积块调整其高宽和通道数，随后连续经过5个CSP Resblock结构来提取图像特征，并生成相应层面的特征层。最后一个CSPResblock结构输出的特征层，经过1次卷积块后进入SPP结构。SPP结构采用大小分别是1、5、9、13的池化核，对输入的特征层分别进行最大池化，池化后的特征层经过堆叠和1次卷积块后生成(19*19，2048)的特征层，该特征层随后进入PANet结构。PANet结构将不同大小、不同通道数的特征层，通过上采样或下采样操作使特征层大小、通道数统一，并利用堆叠和卷积操作进行特征融合，分别生成三个相应层面的特征层结果，输出到对应的YOLOhead结构。YOLOhead结构根据相应的三个特征层结果来预测图像中的目标。

CSPDarknet53先由1个卷积块来调整输入图像的高宽和通道数，随后连续经过5个CSP Resblock结构对图像进行特征提取，每个CSP Resblock的结构如图3所示。其中图2中CSP Resblock的“*2”和“*1”表示图3中Residual Block的数量。

从最后一个CSPResblock生成的特征层，经过1次卷积后进入SPP结构。SPP结构采用大小分别是1、5、9、13的池化核，对输入的特征层分别进行最大池化。池化后的特征层经过堆叠和1次卷积后生成(19*19，2048)的特征层，该特征层随后进入PANet结构。

YOLOv4的PANet结构在原版的基础上做出了部分的修改。原版PANet结构是将不同大小、不同通道数的特征层，通过上采样或下采样操作，使特征层大小、通道数统一，随后一一对应进行数值相加；而YOLOv4中的PANet结构则在特征层大小、通道数统一后，进行通道数堆叠，并采取若干次卷积的方式进行特征融合。YOLOv4的PANet结构及相应的处理过程如图2所示，其中“concat+conv*3”表示“堆叠+3次卷积”，“conv+upsampling”表示“1次卷积+上采样”，“downsampling”表示“下采样”，PANet的处理结果将从三个层次输出结果到YOLOhead，YOLO head中“76*76，33”表示对应的高、宽、通道数。该网络通过YOLO head模块进行预测。

本申请上述提出的改进的YOLOv4网络结构，相比于原版YOLO v4，(76*76，256)和(38*38，512)的CSP Resblock的Residual Block分别减少了6个，(19*19，1024)的CSPResblock的residual block则减少了2个。图2中CSPDarknet53与SPP之间的卷积块结构，和SPP与PANet之间的卷积块结构，相比于原版YOLO v4，都分别减少了两个卷积块。通过上述的剪枝操作，加快了算法训练收敛速度，提升了算法的检测速度。

一种实施方式中，改进的YOLOv4网络结构中将卷积块中的归一化层和激活层替换成EvoNorm结构。

在YOLO v4网络中引入EvoNorm结构，以改善YOLO v4的准确度。图2中CSPDarknet53与SPP之间的卷积块结构、SPP与PANet之间的卷积块结构，以及PANet中的卷积块结构，都将原本卷积块中的归一化层与激活层换成了EvoNorm结构，以提升识别的准确率，改进示意图如图4所示。本申请采用EvoNorm-S0结构，相应的计算图如图5所示。

S1获取基于视觉拍摄的混凝土目标图像；

S2将获取的混凝土目标图像输入到训练好的混凝土结构裂缝检测模型中，得到对应的混凝土结构裂缝识别结果。

一种场景中，下面提出一种基于计算机视觉与深度学习的混凝土结构裂缝识别方法的具体实施方式，以进一步体现本申请上述方法的实施：

(1)从现场的各种结构物上拍摄收集图像数据(六大类)，拍摄镜头与实物距离保持在1m。拍摄的对象是道路、桥梁和房屋建筑物的结构表面。

(2)图像数据的获取与处理

先将拍摄好的图像数据分为以下6类：

植物枝条：附着在混凝土结构表面的植物枝条。

表面接缝：混凝土结构物表面平直的缝隙。

结构裂缝：混凝土结构物表面受应力影响自然形成的不平直的裂缝。

水流痕迹：混凝土结构表面留下的水流痕迹。

人工涂画：混凝土结构表面留下的人工涂画痕迹。

伸缩缝：混凝土结构表面的伸缩缝。

然后将所有图像数据通过LabelImg标注工具进行标注，并通过数据增强的方式扩充图像数据，得到训练所需的数据集。其中标注后的各类图像数据示例如图6所示。

随后将数据集的比例设置为：训练验证集：测试集＝0.8：0.2，训练集：验证集＝0.8：0.2。其中训练集与验证集从训练验证集中划分，每回合训练会不断更换训练集与验证集的数据，并保持两者的数量大致符合设定的比例。而测试集中的数据只用于训练后的算法检测评估，不参与算法训练过程。六种不同类型的图像数据量如表1所示。

表1：数据集各类数据的划分

	结构裂缝	表面接缝	植物枝条	水流痕迹	人工涂画	伸缩缝
							训练验证集	413	437	399	447	416	428
测试集	107	103	101	107	106	112

分类性能评价指标：

改进的YOLOv4在训练好网络权重对测试集图像进行预测，通过预测结果与真实结果的对比，计算每一类的AP(average precision,单类平均精度)。其中AP是精确度与召回率图中曲线与坐标所围成的面积，对所有类的AP求和取平均得到mAP(mean averageprecision，总平均精度)。准确率、召回率、AP和mAP相应的计算公式如下：

AP＝∫∫f(Precision,Recall)

其中T是True；F是False；P是Positive；N是Negative。具体的说，TP是分对了的正样本；TN是分对了的负样本；FP是分错了的正样本(事实上是负样本)；FN是分错了的负样本(事实上是正样本)。

改进的YOLO v4训练后的检测效果

将训练集与验证集作为改进的YOLO v4的输入参与训练，并用训练好的算法对测试集进行识别。分类识别结果如图7-8所示，其中图7表示改进的YOLO v4的识别效果((1)～(6)分别为植物枝条，伸缩缝，水流痕迹，表面接缝，人工涂画，结构裂缝)；图8表示改进的YOLO v4的识别精度(从上到下分别为伸缩缝、植物枝条、结构裂缝、表面接缝、人工涂画、水流痕迹的AP值)

由图7和图8可以看出，经过训练后的改进YOLO v4的mAP能够达到95％，从整体来看，对图像数据中的干扰物分类识别准确度较高。通过对图像数据的干扰物分类，能避免在结构检测过程中出现误诊并得到结构真实有效的安全状态评估，从而保障国家与人民的生命财产安全。

同时，基于上述提出的基于计算机视觉与深度学习的混凝土结构裂缝识别方法，本发明还提出基于计算机视觉与深度学习的混凝土结构裂缝识别装置，其中该装置用于实现如上述图1中任一种实施方式所示的基于计算机视觉与深度学习的混凝土结构裂缝识别方法。

本申请再次不再重复叙述。

需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.基于计算机视觉与深度学习的混凝土结构裂缝识别方法，其特征在于，包括：

S1获取基于视觉拍摄的混凝土目标图像；

S2将获取的混凝土目标图像输入到训练好的混凝土结构裂缝检测模型中，得到对应的混凝土结构裂缝识别结果；其中混凝土结构裂缝检测模型基于改进的YOLOv4网络结构搭建而成。

2.根据权利要求1所述的基于计算机视觉与深度学习的混凝土结构裂缝识别方法，其特征在于，所述改进的YOLOv4网络结构包括CSPDarknet53结构、SPP结构、PANet结构和YOLOHead结构。在CSPDarknet53结构中，输入的混凝土目标图像通过1个卷积块调整其高宽和通道数，随后连续经过5个CSP Resblock结构来提取图像特征，并生成相应层面的特征层；最后一个CSPResblock结构输出的特征层，经过1次卷积块后进入SPP结构；SPP结构采用大小分别是1、5、9、13的池化核，对输入的特征层分别进行最大池化，池化后的特征层经过堆叠和1次卷积块后生成；特征层，该特征层随后进入PANet结构；PANet结构将不同大小、不同通道数的特征层，通过上采样或下采样操作，使特征层大小、通道数统一，并利用堆叠和卷积操作进行特征融合，分别生成三个相应层面的特征层结果，输出到对应的YOLOhead结构；YOLOhead结构根据相应的三个特征层结果来预测图像中的目标。

3.根据权利要求2所述的基于计算机视觉与深度学习的混凝土结构裂缝识别方法，其特征在于，改进的YOLOv4网络结构中将卷积块中的归一化层和激活层替换成EvoNorm结构。

4.根据权利要求2所述的基于计算机视觉与深度学习的混凝土结构裂缝识别方法，其特征在于，该方法还包括：

S0训练所述混凝土结构裂缝检测模型，具体包括：

S01获取混凝土对象的图像数据，其中混凝土对象包括道路、桥梁和房屋建筑物的结构表面；

S02将获取的图像数据集分类标记为6个不同的类型：植物枝条、表面裂缝、结构裂缝、水流痕迹、人工图画和伸缩缝；并通过数据增强的方式扩充图像数据集，其中图像数据集包含有图像数据和与图像数据对应的分类标签信息；

S03从图像数据集中按比例划分训练集和测试集；

S04基于得到的训练集对混凝土结构裂缝检测模型进行训练；

S05采用测试集对得到的混凝土结构裂缝检测模型进行测试，评估模型性能；

S06通过模型性能测试后，得到训练好的混凝土结构裂缝检测模型。

5.基于计算机视觉与深度学习的混凝土结构裂缝识别装置，其特征在于，包括：该装置用于实现如权利要求1-4中任一项所述的基于计算机视觉与深度学习的混凝土结构裂缝识别方法。

Images