CN113269718A - 一种基于深度学习的混凝土预制构件裂缝检测方法 - Google Patents

Abstract

本发明涉及计算机视觉、深度学习技术领域，具体涉及一种基于深度学习的混凝土预制构件裂缝检测方法，该方法包括：采集裂缝图像数据，将采集的裂缝图像样本进行预处理，并对其进行人工标注；将标注后的数据样本进行数据增广，并划分为训练集、验证集和测试集；搭建卷积神经网络模型；对卷积神经网络模型进行训练、验证和测试，以得到最终的算法模型；利用所述的算法模型对待检测的裂缝图像进行检测，得到检测结果。本发明相较于传统的人工检测方法，大大降低了人工成本并且提高了检测的精度。此外，相对于现有的图像处理检测方法，本发明可对高分辨率图像进行检测，具有可操作性强和检测精度较高的优点。

Description

一种基于深度学习的混凝土预制构件裂缝检测方法

技术领域

本发明涉及计算机视觉、深度学习技术领域，具体涉及一种基于深度学习的混凝土预制构件裂缝检测方法。

背景技术

质量控制在产品生产中的意义日趋显著，产品的表面缺陷影响其质量。据调查统计，在美国多达10％的建设成本用于因材料缺陷而导致的返工。裂缝缺陷是一种十分常见的预制构件表面缺陷类型，准确地进行裂缝缺陷检测对于提高产品质量和降低建设成本具有非常重要的作用。

目前检测评估预制构件质量主要有人工识别检测法、基于图像处理算法检测方法以及深度学习方法。其中，传统的人工检测方法，该方法抽检率低、检测准确度受人工经验和疲劳程度等主观因素的影响大、劳动强度大、检测效率低和实时性差。图像处理算法检测方法，主要是针对同一材质和纹理背景图像进行裂缝检测，且目前尚无法对彩色图像直接进行裂缝检测。现有的深度学习算法检测方法，一般是将待检测图像直接压缩到较小尺寸，以满足神经网络输入要求，再送入提前训练好的神经网络模型中进行检测，得出预测结果，此类算法在处理高分辨率的裂缝图像时，会因过度的压缩会导致图像失真，有较高的漏检率和误检率。

有研究采用滑动窗口算法去解决有损产品检测有遗漏的问题，该算法是通过提前预设滑动窗口的大小，在待检测图像上进行滑动，其每次滑动的距离为滑动窗口的宽度或高度尺寸，从而得到若干个不具有重复图像的子图像，再送入提前训练好的卷积神经网络模型中进行预测，得出预测结果。采用此类算法采集的子图像，如果裂缝位于子图像边缘处，其裂缝特征在检测过程中极易被忽略，从而出现有损产品检测时被遗漏现象。

综上，对于混凝土预制构件裂缝的检测还需要开发新的检测方法，不仅要实现自动化检测来代替低效且高成本的人工检测，还需要降低检测的漏检率，并提高检测精度。

发明内容

针对现有技术中存在的不足，本发明所要解决的技术问题是提供一种基于深度学习的混凝土预制构件裂缝检测方法，该方法采用自动图像处理算法，不仅能够处理高分辨率的彩色图像，并且能够保留图像特征，具有较高的检测精度。

本发明解决上述技术问题的方案是：

一种基于深度学习的混凝土预制构件裂缝检测方法，该方法包括以下步骤：

S1、将采集的含有裂缝的裂缝图像样本进行预处理，以构造裂缝图像数据集：

(1)使用固定大小的正方形滑动窗口在裂缝图像样本上按照从左到右、从上到下的顺序滑动，每次滑动后，将所述的滑动窗口所覆盖的图像区域单独保存为一个子图像；

其中，滑动窗口的尺寸的取值范围为150～300像素，滑动窗口移动的步长的取值范围为滑动窗口的尺寸的0.4～0.6倍；若当前行或列剩余的未覆盖的裂缝图像样本的边长小于滑动窗口移动的步长，则以剩余的图像边长为本次滑动的步长，之后以原来的步长继续滑动，直至滑动窗口覆盖裂缝图像样本的所有区域，结束所述的子图像的采集过程；

(2)对保存的子图像进行人工标注，将含有裂缝特征的子图像标注为正样本，值为1，否则标注为负样本，值为0，然后将标注好的正负样本分别按照数量比为7∶1∶2的比例随机划分为数据集1、数据集2和数据集3；

(3)对所述的数据集1、数据集2和数据集3分别进行数据增广处理，然后将经数据增广处理后的数据集1～3分别依次保存为训练卷积神经网络模型的训练集、用来辅助训练过程的验证集和测试网络模型性能的测试集；

所述的数据增广处理的方法为：对每张子图像采用旋转变换、翻转变换、平移变换、错切变换以及放缩变换共五种操作方式随机结合的方法进行处理；每张子图像根据需要进行多次数据增广,以得到多张图像；

其中，所述的翻转变换分为水平翻转和垂直翻转；对于所述的旋转变换、平移变换、错切变换和放缩变换这四种变换方式，在每次数据增广过程中，其变换的幅度为指定范围内的随机值；其中，旋转变换的角度范围为-30°～+30°；平移变换包括水平平移变换和垂直平移变换，其平移的距离范围分别为子图像的宽度的0～0.3倍；错切变换包括水平错切变换和垂直错切变换，其变换方向为逆时针方向的剪切变换角度，变换角度的范围为0°～30°；放缩变换的倍数的取值范围为0.8～1.2，放缩方式为等比例放缩；

S2、搭建卷积神经网络模型：

搭建由两个卷积层、两个池化层和三个全连接层构成的卷积神经网络模型，其中：

所述的卷积层所含卷积核大小设置为3×3，步长为1，填充层数为1；

所述的池化层方式为最大池化，大小为2×2，步长为2；

所述的全连接层中的第一个全连接层的神经元个数为128，第二个全连接层的神经元个数为64，第三个全连接层的神经元个数为2；

采用交叉熵损失函数计算损失值，其公式如下：

其中，n表示训练时的小批量样本数量，其取值范围为2¹～2⁵，x表示图像数据样本的特征值，y表示人工标注的标签，y’表示网络模型预测的输出；

采用Relu函数Max(z，0)作为卷积神经网络激活函数，其中z为输入的神经元；优化器设置为Adam优化器，学习率的取值范围为1e-3～1e-4；

S3、训练卷积神经网络模型，以得到最终的算法模型：

利用所述的训练集对所述的卷积神经网络模型进行多个轮次的训练，并在每个轮次的训练结束后保存卷积神经网络模型，然后利用所述的验证集对保存的卷积神经网络模型的性能进行检测，并用准确率作为评价算法性能的标准，所述的准确率的计算公式为

式中，TP为预测正确的正样本数量，FP为预测错误的正样本数量，TN为预测正确的负样本数量，FN为预测错误的负样本数量；其中，所述的轮次的值由验证集检测的结果确定，若训练集误差降低，但验证集误差升高，则停止训练；停止训练后，将保存的网络模型按照准确率由高到低排序，保留前五个网络模型；

最后将所述的测试集分别送入保留的五个网络模型中进行测试，然后按照测试的准确率由高到低进行排序，将准确率最高的网络模型作为最终的算法模型；

S4、利用所述的算法模型对待检测的裂缝图像进行检测，具体过程如下：

若待检测的裂缝图像的尺寸大于或小于S1中所述的滑动窗口的尺寸的5倍，则将待检测的裂缝图像进行等比放缩至滑动窗口的尺寸的5倍，然后按照S1之(1)中所述的方法采集待检测的子图像，最后将其送入所述的算法模型中进行检测，即可得到检测结果。

本发明所公开的一种基于深度学习的混凝土预制构件裂缝检测方法与现有技术相比，具有如下有益效果：

利用本申请所述图像处理方法采集子图像集时，待检测裂缝图像的任一局部均可重复出现在子图像集中，就是使待检测裂缝图像中存在的裂缝图像出现在多张子图像中的不同部位，既避免了现有的深度学习算法检测方法需要大幅度压缩裂缝图像导致图像失真而存在的漏检现象，也解决了现有的滑动窗口算法在处理图像时，其裂缝特征可能仅仅出现在一张子图像的边缘处，在检测过程中极易被忽略，从而导致出现漏检现象的问题。

附图说明

图1是本发明所公开的一种基于深度学习的混凝土预制构件裂缝检测方法的检测流程框图；

图2是本发明所公开的一种基于深度学习的混凝土预制构件裂缝检测方法中搭建的深度卷积神经网络模型的结构示意图；

具体实施方式

下面结合附图对本发明作进一步说明。

实施例1

本实施例的操作环境为带有NVIDIA显卡的PC，保证在模型训练的过程中，可以使用GPU进行加速，缩短模型训练时长。搭建神经网络选用的程序设计语言为Python 3.7，采用的深度学习框架为PyTorch。

如图1所示，本发明公开的一种基于深度学习的混凝土预制构件裂缝检测方法，该方法包括以下步骤：

S1、将采集的含有裂缝的裂缝图像样本进行预处理，以构造裂缝图像样本数据集：

(1)使用固定大小的正方形滑动窗口在宽度值为1920像素且高度值为1080像素、存在若干条裂缝的待检测的裂缝图像样本上按照从左到右、从上到下的顺序滑动，每次滑动后，将所述的滑动窗口所覆盖的图像区域单独保存为一个子图像；

其中，滑动窗口的尺寸的取值范围为150～300像素，本实施例设置为227像素，滑动窗口移动的步长的取值为滑动窗口的尺寸的0.4～0.6倍，本实施例设置步长为滑动窗口尺寸的0.5倍即113像素；若当前行或列剩余的未覆盖的裂缝图像样本的边长小于滑动窗口移动的步长，则以剩余的图像边长为本次滑动的步长，之后以原来的步长继续滑动，直至滑动窗口覆盖裂缝图像样本的所有区域，结束所述的子图像的采集过程；

(2)对保存的子图像进行人工标注，将含有裂缝特征的子图像标注为正样本，值为1，否则标注为负样本，值为0，然后将标注好的正负样本分别按照数量比为7∶1∶2的比例随机划分为数据集1、数据集2和数据集3；

(3)对所述的数据集1、数据集2和数据集3分别进行数据增广处理，然后将经数据增广处理后的数据集1～3分别依次保存为训练卷积神经网络模型的训练集、用来辅助训练过程的验证集和测试网络模型性能的测试集，本实施例中，训练集含有8400张图像，验证集含有1200张图像，测试集含有2400张图像；

所述的数据增广处理的方法为：对每张子图像采用旋转变换、翻转变换、平移变换、错切变换以及放缩变换共五种操作方式随机结合的方法进行处理；每张子图像根据需要进行多次数据增广,以得到多张图像；

其中，所述的翻转变换分为水平翻转和垂直翻转；对于所述的旋转变换、平移变换、错切变换和放缩变换这四种变换方式，在每次数据增广过程中，其变换的幅度为指定范围内的随机值；其中，旋转变换的角度范围为-30°～+30°；平移变换包括水平平移变换和垂直平移变换，其平移的距离范围分别为子图像的宽度的0～0.3倍；错切变换包括水平错切变换和垂直错切变换，其变换方向为逆时针方向的剪切变换角度，变换角度的范围为0°～30°；放缩变换的倍数的取值范围为0.8～1.2，放缩方式为等比例放缩；

S2、搭建卷积神经网络模型：

如图2所示，搭建由两个卷积层、两个池化层和三个全连接层构成的卷积神经网络模型，其中：

所述的卷积层所含卷积核大小设置为3×3，步长为1，填充层数为1；

所述的池化层方式为最大池化，大小为2×2，步长为2；

所述的全连接层中的第一个全连接层的神经元个数为128，第二个全连接层的神经元个数为64，第三个全连接层的神经元个数为2；

采用交叉熵损失函数计算损失值，其公式如下：

其中，n表示训练时的小批量样本数量，其取值范围为2¹～2⁵，本实施例设置为2³，x表示图像数据样本的特征值，y表示人工标注的标签，y’表示网络模型预测的输出；

采用Relu函数Max(z，0)作为卷积神经网络激活函数，其中z为输入的神经元；优化器设置为Adam优化器，学习率的取值为1e-3～1e-4，本实施例的学习率的设置为1e-4；

S3、训练卷积神经网络模型，以得到最终的算法模型：

利用所述的训练集对所述的卷积神经网络模型进行多个轮次的训练，并在每个轮次的训练结束后保存卷积神经网络模型，然后利用所述的验证集对保存的卷积神经网络模型的性能进行检测，并用准确率作为评价算法性能的标准，所述的准确率的计算公式为

式中，TP为预测正确的正样本数量，FP为预测错误的正样本数量，TN为预测正确的负样本数量，FN为预测错误的负样本数量；其中，所述的轮次的值由验证集检测的结果确定，若训练集误差降低，但验证集误差升高，则停止训练，本实施例的实际训练的轮次为50次；停止训练后，将保存的网络模型按照准确率由高到低排序，保留前五个网络模型，其中准确率最低为97.5％,最高为98％；

最后将所述的测试集分别送入保留的五个网络模型中进行测试，然后按照测试的准确率由高到低进行排序，将准确率最高的网络模型作为最终的算法模型，本实施例的最终算法模型的检测准确率为97.85％；

S4、利用所述的算法模型对待检测的裂缝图像进行检测，具体过程如下：

若待检测的裂缝图像的尺寸大于或小于S1中所述的滑动窗口的尺寸的5倍，则将待检测的裂缝图像进行等比放缩至滑动窗口的尺寸的5倍，然后按照S1之(1)中所述的方法采集待检测的子图像，最后将其送入所述的算法模型中进行检测，即可得到检测结果。

本实施例对一张宽度值为4032像素、高度值为3024像素、存在一条裂缝的待检测的裂缝图像进行检测。具体检测过程为：

首先将待检测的裂缝图像进行缩小，使实际检测的裂缝图像的宽度值为1509像素，高度值为1135像素，然后使用尺寸为227像素的滑动窗口以步长113像素在实际检测的裂缝图像上滑动，采集得到子图像130张，最后将其送入算法模型中进行检测，在26张子图像中检测出存在裂缝，经人工复检，准确率100％。

实验结果表明，本发明公开的一种基于深度学习的混凝土预制构件裂缝检测方法，可以获得较高准确率的算法模型，其中，将滑动窗口尺寸取值范围设置为150～300像素，训练出来的算法模型可以测试任何尺寸的待检测图像，将滑动窗口的移动步长设置为滑动窗口尺寸的0.4～0.6倍，可以获得较高的检测精度，有效的降低了裂缝特征漏检的概率，将待检测的裂缝图像进行等比放缩至滑动窗口的尺寸的5倍，可有效解决图像失真问题并且拥有较高的检测效率。

Claims (1)

1.一种基于深度学习的混凝土预制构件裂缝检测方法，该方法包括以下步骤：

S1、将采集的含有裂缝的裂缝图像样本进行预处理，以构造裂缝图像样本数据集：

(1)使用固定大小的正方形滑动窗口在裂缝图像样本上按照从左到右、从上到下的顺序滑动，每次滑动后，将所述的滑动窗口所覆盖的图像区域单独保存为一个子图像；

其中，滑动窗口的尺寸的取值范围为150～300像素，滑动窗口移动的步长的取值范围为滑动窗口的尺寸的0.4～0.6倍；若当前行或列剩余的未覆盖的裂缝图像样本的边长小于滑动窗口移动的步长，则以剩余的图像边长为本次滑动的步长，之后以原来的步长继续滑动，直至滑动窗口覆盖裂缝图像样本的所有区域，结束所述的子图像的采集过程；

(2)对保存的子图像进行人工标注，将含有裂缝特征的子图像标注为正样本，值为1，否则标注为负样本，值为0，然后将标注好的正负样本分别按照数量比为7∶1∶2的比例随机划分为数据集1、数据集2和数据集3；

(3)对所述的数据集1、数据集2和数据集3分别进行数据增广处理，然后将经数据增广处理后的数据集1～3分别依次保存为训练卷积神经网络模型的训练集、用来辅助训练过程的验证集和测试网络模型性能的测试集；

所述的数据增广处理的方法为：对每张子图像采用旋转变换、翻转变换、平移变换、错切变换以及放缩变换共五种操作方式随机结合的方法进行处理；每张子图像根据需要进行多次数据增广,以得到多张图像；

其中，所述的翻转变换分为水平翻转和垂直翻转；对于所述的旋转变换、平移变换、错切变换和放缩变换这四种变换方式，在每次数据增广过程中，其变换的幅度为指定范围内的随机值；其中，旋转变换的角度范围为-30°～+30°；平移变换包括水平平移变换和垂直平移变换，其平移的距离范围分别为子图像的宽度的0～0.3倍；错切变换包括水平错切变换和垂直错切变换，其变换方向为逆时针方向的剪切变换角度，变换角度的范围为0°～30°；放缩变换的倍数的取值范围为0.8～1.2，放缩方式为等比例放缩；

S2、搭建卷积神经网络模型：

搭建由两个卷积层、两个池化层和三个全连接层构成的卷积神经网络模型，其中：

所述的卷积层所含卷积核大小设置为3×3，步长为1，填充层数为1；

所述的池化层方式为最大池化，大小为2×2，步长为2；

所述的全连接层中的第一个全连接层的神经元个数为128，第二个全连接层的神经元个数为64，第三个全连接层的神经元个数为2；

采用交叉熵损失函数计算损失值，其公式如下：

其中，n表示训练时的小批量样本数量，其取值范围为2¹～2⁵，x表示图像数据样本的特征值，y表示人工标注的标签，y’表示网络模型预测的输出；

采用Relu函数Max(z，0)作为卷积神经网络激活函数，其中z为输入的神经元；优化器设置为Adam优化器，学习率的取值范围为1e-3～1e-4；

S3、训练卷积神经网络模型，以得到最终的算法模型：

利用所述的训练集对所述的卷积神经网络模型进行多个轮次的训练，并在每个轮次的训练结束后保存卷积神经网络模型，然后利用所述的验证集对保存的卷积神经网络模型的性能进行检测，并用准确率作为评价算法性能的标准，所述的准确率的计算公式为

式中，TP为预测正确的正样本数量，FP为预测错误的正样本数量，TN为预测正确的负样本数量，FN为预测错误的负样本数量；其中，所述的轮次的值由验证集检测的结果确定，若训练集误差降低，但验证集误差升高，则停止训练；停止训练后，将保存的网络模型按照准确率由高到低排序，保留前五个网络模型；

最后将所述的测试集分别送入保留的五个网络模型中进行测试，然后按照测试的准确率由高到低进行排序，将准确率最高的网络模型作为最终的算法模型；

S4、利用所述的算法模型对待检测的裂缝图像进行检测，具体过程如下：

若待检测的裂缝图像的尺寸大于或小于S1中所述的滑动窗口的尺寸的5倍，则将待检测的裂缝图像进行等比放缩至滑动窗口的尺寸的5倍，然后按照S1之(1)中所述的方法采集待检测的子图像，最后将其送入所述的算法模型中进行检测，即可得到检测结果。

Images