CN110060251A - 一种基于U-Net的建筑物表面裂纹检测方法 - Google Patents

Abstract

本发明涉及一种基于U‑Net的建筑物表面裂纹检测方法。首先使用相机和无人驾驶飞行器收集30张包含裂纹原始图像；然后在每个原始图像中标记裂缝区域并将注释保存为灰度图标签文件；之后对图像进行预处理后，选取其中的200张图像作为数据集，按比例随机分成训练集、验证集和测试集；采用数据增强方法对制作好的数据集进行处理，再将其送入U‑net网络进行训练，经过30轮迭代训练后，U‑net模型在测试集上的准确率为99.56%；最后利用训练好的模型进行裂纹检测。本发明能够适应不同条件下的裂纹检测，并且省去布置大量传感器的繁琐，能够自动准确的对裂纹进行识别检测，对于提升建筑物表面裂纹检测的准确率和效率有重要作用。

Description

一种基于U-Net的建筑物表面裂纹检测方法

技术领域

本发明属于检测方法领域，尤其涉及一种基于U-Net的建筑物表面裂纹检测方法。

背景技术

建筑物损坏除了会造成维护工期、材料、人工、成本的增加，还会影响民用基础设施整体运营效率并造成安全隐患。这些损害很大一部分表现为表面的裂缝或破损，一方面容易造成意外事故的发生，另一方面表明结构内部有隐患存在，如不及时采取措施，可能造成极为严重的后果。对此解决的办法是通过建立各种法规，研究结构无损检测技术，确定结构的安全性和耐久性是否满足使用要求，并在此基础上及时地采取补强、加固等处理措施以提高建筑物结构的安全性，延长其使用年限。

过去的民用基础设施表面缺陷检测主要是通过人工实地考察获得，这种方法虽然能准确的获取建筑物表面缺陷情况，但是工作效率低，费用高且危险位置人工无法到达。因此对民用基础设施进行自动化的表面缺陷检测具有十分重要的理论意义和应用价值。目前，已经提出了多种采用图像处理技术的自动裂缝检测方法来代替人工的缺陷检测方法。对于普通的感觉系统，如光纤传感器系统，难以确保通过众多传感器获得的数据来表示实际结构缺陷，因为噪声信号或感觉系统故障可能导致误检测。与常用的传感系统相比，基于图像分割的方法能够在条件复杂的情况下识别绝大多数的表面缺陷，从而显著降低成本并获得理想的结果。

近年来，深度卷积神经网络（CNN）在图像分类领域取得了巨大成功，吸引了众多研究小组。本发明提出的一种基于U-Net的建筑物表面裂纹检测方法，U-Net采用的是一个包含下采样和上采样的网络结构。下采样用来进行特征提取，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。

发明内容

本发明的目的在于提供一种基于U-Net的建筑物表面裂纹检测方法，该方法能够适应不同条件下的裂纹检测，并且省去布置大量传感器的繁琐，能够自动准确的对裂纹进行识别检测，对于提升建筑物表面裂纹检测的准确率和效率有重要作用。

为实现上述目的，本发明的技术方案是：一种基于U-Net的建筑物表面裂纹检测方法，包括如下步骤：

步骤S1、图像采集：使用相机和无人驾驶飞行器收集30张包含裂纹的建筑物原始图像；

步骤S2、图像注释：使用支持语义和实例分割的图形图像注释工具LabelMe，在每个原始图像中标记裂缝区域并将注释保存为JSON文件，然后将这些JSON文件转换为灰度图标签文件，其中裂纹区域赋予像素值1，背景区域赋予像素值0；

步骤S3、图像预处理：将每个原始图像和对应的标签分别随机剪成100个，变成512×512像素分辨率的图片；选取200张图像作为初步数据集，按比例随机分成训练集、验证集和测试集；

步骤S4、模型训练：采用Keras框架实现U-Net系统，并在Anaconda平台下，将制作好的数据集送入U-Net网络进行训练，训练完成后将模型进行保存；

步骤S5、利用模型进行裂纹检测：使用改进的U-Net模型来进行裂纹提取任务，将待检测的裂纹图片输入U-Net模型，输入与输出图像的像素大小为512×512，输出是显示每个像素类别的掩模图像。

在本发明一实施例中，在步骤S1中，所述建筑物原始图像的分辨率为3024×4032像素或3456×4608像素。

在本发明一实施例中，在步骤S3中，在选取200张图像作为初步数据集前，需将边界模糊、标记错误的数据集删掉，而后再选取200张图像作为初步数据集，其中，70％的数据集用于训练，15％的数据集用于验证，15％的数据集用于测试。

在本发明一实施例中，在步骤S4中，通过自定义函数以预定概率对图像进行转换，并使用Keras框架为网络提供数据时实现强大的实时数据增强功能，具体的采用旋转、翻转、缩放和移位导致裂缝的位移、剪切，使得裂缝略微变形，并且通过伽马变换改变图像亮度，通过上述操作以提高网络的泛化能力。

在本发明一实施例中，在步骤S4中，在卷积层中使用零填充以确保卷积层的输入图像和输出图像的尺寸保持不变。

在本发明一实施例中，在步骤S4中，通过反向传播更新模型参数时，利用Adam梯度下降优化算法提高模型的收敛速度。

在本发明一实施例中，在步骤S5中，通过设置阈值为0.5将输入图像转换为二进制图像，即将小于阈值的像素值设置为0，否则，设置为1，输出时，将所有像素值乘以255即可获得可见的预测掩模。

相较于现有技术，本发明具有以下有益效果：与传统的图像处理方法相比，本发明提出的一种基于U-Net的建筑物表面裂纹检测方法有如下几个优点：

（1）U-Net系统结构无需进行特征提取，并且通过常用方法获得小数据集即可提高分割精度；

（2）使用零填充来避免收缩路径和扩展路径的所有卷积层收缩。选择采用Adam优化器取代随机梯度下降（SGD），加快模型训练的收敛速度；

（3）能够适用于不同条件下的裂纹检测；传统的图像处理方法容易受到光照条件变化、背景干扰等外部环境变化的影响，而对于基于U-Net的建筑物表面裂纹检测方法来说，所提出的方法无需进行后处理，在各种复杂背景下都能达到可接受的精度，优于传统的边缘检测方法；

（4）采用数据增强来避免过拟合，从而确保网络在小型数据库上的鲁棒性和不变性。通过自定义函数对图像进行一定概率的变换，并使用Keras框架实现U-Net网络，实现强大的实时数据增强。

附图说明

图1是本发明实施例中整体流程示意图；

图2是本发明实施例U-Net系统方法流程示意图；

图3是本发明实施例中方法与其他边缘检测算法得到的检测效果对比；

图4是利用本发明实施例方法在裂纹较为明显情况下的原图和检测结果图；

图5是利用本发明实施例方法在存在背景干扰情况下的原图和检测结果图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明首先构建一个小数据集。在各种条件下获得了包含不同类型裂缝的总共30个原始图像，以增强神经网络的适应性。对原始图像注释后，裁剪成512×512像素分辨率的小补丁图像，用于训练、验证和测试过程。利用改进的U-net的强大网络架构来检测建筑物表面的裂缝。我们的网络输入图片大小采用512×512像素，输出是显示每个像素类别的掩模图像。使用滑动窗口技术，模型可以处理较大尺寸的图像。本发明提出的无后处理的方法在各种复杂背景下实现了可接受的精度，并且优于传统的边缘检测方法。

具体的本发明提供了一种基于U-Net的建筑物表面裂纹检测方法，包括如下步骤：

步骤S1、图像采集：使用iPhone 7相机和无人驾驶飞行器收集30张包含裂纹的建筑物原始图像；

步骤S2、图像注释：使用支持语义和实例分割的图形图像注释工具LabelMe，在每个原始图像中标记裂缝区域并将注释保存为JSON文件，然后将这些JSON文件转换为灰度图标签文件，其中裂纹区域赋予像素值1，背景区域赋予像素值0；

步骤S3、图像预处理：将每个原始图像和对应的标签分别随机剪成100个，变成512×512像素分辨率的图片；选取200张图像作为初步数据集，按比例随机分成训练集、验证集和测试集；

步骤S4、模型训练：采用Keras框架实现U-Net系统，并在Anaconda平台下，将制作好的数据集送入U-Net网络进行训练，训练完成后将模型进行保存；

步骤S5、利用模型进行裂纹检测：使用改进的U-Net模型来进行裂纹提取任务，将待检测的裂纹图片输入U-Net模型，输入与输出图像的像素大小为512×512，输出是显示每个像素类别的掩模图像。

其中，在步骤S1中，采集到的图像包含有裂纹和无裂纹两种类型的图像数据。图像数据集中，每一图像数据的的分辨率3024×4032像素或3456×4608像素。

在步骤S3当中，将预处理后的图片进行筛选，将边界模糊、标记错误的数据集删掉，最后使用200个图像作为我们的初步数据集。70％的数据集用于训练，15％的数据集用于验证，剩余的15％用于测试。

在步骤S4当中，使用Anaconda科学平台和Keras框架（使用TensorFlow作为后端）在Intel Core i5-4430 CPU的计算机中实现U-net网络。在卷积层，设定正常的初始值以加快网络训练过程。从以0为中心的截断正态分布中抽取样本，标准差为，其中是权重张量中的输入单位数。训练50次大约需要30个小时。根据Keras ModelCheckpoint监控的数量保存最新的最佳模型。

在步骤S4中，使用零填充来避免收缩路径和扩展路径的所有卷积层收缩。

在步骤S4中，选择采用Adam优化器而不是随机梯度下降（SGD），因为它的收敛速度更快。

修改的U-net的输出是与输入图像大小相同的图像，其中每个像素值在范围（0,1）内并且表示裂缝或背景的概率。

在步骤S5中，在CPU上，512×512像素图像的检测大约需要7秒。通过设置阈值为0.5将其转换为二进制图像。将小于阈值的像素值设置为0，否则，设置为1。将所有像素值乘以255以获得可见的预测掩模。

在一个应用本实施例方法的具体案例中：

如图1所示，本方法所使用的U-Net网络，它由左半边的压缩通道（Contracting Path）和右半边扩展通道（Expansive Path）组成，因结构清晰优雅呈U状而得名。压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层和1个最大池化层的结构，每进行一次池化操作后特征图的维数就增加1倍。在扩展通道，先进行1次反卷积操作，使特征图的维数减半，然后拼接对应压缩通道裁剪得到的特征图，重新组成一个2倍大小的特征图，再采用2个卷积层进行特征提取，并重复这一结构。在最后的输出层，用2个卷积层将64维的特征图映射成 2 维的输出图。

如图2所示，利用注释工具将采集到的图像进行注释，将图像裁剪后按照一定比例随机分为训练集、测试集和验证集。利用交叉熵函数和Adam优化算法来提高收敛速度，然后送入U-Net模型中，得到最终的结果。

使用Anaconda科学平台和Keras框架（使用TensorFlow作为后端）在Intel Corei5-4430 CPU的计算机中实现解释的网络。在卷积层，正常初始值设定项用于加快训练过程。它从以0为中心的截断正态分布中抽取样本，标准差为，其中是权重张量中的输入单位数。训练50次大约需要30个小时。根据Keras Model Checkpoint监控的数量保存最新的最佳模型。

图3、图4、图5即为最终的结果示例图。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于深度学习的裂纹检测方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种基于U-Net的建筑物表面裂纹检测方法，其特征在于，包括如下步骤：

步骤S1、图像采集：使用相机和无人驾驶飞行器收集30张包含裂纹的建筑物原始图像；

步骤S2、图像注释：使用支持语义和实例分割的图形图像注释工具LabelMe，在每个原始图像中标记裂缝区域并将注释保存为JSON文件，然后将这些JSON文件转换为灰度图标签文件，其中裂纹区域赋予像素值1，背景区域赋予像素值0；

步骤S3、图像预处理：将每个原始图像和对应的标签分别随机剪成100个，变成512×512像素分辨率的图片；选取200张图像作为初步数据集，按比例随机分成训练集、验证集和测试集；

步骤S4、模型训练：采用Keras框架实现U-Net系统，并在Anaconda平台下，将制作好的数据集送入U-Net网络进行训练，训练完成后将模型进行保存；

步骤S5、利用模型进行裂纹检测：使用改进的U-Net模型来进行裂纹提取任务，将待检测的裂纹图片输入U-Net模型，输入与输出图像的像素大小为512×512，输出是显示每个像素类别的掩模图像。

2.根据权利要求1所述的一种基于U-Net的建筑物表面裂纹检测方法，其特征在于，在步骤S1中，所述建筑物原始图像的分辨率为3024×4032像素或3456×4608像素。

3.根据权利要求1所述的一种基于U-Net的建筑物表面裂纹检测方法，其特征在于：在步骤S3中，在选取200张图像作为初步数据集前，需将边界模糊、标记错误的数据集删掉，而后再选取200张图像作为初步数据集，其中，70％的数据集用于训练，15％的数据集用于验证，15％的数据集用于测试。

4.根据权利要求1所述的一种基于U-Net的建筑物表面裂纹检测方法，其特征在于：在步骤S4中，通过自定义函数以预定概率对图像进行转换，并使用Keras框架为网络提供数据时实现强大的实时数据增强功能，具体的采用旋转、翻转、缩放和移位导致裂缝的位移、剪切，使得裂缝略微变形，并且通过伽马变换改变图像亮度，通过上述操作以提高网络的泛化能力。

5.根据权利要求1所述的一种基于U-Net的建筑物表面裂纹检测方法，其特征在于：在步骤S4中，在卷积层中使用零填充以确保卷积层的输入图像和输出图像的尺寸保持不变。

6.根据权利要求1所述的一种基于U-Net的建筑物表面裂纹检测方法，其特征在于：在步骤S4中，通过反向传播更新模型参数时，利用Adam梯度下降优化算法提高模型的收敛速度。

7.根据权利要求1所述的一种基于U-Net的建筑物表面裂纹检测方法，其特征在于：在步骤S5中，通过设置阈值为0.5将输入图像转换为二进制图像，即将小于阈值的像素值设置为0，否则，设置为1，输出时，将所有像素值乘以255即可获得可见的预测掩模。