CN109816636A - 一种基于智能终端的裂缝检测方法 - Google Patents

Abstract

本发明实施例公开了一种基于智能终端的裂缝检测方法，所述方法包括：创建基于深度学习的道路裂缝图像的训练集和验证集；利用训练集和验证集训练深度神经网络大模型；将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果；对深度神经网络小模型进行剪枝，得到剪枝后的深度神经网络模型；利用TensorFlow Lite将剪枝后的深度神经网络模型迁移到智能终端上；将智能终端中的道路裂缝图像导入到剪枝后的深度神经网络模型中进行检测，并输出裂缝图像。本发明方法可准确地自动对裂缝进行检测，具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点。

Description

一种基于智能终端的裂缝检测方法

技术领域

本发明涉及结构健康检测与评估领域，尤其涉及一种本发明涉及结构健康检测与评估领域，尤其是涉及一种基于智能手机对结构表面裂缝进行自动化检测的方法。

背景技术

随着全国范围内公路路网的建成，公路建设得到了迅速发展。车辆在路面上行驶，对路面的完好率和平整度要求提高，如果路面出现凹凸和裂缝等情况，会严重影响道路的寿命以及行车的安全，需要定期的对其健康状况作出评估，因此对道路和桥梁裂缝进行检测有着至关重要的作用。

目前，道路桥梁的裂缝检测方法主要是基于传统的图像处理算法和人眼识别。单单依靠人眼进行裂缝检测与识别，效率不高。采用图像处理方法，主要是针对同一材质和纹理背景图像进行裂缝检测，无法对彩色图像直接进行裂缝检测。基于深度学习框架的道路裂缝检测可以实现对彩色图像的裂缝检测处理，可以实现端到端的图像处理，无需卷积神经网路的滑块处理。此外，基于深度学习框架的道路裂缝检测方法，主要依赖于PC端处理，因此这种现象无形之中给道路检测人员增加了负担，降低了效率。因此，如何提高路面裂缝检测的监测效率和效果，是路面裂缝检测领域需要攻克的技术难题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于智能终端的裂缝检测方法。可解决人眼观察和图像处理裂缝检测中定位精度不高，误差大等问题。

为了解决上述技术问题，本发明实施例提供了一套基于智能终端的裂缝检测方法，该方法具体包括以下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和验证集；

S2、利用训练集和验证集训练深度神经网络大模型；

S3、将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果；

S4、对深度神经网络小模型进行剪枝，得到剪枝后的深度神经网络模型；

S5、利用TensorFlow Lite将剪枝后的深度神经网络模型迁移到智能终端上；

S6、将智能终端中的道路裂缝图像导入到剪枝后的深度神经网络模型中进行检测，并输出裂缝图像。

进一步地，所述步骤S1具体包括：

S11、利用公共的裂缝图像数据集CFD和AigleRN以及其它的裂缝图像数据集，将裂缝图像分为训练集和验证集；

S12、利用智能终端采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，将数据增强后的裂缝图像库中的裂缝图像的裂缝区域实施标签标注，然后将裂缝图像库中的图像分为训练集和验证集。

更进一步地，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度神经网络卷积层的层数以及每个卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量、全连接层的层数和每个全连接层的特征图数量；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、平方损失函数等，以及激活函数的选择Relu，softmax，sigmoid等，在损失代价函数中加入权值衰减正则化项，同时在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法包括SGD，Adam等其它优化算法；

S23、所述深度神经网络中使用深度学习库包括Caffe、Tensorflow实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络大模型中的参数值。

更进一步地，所述步骤S3具体包括：

S31、根据所述步骤S21、S22和S23，利用训练集和验证集训练深度神经网络大模型，将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果；

S32、所述新建的深度神经网络小模型所包含的深度神经网络结构、训练策略以及深度学习库等，与所述步骤2完全一致；

S33、所述深度神经网路大模型的蒸馏方法如下：利用经过深度神经网络大模型产生的类概率分类作为“软目标”，去训练深度神经网络小模型；

其中，蒸馏方法公式是：

α·ymαx(0，z_t-z_s)+β·(1-y)max(0，z_s-z_t)

其中α和β为超参数，zt是深度神经网络大模型的logit，z_s是深度神经网络小模型的logit，y是数据的真实值。

更进一步地，所述步骤S4具体包括：

S41、根据所述步骤S31，S32和S33，将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果，并对深度神经网络小模型进行剪枝操作；

S42、所述对深度神经网络小模型剪枝操作的特征图通道选择公式为：

其中X_i是输入卷积量X的第i个通道的矩阵切片，W_i是滤波器权重W的第i个通道的滤波器切片，β_i是通道选择中的第i个通道的标量掩码的系数值；Y是输出的矩阵，cⁱ是剪枝中保留的通道，γ是超参数，N是采样的数量；当β_i＝0时，表示剪去X_i对应权重连接，剪去特征图通道；

S43、所述的剪枝操作主要是对深度神经网络小模型中卷积层中的特征图通道进行剪枝，剪去卷积层中不重要的特征图通道，降低维度；

S44、所述的剪枝操作，剪去卷积层中不重要的特征图通道选择，根据如下公式：

Subject tO||β||₀≤cⁱ

其中Z_i＝X_iW_i ^T，当β_i＝0时，忽略第i个通道；

S45、所述的剪枝后的深度神经网络模型格式为pb格式。

更进一步地，所述步骤S5具体包括：

S51、根据所述步骤S41，S42，S43，S44和S45，将深度神经网络小模型进行剪枝，得到剪枝后的深度神经网络模型；

S52、利用TensorflowLite，将剪枝后的深度神经网络模型迁移到智能终端上；

S53、在智能手机上实现模型调用的算法，包括界面开发，模型调用，实现裂缝图片数据格式转换，即从一个float32矩阵转换为智能终端能识别的图片格式。

更进一步地，所述步骤S6具体包括：

S61：所述智能终端中道路裂缝图像为智能终端实时拍摄或者从其他设备中导入的图像，以及通过智能终端从网络上下载的裂缝图像；

S62：所述剪枝后的深度神经网络模型经过TensorflowLite迁移到智能手机上，所述该智能终端上的软件可以调用智能终端中相册的图像，或者该软件可以调用打开智能终端摄像头，进行拍照，并对裂缝图像信息进行检测；

S63、所述软件界面显示裂缝图像信息和输出裂缝信息，并显示从图片读取到输出裂缝图像的所用时间。

所述本发明方法中智能终端为便于携带的具有图像采集功能、图像显示功能且能连接网络的智能设备，如智能手机、平板电脑、笔记本电脑。

实施本发明实施例，具有如下有益效果：可准确地自动对裂缝进行检测，具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点。

附图说明

图1是本发明一种基于智能终端的裂缝检测方法的流程图；

图2是本发明一实施例的深度神经网络大模型结构图；

图3是本发明一实施例的蒸馏方法后的深度神经网络小模型结构图；

图4是本发明一实施例的剪枝后的深度神经网络模型结构图；

图5是本发明一实施例的智能手机端软件界面的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例的实验环境为某实验楼、墙壁以及某条公路中的路面，均为室外环境。在本实施例中，裂缝图像的选取为室外环境的公开区域。

本实施例中使用含有Nvidia显卡的PC和Android智能手机。所采用的实施方法为Ubuntu方法，并搭建Tensorflow方法平台和Android开发环境，采用Tensorflow中的开源软件库和AndroidStudio界面开发环境，利用Java来实现的。

请参阅图1，本发明实施例提供的一种基于智能手机的裂缝检测方法，包括如下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和验证集。

本发明实例中采用公共的数据集CFD，此数据集含有118张原始彩色图像和118张标签数据图像，将训练集划分为6份：前5份中，每份含有20张原始彩色图像和相对应的20张标签数据图像，最后一份含有18张原始彩色图像和相对应的18张标签数据图像，采用交叉验证方法来训练。

同时，为了扩充图像数据量，对CFD数据集中的裂缝图像进行数据增强，本发明实例中对已分好的每份数据中的原始彩色图像和标签数据图像进行旋转、剪切来增加裂缝图像的数量。

S2、利用训练集和验证集训练深度神经网络大模型。

本发明实施例中所采用的深度神经网络模型基础为U－net模型，对此网络模型进行改进。本发明实施例所使用的深度神经网络大模型结构请参阅图2。

该深度神经网络大模型结构建立包括确定深度神经网络卷积层的层数和每个卷积层的特征图数、反卷积层的层数和每个反卷积层的特征图数、全连接层的层数和每个全连接层的特征图数、池化层的层数、卷积层所用的卷积核的大小、反卷积层所用的反卷积核的大小、池化层所用的采样核的大小，还有训练步长。

所述该深度神经网络大模型采用交叉验证的训练方法，对划分的6份数据进行训练，首先是第2，3，4，5，6份数据作为训练集进行训练，第1份数据作为验证集用来验证，其次第1，3，4，5，6份数据作为训练集进行训练，第2份数据作为验证集进行验证，以此类推，最后一次是第1，2，3，4，5份数据作为训练集用来训练，第6份数据作为验证集用来验证。

本发明实施例中深度神经网络大模型中的卷积层所采用的激活函数为ReLU，最后一层输出中采用sigmoid激活函数来输出logit，本发明实施例使用的损失函数公式为：

其中α和β是超参数，y_i是标签数据的真实值，是原始图像经过深度网络的预测值。同时本发明实施例使用A dam优化算法进行优化，学习率为0.001，来最小化损失函数。

本发明实例中所使用的深度神经网络的深度学习库为TensorFlow，利用该深度学习库，根据划分好的训练集和验证集来进行交叉验证，通过不断的减少损失函数来学习深度神经网络的参数，确定深度神经网络大模型中参数的值。

S3、将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果。

本发明实施例中所述新建的深度神经网络小模型所包含的深度神经网络结构、训练策略以及深度学习库等，与所述步骤2完全一。

深度神经网路大模型的蒸馏方法如下：利用经过深度神经网络大模型产生的类概率分类作为“软目标”，去训练深度神经网络小模型。

其中，蒸馏方法公式是：

α·ymax(0，z_t-Z_s)+β·(1-y)max(0，z_s-z_t)

其中α和β为超参数，z_t是深度神经网络大模型的logit，z_s是深度神经网络小模型的logit，y是数据的真实值。本发明实施例的深度神经网络小模型结构请参阅图3。

S4、对深度神经网络小模型进行剪枝，得到剪枝后的深度神经网络模型。

本发明实施例根据所述步骤S3，将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果，并对深度神经网络小模型进行剪枝操作；所述对深度神经网络小模型剪枝操作的特征图通道选择公式是：

其中X_i是输入卷积量X的第i个通道的矩阵切片，W_i是滤波器权重W的第i个通道的滤波器切片，β_i是通道选择中的第i个通道的标量掩码的系数值；Y是输出的矩阵，c′是剪枝中保留的通道，γ是超参数，N是采样的数量；当β_i＝0时，表示剪去X_i对应权重连接，剪去特征图通道。

本发明实施例中所述的剪枝操作主要是对深度神经网络小模型中卷积层中的特征图通道进行剪枝，剪去卷积层中不重要的特征图通道，降低维度。

本发明剪枝操作，剪去卷积层中不重要的特征图通道选择，根据如下公式：

Subject to||β||₀≤c′

其中Z_i＝X_iW_i ^T，当β_i＝0时，忽略第i个通道。

本发明实施例中的剪枝后的深度神经网络模型格式为pb格式，剪枝后的深度神经网络模型结构图如图4所示。

S5、利用TensorFlow Lite将剪枝后的深度神经网络模型迁移到智能终端上。

根据所述步骤S4，将深度神经网络小模型进行剪枝，得到剪枝后的深度神经网络模型。利用Tensorflow Lite，将剪枝后的深度神经网络模型迁移到智能手机上。

在智能手机上实现模型调用的算法，包括界面开发，模型调用，实现裂缝图片数据格式转换，即从一个float32矩阵转换为Android手机能识别的图片格式bitmap。

S6、将智能手机中的道路裂缝图像导入到剪枝后的深度神经网络模型中进行检测，并输出裂缝图像。

本发明实施例中所述智能手机中道路裂缝图像为手机实时拍摄或者从其他设备中导入的图像，以及通过智能手机从网络上下载的裂缝图像。

所述剪枝后的深度神经网络模型经过Tensorflow Lite迁移到智能手机上，所述该智能手机上的软件可以调用智能手机中相册的图像，或者该软件可以调用打开智能手机摄像头，进行拍照，并对裂缝图像信息进行检测。

所述软件界面显示裂缝图像信息和输出裂缝信息，并计算显示从图片读取到输出裂缝图像的所用时间，本发明实施例中软件设备界面如图5所示。

所述本实施例发明方法中智能手机为便于携带的具有图像采集功能、图像显示功能且能连接网络的智能手机。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种基于智能终端的裂缝检测方法，其特征在于，所述方法具体包括以下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和验证集；

S2、利用训练集和验证集训练深度神经网络大模型；

S3、将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果；

S4、对深度神经网络小模型进行剪枝，得到剪枝后的深度神经网络模型；

S5、利用TensorFlow Lite将剪枝后的深度神经网络模型迁移到智能终端上；

S6、将智能终端中的道路裂缝图像导入到剪枝后的深度神经网络模型中进行检测，并输出裂缝图像。

2.根据权利要求1所述的一种基于智能终端的裂缝检测方法，其特征在于，所述步骤S1具体包括：

S11、利用公共的裂缝图像数据集CFD和AigleRN以及其它的裂缝图像数据集，将裂缝图像分为训练集和验证集；

S12、利用智能终端采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，将数据增强后的裂缝图像库中的裂缝图像的裂缝区域实施标签标注，然后将裂缝图像库中的图像分为训练集和验证集。

3.根据权利要求2所述的一种基于智能终端的裂缝检测方法，其特征在于，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度神经网络卷积层的层数以及每个卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量、全连接层的层数和每个全连接层的特征图数量；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择包括交叉熵损失函数、平方损失函数之一，以及激活函数的选择包括Relu，softmax，sigmoid之一，在损失代价函数中加入权值衰减正则化项，同时在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法包括SGD，Adam等其它优化算法之一；

S23、所述深度神经网络中使用深度学习库包括Caffe、Tensorflow之一实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络大模型中的参数值。

4.根据权利要求3所述的一套基于智能终端的裂缝检测方法，其特征在于，所述步骤S3具体包括：

S31、根据所述步骤S21、S22和S23，利用训练集和验证集训练深度神经网络大模型，将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果；

S32、所述新建的深度神经网络小模型所包含的深度神经网络结构、训练策略以及深度学习库等，与所述步骤2完全一致；

S33、所述深度神经网路大模型的蒸馏方法如下：利用经过深度神经网络大模型产生的类概率分类作为软目标，去训练深度神经网络小模型；

其中，蒸馏方法的公式如下：

α·ymax(0，z_t-z_S)+β·(1-y)max(0，z_s-z_t)

其中α和β为超参数，z_t是深度神经网络大模型的logit，z_s是深度神经网络小模型的logit，y是数据的真实值。

5.根据权利要求4所述的一种基于智能终端的裂缝检测方法，其特征在于，所述步骤S4具体包括：

S41、根据所述步骤S31，S32和S33，将训练好的深度神经网络大模型利用蒸馏方法指导新建的深度神经网络小模型进行训练，得到深度神经网络小模型的输出结果，并对深度神经网络小模型进行剪枝操作；

S42、所述对深度神经网络小模型剪枝操作的特征图通道选择公式如下：

其中X_i是输入卷积量X的第i个通道的矩阵切片，W_i是滤波器权重W的第i个通道的滤波器切片，β_i是通道选择中的第i个通道的标量掩码的系数值；Y是输出的矩阵，c′是剪枝中保留的通道，γ是超参数，N是采样的数量；当β_i＝0时，表示剪去X_i对应权重连接，剪去特征图通道；

S43、所述的剪枝操作主要是对深度神经网络小模型中卷积层中的特征图通道进行剪枝，剪去卷积层中不重要的特征图通道，降低维度；

S44、所述的剪枝操作，剪去卷积层中不重要的特征图通道选择，根据如下公式：

其中Z_i＝X_iW_i ^T，当β_i＝0时，忽略第i个通道；

S45、所述的剪枝后的深度神经网络模型格式为pb格式。

6.根据权利要求5所述的一套基于智能终端的裂缝检测方法，其特征在于所述步骤S5具体包括：

S51、根据所述步骤S41，S42，S43，S44和S45，将深度神经网络小模型进行剪枝，得到剪枝后的深度神经网络模型；

S52、利用Tensorflow Lite将剪枝后的深度神经网络模型迁移到智能终端上；

S53、在智能终端上实现模型调用的算法，包括界面开发，模型调用，实现裂缝图片数据格式转换。

7.根据权利要求6所述的一种基于智能终端的裂缝检测方法，其特征在于，所述步骤S6具体包括：

S61、所述智能终端中道路裂缝图像为智能终端实时拍摄或者从其他设备中导入的图像，以及通过智能终端从网络上下载的裂缝图像；

S62、所述剪枝后的深度神经网络模型经过Tensorflow Lite迁移到智能终端上，所述该智能终端上的软件可以调用智能终端中相册的图像，或者该软件可以调用打开智能终端的摄像头，进行拍照，并对裂缝图像信息进行检测；

S63、所述软件界面显示裂缝图像信息和输出裂缝信息，并显示从图片读取到输出裂缝图像的所用时间。

8.根据权利要求1所述的一种基于智能终端的裂缝检测方法，其特征在于，所述智能终端为便于携带的具有图像采集功能、图像显示功能且能连接网络的智能设备。