CN115393727B - 一种路面线性裂缝识别方法、电子设备及存储介质 - Google Patents

Abstract

一种路面线性裂缝识别方法、电子设备及存储介质，属于道路工程检测技术领域。为解决路面线性裂缝识别时准确率不高的问题。本发明采用线结构光三维扫描技术，采集路面线性裂缝的三维图像，然后从采集到的路面线性裂缝的三维图像中提取路面线性裂缝的尺寸数据、路面深度数据，根据路面线性裂缝的尺寸数据，利用计算机模拟生成尺寸相同的图像，然后采用随机生成算法，构建路面线性裂缝标准数据集；构建基于知识蒸馏技术的轻量化深度学习网络模型，对路面线性裂缝标准数据集的训练集进行训练，然后对路面线性裂缝标准数据集的测试集进行路面线性裂缝识别。本发明提高裂缝识别准确率和速度，简单易实现，占用计算资源少，普适性强。

Description

一种路面线性裂缝识别方法、电子设备及存储介质

技术领域

本发明属于道路工程检测技术领域，具体涉及一种路面线性裂缝识别方法、电子设备及存储介质。

背景技术

道路在通车使用一段时间后，路面会出现早期病害，常见的早期病害包括线性裂缝、坑槽、车辙、松散、表面破损。线性裂缝是路面各类病害中最常见、最易发生和最早期产生的病害，伴随着道路的整个使用期限，并随着路龄的增长而加重。道路线性裂缝的危害不仅仅是影响路容美观和行车舒适度，如果不及时进行密封修补，会导致雨水和其它杂物沿线性裂缝进入面层结构与路基对道路造成结构性的破坏，致使路面承载能力下降，加速路面局部或成片损坏，缩短道路的使用寿命。

为了对路面线性裂缝病害进行及时修复，需要及时开展路面线性裂缝的检测工作。传统的路面病害检测方法基本是基于视觉的方式，包括人工检测、机器检测的方式。

人工检测：人工检测一般通过人员驾驶车辆或步行的方式，通过人眼观察，进行病害的发现和拍照，并采用测量工具，对路面线性裂缝的尺寸进行测量和记录。此类检测方式效率低、成本高，遇到路面线性裂缝病害较多时，人工检测难以准确、全面的记录病害情况。同时，人工检测过程中，需要停车记录，影响后面车辆的通行，对检测人员也存在安全隐患。

机器检测：机器检测是巡检车通过安装在车上的相机进行图像的采集，然后进行路面线性裂缝的识别，此过程不需要人工对路面线性裂缝病害进行识别，直接通过计算机视觉的方式，实现对病害的识别和病害尺寸的测算。机器对路面线性裂缝的检测识别主要包含两个方面：

1.基于数字图像处理的方式：主要由人工判别特征，利用频率﹑边缘﹑灰度﹑纹理等众多特征规律，设计特征识别条件以完成识别；

2.基于深度学习的方式：通过建立卷积网络并利用卷积网络自动寻找数据的特征，卷积网络按一定规律不断自我调整以实现输入数据输出时等于或逼近标签。

基于机器检测的方式对路面裂缝病害进行识别时，虽然算法相对成熟，但由于路面采集的二维图像质量易受到光照、阴影、环境、遮挡因素的影响，图像质量难以保障，基于深度学习的路面裂缝识别准确率有待提高。

公开号为CN202110732505.7、发明名称为“一种基于R-CNN的复杂路面裂缝识别方法”提出了一种基于深度学习网络对路面裂缝智能识别的方法，通过特征金字塔网络的构建，提高检测精度，进而提高裂缝的识别效果。然而，上述方法的裂缝识别结果依赖于采集图像质量的影响，未能解决图像质量较差时，裂缝的高准确率识别。而实际检测车工作环境下，外界环境对图像的高质量采集往往会产生较大影响。同时，数据集的构建采用实际采集的图像，成本高、费时、费力。

公开号为CN201310573077.3、发明名称为“基于相机与线激光器的路面裂缝识别装置及其识别方法”提出了一种基于相机与线激光器的路面裂缝识别方法，使用基于相机与线激光器的路面裂缝识别装置，此方法智能化水平不高，且未考虑车辆行驶过程中的颠簸对采集数据的影响。

发明内容

本发明要解决的问题是基于二维图像和深度学习进行路面线性裂缝识别时准确率不高的问题，提出一种路面线性裂缝识别方法、电子设备及存储介质。

为实现上述目的，本发明通过以下技术方案实现：

一种路面线性裂缝识别方法，包括如下步骤：

S1、采用线结构光三维扫描技术，采集路面线性裂缝的三维图像，然后从采集到的路面线性裂缝的三维图像中提取路面线性裂缝的尺寸数据、路面深度数据，以路面深度数据作为像素位置的像素值，采用像素标准化方法，将路面线性裂缝的三维图像的像素值映射到0-255之间；

S2、根据步骤S1得到的路面线性裂缝的尺寸数据，利用计算机模拟生成尺寸相同的图像，然后采用随机生成算法，构建路面线性裂缝标准数据集；

S3、将步骤S2构建的路面线性裂缝标准数据集分为路面线性裂缝标准数据集的训练集、验证集、测试集，构建基于知识蒸馏技术的轻量化深度学习网络模型，对路面线性裂缝标准数据集的训练集进行训练，然后对路面线性裂缝标准数据集的测试集进行路面线性裂缝识别。

进一步的，所述构建路面线性裂缝标准数据集的具体实现方法包括如下步骤：

S2.1、根据步骤S1得到的路面线性裂缝的尺寸数据为标准，利用计算机模拟生成尺寸相同的图像，得到计算机模拟生成图像；

S2.2、采集计算机模拟生成图像中线性裂缝长度数据，进行统计，确定线性裂缝长度L的最大值Lmax、线性裂缝长度L的最小值Lmin，构建线性裂缝的长度区间为：

L∈(Lmin，Lmax)

然后对线性裂缝控制点与线性裂缝长度进行统计分析，得到线性裂缝控制点的数量与线性裂缝长度的关系；

S2.3、采集计算机模拟生成图像中线性裂缝宽度数据，进行统计，确定线性裂缝宽度WL的最大值WLmax、线性裂缝宽度WL的最小值WLmin，构建线性裂缝的宽度区间为：

WL∈(WLmin，WLmax)；

S2.4、采用随机生成算法，设置随机生成线性裂缝的第一个控制点的坐标范围为P₁=( x ₁， y ₁)， x ₁∈(2w/5，3w/5)， y ₁∈(2h/5，3h/5)；

其中，w为计算机模拟生成图像的宽度，h为计算机模拟生成图像的高度；

S2.5、采用随机生成算法，以第一个控制点的位置为基准点，结合路面线性裂缝的发育规律，随机生成控制点的位置坐标；

S2.6、采用线段连接的方式，绘制并输出线性裂缝图像，线性裂缝的宽度采用控制点宽度线性内插的方式确定。

进一步的，步骤S2.1中计算机模拟生成图像的坐标格式如下：以计算机模拟生成图像的左上角顶点为坐标原点，设定向右方向为x轴正方向，向下方向为y轴正方向，得到计算机模拟生成图像中第i个线性裂缝控制点的坐标P_i为：

P_i=( x _i， y _i)

其中， x _i 为第i个线性裂缝控制点的x轴坐标， y _i为第i个线性裂缝控制点的y轴坐标，控制点的个数为n。

进一步的，步骤S2.2中线性裂缝控制点的数量与线性裂缝长度的关系为：

当0≤L≤1.2m时，n的个数为5-10个；

当1.2m<L≤2.5m时，n的个数为11-15个；

当L>2.5m时，n的个数为16-18个。

进一步的，步骤S2.5随机生成控制点的位置坐标的方法为：对于n个控制点，按照从1到n的顺序生成控制点的位置坐标，控制点生成过程中满足以下关系式：

( x _i+1- x _i) ( x _i+2- x _i+1)>0 i∈(1，n-2)

( y _i+1- y _i) ( y _i+2- y _i+1)>0 i∈(1，n-2) 。

进一步的，步骤S2中路面线性裂缝标准数据集中的图像数量为50000张。

进一步的，步骤S3的具体实现方法包括如下步骤：

S3.1、基于步骤S2的路面线性裂缝标准数据集构建50000个样本数据，对样本数据进行标注，得到标注样本数据；

S3.2、将步骤S3.1的标注样本数据划分为训练集30000个样本数据、验证集10000个样本数据、测试集10000个样本数据；

S3.3、构建基于知识蒸馏技术的轻量化深度学习网络模型， YOLO V5定义为教师模型，学生模型的网络宽度设计为教师模型的网络宽度的1/8，即学生模型为将YOLO V5的网络每层卷积层的通道数减少为原来的1/8；

S3.4、利用激活函数对教师模型、学生模型进行修正，修正后的模型为：

其中，为神经网络输出层j的预测输出，T为温度系数，为修正后的模型；

S3.5、构建学生模型的损失函数：

S3.5.1、将训练集输入至教师模型中，得到教师模型的预测输出为Zt，将Zt代入步骤S3.4得到修正后的教师模型为q_t；

S3.5.2、将训练集输入至学生模型中，得到学生模型的预测输出为Zs，将Zs代入步骤S3.4得到修正后的学生模型为q_s；

S3.5.3、基于教师模型的预测输出Zt以及学生模型的预测输出Zs，构建教师模型与学生模型的交叉熵损失函数L_s，L_s的公式为：

；

S3.5.4、基于步骤S3.1的标注样本数据以及学生模型的预测输出Zs，构建标注样本数据与学生模型的交叉熵损失函数L_h，L_h的公式为：

；

其中，p为标注后的路面线性裂缝标准数据集中的数据；

S3.5.5、构建整体损失函数 L _loss ， L _loss 的公式为：

其中，A为加权系数；

S3.6、采用训练集、测试集、验证集中的数据，对基于知识蒸馏技术的轻量化深度学习网络模型进行参数训练，其中，先用训练集中的数据进行初次训练，确定基于知识蒸馏技术的轻量化深度学习网络模型中的权重和偏置参数，然后，采用验证集中的数据对确定的权重和偏置进行初步校核，然后，采用测试集中的数据对初步确定的权重和偏置，再次进行校核，完成对知识蒸馏技术的轻量化深度学习网络的训练；

采用训练后的知识蒸馏技术的轻量化深度学习网络模型，计算检测图像的特征数据与路面线性裂缝标准数据集中线性裂缝特征数据的置信度，设置目标检测的置信度阈值为0.8，当计算置信度达到0.8及以上时，图像匹配成功，即检测图像为线性裂缝；当计算置信度小于0.8时，检测图像中不包含线性裂缝。

进一步的，步骤S3.5中在参数训练的前三分之二时间，将A设为0.7，用于提高教师模型对训练结果的影响；参数训练的后三分之一时间，将A设为0.3，用于提高标注样本数据对训练结果的影响。

电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种路面线性裂缝识别方法的步骤。计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种路面线性裂缝识别方法。

本发明的有益效果：

本发明所述的一种路面线性裂缝识别方法，针对基于二维图像和深度学习进行裂缝识别时，准确率易受到图像质量的影响，且数据集的构建成本高、费时、费力的问题，提出采用三维图像进行裂缝识别，并且提出一种针对三维裂缝图像数据集的快速、低成本标准数据集的构建方法，实现数据集的快速、低成本构建，数据集中的样本数量可人为控制，且基于构建的数据集进行模型训练时，可有效降低的计算资源；

本发明所述的一种路面线性裂缝识别方法，针对现有深度学习网络较为复杂、计算所需资源多，提出一种基于知识蒸馏技术的轻量化深度学习网络，用于提高裂缝智能识别的速度，减少深度学习模型训练和识别过程中占用的计算资源，且识别准确率维持在较高水平；

本发明所述的一种路面线性裂缝识别方法，创新地提出了一种基于三维结构信息的路面线性裂缝识别方法，提高裂缝识别准确率和速度，简单易实现，占用计算资源少，普适性强。

附图说明

图1为本发明所述的一种路面线性裂缝识别方法的流程图；

图2为本发明所述的一种路面线性裂缝识别方法的构建路面线性裂缝标准数据集的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明，即所描述的具体实施方式仅仅是本发明一部分实施方式，而不是全部的具体实施方式。通常在此处附图中描述和展示的本发明具体实施方式的组件可以以各种不同的配置来布置和设计，本发明还可以具有其他实施方式。

因此，以下对在附图中提供的本发明的具体实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定具体实施方式。基于本发明的具体实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

为能进一步了解本发明的发明内容、特点及功效，兹例举以下具体实施方式，并配合附图详细说明如下 ：

具体实施方式一：

一种路面线性裂缝识别方法，包括如下步骤：

S1、采用线结构光三维扫描技术，采集路面线性裂缝的三维图像，然后从采集到的路面线性裂缝的三维图像中提取路面线性裂缝的尺寸数据、路面深度数据，以路面深度数据作为像素位置的像素值，采用像素标准化方法，将路面线性裂缝的三维图像的像素值映射到0-255之间；

进一步的，提高裂缝区域与非裂缝区域的对比度，实现线性裂缝特征的增强；采用自适应阈值法，对线性裂缝区域与非线性裂缝区域进行二值化划分；

S2、根据步骤S1得到的路面线性裂缝的尺寸数据，利用计算机模拟生成尺寸相同的图像，然后采用随机生成算法，构建路面线性裂缝标准数据集；

三维图像与二维图像存在差异，由于补充了深度信息，三维图像中的线性裂缝的视觉特征更加明显，图像特征更加简单。由于二维图像中的干扰信息更多，在进行数据集构建时，如果直接采用二维图像的数据集，会影响模型的训练效果。而如果通过实际采集三维图像的形式建立数据集，会极大增加人力和设备成本。因此，本实施方式提出通过采用随机生成算法，构建三维路面线性裂缝数据集。

基于对线性裂缝特性的分析可知，线性裂缝呈不规则形状，且裂缝的发育方向基本沿着集料间的胶浆，扩展方向稳定，因此，本实施方式采用多控制点方式，进行裂缝位置的确定。

进一步的，所述构建路面线性裂缝标准数据集的具体实现方法包括如下步骤：

S2.1、根据步骤S1得到的路面线性裂缝的尺寸数据为标准，利用计算机模拟生成尺寸相同的图像，得到计算机模拟生成图像；

进一步的，步骤S2.1中计算机模拟生成图像的坐标格式如下：以计算机模拟生成图像的左上角顶点为坐标原点，设定向右方向为x轴正方向，向下方向为y轴正方向，得到计算机模拟生成图像中第i个线性裂缝控制点的坐标P_i为：

P_i=（ x _i， y _i）

其中， x _i 为第i个线性裂缝控制点的x轴坐标， y _i为第i个线性裂缝控制点的y轴坐标，控制点的个数为n；

S2.2、采集计算机模拟生成图像中线性裂缝长度数据，进行统计，确定线性裂缝长度L的最大值Lmax、线性裂缝长度L的最小值Lmin，构建线性裂缝的长度区间为：

L∈(Lmin，Lmax)

其中，线性裂缝的长度需要考虑相机视野范围的影响，线性裂缝的长度不可超过相机拍摄图像的对角线长度。当实际线性裂缝长度超过相机图像的对角线长度时，直接选用相机图像的对角线长度作为线性裂缝的长度；

线性裂缝生成效果受到线性裂缝控制点数量的影响，控制点数量越多，生成线性裂缝形状的随机性更大，生成线性裂缝形状与实际线性裂缝形状的偏差可能会越大，即虚拟生成裂缝的写实性不强。而控制点数量越少，生成的线性裂缝越偏向于线性，与实际形状吻合度也不高。本实施方式中，控制点数量依据线性裂缝的长度信息进行确定；

然后对线性裂缝控制点与线性裂缝长度进行统计分析，得到线性裂缝控制点的数量与线性裂缝长度的关系；

进一步的，步骤S2.2中线性裂缝控制点的数量与线性裂缝长度的关系为：

当0≤L≤1.2m时，n的个数为5-10个；

当1.2m<L≤2.5m时，n的个数为11-15个；

当L>2.5m时，n的个数为16-18个；

S2.3、采集计算机模拟生成图像中线性裂缝宽度数据，进行统计，确定线性裂缝宽度WL的最大值WLmax、线性裂缝宽度WL的最小值WLmin，构建线性裂缝的宽度区间为：

WL∈(WLmin，WLmax)；

不同区域道路的服役状态存在差异，受到环境、荷载、材料、结构等因素的影响，线性裂缝的成因存在多样性，线性裂缝的宽度也存在差异。因此，线性裂缝的宽度基于实际调研情况对线性裂缝宽度的统计；

S2.4、采用随机生成算法，设置随机生成线性裂缝的第一个控制点的坐标范围为P₁=( x ₁， y ₁)， x ₁∈(2w/5，3w/5)， y ₁∈(2h/5，3h/5)；

其中，w为计算机模拟生成图像的宽度，h为计算机模拟生成图像的高度；

S2.5、采用随机生成算法，以第一个控制点的位置为基准点，结合路面线性裂缝的发育规律，随机生成控制点的位置坐标；

控制点生成过程中，考虑到线性裂缝的发育方向基本沿着集料间的胶浆，扩展方向稳定；

进一步的，步骤S2.5随机生成控制点的位置坐标的方法为：对于n个控制点，按照从1到n的顺序生成控制点的位置坐标，控制点生成过程中满足以下关系式：

( x _i+1- x _i) ( x _i+2- x _i+1)>0 i∈(1，n-2)

( y _i+1- y _i) ( y _i+2- y _i+1)>0 i∈(1，n-2)；

S2.6、采用线段连接的方式，绘制并输出线性裂缝图像，线性裂缝的宽度采用控制点宽度线性内插的方式确定；

进一步的，步骤S2中路面线性裂缝标准数据集中的图像数量为50000张；

S3、将步骤S2构建的路面线性裂缝标准数据集分为路面线性裂缝标准数据集的训练集、验证集、测试集，构建基于知识蒸馏技术的轻量化深度学习网络模型，对路面线性裂缝标准数据集的训练集进行训练，然后对路面线性裂缝标准数据集的测试集进行路面线性裂缝识别。

进一步的，融入线性裂缝的深度信息后，线性裂缝的特征更加明显，线性裂缝识别的难度降低。因此，采用轻量化的深度学习网络，即可实现线性裂缝的快速准确识别。本实施方式采用知识蒸馏技术，实现深度学习网络模型的压缩，实现轻量化神经网络模型的构建，降低模型延时、压缩网格参数；

进一步的，步骤S3的具体实现方法包括如下步骤：

S3.1、基于步骤S2的路面线性裂缝标准数据集构建50000个样本数据，对样本数据进行标注，得到标注样本数据；

S3.2、将步骤S3.1的标注样本数据划分为训练集30000个样本数据、验证集10000个样本数据、测试集10000个样本数据；

S3.3、构建基于知识蒸馏技术的轻量化深度学习网络模型，YOLO V5定义为教师模型，学生模型的网络宽度设计为教师模型的网络宽度的1/8，即学生模型为将YOLO V5的网络每层卷积层的通道数减少为原来的1/8；

进一步的，教师模型体积大，训练效果好，而学生模型体积小，但在教师模型预测结果的指导上，达到更好的训练效果；教师模型与学生模型是通过损失函数建立联系；

S3.4、利用激活函数对教师模型、学生模型进行修正，修正后的模型为：

其中，为神经网络输出层j的预测输出，T为温度系数，T的值为3，为修正后的模型；

S3.5、构建学生模型的损失函数：

S3.5.1、将训练集输入至教师模型中，得到教师模型的预测输出为Zt，将Zt代入步骤S3.4得到修正后的教师模型为q_t；

S3.5.2、将训练集输入至学生模型中，得到学生模型的预测输出为Zs，将Zs代入步骤S3.4得到修正后的学生模型为q_s；

S3.5.3、基于教师模型的预测输出Zt以及学生模型的预测输出Zs，构建教师模型与学生模型的交叉熵损失函数L_s，L_s的公式为：

；

S3.5.4、基于步骤S3.1的标注样本数据以及学生模型的预测输出Zs，构建标注样本数据与学生模型的交叉熵损失函数L_h，L_h的公式为：

；

其中，p为标注后的路面线性裂缝标准数据集中的数据；

S3.5.5、构建整体损失函数 L _loss ， L _loss 的公式为：

其中，A为加权系数；

进一步的，步骤S3.5中在训练前期，训练的前三分之二时间，将A设为0.7，用于提高教师模型对训练结果的影响；训练后期，训练的后三分之一时间，将A设为0.3，用于提高标注样本数据对训练结果的影响；

S3.6、采用训练集、测试集、验证集中的数据，对基于知识蒸馏技术的轻量化深度学习网络模型进行参数训练，其中，先用训练集中的数据进行初次训练，确定基于知识蒸馏技术的轻量化深度学习网络模型中的权重和偏置参数，然后，采用验证集中的数据对确定的权重和偏置进行初步校核，然后，采用测试集中的数据对初步确定的权重和偏置，再次进行校核，完成对知识蒸馏技术的轻量化深度学习网络的训练；

采用训练后的知识蒸馏技术的轻量化深度学习网络模型，计算检测图像的特征数据与路面线性裂缝标准数据集中线性裂缝特征数据的置信度，设置目标检测的置信度阈值为0.8，当计算置信度达到0.8及以上时，图像匹配成功，即检测图像为线性裂缝；当计算置信度小于0.8时，检测图像中不包含线性裂缝。

具体实施方式二：

电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现具体实施方式一所述的一种路面线性裂缝识别方法的步骤。

本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。 所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

具体实施方式三：

计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种路面线性裂缝识别方法。

本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。 所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明的关键点和欲保护点为：

1、一种针对三维线性裂缝深度学习训练的标准数据集的建立方法；

2、一种用于路面线性裂缝智能识别的基于知识蒸馏技术的轻量化深度学习网络；

3、一种可提高裂缝识别准确率、速度的基于三维结构信息的路面线性裂缝的数据集建立与识别方法。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然在上文中已经参考具体实施方式对本申请进行了描述，然而在不脱离本申请的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本申请所披露的具体实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本申请并不局限于文中公开的特定具体实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (6)

1.一种路面线性裂缝识别方法，其特征在于：包括如下步骤：

S1、采用线结构光三维扫描技术，采集路面线性裂缝的三维图像，然后从采集到的路面线性裂缝的三维图像中提取路面线性裂缝的尺寸数据、路面深度数据，以路面深度数据作为像素位置的像素值，采用像素标准化方法，将路面线性裂缝的三维图像的像素值映射到0-255之间；

S2、根据步骤S1得到的路面线性裂缝的尺寸数据，利用计算机模拟生成尺寸相同的图像，然后采用随机生成算法，构建路面线性裂缝标准数据集；

所述构建路面线性裂缝标准数据集的具体实现方法包括如下步骤：

S2.1、根据步骤S1得到的路面线性裂缝的尺寸数据为标准，利用计算机模拟生成尺寸相同的图像，得到计算机模拟生成图像；

步骤S2.1中计算机模拟生成图像的坐标格式如下：以计算机模拟生成图像的左上角顶点为坐标原点，设定向右方向为x轴正方向，向下方向为y轴正方向，得到计算机模拟生成图像中第i个线性裂缝控制点的坐标P_i为：

P_i＝(x_i，y_i)

其中，x_i为第i个线性裂缝控制点的x轴坐标，y_i为第i个线性裂缝控制点的y轴坐标，控制点的个数为n；

S2.2、采集计算机模拟生成图像中线性裂缝长度数据，进行统计，确定线性裂缝长度L的最大值Lmax、线性裂缝长度L的最小值Lmin，构建线性裂缝的长度区间为：

L∈(Lmin，Lmax)

然后对线性裂缝控制点与线性裂缝长度进行统计分析，得到线性裂缝控制点的数量与线性裂缝长度的关系；

步骤S2.2中线性裂缝控制点的数量与线性裂缝长度的关系为：

当0≤L≤1.2m时，n的个数为5-10个；

当1.2m<L≤2.5m时，n的个数为11-15个；

当L>2.5m时，n的个数为16-18个；

S2.3、采集计算机模拟生成图像中线性裂缝宽度数据，进行统计，确定线性裂缝宽度WL的最大值WLmax、线性裂缝宽度WL的最小值WLmin，构建线性裂缝的宽度区间为：

WL∈(WLmin，WLmax)；

S2.4、采用随机生成算法，设置随机生成线性裂缝的第一个控制点的坐标范围为P₁＝(x₁，y₁)，x₁∈(2w/5，3w/5)，y₁∈(2h/5，3h/5)；

其中，w为计算机模拟生成图像的宽度，h为计算机模拟生成图像的高度；

S2.5、采用随机生成算法，以第一个控制点的位置为基准点，结合路面线性裂缝的发育规律，随机生成控制点的位置坐标；

步骤S2.5随机生成控制点的位置坐标的方法为：对于n个控制点，按照从1到n的顺序生成控制点的位置坐标，控制点生成过程中满足以下关系式：

(x_i+1-x_i)(x_i+2-x_i+1)>0 i∈(1，n-2)

(y_i+1-y_i)(y_i+2-y_i+1)>0i∈(1，n-2)；

S2.6、采用线段连接的方式，绘制并输出线性裂缝图像，线性裂缝的宽度采用控制点宽度线性内插的方式确定；

S3、将步骤S2构建的路面线性裂缝标准数据集分为路面线性裂缝标准数据集的训练集、验证集、测试集，构建基于知识蒸馏技术的轻量化深度学习网络模型，对路面线性裂缝标准数据集的训练集进行训练，然后对路面线性裂缝标准数据集的测试集进行路面线性裂缝识别。

2.根据权利要求1所述的一种路面线性裂缝识别方法，其特征在于：步骤S2中路面线性裂缝标准数据集中的图像数量为50000张。

3.根据权利要求2所述的一种路面线性裂缝识别方法，其特征在于：步骤S3的具体实现方法包括如下步骤：

S3.1、基于步骤S2的路面线性裂缝标准数据集构建50000个样本数据，对样本数据进行标注，得到标注样本数据；

S3.2、将步骤S3.1的标注样本数据划分为训练集30000个样本数据、验证集10000个样本数据、测试集10000个样本数据；

S3.3、构建基于知识蒸馏技术的轻量化深度学习网络模型，引入教师模型和学生模型，YOLO V5定义为教师模型，学生模型的网络宽度设计为教师模型的网络宽度的1/8，即学生模型为将YOLO V5的网络每层卷积层的通道数减少为原来的1/8；

S3.4、利用激活函数对教师模型、学生模型进行修正，修正后的模型为：

其中，z_j为神经网络输出层j的预测输出，T为温度系数，q_j为修正后的模型；

S3.5、构建学生模型的损失函数：

S3.5.1、将训练集输入至教师模型中，得到教师模型的预测输出为Zt，将Zt代入步骤S3.4得到修正后的教师模型为q_t；

S3.5.2、将训练集输入至学生模型中，得到学生模型的预测输出为Zs，将Zs代入步骤S3.4得到修正后的学生模型为q_s；

S3.5.3、基于教师模型的预测输出Zt以及学生模型的预测输出Zs，构建教师模型与学生模型的交叉熵损失函数L_s，L_s的公式为：

L_s(Zs,Zt)＝-∑Zslog(Zt)；

S3.5.4、基于步骤S3.1的标注样本数据以及学生模型的预测输出Zs，构建标注样本数据与学生模型的交叉熵损失函数L_h，L_h的公式为：

L_h(Zs,p)＝-∑Zslogp；

其中，p为标注后的路面线性裂缝标准数据集中的数据；

S3.5.5、构建整体损失函数L_loss，L_loss的公式为：

L_loss＝AL_s(Zs,Zt)+(1-A)L_h(Zs,p)

其中，A为加权系数；

S3.6、采用训练集、测试集、验证集中的数据，对基于知识蒸馏技术的轻量化深度学习网络模型进行参数训练，其中，先用训练集中的数据进行初次训练，确定基于知识蒸馏技术的轻量化深度学习网络模型中的权重和偏置参数，然后，采用验证集中的数据对确定的权重和偏置进行初步校核，然后，采用测试集中的数据对初步确定的权重和偏置，再次进行校核，完成对知识蒸馏技术的轻量化深度学习网络的训练；

采用训练后的知识蒸馏技术的轻量化深度学习网络模型，计算检测图像的特征数据与路面线性裂缝标准数据集中线性裂缝特征数据的置信度，设置目标检测的置信度阈值为0.8，当计算置信度达到0.8及以上时，图像匹配成功，即检测图像为线性裂缝；当计算置信度小于0.8时，检测图像中不包含线性裂缝。

4.根据权利要求3所述的一种路面线性裂缝识别方法，其特征在于：步骤S3.5中在参数训练的前三分之二时间，将A设为0.7，用于提高教师模型对训练结果的影响；参数训练的后三分之一时间，将A设为0.3，用于提高标注样本数据对训练结果的影响。

5.电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-4任一项所述的一种路面线性裂缝识别方法的步骤。

6.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的一种路面线性裂缝识别方法。

Images