CN109977817A - 基于深度学习的动车组车底板螺栓故障检测方法 - Google Patents

Abstract

本发明提出了一种基于深度学习的动车组车底板螺栓故障检测方法，涉及图像处理和深度学习领域，包括以下步骤：制作待检测动车组车厢底板螺栓图片数据库，包括动车组车厢底板含螺栓图数据库以及螺栓丢失图数据库；基于改进的yolov3目标检测算法对动车组车厢底部细小螺栓进行目标定位；采用基于深度学习的方法进行待检测螺栓丢失状态的检测；最后将待测试图像输入检测模型得到螺栓丢失检测结果。本发明能有效提高动车组入库维修的检测效率，减少人力投入成本。

Description

基于深度学习的动车组车底板螺栓故障检测方法

技术领域

本发明涉及图像处理和深度学习领域，具体涉及一种基于深度学习的动车组车底板螺栓故障检测方法。

背景技术

随着中国高铁技术的不断进步发展，多条高铁路线在国内开通，随着逐年增开的动车数量，如何保证动车组列车行驶安全是中国铁路网高效、安全、稳定运输的重要课题之一，它是定期预防危险情况的必要手段。由于动车组检修时间段大多集中在午夜，动车组组成部件结构复杂，零部件数量较多，对检修工人的工作状态和身心健康都提出了较大的挑战，影响到动车组检修作业的完成质量。随着深度学习技术的不断发展壮大，已经在诸多领域得到了突破性进展，比如AlphaGo击败国际围棋冠军，在通话视频中进行的实时“机器翻译”，像人类那样识别图片或者视频中的信息等。针对动车组检测中人工检查较为缓慢、费时、低效的缺点，可以运用机器学习算法进行视觉检测，以解决夜间工人检修效率低下的问题，目前运用的视觉检测有传统的机器学习算法SVM，但是其效率和正确率仍有不少有待改进的地方。根据当前署名的发明人的工作，在动车组车底板检测方面检测效率仍然比较低，检修质量不高，由于动车组车厢底板存在种类繁多、数量庞大的螺栓，这些螺栓不仅数量大，类别多，而且体积细小，对于深度神经网络模型的鲁棒性、识别精度和效率，都提出了更高的要求。

因此，亟需提出一种更准确、高效的动车组车底板螺栓故障检测方法。

发明内容

发明目的：针对现有检测技术的不足，本发明提出了一种基于深度学习的动车组车底板螺栓故障检测方法，可运用于动车检测站的库内检测机器人，不但可以大大降低检修工人的劳动负荷，减少夜间巡查难度和时间，而且提高了动车组的检修效率，加速“人检”向“机检”的快速推进。

技术方案：一种基于深度学习的动车组车底板螺栓故障检测方法，包括以下步骤：

S10、制作动车组车厢底板螺栓图片数据库，包括动车组车厢底板含螺栓图数据库以及螺栓丢失图数据库；

S20、将含螺栓的图片输入yolov3目标检测网络模型中，对螺栓进行区域定位；

S30、将螺栓定位区域图像输入深度卷积神经网络中，训练螺栓丢失状态检测模型；

S40、将待检测的图片输入目标检测网络，得到定位图片后输入深度卷积神经网络，得到螺栓丢失检测结果。

作为优选，所述yolov3目标检测网络模型采用基于遗传算法改进的k-means算法得到动车组车厢底板的各类螺栓的先验框anchor。所述基于遗传算法改进的k-means算法包括以下步骤：

s1)读取标签文件，将数据集中的样本划分为k个不相交的子集，执行M次k-means算法，每次执行k-means算法都会生成符合要求的一组k个anchor，重复这个步骤，直到满足种群的个数M，每一个anchor就是一对宽和高的组合，将一组所有的anchor按照面积的大小进行排序，作为一条染色体；

s2)以一定的概率从种群中挑选出若干对染色体进行交叉运算；

s3)以一定的概率从种群中挑选出若干对染色体进行变异运算；

s4)对当前种群所有染色体计算适应度函数，根据适应度函数的值对种群的个体进行排序，运用轮盘赌的方法，对当前种群进行选择操作，保证新种群的个数仍为M个，其中适应度函数如下：

boxes为k-means算法读取的标签文件中所有的目标框个数，anchor_i代表了当前anchor的长和宽，box_j代表了当前第j个目标框的长和宽。

作为优选，所述yolov3目标检测网络模型采用darknet53网络结构，一共包含3个yolo层，分别完成了8倍降采样、16倍降采样以及32倍降采样，使用步长为2的卷积来进行降采样，并利用预训练的权重文件darknet53.conv.74进行迁移学习。

进行螺栓区域定位的过程如下：将含螺栓的图片输入yolov3的darknet53层进行训练，分别经过多次卷积层和上采样层，保存训练得到的权重文件；在每个降采样得到的特征图上进行多尺度预测，根据采样倍数将特征图分为若干个网格，每个网格根据先验框anchor得到预测边界框，每个预测边界框包含以下信息：预测框的中心坐标，预测框的高度和宽度，框中是否含有物体的置信度得分以及属于某个类别的概率，通过判断是否满足置信度分数阈值和非极大值抑制，得到最后的预测结果。

所述yolov3目标检测网络模型的损失函数为：

loss函数中，coordLoss表示坐标误差，IOULoss表示IOU误差，clsLoss表示预测类别误差，L2是L2范数，用于权重衰减避免过拟合；

其中，S，B,(xi，yi)，wi，hi，Ci，pi(c)分别代表了当前训练尺度下图片边长，每个网格预测的边界框个数，当前模型输出的边界框中心坐标值，宽度，高度，置信度以及当前识别物体为c的概率；而代表了人工标注的实际位置坐标，实际宽度，实际高度，预测边界框和真实目标框的IoU；和用于判断螺栓的中心是否落在网格i的第j个边界框；λ_noobj为修正因子，用于修正不含物体时的IOULoss；采用L2范数实现正则化，w_mn表示从神经元m与神经元n之间的权重，λ是控制正则化强度的超参数。

作为优选，所述步骤S30包括：针对步骤S20定位识别出来的螺栓图进行人工标记，依据螺栓状态分为正常和丢失两类，将标注好的图像一定比例缩放后输入到基于深度卷积神经网络的螺栓丢失检测模型，通过大量数据的训练和参数微调生成最终权重模型。

所述深度卷积神经网络为一个基于AlexNet的卷积神经网络，网络配置包括5个卷积层，3个全连接层，激活函数ReLU，局部正则化的LRN以及应对过拟合Dropout层。

有益效果：

1、本发明利用端到端的深度学习目标检测算法yolov3可以做到实时检测动车组列车车厢底部螺栓的确切位置，为检测动车组车厢底部螺栓的丢失故障提供了保障，抛弃了传统图像处理中人工设计的SIFT、HOG等图像特征提取的方法，使得网络模型能够更全面、精准地描述所读取图片中蕴含的螺栓信息。

2、本发明采用基于遗传算法改进的k-means聚类算法，可以有效避免传统k-means算法依赖数据集的初始“簇中心”导致的问题，由于最初的簇中心点是随机选取的，因此最终求得的簇的划分与随机选取的“簇中心”有关，添加遗传算法机制后，可以避免依赖初始“簇中心”导致的陷入局部最小值的困境。

3、本发明改进了yolov3的损失函数，增加L2范数，采用L2正则化后权重的更新公式，每个权重将会乘以(1-ηλ)，其中η是权重更新的学习率，λ是控制正则化强度的超参数，λ越大，对权重较大的值惩罚就越重，有效降低了过拟合的风险。

附图说明

图1是本发明基于深度学习的动车组车底板螺栓故障检测方法系统流程图；

图2是本发明基于遗传算法改进的k-means算法计算Anchor流程图；

图3是本发明基于yolov3的目标检测深度神经网络对库内检修机器人采集图片数据识别效果示意图；

图4是本发明的动车组车厢底板螺栓正常与丢失示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作详细的说明。在下面的描述中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。

本发明通过深度神经网络技术对大量动车组车厢底板螺栓图像信息进行识别学习，实现底板不同大小螺栓的精确定位和分类，进而对所识别的螺栓进行丢失故障检测评估。图1示出了基于深度学习的动车组车底板螺栓故障检测方法的工作总流程。

步骤S10，制作动车组车厢底板螺栓图片数据库，包括动车组车厢底板含螺栓图数据库以及螺栓丢失图数据库。

在具体实施时，采用动车组列车检修库的库内检修机器人拍摄系统采集的大量动车组车厢底板图制作图片数据库，包括动车组车厢底板螺栓图数据库和动车组车厢底板螺栓丢失图数据库，并且按照一定比例随机分为训练集和测试集。其中动车组车厢底板螺栓数据库包含不同种类的各类螺栓，图像尺寸大小为2000*2048，动车组车厢底板螺栓丢失图数据库包含出现车厢底板螺栓丢失的图像，图像为库内检修机器人采集图片按照原图剪裁后的螺栓区域图片。

步骤S20，将含螺栓的图片输入yolov3目标检测网络中，对螺栓进行区域定位。

包括以下步骤：

步骤S21，对图片进行标注。

采用人工标注的方法生成符合VOC2007数据格式的xml标签文件，得到以下图像标注信息，包括图像编号，各类螺栓的种类名称，标注边界框的的坐标区域xmin,xmax,ymin,ymax中每种螺栓的种类、位置以及边框大小。再将xml文件转换成yolov3可识别的txt文件，txt标签文件包括螺栓种类的编号，边界框中心点x,y的坐标占原图的比例，以及边界框的宽和高占原图的比例。

步骤S22，基于训练集，采用基于遗传算法改进的k-means算法，计算得到动车组车厢底板的各类螺栓的先验框anchor，使其更适应动车组车厢底板不同大小螺栓的候选框，替换yolov3原先基于ImageNet得到的Anchor，使得算法训练效率更高。

图2示出了所述基于遗传算法改进的k-means算法具体过程，包括以下步骤：

s1)利用k-means聚类算法读取label文件，即上面转换后的txt标签文件，将数据集中的样本划分为若干个通常不相交的子集，每个子集称为一个“簇”或者质心。取k＝9，由于yolov3中是在3个尺度上进行预测，每个尺度中采用了3个anchor，可以预测出3个边界框，所以anchor一共是9个。每次执行k-means算法，都会生成一个符合要求的一组9个anchor，重复这个步骤，直到满足种群的个数M。种群规模M越大越可能找到全局解，但耗时也相对较长，由于解空间规模有限，M一般取30为宜。每一个anchor就是一对宽和高的组合，将一组所有的anchor按照面积的大小进行排序，作为一条染色体。染色体的每一个基因值就是一个anchor，染色体的长度由k决定。

s2)以一定的概率从种群中挑选出若干对染色体进行交叉运算，交叉策略采用两点交叉，交叉运算是产生新个体的主要手段，经验参数值在0.4-0.8之间。

s3)以一定的概率从种群中挑选出若干对染色体进行均匀变异操作，变异策略采用均匀变异，通常变异率取较小的值，经验参数数值在0.001到0.01之间。

s4)对当前种群所有染色体计算适应度函数，根据适应度函数的值对种群的个体进行排序，运用轮盘赌的方法，对当前种群进行选择操作，保证新种群的个数仍为M个。

适应度函数如下：

其中boxes为k-means算法读取的label文件中所有的目标框个数，anchor_i代表了当前anchor的长和宽，box_j代表了当前第j个目标框的长和宽。采用IoU(Intersectionover Union，交并比)作为适应度函数的核心指标。基于遗传算法改进的k-means聚类算法，可以生成更贴近样本集的anchor。

步骤S23，作为优选，可以通过数据增强的方法扩充训练集样本数，包括随机水平翻转、亮度变换、随机区域剪裁、随机旋转、随机添加噪声等。

步骤S24，建立动车组车厢底板细小螺栓目标定位模型。

实施例中采用端到端的深度神经网络的yolov3目标检测算法模型，网络结构采用darknet53，一个全卷积并且结合残差跳层的网络，在这个网络结构中，使用的是步长为2的卷积来进行降采样。同时，网络中使用了上采样、route操作。在cfg文件中设置好网络的超参数以及各类网络参数。

采用迁移学习方法，利用预训练的权重文件darknet53.conv.74，减少对标注数据的依赖，应对标注数据的不对称性，在提高训练效率的同时，可以提高模型的稳定性和可泛化性，不至于因为一个像素的变化而改变分类结果。

步骤S25，将训练集中含螺栓的图片输入yolov3的darknet53层进行训练，分别经过多次卷积层和上采样层，保存训练得到的权重文件。网络结构一共包含3个yolo层，分别完成了8倍降采样，16倍降采样以及32倍降采样。在每个降采样得到的feature map上进行多尺度预测，以416*416为例，8倍降采样时，feature map被分为52*52个网格，每个网格会依据上述通过基于遗传算法改进的k-means算法得到的先验框进行得到预测3个候选边界框，每个边界框包含3部分，分别是边界框的预测的中心坐标tx,ty，预测框的高度bh和宽度bw，是否含有物体的置信度得分以及N个类别的概率，通过判断是否满足置信度分数阈值和非极大值抑制(Non-Maximum Suppression，NMS)，得到最后的预测结果。图3是动车组列车车厢底部螺栓的检测示意图。通过训练出一个能够精确定位底部细小螺栓的模型，可供后续建立深度卷积神经网络提供正确的输入对象。

为了降低过拟合的风险，除了可以在网络中添加dropout层，还可以为误差函数增加一个权值惩罚项，把一个随着权向量幅度增长的项加入到损失函数中，可以使得损失函数采用梯度下降法搜寻权重更小的值，从而减少过拟合的风险。假设yolov3输入大小为832*832，在32倍降采样时，图片被划分为26*26个网格，每个网格预测3个候选框，则新的yolov3损失函数为：

其中coordLoss表示坐标误差，IOULoss表示IOU误差，clsLoss表示预测类别误差，L2是L2范数，用于权重衰减避免过拟合。

loss函数中，(xi，yi)，wi，hi，Ci，pi(c)分别代表了当前模型输出的边界框中心坐标值，宽度，高度，置信度以及当前识别物体为c的概率。而 代表了人工标注的实际位置坐标，实际宽度，实际高度，预测边界框和真实目标框的IoU。和用于判断螺栓的中心是否落在网格i的第j个边界框。由于并不是每个网格中都一定包含螺栓，如果没有螺栓，那么该网格预测的边界框的置信度将为0，这使得优化损失函数时梯度变大，设置λ_noobj为0.5可以抑制不含物体时的IOULoss，对提高模型的稳定性十分关键。

采用L2范数实现正则化，其中w_mn表示从神经元m与神经元n之间的权重，采用正则化之前的权重更新公式为w_ij＝w_ij+ηδ_jx_ij，w_ij代表了神经元j到i的连接权重，η代表了学习率，δ_j代表神经元j的误差项，x_ij代表神经元i到神经元j的输入值。采用L2正则化后权重的更新函数为，w_ij＝(1-ηλ)w_ij+ηδ_jx_ij，λ是控制正则化强度的超参数，λ越大，对权重较大的值惩罚就越重，能够有效降低了过拟合的风险。

步骤S30，将螺栓定位区域图像输入深度卷积神经网络中，训练螺栓丢失状态检测模型。

包括以下步骤：

s1)建立动车组车厢底板螺栓丢失检测模型，构造一个基于AlexNet的卷积神经网络，网络配置包括5个卷积层，3个全连接层，激活函数ReLU，局部正则化的LRN以及应对过拟合Dropout，图4是部分动车组车厢底板螺栓正常与丢失示意图。

s2)针对步骤S25定位识别出来的螺栓图进行人工标记，依据螺栓状态分为正常和丢失两类，将标注好的图像缩放至128*128并输入到卷积神经网络。通过大量数据的训练和参数微调生成最终权重模型，训练完成的神经网络将对每一个输入样本进行预测并在最后全连接层的输出单元经过Softmax函数处理，得到正常和丢失两种类别的概率，将最大概率的类别作为该样本最终的网络预测结果。

步骤S40，将待检测的图片输入目标检测网络，得到定位图片后输入深度卷积神经网络，得到螺栓丢失检测结果。

Claims (9)

1.一种基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，包括以下步骤：

S10、制作动车组车厢底板螺栓图片数据库，包括动车组车厢底板含螺栓图数据库以及螺栓丢失图数据库；

S20、将含螺栓的图片输入yolov3目标检测网络模型中，对螺栓进行区域定位；

S30、将螺栓定位区域图像输入深度卷积神经网络中，训练螺栓丢失状态检测模型；

S40、将待检测的图片输入目标检测网络，得到定位图片后输入深度卷积神经网络，得到螺栓丢失检测结果。

2.根据权利要求1所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述yolov3目标检测网络模型采用基于遗传算法改进的k-means算法得到动车组车厢底板的各类螺栓的先验框anchor。

3.根据权利要求2所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述基于遗传算法改进的k-means算法包括以下步骤：

s1)读取标签文件，将数据集中的样本划分为k个不相交的子集，执行M次k-means算法，每次执行k-means算法都会生成符合要求的一组k个anchor，重复这个步骤，直到满足种群的个数M，每一个anchor就是一对宽和高的组合，将一组所有的anchor按照面积的大小进行排序，作为一条染色体；

s2)以一定的概率从种群中挑选出若干对染色体进行交叉运算；

s3)以一定的概率从种群中挑选出若干对染色体进行变异运算；

s4)对当前种群所有染色体计算适应度函数，根据适应度函数的值对种群的个体进行排序，运用轮盘赌的方法，对当前种群进行选择操作，保证新种群的个数仍为M个，其中适应度函数如下：

boxes为k-means算法读取的标签文件中所有的目标框个数，anchor_i代表了当前anchor的长和宽，box_j代表了当前第j个目标框的长和宽。

4.根据权利要求3所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述标签文件的获取包括：

采用人工标注的方法对图片进行标注，生成符合VOC2007数据格式的xml标签文件，标注信息包括图像编号、各类螺栓的种类名称、标注边界框的坐标区域中每种螺栓的种类、位置以及边框大小；

将xml文件转化为txt标签文件，txt标签文件中包括螺栓种类的编号、边界框中心点的坐标占原图的比例以及边界框的宽和高占原图的比例。

5.根据权利要求1所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述yolov3目标检测网络模型采用darknet53网络结构，一共包含3个yolo层，分别完成了8倍降采样、16倍降采样以及32倍降采样，使用步长为2的卷积来进行降采样，并利用预训练的权重文件darknet53.conv.74进行迁移学习。

6.根据权利要求5所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述步骤S20中利用yolov3目标检测网络模型进行螺栓区域定位的过程如下：将含螺栓的图片输入yolov3的darknet53层进行训练，分别经过多次卷积层和上采样层，保存训练得到的权重文件；在每个降采样得到的特征图上进行多尺度预测，根据采样倍数将特征图分为若干个网格，每个网格根据先验框anchor得到预测边界框，每个预测边界框包含以下信息：预测框的中心坐标，预测框的高度和宽度，框中是否含有物体的置信度得分以及属于某个类别的概率，通过判断是否满足置信度分数阈值和非极大值抑制，得到最后的预测结果。

7.根据权利要求6所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述yolov3目标检测网络模型的损失函数为：

loss函数中，coordLoss表示坐标误差，IOULoss表示IOU误差，clsLoss表示预测类别误差，L2是L2范数，用于权重衰减避免过拟合；

其中，S，B,(xi，yi)，wi，hi，Ci，pi(c)分别代表了当前训练尺度下图片边长，每个网格预测的边界框个数，当前模型输出的边界框中心坐标值，宽度，高度，置信度以及当前识别物体为c的概率；而代表了人工标注的实际位置坐标，实际宽度，实际高度，预测边界框和真实目标框的IoU；和用于判断螺栓的中心是否落在网格i的第j个边界框；λ_noobj为修正因子，用于修正不含物体时的IOULoss；采用L2范数实现正则化，w_mn表示从神经元m与神经元n之间的权重，λ是控制正则化强度的超参数。

8.根据权利要求1所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述步骤S30包括：针对步骤S20定位识别出来的螺栓图进行人工标记，依据螺栓状态分为正常和丢失两类，将标注好的图像一定比例缩放后输入到基于深度卷积神经网络的螺栓丢失检测模型，通过大量数据的训练和参数微调生成最终权重模型。

9.根据权利要求8所述的基于深度学习的动车组车底板螺栓故障检测方法，其特征在于，所述深度卷积神经网络为一个基于AlexNet的卷积神经网络，网络配置包括5个卷积层，3个全连接层，激活函数ReLU，局部正则化的LRN以及应对过拟合Dropout层。