CN112329858A - 一种铁路动车防松铁丝折断故障图像识别方法 - Google Patents

Abstract

一种铁路动车防松铁丝折断故障图像识别方法，属于铁路动车故障检测领域，特别涉及一种铁路动车防松铁丝折断故障图像识别方法。本发明是为了解决目前动车防松铁丝故障检测方法准确率低、检测速度慢的问题。本发明包括：获取样本数据集；将样本数据集输入到fasterrcnn深度学习网络进行训练，获得训练好的fasterrcnn模型；获取待检测区域图像；将待检测区域图像输入训练好的fasterrcnn模型中，获得检测结果。本发明用于对铁路动车防松铁丝折断故障的识别。

Description

一种铁路动车防松铁丝折断故障图像识别方法

技术领域

本发明属于铁路动车故障检测领域，特别涉及一种铁路动车防松铁丝折断故障图像识别方法。

背景技术

随着铁路领域的迅速发展，铁路领域对于动车防松铁丝的检测越来越重视。动车防松铁丝折断故障是一种可能危及行车安全的故障，因此对防松铁丝的故障检测至关重要。随着铁路动车运输量的增加，有较高准确率的故障检测方法可以保证列车的安全运行。

目前防松铁丝折断的故障检测中采用人工检查图像的方式进行故障检测。由于检测人员工作过程中极易出现疲劳、漏检的情况从而造成漏检、错检进而危机行车安全。随着深度学习与人工智能的不断发展，fasterrcnn检测网络被广泛用于目标检测中，但是在检测过程中会出现检测框不准和多类别时类别错检的问题，因此fasterrcnn检测网络应用于动车防松铁丝的故障检测还存在准确率低、检测速度慢的问题。

发明内容

本发明目的是为了解决目前动车防松铁丝故障检测方法准确率低、检测速度慢问题，而提出了一种铁路动车防松铁丝折断故障图像识别方法。

一种铁路动车防松铁丝折断故障图像识别方法具体过程为：

步骤一、获取样本数据集：

所述样本数据集包括灰度图像集、标记文件集；

所述灰度图像为防松铁丝的线阵图像；

所述灰度图像集与标记文件集是一一对应的，即一个灰度图像对应一个标记文件；

所述标记文件集是包含灰度图像的名称、检测类别、目标区域的左上角及右下角坐标的xml文件。

所述标记文件集中将图像标记为一侧铁丝断、两侧铁丝断、雨水、异物四类。

步骤二、将样本数据集输入到fasterrcnn深度学习网络进行训练，获得训练好的fasterrcnn模型；

步骤三、获取待检测区域图像；

步骤四、将待检测区域图像输入训练好的fasterrcnn模型，获得检测结果。

本发明的有益效果为：

本发明引利用图像自动识别的方式代替人工检测，同时将特征金字塔进行多个方向的且不同特征给予不同权重的改进，并将改进后的特征金字塔引入主干网络为resnet的fasterrcnn模型中，将各个方向的不同权重的不同分辨率的特征信息融合在一起，增加了网络对不同尺度，不同分辨率的特征提取效率，提高检测的准确率和检测速度。

附图说明

图1为一种铁路动车防松铁丝折断故障图像识别方法整体流程图；

图2为故障识别具体流程图；

图3为权重系数计算流程图；

图4为改进的多项特征金字塔图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个试试方式之间可以相互组合。

具体实施方式一：本实施方式一种铁路动车防松铁丝折断故障图像识别方法具体过程为：

步骤一、获取样本数据集：

样本数据集包括灰度图像集、标记文件集；

灰度图像为防松铁丝的线阵图像；

灰度图像集与标记文件集是一一对应的，即一个灰度图像对应一个标记文件；

标记文件集是包含灰度图像的名称、检测类别、目标区域的左上角及右下角坐标的xml文件。

标记文件集中将图像标记为一侧铁丝断、两侧铁丝断、雨水、异物四类。

步骤二、将样本数据集输入到fasterrcnn深度学习网络进行训练，获得训练好的fasterrcnn模型；

步骤三、获取待检测区域图像；

步骤四、将待检测区域图像输入训练好的fasterrcnn模型，获得检测结果。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一中获取样本数据集，具体过程为：

步骤一一、获取线阵图像：

在铁路轨道两侧搭建成像设备，动车通过设备后，获取线阵图像。由于动车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响，并且，不同站点拍摄的图像可能存在差异。因此，防松铁丝部件图像之间千差万别。所以，在收集防松铁丝图像数据的过程中，要保证多样性，尽量将各种条件下的防松铁丝图像全部收集。

线阵图像为清晰的灰度图像。

步骤一二、建立样本数据集：

在不同类型的车型中，防松铁丝部件的形态会不同。但由于不同类型间出现的频率差别较大，某些较不常见车型的防松铁丝部件收集较为困难。因此，将全部类型的防松铁丝部件统称为一类，全部按照一类来建立样本数据集。

样本数据集包括灰度图像集、标记文件集；

灰度图像集与标记文件集是一一对应的，即一个灰度图像对应一个标记文件；

灰度图像集为步骤一一获得的各种条件下的动车高清图像的合集；

标记文件集为将灰度图像的名称、检测类别、目标区域的左上角及右下角坐标保存在xml文件中。

标记文件集通过人工标记的方式获取；

标记文件集中将图像标记为一侧铁丝断、两侧铁丝断、雨水、异物四类；

步骤一三、对样本数据集进行数据扩增，扩增形式包括：图像的旋转、平移、缩放、镜像操作；

扩增操作是在随机条件下进行的。

具体实施方式二：本具体实施方式与具体实施方式一不同的是：步骤二中所述fasterrcnn深度学习网络采用coco模型参数对含有改进的特征金字塔的resent的fasterrcnn网络参数初始化。

具体实施方式三：本实施方式与具体实施方式一至二不同的是：改进的特征金字塔，通过以下方式获得：

将特征金字塔的第3到第7层的特征图分别第3-7层特征图的上一层特征图或者下一层特征图的进行上采样，最大池化的操作再给予不同的权重，来使得得到特征图的特征信息更全面。

本层的特征图给予稍大的权重，保证当前尺度的特征信息，同时稍小权重的融合上下两层特征图，使得得到的特征图含有的特征信息更为全面，避免小目标的特征丢失，第四，五，六层特征图的权重的分配为本层的取值乘以0.7，第四、五、六层的每一层的上下两层融合的权重均为0.15，第三层特征图的权重为本层的权重取值为0.8，第三层的下层特征图权重为0.2，第七层特征图的权重为本层的权重取值为0.8，第七层的上层特征图权重为0.2。

具体实施方式四：本实施方式与具体实施方式一至三不同的是：样本数据图像集中的图像输入含有改进的特征金字塔的fasterrcnn网络中进行不同方向不同尺度的特征融合得到特征金字塔不同层的输出特征图即低维特征图。

具体实施方式五：本实施方式与具体实施方式一至四不同的是：低维特征图输入到RPN网络中，生成目标区域候选框的同时对候选框的位置进行回归调节，得到最终的前景候选框和背景候选框，然后将得到的前景候选框进行ROI Pooling后获得目标分类及目标框位置即故障的位置和区域，具体过程为：

首先，使用滑动窗口在步骤六获得的低维特征图上滑动，以滑动窗口中心映射到线阵图像上，当线阵图像上映射到的区域候选框与标记文件中的标记的目标位置的IOU大于0.7时，则该候选框区域为正样本，当线阵图像上映射到的区域与标记文件中的标记的目标位置的IOU小于0.3时，则该候选框区域为负样本，然后以正负样本1：1的比例作为训练样本训练RPN层，训练最后输出的分类回归任务是，随机抽取64个与真实目标标记位置IOU大于0.5的区域为前景，IOU大于0.1且小于0.5的区域为背景；

对候选框的位置进行回归调节采用非最大值抑制方法；

然后，将得到的前景候选框进行ROI Pooling：用一种固定输出大小的maxpooling,将候选区域均匀分成9*9块，对每块进行max pooling，将特征图上大小不一的候选区域转变为统一大小的数据送入全连接层进行最终各目标分类及目标框位置回归即故障的位置和区域。

具体实施方式六：本实施方式与具体实施方式一至五不同的是：训练fasterrcnn深度学习网络过程中，样本数据集中的图像的损失函数为：

其中，L_cls(p_i)是目标预测的分类损失函数：

L_cls(p_i)＝-log(p_i ^*p_i+(1-p_i ^*)(1-p_i))

是回归预测的位置损失函数：

其中，设定

其中，p_i是不同类别的分类概率，

取0或1，取0时为负样本，取1时为正样本，参数λ用来权衡分类损失与回归损失的比例，正样本时，

为1，负样本时，

为0，N_cls为分类样本总数，N_reg为回归框个数，t_i＝{t_x,t_y,t_w,t_h}是一个向量，t_x表示候选框中心与标记框中心的x坐标偏移量，t_y表示候选框中心与标记框中心的y坐标偏移量，t_w表示候选框与标记框的宽度偏移量，t_h表示候选框与标记框的高度偏移量。

是与t_i维度相同的向量，表示候选框对标记框的偏移量。

具体实施方式七：本实施方式与具体实施方式一至六不同的是：获取待检测区域图像，具体过程为：

步骤三一、对防松铁丝区域进行初定位：

根据硬件设备、轴距信息及相关位置的先验知识，从线阵图像中初步截取出防松铁丝部件的区域；

步骤三二、提高防松铁丝区域图像对比度：

由于各个站点的成像设备角度距离有所不同，采集到的图像的亮暗程度不同，一些图像太暗导致不能清晰的观测到防松铁丝的断裂区域，因此需要对截取到的图像进行自适应的提高对比度。

其中自适应提高对比度的过程为：

先判断图像的平均像素，然后设置一个阈值，若平均像素小于阈值则采用自适应的直方图均衡化的方式来提高图像对比度。

具体实施方式八：本实施方式与具体实施方式一至七不同的是：将待检测区域图像输入训练好的fasterrcnn模型，得到检测结果，具体过程为：

首先，将待检测区域图像输入训练好的fasterrcnn模型，获得预测防松铁丝折断故障区域的图像；

然后，将防松铁丝折断故障区域的图像进行二值化，使折断部分的像素值为1，非折断部分的像素值为0；对折断部分对照原始待检测图像进行掩膜，判断掩膜区域的平均像素；

最后，若平均像素低于设定像素阈值，则识别该图像含有一侧铁丝断，两侧铁丝断的区域，并进行报警。

Claims (9)

1.一种铁路动车防松铁丝折断故障图像识别方法，其特征在于所述方法具体过程为：

步骤一、获取样本数据集：

所述样本数据集包括灰度图像集、标记文件集；

所述灰度图像为防松铁丝的线阵图像；

所述灰度图像集与标记文件集是一一对应的，即一个灰度图像对应一个标记文件；

所述标记文件集是包含灰度图像的名称、检测类别、防松铁丝区域的左上角及右下角坐标的xml文件。

所述检测类别包括：一侧铁丝断、两侧铁丝断、雨水、异物四类；

步骤二、将样本数据集输入到fasterrcnn深度学习网络进行训练，获得训练好的fasterrcnn模型；

步骤三、获取待检测区域图像；

步骤四、将待检测区域图像输入训练好的fasterrcnn模型，获得检测结果。

2.根据权利要求1所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于：所述步骤二中所述fasterrcnn深度学习网络采用coco模型参数对含有改进的特征金字塔的resnet的fasterrcnn网络参数初始化。

3.根据权利要求2所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于：所述改进的特征金字塔通过以下方式获得：

首先，将特征金字塔的第3层到第7层的特征图分别经过与第3-7层的上一层特征图或者下一层特征图进行上采样，最大池化的操作；

然后，对特征金字塔的第3层到第7层特征图分别分配权重，第四，五，六层特征图的权重的分配分别为本层的取值乘以0.7，第四、五、六层的每一层的上下两层融合的权重均为0.15，第三层特征图的权重为本层的权重，取值为0.8，第三层的下层特征图权重为0.2，第七层特征图的权重为本层的权重，取值为0.8，第七层的上层特征图权重为0.2。

4.根据权利要求3所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于：所述样本数据图像集中的图像输入含有改进的特征金字塔的fasterrcnn网络中进行不同方向不同尺度的特征融合得到特征金字塔不同层的输出特征图即低维特征图。

5.根据权利要求4所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于：所述低维特征图输入到RPN网络中，生成目标区域候选框的同时对候选框的位置进行回归调节，得到最终的前景候选框和背景候选框，然后将得到的前景候选框进行ROI Pooling后获得目标分类及目标框位置即故障的位置和区域具体过程为：

首先，使用滑动窗口在低维特征图上滑动，将滑动窗口中心映射到线阵图像上，当线阵图像上映射到的区域候选框与标记文件中的标记的目标位置候选框的IOU大于0.7时，则该候选框区域为正样本，当待检测区域图像上映射到的区域候选框与标记文件中的标记的目标位置的候选框IOU小于0.3时，则该候选框区域为负样本，然后以正负样本1：1的比例作为训练样本训练RPN层，训练最后输出的分类回归任务是，随机抽取64个与真实目标标记位置IOU大于0.5的区域为前景，IOU大于0.1且小于0.5的区域为背景；

所述回归调节采用非最大值抑制方法；

然后，将得到的前景候选框进行ROI Pooling：用一种固定输出大小的max pooling,将候选区域均匀分成9*9块，对每块进行max pooling，将特征图上大小不一的候选区域转变为统一大小的数据送入全连接层进行最终各目标分类及目标框位置回归即故障的位置和区域。

6.根据权利要求5所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于：训练fasterrcnn深度学习网络过程中，样本数据集中的图像的损失函数为：

其中，L_cls(p_i)是目标预测的分类损失函数，

是回归预测的位置损失函数，p_i是不同类别的分类概率，

是正样本或负样本取0或1，取0时为负样本，取1时为正样本，参数λ用来权衡分类损失与回归损失的比例，N_cls为分类样本总数，N_reg为回归框个数，t_i＝{t_x,t_y,t_w,t_h}是一个向量，t_x表示候选框中心与标记框中心的x坐标偏移量，t_y表示候选框中心与标记框中心的y坐标偏移量，t_w表示候选框与标记框的宽度偏移量，t_h表示候选框与标记框的高度偏移量，

是与t_i维度相同的向量，表示候选框对标记框的偏移量。

7.根据权利要求6所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于：所述L_cls(p_i)＝-log(p_i ^*p_i+(1-p_i ^*)(1-p_i))。

所述

其中，设定

8.根据权利要求7所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于：所述步骤三中获取待检测区域图像，具体过程为：

步骤三一、对防松铁丝区域进行初定位：

根据硬件设备、轴距信息及相关位置的先验知识，从线阵图像中初步截取出防松铁丝部件的区域。

步骤三二、自适应提高对比度：

首先，判断图像的平均像素；

然后，若平均像素小于预设阈值则采用自适应的直方图均衡化的方式来提高图像对比度。

9.根据权利要求8所述的一种铁路动车防松铁丝折断故障图像识别方法，其特征在于所述步骤四中将待检测区域图像输入训练好的fasterrcnn模型，获得检测结果，具体过程为：

首先，将待检测区域图像输入训练好的fasterrcnn模型，获得预测防松铁丝折断故障区域的图像；

然后，将防松铁丝折断故障区域的图像进行二值化，使折断部分的像素值为1，非折断部分的像素值为0；对折断部分对照原始待检测图像进行掩膜，判断掩膜区域的平均像素；

最后，若平均像素低于设定像素阈值，则识别该图像含有一侧铁丝断，两侧铁丝断的区域，并进行报警。

Images