CN111091547B - 铁路货车制动梁支柱折断故障图像识别方法 - Google Patents

Abstract

铁路货车制动梁支柱折断故障图像识别方法，本发明涉及铁路货车故障图像识别方法。本发明的目的是为了解决现有铁路货车制动梁支柱故障检测准确率低及稳定性差的问题。过程为：一、建立样本数据集；二、基于样本数据集，找到最优的权重系数，得到训练好的SSD深度学习网络；过程为：采用随机方式初始化权重系数；对样本数据集进行特征提取；默认框生成；标记预处理；SSD目标损失函数；通过优化器Adam进行优化权重；经过损失函数和优化器后，计算出新的权重系数，重复执行，得到训练好的SSD深度学习网络。三、将真实过车图像输入已训练好的SSD深度学习网络，判别制动梁支柱折断故障。本发明用于故障图像识别领域。

Description

铁路货车制动梁支柱折断故障图像识别方法

技术领域

本发明涉及铁路货车故障图像识别方法。

背景技术

列车运行中，因制动故障造成的事故，在全路占较大的比例，是车辆部门的惯性事故，轻则制动梁、下拉杆脱落，构成险性事故；重则打坏行车设备，造成列车脱轨颠覆，可能构成行车重大事故。由于制动梁支柱制造不过关，组装别劲等，制动梁支柱折断是制动故障中占比很高的故障。制动梁支柱折断故障是一种危及行车安全的故障，在制动梁支柱故障检测中，采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。

发明内容

本发明的目的是为了解决现有铁路货车制动梁支柱故障检测准确率低及稳定性差的问题，而提出铁路货车制动梁支柱折断故障图像识别方法。

铁路货车制动梁支柱折断故障图像识别方法具体过程为：

步骤一、建立样本数据集；

步骤二、基于样本数据集，找到最优的权重系数，得到训练好的SSD深度学习网络；具体过程为：

步骤二一：采用随机方式初始化权重系数；

步骤二二：对样本数据集进行特征提取；

步骤二三：默认框生成；

步骤二四：正确的标记预处理；

步骤二五：SSD目标损失函数分为两个部分：

对应默认框的位置损失L_loc(x,l,g)和类别置信度损失L_conf(x,c)；

步骤二六、通过优化器Adam进行优化权重；

步骤二七、经过损失函数和优化器后，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代；重复执行步骤二一至步骤二六，将全部图像完成固定次数的迭代，直到找到最优的权重系数，得到训练好的SSD深度学习网络。

步骤三、将真实过车图像输入已训练好的SSD深度学习网络，判别制动梁支柱折断故障。

本发明的有益效果为：

本发明采用图像自动识别的方式可提高铁路货车制动梁支柱故障检测效率和稳定性。近几年，深度学习与人工智能不断发展，在技术上不断成熟。因而，采用深度学习进行制动梁支柱故障识别，可以有效提高检测准确率。

本发明分别在货车轨道周围搭建高清成像设备，货车通过设备后，获取高清图像。采用深度学习SSD网络框架，对图像中的制动梁支柱部件进行精准定位后对定位部件区域进行故障分析，判断其是否发生折断。对发生折断的制动梁支柱部件进行上传报警，工作人员根据识别结果进行相应的处理，保证列车安全运行。

1、利用图像自动识别的方式代替人工检测，能够自动识别车辆故障并报警，作业标准统一，不再受检车员经验、理解及认知程度不同的影响，提高检测效率与准确率。

2、将深度学习算法应用到制动梁支柱折断故障自动识别中，提高整体算法的稳定性及精度。

3、用SSD网络架构对制动梁支柱折断故障进行检测，模型的准确率高且速度快。

4、本发明通过部件细定位与对深度学习预测结果逻辑判定确定是否有折断故障可减少误报，提升故障检测准确率。

5、本发明通过SSD网络细定位制动梁支柱部件后再识别的方法，使得一步目标检测的SSD可以达到两步目标检测方法的准确率。

6、对于折断的小目标识别，对精定位的部件子图放大，提高了目标包含像素点，增强模型稳定性。

7、对于背景样本与故障目标样本不平衡的问题，本发明采用Focal loss，有效避免模型过拟合，进一步提高识别准确率，同时不影响识别整体的原有速度。

附图说明

图1为本发明故障识别流程图；

图2为本发明图权重系数计算流程图；

图3为本发明铁路货车制动梁支柱图像示意图。

具体实施方式

具体实施方式一：本实施方式铁路货车制动梁支柱折断故障图像识别方法具体过程为：

步骤一、建立样本数据集；

步骤二、基于样本数据集，找到最优的权重系数，得到训练好的SSD深度学习网络；具体过程为：

步骤二一：采用随机方式初始化权重系数；

步骤二二：对样本数据集进行多尺度特征提取，增大感受野；SSD是多尺度特征图检测网络结构，其提取了不同尺度的特征图来做检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体。模型选择的特征图包含的感受野为：38，19，10，5，3，1。对于每张特征图，生成采用3×3卷积生成默认框的四个偏移位置和N个类别的置信度。

步骤二三：默认框生成；

步骤二四：正确的标记预处理；

步骤二五：SSD目标损失函数分为两个部分：对应默认框的位置损失(loc)L_loc(x,l,g)和类别置信度损失(conf)L_conf(x,c)；

步骤二六、通过优化器Adam进行优化权重；

步骤二七、经过损失函数和优化器后，计算出新的权重系数(利用公式

)，将权重系数进行更新，完成一次训练迭代；程序将重复执行步骤二一至步骤二六，将全部图像完成固定次数的迭代，但是并不是每次迭代都要更新权重，只有损失函数更低的权重才会被更新，直到找到最优的权重系数，便得到训练好的SSD深度学习网络。

步骤三、将真实过车图像输入已训练好的SSD深度学习网络，判别制动梁支柱折断故障。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中建立样本数据集；具体过程为：

分别在货车轨道周围搭建高清设备，货车通过设备后，获取货车两侧、底部、上部全方位的高清图像；图像为清晰的灰度图像；由于货车部件可能受到雨水、泥渍、油渍、白漆、黑漆、异物、冰雪、粉笔字等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，制动梁支柱图像之间千差万别。所以，在收集制动梁支柱图像数据的过程中，要保证多样性，尽量将各种条件下的制动梁支柱图像全部收集。

在不同车型的货车转向架中，制动梁支柱部件的形态会不同。但由于不同类型间出现的频率差别较大，某些较不常见转向架类型的制动梁支柱部件收集较为困难。因此，将全部类型的制动梁支柱部件统称为一类，全部按照一类来建立样本数据集。

样本数据集包括：粗定位灰度图像集、部件位置标记集、部件灰度图像集、部件折断标记集；

粗定位灰度图像集通过依据先验知识截取设备拍摄的制动梁支柱高清灰度图像；

部件位置标记集为对制动梁支柱部件的粗定位灰度图像进行标记后的xml文件，通过人工标记的方式获取；

粗定位灰度图像集与部件位置标记集之间是一一对应的，即每个灰度图像对应一个标记xml文件；

部件灰度图像集是对粗定位灰度图像集用SSD网络进行制动梁支柱细定位得到；

部件折断标记集是对部件灰度图像集中的制动梁支柱折断进行标记后的xml文件通过人工标记的方式获取；

部件灰度图像集与部件折断标记集之间是一一对应的，即每个灰度图像对应一个标记xml文件；

样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增，扩增形式包括图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。

为避免车速、相机角度偏差等，对数据集中的样本统一缩放大小到N*N，可提高系统的鲁棒性。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤二三中默认框(anchor box)生成；具体过程为：

对每一张特征图，按照不同的大小(scale)和长宽比(ratio)生成k个默认框(default boxes【默认框】)；

每个默认框大小计算公式为：

其中，m为特征图数目，s_min为最底层特征图大小，s_max为最顶层特征图默认框大小；

每个默认框长宽比根据比例值计算，比例值为{1,2,3,1/2,1/3}；

对于比例为1的默认框，额外添加一个比例为

的默认框；

式中，s'_k为增加的比例({1,2,3,1/2,1/3}总共5个默框了(一个数代表一个)，这个是增加的默认框的大小，5+1＝6个默认框)，s_k+1为第k+1个默认框；

最终，每张特征图中的每个点生成6个默认框。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤二四中正确的标记预处理；具体过程为：

训练过程中，首先需要将标签信息真实框，真实框类别进行预处理，将标签信息对应到相应的默认框上；

根据默认框和真实框的重叠交并比来寻找对应的默认框。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤二五中SSD目标损失函数分为两个部分：对应默认框的位置损失(loc)L_loc(x,l,g)和类别置信度损失(conf)L_conf(x,c)；具体过程为：

i指代搜索框序号，j指代真实框序号，p指代类别序号，p＝0表示背景；

定义

取1表示此时第i个搜索框和对应的第j个真实框(groundtruthbox)交并比大于阈值，相应的类别为p；

表示第i个搜索框对应类别p的预测概率；

目标函数(整体损失，包含位置损失与类别置信度损失两部分)定义为：

其中，l为预测框，g为真实框(g为所有真实框，j只是其中一个)，L_conf为类别置信度损失，L_loc为默认框的位置损失，α为参数，通过交叉验证(cross validation)设置为1，N为匹配的默认框；如果N＝0，L(x,c,l,g)为零；

样本的类别不均衡导致了一步目标检测的准确率不如两步目标检测。故障识别图像中，生成成千上万的候选框，其中只有特少数的有目标，这就带来了类别不均衡。lossfunction是一种高效的解决样本不均衡的方法。它能动态地缩放交叉熵，随着正确类别的置信度增加，其中的尺度因子衰减到零。

训练时遇到很大的类别不平衡会主导交叉熵损失。将损失函数变形降低易分样本的权重，专注于训练难分负样本，将类别置信度loss(conf)设定为focal loss可以训练一个高精度SSD方法。类别置信度损失L_conf(焦点损失函数，本发明选用焦点损失作为类别置信度置信度损失)定义为：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中，FL(p_t)为类别置信度损失，α_t为类别的比例倒数，p_t为标注类别所对应的概率，γ为参数，γ>0；

本发明加了(1-p_t)^γ到交叉熵上【普通的交叉熵直接取对数】。这个缩放因子可以自动降低训练时简单样本(背景)贡献的比重，以便模型快速收敛。这些小的损失值可以主导那些稀少的类(故障类或为伪故障)。

Focal loss的属性如下：

(1)当一个样例被误分类，那么Pt很小，那么调制因子(1-Pt)接近1，损失不被影响；当Pt→1，因子(1-Pt)接近0，那么分的比较好的(well-classified)样本的权值就被调低了。

(2)专注参数γ平滑地调节了易分样本调低权值的比例。γ增大能增强调制因子的影响。

调制因子减少了易分样本的损失贡献，拓宽了样例接收到低损失的范围。举例来说，当γ＝2时，一个样本被分类的Pt＝0.9的损失比初始损失小1000多倍。这样就增加了那些误分类的重要性(它们损失被缩了4倍多，当Pt<0.5且γ＝2)

通过目标函数(整体损失，包含位置损失与类别置信度损失两部分)

计算损失值。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤二六中通过优化器Adam进行优化权重；具体过程为；

Adam优化器具有高效、占用内存小、适合大规模数据等优点。

如下公式(2)所示：

式中，W为权重，W_i为上一次的权重或者初始权重，η为学习率，学习率设定为0.0001，高学习率意味着在权重更新中采取更大的步骤，因此模型可能花费较少的时间来收敛于最优权重集合。但是，如果学习率过高，可能导致跳跃过大，不够精确，无法达到最佳点。

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤三中将真实过车图像输入已训练好的SSD深度学习网络，判别制动梁支柱折断故障；具体过程为：

对真实过车图像进行亮度变换、缩放到统一尺寸等预处理后，使用已训练好的SSD深度学习网络权重系数1，如支柱图像里的红框，预测出制动梁支柱位置，权重系数1用于定位制动梁支柱；

折断故障面积小,最初只包含少量像素点,很难与背景和噪声区分开,而且缺乏形状、纹理等信息,须等到目标像素增加到一定数目才能辨别。对预测出制动梁支柱位置细定位的制动梁支柱图像插值放大处理后，使用训练好的权重系数2，得出预测目标类别与分数值，权重系数2用于识别是否有支柱折断的故障；

经过逻辑判断，若判定存在折断，则对此制动梁支柱折断部分进行坐标转换并报警；若判定不存在折断，则处理下一张制动梁支柱图像。

其它步骤及参数与具体实施方式一至六之一相同。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.铁路货车制动梁支柱折断故障图像识别方法，其特征在于：所述方法具体过程为：

步骤一、建立样本数据集；

步骤二、基于样本数据集，找到最优的权重系数，得到训练好的SSD深度学习网络；具体过程为：

步骤二一：采用随机方式初始化权重系数；

步骤二二：对样本数据集进行特征提取；

步骤二三：默认框生成；

步骤二四：正确的标记预处理；

步骤二五：SSD目标损失函数分为两个部分：

对应默认框的位置损失L_loc(x,l,g)和类别置信度损失L_conf(x,c)；

步骤二六、通过优化器Adam进行优化权重；

步骤二七、经过损失函数和优化器后，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代；重复执行步骤二一至步骤二六，将全部图像完成固定次数的迭代，直到找到最优的权重系数，得到训练好的SSD深度学习网络；

步骤三、将真实过车图像输入已训练好的SSD深度学习网络，判别制动梁支柱折断故障；

所述步骤三中将真实过车图像输入已训练好的SSD深度学习网络，判别制动梁支柱折断故障；具体过程为：

对真实过车图像进行亮度变换、缩放到统一尺寸预处理后，使用已训练好的SSD深度学习网络权重系数1，预测出制动梁支柱位置，权重系数1用于定位制动梁支柱；

对预测出制动梁支柱位置细定位的制动梁支柱图像插值放大处理后，使用训练好的权重系数2，得出预测目标类别与分数值，权重系数2用于识别是否有支柱折断的故障；

若判定存在折断，则对此制动梁支柱折断部分进行坐标转换并报警；若判定不存在折断，则处理下一张制动梁支柱图像。

2.根据权利要求1所述铁路货车制动梁支柱折断故障图像识别方法，其特征在于：所述步骤一中建立样本数据集；具体过程为：

分别在货车轨道周围搭建设备，货车通过设备后，获取货车两侧、底部、上部全方位的图像；图像为灰度图像；

样本数据集包括：粗定位灰度图像集、部件位置标记集、部件灰度图像集、部件折断标记集；

粗定位灰度图像集通过依据先验知识截取设备拍摄的制动梁支柱灰度图像；

部件位置标记集为对制动梁支柱部件的粗定位灰度图像进行标记后xml文件，通过人工标记的方式获取；

粗定位灰度图像集与部件位置标记集之间是一一对应的，即每个灰度图像对应一个标记xml文件；

部件灰度图像集是对粗定位灰度图像集用SSD网络进行制动梁支柱细定位得到；

部件折断标记图像集是对部件灰度图像集中的制动梁支柱折断进行标记后的xml文件，通过人工标记的方式获取；

部件灰度图像集与部件折断标记集之间是一一对应的，即每个灰度图像对应一个标记xml文件；

对样本数据集进行数据扩增，扩增形式包括图像的亮度增强、裁剪、饱和度调整、旋转、平移、缩放、镜像操作；

对数据集中的样本统一缩放到N*N。

3.根据权利要求1或2所述铁路货车制动梁支柱折断故障图像识别方法，其特征在于：所述步骤二三中默认框生成；具体过程为：

对每一张特征图，按照不同的大小和长宽比生成k个默认框；

每个默认框大小计算公式为：

其中，m为特征图数目，s_min为最底层特征图大小，s_max为最顶层特征图大小；

每个默认框长宽比根据比例值计算，比例值为{1,2,3,1/2,1/3}；

对于比例为1的默认框，额外添加一个比例为

的默认框；

式中，s'_k为增加的比例，s_k+1为第k+1个默认框；

最终，每张特征图中的每个点生成6个默认框。

4.根据权利要求3所述铁路货车制动梁支柱折断故障图像识别方法，其特征在于：所述步骤二四中正确的标记预处理；具体过程为：

将标签信息真实框，真实框类别进行预处理，将标签信息对应到相应的默认框上；

根据默认框和真实框的重叠交并比来寻找对应的默认框。

5.根据权利要求4所述铁路货车制动梁支柱折断故障图像识别方法，其特征在于：所述步骤二五中SSD目标损失函数分为两个部分：对应默认框的位置损失L_loc(x,l,g)和类别置信度损失L_conf(x,c)；具体过程为：

i指代搜索框序号，j指代真实框序号，p指代类别序号，p＝0表示背景；

定义

取1表示此时第i个搜索框和对应的第j个真实框交并比大于阈值，相应的类别为p；

表示第i个搜索框对应类别p的预测概率；

目标函数定义为：

其中，l为预测框，g为真实框，L_conf为类别置信度损失，L_loc为默认框的位置损失，α为参数，通过交叉验证设置为1，N为匹配的默认框；如果N＝0，L(x,c,l,g)为零；

类别置信度损失L_conf定义为：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中，FL(p_t)为类别置信度损失，α_t为类别的比例倒数，p_t为标注类别所对应的概率，γ为参数，γ>0；

通过目标函数

计算损失值。

6.根据权利要求5所述铁路货车制动梁支柱折断故障图像识别方法，其特征在于：所述步骤二六中通过优化器Adam进行优化权重；具体过程为；

如下公式(2)所示：

式中，W为权重，W_i为上一次的权重或者初始权重，η为学习率。

Images