CN115272850A - 一种铁路货车bab型闸调器拉杆头折断故障识别方法 - Google Patents

一种铁路货车bab型闸调器拉杆头折断故障识别方法 Download PDF

Info

Publication number
CN115272850A
CN115272850A CN202210859077.9A CN202210859077A CN115272850A CN 115272850 A CN115272850 A CN 115272850A CN 202210859077 A CN202210859077 A CN 202210859077A CN 115272850 A CN115272850 A CN 115272850A
Authority
CN
China
Prior art keywords
layer
output
csplayer
concat
rod head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210859077.9A
Other languages
English (en)
Inventor
邓艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202210859077.9A priority Critical patent/CN115272850A/zh
Publication of CN115272850A publication Critical patent/CN115272850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种铁路货车BAB型闸调器拉杆头折断故障识别方法，它属于故障识别技术领域。本发明解决了采用现有方法对BAB型闸调器拉杆头折断故障进行检测时，容易出现漏检、错检的问题。本发明方法采用的技术方案为：步骤一、获取BAB型闸调器拉杆头子图数据集，再将获取的子图的尺寸归一化到M*N大小，并基于归一化后的图像构造训练集；步骤二、构建拉杆头折断故障识别模型；步骤三、利用训练集对构建的拉杆头折断故障识别模型进行训练；步骤四、利用训练好的拉杆头折断故障识别模型对待检测的BAB型闸调器拉杆头子图进行故障识别。本发明方法可以应用于BAB型闸调器拉杆头折断故障检测。

Description

一种铁路货车BAB型闸调器拉杆头折断故障识别方法
技术领域
本发明属于故障识别技术领域，具体涉及一种铁路货车BAB型闸调器拉杆头折断故障识别方法。
背景技术
随着汽车行业的发展壮大，以JSQ6型双层运输汽车专用车为主力军的铁路运输已经成为小汽车运输市场的重要组成部分，大量JSQ6型铁路货车均采用BAB型集成制动装置，因此，BAB型闸调器拉杆头的完整对行车安全至关重要。在传统的人工检测方式中，检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。近几年，随着深度学习与人工智能技术的不断发展，在技术上不断成熟，使利用图像自动识别技术来对BAB型闸调器拉杆头折断故障进行检测成为可能。
发明内容
本发明的目的是为解决采用现有方法对BAB型闸调器拉杆头折断故障进行检测时，容易出现漏检、错检的问题，而提出一种铁路货车BAB型闸调器拉杆头折断故障识别方法。
本发明为解决上述技术问题所采取的技术方案是：一种铁路货车BAB型闸调器拉杆头折断故障识别方法，该方法包括以下步骤：
步骤一、获取BAB型闸调器拉杆头子图数据集，再将获取的子图的尺寸归一化到M*N大小，并基于归一化后的图像构造训练集；
步骤二、构建拉杆头折断故障识别模型CA-YoLoX-S
所述拉杆头折断故障识别模型包括主干特征提取网络CSPDarknet、加强特征提取网络和分类回归网络；
所述主干特征提取网络CSPDarknet包括输入层、Focus层、第一卷积单元至第五卷积单元、第一CSPLayer层至第四CSPLayer层、SPPBottleneck模块、第一CoordinateAttention层至第四Coordinate Attention层；其中，每个卷积单元均包括一个卷积层、一个BN层以及一个SiLU激活函数层；
所述加强特征提取网络包括第一卷积层至第三卷积层、第一上采样层至第三上采样层、第五Coordinate Attention层至第十Coordinate Attention层、第一Concat+CSPLayer层至第六Concat+CSPLayer层以及第一下采样层至第三下采样层；
所述分类回归网络包括第一YoloHead模块、第二YoloHead模块和第三YoloHead模块；
训练集图像通过主干特征提取网络CSPDarknet的输入层输入到拉杆头折断故障识别模型；
输入图像再依次经过主干特征提取网络CSPDarknet的Focus层、第一卷积单元、第二卷积单元和第一CSPLayer层，再将第一CSPLayer层的输出分别输入到第三卷积单元和第一Coordinate Attention层，第一Coordinate Attention层的输出输入到第三Concat+CSPLayer层；
第三卷积单元的输出再经过第二CSPLayer层，再将第二CSPLayer层的输出分别输入到第四卷积单元和第二Coordinate Attention层，第二Coordinate Attention层的输出输入到第二Concat+CSPLayer层；
第四卷积单元的输出经过第三CSPLayer层，再将第三CSPLayer层的输出分别输入到第五卷积单元和第三Coordinate Attention层，第三Coordinate Attention层的输出输入到第一Concat+CSPLayer层；
第五卷积单元的输出再依次经过SPPBottleneck模块和第四CSPLayer层，再将第四CSPLayer层的输出作为第四Coordinate Attention层的输入；
将第四Coordinate Attention层的输出作为第一卷积层的输入，第一卷积层的输出再依次经过第一上采样层和第五Coordinate Attention层，再将第五CoordinateAttention层的输出输入到第一Concat+CSPLayer层，第一Concat+CSPLayer层的输出作为第二卷积层的输入；
第二卷积层的输出再依次经过第二上采样层和第六Coordinate Attention层，再将第六Coordinate Attention层的输出输入到第二Concat+CSPLayer层，第二Concat+CSPLayer层的输出作为第三卷积层的输入；
第三卷积层的输出再依次经过第三上采样层和第七Coordinate Attention层，再将第七Coordinate Attention层的输出输入到第三Concat+CSPLayer层，第三Concat+CSPLayer层的输出作为第一下采样层的输入；
将第一下采样层的输出再输入到第八Coordinate Attention层，再将第八Coordinate Attention层的输出作为第四Concat+CSPLayer层的输入，在第四Concat+CSPLayer层内，第八Coordinate Attention层的输出与第三卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第四Concat+CSPLayer层的输出；
第四Concat+CSPLayer层的输出输入到第二下采样层；
将第二下采样层的输出再输入到第九Coordinate Attention层，再将第九Coordinate Attention层的输出输入到第五Concat+CSPLayer层，在第五Concat+CSPLayer层内，第九Coordinate Attention层的输出与第二卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第五Concat+CSPLayer层的输出；
第五Concat+CSPLayer层的输出输入到第三下采样层；
将第三下采样层的输出再输入到第十Coordinate Attention层，再将第十Coordinate Attention层的输出输入到第六Concat+CSPLayer层，在第六Concat+CSPLayer层内，第十Coordinate Attention层的输出与第一卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第六Concat+CSPLayer层的输出；
第四Concat+CSPLayer层的输出输入到第一YoloHead模块，第五Concat+CSPLayer层的输出输入到第二YoloHead模块，第六Concat+CSPLayer层的输出输入到第三YoloHead模块；
对第一YoloHead模块、第二YoloHead模块和第三YoloHead模块的输出进行融合，再根据融合结果获得故障识别结果；
步骤三、利用训练集对构建的拉杆头折断故障识别模型进行训练；
步骤四、获取待检测的BAB型闸调器拉杆头子图，将待检测图像通过CutMix方式和直方图均衡化方式进行图像增强，将图像增强后的图像输入到训练好的拉杆头折断故障识别模型，若模型检测到拉杆头折断故障，则根据拉杆头折断位置的坐标判断拉杆头折断区域的长、宽是否在设定的阈值范围内，若长和宽均在设定的阈值范围内，则进行故障报警，否则不进行故障报警。
优选地，步骤一中，获取BAB型闸调器拉杆头子图数据集的具体过程为：
利用搭建在货车轨道周围的高清成像设备获取货车图像，再采用深度学习网络对获取到的图像中的闸调器进行分类和定位，若对闸调器的分类结果为属于BAB型闸调器，则根据定位结果从获取的图像中截取出BAB型闸调器拉杆头子图，获取到的全部拉杆头子图组成拉杆头子图数据集；
否则，若对闸调器的分类结果为属于其它类型闸调器，则不做处理。
优选地，采用深度学习网络对获取到的图像中的闸调器进行分类和定位，是通过TFDS系统框架先导模块实现的。
优选地，将获取的子图的尺寸归一化到M*N是将获取的子图的尺寸归一化到640*320。
优选地，基于归一化后的图像构造训练集，其具体过程为：
对归一化后的图像进行数据扩增，数据扩增方式包括图像平移、图像缩放、图像亮度调整，直方图均衡化和CutMix正则化。
优选地，SPPBottleneck模块的工作原理为：
输入SPPBottleneck模块的数据首先经过一个卷积单元，卷积单元的输出再分别进行池化核大小为5、池化核大小为9以及池化核大小为13的三种方式计算，再将三种方式的计算结果与卷积单元的输出结果进行融合，融合结果再经过下一个卷积单元。
优选地，YoloHead模块的结构为：
YoloHead模块的输入首先经过一个卷积单元，卷积单元的输出再分别输入到并联的两个通道，所述并联的两个通道中，每个通道均包括两个卷积单元。
优选地，拉杆头折断故障识别模型CA-YoLoX-S采用的损失函数为：
Figure BDA0003755580680000041
其中，bp为预测框，bp＝(wp,hp,xp,yp)，wp为预测框的宽，hp为预测框的高，xp为预测框中心的x坐标，yp为预测框中心的y坐标，bgt为真实框，bgt＝(wgt,hgt,xgt,ygt)，wgt为真实框的宽，hgt为真实框的高，xgt为真实框中心的x坐标，ygt为真实框中心的y坐标，ρ(·)代表欧几里得距离，c代表预测框和真实框最小外接矩形的对角线的长度；
Figure BDA0003755580680000042
惩罚项ανν为：
Figure BDA0003755580680000043
Figure BDA0003755580680000044
本发明的有益效果是：
1、本发明利用图像自动识别的方式代替人工检测，提高检测效率、准确率，避免出现漏检、错检的问题。
2、根据TFDS自动识别框架提供的BAB型闸调器的位置和方向，精准的定位BAB型闸调器位置，为后面故障的检测提供了精确的子图范围。
3、选用CutMix正则化方式对图像进行增强，提高训练模型对遮挡的适应性，增加了模型的泛化能力。
4、利用CA-YoLoX-s网络对拉杆头折断故障进行识别，进一步增加了与浅层特征层的融合，提高了故障检测的准确率。
5、增加注意力机制，将注意力集中在目标区域内，获取拉杆头折断的细节信息，提高模型检测的泛化能力。
6、选用ICIoU损失函数，增加模型的收敛速度，解决了CIoU算法在计算产生的惩罚函数退化的问题，提高了故障检测的准确率。
附图说明
图1是本发明的一种铁路货车BAB型闸调器拉杆头折断故障识别方法的流程图；
图2是拉杆头折断故障识别模型CA-YoLoX-S的结构图；
图3是SPPBottleneck模块的结构图；
图4是YoloHead模块的结构图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一、结合图1和图2说明本实施方式。本实施方式的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，该方法具体通过以下步骤实现：
步骤一、获取BAB型闸调器拉杆头子图数据集，再将获取的子图的尺寸归一化到M*N大小，并基于归一化后的图像构造训练集；
步骤二、构建拉杆头折断故障识别模型CA-YoLoX-S
所述拉杆头折断故障识别模型包括主干特征提取网络CSPDarknet、加强特征提取网络和分类回归网络；
所述主干特征提取网络CSPDarknet包括输入层、Focus层、第一卷积单元至第五卷积单元、第一CSPLayer层至第四CSPLayer层、SPPBottleneck模块、第一CoordinateAttention层至第四Coordinate Attention层；其中，每个卷积单元均包括一个卷积层、一个BN层以及一个SiLU激活函数层；
所述加强特征提取网络包括第一卷积层至第三卷积层、第一上采样层至第三上采样层、第五Coordinate Attention层至第十Coordinate Attention层、第一Concat+CSPLayer层至第六Concat+CSPLayer层以及第一下采样层至第三下采样层；
所述分类回归网络包括第一YoloHead模块、第二YoloHead模块和第三YoloHead模块；
训练集图像通过主干特征提取网络CSPDarknet的输入层输入到拉杆头折断故障识别模型；
输入图像再依次经过主干特征提取网络CSPDarknet的Focus层、第一卷积单元、第二卷积单元和第一CSPLayer层，再将第一CSPLayer层的输出分别输入到第三卷积单元和第一Coordinate Attention层，第一Coordinate Attention层的输出输入到第三Concat+CSPLayer层；
第三卷积单元的输出再经过第二CSPLayer层，再将第二CSPLayer层的输出分别输入到第四卷积单元和第二Coordinate Attention层，第二Coordinate Attention层的输出输入到第二Concat+CSPLayer层；
第四卷积单元的输出经过第三CSPLayer层，再将第三CSPLayer层的输出分别输入到第五卷积单元和第三Coordinate Attention层，第三Coordinate Attention层的输出输入到第一Concat+CSPLayer层；
第五卷积单元的输出再依次经过SPPBottleneck模块和第四CSPLayer层，再将第四CSPLayer层的输出作为第四Coordinate Attention层的输入；
将第四Coordinate Attention层的输出作为第一卷积层的输入，第一卷积层的输出再依次经过第一上采样层和第五Coordinate Attention层，再将第五CoordinateAttention层的输出输入到第一Concat+CSPLayer层，第一Concat+CSPLayer层的输出作为第二卷积层的输入；
在第一Concat+CSPLayer层内，第三Coordinate Attention层的输出和第五Coordinate Attention层的输出首先进行融合，融合结果再进行CSPLayer操作；
第二卷积层的输出再依次经过第二上采样层和第六Coordinate Attention层，再将第六Coordinate Attention层的输出输入到第二Concat+CSPLayer层，第二Concat+CSPLayer层的输出作为第三卷积层的输入；
在第二Concat+CSPLayer层内，第二Coordinate Attention层的输出和第六Coordinate Attention层的输出首先进行融合，融合结果再进行CSPLayer操作；
第三卷积层的输出再依次经过第三上采样层和第七Coordinate Attention层，再将第七Coordinate Attention层的输出输入到第三Concat+CSPLayer层，第三Concat+CSPLayer层的输出作为第一下采样层的输入；
在第三Concat+CSPLayer层内，第一Coordinate Attention层的输出和第七Coordinate Attention层的输出首先进行融合，融合结果再进行CSPLayer操作；
将第一下采样层的输出再输入到第八Coordinate Attention层，再将第八Coordinate Attention层的输出作为第四Concat+CSPLayer层的输入，在第四Concat+CSPLayer层内，第八Coordinate Attention层的输出与第三卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第四Concat+CSPLayer层的输出；
第四Concat+CSPLayer层的输出输入到第二下采样层；
将第二下采样层的输出再输入到第九Coordinate Attention层，再将第九Coordinate Attention层的输出输入到第五Concat+CSPLayer层，在第五Concat+CSPLayer层内，第九Coordinate Attention层的输出与第二卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第五Concat+CSPLayer层的输出；
第五Concat+CSPLayer层的输出输入到第三下采样层；
将第三下采样层的输出再输入到第十Coordinate Attention层，再将第十Coordinate Attention层的输出输入到第六Concat+CSPLayer层，在第六Concat+CSPLayer层内，第十Coordinate Attention层的输出与第一卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第六Concat+CSPLayer层的输出；
第四Concat+CSPLayer层的输出输入到第一YoloHead模块，第五Concat+CSPLayer层的输出输入到第二YoloHead模块，第六Concat+CSPLayer层的输出输入到第三YoloHead模块；
对第一YoloHead模块、第二YoloHead模块和第三YoloHead模块的输出进行融合，再根据融合结果获得故障识别结果；
步骤三、利用训练集对构建的拉杆头折断故障识别模型进行训练；
步骤四、获取待检测的BAB型闸调器拉杆头子图，将待检测图像通过CutMix方式和直方图均衡化方式进行图像增强(以使模型更好的获得检测目标的特征)，将图像增强后的图像输入到训练好的拉杆头折断故障识别模型，若模型检测到拉杆头折断故障，则根据拉杆头折断位置的坐标判断拉杆头折断区域的长、宽是否在设定的阈值范围内，若长和宽均在设定的阈值范围内，则进行故障报警，否则不进行故障报警。
本发明以YoLoX-s为基础网络，改进了PANet路径融合网络，经过网络的改进增加了与浅层特征的融合，一定程度上提高了模型对位置和细节信息的特征提取能力。在特征提取网络部分，加入了注意力机制，用以提高目标检测的准确性。选择ICIoU Loss增加模型回归时的收敛速度和模型收敛的准确度。
其中CA-YoLoX-s网络模型具体细节如图2所示，主要包括主干特征提取网络CSPDarknet、加强特征提取网络和分类回归层。
CA-YoLoX-s模型结构的计算流程为：
(1)根据BAB型拉杆头在图像中尺寸的大小，截取到的拉杆头的子图大小为640*320*3，作为模型的输入。
(2)针对拉杆头图像每隔1个像素获取1个值，在获取得到4个独立的特征层以后，通过堆叠特征层，宽和高两个维度的信息均被集中到了通道信息，输入通道扩展为原来的4倍，得到320*160*3的数据。
(3)利用激活函数SiLU，相比ReLU激活函数，具有平滑、非单调性等特性。针对(2)提取的特征进行三次不同的特征提取，分别获得feat1，feat2，feat3三个不同的特征层。其中SPPBottleneck结构，实际操作为将数据分别经过没有池化、池化核大小为5，池化核为9，池化核为13四种方式进行计算，并将四种方式的计算结果进行融合，得到20*20*512的数据。经过不同大小核的池化操作进行特征提取，提高网络的感受野。
(4)将(3)的最终结果输入到改进的PANet网络中，将80*40尺度特征层经过1次通道数调整，获得P5，然后经过一次上采样，再添加注意力机制(Coordinate Attention)，然后将其与40*20尺度特征层融合，再将融合结果经由CSPLayer，经过1次通道数调整，获得P4。
(5)将P4经过一次上采样，再添加注意力机制，然后将其与80*40尺度特征层融合，再将融合结果经由CSPLayer，经过1次通道数调整，获得P3。将P3经过一次上采样，再添加注意力机制(Coordinate Attention)，然后将其与160*80尺度特征层融合，融合结果再经由CSPLayer，获得P2_out。
(6)将P2_out进行一次下采样，添加注意力机制，和P3进行融合，通过CSPLayer特征提取获得P3_out。
(7)将P3_out进行一次下采样，添加注意力机制，和P4进行融合，通过CSPLayer特征提取获得P4_out。
(8)将P4_out进行一次下采样，添加注意力机制，和P5进行融合，通过CSPLayer特征提取获得P5_out。
(9)然后将三个加强特征层传入YoloHead，选择ICIoU Loss为损失函数实现回归和分类，最后的得到预测结果。
在模型训练的网络中加入了注意力机制，使网络更加关注拉杆头折断这一故障形态，忽略不必要的消息，提高了模型检测的泛化能力。注意力机制是在水平方向和垂直方向进行了平均池化，通过空间信息编码，以加权的方式融合了空间信息。首先对给定的输入x，分别对水平方向和垂直方向的平均池化，计算公式为：
Figure BDA0003755580680000091
其中，
Figure BDA0003755580680000092
代表高度为h的第c通道的输出，
Figure BDA0003755580680000093
代表宽度为w的第c通道的输出。
接着进行批量的归一化以及非线性处理，对垂直方向和水平方向的空间信息进行编码。编码计算公式为：
f＝σ(F1([zh，zw]))，其中F1代表1*1的卷积变换，σ代表非线性Sigmoid激活函数。
然后使用两个1*1的卷积变换Fh和Fw，以及将f分为两个单独的张量fh和fw，最终获得和x一样的通道数。计算过程为：gh＝σ(Fh(fh))和gw＝σ(Fw(fw))，其中σ代表Sigmoid函数。
最终获得注意力机制模块的输出y：
Figure BDA0003755580680000094
上面(4)到(5)步，将80*40,40*20,20*10的特征信息最终和160*80浅层特征层的信息相互融合，使融合单元P2_out能够传递浅层的强定位信息和边缘特征，从而提高BAB型闸调器拉杆头折断故障检测的准确率。
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一中，获取BAB型闸调器拉杆头子图数据集的具体过程为：
利用搭建在货车轨道周围的高清成像设备获取货车图像，再采用深度学习网络对获取到的图像中的闸调器进行分类和定位，若对闸调器的分类结果为属于BAB型闸调器，则根据定位结果从获取的图像中截取出BAB型闸调器拉杆头子图，获取到的全部拉杆头子图组成拉杆头子图数据集；
否则，若对闸调器的分类结果为属于其它类型闸调器，则不做处理。
具体实施方式三：本实施方式与具体实施方式二不同的是：采用深度学习网络对获取到的图像中的闸调器进行分类和定位，是通过TFDS系统框架先导模块实现的。
对闸调器进行分类和定位后，依赖TFDS系统框架先导模块提供的闸调器的种类、位置、方向进行综合判断得到BAB型闸调器拉杆头的坐标位置，然后根据得到的拉杆头坐标位置进行拉杆头子图的截取。
具体实施方式四：本实施方式与具体实施方式一不同的是：将获取的子图的尺寸归一化到M*N是将获取的子图的尺寸归一化到640*320。
本实施方式中，将获取的子图的尺寸统一归一化至640*320，是为了排除旁边部件的干扰，提高故障识别的准确率。
具体实施方式五：本实施方式与具体实施方式一不同的是：基于归一化后的图像构造训练集，其具体过程为：
对归一化后的图像进行数据扩增，数据扩增方式包括图像平移、图像缩放、图像亮度调整，直方图均衡化和CutMix正则化。
获取的图像虽然包括雨水、泥渍、油渍、黑漆等各种条件下的图像，但为了提高算法的稳定性，仍需要对样本数据集进行数据扩增。且每种扩增方式都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。
因为BAB型闸调器拉杆头折断后的故障形态很容易受到J型杠杆或者制动梁支柱的遮挡，一方面因为折断的形态不一致，遮挡的状态也不一致，很难收集全所有遮挡的状态；另一方面，被遮挡的状态，图像中折断的目标很容易漏检和误检，利用CutMix正则化方式对图像进行增强，在一定程度上解决了遮挡问题。CutMix通过从训练图像直接剪切和粘贴遮挡块来进行图像增强，并且将目标区域按照比例混合到合并图像中，这种策略在训练过程中可以避免无信息像素的消极影响，使得再进行深度学习训练模型时，神经网络能够学习到主要的特征信息，降低遮挡拉杆头折断故障的不相关特征信息的影响，从而提高网络模型对遮挡图像的鲁棒性，防止过拟合，使训练更加有效。
具体实施方式六：如图3所示，本实施方式与具体实施方式一不同的是：SPPBottleneck模块的工作原理为：
输入SPPBottleneck模块的数据首先经过一个卷积单元，卷积单元的输出再分别进行池化核大小为5、池化核大小为9以及池化核大小为13的三种方式计算，再将三种方式的计算结果与卷积单元的输出结果进行融合，融合结果再经过下一个卷积单元。
经过不同大小核的池化操作进行特征提取，可以提高网络的感受野。
具体实施方式七：如图4所示，本实施方式与具体实施方式一不同的是：YoloHead模块的结构为：
YoloHead模块的输入首先经过一个卷积单元，卷积单元的输出再分别输入到并联的两个通道，所述并联的两个通道中，每个通道均包括两个卷积单元。
本发明中，每个BN层后均设置有激活函数SiLU，相比ReLU激活函数，SiLU具有平滑、非单调性等特性。
具体实施方式八：本实施方式与具体实施方式一不同的是：拉杆头折断故障识别模型CA-YoLoX-S采用的损失函数为：
Figure BDA0003755580680000111
其中，bp为预测框，bp＝(wp,hp,xp,yp)，wp为预测框的宽，hp为预测框的高，xp为预测框中心的x坐标，yp为预测框中心的y坐标，bgt为真实框，bgt＝(wgt,hgt,xgt,ygt)，wgt为真实框的宽，hgt为真实框的高，xgt为真实框中心的x坐标，ygt为真实框中心的y坐标，ρ(·)代表欧几里得距离，c代表预测框和真实框最小外接矩形的对角线的长度；
Figure BDA0003755580680000112
惩罚项ανν为：
Figure BDA0003755580680000113
Figure BDA0003755580680000114
本发明选择ICIoU(The Proposed Method ICIoU)作为损失函数，ICIoU解决了CIoU算法在计算时产生的惩罚函数退化的问题，在CIoU的基础上，用真实边框Bgt和预测边框各自对应边比值的方差作为惩罚函数计算的依据。νν能更加全面考虑边框尺寸对损失LICIoU的积极作用，改进了CIoU在真实边框高宽比和预测边框高宽比相等时的退化问题。让模型的训练更加快速的收敛，识别的准确率得到提升。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述方法具体通过以下步骤实现：
步骤一、获取BAB型闸调器拉杆头子图数据集，再将获取的子图的尺寸归一化到M*N大小，并基于归一化后的图像构造训练集；
步骤二、构建拉杆头折断故障识别模型CA-YoLoX-S
所述拉杆头折断故障识别模型包括主干特征提取网络CSPDarknet、加强特征提取网络和分类回归网络；
所述主干特征提取网络CSPDarknet包括输入层、Focus层、第一卷积单元至第五卷积单元、第一CSPLayer层至第四CSPLayer层、SPPBottleneck模块、第一Coordinate Attention层至第四Coordinate Attention层；其中，每个卷积单元均包括一个卷积层、一个BN层以及一个SiLU激活函数层；
所述加强特征提取网络包括第一卷积层至第三卷积层、第一上采样层至第三上采样层、第五Coordinate Attention层至第十Coordinate Attention层、第一Concat+CSPLayer层至第六Concat+CSPLayer层以及第一下采样层至第三下采样层；
所述分类回归网络包括第一YoloHead模块、第二YoloHead模块和第三YoloHead模块；
训练集图像通过主干特征提取网络CSPDarknet的输入层输入到拉杆头折断故障识别模型；
输入图像再依次经过主干特征提取网络CSPDarknet的Focus层、第一卷积单元、第二卷积单元和第一CSPLayer层，再将第一CSPLayer层的输出分别输入到第三卷积单元和第一Coordinate Attention层，第一Coordinate Attention层的输出输入到第三Concat+CSPLayer层；
第三卷积单元的输出再经过第二CSPLayer层，再将第二CSPLayer层的输出分别输入到第四卷积单元和第二Coordinate Attention层，第二Coordinate Attention层的输出输入到第二Concat+CSPLayer层；
第四卷积单元的输出经过第三CSPLayer层，再将第三CSPLayer层的输出分别输入到第五卷积单元和第三Coordinate Attention层，第三Coordinate Attention层的输出输入到第一Concat+CSPLayer层；
第五卷积单元的输出再依次经过SPPBottleneck模块和第四CSPLayer层，再将第四CSPLayer层的输出作为第四Coordinate Attention层的输入；
将第四Coordinate Attention层的输出作为第一卷积层的输入，第一卷积层的输出再依次经过第一上采样层和第五Coordinate Attention层，再将第五Coordinate Attention层的输出输入到第一Concat+CSPLayer层，第一Concat+CSPLayer层的输出作为第二卷积层的输入；
第二卷积层的输出再依次经过第二上采样层和第六Coordinate Attention层，再将第六Coordinate Attention层的输出输入到第二Concat+CSPLayer层，第二Concat+CSPLayer层的输出作为第三卷积层的输入；
第三卷积层的输出再依次经过第三上采样层和第七Coordinate Attention层，再将第七Coordinate Attention层的输出输入到第三Concat+CSPLayer层，第三Concat+CSPLayer层的输出作为第一下采样层的输入；
将第一下采样层的输出再输入到第八Coordinate Attention层，再将第八CoordinateAttention层的输出作为第四Concat+CSPLayer层的输入，在第四Concat+CSPLayer层内，第八Coordinate Attention层的输出与第三卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第四Concat+CSPLayer层的输出；
第四Concat+CSPLayer层的输出输入到第二下采样层；
将第二下采样层的输出再输入到第九Coordinate Attention层，再将第九CoordinateAttention层的输出输入到第五Concat+CSPLayer层，在第五Concat+CSPLayer层内，第九Coordinate Attention层的输出与第二卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第五Concat+CSPLayer层的输出；
第五Concat+CSPLayer层的输出输入到第三下采样层；
将第三下采样层的输出再输入到第十Coordinate Attention层，再将第十CoordinateAttention层的输出输入到第六Concat+CSPLayer层，在第六Concat+CSPLayer层内，第十Coordinate Attention层的输出与第一卷积层的输出首先进行融合，融合结果再经过CSPLayer操作，获得第六Concat+CSPLayer层的输出；
第四Concat+CSPLayer层的输出输入到第一YoloHead模块，第五Concat+CSPLayer层的输出输入到第二YoloHead模块，第六Concat+CSPLayer层的输出输入到第三YoloHead模块；
对第一YoloHead模块、第二YoloHead模块和第三YoloHead模块的输出进行融合，再根据融合结果获得故障识别结果；
步骤三、利用训练集对构建的拉杆头折断故障识别模型进行训练；
步骤四、获取待检测的BAB型闸调器拉杆头子图，将待检测图像通过CutMix方式和直方图均衡化方式进行图像增强，将图像增强后的图像输入到训练好的拉杆头折断故障识别模型，若模型检测到拉杆头折断故障，则根据拉杆头折断位置的坐标判断拉杆头折断区域的长、宽是否在设定的阈值范围内，若长和宽均在设定的阈值范围内，则进行故障报警，否则不进行故障报警。
2.根据权利要求1所述的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述步骤一中，获取BAB型闸调器拉杆头子图数据集的具体过程为：
利用搭建在货车轨道周围的高清成像设备获取货车图像，再采用深度学习网络对获取到的图像中的闸调器进行分类和定位，若对闸调器的分类结果为属于BAB型闸调器，则根据定位结果从获取的图像中截取出BAB型闸调器拉杆头子图，获取到的全部拉杆头子图组成拉杆头子图数据集；
否则，若对闸调器的分类结果为属于其它类型闸调器，则不做处理。
3.根据权利要求2所述的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述采用深度学习网络对获取到的图像中的闸调器进行分类和定位，是通过TFDS系统框架先导模块实现的。
4.根据权利要求1所述的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述将获取的子图的尺寸归一化到M*N是将获取的子图的尺寸归一化到640*320。
5.根据权利要求1所述的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述基于归一化后的图像构造训练集，其具体过程为：
对归一化后的图像进行数据扩增，数据扩增方式包括图像平移、图像缩放、图像亮度调整，直方图均衡化和CutMix正则化。
6.根据权利要求1所述的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述SPPBottleneck模块的工作原理为：
输入SPPBottleneck模块的数据首先经过一个卷积单元，卷积单元的输出再分别进行池化核大小为5、池化核大小为9以及池化核大小为13的三种方式计算，再将三种方式的计算结果与卷积单元的输出结果进行融合，融合结果再经过下一个卷积单元。
7.根据权利要求1所述的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述YoloHead模块的结构为：
YoloHead模块的输入首先经过一个卷积单元，卷积单元的输出再分别输入到并联的两个通道，所述并联的两个通道中，每个通道均包括两个卷积单元。
8.根据权利要求1所述的一种铁路货车BAB型闸调器拉杆头折断故障识别方法，其特征在于，所述拉杆头折断故障识别模型CA-YoLoX-S采用的损失函数为：
Figure FDA0003755580670000041
其中，bp为预测框，bp＝(wp,hp,xp,yp)，wp为预测框的宽，hp为预测框的高，xp为预测框中心的x坐标，yp为预测框中心的y坐标，bgt为真实框，bgt＝(wgt,hgt,xgt,ygt)，wgt为真实框的宽，hgt为真实框的高，xgt为真实框中心的x坐标，ygt为真实框中心的y坐标，ρ(·)代表欧几里得距离，c代表预测框和真实框最小外接矩形的对角线的长度；
Figure FDA0003755580670000042
惩罚项ανν为：
Figure FDA0003755580670000043
Figure FDA0003755580670000044
CN202210859077.9A 2022-07-20 2022-07-20 一种铁路货车bab型闸调器拉杆头折断故障识别方法 Pending CN115272850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210859077.9A CN115272850A (zh) 2022-07-20 2022-07-20 一种铁路货车bab型闸调器拉杆头折断故障识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210859077.9A CN115272850A (zh) 2022-07-20 2022-07-20 一种铁路货车bab型闸调器拉杆头折断故障识别方法

Publications (1)

Publication Number Publication Date
CN115272850A true CN115272850A (zh) 2022-11-01

Family

ID=83767030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210859077.9A Pending CN115272850A (zh) 2022-07-20 2022-07-20 一种铁路货车bab型闸调器拉杆头折断故障识别方法

Country Status (1)

Country Link
CN (1) CN115272850A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071423A (zh) * 2023-02-09 2023-05-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车闸调器部件定位方法、系统及介质
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226050A (zh) * 2016-07-15 2016-12-14 北京航空航天大学 一种tfds故障自动识别方法
CN111080607A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种基于图像识别的滚动轴承甩油故障检测方法
CN111091547A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车制动梁支柱折断故障图像识别方法
CN111652296A (zh) * 2020-05-21 2020-09-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车下拉杆折断故障检测方法
CN112434695A (zh) * 2020-11-20 2021-03-02 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的上拉杆故障检测方法
CN112613543A (zh) * 2020-12-15 2021-04-06 重庆紫光华山智安科技有限公司 增强策略验证方法、装置、电子设备及存储介质
US20210135625A1 (en) * 2018-05-09 2021-05-06 Beijing Institute Of Technology Photovoltaic array fault diagnosis method based on composite information
CN113569981A (zh) * 2021-08-13 2021-10-29 桂林电子科技大学 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN113643258A (zh) * 2021-08-12 2021-11-12 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的列车侧部裙板丢失故障的检测方法
CN114758215A (zh) * 2022-04-25 2022-07-15 贵州电网有限责任公司 一种配网带电作业机器人接地环及其螺栓的识别定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226050A (zh) * 2016-07-15 2016-12-14 北京航空航天大学 一种tfds故障自动识别方法
US20210135625A1 (en) * 2018-05-09 2021-05-06 Beijing Institute Of Technology Photovoltaic array fault diagnosis method based on composite information
CN111080607A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种基于图像识别的滚动轴承甩油故障检测方法
CN111091547A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车制动梁支柱折断故障图像识别方法
CN111652296A (zh) * 2020-05-21 2020-09-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车下拉杆折断故障检测方法
CN112434695A (zh) * 2020-11-20 2021-03-02 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的上拉杆故障检测方法
CN112613543A (zh) * 2020-12-15 2021-04-06 重庆紫光华山智安科技有限公司 增强策略验证方法、装置、电子设备及存储介质
CN113643258A (zh) * 2021-08-12 2021-11-12 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的列车侧部裙板丢失故障的检测方法
CN113569981A (zh) * 2021-08-13 2021-10-29 桂林电子科技大学 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN114758215A (zh) * 2022-04-25 2022-07-15 贵州电网有限责任公司 一种配网带电作业机器人接地环及其螺栓的识别定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI PENG等: "Improved YOLOX"s Anchor-Free SAR Image Ship Target Detection", 《IEEE ACCESS》 *
徐哲玮等: "基于改进YoloX-s的密贴检查器故障检测方法", 《电子测量技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071423A (zh) * 2023-02-09 2023-05-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车闸调器部件定位方法、系统及介质
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统
CN116524293B (zh) * 2023-04-10 2024-01-30 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障识别方法及系统

Similar Documents

Publication Publication Date Title
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN115272850A (zh) 一种铁路货车bab型闸调器拉杆头折断故障识别方法
CN109948416A (zh) 一种基于深度学习的违法占用公交车道自动审核方法
Mittal et al. Vision based railway track monitoring using deep learning
CN111652296A (zh) 一种基于深度学习的铁路货车下拉杆折断故障检测方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN101968924A (zh) 基于高分辨率图像的车流量实时检测方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN109800714A (zh) 一种基于人工智能的船舶检测系统及方法
CN113553916B (zh) 一种基于卷积神经网络的轨道危险区域障碍物检测方法
CN111652295A (zh) 一种铁路货车钩尾销托梁脱落故障识别方法
CN111523415A (zh) 一种基于图像的两客一危车辆检测方法和装置
CN113888754B (zh) 一种基于雷达视觉融合的车辆多属性识别方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN115965915A (zh) 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN113392817A (zh) 一种基于多列卷积神经网络的车辆密度估计的方法及装置
CN115359306B (zh) 一种铁路货检高清图像智能识别方法和系统
CN112053407A (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN108647679B (zh) 一种基于车窗粗定位的车标识别方法
CN115171059A (zh) 基于改进YOLOv5网络模型的车辆感知方法
CN113569702B (zh) 基于深度学习的货车单双胎识别方法
CN115565141A (zh) 一种基于视觉红外融合的货车轴型检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221101

RJ01 Rejection of invention patent application after publication