CN112489040A - 一种货车副风缸脱落故障识别方法 - Google Patents

一种货车副风缸脱落故障识别方法 Download PDF

Info

Publication number
CN112489040A
CN112489040A CN202011500564.3A CN202011500564A CN112489040A CN 112489040 A CN112489040 A CN 112489040A CN 202011500564 A CN202011500564 A CN 202011500564A CN 112489040 A CN112489040 A CN 112489040A
Authority
CN
China
Prior art keywords
auxiliary reservoir
feature map
layer
data set
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011500564.3A
Other languages
English (en)
Inventor
于婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202011500564.3A priority Critical patent/CN112489040A/zh
Publication of CN112489040A publication Critical patent/CN112489040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种货车副风缸脱落故障识别方法，本发明涉及副风缸脱落故障图像识别方法。本发明的目的是为解决现有人工故障检测方法所存在的故障检测准确率以及效率低的问题。过程为：一、建立样本数据集，样本数据集包括副风缸定位数据集和副风缸检测数据集；二、建立副风缸定位网络模型，将副风缸定位数据集输入副风缸定位网络模型进行训练，得到训练好的副风缸定位网络模型；三、建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；四、利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别。本发明属于故障图像识别领域。

Description

一种货车副风缸脱落故障识别方法
技术领域
本发明属于故障图像识别领域，具体涉及基于深度学习的货车副风缸脱落故障图像识别方法。
背景技术
铁路货车在运行中，由于运行速度的不断提高，载重量的不断增大，副风缸的吊架可能会发生变形，螺栓螺母松动，最后导致吊架螺栓螺母丢失或者副风缸脱落故障。副风缸脱落故障容易导致制动管系泄漏或折断，当螺栓螺母丢失时，副风缸缸体脱落，严重危及行车安全。传统的副风缸脱落故障检测方法通过人工查看铁路货车过车图像识别图像中的故障，检测准确率以及效率低，若能采用图像自动识别的方式对副风缸脱落故障进行检测，则能够及时准确的将故障检测出来，保障货车行车安全，避免造成重大铁路交通事故，使国家和人民的财产受到损失。
发明内容
本发明的目的是为解决现有人工故障检测方法所存在的故障检测准确率以及效率低的问题，而提出一种货车副风缸脱落故障识别方法。
本发明为解决上述技术问题所采取的技术方案是：
一种货车副风缸脱落故障识别方法，该方法包括以下步骤：
步骤一、建立样本数据集，样本数据集包括副风缸定位数据集和副风缸检测数据集；
步骤二、建立副风缸定位网络模型，将副风缸定位数据集输入副风缸定位网络模型进行训练，得到训练好的副风缸定位网络模型；
步骤三、建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；
步骤四、利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别。
可选的，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程包括：
将不同条件下拍摄的不同车型的含有副风缸的粗定位图像作为原始图像集；
构建副风缸定位数据集：对于原始图像集中的原始图像，标记副风缸所在区域的矩形框，获得副风缸定位的数据集；
构建副风缸检测数据集：对于原始图像集中的原始图像，标记固定副风缸的螺栓和缸体位置的矩形框，标记主要分为四类：螺栓、螺栓丢失、缸体正常和缸体脱落，然后获得副风缸检测数据集。
可选的，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程还包括：
分别对副风缸定位数据集和副风缸检测数据集进行数据集扩增：对原始图像进行旋转、平移、缩放、镜像和亮度调整。
可选的，步骤二中建立的副风缸定位网络模型的具体结构包括：
特征提取层和识别分类层；
其中特征提取层为resnet50的前49层卷积层；
识别分类层包括类别预测和位置预测两个分支。
可选的，类别预测包括6个卷积层，分别为第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层，第十一卷积层连接NMS层；
位置预测包括6个卷积层，分别为第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层，第十七卷积层连接NMS层。
可选的，第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层的输入和输出尺寸相同。
可选的，步骤三中建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；具体过程为：
副风缸故障检测网络模型的具体结构包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、RPN层、ROI pooling层、全连接层；
图像输入副风缸故障检测网络模型的输入层，经过输入层输入到第一卷积层进行特征图提取，对第一卷积层输出图像进行0.5倍的上采样，采样结果输入到第二卷积层进行特征图提取，对第二卷积层输出图像进行0.5倍的上采样，采样结果输入到第三卷积层进行特征图提取，对第三卷积层输出图像进行0.5倍的上采样，采样结果输入到第四卷积层进行特征图提取，第四卷积层输出图像输入到第五卷积层进行特征图提取；
对第五卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M5；对第四卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M4；对第三卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M3；对第二卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M2；
对特征图M5进行2倍上采样，采样结果输入到特征图M4，对特征图M4进行2倍上采样，采样结果输入到特征图M3，对特征图M3进行2倍上采样，采样结果输入到特征图M2；
对M5进行3*3的卷积得到特征图P5；对输入采样结果的特征图M4进行3*3的卷积得到特征图P4；对输入采样结果的特征图M3进行3*3的卷积得到特征图P3；对输入采样结果的特征图M2进行3*3的卷积得到特征图P2；
对特征图P5进行0.5倍的上采样得到特征图P6；
将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6输入RPN网络得到候选区域，提取候选区域的特征图做为ROI pooling层的输入，经过ROI pooling层输出最终的特征图，进行全连接操作分别进行分类和边框回归；
利用分类和边框回归的结果，调整副风缸故障检测网络模型的参数，获得训练好的副风缸故障检测网络模型。
可选的，特征图P2、特征图P3、特征图P4、特征图P5、特征图P6应用单尺度候选区域，P2、P3、P4、P5、P6对应候选区域尺度分别为32*32、64*64、128*128、256*256、512*512，每个尺度使用1:3、1、3:1三种比例。
可选的，步骤四中利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别；具体过程为：
步骤四一、在货车轨道周围搭建成像设备，获取货车图像；
步骤四二、将获取的货车图像输入到副风缸定位网络模型中进行副风缸的定位，输出副风缸所在区域的矩形框子图；
步骤四三、将副风缸所在区域的矩形框子图缩放至512*256后，输入到副风缸故障检测网络模型中进行检测，分别对副风缸的缸体和螺栓进行检测；
若同时检测到螺栓丢失和缸体倾斜，则认为该副风缸脱落，将该副风缸位置信息进行上报；
若不能同时检测到螺栓丢失和缸体倾斜，则继续处理下一张图像。
本发明的有益效果是：
本发明在货车轨道周围搭建高清成像设备，当车通过设备后，获取高清图像。采用深度学习网络对车中间部的副风缸进行定位。定位到副风缸后，分别运用深度学习分割网络和检测网络对副风缸进行分割和检测，判断其是否发生脱落。对脱落的副风缸进行上传报警，由相关工作人员对结果进行相应的处理，保证列车的行车安全。
1、采用图像自动识别的方式对故障进行检测，一方面相较于人工检修可提高检测效率和稳定性，另一方面随着深度学习和人工智能技术的不断成熟，可以提高检测的准确率。
2、针对较小的目标检测，本发明选择Resnet结合特征金字塔实现一种多尺度目标特征提取网络，再对不同尺度的特征进行融合，提升检测效果。
附图说明
图1为本发明流程图；
图2为本发明faster-rcnn整体网络结构图；
图3为Resnet-FPN结构图；
图4为故障识别流程图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：结合图1说明本实施方式，本实施方式一种货车副风缸脱落故障识别方法包括以下步骤：
步骤一、建立样本数据集，样本数据集包括副风缸定位数据集和副风缸检测数据集；
步骤二、建立副风缸定位网络模型，将副风缸定位数据集输入副风缸定位网络模型进行训练，得到训练好的副风缸定位网络模型；
步骤三、建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；
步骤四、利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别。
具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程包括：
通过货车轨道周围搭建的高清成像设备，获取货车的高清图像；由于不同车型副风缸的形态位置不固定，需要取含有副风缸的车体部分图像进行定位，将定位的副风缸进一步手动标记固定副风缸的螺栓位置的矩形框和缸体；由于不同站点的拍摄条件不同，设备拍摄的图像存在差异，相机可能受到雨水、泥渍等自然条件影响，导致获取的副风缸图像也存在差异。为了保证数据集的多样性，需要将各站点在不同条件下拍摄的不同车型的副风缸图像全部采集。
将不同条件下拍摄的不同车型的含有副风缸的粗定位图像作为原始图像集；
构建副风缸定位数据集：对于原始图像集中的原始图像，标记副风缸所在区域的矩形框，获得副风缸定位的数据集；
构建副风缸检测数据集：对于原始图像集中的原始图像，标记固定副风缸的螺栓和缸体位置的矩形框，标记主要分为四类：螺栓、螺栓丢失、缸体正常和缸体脱落，然后获得副风缸检测数据集。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程还包括：
分别对副风缸定位数据集和副风缸检测数据集进行数据集扩增：对原始图像进行旋转、平移、缩放、镜像和亮度调整。
提高算法的稳定性和适用性。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤二中建立的副风缸定位网络模型的具体结构包括：
特征提取层和识别分类层；
其中特征提取层为resnet50的前49层卷积层；
识别分类层包括类别预测和位置预测两个分支。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，类别预测包括6个卷积层，分别为第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层，第十一卷积层连接NMS层；
位置预测包括6个卷积层，分别为第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层，第十七卷积层连接NMS层。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层的输入和输出尺寸相同。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤三中建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；具体过程为：
本发明选用改进的Faster-rcnn网络对副风缸的螺栓和螺栓丢失后的孔洞、缸体和倾斜的缸体进行检测。Faster-rcnn各层主要分为4个功能，流程如图2所示：
(1)卷积层提取特征图：一般采用VGG16作为CNN特征提取网络，提取输入图片的feature maps，输入后续的RPN网络和全连接层。
(2)RPN网络：用于生成候选区域。给定输入图像，得到顶层特征图，通过3*3的滑动窗口，结合anchor机制，将每个特征点映射回输入图像，结合不同窗口尺度和长宽比，生成一系列anchor box。对anchor box进行裁剪过滤后，计算该anchor box属于前景或背景的概率。
(3)ROI pooling：利用RPN生成的候选区域按比例从卷积操作得到的最后一层的特征图中找到对应的特征区域，利用最大池化，得到候选区域特征图。
(4)分类：将ROI pooling层形成的特征图进行全连接操作，利用softmax进行具体类别的分类，同时利用L1 loss完成边框回归操作获得物体的准确位置。
由于副风缸子图区域较大，螺栓区域相对较小，尤其是在螺栓丢失后，要针对螺栓丢失后的孔洞进行检测，区域相对全图来说，范围更小，特征提取相对较困难，检测效果不佳。针对该问题，本发明选择Resnet结合特征金字塔(FPN)实现一种多尺度目标特征提取网络，再对不同尺度的特征进行融合，提升检测效果。
原有的Faster-rcnn目标检测算法通常都只采用CNN网络顶层特征做检测，因为网络顶层特征的语义信息丰富，但目标位置信息粗略，不利于目标的精确定位。CNN网络底层特征的语义信息较少，但目标位置信息较强，有利于目标包围框的准确定位。
Resnet-FPN的网络结构如图3所示。
副风缸故障检测网络模型(Resnet-FPN)的具体结构包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、RPN层、ROI pooling层、全连接层；
图像输入副风缸故障检测网络模型的输入层，经过输入层输入到第一卷积层进行特征图提取，对第一卷积层输出图像进行0.5倍的上采样，采样结果输入到第二卷积层进行特征图提取，对第二卷积层输出图像进行0.5倍的上采样，采样结果输入到第三卷积层进行特征图提取，对第三卷积层输出图像进行0.5倍的上采样，采样结果输入到第四卷积层进行特征图提取，第四卷积层输出图像输入到第五卷积层进行特征图提取；
对第五卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M5；对第四卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M4；对第三卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M3；对第二卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M2；
对特征图M5进行2倍上采样，采样结果输入到特征图M4，对特征图M4进行2倍上采样，采样结果输入到特征图M3，对特征图M3进行2倍上采样，采样结果输入到特征图M2；
对M5进行3*3的卷积得到特征图P5；对输入采样结果的特征图M4进行3*3的卷积得到特征图P4；对输入采样结果的特征图M3进行3*3的卷积得到特征图P3；对输入采样结果的特征图M2进行3*3的卷积得到特征图P2；
对特征图P5进行0.5倍的上采样得到特征图P6；
将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6输入RPN网络得到候选区域，提取候选区域的特征图做为ROI pooling层的输入，经过ROI pooling层输出最终的特征图，进行全连接操作分别进行分类和边框回归；
利用分类和边框回归的结果，调整副风缸故障检测网络模型的参数，获得训练好的副风缸故障检测网络模型。
本发明采用Single Shot MultiBox Detector(SSD)网络对副风缸进行定位检测。选用Resnet为前置特征提取网络，随后将SSD的目标提取检测网络接在Resnet前置网络之后，形成一个完整的SSD网络。运用完整的SSD网络对副风缸定位数据集进行训练，得到能够定位副风缸的网络模型。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，特征图P2、特征图P3、特征图P4、特征图P5、特征图P6应用单尺度anchor，P2、P3、P4、P5、P6对应anchor尺度分别为32*32、64*64、128*128、256*256、512*512，每个尺度使用1:3、1、3:1三种比例，共有15种anchor。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，步骤四中利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别；具体过程为：
副风缸的故障识别流程如图4所示。
步骤四一、在货车轨道周围搭建高清成像设备，获取货车的高清图像；
步骤四二、将获取的货车图像输入到副风缸定位网络模型中进行副风缸的定位，输出副风缸所在区域的矩形框子图；
步骤四三、将副风缸所在区域的矩形框子图缩放至512*256后，输入到副风缸故障检测网络模型中进行检测，分别对副风缸的缸体和螺栓进行检测；
若同时检测到螺栓丢失和缸体倾斜，则认为该副风缸脱落，将该副风缸位置信息进行上报；
若不能同时检测到螺栓丢失和缸体倾斜，则继续处理下一张图像。
其它步骤及参数与具体实施方式一至八之一相同。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种货车副风缸脱落故障识别方法，其特征在于，该方法包括以下步骤：
步骤一、建立样本数据集，样本数据集包括副风缸定位数据集和副风缸检测数据集；
步骤二、建立副风缸定位网络模型，将副风缸定位数据集输入副风缸定位网络模型进行训练，得到训练好的副风缸定位网络模型；
步骤三、建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；
步骤四、利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别。
2.根据权利要求1所述一种货车副风缸脱落故障识别方法，其特征在于：所述步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程包括：
将不同条件下拍摄的不同车型的含有副风缸的粗定位图像作为原始图像集；
构建副风缸定位数据集：对于原始图像集中的原始图像，标记副风缸所在区域的矩形框，获得副风缸定位的数据集；
构建副风缸检测数据集：对于原始图像集中的原始图像，标记固定副风缸的螺栓和缸体位置的矩形框，标记主要分为四类：螺栓、螺栓丢失、缸体正常和缸体脱落，然后获得副风缸检测数据集。
3.根据权利要求2所述一种货车副风缸脱落故障识别方法，其特征在于：所述步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程还包括：
分别对副风缸定位数据集和副风缸检测数据集进行数据集扩增：对原始图像进行旋转、平移、缩放、镜像和亮度调整。
4.根据权利要求3所述一种货车副风缸脱落故障识别方法，其特征在于：所述步骤二中建立的副风缸定位网络模型的具体结构包括：
特征提取层和识别分类层；
其中特征提取层为resnet50的前49层卷积层；
识别分类层包括类别预测和位置预测两个分支。
5.根据权利要求4所述一种货车副风缸脱落故障识别方法，其特征在于：所述类别预测包括6个卷积层，分别为第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层，第十一卷积层连接NMS层；
位置预测包括6个卷积层，分别为第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层，第十七卷积层连接NMS层。
6.根据权利要求5所述一种货车副风缸脱落故障识别方法，其特征在于：所述第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层的输入和输出尺寸相同。
7.根据权利要求6所述一种货车副风缸脱落故障识别方法，其特征在于：所述步骤三中建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；具体过程为：
副风缸故障检测网络模型的具体结构包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、RPN层、ROI pooling层、全连接层；
图像输入副风缸故障检测网络模型的输入层，经过输入层输入到第一卷积层进行特征图提取，对第一卷积层输出图像进行0.5倍的上采样，采样结果输入到第二卷积层进行特征图提取，对第二卷积层输出图像进行0.5倍的上采样，采样结果输入到第三卷积层进行特征图提取，对第三卷积层输出图像进行0.5倍的上采样，采样结果输入到第四卷积层进行特征图提取，第四卷积层输出图像输入到第五卷积层进行特征图提取；
对第五卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M5；对第四卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M4；对第三卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M3；对第二卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图M2；
对特征图M5进行2倍上采样，采样结果输入到特征图M4，对特征图M4进行2倍上采样，采样结果输入到特征图M3，对特征图M3进行2倍上采样，采样结果输入到特征图M2；
对M5进行3*3的卷积得到特征图P5；对输入采样结果的特征图M4进行3*3的卷积得到特征图P4；对输入采样结果的特征图M3进行3*3的卷积得到特征图P3；对输入采样结果的特征图M2进行3*3的卷积得到特征图P2；
对特征图P5进行0.5倍的上采样得到特征图P6；
将特征图P2、特征图P3、特征图P4、特征图P5、特征图P6输入RPN网络得到候选区域，提取候选区域的特征图做为ROI pooling层的输入，经过ROI pooling层输出最终的特征图，进行全连接操作分别进行分类和边框回归；
利用分类和边框回归的结果，调整副风缸故障检测网络模型的参数，获得训练好的副风缸故障检测网络模型。
8.根据权利要求7所述一种货车副风缸脱落故障识别方法，其特征在于：所述特征图P2、特征图P3、特征图P4、特征图P5、特征图P6应用单尺度候选区域，P2、P3、P4、P5、P6对应候选区域尺度分别为32*32、64*64、128*128、256*256、512*512，每个尺度使用1:3、1、3:1三种比例。
9.根据权利要求8所述一种货车副风缸脱落故障识别方法，其特征在于：所述步骤四中利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别；具体过程为：
步骤四一、在货车轨道周围搭建成像设备，获取货车图像；
步骤四二、将获取的货车图像输入到副风缸定位网络模型中进行副风缸的定位，输出副风缸所在区域的矩形框子图；
步骤四三、将副风缸所在区域的矩形框子图缩放至512*256后，输入到副风缸故障检测网络模型中进行检测，分别对副风缸的缸体和螺栓进行检测；
若同时检测到螺栓丢失和缸体倾斜，则认为该副风缸脱落，将该副风缸位置信息进行上报；
若不能同时检测到螺栓丢失和缸体倾斜，则继续处理下一张图像。
CN202011500564.3A 2020-12-17 2020-12-17 一种货车副风缸脱落故障识别方法 Pending CN112489040A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011500564.3A CN112489040A (zh) 2020-12-17 2020-12-17 一种货车副风缸脱落故障识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011500564.3A CN112489040A (zh) 2020-12-17 2020-12-17 一种货车副风缸脱落故障识别方法

Publications (1)

Publication Number Publication Date
CN112489040A true CN112489040A (zh) 2021-03-12

Family

ID=74914582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011500564.3A Pending CN112489040A (zh) 2020-12-17 2020-12-17 一种货车副风缸脱落故障识别方法

Country Status (1)

Country Link
CN (1) CN112489040A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920140A (zh) * 2021-11-12 2022-01-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080608A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车脱轨自动制动阀塞门手把关闭故障图像识别方法
CN111079818A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车车钩托梁折断检测方法
CN111091544A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车转向架侧面一体架构断裂故障检测方法
CN111091542A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车转向架弹簧托板折断故障图像识别方法
CN111862013A (zh) * 2020-07-08 2020-10-30 湘潭大学 基于深度卷积神经网络的绝缘子检测方法、装置及设备
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080608A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车脱轨自动制动阀塞门手把关闭故障图像识别方法
CN111079818A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车车钩托梁折断检测方法
CN111091544A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车转向架侧面一体架构断裂故障检测方法
CN111091542A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车转向架弹簧托板折断故障图像识别方法
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法
CN111862013A (zh) * 2020-07-08 2020-10-30 湘潭大学 基于深度卷积神经网络的绝缘子检测方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
墨明棋妙: "目标检测算法之FPN（附FPN代码实现）", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/125749758》 *
王朝辉 等: "关于对百吨带制动铁水车存在问题的探讨及采取的对策措施", 《价值工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920140A (zh) * 2021-11-12 2022-01-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN113920140B (zh) * 2021-11-12 2022-04-19 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法

Similar Documents

Publication Publication Date Title
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN110909666B (zh) 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN102902974B (zh) 一种基于图像的铁路接触网杆柱标识信息的识别方法
CN108921875A (zh) 一种基于航拍数据的实时车流检测与追踪方法
CN111080608A (zh) 铁路货车脱轨自动制动阀塞门手把关闭故障图像识别方法
CN110675415B (zh) 一种基于深度学习增强实例分割的道路积水区域检测方法
CN111080609B (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN111079821A (zh) 一种脱轨自动制动拉环脱落故障图像识别方法
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN111079629A (zh) 铁路货车心盘脱出故障图像识别方法
CN111091551A (zh) 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN112733747A (zh) 一种缓解阀拉杆脱落故障的识别方法、系统及装置
CN112489040A (zh) 一种货车副风缸脱落故障识别方法
CN107247967A (zh) 一种基于r‑cnn的车窗年检标检测方法
CN114862812A (zh) 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统
CN113312987B (zh) 一种基于无人机航拍路面裂缝图像的识别方法
CN112418334B (zh) 一种铁路动车裙板格栅变形故障识别方法
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN112613560A (zh) 一种基于Faster R-CNN的铁路动车头罩前开闭破损故障识别方法
CN111325724B (zh) 隧道裂纹区域检测方法和装置
CN112712552A (zh) 一种车辆踏面擦伤的故障检测方法
CN109934172B (zh) 高速列车受电弓免gps全运行线故障视觉检测定位方法
Gao et al. Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection
CN111325076A (zh) 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312