CN112330631A - 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法 - Google Patents

一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法 Download PDF

Info

Publication number
CN112330631A
CN112330631A CN202011222523.2A CN202011222523A CN112330631A CN 112330631 A CN112330631 A CN 112330631A CN 202011222523 A CN202011222523 A CN 202011222523A CN 112330631 A CN112330631 A CN 112330631A
Authority
CN
China
Prior art keywords
network
initial candidate
image
target
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011222523.2A
Other languages
English (en)
Other versions
CN112330631B (zh
Inventor
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202011222523.2A priority Critical patent/CN112330631B/zh
Publication of CN112330631A publication Critical patent/CN112330631A/zh
Application granted granted Critical
Publication of CN112330631B publication Critical patent/CN112330631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，属于图像检测技术领域。本发明解决了采用传统Faster‑rcnn检测网络进行货车制动梁支柱拉铆销套环丢失故障检测易出现误检、漏检率高的问题。本发明方法包括：获取货车图像，截取图像中制动梁支柱部分，并将该图像送入改进的Faster‑rcnn检测网络进行制动梁支柱拉铆销套环丢失故障检测，如果图像中没有检测到拉铆销套环，则认为出现拉铆销套环丢失故障，如果检测到拉铆销套环，则认为无故障。本发明用于货车制动梁支柱拉铆销套环丢失故障检测。

Description

一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法
技术领域
本发明属于图像检测领域，具体涉及一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法。
背景技术
对于铁路货车的故障检测，传统人工查图的故障检测方法费时费力，人工成本高，且由于检车人员的疲劳、粗心等，会出现漏检、误检现象。
采用深度学习的铁路货车故障检测方法可以有效的降低检测成本，提高检测的效率和性能。但由于铁路货车制动梁支柱拉铆销套环部分位于列车底部，图像亮度、对比度较低，且检测部位较小，采用传统的Faster-rcnn检测网络进行货车制动梁支柱拉铆销套环丢失故障检测容易出现误检、漏检率高的情况，检测效果并不理想，因此需要对Faster-rcnn网络进行改进，提升铁路货车制动梁支柱拉铆销套环丢失故障检测性能。
发明内容
本发明的目的是为解决采用传统的Faster-rcnn检测网络对货车进行制动梁支柱拉铆销套环丢失故障检测时误检、漏检率高的问题，而提出了一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法。
一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，包括：
步骤一、获取铁路货车图像，并截取此图像中带有制动梁支柱部分的图像，收集图像中制动梁支柱拉铆销套环存在的图像作为正样本，同时收集制动梁支柱拉铆销套环丢失的图像作为负样本；利用标记软件对正负样本拉铆销套环部分进行标记，生成图像对应的标记文件，形成数据集；
步骤二、构建故障检测网络，即采用BiFPN特征金字塔优化Faster-rcnn网络中的特征提取网络和RPN网络；具体过程为：
步骤二一、使用Resnet50特征提取网络从正负样本图像中提取图像特征，得到特征图，采用BiFPN特征金字塔对Resnet50特征提取网络的不同卷积层产生的特征图进行融合，将BiFPN结构重复三次，修改RPN网络损失函数，利用修改的RPN网络提取每一次BiFPN融合特征图中的候选区域；
步骤二二、将3个RPN网络产生的候选区域特征图进行ROI池化，将池化后的特征图送入到分类与位置的回归定位网络中，得到目标的位置与类别；
步骤二三、由每一次分类与回归定位网络得到的目标类别与位置结果进行非极大值抑制，得到最终的目标类别与位置；
步骤三、训练构建的故障检测网络；
步骤四、将截取的带有制动梁支柱部分的图像送入训练好的故障检测网络中进行检测，获得用于表征拉铆销套环是否丢失的检测结果。
本发明的有益效果是：
1、本发明采用并行的BiFPN图像金字塔优化Faster-rcnn网络，提高网络检测准确程度，从而有效的提高了故障检测的效率和准确率
2、本发明对Faster-rcnn网络进行了改进，修改了Faster-rcnn RPN网络的损失函数，使网络得到的候选区域更加合理，提升网络检测性能。
附图说明
图1为本发明方法的流程图；
图2为故障检测网络结构图；
图3为BiFPN结构示意图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间可以相互组合。
具体实施方式一：结合图1说明本实施方式，本实施方式一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，包括：
步骤一、获取通过的铁路货车图像，截取图像中带有制动梁支柱部分的图像；收集制动梁支柱拉铆销套环存在的正常图像作为数据集中的正样本，收集制动梁支柱拉铆销套环丢失的图像作为数据集中的负样本；采用labelImg标记软件对正负样本拉铆销套环部分进行标记，生成图像对应的标记文件；生成正负样本标记文件，形成数据集；在数据集中加入负样本可以有效的降低检测网络的误检率，进而提升监测网络的性能；对数据集中的正负样本图像进行旋转、裁剪和对比度变换等数据扩增操作，能够有效降低故障检测网路过拟合的置信程度，提升故障检测网络的泛化性能；
步骤二、建立故障检测网络，构建故障检测网络，即采用BiFPN特征金字塔优化Faster-rcnn网络中的特征提取网络和RPN网络；具体过程为：
步骤二一、本发明采用Resnet50特征提取网络从正负样本图像中提取图像特征，得到特征图，如图2中虚线框部分，conv1～conv5代表卷积块，一个卷积块包含多个卷积层，本发明采用并行的BiFPN的参数设置与Efficientdet的BiFPN相同；本发明采用并行的BiFPN特征金字塔优化Faster-rcnn网络，增强了网络的特征提取能力，提升了网络检测准确程度，其网络结构如图2所示；然后采用并行的BiFPN特征金字塔对Resnet50特征提取网络的不同卷积层产生的特征图进行融合，使网络充分利用浅层与深层的特征，提升了网络特征提取能力；Efficientdet(谷歌公开的目标检测网络，该网络提出了BiFPN特征金字塔结构)网络的BiFPN特征金字塔结构示意图如图3所示，其中P1～P4代表输入的不同层次的特征图，N1～N4代表经过BiFPN进行特征融合之后输出的特征图，圆圈代表BiFPN网络中的特征图，箭头代表特征图的流向，若一个圆圈仅有一个箭头输入，则代表将输入特征图进行1*1的卷积，保持特征图的个数不变；若一个圆圈有多个箭头输入，则代表将不同层的特征图进行融合；将图3中的BiFPN结构重复3次，组合成如图2形式；修改RPN网络损失函数，，利用修改的RPN网络提取每一次BiFPN融合特征图(图中灰色圆圈)中的候选区域，RPN网络的作用为从特征图中找到目标的候选区域，并对候选区域进行粗略分类(仅分为目标与非目标)与位置回归，得到稍精确的目标候选区域；本发明修改了Faster-rcnn RPN网络对初始候选区域进行初步的分类与位置回归的逻辑，表现为RPN网络损失函数的修改；
步骤二二、将3个RPN网络产生的候选区域特征图进行ROI池化，然后将池化后的特征送入到分类与位置的回归定位网络中，得到目标的位置与分类，图2中C1～C3、B1～B3分别代表全连接的分类与回归定位网络，ROI池化的作用为将由RPN网络产生的大小不同的候选区域池化成统一维度的特征，然后通过后续全连接的分类与位置回归网络完成候选区域的精细的分类与位置回归定位；
步骤二三、对由每一次分类与回归定位网络得到的目标类别与位置结果一起进行非极大值抑制，得到最终的目标类别与位置；
随着BiFPN重复次数的增加特征变得更加精细、具体，但也可能丢掉一些对后续识别有用的信息；本发明将BiFPN重复3次，分别对每一次融合的特征图进行处理，得到相应的目标的位置与类别，这种并行的方式充分的利用了不同精细程度的特征图，有效的提高了检测网络的性能；
步骤三、训练构建的故障检测网络；
步骤四、将截取的带有制动梁支柱部分的图像送入训练好的故障检测网络进行检测，获得用于表征拉铆销套环是否丢失的检测结果；若检测网络未检测到拉铆销套环，则该图像发生了制动梁支柱拉铆销套环丢失故障；若检测到了拉铆销套环，则该张图像没有发生制动梁支柱拉铆销套环丢失故障并继续检测下一张图像，上传报文，检车人员根据上传的故障报文，依据人工先验原则，对故障部位进行进一步处理。
具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一获取铁路货车图像，并截取此图像中带有制动梁支柱部分的图像，收集图像中制动梁支柱拉铆销套环存在的图像作为正样本，同时收集制动梁支柱拉铆销套环丢失的图像作为负样本；利用标记软件对正负样本拉铆销套环部分进行标记，生成图像对应的标记文件，形成数据集；具体过程为：
对正样本图像拉铆销套环进行正常标记，标记文件中包含图像的名字、大小、路径、目标的位置和目标的类别等信息；对负样本不进行标记，直接生成一个标记文件，标记文件中仅包含图像的名字、大小、路径等基本信息，不包含目标的位置和目标的类别。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤二一采用BiFPN特征金字塔对Resnet50特征提取网络的不同卷积层产生的特征图进行融合，融合方式为：
将特征图进行级联，随后通过一个1*1的卷积降低特征图的个数；但经过卷积操作后，不同层的特征图大小不同，大小为P4>P3>P2>P1，若P4层的特征图大小为54*54，P3层的特征图大小为32*32，融合时将P3层特征图上采样到54*54，然后与P4层的特征图级联，即将特征图中除最大的特征图的其他特征图都采样到最大的特征图的大小，将改变大小的不同层特征图级联在一起，通过一个1*1的卷积降低特征图的个数。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤二一利用RPN网络提取每一次BiFPN融合特征图中的候选区域；具体过程为：
步骤二一a、在特征图上设置初始候选区域(初始候选区域是固定的由程序生成)，本发明的初始候选区域生成方式与Faster-rcnn相同；
步骤二一b、对初始候选区域进行分类，分为目标与背景两类；原始的Faster-rcnn的分类方式为计算初始候选区域与标签位置框的IOU(候选区域与标签位置框相交部分的大小除以候选区域与标签位置框总共的大小)，如果IOU大于0.3则认为候选区域类别为目标的置信程度为1，在RPN网络中类别标签为目标；否则候选区域类别为目标的置信程度为0，在RPN网络中类别标签为背景；在损失函数中表现为当候选区域与标签位置框的IOU大于0.3时，RPN网络候选区域的类别标签
Figure BDA0002762571480000041
为1，否则为0；
在候选区域分类过程中，除了计算候选区域与标签位置框的IOU，还要计算候选区域与标签位置框的相似程度，相似程度采用SSIM来衡量，若候选区域与标签位置框的相似程度大于0.3且候选区域与标签位置框的IOU大于0.3，则认为候选区域为目标的置信程度且置信程度为1，RPN网络中候选区域类别标签为目标；若候选区域与标签位置框的相似程度小于0.3且候选区域与标签位置框的IOU大于0.3，则认为候选区域为目标的置信程度且置信程度为0.5，RPN网络中候选区域类别标签为目标；否则候选区域为目标的置信程度为0，RPN网络中候选区域类别标签为背景；此步骤在RPN损失函数中表现为增加了qi约束；RPN损失函数表示为：
Figure BDA00027625714800000511
其中，i表示网络训练时一个批次图片中候选区域的下标，在网络训练时将图片分批次送入网络中计算损失，然后进行梯度反传优化网络参数，因此i不表示数据集中所有图片的候选区域的下标，仅表示一个训练批次的图片的候选区域的下标；pi表示第i个候选区域预测为目标的置信程度；
Figure BDA0002762571480000051
表示第i个候选区域在RPN网络中的类别标签，若候选区域为目标则
Figure BDA0002762571480000052
为1，否则
Figure BDA0002762571480000053
为0；ti表示第i个候选区域预测的位置向量，包含位置框的中心点坐标和位置框的宽和高；
Figure BDA0002762571480000054
表示第i个候选区域位置向量标签，同样包含位置框的中心点坐标和位置框的宽和高；归一化参数Ncls与Nreg分别表示一个批次图片的数量与一个批次候选区域的个数；λ平衡了分类与位置回归定位损失的重要程度；RPN网络损失函数分为分类与回归两部分，其中，Lcls(*)表示RPN网络的分类损失；采用对数损失函数计算RPN网络的分类损失，表示为：
Figure BDA0002762571480000055
Lreg(*)表示RPN网络的位置回归损失，采用smooth l1损失：
Figure BDA0002762571480000056
Figure BDA0002762571480000057
其中，R表示smooth l1损失；x为中间变量，
Figure BDA0002762571480000058
当候选区域与标签位置框的相似程度大于0.3且候选区域与标签位置框的IOU大于0.3时，qi为1，
Figure BDA0002762571480000059
也为1，则候选区域在RPN网络中的类别标签为目标的置信程度为1，RPN网络位置回归损失正常计算反传；若候选区域与标签位置框的相似程度小于0.3且候选区域与标签位置框的IOU大于0.3，qi为0.5，
Figure BDA00027625714800000510
为1，则候选区域在RPN网络中的类别标签为目标的置信程度为1*0.5＝0.5，RPN网络位置回归损失反传时，对网络参数的修改影响由1降低为0.5，减小了不相似的候选区域的回归，使RPN网络最终得到的候选区域的位置更加合理；若候选区域与标签位置框的IOU小于0.3，
Figure BDA0002762571480000061
为0，候选区域在RPN网络中的类别标签为目标的置信程度为0；同时由于
Figure BDA0002762571480000062
为0，不对RPN网络的位置回归损失进行反传计算；依据修改的RPN网络损失完成RPN网络训练，从初始固定的候选区域得到经过初步位置回归与分类的稍精确的候选区域。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，步骤二一中λ取值为10。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，步骤三训练构建的故障检测网络；具体过程为：
网络的Resnet50特征提取网络采用在Imagenet数据集上训练好的Resnet50网络参数进行初始化，其他部分参数进行高斯分布的随机初始化，网络采用SGD优化方式进行训练，初始学习率设为0.01；将数据集分为训练集、验证集与测试集；采用训练集图像训练检测网络，在验证集上进行测试，然后将验证集中识别错误的图像加入到训练集中重新进行网络检测的训练，最后在测试集上测试网络的性能；
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至五之一不同的是，步骤三将数据集分为训练集、验证集与测试集；其中，训练集、验证集与测试集的比例为7：2：1。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至五之一不同的是，标记软件为labelImg标记软件。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，步骤一中还需要对数据集中正负样本进行数据扩增；包括：对正负样本图像进行旋转、裁剪和对比度变换等。
其它步骤及参数与具体实施方式一至八之一相同。

Claims (10)

1.一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，包括：
步骤一、获取铁路货车图像，并截取此图像中带有制动梁支柱部分的图像，收集图像中制动梁支柱拉铆销套环存在的图像作为正样本，同时收集制动梁支柱拉铆销套环丢失的图像作为负样本；利用标记软件对正负样本拉铆销套环部分进行标记，生成图像对应的标记文件，形成数据集；
步骤二、构建故障检测网络，即采用BiFPN特征金字塔优化Faster-rcnn网络中的特征提取网络和RPN网络；具体过程为：
步骤二一、使用Resnet50特征提取网络从正负样本图像中提取图像特征，得到特征图，采用BiFPN特征金字塔对Resnet50特征提取网络的不同卷积层产生的特征图进行融合，重复BiFPN的结构，利用RPN网络提取每一次BiFPN融合特征图中的候选区域；
步骤二二、将3个RPN网络产生的候选区域特征图进行ROI池化，将池化后的特征图送入到分类与位置的回归定位网络中，得到目标的位置与类别；
步骤二三、由每一次分类与回归定位网络得到的目标类别与位置结果进行非极大值抑制，得到最终的目标类别与位置；
步骤三、训练构建的故障检测网络；
步骤四、将待检测图像送入训练好的故障检测网络中进行检测，获得用于表征拉铆销套环是否丢失的检测结果。
2.根据权利要求1所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，所述步骤一中利用标记软件对正负样本拉铆销套环部分进行标记，生成图像对应的标记文件；具体过程为：
对正样本图像中的拉铆销套环部分进行标记，生成标记文件，标记文件中记录图像的名称、大小、路径、目标位置以及目标类别信息；对于负样本图像，直接生成一个标记文件，该标记文件中仅包含图像的名称、大小和路径基本信息，不包含目标的位置和类别信息。
3.根据权利要求1或2所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，所述采用并行的BiFPN特征金字塔对Resnet50特征提取网络的不同卷积层产生的特征图进行融合；融合方式为：
将特征图中除最大的特征图的其他特征图均采样到最大的特征图的大小，将改变大小的不同层特征图级联在一起，通过一个1*1的卷积降低特征图的个数。
4.根据权利要求1所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，所述步骤二一中重复BiFPN结构的次数为3次。
5.根据权利要求1所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，所述步骤二一中利用RPN网络提取每一次BiFPN融合特征图中的候选区域；具体过程为：
步骤二一a、在特征图上设置初始候选区域；
步骤二一b、计算初始候选区域与标签位置框的相似程度和IOU，若初始候选区域与标签位置框的相似程度大于0.3且初始候选区域与标签位置框的IOU大于0.3，则认为初始候选区域为目标的置信程度为1，初始候选区域类别标签为目标；若初始候选区域与标签位置框的相似程度小于0.3且初始候选区域与标签位置框的IOU大于0.3，则认为初始候选区域为目标的置信程度为0.5，初始候选区域类别标签为目标；否则初始候选区域为目标的置信程度为0，初始候选区域类别标签为背景；
RPN损失函数表示为：
Figure FDA0002762571470000021
其中，i表示网络训练时一个批次图片中初始候选区域的下标；pi表示第i个初始候选区域预测为目标的置信程度；
Figure FDA0002762571470000022
表示第i个初始候选区域在RPN网络中的类别标签，若初始候选区域为目标则
Figure FDA0002762571470000023
为1，否则
Figure FDA0002762571470000024
为0；ti表示第i个初始候选区域预测的位置向量，包含位置框的中心点坐标和位置框的宽和高；
Figure FDA0002762571470000025
表示第i个初始候选区域位置向量标签，同样包含位置框的中心点坐标和位置框的宽和高；归一化参数Ncls与Nreg分别表示一个批次图片的数量与一个批次初始候选区域的个数；λ平衡了分类与位置回归定位损失的重要程度；Lcls(*)表示RPN网络的分类损失；Lreg(*)表示RPN网络的位置回归损失；其中，RPN网络的分类损失Lcls(*)为：
Figure FDA0002762571470000026
RPN网络的位置回归损失Lreg(*)为：
Figure FDA0002762571470000027
Figure FDA0002762571470000028
其中，R表示smooth l1损失；x为中间变量，
Figure FDA0002762571470000031
当初始候选区域与标签位置框的相似程度大于0.3且初始候选区域与标签位置框的IOU大于0.3时，qi为1，则初始候选区域在RPN网络中的类别标签为目标的置信程度，目标的置信程度为1，RPN网络位置回归损失正常计算反传；若初始候选区域与标签位置框的相似程度小于0.3且候选区域与标签位置框的IOU大于0.3时，qi为0.5，
Figure FDA0002762571470000032
为1，则初始候选区域在RPN网络中的类别标签为目标的置信程度，目标的置信程度为1*0.5＝0.5；若初始候选区域与标签位置框的IOU小于0.3，
Figure FDA0002762571470000033
为0，初始候选区域在RPN网络中的类别标签为目标的置信程度为0；由于
Figure FDA0002762571470000034
为0，不对RPN网络的位置回归损失进行反传计算；从初始候选区域得到经过初步位置回归与分类的候选区域。
6.根据权利要求5所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，λ取值为10。
7.根据权利要求1或4所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，训练构建的故障检测网络；具体过程为：
网络的Resnet50特征提取网络采用在Imagenet数据集上训练好的Resnet50网络参数进行初始化，其他参数进行高斯分布的随机初始化，采用SGD优化方式对网络进行训练，初始学习率设为0.01；将数据集分为训练集、验证集与测试集；采用训练集图像训练检测网络，在验证集上进行测试，然后将验证集中识别错误的图像加入到训练集中重新进行网络检测的训练，最后在测试集上测试网络的性能。
8.根据权利要求7所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，所述训练集、验证集与测试集的比例为7：2：1。
9.根据权利要求1或2所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，所述标记软件为labelImg标记软件。
10.根据权利要求1所述一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法，其特征在于，所述步骤一中需要对数据集中正负样本进行数据扩增；包括：对正负样本图像进行旋转、裁剪和对比度变换。
CN202011222523.2A 2020-11-05 2020-11-05 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法 Active CN112330631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011222523.2A CN112330631B (zh) 2020-11-05 2020-11-05 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011222523.2A CN112330631B (zh) 2020-11-05 2020-11-05 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法

Publications (2)

Publication Number Publication Date
CN112330631A true CN112330631A (zh) 2021-02-05
CN112330631B CN112330631B (zh) 2021-06-04

Family

ID=74315316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011222523.2A Active CN112330631B (zh) 2020-11-05 2020-11-05 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法

Country Status (1)

Country Link
CN (1) CN112330631B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906534A (zh) * 2021-02-07 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法
CN112907532A (zh) * 2021-02-10 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于Faster RCNN改进的货车车门脱落检测方法
CN113920140A (zh) * 2021-11-12 2022-01-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN115170883A (zh) * 2022-07-19 2022-10-11 哈尔滨市科佳通用机电股份有限公司 一种制动缸活塞推杆开口销丢失故障检测方法
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3525131A1 (en) * 2018-02-09 2019-08-14 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera
US20200019784A1 (en) * 2018-07-13 2020-01-16 Futurewei Technologies, Inc. Portrait Image Evaluation Based on Aesthetics
CN111080617A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱圆销丢失故障识别方法
CN111079747A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车转向架侧架断裂故障图像识别方法
CN111382766A (zh) * 2018-12-29 2020-07-07 中国科学院沈阳计算技术研究所有限公司 一种基于Faster R-CNN的设备故障检测方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3525131A1 (en) * 2018-02-09 2019-08-14 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera
US20200019784A1 (en) * 2018-07-13 2020-01-16 Futurewei Technologies, Inc. Portrait Image Evaluation Based on Aesthetics
CN111382766A (zh) * 2018-12-29 2020-07-07 中国科学院沈阳计算技术研究所有限公司 一种基于Faster R-CNN的设备故障检测方法
CN111080617A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱圆销丢失故障识别方法
CN111079747A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车转向架侧架断裂故障图像识别方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINGXING TAN等: "EfficientDet: Scalable and Efficient Object Detection", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
赵春晖等: "基于改进Faster R-CNN算法的舰船目标检测与识别", 《沈阳大学学报(自然科学版)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906534A (zh) * 2021-02-07 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法
CN112907532A (zh) * 2021-02-10 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于Faster RCNN改进的货车车门脱落检测方法
CN112907532B (zh) * 2021-02-10 2022-03-08 哈尔滨市科佳通用机电股份有限公司 基于Faster RCNN改进的货车车门脱落检测方法
CN113920140A (zh) * 2021-11-12 2022-01-11 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN113920140B (zh) * 2021-11-12 2022-04-19 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车管盖脱落故障识别方法
CN115170883A (zh) * 2022-07-19 2022-10-11 哈尔滨市科佳通用机电股份有限公司 一种制动缸活塞推杆开口销丢失故障检测方法
CN115170883B (zh) * 2022-07-19 2023-03-14 哈尔滨市科佳通用机电股份有限公司 一种制动缸活塞推杆开口销丢失故障检测方法
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统
CN116524293B (zh) * 2023-04-10 2024-01-30 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障识别方法及系统

Also Published As

Publication number Publication date
CN112330631B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112330631B (zh) 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法
Sajedi et al. Uncertainty‐assisted deep vision structural health monitoring
Naddaf-Sh et al. An efficient and scalable deep learning approach for road damage detection
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN113763312B (zh) 使用弱标记检测半导体试样中的缺陷
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN111091545B (zh) 铁路货车滚动轴承轴端螺栓丢失故障的检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN112233088B (zh) 基于改进的Faster-rcnn的制动软管丢失检测方法
CN114972759B (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
Ye et al. Fault detection of railway freight cars mechanical components based on multi-feature fusion convolutional neural network
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN115272882A (zh) 一种基于遥感影像的离散建筑物检测方法及系统
Wang et al. An automated defect detection method for optimizing industrial quality inspection
CN112085001A (zh) 一种基于多尺度边缘特征检测的隧道识别模型及方法
CN115170883B (zh) 一种制动缸活塞推杆开口销丢失故障检测方法
US20230084761A1 (en) Automated identification of training data candidates for perception systems
Meenakshi et al. An Intelligent System to Assess the Exterior Vehicular Damage based on DCNN
CN111127393A (zh) 雷达影像变化检测的样本制作方法及系统、存储介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant