CN112508013B - 一种锁扣丢失故障检测方法、系统及装置 - Google Patents

一种锁扣丢失故障检测方法、系统及装置 Download PDF

Info

Publication number
CN112508013B
CN112508013B CN202011390378.9A CN202011390378A CN112508013B CN 112508013 B CN112508013 B CN 112508013B CN 202011390378 A CN202011390378 A CN 202011390378A CN 112508013 B CN112508013 B CN 112508013B
Authority
CN
China
Prior art keywords
convolution layer
layer
output
input
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011390378.9A
Other languages
English (en)
Other versions
CN112508013A (zh
Inventor
王璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202011390378.9A priority Critical patent/CN112508013B/zh
Publication of CN112508013A publication Critical patent/CN112508013A/zh
Application granted granted Critical
Publication of CN112508013B publication Critical patent/CN112508013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种锁扣丢失故障检测方法、系统及装置，它属于列车锁扣丢失故障检测技术领域。本发明解决了采用人工检查图像的方式对锁扣丢失故障进行检测时存在的检测准确率低以及检测效率低的问题。本发明方法具体通过以下步骤实现：采集列车侧部完整图像，并从采集的列车侧部完整图像中截取出待识别的锁扣部件图像；对截取出的待识别锁扣部件图像进行特征提取；将提取出的特征输入训练好的改进深度残差收缩网络，通过训练好的改进深度残差收缩网络输出锁扣部件的位置信息和类别信息。本发明可以应用于列车锁扣丢失故障检测。

Description

一种锁扣丢失故障检测方法、系统及装置
技术领域
本发明属于列车锁扣丢失故障检测技术领域，具体涉及一种锁扣丢失故障检测方法、系统及装置。
背景技术
锁扣是列车的锁紧装置，一旦锁扣发生脱落，列车裙板则可能产生震荡、松动乃至脱落的现象，危及人身安全、造成重大损失。为保证列车平稳、安全运行，需对锁扣情况进行识别检测，一旦发现脱落现象，则需立即处理。目前采用人工检查图像的方式对锁扣进行故障检查，而检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，导致对故障检测的准确率低，进而影响行车安全，且锁扣数量较多，人工查验的效率低下，故障检查需要耗费大量时间。
发明内容
本发明的目的是为解决采用人工检查图像的方式对锁扣丢失故障进行检测时存在的检测准确率低以及检测效率低的问题，而提出了一种锁扣丢失故障检测方法、系统及装置。
本发明为解决上述技术问题所采取的技术方案是：
基于本发明的一个方面，一种锁扣丢失故障检测方法，所述方法包括以下步骤：
采集列车侧部图像，并从采集的列车侧部图像中截取出待识别锁扣部件区域图像；
采用VGG网络对截取出的待识别区域图像进行特征提取；
将提取出的特征输入训练好的改进深度残差收缩网络，通过训练好的改进深度残差收缩网络输出锁扣部件的位置信息和类别信息；
改进深度残差收缩网络包括残差网络模块、软阈值模块和注意力机制模块，其中：
残差网络模块包括第一卷积层和第二卷积层；
注意力机制模块包括第一全局平均池化层、第二全局平均池化层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、第一激活函数层和第二激活函数层；
提取出的特征输入残差网络模块的第一卷积层，第一卷积层的输出分为两路，第一卷积层的一路输出输入到第二卷积层，第一卷积层的另一路输出输入到注意力机制模块的第一全局平均池化层，第一全局平均池化层的输出输入到注意力机制模块的第三卷积层；
注意力机制模块的第三卷积层的输出分为两路，第三卷积层的一路输出输入到第一全连接层，第一全连接层的输出输入到第四卷积层；第三卷积层的另一路输出输入到第七卷积层；
残差网络模块的第二卷积层的输出输入到注意力机制模块的第二全局平均池化层，第二全局平均池化层的输出输入到注意力机制模块的第五卷积层；
第五卷积层的输出分为两路，第五卷积层的一路输出输入到第二全连接层，第二全连接层的输出输入到第六卷积层；第五卷积层的另一路输出输入到第七卷积层；
第四卷积层的输出结果和第六卷积层的输出结果进行拼接，拼接结果输入第十卷积层；第十卷积层的输出输入到第四全连接层，第四全连接层的输出依次经过第十一卷积层、第二激活函数层和第十二卷积层，得到第十二卷积层的输出结果；
第七卷积层的输出输入到第三全连接层，第三全连接层的输出依次输入到第八卷积层、第一激活函数层和第九卷积层，得到第九卷积层的输出结果；
将第九卷积层的输出和第十二卷积层的输出结果相乘，得到相乘结果，对残差网络模块中第二卷积层的输出和得到的相乘结果进行再相乘，并对再相乘结果进行软阈值化，得到软阈值化后的结果；将软阈值化后的结果与提取出的特征相加，得到相加结果；
将相加结果再通过一个全连接层后，得到改进深度残差收缩网络输出的锁扣部件位置信息和类别信息。
进一步地，训练好的改进深度残差收缩网络输出锁扣部件的类别信息为干扰项或当前车型不具备的故障时，则认为未检出故障，不进行报警；
否则输出锁扣部件的类别信息为当前车型存在的故障时，则将输出的锁扣部件位置信息映射到采集的列车侧部完整图像中，得到故障在列车侧部完整图像中的位置，并进行报警。
进一步地，第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第八卷积层以及第九卷积层的通道数均为C。
进一步地，第七卷积层以及第十卷积层的通道数均为2C。
进一步地，第十一卷积层以及第十二卷积层的通道数均为1。
进一步地，训练好的改进深度残差收缩网络是通过如下方式训练获得的：
步骤一、采集列车侧部样本图像；
步骤二、从采集的列车侧部样本图像中获取包含锁扣部件位置的子图像，子图像中包括故障类图像和非故障类图像；
步骤三、对故障类图像进行扩增，获得扩增后的故障类图像；扩增方式包括平移、缩放和锐化；
步骤四、利用非故障类图像和扩增后的故障类图像组成数据集，并对数据集中的图像进行标记，获得标记后的数据集；将标记后的数据集中的图像随机分为训练集和测试集两部分；
步骤五、利用训练集对改进深度残差收缩网络进行训练，利用测试集对改进深度残差收缩网络进行测试，获得训练好的改进深度残差收缩网络。
进一步地，软阈值化的数学表示为：
Figure BDA0002812461830000031
其中，x表示输入特征，τ表示阈值，y表示软阈值化后的特征；
y对x的导数表示为：
Figure BDA0002812461830000032
一种锁扣丢失故障检测系统，用于执行一种锁扣丢失故障检测方法。
一种锁扣丢失故障检测装置，用于存储和/或运行一种锁扣丢失故障检测系统。
本发明的有益效果是：
1、本发明利用图像自动识别的方式代替人工检测，降低人工检测成本。
2、本发明将深度学习算法应用到锁扣故障的自动识别中，提高整体算法的稳定性及故障检测的准确率，并有效缩短故障检测的时间，提高故障检测的效率。
3、本发明使用深度残差收缩网络处理目标图像，消除噪声对检测的影响。
4、本发明对深度残差收缩网络的注意力机制进行改进，增加信息利用率并提升去噪效果和检测准确度。
附图说明
图1为本发明方法的流程图；
图2为常规深度残差收缩网络的结构图；
图3为本发明改进后的深度残差收缩网络的结构图；
al为VGG网络提取的特征，al+1为第一卷积层输出的特征，a′为第二卷积层输出的特征，al+2为软阈值化后的结果与提取出的特征相加结果。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一、结合图1和图3说明本实施方式。本实施方式的一种锁扣丢失故障检测方法，该方法具体通过以下步骤实现：
采集列车侧部图像，并从采集的列车侧部图像中截取出待识别锁扣部件区域图像；
采用VGG网络对截取出的待识别区域图像进行特征提取；
通过多层次不同感受野的卷积网络，提取到原始图像在不同尺度的深层抽象表示，即不同深度下的图像特征；
将提取出的特征输入训练好的改进深度残差收缩网络，通过训练好的改进深度残差收缩网络输出锁扣部件的位置信息和类别信息；
改进深度残差收缩网络包括残差网络模块、软阈值模块和注意力机制模块，其中：
残差网络模块包括第一卷积层和第二卷积层；
注意力机制模块包括第一全局平均池化层、第二全局平均池化层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、第一激活函数层和第二激活函数层；
提取出的特征输入残差网络模块的第一卷积层，第一卷积层的输出分为两路，第一卷积层的一路输出输入到第二卷积层，第一卷积层的另一路输出输入到注意力机制模块的第一全局平均池化层，第一全局平均池化层的输出输入到注意力机制模块的第三卷积层；
注意力机制模块的第三卷积层的输出分为两路，第三卷积层的一路输出输入到第一全连接层，第一全连接层的输出输入到第四卷积层；第三卷积层的另一路输出输入到第七卷积层；
残差网络模块的第二卷积层的输出输入到注意力机制模块的第二全局平均池化层，第二全局平均池化层的输出输入到注意力机制模块的第五卷积层；
第五卷积层的输出分为两路，第五卷积层的一路输出输入到第二全连接层，第二全连接层的输出输入到第六卷积层；第五卷积层的另一路输出输入到第七卷积层；
第四卷积层的输出结果和第六卷积层的输出结果进行拼接，拼接结果输入第十卷积层；第十卷积层的输出输入到第四全连接层，第四全连接层的输出依次经过第十一卷积层、第二激活函数层和第十二卷积层，得到第十二卷积层的输出结果；
第七卷积层的输出输入到第三全连接层，第三全连接层的输出依次输入到第八卷积层、第一激活函数层和第九卷积层，得到第九卷积层的输出结果；
将第九卷积层的输出和第十二卷积层的输出结果相乘，得到相乘结果，对残差网络模块中第二卷积层的输出和得到的相乘结果进行再相乘，并对再相乘结果进行软阈值化，得到软阈值化后的结果；将软阈值化后的结果与提取出的特征相加，得到相加结果；
将相加结果再通过一个全连接层后，得到改进深度残差收缩网络输出的锁扣部件位置信息和类别信息。
改进后的结构对两个卷积层分别提取特征，提取到的特征值分别记为a11和a21，其通道数均为C。将提取到的特征分别经过一个全连接层以生成注意力，得到a12和a22。将a11和a21、a12和a22分别进行拼接，将拼接结果通过通道数为2C的两个卷积层，再将该卷积层分别依次经过全连接层和激活函数层，并将得到的结果相乘，最后再对其进行软阈值化并加上残差项。得到的特征通过一个全连接层后，输出目标的位置和类别信息。
相较于原始的深度残差收缩网络，本发明所提出的算法将每一个收缩网络部分引入的特征层提高到了两层，具有更好的原始特征提取能力。此外，改进后的网络同时利用了两层卷积的结果，并将提取到的特征值与所生成的注意力结果相结合，提高了信息的利用率，在去噪方面能实现更好的效果。
具体实施方式二：本实施方式与具体实施方式一不同的是：训练好的改进深度残差收缩网络输出锁扣部件的类别信息为干扰项或当前车型不具备的故障时，则认为未检出故障，不进行报警；
否则输出锁扣部件的类别信息为当前车型存在的故障时，则将输出的锁扣部件位置信息映射到采集的列车侧部完整图像中，得到故障在列车侧部完整图像中的位置，并进行报警。
具体实施方式三：本实施方式与具体实施方式一不同的是：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第八卷积层以及第九卷积层的通道数均为C。
本发明中，通道数C的取值为3。
具体实施方式四：本实施方式与具体实施方式一不同的是：第七卷积层以及第十卷积层的通道数均为2C。
具体实施方式五：本实施方式与具体实施方式一不同的是：第十一卷积层以及第十二卷积层的通道数均为1。
具体实施方式六：本实施方式与具体实施方式一不同的是：训练好的改进深度残差收缩网络是通过如下方式训练获得的：
步骤一、采集列车侧部样本图像；
步骤二、从采集的列车侧部样本图像中获取包含锁扣部件位置的子图像，子图像中包括故障类图像和非故障类图像；
步骤三、对故障类图像进行扩增，获得扩增后的故障类图像；扩增方式包括平移、缩放和锐化；
步骤四、利用非故障类图像和扩增后的故障类图像组成数据集，并对数据集中的图像进行标记，获得标记后的数据集；将标记后的数据集中的图像随机分为训练集和测试集两部分；
步骤五、利用训练集对改进深度残差收缩网络进行训练，利用测试集对改进深度残差收缩网络进行测试，获得训练好的改进深度残差收缩网络。
具体实施方式七：本实施方式与具体实施方式一不同的是：软阈值化的数学表示为：
Figure BDA0002812461830000061
其中，x表示输入特征，τ表示阈值，y表示软阈值化后的特征；
y对x的导数表示为：
Figure BDA0002812461830000062
软阈值化是一种非线性变换，其性质与ReLU激活函数相似：即梯度是0或1，这样的好处是可以降低梯度爆炸的风险，便于扩增网络深度。
具体实施方式八：本实施方式的一种锁扣丢失故障检测系统，该系统用于执行具体实施方式一至具体实施方式七之一的一种锁扣丢失故障检测方法。
具体实施方式九：本实施方式的一种锁扣丢失故障检测装置，该装置用于存储和/或运行具体实施方式八的一种锁扣丢失故障检测系统。
实施例
本发明具体通过以下步骤实现：
1、采集图像
搭建高速成像设备，获取货车各部位的高清线阵灰度图像，并拼接成列车侧部完整图片。收集不同时间段不同环境下的图像，扩充样本，保证数据样本中存在各种自然干扰，如光照、雨水、泥渍等，增强算法的鲁棒性，保证算法能适用于列车的不同工况。
2、目标截取
由于检测的锁扣目标只占列车侧部图像的一部分，且在车身上的位置基本固定，因此根据其轴距信息等先验知识，对目标区域进行截取(即目标图像)，可以缩小图像尺寸，降低识别时间；同时增加目标在图像中的相对占比，便于模型的训练，并且可以提高识别率。
3、图像扩增
高铁关乎人命、财产安全，其安全标准十分严格，使得其在运行过程中稳定性高、故障率低，故障图像不易收集，故障样本较少，导致在模型训练时出现数据及不平衡的问题。因此需要对故障图像进行扩增，即数据增强，具体步骤包括图像平移、缩放、锐化等，并基于扩增后的图像确定训练集和测试集。
4、锁扣故障识别
由于列车行驶过程中会因雨水、泥渍而在车体上留有脏污，或是根据不同的光照条件而在车身投下阴影或亮斑，导致拍摄的列车图片带有较大的干扰信息，不利于故障的检测，尤其对锁扣故障检测这种小目标检测会造成较大的不利影响，因此使用深度残差收缩网络对其进行处理。
深度残差收缩网络的基本结构为：残差网络+软阈值+注意力机制，其基本思想为在残差网络的基础之上，通过注意力机制识别目标和干扰的主要特征，再通过软阈值对特征进行过滤，将干扰的特征删除，使目标识别的样本更为纯净，从而提高检测准确度。
其中，残差网络的思想是通过对内部的残差块使用跳跃连接，从而缓解在深度神经网络中增加深度带来的梯度消失问题，其应用较为广泛。
软阈值的思想是将绝对值小于某个阈值的特征删除掉，将绝对值大于这个阈值的特征朝着零的方向进行收缩，其数学过程可以表示为：
Figure BDA0002812461830000071
其对输入的导数可表示为：
Figure BDA0002812461830000081
式中，x表示输入特征，y表示输出特征，τ表示阈值。从公式中可以看出，软阈值化是一种非线性变换，其性质与ReLU激活函数相似：即梯度要么是0，要么是1，这样的好处是可以降低梯度爆炸的风险，便于扩增网络深度。
注意力机制则是通过扫描全局信息，发现局部有用信息，增强有用信息并抑制冗余信息的方法。将三者结合，由此搭建的常规深度残差收缩网络如图2所示。该网络的注意力机制部分(即“收缩”部分)的大体结构为：通道数为C，卷积核宽度和高度分别为W和H，即大小为C×W×H的卷积层，经过一个全局平均池化层(GAP)后，分别经过ReLU和sigmoid激活函数，得到一组取值区间在0到1之间的阈值α，然后进行特征的软阈值化并加上残差项从而得到输出。而从图中可以看出，这样做会导致第一个C×W×H卷积层的信息不能得到很好的保留，会造成部分信息丢失。由此，对注意力机制部分提出了一种改进结构如图3所示。
如图所示，改进后的结构对两个卷积层分别提取特征，提取到的特征值分别记为a11和a21，其通道数均为C。将提取到的特征分别经过一个全连接层以生成注意力，得到a12和a22。将a11和a21、a12和a22分别进行拼接，得到通道数为2C的两个卷积层，再将该卷积层分别依次经过全连接层和激活函数层，并将得到的结果相乘，最后再对其进行软阈值化并加上残差项。得到的特征通过一个全连接层后，输出目标的位置和类别信息。
相较于前文的原始深度残差收缩网络，本发明所提出的算法将每一个收缩网络部分引入的特征层提高到了两层，具有更好的原始特征提取能力。此外，改进后的网络同时利用了两层卷积的结果，并将提取到的特征值与所生成的注意力结果相结合，提高了信息的利用率，在去噪方面能实现更好的效果。
针对训练集和测试集，通过上述过程得到训练好的预测神经网络。
5、故障报警
在实际使用时，采集列车侧部完整图片并截取出待检测的目标图像；通过前面的预测神经网络检测得到目标的位置信息和类别信息，对类别进行判断，若所属分类为当前车型存在的故障，则进行报警；若类别为干扰项或是当前车型不具备的故障，则认为未检出正确故障，不报警。
报警时，需要打印故障目标在列车中的位置信息。在前面步骤3中对截取目标图像的坐标信息进行保留，即保存其在原图中所在位置。经过步骤4的预测网络进行检测后，将识别出的目标在目标图像中的位置与保存好的目标图像在原图中的坐标进行叠加，即可获得检测目标在原中的位置坐标。
将上述得到的当前故障位置与已打印的故障进行对比，若二者中心点位置之间的距离不超过30像素，则认为故障重复，不再打印当前故障。否则，画出故障锁扣并打印报文，提醒工作人员进行确认和维修。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种锁扣丢失故障检测方法，其特征在于，该方法包括以下步骤：
采集列车侧部图像，并从采集的列车侧部图像中截取出待识别锁扣部件区域图像；
采用VGG网络对截取出的待识别区域图像进行特征提取；
将提取出的特征输入训练好的改进深度残差收缩网络，通过训练好的改进深度残差收缩网络输出锁扣部件的位置信息和类别信息；
所述改进深度残差收缩网络包括残差网络模块、软阈值模块和注意力机制模块，其中：
所述残差网络模块包括第一卷积层和第二卷积层；
所述注意力机制模块包括第一全局平均池化层、第二全局平均池化层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第一全连接层、第二全连接层、第三全连接层、第四全连接层、第一激活函数层和第二激活函数层；
提取出的特征输入残差网络模块的第一卷积层，第一卷积层的输出分为两路，第一卷积层的一路输出输入到第二卷积层，第一卷积层的另一路输出输入到注意力机制模块的第一全局平均池化层，第一全局平均池化层的输出输入到注意力机制模块的第三卷积层；
注意力机制模块的第三卷积层的输出分为两路，第三卷积层的一路输出输入到第一全连接层，第一全连接层的输出输入到第四卷积层；第三卷积层的另一路输出输入到第七卷积层；
残差网络模块的第二卷积层的输出输入到注意力机制模块的第二全局平均池化层，第二全局平均池化层的输出输入到注意力机制模块的第五卷积层；
第五卷积层的输出分为两路，第五卷积层的一路输出输入到第二全连接层，第二全连接层的输出输入到第六卷积层；第五卷积层的另一路输出输入到第七卷积层；
第四卷积层的输出结果和第六卷积层的输出结果进行拼接，拼接结果输入第十卷积层；第十卷积层的输出输入到第四全连接层，第四全连接层的输出依次经过第十一卷积层、第二激活函数层和第十二卷积层，得到第十二卷积层的输出结果；
第七卷积层的输出输入到第三全连接层，第三全连接层的输出依次输入到第八卷积层、第一激活函数层和第九卷积层，得到第九卷积层的输出结果；
将第九卷积层的输出和第十二卷积层的输出结果相乘，得到相乘结果，对残差网络模块中第二卷积层的输出和得到的相乘结果进行再相乘，并对再相乘结果进行软阈值化，得到软阈值化后的结果；将软阈值化后的结果与提取出的特征相加，得到相加结果；
将相加结果再通过一个全连接层后，得到改进深度残差收缩网络输出的锁扣部件位置信息和类别信息。
2.根据权利要求1所述的一种锁扣丢失故障检测方法，其特征在于，所述训练好的改进深度残差收缩网络输出锁扣部件的类别信息为干扰项或当前车型不具备的故障时，则认为未检出故障，不进行报警；
否则输出锁扣部件的类别信息为当前车型存在的故障时，则将输出的锁扣部件位置信息映射到采集的列车侧部完整图像中，得到故障在列车侧部完整图像中的位置，并进行报警。
3.根据权利要求1所述的一种锁扣丢失故障检测方法，其特征在于，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第八卷积层以及第九卷积层的通道数均为C，所述通道数C的取值为3。
4.根据权利要求1所述的一种锁扣丢失故障检测方法，其特征在于，所述第七卷积层以及第十卷积层的通道数均为2C，所述通道数C的取值为3。
5.根据权利要求1所述的一种锁扣丢失故障检测方法，其特征在于，所述第十一卷积层以及第十二卷积层的通道数均为1。
6.根据权利要求1所述的一种锁扣丢失故障检测方法，其特征在于，所述训练好的改进深度残差收缩网络是通过如下方式训练获得的：
步骤一、采集列车侧部样本图像；
步骤二、从采集的列车侧部样本图像中获取包含锁扣部件位置的子图像，子图像中包括故障类图像和非故障类图像；
步骤三、对故障类图像进行扩增，获得扩增后的故障类图像；扩增方式包括平移、缩放和锐化；
步骤四、利用非故障类图像和扩增后的故障类图像组成数据集，并对数据集中的图像进行标记，获得标记后的数据集；将标记后的数据集中的图像随机分为训练集和测试集两部分；
步骤五、利用训练集对改进深度残差收缩网络进行训练，利用测试集对改进深度残差收缩网络进行测试，获得训练好的改进深度残差收缩网络。
7.根据权利要求1所述的一种锁扣丢失故障检测方法，其特征在于，所述软阈值化的数学表示为：
Figure FDA0003096459320000021
其中，x表示输入特征，τ表示阈值，y表示软阈值化后的特征；
y对x的导数表示为：
Figure FDA0003096459320000031
8.一种锁扣丢失故障检测系统，其特征在于，所述系统用于执行权利要求1至权利要求7之一所述的一种锁扣丢失故障检测方法。
CN202011390378.9A 2020-12-02 2020-12-02 一种锁扣丢失故障检测方法、系统及装置 Active CN112508013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011390378.9A CN112508013B (zh) 2020-12-02 2020-12-02 一种锁扣丢失故障检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011390378.9A CN112508013B (zh) 2020-12-02 2020-12-02 一种锁扣丢失故障检测方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112508013A CN112508013A (zh) 2021-03-16
CN112508013B true CN112508013B (zh) 2021-07-16

Family

ID=74969140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011390378.9A Active CN112508013B (zh) 2020-12-02 2020-12-02 一种锁扣丢失故障检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112508013B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113057647B (zh) * 2021-03-25 2022-04-22 山东省人工智能研究院 一种心电信号的质量评估方法
CN113486929B (zh) * 2021-06-17 2023-02-24 中国地质大学（武汉） 基于残差收缩模块与注意力机制的岩石薄片图像识别方法
CN113537382A (zh) * 2021-07-29 2021-10-22 中国科学技术大学 一种基于残差收缩网络的设备诊断方法及系统
CN113838208B (zh) * 2021-09-02 2024-02-02 桂林电子科技大学 基于改进残差收缩网络的带钢缺陷检测方法
CN115546617A (zh) * 2022-10-13 2022-12-30 哈尔滨市科佳通用机电股份有限公司 基于改进fct网络的车门锁闭装置配件丢失检测方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107074357A (zh) * 2014-08-28 2017-08-18 帕斯卡·克雷蒂安 用于飞行器的电磁分布式直驱装置
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
CN109657041A (zh) * 2018-12-04 2019-04-19 南京理工大学 基于深度学习的问题自动生成方法
CN110223234A (zh) * 2019-06-12 2019-09-10 杨勇 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN110231825A (zh) * 2019-06-21 2019-09-13 中国神华能源股份有限公司 车辆智能巡检系统及方法
CN111091551A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111260585A (zh) * 2020-01-19 2020-06-09 西安电子科技大学 基于类凸集投影算法的图像恢复方法
CN111415361A (zh) * 2020-03-31 2020-07-14 浙江大学 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
CN111652295A (zh) * 2020-05-21 2020-09-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩尾销托梁脱落故障识别方法
US10796754B2 (en) * 2017-01-05 2020-10-06 Toshiba Memory Corporation Semiconductor storage device and memory system including semiconductor storage device and controller
US20200321130A1 (en) * 2017-11-13 2020-10-08 The Trustees Of Columbia University In The City Of New York System, method and computer-accessible medium for determining breast cancer risk
CN111832562A (zh) * 2020-07-16 2020-10-27 哈尔滨市科佳通用机电股份有限公司 基于图像处理的弹簧托板故障识别方法
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091991A1 (en) * 2000-05-11 2002-07-11 Castro Juan Carlos Unified real-time microprocessor computer
CN107403200A (zh) * 2017-08-10 2017-11-28 北京亚鸿世纪科技发展有限公司 改进图像分割算法结合深度学习的多重不良图片分类方法
US11164067B2 (en) * 2018-08-29 2021-11-02 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging
CN111950467B (zh) * 2020-08-14 2021-06-25 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN111988622B (zh) * 2020-08-20 2021-12-10 深圳市商汤科技有限公司 视频预测方法及装置、电子设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107074357A (zh) * 2014-08-28 2017-08-18 帕斯卡·克雷蒂安 用于飞行器的电磁分布式直驱装置
US10796754B2 (en) * 2017-01-05 2020-10-06 Toshiba Memory Corporation Semiconductor storage device and memory system including semiconductor storage device and controller
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
US20200321130A1 (en) * 2017-11-13 2020-10-08 The Trustees Of Columbia University In The City Of New York System, method and computer-accessible medium for determining breast cancer risk
CN109657041A (zh) * 2018-12-04 2019-04-19 南京理工大学 基于深度学习的问题自动生成方法
CN110223234A (zh) * 2019-06-12 2019-09-10 杨勇 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN110231825A (zh) * 2019-06-21 2019-09-13 中国神华能源股份有限公司 车辆智能巡检系统及方法
CN111091541A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111091551A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN111260585A (zh) * 2020-01-19 2020-06-09 西安电子科技大学 基于类凸集投影算法的图像恢复方法
CN111415361A (zh) * 2020-03-31 2020-07-14 浙江大学 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
CN111652295A (zh) * 2020-05-21 2020-09-11 哈尔滨市科佳通用机电股份有限公司 一种铁路货车钩尾销托梁脱落故障识别方法
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN111832562A (zh) * 2020-07-16 2020-10-27 哈尔滨市科佳通用机电股份有限公司 基于图像处理的弹簧托板故障识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Deep Residual Shrinkage Networks for Fault Diagnosis";M. Zhao 等;《 IEEE Transactions on Industrial Informatics》;20200731;第6卷(第7期);4681-4690 *
"On GSM-R prospects of digital railway";M Sneps-Sneppe;《 International Journal of Open Information Technologies》;20161231;第4卷(第12期);1-6 *
"基于卷积神经网络的图像识别研究综述";黄志强 等;《汽车工程师》;20201025(第10期);1-4 *
"基于多层自注意力机制的机器阅读理解模型研究";张明梧;《万方平台https://d.wanfangdata.com.cn/thesis/ChJUaGVzaXNOZXdTMjAyMTAzMDISCUQwMTk3NjE5MBoIMzFtNDhhdWk%3D》;20200902;1-75 *
"基于深度学习的微细粒矿物识别研究";谢涛;《万方平台https://d.wanfangdata.com.cn/thesis/ChJUaGVzaXNOZXdTMjAyMTAzMDISCUQwMTk4MjA0MhoIbHZnc3o1NDM%3D》;20200902;1-68 *

Also Published As

Publication number Publication date
CN112508013A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112508013B (zh) 一种锁扣丢失故障检测方法、系统及装置
Cozzolino et al. Noiseprint: A CNN-based camera model fingerprint
CN110414670B (zh) 一种基于全卷积神经网络的图像拼接篡改定位方法
Younus et al. Effective and fast deepfake detection method based on haar wavelet transform
Aldahdooh et al. Reveal of vision transformers robustness against adversarial attacks
CN110222604B (zh) 基于共享卷积神经网络的目标识别方法和装置
CN111325687B (zh) 一种基于端对端深度网络的平滑滤波取证方法
CN112712516B (zh) 一种基于YOLOv5的高铁底部胶条故障检测方法及系统
CN112785480B (zh) 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN106447668A (zh) 红外场景下基于随机取样和稀疏矩阵恢复的小目标检测方法
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN112070159A (zh) 一种多尺度滑窗相似图片检测方法
CN116311214B (zh) 车牌识别方法和装置
Sharma et al. A hybrid technique to discriminate Natural Images, Computer Generated Graphics Images, Spliced, Copy Move tampered images and Authentic images by using features and ELM classifier
CN110211064A (zh) 一种基于边缘引导的混合退化文本图像恢复方法
Anwar et al. Image forgery detection by transforming local descriptors into deep-derived features
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN112613354A (zh) 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法
CN111275687A (zh) 一种基于连通区域标记的细粒度图像拼接检测方法
CN108389219B (zh) 一种基于多峰值判定的弱小目标跟踪丢失重检方法
CN113256603A (zh) 一种双流网络二次融合的显著性物体检测方法
Xu et al. Multi-scale Attention Network for Detection and Localization of Image Splicing Forgery
CN112348789B (zh) 一种列车锁扣丢失故障检测方法、系统及装置
Zhao et al. Passive detection of paint-doctored JPEG images
CN113486951B (zh) 风挡击打变形故障识别检测方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant