CN112102280B - 铁路货车小部件承挡键螺母松动和丢失故障检测方法 - Google Patents

铁路货车小部件承挡键螺母松动和丢失故障检测方法 Download PDF

Info

Publication number
CN112102280B
CN112102280B CN202010953673.4A CN202010953673A CN112102280B CN 112102280 B CN112102280 B CN 112102280B CN 202010953673 A CN202010953673 A CN 202010953673A CN 112102280 B CN112102280 B CN 112102280B
Authority
CN
China
Prior art keywords
image
images
loss
railway wagon
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010953673.4A
Other languages
English (en)
Other versions
CN112102280A (zh
Inventor
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202010953673.4A priority Critical patent/CN112102280B/zh
Publication of CN112102280A publication Critical patent/CN112102280A/zh
Application granted granted Critical
Publication of CN112102280B publication Critical patent/CN112102280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

铁路货车小部件承挡键螺母松动和丢失故障检测方法，属于货运列车检测技术领域。本发明是为了解决目前的故障检测方法不能兼顾检测准确率和总时间成本的问题。本发明在铁路货车四周搭建高清成像设备，获取货车通过后的图像。调节图像亮度与对比度，进行图像标准化。采用多尺度的稀疏重构算法对图像进行重构，去除图像中的噪声。采用选择搜索算法获取图像中目标检测候选框，提取候选框的加权HOG特征。将HOG特征送入SVM进行分类定位，完成铁路货车小部件承挡键螺母松动和丢失的故障检测。主要用于检测铁路货车小部件承挡键螺母松动和丢失故障。

Description

铁路货车小部件承挡键螺母松动和丢失故障检测方法
技术领域
本发明涉及一种轴承挡键螺母松动和丢失故障检测方法。属于货运列车检测技术领域。
背景技术
货车轴承挡键螺母松动和丢失故障是一种常见故障，一旦出现问题就会影响货运列车的安全，所以需要对轴承挡键螺母松动和丢失故障进行检查。长期以来，采用人工检查图像的方式进行挡键螺母松动和丢失故障检测，不仅效率低，而且容易出现漏检的情况。货车轴承挡键螺母和螺栓属于小部件，检车人员在工作过程中极易疲劳，更容易出现漏检、错检的情况，难以保障准确率。因此，货车的故障检测采用自动识别的方式提高检测效率和准确率具有重要意义。
虽然目前已经可以实现铁路货车部件的自动检测，但是由于货车轴承挡键螺母和螺栓极小，且由于轴承挡键螺母和螺栓的自身特点和位置关系，图像中的轴承挡键螺母和螺栓与背景之间非常容易混合，且较为模糊不易区分，所以目前的自动检测准确率较低、误检率较高。随着神经网络等技术的飞速发展，也可以利用神经网络来实现，有的已经取得了不错的效果，但是利用神经网络进行小部件的检测时也存在问题，例如简单的网络检测准确率低，复杂的网络训练时间较长；利用神经网络进行检测的过程还依赖于训练集的质量，如果训练集中的图像质量好，那么一旦在实际检测过程中的图像质量较低，那么检测准确率将受到直接影响；或者，训练集中的图像样本对应的天气等情况比较少，而实际遇到与训练集中天气情况相差较大的图像，那么也将直接影响检测的准确率。所以在实际训练建立的过程中需要收集涵盖情况非常全面的图像，所以建立数据集的过程本身就需要耗费大量的时间和人力，同时会进一步延长训练时间。
发明内容
本发明是为了解决目前的故障检测方法不能兼顾检测准确率和总时间成本的问题。
铁路货车小部件承挡键螺母松动和丢失故障检测方法，包括以下步骤：
获得铁路货车小部件承挡键图像，送入检测器进行检测，通过分析检测到的螺栓螺母相对位置，判断铁路货车小部件承挡键螺母图像是否发生松动和丢失故障；
所述检测器的确定过程包括以下步骤：
S1、收集小部件承挡键发生螺母松动和丢失故障的图像与没有发生故障的图像，建立数据集，并对图像进行标准化处理；
S2、采用多尺度稀疏重构的方法对图像进行重构；
S3、针对于重构图像，采用选择搜索算法获取候选框，提取候选框HOG特征，在提取HOG特征的过程中将方向划分为方向块，得到方向块上的梯度大小值的统计结果，一个细胞单元得到一个特征向量；然后采用空洞方式，将一个具有9个细胞单元的方框内的四个角和中心的细胞单元组成一个区域，得到一个区域对应的特征向量，将特征向量进行对比度归一化；将提取的特征称作HOG特征；同时对每一个区域施加一个可学习的权重w，得到加权HOG特征；
S4、利用数据集的正样本与负样本的加权HOG特征，训练SVM分类器，并将训练好的SVM分类器作为检测器。
进一步地，将方向划分为方向块，得到方向块上的梯度大小值的统计结果的过程包括以下步骤：
S3.1、计算候选框图像中每个像素点的梯度大小和方向；
S3.2、针对候选框图像，划分细胞单元，统计细胞单元的梯度直方图；在统计梯度直方图时，将方向0～360°划分为9个方向块，根据细胞单元中的每一个像素的梯度方向α，将该像素的梯度大小G(x,y)加到某一个方向块上，依次统计一个细胞单元的每一个像素的梯度，完成直方图统计，最终得到9个方向块上的梯度大小值的统计结果，即一个细胞单元得到9个维度的特征向量。
进一步地，所述将一个具有9个细胞单元的方框内的四个角和中心的细胞单元组成一个区域，得到一个区域对应的特征向量，将特征向量进行对比度归一化的过程包括以下步骤：
将候选框图像最左上角的9细胞单元所在方框内的5个细胞单元组成一个区域，5个细胞单元为9细胞单元所在方框内的四个角和中心的细胞单元；
步骤S3.2中一个细胞单元会得到9个维度的特征向量，左上角的一个区域最终得到9*5＝45个特征向量，对这一个区域45个维度的特征向量进行对比度归一化；
然后以步长为1移动具有9个细胞单元的方框，对第二个区域的四个角和中心的细胞单元对应的45个维度的特征向量进行对比度归一化，以步长为1移动，依次进行下一个区域的对比度归一化，直到完成整张图的区域对比度归一化。
进一步地，S4所述利用数据集的正样本与负样本的加权HOG特征，训练SVM分类器，并将训练好的SVM分类器作为检测器的过程包括以下步骤：
首先提取进行数据扩增后的数据集的正样本即包含检测物体的图像与负样本即不包含检测物体的图像的加权HOG特征，采用提取到的HOG特征训练一个初始SVM分类器，由分类器产生检测器；
然后采用生成的检测器在原始负样本上进行检测，所述原始负样本为没有进行旋转、裁剪变换的真实图像，将检测错误的样本标为难例，所述检测错误指在没有检测目标的负样本中检测到物体；将这些难例与进行旋转、裁剪等数据扩增操作后的难例加入训练集中重新训练，生成最终的检测器。
进一步地，S2所述采用多尺度稀疏重构的方法对图像进行重构的过程包括以下步骤：
提取数据集中若干张螺栓螺母完整的图像，训练不同尺度的稀疏字典；将数据集中其他图像作为待检测图像，采用训练好的不同尺度的稀疏字典对待检测图像进行稀疏编码，得到待检测图像不同尺度的稀疏特征，采用不同尺度的稀疏特征对待检测图像进行重构，得到不同的尺度的待检测图像的重构图像，对不同尺度的待检测图像的重构图像进行融合，最终得到待检测图像的多尺度稀疏重构图像。
进一步地，训练不同尺度的稀疏字典的过程中，不同尺度包括4*4尺度、8*8尺度和16*16尺度。
进一步地，S1所述收集小部件承挡键发生螺母松动和丢失故障的图像与没有发生故障的图像的过程如下：
在铁路货车周围架设成像设备，获取货车通过后的图像，截取需要进行识别的小部件承挡键部分图像，即小部件承挡键图像。
进一步地，S1所述建立数据集的过程中需要对采集到的小部件承挡键图像进行数据集扩增，将扩增的数据集作为最终建立的数据集。
进一步地，S1所述对图像进行标准化处理包括对数据集中图像进行Gamma校正，并标准化图像的颜色空间的步骤。
铁路货车小部件承挡键螺母松动和丢失故障检测设备，所述设备用于存储和/或运行权利要求1至9之一所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法。
有益效果：
1、本发明采用多尺度的稀疏重构算法对图像进行重构，能够去除图像中的噪声，从而解决了小部件图像噪声大，且HOG特征对噪声敏感的问题，进而保障了检测结果。
2、由于图像中不同部分特征对最后的检测贡献不同，所以本发明进行HOG特征提取时，对不同的区域HOG特征赋予不同权重，能够有效提高检测效果。
3、本发明的HOG特征提取算法中，细胞单元组成区域的方式与传统算法不同，本发明采用空洞的方式进行HOG特征提取，扩大了特征的感受视野，并减小了计算量。
4、相比神经网络的训练时间，本发明的训练时间短，且检测准确率高，所以本发明能够兼顾检测准确率和总时间成本。
附图说明
图1为铁路货车小部件承挡键螺母松动和丢失故障检测流程图；
图2为检测网络算法框图；
图3为加权HOG特征区域组成方式示意图；
图4为加权HOG特征权重训练方式示意图。
具体实施方式
具体实施方式一：参照图1和图2具体说明本实施方式，
本实施方式所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，包括以下步骤：
1、收集故障图像，建立数据集，并对图像进行标准化处理：
在铁路货车周围架设高清成像设备，获取货车通过后的图像，截取需要进行识别的小部件承挡键部分图像，即小部件承挡键图像。收集小部件承挡键发生螺母松动和丢失故障的图像与没有发生故障的图像，将图像中螺栓、螺母各标为一类，构成数据集，螺母松动与丢失两种故障图像样本数量需要尽量保持相等。对数据集中的图像进行旋转、裁剪等变换，进行数据集扩增。同时为了减小天气、光照强度、光照位置等因素的影响，降低图像局部阴影和光照变化所造成的对比度降低等的影响，需要对数据集中图像进行Gamma校正，并标准化图像的颜色空间，以提高检测的准确率。
2、多尺度稀疏重构去噪：
小部件承挡键图像较小，图像中噪声较多，同时HOG特征对噪声比较敏感，这严重的影响到后续的识别任务。由于图像中的噪声一般是稀疏的，本发明采用多尺度稀疏重构的方法对图像进行重构，可以有效的去除图像中噪声，同时多尺度的使用，可以减小稀疏重构中的块效应问题，同时也提高重构图像的清晰度，提高后续检测的准确程度。
多尺度稀疏重构的流程为：采用20张具有代表性的图像(螺栓螺母完整的图像)训练不同尺度的稀疏字典，将数据集中其他图像作为待检测图像，采用训练好的不同尺度的稀疏字典对待检测图像进行稀疏编码，得到待检测图像不同尺度的稀疏特征，采用不同尺度的稀疏特征对待检测图像进行重构，得到不同的尺度的待检测图像的重构图像，对不同尺度的待检测图像的重构图像进行融合，最终得到待检测图像的多尺度稀疏重构图像。具体的实现方法如下：
(2.1)多尺度稀疏字典训练与稀疏编码
本实施方式提取数据集中有代表性的20张图像，将图像切割为4*4、8*8与16*16三个不同尺度的小块，分别训练一个稀疏字典，进行稀疏表示，得到不同尺度下的稀疏特征。在4*4这一尺度下，将4*4的小块元素拉成一列，表示为Y＝[y1,y2,…,yN]∈Rn×N，其中n为特征维度，即4*4＝16，N为一张图像小块的个数；
稀疏字典D∈Rn×K(K＞N)的优化目标函数如下：
Figure GDA0002939189380000051
其中，K表示字典中的原子个数，X＝[x1,x2,…,xN]∈RK×N为所求稀疏特征，ψ为稀疏规则化函数，μ是规则化系数，||||1表示l1范数，l1范数可以约束X中的元素大部分为零，实现稀疏表示，去除稀疏的噪声。
采用K-SVD算法进行公式(1)的求解，得到稀疏字典D。
其他尺度下的稀疏字典求解方式与4*4尺度下的相同。
在稀疏编码阶段，采用不同尺度的稀疏字典，通过最优化求解公式(2)对4*4、8*8、16*16不同尺度的图像块Y进行稀疏编码，得到不同图像块尺度下的稀疏特征
Figure GDA0002939189380000052
为X的最优解。
Figure GDA0002939189380000053
本发明中采用OMP算法完成公式(2)的优化求解过程。
(2.2)稀疏重构
在稀疏重构阶段，如在4*4这一尺度下，采用4*4尺度的稀疏特征X与4*4尺度的稀疏字典D通过公式(3)得到4*4尺度下的重构图像块Y：
Y＝DX (3)
将一副图像的所有重构图像块拼接到一起，得到4*4尺度下的稀疏重构图像，其他尺度的重构操作与4*4尺度下的相同。
将三个尺度的稀疏重构图像通过公式(4)融合为最终的重构图像：
Figure GDA0002939189380000054
其中，Yi,i∈{1,2,3}为3个尺度的重构图像，wi,i∈{1,2,3}为各尺度重构图像权重，Var表示对重构图像求取方差；
Figure GDA0002939189380000061
采用多尺度的稀疏重构可以在去除图像中的稀疏噪声的同时尽可能多的保留图像的原始信息。此外，由于重构图像由重构图像小块拼接而成，重构图像中会出现一块一块的现象，影响后续识别，通过多尺度的稀疏重构图像的融合会明显减小这种块效应，使重构图像更加清晰。
3、候选框选择与加权HOG特征提取：
针对于重构图像，采用选择搜索的方式在稀疏重构图像中设置候选框，将候选框图像大小统一到64*128，提取候选框图像的加权HOG特征，送入SVM得到类别与位置信息。
加权HOG特征求解过程如下：
3.1、通过公式(5)、(6)计算候选框图像中每个像素点的梯度大小和方向
Figure GDA0002939189380000062
Figure GDA0002939189380000063
其中，Gx(x,y)与Gy(x,y)表示在像素点(x,y)处的水平方向和竖直方向梯度。
3.2、针对候选框图像，将8*8像素大小划分为一个细胞单元，统计一个细胞单元的梯度直方图。如图3所示，图中每一个小方格代表一个细胞单元。在统计梯度直方图时，将方向0～360°划分为9个方向块，分别为0°，40°，80°，120°，160°，200°，240°，280°，320°这9个方向块，若一个细胞单元中的第一个像素的梯度方向α为10°，离0°最近，那么将该像素的梯度大小G(x,y)加到0°这一个方向块上，依次统计一个细胞单元的每一个像素的梯度，完成直方图统计，最终得到9个方向块上的梯度大小值的统计结果，即一个细胞单元得到9个维度的特征向量。
3.3、采用空洞方式，将如图3左上角红框(最左上角的9个小方格所在方框)内的5个有颜色的细胞单元(四个角和中心的细胞单元)组成一个区域，在上一步中一个细胞单元会得到9个维度的特征向量，左上角的一个区域最终得到9*5＝45个特征向量，对这一个区域45个维度的特征向量进行对比度归一化，从而进一步减小光照、阴影对最后识别的影响。然后以步长为1移动红框，对第二个区域，即图3中绿色框(红框右移一个细胞单元对应的方框)的四个角和中心的细胞单元对应的45个维度的特征向量进行对比度归一化，以步长为1移动，依次进行下一个区域的对比度归一化，直到完成整张图的区域对比度归一化。图3的区域组成方式可以在扩大感受视野的前提下减小计算量，其感受视野相当于9个细胞单元即图3中左上角的红框部分中的9个细胞单元，但只计算其中5个细胞单元，即有颜色的细胞单元。
将上述提取的特征称作HOG特征，与传统HOG特征提取方法不同，本发明对每一个区域施加一个可学习的权重w，通过SVM网络训练，使对识别有意义的图像部分获得更多关注，减小无意义背景部分的特征值，以提高检测性能。
4、SVM训练：
本发明采用Dalal等人的训练方法，首先提取进行数据扩增后的数据集的正样本即包含检测物体的图像(这里指螺栓螺母都存在的图像，即正常图像与螺母松动的图像)与负样本即不包含检测物体的图像(这里指螺母丢失的图像)的加权HOG特征，采用提取到的HOG特征训练一个初始SVM分类器。具体的SVM分类器训练过程为，加权HOG特征提取中，对候选框图像的每一个区域施加一个可学习的初始权重，将加权HOG特征送入一个BP神经网络，完成加权HOG特征权重的学习，然后将学习到权重的加权HOG特征送入SVM，完成SVM分类器训练过程，如图4所示。BP神经网络的输入层(第一层)神经元个数、隐藏层(第二层)神经元个数与输出层(第三层)神经元个数均为一个候选框图像中特征向量的维度，保证BP神经网络输入输出为同一个维度的特征向量，即相当于通过BP神经网络的训练，完成加权HOG特征不同区域特征权重的学习。由分类器产生检测器。然后采用生成的检测器在原始负样本上即没有进行旋转、裁剪等变换的真实图像上进行检测，将检测错误的样本标为难例，检测错误指在没有检测目标的负样本中检测到物体。将这些难例与进行旋转、裁剪等数据扩增操作后的难例加入训练集中重新训练，生成最终的检测器。
5、基于稀疏重构与加权HOG特征的铁路货车小部件承挡键螺母松动和丢失故障检测测试：
(1)获得铁路货车通过高清成像设备后的过车图像，截取需要识别的部分送入上述训练好的检测器中。
(2)通过分析检测到的螺栓螺母相对位置，得出图像是否发生故障。
通过报文上报检测结果，依据人工先验原则选择是否进行故障处理。
具体实施方式二：
本实施方式所述的铁路货车小部件承挡键螺母松动和丢失故障检测设备，用于存储和/或运行铁路货车小部件承挡键螺母松动和丢失故障检测方法。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，包括以下步骤：
获得铁路货车小部件承挡键图像，送入检测器进行检测，通过分析检测到的螺栓螺母相对位置，判断铁路货车小部件承挡键螺母图像是否发生松动和丢失故障；
所述检测器的确定过程包括以下步骤：
S1、收集小部件承挡键发生螺母松动和丢失故障的图像与没有发生故障的图像，建立数据集，并对图像进行标准化处理；
S2、采用多尺度稀疏重构的方法对图像进行重构；
S3、针对于重构图像，提取HOG特征，在提取HOG特征的过程中将方向划分为方向块，得到方向块上的梯度大小值的统计结果，一个细胞单元得到一个特征向量；然后采用空洞方式，将一个具有9个细胞单元的方框内的四个角和中心的细胞单元组成一个区域，得到一个区域对应的特征向量，将特征向量进行对比度归一化；将提取的特征称作HOG特征；同时对每一个区域施加一个可学习的权重w，得到加权HOG特征；
S4、利用数据集的正样本与负样本的加权HOG特征，训练SVM分类器，并将训练好的SVM分类器作为检测器。
2.根据权利要求1所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，将方向划分为方向块，得到方向块上的梯度大小值的统计结果的过程包括以下步骤：
S3.1、计算候选框图像中每个像素点的梯度大小和方向；
S3.2、针对候选框图像，划分细胞单元，统计细胞单元的梯度直方图；在统计梯度直方图时，将方向0～360°划分为9个方向块，根据细胞单元中的每一个像素的梯度方向α，将该像素的梯度大小G(x,y)加到某一个方向块上，依次统计一个细胞单元的每一个像素的梯度，完成直方图统计，最终得到9个方向块上的梯度大小值的统计结果，即一个细胞单元得到9个维度的特征向量。
3.根据权利要求2所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，所述将一个具有9个细胞单元的方框内的四个角和中心的细胞单元组成一个区域，得到一个区域对应的特征向量，将特征向量进行对比度归一化的过程包括以下步骤：
将候选框图像最左上角的9细胞单元所在方框内的5个细胞单元组成一个区域，5个细胞单元为9细胞单元所在方框内的四个角和中心的细胞单元；
步骤S3.2中一个细胞单元会得到9个维度的特征向量，左上角的一个区域最终得到9*5＝45个特征向量，对这一个区域45个维度的特征向量进行对比度归一化；
然后以步长为1移动具有9个细胞单元的方框，对第二个区域的四个角和中心的细胞单元对应的45个维度的特征向量进行对比度归一化，以步长为1移动，依次进行下一个区域的对比度归一化，直到完成整张图的区域对比度归一化。
4.根据权利要求3所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，S4所述利用数据集的正样本与负样本的加权HOG特征，训练SVM分类器，并将训练好的SVM分类器作为检测器的过程包括以下步骤：
首先提取进行数据扩增后的数据集的正样本即包含检测物体的图像与负样本即不包含检测物体的图像的加权HOG特征，采用提取到的HOG特征训练一个初始SVM分类器，由分类器产生检测器；
然后采用生成的检测器在原始负样本上进行检测，所述原始负样本为没有进行旋转、裁剪变换的真实图像，将检测错误的样本标为难例，所述检测错误指在没有检测目标的负样本中检测到物体；将这些难例与进行旋转、裁剪数据扩增操作后的难例加入训练集中重新训练，生成最终的检测器。
5.根据权利要求1、2或3所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，S2所述采用多尺度稀疏重构的方法对图像进行重构的过程包括以下步骤：
提取数据集中若干张螺栓螺母完整的图像，训练不同尺度的稀疏字典；将数据集中其他图像作为待检测图像，采用训练好的不同尺度的稀疏字典对待检测图像进行稀疏编码，得到待检测图像不同尺度的稀疏特征，采用不同尺度的稀疏特征对待检测图像进行重构，得到不同的尺度的待检测图像的重构图像，对不同尺度的待检测图像的重构图像进行融合，最终得到待检测图像的多尺度稀疏重构图像。
6.根据权利要求5所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，训练不同尺度的稀疏字典的过程中，不同尺度包括4*4尺度、8*8尺度和16*16尺度。
7.根据权利要求6所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，S1所述收集小部件承挡键发生螺母松动和丢失故障的图像与没有发生故障的图像的过程如下：
在铁路货车周围架设成像设备，获取货车通过后的图像，截取需要进行识别的小部件承挡键部分图像，即小部件承挡键图像。
8.根据权利要求7所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，S1所述建立数据集的过程中需要对采集到的小部件承挡键图像进行数据集扩增，将扩增的数据集作为最终建立的数据集。
9.根据权利要求8所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法，其特征在于，S1所述对图像进行标准化处理包括对数据集中图像进行Gamma校正，并标准化图像的颜色空间的步骤。
10.铁路货车小部件承挡键螺母松动和丢失故障检测设备，其特征在于，所述设备用于存储和/或运行权利要求1至9之一所述的铁路货车小部件承挡键螺母松动和丢失故障检测方法。
CN202010953673.4A 2020-09-11 2020-09-11 铁路货车小部件承挡键螺母松动和丢失故障检测方法 Active CN112102280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010953673.4A CN112102280B (zh) 2020-09-11 2020-09-11 铁路货车小部件承挡键螺母松动和丢失故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953673.4A CN112102280B (zh) 2020-09-11 2020-09-11 铁路货车小部件承挡键螺母松动和丢失故障检测方法

Publications (2)

Publication Number Publication Date
CN112102280A CN112102280A (zh) 2020-12-18
CN112102280B true CN112102280B (zh) 2021-03-23

Family

ID=73751354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953673.4A Active CN112102280B (zh) 2020-09-11 2020-09-11 铁路货车小部件承挡键螺母松动和丢失故障检测方法

Country Status (1)

Country Link
CN (1) CN112102280B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950566B (zh) * 2021-02-25 2021-11-12 哈尔滨市科佳通用机电股份有限公司 一种风挡破损故障检测方法
CN116580245B (zh) * 2023-05-29 2023-12-26 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍错位故障识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318266A (zh) * 2014-10-19 2015-01-28 温州大学 一种图像智能分析处理预警方法
CN107066968A (zh) * 2017-04-12 2017-08-18 湖南源信光电科技股份有限公司 基于目标识别和跟踪的融合策略的车载行人检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2939547B1 (fr) * 2008-12-09 2011-06-10 Commissariat Energie Atomique Dispositif et procede pour le reconnaissance et la localisation d'objets dans une image par balayage de fenetres de detection
CN101980284B (zh) * 2010-10-26 2012-05-23 北京理工大学 基于两尺度稀疏表示的彩色图像降噪方法
CN102867188B (zh) * 2012-07-26 2015-06-17 中国科学院自动化研究所 一种基于级联结构的会场内座位状态检测方法
CN103295027B (zh) * 2013-05-17 2016-06-08 北京康拓红外技术股份有限公司 一种基于支持向量机的铁路货车挡键丢失故障识别方法
CN103971087B (zh) * 2013-07-12 2017-04-19 湖南纽思曼导航定位科技有限公司 一种实时搜索及识别交通标志的方法及装置
CN103971135A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于头肩深度信息特征的人体目标检测方法
CN104598929A (zh) * 2015-02-03 2015-05-06 南京邮电大学 一种hog特征快速提取方法
CN106570857A (zh) * 2016-09-11 2017-04-19 西南交通大学 一种基于hog特征的高铁接触网斜拉线固定钩螺帽脱落不良状态的检测方法
CN106485694B (zh) * 2016-09-11 2019-04-16 西南交通大学 一种基于级联分类器的高铁接触网双套管连接器六边形螺母脱落不良状态检测方法
CN108205680B (zh) * 2017-12-29 2020-02-04 深圳云天励飞技术有限公司 图像特征提取集成电路、方法、终端
CN108846331B (zh) * 2018-05-30 2022-07-19 北京天亿时代科技有限公司 一种动车组底盘螺丝紧固件是否脱落的视频识别方法
CN108898121B (zh) * 2018-07-04 2021-12-07 海视英科光电（苏州）有限公司 一种图像特征的提取方法及系统
CN109977817B (zh) * 2019-03-14 2021-04-27 南京邮电大学 基于深度学习的动车组车底板螺栓故障检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318266A (zh) * 2014-10-19 2015-01-28 温州大学 一种图像智能分析处理预警方法
CN107066968A (zh) * 2017-04-12 2017-08-18 湖南源信光电科技股份有限公司 基于目标识别和跟踪的融合策略的车载行人检测方法

Also Published As

Publication number Publication date
CN112102280A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
US20230360390A1 (en) Transmission line defect identification method based on saliency map and semantic-embedded feature pyramid
CN112419299B (zh) 一种螺栓缺失检测方法、装置、设备及存储介质
CN112233073A (zh) 一种变电设备红外热成像异常实时检测方法
CN111784633A (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN112102280B (zh) 铁路货车小部件承挡键螺母松动和丢失故障检测方法
CN111080598A (zh) 一种钩尾销安全吊的螺栓、螺母缺失检测方法
CN111652295B (zh) 一种铁路货车钩尾销托梁脱落故障识别方法
CN109409404A (zh) 一种基于深度学习的高铁接触网防风拉线故障检测方法
CN117635565B (zh) 一种基于图像识别的半导体表面缺陷检测系统
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
CN113128555B (zh) 一种用于列车闸片部件异常检测的方法
CN112419298A (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN112489096A (zh) 基于图匹配模型的低配准精度下遥感图像变化检测方法
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN116188786B (zh) 一种肝胆管及胆道结石的图像分割系统
CN116523922B (zh) 一种轴承表面缺陷识别方法
CN111563896A (zh) 一种用于接触网异常检测的图像处理方法
CN115424128A (zh) 一种货车转向架下拉杆故障图像检测方法及系统
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN111078565A (zh) 基于hog特征提取和svm多分类器的软件测试结果的分析方法
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN114581364A (zh) 一种基于X-ray imaging与Sobel-SCN的GIS缺陷检测方法
CN116188449B (zh) 铁路货车缓解阀拉杆开口销丢失故障识别方法及设备
CN111882521A (zh) 一种细胞涂片的图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant