CN115424128A - 一种货车转向架下拉杆故障图像检测方法及系统 - Google Patents
一种货车转向架下拉杆故障图像检测方法及系统 Download PDFInfo
- Publication number
- CN115424128A CN115424128A CN202211211112.2A CN202211211112A CN115424128A CN 115424128 A CN115424128 A CN 115424128A CN 202211211112 A CN202211211112 A CN 202211211112A CN 115424128 A CN115424128 A CN 115424128A
- Authority
- CN
- China
- Prior art keywords
- image
- fault
- pull rod
- lower pull
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 54
- 230000004927 fusion Effects 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 17
- 238000012986 modification Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000000717 retained effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 17
- 238000011176 pooling Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明的一种货车转向架下拉杆故障图像检测方法及系统涉及图像检测领域，目的是为了克服人为检查转向架下拉杆容造成漏检、错检问题，其中方法具体包括如下步骤：步骤一、采集货车底部图像；货车底部图像包括下拉杆部位；步骤二、通过故障检测网络对货车底部图像进行逐个识别，直至所有货车底部图像识别完成；且当货车底部图像中存在转向架下拉杆故障特征时，执行步骤三；步骤三、确定货车底部图像对应的货车转向架下拉杆发生故障，并存储货车底部图像。
Description
技术领域
本发明涉及图像检测领域，具体涉及一种利用改进的故障检测模型对图像进行检测方法和系统。
背景技术
转向架作为铁路货车的重要组成部分，在正常运行条件下，车体能可靠的坐落在转向架上，通过轴承装置将车轮沿钢轨的滚动转化为车体沿轨道线路平行的运动。而且转向架的使用可以增加车辆载重、长度、容积，提高火车运行速度，保证车辆安全运行。下拉杆作为转向架的重要组成部分，起到了保证列车方向调节安全的作用，因此对于下拉杆故障的检测十分重要。
由于转向架下拉杆的位置特殊，位于转向架底部，以往对此位置故障的检测都是人为检车，受限于车底狭窄黑暗的检车环境，且人为检车存在主观性，很容易对检车结果造成影响，造成漏检、错检的情况发生。另一方面，人为检车需要耗费大量的人力和时间。
发明内容
本发明的目的是为了克服人为检查转向架下拉杆容易造成漏检、错检问题，提供了一种货车转向架下拉杆故障图像检测方法及系统。
本发明提供一种货车转向架下拉杆故障图像检测方法，具体包括如下步骤：
步骤一、采集货车底部图像；货车底部图像包括下拉杆部位；
步骤二、通过故障检测网络对货车底部图像进行逐个识别，直至所有货车底部图像识别完成；且当货车底部图像中存在转向架下拉杆故障特征时，执行步骤三；
转向架下拉杆故障情况为下拉杆圆销折断、下拉杆安全吊脱落、下拉杆安全吊丢失、下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况；
故障检测网络采用Faster R-CNN，并且采用VGG16网络作为Faster R-CNN中的特征提取网络，该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代；并删除该VGG16网络中的一层全连接层；
步骤三、确定货车底部图像对应的货车转向架下拉杆发生故障，并存储货车底部图像。
其中，得到步骤二中的故障检测网络的步骤如下：
步骤二一、采集包括下拉杆部位的原始图像，并对原始图像进行预处理得到下拉杆子图；
步骤二二、对下拉杆子图进行故障模拟修改；
故障模拟修改是在下拉杆子图中模拟不同位置、不同形态的下拉杆故障；
步骤二三、对修改后的下拉杆子图进行图像融合增强；
步骤二四、对增强后的下拉杆子图进行故障标记，得到训练样本集；
步骤二五、采用训练样本集对故障检测网络进行训练和验证，得到训练好的故障检测网络和模型权重。
其中，步骤二一中对原始图像进行预处理包括：利用卡尔曼滤波器对原始图像进行滤波。
其中，步骤二一中对原始图像进行预处理还包括：对滤波后的原始图像进行特征匹配。
其中，步骤二三中对修改后的下拉杆子图进行图像融合增强的具体步骤如下：
步骤二三一、随机选取两张修改后的下拉杆子图，作为两张待融合图像；
步骤二三二、随机保留一张待融合图像的纹理特征；并计算保留纹理特征的待融合图像的第一梯度值，以及另一张待融合图像的第二梯度值；
步骤二三三、将第一梯度值减半后与第二梯度值减半后相加，得到对应的融合图像。
本发明还提供一种货车转向架下拉杆故障图像检测系统，包括：
图像采集模块，用于采集货车底部图像并发送至故障检测模块；
货车底部图像包括下拉杆部位；
故障检测模块，用于通过故障检测网络对货车底部图像进行逐个识别，直至所有货车底部图像识别完成；且当货车底部图像中存在转向架下拉杆故障特征时，将货车底部图像发送至故障判断模块；
转向架下拉杆故障情况为下拉杆圆销折断、下拉杆安全吊脱落、下拉杆安全吊丢失、下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况；
故障检测网络采用Faster R-CNN，并且采用VGG16网络作为Faster R-CNN中的特征提取网络，该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代；并删除该VGG16网络中的一层全连接层；
故障判断模块，用于确定货车底部图像对应的货车转向架下拉杆发生故障，并存储货车底部图像。
其中，故障检测模块包括故障检测网络生成模块，故障检测网络训练生成包括：
图像预处理模块，用于采集包括下拉杆部位的原始图像，并对原始图像进行预处理得到下拉杆子图，并发送至；
故障模拟修改模块，用于对下拉杆子图进行故障模拟修改，并将修改后的下拉杆子图发送至图像融合增强模块；
故障模拟修改是在下拉杆子图中模拟不同位置、不同形态的下拉杆故障；
图像融合增强模块，用于对修改后的下拉杆子图进行图像融合增强，并将增强后的下拉杆子图发送至故障标记模块；
故障标记模块，用于对增强后的下拉杆子图进行故障标记，得到训练样本集，并发送至网络训练模块；
网络训练模块，用于采用训练样本集对故障检测网络进行训练和验证，得到训练好的故障检测网络和模型权重。
其中，图像预处理模块包括卡尔曼滤波器模块；
卡尔曼滤波器模块，用于利用卡尔曼滤波器对原始图像进行滤波。
其中，图像预处理模块还包括特征匹配模块；
特征匹配模块，用于对滤波后的原始图像进行特征匹配。
其中，图像融合增强模块包括：
选择模块，用于随机选取两张修改后的下拉杆子图，作为两张待融合图像，并发送至图像纹理梯度处理模块；
纹理梯度处理模块，用于随机保留一张待融合图像的纹理特征；并计算保留纹理特征的待融合图像的第一梯度值，以及另一张待融合图像的第二梯度值；并发送至融合模块；
融合模块，用于将第一梯度值减半后与第二梯度值减半后相加，得到对应的融合图像。
本发明的有益效果是：
1、利用特征匹配的方法，对货车底部原始图像进行匹配，可以从中提取出待训练及检测的下拉杆部位，可以使训练及识别图像上的干扰信息减少，图像大小减小，提高模型训练及识别速度；
2、利用图像融合的方法对原始数据集图像进行处理，将不相同的图像进行融合，丰富了样本数据，可增加模型的鲁棒性。
3、利用卡尔曼滤波对图像进行预处理，减少图像噪声，提高图像质量，图像质量提升有助于提高模型检测准确率。
4、利用非对称卷积对Faster R-CNN中的VGG16特征提取网络的卷积核进行替换，即利用串联的3*1与1*3的卷积核对原始的3*3卷积核进行替换，减少了模型参数，加快训练速度。
附图说明
图1为本发明的一种货车转向架下拉杆故障图像检测方法的流程图；
图2为VGG16网络中的3*3卷积核由3*1串联1*3的卷积核进行替代的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一，本实施方式的一种货车转向架下拉杆故障图像检测方法，具体包括如下步骤：
步骤一、采集货车底部图像；所述货车底部图像包括下拉杆部位；
步骤二、通过故障检测网络对货车底部图像进行逐个识别，直至所有货车底部图像识别完成；且当货车底部图像中存在转向架下拉杆故障特征时，执行步骤三；
所述转向架下拉杆故障情况为下拉杆圆销折断、下拉杆安全吊脱落、下拉杆安全吊丢失、下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况；
所述故障检测网络采用Faster R-CNN，并且采用VGG16网络作为Faster R-CNN中的特征提取网络，该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代；并删除该VGG16网络中的一层全连接层；
步骤三、确定所述货车底部图像对应的货车转向架下拉杆发生故障，并存储所述货车底部图像。
进一步地，得到步骤二中的故障检测网络的步骤如下：
步骤二一、采集包括下拉杆部位的原始图像，并对原始图像进行预处理得到下拉杆子图；
步骤二二、对下拉杆子图进行故障模拟修改；
所述故障模拟修改是在下拉杆子图中模拟不同位置、不同形态的下拉杆故障；
步骤二三、对修改后的下拉杆子图进行图像融合增强；
步骤二四、对增强后的下拉杆子图进行故障标记，得到训练样本集；
步骤二五、采用训练样本集对故障检测网络进行训练和验证，得到训练好的故障检测网络和模型权重。
进一步地，步骤二一中对原始图像进行预处理包括：利用卡尔曼滤波器对原始图像进行滤波。
进一步地，步骤二一中对原始图像进行预处理还包括：对滤波后的原始图像进行特征匹配。
进一步地，步骤二三中对修改后的下拉杆子图进行图像融合增强的具体步骤如下：
步骤二三一、随机选取两张修改后的下拉杆子图，作为两张待融合图像；
步骤二三二、随机保留一张待融合图像的纹理特征；并计算保留纹理特征的待融合图像的第一梯度值，以及另一张待融合图像的第二梯度值；
步骤二三三、将第一梯度值减半后与第二梯度值减半后相加，得到对应的融合图像。
具体实施方式二，本实施方式的一种货车转向架下拉杆故障图像检测系统，包括：
图像采集模块，用于采集货车底部图像并发送至故障检测模块；
所述货车底部图像包括下拉杆部位；
故障检测模块，用于通过故障检测网络对货车底部图像进行逐个识别，直至所有货车底部图像识别完成；且当货车底部图像中存在转向架下拉杆故障特征时，将所述货车底部图像发送至故障判断模块；
所述转向架下拉杆故障情况为下拉杆圆销折断、下拉杆安全吊脱落、下拉杆安全吊丢失、下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况；
所述故障检测网络采用Faster R-CNN，并且采用VGG16网络作为Faster R-CNN中的特征提取网络，该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代；并删除该VGG16网络中的一层全连接层；
故障判断模块，用于确定所述货车底部图像对应的货车转向架下拉杆发生故障，并存储所述货车底部图像。
进一步地，故障检测模块包括故障检测网络生成模块，所述故障检测网络训练生成包括：
图像预处理模块，用于采集包括下拉杆部位的原始图像，并对原始图像进行预处理得到下拉杆子图，并发送至；
故障模拟修改模块，用于对下拉杆子图进行故障模拟修改，并将修改后的下拉杆子图发送至图像融合增强模块；
所述故障模拟修改是在下拉杆子图中模拟不同位置、不同形态的下拉杆故障；
图像融合增强模块，用于对修改后的下拉杆子图进行图像融合增强，并将增强后的下拉杆子图发送至故障标记模块；
故障标记模块，用于对增强后的下拉杆子图进行故障标记，得到训练样本集，并发送至网络训练模块；
网络训练模块，用于采用训练样本集对故障检测网络进行训练和验证，得到训练好的故障检测网络和模型权重。
进一步地，图像预处理模块包括卡尔曼滤波器模块；
所述卡尔曼滤波器模块，用于利用卡尔曼滤波器对原始图像进行滤波。
进一步地，图像预处理模块还包括特征匹配模块；
所述特征匹配模块，用于对滤波后的原始图像进行特征匹配。
进一步地，图像融合增强模块包括：
选择模块，用于随机选取两张修改后的下拉杆子图，作为两张待融合图像，并发送至图像纹理梯度处理模块；
纹理梯度处理模块，用于随机保留一张待融合图像的纹理特征；并计算保留纹理特征的待融合图像的第一梯度值，以及另一张待融合图像的第二梯度值；并发送至融合模块；
融合模块，用于将第一梯度值减半后与第二梯度值减半后相加，得到对应的融合图像。
具体地，本发明的一种货车转向架下拉杆故障图像检测方法具体过程如下：
1、原始图像采集
通过架设在铁轨两侧及底部的高清摄像机，获得每辆列车的侧部和底部图像。收集不同车型、不同天气状况、不同时间段的列车图像以增加原始数据丰富程度。
图像预处理，对采集到的原始图像进行滤波处理，使图像噪声减少，方便进一步处理。图像噪声的减少，可以直接影响网络模型的训练结果，从而提高识别检测准确率。本实验选择卡尔曼滤波算法对原始图像进行处理。卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统的噪声和干扰的影响，所以最优估计可以看做是滤波过程。卡尔曼滤波方法目前在通信、导航、制导与控制等领域应用较为广泛，本实验将其应用到图像处理方面，其也有较好的结果表现。卡尔曼滤波器方程如下：
其中Pk表示后验估计协方差，是滤波的结果之一。
表示先验估计协方差，是滤波的中间计算结果。
表示后验状态估计值，是滤波的结果之一，即更新后的结果，也叫做最优估计。
表示先验状态估计值，是滤波的中间计算结果。H表示转换矩阵，卡尔曼滤波里为线性矩阵。Kk表示滤波增益矩阵，是滤波的总监计算结果，叫做卡尔曼增益或卡尔曼系数。R为测量噪声协方差，是滤波器的已知条件。
由于下拉杆所在位置在底部图像上所占面积较小，且位置固定。因此对滤波处理后的图像进行特征匹配，获得下拉杆子图。特征匹配是指通过分别提取两个图像的特征(点、线、面、纹理、颜色、形状、位置等)，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。采用此方法，可以使训练及识别图像上的干扰信息减少，图像大小减小，提高模型训练及识别速度。下拉杆故障主要有下拉杆圆销折断，下拉杆安全吊脱落，下拉杆安全吊丢失，下拉杆安全索脱落，下拉杆安全索丢失等；根据此特点，利用Photo shop软件对以上故障形态在子图上进行模拟，需在不同车型的下拉杆上模拟不同位置、不同形态的故障。
为了增加卷积神经网络的鲁棒性，会对原始训练集进行数据增强，常规的数据增强方式有旋转、裁剪、平移、直方图均衡化等。但是由于本发明的训练集图像的特殊性，旋转、裁剪、平移这些位置变换，不会对图像有较大改变，直方图均衡化等颜色矩阵变换处理，会使增强后的图像失真，与真实图像不符。因此本发明利用图像融合的方法，对数据进行增强。
融合时，分别从数据集中随机挑选两张图片，随机保留其中一张图像的纹理特征细节，然后计算其与另一张图像的梯度值，并将其减半后相加，得到融合图像。具体公式如下所示：
dx1(i1,j1)＝[l1(i1+1,j1)-l1(i1-1,j1)]/2 (4)
dy1(i1,j1)＝[l1(i1,j1+1)-l1(i1,j1-1)]/2 (5)
G1(x1,y1)＝dx1(i1,j1)+dy1(i1,j1) (6)
dx2(i2,j2)＝[l2(i2+1,j2)-l2(i2-1,j2)]/2 (7)
dy2(i2,j2)＝[l2(i2,j2+1)-l2(i2,j2-1)]/2 (8)
G2(x2,y2)＝dx2(i2,j2)+dy2(i2,j2) (9)
G(x,y)＝G1(x1,y1)+G2(x2,y2) (10)
其中G1、G2分别为两张图像梯度值，G为融合后梯度值。
3、深度学习训练样本集
使用LabelImg软件，对数据增强后的图像进行故障标记，即对单个子图中有下拉杆故障的区域进行标记，生成与子图相对应的带有图像信息、故障位置坐标、名称信息的XML文件。将所有图像进行故障标记后，便构成了用于深度学习训练的样本集。
4、深度学习模型训练
FasterR-CNN是处理目标检测任务中比较经典的两阶段目标检测网络，FasterR-CNN通过两阶段网络与滑动窗口提议(RPN,Region Proposal Network)的方法，实现了精度较高的物体检测性能。相比起其他一些一阶段检测网络，两阶段检测网络更为精准，尤其是针对高精度、多尺度以及小目标物体检测的问题，两阶段目标检测网络的优势更为明显。
FasterR-CNN在训练时可分为四个步骤：
1)特征提取网络(Backbone)提取特征图。将训练集图像输入到Conv Layers中，Conv Layers是利用卷积神经网络对输入图像进行卷积、池化等一系列操作，以此来提取图像中的特征，得到feature map，即特征图。Faster R-CNN中常用的特征提取网络有VGG16、InceptionV3、ResNet-50等。针对本发明需解决问题，选择VGG16作为特征提取网络。
VGG网络是牛津大学视觉研究组在2014年所提出的卷积神经网络，该系列网络在提取图像特征的问题上有着良好的表现，并利用更小的3*3卷积核替代了5*5和7*7的卷积核，且池化核相比之前网络所使用的3*3大小的核，改变成了2*2大小的池化核。但是由于网络后面连接着三个全连接层，导致模型参数变大，从而使得网络模型训练耗费很大算力及时间。
为了进一步减小模型参数，提高模型训练速度。本发明提出利用非对称卷积代替卷积核，且减少全连接层层数，减少模型参数，提高训练速率。具体实施方案如下：
①使用一组3*1串联1*3大小的卷积核替代原网络中的3*3卷积核。
②改变模型网络结构组成，删除一层全连接层。
2)将训练集中图像经过Conv Layers得到的feature map输入到区域生成网络，即Region Proposal Network(RPN)，该网络用于推荐候选区域(Region of Interests)。RPN网络将feature map作为输入，利用一个3*3的卷积核将输入通道数(filter)减半，然后将其输入到分类分支与回归分支中。分类分支是用来负责区分正、负样本概率，本发明中的正样本即存在下拉杆故障的特征图。回归分支是用来学习样本在图像中定位信息，以此获得更加准确的目标定位。在feature map上的每个特征点都会被预测多个推荐候选区域，这个推荐候选区域是通过特征点映射回原图后的基准点，围绕这个基准点会生成多个不同大小、不同形状、不同长宽比的锚框(anchor)(预选框)所生成的区域。预选框的大小与宽高通常是由人手工设计的，手工设计的参数很难确定比例是否贴合于试验数据集。针对此问题，本发明通过在训练集上进行聚类来获得预选框，只需要人为设定预选框的数量k，就可以利用聚类算法得到最合适的k个框。权衡训练速度与精度，将k值定为5。即特征图上的每一个点都对应了5个大小、宽高比例不同的锚框，对应到原图基本可以覆盖所有可能出现的目标。
3)将特征图和推荐候选区域作为输入，Faster R-CNN为了便于进行分类预测及回归预测，需要将特征图统一成相同大小。通常的方法是对其进行感兴趣池化操作(ROIPooling)，该方法最大可能地保留了原始区域的特征。
4)将相同大小的特征图同时输入到分类分支网络和回归分支网络中进行学习训练，分类分支网络用于进行分类检测，预测下拉杆是否发生故障，回归分支网络预测故障区域边框偏移量以精修边框位置，并计算损失；利用原有Faster R-CNN模型训练超参数对改进后的模型进行训练，达到预定训练迭代次数时停止训练，将训练好的模型和模型权重进行保存，以此便可进行后续的故障检测。
5.下拉杆故障识别
将保存的故障识别模型以及模型权重输入到故障检测网络中，检测网络对采集到
的列车底部图像进行识别检测，若识别结果中有下拉杆故障发生，便判定该节列车存在此故障，将检测识别出的故障图像进行储存，并将故障位置等信息写入到TXT文件中储存，以便后续故障解决。
虽然在本发明中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他实施例中。
Claims (10)
1.一种货车转向架下拉杆故障图像检测方法，其特征在于，具体包括如下步骤：
步骤一、采集货车底部图像；所述货车底部图像包括下拉杆部位；
步骤二、通过故障检测网络对货车底部图像进行逐个识别，直至所有货车底部图像识别完成；且当货车底部图像中存在转向架下拉杆故障特征时，执行步骤三；
所述转向架下拉杆故障情况为下拉杆圆销折断、下拉杆安全吊脱落、下拉杆安全吊丢失、下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况；
所述故障检测网络采用Faster R-CNN，并且采用VGG16网络作为Faster R-CNN中的特征提取网络，该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代；并删除该VGG16网络中的一层全连接层；
步骤三、确定所述货车底部图像对应的货车转向架下拉杆发生故障，并存储所述货车底部图像。
2.根据权利要求1所述的一种货车转向架下拉杆故障图像检测方法，其特征在于，得到步骤二中的故障检测网络的步骤如下：
步骤二一、采集包括下拉杆部位的原始图像，并对原始图像进行预处理得到下拉杆子图；
步骤二二、对下拉杆子图进行故障模拟修改；
所述故障模拟修改是在下拉杆子图中模拟不同位置、不同形态的下拉杆故障；
步骤二三、对修改后的下拉杆子图进行图像融合增强；
步骤二四、对增强后的下拉杆子图进行故障标记，得到训练样本集；
步骤二五、采用训练样本集对故障检测网络进行训练和验证，得到训练好的故障检测网络和模型权重。
3.根据权利要求2所述的一种货车转向架下拉杆故障图像检测方法，其特征在于，步骤二一中对原始图像进行预处理包括：利用卡尔曼滤波器对原始图像进行滤波。
4.根据权利要求3所述的一种货车转向架下拉杆故障图像检测方法，其特征在于，步骤二一中对原始图像进行预处理还包括：对滤波后的原始图像进行特征匹配。
5.根据权利要求4所述的一种货车转向架下拉杆故障图像检测方法，其特征在于，步骤二三中对修改后的下拉杆子图进行图像融合增强的具体步骤如下：
步骤二三一、随机选取两张修改后的下拉杆子图，作为两张待融合图像；
步骤二三二、随机保留一张待融合图像的纹理特征；并计算保留纹理特征的待融合图像的第一梯度值，以及另一张待融合图像的第二梯度值；
步骤二三三、将第一梯度值减半后与第二梯度值减半后相加，得到对应的融合图像。
6.一种货车转向架下拉杆故障图像检测系统，其特征在于，包括：
图像采集模块，用于采集货车底部图像并发送至故障检测模块；
所述货车底部图像包括下拉杆部位；
故障检测模块，用于通过故障检测网络对货车底部图像进行逐个识别，直至所有货车底部图像识别完成；且当货车底部图像中存在转向架下拉杆故障特征时，将所述货车底部图像发送至故障判断模块；
所述转向架下拉杆故障情况为下拉杆圆销折断、下拉杆安全吊脱落、下拉杆安全吊丢失、下拉杆安全索脱落和下拉杆安全索丢失中的至少一种情况；
所述故障检测网络采用Faster R-CNN，并且采用VGG16网络作为Faster R-CNN中的特征提取网络，该VGG16网络中的3*3卷积核均由一组3*1串联1*3的卷积核进行替代；并删除该VGG16网络中的一层全连接层；
故障判断模块，用于确定所述货车底部图像对应的货车转向架下拉杆发生故障，并存储所述货车底部图像。
7.根据权利要求6所述的一种货车转向架下拉杆故障图像检测系统，其特征在于，故障检测模块包括故障检测网络生成模块，所述故障检测网络训练生成包括：
图像预处理模块，用于采集包括下拉杆部位的原始图像，并对原始图像进行预处理得到下拉杆子图，并发送至；
故障模拟修改模块，用于对下拉杆子图进行故障模拟修改，并将修改后的下拉杆子图发送至图像融合增强模块；
所述故障模拟修改是在下拉杆子图中模拟不同位置、不同形态的下拉杆故障；
图像融合增强模块，用于对修改后的下拉杆子图进行图像融合增强，并将增强后的下拉杆子图发送至故障标记模块；
故障标记模块，用于对增强后的下拉杆子图进行故障标记，得到训练样本集，并发送至网络训练模块；
网络训练模块，用于采用训练样本集对故障检测网络进行训练和验证，得到训练好的故障检测网络和模型权重。
8.根据权利要求7所述的一种货车转向架下拉杆故障图像检测系统，其特征在于，图像预处理模块包括卡尔曼滤波器模块；
所述卡尔曼滤波器模块，用于利用卡尔曼滤波器对原始图像进行滤波。
9.根据权利要求8所述的一种货车转向架下拉杆故障图像检测系统，其特征在于，图像预处理模块还包括特征匹配模块；
所述特征匹配模块，用于对滤波后的原始图像进行特征匹配。
10.根据权利要求9所述的一种货车转向架下拉杆故障图像检测系统，其特征在于，图像融合增强模块包括：
选择模块，用于随机选取两张修改后的下拉杆子图，作为两张待融合图像，并发送至图像纹理梯度处理模块；
纹理梯度处理模块，用于随机保留一张待融合图像的纹理特征；并计算保留纹理特征的待融合图像的第一梯度值，以及另一张待融合图像的第二梯度值；并发送至融合模块；
融合模块，用于将第一梯度值减半后与第二梯度值减半后相加，得到对应的融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211211112.2A CN115424128A (zh) | 2022-09-30 | 2022-09-30 | 一种货车转向架下拉杆故障图像检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211211112.2A CN115424128A (zh) | 2022-09-30 | 2022-09-30 | 一种货车转向架下拉杆故障图像检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115424128A true CN115424128A (zh) | 2022-12-02 |
Family
ID=84206622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211211112.2A Pending CN115424128A (zh) | 2022-09-30 | 2022-09-30 | 一种货车转向架下拉杆故障图像检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115424128A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385953A (zh) * | 2023-01-11 | 2023-07-04 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车敞车车门折页折断故障图像识别方法 |
| CN118155028A (zh) * | 2024-05-13 | 2024-06-07 | 中车工业研究院(青岛)有限公司 | 缓解阀拉杆脱落故障检测方法、装置、电子设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008039858A1 (en) * | 2006-09-28 | 2008-04-03 | Microsoft Corporation | Salience preserving image fusion |
| CN104504670A (zh) * | 2014-12-11 | 2015-04-08 | 上海理工大学 | 多尺度梯度域图像融合算法 |
| CN109493309A (zh) * | 2018-11-20 | 2019-03-19 | 北京航空航天大学 | 一种保持显著性信息的红外与可见光图像变分融合方法 |
| CN111524100A (zh) * | 2020-04-09 | 2020-08-11 | 武汉精立电子技术有限公司 | 一种缺陷图像样本生成方法、装置及面板缺陷检测方法 |
| CN112434695A (zh) * | 2020-11-20 | 2021-03-02 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的上拉杆故障检测方法 |
| CN112733747A (zh) * | 2021-01-14 | 2021-04-30 | 哈尔滨市科佳通用机电股份有限公司 | 一种缓解阀拉杆脱落故障的识别方法、系统及装置 |
-
2022
- 2022-09-30 CN CN202211211112.2A patent/CN115424128A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008039858A1 (en) * | 2006-09-28 | 2008-04-03 | Microsoft Corporation | Salience preserving image fusion |
| CN104504670A (zh) * | 2014-12-11 | 2015-04-08 | 上海理工大学 | 多尺度梯度域图像融合算法 |
| CN109493309A (zh) * | 2018-11-20 | 2019-03-19 | 北京航空航天大学 | 一种保持显著性信息的红外与可见光图像变分融合方法 |
| CN111524100A (zh) * | 2020-04-09 | 2020-08-11 | 武汉精立电子技术有限公司 | 一种缺陷图像样本生成方法、装置及面板缺陷检测方法 |
| CN112434695A (zh) * | 2020-11-20 | 2021-03-02 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的上拉杆故障检测方法 |
| CN112733747A (zh) * | 2021-01-14 | 2021-04-30 | 哈尔滨市科佳通用机电股份有限公司 | 一种缓解阀拉杆脱落故障的识别方法、系统及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 孙惠斌: "《高品质切削过程的智能感知与预测技术》", 西北工业大学出版社, pages: 113 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385953A (zh) * | 2023-01-11 | 2023-07-04 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车敞车车门折页折断故障图像识别方法 |
| CN116385953B (zh) * | 2023-01-11 | 2023-12-15 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车敞车车门折页折断故障图像识别方法 |
| CN118155028A (zh) * | 2024-05-13 | 2024-06-07 | 中车工业研究院(青岛)有限公司 | 缓解阀拉杆脱落故障检测方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080598B (zh) | 一种钩尾销安全吊的螺栓、螺母缺失检测方法 | |
| CN115424128A (zh) | 一种货车转向架下拉杆故障图像检测方法及系统 | |
| CN111652227B (zh) | 铁路货车底部地板破损故障检测方法 | |
| CN107316001A (zh) | 一种自动驾驶场景中小且密集的交通标志检测方法 | |
| CN111260629A (zh) | 基于图像处理的受电弓结构异常检测算法 | |
| CN111079747A (zh) | 铁路货车转向架侧架断裂故障图像识别方法 | |
| CN111080612B (zh) | 一种货车轴承破损检测方法 | |
| CN111079631A (zh) | 一种铁路货车钩提杆脱落故障识别方法及系统 | |
| CN111652295B (zh) | 一种铁路货车钩尾销托梁脱落故障识别方法 | |
| CN111079821A (zh) | 一种脱轨自动制动拉环脱落故障图像识别方法 | |
| CN111080600A (zh) | 一种铁路货车弹簧托板上开口销的故障识别方法 | |
| CN111080601A (zh) | 铁路货车脱轨制动装置拉环磨轴故障图像识别方法 | |
| CN111079734B (zh) | 铁路货车三角孔异物检测方法 | |
| CN113516629A (zh) | Tfds通过作业智能检测系统 | |
| CN111091551A (zh) | 一种铁路货车制动梁支柱开口销丢失故障检测方法 | |
| CN108932471B (zh) | 一种车辆检测方法 | |
| CN115965915B (zh) | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统 | |
| CN111079748A (zh) | 铁路货车滚轴承甩油故障检测方法 | |
| CN112733747A (zh) | 一种缓解阀拉杆脱落故障的识别方法、系统及装置 | |
| CN114757925A (zh) | 一种非接触式高压断路器缺陷检测方法及系统 | |
| CN112419289A (zh) | 一种城市地铁轨道扣件缺陷智能检测方法 | |
| CN107247967A (zh) | 一种基于r‑cnn的车窗年检标检测方法 | |
| CN112102280A (zh) | 铁路货车小部件承挡键螺母松动和丢失故障检测方法 | |
| CN115359306B (zh) | 一种铁路货检高清图像智能识别方法和系统 | |
| CN112766174B (zh) | 一种铁路列车车厢组底板丢失故障检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221202 |
|
| RJ01 | Rejection of invention patent application after publication |