CN116385953A - 铁路货车敞车车门折页折断故障图像识别方法 - Google Patents
铁路货车敞车车门折页折断故障图像识别方法 Download PDFInfo
- Publication number
- CN116385953A CN116385953A CN202310040310.5A CN202310040310A CN116385953A CN 116385953 A CN116385953 A CN 116385953A CN 202310040310 A CN202310040310 A CN 202310040310A CN 116385953 A CN116385953 A CN 116385953A
- Authority
- CN
- China
- Prior art keywords
- image
- fault
- door
- truck
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- 238000003745 diagnosis Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000006872 improvement Effects 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 11
- 238000002844 melting Methods 0.000 claims description 8
- 230000008018 melting Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 23
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
一种铁路货车敞车车门折页折断故障图像识别方法，属于敞车车门折页故障诊断领域。本发明针对现有敞车车门折页折断故障识别方法不能兼顾故障无漏报以及误报警数量少，造成故障识别准确率低的问题。包括：建立敞车车门折页数据集，包括无故障敞车车门折页样本和故障敞车车门折页样本；对基于Faster R‑CNN深度学习卷积神经网络模型改进获得的改进后深度学习网络模型进行训练，获得训练后故障诊断模型；获取运行中整列货车图像，进行预处理得到单辆货车的基础层图像与特征层图像，进行加权融合得到单辆货车融合后图像；再定位敞车车门区域，获得所有待识别车门区域图像，输入至训练后故障诊断模型，获得故障识别结果。本发明用于敞车车门折页折断故障识别。
Description
技术领域
本发明涉及铁路货车敞车车门折页折断故障图像识别方法，属于敞车车门折页故障诊断领域。
背景技术
在铁路货车敞车车门折页折断故障检测中，一般采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，容易造成漏检、错检的出现，从而影响行车安全。近些年，计算机视觉及人工智能不断发展，采用智能算法进行铁路货车故障检测可提高检测精度，保障列车安全稳定运行。
铁路货车故障检测中敞车车门折页折断故障是一种常发故障，该故障发生后将危及行车安全。因此能够准确的识别该故障至关重要。
敞车车门折页部件在一辆敞车中占较多数量，平均一辆车存在约28个折页部件，平均一列车约150个折页部件。由于一列车的车门折页识别项点较多，现有的自动识别模块既要保证故障无漏报，又需控制误报警数量不能太多，增加了自动识别模块的识别难度，在不能二者兼顾的情况下降低了故障识别的准确率。
发明内容
针对现有敞车车门折页折断故障识别方法不能兼顾故障无漏报以及误报警数量少，造成故障识别准确率低的问题，本发明提供一种铁路货车敞车车门折页折断故障图像识别方法。
本发明的一种铁路货车敞车车门折页折断故障图像识别方法，包括，
步骤一：建立敞车车门折页数据集，所述折页数据集中包括无故障敞车车门折页样本和故障敞车车门折页样本；无故障敞车车门折页样本中标记敞车车门区域、敞车车门折页部件和敞车车门折页锁闭装置部件，故障敞车车门折页样本标记故障区域；
步骤二：采用敞车车门折页数据集对基于Faster R-CNN深度学习卷积神经网络模型改进获得的改进后深度学习网络模型进行训练，获得训练后故障诊断模型；
所述改进后深度学习网络模型包括CNN卷积模块、无相关部件区域筛选模块、RPN网络模块、候选框精确位置逼近模块和候选框所属类别分类模块；
CNN卷积模块用于提取敞车车门折页样本的初级特征图；
无相关部件区域筛选模块用于提取敞车车门折页样本的纹理特征，并根据纹理特征标记敞车车门折页样本的无相关部件区域；
RPN网络模块用于根据无相关部件区域标记剔除初级特征图中的对应区域，并在无相关部件剔除后特征图中提取目标位置侯选框，得到侯选框粗定位特征图；
候选框精确位置逼近模块用于基于初级特征图在侯选框粗定位特征图中确定目标位置精确侯选框，得到目标精确位置；
候选框所属类别分类模块用于基于初级特征图根据侯选框粗定位特征图进行目标分类，得到目标故障分类结果；
步骤三：获取运行中整列货车图像，对整列货车图像进行预处理得到单辆货车的基础层图像与特征层图像，再进行加权融合得到单辆货车融合后图像；由单辆货车融合后图像定位敞车车门区域，获得所有待识别车门区域图像，输入至训练后故障诊断模型，获得故障识别结果。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，步骤一敞车车门折页数据集的敞车车门折页样本通过对原始样本图像进行数据清洗以及数据扩增后获得。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，步骤二中无相关部件区域筛选模块确定敞车车门折页样本的无相关部件区域的方法包括：
对敞车车门折页样本进行平滑滤波后，再进行高通滤波得到高频图像；通过设定阈值对高频图像进行二值化处理提取纹理特征，得到二值图像；再对二值图像进行形态学腐蚀和膨胀处理，得到以1表示的相关部件区域和以0表示的无相关部件区域。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，步骤三中对整列货车图像进行预处理得到单辆货车的基础层图像与特征层图像的方法包括：对整列货车图像进行分割得到单辆货车敞车图像；
利用高斯卷积核对单辆货车敞车图像进行高斯卷积处理，得到模糊基础层图像；
将单辆货车敞车图像与模糊基础层图像进行差分处理，得到特征层图像。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，将模糊基础层图像分成8×8个子块；对每个子块采用对比度限制的CLAHE算法进行直方图映射，得到均衡后直方图；采用插值的方法处理相邻均衡后直方图，实现子块间的融合，得到对比度增强后基础层图像；所述对比度限制阈值采用3.0。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，对特征层图像利用引导滤波进行图像去噪，保留特征层图像的边缘特征：
将特征层图像作为二维函数，得到如下表达式：
式中qi是对应i点的滤波后特征层图像局部，所有qi组成滤波后特征层图像q；ak为第一系数，bk为第二系数；将输入的特征层图像作为引导图像I，Ii为对应i点的输入特征层图像局部，所有Ii组成引导图像I；wk为滤波器窗口；
以p表示输入的特征层图像，计算得到：
bk＝pk-akuk，
式中Cov(p,I)为输入的特征层图像p与引导图像I的协方差，σk 2为输入的特征层图像p与引导图像I的标准差，ε为常数，取值0.2；
pk为输入的特征层图像p在第k个滤波器窗口wk内的窗口特征层图像；uk为输入的特征层图像p的均值。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，将对比度增强后基础层图像和滤波后特征层图像q进行加权融合：
式中I融为单辆货车融合后图像，I基为对比度增强后基础层图像，λ为加权系数。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，获得待识别车门区域图像的方法包括：
选择无故障敞车车门折页样本作为模板图像，将模板图像按照从左到右，以及从上至下的顺序在单辆货车融合后图像上滑动，度量每次滑动区间对应的单辆货车融合后图像区域与模板图像的相似性指标；若相似性指标大于预设相似性阈值，则判定当前单辆货车融合后图像区域为敞车车门中心区域，将所述敞车车门中心区域作为待识别车门区域图像。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，相似性指标的计算方法为：
式中SSIM(x,y)为相似性指标，x为单辆货车融合后图像的水平方向坐标，y为单辆货车融合后图像的竖直方向坐标，μx为单辆货车融合后图像的水平方向像素平均值，μy为单辆货车融合后图像的竖直方向像素平均值，σxy为单辆货车融合后图像区域与模板图像的协方差，
为单辆货车融合后图像区域与模板图像的水平方向方差，/>
为单辆货车融合后图像区域与模板图像的竖直方向方差，C1为第一稳定性常数，C2为第二稳定性常数。
根据本发明的铁路货车敞车车门折页折断故障图像识别方法，步骤三中，若训练后故障诊断模型对待识别车门区域图像进行识别的结果为存在故障，则将目标位置侯选框的识别分数与预设分数阈值进行比较，若识别分数大于预设分数阈值，则进行故障预警；
若识别的结果为无故障，则进行目标位置侯选框大小的判断，若目标位置侯选框内折页长度小于长度阈值则进一步判定为存在故障，进行故障预警；
若识别的结果为未检测到折页或识别分数不大于预设分数阈值，则进行故障预警。
本发明的有益效果：本发明方法利用图像自动识别的方式代替人工检测，提高了检测效率和准确率。
本发明方法通过改进基于Faster R-CNN的深度学习网络结构对折页折断故障形态进行识别，提高了检测算法的检测速度和模型训练时的收敛速度。在网络结构中添加无相关部件区域筛选模块剔除一些无相关部件的候选框，提高了模型训练速度与模型在推断时的处理速度，同时也可以降低模型过拟合风险。
本发明方法保障了折页折断故障高识别率，同时降低了折页折断故障的误报警数量。
附图说明
图1是本发明所述铁路货车敞车车门折页折断故障图像识别方法的整体流程图；
图2是对整列货车图像进行预处理的流程图；
图3是定位敞车车门区域的示意图；
图4是现有FasterR-CNN深度学习卷积神经网络模型结构图；
图5是改进后深度学习网络模型结构图；
图6是无相关部件区域筛选模块确定无相关部件区域的流程图；
图7是采用训练后故障诊断模型对待识别车门区域图像的车门折页状态进行逻辑判断的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1、图4和图5所示，本发明提供了一种铁路货车敞车车门折页折断故障图像识别方法，包括，
步骤一：建立敞车车门折页数据集，所述折页数据集中包括无故障敞车车门折页样本和故障敞车车门折页样本；无故障敞车车门折页样本中标记敞车车门区域、敞车车门折页部件和敞车车门折页锁闭装置部件，故障敞车车门折页样本标记故障区域；
步骤二：采用敞车车门折页数据集对基于Faster R-CNN深度学习卷积神经网络模型改进获得的改进后深度学习网络模型进行训练，获得训练后故障诊断模型；
所述改进后深度学习网络模型包括CNN卷积模块、无相关部件区域筛选模块、RPN网络模块、候选框精确位置逼近模块和候选框所属类别分类模块；
CNN卷积模块用于提取敞车车门折页样本的初级特征图；
无相关部件区域筛选模块用于提取敞车车门折页样本的纹理特征，并根据纹理特征标记敞车车门折页样本的无相关部件区域；
RPN网络模块用于根据无相关部件区域标记剔除初级特征图中的对应区域，并在无相关部件剔除后特征图中提取目标位置侯选框，得到侯选框粗定位特征图；
候选框精确位置逼近模块用于基于初级特征图在侯选框粗定位特征图中确定目标位置精确侯选框，得到目标精确位置；
候选框所属类别分类模块用于基于初级特征图根据侯选框粗定位特征图进行目标分类，得到目标故障分类结果；
步骤三：获取运行中整列货车图像，对整列货车图像进行预处理得到单辆货车的基础层图像与特征层图像，再进行加权融合得到单辆货车融合后图像；由单辆货车融合后图像定位敞车车门区域，获得所有待识别车门区域图像，输入至训练后故障诊断模型，获得故障识别结果。
本实施方式中对整列货车图像通过图像预处理算法提高待检测图像的一致性特征，达到了保留细节增加对比度的目的。
在铁路货车敞车车门折页折断故障检测中，通过自动识别技术进行故障检测相比于传统人工检车，可大幅提高检测效率，减少漏报风险。本实施方式通过优化与改进算法，提高了故障识别率及降低图像误报警数。
进一步，步骤一敞车车门折页数据集的敞车车门折页样本通过对原始样本图像进行数据清洗以及数据扩增后获得。
敞车车门折页数据集的建立包括两个方面，一方面为无故障的敞车车门折页数据集的建立，另一方面是含有故障的敞车车门折页数据集的建立。无故障的数据集是用于定位关键部件所需数据，其中的关键部件包括：敞车车门区域、敞车车门折页部件和敞车车门折页锁闭装置部件。含故障的敞车车门折页数据集中，包括不同位置、不同形态的敞车车门折页折断故障。
在数据集中除了所包括的含故障图像数据和无故障图像数据外，还需对所有图像进行标记，即标记数据文件。这些标记数据既含关键部件的标记，也含相关故障的标记。
改进后深度学习网络模型的训练是对敞车车门折页故障识别的重要过程。针对建立的车门折页数据集，对数据集进行清洗、数据扩增等方式建立成完备的训练数据集、验证数据集和测试数据集。通过选定的深度学习模型，利用含GPU的服务器，经过调整深度学习超参数，得到较好的深度学习模型。
本实施方式中，Faster R-CNN深度学习卷积神经网路模型是一种两阶段的检测模型，能够快速精准的识别出故障并定位其准确的位置信息。
现有Faster R-CNN模型网络结构如图4所示。整个网络结构分为四个部分，一是对输入图像进行特征提取，采用CNN卷积层获取特征图(feature maps)。二是利用RPN(RegionProposal Network)网络提取候选框，候选框为目标的大致位置。三是对候选框区域进行精确位置逼近，获取准确的目标位置。四是对目标进行分类，确定属于哪一类目标。
由于加入了RPN网络，Faster R-CNN网络相比于R-CNN和fast R-CNN网络已经在速度上进行了优化，但是RPN网络仍是整个深度学习网络结构中耗时较多部分。本实施方式基于原始输入图像的部件纹理特征，在RPN网络中有针对性的剔除无敞车车门折页部件的区域，可提高网络检测效率。同时在训练模型时，可加快模型收敛速度，并降低了过拟合风险。改进的网络结构如图5所示。
在原始输入图像中，存在车门折页部件或者其他部件的区域，其纹理特征往往比较鲜明，有规律性。而无折页部件的区域或者背景区域，往往其纹理特征不够鲜明。若背景中噪声情况，其噪声特点也是无序的。利用该特点，对输入图像进行纹理特征提取，依据纹理特征的多少，确定其是否存在相关部件。对于无相关部件的区域，在RPN网络中，将对应区域进行剔除，可提高处理速度，降低过拟合风险。
结合图6所示，步骤二中无相关部件区域筛选模块确定敞车车门折页样本的无相关部件区域的方法包括：
对敞车车门折页样本进行平滑滤波去除噪声干扰；再进行高通滤波得到高频图像；通过设定阈值对高频图像进行二值化处理提取纹理特征，得到二值图像；再对二值图像进行形态学腐蚀和膨胀处理，去除零星小块区域，得到若干个联通的区域，最后得到的二值图像中，以1表示可能存在相关部件的区域和以0表示无相关部件区域。
待检测图像的预处理：对待检测图像进行预处理操作是对货车车门折页折断故障进行正确识别的关键步骤，图像预处理操作可以提高输入图像的稳定性，在保证每次输入神经网络的图像一致性的同时，对图像进行预处理操作可以提高图像的对比度，去除噪声干扰的同时保留图像原有关键细节。对于提高识别程序的性能具有重要作用。
结合图2所示，步骤三中对整列货车图像进行预处理得到单辆货车的基础层图像与特征层图像的方法包括：对整列货车图像进行分割得到单辆货车敞车图像；
然后对单辆货车敞车图像进行分层化处理，得到基础层图像和特征层图像。利用高斯卷积核对单辆货车敞车图像进行高斯卷积处理，得到模糊图像，称为模糊基础层图像；基础层图像保留了图像中的大部分结构信息，通过基础层图像可反馈出图像的基本灰度分布情况。
将单辆货车敞车图像与模糊基础层图像进行差分处理，得到特征层图像。特征层图像包含了图像目标的边缘特征、纹理特征及噪声信息等。
对基础层图像利用CLAHE算法进行对比度增强。CLAHE英文全称为ContrastLimited Adaptive Histogram Equalization，是一种受限对比度自适应直方图增强方法，该方法在增强图像对比度的同时可抑制图像噪声。
将模糊基础层图像分成8×8个子块；对每个子块采用对比度限制的CLAHE算法进行直方图映射，得到均衡后直方图；采用插值的方法处理相邻均衡后直方图，实现子块间的融合，得到对比度增强后基础层图像；所述对比度限制阈值采用3.0。
整个过程可以分为三个部分，一是对图像进行分块，将图像分成若干个子块。二是在每个子块中采用对比度限制的方法进行直方图映射，即每个子块中进行直方图均衡。三是采用插值的方法处理相邻子块的图像，实现子块与子块间的融合。该算法中有两个重要参数，一个是对比度限制阈值，采用3.0，二是图像分成的网格数量，为8×8个子块。对于输入的图像，由于光照情况不同、相机曝光不同，各个探测站的相机角度存在偏差，同时不同车型间存在着脏污程度不同情况，通过CLAHE算法可以明显提升图像的对比度，增强图像，凸显特征，保证图像的一致性。
本实施方式采用限制对比度自适应直方图均衡化CLAHE增强方法，对单辆货车敞车图像进行分层化处理，得到基础层图像和特征层图像。基础层图像经过CLAHE算法处理来改善对比度和亮度，得到新的基础层图像。
然后，在特征层图像中，利用引导滤波进行图像去噪，同时保留特征层图像的边缘特征。引导滤波中，用到了局部线性模型，该模型认为某函数上一点与其邻近部分的点成线性关系，一个复杂的函数可以用很多局部的线性函数表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并做平均即可。将特征层图像作为二维函数，得到如下表达式：
式中qi是对应i点的滤波后特征层图像局部，所有qi组成滤波后特征层图像q；ak为第一系数，bk为第二系数；将输入的特征层图像作为引导图像I，Ii为对应i点的输入特征层图像局部，所有Ii组成引导图像I；wk为滤波器窗口；
以p表示输入的特征层图像，计算得到：
bk＝pk-akuk，
式中Cov(p,I)为输入的特征层图像p与引导图像I的协方差，σk 2为输入的特征层图像p与引导图像I的标准差，ε为常数，取值0.2；
pk为输入的特征层图像p在第k个滤波器窗口wk内的窗口特征层图像；uk为输入的特征层图像p的均值。
当I与p相同时，引导滤波可用作边缘保持滤波器。ε大于0时，在像素强度变化小的区域，可做一个加权均值滤波，而在像素强度变化大的区域，对图像的滤波效果很弱，有助于保持边缘。随着ε增大滤波效果会更明显。
最后，将对比度增强后基础层图像和滤波后特征层图像q进行加权融合，得到经过图像预处理后增强图像：
式中I融为单辆货车融合后图像，I基为对比度增强后基础层图像，λ为加权系数，λ越大代表细节越丰富，过大则引入噪声加大，本实施例中选择取值为1.2。预处理流程如图2所示。
采用单辆货车融合后图像I融进行后续故障识别，可提高故障识别率及降低误报警数。
再进一步，结合图3所示，获得待识别车门区域图像的方法包括：
定位整辆货车的敞车车门区域：
对于一般的敞车车型，每辆敞车存在14个车门，若将整辆车的图像输入到神经网络时，由于车门折页部件尺寸与整个车门相比较小，所以占全部整辆车图像的尺度就会更小，识别效果会很差。本实施方式中先定位到所有车门区域，再对车门区域图像进行精细识别，确定是否存在故障。相比于对整幅图像直接进行识别，本实施方式的识别率与识别精度均有较大的提高。
采用模板匹配的方法进行车门位置的定位：从数据集中选择无故障敞车车门折页样本作为模板图像，将模板图像按照从左到右，以及从上至下的顺序在单辆货车融合后图像上滑动，度量每次滑动区间对应的单辆货车融合后图像区域与模板图像的相似性指标；设定相似性阈值，若相似性指标大于预设相似性阈值，则判定当前单辆货车融合后图像区域为敞车车门中心区域，将所述敞车车门中心区域作为待识别车门区域图像。
进一步，相似性指标的计算方法为：
式中SSIM(x,y)为相似性指标，可统计图像亮度、对比度、结构的相似性，SSIM越接近于1，两张图像越相似。x为单辆货车融合后图像的水平方向坐标，y为单辆货车融合后图像的竖直方向坐标，μx为单辆货车融合后图像的水平方向像素平均值，μy为单辆货车融合后图像的竖直方向像素平均值，σxy为单辆货车融合后图像区域与模板图像的协方差，
为单辆货车融合后图像区域与模板图像的水平方向方差，/>
为单辆货车融合后图像区域与模板图像的竖直方向方差，C1为第一稳定性常数，C2为第二稳定性常数，用于保持整个表达式的稳定。
最后，结合图7所示，判断敞车车门折页区域是否存在折页折断故障：
根据车门折页检测的结果，经分析判断对车门区域内是否存在故障做出正确的分析。
步骤三中，若训练后故障诊断模型对待识别车门区域图像进行识别的结果为存在故障，则将目标位置侯选框的识别分数与预设分数阈值进行比较，若识别分数大于预设分数阈值，则进行故障预警；
若识别的结果为无故障，则进行目标位置侯选框大小的判断，若目标位置侯选框内折页长度小于长度阈值则进一步判定为存在故障，进行故障预警；
若识别的结果为未检测到折页或识别分数不大于预设分数阈值，则进行故障预警。
步骤三中，若检测结果中存在车门折页折断故障形态的检测框，并且检测结果大于阈值，则直接进行故障预报，故障大小为输出检测框的位置大小。若检测结果中无相关故障形态的检测结果，则进行部件大小及形态的判断，若检测折页长度小于阈值则判定为故障。若检测结果中未检测到车门折页或者检测到车门折页的评分低于阈值则直接预警，报警框大小为整个车门区域大小。其他情况为车门折页部件无故障。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。
Claims (10)
1.一种铁路货车敞车车门折页折断故障图像识别方法，其特征在于包括，
步骤一：建立敞车车门折页数据集，所述折页数据集中包括无故障敞车车门折页样本和故障敞车车门折页样本；无故障敞车车门折页样本中标记敞车车门区域、敞车车门折页部件和敞车车门折页锁闭装置部件，故障敞车车门折页样本标记故障区域；
步骤二：采用敞车车门折页数据集对基于Faster R-CNN深度学习卷积神经网络模型改进获得的改进后深度学习网络模型进行训练，获得训练后故障诊断模型；
所述改进后深度学习网络模型包括CNN卷积模块、无相关部件区域筛选模块、RPN网络模块、候选框精确位置逼近模块和候选框所属类别分类模块；
CNN卷积模块用于提取敞车车门折页样本的初级特征图；
无相关部件区域筛选模块用于提取敞车车门折页样本的纹理特征，并根据纹理特征标记敞车车门折页样本的无相关部件区域；
RPN网络模块用于根据无相关部件区域标记剔除初级特征图中的对应区域，并在无相关部件剔除后特征图中提取目标位置侯选框，得到侯选框粗定位特征图；
候选框精确位置逼近模块用于基于初级特征图在侯选框粗定位特征图中确定目标位置精确侯选框，得到目标精确位置；
候选框所属类别分类模块用于基于初级特征图根据侯选框粗定位特征图进行目标分类，得到目标故障分类结果；
步骤三：获取运行中整列货车图像，对整列货车图像进行预处理得到单辆货车的基础层图像与特征层图像，再进行加权融合得到单辆货车融合后图像；由单辆货车融合后图像定位敞车车门区域，获得所有待识别车门区域图像，输入至训练后故障诊断模型，获得故障识别结果。
2.根据权利要求1所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
步骤一敞车车门折页数据集的敞车车门折页样本通过对原始样本图像进行数据清洗以及数据扩增后获得。
3.根据权利要求2所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
步骤二中无相关部件区域筛选模块确定敞车车门折页样本的无相关部件区域的方法包括：
对敞车车门折页样本进行平滑滤波后，再进行高通滤波得到高频图像；通过设定阈值对高频图像进行二值化处理提取纹理特征，得到二值图像；再对二值图像进行形态学腐蚀和膨胀处理，得到以1表示的相关部件区域和以0表示的无相关部件区域。
4.根据权利要求3所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
步骤三中对整列货车图像进行预处理得到单辆货车的基础层图像与特征层图像的方法包括：对整列货车图像进行分割得到单辆货车敞车图像；
利用高斯卷积核对单辆货车敞车图像进行高斯卷积处理，得到模糊基础层图像；
将单辆货车敞车图像与模糊基础层图像进行差分处理，得到特征层图像。
5.根据权利要求4所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
将模糊基础层图像分成8×8个子块；对每个子块采用对比度限制的CLAHE算法进行直方图映射，得到均衡后直方图；采用插值的方法处理相邻均衡后直方图，实现子块间的融合，得到对比度增强后基础层图像；所述对比度限制阈值采用3.0。
6.根据权利要求5所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
对特征层图像利用引导滤波进行图像去噪，保留特征层图像的边缘特征：
将特征层图像作为二维函数，得到如下表达式：
式中qi是对应i点的滤波后特征层图像局部，所有qi组成滤波后特征层图像q；ak为第一系数，bk为第二系数；将输入的特征层图像作为引导图像I，Ii为对应i点的输入特征层图像局部，所有Ii组成引导图像I；wk为滤波器窗口；
以p表示输入的特征层图像，计算得到：
bk＝pk-akuk，
式中Cov(p,I)为输入的特征层图像p与引导图像I的协方差，
为输入的特征层图像p与引导图像I的标准差，ε为常数，取值0.2；
pk为输入的特征层图像p在第k个滤波器窗口wk内的窗口特征层图像；uk为输入的特征层图像p的均值。
7.根据权利要求6所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
将对比度增强后基础层图像和滤波后特征层图像q进行加权融合：
式中I融为单辆货车融合后图像，I基为对比度增强后基础层图像，λ为加权系数。
8.根据权利要求7所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
获得待识别车门区域图像的方法包括：
选择无故障敞车车门折页样本作为模板图像，将模板图像按照从左到右，以及从上至下的顺序在单辆货车融合后图像上滑动，度量每次滑动区间对应的单辆货车融合后图像区域与模板图像的相似性指标；若相似性指标大于预设相似性阈值，则判定当前单辆货车融合后图像区域为敞车车门中心区域，将所述敞车车门中心区域作为待识别车门区域图像。
9.根据权利要求8所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，
相似性指标的计算方法为：
式中SSIM(x,y)为相似性指标，x为单辆货车融合后图像的水平方向坐标，y为单辆货车融合后图像的竖直方向坐标，μx为单辆货车融合后图像的水平方向像素平均值，μy为单辆货车融合后图像的竖直方向像素平均值，σxy为单辆货车融合后图像区域与模板图像的协方差，
为单辆货车融合后图像区域与模板图像的水平方向方差，/>
为单辆货车融合后图像区域与模板图像的竖直方向方差，C1为第一稳定性常数，C2为第二稳定性常数。
10.根据权利要求9所述的铁路货车敞车车门折页折断故障图像识别方法，其特征在于，步骤三中，若训练后故障诊断模型对待识别车门区域图像进行识别的结果为存在故障，则将目标位置侯选框的识别分数与预设分数阈值进行比较，若识别分数大于预设分数阈值，则进行故障预警；
若识别的结果为无故障，则进行目标位置侯选框大小的判断，若目标位置侯选框内折页长度小于长度阈值则进一步判定为存在故障，进行故障预警；
若识别的结果为未检测到折页或识别分数不大于预设分数阈值，则进行故障预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310040310.5A CN116385953B (zh) | 2023-01-11 | 2023-01-11 | 铁路货车敞车车门折页折断故障图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310040310.5A CN116385953B (zh) | 2023-01-11 | 2023-01-11 | 铁路货车敞车车门折页折断故障图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385953A true CN116385953A (zh) | 2023-07-04 |
| CN116385953B CN116385953B (zh) | 2023-12-15 |
Family
ID=86975725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310040310.5A Active CN116385953B (zh) | 2023-01-11 | 2023-01-11 | 铁路货车敞车车门折页折断故障图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385953B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058624A (zh) * | 2023-10-11 | 2023-11-14 | 深圳市金众工程检验检测有限公司 | 一种应用于建筑工地的工程检测方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107748895A (zh) * | 2017-10-29 | 2018-03-02 | 北京工业大学 | 基于dct‑cnn模型的无人机着陆地貌图像分类方法 |
| WO2019101221A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 一种基于场景多维特征的船只检测方法及系统 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| CN112906534A (zh) * | 2021-02-07 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法 |
| CN112907532A (zh) * | 2021-02-10 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 基于Faster RCNN改进的货车车门脱落检测方法 |
| CN113516629A (zh) * | 2021-05-14 | 2021-10-19 | 中国铁路沈阳局集团有限公司苏家屯车辆段 | Tfds通过作业智能检测系统 |
| WO2021249233A1 (zh) * | 2020-06-10 | 2021-12-16 | 中铁四局集团有限公司 | 一种图像处理方法、目标识别模型训练方法和目标识别方法 |
| WO2022160170A1 (zh) * | 2021-01-28 | 2022-08-04 | 东莞职业技术学院 | 一种金属表面缺陷检测方法及装置 |
| CN115424128A (zh) * | 2022-09-30 | 2022-12-02 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车转向架下拉杆故障图像检测方法及系统 |
-
2023
- 2023-01-11 CN CN202310040310.5A patent/CN116385953B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107748895A (zh) * | 2017-10-29 | 2018-03-02 | 北京工业大学 | 基于dct‑cnn模型的无人机着陆地貌图像分类方法 |
| WO2019101221A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 一种基于场景多维特征的船只检测方法及系统 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| WO2021249233A1 (zh) * | 2020-06-10 | 2021-12-16 | 中铁四局集团有限公司 | 一种图像处理方法、目标识别模型训练方法和目标识别方法 |
| AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
| WO2022160170A1 (zh) * | 2021-01-28 | 2022-08-04 | 东莞职业技术学院 | 一种金属表面缺陷检测方法及装置 |
| CN112906534A (zh) * | 2021-02-07 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法 |
| CN112907532A (zh) * | 2021-02-10 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 基于Faster RCNN改进的货车车门脱落检测方法 |
| CN113516629A (zh) * | 2021-05-14 | 2021-10-19 | 中国铁路沈阳局集团有限公司苏家屯车辆段 | Tfds通过作业智能检测系统 |
| CN115424128A (zh) * | 2022-09-30 | 2022-12-02 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车转向架下拉杆故障图像检测方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| DEJIAN MENG 等: "The intensity image mosaic of LADER based on SIFT", 《2013 INTERNATIONAL CONFERENCE ON OPTOELECTRONICS AND MICROELECTRONICS 》 * |
| JINYIN CHEN 等: "X-ray of Tire Defects Detection via Modified Faster R-CNN", 《2019 2ND INTERNATIONAL CONFERENCE ON SAFETY PRODUCE INFORMATIZATION》 * |
| 李泽辉等: "抛光砖表面缺陷视觉检测系统及算法研究", 《硕士学位论文电子期刊》 * |
| 胡建光 等: "TBR轮胎X射线无损检测系统数智化的深度融合", 《无损探伤》 * |
| 陈俊杰;叶东华;产焰萍;陈凌睿;: "基于Faster R-CNN模型的绝缘子故障检测", 电工电气, no. 04 * |
| 颉潭成;陈孟会;徐彦伟;李先锋;: "卷积神经网络在轴承故障识别的应用", 制造业自动化, no. 01 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058624A (zh) * | 2023-10-11 | 2023-11-14 | 深圳市金众工程检验检测有限公司 | 一种应用于建筑工地的工程检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385953B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| CN107437245B (zh) | 基于深度卷积神经网络的高速铁路接触网故障诊断方法 | |
| CN110490914B (zh) | 一种基于亮度自适应和显著性检测的图像融合方法 | |
| CN111079747B (zh) | 铁路货车转向架侧架断裂故障图像识别方法 | |
| CN111611905B (zh) | 一种可见光与红外融合的目标识别方法 | |
| CN111325764B (zh) | 一种果实图像轮廓识别方法 | |
| CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| CN104408707B (zh) | 一种快速数字成像模糊鉴别与复原图像质量评估方法 | |
| CN107220649A (zh) | 一种素色布匹缺陷检测和分类方法 | |
| CN112734734A (zh) | 一种基于改进残差网络的铁路隧道裂缝检测方法 | |
| CN107657209B (zh) | 一种基于手指静脉图像质量的模板图像注册机制 | |
| CN111611907B (zh) | 一种图像增强的红外目标检测方法 | |
| CN103455820A (zh) | 基于机器视觉技术的车辆检测和跟踪方法及系统 | |
| CN109003275B (zh) | 焊缝缺陷图像的分割方法 | |
| Marques et al. | Automatic road pavement crack detection using SVM | |
| CN109975196B (zh) | 一种网织红细胞检测方法及其系统 | |
| CN109242032B (zh) | 一种基于深度学习的目标检测方法 | |
| CN116385953B (zh) | 铁路货车敞车车门折页折断故障图像识别方法 | |
| CN111008647B (zh) | 一种样本提取及基于空洞卷积与残差链接的图像分类方法 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
| CN108109159A (zh) | 一种基于hessian矩阵和区域增长相结合的视网膜血管分割系统 | |
| CN115294377A (zh) | 一种道路裂缝的识别系统及方法 | |
| CN116524205A (zh) | 一种污水曝气自动检测识别方法 | |
| CN109712134B (zh) | 虹膜图像质量评价方法、装置及电子设备 | |
| CN114972272A (zh) | 一种基于Grad-CAM的新冠肺炎病灶分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |