CN116310734A - 基于深度学习的铁路货车走行部的故障检测方法及系统 - Google Patents
基于深度学习的铁路货车走行部的故障检测方法及系统 Download PDFInfo
- Publication number
- CN116310734A CN116310734A CN202310453249.7A CN202310453249A CN116310734A CN 116310734 A CN116310734 A CN 116310734A CN 202310453249 A CN202310453249 A CN 202310453249A CN 116310734 A CN116310734 A CN 116310734A
- Authority
- CN
- China
- Prior art keywords
- feature
- characteristic
- map
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000005286 illumination Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 145
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 13
- 108091006146 Channels Proteins 0.000 description 22
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像数据识别领域，具体涉及基于深度学习的铁路货车走行部的故障检测方法及系统，构建故障检测网络,所述故障检测网络包括输入层、隐藏层和输出层；所述隐藏层包括分组卷积模块和自定义网络层类；训练故障检测网络，得到训练后的故障检测网络；利用训练后的故障检测网络进行待检测铁路货车走行部的图像数据的故障检测；本发明能够通过分组卷积模块，将故障检测网络中表征光照的特征图提取出来，作为一个光照特征图组，参与到网络训练过程中，提高了光照特征的纯度，避免了光照特征与其它特征混杂，进而增强了神经网络对光照的抗性，为后续的故障识别提供了可靠性。
Description
技术领域
本发明涉及图像数据识别领域，具体为基于深度学习的铁路货车走行部的故障检测方法及系统。
背景技术
铁路货车走行部的故障检测包括零件松动、缺失、破损或裂纹等的检测。目前对于铁路货车走行部的故障检测，其一般都是采用货车运行故障动态图像检测系统。
而铁路货车运行故障动态图像检测系统是一套集高速数字图像采集、大容量图像数据实时处理和精确定位模式识别技术于一体的智能系统；该智能系统在故障检测时采用神经网络对采集到的铁路货车的图像进行识别，识别出铁路货车走行部上是否存在零件松动、缺失、破损或裂纹等故障。
但是，现有的神经网络往往是采用采集到的图像作为训练集进行训练，其并未考虑到铁路货车走行部本身是金属材质，受光照影响较大，且铁路货车走行部所处环境复杂，光照变化复杂多变，从而采集到的图像数据受光照影响大，进而利用现有训练的神经网络进行故障检测，其并不能对不同光照下铁路货车走行部的故障进行较高精度的识别。
发明内容
本发明的目的在于提供基于深度学习的铁路货车走行部的故障检测方法及系统，用于解决现有的方法不能对不同光照下铁路货车走行部的故障进行较高精度的识别的问题。
本发明提供的基于深度学习的铁路货车走行部的故障检测方法，包括以下步骤：
构建故障检测网络,所述故障检测网络包括输入层、隐藏层和输出层；所述隐藏层包括分组卷积和自定义网络层；
利用训练数据集训练故障检测网络，得到训练后的故障检测网络；
获取待检测铁路货车走行部的图像数据，利用训练后的故障检测网络进行待检测铁路货车走行部的图像数据的故障检测；
其中,训练故障检测网络的具体过程为：
获取训练数据集和标签数据；其中，所述训练数据集为采集到的铁路货车走行部的图像数据；
在训练后的故障检测网络的输入层输入训练数据集，通过隐藏层的自定义网络层对隐藏层的特征图进行处理，得到亮度特征图组和非亮度图特征图组，并进行分组卷积，且将标签数据作为输出层的输出，进行故障检测网络的训练；
其中，亮度特征图组的获取方式为：
获取图像数据的亮度图及三通道灰度图；所述三通道灰度图包括R通道灰度图、G通道灰度图和B通道灰度图；
分别获取三通道灰度图与亮度图的特征向量和特征值，进而分别获取亮度图相对于三通道灰度图的区分特征向量，得到区分极值序列；
获取隐藏层的特征图的特征向量和特征值，对特征图的特征向量进行分组，得到每个特征图的极值序列，将与区分极值序列相同的极值序列对应的特征图作为亮度特征图组，将在所有的亮度特征图组中出现率大于设定阈值的特征图作为最终的亮度特征图组。
优选地，所述特征向量和特征值是分别对三通道灰度图、亮度图和特征图进行SVD分解得到的。
优选地，在获取亮度图像的特征向量和特征值之前，还包括对亮度图像的更新的步骤，包括：
获取三通道灰度图中的任一通道灰度图与亮度图的差图像，进而得到三个差图像；
基于各差图像，获取每个差图像的特征向量和特征值；
对各差图像的特征值进行从大到小的排序，计算得到特征值的和与对应的所有特征值之和的比值，选取所述比值大于设定占比时的特征值及排序后面的特征值，得到三个特征值组合；
随机选取三个特征组组合中的任意特征值组成序列，确定序列中特征值之间的方差最小的的序列，对于其中一个差图像，基于最大的序列差图像对应的特征值，得到包含该特征值的前n个特征值，n大于等于1；
利用其中一个差值图像对应的前n个特征值，对该差图像进行重建，得到重建后的差图像，进而得到三个重建后的差图像；
计算各差图像的熵值的比值；
根据各差图像的熵值的比值，得到每个差图像对应的通道灰度图的光照增益；
根据所述光照增益以及三通道灰度图像得到更新后的图像数据，进而获取更新的亮度图。
优选地，所述区分极值序列的获取过程为：
通过KM匹配算法分别对亮度图的特征向量与三通道灰度图中特征向量进行匹配，得到各通道的匹配对；
计算匹配对中的亮度图的特征向量与匹配对中对应的通道灰度图的特征向量的余弦相似度；将余弦相似度大于设定值的匹配对保留；
统计保留后的匹配对中亮度图的每个特征向量对应的三通道灰度图的特征值，得到亮度图的各特征向量对应三通道灰度图的特征值三元组；
将亮度图中的每个特征向量的特征值与对应三通道灰度图的特征值三元组中的极值比较，当每个特值与极值的差异均大于设定差异值，则该亮度图的特征向量为区分特征向量，进而得到亮度图的所有区分特征向量；
将各区分特征向量的特征值与对应三通道灰度图的特征值三元组中的极值进行比较时，各区分特征向量的特征值为极大值或者极小值时，将对应的区分特征向量的特征值置1；反之，各区分特征向量的特征值为非极值，将对应的区分特征向量的特征值置0；最终得到所有区分特征向量的区分极值序列，所述区分极值序列由0和1构成。
优选地，所述极值序列的获取过程为：
对隐藏层的各特征图进行SVD分解，得到各特征图的特征向量组，将特征向量组中的非区分特征向量删除，得到更新后的特征向量组；
计算任意两特征图中的特征向量的余弦相似度，将余弦相似度大于设定值的特征向量作为同列数据；
将同列数据的特征值按照从小到大的排序进行排列，通过otsu多阈值分割，得到不同分组的值类别，进而得到每个特征图的不同的同列数据中的值类别；
计算每个特征图的各同列数据中的值类别的表征值，将各同列数据中的不同值类别中表征值最大或者最小均置1，其余置0，进而获取每个特征图的极值序列。
优选地，所述出现率为每个特征图在所有的亮度特征图组中的出现次数与亮度特征图组总数量的比值。
本发明还提供了一种基于深度学习的铁路货车走行部的故障检测系统，包括处理器和存储器，所述处理器用于执行所述存储器存储的用于实现上述的基于深度学习的铁路货车走行部的故障检测方法的步骤。
本发明的有益效果：
本发明的方案中通过故障检测网络中的自定义网络层类和分组卷积，能够将故障检测网络中的表征光照的特征图提取出来，作为一个亮度特征图组，参与到故障检测网络训练过程中，提高了光照特征的纯度，避免了光照特征与其它特征混杂，进而增强了神经网络对光照的抗性，使得训练得到的神经网络在不同光照条件下均可以得到高精度的故障识别，增强神经网络的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明的基于深度学习的铁路货车走行部的故障检测方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
具体地，以铁路货车走行部为例，对本发明提供的基于深度学习的铁路货车走行部的故障检测方法进行介绍，请参阅图1所示，包括以下步骤：
步骤1，构建故障检测网络,所述故障检测网络包括输入层、隐藏层和输出层；所述隐藏层包括分组卷积和自定义网络层；
利用训练数据集训练故障检测网络，得到训练后的故障检测网络。
本实施例中的故障检测网络为CNN网络，需要说明的是，CNN网络中的隐藏层包常卷积层、自定义网络层和分组卷积。
需要说明的是，分组卷积在神经网络中可以用于减少参数量，提高运算效率。分组卷积的训练方式与常规卷积并无太大不同，下面是简要步骤：
1.定义网络结构。在网络中定义分组卷积层，设置分组数和卷积核大小等参数。
在某些情况下，如每个输出与输入的一部分特征图相关联时，分组卷积可以取得比常规卷积更好的性能，如输出通道为2，它们分别只与输入的1，2和3，4通道相关，这时最好使用g＝2的分组卷积，相当于直接让模型将不相关的输入通道权重设置为零，加快模型收敛。
但对于需要考虑所有输入特征图信息的情况，分组卷积会降低模型的性能，对于这个问题，常常在两个分组卷积之间加入Channel_Shuffle模块打乱通道顺序，从而实现不同分组间的信息交换。
2.初始化网络参数。按照设定的参数，对网络中的权重及偏置进行初始化。
3.定义损失函数。选择合适的损失函数，如交叉熵或均方误差等。
4.训练网络。通过给网络输入训练数据集，对网络进行训练，在每一轮训练之后，根据损失函数计算误差，通过反向传播算法对网络中的参数进行调整，优化网络的权重和偏置，以提高网络的性能。
5.验证和测试网络。在训练过程中，使用验证集对网络进行验证和调参，并在训练完成后，使用测试集对网络进行测试。
上述中的自定义网络层是需要创建自定义网络层类，这个类继承自tf.keras.layers.Layer基类；这样建立的自定义类能够方便的利用Layer/Model基类提供的参数管理等功能，并能够处理构建复杂逻辑的网络模型。
其中,本实施例中的训练故障检测网络的具体过程为：
获取训练数据集和标签数据；其中，所述训练数据集为采集到的铁路货车走行部的图像数据；
在训练后的故障检测网络的输入层输入训练数据集，通过隐藏层的自定义网络层类对隐藏层的特征图进行处理，得到亮度特征图组和非亮度图特征图组，并进行分组卷积，且将标签数据作为输出层的输出，进行故障检测网络的训练。
上述中的训练数据集的获取是通过在铁路货车的走行部安装摄像头，对铁路货车走行部进行图像数据的采集，得到检测铁路货车走行部的图像数据；构成训练数据集。
上述中的标签数据为通过人工标注的方式，对铁路货车走行部的图像数据中的缺陷进行标注，其中有零件松动、缺失、破损或裂纹等的缺陷。
上述中的亮度特征图组的获取方式为：
获取图像数据的亮度图及三通道灰度图；所述三通道灰度图包括R通道灰度图、G通道灰度图和B通道灰度图；
分别获取三通道灰度图与亮度图的特征向量和特征值，进而分别获取亮度图相对于三通道灰度图的区分特征向量，得到区分极值序列；
获取隐藏层的特征图的特征向量和特征值，对特征图的特征向量进行分组，得到每个特征图的极值序列，将与区分极值序列相同的极值序列对应的特征图作为亮度特征图组，将在所有的亮度特征图组中出现率大于设定阈值的特征图作为最终的亮度特征图组，那么，剩余的其它特征图组为非亮度图特征图组。
本实施例中，将每个图像数据转换到HIS空间，提取其中的I通道，即亮度图；利用SVD分解获取亮度图和R、G、B通道灰度图的特征向量和特征值。
由于SVD是一种图像特征提取方法，其为现有技术，此处不再过多赘述。
进一步地，由于亮度图的计算公式是：(R+G+B)/3,即默认为三个通道对亮度的增益相同，但实际上不同通道对亮度的增益与走行部的反光特性和环境密切相关，并不是完全相同，反而可能相差较大。基于此，需要重建图像的变化特征得到不同通道对亮度的实际增益，对亮度图进行更新。
因此，在获取亮度图像的特征向量和特征值之前，还包括对亮度图像的更新的步骤，如下：
获取三通道灰度图中的任一通道灰度图与亮度图的差图像，进而得到三个差图像；
基于各差图像，获取每个差图像的特征向量和特征值；
对各差图像的特征值进行从大到小的排序，计算得到特征值的和与对应的所有特征值之和的比值，选取所述比值大于设定占比时的特征值及排序后面的特征值，得到三个特征值组合；
随机选取三个特征组组合中的任意特征值组成序列，确定序列中特征值之间的方差最小的的序列，对于其中一个差图像，基于最大的序列差图像对应的特征值，得到包含该特征值的前n个特征值，n大于等于1；
利用其中一个差值图像对应的前n个特征值，对该差图像进行重建，得到重建后的差图像，进而得到三个重建后的差图像；
计算各差图像的熵值的比值；
根据各差图像的熵值的比值，得到每个差图像对应的通道灰度图的光照增益；
根据所述光照增益以及三通道灰度图像得到更新后的图像数据，进而获取更新的亮度图。
需要说明的是，不同的差图像对应的n值是可能相同，也可能不同，具体是根据差图像的特征值的个数以及最大的序列差图像对应的特征值决定的。
上述中图像的熵值，即为图像的信息熵，是图像的熵是一种特征的统计形式，它反映了图像中平均信息量的多少，表示图像灰度分布的聚集特征，由于为现有技术，此处不再赘述。
具体地，对每个差图像通过SVD分解，得到特征向量和特征值，首先得到每个差图像的从大到小排列的特征值序列，计算得到特征值的和与对应的所有特征值之和的比值，当该比值大于设定占比时的特征值及排序后面的特征值，例如：I_R差图像的特征值序列为：[10 96 2],I_G差图形的特征值序列为：[16 8 7 5 1],I_B差图像的特征值序列为：[2015 1],大于设定占比0.9对于第一个序列来说是：特征值6及其之后的特征值2，对于第二个序列来说是：特征值5其之后的特征值1，对于第三个序列来说是特征值15及其之后的特征值1，那么得到后面的组合为：(6，2)，(5，1)，(15，1)，每个里面选一个得到的序列有8种，得到序列中特征值之间的方差最小的序列：(6，5，15)组合，因此对于I_R差图像用前三个特征值进行重建，I_G差图像用前四个特征值进行重建，I_B差图像用前两个特征值进行重建，得到重建后的差图像，计算差图像的熵值比值，即得到1:a:b，进行和值归一化，得到每个通道的光照增益，进而根据光照增益结合波段图像得到亮度图像。
需要说明的是，上述实施例中如果三个通道对亮度的增益相同，此时的亮度特征存在不准确的问题，因此亮度与不同通道的差分图像通过特征向量重建过程中，相同占比信息的特征向量的重建图像的信息量的比值与原图像的比值相同，差图像的特征向量表示差分图像的特征，例如：灰度分布特征、纹理特征等，特征值表示特征强度，由于每个特征值表示的强度不可拆分，因此通过计算差分图像的特征值强度一致性，进而在最大一致性条件下进行重建后的比值的计算，得到实际增益。
上述实施例中的区分极值序列的获取过程为：
通过KM匹配算法分别对亮度图的特征向量与三通道灰度图中特征向量进行匹配，得到各通道的匹配对；
计算匹配对中的亮度图的特征向量与匹配对中对应的通道灰度图的特征向量的余弦相似度；将余弦相似度大于设定值的匹配对保留；
统计保留后的匹配对中亮度图的每个特征向量对应的三通道灰度图的特征值，得到亮度图的各特征向量对应三通道灰度图的特征值三元组；
将亮度图中的每个特征向量的特征值与对应三通道灰度图的特征值三元组中的极值比较，当每个特值与极值的差异均大于设定差异值，则该亮度图的特征向量为区分特征向量，进而得到亮度图的所有区分特征向量；
将各区分特征向量的特征值与对应三通道灰度图的特征值三元组中的极值进行比较时，各区分特征向量的特征值为极大值或者极小值时，将对应的区分特征向量的特征值置1；反之，各区分特征向量的特征值为非极值，将对应的区分特征向量的特征值置0；最终得到所有区分特征向量的区分极值序列，所述区分极值序列由0和1构成。上述步骤中的设定值为0.7。
具体地，以R通道灰度图为例，首先计算亮度图的特征向量和R通道灰度图中的每个特征向量的余弦相似度；其次，以亮度图中的特征向量作为基础向量，进行亮度图中基础向量与不同灰度图中特征向量的匹配，通过KM匹配得到匹配对；然后，将匹配对中余弦相似度大于0.7的作为相同特征，保留这些匹配对；
然后通过相同方法可以计算得到每个基础向量与其它灰度图中的特征向量的匹配，进而得到每个基础向量的特征向量三元组，即每个基础向量对应一个特征向量三元组，进而可以得到三元组中每个特征向量对应特征值，分别计算基础向量的特征值与三元组中的特征值中的极值的差异，如果基础向量特征值与三元组特征值中的最大值或最小值的差异大于极值的0.5，则将基础向量作为区分特征向量。
具体地，设亮度图的基础向量的特征值为2，一个基础向量对应的特征向量三元组特征为：3.2 3.3 4，则特征值为2对应的基础向量作为区分特征向量；进而可以得到每个区分特征向量的极值序列，称之为区分极值序列。
上述的区分值序列是指：基础向量对应特征值与三元组最大的特征值比较仍为最大值的，标记为1，基础向量对应特征值与三元组最小的特征值比较仍为最小值的，标记为1，其余非极值时置0；例如：[0 1 1]，表示基础向量对应的特征值在第一个区分特征向量上是非极值，在第二个区分特征向量上是极小值，在第三个区分特征向量上是极大值。
需要说明的是，特征向量是一种特征的量化，例如：灰度分布、纹理分布信息，因此相近的特征向量往往表示的特征含义相同，特征值是对应特征向量的强度信息，因此首先通过特征向量相似度得到表示相同含义的特征，然后根据对应特征值的比较，得到差异特征，作为区分特征向量，在区分特征向量上亮度图与其它的相差较大。
上述实施例中，所述极值序列的获取过程为：
对隐藏层的各特征图进行SVD分解，得到各特征图的特征向量组，将特征向量组中的非区分特征向量删除，得到更新后的特征向量组；
计算任意两特征图中的特征向量的余弦相似度，将余弦相似度大于设定值的特征向量作为同列数据；其中的同列数据可以理解为：特征图A中的特征向量a1与特征图B中的特征向量b1为对应特征向量，则a1与b1是同列数据。
将同列数据的特征值按照从小到大的排序进行排列，通过otsu多阈值分割，得到不同分组的值类别，进而得到每个特征图的不同的同列数据中的值类别；
计算每个特征图的各同列数据中的值类别的表征值，将各同列数据中的不同值类别中表征值最大或者最小均置1，其余置0，进而获取每个特征图的极值序列。
上述步骤中，以某个隐藏层为例，首先对该隐藏层中每个特征图进行SVD分解，得到特征向量组，即所有特征向量形成的集合，每个特征图对应一个特征向量组，一个特征向量组包含多个特征向量，将特征向量组中的非区分特征向量删除，完成特征向量组的更新。
计算得到不同特征图中的相近特征向量(其中的相近特征向量的获取方法和上述的匹配对的获取方法相同)，作为同列数据；对于同列数据，首先得到对应的特征值序列，将序列按照从小到大的顺序进行排列，通过otsu多阈值分割，得到不同的值类别(值类别中所有的特征值的均值作为该类别的表征值)，进而得到了每个特征图在不同同列数据中的值类别(当类别对应表征值在同列数据中的所有值类别中为极值时，则标记为1，否则其余标记为0)，进而可以得到每个特征图在区分特征向量上的极值序列，将与区分极值序列相同的极值序列对应的特征图作为亮度特征图组。
需要说明的是，每个特征图对应多个特征向量，每个特征向量对应一个特征值，值类别是相同特征的强度的区分，例如：特征图A中的特征向量a1与特征图B中的特征向量b1与特征图C中的特征向量c1为同列数据，即表示相同特征，其中，a1特征值为10，b1特征值为4，c1特征值为1，那么该同列数据的表征值为所有的特征值的均值，为5。
需要说明的是，将区分特征向量作为识别网络中的每个隐藏层的特征图的聚类依据，得到多个类别，通过该方法得到的类别中，必然有一个类别是表示亮度特征的。
本实施例中，将在所有的亮度特征图组中出现率大于设定比值的特征图作为最终的亮度特征图组，其中的出现率是指：每个特征图在所有的亮度特征图组中的出现次数与亮度特征图组数量的比值。
需要说明的是，一个隐藏层一个亮度特征图组，多个隐藏层多个亮度特征图组，出现率大的特征图作为最终的亮度特征图组中的元素，出现率小的特征图舍弃。
步骤2，获取待检测铁路货车走行部的图像数据，利用训练后的故障检测网络进行待检测铁路货车走行部的图像数据的故障检测。
本实施例中，基于训练后的故障检测网络，将待检测铁路货车走行部的图像数据输入，输出故障检测结果，其中故障检测结果对应零件松动、缺失、破损或裂纹等故障，需要说明的是，具体利用网络进行故障检测为现有技术，此处不再过多赘述。
需要说明的是，本发明的方案侧重的不是如何实现故障识别的过程，而是在图像检测时，现有的神经网络无法适应不同光照条件下采集的图像数据，即不能准确识别，因此针对现有的问题，利用自定义网络层类以及分组卷积模块，将神经网络中表征光照的特征图提取出来，作为一个亮度特征图组，参与到神经网络训练过程中，提高了光照特征的纯度，避免了光照特征与其它特征混杂，进而增强了神经网络对光照的抗性，使得训练得到的神经网络在不同光照条件下均可以得到高精度的故障识别，增强神经网络的鲁棒性，提高了后续的具体故障识别的准确性。
本发明还提供了基于深度学习的铁路货车走行部的故障检测系统，包括处理器和存储器，所述处理器用于执行所述存储器存储的用于实现上述的基于深度学习的铁路货车走行部的故障检测方法的步骤。由于基于深度学习的铁路货车走行部的故障检测方法的实施例已经在上述方法实施例中进行了介绍，此处不再过多赘述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (7)
1.基于深度学习的铁路货车走行部的故障检测方法，其特征在于，包括以下步骤：
构建故障检测网络,所述故障检测网络包括输入层、隐藏层和输出层；所述隐藏层包括分组卷积和自定义网络层；
利用训练数据集训练故障检测网络，得到训练后的故障检测网络；
获取待检测铁路货车走行部的图像数据，利用训练后的故障检测网络进行待检测铁路货车走行部的图像数据的故障检测；
其中,训练故障检测网络的具体过程为：
获取训练数据集和标签数据；其中，所述训练数据集为采集到的铁路货车走行部的图像数据；
在训练后的故障检测网络的输入层输入训练数据集，通过隐藏层的自定义网络层对隐藏层的特征图进行处理，得到亮度特征图组和非亮度图特征图组，并进行分组卷积，且将标签数据作为输出层的输出，进行故障检测网络的训练；
其中，亮度特征图组的获取方式为：
获取图像数据的亮度图及三通道灰度图；所述三通道灰度图包括R通道灰度图、G通道灰度图和B通道灰度图；
分别获取三通道灰度图与亮度图的特征向量和特征值，进而分别获取亮度图相对于三通道灰度图的区分特征向量，得到区分极值序列；
获取隐藏层的特征图的特征向量和特征值，对特征图的特征向量进行分组，得到每个特征图的极值序列，将与区分极值序列相同的极值序列对应的特征图作为亮度特征图组，将在所有的亮度特征图组中出现率大于设定阈值的特征图作为最终的亮度特征图组。
2.根据权利要求1所述的基于深度学习的铁路货车走行部的故障检测方法，其特征在于，所述特征向量和特征值是分别对三通道灰度图、亮度图和特征图进行SVD分解得到的。
3.根据权利要求2所述的基于深度学习的铁路货车走行部的故障检测方法，其特征在于，在获取亮度图像的特征向量和特征值之前，还包括对亮度图像的更新的步骤，包括：
获取三通道灰度图中的任一通道灰度图与亮度图的差图像，进而得到三个差图像；
基于各差图像，获取每个差图像的特征向量和特征值；
对各差图像的特征值进行从大到小的排序，计算得到特征值的和与对应的所有特征值之和的比值，选取所述比值大于设定占比时的特征值及排序后面的特征值，得到三个特征值组合；
随机选取三个特征组组合中的任意特征值组成序列，确定序列中特征值之间的方差最小的的序列，对于其中一个差图像，基于最大的序列差图像对应的特征值，得到包含该特征值的前n个特征值，n大于等于1；
利用其中一个差值图像对应的前n个特征值，对该差图像进行重建，得到重建后的差图像，进而得到三个重建后的差图像；
计算各差图像的熵值的比值；
根据各差图像的熵值的比值，得到每个差图像对应的通道灰度图的光照增益；
根据所述光照增益以及三通道灰度图像得到更新后的图像数据，进而获取更新的亮度图。
4.根据权利要求1所述的基于深度学习的铁路货车走行部的故障检测方法，其特征在于，所述区分极值序列的获取过程为：
通过KM匹配算法分别对亮度图的特征向量与三通道灰度图中特征向量进行匹配，得到各通道的匹配对；
计算匹配对中的亮度图的特征向量与匹配对中对应的通道灰度图的特征向量的余弦相似度；将余弦相似度大于设定值的匹配对保留；
统计保留后的匹配对中亮度图的每个特征向量对应的三通道灰度图的特征值，得到亮度图的各特征向量对应三通道灰度图的特征值三元组；
将亮度图中的每个特征向量的特征值与对应三通道灰度图的特征值三元组中的极值比较，当每个特值与极值的差异均大于设定差异值，则该亮度图的特征向量为区分特征向量，进而得到亮度图的所有区分特征向量；
将各区分特征向量的特征值与对应三通道灰度图的特征值三元组中的极值进行比较时，各区分特征向量的特征值为极大值或者极小值时，将对应的区分特征向量的特征值置1；反之，各区分特征向量的特征值为非极值，将对应的区分特征向量的特征值置0；最终得到所有区分特征向量的区分极值序列，所述区分极值序列由0和1构成。
5.根据权利要求4所述的基于深度学习的铁路货车走行部的故障检测方法，其特征在于，
所述极值序列的获取过程为：
对隐藏层的各特征图进行SVD分解，得到各特征图的特征向量组，将特征向量组中的非区分特征向量删除，得到更新后的特征向量组；
计算任意两特征图中的特征向量的余弦相似度，将余弦相似度大于设定值的特征向量作为同列数据；
将同列数据的特征值按照从小到大的排序进行排列，通过otsu多阈值分割，得到不同分组的值类别，进而得到每个特征图的不同的同列数据中的值类别；
计算每个特征图的各同列数据中的值类别的表征值，将各同列数据中的不同值类别中表征值最大或者最小均置1，其余置0，进而获取每个特征图的极值序列。
6.根据权利要求1所述的基于深度学习的铁路货车走行部的故障检测方法，其特征在于，
所述出现率为每个特征图在所有的亮度特征图组中的出现次数与亮度特征图组总数量的比值。
7.基于深度学习的铁路货车走行部的故障检测系统，包括处理器和存储器，其特征在于，所述处理器用于执行所述存储器存储的用于实现如权利要求1-6中任一项所述的基于深度学习的铁路货车走行部的故障检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310453249.7A CN116310734B (zh) | 2023-04-25 | 2023-04-25 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310453249.7A CN116310734B (zh) | 2023-04-25 | 2023-04-25 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310734A true CN116310734A (zh) | 2023-06-23 |
| CN116310734B CN116310734B (zh) | 2023-12-15 |
Family
ID=86815178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310453249.7A Active CN116310734B (zh) | 2023-04-25 | 2023-04-25 | 基于深度学习的铁路货车走行部的故障检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310734B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100092093A1 (en) * | 2007-02-13 | 2010-04-15 | Olympus Corporation | Feature matching method |
| CN102867196A (zh) * | 2012-09-13 | 2013-01-09 | 武汉大学 | 基于Gist特征学习的复杂海面遥感影像舰船检测方法 |
| CN106951669A (zh) * | 2017-05-19 | 2017-07-14 | 北京航空航天大学 | 一种基于视觉认知的滚动轴承变工况故障诊断方法 |
| CN107255522A (zh) * | 2017-07-10 | 2017-10-17 | 国网信息通信产业集团有限公司 | 一种变压器故障诊断的方法及装置 |
| CN110097129A (zh) * | 2019-05-05 | 2019-08-06 | 西安电子科技大学 | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 |
| CN111652227A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车底部地板破损故障检测方法 |
| CN111695605A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于oct图像的图像识别方法、服务器及存储介质 |
| CN112346050A (zh) * | 2020-10-23 | 2021-02-09 | 清华大学 | 基于Wi-Fi设备的跌倒检测方法及系统 |
| CN113033576A (zh) * | 2019-12-25 | 2021-06-25 | 阿里巴巴集团控股有限公司 | 图像局部特征提取、模型训练方法、设备及存储介质 |
| US20210382120A1 (en) * | 2020-06-08 | 2021-12-09 | Wuhan University | Failure diagnosis method for power transformer winding based on gsmallat-nin-cnn network |
| CN114511583A (zh) * | 2021-12-21 | 2022-05-17 | 浙江大华技术股份有限公司 | 图像清晰度检测方法、装置、电子装置和存储介质 |
| CN114821333A (zh) * | 2022-05-16 | 2022-07-29 | 中国人民解放军61540部队 | 一种高分辨率遥感影像道路材质识别方法及装置 |
| CN115661872A (zh) * | 2022-10-21 | 2023-01-31 | 深圳市人工智能与机器人研究院 | 一种自然场景下鲁棒的手掌感兴趣区域定位方法 |
| US20230051436A1 (en) * | 2021-08-12 | 2023-02-16 | Talal Ali Ahmad | Systems and methods for evaluating health outcomes |
| CN115965915A (zh) * | 2022-11-01 | 2023-04-14 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统 |
-
2023
- 2023-04-25 CN CN202310453249.7A patent/CN116310734B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100092093A1 (en) * | 2007-02-13 | 2010-04-15 | Olympus Corporation | Feature matching method |
| CN102867196A (zh) * | 2012-09-13 | 2013-01-09 | 武汉大学 | 基于Gist特征学习的复杂海面遥感影像舰船检测方法 |
| CN106951669A (zh) * | 2017-05-19 | 2017-07-14 | 北京航空航天大学 | 一种基于视觉认知的滚动轴承变工况故障诊断方法 |
| CN107255522A (zh) * | 2017-07-10 | 2017-10-17 | 国网信息通信产业集团有限公司 | 一种变压器故障诊断的方法及装置 |
| CN110097129A (zh) * | 2019-05-05 | 2019-08-06 | 西安电子科技大学 | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 |
| CN113033576A (zh) * | 2019-12-25 | 2021-06-25 | 阿里巴巴集团控股有限公司 | 图像局部特征提取、模型训练方法、设备及存储介质 |
| CN111695605A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技（深圳）有限公司 | 基于oct图像的图像识别方法、服务器及存储介质 |
| CN111652227A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车底部地板破损故障检测方法 |
| US20210382120A1 (en) * | 2020-06-08 | 2021-12-09 | Wuhan University | Failure diagnosis method for power transformer winding based on gsmallat-nin-cnn network |
| CN112346050A (zh) * | 2020-10-23 | 2021-02-09 | 清华大学 | 基于Wi-Fi设备的跌倒检测方法及系统 |
| US20230051436A1 (en) * | 2021-08-12 | 2023-02-16 | Talal Ali Ahmad | Systems and methods for evaluating health outcomes |
| CN114511583A (zh) * | 2021-12-21 | 2022-05-17 | 浙江大华技术股份有限公司 | 图像清晰度检测方法、装置、电子装置和存储介质 |
| CN114821333A (zh) * | 2022-05-16 | 2022-07-29 | 中国人民解放军61540部队 | 一种高分辨率遥感影像道路材质识别方法及装置 |
| CN115661872A (zh) * | 2022-10-21 | 2023-01-31 | 深圳市人工智能与机器人研究院 | 一种自然场景下鲁棒的手掌感兴趣区域定位方法 |
| CN115965915A (zh) * | 2022-11-01 | 2023-04-14 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统 |
Non-Patent Citations (4)
| Title |
|---|
| PENGPENG PI等: "Gray level co-occurrence matrix and extreme learning machine for Covid-19 diagnosis", 《INTERNATIONAL JOURNAL OF COGNITIVE COMPUTING IN ENGINEERING》, vol. 2, pages 93 - 103 * |
| 王学成: "基于无人机巡检的高铁接触网悬式绝缘子异物侵入识别研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 2, pages 033 - 290 * |
| 陈剑等: "基于直方图均衡化和卷积神经网络的轴承故障诊断方法", 《计量学报》, vol. 43, no. 7, pages 907 - 912 * |
| 项胤: "基于图像处理的夜间雾天交通路标牌检测识别技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, pages 035 - 971 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310734B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021134871A1 (zh) | 基于局部二值模式和深度学习的合成人脸图像取证方法 | |
| CN108492272B (zh) | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN111986125B (zh) | 一种用于多目标任务实例分割的方法 | |
| CN110909760B (zh) | 一种基于卷积神经网络的图像开放集识别方法 | |
| CN109684922A (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN110349170B (zh) | 一种全连接crf级联fcn和k均值脑肿瘤分割算法 | |
| CN114048468A (zh) | 入侵检测的方法、入侵检测模型训练的方法、装置及介质 | |
| CN115131580B (zh) | 基于注意力机制的空间目标小样本识别方法 | |
| CN108615401B (zh) | 基于深度学习的室内非均匀光线车位状况识别方法 | |
| CN111652846B (zh) | 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法 | |
| CN112329716A (zh) | 一种基于步态特征的行人年龄段识别方法 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN116468935A (zh) | 一种基于多核卷积网络的交通标志阶梯式分类识别方法 | |
| CN111144462A (zh) | 一种雷达信号的未知个体识别方法及装置 | |
| CN117237683B (zh) | 基于改进神经网络的芯片缺陷智慧检测系统 | |
| CN117611599B (zh) | 融合中心线图和增强对比度网络的血管分割方法及其系统 | |
| CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
| CN116310734B (zh) | 基于深度学习的铁路货车走行部的故障检测方法及系统 | |
| CN116309465B (zh) | 一种基于改进的YOLOv5的自然环境下舌像检测定位方法 | |
| CN109190451B (zh) | 基于lfp特征的遥感图像车辆检测方法 | |
| CN111291651A (zh) | 用于遥感场景分类的多任务神经网络框架及分类方法 | |
| CN113988120A (zh) | 一种基于双图网络的小样本轴承故障诊断方法 | |
| CN105844296B (zh) | 基于cdcp局部描述子的遥感图像场景分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 710000 room 11302, building a, national digital publishing base, No. 996, Tiangu seventh Road, high tech Zone, Xi'an, Shaanxi Province Applicant after: Huitie Technology Co.,Ltd. Address before: 710000 room 11302, building a, national digital publishing base, No. 996, Tiangu seventh Road, high tech Zone, Xi'an, Shaanxi Province Applicant before: Huitie Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |