CN116486134A - 基于深度神经网络的列车制动软管挂钩脱出故障检测方法 - Google Patents
基于深度神经网络的列车制动软管挂钩脱出故障检测方法 Download PDFInfo
- Publication number
- CN116486134A CN116486134A CN202310191545.4A CN202310191545A CN116486134A CN 116486134 A CN116486134 A CN 116486134A CN 202310191545 A CN202310191545 A CN 202310191545A CN 116486134 A CN116486134 A CN 116486134A
- Authority
- CN
- China
- Prior art keywords
- brake hose
- train brake
- neural network
- network
- hose hook
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 15
- 230000003321 amplification Effects 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 6
- 239000010410 layer Substances 0.000 description 35
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
基于深度神经网络的列车制动软管挂钩脱出故障检测方法，属于铁路列车制动软管故障检测技术领域。本发明针对现有目标检测网络关注大中型目标，用于小尺寸的列车制动软管挂钩脱出故障检测时特征提取能力差的问题。包括建立列车制动软管挂钩的样本数据集，并对样本数据中的挂钩进行类别标注，同时对样本数据配置列车制动软管挂钩标签；采用样本数据对改进Faster‑RCNN网络进行训练，获得列车制动软管挂钩检测网络；采集列车制动软管图像并进行预处理获得待检测图像，输入制动软管挂钩检测网络进行检测，获得目标的定位和分类检测结果；若目标的分类检测结果为列车制动软管挂钩，则确定发生列车制动软管挂钩脱出故障。本发明用于检测列车制动软管挂钩脱出。
Description
技术领域
本发明涉及基于深度神经网络的列车制动软管挂钩脱出故障检测方法，属于铁路列车制动软管故障检测技术领域。
背景技术
随着深度神经网络技术的发展和日益增长的工业需求，目标检测越来越受到人们的重视，并取得了显著的成绩。目标检测的主要目标是精确的识别出感兴趣物体的类别，以及定位出其在图像中具体位置。由于Faster-RCNN提取到的特征图是单层的，分辨率也比较小，所以在一些多尺度、小目标的问题上，检测效果表现不佳。
列车制动软管挂钩属于较小的部件，在列车安全检测中，列车制动软管挂钩脱出故障检测是一个研究难点。现有的目标检测网络主要关注大中型目标，若采用同样的检测网络对制动软管挂钩脱出故障进行检测，由于列车制动软管挂钩的尺寸相对较小，经过神经网络的下采样处理后，像素数目越来越少，导致提取的目标特征不明显，检测器的检测效果差。
发明内容
针对现有目标检测网络关注大中型目标，用于小尺寸的列车制动软管挂钩脱出故障检测时特征提取能力差的问题，本发明提供一种基于深度神经网络的列车制动软管挂钩脱出故障检测方法。
本发明的一种基于深度神经网络的列车制动软管挂钩脱出故障检测方法，包括，
步骤一：建立列车制动软管挂钩的样本数据集，并对样本数据中的挂钩进行类别标注，同时对样本数据配置列车制动软管挂钩标签；
步骤二：采用样本数据对改进Faster-RCNN网络进行训练，获得列车制动软管挂钩检测网络；
步骤三：采集列车制动软管图像并进行预处理，获得待检测图像；将待检测图像输入制动软管挂钩检测网络进行检测，获得目标的定位和分类检测结果；若目标的分类检测结果为列车制动软管挂钩，则确定发生列车制动软管挂钩脱出故障；
步骤二中所述改进Faster-RCNN网络包括特征融合模块、自动融合模块、区域侯选网络头和自动头模块；所述特征融合模块中将现有Faster-RCNN网络的ROI Pooling池化方法替换为ROI Align池化方法；
样本数据通过所述特征融合模块提取一级特征图；自动融合模块通过神经网络架构搜索的方式确定网络连接方式，并基于一级特征图进行分层融合获得融合了不同分辨率与不同语义强度的二级特征图；二级特征图通过区域侯选网络头获得二级特征图的目标侯选框；自动头模块通过神经网络架构搜索的方式对头网络进行搜索得到分类和回归网络，分类和回归网络对目标侯选框进行分类和修正，得到最终的目标定位和分类结果；
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，所述特征融合模块包括13个卷积层、13个激活层和4个池化层，池化层采用ROI Align池化方法。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，自动融合模块的搜索空间覆盖所有的连接方式，将不同大小的空洞卷积加入到搜索空间中；自动融合模块中设置跨层连接；自动融合模块通过通道掩码和分辨率子采样策略提升搜索性能。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，在自动融合模块中，每个分辨率的特征图与相邻层其它分辨率特征图的缩放两倍的特征图分别做张量相加的操作。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，自动头模块的神经网络架构搜索的方式具备针对输入数据集找到最优神经架构的功能。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，自动头模块包括M个神经元，M为卷积层输出特征图的通道数；每个神经元包括7个节点，每个神经元的两个输入为相邻前两个神经元的输出。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，自动融合模块和自动头模块的神经网络架构搜索方式为可微分的搜索方式。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，所述样本数据的获得方法为：
采用铁路动车轨道周围搭设的高清成像设备收集列车图像，由列车图像截取设定尺寸的列车制动软管图像，对列车制动软管图像进行图像扩增，得到列车制动软管挂钩的样本数据。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，所述图像扩增包括对列车制动软管图像进行旋转、裁剪以及加噪操作。
根据本发明的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，所述样本数据采用labelImg标注软件进行类别标注。
本发明的有益效果：
1、本发明方法为提高Faster-RCNN对制动软管挂钩的检测能力，对Faster-RCNN目标检测算法进行改进，设计了针对骨干特征的自动融合操作(Auto-fusion)；通过自动融合模块使得不同尺度的特征图能做融合，提高了Faster-RCNN的底层语义表达能力，增强了Faster-RCNN的特征提取能力，进而提高了对制动软管挂钩的检测能力。
2、本发明方法设计了自动头模块(Auto-head)结构，它通过搜索得到一个CNN结构，用于检测网络的分类和回归；提高了改进Faster-RCNN对制动软管挂钩的检测能力。
3、使用RoI Align池化方法提高Faster-RCNN的精度。
本发明方法提高了对列车制动软管挂钩的检测能力，这将有助于目标检测技术在列车安全检测领域中的应用，进一步提高目标检测技术的实际应用价值。
附图说明
图1是本发明所述基于深度神经网络的列车制动软管挂钩脱出故障检测方法的网络架构图；
图2是现有Faster-RCNN网络的架构图；图中Reshape为重构模块，Softmax为分类模块，Proposal为预选框生成模块，ROIPooling为ROI池化层；Bbox_pred为检测框模块；im_info表示预知的图像缩放比例；
图3是采用现有Faster-RCNN网络进行列车制动软管挂钩检测的挂钩漏检结果示意图；图3为电脑截图，图中英文字符不影响图片的表达，可忽略；
图4是自动融合模块的示意图；
图5是自动融合模块中某一层的自动融合示意图；
图6是自动头模块的示意图；
图7是采用本发明方法进行列车制动软管挂钩检测的结果示意图；图7为电脑截图，图中数字或英文字符不影响图片的表达，可忽略。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1所示，本发明提供了一种基于深度神经网络的列车制动软管挂钩脱出故障检测方法，包括，
步骤一：建立列车制动软管挂钩的样本数据集，并对样本数据中的挂钩进行类别标注，同时对样本数据配置列车制动软管挂钩标签；
步骤二：采用样本数据对改进Faster-RCNN网络进行训练，获得列车制动软管挂钩检测网络；
步骤三：采集列车制动软管图像并进行预处理，获得待检测图像；将待检测图像输入制动软管挂钩检测网络进行检测，获得目标的定位和分类检测结果；若目标的分类检测结果为列车制动软管挂钩，则确定发生列车制动软管挂钩脱出故障；
步骤二中所述改进Faster-RCNN网络包括特征融合模块、自动融合模块、区域侯选网络头和自动头模块；所述特征融合模块中将现有Faster-RCNN网络的ROI Pooling池化方法替换为ROI Align池化方法；
样本数据通过所述特征融合模块提取一级特征图；自动融合模块通过神经网络架构搜索的方式确定网络连接方式，并基于一级特征图进行分层融合获得融合了不同分辨率与不同语义强度的二级特征图；二级特征图通过区域侯选网络头获得二级特征图的目标侯选框；自动头模块通过神经网络架构搜索的方式对头网络进行搜索得到分类和回归网络，分类和回归网络对目标侯选框进行分类和修正，得到最终的目标定位和分类结果；
本实施方式针对目前列车制动软管挂钩脱出故障检测结果不可靠的问题提出，对Faster-RCNN目标检测算法进行改进，设计了针对骨干网络的特征先做自动融合操作(Auto-fusion)、对head(头)网络使用结构搜索技术(NAS)得到一个网络用于分类和回归的结构。自动融合模块使得不同尺度的特征图能做融合，提高Faster-RCNN的语义表达能力，增强Faster-RCNN的特征提取能力；Auto-head操作得到的网络用于分类和回归；最终完成目标检测任务。
采用本实施方式提出的方法对列车制动软管挂钩脱出故障进行检测，检测能力大大增强，并且准确率得到提高。
结合图2所示，现有Faster-RCNN网络使用VGG16图像分类模型提取图片特征(feature map)。将图像特征输入区域候选网络RPN(Region Proposal Network)得到proposals(候选框)。再将得到的图像特征和候选框输入区域特征聚集池化层得到综合的候选框特征，最后根据候选框特征预测物体的边界框和物体的类别。
然而，Faster-RCNN基准网络提取到的特征图都是单层的，分辨率也比较小。因此对于那些多尺度、小目标的问题，不能妥善解决；采用的原始感兴趣区域池化(RoIpooling)两次取整又会带来精度的丢失，因此Faster-RCNN的精度仍有提升空间。图3展示了Faster-RCNN目标检测网络的检测效果，可以看到现有Faster-RCNN网络对列车制动软管挂钩的漏检。
于是，本申请为提高Faster-RCNN的检测精度，实现对列车制动软管挂钩脱出故障的检测，使用自动融合模块、自动头模块及RoI Align改进Faster-RCNN。本实现方式在现有Faster-RCNN主干网络之后使用自动融合模块、自动头模块进行特征融合及使用搜索网络用于分类和回归，使用区域特征聚集方式池化(RoI Align)，可提高对制动软管挂钩的检测能力，提高检测的精度。
改进后的Faster-RCNN网络结构如图1所示，cell(神经元)作为模型结构搜索的基础单元，图中P×Q为原始列车图像的尺寸，L layers表示L层。
结合图1所示，所述特征融合模块包括13个卷积层、13个激活层和4个池化层，池化层采用ROI Align池化方法。
结合图4所示，自动融合模块的搜索空间覆盖所有的连接方式，将不同大小的空洞卷积加入到搜索空间中；自动融合模块中设置跨层连接；自动融合模块通过通道掩码和分辨率子采样策略提升搜索性能。
在自动融合模块中，每个分辨率的特征图与相邻层其它分辨率特征图的缩放两倍的特征图分别做张量相加的操作。
本实施方式中，自动融合模块通过神经网络架构搜索来使算法自动找到不同层之间最合适的连接方式。神经网络架构搜索是一种自动化学习网络结构的方法，用于减少繁重的网络设计成本。自动融合模块采用搜索空间覆盖所有的连接方式，将不同大小的空洞卷积加入到了搜索空间中去，具体如图4所示，可在现有的单网络上修改获得。自动融合模块的连接方式使每一层预测所用的特征图都融合了不同的分辨率、不同语义强度的特征，融合的不同分辨率的特征图分别做对应分辨率大小的物体检测，这样保证了每一层都有合适的分辨率以及强语义特征；同时，本发明方法在原网络基础上增加了额外的跨层连接。
设定主干网络提取的4个特征图用P1 0，P2 0，P3 0，P4 0表示，P4 0表示第0层的第4个特征图，其高宽均为原图的四分之一。那么如果自动融合模块结构一共有L层，则第l层的特征图可表示为第l-1层的i节点到第l层的j节点的计算节点/>可表示为：
其中k为计算节点执行的步数，α表示连续模型结构编码，ON表示有向非循环图的操作，θ表示一组候选操作集合，N表示有序节点组成的有向非循环图。自动融合某一层的示意图如图5所示，因为要使不同尺度的特征图都能做融合操作，首先会用conv 1*1的操作，而后再计算不同计算节点的权重。
区域候选网络头(RPNHead)主要由一个256通道的3x3卷积与两个独立的分别用于前景分类与目标框偏差回归的1x1卷积组成。3×3的卷积用于提取特征；2个1×1的卷积用于分类器，分别预测Anchor的类别(类别是前景和背景)与回归系数(Bbox的边框)。
RPNHead输出的预测结果结合AnchorGenerator(锚框生成器)生成的Anchor(锚框)生成候选区域，筛选候选区域后得到RPN输出。
进一步，自动头模块的神经网络架构搜索的方式具备针对输入数据集找到最优神经架构的功能。
结合图6所示，自动头模块包括M个神经元，M等于卷积层输出特征图的通道数(即卷积核的个数)，每个神经元包括7个节点，对应图6中Hm-2到Hm，每个神经元的两个输入为相邻前两个神经元的输出；下一层神经元可以连接到前一层的所有神经元，每个连接有其自身的权重，在开始时通常为一个随机数。
再进一步，自动融合模块和自动头模块的神经网络架构搜索方式为可微分的搜索方式。
自动头模块通过神经网络架构搜索对头(Head)网络进行搜索得到一个卷积神经网络结构，将数据集输入自动头模块中，它就能针对该数据集找到最适合的神经架构，进而对上层得到的预选框进行修正和分类，得到最优的分类和回归结果。
在搜索方法上，自动融合模块和自动头模块都采用了可微分的搜索方式(Differentiable NAS)，由于这种方式的特征图都存在GPU上，显存的限制就使得这种搜索方法的搜索空间要小；搜索代价会随着选择增加而线性增长。增加一个新的搜索维度，搜索代价会大幅度增长，制约了搜索空间容量。为了提升搜索性能，可以使用通道掩码和分辨率子采样策略改进自动融合模块、自动头的网络搜索方式，减少搜索通道时间的计算量，构造通道掩码机制，把不同通道的最终输出表征为与一个掩码相乘的形式。掩码乘法使用权重共享近似，可加快通道搜索速度。分辨率子采样是指网络的中间输出特征映射X，使用最近邻从X进行子采样，再将采样的像素处的值组合为特征映射，经网络传递、聚合产生更大的特征映射，通过该搜索方式在几乎不引入显存和计算量代价的情况下，增大了网络的搜索空间。
自动头模块(Aoto-Head)对输入侯选框处理的过程：
自动头模块通过对Head网络搜索得到一个网络用于分类和回归，进行最终的Anchor(侯选框)的分类和修正，候选框进入Auto-Head模块后，经过搜索得到的分类、回归网络，得到最终的分类和定位，并输出结果。
自动融合模块(Auto-fusion)是对RPN的搜索，是为了利用不同层特征进行融合，以取得更好的结果。
现有Faster-RCNN中使用感兴趣区域池化方式进行池化，将候选框边界量化为整数点坐标值，再将量化后的边界区域平均分割成k个单元(bin)；对每一个单元边界的两次池化量化过程会造成区域不匹配问题，影响模型的检测准确性。本实施方式采用感兴趣区域聚合池化方式(ROI Align)遍历每一个候选区域，保持浮点数边界不做量化而将候选区域分割成k个单元，每个单元的边界也不做量化，在每个单元中计算固定的四个坐标位置，用双线性内插的方法计算出四个位置的值，然后进行最大池化操作。取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，进而提升检测的准确性。
所述样本数据的获得方法为：
采用铁路动车轨道周围搭设的高清成像设备收集列车图像，由列车图像截取设定尺寸的列车制动软管图像，对列车制动软管图像进行图像扩增，得到列车制动软管挂钩的样本数据。
作为示例，所述图像扩增包括对列车制动软管图像进行旋转、裁剪以及加噪操作，数据扩增操作能够使后续检测网络的泛化能力增强，降低网络过拟合的概率。
作为示例，所述样本数据采用labelImg标注软件进行类别标注，数据集标签只包括一类，为列车制动软管挂钩。
实验验证：
在现有Faster-RCNN算法的基础上，通过对目标检测任务的分析，发现Faster-RCNN算法对列车制动软管挂钩这种小的零部件的检测效果不佳，这是Faster-RCNN对底层的特征提取能力不佳导致的，因此提升Faster-RCNN的底层特征提取能力，可以使检测结果更准确。在检测网络的基础上，本实施方式设计了使用Auto-fusion、Auto-head结构进行特征融合及搜索网络用于分类和回归，使用RoI Align进行区域特征聚集，以提高对制动软管挂钩的检测能力，提高检测的精度，进而提高了列车制动软管挂钩脱出检测的精度。经实验验证表明，本发明方法改进的Faster-RCNN算法提高了对列车制动软管挂钩脱出检测的效果。训练后，检测结果如图7所示，经与图3进行对比，本发明方法对列车制动软管挂钩脱出识别效果得到明显增强。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。
Claims (10)
1.一种基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于包括，
步骤一：建立列车制动软管挂钩的样本数据集，并对样本数据中的挂钩进行类别标注，同时对样本数据配置列车制动软管挂钩标签；
步骤二：采用样本数据对改进Faster-RCNN网络进行训练，获得列车制动软管挂钩检测网络；
步骤三：采集列车制动软管图像并进行预处理，获得待检测图像；将待检测图像输入制动软管挂钩检测网络进行检测，获得目标的定位和分类检测结果；若目标的分类检测结果为列车制动软管挂钩，则确定发生列车制动软管挂钩脱出故障；
步骤二中所述改进Faster-RCNN网络包括特征融合模块、自动融合模块、区域侯选网络头和自动头模块；所述特征融合模块中将现有Faster-RCNN网络的ROI Pooling池化方法替换为ROIAlign池化方法；
样本数据通过所述特征融合模块提取一级特征图；自动融合模块通过神经网络架构搜索的方式确定网络连接方式，并基于一级特征图进行分层融合获得融合了不同分辨率与不同语义强度的二级特征图；二级特征图通过区域侯选网络头获得二级特征图的目标侯选框；自动头模块通过神经网络架构搜索的方式对头网络进行搜索得到分类和回归网络，分类和回归网络对目标侯选框进行分类和修正，得到最终的目标定位和分类结果。
2.根据权利要求1所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，
所述特征融合模块包括13个卷积层、13个激活层和4个池化层，池化层采用ROIAlign池化方法。
3.根据权利要求1所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，自动融合模块的搜索空间覆盖所有的连接方式，将不同大小的空洞卷积加入到搜索空间中；自动融合模块中设置跨层连接；自动融合模块通过通道掩码和分辨率子采样策略提升搜索性能。
4.根据权利要求3所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，在自动融合模块中，每个分辨率的特征图与相邻层其它分辨率特征图的缩放两倍的特征图分别做张量相加的操作。
5.根据权利要求4所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，自动头模块的神经网络架构搜索的方式具备针对输入数据集找到最优神经架构的功能。
6.根据权利要求5所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，自动头模块包括M个神经元，M为卷积层输出特征图的通道数；每个神经元包括7个节点，每个神经元的两个输入为相邻前两个神经元的输出。
7.根据权利要求6所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，自动融合模块和自动头模块的神经网络架构搜索方式为可微分的搜索方式。
8.根据权利要求7所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，
所述样本数据的获得方法为：
采用铁路动车轨道周围搭设的高清成像设备收集列车图像，由列车图像截取设定尺寸的列车制动软管图像，对列车制动软管图像进行图像扩增，得到列车制动软管挂钩的样本数据。
9.根据权利要求8所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，所述图像扩增包括对列车制动软管图像进行旋转、裁剪以及加噪操作。
10.根据权利要求9所述的基于深度神经网络的列车制动软管挂钩脱出故障检测方法，其特征在于，所述样本数据采用labelImg标注软件进行类别标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310191545.4A CN116486134A (zh) | 2023-03-02 | 2023-03-02 | 基于深度神经网络的列车制动软管挂钩脱出故障检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310191545.4A CN116486134A (zh) | 2023-03-02 | 2023-03-02 | 基于深度神经网络的列车制动软管挂钩脱出故障检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116486134A true CN116486134A (zh) | 2023-07-25 |
Family
ID=87223963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310191545.4A Pending CN116486134A (zh) | 2023-03-02 | 2023-03-02 | 基于深度神经网络的列车制动软管挂钩脱出故障检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486134A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233088A (zh) * | 2020-10-14 | 2021-01-15 | 哈尔滨市科佳通用机电股份有限公司 | 基于改进的Faster-rcnn的制动软管丢失检测方法 |
| CN112906534A (zh) * | 2021-02-07 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法 |
| PH12021551366A1 (en) * | 2020-12-31 | 2021-12-13 | Sensetime Int Pte Ltd | Methods, devices, apparatuses and storage media of detecting correlated objects involved in images |
| CN114424253A (zh) * | 2019-11-08 | 2022-04-29 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| CN115471468A (zh) * | 2022-09-05 | 2022-12-13 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度神经网络的列车小零部件检测方法 |
-
2023
- 2023-03-02 CN CN202310191545.4A patent/CN116486134A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114424253A (zh) * | 2019-11-08 | 2022-04-29 | 深圳市欢太科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| CN112233088A (zh) * | 2020-10-14 | 2021-01-15 | 哈尔滨市科佳通用机电股份有限公司 | 基于改进的Faster-rcnn的制动软管丢失检测方法 |
| PH12021551366A1 (en) * | 2020-12-31 | 2021-12-13 | Sensetime Int Pte Ltd | Methods, devices, apparatuses and storage media of detecting correlated objects involved in images |
| CN112906534A (zh) * | 2021-02-07 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法 |
| CN115471468A (zh) * | 2022-09-05 | 2022-12-13 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度神经网络的列车小零部件检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| HANG XU 等: "Auto-FPN: Automatic Network Architecture Adaptation for Object Detection Beyond Classification", 《ICCV》, pages 6649 - 6658 * |
| RUI LIU 等: "An Improved Faster-RCNN Algorithm for Object Detection in Remote Sensing Images", 《CHINESE CONTROL CONFERENCE》, pages 7188 - 7192 * |
| 朱德伟: "基于深度学习的钢轨扣件状态检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 02, pages 033 - 217 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
| CN112395957B (zh) | 一种针对视频目标检测的在线学习方法 | |
| CN111368769A (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| CN111353544B (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
| CN110659550A (zh) | 交通标志牌识别方法、装置、计算机设备和存储介质 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN113111727A (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| CN113139896A (zh) | 基于超分辨重建的目标检测系统及方法 | |
| CN117037004B (zh) | 基于多尺度特征融合和上下文增强的无人机影像检测方法 | |
| Bai et al. | A survey on deep learning-based single image crowd counting: Network design, loss function and supervisory signal | |
| CN115620141A (zh) | 一种基于加权可变形卷积目标检测方法和装置 | |
| CN115409789A (zh) | 基于图像语义分割的输电线路工程缺陷检测方法 | |
| Dahirou et al. | Motion Detection and Object Detection: Yolo (You Only Look Once) | |
| CN117612136A (zh) | 一种基于增量小样本学习的自动驾驶目标检测方法 | |
| CN112712066A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN115661828B (zh) | 一种基于动态分层嵌套残差网络的文字方向识别方法 | |
| CN114972434B (zh) | 一种级联检测和匹配的端到端多目标跟踪系统 | |
| Paramanandam et al. | A review on deep learning techniques for saliency detection | |
| CN113269171B (zh) | 车道线检测方法、电子设备及车辆 | |
| CN114913504A (zh) | 一种融合自注意力机制的遥感图像的车辆目标识别方法 | |
| CN115578364A (zh) | 基于混合注意力与调和因子的微弱目标检测方法及系统 | |
| CN116486134A (zh) | 基于深度神经网络的列车制动软管挂钩脱出故障检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |