CN116524293B - 基于深度学习的闸调器拉杆头丢失故障识别方法及系统 - Google Patents

基于深度学习的闸调器拉杆头丢失故障识别方法及系统 Download PDF

Info

Publication number
CN116524293B
CN116524293B CN202310373151.0A CN202310373151A CN116524293B CN 116524293 B CN116524293 B CN 116524293B CN 202310373151 A CN202310373151 A CN 202310373151A CN 116524293 B CN116524293 B CN 116524293B
Authority
CN
China
Prior art keywords
feature map
feature
pull rod
generated
rod head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310373151.0A
Other languages
English (en)
Other versions
CN116524293A (zh
Inventor
郭庆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202310373151.0A priority Critical patent/CN116524293B/zh
Publication of CN116524293A publication Critical patent/CN116524293A/zh
Application granted granted Critical
Publication of CN116524293B publication Critical patent/CN116524293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统，涉及图像处理技术领域，针对现有技术中闸调器拉杆头丢失故障识别准确率低的问题，本申请将PANet和RFP网络进行结合，提出一种新的FPN‑A网络，使得特征图中增加了更加丰富的特征信息，进而提升了闸调器拉杆头丢失故障识别的准确率。

Description

基于深度学习的闸调器拉杆头丢失故障识别方法及系统
技术领域
本发明涉及图像处理技术领域，具体为基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统。
背景技术
DAB闸调器拉杆头丢失故障是一种危及行车安全的故障，在DAB闸调器拉杆头丢失故障检测中，采用人工检查图像的方式进行故障检测。采用图像自动识别的方式可提高检测效率和稳定性。近几年，深度学习与人工智能不断发展，在技术上不断成熟。采用深度学习进行DAB闸调器拉杆头丢失故障识别，可以有效提高检测准确率。但由于DAB闸调器图像背景较为杂乱，相似部位较多，采用传统的Cascade-rcnn深度学习网络进行故障检测的准确程度较低。
发明内容
本发明的目的是：针对现有技术中闸调器拉杆头丢失故障识别准确率低的问题，提出基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统。
本发明为了解决上述技术问题采取的技术方案是：
基于深度学习的闸调器拉杆头丢失故障图像识别方法，包括以下步骤：
步骤一：获取DAB闸调器拉杆头区域图像；
步骤二：将DAB闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；
步骤三：对数据集进行数据扩增；
步骤四：利用数据扩增后的数据集训练DAB闸调器拉杆头丢失检测网络；
步骤五：利用训练好的DAB闸调器拉杆头丢失检测网络对待识别图像进行识别；
DAB闸调器拉杆头丢失检测网络为改进的Cascade-rcnn网络，改进的Cascade-rcnn网络通过ResNet50残差网络进行卷积，改进的Cascade-rcnn网络具体执行如下步骤：
输入图像首先经过Conv1进行特征提取，然后通过3×3最大池化，生成特征图；
Conv1生成的特征图输入Conv2中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2生成的特征图输入Conv3中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv3生成的特征图输入Conv4中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv4生成的特征图输入Conv5中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2、Conv3、Conv4和Conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；
Conv2生成的特征图作为特征图A；
特征图A经过下采样后与Conv3生成的特征图进行融合，作为特征图B；
特征图B经过下采样后与Conv4生成的特征图进行融合，作为特征图C；
特征图C经过下采样后与Conv5生成的特征图进行融合，作为特征图D；
特征图D经过上采样后与特征图C融合，作为特征图CC；
特征图CC经过上采样后与特征图B融合，作为特征图BB；
特征图BB经过上采样后与特征图A融合，作为特征图AA；
将特征图BB、特征图CC以及特征图D输入主干网络，作为公共特征图；
将特征图AA经过下采样后与特征图BB融合，作为特征图BBB；
将特征图BBB经过下采样后与特征图CC融合，作为特征图CCC；
将特征图CCC经过下采样后与特征图DD融合，作为特征图DDD；
将特征图AA、特征图BBB、特征图CCC以及特征图DDD进行ROI池化后输出类别和位置，即为检测结果。
进一步的，ResNet50残差网络的激活函数为ELU，表示为：
激活函数ELU表示为：
其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数。
进一步的，改进的Cascade-rcnn网络的损失函数为DIoU Loss，表示为：
其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离。
进一步的，数据扩增包括：平移、缩放、亮度调整。
进一步的，DAB闸调器拉杆头区域图像为灰度图像。
基于深度学习的闸调器拉杆头丢失故障图像识别系统，包括：数据获取模块、数据扩增模块以及检测模块；
数据获取模块用于获取DAB闸调器拉杆头区域图像，并将DAB闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；
数据扩增模块用于对数据集进行数据扩增；
检测模块用于利用数据扩增后的数据集训练DAB闸调器拉杆头丢失检测网络，并利用训练好的DAB闸调器拉杆头丢失检测网络对待识别图像进行识别；
DAB闸调器拉杆头丢失检测网络为改进的Cascade-rcnn网络，改进的Cascade-rcnn网络通过ResNet50残差网络进行卷积，改进的Cascade-rcnn网络具体执行如下步骤：
输入图像首先经过Conv1进行特征提取，然后通过3×3最大池化，生成特征图，Conv1-Conv5的卷积核为7×7，滑动步长为2，填充为3，输出通道数为64；
Conv1生成的特征图输入Conv2中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2生成的特征图输入Conv3中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv3生成的特征图输入Conv4中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv4生成的特征图输入Conv5中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2、Conv3、Conv4和Conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；
Conv2生成的特征图作为特征图A；
特征图A经过下采样后与Conv3生成的特征图进行融合，作为特征图B；
特征图B经过下采样后与Conv4生成的特征图进行融合，作为特征图C；
特征图C经过下采样后与Conv5生成的特征图进行融合，作为特征图D；
特征图D经过上采样后与特征图C融合，作为特征图CC；
特征图CC经过上采样后与特征图B融合，作为特征图BB；
特征图BB经过上采样后与特征图A融合，作为特征图AA；
将特征图BB、特征图CC以及特征图D输入主干网络，作为公共特征图；
将特征图AA经过下采样后与特征图BB融合，作为特征图BBB；
将特征图BBB经过下采样后与特征图CC融合，作为特征图CCC；
将特征图CCC经过下采样后与特征图DD融合，作为特征图DDD；
将特征图AA、特征图BBB、特征图CCC以及特征图DDD进行ROI池化后输出类别和位置，即为检测结果。
进一步的，ResNet50残差网络的激活函数为ELU，表示为：
激活函数ELU表示为：
其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数。
进一步的，改进的Cascade-rcnn网络的损失函数为DIoU Loss，表示为：
其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离。
进一步的，数据扩增包括：平移、缩放、亮度调整。
进一步的，DAB闸调器拉杆头区域图像为灰度图像。
本发明的有益效果是：
本申请将PANet和RFP网络进行结合，提出一种新的FPN-A网络，使得特征图中增加了更加丰富的特征信息，进而提升了闸调器拉杆头丢失故障识别的准确率。
附图说明
图1为本申请的故障识别流程图；
图2为改进的Cascade-rcnn检测网络结构示意图；
图3为PA-FPN结构示意图；
图4为RFP结构示意图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：参照图1具体说明本实施方式，本实施方式的基于深度学习的闸调器拉杆头丢失故障图像识别方法，包括以下步骤：
步骤一：获取DAB闸调器拉杆头区域图像；
步骤二：将DAB闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；
步骤三：对数据集进行数据扩增；
步骤四：利用数据扩增后的数据集训练DAB闸调器拉杆头丢失检测网络；
步骤五：利用训练好的DAB闸调器拉杆头丢失检测网络对待识别图像进行识别；
DAB闸调器拉杆头丢失检测网络为改进的Cascade-rcnn网络，改进的Cascade-rcnn网络通过ResNet50残差网络进行卷积，改进的Cascade-rcnn网络具体执行如下步骤：
输入图像首先经过Conv1进行特征提取，然后通过3×3最大池化，生成特征图；
Conv1生成的特征图输入Conv2中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2生成的特征图输入Conv3中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv3生成的特征图输入Conv4中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv4生成的特征图输入Conv5中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2、Conv3、Conv4和Conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；
Conv2生成的特征图作为特征图A；
特征图A经过下采样后与Conv3生成的特征图进行融合，作为特征图B；
特征图B经过下采样后与Conv4生成的特征图进行融合，作为特征图C；
特征图C经过下采样后与Conv5生成的特征图进行融合，作为特征图D；
特征图D经过上采样后与特征图C融合，作为特征图CC；
特征图CC经过上采样后与特征图B融合，作为特征图BB；
特征图BB经过上采样后与特征图A融合，作为特征图AA；
将特征图BB、特征图CC以及特征图D输入主干网络，作为公共特征图；
将特征图AA经过下采样后与特征图BB融合，作为特征图BBB；
将特征图BBB经过下采样后与特征图CC融合，作为特征图CCC；
将特征图CCC经过下采样后与特征图DD融合，作为特征图DDD；
将特征图AA、特征图BBB、特征图CCC以及特征图DDD进行ROI池化后输出类别和位置，即为检测结果。
Conv2、Conv3、Conv4和Conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；
FPN-A
FPN-A的输出经过RPN生成候选框区域
1、建立样本数据集
分别在货车轨道周围搭建高清设备，货车通过设备后，获取高清图像。图像为清晰的灰度图像。由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，DAB闸调器拉杆头图像之间千差万别。所以，在收集DAB闸调器拉杆头图像数据的过程中，要保证多样性，尽量将各种条件下的DAB闸调器拉杆头图像全部收集。
在不同类型的转向架和车型中，DAB闸调器拉杆头部件的形态会不同。但由于不同类型间出现的频率差别较大，某些较不常见转向架类型和车型的DAB闸调器拉杆头收集较为困难。因此，将全部类型的DAB闸调器拉杆头部件统称为一类，全部按照一类来建立样本数据集。
样本数据集主要分类两部分，分为有DAB闸调器拉杆头和无DAB闸调器拉杆头两个部分，均为灰度图。DAB闸调器拉杆头部位截图包括：灰度图像集与标记图像集。灰度图像集为设备拍摄的高清灰度图像。标记图像集为DAB闸调器拉杆头部件的分割图像，此部分图像为灰度图像，通过人工标记的方式获取。灰度图像数据集与标记图像数据集之间是一一对应的，即每个灰度图像对应一个标记图像。
样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。扩增形式包括图像的平移、缩放、亮度调整等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。
2、改进的Cascade-rcnn检测网络搭建
如图2为改进的Cascade-rcnn网络结构，网络在Faster-rcnn-resnet50基础上进行改进，特征提取网络采用resnet50，如图2左边部分，其中Conv1～Conv5代表Resnet50卷积模块，每一个卷积模块包含多个卷积层，特征提取网络除了激活函数外，网络卷积层个数，每层卷积层卷积核个数等参数设置与Cascade-rcnnn-resnet50的特征提取网络Resnet50一致。
为了充分利用特征提取网络浅层的特征，提高网络的特征提取能力，提升检测网络性能，本专利采用提出一种将PAFPN和RFP进行综合的改进方法。特征金字塔对Cascade-rcnn特征提取网络Resnet50进行优化，实现Resnet50不同卷积层的特征图的融合，如图2中间部分。图3为传统FPN特征金子塔示意图，FPN仅完成了特征的自顶向下的融合，而FPN-A融合特征的方式更加灵活、多样，相比于传统的FPN特征金字塔，FPN-A能够显著的提高特征的融合与提取能力，能够明显的提升检测网络的性能。
FPN-A能够更好的融合底层特征与高层特征，使得特征信息更加的丰富，从而提高网络的检测能力。
本专利采用级联的分类与回归网络Cascade-rcnn对由特征提取网络产生的特征图进行检测，如图2右边部分。其中C1～C3代表分类网络，其输出为检测到目标的类别，B1～B3为目标位置的回归定位网络，其输出为目标在图像中的位置，最终改进的Cascade-rcnn检测网络的输出为C3与B3。FPN-A每一层的输出特征图都包含了特征提取网络Resnet50的浅层与深层特征，Cascade-rcnn通过与FPN-A配合采用级联操作提升了分类与定位的准确程度，提升了检测网络的检测性能。Cascade-rcnn对FPN-A每一层的输出特征进行ROI池化，进而进行目标的分类与定位，具体过程为：
在FPN-A，模型框架分为三个部分：特征提取、特征融合和级联检测。本文主要对特征融合部分进行改进，如图2所示，输入图像首先通过ResNet50残差网络进行特征提取，卷积尺寸7×7，滑动步长为2，填充为3，输出通道数为64，然后通过3×3最大池化进行预处理，在第一层中设置卷积核为1×1、3×3以及1×1进行卷积输出，输出通道数为256。第2、3、4层进行类似的卷积操作提取特征，该过程中的特征图分辨率不断减小，通道数不断增加，最后通过1×1的卷积调整通道数为256，分别生成特征图。
a.对FPN-A第一层(图2中间部分最左面一层)，特征图的调整方式方式与
Cascade-rcnn相同，为自顶向下，横向连接。
b.FPN-A第二层(图2中间部分中间层)为，经过上采样与第一层的特征图融合，并将融合后的特征图与第一层特征图融合，将特征金字塔网络的输出级特征递归到主干网络中。
c.FPN-A第三层(图2中间部分中间层)，至下而上路径的特征图中继承了至上而下路径中丰富的语义信息以及准确的定位信息，该过程中二次采样的次数更少，信息丢失更少。分辨率较小的特征图使用最近邻插值算法使空间分辨变为原来特征图的2倍，生成特征图与至上而下的特征图相结合。在两者结合之前，至上而下路径的特征图经过1×1卷积层调整通道数，融合后的特征图再次通过3×3卷积消除混叠效应，生成最终的特征图。
3、改进的Cascade-rcnn的DAB闸调器拉杆头丢失检测网络测试
当铁路动车经过架设在周围的高清成像设备后，获取过车图像，截取DAB闸调器拉杆头图像，将图像送入训练好的检测网络中输出检测结果，如果没有检测到DAB闸调器拉杆头，则该张图像为故障图像，上传故障报文，否则继续检测下一张图像。检车人员根据故障报文进行下一步处理
具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是ResNet50残差网络的激活函数为ELU，表示为：
激活函数ELU表示为：
其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数。
本申请使用ELU激活函数代替原有的Relu激活函数，网络训练梯度反向传导的时候参数能够正常更新,增强网络的学习能力。
本专利采用ELU作为特征提取网络激活函数，如公式(1)所示，其中a为一个(1,+∞)区间内的固定参数。Faster-rcnn-resnet50的激活函数采用Relu，如公式(2)所示。当Relu的输入参数为负值的时候，输出为零，其导数也为零，导致网络训练梯度反向传导时参数一直不能进行更新，一定程度上降低了网络的学习能力，本专利采用的ELU当输入参数为负值的时候，网络的输出不为零，为一个小正数，其导数不为零，网络训练梯度反向传导的时候参数能够正常更新，提高了网络的学习能力。
具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是改进的Cascade-rcnn网络的损失函数为DIoU Loss，表示为：
其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离。
本申请使用DIoU Loss代替原有的SmoothL1 Loss，最小化两目标框的距离，提高训练时收敛速度并且能够达到很好的收敛，提高模型的精度。
本专利采用DIoU Loss代替原有的SmoothL1 Loss，Smooth L1 Loss如公式(3)，SmoothL1 Loss用于计算目标检测的Bounding Box Loss时，独立的求出4个点的Loss，然后进行相加得到最终的Bounding Box Loss，这种做法的假设是4个点是相互独立的，实际是有一定相关性的，多个检测框可能有相同大小的Loss，但IOU可能差异很大。DLOU Loss如公式(4)所示其中b表示预测框的中心点、表示真实框的中心点，表示两个中心点距离，c表示最小闭包区域的对角线距离且。ρ代表的是计算两个中心点间的欧式距离。DIoU可以在两个框不相交时，提供边界框的优化方向；且DIoU loss最小化两目标框的距离，提高训练时收敛速度并且能够达到很好的收敛。
本专利在Cascade-rcnn结构基础上进行改进，其使用的是DIoU Loss。在结构中共有两处用到，分别是RPN网络结构中，生成候选框区域时，通过DIoU Loss来定位前景和背景；最后对候选框定位时，通过DIoU Loss来定位目标位置。
具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是数据扩增包括：平移、缩放、亮度调整。
具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是DAB闸调器拉杆头区域图像为灰度图像。
具体实施方式六：基于深度学习的闸调器拉杆头丢失故障图像识别系统，包括：数据获取模块、数据扩增模块以及检测模块；
数据获取模块用于获取DAB闸调器拉杆头区域图像，并将DAB闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；
数据扩增模块用于对数据集进行数据扩增；
检测模块用于利用数据扩增后的数据集训练DAB闸调器拉杆头丢失检测网络，并利用训练好的DAB闸调器拉杆头丢失检测网络对待识别图像进行识别；
DAB闸调器拉杆头丢失检测网络为改进的Cascade-rcnn网络，改进的Cascade-rcnn网络通过ResNet50残差网络进行卷积，改进的Cascade-rcnn网络具体执行如下步骤：
输入图像首先经过Conv1进行特征提取，然后通过3×3最大池化，生成特征图，Conv1-Conv5的卷积核为7×7，滑动步长为2，填充为3，输出通道数为64；
Conv1生成的特征图输入Conv2中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2生成的特征图输入Conv3中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv3生成的特征图输入Conv4中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv4生成的特征图输入Conv5中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2、Conv3、Conv4和Conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；
Conv2生成的特征图作为特征图A；
特征图A经过下采样后与Conv3生成的特征图进行融合，作为特征图B；
特征图B经过下采样后与Conv4生成的特征图进行融合，作为特征图C；
特征图C经过下采样后与Conv5生成的特征图进行融合，作为特征图D；
特征图D经过上采样后与特征图C融合，作为特征图CC；
特征图CC经过上采样后与特征图B融合，作为特征图BB；
特征图BB经过上采样后与特征图A融合，作为特征图AA；
将特征图BB、特征图CC以及特征图D输入主干网络，作为公共特征图；
将特征图AA经过下采样后与特征图BB融合，作为特征图BBB；
将特征图BBB经过下采样后与特征图CC融合，作为特征图CCC；
将特征图CCC经过下采样后与特征图DD融合，作为特征图DDD；
将特征图AA、特征图BBB、特征图CCC以及特征图DDD进行ROI池化后输出类别和位置，即为检测结果。
具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是ResNet50残差网络的激活函数为ELU，表示为：
激活函数ELU表示为：
其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数。
具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是改进的Cascade-rcnn网络的损失函数为DIoU Loss，表示为：
其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离。
具体实施方式九：本实施方式是对具体实施方式八的进一步说明，本实施方式与具体实施方式八的区别是数据扩增包括：平移、缩放、亮度调整。
具体实施方式十：本实施方式是对具体实施方式九的进一步说明，本实施方式与具体实施方式九的区别是DAB闸调器拉杆头区域图像为灰度图像。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (6)

1.基于深度学习的闸调器拉杆头丢失故障识别方法，其特征在于包括以下步骤：
步骤一：获取DAB闸调器拉杆头区域图像；
步骤二：将DAB闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；
步骤三：对数据集进行数据扩增；
步骤四：利用数据扩增后的数据集训练DAB闸调器拉杆头丢失检测网络；
步骤五：利用训练好的DAB闸调器拉杆头丢失检测网络对待识别图像进行识别；
所述DAB闸调器拉杆头丢失检测网络为改进的Cascade-rcnn网络，所述改进的Cascade-rcnn网络通过ResNet50残差网络进行卷积，改进的Cascade-rcnn网络具体执行如下步骤：
输入图像首先经过Conv1进行特征提取，然后通过3×3最大池化，生成特征图：
Conv1生成的特征图输入Conv2中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2生成的特征图输入Conv3中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv3生成的特征图输入Conv4中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv4生成的特征图输入Conv5中进行特征提取，然后通过3×3最大池化，生成特征图；
所述Conv2、Conv3、Conv4和Conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；
Conv2生成的特征图作为特征图A；
特征图A经过下采样后与Conv3生成的特征图进行融合，作为特征图B；
特征图B经过下采样后与Conv4生成的特征图进行融合，作为特征图C；
特征图C经过下采样后与Conv5生成的特征图进行融合，作为特征图D；
特征图D经过上采样后与特征图C融合，作为特征图CC；
特征图CC经过上采样后与特征图B融合，作为特征图BB；
特征图BB经过上采样后与特征图A融合，作为特征图AA；
将特征图BB、特征图CC以及特征图D输入主干网络，作为公共特征图；
将特征图AA经过下采样后与特征图BB融合，作为特征图BBB；
将特征图BBB经过下采样后与特征图CC融合，作为特征图CCC；
将特征图CCC经过下采样后与特征图D融合，作为特征图DDD；
将特征图AA、特征图BBB、特征图CCC以及特征图DDD进行ROI池化后输出类别和位置，即为检测结果；
所述ResNet50残差网络的激活函数为ELU，表示为：
所述激活函数ELU表示为：
其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数；
所述改进的Cascade-rcnn网络的损失函数为DIoU Loss，表示为：
其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离，IoU为交并比。
2.根据权利要求1所述的基于深度学习的闸调器拉杆头丢失故障识别方法，其特征在于所述数据扩增包括：平移、缩放、亮度调整。
3.根据权利要求1所述的基于深度学习的闸调器拉杆头丢失故障识别方法，其特征在于所述DAB闸调器拉杆头区域图像为灰度图像。
4.基于深度学习的闸调器拉杆头丢失故障识别系统，其特征在于包括：数据获取模块、数据扩增模块以及检测模块；
所述数据获取模块用于获取DAB闸调器拉杆头区域图像，并将DAB闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；
所述数据扩增模块用于对数据集进行数据扩增；
所述检测模块用于利用数据扩增后的数据集训练DAB闸调器拉杆头丢失检测网络，并利用训练好的DAB闸调器拉杆头丢失检测网络对待识别图像进行识别；
所述DAB闸调器拉杆头丢失检测网络为改进的Cascade-rcnn网络，所述改进的Cascade-rcnn网络通过ResNet50残差网络进行卷积，改进的Cascade-rcnn网络具体执行如下步骤：
输入图像首先经过Conv1进行特征提取，然后通过3×3最大池化，生成特征图，所述Conv1-Conv5的卷积核为7×7，滑动步长为2，填充为3，输出通道数为64；
Conv1生成的特征图输入Conv2中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv2生成的特征图输入Conv3中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv3生成的特征图输入Conv4中进行特征提取，然后通过3×3最大池化，生成特征图；
Conv4生成的特征图输入Conv5中进行特征提取，然后通过3×3最大池化，生成特征图；
所述Conv2、Conv3、Conv4和Conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；
Conv2生成的特征图作为特征图A；
特征图A经过下采样后与Conv3生成的特征图进行融合，作为特征图B；
特征图B经过下采样后与Conv4生成的特征图进行融合，作为特征图C；
特征图C经过下采样后与Conv5生成的特征图进行融合，作为特征图D；
特征图D经过上采样后与特征图C融合，作为特征图CC；
特征图CC经过上采样后与特征图B融合，作为特征图BB；
特征图BB经过上采样后与特征图A融合，作为特征图AA；
将特征图BB、特征图CC以及特征图D输入主干网络，作为公共特征图；
将特征图AA经过下采样后与特征图BB融合，作为特征图BBB；
将特征图BBB经过下采样后与特征图CC融合，作为特征图CCC；
将特征图CCC经过下采样后与特征图D融合，作为特征图DDD；
将特征图AA、特征图BBB、特征图CCC以及特征图DDD进行ROI池化后输出类别和位置，即为检测结果；
所述ResNet50残差网络的激活函数为ELU，表示为：
所述激活函数ELU表示为：
其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数；
所述改进的Cascade-rcnn网络的损失函数为DIoU Loss，表示为：
其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离，IoU为交并比。
5.根据权利要求4所述的基于深度学习的闸调器拉杆头丢失故障识别系统，其特征在于所述数据扩增包括：平移、缩放、亮度调整。
6.根据权利要求5所述的基于深度学习的闸调器拉杆头丢失故障识别系统，其特征在于所述DAB闸调器拉杆头区域图像为灰度图像。
CN202310373151.0A 2023-04-10 2023-04-10 基于深度学习的闸调器拉杆头丢失故障识别方法及系统 Active CN116524293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310373151.0A CN116524293B (zh) 2023-04-10 2023-04-10 基于深度学习的闸调器拉杆头丢失故障识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310373151.0A CN116524293B (zh) 2023-04-10 2023-04-10 基于深度学习的闸调器拉杆头丢失故障识别方法及系统

Publications (2)

Publication Number Publication Date
CN116524293A CN116524293A (zh) 2023-08-01
CN116524293B true CN116524293B (zh) 2024-01-30

Family

ID=87405614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310373151.0A Active CN116524293B (zh) 2023-04-10 2023-04-10 基于深度学习的闸调器拉杆头丢失故障识别方法及系统

Country Status (1)

Country Link
CN (1) CN116524293B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
JP2020205048A (ja) * 2019-06-18 2020-12-24 富士通株式会社 深層学習ネットワークに基づく対象検出方法、装置及び電子機器
CN112233088A (zh) * 2020-10-14 2021-01-15 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112330631A (zh) * 2020-11-05 2021-02-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法
WO2022036777A1 (zh) * 2020-08-21 2022-02-24 暨南大学 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN114399672A (zh) * 2022-01-14 2022-04-26 东南大学 一种基于深度学习的铁路货车闸瓦故障检测方法
CN114627052A (zh) * 2022-02-08 2022-06-14 南京邮电大学 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN115063367A (zh) * 2022-06-16 2022-09-16 南京理工大学 基于改进Cascade RCNN的地铁车底螺栓故障检测方法
CN115147932A (zh) * 2022-08-02 2022-10-04 北京理工华汇智能科技有限公司 一种基于深度学习的静态手势识别方法及系统
CN115272850A (zh) * 2022-07-20 2022-11-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车bab型闸调器拉杆头折断故障识别方法
CN115496982A (zh) * 2022-10-10 2022-12-20 北京中煤矿山工程有限公司 一种基于深度神经网络的煤矿井壁裂缝识别方法
CN115526874A (zh) * 2022-10-08 2022-12-27 哈尔滨市科佳通用机电股份有限公司 闸调器控制杆圆销和圆销开口销丢失检测方法
CN115719445A (zh) * 2022-12-20 2023-02-28 齐鲁工业大学 一种基于深度学习和树莓派4b模块的海产品识别方法
CN115937659A (zh) * 2022-12-18 2023-04-07 重庆工商大学 基于Mask-RCNN的室内复杂环境下多目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
JP2020205048A (ja) * 2019-06-18 2020-12-24 富士通株式会社 深層学習ネットワークに基づく対象検出方法、装置及び電子機器
WO2022036777A1 (zh) * 2020-08-21 2022-02-24 暨南大学 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN112233088A (zh) * 2020-10-14 2021-01-15 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112330631A (zh) * 2020-11-05 2021-02-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车制动梁支柱拉铆销套环丢失故障检测方法
CN114399672A (zh) * 2022-01-14 2022-04-26 东南大学 一种基于深度学习的铁路货车闸瓦故障检测方法
CN114627052A (zh) * 2022-02-08 2022-06-14 南京邮电大学 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN115063367A (zh) * 2022-06-16 2022-09-16 南京理工大学 基于改进Cascade RCNN的地铁车底螺栓故障检测方法
CN115272850A (zh) * 2022-07-20 2022-11-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车bab型闸调器拉杆头折断故障识别方法
CN115147932A (zh) * 2022-08-02 2022-10-04 北京理工华汇智能科技有限公司 一种基于深度学习的静态手势识别方法及系统
CN115526874A (zh) * 2022-10-08 2022-12-27 哈尔滨市科佳通用机电股份有限公司 闸调器控制杆圆销和圆销开口销丢失检测方法
CN115496982A (zh) * 2022-10-10 2022-12-20 北京中煤矿山工程有限公司 一种基于深度神经网络的煤矿井壁裂缝识别方法
CN115937659A (zh) * 2022-12-18 2023-04-07 重庆工商大学 基于Mask-RCNN的室内复杂环境下多目标检测方法
CN115719445A (zh) * 2022-12-20 2023-02-28 齐鲁工业大学 一种基于深度学习和树莓派4b模块的海产品识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于多尺度特征融合的小尺度行人检测;罗强;盖佳航;郑宏宇;;软件(第12期);108-113 *
基于改进级联卷积神经网络的交通标志识别;王海;王宽;蔡英凤;刘泽;陈龙;;汽车工程(第09期);115-121 *
梁鸿 ; 李洋 ; 邵明文 ; 李传秀 ; 张兆雷 ; .基于残差网络和改进特征金字塔的油田作业现场目标检测算法.科学技术与工程.2020,(第11期),257-265. *
袁海娣 ; .井下行人检测的改进Cascade R-CNN算法.齐鲁工业大学学报.2020,(第03期),234-239. *

Also Published As

Publication number Publication date
CN116524293A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109753929B (zh) 一种高铁绝缘子巡检图像识别方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN106919978A (zh) 一种高铁接触网支撑装置零部件识别检测方法
CN107633267A (zh) 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法
CN109409404A (zh) 一种基于深度学习的高铁接触网防风拉线故障检测方法
CN111079817B (zh) 一种铁路货车横跨梁故障图像识别方法
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN114820655B (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN112861755B (zh) 一种目标多类别实时分割方法及系统
CN115527170A (zh) 货车脱轨自动制动装置塞门手把关闭故障识别方法及系统
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
CN115965915A (zh) 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统
Liao et al. Lr-cnn: Local-aware region cnn for vehicle detection in aerial imagery
CN115272850A (zh) 一种铁路货车bab型闸调器拉杆头折断故障识别方法
CN107247967A (zh) 一种基于r‑cnn的车窗年检标检测方法
CN116524293B (zh) 基于深度学习的闸调器拉杆头丢失故障识别方法及系统
CN109934172B (zh) 高速列车受电弓免gps全运行线故障视觉检测定位方法
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
Belkin et al. Traffic sign recognition on video sequence using deep neural networks and matching algorithm
CN117011722A (zh) 基于无人机实时监控视频的车牌识别方法及装置
CN111860332B (zh) 基于多阈值级联检测器的双通道电力图零部件检测方法
CN115170989A (zh) 一种基于强化特征提取的轨道分割方法
CN114677672A (zh) 一种基于深度学习神经网络的成熟蓝莓果实识别方法
CN114943869A (zh) 风格迁移增强的机场目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant