CN113033382A - 一种铁路货车地板大面积破损故障识别方法、系统及装置 - Google Patents

一种铁路货车地板大面积破损故障识别方法、系统及装置 Download PDF

Info

Publication number
CN113033382A
CN113033382A CN202110308115.7A CN202110308115A CN113033382A CN 113033382 A CN113033382 A CN 113033382A CN 202110308115 A CN202110308115 A CN 202110308115A CN 113033382 A CN113033382 A CN 113033382A
Authority
CN
China
Prior art keywords
floor
feature
module
feature map
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110308115.7A
Other languages
English (en)
Other versions
CN113033382B (zh
Inventor
邓艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202110308115.7A priority Critical patent/CN113033382B/zh
Publication of CN113033382A publication Critical patent/CN113033382A/zh
Application granted granted Critical
Publication of CN113033382B publication Critical patent/CN113033382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种铁路货车地板大面积破损故障识别方法、系统及装置,它属于铁路货车地板破损故障识别技术领域。本发明解决了利用现有方法易造成漏检和错检的问题。本发明在MobileNetv2轻量化网络的基础上加入特征交织模块来设计骨干网络,有效增强了轻量化骨干网络的特征表达,获得更多有效的特征信息,增加检测的准确度。通过提出自适应多尺度加权特征融合模块对不同尺度的特征进行权重分配,来学习各个尺度特征之间的相关性,能获得更多货车地板图像的图像特征。通过空间金字塔池化结构来获取不同感受野的上下文信息,保持较高目标检测精度和检测速度的同时,降低了计算复杂度并减小参数量。本发明可以应用于地板破损故障识别。

Description

一种铁路货车地板大面积破损故障识别方法、系统及装置
技术领域
本发明属于铁路货车地板破损故障识别技术领域,具体涉及一种铁路货车地板大面积破损故障识别方法、系统及装置。
背景技术
铁路货车在铁路货物运输中,有着举足轻重的作用,检查地板是否存在大面积破损故障,对货车的行车安全以及保证货物的完整运输非常重要。货车高速运行的过程中容易出现地板大面积破损的情况,如果不及时发现,将会严重的危及到行车安全,采用人工检查图像方式进行故障检测,检车人员在工作的过程中极易出现疲劳、遗漏等情况,造成漏检、错检的出现,影响行车安全。
发明内容
本发明的目的是为解决利用现有方法易造成漏检和错检的问题,而提出了一种铁路货车地板大面积破损故障识别方法、系统及装置。
本发明为解决上述技术问题所采取的技术方案是:
一种铁路货车地板大面积破损故障识别方法,该方法包括以下步骤:
步骤一、利用搭建在列车轨道周围的设备获取铁路货车的线阵图像;
步骤二、从步骤一获取的线阵图像中分别截取出转向架区域地板图像,车钩两边区域地板图像以及中间部区域地板图像;
步骤三、对步骤二中截取出的图像进行标记获得训练集;
步骤四、将训练集依次经过I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块,
利用训练集对I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块进行训练;
所述I-MobileNetv2网络模块是通过在MobileNetv2网络中加入特征交织模块获得的;
步骤五、从待检测的线阵图像中,划分出待检测的转向架区域地板图像,待检测的车钩两边区域地板图像以及待检测的中间部区域地板图像;
将划分出的图像依次经过训练好的I-MobileNetv2网络模块、训练好的自适应多尺度加权融合模块和训练好的空间金字塔池化模块,利用训练好的空间金字塔池化模块输出故障检测结果;
可选的,步骤三的具体过程为:
将截取出的图像中的水渍、油渍、脚蹬以及涂漆标记为负样本,将截取出的图像中的破损标记为正样本,标记后的图像组成训练集;
可选的,特征交织模块的工作过程为:
所述特征交织模块包括第一卷积层、N个并联的通道以及第二卷积层;
特征交织模块的输入首先经过第一卷积层,将第一卷积层输出的特征均分为N组特征后,将第i组特征表示为xi,i=1,2,…,N;将第1组特征x1作为第一个通道的输入,同时x1也是第一个通道的输出,再将第一个通道的输出与第2组特征x2进行残差连接后,将连接结果作为第二个通道的输入,第二个通道的输入经过卷积后获得第二个通道的输出,以此类推,再将第N-1个通道的输出与第N组特征xN的残差连接结果作为第N个通道的输入,第N个通道的输入经过卷积后获得第N个通道的输出;
将全部的N个通道的输出进行融合后,将N个通道输出的融合结果经过第二卷积层,第二卷积层的输出与特征交织模块的输入进行融合,获得特征交织模块的输出;
可选的,I-MobileNetv2网络模块的工作过程具体为:
步骤1、将训练集图像的尺寸还原到416×416×3后,将尺寸还原后的图像作为I-MobileNetv2网络模块的输入,经过一次卷积后获得尺寸为208×208×32的特征图;
步骤2、对步骤1得到的特征图进行两次bottleneck计算后,得到尺寸为104×104×24的特征图;
步骤3、对步骤2得到的特征图进行一次特征交织模块的计算,得到新的尺寸为104×104×24的特征图;
步骤4、对步骤3得到的特征图进行一次bottleneck计算,得到尺寸为52×52×32的特征图;
步骤5、对步骤4得到的特征图进行一次特征交织模块的计算,得到新的尺寸为52×52×32的特征图;
步骤6、步骤5得到的特征图依次经过两次bottleneck计算后,得到尺寸为26×26×96的特征图;
步骤7、对步骤6得到的特征图进行一次特征交织模块的计算,得到新的尺寸为26×26×96的特征图;
步骤8、步骤7得到的特征图依次经过两次bottleneck计算后,得到尺寸为13×13×320的特征图;
步骤9、对步骤8得到的特征图进行一次特征交织模块的计算,得到新的尺寸为13×13×320的特征图;
步骤10、对步骤9得到的特征图进行一次卷积运算,得到尺寸为13×13×1280的特征图;
可选的,自适应多尺度加权融合模块的工作过程为:
将步骤4得到的特征图表示为X1,将步骤7得到的特征图表示为X2,步骤10得到的特征图表示为X3,分别对X1、X2和X3进行加权特征融合操作;
对特征图Xl,l=1,2,3进行加权特征融合操作时,需要对特征图Xn,n≠l的尺寸和分辨率进行调整,利用尺寸和分辨率调整后的特征图计算Xl对应的融合后的特征图Fl
Figure BDA0002988724240000031
其中,w1为特征图X1的加权系数,w2为特征图X2的加权系数,w3为特征图X3的加权系数,X1→l代表将特征图X1的尺寸调整为特征图Xl的尺寸,X2→l代表将特征图X2的尺寸调整为特征图Xl的尺寸,X3→l代表将特征图X3的尺寸调整为特征图Xl的尺寸,ξ代表浮点数,conv(·)代表卷积运算;
可选的,空间金字塔池化模块的工作过程为:
将X1对应的融合后特征图F1降维到13×13×520,得到X1对应的降维后特征图;分别选用三个池化尺度对降维后特征图进行池化,得到三个池化后的特征图;
每个池化后的特征图均与降维后特征图进行合并,得到三个合并后的特征图,再对三个合并后的特征图进行融合,即获得X1对应的融合结果;
同理,得到X2对应的融合结果以及X3对应的融合结果;
再对X1对应的融合结果、X2对应的融合结果以及X3对应的融合结果进行融合,获得最终的融合结果,将最终的融合结果作为空间金字塔池化模块的输出;
可选的,bottleneck的计算过程为:
从输入端开始,bottleneck内部依次包括:扩展层、批标准化层、激活函数层、深度卷积层、批标准化层、激活函数层、映射层和批标准化层;bottleneck的输入特征图依次经过bottleneck的各层后,将最后一层的输出结果与bottleneck的输入进行融合,获得bottleneck输出的特征图;
可选的,空间金字塔池化模块输出的结果为地板故障且得分大于第一阈值时,则根据空间金字塔池化模块输出的故障位置计算故障区域的面积,若计算出的面积大于设置的第二阈值,则发生地板大面积破损故障;否则未发生地板大面积破损故障。
一种铁路货车地板大面积破损故障识别系统,用于执行一种铁路货车地板大面积破损故障识别方法。
一种铁路货车地板大面积破损故障识别装置,用于存储和/或运行一种铁路货车地板大面积破损故障识别系统。
本发明的有益效果是:
本发明利用图像自动识别的方式代替人工检测,提高检测效率和准确率,避免出现漏检和错检。
本发明利用轴距的位置,对转向架,车钩两侧以及中间部的地板进行分区域截取,能一定程度的减少其他部件造成的误报。
本发明在MobileNetv2轻量化网络的基础上加入通道特征交织模块来设计骨干网络,有效地增强了轻量化骨干网络的特征表达,获得更多有效的特征信息,增加检测的准确度。通过提出自适应多尺度加权特征融合模块,通过对不同尺度的特征进行权重分配,来学习各个尺度特征之间的相关性,能获得更多货车地板图像的图像特征,提高故障检测的泛化能力。
本发明通过空间金字塔池化结构来获取不同感受野的上下文信息,保持较高目标检测精度和检测速度的同时,具有较低的计算复杂度和较小的参数量。
附图说明
图1为本发明方法的流程图;
图2为bottleneck的计算过程图;
图中,Expansion Layer为扩展层、Batch Normalization为批标准化层、Relu6为激活函数层、Depthwise Convolution为深度卷积层、Projection Layer为映射层;
图3为特征交织模块的计算流程图;
图4为空间金字塔池化模块的工作流程图;
图5为自适应多尺度加权特征融合流程图;
图中,Adaptive fusion为自适应融合,Weight fusion为加权融合;
图6为本发明的整体网络结构图。
具体实施方式
需要特别说明的是,在不冲突的情况下,本申请公开的各个实施方式之间可以相互组合。
具体实施方式一、结合图1说明本实施方式。本实施方式的一种铁路货车地板大面积破损故障识别方法,该方法具体通过以下步骤实现:
步骤一、利用搭建在列车轨道周围的设备获取铁路货车的线阵图像;
采用线扫描的方式,可以形成视野广、精度高的二维图像;
步骤二、从步骤一获取的线阵图像中分别截取出转向架区域地板图像,车钩两边区域地板图像以及中间部区域地板图像;
将车轴的位置作为参考,来截取出各区域的图像,可以减少整车侧部和底部地板图像处理所占用的时间,提升识别准确率;在整个地板区域中,除了转向架区域地板图像以及车钩两边区域地板图像之外的部分就是中间部区域地板图像。
步骤三、对步骤二中截取出的图像进行标记获得训练集;
步骤四、将训练集依次经过I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块,利用训练集对I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块进行训练;
所述I-MobileNetv2网络模块是通过在MobileNetv2网络中加入特征交织模块获得的;
步骤五、从待检测的线阵图像中,划分出待检测的转向架区域地板图像,待检测的车钩两边区域地板图像以及待检测的中间部区域地板图像;
将划分出的图像依次经过训练好的I-MobileNetv2网络模块、训练好的自适应多尺度加权融合模块和训练好的空间金字塔池化模块,利用训练好的空间金字塔池化模块输出故障检测结果。
对故障进行上传报警,工作人员根据识别结果进行相应的处理,保证列车安全运行。
具体实施方式二:本实施方式与具体实施方式一不同的是:步骤三的具体过程为:
将截取出的图像中的水渍、油渍、脚蹬以及涂漆标记为负样本,将截取出的图像中的破损标记为正样本,标记后的图像组成训练集。
由于货车在运行的过程中经常碰见下雨、冰雪天气,并且地板可能会存在漏油现象,造成地板中有大面积水渍和油渍,在图像上经常会干扰地板大面积破损故障的检测,因此对地板子图像中的水渍、油渍还有脚蹬等货车部件进行标记;当列车运行的过程中发生小面积破损时,会给地板进行修补,修补部分经常因为涂漆,和大面积破损故障比较接近,所以标记时,将修补地板部分标记为单独的一类;同时根据货车线上运行出现的历史地板大面积破损的真实故障进行标记,作为样本集合,进行模型的训练。
具体实施方式三:结合图3说明本实施方式。本实施方式与具体实施方式二不同的是:特征交织模块的工作过程为:
所述特征交织模块包括第一卷积层、N个并联的通道以及第二卷积层;
特征交织模块的输入首先经过第一卷积层,将第一卷积层输出的特征均分为N组特征后,将第i组特征表示为xi,i=1,2,…,N;将第1组特征x1作为第一个通道的输入,同时x1也是第一个通道的输出,再将第一个通道的输出与第2组特征x2进行残差连接后,将连接结果作为第二个通道的输入,第二个通道的输入经过卷积后获得第二个通道的输出,以此类推,再将第N-1个通道的输出与第N组特征xN的残差连接结果作为第N个通道的输入,第N个通道的输入经过卷积后获得第N个通道的输出;
将全部的N个通道的输出进行融合后,将N个通道输出的融合结果经过第二卷积层,第二卷积层的输出与特征交织模块的输入进行融合,获得特征交织模块的输出。
通过将同一层内不同通道组之间的特征图建立连接,在重用了该层的部分信息的同时,还使用了同一层的特征图,这样包含了不同感受野的特征,对原有的MobileNetv2网络进行了增强,增强了多尺度特征的表达能力。
具体实施方式四:本实施方式与具体实施方式三不同的是:I-MobileNetv2网络模块的工作过程具体为:
步骤1、将训练集图像的尺寸还原到416×416×3后,将尺寸还原后的图像作为I-MobileNetv2网络模块的输入,输入经过一次卷积后获得尺寸为208×208×32的特征图;
步骤2、对步骤1得到的特征图进行两次bottleneck计算后,得到尺寸为104×104×24的特征图,其bottleneck计算过程如图2所示;
步骤3、对步骤2得到的特征图进行一次特征交织模块的计算,得到新的尺寸为104×104×24的特征图,其进行特征交织模块的计算流程如图3所示;
步骤4、对步骤3得到的特征图进行一次bottleneck计算,得到尺寸为52×52×32的特征图;
步骤5、对步骤4得到的特征图进行一次特征交织模块的计算,得到新的尺寸为52×52×32的特征图;
步骤6、步骤5得到的特征图依次经过两次bottleneck计算后,得到尺寸为26×26×96的特征图;
步骤7、对步骤6得到的特征图进行一次特征交织模块的计算,得到新的尺寸为26×26×96的特征图;
步骤8、步骤7得到的特征图依次经过两次bottleneck计算后,得到尺寸为13×13×320的特征图;
步骤9、对步骤8得到的特征图进行一次特征交织模块的计算,得到新的尺寸为13×13×320的特征图;
步骤10、对步骤9得到的特征图进行一次卷积运算,得到尺寸为13×13×1280的特征图。
具体实施方式五:本实施方式与具体实施方式四不同的是:自适应多尺度加权融合模块的工作过程为:
将步骤4得到的特征图表示为X1,将步骤7得到的特征图表示为X2,步骤10得到的特征图表示为X3,分别对X1、X2和X3进行加权特征融合操作;
对特征图Xl,l=1,2,3进行加权特征融合操作时,需要对特征图Xn,n≠l的尺寸和分辨率进行调整,利用尺寸和分辨率调整后的特征图计算Xl对应的融合后的特征图Fl
Figure BDA0002988724240000071
其中,ω1为特征图X1的加权系数,ω2为特征图X2的加权系数,ω3为特征图X3的加权系数,X1→l代表将特征图X1的尺寸调整为特征图Xl的尺寸,X2→l代表将特征图X2的尺寸调整为特征图Xl的尺寸,X3→l代表将特征图X3的尺寸调整为特征图Xl的尺寸,ξ代表浮点数,conv(·)代表卷积运算。
其自适应多尺度加权特征融合流程如图5所示。
为了更好的进行特征融合,本发明中采用自适应多尺度加权特征融合模块对原始的FPN进行改进,在特征融合的过程中,为每个尺度的输入特征增加一个额外的权重,用以学习每个尺度输入特征的重要性。
定义第l个尺度的特征图为Xl,l∈{1,2,3}。对于尺度l,需要将其他尺度的特征Xn(n≠l)的尺寸和分辨率进行调整。对于上采样,首先利用1×1卷积将通道数变成一致,然后使用最近邻差值提高特征图分辨率。对于两倍的降采样,直接利用卷积操作来改变通道数和降低特征图分辨率,卷积核大小为3×3,步长为2,对于四倍降采样,需要额外增加一个步长为2的最大池化操作。
将不同尺度的特征图调整为统一尺寸之后,为了让网络自动学习不同尺度特征之间的重要性,将三个尺度的特征进行加权特征融合操作,对于尺度l,融合后的特征Fl为:
Figure BDA0002988724240000081
其中Fl代表第l个尺度融合之后的特征,w1,w2和w3为可训练的参数,代表三个尺度特征的加权系数,Xn→l代表将尺度n的特征调整为尺度l的尺寸,ξ代表一个很小的浮点数,防止分母为0,分母为加权系数之和是为了进行归一化操作。
具体实施方式六:本实施方式与具体实施方式五不同的是:空间金字塔池化模块的工作过程为:
将X1对应的融合后特征图F1降维到13×13×520,得到X1对应的降维后特征图;分别选用三个池化尺度对降维后特征图进行池化,得到三个池化后的特征图;
每个池化后的特征图均与降维后特征图进行合并,得到三个合并后的特征图,再对三个合并后的特征图进行融合,即获得X1对应的融合结果;
同理,得到X2对应的融合结果以及X3对应的融合结果;
再对X1对应的融合结果、X2对应的融合结果以及X3对应的融合结果进行融合,得到X1、X2和X3的融合结果,再将X1、X2和X3的融合结果与步骤10得到的特征图进行融合,获得最终的融合结果,将最终的融合结果作为空间金字塔池化模块的输出。
其空间金字塔池化的过程如图4所示。
通过空间金字塔池化结构将主干网络输出的特征信息进行多尺度特征融合。为了降低池化后数据拼接的维度,先利用1×1卷积将13×13×1280大小输出特征图降维到13×13×520,然后经过三种不同大小的采样核池化,最后将原始特征与池化后的特征在通道级进行合并。选择5,9,13三种池化尺度,为了保证输出特征图的大小不变,选择池化操作步长为1,同时对图像进行填充。通过空间金字塔模块实现了局部特征和全局特征的融合,进一步提升了特征图的表达能力。
通过空间金字塔池化结构将主干网络输出的特征信息进行多尺度特征融合的具体结合网络结构如图6所示。
具体实施方式七:结合图2说明本实施方式。本实施方式与具体实施方式六不同的是:bottleneck的计算过程为:
从输入端开始,bottleneck内部依次包括:扩展层、批标准化层、激活函数层、深度卷积层、批标准化层、激活函数层、映射层和批标准化层;bottleneck的输入特征图依次经过bottleneck的各层后,将最后一层的输出结果与bottleneck的输入进行融合,获得bottleneck输出的特征图。
具体实施方式八:本实施方式与具体实施方式七不同的是:空间金字塔池化模块输出的结果为地板故障且得分大于第一阈值时,则根据空间金字塔池化模块输出的故障位置计算故障区域的面积,若计算出的面积大于设置的第二阈值,则发生地板大面积破损故障;否则未发生地板大面积破损故障。
本实施方式中,第一阈值根据故障训练识别过程中的经验来设定,第二阈值根据故障检测的标准来设定。
检测得到图像中有目标属于地板丢失类的故障并且得分score大于阈值,同时,判断的地板大面积丢失故障类的长宽均大于设定的阈值,将认为该图像是中有大面积地板丢失故障,同时得到该故障位置的box(左上点和右下点的坐标),将该位置映射到整个列车图像坐标上,生成故障类别和故障位置的报文信息,并上传到报警平台。
具体实施方式九:本实施方式的一种铁路货车地板大面积破损故障识别系统,该系统用于执行具体实施方式一至具体实施方式八之一的一种铁路货车地板大面积破损故障识别方法。
具体实施方式十:本实施方式的一种铁路货车地板大面积破损故障识别装置,该装置用于存储和/或运行具体实施方式九的一种铁路货车地板大面积破损故障识别系统。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种铁路货车地板大面积破损故障识别方法,其特征在于,该方法包括以下步骤:
步骤一、利用搭建在列车轨道周围的设备获取铁路货车的线阵图像;
步骤二、从步骤一获取的线阵图像中分别截取出转向架区域地板图像,车钩两边区域地板图像以及中间部区域地板图像;
步骤三、对步骤二中截取出的图像进行标记获得训练集;
步骤四、将训练集依次经过I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块,利用训练集对I-MobileNetv2网络模块、自适应多尺度加权融合模块和空间金字塔池化模块进行训练;
所述I-MobileNetv2网络模块是通过在MobileNetv2网络中加入特征交织模块获得的;
步骤五、从待检测的线阵图像中,划分出待检测的转向架区域地板图像,待检测的车钩两边区域地板图像以及待检测的中间部区域地板图像;
将划分出的图像依次经过训练好的I-MobileNetv2网络模块、训练好的自适应多尺度加权融合模块和训练好的空间金字塔池化模块,利用训练好的空间金字塔池化模块输出故障检测结果。
2.根据权利要求1所述的一种铁路货车地板大面积破损故障识别方法,其特征在于,所述步骤三的具体过程为:
将截取出的图像中的水渍、油渍、脚蹬以及涂漆标记为负样本,将截取出的图像中的破损标记为正样本,标记后的图像组成训练集。
3.根据权利要求2所述的一种铁路货车地板大面积破损故障识别方法,其特征在于,所述特征交织模块的工作过程为:
所述特征交织模块包括第一卷积层、N个并联的通道以及第二卷积层;
特征交织模块的输入首先经过第一卷积层,将第一卷积层输出的特征均分为N组特征后,将第i组特征表示为xi,i=1,2,…,N;将第1组特征x1作为第一个通道的输入,同时x1也是第一个通道的输出,再将第一个通道的输出与第2组特征x2进行残差连接后,将连接结果作为第二个通道的输入,第二个通道的输入经过卷积后获得第二个通道的输出,以此类推,再将第N-1个通道的输出与第N组特征xN的残差连接结果作为第N个通道的输入,第N个通道的输入经过卷积后获得第N个通道的输出;
将全部的N个通道的输出进行融合后,将N个通道输出的融合结果经过第二卷积层,第二卷积层的输出与特征交织模块的输入进行融合,获得特征交织模块的输出。
4.根据权利要求3所述的一种铁路货车地板大面积破损故障识别方法,其特征在于,所述I-MobileNetv2网络模块的工作过程具体为:
步骤1、将训练集图像的尺寸还原到416×416×3后,将尺寸还原后的图像作为I-MobileNetv2网络模块的输入,经过一次卷积后获得尺寸为208×208×32的特征图;
步骤2、对步骤1得到的特征图进行两次bottleneck计算后,得到尺寸为104×104×24的特征图;
步骤3、对步骤2得到的特征图进行一次特征交织模块的计算,得到新的尺寸为104×104×24的特征图;
步骤4、对步骤3得到的特征图进行一次bottleneck计算,得到尺寸为52×52×32的特征图;
步骤5、对步骤4得到的特征图进行一次特征交织模块的计算,得到新的尺寸为52×52×32的特征图;
步骤6、步骤5得到的特征图依次经过两次bottleneck计算后,得到尺寸为26×26×96的特征图;
步骤7、对步骤6得到的特征图进行一次特征交织模块的计算,得到新的尺寸为26×26×96的特征图;
步骤8、步骤7得到的特征图依次经过两次bottleneck计算后,得到尺寸为13×13×320的特征图;
步骤9、对步骤8得到的特征图进行一次特征交织模块的计算,得到新的尺寸为13×13×320的特征图;
步骤10、对步骤9得到的特征图进行一次卷积运算,得到尺寸为13×13×1280的特征图。
5.根据权利要求4所述的一种铁路货车地板大面积破损故障识别方法,其特征在于,所述自适应多尺度加权融合模块的工作过程为:
将步骤4得到的特征图表示为X1,将步骤7得到的特征图表示为X2,步骤10得到的特征图表示为X3,分别对X1、X2和X3进行加权特征融合操作;
对特征图Xl,l=1,2,3进行加权特征融合操作时,需要对特征图Xn,n≠l的尺寸和分辨率进行调整,利用尺寸和分辨率调整后的特征图计算Xl对应的融合后的特征图Fl
Figure FDA0002988724230000031
其中,ω1为特征图X1的加权系数,ω2为特征图X2的加权系数,ω3为特征图X3的加权系数,X1→l代表将特征图X1的尺寸调整为特征图Xl的尺寸,X2→l代表将特征图X2的尺寸调整为特征图Xl的尺寸,X3→l代表将特征图X3的尺寸调整为特征图Xl的尺寸,ξ代表浮点数,conv(·)代表卷积运算。
6.根据权利要求5所述的一种铁路货车地板大面积破损故障识别方法,其特征在于,所述空间金字塔池化模块的工作过程为:
将X1对应的融合后特征图F1降维到13×13×520,得到X1对应的降维后特征图;分别选用三个池化尺度对降维后特征图进行池化,得到三个池化后的特征图;
每个池化后的特征图均与降维后特征图进行合并,得到三个合并后的特征图,再对三个合并后的特征图进行融合,即获得X1对应的融合结果;
同理,得到X2对应的融合结果以及X3对应的融合结果;
再对X1对应的融合结果、X2对应的融合结果以及X3对应的融合结果进行融合,得到X1、X2和X3的融合结果,再将X1、X2和X3的融合结果与步骤10得到的特征图进行融合,获得最终的融合结果,将最终的融合结果作为空间金字塔池化模块的输出。
7.根据权利要求6所述的一种铁路货车地板大面积破损故障识别方法,其特征在于,所述bottleneck的计算过程为:
从输入端开始,bottleneck内部依次包括:扩展层、批标准化层、激活函数层、深度卷积层、批标准化层、激活函数层、映射层和批标准化层;bottleneck的输入特征图依次经过bottleneck的各层后,将最后一层的输出结果与bottleneck的输入进行融合,获得bottleneck输出的特征图。
8.根据权利要求7所述的一种铁路货车地板大面积破损故障识别方法,其特征在于,所述空间金字塔池化模块输出的结果为地板故障且得分大于第一阈值时,则根据空间金字塔池化模块输出的故障位置计算故障区域的面积,若计算出的面积大于设置的第二阈值,则发生地板大面积破损故障;否则未发生地板大面积破损故障。
9.一种铁路货车地板大面积破损故障识别系统,其特征在于,所述系统用于执行权利要求1至权利要求8之一所述的一种铁路货车地板大面积破损故障识别方法。
10.一种铁路货车地板大面积破损故障识别装置,其特征在于,所述装置用于存储和/或运行权利要求9所述的一种铁路货车地板大面积破损故障识别系统。
CN202110308115.7A 2021-03-23 2021-03-23 一种铁路货车地板大面积破损故障识别方法、系统及装置 Active CN113033382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110308115.7A CN113033382B (zh) 2021-03-23 2021-03-23 一种铁路货车地板大面积破损故障识别方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110308115.7A CN113033382B (zh) 2021-03-23 2021-03-23 一种铁路货车地板大面积破损故障识别方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113033382A true CN113033382A (zh) 2021-06-25
CN113033382B CN113033382B (zh) 2021-10-01

Family

ID=76472800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110308115.7A Active CN113033382B (zh) 2021-03-23 2021-03-23 一种铁路货车地板大面积破损故障识别方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113033382B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技(深圳)有限公司 基于深度学习的医学图像检测方法及相关设备
CN111753651A (zh) * 2020-05-14 2020-10-09 南京熊猫电子股份有限公司 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN112257711A (zh) * 2020-10-26 2021-01-22 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板破损故障检测方法
CN112396562A (zh) * 2020-11-17 2021-02-23 中山大学 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN112507943A (zh) * 2020-12-18 2021-03-16 华南理工大学 基于多任务神经网络的视觉定位导航方法、系统及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111313A (zh) * 2019-04-22 2019-08-09 腾讯科技(深圳)有限公司 基于深度学习的医学图像检测方法及相关设备
CN111753651A (zh) * 2020-05-14 2020-10-09 南京熊猫电子股份有限公司 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN112257711A (zh) * 2020-10-26 2021-01-22 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板破损故障检测方法
CN112396562A (zh) * 2020-11-17 2021-02-23 中山大学 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN112507943A (zh) * 2020-12-18 2021-03-16 华南理工大学 基于多任务神经网络的视觉定位导航方法、系统及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAOXU GUO .ETC: ""AugFPN: Improving Multi-scale Feature Learning for Object Detection"", 《ARXIV:1912.05384V1》 *
MARK SANDLER .ETC: ""MobileNetV2: Inverted Residuals and Linear Bottlenecks"", 《ARXIV:1801.04381V3》 *
MINGXING TAN .ETC: ""EfficientDet: Scalable and Efficient Object Detection"", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Also Published As

Publication number Publication date
CN113033382B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN111652227B (zh) 铁路货车底部地板破损故障检测方法
CN111091558B (zh) 一种铁路货车摇枕弹簧窜出故障图像识别方法
CN111898699B (zh) 一种船体目标自动检测识别方法
CN110633661A (zh) 一种融合语义分割的遥感图像目标检测方法
CN111291714A (zh) 一种基于单目视觉和激光雷达融合的车辆检测方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN111080617B (zh) 一种铁路货车制动梁支柱圆销丢失故障识别方法
CN105205453A (zh) 基于深度自编码器的人眼检测和定位方法
CN114565579A (zh) 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统
CN111091545A (zh) 铁路货车滚动轴承轴端螺栓丢失故障的检测方法
CN111079822A (zh) 轴箱橡胶垫中间橡胶与上、下层板错位故障图像识别方法
CN108734225A (zh) 一种基于深度学习的输电线路施工物体图像检测方法
CN117346805B (zh) 一种非结构化环境的特种车辆自动驾驶路径规划方法
CN113065431B (zh) 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法
CN112950576A (zh) 基于深度学习的输电线路缺陷智能识别方法及系统
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN114444187A (zh) 一种振动传递大数据与胶囊网络融合的桥梁损伤诊断方法
CN115984537A (zh) 图像处理方法、装置及相关设备
CN111383273B (zh) 一种基于改进结构推理网络的高铁接触网零部件定位方法
CN115424128A (zh) 一种货车转向架下拉杆故障图像检测方法及系统
CN115546223A (zh) 一种列车车下设备紧固螺栓的缺失检测方法和系统
CN114332780A (zh) 一种针对小目标的交通人车非目标检测方法
CN113033382B (zh) 一种铁路货车地板大面积破损故障识别方法、系统及装置
Yang et al. LLD-MFCOS: A Multi-scale Anchor-Free Detector Based on Label Localization Distillation for Wheelset Tread Defect Detection
CN117232545A (zh) 一种基于深度学习道路环境感知的路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant