CN114882336B - 列车制动系统故障图像的端到端实时检测方法 - Google Patents

列车制动系统故障图像的端到端实时检测方法 Download PDF

Info

Publication number
CN114882336B
CN114882336B CN202210548162.3A CN202210548162A CN114882336B CN 114882336 B CN114882336 B CN 114882336B CN 202210548162 A CN202210548162 A CN 202210548162A CN 114882336 B CN114882336 B CN 114882336B
Authority
CN
China
Prior art keywords
fault
image
real
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210548162.3A
Other languages
English (en)
Other versions
CN114882336A (zh
Inventor
孙国栋
潘慧琳
熊晨韵
张杨
贾俊杰
程乐
周洋
黄得龙
杨雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210548162.3A priority Critical patent/CN114882336B/zh
Publication of CN114882336A publication Critical patent/CN114882336A/zh
Application granted granted Critical
Publication of CN114882336B publication Critical patent/CN114882336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明提供一种列车制动系统故障图像的端到端实时检测方法，包括采集列车制动系统图像并制作带有标注的训练图像数据库；通过骨干网络提取训练图像的多尺度特征；通过故障特征金字塔FFP对多尺度特征进行特征融合，所述故障特征金字塔结构FFP包括故障增强注意力模块FEA、故障瓶颈模块FBM和空洞故障瓶颈模块DFB；根据融合特征结果，通过检测头对故障进行定位和分类，然后使用损失函数训练实时端到端视觉检测器；图像故障识别，通过训练好的实时端到端视觉检测器对待检测的图像进行故障识别。本发明的有益效果是能够精确快速地检测出货运列车制动系统是否存在故障，并对故障类型进行判断。

Description

列车制动系统故障图像的端到端实时检测方法
技术领域
本发明属于目标检测和故障识别领域，属于一种应用于列车制动系统故障的实时端到端视觉检测方法。
背景技术
随着铁路里程和网络化规模的不断扩大，列车制动系统故障的检修效率和质量已经成为了确保列车高效运营的关键因素。但是长期以来列车制动系统故障都是依靠人工进行检测，存在漏检和误检的情况。随着人工智能领域的快速发展，越来越多的场合用到了视觉检测。使用机器视觉的检测方式来代替人工，不仅能保证检测的速度和精度，还能避免因人工检测的主观影响。然而，列车故障检测的硬件部署环境一般是户外，算力资源受到限制。同时由于制动系统零件体积小，车底结构复杂并且易受污染导致模糊不清。在这种检测环境下，普通的检测算法难以满足实际要求。
基于视觉的列车车底故障检测任务可以划分到计算机视觉中的目标检测领域。随着近年来深度学习的发展，目标检测方法不断应用在越来越复杂的场景中，从两阶段方法到一阶段方法，从NMS-based(Non-maximum suppression，非极大值抑制)到NMS-free的方法，学者们不断在领域内创新，算法的识别速度与精度有着长足的进步。但是这些方法应用在列车车底故障检测时却依然有着不足之处，例如Zhou等人基于Nanodet-Resnet101提出了一种故障检测算法，用于检测高度阀的故障，Fu等人提出一种新的两阶段感知网络实现对轴承油斑的检测。这些方法只能针对某一种故障进行检测，不能同时检测出不同类型的故障。Zhang等人在CNN的基础上实现了对列车底部常见的5种故障进行检测，同时在速度与精度之间进行了权衡。Zhang基于faster R-CNN提出了列车故障检测的统一框架，但是这两种方法都无法满足实时(30帧以上)的检测需求。不仅如此，受到检测环境和算力资源的限制，模型也被要求更加轻量化。例如Zhang等人设计了一种新型的轻量级骨干网络，在提高了检测精度和速度的同时很好地控制了模型大小，达到了先进水平，但是该方法在检测速度方面还有一定的提升空间。
发明内容
本发明属于一种应用于列车制动系统故障的实时端到端视觉检测方法，用于解决可检测的故障类型单一，模型计算量大，准确率不高，实时性不强等问题。
本发明技术方案提供一种列车制动系统故障图像的端到端实时检测方法，包括以下步骤，
步骤1，采集列车制动系统图像并制作带有标注的训练图像数据库；
步骤2，通过骨干网络提取训练图像的多尺度特征；
步骤3，通过故障特征金字塔FFP对多尺度特征进行特征融合，所述故障特征金字塔结构FFP包括故障增强注意力模块FEA、故障瓶颈模块FBM和空洞故障瓶颈模块DFB；
在所述故障特征金字塔结构FFP中，
将骨干网络提取的不同尺度的特征图分别输入到相应故障增强注意力模块FEA中，由故障增强注意力模块FEA进行通道数的调整，实现对通道间相互依赖性的建模；
将顶层相应故障增强注意力模块FEA的输出经过上采样后与下层故障增强注意力模块FEA的输出相加，作为相应故障瓶颈模块FBM输入，并在上采样操作部分增加一条快捷路径与相应故障瓶颈模块FBM的主路径进行特征图的相加，作为故障瓶颈模块FBM的输出；
在顶层设置空洞故障瓶颈模块DFB，空洞故障瓶颈模块DFB中增加连续的膨胀卷积来获取更大的感受野，将顶层故障增强注意力模块FEA的输出特征图与获取的大感受野特征图相加；
步骤3，通过故障特征金字塔FFP对多尺度特征进行特征融合，所述故障特征金字塔结构FFP由故障增强注意力模块FEA、故障瓶颈模块FBM和空洞故障瓶颈模块DFB组成，在故障特征金字塔结构FFP中，
将骨干网络提取的不同尺度的特征图分别输入到相应故障增强注意力模块FEA中，由故障增强注意力模块FEA进行通道数的调整，实现对通道间相互依赖性的建模；
将顶层相应故障增强注意力模块FEA的输出经过上采样后与下层故障增强注意力模块FEA的输出相加，作为相应故障瓶颈模块FBM输入，并在上采样操作部分增加一条快捷路径与相应故障瓶颈模块FBM的主路径进行特征图的相加，作为故障瓶颈模块FBM的输出；
在顶层设置空洞故障瓶颈模块DFB，空洞故障瓶颈模块DFB中增加连续的膨胀卷积来获取更大的感受野，将顶层故障增强注意力模块FEA的输出特征图与获取的大感受野特征图相加；
步骤4，根据步骤2所得融合特征结果，通过检测头对故障进行定位和分类，然后使用损失函数训练实时端到端视觉检测器；所述实时端到端视觉检测器由依次设置的骨干网络、故障特征金字塔FFP和检测头构成；
步骤5，图像故障识别，通过步骤4中训练好的实时端到端视觉检测器对待检测的图像进行故障识别。
而且，步骤1实现方式为，采用轨边图像采集设备实时拍摄列车制动系统图像，将采集的图像分为故障图像和非故障图像，并分开存储；对采集的图像中待检测的目标区域进行标注，制成列车制动系统故障数据库。
而且，步骤2选择轻量级骨干网络进行图像特征提取。
而且，所述故障增强注意力模块FEA，用于处理骨干网络提取的不同尺度的特征图，FEA通过对特征图的升维和降维操作实现对通道间相互依赖性的建模，获取不同通道具有不同权重的特征图，进而使后续网络更加关注高权重的通道。
而且，所述故障瓶颈模块FBM用于特征融合，使用1×1、3×3和1×1的连续卷积，并增加一条快捷路径使上层带有丰富语义信息的特征图能直接参与到后续网络处理中。
而且，所述空洞故障瓶颈模块DFB用于顶层没有上层传递的特征图情况，使用1×1、3×3和1×1的连续卷积，在快捷路径中加入了连续的膨胀卷积来增加感受野。
而且，使用损失函数训练实时端到端视觉检测器时，综合采用定位损失函数L1loss和GIoU loss，以及分类损失函数Focal loss。
本发明的有益效果是能够精确快速地检测出列车制动系统是否存在故障，并对故障类型进行判断，实现列车制动系统故障的实时端到端视觉检测，满足实际检测应用中的高精度、实时性，通用性和鲁棒性等需求，能有效提高列检效率，降低列检综合能耗。
本发明提出的应用于列车制动系统故障的实时端到端视觉检测方法可以检测多种类型的故障，且准确率高达98.4％。在检测速度方面，本发明提出的方法检测一张图像仅需0.012秒(每秒83帧以上)。另外，由于本发明新设计的模块和特殊的网络结构使得模型大小仅有95.9MB，检测时的内存占用仅有1011MB。所以本发明在硬件资源有限的条件下具有显著的优越性，在列车车底故障检测领域更有竞争力。
附图说明
图1为本发明实施例提出的故障特征金字塔FFP的组成部分FEA示意图。
图2为本发明实施例提出的故障特征金字塔FFP的组成部分FBM示意图。
图3为本发明实施例提出的故障特征金字塔FFP的组成部分DFB示意图。
图4为本发明实施例提出的实时端到端视觉检测器的整体网络结构图。
图5为本发明实施例列车制动系统故障实时检测方法实现流程图。
具体实施方式
下面结合附图和实施例对本发明技术方案进行详细说明。
参见图5，本发明实施例提出的针对列车制动系统故障的实时检测方法步骤如下：
步骤1：采集列车制动系统图像并制作带有标注的训练图像数据库。
实施例中，列车制动系统图像由轨边图像采集设备实时拍摄，将采集的图像分为故障图像和非故障图像，并分开存储。对采集的图像中待检测的目标区域进行标注，制成列车制动系统故障的训练图像数据库。本发明适用于各种列车，例如货运列车。
步骤2：通过骨干网络提取训练图像的多尺度特征。由于室外环境限制了列车图像的故障检测。因此，故障检测器需要较低的计算成本。然而，计算量往往体现在检测器的骨干网络、颈部和后处理中。为了降低计算成本，本发明采用轻量化的骨干网络大大减小了模型大小。选择轻量级骨干网络对训练阶段的训练图像和检测阶段的待测图像进行特征提取，为后续网络生成多尺度的特征图。
具体实施时，所述轻量化的骨干网络优选建议采用MobilenetV3-Small来进行特征提取，也可以根据情况选用其他轻量化网络。骨干网络不同层次会生成不同维度信息的特征，选择其中具有代表性的层次使得生成的特征图的表达能力更强。实施例取的三层，从底层到顶层，分别记为C3、C4、C5。
由于一些故障发生在一些尺度较小的零件上，故障点的像素信息在骨干网络的处理过程中会随着网络的加深而逐渐丢失。为了更好地检测这种大小差异比较大的故障，在骨干网络后端加入了一种FFP结构。骨干网络可以生成不同尺度的特征图，其中深层次特征图具有更丰富的语义信息，而低层次特征图具有更高的分辨率。本发明通过提取一些关键层的特征图像，并将它们输入到FFP中进行特征融合。
步骤3：通过FFP对多尺度特征进行特征融合。
本发明设计出一种FFP结构用于处理骨干网络提取出来的特征图，并使用新设计的三个模块和特殊的网络结构实现更有效的特征融合和轻量化，从而提高检测精度，降低模型大小：
通过轻量化骨干网络提取图像的多尺度特征并使用故障特征金字塔(FaultFeature Pyramid,FFP)结构进行特征融合处理，其中故障特征金字塔结构由故障增强注意力模块(Fault Enhance Attention，FEA)，故障瓶颈模块(Fault Bottleneck Module，FBM)和空洞故障瓶颈模块(Dilated Fault Bottleneck，DFB)组成。
故障增强注意力模块FEA，用于处理骨干网络提取的不同尺度的特征图。FEA通过对特征图的升维、降维操作实现对通道间相互依赖性的建模，从而获取不同通道具有不同权重的特征图，进而使后续网络更加关注高权重的通道，实现精度的提升和推理时间的缩减。
参见图1，故障增强注意力模块FEA包括1个1×1的卷积层(Conv 1×1)，池化层(GAP)，两个全连接层(FC)，激活函数层(ReLU和Sigmoid)。从FEA的模块输入开始，依次设置卷积层Conv 1×1、池化层GAP、第一个全连接层FC、激活函数层ReLU、第二个全连接层FC、激活函数层Sigmoid，池化层GAP的输出与激活函数层Sigmoid的输出相加，进行特征融合，得到FEA的模块输出。
故障瓶颈模块FBM，用于特征融合。使用1×1，3×3，1×1的连续卷积代替传统的3×3卷积降低计算量与网络参数，并增加一条快捷路径使上层带有丰富语义信息的特征图能直接参与到后续网络处理中。FBM的加入使模型大小降低了21％，网络的参数量仅有原来的1/56，并提高了检测精度。
参见图2，故障瓶颈模块FBM包括2个1×1的卷积层(Conv 1×1)，1个3×3的卷积层(Conv 3×3)，激活函数层(ReLU)。从FBM的模块输入开始，依次设置第一个卷积层Conv1×1，激活函数层ReLU，卷积层Conv 3×3，激活函数层ReLU，第二个卷积层Conv 1×1。例如，FEA2的输出与FEA1的输出上采样后得到的特征相加得到FBM1的模块输入，另外，通过快捷路径FBM1中第二个卷积层的输出与FEA1的输出上采样后得到的特征进行相加，进一步特征融合，得到FBM1模块的输出。同理，FBM2的输入是FEA3模块的输出与FBM1的输入上采样得到的特征相加融合后的特征信息。
由于顶层没有上层传递的特征图，本发明提出一种空洞故障瓶颈模块DFB。DFB主路径与FBM相同，都采用了1×1，3×3，1×1连续卷积降低计算量与网络参数。而在快捷路径中，DFB加入了连续的膨胀卷积(dilated convolution)来增加感受野。DFB将顶层C5特征图与快捷路径获取的大感受野特征图相加，输入到后续网络中，大幅提高了检测精度。
参见图3，空洞故障瓶颈模块DFB包括2个1×1的卷积层(Conv 1×1)，1个3×3的卷积层(Conv 3×3)，激活函数层(ReLU)以及快捷路径中的膨胀卷积层(Dilated Conv)。将FEA1的输出输入到DFB后，依次设置第一个卷积层Conv 1×1，激活函数层ReLU，卷积层Conv3×3，激活函数层ReLU，第二个卷积层Conv 1×1，并在第一个卷积层之后增加连续的膨胀卷积获得更大的感受野，将膨胀卷积层的输出与第二个卷积层的输出Fout相加，得到DFB的输出。
具体地，实施例中由轻量化骨干网络提取出不同尺度的特征图C3，C4，C5后，对提取出的特征进行融合。将骨干网络提取的不同尺度的特征图C3，C4，C5输入到FEA中，由FEA进行通道数的调整，并通过对特征图的升维、降维操作实现对通道间相互依赖性的建模。将顶层FEA模块的输出经过上采样后与下层FEA模块的输出相加作为FBM模块的输入，并在上采样操作部分增加一条快捷路径与FBM的主路径进行特征图的相加作为FBM的输出。其中FBM的主路径使用1×1，3×3，1×1的连续卷积代替传统的3×3卷积降低计算量与网络参数。另外，由于顶层没有传递的特征图，所以在DFB中增加连续的膨胀卷积来获取更大的感受野，将顶层FEA模块的输出特征图与快捷路径获取的大感受野特征图相加，使上层带有丰富语义信息的特征图能直接参与到后续网络处理中，提高网络精度。
参见图4，实施例中具体的特征融合处理过程如下：
1)首先将不同尺度的特征图C3，C4，C5分别输入到FFP的第一故障增强注意力模块FEA1，第二故障增强注意力模块FEA2，第三故障增强注意力模块FEA3模块中，在相应FEA模块中，分别使用1×1的卷积将C3，C4，C5层的通道数调整为256，保证后续进行特征融合操作时不同层的特征图的通道数一致，并且为后续横向连接提供了缓冲，防止梯度直接影响网络性能。通过全局平均池化操作(GAP)得到1×1×256的特征图，使用GAP替代全连接层，从而减少参数量和计算量，降低过拟合的风险，且GAP能获取更多的空间信息，更好地适应空间变换。然后对特征图进行升维和降维操作来拟合通道之间的复杂相关性，对通道之间的相互依赖性进行建模，从而获取不同通道具有不同权重的特征图。FEA可以表示为：FEA＝f(g(x),x)＝g(x)·x，其中，g(x)是输入x的变换函数，f(g(x),x)是输入x的输出函数。
再将处理后的特征图和原始特征图一起添加到Sigmoid激活函数后输出。对g(x)可以进行如下的计算：g(x)＝Sigmoid(MLP(GAP(x)))，其中MLP()是多层感知机，这里指全连接层的操作。
输出y则可以表示为：
y＝σ{W1δ[W0·GAP(x)]}·x
其中σ()是Sigmoid函数，δ()是ReLU函数，W0和W1分别是多层感知机(MLP)权重。
2)将FEA2和FEA3处理后的C4，C3与上层上采样后得到的特征进行融合，即FEA2处理后的C4与对FEA1输出上采样后得到的特征进行融合，然后输入第一故障瓶颈模块FBM1。另外此融合后的特征经过上采样之后再输入到下层与FEA3处理后的C3进行融合，然后输入第二故障瓶颈模块FBM2。上采样操作将经过卷积的特征图放大到下层图像的大小后进行输出，将更丰富的语义信息传到下层，并与下层特征进行融合。融合后的特征分别输入到第一故障瓶颈模块FBM1和第二故障瓶颈模块FBM2中后，每个FBM模块中使用1×1，3×3，1×1的连续卷积代替传统的3×3卷积，第一个1×1卷积将通道数从256调整为16，最后一个1×1卷积将通道从16调整为256，显著地减少了模型参数的数量。FBM的加入使模型大小降低了21％，网络的参数量仅有原来的1/56，并提高了检测精度。另外，在上采样部分增加一条快捷路径，将快捷路径输出的特征与FBM输出的特征进行融合，使上层带有丰富语义信息的特征图能够直接参与到后续网络处理中，提升网络性能。具体地，对FEA1输出上采样后得到的特征经快捷路径与第一故障瓶颈模块FBM1融合，输出的特征记为P4；对上层融合特征上采样后得到的特征经快捷路径与第二故障瓶颈模块FBM2融合，输出的特征记为P3。
3)DFB主路径与FBM相同，都采用了1×1，3×3，1×1的连续卷积来降低计算量与网络参数。而在快捷路径中，DFB加入了连续的膨胀卷积来增加感受野。DFB模块内将顶层C5特征图与快捷路径(dilated conv)获取的大感受野特征图相加，输入到后续网络中，大幅提高了检测精度。
其中第i层膨胀卷积中的非零元素之间的最大距离Li满足混合膨胀卷积定义：
Li＝max[Li+1-2di,2di-Li+1,di]
其中di是第i层的膨胀率，为了避免栅格效应，膨胀卷积的膨胀率依次设置为1，2和5的锯齿状结构，故相应有三层，i设置为0，1，2；Li+1是第i+1层膨胀卷积中的非零元素之间的最大距离。而锯齿状结构本身的性质就比较好的来同时满足小物体大物体的分割要求(小膨胀率与近距离信息相关，大膨胀率与远距离信息相关)。
步骤4：通过检测头(Heads)对故障进行定位和分类，然后使用多个损失函数来训练提出的实时端到端视觉检测器。所述实时端到端视觉检测器由依次设置的骨干网络、故障特征金字塔FFP和检测头构成，其中骨干网络参见步骤2，故障特征金字塔FFP参见步骤3。
具体地，本发明使用FCOS检测头对特征信息进行回归、定位和分类。同时，为了避免在后处理中使用NMS，额外增加计算成本，本发明在计算定位损失的同时额外加入分类损失的计算，使网络在推理阶段产生一对一的预测，实现端到端检测。
将提取出的融合特征送入检测头，利用步骤1中制作的数据库并使用定位损失函数L1loss和GIoU loss以及新加入的分类损失函数Focal loss对本发明提出的实时列车故障检测框架进行训练。
L1 loss用于计算所有地面真值和预测值之间差值的绝对值之和，其中ytrue是地面真值，ypredicted是预测值，其中n指数据集中的图像数量，i为其中任一元素，损失函数定义如下：
GIoU loss是IoU loss(Intersection over Union)的改进，GIoU loss不仅关注重叠区域，还关注其他非重叠区域。其中Ac表示预测框和地面真值标签之间最小边界矩形的面积，U表示预测框和地面真值标签之间的并集面积，IoU是预测框和真实框的交集和并集的比值。损失函数定义如下：
Focal loss是新加入的用于分类的损失函数，其中x是地面真值，y为预测值，α和β为平衡系数，分别设置为0.25和2。损失函数定义如下：
损失函数计算方式如下：
Loss＝λcls×Lcls+λL1×LL1+λGIoU×LGIoU
其中，LL1和LGIoU是用于定位的L1和GIoU损失函数，Lcls则是新加入的用于分类的Focal损失函数。λcls，λL1，λGIoU是相应损失函数的权重系数。
步骤5：图像故障识别，通过步骤4中训练好的实时端到端视觉检测器对待检测的图像进行故障识别。
具体地，检测列车制动系统故障的方法为将输入图片输入到训练好的实时端到端视觉检测器之后，将会产生唯一且确定的检测结果。若经过上述所有步骤后可以定位出目标区域，则制动系统出现故障；反之，未定位出目标区域，则制动系统未出现故障。
具体实施时，可以首先对待检测的图像进行和训练阶段一致的预处理操作，将待检测的图像送入训练好的实时端到端视觉检测器并定位目标区域，通过最终的定位结果来判断列车制动系统是否存在故障。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种列车制动系统故障图像的端到端实时检测系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种列车制动系统故障图像的端到端实时检测方法。
在一些可能的实施例中，提供一种列车制动系统故障图像的端到端实时检测系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种列车制动系统故障图像的端到端实时检测方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种列车制动系统故障图像的端到端实时检测方法，其特征在于：包括以下步骤，
步骤1，采集列车制动系统图像并制作带有标注的训练图像数据库；
步骤2，通过骨干网络提取训练图像的多尺度特征；
步骤3，通过故障特征金字塔FFP对多尺度特征进行特征融合，所述故障特征金字塔结构FFP包括故障增强注意力模块FEA、故障瓶颈模块FBM和空洞故障瓶颈模块DFB；
在所述故障特征金字塔结构FFP中，
将骨干网络提取的不同尺度的特征图分别输入到相应故障增强注意力模块FEA中，由故障增强注意力模块FEA进行通道数的调整，实现对通道间相互依赖性的建模，包括处理骨干网络提取的不同尺度的特征图，FEA通过对特征图的升维和降维操作实现对通道间相互依赖性的建模，获取不同通道具有不同权重的特征图，进而使后续网络更加关注高权重的通道；将顶层相应故障增强注意力模块FEA的输出经过上采样后与下层故障增强注意力模块FEA的输出相加，作为相应故障瓶颈模块FBM输入，并在上采样操作部分增加一条快捷路径与相应故障瓶颈模块FBM的主路径进行特征图的相加，作为故障瓶颈模块FBM的输出；
在顶层设置空洞故障瓶颈模块DFB，空洞故障瓶颈模块DFB中增加连续的膨胀卷积来获取更大的感受野，将顶层故障增强注意力模块FEA的输出特征图与获取的大感受野特征图相加；
步骤4，根据步骤3所得融合特征结果，通过检测头对故障进行定位和分类，然后使用损失函数训练实时端到端视觉检测器；所述实时端到端视觉检测器由依次设置的骨干网络、故障特征金字塔FFP和检测头构成；
步骤5，图像故障识别，通过步骤4中训练好的实时端到端视觉检测器对待检测的图像进行故障识别。
2.根据权利要求1所述一种列车制动系统故障图像的端到端实时检测方法，其特征在于：步骤1实现方式为，采用轨边图像采集设备实时拍摄列车制动系统图像，将采集的图像分为故障图像和非故障图像，并分开存储；对采集的图像中待检测的目标区域进行标注，制成列车制动系统故障数据库。
3.根据权利要求1所述一种列车制动系统故障图像的端到端实时检测方法，其特征在于：步骤2选择轻量级骨干网络进行图像特征提取。
4.根据权利要求1所述一种列车制动系统故障图像的端到端实时检测方法，其特征在于：所述故障瓶颈模块FBM用于特征融合，使用1×1、3×3和1×1的连续卷积，并增加一条快捷路径使上层带有丰富语义信息的特征图能直接参与到后续网络处理中。
5.根据权利要求4所述一种列车制动系统故障图像的端到端实时检测方法，其特征在于：所述空洞故障瓶颈模块DFB用于顶层没有上层传递的特征图情况，使用1×1、3×3和1×1的连续卷积，在快捷路径中加入了连续的膨胀卷积来增加感受野。
6.根据权利要求1或2或3或4或5所述一种列车制动系统故障图像的端到端实时检测方法，其特征在于：使用损失函数训练实时端到端视觉检测器时，综合采用定位损失函数L1loss和GIoUloss，以及分类损失函数Focal loss。
CN202210548162.3A 2022-05-18 2022-05-18 列车制动系统故障图像的端到端实时检测方法 Active CN114882336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210548162.3A CN114882336B (zh) 2022-05-18 2022-05-18 列车制动系统故障图像的端到端实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210548162.3A CN114882336B (zh) 2022-05-18 2022-05-18 列车制动系统故障图像的端到端实时检测方法

Publications (2)

Publication Number Publication Date
CN114882336A CN114882336A (zh) 2022-08-09
CN114882336B true CN114882336B (zh) 2024-04-26

Family

ID=82677755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210548162.3A Active CN114882336B (zh) 2022-05-18 2022-05-18 列车制动系统故障图像的端到端实时检测方法

Country Status (1)

Country Link
CN (1) CN114882336B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994253B (zh) * 2024-04-03 2024-06-11 国网山东省电力公司东营供电公司 一种高压配电线路接地故障识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069975A (zh) * 2018-12-25 2019-07-30 国网河北省电力有限公司电力科学研究院 一种基于神经网络的导线开股识别方法及系统
KR102020476B1 (ko) * 2018-11-14 2019-09-10 가천대학교 산학협력단 다중감각을 활용한 주의집중력 강화 시스템
CN111458148A (zh) * 2020-04-26 2020-07-28 上海电机学院 一种基于cbam的卷积神经网络滚动轴承故障诊断方法
CN113569672A (zh) * 2021-07-16 2021-10-29 国网电力科学研究院有限公司 轻量级目标检测与故障识别方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020476B1 (ko) * 2018-11-14 2019-09-10 가천대학교 산학협력단 다중감각을 활용한 주의집중력 강화 시스템
CN110069975A (zh) * 2018-12-25 2019-07-30 国网河北省电力有限公司电力科学研究院 一种基于神经网络的导线开股识别方法及系统
CN111458148A (zh) * 2020-04-26 2020-07-28 上海电机学院 一种基于cbam的卷积神经网络滚动轴承故障诊断方法
CN113569672A (zh) * 2021-07-16 2021-10-29 国网电力科学研究院有限公司 轻量级目标检测与故障识别方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Lightweight NMS-Free Framework for Real-Time Visual Fault Detection System of Freight Trains;guodong sun;IEEE Transactions on Insrumentation and Measurement;20220531;第71卷;第1-11页 *
基于改进型YOLO v3的网络变压器缺陷检测研究;黄化入;《硕士电子期刊》;20220228;第1-78页 *

Also Published As

Publication number Publication date
CN114882336A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
WO2023056889A1 (zh) 模型训练和场景识别方法、装置、设备及介质
CN114627360B (zh) 基于级联检测模型的变电站设备缺陷识别方法
He et al. Rail transit obstacle detection based on improved CNN
CN113486726A (zh) 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN102332089B (zh) 一种基于人工神经网络的铁路货车闸瓦钎窜出故障识别方法
CN115862066A (zh) 一种改进YOLOv5的轻量化社区场景下行人检测方法
WO2024060605A1 (zh) 基于改进YOLOv5的多任务全景驾驶感知方法与系统
CN114882336B (zh) 列车制动系统故障图像的端到端实时检测方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN117037119A (zh) 基于改进YOLOv8的道路目标检测方法及系统
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN112560828A (zh) 一种轻量级口罩人脸识别方法、系统、存储介质及设备
CN110532937A (zh) 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN114782298A (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN117671647B (zh) 一种多任务道路场景感知方法
CN114049561A (zh) 一种船舶目标检测模型及方法
CN117975377A (zh) 一种高精度车辆检测方法
CN116229424A (zh) 基于改进YOLO v3的智能网联汽车行人检测方法
CN117314898B (zh) 一种多阶段列车轨边零部件检测方法
TWI823819B (zh) 行車輔助系統及行車輔助運算方法
CN116883956A (zh) 适于夜间高速公路监控场景的车辆目标检测方法
CN118587622A (zh) 一种基于无人机平台的轻量化目标检测方法及系统
CN117218335A (zh) 基于改进yolov5的交通标志检测算法
Yang et al. Detection and Recognition of Road Information and Lanes Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant