CN115527207B - 基于深度神经网络的列车闸调器控制杆螺母故障检测方法 - Google Patents

基于深度神经网络的列车闸调器控制杆螺母故障检测方法 Download PDF

Info

Publication number
CN115527207B
CN115527207B CN202211267037.1A CN202211267037A CN115527207B CN 115527207 B CN115527207 B CN 115527207B CN 202211267037 A CN202211267037 A CN 202211267037A CN 115527207 B CN115527207 B CN 115527207B
Authority
CN
China
Prior art keywords
box
pixel
feature
train brake
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211267037.1A
Other languages
English (en)
Other versions
CN115527207A (zh
Inventor
马金涛
马凌宇
秦昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202211267037.1A priority Critical patent/CN115527207B/zh
Publication of CN115527207A publication Critical patent/CN115527207A/zh
Application granted granted Critical
Publication of CN115527207B publication Critical patent/CN115527207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

基于深度神经网络的列车闸调器控制杆螺母故障检测方法，解决了现有检测器检测列车闸调器控制杆螺母故障效果差的问题，属于铁路列车故障检测领域。本发明包括：获取过车的铁路列车的图像，截取列车闸调器控制杆螺母图像，输入至故障检测模型中，获得检测结果；故障检测模型包括对象流分支、像素流分支和非极大值抑制模块，对象流分支对列车闸调器控制杆螺母的特征图像进行目标检测；像素流分支提取出特征图中的像素特征编码变量，根据像素特征编码变量对检测到的目标进行边界细化，再输入至非极大值抑制模块，输出列车闸调器控制杆螺母的分类信息和位置信息；如果没有检测到列车闸调器控制杆螺母，上传故障报文。

Description

基于深度神经网络的列车闸调器控制杆螺母故障检测方法
技术领域
本发明涉及一种基于深度神经网络的列车闸调器控制杆螺母故障检测方法，属于铁路列车故障检测领域。
背景技术
随着深度神经网络技术的发展和日益增长的工业需求，目标检测越来越受到人们的重视，并取得了显著的成绩。目标检测主要目标是精确的识别出感兴趣物体的类别，以及定位出在图像中具体位置。目标定位是指用一个矩形边界框标记出整个对象，在目标定位的过程中，边界框通常不能紧凑的标记整个对象。如，SSD目标检测网络使用的是基于Anchor的方法，检测器在目标定位时采用边界回归方法获得边界框，回归从Anchor到GT的偏移量。这种逐点回归的机制不能直接感知整个对象，导致定位误差。
在列车安全检测中，列车闸调器控制杆螺母故障检测是一个研究难点。列车闸调器控制杆螺母属于较小的部件。现有的目标检测网络主要关注大中型目标，然而由于列车闸调器控制杆螺母的尺寸相对较小，经过神经网络的下采样处理后，像素数目越来越少，导致提取的目标特征不明显，检测器的检测效果差。通过提高列车闸调器控制杆螺母的检测能力，将有助于目标检测技术在列车安全检测领域中的应用，进一步提高目标检测技术的实际应用价值。
发明内容
针对现有检测器检测列车闸调器控制杆螺母故障效果差的问题，本发明提供一种基于深度神经网络的列车闸调器控制杆螺母故障检测方法。
本发明提供一种基于深度神经网络的列车闸调器控制杆螺母故障检测方法，方法包括：
S1、获取过车的铁路列车的图像，截取列车闸调器控制杆螺母图像；
S2、将列车闸调器控制杆螺母图像输入至故障检测模型中，故障检测模型输出检测结果；
故障检测模型包括SSD特征提取网络、对象流分支、像素流分支和非极大值抑制模块，列车闸调器控制杆螺母图像输入至SSD特征提取网络，提取出特征图；
对象流分支用于对特征图进行目标检测，得到列车闸调器控制杆螺母的类别特征class、边界框特征box及Anchor特征编码；
像素流分支提取出特征图中的像素特征编码变量，根据像素特征编码变量对边界框特征box进行聚类，生成二进制掩码M，根据二进制掩码M对边界框特征box进行边界细化，得到细化后的边界框特征及类别特征class；
细化后的边界框特征及类别特征class输入至非极大值抑制模块，输出列车闸调器控制杆螺母的分类信息和位置信息；
S3、如果检测结果中没有检测到列车闸调器控制杆螺母，则图像为故障图像，上传故障报文，否则转入S1，获取下一张图像。
作为优选，故障检测模型包括SSD特征提取网络、Anchor-目标检测器、像素编码模块、聚类模块、上采样模块、边界细化模块和非极大值抑制模块；
列车闸调器控制杆螺母图像输入至SSD特征提取网络，提取出特征图，同时输入至Anchor-目标检测器和像素编码模块，
Anchor-目标检测器输出列车闸调器控制杆螺母的类别特征class、边界框特征box及像素xj的Anchor特征编码qj；
根据类别特征class、边界框特征box及Anchor特征编码qj获得classj、boxj、boxj、σj和centerj；
classj表示像素xj的物体的类别；boxj表示像素xj相对于边界框的四周的偏移量，σj表示像素xj处的pj和qj的固定边距；centerj代表该像素xj处包含物体的概率；
像素编码模块对输入的特征图进行处理，输出像素特征编码变量pj；
将所有预测特征图的像素xj的值分组为元组{classj，boxj，centerj，qj，σj}，输入至聚类模块；
聚类模块根据像素特征编码变量pj对元组进行聚类,生成二进制掩码M，得到信息A{classj，boxj，centerj，M}；
信息A输入至上采样模块，进行上采样后输出至边界细化模块；
Anchor-目标检测器输出的边界框特征box同时输入至边界细化模块，边界细化模块根据二进制掩码M对边界框特征box进行边界细化，细化后的边界框特征及{classj，boxj，centerj}及类别特征class输入至非极大值抑制模块，非极大值抑制模块输出列车闸调器控制杆螺母的分类信息和位置信息。
作为优选，类别特征class输入至像素类别提取模块提取出classj；边界框特征box输入至边界回归模块，提取boxj；
boxj输入至边距提取模块，得到σj；
Anchor特征编码pj输入至概率提取模块，得到centerj。
作为优选，二进制掩码M为：
Figure BDA0003893488020000031
作为优选，根据二进制掩码M对边界框特征box进行边界细化：
Figure BDA0003893488020000032
式中：x表示细化后边界，X表示边界框特征box中左边界水平坐标的离散变量；M'∈Rh×w表示M的前景通道；P(X＝i|M')表示掩码的后验概率。
作为优选，
Figure BDA0003893488020000033
式中：P(X＝i)表示掩码的先验概率；
P(M′|X＝i)表示掩码的似然概率；
w表示图像高度。
作为优选，SSD特征提取网络包括依次连接的卷积层4_3、VGG16网络、卷积层fc7、卷积层Conv6_2、卷积层Conv7_2、卷积层Conv8_2和卷积层Conv9_2、池化层和全连接层。
作为优选，对故障检测模型进行训练的样本数据集采用在铁路列车轨道周围搭设的成像设备收集到列车图像，使用labelImg标注软件进行类别标注，数据集标签为列车闸调器控制杆螺，通过对样本数据集中数据进行旋转、裁剪、加噪完成样本数据集的扩增。
本发明的有益效果，本发明为了为减小定位误差，在保证检测速度的前提下，引入像素级别的实例分割任务。本发明为一种包含对象流和像素流的双分支结构，根据实例分割任务生成的目标掩码直接获取边界框。对象流分支负责预测感兴趣对象的类别和边界框，像素流分支负责生成实例感知的像素掩码。将对象流生成的分类和定位特征引入到像素流中来弥补对象级别信息的不足。最终，基于实例感知的分割掩码生成对象的最小封闭边界框，完成目标定位任务。本发明通过改进SSD网络结构，解决了SSD目标检测对列车闸调器控制杆螺母故障检测不佳的问题，同时提高了SSD目标检测网络对目标的定位能力。
附图说明
图1和图2为采用现有SSD网络结构对列车闸调器控制杆螺母故障进行检测获得的类别信息和位置信息；
图3为本发明的检测模型的原理示意图；
图4为SSD特征提取网络的原理示意图；
图5和图6为本发明的检测模型对列车闸调器控制杆螺母故障进行检测获得的类别信息和位置信息。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
SSD网络使用VGG16作为基准网络，SSD网络采用FPN进行目标检测并利用不同输出层的大小不同的特征图进行检测，然后经过池化层和全连接层及检测器得到分类置信度和位置信息，最后合并每个输出层的检测结果，通过非极大值抑制模块NMS输出最终的分类和定位结果；
然而，在SSD基准网络的一系列卷积、池化之后，在第一个卷积层输出的检测特征图的大小比原始图像减小了1/8，导致检测目标的边缘和纹理等大部分细节丢失，而后续特征图的特征信息丢失的更多，尤其是对小目标的特征信息。在网络训练阶段，列车闸调器控制杆螺母故障特征信息的不足严重影响网络参数的学习，导致列车闸调器控制杆螺母故障检测精度低和定位不准确。如图1和图2展示了SSD目标检测网络的检测效果，可以看到SSD网络对列车闸调器控制杆螺母的漏检和定位上的偏差。
边界框是对象实例掩码的最小封闭矩形，因此，将目标定位转换为像素级别任务更为合理，即根据目标掩码直接获取边界框，更为直接、准确，小目标检测效果也更好。
实例分割使用目标检测技术检测感兴趣的对象，然后为每个感兴趣对象的每个像素标记特定的标签，即生成实例感知的像素类别。例如，Mask R-CNN遵循自上而下的两阶段分割范式，首先用边界框标记感兴趣的对象，然后为每个对象的像素标记类别掩码。这种掩码生成方式在很大程度上依赖于在目标检测阶段获得的边界框，并且容易受到其定位误差的影响。
另外一种实例分割方式是直接预测每个像素的特征，然后应用聚类过程对每个对象实例掩码进行分组。然而，这些方法的瓶颈是它们的聚类过程。例如，很难确定簇的数量或簇的中心位置，导致性能无法与基于边界框的方法进行比较。这些缺陷的根源主要在于对象级别信息的利用不足。
通过以上分析，采用边界回归方法获得边界框的方式会产生定位误差。
在实例分割任务中，目标检测阶段获得的对象边界框对生成实例感知的像素类别至关重要，同时也可以解决实例掩码聚类过程中难确定簇的中心位置的问题。
本实施方式的基于深度神经网络的列车闸调器控制杆螺母故障检测方法，包括：
步骤1、获取过车的铁路列车的图像，截取列车闸调器控制杆螺母图像；
步骤2、将列车闸调器控制杆螺母图像输入至故障检测模型中，故障检测模型输出检测结果；
故障检测模型包括SSD特征提取网络、对象流分支、像素流分支和非极大值抑制模块，列车闸调器控制杆螺母图像输入至SSD特征提取网络，提取出特征图；
对象流分支用于对特征图进行目标检测，得到列车闸调器控制杆螺母的类别特征class、边界框特征box及Anchor特征编码；
像素流分支提取出特征图中的像素特征编码变量，根据像素特征编码变量对边界框特征box进行聚类，生成二进制掩码M，根据二进制掩码M对边界框特征box进行边界细化，得到细化后的边界框特征及类别特征class；
细化后的边界框特征及类别特征class输入至非极大值抑制模块，输出列车闸调器控制杆螺母的分类信息和位置信息；
步骤3、如果检测结果中没有检测到列车闸调器控制杆螺母，则图像为故障图像，上传故障报文，否则转入步骤1，获取下一张图像。
本实施方式的故障检测模型设计了包含对象流和像素流的双分支结构。对象流分支负责预测感兴趣对象的类别和边界框，像素流分支负责生成实例感知的像素掩码。将对象流生成的分类和定位特征引入到像素流中来弥补对象级别信息的不足。最终，基于实例感知的分割掩码生成对象的最小封闭边界框，完成目标定位任务。对象流分支关注对象级别的信息，包括对象类别、位置等，它由各种基于回归的检测器形成。此外，在对象流分支添加了一个与分类和回归分支并行的新分支，以提取每个Anchor的对象特征，对象流分支负责生成检测结果，并将通过后续的像素级别信息进行细化。像素流分支关注像素级别信息，提取该流中每个像素的特征，然后使用对象级别信息生成实例掩码。
优选实施例中，如图3所示，故障检测模型包括SSD特征提取网络、Anchor-目标检测器、像素编码模块、聚类模块、上采样模块、边界细化模块和非极大值抑制模块；
列车闸调器控制杆螺母图像输入至SSD特征提取网络，提取出特征图，同时输入至Anchor-目标检测器和像素编码模块，
Anchor-目标检测器输出列车闸调器控制杆螺母的类别特征class、边界框特征box及像素xj的Anchor特征编码qj；
根据类别特征class、边界框特征box及Anchor特征编码qj获得classj、boxj、boxj、σj和centerj；
classj表示像素xj的物体的类别；boxj表示像素xj相对于边界框的四周的偏移量，σj表示像素xj处的pj和qj的固定边距；centerj代表该像素xj处包含物体的概率；
像素编码模块对输入的特征图进行处理，输出像素特征编码变量pj；
将所有预测特征图的像素xj的值分组为元组{classj，boxj，centerj，qj，σj}，输入至聚类模块；
聚类模块根据像素特征编码变量pj对元组进行聚类,生成二进制掩码M，得到信息A{classj，boxj，centerj，M}；
信息A输入至上采样模块，进行上采样后输出至边界细化模块；
Anchor-目标检测器输出的边界框特征box同时输入至边界细化模块，边界细化模块根据二进制掩码M对边界框特征box进行边界细化，细化后的边界框特征及{classj，boxj，centerj}及类别特征class输入至非极大值抑制模块，非极大值抑制模块输出列车闸调器控制杆螺母的分类信息和位置信息。
实例分割的目的是为每个像素分配一个实例感知类别。以前的基于分割的方法直接使用相似的特征编码对像素进行聚类来完成这项任务。然而，由于对象在二维图像平面中的数量和位置的不确定性，往往不能使用预定义的像素类别。本实施方式双分支结构采用像素特征编码和Anchor特征编码。Anchor特征编码表示实例的对象级别上下文特征，而像素特征编码表示图像上每个位置的像素级别上下文特征，它学习每个像素与相应实例之间的关系。在像素特征编码中，使用Anchor特征编码作为实例的聚类中心对像素进行聚类，避免了基于分割的方法中查找聚类中心位置和数量的困难。本实施方式使用双分支结构来学习像素特征编码、Anchor特征编码和Anchor边界框。在像素流分支中，计算像素特征编码变量pj。在对象流分支中，添加了一个与分类和回归分支并行的新分支，以提取每个Anchor的对象特征编码变量qj。在对象流边界回归输出后，添加边距提取模块(1×1的卷积层)，计算Anchor边界框变量σj。将所有预测特征图的同一位置xj的值分组为元组{classj，boxj，centerj，qj，σj}，其中classj代表该像素处的物体的类别，boxj代表该像素相对于框的四周的偏移量，centerj代表该像素处包含物体的概率。对于图像中的每个实例Anchor和每个像素，Anchor特征编码和像素特征编码之间的距离决定了该像素属于实例Anchor的掩码的可能性，并且Anchor边界为该可能性提供了一个明确的边界，以决定最终掩码。
优选实施例中，本实施方式的类别特征class输入至像素类别提取模块提取出classj；边界框特征box输入至边界回归模块，提取boxj；
boxj输入至边距提取模块，得到σj；
Anchor特征编码pj输入至概率提取模块，得到centerj。
在推断期间，Anchor特征编码和像素特征编码用于掩模生成。在经过非极大值抑制模块应用于{classj，boxj，centerj，qj，σj}的元组之后，使用这些元组作为参数获取一组实例Anchor Sk。优选实施例中，Sk的二进制掩码M为：
Figure BDA0003893488020000071
Qk表示Sk对应的qj；
在训练过程中，Sk表示每个GT实例，Qk表示每个GT实例的Anchor特征编码。如果像素xj属于Sk表示的GT掩码，则将像素特征编码pj和Anchor特征编码Qk更接近，否则将它们远离。为了对前景和背景的pi执行这种策略，采用铰链损失的策略：
Figure BDA0003893488020000072
式中：K表示GT的数目；Bk表示位于Sk的边界框内的像素特征编码；Nk表示Bk中像素特征编码的数量；
Figure BDA0003893488020000073
是一个指示函数，如果像素pj位于的GT中，则为1，否则为0；[x]+＝max(0,x)；σa和σb表示两种幅度差值，损失的第一项将像素特征编码pj和Anchor特征编码Qk之间的距离拉到边缘σa内，第二项将距离推到边缘σb外。
在训练期间，本专利算法使用可学习边距取代固定边距，可以优化像素特征编码pi和Anchor特征编码之间的距离。固定边距σa和σb需要手动设置，很难确定最佳值，对于多尺度对象的训练并不友好。从训练中学习灵活的边距σj，无需手动设置，使用高斯函数：
Figure BDA0003893488020000081
式中：φ(xi,Sk)表示像素xji属于实例Sk掩码的概率；∑k表示边距σj；将像素xi的像素特征编码pj和实例Sk的Anchor特征编码Qk之间的距离映射到范围为[0,1]的值中。当pj接近Qk时，φ(xj,Sk)为1，否则为0。预测的σj给出了每个实例Anchor的可学习边距。对于实例Sk，当φ(xj,Sk)应用于图像中的每个像素xj时，生成该实例的前景、背景概率图。它可以通过二元分类损失进行优化：
Figure BDA0003893488020000082
式中：L(·)表示一个二元分类损失函数，使用铰链损失来获得更好的性能；G(xj,Sk)表示像素xj的GT标签，用于判断它是否在Sk的掩码中，该掩码是二进制值。
像素级别信息有利于检测任务，特别是对于对象边界定位。本实施方式设计了边界细化模块(Mask Boundary Refinement Module,MBRB)，生成边界框时，将引入实例感知掩码信息以生成更精确的边界框。优选实施例中，边界细化模块根据二进制掩码M对边界框特征box进行边界细化：
Figure BDA0003893488020000083
边界回归的方式为边界框的生成提供了先验信息，用离散变量的方式表示边界框坐标。式中：x表示细化后边界，X表示边界框特征box中左边界水平坐标的离散变量；M'∈Rh ×w表示M的前景通道；P(X＝i|M')表示掩码的后验概率。
优选实施例中，
Figure BDA0003893488020000084
式中：P(X＝i)表示掩码的先验概率；
P(M′|X＝i)表示掩码的似然概率；
w表示图像高度。
Figure BDA0003893488020000091
式中：
Figure BDA0003893488020000092
s表示边界对其相邻像素的影响超参数；掩码的边缘通常很难确定，无法明确
Figure BDA0003893488020000093
公式，本专利首先使用尺寸为2s+1的一维卷积来估计，然后使用Sigmoid函数归一化；P(X＝i)使用高斯分布公式计算：
Figure BDA0003893488020000094
式中：α表示归一化指数；μ和σx表示：
μ＝xr,σx＝γwb
式中：wb表示BBox的宽度；xr表示边界框左边界的水平坐标；γ表示回归边界权重参数。
优选实施例中，本实施方式SSD特征提取网络包括依次连接的卷积层Conv4_3、VGG16网络、卷积层fc7、卷积层Conv6_2、卷积层Conv7_2、卷积层Conv8_2和卷积层Conv9_2、池化层和全连接层。
将VGG16的最后两个全连接层更改为卷积层后添加了四个卷积层，使其对尺度变化具有更强的鲁棒性。
优选实施例中，对故障检测模型进行训练的样本数据集采用在铁路列车轨道周围搭设的成像设备收集到列车图像，使用labelImg标注软件进行类别标注，数据集标签为列车闸调器控制杆螺，通过对样本数据集中数据进行旋转、裁剪、加噪完成样本数据集的扩增，数据扩增操作能够使后续检测网络的泛化能力增强，降低网络过拟合的概率。
本实施方式在SSD算法的基础上，通过对目标检测任务与实例分割任务的分析，发现边界框是对象掩码的最小闭合矩形，因此根据对象掩码直接获取边界框，更为直接和准确。在检测网络的基础上，设计了包含对象流和像素流的双分支结构。对象级别的目标检测任务利用实例分割的像素级别信息减少定位误差，提高了列车闸调器控制杆螺母检测的精度。实验结果表明，本实施方式改进的SSD算法提高了对列车闸调器控制杆螺母检测的效果。训练后，检测结果如下，对列车闸调器控制杆螺母识别效果得到明显增强。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他实施例中。

Claims (10)

1.基于深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，所述方法包括：
S1、获取过车的铁路列车的图像，截取列车闸调器控制杆螺母图像；
S2、将列车闸调器控制杆螺母图像输入至故障检测模型中，故障检测模型输出检测结果；
故障检测模型包括SSD特征提取网络、对象流分支、像素流分支和非极大值抑制模块，列车闸调器控制杆螺母图像输入至SSD特征提取网络，提取出特征图；
对象流分支用于对特征图进行目标检测，得到列车闸调器控制杆螺母的类别特征class1、边界框特征box及Anchor特征编码；
像素流分支提取出特征图中的像素特征编码变量，根据像素特征编码变量对元组{class1j，boxj，centerj，qj，σj}进行聚类，生成二进制掩码M，根据二进制掩码M对边界框特征box进行边界细化，得到细化后的边界框特征及类别特征class2；
class1j表示像素xj的物体的类别；boxj表示像素xj相对于边界框的四周的偏移量，σj表示像素xj处的像素特征编码变量pj和Anchor特征编码qj的固定边距；centerj代表该像素xj处包含物体的概率；
细化后的边界框特征及{class1j，boxj，centerj}及类别特征class2输入至非极大值抑制模块，输出列车闸调器控制杆螺母的分类信息和位置信息；
S3、如果检测结果中没有检测到列车闸调器控制杆螺母，则图像为故障图像，上传故障报文，否则转入S1，获取下一张图像。
2.根据权利要求1所述的深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，所述故障检测模型包括SSD特征提取网络、Anchor-目标检测器、像素编码模块、聚类模块、上采样模块、边界细化模块和非极大值抑制模块；
列车闸调器控制杆螺母图像输入至SSD特征提取网络，提取出特征图，同时输入至Anchor-目标检测器和像素编码模块，
Anchor-目标检测器输出列车闸调器控制杆螺母的类别特征class1、边界框特征box及像素xj的Anchor特征编码qj；
根据类别特征class1、边界框特征box及Anchor特征编码qj获得class1j、boxj、σj和centerj；
像素编码模块对输入的特征图进行处理，输出像素特征编码变量pj；
将所有预测特征图的像素xj的值分组为元组{class1j，boxj，centerj，qj，σj}，输入至聚类模块；
聚类模块根据像素特征编码变量pj对元组进行聚类,生成二进制掩码M，得到信息A{class1j，boxj，centerj，M}；
信息A输入至上采样模块，进行上采样后输出至边界细化模块；
Anchor-目标检测器输出的边界框特征box同时输入至边界细化模块，边界细化模块根据二进制掩码M对边界框特征box进行边界细化，细化后的边界框特征及{class1j，boxj，centerj}及类别特征class2输入至非极大值抑制模块，非极大值抑制模块输出列车闸调器控制杆螺母的分类信息和位置信息。
3.根据权利要求2所述的深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，所述类别特征class1输入至像素类别提取模块提取出class1j；边界框特征box输入至边界回归模块，提取boxj；
boxj输入至边距提取模块，得到σj；
Anchor特征编码pj输入至概率提取模块，得到centerj。
4.根据权利要求2所述的深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，二进制掩码M为：
Figure FDA0004129283840000021
5.根据权利要求2所述的深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，根据二进制掩码M对边界框特征box进行边界细化：
Figure FDA0004129283840000022
式中：x表示细化后边界，X表示边界框特征box中左边界水平坐标的离散变量；M'∈Rh×w表示M的前景通道；P(X＝i|M')表示掩码的后验概率。
6.根据权利要求5所述的深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，
Figure FDA0004129283840000023
式中：P(X＝i)表示掩码的先验概率；
P(M′|X＝i)表示掩码的似然概率；
h表示图像高度。
7.根据权利要求1所述的深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，所述SSD特征提取网络包括依次连接的卷积层Conv4_3、VGG16网络、卷积层fc7、卷积层Conv6_2、卷积层Conv7_2、卷积层Conv8_2和卷积层Conv9_2、池化层和全连接层。
8.根据权利要求1所述的深度神经网络的列车闸调器控制杆螺母故障检测方法，其特征在于，对故障检测模型进行训练的样本数据集采用在铁路列车轨道周围搭设的成像设备收集到列车图像，使用labelImg标注软件进行类别标注，数据集标签为列车闸调器控制杆螺，通过对样本数据集中数据进行旋转、裁剪、加噪完成样本数据集的扩增。
9.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8任一所基于深度神经网络的列车闸调器控制杆螺母故障检测方法。
10.一种闸调器控制杆圆销和圆销开口销丢失检测装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至8任一所述基于深度神经网络的列车闸调器控制杆螺母故障检测方法。
CN202211267037.1A 2022-10-17 2022-10-17 基于深度神经网络的列车闸调器控制杆螺母故障检测方法 Active CN115527207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211267037.1A CN115527207B (zh) 2022-10-17 2022-10-17 基于深度神经网络的列车闸调器控制杆螺母故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211267037.1A CN115527207B (zh) 2022-10-17 2022-10-17 基于深度神经网络的列车闸调器控制杆螺母故障检测方法

Publications (2)

Publication Number Publication Date
CN115527207A CN115527207A (zh) 2022-12-27
CN115527207B true CN115527207B (zh) 2023-04-28

Family

ID=84701237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211267037.1A Active CN115527207B (zh) 2022-10-17 2022-10-17 基于深度神经网络的列车闸调器控制杆螺母故障检测方法

Country Status (1)

Country Link
CN (1) CN115527207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071423A (zh) * 2023-02-09 2023-05-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车闸调器部件定位方法、系统及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146943B (zh) * 2018-08-03 2019-12-03 百度在线网络技术（北京）有限公司 静止物体的检测方法、装置及电子设备
CN111754513B (zh) * 2020-08-07 2024-03-22 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN112258483B (zh) * 2020-10-23 2021-07-06 哈尔滨市科佳通用机电股份有限公司 一种钩尾销插托错位和螺母丢失故障检测方法

Also Published As

Publication number Publication date
CN115527207A (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
Islam et al. Revisiting salient object detection: Simultaneous detection, ranking, and subitizing of multiple salient objects
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN109255776B (zh) 一种输电线路开口销缺损自动识别方法
CN114841972B (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN115527207B (zh) 基于深度神经网络的列车闸调器控制杆螺母故障检测方法
CN117079276B (zh) 一种基于知识蒸馏的语义分割方法、系统、设备及介质
CN113920494A (zh) 一种基于transformer的车牌字符识别方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN111898754A (zh) 一种神经网络模型的训练方法、装置、存储介质及设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114882204A (zh) 船名自动识别方法
CN109523570A (zh) 运动参数计算方法及装置
CN116935394B (zh) 一种基于PSENet区域分割的列车车厢号定位方法
Yamaguchi et al. Road crack detection interpreting background images by convolutional neural networks and a self‐organizing map
Das et al. Object Detection on Scene Images: A Novel Approach
CN113269171B (zh) 车道线检测方法、电子设备及车辆
CN116912872A (zh) 图纸识别方法、装置、设备及可读存储介质
CN116091887A (zh) 基于弱监督的目标检测模型训练方法及装置
Kaur et al. Text Extraction from Natural Scene using PCA.
CN102999763A (zh) 基于尺度选择的自顶向下的视觉显著性提取方法
Wu et al. Top-K Pooling with Patch Contrastive Learning for Weakly-Supervised Semantic Segmentation
CN113781475A (zh) 热红外图像显著人体目标检测方法及系统
CN117893934B (zh) 一种改进的UNet3+网络无人机影像铁路轨道线检测方法与装置
CN117475262B (zh) 图像生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant