CN114399672A - 一种基于深度学习的铁路货车闸瓦故障检测方法 - Google Patents

一种基于深度学习的铁路货车闸瓦故障检测方法 Download PDF

Info

Publication number
CN114399672A
CN114399672A CN202210041780.9A CN202210041780A CN114399672A CN 114399672 A CN114399672 A CN 114399672A CN 202210041780 A CN202210041780 A CN 202210041780A CN 114399672 A CN114399672 A CN 114399672A
Authority
CN
China
Prior art keywords
fault
network
brake shoe
training
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210041780.9A
Other languages
English (en)
Inventor
杨绿溪
张颀
步兆军
徐琴珍
俞菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210041780.9A priority Critical patent/CN114399672A/zh
Publication of CN114399672A publication Critical patent/CN114399672A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61H—BRAKES OR OTHER RETARDING DEVICES SPECIALLY ADAPTED FOR RAIL VEHICLES; ARRANGEMENT OR DISPOSITION THEREOF IN RAIL VEHICLES
    • B61H1/00—Applications or arrangements of brakes with a braking member or members co-operating with the periphery of the wheel rim, a drum, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的铁路货车闸瓦故障检测方法，包括以下步骤：采集待检测的列车图像；构建闸瓦故障数据集：故障数据集分为训练集、验证集和测试集；使用深度学习技术，构建目标检测及故障识别网络；在公开数据集上对所述目标检测及故障识别网络进行预训练，优化网络参数作为最终的算法模型；将算法模型应用于铁路货车中对闸瓦故障进行检测。与传统的铁路货车闸瓦故障检测算法相比，本发明可以克服图片光照条件、拍摄角度等问题，拥有较高的鲁棒性和准确度；同时本发明通过对抗训练的方法和Fusion结构的改进，仅使用单阶段目标检测的方法即可将故障准确的识别与定位，兼顾了检测的实时性和准确度，减少检测人员劳动强度。

Description

一种基于深度学习的铁路货车闸瓦故障检测方法
技术领域
本发明涉及故障检测技术领域，具体涉及一种基于深度学习的铁路货车闸瓦故障检测方法。
背景技术
传统的铁路货车闸瓦故障检测，大多数依赖人工查看过车图像的方法进行故障检测，存在着检测效率低，人工成本高的问题，同时这种方法依赖于检车人员经验，长时间的肉眼检测一方面会导致检车人员疲劳，另一方面存在漏检与误检的隐患。使用计算机辅助的故障自动检测方法可以减轻检车人员的工作量，提高检测的效率与准确率。
传统的计算机辅助的铁路货车故障检测方法依赖于经典的机器学习及图像处理方法。如利用边缘提取、霍夫变换等图像处理方法提取相应零部件的几何特征，然后根据几何特征的变化来判断零部件故障与否；或是利用模板匹配的方法，对铁路货车图像进行匹配以判断是否出现故障。但是这些传统的方法存在诸多弊端，例如容易受光线条件、拍摄角度的影响，同时检测效率低下，准确度不高，满足不了检测的实时性。
发明内容
发明目的：针对目前铁路货车闸瓦故障检测依赖人工、成本高，传统计算机辅助的检测方法效率低、准确率低的问题，提出了一种基于深度学习的铁路货车闸瓦故障检测方法，可以大幅度提高检测的准确率和效率，降低人工的劳动强度。
技术方案：本发明为实现上述目的采用如下的技术方案：一种基于yolo的铁路货车闸瓦故障检测方法，具体包括：
S1：采集待检测的列车图像：在铁路轨道两侧和底部布置高速高清照相机，当列车经过时高速相机对列车进行抓拍，获取到铁路货车不同部位的高清照片；
S2：构建闸瓦故障数据集：对获取到的照片进行筛选，保留包含闸瓦部位的图像，对闸瓦部位图像进行人工标注，构建闸瓦故障数据集，将所述故障数据集分为训练集、验证集和测试集；
S3：使用深度学习技术，构建目标检测及故障识别网络；
S4：在公开数据集上对所述目标检测及故障识别网络进行预训练，优化网络参数作为最终的算法模型；
S5：将算法模型应用于铁路货车中对闸瓦故障进行检测。
优选的，步骤S2中所述闸瓦故障数据集获取的方法包括，在高清摄像机进行抓拍后，通过照片的位置信息，将包含有闸瓦部位的图像筛选出；对包含闸瓦部位的图片进行人工标注，标注时使用矩形框将闸瓦部位完整框出，并根据闸瓦部位是否有故障打上对应的标签。
优选的，在标注故障样本时，筛选同等数量的正常样本进行标注，正常样本与故障样本的标注框保持一致。
优选的，步骤S3中所述目标检测及故障识别网络采用yolo样式，分为特征提取网络Backbone、多尺度特征融合网络Neck和目标检测头网络Head；通过Backbone，将一个输入的RGB三通道图片转化为包含多语义信息表示的特征图，送入到多尺度特征融合网络Neck中，多尺度特征融合网络Neck采用FPN+PAN的结构，将Backbone提取出的不同阶段的特征进行融合，并输送给Head网络用于目标检测定位；
特征提取网络Backbone包括Focus模块、降采样模块和CSP模块，Focus模块将输入的图片等间距采样成四个子图，将四个子图拼接成新的图片，新的图片尺寸降为原来的一半，通道数变为原来的4倍；降采样模块通过卷积操作对特征图进行降采样，减小特征图尺寸，同时改变特征图的通道数；CSP模块通过卷积操作对降采样后的特征图进行特征提取，从低阶的特征图中提取出包含多语义信息的高阶特征；
多尺度特征融合网络Neck采用FPN+PAN的结构，将Backbone提取出的包含多语义信息的高阶特征进行Fusion方式融合，将融合后的特征图输送给Head网络用于目标检测定位；Fusion将两路不同阶段的特征图打乱拼接后，再将组会后的特征图分为三路，两路通过卷积、批归一化后相加，一路全局池化以后经过一个1x1卷积和Sigmoid激活函数转化为通道权重，乘到前面两路之和上；将特征图上采样或降采样至同一尺寸；通过卷积操作将特征图通道数转化为相同数量；将两组尺寸、通道数都相同的特征图直接叠加以进行融合，或是将两组特征图按通道维度拼接，然后经过一组卷积操作进行融合；
检测头网络Head根据Neck网络输出的特征图，通过卷积操作将特征图转化成检测目标的位置、类别、置信度等信息，其输出为anchors*((bbox+1)+classes)，其中anchors代表每个区域候选框的个数，这里选取3；bbox代表目标边界框的坐标信息，为4；classes为目标的类别数，通过Head网络将不同尺度的候选区域的候选目标输出，然后使用NMS方法进行筛选，保留最可靠的检测目标作为检测结果。
优选的，步骤S4首先在公开数据集VOC2017上进行预训练操作，训练300个epoch之后保存网络参数；更改目标检测及故障识别网络的Head网络，加载保存的网络参数，并在步骤S2中建立的铁路货车闸瓦故障数据集上训练200个epoch，每个epoch训练完成后通过验证集进行验证，使用mAP作为网络衡量指标，记录每个epoch后网络的效果，最终保留效果最好的网络，作为闸瓦故障检测的算法模型；其中，mAP指meanAveragePricision，即各类别AP的平均值，AP指PR曲线下面积，PR曲线通过查准率
Figure BDA0003470567250000041
Figure BDA0003470567250000042
和查全率
Figure BDA0003470567250000043
计算；
优选的，在进行预训练操作前对数据进行预处理，首先对数据进行增广操作，包括随机水平翻转、随机垂直翻转、随机拉伸变换、随机亮度、对比度变换，同时采用mosaic数据增强方式，将四张图片随机放缩、裁剪组合成一张图片，然后将图片变换为统一尺寸，使用ImageNet数据库均值对图片的RGB三通道进行归一化；将训练集中所有的边界框大小提取出，进行聚类计算，在每个尺度上设置3个大小不同的anchor；
将预处理好的图片送入目标检测及故障识别网络进行预训练，使用带有动量的随机梯度下降优化器(SGDM)对目标检测及故障识别网络进行优化，动量设置为0.98；初始学习率为0.01，使用warmup策略进行训练，学习率采用余弦衰减学习率，随着训练动态变化；
目标检测及故障识别网络输出的损失可以分为三个部分L＝liou+lobj+lcls，lobj表示是否包含目标的损失，lcls表示目标的分类损失，liou为边界框回归损失；lcls与lobj采用交叉熵损失，liou使用CIoU，公式为：
Figure BDA0003470567250000051
其中α为权重函数，v用来衡量边界框形状的相似性，定义为
Figure BDA0003470567250000052
Figure BDA0003470567250000053
有益效果：与传统的铁路货车闸瓦故障检测算法相比，本发明可以克服图片光照条件、拍摄角度等问题，拥有较高的鲁棒性和准确度；同时本发明通过对抗训练的方法和Fusion结构的改进，仅使用单阶段目标检测的方法即可将故障准确的识别与定位，兼顾了检测的实时性和准确度，可以大幅减少检测人员的劳动强度。
附图说明
图1是本发明的算法流程图；
图2是本发明所用算法的网络结构图；
图3是本发明网络结构中CBL结构示意图；
图4是本发明网络结构中CSP模块结构示意图；
图5是本发明网络结构中Fusion结构示意图。
具体实施方式
下面结合附图和具体的实施方式对本发明做进一步说明。
如图1所示，本发明传统计算机辅助的铁路货车闸瓦故障检测方法效率低、准确率低的问题，提出了一种基于深度学习的铁路货车闸瓦故障检测方法，可以大幅度提高检测的准确率和效率，降低人工的劳动强度。具体包括如下步骤：
步骤S1：采集待检测的列车图像。在铁路轨道两侧和底部布置高速高清照相机，当列车经过时高速相机对列车进行抓拍，可以获取到铁路货车不同部位的高清图片。
步骤S2：对获取到的图像进行筛选，保留包含闸瓦部位的图像。对闸瓦部位图像进行人工标注，构建闸瓦故障数据集，包括训练集、验证集和测试集。在标注数据时，本发明使用对抗样本的方法进行标注，使得网络可以学习到细微的故障信息。
步骤S21：在高清摄像机进行抓拍后，通过照片的位置信息，将包含有闸瓦部位的图像筛选出。
步骤S22：对包含闸瓦部位的图片进行人工标注。标注时使用矩形框将闸瓦部位完整框出，并根据闸瓦部位是否有故障打上对应的标签。
步骤S23：本发明采用对抗样本的方法进行标注，在标记故障样本时，筛选同等数量的正常样本进行标注，正常样本与故障样本的标注框尽量一致，使网络可以学习到两者的差别，从而能正确的识别出故障。
步骤S3：使用深度学习技术，构建目标检测及故障识别网络。如图3所示，网络整体采用yolo样式，分为特征提取网络Backbone、多尺度特征融合网络Neck和目标检测头网络Head。本发明中，在Neck多尺度特征融合阶段，使用Fusion方式代替原本的Concat，使得不同尺度的特征更好的融合，提升了检测的准确率。
步骤S31：Backbone由Focus模块、降采样模块和CSP模块组成。Focus模块将输入的图片等间距采样成四个子图，将图片的尺寸降为原来的一半，而通道数变为原来的4倍；降采样模块通过卷积操作对特征图进行降采样，减小特征图尺寸，同时改变特征图的通道数；CSP模块主要是通过卷积操作对特征图进行特征提取，从低阶的特征图中提取出包含更多语义信息的高阶特征。通过Backbone，将一个输入的RGB三通道图片转化为包含诸多语义信息表示的特征图，送入到Neck网络中。
步骤S311：Focus模块通过对输入图片的等间距采样，一方面降低了图片的尺寸，减少了卷积的运算量；另一方面扩大了卷积的感受野，使得较小的卷积核也可以获取更多的空间信息。
步骤S312：如图3所示，降采样模块由卷积、批归一化和激活函数组成。可以很好的降低特征图的尺寸，同时改变特征图通道数，方便后续运算。其中激活函数采用GELU激活函数，公式为：GELU(x)＝xP(X≤x)＝xΦ(x)，平滑的激活函数可以使得网络更好的学习到有用信息。
步骤S313：特征提取主要通过CSP模块实现。如图4所示，CSP模块中包含若干个CBL模块，输入的特征图分为两路，一路经过若干个CBL模块进行特征提取，并且加入跳跃连接使网络更好的收敛；另一路只对特征图进行简单的卷积操作。这两路操作都不会改变特征图的通道数，然后将这两路得到的特征图进行拼接Concat操作，再经过CBL模块进行特征融合，更好的提取出输入特征图中的关键特征信息。CSP模块可以有效的增强CNN的学习能力，保持轻量化的同时保持准确性。
步骤S32：多尺度特征融合网络Neck采用FPN+PAN的结构，将Backbone提取出的不同阶段的特征进行融合，并输送给Head网络用于目标检测定位。这里通过FPN+PAN的方式，将不同尺度的特征融合后，最后输出感受野为8*8、16*16、32*32三个尺寸的特征图，分别用于检测图像中的小、中、大目标。
步骤S321：在FPN和PAN结构中，不同尺度的特征图的特征融合需要以下步骤：将特征图上采样或降采样至同一尺寸；通过卷积操作将特征图通道数转化为相同数量；将两组尺寸、通道数都相同的特征图直接叠加以进行融合，或是将两组特征图按通道维度拼接，然后经过一组卷积操作进行融合。
步骤S322：本发明中改进了不同尺度特征融合的方式，采用了一种Fusion的方式进行特征融合。如图5所示，Fusion将两路不同阶段的特征图打乱拼接后，再将组会后的特征图分为三路，两路通过卷积、批归一化后相加，一路全局池化以后经过一个1x1卷积和Sigmoid激活函数转化为通道权重，乘到前面两路之和上。通过Fusion模块给不同尺寸和通道的特征图赋予不同的权重，使得局部细节信息与全局语义信息更好的相结合。同时缩短了信息的传输距离，使得网络可以更好的学习到有效信息。
步骤S33：检测头网络Head负责根据Neck网络输出的特征图，将其转化成检测目标的位置、类别、置信度等信息，由若干的卷积操作组成。其输出为anchors*((bbox+1)+classes)，其中anchors代表每个区域候选框的个数，这里选取3；bbox代表目标边界框的坐标信息，为4；classes为目标的类别数。通过Head网络将不同尺度的候选区域的候选目标输出，然后使用NMS方法进行筛选，保留最可靠的检测目标作为检测结果。
步骤S4：首先在公开数据集VOC2017上进行预训练操作，训练300个epoch之后保存网络参数。更改网络的检测头网络Head，将保存的网络参数加载，并在步骤S2中建立的铁路货车闸瓦故障数据集上训练200个epoch。每个epoch训练完成后通过验证集进行验证，使用mAP作为网络衡量指标，记录每个epoch后网络的效果，最终保留效果最好的网络，作为闸瓦故障检测的算法模型。
步骤S41：对数据进行预处理，首先对数据进行增广操作，包括随机水平翻转、随机垂直翻转、随机拉伸变换、随机亮度、对比度变换等，以模拟在图片采集过程中由于摄像机设置而导致的拍摄角度、方位变换、摄像机拍摄过程中的畸变等，以及由于不同天气、时段带了的不同光线条件等。同时采用mosaic数据增强方式，将四张图片随机放缩、裁剪组合成一张图片，使得网络获得更好的泛化性能。然后将图片resize为统一尺寸，同时使用ImageNet均值对图片的RGB三通道进行归一化。
步骤S42：将训练集中所有的边界框大小提取出，进行聚类计算，在每个尺度上设置3个大小不同的anchor。
步骤S43：将步骤S41预处理好的图片送入网络进行训练。使用带有动量的随机梯度下降优化器(SGDM)对网络进行优化，动量设置为0.98；初始学习率为0.01，使用warmup策略进行训练，学习率采用余弦衰减学习率，随着训练动态变化；网络输出的损失可以分为三个部分L＝liou+lobj+lcls，lobj表示是否包含目标的损失，lcls表示目标的分类损失，liou为边界框回归损失。lcls与lobj采用交叉熵损失，liou使用CIoU，公式为：
Figure BDA0003470567250000101
其中α为权重函数，v用来衡量边界框形状的相似性，定义为
Figure BDA0003470567250000102
Figure BDA0003470567250000103
步骤S44：每个epoch训练完成后通过验证集进行验证，使用mAP作为网络衡量指标，记录每个epoch后网络的效果，最终保留效果最好的网络，作为闸瓦故障检测的算法模型。
mAP为meanAveragePricision，即各类别AP的平均值。AP指PR曲线下面积，PR曲线由查准率
Figure BDA0003470567250000104
和查全率
Figure BDA0003470567250000105
计算。mAP可以很好的反应出故障检测误检与漏检的情况，mAP越高，误检与漏检越少。
步骤S45：经过上述步骤训练，最终得到的网络在测试集上mAP@0.5达到了99.63％，mAP@all达到了74.96％，充分说明了本铁路货车闸瓦故障检测方法的准确性。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (6)

1.一种基于深度学习的铁路货车闸瓦故障检测方法，其特征在于，包括以下步骤：
S1：采集待检测的列车图像：在铁路轨道两侧和底部布置高速高清照相机，当列车经过时高速相机对列车进行抓拍，获取到铁路货车不同部位的高清图片；
S2：构建闸瓦故障数据集：对获取到的图片进行筛选，保留包含闸瓦部位的图片，对闸瓦部位图片进行人工标注，构建闸瓦故障数据集，将所述故障数据集分为训练集、验证集和测试集；
S3：使用深度学习技术，构建目标检测及故障识别网络；
S4：在公开数据集VOC2017上对所述目标检测及故障识别网络进行预训练，并在所述故障数据集上训练，训练完成后通过验证集进行验证，保留效果最好的目标检测及故障识别网络，作为闸瓦故障检测的算法模型；
S5：将算法模型应用于铁路货车中对闸瓦故障进行检测。
2.如权利要求1所述的一种基于深度学习的铁路货车闸瓦故障检测方法，其特征在于，步骤S2中所述闸瓦故障数据集获取的方法包括，在高清摄像机进行抓拍后，通过图片的位置信息，将包含有闸瓦部位的图片筛选出；对包含闸瓦部位的图片进行人工标注，标注时使用矩形框将闸瓦部位完整框出，并根据闸瓦部位是否有故障打上对应的标签。
3.如权利要求2所述的一种基于深度学习的铁路货车闸瓦故障检测方法，其特征在于，在标注故障图片时，筛选同等数量的无故障图片进行标注，正常图片与故障图片的标注框保持一致。
4.如权利要求3所述的一种基于深度学习的铁路货车闸瓦故障检测方法，其特征在于，步骤S3中所述目标检测及故障识别网络采用yolo样式，分为特征提取网络Backbone、多尺度特征融合网络Neck和目标检测头网络Head；通过特征提取网络Backbone将一个输入的RGB三通道图片转化为包含多语义信息表示的特征图，送入到多尺度特征融合网络Neck中，多尺度特征融合网络Neck采用FPN+PAN的结构，将特征提取网络Backbone提取出的不同阶段的特征进行融合，并输送给Head网络用于目标检测定位；
特征提取网络Backbone包括Focus模块、降采样模块和CSP模块，Focus模块将输入的图片等间距采样成四个子图，将四个子图拼接成特征图，所述特征图尺寸降为原来图片的一半，通道数变为原来图片的4倍；降采样模块通过步长为2的卷积操作对所述特征图进行降采样，减小特征图尺寸，同时改变特征图的通道数；CSP模块通过卷积操作对降采样后的特征图进行特征提取，从低阶的特征图中提取出包含多语义信息的高阶特征；
多尺度特征融合网络Neck采用FPN+PAN的结构，将Backbone提取出的包含多语义信息的高阶特征进行Fusion方式融合，将融合后的特征图输送给Head网络用于目标检测定位；Fusion将两路不同阶段的特征图打乱拼接后，再将拼接后的特征图分为三路，其中两路通过卷积、批归一化后相加，另一路全局池化以后经过一个1x1卷积和Sigmoid激活函数转化为通道权重，并乘到前面两路之和上；
目标检测头网络Head根据多尺度特征融合网络Neck输出的特征图，通过卷积操作将特征图转化成检测目标的位置、类别、置信度等信息，目标检测头网络Head输出为anchors*((bbox+1)+classes)，其中anchors代表每个区域候选框的个数；bbox代表目标边界框的坐标信息；classes为目标的类别数，通过目标检测头网络Head将不同尺度的候选区域的候选目标输出，然后使用非极大值抑制NMS方法进行筛选，保留最可靠的检测目标作为检测结果。
5.如权利要求4所述的一种基于深度学习的铁路货车闸瓦故障检测方法，其特征在于，步骤S4首先在公开数据集VOC2017上进行预训练操作，训练300个epoch阶段之后保存网络模型；更改目标检测及故障识别网络的目标检测头网络Head，使目标检测头网络Head的输出与步骤S2中建立的铁路货车闸瓦故障数据集相匹配，然后加载保存的网络模型，并在步骤S2中建立的铁路货车闸瓦故障数据集上训练200个epoch，每个epoch训练完成后通过验证集进行验证，使用mAP作为网络衡量指标，记录每个epoch后网络的效果，最终保留效果最好的网络，作为闸瓦故障检测的算法模型；其中，mAP指各类别AP的平均值，AP指PR曲线下面积，PR曲线通过查准率和查全率计算。
6.如权利要求5所述的一种基于深度学习的铁路货车闸瓦故障检测方法，其特征在于，在进行训练操作前对数据进行预处理，所述数据包括公开数据集和步骤S2构建的闸瓦故障数据集，首先对数据进行增广操作，包括随机水平翻转、随机垂直翻转、随机拉伸变换、随机亮度、对比度变换，同时采用mosaic数据增强方式，将四张图片随机放缩、裁剪组合成一张图片，然后将图片变换为统一尺寸，使用ImageNet数据库均值对图片的RGB三通道进行归一化得到预处理后的图片；将训练集中所有的边界框大小提取出，进行聚类计算，在每个尺度上设置3个大小不同的anchor；
将预处理好的图片送入目标检测及故障识别网络进行预训练，使用带有动量的随机梯度下降优化器SGDM对目标检测及故障识别网络进行优化，使用warmup策略进行训练，学习率采用余弦衰减学习率，随着训练动态变化；
目标检测及故障识别网络输出的损失可以分为三个部分L＝liou+lobj+lcls，lobj表示是否包含目标的损失，lcls表示目标的分类损失，liou为边界框回归损失；lcls与lobj采用交叉熵损失，liou使用CIoU，CIoU为衡量预测框与真实边界框重合程度的指标，公式为：
Figure FDA0003470567240000041
其中IoU为预测框和真实的边框的交集和并集的比值，b、bgt分别代表预测框和真实边界框的中心点，ρ代表计算两个中心点间的欧氏距离；
c表示最小闭合凸面的对角线距离,α为权重函数，v用来衡量边界框形状的相似性，定义为
Figure FDA0003470567240000042
其中
Figure FDA0003470567240000043
表示真实边界框的宽高比，
Figure FDA0003470567240000044
表示预测边界框的宽高比。
CN202210041780.9A 2022-01-14 2022-01-14 一种基于深度学习的铁路货车闸瓦故障检测方法 Pending CN114399672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210041780.9A CN114399672A (zh) 2022-01-14 2022-01-14 一种基于深度学习的铁路货车闸瓦故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210041780.9A CN114399672A (zh) 2022-01-14 2022-01-14 一种基于深度学习的铁路货车闸瓦故障检测方法

Publications (1)

Publication Number Publication Date
CN114399672A true CN114399672A (zh) 2022-04-26

Family

ID=81231163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210041780.9A Pending CN114399672A (zh) 2022-01-14 2022-01-14 一种基于深度学习的铁路货车闸瓦故障检测方法

Country Status (1)

Country Link
CN (1) CN114399672A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114778051A (zh) * 2022-06-27 2022-07-22 中国飞机强度研究所 飞机垂向振动测试的试验载荷谱确定方法及应用
CN115331086A (zh) * 2022-08-17 2022-11-11 哈尔滨市科佳通用机电股份有限公司 一种闸瓦折断和铆钉丢失故障检测方法
CN115346068A (zh) * 2022-08-02 2022-11-15 哈尔滨市科佳通用机电股份有限公司 一种铁路货运列车螺栓丢失故障图像自动生成方法
CN115375988A (zh) * 2022-08-23 2022-11-22 哈尔滨市科佳通用机电股份有限公司 一种铁路货车牵引杆折断的故障图像识别方法
CN115424230A (zh) * 2022-09-23 2022-12-02 哈尔滨市科佳通用机电股份有限公司 一种车门滑轮脱出轨道故障检测方法、存储介质及设备
CN115719475A (zh) * 2022-10-24 2023-02-28 北京交通大学 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN116071423A (zh) * 2023-02-09 2023-05-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车闸调器部件定位方法、系统及介质
CN116152211A (zh) * 2023-02-28 2023-05-23 哈尔滨市科佳通用机电股份有限公司 一种闸瓦磨耗超限故障的识别方法
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统
CN117423047A (zh) * 2023-12-19 2024-01-19 深圳须弥云图空间科技有限公司 基于特征图像的计数方法、装置、电子设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114778051B (zh) * 2022-06-27 2022-09-02 中国飞机强度研究所 飞机垂向振动测试的试验载荷谱确定方法及应用
CN114778051A (zh) * 2022-06-27 2022-07-22 中国飞机强度研究所 飞机垂向振动测试的试验载荷谱确定方法及应用
CN115346068A (zh) * 2022-08-02 2022-11-15 哈尔滨市科佳通用机电股份有限公司 一种铁路货运列车螺栓丢失故障图像自动生成方法
CN115331086B (zh) * 2022-08-17 2023-08-08 哈尔滨市科佳通用机电股份有限公司 一种闸瓦折断和铆钉丢失故障检测方法
CN115331086A (zh) * 2022-08-17 2022-11-11 哈尔滨市科佳通用机电股份有限公司 一种闸瓦折断和铆钉丢失故障检测方法
CN115375988A (zh) * 2022-08-23 2022-11-22 哈尔滨市科佳通用机电股份有限公司 一种铁路货车牵引杆折断的故障图像识别方法
CN115424230A (zh) * 2022-09-23 2022-12-02 哈尔滨市科佳通用机电股份有限公司 一种车门滑轮脱出轨道故障检测方法、存储介质及设备
CN115719475A (zh) * 2022-10-24 2023-02-28 北京交通大学 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN115719475B (zh) * 2022-10-24 2023-09-19 北京交通大学 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN116071423A (zh) * 2023-02-09 2023-05-05 哈尔滨市科佳通用机电股份有限公司 一种铁路货车闸调器部件定位方法、系统及介质
CN116152211A (zh) * 2023-02-28 2023-05-23 哈尔滨市科佳通用机电股份有限公司 一种闸瓦磨耗超限故障的识别方法
CN116524293A (zh) * 2023-04-10 2023-08-01 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统
CN116524293B (zh) * 2023-04-10 2024-01-30 哈尔滨市科佳通用机电股份有限公司 基于深度学习的闸调器拉杆头丢失故障识别方法及系统
CN117423047A (zh) * 2023-12-19 2024-01-19 深圳须弥云图空间科技有限公司 基于特征图像的计数方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN113516660B (zh) 适用于列车的视觉定位与缺陷检测方法和装置
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN106408015A (zh) 基于卷积神经网络的岔路口识别及深度估计方法
CN105574550A (zh) 一种车辆识别方法及装置
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN117593304B (zh) 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN107948586B (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN116523885A (zh) 一种基于多尺度融合及深度学习的pcb缺陷检测方法
CN115661932A (zh) 一种垂钓行为检测方法
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN117671509A (zh) 遥感目标检测方法、装置、电子设备及存储介质
CN113298767A (zh) 一种能克服反光现象的围棋图谱可靠识别方法
CN116363532A (zh) 基于注意力机制和重参数化的无人机图像交通目标检测方法
CN115601675A (zh) 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN113888604A (zh) 一种基于深度光流的目标跟踪方法
Danajitha et al. Detection of Cracks in High Rise Buildings using Drones
CN114445849A (zh) 一种基于目标检测和图片语义分割算法的吸烟识别方法
CN117079162A (zh) 一种基于无人机的管道泄露识别方法及无人机
CN117764969A (zh) 多视角成像系统及轻量化多尺度特征融合缺陷检测方法
CN115909493A (zh) 一种面向课堂实录视频的教师不当手势检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination