CN112906547B - 一种基于e-yolo的铁路列车风挡破损故障检测方法 - Google Patents

一种基于e-yolo的铁路列车风挡破损故障检测方法 Download PDF

Info

Publication number
CN112906547B
CN112906547B CN202110176606.0A CN202110176606A CN112906547B CN 112906547 B CN112906547 B CN 112906547B CN 202110176606 A CN202110176606 A CN 202110176606A CN 112906547 B CN112906547 B CN 112906547B
Authority
CN
China
Prior art keywords
detection
detection frame
yolo
coordinate
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110176606.0A
Other languages
English (en)
Other versions
CN112906547A (zh
Inventor
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202110176606.0A priority Critical patent/CN112906547B/zh
Publication of CN112906547A publication Critical patent/CN112906547A/zh
Application granted granted Critical
Publication of CN112906547B publication Critical patent/CN112906547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于E‑YOLO的铁路列车风挡破损故障检测方法。包括以下步骤：步骤一、收集动车图像，建立故障检测样本数据集；步骤二、对故障检测样本数据集进行数据扩增，将扩增后的故障检测样本数据集不重叠的划分为训练集、验证集和测试集；步骤三、使用划分成的训练集、验证集和测试集对E‑YOLO故障检测网络进行训练、验证及测试；步骤四、将待检测的动车的原始过车图像输入训练好的E‑YOLO故障检测网络中，判断待检测的动车的风挡是否破损故障，若是，则执行步骤五；步骤五、上传故障报文并报警。本发明提出了一种E‑YOLO网络，网络考虑到检测框坐标的不确定性，降低误检率，提升网络检测准确程度。

Description

一种基于E-YOLO的铁路列车风挡破损故障检测方法
技术领域
本发明涉及一种基于E-YOLO的铁路列车风挡破损故障检测方法，属于机动车车牌检测技术领域。
背景技术
采用人工查图的传统的铁路动车故障检测方法费时费力，检测成本高，采用深度学习的故障检测方法能够很大程度降低人工成本，同时还能够减少由于检车人员疲劳、粗心、经验不足等造成的漏检、误检，提高故障检测的准确程度。YOLO-V3检测网络的检测速度快，检测准确程度相对较高，但没有考虑到检测框坐标的不确定性，造成有时网络检测出的检测框定位不准确，误检率高，Gaussian YOLOv3网络使用高斯分布函数建立检测框坐标的概率分布模型，以考虑检测框坐标的不确定性，但Gaussian YOLOv3网络不易收敛。
发明内容
本发明的目的是提出一种基于E-YOLO的铁路列车风挡破损故障检测方法，对Gaussian YOLOv3网络的loss函数进行改进，提升了Gaussian YOLOv3网络的loss函数的稳定性，使网络更容易收敛，检测准确率更高，同时本专利根据检测框坐标的不确定性改进了NMS算法，提出了一种E-NMS非极大值抑制算法，提升网络检测结果的准确率，解决了现有技术存在的问题。
一种基于E-YOLO的铁路列车风挡破损故障检测方法，铁路列车风挡破损故障检测方法包括以下步骤：
步骤一、收集动车图像，建立故障检测样本数据集；
步骤二、对故障检测样本数据集进行数据扩增，将扩增后的故障检测样本数据集不重叠的划分为训练集、验证集和测试集；
步骤三、使用划分成的训练集、验证集和测试集对E-YOLO故障检测网络进行训练、验证及测试；
步骤四、将待检测的动车的原始过车图像输入训练好的E-YOLO故障检测网络中，判断待检测的动车的风挡是否破损故障，若是，则执行步骤五；
步骤五、上传故障报文并报警。
进一步的，在步骤一中，具体包括以下步骤：
步骤一一、在铁轨两侧以及底部配备高清线阵相机；
步骤一二、当高铁车头通过触发传感器，启动成像设备后对运动的高铁进行逐行扫描，获取高清线阵图像；
步骤一三、采用labelImg软件对风挡中发生破损的部位进行标注，每张图像生成一个标注文件，即标签，故障图像与标注文件共同构成故障检测样本数据集。
进一步的，在步骤二中，具体的，数据扩增包括对故障检测样本数据集进行翻转、对比度变换、加噪和裁剪操作。
进一步的，在步骤二中，具体的，训练集、验证集和测试集的划分比例为7：1：2。
进一步的，在步骤三中，具体的，采用训练集训练搭建好的E-YOLO网络，初始学习率为0.02，优化方法为adam，Nt为NMS的阈值，设置为0.6，在验证集上对训练好的E-YOLO网络进行测试，将验证集中检测错误的图像进行数据扩增，加入训练集中重新训练网络，最终在测试集上对训练好的E-YOLO网络进行测试。
进一步的，在步骤四中，具体包括以下步骤：
步骤四一、确定检测框坐标定位的不确定性关系；
步骤四二、获得检测框坐标的损失函数；
步骤四三、获得检测框综合置信度；
步骤四四、采用E-NMS算法对检测框进行非极大值抑制，得到最终的检测结果。
进一步的，在步骤四一中，具体的：
对E-YOLO检测模型输出的检测框的检测框坐标进行高斯分布建模，检测框输出变成
Figure GDA0003294658490000021
其中，
Figure GDA0003294658490000022
代表中心点坐标x分量的高斯建模的均值和方差，
Figure GDA0003294658490000023
代表中心点坐标w分量的高斯建模的均值和方差，
Figure GDA0003294658490000024
代表中心点坐标h分量的高斯建模的均值和方差，网络输出通道数为(3*(8+1+C))，均值与方差取值范围都为(0，1)，对检测框的坐标做公式(1)、(2)中操作：
Figure GDA0003294658490000031
Figure GDA0003294658490000032
其中，σ为公式(3)中sigmod函数，
Figure GDA0003294658490000033
将最终均值
Figure GDA0003294658490000034
作为检测框回归坐标，方差
Figure GDA0003294658490000035
为检测框回归坐标的不确定度，方差越靠近0，则高斯分布越集中，检测框坐标为均值的可靠性越大；方差越接近1，则高斯分布越分散，检测框坐标为均值的可靠性越小。
进一步的，在步骤四二中，具体的：
将故障检测样本数据集经过E-YOLO检测模型卷积提取特征后产生特征图，然后将特征图对应到故障检测样本数据集形成若干格子；
公式(4)为E-YOLO网络检测框坐标
Figure GDA0003294658490000036
的损失函数，
Figure GDA0003294658490000037
Figure GDA0003294658490000038
和
Figure GDA0003294658490000039
的损失函数与
Figure GDA00032946584900000310
同理，式中W与H分别为故障检测样本数据集划分为格子后，沿故障检测样本数据集宽划分的格子数量和沿图像高划分的格子数量，
Figure GDA00032946584900000311
和
Figure GDA00032946584900000312
表示在第i行第j列个格子的第k个锚框回归的检测框的均值和方差，ε为一个正数，保证函数
Figure GDA00032946584900000313
内元素不为零，函数
Figure GDA00032946584900000314
表示检测框对应的标签位置框的x值在均值为
Figure GDA00032946584900000315
方差为
Figure GDA00032946584900000316
的高斯分布下的概率密度函数值
Figure GDA00032946584900000317
其中高斯分布概率密度函数为：
Figure GDA00032946584900000318
为将x、
Figure GDA00032946584900000319
带入f(x)后的值，
Figure GDA0003294658490000041
近似表示概率，在网络所有输出的均值
Figure GDA0003294658490000042
和方差
Figure GDA0003294658490000043
中令标签位置框的概率密度函数值
Figure GDA0003294658490000044
最大的均值和方差为网络需要的检测结果，
Figure GDA0003294658490000045
最大表示检测框的高斯分布和标签位置框的高斯分布最为接近，函数N值
Figure GDA0003294658490000046
越大，检测框坐标越接近标签位置框坐标即检测框坐标不确定性越小，(N+ε)-1/2越小，Lx越小；函数N越小，检测框坐标越偏离标签位置框坐标即检测框坐标不确定性越大，
Figure GDA0003294658490000047
越大，Lx越大，λijk由公式(5)得出，
Figure GDA0003294658490000048
式中，wG与hG分别为标签位置框的宽高相对于原图的比例，当标签位置框的尺寸较大时λijk较小，标签位置框的尺寸较小时λijk较大，
Figure GDA0003294658490000049
在标签位置框与当前锚框的IOU大于阈值0.3即当前锚框存在目标时取1，IOU小于阈值0.3即当前锚框没有目标时取0。
进一步的，在步骤四三中，具体的：
检测框的综合置信度如公式(6)所示，
S＝σ(pobj)×σ(max(P0,P1,…,Pc))×(1-Uncertaintyaver) (6)
其中，
Figure GDA00032946584900000410
表示检测框坐标的综合不确定性；Pobj为检测框中是否包含目标的置信度；P0、P1···PC为检测框中目标被预测为某一类别的概率。
进一步的，在步骤四四中，具体的：
设输出检测框坐标集合为B＝{b1,b2,…,bN}，其中bi＝(x1i,y1i,x2i,y2i),i∈[1,N]，x1i,y1i,x2i,y2i分别为检测框左上角和右下角坐标，该坐标由
Figure GDA00032946584900000411
转换得到；检测框综合评分集合S＝{s1,s2,…,sN}，综合评分即步骤四三求出的综合置信度；检测框坐标置信度集合C＝{σ1,σ2,…,σN}，检测框坐标置信度为步骤四三求得的(1-Uncertaintyaver)；设NMS阈值为Nt；最终得到的检测框坐标集合与检测框综合评分集合为B′＝{}、S′＝{},
当集合B非空时重复以下步骤：
确定集合S中最大值sm，在集合B中确定对应最大评分的检测框bm；
采用公式(7)重置评分集合S，这里γ取0.6；
Figure GDA0003294658490000051
在集合B中确定所有与bmIOU大于Nt的检测框子集B[idx]，在集合S中确定相应的综合评分子集S[idx]；
令b′m＝(x1′m,y1′m,x2′m,y2′m)为综合B[idx]更新bm得到的检测框坐标，其中x1′m由公式(8)得到，公式(8)表示新的检测框坐标由bm及与bmIOU较大的检测框依据检测框坐标置信度加权平均得到，y1′m,x2′m,y2′m同理，
Figure GDA0003294658490000052
将bm从集合B移除，将b′m移入集合B′，将sm从集合S移入集合S′，将B[idx]从集合B中移除，将S[idx]从集合S中移除，进而得到检测框坐标集合与检测框综合评分集合B′＝{}、S′＝{}作为最终的检测结果。
本发明的有以下优点：
1、提出了一种E-YOLO网络，网络考虑到检测框坐标的不确定性，降低误检率，提升网络检测准确程度。
2、提出了一种E-NMS非极大值抑制算法，提升了检测的准确程度。
附图说明
图1为本发明的一种基于E-YOLO的铁路列车风挡破损故障检测方法的方法流程图；
图2为YOLO-V3网络结构；
图3为YOLO检测框包含内容图；
图4为E-YOLO检测框包含内容。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间或实施例包括的特征之间可以相互组合。
具体实施方式一、参照图1所示，
一种基于E-YOLO的铁路列车风挡破损故障检测方法，铁路列车风挡破损故障检测方法包括以下步骤：
步骤一、收集动车图像，建立故障检测样本数据集；
步骤二、对故障检测样本数据集进行数据扩增，将扩增后的故障检测样本数据集不重叠的划分为训练集、验证集和测试集；
步骤三、使用划分成的训练集、验证集和测试集对E-YOLO故障检测网络进行训练、验证及测试；
步骤四、将待检测的动车的原始过车图像输入训练好的E-YOLO故障检测网络中，判断待检测的动车的风挡是否破损故障，若是，则执行步骤五；
步骤五、上传故障报文并报警。
进一步的，在步骤一中，具体包括以下步骤：
步骤一一、在铁轨两侧以及底部配备高清线阵相机；
步骤一二、当高铁车头通过触发传感器，启动成像设备后对运动的高铁进行逐行扫描，获取高清线阵图像；
步骤一三、采用labelImg软件对风挡中发生破损的部位进行标注，每张图像生成一个标注文件，即标签，故障图像与标注文件共同构成故障检测样本数据集。
具体的，在铁路动车轨道四周架设高清成像设备，获取动车的过车图像，收集发生风挡破损故障的风挡图像，采用labelImg软件对发生破损的部位进行标注，每张图像生成一个标注文件，即标签，故障图像与标注文件共同构成故障检测数据集。
进一步的，在步骤二中，具体的，数据扩增包括对故障检测样本数据集进行翻转、对比度变换、加噪和裁剪操作。
进一步的，在步骤二中，具体的，训练集、验证集和测试集的划分比例为7：1：2。
具体的，对数据集进行翻转、对比度变换、加噪、裁剪等数据扩增操作，从而可以提升故障检测网络的泛化能力。将扩增后的数据集不重叠的划分为训练集、验证集和测试集，划分比例为7：1：2。
进一步的，在步骤三中，具体的，采用训练集训练搭建好的E-YOLO网络，初始学习率为0.02，优化方法为adam，Nt为NMS的阈值，设置为0.6，在验证集上对训练好的E-YOLO网络进行测试，将验证集中检测错误的图像进行数据扩增，加入训练集中重新训练网络，最终在测试集上对训练好的E-YOLO网络进行测试。
具体的，本专利E-YOLO结构与YOLO-V3大部分相同，只有最后输出层Output的通道数不同。YOLO-V3网络结构如图2所示，图中Conv表示卷积层，BN表示batch normalization层；Leak relu表示Leaky rectified linear激活函数；Concat为特征图融合操作，融合时将特征图按通道维度级联；RESn表示n个RES UNIT，例如图中RES2表示两个RES UNIT，RESUNIT由两个DBL和一个跳跃连接组成，类似于resnet网络的残差结构；DBL为YOLO-V3的基本组件，一个DBL包括一个卷积层，一个BN层与一个Leak relu激活函数层组成。YOLO-V3采用去掉全连接层的Darknet-53作为特征提取的骨干网络，同时，类似FPN将Darknet-53不同层的特征图进行上采样融合，得到3个不同尺度的特征图，分别对这3个不同尺度的特征图进行检测框坐标的回归与分类，得到3个输出Output1、Output2、Output3，对这3个输出进行非极大值抑制，得到网络最终的检测结果集检测框的坐标与检测目标的类别。YOLO-V3采用多尺度的特征图进行检测，能够提升网络对小尺度目标的检测效果，进而提升网络的检测性能；采用残差结构避免深层网络产生梯度消失现象，使网络的层数加深，提升网络的特征提取能力，提升网络检测性能。
YOLO-V3对3个尺度的特征图进行检测，得到3个输出，如图2中Output1、Output2、Output3分别对应的输入特征图大小为13*13、26*26与52*52。对一个尺度的特征图如13*13大小的特征图，特征图映射到原图上相当于将原图划分为13*13个格子，如图3所示(为了节省空间，图中仅将图像划分为5*5个格子)，YOLO-V3借鉴RPN的锚框机制，在每一个格子上设置3个不同宽高比的锚框，每个格子对3个锚框进行回归，得到3个不同的检测框BOX1、BOX2、BOX3，每个BOX(检测框)的回归输出值由图3中显示的3个部分组成，包括BOX坐标偏移量tx、ty、tw、th，这里tx、ty为BOX中心坐标相对于格子左上角的偏移量，tw、th为BOX的宽高相对于锚框宽高的变化量；Pobj为BOX中是否包含目标的置信度；P0、P1···PC为BOX中目标被预测为某一类别的概率，C为总共的类别数。一个格子预测3个检测框，一个检测框需要4个位置坐标，一个是否包含目标的概率和检测类别个类别概率，最终一个格子得到3*(4+1+C)个值，因此输出Output1的维度为13*13*(3*(4+1+C))，为输出通道数量(维度)，Output2和Output3同理。为了使回归得到BOX中心坐标固定在当前格子中，使用sigmod函数对tx、ty进行归一化处理，sigmod函数如公式(a)所示，最终检测框的中心坐标bx、by和宽高bw、bh由公式(b)求得，其中cx、cy为当前格子相对于图像左上角的距离，即格子左上角的坐标，pw、ph为锚框的宽高。检测框的综合置信度由公式(c)表示，为当前BOX是否有目标的概率与类别概率的乘积。
Figure GDA0003294658490000081
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure GDA0003294658490000082
Figure GDA0003294658490000083
S＝σ(pobj)×σ(max(P0,P1,…,Pc)) (c)
如图4所示，E-YOLO相对YOLO-V3，多出了个位置框坐标的置信度。
进一步的，在步骤四中，具体包括以下步骤：
步骤四一、确定检测框坐标定位的不确定性关系；
步骤四二、获得检测框坐标的损失函数；
步骤四三、获得检测框综合置信度；
步骤四四、采用E-NMS算法对检测框进行非极大值抑制，得到最终的检测结果。
进一步的，在步骤四一中，具体的：
YOLO-V3中检测框中是否有目标与目标类别均为概率形式，即可以得到其不确定性，但检测框的位置坐标仅为4个值tx、ty、tw、th，没有坐标为这四个值的概率，即没有检测框坐标的不确定性预测，位置坐标极有可能被噪声干扰而回归到一个错误的值，GaussianYOLOv3中采用均值为μ方差为Σ的高斯分布函数分别对检测框坐标tx、ty、tw、th进行建模，采用高斯分布的均值表示检测框的tx、ty、tw、th坐标位置，采用高斯分布的方差代表tx、ty、tw、th的不确定性。对E-YOLO检测模型输出的检测框的检测框坐标进行高斯分布建模，检测框输出变成
Figure GDA0003294658490000091
其中，
Figure GDA0003294658490000092
代表中心点坐标x分量的高斯建模的均值和方差，
Figure GDA0003294658490000093
代表中心点坐标w分量的高斯建模的均值和方差，
Figure GDA0003294658490000094
代表中心点坐标h分量的高斯建模的均值和方差，网络输出通道数为(3*(8+1+C))，均值与方差取值范围都为(0，1)，对检测框的坐标做公式(1)、(2)中操作：
Figure GDA0003294658490000095
Figure GDA0003294658490000096
其中，σ为公式(3)中sigmod函数，
Figure GDA0003294658490000101
将最终均值
Figure GDA0003294658490000102
作为检测框回归坐标，方差
Figure GDA0003294658490000103
为检测框回归坐标的不确定度，方差越靠近0，则高斯分布越集中，检测框坐标为均值的可靠性越大；方差越接近1，则高斯分布越分散，检测框坐标为均值的可靠性越小。
进一步的，在步骤四二中，具体的：
将故障检测样本数据集经过E-YOLO检测模型卷积提取特征后产生特征图，然后将特征图对应到故障检测样本数据集形成若干格子；
公式(4)为E-YOLO网络检测框坐标
Figure GDA0003294658490000104
的损失函数，
Figure GDA0003294658490000105
Figure GDA0003294658490000106
和
Figure GDA0003294658490000107
的损失函数与
Figure GDA00032946584900001024
同理，式中W与H分别为故障检测样本数据集划分为格子后，沿故障检测样本数据集宽划分的格子数量和沿图像高划分的格子数量，例如对于Output1，W与H均为13。
Figure GDA0003294658490000108
和
Figure GDA0003294658490000109
表示在第i行第j列个格子的第k个锚框回归的检测框的均值和方差，ε为一个正数，保证函数
Figure GDA00032946584900001010
内元素不为零，函数
Figure GDA00032946584900001011
表示检测框对应的标签位置框(ground truth)的x值在均值为
Figure GDA00032946584900001012
方差为
Figure GDA00032946584900001013
的高斯分布下的概率密度函数值
Figure GDA00032946584900001014
其中高斯分布概率密度函数为：
Figure GDA00032946584900001015
为将x、
Figure GDA00032946584900001016
带入f(x)后的值，
Figure GDA00032946584900001017
近似表示概率，在网络所有输出的均值
Figure GDA00032946584900001018
和方差
Figure GDA00032946584900001019
中令标签位置框的概率密度函数值
Figure GDA00032946584900001020
最大的均值和方差为网络需要的检测结果，
Figure GDA00032946584900001021
最大表示检测框的高斯分布和标签位置框的高斯分布最为接近，函数N值
Figure GDA00032946584900001022
越大，检测框坐标越接近标签位置框坐标即检测框坐标不确定性越小，(N+ε)-1/2越小，Lx越小；函数N越小，检测框坐标越偏离标签位置框坐标即检测框坐标不确定性越大，
Figure GDA00032946584900001023
越大，Lx越大，λijk由公式(5)得出，
Figure GDA0003294658490000111
式中，wG与hG分别为标签位置框的宽高相对于原图的比例，当标签位置框的尺寸较大时λijk较小，标签位置框的尺寸较小时λijk较大，
Figure GDA0003294658490000112
在标签位置框与当前锚框的IOU大于阈值0.3即当前锚框存在目标时取1，IOU小于阈值0.3即当前锚框没有目标时取0。
Figure GDA0003294658490000113
保证检测框坐标回归loss仅对检测到目标的锚框进行回归。
GaussianYOLOv3的检测框坐标μtx的损失函数如公式(d)所示由于函数N(·)的取值范围为(0,+∞)，对函数N(·)取-log会导致loss值存在负数，抵消掉其他loss，造成网络训练难度加大，不稳定。而本专利E-YOLO网络对函数N(·)做(·)-1/2操作得到检测框坐标回归loss，loss的取值范围为(0,+∞)，不会抵消掉其他部分的loss。
Figure GDA0003294658490000114
进一步的，在步骤四三中，具体的：
检测框的综合置信度如公式(6)所示，
S＝σ(pobj)×σ(max(P0,P1,…,Pc))×(1-Uncertaintyaver) (6)
其中，
Figure GDA0003294658490000115
表示检测框坐标的综合不确定性；Pobj为检测框中是否包含目标的置信度；P0、P1···PC为检测框中目标被预测为某一类别的概率。
具体的，本发明相比于YOLO-V3的检测框置信度多了一项检测框坐标的置信度(1-Uncertaintyaver)，相比于YOLO-V3，新增的坐标不确定新能使回归出的检测框坐标更加可靠，减少误报，提高检测网络的检测准确程度。
进一步的，在步骤四四中，具体的：
设输出检测框坐标集合为B＝{b1,b2,…,bN}，其中bi＝(x1i,y1i,x2i,y2i),i∈[1,N]，x1i,y1i,x2i,y2i分别为检测框左上角和右下角坐标，该坐标由
Figure GDA0003294658490000123
转换得到；检测框综合评分集合S＝{s1,s2,…,sN}，综合评分即步骤四三求出的综合置信度；检测框坐标置信度集合C＝{σ1,σ2,…,σN}，检测框坐标置信度为步骤四三求得的(1-Uncertaintyaver)；设NMS阈值为Nt；最终得到的检测框坐标集合与检测框综合评分集合为B′＝{}、S′＝{},
当集合B非空时重复以下步骤：
(1)确定集合S中最大值sm，在集合B中确定对应最大评分的检测框bm；
(2)采用公式(7)重置评分集合S，这里γ取0.6；
Figure GDA0003294658490000121
(3)在集合B中确定所有与bmIOU大于Nt的检测框子集B[idx]，在集合S中确定相应的综合评分子集S[idx]；
(4)令b′m＝(x1′m,y1′m,x2′m,y2′m)为综合B[idx]更新bm得到的检测框坐标，其中x1′m由公式(8)得到，公式(8)表示新的检测框坐标由bm及与bmIOU较大的检测框依据检测框坐标置信度加权平均得到，y1′m,x2′m,y2′m同理，
Figure GDA0003294658490000122
(5)将bm从集合B移除，将b′m移入集合B′，将sm从集合S移入集合S′，将B[idx]从集合B中移除，将S[idx]从集合S中移除，进而得到检测框坐标集合与检测框综合评分集合B′＝{}、S′＝{}作为最终的检测结果。

Claims (9)

1.一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，所述铁路列车风挡破损故障检测方法包括以下步骤：
步骤一、收集动车图像，建立故障检测样本数据集；
步骤二、对所述故障检测样本数据集进行数据扩增，将扩增后的故障检测样本数据集不重叠的划分为训练集、验证集和测试集；
步骤三、使用划分成的训练集、验证集和测试集对E-YOLO故障检测网络进行训练、验证及测试；
步骤四、将待检测的动车的原始过车图像输入训练好的E-YOLO故障检测网络中，判断待检测的动车的风挡是否破损故障，若是，则执行步骤五；
步骤五、上传故障报文并报警，
在步骤四中，需要确定检测框坐标定位的不确定性关系，具体的，
对E-YOLO检测模型输出的检测框的检测框坐标进行高斯分布建模，检测框输出变成
Figure FDA0003294658480000011
其中，
Figure FDA0003294658480000012
代表中心点坐标x分量的高斯建模的均值和方差，
Figure FDA0003294658480000013
代表中心点坐标w分量的高斯建模的均值和方差，
Figure FDA0003294658480000014
代表中心点坐标h分量的高斯建模的均值和方差，网络输出通道数为(3*(8+1+C))，均值与方差取值范围都为(0，1)，对检测框的坐标做公式(1)、(2)中操作：
Figure FDA0003294658480000015
Figure FDA0003294658480000016
其中，σ为公式(3)中sigmod函数，
Figure FDA0003294658480000017
将最终均值
Figure FDA0003294658480000018
作为检测框回归坐标，方差
Figure FDA0003294658480000019
为检测框回归坐标的不确定度，方差越靠近0，则高斯分布越集中，检测框坐标为均值的可靠性越大；方差越接近1，则高斯分布越分散，检测框坐标为均值的可靠性越小。
2.根据权利要求1所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤一中，具体包括以下步骤：
步骤一一、在铁轨两侧以及底部配备高清线阵相机；
步骤一二、当高铁车头通过触发传感器，启动成像设备后对运动的高铁进行逐行扫描，获取高清线阵图像；
步骤一三、采用labelImg软件对风挡中发生破损的部位进行标注，每张图像生成一个标注文件，即标签，故障图像与标注文件共同构成故障检测样本数据集。
3.根据权利要求1所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤二中，具体的，所述数据扩增包括对故障检测样本数据集进行翻转、对比度变换、加噪和裁剪操作。
4.根据权利要求1所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤二中，具体的，所述训练集、验证集和测试集的划分比例为7：1：2。
5.根据权利要求1所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤三中，具体的，采用训练集训练搭建好的E-YOLO网络，初始学习率为0.02，优化方法为adam，Nt为NMS的阈值，设置为0.6，在验证集上对训练好的E-YOLO网络进行测试，将验证集中检测错误的图像进行数据扩增，加入训练集中重新训练网络，最终在测试集上对训练好的E-YOLO网络进行测试。
6.根据权利要求1所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤四中，具体包括以下步骤：
步骤四一、确定检测框坐标定位的不确定性关系；
步骤四二、获得检测框坐标的损失函数；
步骤四三、获得检测框综合置信度；
步骤四四、采用E-NMS算法对检测框进行非极大值抑制，得到最终的检测结果。
7.根据权利要求6所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤四二中，具体的：
将故障检测样本数据集经过E-YOLO检测模型卷积提取特征后产生特征图，然后将所述特征图对应到所述故障检测样本数据集形成若干格子；
公式(4)为E-YOLO网络检测框坐标
Figure FDA0003294658480000031
的损失函数，
Figure FDA0003294658480000032
Figure FDA0003294658480000033
和
Figure FDA0003294658480000034
的损失函数与
Figure FDA0003294658480000035
同理，式中W与H分别为故障检测样本数据集划分为格子后，沿故障检测样本数据集宽划分的格子数量和沿图像高划分的格子数量，
Figure FDA0003294658480000036
和
Figure FDA0003294658480000037
表示在第i行第j列个格子的第k个锚框回归的检测框的均值和方差，ε为一个正数，保证函数
Figure FDA0003294658480000038
内元素不为零，函数
Figure FDA0003294658480000039
表示检测框对应的标签位置框的x值在均值为
Figure FDA00032946584800000310
方差为
Figure FDA00032946584800000311
的高斯分布下的概率密度函数值
Figure FDA00032946584800000312
其中高斯分布概率密度函数为：
Figure FDA00032946584800000313
Figure FDA00032946584800000314
为将x、
Figure FDA00032946584800000315
带入f(x)后的值，
Figure FDA00032946584800000316
近似表示概率，在网络所有输出的均值
Figure FDA00032946584800000317
和方差
Figure FDA00032946584800000318
中令标签位置框的概率密度函数值
Figure FDA00032946584800000319
最大的均值和方差为网络需要的检测结果，
Figure FDA00032946584800000320
最大表示检测框的高斯分布和标签位置框的高斯分布最为接近，函数N值
Figure FDA00032946584800000321
越大，检测框坐标越接近标签位置框坐标即检测框坐标不确定性越小，(N+ε)-1/2越小，Lx越小；函数N越小，检测框坐标越偏离标签位置框坐标即检测框坐标不确定性越大，
Figure FDA00032946584800000322
越大，Lx越大，λijk由公式(5)得出，
Figure FDA00032946584800000323
式中，wG与hG分别为标签位置框的宽高相对于原图的比例，当标签位置框的尺寸较大时λijk较小，标签位置框的尺寸较小时λijk较大，
Figure FDA00032946584800000324
在标签位置框与当前锚框的IOU大于阈值0.3即当前锚框存在目标时取1，IOU小于阈值0.3即当前锚框没有目标时取0。
8.根据权利要求6所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤四三中，具体的：
检测框的综合置信度如公式(6)所示，
S＝σ(pobj)×σ(max(P0,P1,…,Pc))×(1-Uncertaintyaver) (6)
其中，
Figure FDA0003294658480000041
表示检测框坐标的综合不确定性；Pobj为检测框中是否包含目标的置信度；P0、P1…PC为检测框中目标被预测为某一类别的概率。
9.根据权利要求6所述的一种基于E-YOLO的铁路列车风挡破损故障检测方法，其特征在于，在步骤四四中，具体的：
设输出检测框坐标集合为B＝{b1,b2,…,bN}，其中bi＝(x1i,y1i,x2i,y2i),i∈[1,N]，x1i,y1i,x2i,y2i分别为检测框左上角和右下角坐标，该坐标由
Figure FDA0003294658480000042
转换得到；检测框综合评分集合S＝{s1,s2,…,sN}，所述综合评分即步骤四三求出的综合置信度；检测框坐标置信度集合C＝{σ1,σ2,…,σN}，所述检测框坐标置信度为步骤四三求得的(1-Uncertaintyaver)；设NMS阈值为Nt；最终得到的检测框坐标集合与检测框综合评分集合为B′＝{}、S′＝{},
当集合B非空时重复以下步骤：
确定集合S中最大值sm，在集合B中确定对应最大评分的检测框bm；
采用公式(7)重置评分集合S，这里γ取0.6；
Figure FDA0003294658480000043
在集合B中确定所有与bmIOU大于Nt的检测框子集B[idx]，在集合S中确定相应的综合评分子集S[idx]；
令b′m＝(x1′m,y1′m,x2′m,y2′m)为综合B[idx]更新bm得到的检测框坐标，其中x1′m由公式(8)得到，公式(8)表示新的检测框坐标由bm及与bmIOU较大的检测框依据检测框坐标置信度加权平均得到，y1′m,x2′m,y2′m同理，
Figure FDA0003294658480000051
将bm从集合B移除，将b′m移入集合B′，将sm从集合S移入集合S′，将B[idx]从集合B中移除，将S[idx]从集合S中移除，进而得到检测框坐标集合与检测框综合评分集合B′＝{}、S′＝{}作为最终的检测结果。
CN202110176606.0A 2021-02-09 2021-02-09 一种基于e-yolo的铁路列车风挡破损故障检测方法 Active CN112906547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110176606.0A CN112906547B (zh) 2021-02-09 2021-02-09 一种基于e-yolo的铁路列车风挡破损故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110176606.0A CN112906547B (zh) 2021-02-09 2021-02-09 一种基于e-yolo的铁路列车风挡破损故障检测方法

Publications (2)

Publication Number Publication Date
CN112906547A CN112906547A (zh) 2021-06-04
CN112906547B true CN112906547B (zh) 2022-01-11

Family

ID=76123049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110176606.0A Active CN112906547B (zh) 2021-02-09 2021-02-09 一种基于e-yolo的铁路列车风挡破损故障检测方法

Country Status (1)

Country Link
CN (1) CN112906547B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486951B (zh) * 2021-07-05 2022-02-01 哈尔滨市科佳通用机电股份有限公司 风挡击打变形故障识别检测方法、存储介质及设备
CN113436217A (zh) * 2021-07-23 2021-09-24 山东大学 基于深度学习的无人车环境检测方法
CN115311533B (zh) * 2022-08-12 2023-04-18 哈尔滨市科佳通用机电股份有限公司 车门滑动轨道折断故障检测方法
CN115424230B (zh) * 2022-09-23 2023-06-06 哈尔滨市科佳通用机电股份有限公司 一种车门滑轮脱出轨道故障检测方法、存储介质及设备
CN115527018A (zh) * 2022-10-25 2022-12-27 哈尔滨市科佳通用机电股份有限公司 一种铁路货车下锁销组成配件故障识别方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615610A (zh) * 2018-11-13 2019-04-12 浙江师范大学 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472627B (zh) * 2019-07-02 2022-11-08 五邑大学 一种端到端的sar图像识别方法、装置及存储介质
CN111899227A (zh) * 2020-07-06 2020-11-06 北京交通大学 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN112287788A (zh) * 2020-10-20 2021-01-29 杭州电子科技大学 基于改进YOLOv3和改进NMS的行人检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615610A (zh) * 2018-11-13 2019-04-12 浙江师范大学 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法

Also Published As

Publication number Publication date
CN112906547A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112906547B (zh) 一种基于e-yolo的铁路列车风挡破损故障检测方法
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN113674247B (zh) 一种基于卷积神经网络的x射线焊缝缺陷检测方法
US10235629B2 (en) Sensor data confidence estimation based on statistical analysis
CN110555841B (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN111428625A (zh) 一种基于深度学习的交通场景目标检测方法及系统
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN112418212B (zh) 一种基于EIoU改进的YOLOv3算法
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN109190488A (zh) 基于深度学习YOLOv3算法的前车车门打开检测方法及装置
CN109948527B (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
EP3680608A1 (en) Antenna downward inclination angle measurement method based on multi-scale detection algorithm
CN112906795A (zh) 一种基于卷积神经网络的鸣笛车辆判定方法
CN112884753A (zh) 一种基于卷积神经网络的轨道扣件检测及分类方法
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN113378912B (zh) 一种基于深度学习目标检测的林区非法开垦地块检测方法
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN113988222A (zh) 一种基于Faster-RCNN的森林火灾检测与识别方法
CN106295556A (zh) 一种基于小型无人机航拍图像的道路检测方法
CN117576073A (zh) 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质
CN117171533A (zh) 一种地理测绘作业数据实时采集处理方法及系统
CN112614121A (zh) 一种多尺度小目标设备缺陷识别监测方法
CN116863271A (zh) 一种基于改进yolo v5的轻量级红外火焰检测方法
Maningo et al. Crack detection with 2D wall mapping for building safety inspection
CN112308061B (zh) 一种车牌字符识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant