CN114743119A - 基于无人机的高铁接触网吊弦螺母缺陷检测方法 - Google Patents
基于无人机的高铁接触网吊弦螺母缺陷检测方法 Download PDFInfo
- Publication number
- CN114743119A CN114743119A CN202210459155.6A CN202210459155A CN114743119A CN 114743119 A CN114743119 A CN 114743119A CN 202210459155 A CN202210459155 A CN 202210459155A CN 114743119 A CN114743119 A CN 114743119A
- Authority
- CN
- China
- Prior art keywords
- nut
- dropper
- picture
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 230000007547 defect Effects 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 239000000725 suspension Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。本发明可以很好的弥补4C装置拍摄缺陷，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。操作简单，高效便捷，安全系数高，需要人力少。
Description
技术领域
本发明涉及一种接触网检测技术，具体地说是一种基于无人机的高铁接触网吊弦螺母缺陷检测方法。
背景技术
高铁接触网作为电气化铁路的重要组成部分，直接影响着铁路系统的正常运行。吊弦是高速铁路接触网的重要部件之一，接触线通过吊弦挂在承力索上，通过调节吊弦长度可以保证结构高度，提高受电弓取流质量。
但由于环境的影响，包括温度湿度等的变化，会导致高速铁路接触网吊弦上螺母发生松动或缺失。如果吊弦螺母有缺陷，就会导致吊弦悬挂状态不稳定，产生吊弦脱落和打击受电弓的现象，造成受电弓损坏和发生行车事故等一系列危害。
现在接触网的检测方式主要是通过人工巡检和接触网悬挂状态检测装置（4C）来进行，人工巡检通过步行巡视和登程巡视来进行，巡检效率低下，流程比较繁琐，危险系数也比较高。在4C装置巡检过程中，吊弦与承力索相接处也就是吊弦上部螺母位置是现在4C巡检系统的拍摄盲区，并且4C装置检测图像效率低下，高速铁路接触网的小目标部件很容易发生漏检误检。
由于大风温度湿度等环境因素的经常性影响，吊弦螺母不定时会发生松动和缺失，迅速检测出吊弦螺母缺陷位置并及时检修就显得非常重要。
发明内容
本发明的目的就是提供一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，以解决现在吊线螺母缺陷检测效率低的问题。
本发明是这样实现的：一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，包括以下步骤。
a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片。
b.人工制作并合成吊弦螺母具有缺陷的图片，通过生成对抗网络生成缺陷样本图片。
c.对缺陷样本图片进行数据增强后与现场样本图片一同送入目标检测网络。
d.对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重进行预测，得到每个样本图片的目标检测框坐标和置信度。
e.根据得到的目标检测框，将目标检测框坐标不在图片中间部位的样本图片进行删除，剩下的样本图片根据目标检测框坐标进行裁剪，去除无关背景信息。
f.将裁剪后的样本图片送入语义分割网络，分隔类别包括背景、螺母以及外露螺栓，对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重对需要分割的样本图片进行语义分割，得到每个样本图片中目标类别的分割结果。
g.根据语义分割网络的分割结果，得到样本图片中每一个像素点的种类，对图片中外露螺栓像素个数以及螺母像素个数分别进行求和，再求取两者比值并分析比值结果，确定图片中螺母的状态。
进一步地，在步骤b中，人工构建吊弦螺母具有缺陷的实物场景，拍摄图片后使用软件合成得到吊弦螺母具有缺陷的图片，根据吊弦螺母具有缺陷的图片利用生成对抗网络生成缺陷样本图片。
进一步地，在步骤c中，对缺陷样本图片分别做亮度、噪声、旋转和翻转的形态学操作，并对同一小目标在图像中进行多次复制，增加图像中小目标的数量。
进一步地，目标检测网络包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块，通过特征提取模块输出样本图片的四次有效特征层，将四次有效特征层输入至注意力机制模块，对输入进来的单个特征层，分别依次进行通道注意力机制的处理和空间注意力机制的处理，然后输出至特征融合模块，由特征融合模块将获得的四个有效特征层进行加权特征融合，以将不同尺度的特征图之间相互融合，最后通过预测解码模块得到预测框的位置。
进一步地，注意力机制模块对输入进来的单个特征层，做基于通道的全局最大池化，对最大池化的结果，利用全连接层进行处理，然后取激活函数sigmoid，获得输入的单个特征层每一个通道的权值，将权值与输入的单个特征层相乘后输出；对输入进来的单个特征层，进入空间注意力机制模块，做平均池化和最大池化处理，获得权值后，将权值与输入的单个特征层相乘后输出。
进一步地，对经过注意力机制模块输出四个有效特征层，特征融合模块将输出的有效特征层进行从下到上的特征提取后，再进行从上到下的特征提取。
进一步地，在步骤e中，将样本图片沿x方向分为四等份，如果目标检测框全部位于中间两份组成的区域中，则保留该样本图片，否则将样本图片删除。
进一步地，在步骤g中，若螺母像素个数求和为0，螺栓素个数与螺母素个数的比值为无解，即判断为螺母缺失；若螺栓素个数与螺母素个数的比值大于0.787，即判断为螺母正常；若螺栓素个数与螺母素个数的比值小于等于0.787，即判断为螺母松动。
进一步地，在步骤a中，在高速铁路夜间天窗期利用无人机搭载夜航灯沿铁路线进行视频拍摄，保持无人机摄像头垂直铁路沿线，利用无人机多倍变焦模式，固定高度和镜头角度拍摄纹理清晰的吊弦上部螺栓螺母结构，获得视频图像，读取视频的每一帧并对每一帧或者每隔几帧进行截图保存操作，得到大量现场样本图片。
本发明首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。
本发明利用无人机巡检的方式，可以很好的弥补4C装置拍摄缺陷。结合深度学习技术以及无人机拍摄的高速铁路接触网上的吊弦上部螺母的图像特点，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。操作简单，高效便捷，安全系数高，需要人力少。
附图说明
图1是本发明的流程图。
图2是本发明生成的缺陷样本图片。
图3是本发明目标检测网络结构图。
图4是本发明目标检测结果示意图。
图5是本发明目标检测框在图片中间部位和不在图片中间部位的示意图。
图6、图7分别为本发明对样本图片根据目标检测框坐标进行裁剪前后的示意图。
图8为本发明语义分割的效果图。
图9为对比实验误检效果图。
具体实施方式
如图1所示，本发明的一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，包括以下步骤。
a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片。
具体的，在高速铁路夜间天窗期利用无人机搭载夜航灯沿铁路线进行视频拍摄，保持无人机摄像头垂直铁路沿线，利用无人机多倍变焦模式，固定高度和镜头角度拍摄纹理清晰的吊弦上部螺栓螺母结构，获得视频图像。
将得到的视频利用python-opencv模块中的cv2.VideoCapture指令来读取视频。利用cv2.VideoCapture.read()读取视频的每一帧，使用for循环遍历。使用cv2.imwrite对每一帧或者每隔几帧进行截图保存操作，即可得到大量高速铁路接触网吊弦螺母现场的照片，即得到大量现场样本图片。
b.人工制作并合成吊弦螺母具有缺陷的图片，通过生成对抗网络生成缺陷样本图片。
由于吊弦螺母缺陷为重大的铁路供电安全隐患，铁路部门发现后会马上进行维修，所以吊弦螺母缺陷的故障数据较难采集，导致完好的正样本与故障的负样本在数量上严重不均衡，实际拍摄包含四季中晴天、阴雨天的多条线路样本，且正样本数量远大于负样本数量。为了避免正样本图重复拍摄及故障样本不足导致无法获取充足特征信息的问题，一方面删除了部分不可用正样本数据，另一方面对故障负样本通过深度卷积生成对抗网络生成缺陷样本。
具体的，在实验室进行绿幕搭建，人工构建吊弦螺母具有缺陷的实物场景，拍摄图片后使用软件合成得到吊弦螺母具有缺陷的图片，根据吊弦螺母具有缺陷的图片利用生成对抗网络生成缺陷样本图片。
生成对抗网络包含生成器和判别器，通过生成对抗网络生成缺陷样本图片包括以下两部分。
判别网络的构建：随机选取batch_size个真实的图片，随机生成batch_size个N维向量，传入到生成器中生成batch_size个虚假图片。真实图片的label为1，虚假图片的label为0，将真实图片和虚假图片当作训练集传入到判别器中进行训练，得到loss值。判别器采用5层卷积神经网络，每一层都使用批量归一化以及LeakyReLU激活函数，最后一层的激活函数是sigmoid，通过最后的全连接层判断结果。
生成网络的构建：对于输入进来的图片，利用一个全连接，将输入长条全连接到16,384（4x4x1024）这样一个长度上，之后对全连接的结果进行reshape，使它变成(4,4,1024)的特征层。生成器采用5层转置卷积操作，每一层都使用批量归一化以及LeakyReLU激活函数，最后一层的激活函数是tanh，输出得到假图片。将虚假图片的判别网络的预测结果与真实图片的对比作为loss对生成网络再进行训练。训练过程中可查看生成的训练样本和loss值。
c.对缺陷样本图片进行数据增强后与现场样本图片一同送入目标检测网络。
具体的，对缺陷样本图片分别做亮度、噪声、旋转和翻转的形态学操作，进一步提高模型的泛化能力。并对同一小目标在图像中进行多次复制，增加图像中小目标的数量，提升小目标被学习到的机会，得到最终的缺陷样本图片，如图2所示。然后将缺陷样本图片和现场样本图片一同送入目标检测网络进行目标检测。
d.对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重进行预测，得到每个样本图片的目标检测框坐标和置信度。
其中，目标检测网络包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块，通过特征提取模块输出样本图片的四次有效特征层，将四次有效特征层输入至注意力机制模块，对输入进来的单个特征层，分别依次进行通道注意力机制的处理和空间注意力机制的处理，然后输出至特征融合模块，由特征融合模块将获得的四个有效特征层进行加权特征融合，以将不同尺度的特征图之间相互融合，最后通过预测解码模块得到预测框的位置。
目标检测网络通过改进yolov4-tiny网络，通过融合注意力机制和加强特征提取的改进方法，以使其更适用于小目标螺母的检测，包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块来对训练样本进行监督学习。网络结构如图3所示，目标检测的结果如图4所示。
具体的，特征提取算法选择CSPdarknet53_tiny作为主干特征提取网络，输出底层的四次有效特征层C4、C5、C6、C7，C4、C5、C6、C7分别进入注意力机制模块。
注意力机制模块对输入进来的特征层，分别依次通道注意力机制的处理和空间注意力机制的处理。对输入进来的单个特征层，首先做基于通道的全局最大池化。由于样本图片中目标样本小，图片的大部分为背景。最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈。对最大池化的结果，利用全连接层进行处理，然后取激活函数sigmoid，获得输入特征层每一个通道的权值。将权值乘上一开始进入注意力机制的有效特征层即可得到通道注意力模块的输出。之后进入空间注意力机制模块，对输入进来的单个特征层，做平均池化和最大池化处理，获得权值后，将权值乘上一开始进入注意力机制的有效特征层即可输出。通过注意力机制模块可以有效的提高对小目标的检测精度。
对经过注意力机制模块输出四个有效特征层，特征融合模块将一个shape的有效特征层卷积后进行上采样，然后与上一个shape的有效特征层进行堆叠并卷积。
具体如图3所示， C4、C5、C6、C7经过注意力机制模块输出四个有效特征层，C6的特征图经过注意力机制处理后进行上采样，与C5的特征图拼接，然后把拼接之后的特征图经过卷积层和BN层，输出得到P5特征图。经过这样的结构，所以P5可以学到来自C6更深层的语义。C7的特征图经过注意力机制后得到P7，C5的特征图经过注意力机制处理后进行上采样，与C4的特征图拼接，然后把拼接之后的特征图经过卷积层和BN层，输出得到P4，P4可以学到来自C5更深层的语义。然后P4经过下采样与P5融合，P6经过下采样与P7融合，分别完成Yolohead的输出。特征融合模块可以让不同尺度的特征图之间互相融合，来增强特征图表征能力，对小目标检测精度有很大提升。
经特征融合输出后的两个特征层shape分别为(19,19,18)，(38,38,18)，进入预测解码模块。
预测解码阶段最后的输出层的shape分别为(19,19,18)，(38,38,18)，最后一个维度为18，是因为本次预测的类为1种，网络只有针对每一个特征层存在3个先验框，所以最后维度为3*（5+1）。其中（5+1）中的5表示5个参数分别为目标检测框的左上角坐标x、y和高宽h、w以及预测的置信度c，1表示现在的类别个数为一种。特征层分别将整幅图分为19x19、38x38的网格，每个网格点负责一个区域的检测。解码过程就是将每个网格点加上它对应的x和y，再利用h、w结合计算出检测框的长和宽，这样就能得到整个预测框的位置。
e.根据得到的目标检测框，将目标检测框坐标不在图片中间部位的样本图片进行删除，剩下的样本图片根据目标检测框坐标进行裁剪，去除无关背景信息。
根据上一步目标检测获取的目标检测框，在目标检测网络中取出坐标。坐标点C点为目标检测框左上角坐标（x1,y1）、D点为目标检测框右下角坐标（x2,y2），由于特定的拍摄方式，理想情况下目标应一直处在样本图片的中间部位，对于不在中间部位的目标图像，需要进行去除。如图5、图6所示，将原图像沿x方向等分为四份，取原图像的四分之一处左上角A点坐标（x3,y3）和四分之三处右下角B点坐标值(x4,y4)。若满足x1>x3，x2<x4，y1>y3，y2<y4，即目标检测框在样本图片中间两部分组成的范围内，保留该样本图片。不在此范围的图片视为角度偏移进行删除。操作后得到的目标都会在样本图片的中间部位，防止因为角度偏移造成后续阈值判断失误。
无人机巡检采集的图片像素大小是1980*1080，取原图片四分之一处左上角坐标值为(1920/4,0)，四分之三处右下角坐标为（1920*3/4,1080）。对目标检测框坐标可以在目标检测网络中获取，按上述方式利用python-for循环指令进行比较，得到需要删减的图片进行删除。
删除后剩下的样本图片根据目标检测框坐标进行裁剪，用以去除无关背景信息防止对目标信息干扰。对于删减完的样本图片运用python-cropped指令和cv2.imwrite指令完成对于目标检测框的裁剪和输出保存。裁剪后图片如图7所示。
f.将裁剪后的样本图片送入语义分割网络，分隔类别包括背景、螺母以及外露螺栓，对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重对需要分割的样本图片进行语义分割，得到每个样本图片中目标类别的分割结果。语义分割效果如图8所示，图8中左边三幅图由上至下依次为螺母正常、螺母缺失和螺母松脱，右边为对应的经过语义分割后的图，将背景、螺母以及外露螺栓以不同的颜色表示。
具体的，对裁剪后的样本图片进行像素级别的语义分割操作，分割类别0为背景，分割类别1为螺母，分割类别2为外露螺栓部分。语义分割网络使用deeplabv3+，分为特征提取模块，多尺度特征信息模块，注意力机制模块和融合信息进行预测的模块。
采用Xception作为基础网络架构提取低层和高层特征，通过空间金字塔池化提取多尺度特征信息，然后将多尺度特征输入到注意力机制模块中，增强网络模型的分类能力；最后，聚合Xception低层特征与多尺度高层特征，通过卷积和上采样得到模型预测结果。本发明通过低层特征多尺度空间信息融合减少网络逐层卷积池化导致的边缘信息损失，提高了分割精度，通过引入空间注意力机制模块聚合多尺度上下文信息，增强网络模型的分类能力。
g.根据语义分割网络的分割结果，得到样本图片中每一个像素点的种类，对图片中外露螺栓像素个数以及螺母像素个数分别进行求和，再求取两者比值并分析比值结果，确定图片中螺母的状态。
吊弦螺母的状态分为：螺母正常、螺母缺失和螺母松脱三种。本实施例中，螺母的类别为1，螺栓的类别为2。调用python-counter指令分别统计类别为螺母和螺栓的像素个数，统计完后调用python-sum指令对图片中外露螺栓像素、螺母像素分别进行求和，再进行比值。
分析比值结果：若螺母像素个数求和为0，螺栓素个数与螺母素个数的比值为无解，即判断为螺母缺失；若螺栓素个数与螺母素个数的比值大于0.787，即判断为螺母正常；若螺栓素个数与螺母素个数的比值小于等于0.787，即判断为螺母松动。
外露螺栓的像素和在松脱状态下相较于拧紧状态下像素数量会减小，螺栓素个数与螺母素个数的比值会变小。对大量图片进行实验后，确定阈值为0.787。小于该阈值的样本图片即为螺母松脱的状态，大于该阈值的样本图片即为螺母拧紧状态。
取实际拧紧图270张、松脱图100张、缺失图30张，进行验证实验，经多次检测，误检率保持在5%以下，实验结果如表一。
验证利用本发明方法进行吊弦螺母缺陷检测的有效性，进行对比实验：
利用目标检测网络mask rcnn对螺母缺陷样本进行判别，螺母缺失标记为queshi，螺母松动标记为songdong，螺母正常标记为zhengchang。由于背景干扰、正负样本过于相似等，经检测后误检率达到20%以上。误检效果如图9所示，左图为背景干扰检测效果图，右图为检测结果误检图。相比于直接利用目标检测网络判定螺母状态的方法，本发明方法有效解决了误检问题，且检测的置信度有显著提升。
本发明首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。
本发明利用无人机巡检的方式，可以很好的弥补4C装置拍摄缺陷。结合深度学习技术以及无人机拍摄的高速铁路接触网上的吊弦上部螺母的图像特点，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。操作简单，高效便捷，安全系数高，需要人力少。
Claims (9)
1.一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，包括以下步骤：
a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片；
b.人工制作并合成吊弦螺母具有缺陷的图片，通过生成对抗网络生成缺陷样本图片；
c.对缺陷样本图片进行数据增强后与现场样本图片一同送入目标检测网络；
d.对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重进行预测，得到每个样本图片的目标检测框坐标和置信度；
e.根据得到的目标检测框，将目标检测框坐标不在图片中间部位的样本图片进行删除，剩下的样本图片根据目标检测框坐标进行裁剪，去除无关背景信息；
f.将裁剪后的样本图片送入语义分割网络，分割类别包括背景、螺母以及外露螺栓，对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重对需要分割的样本图片进行语义分割，得到每个样本图片中目标类别的分割结果；
g.根据语义分割网络的分割结果，得到样本图片中每一个像素点的种类，对图片中外露螺栓像素个数以及螺母像素个数分别进行求和，再求取两者比值并分析比值结果，确定图片中螺母的状态。
2.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，在步骤b中，人工构建吊弦螺母具有缺陷的实物场景，拍摄图片后使用软件合成得到吊弦螺母具有缺陷的图片，根据吊弦螺母具有缺陷的图片利用生成对抗网络生成缺陷样本图片。
3.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，在步骤c中，对缺陷样本图片分别做亮度、噪声、旋转和翻转的形态学操作，并对同一小目标在图像中进行多次复制，增加图像中小目标的数量。
4.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，目标检测网络包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块，通过特征提取模块输出样本图片的四次有效特征层，将四次有效特征层输入至注意力机制模块，对输入进来的单个特征层，分别依次进行通道注意力机制的处理和空间注意力机制的处理，然后输出至特征融合模块，由特征融合模块将获得的四个有效特征层进行加权特征融合，以将不同尺度的特征图之间相互融合，最后通过预测解码模块得到预测框的位置。
5.根据权利要求4所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于， 注意力机制模块对输入进来的单个特征层，做基于通道的全局最大池化，对最大池化的结果，利用全连接层进行处理，然后取激活函数sigmoid，获得输入的单个特征层每一个通道的权值，将权值与输入的单个特征层相乘后输出；对输入进来的单个特征层，进入空间注意力机制模块，做平均池化和最大池化处理，获得权值后，将权值与输入的单个特征层相乘后输出。
6.根据权利要求4所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，对经过注意力机制模块输出的四个有效特征层，特征融合模块将输出的有效特征层进行从下到上的特征提取后，再进行从上到下的特征提取。
7.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，在步骤e中，将样本图片沿x方向分为四等份，如果目标检测框全部位于中间两份组成的区域中，则保留该样本图片，否则将样本图片删除。
8.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，在步骤g中，若螺母像素个数求和为0，螺栓素个数与螺母素个数的比值为无解，即判断为螺母缺失；若螺栓素个数与螺母素个数的比值大于0.787，即判断为螺母正常；若螺栓素个数与螺母素个数的比值小于等于0.787，即判断为螺母松动。
9.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，在步骤a中，在高速铁路夜间天窗期利用无人机搭载夜航灯沿铁路线进行视频拍摄，保持无人机摄像头垂直铁路沿线，利用无人机多倍变焦模式，固定高度和镜头角度拍摄纹理清晰的吊弦上部螺栓螺母结构，获得视频图像，读取视频的每一帧并对每一帧或者每隔几帧进行截图保存操作，得到大量现场样本图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210459155.6A CN114743119B (zh) | 2022-04-28 | 2022-04-28 | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210459155.6A CN114743119B (zh) | 2022-04-28 | 2022-04-28 | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114743119A true CN114743119A (zh) | 2022-07-12 |
| CN114743119B CN114743119B (zh) | 2024-04-09 |
Family
ID=82283148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210459155.6A Active CN114743119B (zh) | 2022-04-28 | 2022-04-28 | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114743119B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115170802A (zh) * | 2022-07-15 | 2022-10-11 | 四川大学 | 微小实性异生组织的分割方法、系统、电子设备及介质 |
| CN115346068A (zh) * | 2022-08-02 | 2022-11-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
| CN115719475A (zh) * | 2022-10-24 | 2023-02-28 | 北京交通大学 | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 |
| CN115995062A (zh) * | 2023-03-22 | 2023-04-21 | 成都唐源电气股份有限公司 | 一种接触网电联接线线夹螺母异常识别方法及系统 |
| CN116309303A (zh) * | 2023-01-09 | 2023-06-23 | 广州智飞科技有限公司 | 基于红外图像的电气设备缺陷检测方法、装置及相关设备 |
| CN116843686A (zh) * | 2023-08-31 | 2023-10-03 | 成都考拉悠然科技有限公司 | 接触网定位器线夹螺母缺陷的检测方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450585A (zh) * | 2017-09-05 | 2017-12-08 | 安徽师范大学 | 一种基于无人机的高铁接触网自动巡检方法 |
| CN109753929A (zh) * | 2019-01-03 | 2019-05-14 | 华东交通大学 | 一种图库联合的高铁绝缘子巡检图像识别方法 |
| CN110310261A (zh) * | 2019-06-19 | 2019-10-08 | 河南辉煌科技股份有限公司 | 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法 |
| CN111402214A (zh) * | 2020-03-07 | 2020-07-10 | 西南交通大学 | 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法 |
| CN111598855A (zh) * | 2020-05-07 | 2020-08-28 | 西安电子科技大学 | 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 |
| CN111951212A (zh) * | 2020-04-08 | 2020-11-17 | 北京交通大学 | 对铁路的接触网图像进行缺陷识别的方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112669302A (zh) * | 2020-12-30 | 2021-04-16 | 北京市商汤科技开发有限公司 | 吊弦缺陷检测方法、装置、电子设备及存储介质 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| US20210319265A1 (en) * | 2020-11-02 | 2021-10-14 | Zhengzhou University | Method for segmentation of underground drainage pipeline defects based on full convolutional neural network |
| CN113724231A (zh) * | 2021-09-01 | 2021-11-30 | 广东工业大学 | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 |
-
2022
- 2022-04-28 CN CN202210459155.6A patent/CN114743119B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450585A (zh) * | 2017-09-05 | 2017-12-08 | 安徽师范大学 | 一种基于无人机的高铁接触网自动巡检方法 |
| CN109753929A (zh) * | 2019-01-03 | 2019-05-14 | 华东交通大学 | 一种图库联合的高铁绝缘子巡检图像识别方法 |
| CN110310261A (zh) * | 2019-06-19 | 2019-10-08 | 河南辉煌科技股份有限公司 | 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN111402214A (zh) * | 2020-03-07 | 2020-07-10 | 西南交通大学 | 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法 |
| CN111951212A (zh) * | 2020-04-08 | 2020-11-17 | 北京交通大学 | 对铁路的接触网图像进行缺陷识别的方法 |
| CN111598855A (zh) * | 2020-05-07 | 2020-08-28 | 西安电子科技大学 | 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 |
| US20210319265A1 (en) * | 2020-11-02 | 2021-10-14 | Zhengzhou University | Method for segmentation of underground drainage pipeline defects based on full convolutional neural network |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112669302A (zh) * | 2020-12-30 | 2021-04-16 | 北京市商汤科技开发有限公司 | 吊弦缺陷检测方法、装置、电子设备及存储介质 |
| CN113379699A (zh) * | 2021-06-08 | 2021-09-10 | 上海电机学院 | 基于深度学习的输电线路绝缘子缺陷检测方法 |
| CN113724231A (zh) * | 2021-09-01 | 2021-11-30 | 广东工业大学 | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 董志刚: "高速铁路接触网结构零部件防松技术的改善和研究", 《电气化铁道》, no. 1, 31 December 2018 (2018-12-31) * |
| 马天琪等: "基于分段距离判别的电气化铁路混合线路故障测距方法", 《石家庄铁道大学学报(自然科学版)》, vol. 32, no. 02, 28 February 2019 (2019-02-28) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115170802A (zh) * | 2022-07-15 | 2022-10-11 | 四川大学 | 微小实性异生组织的分割方法、系统、电子设备及介质 |
| CN115346068A (zh) * | 2022-08-02 | 2022-11-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货运列车螺栓丢失故障图像自动生成方法 |
| CN115719475A (zh) * | 2022-10-24 | 2023-02-28 | 北京交通大学 | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 |
| CN115719475B (zh) * | 2022-10-24 | 2023-09-19 | 北京交通大学 | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 |
| CN116309303A (zh) * | 2023-01-09 | 2023-06-23 | 广州智飞科技有限公司 | 基于红外图像的电气设备缺陷检测方法、装置及相关设备 |
| CN115995062A (zh) * | 2023-03-22 | 2023-04-21 | 成都唐源电气股份有限公司 | 一种接触网电联接线线夹螺母异常识别方法及系统 |
| CN115995062B (zh) * | 2023-03-22 | 2023-08-04 | 西南交通大学 | 一种接触网电联接线线夹螺母异常识别方法及系统 |
| CN116843686A (zh) * | 2023-08-31 | 2023-10-03 | 成都考拉悠然科技有限公司 | 接触网定位器线夹螺母缺陷的检测方法及装置 |
| CN116843686B (zh) * | 2023-08-31 | 2023-11-10 | 成都考拉悠然科技有限公司 | 接触网定位器线夹螺母缺陷的检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114743119B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN112766195B (zh) | 一种电气化铁路弓网燃弧视觉检测方法 | |
| CN109145747A (zh) | 一种水面全景图像语义分割方法 | |
| CN111414807A (zh) | 一种基于yolo技术的潮水识别与危机预警方法 | |
| CN111639530B (zh) | 一种输电线路的输电塔和绝缘子的检测和识别方法及系统 | |
| CN111291684A (zh) | 一种自然场景下的船牌检测方法 | |
| CN109949209A (zh) | 一种基于深度学习的绳索检测与去除方法 | |
| CN115861799A (zh) | 基于注意力梯度的轻量化空对地目标检测方法 | |
| CN114359286A (zh) | 一种基于人工智能的绝缘子缺陷识别方法、设备及介质 | |
| CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN117437201A (zh) | 一种基于改进YOLOv7的道路裂缝检测方法 | |
| CN115984672B (zh) | 基于深度学习的高清图像内小目标的检测方法和装置 | |
| CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
| CN111931577A (zh) | 一种电网线路特定异物智能巡检方法 | |
| CN116994161A (zh) | 一种基于改进YOLOv5的绝缘子缺陷检测方法 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| CN114782915B (zh) | 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备 | |
| CN115546667A (zh) | 一种无人机场景的实时车道线检测方法 | |
| CN115690770A (zh) | 基于空间注意力特征的非受限场景下的车牌识别方法 | |
| CN116309270A (zh) | 一种基于双目图像的输电线路典型缺陷识别方法 | |
| CN113869122A (zh) | 一种配网工程强化管控方法 | |
| CN115272814B (zh) | 一种远距离空间自适应多尺度的小目标检测方法 | |
| Dabbiru et al. | Object detection in synthetic aerial imagery using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20221109 Address after: 050043 No. 17, North Second Ring Road, Hebei, Shijiazhuang Applicant after: SHIJIAZHUANG TIEDAO University Applicant after: Shijiazhuang power supply section of China Railway Beijing Bureau Group Co.,Ltd. Address before: 050043 No. 17, North Second Ring Road, Hebei, Shijiazhuang Applicant before: SHIJIAZHUANG TIEDAO University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |