CN109753929A - 一种图库联合的高铁绝缘子巡检图像识别方法 - Google Patents

一种图库联合的高铁绝缘子巡检图像识别方法 Download PDF

Info

Publication number
CN109753929A
CN109753929A CN201910004924.1A CN201910004924A CN109753929A CN 109753929 A CN109753929 A CN 109753929A CN 201910004924 A CN201910004924 A CN 201910004924A CN 109753929 A CN109753929 A CN 109753929A
Authority
CN
China
Prior art keywords
image
insulator
sample
inspection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910004924.1A
Other languages
English (en)
Other versions
CN109753929B (zh
Inventor
屈志坚
朱丹
张靖
赖立
衣晚卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN201910004924.1A priority Critical patent/CN109753929B/zh
Publication of CN109753929A publication Critical patent/CN109753929A/zh
Application granted granted Critical
Publication of CN109753929B publication Critical patent/CN109753929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种图库联合的高铁绝缘子巡检图像识别方法,以高铁接触网安全巡检系统中的工程实测图像为例,首先对巡检图像的感兴趣区域(ROI,Region of Interest)进行图像增强、去噪等预处理,然后采用图像切割的方式提取感兴趣区域中的正负样本并利用多层CNN对其进行训练学习,最后通过对训练后的模型进行分层次识别、针对错误集微调等优化处理,实现对巡检图像中绝缘子的精准识别。本发明尤其适用于背景复杂的接触网环境,可在接触网环境中以98.2%的识别率精确定位绝缘子,在不同的拍摄距离、角度、亮度下均能展现出较好的泛化能力。

Description

一种图库联合的高铁绝缘子巡检图像识别方法
技术领域
本发明专利涉及到轨道交通领域,尤其涉及一种图库联合的高铁绝缘子巡检图像识别方法。
背景技术
随着我国电气化铁路的快速发展和建设,对牵引供电系统中接触网供电的安全性、可靠性要求不断提高。绝缘子作为接触网上使带电部件保持电气绝缘的元器件之一,在电气化铁路安全运行方面有着举足轻重的作用。目前对接触网上绝缘子的识别方法主要有人工巡视法和电磁特性检测法,人工巡视法识别效率不高、巡视周期长;电磁特性检测法例如电压分布法、超声波检测、红外检测、无线电波检测等,都存在着操作繁琐、容易受电磁干扰的问题。
随着图像处理技术的发展,基于图像处理的绝缘子图像识别技术成为了一种比较高效的新型识别方法,该方法可以在某些特定条件下实现对绝缘子的快速定位识别,从而及时发现缺陷、排除险情。绝缘子图像识别技术主要可分为以下三类:第一类是基于方向梯度直方图(HOG,Histogram of Oriented Gradient)特征和支持向量机(SVM,SupportVector Machine)分类器的绝缘子识别与定位,该类技术虽然误识别率低,但识别精度不高,且当图像背景较为复杂或需要识别的绝缘子数量较大时,检测准确率会大幅降低,很难满足实际工程中的需求;第二类是基于Haar特征和Adaboost级联分类器的绝缘子特征识别技术,该类技术虽然识别精度较高,但存在严重的误识别问题,且误识别对象主要以图像中的黑色背景为主,通过增加负样本以及优化程序也很难降低误识别率;第三类是结合深度学习及机器视觉的新型检测技术,该类技术适用范围广,检测效率高,可用于检测大量图像,但在检测模糊、亮度低或背景较复杂的绝缘子图像时,识别率仍不够高。随着我国铁路的快速发展,所需检测的接触网绝缘子数量剧增,上述方法已经不能满足这种海量图像数据的处理需求。
发明内容
为了解决上述问题,本发明提出了一种基于深度学习的高铁绝缘子巡检图像感兴趣区域目标识别新方法,具有较大的实际工程价值。使用电子式数据统计、数字图像处理和卷积神经网络模型,满足对接触网上绝缘子非接触、抗干扰、高精度检测的要求,具有智能化、小型化、网络化、特征化等特点,可实现在背景复杂的接触网环境中对绝缘子进行精准定位,且在不同的拍摄距离、角度、亮度下展现出较好的泛化能力。
为达到以上目的,本发明提供如下技术方案:
一种图库联合的高铁绝缘子巡检图像识别方法,包括以下步骤:
(1)巡检图像的采集和感兴趣区域划分
高速铁路车载安全巡检采集系统先利用安装在车顶的高清摄像头拍摄铁路沿线视频,将实时数据传输到控制中心进行信息处理,然后通过视频软件将采集的视频处理成每一帧图像,并实时显示当前帧图像的录像时间,方便对故障零部件的杆号及公里标号定位,最后将巡检图像格式转换为处理软件需要的格式。
由于图像中绝缘子集中于接触网腕臂上,腕臂通常在图像的左上角,另一方面,接触网综合巡检车工作环境为室外,车体振动、车速过快及恶劣天气等多种因素都会影响拍摄质量,导致图像亮度偏暗、模糊不清。因此先将巡检图像十字划分,再选取包含绝缘子的感兴趣区域进行预处理。
(2)感兴趣区域的图像预处理
由于接触网综合巡检系统采集到的是彩色图像,而图像处理时通常只能对灰度图进行识别检测,故需将巡检图像灰度化。在图像颜色处理中,通常将红(R,Red)、绿(G,Green)、蓝(B,Blue)三种基色分别量化至0~255之间,结合巡检图像局部构图复杂、降维过程易出现信息丢失的特点,本发明采用一种新型颜色编码方法,即色相(H,Hue)、饱和度(S,Saturation)、明度(V,Value)颜色空间模型,HSV颜色模型是将RGB色彩模式中的点置入倒圆锥体中的表示方法,可以用一个圆锥空间模型来描述。设(r ROI,g ROI,b ROI)分别为巡检图像感兴趣区域中一个像素的坐标,max ROI等价于这些值中的最大者,minROI等价于最小者,该转换过程就是要求HSV颜色模型颜色空间对应像素点的(h ROI,s ROI,lROI)值。计算公式为:
对灰度化后的图像采用基于Gamma变换的图像增强,利用该方法对图像感兴趣区域中的每一个像素点做乘积运算。为检验上述方法的效果,分别用处理后得到的绝缘子图片与直方图均衡化和Log变换处理的结果进行对比,结果表明,基于Gamma变换的图像增强效果最好,相较于原图,对比度和亮度都有了明显提高,有利于后续对绝缘子图像的识别,提高了识别精度。
在巡检图像的生成、传输过程中,常受到各类噪声的影响,本发明选用了小波去噪对感兴趣区域进行处理,具体步骤是:
首先针对巡检图像的特点,选取Haar小波进行分解,分解层次为N,再由此计算出从信号S到第N层的分解,为1~N每一层的高频系数选择一个阈值进行量化,最后选用表现更优的软阈值对其进行去噪处理。
(3)感兴趣区域正负样本数据库的建立
利用分类器进行训练、验证时,需要对图像中正负样本的数据进行统计分析,分类出正负样本的特征,为识别检测打下基础。从巡检图像的感兴趣区域随机截取大量正负样本,正样本为待测绝缘子图像,截取时应框选出绝缘子边缘轮廓;负样本为不包含绝缘子的背景图像,应尽量囊括所有场景。本发明从30000多张巡检图像中随机抽取12000张进行标记工作,建立了含3000张图片的正样本库和1000张图片的负样本库,图片大小为64*64。
(4)巡检图像感兴趣区域的分层次识别处理
为了提高对感兴趣区域中绝缘子的识别精度,需使用优化算法对模型训练进行优化,在训练过程中暴露了以下几方面的限制:目标尺寸差距过大易使识别时只包围目标局部或包围多个物体,且使人工标注图片难度增加;部分零部件过小,本发明在实验中采用的是Caffe深度学习计算平台,利用特征提取网络提取特征图时,尺寸仅为原图的1/16,对于绝缘子上的细小零件如螺母等识别困难;识别耗时过长,巡检图像的尺寸为4920×3280,直接卷积运算会使存储消耗巨大。经测试,在4920×3280的图片上仅识别13个目标区域就需要1.1秒左右的时间。
为了有效改善以上三种限制,本发明提出了一种分层次识别策略,先识别绝缘子所在区域,再对区域内绝缘子进行提取。从原图中剪裁出目标区域时需根据区域内目标检测的像素精度要求来缩放,如检测绝缘子时可将区域缩小,而检测螺母时将区域放大。
(5)针对巡检图像感兴趣区域错误集的微调优化
由于巡检图像感兴趣区域内包含大量待检测目标,且不同区域不同目标识别所需训练样本数量不同,若将所有区域全部标注,工作量大且效率低。因此本发明的部分训练集采用了一种针对错误集的微调策略:首先用未标注测试集对模型进行测试,再根据检测出的区域数量判断缺少的区域,将缺少不同区域的图片分类存储,然后对缺少N号区域的图片标注N号区域,将其他部分处理为黑色,形成错误集,最后利用处理好的错误集在原有网络模型的基础上进行微调。同一线路的接触网上需识别目标数量基本相同,且该测试的目的并不是统计模型识别率而是产生一个用来微调的错误集,经过测试,该策略是可靠的。
(6)基于卷积神经网络的Pa-CNN模型
本发明将Pa-CNN模型定义为卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。Pa-CNN模型含有多层神经网络,它的每一层包含多个二维平面,而每个二维平面又包含多个独立的神经元,Pa-CNN模型在网络结构上采用了卷积层、采样层交替结构。卷积层利用不同的卷积核进行卷积运算,增强原信号特征,降低噪音,通过局部感知场,抽取一些类似有向边角的基本视觉特征,构成一幅输入图像的特征图,卷积层中通常包含多个具有不同权值向量的特征图,使得在同一个位置能够获得多种不同的特征。
(7)不同网络层数对Pa-CNN模型的影响
Pa-CNN模型中包含多个隐层,当隐层数目不同时,训练出的网络结构性能也不同,因此本发明通过大量对比实验探索了隐层数与模型好坏的关系。卷积层和池化层是Pa-CNN模型中特有的网络结构,且池化层通常紧跟在卷积层的后面,具有简化计算的作用。
设Pa-CNN1中含有三个卷积层和三个池化层,Pa-CNN2中含有两个卷积层和三个池化层,利用500个正样本和300个负样本构成的小样本训练集进行对比实验,实验结果表明,三个卷积层的Pa-CNN1的网络结构优于两个卷积层的Pa-CNN2,其训练达到的状态更稳定,识别正确率也更高。
设Pa-CNN3中含有三个卷积层和两个池化层,将Pa-CNN1中第三个卷积层后面紧跟的池化层去掉,利用500个正样本和300个负样本构成的小样本训练集进行对比实验,实验结果表明,三个池化层的Pa-CNN1的网络结构优于两个池化层的Pa-CNN3,其在训练过程中能有效减少计算量,提高运行性能,使网络结构快速收敛。
(8)基于HOG特征与SVM分类器的绝缘子识别
HOG特征是根据样本库中正负样本的像素点边缘及梯度方向密度进行特征直方图提取的算法,能够将局部目标区域中的绝缘子特征描述得十分好,具体流程如下:
Step1:对灰度化处理后的正负样本图采用Gamma变换,进行归一化处理;
Step2:计算出正负样本中每个像素点的梯度,对某个像素点Z绝缘子(x,y)求其x、y方向梯度的公式如下:
Dx(x,y)=T(x+1,y)-T(x-1,y)
Dy(x,y)=T(x,y+1)-T(x,y-1)
上式中,T=(x,y)表示正负样本上某点的像素值,Dx表示该像素点水平方向的梯度,Dy表示该像素点竖直方向的梯度,该像素点梯度的幅值D(x,y)和方向α(x,y)可表示为:
α(x,y)=tan-1(Dy(x,y)/Dx(x,y))
Step3:对整个扫描窗口中所有block块区域的HOG描述子都进行统计,得到检测窗口即正负样本图片的HOG特征。
SVM分类器是传统机器学习中常用的一种分类算法,目的是将低维度难以划分的所有正负样本投影到高维度进行分类,通过对大量数据进行处理,使分类的精确度提高。
将所有正负样本的HOG特征作为两组SVM数据进行分类器训练,训练后可得到最终的SVM分类器,将分类器中的数据储存在xml文件中。从大量的巡检图像感兴趣区域中选取1000张作为测试样本,样本中绝缘子数目为2068个,运行环境WIN10系统,编程环境VS2010+OpenCV2.4.10。为增加算法识别精度,本实验将误识别样本添加到负样本中,通过不断调整和完善正负样本来提高识别精度,实验结果见下表,其中误检率为误识别数与绝缘子数之比。
(9)基于Haar特征与Adaboost分类器的绝缘子识别
利用Haar特征处理巡检图像样本库中的正负样本,实质上是对像素点分模块求差值的过程,该过程能较好地反映出正负样本的灰度变化。Adaboost算法是对Boosting算法的一个继承和发展,Adaboost级联分类器将弱分类器的结果作为样本库中正负样本是否继续分类的负反馈信号,从而不断地适应和调整样本,因此该算法不需要事先设置错误率。
从大量的巡检图像感兴趣区域中选取1000张作为测试样本,样本中绝缘子数目为2068个,运行环境WIN10系统,编程环境VS2010+OpenCV2.4.10。在基于Haar特性和Adaboost分类器的绝缘子识别实验中,为增加算法识别精度,将误识别样本添加到负样本中,通过不断完善正、负样本数量并且调整OpenCV_traincascade.exe的参数来提高识别精度,实验结果见下表。
(10)Pa-CNN模型与HOG特征+SVM分类器、Haar特征+Adaboost分类器的实验结果对比分析:
从大量的巡检图像感兴趣区域中选取1000张作为测试样本,样本中绝缘子数目为2068个。为增加算法识别精度,本实验进行了多尺度识别,检测图像中的绝缘子并将其框选保存,同时将误识别样本添加到负样本中,通过不断调整和完善正负样本来提高识别精度,实验结果见下表。
从测试结果来看,尽管基于Haar特征和Adaboost分类器算法识别正确率达到了94.8%,但其误识别率高达91.3%;基于HOG特征和SVM分类器算法虽然误识别率为2.7%,但绝缘子识别正确率上仅有66.7%。而基于Pa-CNN模型的新识别方法,不仅识别正确率高达98.2%,误识别率也仅有2.1%,各项重要指标均明显优于前两种方法。
由于采用了上述的技术方案,本发明具有以下有益效果:
1、本发明提供了一种适用于复杂接触网环境的绝缘子优化识别新方法,具有自动化检测、抗干扰能力强、识别精度高、泛化能力好等优点。
2、本发明采用基于深度学习的识别方法,可以使用计算机查看、分析识别结果,具有可视化、操作简便的优点。
3、本发明在检测模糊、亮度低或在恶劣天气环境下拍摄的绝缘子图像时,仍具有很高的识别精度,抗干扰能力强。
4、本发明采用以太网进行数据传输,具有数据传输速度快、投资成本低的优点。
5、本发明采用高性能DSP芯片作为图像处理器,具有成本低、低功耗、高性能的处理能力的优点,可以实现实时对图像的处理、分析。
6、本发明采用CAN总线进行数据传输,具有实时性好、稳定性高、灵活性好以及连接方便等优越性能。
7、本发明采用图像识别的技术,不仅可以用于高速铁路接触网绝缘子识别定位,还可用于检测接触网上零部件缺失、鸟巢、异物侵限等问题,具有较好的泛化能力。
附图说明
图1为本发明一种图库联合的高铁绝缘子巡检图像识别方法的HSV颜色模型颜色空间模型;
图2为本发明一种图库联合的高铁绝缘子巡检图像识别方法的绝缘子亮度增强效果图;
图3为本发明一种图库联合的高铁绝缘子巡检图像识别方法的小波去噪效果图;
图4为本发明一种图库联合的高铁绝缘子巡检图像识别方法的分层次识别策略示意图;
图5为本发明一种图库联合的高铁绝缘子巡检图像识别方法的Pa-CNN模型结构解析图;
图6为本发明一种图库联合的高铁绝缘子巡检图像识别方法的Pa-CNN模型实现流程图;
图7为本发明一种图库联合的高铁绝缘子巡检图像识别方法的不同网络层Pa-CNN模型训练效果图。
具体实施方式
以下结合图1至图7所示的实施例对本发明进一步加以详细说明。
如图1所示为本发明一种图库联合的高铁绝缘子巡检图像识别方法的HSV颜色模型颜色空间模型。HSV颜色模型是将RGB色彩模式中的点置入倒圆锥体中的表示方法,其中H代表色相,S代表饱和度,V代表明度,将RGB色彩模式颜色空间转换处理为HSV颜色模型颜色空间,能有效防止图像在降维过程中丢失关键信息,同时大大提高灰度图的清晰度和对比度。
如图2所示为本发明一种图库联合的高铁绝缘子巡检图像识别方法的绝缘子亮度增强效果图。图2(a)为原始图像,其平均灰度g=212.0,得出相应的γ=1.6,变换处理后如图2(b)所示。实验结果表明,基于Gamma变换的图像增强效果最好,相较于原图,对比度和亮度都有了明显提高,有利于后续对绝缘子图像的识别,提高了识别精度。
如图3所示为本发明一种图库联合的高铁绝缘子巡检图像识别方法的小波去噪效果图。对增强后的绝缘子图像进行了两层去噪处理:第一次去除了较明显的噪声,第二次得到的噪声较少且清晰明亮。
如图4所示为本发明一种图库联合的高铁绝缘子巡检图像识别方法的分层次识别策略示意图。先识别绝缘子所在区域,再对区域内绝缘子进行提取,从巡检图像感兴趣区域中剪裁目标区域时需根据区域内目标检测的像素精度要求进行缩放,如检测绝缘子等正样本时可将区域缩小,而检测螺母、开口销尾部等负样本时将区域放大。
如图5所示为本发明一种图库联合的高铁绝缘子巡检图像识别方法的Pa-CNN模型结构解析图。Pa-CNN模型含有多层神经网络,它的每一层包含多个二维平面,而每个二维平面又包含多个独立的神经元,其在网络结构上采用了卷积层、采样层交替结构。巡检图像感兴趣区域通过四个滤波器和偏置进行卷积,卷积后得到4个相应的特征映射,即第一个卷积层,然后该卷积层通过处理得到子采样层,子采样层再通过一系列的处理得到第二个卷积层。最终这些像素点的值被光栅化,并组成一个向量输入到传统的神经网络,然后得到输出。
如图6所示为本发明一种图库联合的高铁绝缘子巡检图像识别方法的Pa-CNN模型实现流程图。流程图的整体结构可概括为两部分,第一部分采用特征提取网络提取图片特征;第二部分通过分类器对Rois池化层输出的包围框进行目标种类概率评分和尺寸调整。
如图7所示为本发明一种图库联合的高铁绝缘子巡检图像识别方法的不同网络层Pa-CNN模型训练效果图。通过图7(a)可以发现,卷积层较少的Pa-CNN2的错误率率先开始下降,但当迭代次数超过1300次时,Pa-CNN1的稳定性和正确率均明显高于HW-CNN2。由此可得出结论:三个卷积层和三个池化层的Pa-CNN1的网络结构优于两个卷积层和三个池化层的Pa-CNN2,其训练达到的状态更稳定,识别正确率也更高。通过图7(b)可以发现,池化层较少的Pa-CNN3收敛速度较慢,大约在迭代1200次后趋于稳定,而Pa-CNN1在迭代900次后就开始趋于稳定。由此可得出结论:三个卷积层和三个池化层的Pa-CNN1的网络结构优于三个卷积层和两个池化层的Pa-CNN3,其在训练过程中能有效减少计算量,提高运行性能,使网络结构快速收敛。

Claims (3)

1.一种图库联合的高铁绝缘子巡检图像识别方法,其特征在于,具体处理方法如下:
(1)巡检图像的采集和感兴趣区域划分
高速铁路车载安全巡检采集系统先利用安装在车顶的高清摄像头拍摄铁路沿线视频,将实时数据传输到控制中心进行信息处理,然后通过视频软件将采集的视频处理成每一帧图像,并实时显示当前帧图像的录像时间,方便对故障零部件的杆号及公里标号定位,最后将巡检图像格式转换为处理软件需要的格式;划分感兴趣区域时先将巡检图像十字划分,再选取包含绝缘子的感兴趣区域进行预处理;
(2)ROI区域的图像预处理
采用色相(H,Hue)、饱和度(S,Saturation)、明度(V,Value)颜色空间模型的颜色编码方法来对采集到的图像进行灰度化处理,设(r ROI,g ROI,b ROI)分别为巡检图像感兴趣区域中一个像素的坐标,max ROI等价于这些值中的最大者,minROI等价于最小者,该转换过程就是要求HSV颜色模型颜色空间对应像素点的(h ROI,s ROI,lROI)值,计算公式为:
对灰度化后的图像采用Gamma变换将图像增强处理,并选用了小波去噪法对感兴趣区域进行去噪处理,具体步骤是:
首先针对巡检图像的特点,选取Haar小波进行分解,分解层次为N,再由此计算出从信号S到第N层的分解,为1~N每一层的高频系数选择一个阈值进行量化,最后选用表现更优的软阈值对其进行去噪处理;
(3)感兴趣区域正负样本数据库的建立
从30000多张巡检图像中随机抽取12000张进行标记工作,建立了含3000张图片的正样本库和1000张图片的负样本库,图片大小为64*64;
(4)巡检图像感兴趣区域的分层次识别处理
本发明提出了一种分层次识别策略,先识别绝缘子所在区域,再对区域内绝缘子进行提取,从原图中剪裁出目标区域时需根据区域内目标检测的像素精度要求来缩放,以此来提高对感兴趣区域中绝缘子的识别精度;
(5)针对巡检图像感兴趣区域错误集的微调优化
本发明的部分训练集采用了一种针对错误集的微调策略:首先用未标注测试集对模型进行测试,再根据检测出的区域数量判断缺少的区域,将缺少不同区域的图片分类存储,然后对缺少N号区域的图片标注N号区域,将其他部分处理为黑色,形成错误集,最后利用处理好的错误集在原有网络模型的基础上进行微调;
(6)基于卷积神经网络的Pa-CNN模型
本发明将Pa-CNN模型定义为卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小,Pa-CNN模型含有多层神经网络,它的每一层包含多个二维平面,而每个二维平面又包含多个独立的神经元,其在网络结构上采用了卷积层、采样层交替结构,卷积层利用不同的卷积核进行卷积运算,增强原信号特征,降低噪音,通过局部感知场,抽取一些类似有向边角的基本视觉特征,构成一幅输入图像的特征图,卷积层中通常包含多个具有不同权值向量的特征图,使得在同一个位置能够获得多种不同的特征;
(7)不同网络层数对Pa-CNN模型的影响
通过大量对比实验探索了隐层数与模型好坏的关系,卷积层和池化层是Pa-CNN模型中特有的网络结构,且池化层通常紧跟在卷积层的后面,具有简化计算的作用,设Pa-CNN1中含有三个卷积层和三个池化层,Pa-CNN2中含有两个卷积层和三个池化层,利用500个正样本和300个负样本构成的小样本训练集进行对比实验;
设Pa-CNN3中含有三个卷积层和两个池化层,将Pa-CNN1中第三个卷积层后面紧跟的池化层去掉,利用500个正样本和300个负样本构成的小样本训练集进行对比实验;
(8)基于HOG特征与SVM分类器的绝缘子识别
将所有正负样本的HOG特征作为两组SVM数据进行分类器训练,训练后可得到最终的SVM分类器,将分类器中的数据储存在xml文件中;从大量的巡检图像感兴趣区域中选取1000张作为测试样本,样本中绝缘子数目为2068个,运行环境WIN10系统,编程环境VS2010+OpenCV2.4.10;为增加算法识别精度,本实验将误识别样本添加到负样本中,通过不断调整和完善正负样本来提高识别精度;
(9)基于Haar特征与Adaboost分类器的绝缘子识别
从大量的巡检图像感兴趣区域中选取1000张作为测试样本,样本中绝缘子数目为2068个,运行环境WIN10系统,编程环境VS2010+OpenCV2.4.10;在基于Haar特性和Adaboost分类器的绝缘子识别实验中,为增加算法识别精度,将误识别样本添加到负样本中,通过不断完善正、负样本数量并且调整OpenCV_traincascade.exe的参数来提高识别精度;
(10)Pa-CNN模型与HOG特征+SVM分类器、Haar特征+Adaboost分类器的实验结果对比分析:从大量的巡检图像ROI区域中选取1000张作为测试样本,样本中绝缘子数目为2068个,为增加算法识别精度,本实验进行了多尺度识别,检测图像中的绝缘子并将其框选保存,同时将误识别样本添加到负样本中,通过不断调整和完善正负样本来提高识别精度,从测试结果来看,尽管基于Haar特征和Adaboost分类器算法识别正确率达到了94.8%,但其误识别率高达91.3%;基于HOG特征和SVM分类器算法虽然误识别率为2.7%,但绝缘子识别正确率上仅有66.7%;5. 而基于Pa-CNN模型的新识别方法,不仅识别正确率高达98.2%,误识别率也仅有2.1%,各项重要指标均明显优于前两种方法。
2.根据权利要求1所述的图库联合的高铁绝缘子巡检图像识别方法,其特征在于,所述步骤(5)中,Pa-CNN的卷积层利用不同的卷积核进行卷积运算,增强原信号特征,降低噪音,通过局部感知场,抽取一些类似有向边角的基本视觉特征,构成一幅输入图像的特征图,卷积层中通常包含多个具有不同权值向量的特征图,使得在同一个位置能够获得多种不同的特征。
3.根据权利要求1所述的图库联合的高铁绝缘子巡检图像识别方法,其特征在于,巡检图像通过四个滤波器和偏置进行卷积,卷积后得到4个相应的特征映射,即第一个卷积层,然后该卷积层通过处理得到子采样层,子采样层再通过一系列的处理得到第二个卷积层,最终这些像素点的值被光栅化,并组成一个向量输入到传统的神经网络,然后得到输出。
CN201910004924.1A 2019-01-03 2019-01-03 一种高铁绝缘子巡检图像识别方法 Active CN109753929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910004924.1A CN109753929B (zh) 2019-01-03 2019-01-03 一种高铁绝缘子巡检图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910004924.1A CN109753929B (zh) 2019-01-03 2019-01-03 一种高铁绝缘子巡检图像识别方法

Publications (2)

Publication Number Publication Date
CN109753929A true CN109753929A (zh) 2019-05-14
CN109753929B CN109753929B (zh) 2022-10-28

Family

ID=66405357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910004924.1A Active CN109753929B (zh) 2019-01-03 2019-01-03 一种高铁绝缘子巡检图像识别方法

Country Status (1)

Country Link
CN (1) CN109753929B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110133443A (zh) * 2019-05-31 2019-08-16 中国科学院自动化研究所 基于平行视觉的输电线路部件检测方法、系统、装置
CN110209865A (zh) * 2019-05-24 2019-09-06 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN110472669A (zh) * 2019-07-22 2019-11-19 华北电力大学(保定) 一种图像分类方法
CN110889435A (zh) * 2019-11-04 2020-03-17 国网河北省电力有限公司检修分公司 基于红外图像的绝缘子评估分类方法及其装置
CN111428748A (zh) * 2020-02-20 2020-07-17 重庆大学 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN112069974A (zh) * 2020-09-02 2020-12-11 安徽铜峰电子股份有限公司 一种识别元器件缺损的图像识别方法及其系统
CN112132821A (zh) * 2020-09-30 2020-12-25 哈尔滨市科佳通用机电股份有限公司 一种基于图像处理的开口销丢失检测方法
CN112200483A (zh) * 2020-10-22 2021-01-08 卡斯柯信号有限公司 一种地铁轨旁设备自动巡检系统及自动巡检方法
CN112241936A (zh) * 2019-07-18 2021-01-19 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN112329497A (zh) * 2019-07-18 2021-02-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN112464752A (zh) * 2020-11-11 2021-03-09 鼎旺天成科技(青岛)有限公司 一种基于图像模式识别的可视化施工管控系统的实现方法
CN112528739A (zh) * 2020-11-06 2021-03-19 广东电网有限责任公司中山供电局 一种复合绝缘外套裂缝图像识别嵌入式装置
CN112784718A (zh) * 2021-01-13 2021-05-11 上海电力大学 一种基于边缘计算与深度学习的绝缘子状态识别方法
WO2021088101A1 (zh) * 2019-11-04 2021-05-14 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法
CN113536942A (zh) * 2021-06-21 2021-10-22 上海赫千电子科技有限公司 一种基于神经网络的道路交通标志识别方法
CN114266676A (zh) * 2021-12-28 2022-04-01 华东交通大学 一种遗传优化Bagging异质集成模型的异常用电检测方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN115188091A (zh) * 2022-07-13 2022-10-14 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检系统及方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242313A1 (en) * 2010-04-05 2011-10-06 Al-Duwaish Hussain N Contamination monitoring of high voltage insulators
CN104021394A (zh) * 2014-06-05 2014-09-03 华北电力大学(保定) 基于Adaboost算法的绝缘子图像识别方法
CN104618695A (zh) * 2015-03-06 2015-05-13 张廷敏 位于空中的电力设备识别系统
CN105354589A (zh) * 2015-10-08 2016-02-24 成都唐源电气有限责任公司 一种在接触网图像中智能识别绝缘子裂损的方法及系统
KR20160090533A (ko) * 2015-01-22 2016-08-01 포항공과대학교 산학협력단 금속-절연체 전이 소자를 이용한 신경회로망 형태 분류기 및 형태 분류 방법
CN106250920A (zh) * 2016-07-26 2016-12-21 国网福建省电力有限公司 基于多特征信息融合的绝缘子状态检测与诊断方法
CN106446934A (zh) * 2016-08-31 2017-02-22 西南交通大学 基于hog特征的高铁接触网承力索座支撑底座检测方法
CN107133943A (zh) * 2017-04-26 2017-09-05 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
CN107145846A (zh) * 2017-04-26 2017-09-08 贵州电网有限责任公司输电运行检修分公司 一种基于深度学习的绝缘子识别方法
CN107492094A (zh) * 2017-07-21 2017-12-19 长安大学 一种高压电线绝缘子的无人机视觉检测方法
CN107704859A (zh) * 2017-11-01 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习训练框架的文字识别方法
CN107808141A (zh) * 2017-11-08 2018-03-16 国家电网公司 一种基于深度学习的输电线路绝缘子爆裂识别方法
CN108009591A (zh) * 2017-12-14 2018-05-08 西南交通大学 一种基于深度学习的接触网关键部件识别方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108154072A (zh) * 2016-12-02 2018-06-12 天津工业大学 基于深度卷积神经网络的航拍绝缘子故障自动检测

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242313A1 (en) * 2010-04-05 2011-10-06 Al-Duwaish Hussain N Contamination monitoring of high voltage insulators
CN104021394A (zh) * 2014-06-05 2014-09-03 华北电力大学(保定) 基于Adaboost算法的绝缘子图像识别方法
KR20160090533A (ko) * 2015-01-22 2016-08-01 포항공과대학교 산학협력단 금속-절연체 전이 소자를 이용한 신경회로망 형태 분류기 및 형태 분류 방법
CN104618695A (zh) * 2015-03-06 2015-05-13 张廷敏 位于空中的电力设备识别系统
CN105354589A (zh) * 2015-10-08 2016-02-24 成都唐源电气有限责任公司 一种在接触网图像中智能识别绝缘子裂损的方法及系统
CN106250920A (zh) * 2016-07-26 2016-12-21 国网福建省电力有限公司 基于多特征信息融合的绝缘子状态检测与诊断方法
CN106446934A (zh) * 2016-08-31 2017-02-22 西南交通大学 基于hog特征的高铁接触网承力索座支撑底座检测方法
CN108154072A (zh) * 2016-12-02 2018-06-12 天津工业大学 基于深度卷积神经网络的航拍绝缘子故障自动检测
CN107133943A (zh) * 2017-04-26 2017-09-05 贵州电网有限责任公司输电运行检修分公司 一种防震锤缺陷检测的视觉检测方法
CN107145846A (zh) * 2017-04-26 2017-09-08 贵州电网有限责任公司输电运行检修分公司 一种基于深度学习的绝缘子识别方法
CN107492094A (zh) * 2017-07-21 2017-12-19 长安大学 一种高压电线绝缘子的无人机视觉检测方法
CN107704859A (zh) * 2017-11-01 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习训练框架的文字识别方法
CN107808141A (zh) * 2017-11-08 2018-03-16 国家电网公司 一种基于深度学习的输电线路绝缘子爆裂识别方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108009591A (zh) * 2017-12-14 2018-05-08 西南交通大学 一种基于深度学习的接触网关键部件识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BIN YAN等: "Insulator detection and recognition of explosion based on convolutional neural networks", 《INTERNATIONAL JOURNAL OF WAVELETS, MULTIRESOLUTION AND INFORMATION PROCESSING》 *
FENGBINGCHUN: "卷积神经网络(CNN)基础介绍", 《HTTPS://BLOG.CSDN.NET/FENGBINGCHUN/ARTICLE/DETAILS/50529500》 *
师飘: "输电线路上鸟巢的检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
李岩: "基于HOG特征和SVM的绝缘子识别与定位", 《交通运输工程与信息学报》 *
柚子皮: "深度学习:卷积神经网络CNN", 《HTTPS://BLOG.CSDN.NET/PIPISORRY/ARTICLE/DETAILS/76571670》 *
谢新文: "基于计算机视觉的电气化铁路绝缘子识别技术的研究", 《国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
陈庆: "基于卷积神经网络的电力巡检绝缘子检测研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209865A (zh) * 2019-05-24 2019-09-06 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN110209865B (zh) * 2019-05-24 2023-05-16 广州市云家居云科技有限公司 一种基于深度学习的物体识别及匹配方法
CN110133443A (zh) * 2019-05-31 2019-08-16 中国科学院自动化研究所 基于平行视觉的输电线路部件检测方法、系统、装置
CN112241936A (zh) * 2019-07-18 2021-01-19 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN112329497A (zh) * 2019-07-18 2021-02-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN112241936B (zh) * 2019-07-18 2023-08-25 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN110472669B (zh) * 2019-07-22 2021-07-23 华北电力大学(保定) 一种图像分类方法
CN110472669A (zh) * 2019-07-22 2019-11-19 华北电力大学(保定) 一种图像分类方法
CN110889435A (zh) * 2019-11-04 2020-03-17 国网河北省电力有限公司检修分公司 基于红外图像的绝缘子评估分类方法及其装置
WO2021088101A1 (zh) * 2019-11-04 2021-05-14 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法
CN111428748A (zh) * 2020-02-20 2020-07-17 重庆大学 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN112069974A (zh) * 2020-09-02 2020-12-11 安徽铜峰电子股份有限公司 一种识别元器件缺损的图像识别方法及其系统
CN112069974B (zh) * 2020-09-02 2023-04-18 安徽铜峰电子股份有限公司 一种识别元器件缺损的图像识别方法及其系统
CN112132821A (zh) * 2020-09-30 2020-12-25 哈尔滨市科佳通用机电股份有限公司 一种基于图像处理的开口销丢失检测方法
CN112132821B (zh) * 2020-09-30 2021-05-11 哈尔滨市科佳通用机电股份有限公司 一种基于图像处理的开口销丢失检测方法
CN112200483A (zh) * 2020-10-22 2021-01-08 卡斯柯信号有限公司 一种地铁轨旁设备自动巡检系统及自动巡检方法
CN112528739A (zh) * 2020-11-06 2021-03-19 广东电网有限责任公司中山供电局 一种复合绝缘外套裂缝图像识别嵌入式装置
CN112464752A (zh) * 2020-11-11 2021-03-09 鼎旺天成科技(青岛)有限公司 一种基于图像模式识别的可视化施工管控系统的实现方法
CN112784718A (zh) * 2021-01-13 2021-05-11 上海电力大学 一种基于边缘计算与深度学习的绝缘子状态识别方法
CN113536942A (zh) * 2021-06-21 2021-10-22 上海赫千电子科技有限公司 一种基于神经网络的道路交通标志识别方法
CN113536942B (zh) * 2021-06-21 2024-04-12 上海赫千电子科技有限公司 一种基于神经网络的道路交通标志识别方法
CN114266676A (zh) * 2021-12-28 2022-04-01 华东交通大学 一种遗传优化Bagging异质集成模型的异常用电检测方法
CN114743119A (zh) * 2022-04-28 2022-07-12 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN114743119B (zh) * 2022-04-28 2024-04-09 石家庄铁道大学 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN115188091A (zh) * 2022-07-13 2022-10-14 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检系统及方法
CN115188091B (zh) * 2022-07-13 2023-10-13 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检系统及方法

Also Published As

Publication number Publication date
CN109753929B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN109753929A (zh) 一种图库联合的高铁绝缘子巡检图像识别方法
Zhou et al. Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN105160691A (zh) 基于颜色直方图的车身颜色识别方法
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
Le et al. Real time traffic sign detection using color and shape-based features
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
CN102842032A (zh) 基于多模式组合策略的移动互联网色情图像识别方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN112561899A (zh) 电力巡检图像识别方法
CN102147867A (zh) 一种基于主体的国画图像和书法图像的识别方法
CN115131325A (zh) 一种基于图像识别分析的断路器故障运维监测方法及系统
CN104484680A (zh) 一种多模型多阈值组合的行人检测方法
CN106407959A (zh) 基于小波变换和svm的低照度的复杂背景车牌定位方法
Prasongpongchai et al. A vision-based method for the detection of missing rail fasteners
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN110321855A (zh) 一种雾天检测预警装置
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN110321890B (zh) 一种电力巡检机器人的数字仪表识别方法
CN106529533A (zh) 一种基于多尺度分析和匹配排序的复杂天气车牌定位方法
CN111951234B (zh) 模型检测方法
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
Cheng Detection of power line insulator based on enhanced Yolo Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant