CN112560634A - 基于现场图像的电力线路绝缘子快速检测定位方法及系统 - Google Patents

基于现场图像的电力线路绝缘子快速检测定位方法及系统 Download PDF

Info

Publication number
CN112560634A
CN112560634A CN202011434887.7A CN202011434887A CN112560634A CN 112560634 A CN112560634 A CN 112560634A CN 202011434887 A CN202011434887 A CN 202011434887A CN 112560634 A CN112560634 A CN 112560634A
Authority
CN
China
Prior art keywords
insulator
image
positioning
power line
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011434887.7A
Other languages
English (en)
Other versions
CN112560634B (zh
Inventor
马宾
付永康
马睿和
徐健
王春鹏
李健
韩作伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202011434887.7A priority Critical patent/CN112560634B/zh
Publication of CN112560634A publication Critical patent/CN112560634A/zh
Application granted granted Critical
Publication of CN112560634B publication Critical patent/CN112560634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
    • Y04S10/52Outage or fault management, e.g. fault detection or location

Abstract

本发明公开了基于现场图像的电力线路绝缘子快速检测定位方法及系统,包括:获取目标图像;将目标图像中的进行旋转矫正处理;根据旋转矫正处理后的目标图像,基于训练后的YOLOv4算法,得到绝缘子定位结果。通过对收敛函数的优化建模,增强YOLOv4算法的收敛速度与分类性能,实现现场图像中绝缘子的准确识别与定位;同时提出绝缘子自适应旋转矫正算法,提升了不同空间状态绝缘子的识别精度。与朴素YOLOv4算法相比,本算法可以提高绝缘子的平均检测精度1.5%以上,可以实现电力线路现场绝缘子的精确定位与检测精度。

Description

基于现场图像的电力线路绝缘子快速检测定位方法及系统
技术领域
本申请涉及图像处理技术领域,特别是涉及基于现场图像的电力线路绝缘子快速检测定位方法及系统。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术,并不必然构成现有技术。
随着国家电网系统的不断完善,架空输电线路里程持续增加。绝缘子串是输电线路中必不可缺的关键部件之一。由于绝缘子长期暴露在野外,易遭受雷击、污秽、鸟害、冰雪天气、温度骤然变化等环境因素影响,同时,在长期载荷、强电场、雷电等因素影响下,自爆、破损、裂纹等情况经常发生,严重威胁着输电线路的运行安全。为了保证输电线路的运行安全,有必要对绝缘子进行在线巡检。
无人机技术快速发展,驱动电力公司开始将无人机技术运用到绝缘子的识别检测领域,根据无人机采集图像进行绝缘子健康检查。为提高绝缘子故障检查与识别效率,基于图像的绝缘子定位与识别技术快速发展。Yan等人将梯度特征(HOG)和局部二值模式(LBP)组成融合特征用于绝缘子的状态检测,该方法受背景影响较大,无法在复杂背景下准确检测。Zhou等人通过对绝缘子的红外图像进行处理,基于SIFT特征点匹配方法识别绝缘子的位置,并通过仿真得到绝缘子零件的温度数据建立模型的灰度值和温度值,进而判断故障并发送到移动端。Fang等人基于梯度信息提取图像中的椭圆,通过对椭圆中心进行线性拟合和模板匹配确定绝缘子的形状,但这种方法抗干扰能力差,复杂背景下难以准确检测。与此同时,为提高绝缘子的定位与故障检测精度,基于深度学习的目标检测算法应运而生。Zhao等人提出了基于深度分类神经网络(DCNN)的绝缘子状态判别方法,利用基于中层特征构建红外图像中绝缘子定位的方法,并采用了AlexNet的模型,测试结果远超BoF(Bag ofFeature)等人工提取特征。Prates等人提出一种使用卷积神经网络(CNN)识别绝缘子的缺陷和类型的方法,并将多任务学习用于通过预测绝缘子类别来提高缺陷检测的性能。采用了VGG-19网络进行识别,识别精度有明显提升,但是无法做到实时检测。Zhao等人提出了红外图像深度卷积特征图和支撑向量机的绝缘子检测方法,实现了较高检测精度的实验结果。Filho等人提出了一种用来识别绝缘子类别和缺陷的卷积神经网络,通过增加图像的真实细节提高绝缘子检测性能。Tao等人通过数据增强将深度卷积神经网络用于定位和检测绝缘子。
尽管基于静态图像的绝缘子的定位与故障识别技术得到快速发展,然而,由于绝缘子安装在野外,绝缘子图像受光线、天气、环境等条件影响大,基于实时采集图像的绝缘子的检测仍存在较大困难。目前的绝缘子健康检测算法仍存在定位速度慢,识别精度不高的问题,尤其在背景复杂的情况下,难以达到绝缘子实时定位与故障识别要求。
发明内容
为了解决现有技术的不足,本申请提供了基于现场图像的电力线路绝缘子快速检测定位方法及系统;
第一方面,本申请提供了基于现场图像的电力线路绝缘子快速检测定位方法;
基于现场图像的电力线路绝缘子快速检测定位方法,包括:
获取目标图像;
将目标图像中的进行旋转矫正处理;
根据旋转矫正处理后的目标图像,基于训练后的YOLOv4算法,得到绝缘子定位结果。
第二方面,本申请提供了基于现场图像的电力线路绝缘子快速检测定位系统;
基于现场图像的电力线路绝缘子快速检测定位系统,包括:
获取模块,其被配置为:获取目标图像;
旋转矫正模块,其被配置为:将目标图像中的进行旋转矫正处理;
定位模块,其被配置为:根据旋转矫正处理后的目标图像,基于训练后的YOLOv4算法,得到绝缘子定位结果。
第三方面,本申请还提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述第一方面所述的方法。
第四方面,本申请还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述的方法。
第五方面,本申请还提供了一种计算机程序(产品),包括计算机程序,所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比,本申请的有益效果是:
本方法以无人机拍摄的绝缘子现场图片作为训练样本并进行增广处理,提出一种基于GDIoU的深度学习快速收敛算法,通过对收敛函数的优化建模,增强YOLOv4算法的收敛速度与分类性能,实现现场图像中绝缘子的准确识别与定位;同时提出绝缘子自适应旋转矫正算法,提升了不同空间状态绝缘子的识别精度。与朴素YOLOv4算法相比,本算法可以提高绝缘子的平均检测精度1.5%以上,可以实现电力线路现场绝缘子的精确定位与检测精度。
采用自定义的Gaussian Distance IoU(GDIoU)函数用来代替CIoU损失函数,提升YOLO V4算法的收敛速与定位精度。并通过自适应倾斜矫正算法,进一步提高了倾斜绝缘子的识能力。本方法相比传统方法能够更好地提取绝缘子图像的深度特征,实现野外复杂环境下绝缘子快速识别与定位。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图;
图2(a)-图2(c)为第一个实施例的CIoU的Bounding Box分步回归示意图;
图2(d)-图2(f)为GDIoU的Bounding Box分步回归示意图;
图3(a)-图3(b)为第一个实施例的预处理实例;
图4为第一个实施例的Loss下降曲线;
图5为第一个实施例的自适应旋转矫正示意图;
图6(a)为第一个实施例的未进行旋转矫正示意图;
图6(b)为第一个实施例的旋转矫正示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本申请使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了基于现场图像的电力线路绝缘子快速检测定位方法;
如图1所示,基于现场图像的电力线路绝缘子快速检测定位方法,包括:
S101:获取目标图像;
S102:将目标图像中的进行旋转矫正处理;
S103:根据旋转矫正处理后的目标图像,基于训练后的YOLOv4算法,得到绝缘子定位结果。
作为一个或多个实施例,如图5所示,所述S102中,将目标图像中的进行旋转矫正处理;具体步骤包括:
S1021:对目标图像进行灰度化处理得到灰度图像;
S1022:对灰度图像进行中值滤波处理,得到滤波后的图像;
S1023:对滤波后的图像使用最大类间方差法进行二值化处理得到二值图像;
S1024:对二值图像进行形态学处理,通过形态学处理对线路进行腐蚀,得到若干个区域图像;
S1025:对所有区域图像,按照面积从大到小进行排序,对面积最大的区域图像,做最小外接矩形;
S1026:根据最小外接矩形的长边与水平方向的夹角,对目标图像进行逆向旋转,旋转角度即为夹角的角度,进而实现绝缘子空间姿态的调整。
作为一个或多个实施例,所述YOLOv4算法,采用的损失函数为GDIoU损失函数。
进一步地,所述GDIoU,具体是指:
将预测框与真实框的两组角点用于度量两个框的距离,通过预测框角点与真实框角点的距离映射两个框的距离关系,若两组角点越靠近,则说明预测框与真实框距离接近且重合程度越高。
进一步地,所述GDIoU损失函数,公式表达为:
LGDIoU=1-GDIoU (1)
Figure BDA0002828133820000061
Figure BDA0002828133820000062
Figure BDA0002828133820000063
Figure BDA0002828133820000071
其中,GD1表示预测框左上角点(x1,y1)与真实框左上角点(x0,y0)的高斯距离;GD2表示预测框左上角点(x2,y2)与真实框右下角点(x0',y0')的高斯距离。
Figure BDA0002828133820000072
表示预测框与真实框的距离,同时
Figure BDA0002828133820000073
也可以间接反映两个框的重合情况。
通过调整参数c,控制收敛速度,参数c越大,预测框将在距离真实框越远的地方快速收敛,参数c越小,预测框将在距离真实框较近的地方快速收敛,预测框将与真实框重合程度更高。因此可以根据具体的训练情况来调整c的大小,以达到最优的效果。
作为一个或多个实施例,所述训练后的YOLOv4算法,训练步骤包括:
构建训练集;所述训练集为已知绝缘子位置的图像;
将训练集输入到YOLOv4算法中,对YOLOv4算法进行训练,当GDIoU损失函数达到最小值时,停止训练,得到训练后的YOLOv4算法。
进一步地,所述构建训练集的具体步骤包括:
获取绝缘子彩色图像;
通过使用随机光学畸变与随机几何畸变,对彩色图像进行处理以扩充图像数量;
使用LabelImg工具对处理后的图像进行绝缘子标注,得到训练集。
图3(a)-图3(b)为第一个实施例的预处理实例。
YOLO算法是在2016年由Redmon等人提出的目标检测算法。YOLO系列算法不断的优化升级,至今已发展到第四代。YOLOv4算法在原有YOLO目标检测框架的基础上,采用了近些年CNN领域中最优秀的优化策略之一,YOLOV4算法保留了YOLOv3的head部分,将主干网络修改为CSPDarknet53,同时使用PANet作为neck部分,并采用了SPP的思想来扩大感受野。
YOLOv4采用CIOU Loss作为损失函数,通过数据增强方案增加训练样本的多样性,进而提高检测模型的鲁棒性。同时,YOLOv4中引入了Mish激活、Attention机制、优化超参数等一系列改进,与YOLOv3相比,mAP和FPS分别提高了10%和12%。如表1所示,YOLOv4算法在识别精度与识别速度之间取得了很好的平衡。因而,为提升绝缘子的定位精度,增强现场采集图像中绝缘子的识别效率,本申请择YOLOv4作为绝缘子检测的主要算法开展研究。
表1不同目标检测算法在COCO数据集上的检测速度和精度。
Figure BDA0002828133820000081
YOLOv4算法改进:为解决YOLO v3深度学习算法收敛速度较慢的问题,YOLOv4使用了CIOU Loss作为新的损失函数,CIOU在IOU的基础上增加距离和长宽比两个惩罚项,使得预测框的回归更加稳定,避免了在训练过程中出现无法收敛的问题。然而,由于距离和长宽比在绝缘子定位过程中的随机选择特性,会造成绝缘子定位偏差加大和收敛速度降低的问题,因而有必要对YOLOV4的惩罚函数进行优化修正,以更适用于野外复杂背景下的绝缘子定位于故障分析。
CIOU算法:IoU是目标检测中最常用的指标,它常常被用来评估真实框(ground-truch)与预测框(predict box)的关系。
Figure BDA0002828133820000091
其中,B为预测框,Bgt为真实框。如果两个框完全没有重叠区域时,IoU将恒为0,此时IoU在作为损失函数,梯度为0,无法优化。在此基础上增加了一个惩罚项提出了GIoU。
Figure BDA0002828133820000092
Figure BDA0002828133820000093
其中,A为真实框与预测框的最小外接矩形的面积,虽然解决了两框在完全没有重合区域时不收敛的问题,但是对于水平和竖直方向的预测框并不能很好的收敛。因此,在此基础上提出了DIoU与CIoU。
Figure BDA0002828133820000094
Figure BDA0002828133820000095
Figure BDA0002828133820000096
Figure BDA0002828133820000097
其中,b,bgt分别代表预测框与真实框的中心点,ρ代表两点的欧氏距离,c代表预测框与真实框最小外接矩形的对角线长度,v用来表示两个框的长宽比的相似性,wgt与hgt分别代表真实框的宽和高,w与h代表预测框的宽和高,α代表权重函数。与GIoU Loss类似,DIoU Loss在预测框与目标框完全不重叠时,仍能提供回归方向。DIoU最小化了预测框与真实框的距离,比GIoU收敛更快,解决了GIoU在所存在的问题,CIoU考虑到BB回归的三个重要因素,即重合区域的面积、两个框的距离、长宽比,在DIoU的基础上增加了长宽比惩罚项,提高Loss函数的收敛速度与系统稳定行。
GDIoU:由以上分析可知,CIoU距离惩罚项根据两个框的中心点的欧氏距离进行收敛,这会导致收敛速度变慢。在绝缘子图像检测过程中,图像中的绝缘子大多长宽比相似,主要靠距离惩罚项进行收敛。
为进一步提高算法收敛速度,本申请引入二维高斯模型来表示预测框与真实框的距离关系,提出Gaussian distance IoU(GDIoU)。
本申请所提出的GDIoU将预测框与真实框的两组角点用于度量两个框的距离,通过预测框角点与真实框角点的距离映射两个框的距离关系,若两组角点越靠近,则说明预测框与真实框距离接近且重合程度越高。
YOLOv4算法仿真示意图如图2(a)-图2(f)所示,其中,最内侧和最外侧的框分别表示真实框和锚框,中间的框表示预测框。
由图2(a)-图2(f)可知,GDIoU相对于CIoU收敛速度更快,在第1200次迭代后,GDIoU最终预测框与真实框重合。与CIoU相比,GDIoU改进了距离惩罚项,GDIoU根据两个角点的距离进行收敛,可以直接确定预测框的位置和大小。CIoU中的距离惩罚项收敛速度较慢,GDIoU中的距离惩罚项收敛速度可通过参数c进行调节,进而可以有效提高整个训练过程中Loss的收敛速度。
实验准备
为验证基于GDIoU的YOLOv4深度学习算法在绝缘子检测中的性能,本申请设计以下方法开展实验研究。由于目前没有绝缘子串的公开数据集,实验中对采集到的绝缘子影像数据进行增广预处理操作,以提高机器学习算法的识别与定位性能。本实验中选择采用随机光学畸变与随机几何畸变处理,包含亮度、对比度、噪声、翻转、裁剪。
整个预处理过程具有较强的随机性以增强深度学习算法的鲁棒性,并将图像扩充至采集图像数量的5倍,使用LabelImg工具对处理后的图像进行绝缘子标注。将数据集按照8:1:1的比例分成训练集、验证集、测试集。试验均在配备E5-2690 v4@2.60GHz处理器、NVIDIA Tesla P4显卡、128G内存的计算机上运行。
实验结果分析
为了验证本申请所提出的基于GDIOU收敛函数的YOLOv4算法的性能,实验中选择平均精度(AP)作为检验标准,它反映了查准率和查重率的平均性能,其计算公式如下:
Figure BDA0002828133820000111
Figure BDA0002828133820000112
其中,r表示召回率的阈值,
Figure BDA0002828133820000113
表示当前召回率,
Figure BDA0002828133820000114
表示当前召回率大于阈值的情况下所能取得的最大准确率,P表示在当前召回率下对应的准确率,判定正负样本的IoU阈值设为0.5,在计算单张图片平均检测用时作为参考。
不同损失函数对Loss的影响:
为比较GDIoU Loss与CIoU Loss对YOLOv4算法的影响,分别使用不同损失函数的YOLOv4进行训练,保存各个时刻的Loss值进行比较。图4为Loss随迭代次数的变化曲线,上方的曲线为使用CIoU的YOLOv4,下方的曲线为使用GDIoU的YOLOv4。
GDIoU Loss在迭代0至10次内的下降率大于CIoU,GDIoU Loss相较于CIoU Loss收敛速度更快。在迭代30次后GDIoU Loss与CIoU Loss都趋于稳定,但是GDIoU Loss的值要低于CIoU Loss。
在迭代50次时,学习率降为原来的十分之一,在50次迭代后,二者都有下降,且GDIoU Loss的值始终低于CIoU Loss。实验表明,在负载背景下的绝缘子定位是严重,基于GDIoU Loss函数对YOLOV4算法性能提升明显优于CIoU Loss函数。
不同参数c对识别结果的影响:
针对式(14)(15)对x和y分别求导求得x和y方向的变化率,δ表示综合两个方向上的变化率,δ越大收敛速度越快。若只考虑c对收敛的影响,存在一个值η使得δ取最大值,即收敛速度最快。
Figure BDA0002828133820000121
Figure BDA0002828133820000122
Figure BDA0002828133820000123
为验证参数c对GIoU性能的影响,c取不同值做对比实验。表2是参数c取不同值对AP影响的对比。当c的值越接近η,Loss收敛速度越快。针对绝缘子图像,采集到的图像中所有绝缘子的长宽比比较相近,实验证明,当c为8时,AP取值为21.43%,当c为15时,AP取最大值36.98,而当c取值30时,AP值降为33.29%,继续增大时,AP取值继续降低。AP值在特定c值点取得最大,此时的c值即为最佳参数。
表2参数c取不同值对AP的影响
Figure BDA0002828133820000131
倾斜绝缘子定位:
实际应用中,架空导线由于自身的重量,在两个相邻塔杆之间的线缆呈弧状分布,牵引线缆的绝缘子一般也会发生一定程度的倾斜。在绝缘子定位过程中,预测框不能将绝缘子完整的包围,会造成识别结果精度降低的情况。实验中需要对图像进行旋转处理,使其处于水平或者竖直方向,以提升识别精度,保证其全部处于预测框中。
实验中首先对输入图像进行灰度化处理并使用5x5中值滤波去除噪声,再使用OTSU算法将其转化为二值图像,然后进行形态学处理。经过形态学处理,线路部分被腐蚀掉,绝缘子串区域被独立出来。此时将所有独立区域面积进行排序,对面积最大的独立区域做最小外接矩形。再根据最小外接矩形的角度对图像进行逆向的旋转,从而使得绝缘子处于水平或竖直方向,实现绝缘子空间姿态调整。
旋转后图像尺寸将会发生变化。
nw=hsinθ+wcosθ (17)
nh=wsinθ+hcosθ (18)
其中,w,h分别表示原图像的宽和高,nw,nh分别旋转后的图像的宽和高。旋转后空余部分像素补0。
将添加自适应旋转矫正前后的算法对图像中的绝缘子进行对比试验,实验结果如图6(a)和图6(b)所示。
图6(a)中右侧边缘的绝缘子并未被预测框包裹,图6(b)检测框更加准确,并且置信度相对于矫正前存在小幅提升,可见自适应旋转矫正对绝缘子的检测准确性有积极作用,旋转后图像中绝缘子的特征更容易被提取,从而使得检测精度较未矫正有明显提升。将加入自适应旋转矫正后的算法与未加入矫正的算法相比,二者的c取相同值时,矫正算法将会给AP带来小幅提升,其中当c为30时,矫正后算法的AP提高了3.04%。
表3参数c取不同值对旋转矫正后的图像AP的影响
Figure BDA0002828133820000141
Figure BDA0002828133820000151
表4各算法性能对比
Figure BDA0002828133820000152
为验证加入GDIoU后的YOLOv4对检测性能的影响,与YOLOv4和其他主流算法做对比实验,其结果如表4所示。本申请改进的YOLOv4算法在图像检测前会加入旋转矫正处理,因此相对于原版的YOLOv4平均每幅图像多付出0.01s的时间代价,但是以微弱的运算时间代价使得AP提高了1.53%。与YOLOv3和YOLOv3的改进算法Gaussian YOLOv3相比,在检测精度上有大幅提升,分别领先5%和10.3%。与EfficientDet相比,在检测精度相近的情况下,本申请改进的YOLOv4算法拥有明显的检测速度优势。
综上,采用本申请方法改进的YOLOv4算法,在绝缘子定位问题上处理速度与原版YOLOv4都有着不错的表现,但是在检测精度上,改进后的YOLOv4性能更加优越。
本申请提出一种基于YOLOv4深度学习框架改进的绝缘子识别与定位算法,并提出了一种新的损失函数GDIoU以加快YOLOv4算法的收敛速度,并提升其定位精度。针对绝缘子在空间中的倾斜状态,提出采用绝缘子图像自适应矫正的方法,根据绝缘子的倾斜角度进行矫正,改善YOLOv4深度学习算法的目标识别精度。实验结果证明本申请所使用的方法可以有效提高电力线路实际运行场景中绝缘子识别的精度与效率,具有较高的实际应用价值。
实施例二
本实施例提供了基于现场图像的电力线路绝缘子快速检测定位系统;
基于现场图像的电力线路绝缘子快速检测定位系统,包括:
获取模块,其被配置为:获取目标图像;
旋转矫正模块,其被配置为:将目标图像中的进行旋转矫正处理;
定位模块,其被配置为:根据旋转矫正处理后的目标图像,基于训练后的YOLOv4算法,得到绝缘子定位结果。
此处需要说明的是,上述获取模块、旋转矫正模块和定位模块对应于实施例一中的步骤S101至S103,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重,某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统,可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的,例如上述模块的划分,仅仅为一种逻辑功能划分,实际实现时,可以有另外的划分方式,例如多个模块可以结合或者可以集成到另外一个系统,或一些特征可以忽略,或不执行。
实施例三
本实施例还提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述实施例一所述的方法。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元及算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成实施例一所述的方法。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.基于现场图像的电力线路绝缘子快速检测定位方法,其特征是,包括:
获取目标图像;
将目标图像中的进行旋转矫正处理;
根据旋转矫正处理后的目标图像,基于训练后的YOLOv4算法,得到绝缘子定位结果。
2.如权利要求1所述的基于现场图像的电力线路绝缘子快速检测定位方法,其特征是,将目标图像中的进行旋转矫正处理;具体步骤包括:
对目标图像进行灰度化处理得到灰度图像;
对灰度图像进行中值滤波处理,得到滤波后的图像;
对滤波后的图像使用最大类间方差法进行二值化处理得到二值图像;
对二值图像进行形态学处理,通过形态学处理对线路进行腐蚀,得到若干个区域图像;
对所有区域图像,按照面积从大到小进行排序,对面积最大的区域图像,做最小外接矩形;
根据最小外接矩形的长边与水平方向的夹角,对目标图像进行逆向旋转,旋转角度即为夹角的角度,进而实现绝缘子空间姿态的调整。
3.如权利要求1所述的基于现场图像的电力线路绝缘子快速检测定位方法,其特征是,所述YOLOv4算法,采用的损失函数为GDIoU损失函数。
4.如权利要求1所述的基于现场图像的电力线路绝缘子快速检测定位方法,其特征是,所述GDIoU,具体是指:
将预测框与真实框的两组角点用于度量两个框的距离,通过预测框角点与真实框角点的距离映射两个框的距离关系,若两组角点越靠近,则说明预测框与真实框距离接近且重合程度越高。
5.如权利要求1所述的基于现场图像的电力线路绝缘子快速检测定位方法,其特征是,所述训练后的YOLOv4算法,训练步骤包括:
构建训练集;所述训练集为已知绝缘子位置的图像;
将训练集输入到YOLOv4算法中,对YOLOv4算法进行训练,当GDIoU损失函数达到最小值时,停止训练,得到训练后的YOLOv4算法。
6.如权利要求1所述的基于现场图像的电力线路绝缘子快速检测定位方法,其特征是,所述构建训练集的具体步骤包括:
获取绝缘子彩色图像;
通过使用随机光学畸变与随机几何畸变,对彩色图像进行处理以扩充图像数量;
使用LabelImg工具对处理后的图像进行绝缘子标注,得到训练集。
7.如权利要求1所述的基于现场图像的电力线路绝缘子快速检测定位方法,其特征是,所述GDIoU损失函数,公式表达为:
LGDIoU=1-GDIoU (1)
Figure FDA0002828133810000021
Figure FDA0002828133810000022
Figure FDA0002828133810000023
Figure FDA0002828133810000024
其中,GD1表示预测框左上角点(x1,y1)与真实框左上角点(x0,y0)的高斯距离;
GD2表示预测框左上角点(x2,y2)与真实框右下角点(x0',y0')的高斯距离;
Figure FDA0002828133810000025
表示预测框与真实框的距离,同时
Figure FDA0002828133810000026
也可以间接反映两个框的重合情况。
8.基于现场图像的电力线路绝缘子快速检测定位系统,其特征是,包括:
获取模块,其被配置为:获取目标图像;
旋转矫正模块,其被配置为:将目标图像中的进行旋转矫正处理;
定位模块,其被配置为:根据旋转矫正处理后的目标图像,基于训练后的YOLOv4算法,得到绝缘子定位结果。
9.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1-7任一项所述的方法。
CN202011434887.7A 2020-12-10 2020-12-10 基于现场图像的电力线路绝缘子快速检测定位方法及系统 Active CN112560634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011434887.7A CN112560634B (zh) 2020-12-10 2020-12-10 基于现场图像的电力线路绝缘子快速检测定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011434887.7A CN112560634B (zh) 2020-12-10 2020-12-10 基于现场图像的电力线路绝缘子快速检测定位方法及系统

Publications (2)

Publication Number Publication Date
CN112560634A true CN112560634A (zh) 2021-03-26
CN112560634B CN112560634B (zh) 2023-04-07

Family

ID=75060592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011434887.7A Active CN112560634B (zh) 2020-12-10 2020-12-10 基于现场图像的电力线路绝缘子快速检测定位方法及系统

Country Status (1)

Country Link
CN (1) CN112560634B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033489A (zh) * 2021-04-23 2021-06-25 华北电力大学 基于轻量级深度学习算法的输电线路绝缘子识别定位方法
CN113076842A (zh) * 2021-03-26 2021-07-06 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
CN113469087A (zh) * 2021-07-09 2021-10-01 上海智臻智能网络科技股份有限公司 建筑图纸中的图框检测方法、装置、设备及介质
CN113781498A (zh) * 2021-08-24 2021-12-10 南昌大学 一种复合绝缘子智能诊断方法
CN113838046A (zh) * 2021-10-08 2021-12-24 南方电网数字电网研究院有限公司 引流板过热识别方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961235A (zh) * 2018-06-29 2018-12-07 山东大学 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961235A (zh) * 2018-06-29 2018-12-07 山东大学 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEJIA XU ET AL.: "A New Object Detection Algorithm Based on YOLOv3 for Lung Nodules", 《ACM》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076842A (zh) * 2021-03-26 2021-07-06 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
CN113076842B (zh) * 2021-03-26 2023-04-28 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
CN113033489A (zh) * 2021-04-23 2021-06-25 华北电力大学 基于轻量级深度学习算法的输电线路绝缘子识别定位方法
CN113033489B (zh) * 2021-04-23 2024-02-13 华北电力大学 基于轻量级深度学习算法的输电线路绝缘子识别定位方法
CN113469087A (zh) * 2021-07-09 2021-10-01 上海智臻智能网络科技股份有限公司 建筑图纸中的图框检测方法、装置、设备及介质
CN113781498A (zh) * 2021-08-24 2021-12-10 南昌大学 一种复合绝缘子智能诊断方法
CN113838046A (zh) * 2021-10-08 2021-12-24 南方电网数字电网研究院有限公司 引流板过热识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112560634B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112560634B (zh) 基于现场图像的电力线路绝缘子快速检测定位方法及系统
CN111428748B (zh) 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN106960178B (zh) 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN107179479B (zh) 基于可见光图像的输电导线散股缺陷检测方法
CN107992818B (zh) 一种光学遥感图像海面船只目标的检测方法
CN109815800A (zh) 基于回归算法的目标检测方法及系统
CN109829881A (zh) 基于深度学习的鸟巢检测方法及系统
CN109813276B (zh) 一种基站天线下倾角测量方法及其系统
CN109785288A (zh) 基于深度学习的输电设备缺陷检测方法及系统
CN112541481A (zh) 一种基于深度学习的对海探测雷达目标检测方法
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN109815798A (zh) 无人机图像处理方法及系统
CN115018846A (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN110427979A (zh) 基于K-Means聚类算法的道路水坑识别方法
CN109325426B (zh) 一种基于三正交平面时空特征的黑烟车检测方法
CN113962973A (zh) 一种基于卫星技术的输电线路无人机智能巡检系统及方法
CN117197700B (zh) 智能化无人巡检接触网缺陷识别系统
CN111931577A (zh) 一种电网线路特定异物智能巡检方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN108734709B (zh) 一种绝缘子凸缘形状参数识别与破坏检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant