CN112184692B - 一种输电线路多目标检测方法 - Google Patents

一种输电线路多目标检测方法 Download PDF

Info

Publication number
CN112184692B
CN112184692B CN202011090060.9A CN202011090060A CN112184692B CN 112184692 B CN112184692 B CN 112184692B CN 202011090060 A CN202011090060 A CN 202011090060A CN 112184692 B CN112184692 B CN 112184692B
Authority
CN
China
Prior art keywords
image
target
network
sample
softmax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011090060.9A
Other languages
English (en)
Other versions
CN112184692A (zh
Inventor
李鑫
刘帅男
杨桢
李艳
王珂珂
宋阳
李钰梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN202011090060.9A priority Critical patent/CN112184692B/zh
Publication of CN112184692A publication Critical patent/CN112184692A/zh
Application granted granted Critical
Publication of CN112184692B publication Critical patent/CN112184692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明公开一种输电线路多目标检测方法，主要对三种类型绝缘子、两种绝缘子缺陷、防震锤、相间棒以及鸟窝进行目标识别，属于输电线路目标识别技术领域。该方法首先利用样本生成技术增加样本数据的数量级，增强深度学习的检测效果，之后将新生成的实验数据划分为训练集、测试集以及验证集，搭建PyTorch深度学习环境，采用四路GPU分布式训练，建立ResNet101和6层FPN网络提取图像特征，ResNet101和6层FPN网络的输出作为RPN网络的输入来训练Cascade R‑CNN深度学习网络模型，最后根据Softmax分类器以及边框回归结果实现目标识别。本发明运算速度快并且识别目标准确率高，具有较强的多目标识别能力。

Description

一种输电线路多目标检测方法
技术领域
本发明涉及输电线路目标识别技术领域，尤其涉及一种输电线路多目标检测方法。
背景技术
保障输电线路的可靠性是智能电网建设的重要内容，同时也是电力系统安全稳定运行的基础。我国的输电线路由线路杆塔、导线、绝缘子、防震锤、拉线、杆塔基础、接地装置等构成，其中绝缘子和防震锤是易损件，另外由于杆塔结构及塔身高度，春夏季节鸟类极易在杆塔上筑巢，一方面导致线路无法正常运行，另一方面在极端天气下可能造成严重的电气故障。所以为保障电力系统安全稳定运行，对输电线路进行目标识别并及时修复或更换至关重要。
运用传统的巡检方法会耗费大量人力、物力、财力，且线路的巡视效率很难得到保证、效果不佳、风险很大。目前由于无人机巡检方便、效率高，在电网中得到广泛应用，配合常规巡检能够很大程度减小电网公司检修的工作量，而且能够通过计算机客观地判断故障部件的位置和电网的工作状态，从而提高巡检工作效率。随着计算机性能的快速发展，目前人工智能算法与传统的图像处理技术相结合构成深度学习网络，为输电线路目标识别提供了新思路。较高的准确率和较快的数据处理速度是深度学习的显著优势，所以基于深度学习的输电线路目标识别研究是非常有必要的。
发明内容
针对上述现有技术的不足，本发明提供一种输电线路多目标检测方法
为解决上述技术问题，本发明所采取的技术方案是：一种输电线路多目标检测方法，包括如下步骤：
步骤1：对小数量的输电线路上的目标样本进行扩充，得到扩充后的样本数据，过程如下：
步骤1.1：对实验数据进行降采样操作来减小存储所需空间以及后期计算所需时间；
步骤1.2：采用photoshop软件的快速选择工具选定三类不同的绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝的轮廓，背景填充为白色并保存图片作为掩码，实现对目标的剪切，同时将剪切出的三类不同的绝缘子、防震锤、两类绝缘子缺陷和鸟窝定义为前景图像；
步骤1.3：采用Matlab对步骤1.2确定的前景图像进行批量旋转平移；
以图像的中心点作为旋转点，旋转规则如公式(1)所示：
其中，θ代表旋转的角度，(x,y)代表原图像中像素的坐标，(u,v)代表旋转后图像中对应的坐标；
平移是将图像原来的位置向左或向右或向上或向下移动一定的距离，平移规则如公式(2)所示：
其中，tx、ty分别表示水平和垂直方向移动的距离；
此外，还分别对前景图像进行拉伸、添加噪声、滤波、亮度变换、缩放、质量调整的操作，来增加目标样本的多样性；
步骤1.4：采用泊松融合技术，将经过步骤1.3处理的前景图像和原始的背景图片进行图像融合，生成新的样本数据；
其中，泊松融合的实现过程是将图像的融合问题直接视为对公式(3)最小化值问题的求解：
式中Ω是前景图像所需要融合的区域，是该区域的边界，f是融合后的样本，f*代表融合区域的背景图片，v是原图区域的梯度场；
步骤1.5：基于python代码实现形态学基本运算中的开、闭运算，采用开运算清除步骤1.4所得图像的孤立噪声点以及干扰区域；采用闭运算对步骤1.4所得图像中小孔以及图像边缘凹陷部分进行填充，衔接有一定缺口小裂缝区域，使得图像连续性得到增强，提高对小目标的提取能力；
步骤1.6：采用Labelmg软件通过python代码自动实现为扩充的数据部分打标签label；将三类不同的绝缘子、防震锤、相间棒、两类绝缘子缺陷和鸟窝分别设置标签名为Insulator、Insulator1、Insulator2、Insulator_defect、Insulator1_defect、Shock_hammer、Space和Birdhouse，使用快捷键工具，直接在图中用矩形框标出目标，点击保存生成对应的xml格式标签文件。
步骤2：按照PASCAL VOC数据集的格式对步骤1所得的样本数据进行处理，过程如下：
由步骤1所采取的扩充及融和方式最终形成图像样本，单独选取10％的图像样本作为验证集存入val.txt文件中，剩余样本的80％的图像样本作为训练集存入train.txt文件中，最后剩余的10％的图像样本作为测试集存入text.txt文件中；
其中在JPEGImages的目录下存放原始图片，SegmentationClass以及SegmentationObject文件夹存放有关图像分割的结果图片，Annotation文件夹存储标记文件，在mageSets的文件夹内存放txt文件，trainval.txt对train.txt和val.txt进行合并，train.txt和val.txt使用的数据不能有重叠且随机生成。
步骤3：搭建PyTorch深度学习开发环境；采用Facebook人工智能研究院的PyTorch作为深度学习框架，采用Ubuntu18.04系统、Python3.6版本、CUDA10.0以及商汤科技开源的深度学习目标检测mmdetection工具箱搭建深度学习环境。
步骤4：利用PyTorch进行四路GPU分布式训练并设置相关参数，具体如下：
设置imgs_per_gpu为4，代表每次加载4张样本图片；
设置workers_per_gpu为4，代表每个GPU分配的线程数为4；
设置参数num_classes为9，代表三类绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝8个前景以及1个背景；
设置Adam优化参数作为基础迭代器，初始学习率设置为0.04，迭代1000次后学习率设置为0.002，momentum动量因子设置为0.9，weight_decay权重衰减因子设置为0.0001。
步骤5：采用基于ResNet101和6层FPN网络的Cascade R-CNN深度学习网络模型对输电线路上三类绝缘子、两类绝缘子缺陷、防震锤、相间棒以及鸟窝进行检测识别，过程如下：
步骤5.1：基于深度学习框架需要COCO形式的数据集，将步骤1.6所得xml格式文件转化为COCO格式作为训练网络的输入；
步骤5.2：设置ResNet101网络相关参数提取目标特征；
其中，残差模块记为conv1、conv2_x、conv3_x、conv4_x、conv5_x，参考工程经验：conv1层使用7x7核对输入图像进行卷积，步幅为2，深度为64，因此conv1输出512*512*64层；在conv1层之后，采用步幅为2的最大轮询进行下采样并选择易于区分和减少某些参数的特征，每个模块的输出分别代表图像不同深度的特征，模块中包含若干残差学习结构；conv2_x输出256*256*256层，conv3_x输出128*128*512层，conv4_x输出64*64*1024层，conv5_x输出32*32*2048层，其中残差模块conv4_x作为边界框回归，残差模块conv5_x作为RPN网络的输入。
步骤5.3：在步骤5.2的基础上，设置6层FPN网络相关参数，分别为P2、P3、P4、P5、P6和P7，增强对小目标的特征提取能力；
步骤5.4：基于上述提取出的特征图采用Selective Search算法生成候选框；
步骤5.5：对候选框进行筛选过滤操作；
设定IoU计算值的上下界限值，当IoU计算值大于上限值，将该锚点框表示成正样本，把该标签值标记成数值1；当IoU值小于下限值，将该锚点框表示成负样本，把该标签值标记成数值0；当IoU值居于上下限值之间，标签值设定成-1，表示无关样本，在训练时将该样本丢弃；
IoU＝(A∩B)/(A∪B) (5)
其中A代表锚点框，B代表真实目标标定框；在计算过程中将IoU理解为区域A、B部分重叠面积与A+B面积的比值。
步骤5.6：在RPN网络中输入未经Cascade R-CNN中的损失函数调整的边框回归bbox_pred_0进行训练，得到的网络参数作为Cascade R-CNN网络的输入，再根据CascadeR-CNN中的损失函数，对网络进行调整、训练，得到第一次调整的分类得分Softmax_1以及第一次调整的边框回归bbox_pred_1；
其中RPN网络损失函数由softmax loss和regression loss两者按一定比例组成的：
式中，i代表锚的索引，Nreg代表分类层数和回归层数，pi代表目标锚的预测概率，代表期望区域的预测概率，Lcls代表目标与背景两个类的对数损失函数，Lreg代表目标与背景的回归损失函数，λ代表权重；
步骤5.7：将第一次调整的边框回归bbox_pred_1继续输入到RPN的训练网络中，得到其网络参数，再将此参数输入到Cascade R-CNN的网络中进行相关的训练，最后通过损失函数，对网络的模型进行适当的调整，从而得到第二次分类得分Softmax_2以及第二次边框回归bbox_pred_2；
步骤5.8：将第二次边框回归bbox_pred_2继续输入，得到第三次分类得分Softmax_3和第三次边框回归bbox_pred_3，最终包括cls_prob、cls_prob_2nd_avg、cls_prob_3rd_avg 3个输出，其中cls_prob是单个Softmax_1、Softmax_2、Softmax_3的结果，cls_prob_2nd_avg是Softmax_1+Softmax_2的平均结果，cls_prob_3rd_avg是Softmax_1+Softmax_2+Softmax_3的平均结果，最终完成目标分类与定位。
步骤6：采用COCO检测评价矩阵对输电线路多目标识别情况进行评价，评价指标包括准确率Precision和平均精确率Average precision两方面。
准确率(查准率)的计算如下：
平均精确率的计算如下：
其中，TP代表被正确划分为正例的个数，FP代表被错误划分为正例的个数，n代表样本总数；AP值表示不同查准率下其查准率平均值。
采用上述技术方案所产生的有益效果在于：
1、本发明提供的一种输电线路多目标检测方法，利用样本扩充技术构建输电线路检测数据库，有效地解决了由于某些目标图片数量少导致识别准确率不高的问题；
2、在样本扩充过程中，采用为图像添加噪声、改变对比度、调节亮度、拉伸变换等操作模拟无人机在不同季节、亮度、雨雾等外界环境的变化，增强了权重的泛化性；
3、针对绝缘子、绝缘子缺陷、防震锤远景图像目标过小的现象，采用ResNet101和6层FPN网络提升对小目标的特征提取能力。
4、本发明一种输电线路多目标识别方法，不但能够很好地区分三类绝缘子、两类绝缘子缺陷、防震锤、相间棒以及鸟窝，而且能够解决鸟巢、防震锤和绝缘子被铁塔等遮挡的样本重叠问题，大大提高了目标识别效率与识别精度。
附图说明
图1为本发明实施例中一种输电线路多目标检测方法流程图；
图2为本发明实施例中样本扩充流程图；
图3为本发明实施例中基于ResNet101和6层FPN网络的Cascade R-CNN模型图；
图4为本发明实施例中基于ResNet101和6层FPN网络的Cascade R-CNN网络训练流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例以Github上公开的2300张电力背景图片为实验数据，利用样本扩充技术以及基于ResNet101和6层FPN网络的Cascade R-CNN检测模型实现输电线路上三类不同的绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝的特征识别与定位。
如图1所示，本实施例的方法如下所述。
步骤1：利用样本扩充算法将2300张电力背景图片数据扩展为18620张图片数据，具体的样本扩充流程如图2所示；
步骤1.1：为了减小存储所需空间以及后期计算所需时间，对原始2300张电力背景图片图像数据进行降采样操作。原始图片分辨率为4608*3456，每张图片大小约为6.5MB，通过降采样处理将图像分辨率降为原来的四分之一，大小约600KB；
步骤1.2：利用photoshop软件的快速选择工具选定三类绝缘子、两类绝缘子缺陷、防震锤、相间棒以及鸟窝等目标物的轮廓，背景填充为白色并保存图片作为掩码，实现对目标的剪切，同时将剪切出的三类不同的绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝定义为前景图像；
步骤1.3：采用Matlab对步骤1.2确定的前景图像进行批量旋转平移；
以图像的中心点作为旋转点，旋转规则如公式(1)所示：
其中，θ代表旋转的角度，(x,y)代表原图像中像素的坐标，(u,v)代表旋转后图像中对应的坐标。
平移是将图像原来的位置向左或向右或向上或向下移动一定的距离，平移规则如公式(2)所示：
其中，tx、ty分别表示水平和垂直方向移动的距离。
此外，还分别对前景图像进行拉伸、添加噪声、滤波、亮度变换、缩放、质量调整的操作，来增加目标样本的多样性；
本实施例中，采用等比例放大1.5倍、等比例缩小0.8倍；添加均值为0，方差为0.01的高斯噪声；添加噪声密度为0.05的椒盐噪声；添加均值为0，方差为0.04的斑点噪声；添加模板尺寸为3×3的均值噪声；逆时针旋转0度，摄像物体运动9个像素的运动模糊；对比度系数为0.01的线性增强滤波；原图亮度的40％，80％，120％，150％的亮度变换；双线性内插，双三次内插尺度放缩；原图质量的80％，90％，100％图像质量调整，增加目标样本的多样性，针对不同参数的样本扩充结果，Cascade R-CNN会自动调整训练模型的相关参数，对于使用者来说，Cascade R-CNN是一个黑箱模型，无需在意其相关的训练模型参数，故可以认为本发明提出的Cascade R-CNN模型是不受上述参数影响的；
步骤1.4：采用泊松融合技术，将经过步骤1.3处理的前景图像和原始的2300张背景图片进行图像融合，生成新的样本数据；
其中，泊松融合的实现过程是将图像的融合问题直接视为对公式(3)最小化值问题的求解：
式中Ω是前景图像所需要融合的区域，是该区域的边界，f是融合后的样本，f*代表融合区域的背景图片，v是原图区域的梯度场；
步骤1.5：基于python代码实现形态学基本运算中的开、闭运算，采用开运算清除步骤1.4所得图像的孤立噪声点以及干扰区域；采用闭运算对步骤1.4所得图像中小孔以及图像边缘凹陷部分进行填充，衔接有一定缺口小裂缝区域，使得图像连续性得到增强，提高对小目标的提取能力；
步骤1.6：采用Labelmg软件通过python代码自动实现为扩充的数据部分打标签label。将三类不同的绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝分别设置标签名为Insulator、Insulator1、Insulator2、Insulator_defect、Insulator1_defect、Shock_hammer、Space、Birdhouse，点击保存生成对应的xml格式标签文件。
本实施例中，扩充后的样本数量如表1所示。
表1扩充后的样本数量
步骤2：按照PASCAL VOC数据集的格式对步骤1所得的样本数据进行处理，由步骤1所采取的扩充方式最终形成18620张图像样本，单独选取1900张图像样本作为验证集存入val.txt文件中，剩余样本中的15048张图像样本作为训练集存入train.txt文件中，最后剩余的1672张图像样本作为测试集存入text.txt文件中；
其中在JPEGImages的目录下存放原始图片，SegmentationClass以及SegmentationObject文件夹存放有关图像分割的结果图片，Annotation文件夹存储标记文件，在mageSets的文件夹内存放txt文件，trainval.txt对train.txt和val.txt进行合并，train.txt和val.txt使用的数据不能有重叠且随机生成。
步骤3：搭建PyTorch深度学习开发环境，采用Facebook人工智能研究院的PyTorch作为深度学习框架，采用Ubuntu18.04系统、Python3.6版本、CUDA10.0以及商汤科技开源的深度学习目标检测mmdetection工具箱搭建深度学习环境。
步骤4：利用PyTorch进行四路GPU分布式训练，并参考工程参数设置经验来设置相关参数。设置imgs_per_gpu为4，代表每次加载4张样本图片，设置workers_per_gpu为4，代表每个GPU分配的线程数为4。设置参数num_classes为9，代表三类绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝8个前景以及1个背景，设置Adam优化参数作为基础迭代器，初始学习率设置为0.04，迭代1000次后学习率设置为0.002，momentum动量因子设置为0.9，weight_decay权重衰减因子设置为0.0001。
步骤5：构建基于ResNet101和6层FPN网络的Cascade R-CNN深度学习网络模型对输电线路上三类绝缘子、两类绝缘子缺陷、防震锤、相间棒以及鸟窝进行检测识别，模型结构如图3所示，训练流程如图4所示。
步骤5.1：基于深度学习框架需要COCO形式的数据集，将步骤1.6所得xml格式文件转化为COCO格式作为训练网络的输入；
步骤5.2：设置ResNet101网络相关参数提取目标特征。残差模块记为conv1、conv2_x、conv3_x、conv4_x、conv5_x，参考工程经验：conv1层使用7x7核对输入图像进行卷积，步幅为2，深度为64，因此conv1输出512*512*64层。在conv1层之后，采用步幅为2的最大轮询进行下采样并选择易于区分和减少某些参数的特征。每个模块的输出分别代表图像不同深度的特征，模块中包含若干残差学习结构。conv2_x输出256*256*256层，conv3_x输出128*128*512层，conv4_x输出64*64*1024层，conv5_x输出32*32*2048层，其中残差模块conv4_x作为边界框回归，残差模块conv5_x作为RPN网络的输入；
步骤5.3：在步骤5.2的基础上，设置6层FPN(P2，P3，P4，P5，P6，P7)网络相关参数进行小目标的特征提取。参考工程经验：P2尺寸为256×256×256，P3尺寸为128×128×256，P4尺寸为64×64×256，P5尺寸为32×32×256，P6尺寸为16×16×256，P7尺寸为8×8×256。设置P2锚步为10；P3锚步为15；P4锚步为22；P5锚步为33；P6锚步为50；P7锚步为77；
不同的特征提取网络对于输电线路上的大、中、小目标检测情况如表2所示。
表2不同的特征提取网络的检测情况对比
表中AP Small、AP Medium、AP Large分别代表模型识别小目标、中目标、大目标的平均精确率。由表2结果可知，6层FPN网络识别小目标的AP值最高，达到92.5％的精确率，其中AP值越大，表明识别能力越强，因此本发明所选择的6层FPN网络对于输电线路小目标检测效果是最佳的。
步骤5.4：基于上述提取出的特征图采用Selective Search算法生成候选框。
步骤5.5：对候选框进行筛选过滤操作。参考工程经验：设定上下界限值分别为0.6、0.3，当IoU计算值大于0.6，将该锚点框表示成正样本，把该标签值标记成数值1；当IoU值小于0.3，将该锚点框表示成负样本，把该标签值标记成数值0。当IoU值居于0.3-0.6之间，标签值设定成-1，表示无关样本，在训练时将该样本丢弃。
IoU＝(A∩B)/(A∪B) (4)
其中A代表锚点框，B代表真实目标标定框。在计算过程中将IoU理解为区域A、B部分重叠面积与(A+B)面积比值。
步骤5.6：在RPN网络中输入未经Cascade R-CNN中的损失函数调整的边框回归(bbox_pred_0)进行训练，得到的网络参数作为Cascade R-CNN网络的输入，再根据CascadeR-CNN中的损失函数，对网络进行调整、训练，得到第一次调整的分类得分(Softmax_1)以及第一次调整的边框回归(bbox_pred_1)；
其中RPN网络损失函数由softmax loss和regression loss两者按一定比例组成的。
式中，i代表锚的索引，Nreg代表分类层数和回归层数，pi代表目标锚的预测概率，代表期望区域的预测概率，Lcls代表目标与背景两个类的对数损失函数，Lreg代表目标与背景的回归损失函数，λ代表权重。
步骤5.7：将第一次调整的边框回归(bbox_pred_1)继续输入到RPN的训练网络中，得到其网络参数，再将此参数输入到Cascade R-CNN的网络中进行相关的训练，最后通过损失函数，对网络的模型进行适当的调整，从而得到第二次分类得分(Softmax_2)以及第二次边框回归(bbox_pred_2)；
步骤5.8：将第二次边框回归(bbox_pred_2)继续输入，得到第三次分类得分(Softmax_3)和第三次边框回归(bbox_pred_3)，最终包括cls_prob、cls_prob_2nd_avg、cls_prob_3rd_avg3个输出，其中cls_prob是单个Softmax_1、Softmax_2、Softmax_3的结果，cls_prob_2nd_avg是Softmax_1+Softmax_2的平均结果，cls_prob_3rd_avg是Softmax_1+Softmax_2+Softmax_3的平均结果，最后得出输电线路目标检测的概率。
步骤6：采用COCO检测评价矩阵对输电线路多目标识别情况进行评价，其中评价指标包括准确率(Precision)、平均精确率(Average precision)两方面。计算公式如下：
准确率(查准率)：
平均精确率：
其中，TP代表被正确划分为正例的个数，FP代表被错误划分为正例的个数，n代表样本总数；AP值表示不同查准率下其查准率平均值。
本实施例中，基于ResNet101和6层FPN网络的Cascade R-CNN深度学习网络对输电线路上三类不同的绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝的检测结果如表3所示。
表3目标检测结果表
表3中AP越大说明模型的识别效果越好，AP值为1说明识别正确率100％，通过表3可知，各类别的AP值均在90％以上，并且所有类别的平均准确率(mAP)值为0.941。说明基于ResNet101和6层FPN网络的Cascade R-CNN深度学习网络可以在远景、近景、阴天复杂场景下很好的完成输电线路多目标检测任务。
本实施例还将本发明的方法采用的模型与其他不同算法模型的Loss和mAP进行对比，对比情况如表4所示。
表4不同模型检测情况对比表
本发明以损失函数(Loss)值作为评判算法收敛效果的依据，Loss值越低，表明算法的收敛效果越好。如表4所示，本发明采用的算法模型虽然Loss值略高于Cascade R-CNN(ResNet101)网络，但均明显低于其余网络模型，说明本发明收敛效果较好，另外本发明mAP值最高为0.941，说明本发明提出的方法更有利于输电线路目标的检测。

Claims (7)

1.一种输电线路多目标检测方法，其特征在于，包括如下步骤：
步骤1：对小数量的输电线路上的目标样本进行扩充，得到扩充后的样本数据；
步骤1.1：对实验数据进行降采样操作来减小存储所需空间以及后期计算所需时间；
步骤1.2：采用photoshop软件的快速选择工具选定三类不同的绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝的轮廓，背景填充为白色并保存图片作为掩码，实现对目标的剪切，同时将剪切出的三类不同的绝缘子、防震锤、两类绝缘子缺陷和鸟窝定义为前景图像；
步骤1.3：采用Matlab对步骤1.2确定的前景图像进行批量旋转平移；
以图像的中心点作为旋转点，旋转规则如公式(1)所示：
其中，θ代表旋转的角度，(x,y)代表原图像中像素的坐标，(u,v)代表旋转后图像中对应的坐标；
平移是将图像原来的位置向左或向右或向上或向下移动一定的距离，平移规则如公式(2)所示：
其中，tx、ty分别表示水平和垂直方向移动的距离；
此外，还分别对前景图像进行拉伸、添加噪声、滤波、亮度变换、缩放、质量调整的操作，来增加目标样本的多样性；
步骤1.4：采用泊松融合技术，将经过步骤1.3处理的前景图像和原始的背景图片进行图像融合，生成新的样本数据；
其中，泊松融合的实现过程是将图像的融合问题直接视为对公式(3)最小化值问题的求解：
式中Ω是前景图像所需要融合的区域，是该区域的边界，f是融合后的样本，f*代表融合区域的背景图片，v是原图区域的梯度场；
步骤1.5：基于python代码实现形态学基本运算中的开、闭运算，采用开运算清除步骤1.4所得图像的孤立噪声点以及干扰区域；采用闭运算对步骤1.4所得图像中小孔以及图像边缘凹陷部分进行填充，衔接有一定缺口小裂缝区域，使得图像连续性得到增强，提高对小目标的提取能力；
步骤1.6：采用Labelmg软件通过python代码自动实现为扩充的数据部分打标签label；将三类不同的绝缘子、防震锤、相间棒、两类绝缘子缺陷和鸟窝分别设置标签名为Insulator、Insulator1、Insulator2、Insulator_defect、Insulator1_defect、Shock_hammer、Space和Birdhouse，使用快捷键工具，直接在图中用矩形框标出目标，点击保存生成对应的xml格式标签文件；
步骤2：按照PASCAL VOC数据集的格式对步骤1所得的样本数据进行处理；
步骤3：搭建PyTorch深度学习开发环境；
步骤4：利用PyTorch进行四路GPU分布式训练并设置相关参数；
步骤5：采用基于ResNet101和6层FPN网络的Cascade R-CNN深度学习网络模型对输电线路上三类绝缘子、两类绝缘子缺陷、防震锤、相间棒以及鸟窝进行检测识别；
步骤5.1：基于深度学习框架需要COCO形式的数据集，将步骤1.6所得xml格式文件转化为COCO格式作为训练网络的输入；
步骤5.2：设置ResNet101网络相关参数提取目标特征；
步骤5.3：在步骤5.2的基础上，设置6层FPN网络相关参数，分别为P2、P3、P4、P5、P6和P7，增强对小目标的特征提取能力；
步骤5.4：基于上述提取出的特征图采用Selective Search算法生成候选框；
步骤5.5：对候选框进行筛选过滤操作；
步骤5.6：在RPN网络中输入未经Cascade R-CNN中的损失函数调整的边框回归bbox_pred_0进行训练，得到的网络参数作为Cascade R-CNN网络的输入，再根据Cascade R-CNN中的损失函数，对网络进行调整、训练，得到第一次调整的分类得分Softmax_1以及第一次调整的边框回归bbox_pred_1；
其中RPN网络损失函数由softmax loss和regression loss两者按一定比例组成的：
式中，i代表锚的索引，Nreg代表分类层数和回归层数，pi代表目标锚的预测概率，代表期望区域的预测概率，Lcls代表目标与背景两个类的对数损失函数，Lreg代表目标与背景的回归损失函数，λ代表权重；
步骤5.7：将第一次调整的边框回归bbox_pred_1继续输入到RPN的训练网络中，得到其网络参数，再将此参数输入到Cascade R-CNN的网络中进行相关的训练，最后通过损失函数，对网络的模型进行适当的调整，从而得到第二次分类得分Softmax_2以及第二次边框回归bbox_pred_2；
步骤5.8：将第二次边框回归bbox_pred_2继续输入，得到第三次分类得分Softmax_3和第三次边框回归bbox_pred_3，最终包括cls_prob、cls_prob_2nd_avg、cls_prob_3rd_avg3个输出，其中cls_prob是单个Softmax_1、Softmax_2、Softmax_3的结果，cls_prob_2nd_avg是Softmax_1+Softmax_2的平均结果，cls_prob_3rd_avg是Softmax_1+Softmax_2+Softmax_3的平均结果，最终完成目标分类与定位；
步骤6：采用COCO检测评价矩阵对输电线路多目标识别情况进行评价。
2.根据权利要求1所述的一种输电线路多目标检测方法，其特征在于：所述步骤2的过程如下：
由步骤1所采取的扩充及融和方式最终形成图像样本，单独选取10％的图像样本作为验证集存入val.txt文件中，剩余样本的80％的图像样本作为训练集存入train.txt文件中，最后剩余的10％的图像样本作为测试集存入text.txt文件中；
其中在JPEGImages的目录下存放原始图片，SegmentationClass以及SegmentationObject文件夹存放有关图像分割的结果图片，Annotation文件夹存储标记文件，在mageSets的文件夹内存放txt文件，trainval.txt对train.txt和val.txt进行合并，train.txt和val.txt使用的数据不能有重叠且随机生成。
3.根据权利要求1所述的一种输电线路多目标检测方法，其特征在于：所述步骤3的方法为：采用Facebook人工智能研究院的PyTorch作为深度学习框架，采用Ubuntu18.04系统、Python3.6版本、CUDA10.0以及商汤科技开源的深度学习目标检测mmdetection工具箱搭建深度学习环境。
4.根据权利要求1所述的一种输电线路多目标检测方法，参考工程参数设置经验，其特征在于：所述步骤4的过程如下：
设置imgs_per_gpu为4，代表每次加载4张样本图片；
设置workers_per_gpu为4，代表每个GPU分配的线程数为4；
设置参数num_classes为9，代表三类绝缘子、两类绝缘子缺陷、防震锤、相间棒和鸟窝8个前景以及1个背景；
设置Adam优化参数作为基础迭代器，初始学习率设置为0.04，迭代1000次后学习率设置为0.002，momentum动量因子设置为0.9，weight_decay权重衰减因子设置为0.0001。
5.根据权利要求1所述的一种输电线路多目标检测方法，其特征在于：所述步骤5.2的过程如下：
残差模块记为conv1、conv2_x、conv3_x、conv4_x、conv5_x，参考工程经验：conv1层使用7x7核对输入图像进行卷积，步幅为2，深度为64，因此conv1输出512*512*64层；在conv1层之后，采用步幅为2的最大轮询进行下采样并选择易于区分和减少某些参数的特征，每个模块的输出分别代表图像不同深度的特征，模块中包含若干残差学习结构；conv2_x输出256*256*256层，conv3_x输出128*128*512层，conv4_x输出64*64*1024层，conv5_x输出32*32*2048层，其中残差模块conv4_x作为边界框回归，残差模块conv5_x作为RPN网络的输入。
6.根据权利要求1所述的一种输电线路多目标检测方法，其特征在于：所述步骤5.5的过程如下：
设定IoU计算值的上下界限值，当IoU计算值大于上限值，将锚点框表示成正样本；当IoU值小于下限值，将锚点框表示成负样本；当IoU值居于上下限值之间，表示无关样本，在训练时将该样本丢弃；
IoU＝(A∩B)/(A∪B) (5)
其中A代表锚点框，B代表真实目标标定框；在计算过程中将IoU理解为区域A、B部分重叠面积与A+B面积的比值。
7.根据权利要求1所述的一种输电线路多目标检测方法：其特征在于：步骤6所述评价的评价指标定义如下：
准确率的计算如下：
平均精确率的计算如下：
其中，TP代表被正确划分为正例的个数，FP代表被错误划分为正例的个数，n代表样本总数；AP值表示不同查准率下其查准率平均值。
CN202011090060.9A 2020-10-13 2020-10-13 一种输电线路多目标检测方法 Active CN112184692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011090060.9A CN112184692B (zh) 2020-10-13 2020-10-13 一种输电线路多目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011090060.9A CN112184692B (zh) 2020-10-13 2020-10-13 一种输电线路多目标检测方法

Publications (2)

Publication Number Publication Date
CN112184692A CN112184692A (zh) 2021-01-05
CN112184692B true CN112184692B (zh) 2024-02-27

Family

ID=73949538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011090060.9A Active CN112184692B (zh) 2020-10-13 2020-10-13 一种输电线路多目标检测方法

Country Status (1)

Country Link
CN (1) CN112184692B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837315B (zh) * 2021-03-05 2023-11-21 云南电网有限责任公司电力科学研究院 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN112950620A (zh) * 2021-03-26 2021-06-11 国网湖北省电力公司检修公司 基于级联r-cnn算法的输电线路防振锤变形缺陷检测方法
CN113033556A (zh) * 2021-03-31 2021-06-25 广东电网有限责任公司 一种基于机器视觉的绝缘子快速辨别定位方法及系统
CN113405667A (zh) * 2021-05-20 2021-09-17 湖南大学 基于深度学习的红外热人体姿态识别方法
CN113313024A (zh) * 2021-05-28 2021-08-27 宁波新胜中压电器有限公司 一种基于掩膜的输电线杆塔鸟巢小样本检测方法
CN113469014A (zh) * 2021-06-29 2021-10-01 智洋创新科技股份有限公司 一种基于深度学习的输电线路鸟类隐患防治方法
CN113435407B (zh) * 2021-07-20 2023-01-24 广东电网有限责任公司 一种输电系统的小目标识别方法及装置
US11836968B1 (en) * 2022-12-08 2023-12-05 Sas Institute, Inc. Systems and methods for configuring and using a multi-stage object classification and condition pipeline
CN116452972A (zh) * 2023-03-17 2023-07-18 兰州交通大学 一种基于Transformer端到端的遥感图像车辆目标检测方法
CN116342607B (zh) * 2023-05-30 2023-08-08 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077516A (zh) * 2012-12-31 2013-05-01 温佩芝 一种石刻文字的数字化拓片方法
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110334612A (zh) * 2019-06-19 2019-10-15 上海交通大学 具有自学习能力的电力巡检图像目标检测方法
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法
CN110378862A (zh) * 2019-07-19 2019-10-25 国网河北省电力有限公司电力科学研究院 一种提高输电线路外破目标识别准确度的数据增强方法
CN110688925A (zh) * 2019-09-19 2020-01-14 国网山东省电力公司电力科学研究院 基于深度学习的级联目标识别方法及系统
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077516A (zh) * 2012-12-31 2013-05-01 温佩芝 一种石刻文字的数字化拓片方法
CN109977780A (zh) * 2019-02-26 2019-07-05 广东工业大学 一种基于深度学习算法的硅藻的检测与识别方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110334612A (zh) * 2019-06-19 2019-10-15 上海交通大学 具有自学习能力的电力巡检图像目标检测方法
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法
CN110378862A (zh) * 2019-07-19 2019-10-25 国网河北省电力有限公司电力科学研究院 一种提高输电线路外破目标识别准确度的数据增强方法
CN110688925A (zh) * 2019-09-19 2020-01-14 国网山东省电力公司电力科学研究院 基于深度学习的级联目标识别方法及系统
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于场景建模的电力巡检异物检测样本扩充方法;孙慧 等;电网技术;20200113;全文 *

Also Published As

Publication number Publication date
CN112184692A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112184692B (zh) 一种输电线路多目标检测方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111640125A (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN114758252B (zh) 基于图像的分布式光伏屋顶资源分割与提取方法及系统
CN115205264A (zh) 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN109815800A (zh) 基于回归算法的目标检测方法及系统
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
CN112560675A (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN111652240A (zh) 一种基于cnn的图像局部特征检测与描述方法
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN110533068B (zh) 一种基于分类卷积神经网络的图像对象识别方法
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN112906689B (zh) 一种基于缺陷检测与分割深度卷积神经网络的图像检测方法
Bayer et al. Object detection of fire safety equipment in images and videos using Yolov5 neural network
CN111414855B (zh) 基于端到端回归模型的电线杆标牌目标检测及识别方法
CN112862766A (zh) 一种基于图像数据扩充技术的绝缘子检测方法及系统
CN112102241A (zh) 一种单阶段遥感图像目标检测算法
CN115841608A (zh) 一种基于改进yolox的多腔室避雷器识别方法
CN115619719A (zh) 一种基于改进Yolo v3网络模型的松材线虫病疫木检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant