CN114863361A - 基于USRNet和YOLOv3的配电线路鸟巢检测方法 - Google Patents
基于USRNet和YOLOv3的配电线路鸟巢检测方法 Download PDFInfo
- Publication number
- CN114863361A CN114863361A CN202210427866.5A CN202210427866A CN114863361A CN 114863361 A CN114863361 A CN 114863361A CN 202210427866 A CN202210427866 A CN 202210427866A CN 114863361 A CN114863361 A CN 114863361A
- Authority
- CN
- China
- Prior art keywords
- bird nest
- usrnet
- image
- distribution line
- yolov3
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000005770 birds nest Nutrition 0.000 title claims abstract description 83
- 235000005765 wild carrot Nutrition 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000007547 defect Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 48
- 238000012360 testing method Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 244000000626 Daucus carota Species 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 2
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 238000005303 weighing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 244000240635 birds nest Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
基于USRNet和YOLOv3的配电线路鸟巢检测方法，包括以下步骤：步骤1：收集配电线路的鸟巢图像，并在鸟巢图像数据上人工标记，构建训练样本集；步骤2：搭建网络结构，包括深度展开超分辨率网络USRNet、GaussianYOLOv3；步骤3：获取配电线路鸟巢检测模型；步骤4：将待检测图像输入到深度展开超分辨率网络USRNet，输出重构的鸟巢图像；然后，通过训练好的GaussianYOLOv3完成故障的识别。本发明方法可以增强配电线路鸟巢图像局部纹理、边缘等细节信息，以改善图像质量，并结合目标检测算法提取准确的特征，以实现鸟巢缺陷的智能检测。
Description
技术领域
本发明涉及配电线路设备图像识别技术领域，具体涉及一种基于USRNet和YOLOv3的配电线路鸟巢检测方法。
背景技术
随着我国配电线路的不断增多及生态环境的逐步改善，鸟害事故明显上升，其造成的损失也明显增加，这对电网的安全稳定运行带来了严重的威胁。鸟害防治是配电线路日常运维的重点工作之一，由于鸟类筑巢选择杆塔位置的顽固性，固定杆塔存在鸟巢重复搭建现象，仅依靠传统人工清除鸟巢的方式工作量大、重复性强，检测效率较低，容易因疲劳出现漏检，且采集环境具有不确定度，采集图像异常，存在难以辨识而误检的情况。随着科学技术的发展，无人机得到的航拍图像越来越清晰，图像包含的信息也越来越丰富。传统人工巡检方式逐渐被无人机巡检方式所代替，实现了更高的智能化与自动化。近年来，图像识别技术发展迅速，该技术解决了使用人工处理无人机搜集的配电线路数据效率低的问题，因此图像识别技术与无人机相结合进行配电线路巡检方式成为了当今的热门研究方向。
目前，配电线路的缺陷检测主要分为基于人为特征设计的检测方法和基于深度学习模型的检测方法。前者集中于手工特征的设计，手工设计特征不仅繁杂，还存在鲁棒性不高的问题，无法实现端对端的缺陷检测。于是有人提出了基于深度学习算法的缺陷检测，大多方式采用卷积神经网络提取图像样本特征并加以学习，并对网络结构进行改进，实现了对配电线路缺陷的识别。然而，航拍巡检过程中受拍摄尺度和角度影响，鸟巢图像区域可能处于复杂环境背景中，上述方法将难以达到预期检测效果。
发明内容
针对上述技术问题，本发明提供一种基于USRNet和YOLOv3的配电线路鸟巢检测方法，该方法提出一种深度展开超分辨率网络及GaussianYOLOv3模型，原始的待检测配电线路鸟巢图像数据作为训练样本，USRNet作为训练算法对模型进行训练，将检测图像数据通过训练好的USRNet生成重构的图像数据集；最后，通过训练好的GaussianYOLOv3模型来检测图像是否存在鸟巢缺陷。该方法可以增强配电线路鸟巢图像局部纹理、边缘等细节信息，以改善图像质量，并结合目标检测算法提取准确的特征，以实现鸟巢缺陷的智能检测。
本发明采取的技术方案为：
基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于包括以下步骤：
步骤1：收集配电线路的鸟巢图像，并在鸟巢图像数据上人工标记，构建训练样本集；
步骤2：搭建网络结构，包括深度展开超分辨率网络USRNet、GaussianYOLOv3；
步骤3：获取配电线路鸟巢检测模型；
步骤4：将待检测图像输入到深度展开超分辨率网络USRNet，输出重构的鸟巢图像；然后，通过训练好的GaussianYOLOv3完成故障的识别。
所述步骤1中，原始鸟巢图像由无人机巡检采集获得，对鸟巢图像数据集进行人工标注，对鸟巢图像数据进行裁剪，构建相应的训练样本集。
所述步骤2中，搭建网络结构：
第一个网络结构为深度展开超分辨率网络USRNet，USRNet是首个采用单个端到端模型解决经典降质问题的算法，相较于传统超分辨率重建算法，USRNet在保证了性能前提下具有高效性和灵活性方面的优势；
第二个网络结构为GaussianYOLOv3，基于传统深度学习的目标检测算法被检测对象类别的可靠性是已知的，预测框回归的可靠性是未知的。GaussianYOLOv3没有改变YOLOv3内部的网络结构，而是通过增加输出量，利用Gaussian参数对预测框坐标参数进行建模，重新定义损失函数，使最终得到的回归框更精确，预测定位的可靠性更高。
所述步骤3包括如下步骤：
S3.1:首先，使用深度展开超分辨率网络USRNet对原始图像进行处理，去除原始图像中的模糊和噪音，提高图片质量；
S3.2:然后，通过增加YOLOv3网络的输出和改进网络的损失函数输出预测框，并结合Gaussian分布的策略，输出对应预测框坐标的均值和方差；
S3.3：最后，根据获取的训练样本集，进行GaussianYOLOv3检测模型训练。得到配电线路鸟巢检测模型。
所述步骤3具体如下：
广义的降质过程可以由以下公式描述：
y表示LR图像、x表示HR图像、k表示模糊核、n表示叠加数量、s表示采样倍数；
该问题传统的求解方法多为双三次插值与数据驱动相结合的方式：
arg表示尺度因子s下的复数辐角、
USRNet使用半二次拆分(half-quadratic spliting,HQS)算法引入辅助变量z，对MAP框架下的HR图像最小化目标函数进行求解，如式(3)，可以将式(3)等价为式(4)。
E(x)、σ、λ、φ(x)分别表示能量函数、数据项参数、权衡参数、先验项。
Eμ(x,z)、μ、x、y、z分别表示改进后能量函数、惩罚参数、SR图像、LR图像、辅助变量。
接着通过迭代求解x，z进行求解，如式(5)：
zk表示k次迭代后的辅助变量、xk-1表示(k-1)次迭代后的SR图像、xk表示k次迭代后的SR图像、minx表示受x决定的min函数、minz表示受z决定的min函数。
对于式(5)中的zk的求解，利用利用快速傅里叶变换，可得下式：
式(6)中，F和F-1表示傅里叶变换函数和傅里叶变换函数的反函数，
为傅里叶变换函数的共轭复数，⊙s为区分不同模块处理的运算符号，
为不同模块的下采样处理，αk为权衡超参数。
式(6)中，d可被定义为下式：
其中，↑s表示s倍上采样过程。
对于式(5)中xk的求解，从贝叶斯方面可以看作是一个去噪问题，表达式如下：
其中，βk为超参数。
USRNet网络分为三部分：
第一部分为data module D，用于计算zk；
第二部分为priormodule P，用于计算xk；
由于计算过程中还涉及到超参，所以第三部分引入hyper-parameter module H，用于计算每一次迭代时所需要的αk、βk；
其中，αk由σ、μk决定；σ、μk分别表示噪声等级、k次迭代后的惩罚参数；
βk由λ、μk决定；λ表示权衡参数；
在YOLOv3中，每个网格可预测三个真实框，每个真实框由三部分构成，分别为预测框坐标、物体检测得分以及类别可靠性得分。
考虑到边界框坐标的不确定度，GaussianYOLOv3不再使用既定的真实框坐标，而是通过真实框坐标对应的Gaussian模型进行建模。给予一个测试输入x，其对应的输出y由Gaussian参数构成。将预测框坐标输入Gaussian模型后，得到GaussianYOLOv3回归框坐标的输出，均能获得各个真实框坐标所对应的均值和方差，均值表示预测回归框的坐标范围，方差可表示坐标的不确定度。
为使每个网格对应的物体中心落在当前网格范围内，需将均值和方差调整至0到1之间，0代表可靠，1代表不可靠；
此外，GaussianYOLOv3还设置了新的损失函数，YOLOv3坐标使用的是平均误差损失之和，类别为二元交叉熵损失和。GaussianYOLOv3的类别损失函数保持不变，其坐标则为通过Gaussian模型输出的Gaussian参数，Gaussian模型为负对数似然损失函数。
步骤3：通过结合图像超分辨网络USRNet和目标检测算法GaussianYOLOv3，得到配电线路鸟巢检测模型；首先，利用USRNet网络将原始鸟巢图像数据进行超分辨重建，组成重建后的图像数据集，再利用目标检测算法对重建后的图像数据进行检测，从而完成鸟巢故障检测流程。
所述步骤4中，将整个数据集中的图像打乱，按照8:2的比例划分为训练验证集和测试集，将训练验证集按照9:1的比例划分为训练集和验证集。
本发明一种基于USRNet和YOLOv3的配电线路鸟巢检测方法，技术效果如下：
1)本发明首先使用深度展开超分辨率网络对原始图片进行处理，去除原始图像中的模糊和噪音，提高图片质量，然后对预测框的坐标进行Gaussian模型评估，然后设计了新的损失函数；最后，用多阶段迁移学习减小训练损失。通过实验对比，本发明在测试集中的检测速率和精度更高，可应用于电力巡检系统中配电线路鸟巢的实时监测。
2)针对航拍鸟巢图像存在模糊、噪音以及所处环境复杂等问题，提出使用深度展开超分辨率网络(deepunfoldingsuper-resolutionnetwork，USRNet)对待检测图像进行质量提升。针对深度学习算法在复杂场景中的检测精度较低问题，提出了一种基于GaussianYOLOv3的鸟巢检测算法，该算法在测试集中的检测速率和精度更高，可应用于电力巡检系统中配电线路鸟巢缺陷的实时监测。
3)采用深度展开超分辨率网络模型对配电线路图像进行重构，提升分辨率，保证用于鸟巢检测的图像质量，大幅缩减有效信息的损失，从而保证像素信息的完整性。
4)基于传统深度学习的目标检测算法被检测对象类别的可靠性是已知的，预测框回归的可靠性是未知的。GaussianYOLOv3没有改变YOLOv3内部的网络结构，而是通过增加输出量，利用Gaussian参数对预测框坐标参数进行建模，重新设计损失函数，使最终得到的回归框更为精确，预测定位的可靠性更高。
附图说明
图1是配电线路鸟巢检测模型结构图。
图2是深度展开超分辨网络结构示意图。
图3是YOLOv3输出量示意图。
图4是GaussianYOLOv3输出量示意图。
图5(1)是配电线路鸟巢图像超分辨率重建结果细节示意图(Bicubic)；
图5(2)是配电线路鸟巢图像超分辨率重建结果细节示意图(VDSR)；
图5(3)是配电线路鸟巢图像超分辨率重建结果细节示意图(ESRGAN)；
图5(4)是采用本发明方法配电线路鸟巢图像超分辨率重建结果细节示意图。
图6(1)是配电线路鸟巢检测结果示意图一；
图6(2)是配电线路鸟巢检测结果示意图二。
具体实施方式
如图1所示，基于USRNet和YOLOv3的配电线路鸟巢检测方法，该方法提出一种深度展开超分辨率网络及GaussianYOLOv3模型，原始的待检测配电线路鸟巢图像数据作为训练样本,USRNet作为训练算法对模型进行训练，将检测图像数据通过训练好的USRNet生成重构的鸟巢图像数据集；最后，通过训练好的GaussianYOLOv3模型来检测图像是否存在鸟巢缺陷。
本发明方法包括以下步骤：
步骤一、数据获取：
利用无人机巡检采集图像数据，并传送至终端。根据无人机巡检获取的图像数据，通过专家检查结合实地考察确认后进行故障标记，标注格式为VOC，将原始图像数据划分为正常(good)和缺陷(Nest)两类，无鸟巢的情况下标注(good),其余情况均标注为缺陷(Nest)，以此构成训练样本集。
步骤二、搭建网络结构：
1：深度展开超分辨网络USRNet：
广义的降质过程可以由以下公式描述：
该问题传统的求解方法多为双三次插值与数据驱动相结合的方式：
基于深度展开网络的图像超分辨率方法使用半二次拆分(half-quadraticspliting,HQS)算法引入辅助变量z，对MAP框架下的HR图像最小化目标函数进行求解，如式(3)可以将式(3)等价为式(4)。
接着通过迭代求解x，z进行求解，如式(5)：
如图2所示，该网络分为三部分：
第一部分为data module D，用于计算zk；
第二部分为priormodule P，用于计算xk；
由于计算过程中还涉及到超参，所以第三部分引入hyper-parameter module H，用于计算每一次迭代时所需要的的αk，βk。其中，αk由σ、μk决定，βk由λ、μk决定。
2：GaussianYOLOv3：
在真实场景下，使用无人机所拍摄的鸟巢图像易有遮挡、重叠等情况，且存在大量的噪声数据使YOLOv3模型训练出的回归框没有全部包围物体，同时产生标框重复包围、置信度较低等实际问题。
基于传统深度学习的目标检测算法被检测对象类别的可靠性是已知的，对预测框回归可靠性的评判是未知的。GaussianYOLOv3没有更改YOLOv3内部的网络结构，而是通过增加输出量，使用Gaussian参数对预测框坐标参数进行建模，然后重新定义损失函数，使最终得到的回归框更精准，预测定位的可靠性更高。
YOLOv3和GaussianYOLOv3的输出分别如图3和图4所示。从图3和图4可以发现，在YOLOv3中，每个鸟巢网格负责预测三个真实框，每个框由三部分组成，其中，回归框的坐标tx、ty是预测框横纵坐标的偏移量，tw、th为图像宽高的缩放量，confidence为鸟巢检测得分，insulator和defect对应两个类别的可靠性信息。因考虑到边界框坐标的不确定度，GaussianYOLOv3不使用已定的真实框坐标，而是通过tx、ty、tw、th对应的Gaussian模型进行建模。
给定一个测试输入x，其对应的输出y由Gaussian参数组成的单高斯模型如下：
p(y|x)＝N[y；μ(x),∑(x)]
式中，μ(x)、∑(x)分别为对应输入x的均值和方差函数，N为正态分布下的概率密度函数，p(y|x)为x的概率密度。
将预测框坐标加入Gaussian模型后，得到GaussianYOLOv3回归框坐标的输出，tx、ty、tw、th对应的均值为
和
方差为
和
均值可表示预测回归框的坐标范围，方差可表示坐标的不确定度。
为使每个网格对应的物体中心落在当前网格内，需使用sigmoid函数将均值和方差处理至0到1之间，0表示可靠，1表示不可靠，可表示为：
μtx、μty、μtw、μth分别为处理后的tx、ty、tw、th对应的均值，
分别表示对各均值进行sigmoid处理。
σ(x)、exp(-x)分别表示sigmoid函数和指数函数；
除此之外，GaussianYOLOv3还重新设置了损失函数，YOLOv3坐标使用的是平方误差损失之和，类别为二元交叉熵损失和。GaussianYOLOv3的类别损失函数不变，其坐标则为使用Gaussian模型输出的高斯参数，高斯模型为负对数似然损失函数NLL，可表示为：
式中，Lx为坐标tx的损失函数，W、H为宽和高的网格数，K为anchor数量，
∑tx(xijk)分别为网格(i，j)中第k个anchor处的tx均值和方差(检测层的输出)，
为tx的真值GT，ε＝10-9为防止对数函数失效的常数；
i、j、k代表任意数字；
γijk、N、
∑tx(xijk)分别表示惩罚系数、高斯分布、tx的值、不确定性；GT编码计算方式可表示为：
式中，xG、yG、ωG、hG为预测框的中心点坐标、宽、高与真实框的比值，I为GT框的缩放比例，IW、IH为调整后图像的宽和高，
为通过聚类得到第k个anchor的宽度和高度。
ωG、
分别表示tx的GT值、tw的GT值、预测框的宽与真实框的宽比值、th的GT值。
此外，在设计损失函数时，相应地加入惩罚系数γijk，可表示为：
式中，
为一个参数，但前对象中存在最大时，该参数被指定为值1，否则为0。
比例ωscale可由ωG、hG表示为：
ωscale＝2-ωG×hG
可以发现，重新设计的损失函数对于预测回归框的鲁棒性更强，可以更好地解决待检测数据噪声数量大的问题。通过这种损失衰减，可以有效提高算法精度。
3、多阶段迁移学习：
从网络训练开始到结束，往往会有耗时长且容易出现过拟合等问题，因此，实验采用多阶段迁移学习方法，该训练方法得到的参数效果优于随机初始化参数，且适合鸟巢图像较少的情况，不仅能防止过拟合，还能提高训练效率。多阶段迁移学习的具体步骤如下。
步骤①：加载GaussianYOLOv3在数据集上训练得到的权重，冻结GaussianYOLOv3后半部分的网络结构，以得到特征图；设定的学习速率lr＝e-3，迭代次数为100。
步骤②：加载步骤①得到的权重，冻结GaussianYOLOv3前半部分的Darknet网络层，设定学习速率lr＝e-4开始训练。
步骤③：加载步骤②得到的权重，不冻结GaussianYOLOv3，设定学习速率lr＝e-5开始训练直到训练结束，通过结合图像超分辨网络USRNet和目标检测算法GaussianYOLOv3，得到配电线路鸟巢检测模型。
步骤三、验证实施例：
为了验证本发明方法的有效性，将本发明方法超分辨重建结果与双三次插值(Bicubic)、深度超分辨率(Very Deep Super-Resolution,VDSR)算法、增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks,ESRGAN)等常用方法重建结果进行了对比。Bicubic、VDSR、ESRGAN样本设置与本发明方法保持一致。表1为各方法对测试样本进行图像超分辨率重建后，重建效果评价指标计算结果平均值。
表1重建效果评价指标计算结果平均值
由表1结果可知，本发明方法重建结果的PSNR和SSIM指标分别达到27.87dB和0.8285，明显较高。且由图5(1)～图5(4)结果可知，采用本发明方法对配电线路图像超分辨率重建，图像中鸟巢边缘处更加清晰，且重建图像清晰度更高。
综上所述，本发明方法配电线路图像超分辨率重建效果明显优于其他方法。
将超分辨重建后的配电线路数据集按照8:2的比例划分为训练验证集和测试集，得到迁移学习步骤③的训练权重后，在测试集上进行测试，并计算不同算法的mAP和XFPS，结果如表2所示。可以发现，相比FasterR-CNN和YOLOv3算法，同等条件下GaussianYOLOv3算法对鸟巢的检测精度分别提高了2.3和0.3个百分点，缺陷的检测精度分别提高了11.5和9.5个百分点，这表明使用多阶段迁移学习的GaussianYOLOv3算法能明显提高对小目标的检测精度；GaussianYOLOv3算法的检测速率虽然略低于YOLOv3算法，但仍能保持较好的实时性；且GaussianYOLOv3算法的Pi和Pd也远高于其他算法。
表2不同算法的mAP和XFPS
GaussianYOLOv3算法的检测结果如图6(1)、图6(2)所示，可以发现，该算法对鸟巢缺陷的检测效果较好，且定位准确，回归框能完整包裹鸟巢缺陷部位，也不存在重复标框和置信度低的情况，有利于巡检人员准确定位缺陷并排查故障，验证了GaussianYOLOv3算法对鸟巢坐标建模的合理性。
Claims (10)
1.基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于包括以下步骤：
步骤1：收集配电线路的鸟巢图像，并在鸟巢图像数据上人工标记，构建训练样本集；
步骤2：搭建网络结构，包括深度展开超分辨率网络USRNet、GaussianYOLOv3；
步骤3：获取配电线路鸟巢检测模型；
步骤4：将待检测图像输入到深度展开超分辨率网络USRNet，输出重构的鸟巢图像；然后，通过训练好的GaussianYOLOv3完成故障的识别。
2.根据权利要求1所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：所述步骤1中，原始鸟巢图像由无人机巡检采集获得，对鸟巢图像数据集进行人工标注，对鸟巢图像数据进行裁剪，构建相应的训练样本集。
3.根据权利要求1所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：所述步骤2中，搭建网络结构：
第一个网络结构为深度展开超分辨率网络USRNet；
第二个网络结构为GaussianYOLOv3，GaussianYOLOv3通过增加输出量，利用Gaussian参数对预测框坐标参数进行建模，重新定义损失函数，使最终得到的回归框更精确。
4.根据权利要求1所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：所述步骤3包括如下步骤：
S3.1:首先，使用深度展开超分辨率网络USRNet对原始图像进行处理，去除原始图像中的模糊和噪音；
S3.2:然后，通过增加YOLOv3网络的输出和改进网络的损失函数输出预测框，并结合Gaussian分布的策略，输出对应预测框坐标的均值和方差；
S3.3:最后，根据获取的训练样本集，进行GaussianYOLOv3检测模型训练，得到配电线路鸟巢检测模型。
5.根据权利要求4所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：
所述步骤3中，USRNet使用HQS算法引入辅助变量z，对MAP框架下的HR图像最小化目标函数进行求解，如式(3)，将式(3)等价为式(4)；
E(x)、σ、λ、φ(x)分别表示能量函数、数据项参数、权衡参数、先验项；
Eμ(x,z)、μ、x、y、z分别表示改进后能量函数、惩罚参数、SR图像、LR图像、辅助变量；
接着通过迭代求解x，z进行求解，如式(5)：
zk表示k次迭代后的辅助变量、xk-1表示(k-1)次迭代后的SR图像、xk表示k次迭代后的SR图像、minx表示受x决定的min函数、minz表示受z决定的min函数；
对于式(5)中的zk的求解，利用快速傅里叶变换，可得下式：
式(6)中，F和F-1表示傅里叶变换函数和傅里叶变换函数的反函数，
为傅里叶变换函数的共轭复数，⊙s为区分不同模块处理的运算符号，
为不同模块的下采样处理，αk为权衡超参数；
式(6)中，d被定义为下式：
其中，↑s表示s倍上采样过程；
对于式(5)中xk的求解，从贝叶斯方面能够看作是一个去噪问题，表达式如下：
其中，βk为超参数。
6.根据权利要求4所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：
USRNet网络分为三部分：
第一部分为data module D，用于计算zk；
第二部分为priormodule P，用于计算xk；
由于计算过程中还涉及到超参，所以第三部分引入hyper-parameter module H，用于计算每一次迭代时所需要的αk、βk；其中，αk由σ、μk决定；σ、μk分别表示噪声等级、k次迭代后的惩罚参数；βk由λ、μk决定；λ表示权衡参数。
7.根据权利要求4所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：
所述步骤3中：在YOLOv3中，每个鸟巢网格负责预测三个真实框，每个框由三部分组成，其中，回归框的坐标tx、ty是预测框横纵坐标的偏移量，tw、th为图像宽高的缩放量，confidence为鸟巢检测得分，insulator和defect对应两个类别的可靠性信息；，GaussianYOLOv3通过tx、ty、tw、th为对应的Gaussian模型进行建模；
给定一个测试输入x，其对应的输出y由Gaussian参数组成的单高斯模型如下：
p(y|x)＝N[y；μ(x),∑(x)]；
式中，μ(x)、∑(x)分别为对应输入x的均值和方差函数，N为正态分布下的概率密度函数，p(y|x)为x的概率密度；
将预测框坐标加入Gaussian模型后，得到GaussianYOLOv3回归框坐标的输出，tx、ty、tw、th对应的均值为
和
方差为
和
均值表示预测回归框的坐标范围，方差表示坐标的不确定度；
为使每个网格对应的物体中心落在当前网格内，需使用sigmoid函数将均值和方差处理至0到1之间，0表示可靠，1表示不可靠，表示为：
σ(x)、exp(-x)分别表示sigmoid函数和指数函数；
除此之外，GaussianYOLOv3还重新设置了损失函数，YOLOv3坐标使用的是平方误差损失之和，类别为二元交叉熵损失和；GaussianYOLOv3的类别损失函数不变，其坐标则为使用Gaussian模型输出的高斯参数，高斯模型为负对数似然损失函数NLL，可表示为：
式中，Lx为坐标tx的损失函数，W、H为宽和高的网格数，K为anchor数量，
∑tx(xijk)分别为网格(i，j)中第k个anchor处的tx均值和方差，
为tx的真值GT，ε＝10-9为防止对数函数失效的常数；i、j、k代表任意数字；
γijk、N、
∑tx(xijk)分别表示惩罚系数、高斯分布、tx的值、不确定性；
GT编码计算方式可表示为：
式中，xG、yG、ωG、hG为预测框的中心点坐标、宽、高与真实框的比值，I为GT框的缩放比例，IW、IH为调整后图像的宽和高，
为通过聚类得到第k个anchor的宽度和高度；
此外，在设计损失函数时，相应地加入惩罚系数γijk，表示为：
式中，
为一个参数，但前对象中存在最大时，该参数被指定为值1，否则为0；
比例ωscale可由ωG、hG表示为：
ωscale＝2-ωG×hG。
8.根据权利要求1所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：步骤3中，通过结合图像超分辨网络USRNet和目标检测算法GaussianYOLOv3，得到配电线路鸟巢检测模型；首先，利用USRNet网络将原始鸟巢图像数据进行超分辨重建，组成重建后的图像数据集，再利用目标检测算法对重建后的图像数据进行检测，从而完成鸟巢故障检测流程。
9.根据权利要求1所述基于USRNet和YOLOv3的配电线路鸟巢检测方法，其特征在于：步骤4中，将整个数据集中的图像打乱，按照8:2的比例划分为训练验证集和测试集，将训练验证集按照9:1的比例划分为训练集和验证集。
10.配电线路鸟巢检测模型多阶段迁移学习方法，其特征在于包括以下步骤：
步骤①：加载GaussianYOLOv3在数据集上训练得到的权重，冻结GaussianYOLOv3后半部分的网络结构，以得到特征图；设定的学习速率lr＝e-3，迭代次数为100；
步骤②：加载步骤①得到的权重，冻结GaussianYOLOv3前半部分的Darknet网络层，设定学习速率lr＝e-4开始训练；
步骤③：加载步骤②得到的权重，不冻结GaussianYOLOv3，设定学习速率lr＝e-5开始训练直到训练结束，通过结合图像超分辨网络USRNet和目标检测算法GaussianYOLOv3，得到配电线路鸟巢检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210427866.5A CN114863361A (zh) | 2022-04-22 | 2022-04-22 | 基于USRNet和YOLOv3的配电线路鸟巢检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210427866.5A CN114863361A (zh) | 2022-04-22 | 2022-04-22 | 基于USRNet和YOLOv3的配电线路鸟巢检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114863361A true CN114863361A (zh) | 2022-08-05 |
Family
ID=82632429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210427866.5A Pending CN114863361A (zh) | 2022-04-22 | 2022-04-22 | 基于USRNet和YOLOv3的配电线路鸟巢检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114863361A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205292A (zh) * | 2022-09-15 | 2022-10-18 | 合肥中科类脑智能技术有限公司 | 一种配电线路树障检测方法 |
| CN117169939A (zh) * | 2023-11-03 | 2023-12-05 | 山东黄河三角洲国家级自然保护区管理委员会 | 一种基于gps数据的东方白鹳巢址定位方法 |
-
2022
- 2022-04-22 CN CN202210427866.5A patent/CN114863361A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205292A (zh) * | 2022-09-15 | 2022-10-18 | 合肥中科类脑智能技术有限公司 | 一种配电线路树障检测方法 |
| CN115205292B (zh) * | 2022-09-15 | 2022-11-25 | 合肥中科类脑智能技术有限公司 | 一种配电线路树障检测方法 |
| CN117169939A (zh) * | 2023-11-03 | 2023-12-05 | 山东黄河三角洲国家级自然保护区管理委员会 | 一种基于gps数据的东方白鹳巢址定位方法 |
| CN117169939B (zh) * | 2023-11-03 | 2024-02-13 | 中国林业科学研究院森林生态环境与自然保护研究所(国家林业和草原局世界自然遗产保护研究中心) | 一种基于gps数据的东方白鹳巢址定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114863361A (zh) | 基于USRNet和YOLOv3的配电线路鸟巢检测方法 | |
| CN111178206B (zh) | 一种基于改进yolo的建筑预埋件检测方法及系统 | |
| CN112395987B (zh) | 基于无监督域适应cnn的sar图像目标检测方法 | |
| CN111563893B (zh) | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 | |
| CN109523013B (zh) | 基于浅层卷积神经网络的空气颗粒物污染程度估计方法 | |
| CN111161224A (zh) | 基于深度学习的铸件内部缺陷分级评估系统及方法 | |
| CN110826588A (zh) | 一种基于注意力机制的排水管道缺陷检测方法 | |
| CN113408423A (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| Wang et al. | Prediction model of natural gas pipeline crack evolution based on optimized DCNN-LSTM | |
| CN111612030A (zh) | 基于深度学习的风电机组叶片表面故障识别与分类方法 | |
| CN111539314A (zh) | 面向云雾遮挡的海面目标显著性检测方法 | |
| CN116402825B (zh) | 轴承故障红外诊断方法、系统、电子设备及存储介质 | |
| CN111223087A (zh) | 一种基于生成对抗网络的桥梁裂缝自动检测方法 | |
| CN114359695A (zh) | 基于不确定性估计的绝缘子破损识别方法 | |
| CN115965862A (zh) | 基于掩码网络融合图像特征的sar舰船目标检测方法 | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN113642475B (zh) | 基于卷积神经网络模型的大西洋飓风强度估算方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| Tao et al. | Electric insulator detection of UAV images based on depth learning | |
| CN113012107B (zh) | 电网缺陷检测方法及系统 | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN117541534A (zh) | 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法 | |
| CN115239034B (zh) | 一种风力发电机叶片早期缺陷预测方法及系统 | |
| CN116758411A (zh) | 一种基于遥感图像逐像素处理的舰船小目标检测方法 | |
| CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |