CN115240057A - 一种基于深度学习的架空输电线路监拍图像检测方法 - Google Patents

一种基于深度学习的架空输电线路监拍图像检测方法 Download PDF

Info

Publication number
CN115240057A
CN115240057A CN202210919911.9A CN202210919911A CN115240057A CN 115240057 A CN115240057 A CN 115240057A CN 202210919911 A CN202210919911 A CN 202210919911A CN 115240057 A CN115240057 A CN 115240057A
Authority
CN
China
Prior art keywords
training
transmission line
deep learning
overhead transmission
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210919911.9A
Other languages
English (en)
Inventor
杨学航
马昊
齐黎立
杨阳
苑泽鑫
严翔
高章林
吕潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super High Voltage Branch Of State Grid Hebei Electric Power Co ltd
State Grid Corp of China SGCC
Original Assignee
Super High Voltage Branch Of State Grid Hebei Electric Power Co ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super High Voltage Branch Of State Grid Hebei Electric Power Co ltd, State Grid Corp of China SGCC filed Critical Super High Voltage Branch Of State Grid Hebei Electric Power Co ltd
Priority to CN202210919911.9A priority Critical patent/CN115240057A/zh
Publication of CN115240057A publication Critical patent/CN115240057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及架空输电线路图像识别技术领域，且公开了一种基于深度学习的架空输电线路监拍图像检测方法，包括如下步骤：S1.建立训练数据集及测试数据集：S2.把训练样本输入到RFBS‑SRGAN模型中进行训练，S3.将生成的高分辨率图像输入到DH‑YOLOv5模型中进行训练，通过模型中的输入端数据增强、主干网络、颈部网络、解耦头和预测层逐级进行处理；S4.在达到最终训练结束的20代之前，使用Mosaic和Mixup两种数据增强方式，对照片做色彩，翻转，缩放，随机两张样本按比例混合等图像增强操作，从而输出特征预测信息。本发明科学合理，适应性强，实用价值高，可为输电线路运维等相关人员提供参考。

Description

一种基于深度学习的架空输电线路监拍图像检测方法
技术领域
本发明涉及架空输电线路图像识别技术领域，具体为一种基于深度学习的架空输电线路监拍图像检测方法。
背景技术
现代社会，国民经济高速发展，现代化建设逐年增长，人民生活水平显著提升，作为承载国家经济发展能源大动脉的电力行业，也在紧跟时代步伐，为了满足日益增长的电力需求，国网公司加大超特高压电力输电通道的投资建设，由此超特高压也成为了电力运输的排头兵。我国拥有广袤的陆地面积，地形地貌复杂多变，超特高压输电线路不可避免的要建立在高山大陵，跨越森林湖泊。为降低人工巡视线路的人身风险，缩短线路巡检周期，提高线路巡视效率，同时也响应国家打造坚强智能电网的号召，国网公司落地了输电线路通道的可视化系统，实现了全天候监控各个区域，逐步由“人防”转换到“技防”。
输电线路通道的可视化系统每隔10分钟抓拍一张输电线路走廊照片，每天会产生海量的图片，这些图片通过后台传输到监控坐席，需要坐席人员判定隐患类型及隐患等级，造成人员劳动强度高，而且，输电线路通道可视化系统的抓拍照片，会出现分辨率过低、背景复杂多变、目标种类多样、噪声干扰等问题，人工容易出现误识别，导致错报，甚至漏报，无法提供精准有效的预警信息。
图片的分辨率越高，像素密度就越大，其所包含的纹理细节就更丰富，越有利于识别图片中线路上搭挂异物等小目标，尤其是消除恶劣天气及光线干扰对小目标识别的影响。但是在输电线路通道可视化系统中，海量的高分辨率的图片需要占据巨大内存，图像采集设施是基于无线网卡传输，带宽有限，且改造光学硬件成本高，导致无法完成每日规定的巡视线路任务，尤其是风筝上线高发季节，不能及时发现线上异物，从而给电网安全稳定运行带来潜在安全隐患。
这就需要图像智能分析技术辅助人工判别，提升系统的精准预警能力，指导运维人员差异化巡视，提高工作人员的利用率，从而实现输电线路运维管理水平的提高，传统的超分辨率算法主要依靠基本的数字图像处理技术进行复原低分辨率图像中的高频信息。基于插值的超分辨率重建如最近邻插值法、双线性插值法和双立方插值法等，重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。基于退化模型的超分辨率重建迭代反投影法、凸集投影法和最大后验概率法等，通过人为定义先验知识和观测模型对其成像过程进行全方位的建模，随着放大倍数的增大，超分辨率重建细节特征也越来越模糊，图像复原效果，无论从算法精准度方面，还是从人眼视觉方面，传统方法离高清化的超分辨率重建目标还有不小的距离。
发明内容
(一)解决的技术问题
为解决输电线路通道的可视化系统日抓拍图片分辨率低，图像自然环境背景复杂，图片中小目标像素占比小，信息少，线路上搭挂物小目标受天气及光照干扰大，难识别等问题，本发明提供了一种基于深度学习的架空输电线路监拍图像检测方法，解决了上述背景技术中提出的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于深度学习的架空输电线路监拍图像检测方法，包括以下步骤：
S1.建立训练数据集及测试数据集
在2020年1月1日至12月31日时间段内，从某省输电线路通道的可视化系统随机选取抓拍照片1500张照片作为训练集，然后从中任意选取500张照片作为测试集。根据输电线路通道隐患识别目标将训练样本中的目标分为吊车、钩机等大型机械和风筝、塑料布、防尘网等小目标物体，通过人工手动的方法按照不同的场景、天气、光照等进行样本标记，准备训练。这样训练出来的模型鲁棒性会更高。
S2.构建RFBS-SRGAN训练模型
由于照片中会包含建筑物、树木、施工机械、线上异物等不同形状不同大小的物体，会出现线上搭挂物等小目标难识别等问题，因此本发明提出了RFBS-SRGAN。
2.1构建生成器
为了有效获得图中多尺度物体精细的细节和纹理，增强物体特征的识别性能，通过在SRGAN中引入感受野模块Receptive Field Block(RFB)生成高分辨率图片，感知驱动的方法有助于提升图像的视觉效果，并且为了能更好的获得细节特征，快速准确识别图片中的小目标，同时降低模型的计算复杂度，在感受野模块中采用小尺度卷积，恢复高频细节同时保持内容一致性。本发明所提RFBS-SRGAN的生成器的该＝网络结构主要由五部分组成：
特征提取模块是由内核为3×3大小的卷积层组成，原始低分辨率图片ILR输入fconv卷积后输出为式(1)：
xconv＝fconv(ILR) (1)
深度残差可以进行高效的特征提取，削弱图像中的噪点。Trunk-A模块由20个残差密集块级联组成，每个模块由6层卷积组成，该模块中的第n个残差密集块定义为
Figure BDA0003776189460000034
式(2)是Trunk-A模块的输出。
Figure BDA0003776189460000031
Trunk-RFB模块由不同尺度的卷积滤波器组成，恢复丰富的图像细节，Trunk-RFB模块中第m个感受野残差密集块定义为
Figure BDA0003776189460000032
式(3)是Trunk-RFB模块的输出。Trunk-RFB由10个Residual of Receptive Field Dense Blocks(RRFDB)堆叠而成，每个RRFDB包含6个RFB
Figure BDA0003776189460000033
Trunk-RFB模块的输出xRRFDB反馈到单个的感受野模块和上采样模块，为了感受输电线路通道可视化监拍图片的不同空间背景，不同像素深度信息细节，交替使用最近邻插值和子像素卷积方式进行上采样。
上采样模块的输出xs可以表示为公式(4)。其中，fRFB表示RFB函数，finter表示最近邻域插值函数，fsub表示子像素卷积的函数。
xs＝fsub(finter(fsub(finter(fRFB(xRRFDB))))) (4)
最后的两个卷积层的内核大小为3×3。fc1和fc2表示最后两个卷积层的函数，最终的超分辨率输出结果ISR可以用公式(5)
ISR＝fc2(fc1(xs)) (5)
为了更好的重建输电线路通道可视化系统抓拍图中小目标的图像，本发明的感受野模块，将原来卷积层3×3尺寸的大内核，替换为多个小核1×1、1×3、3×1分支池组合，根据输入图像中各种尺寸目标，应用不同的尺寸的卷积多分支池内核进行图像偏移量控制，经过感受野模块不仅能够提取细粒度的多尺度特征，尤其是线条特征，例如导线、地线及边缘轮廓等，还可以有效降低参数量和时间复杂度。
2.2判别器构建
判别器由多个由卷积层-激活函数层-谱归一化层组成的残差模块级联组成，其用Leaky Relu作为激活函数，同时，通过引入光谱正则化，约束各个残差模块的权重矩阵，能有效解决对抗网络训练不稳定，锐化过度及伪影问题，最后通过全连接层并使用Sigmoid激活函数，获得输入图像的识别概率。
令判别器的输出为式(6)
D(x)＝Wx+b (6)
其中W为对抗网络的参数矩阵，b为偏置项，在邻域δ内，当输出满足式(7)时：
Figure BDA0003776189460000041
σ(W)即W的谱归一化。
2.3定义损失函数
用预训练的VGG模型从图像的特征图谱中对生成图像ISR和真实图像IHR进行特征提取，R为训练数据集，网络的对抗性损失为Ladv，控制网络训练稳定性，像素损失为Lpix，避免过度生成高频细节。
ILR表示输入的低分辨率图像。像素损失Lpix定义为生成图像ISR和真实图像IHR之间的曼哈顿距离，如等式(8)所示：
Figure BDA0003776189460000051
VGG损失是生成图像ISR的特征图谱与真实图像IHR特征图谱之间的曼哈顿距离，如等式(9)所示：
Figure BDA0003776189460000052
其中36表示预训练VGG模型中第36层的特征图。
生成对抗网络的对抗性训练损失为：
Figure BDA0003776189460000053
其中ΔReal与ΔFake衡量生成图像ISR和真实图像IHR的之间的差异性：
Figure BDA0003776189460000054
σ为sigmoid函数，函数E表示训练过程中每个小批量中所有数据取平均，即期望。
综上，所提模型的生成器损失函数如下，其中λ与η分别为像素损失与对抗损失系数，用来平衡各个损失项：
LG＝λLpix+LVGG+ηLadv (12)
判别器损失定义为：
LD＝LReal+LFake (13)
其中LReal使得真实图像与生成图像尽可能相似，LFake生成图像与真实图像尽可能不相似。
Figure BDA0003776189460000061
Figure BDA0003776189460000062
S3.构建DH-YOLOv5模型
输入端在原Mosaic增强的基础上融合了Mixup增强，在达到最后训练结束的20代之前使用两种增强方式，对照片做色彩，翻转，缩放，随机两张样本按比例混合等图像增强操作，进一步提高模型对输电线路可视化系统图片中小目标的识别能力。Backbone在DH-YOLOv5的Darknet53基础上，增加了SPP金字塔池化组件。主要用于将全卷机以后的数据，使用最大值池化，不管输入尺寸多少，都压缩到一个固定的尺寸的输出层，Neck层由自上而下的特征金字塔结构FPN上采样和自下而上的金字塔注意力网络PAN下采样结构组成，进行多尺寸预测，大幅度增强了检测精度，特别是提高小目标的检测水平，Prediction层加入了解耦头，提高识别精度，加快网络收敛速度，并对损失函数进行重新定义。DH-YOLOv5检测器在3个不同尺度的特征图上来检测物体，其中下采样倍数分别为8倍、16倍和32倍，分别适用小、中大物体的检测。
解耦头在原三个耦头的CBL(Conv+Bn+Leaky_relu激活函数)之后分别分支两个CBL池，每个CBL后的上CBL池通过卷积层与sigmoid连接输出一个分支，下CBL池分为两个分支，上分支通过卷积层与sigmoid连接，下分支只通过卷积层输出，最后Concat张量拼接进行融合，将预测目标框的有无包含目标obj_output，预测目标框的坐标reg_output，预测目标框类别cls_output三个分支输入到Reshape层，从而输出特征预测信息。
所提DH-YOLOv5模型损失函数由定位分支损失、类别分支损失及目标判别损失三部分构成。定位分支损失采用预测框与真实框的欧式距离损失函数训练框的位置与大小信息，类别分支与目标存在性判别分支采用每个目标单独进行二分类交叉熵损失函数训练；
Figure BDA0003776189460000071
式中，K为边框的尺寸，M为边框数量。
Figure BDA0003776189460000072
和
Figure BDA0003776189460000073
表示第i个网格的第j个边框是否为目标检测对象。(xi,yi,wi,hi)和
Figure BDA0003776189460000074
为所预测目标框的位置与大小信息坐标和真实目标框的坐标。Ci和
Figure BDA0003776189460000075
为第i个框存在物体的预测置信度和真实置信度。pi(c)和
Figure BDA0003776189460000076
为物体属于c类的预测概率和真实概率，λnoobj为目标物体存在性判别损失系数，λcoord为目标框判别坐标损失系数。
(三)有益效果
本发明提供了一种基于深度学习的架空输电线路监拍图像检测方法，具备以下有益效果：
该方法总体上为两个步骤，首先通过RFBS-SRGAN把输电线路通道的可视化系统中所抓拍的照片进行重构，使其分辨率得到提高，图片中线上搭挂物等小目标的纹理特征和细节特征就会更明显，通过提升小目标的分辨率使得小目标的特征表示更明显，更容易被目标检测模型DH-YOLOv5感知到；然后将高分辨率的图片输入DH-YOLOv5网络，对具有复杂自然背景及噪声干扰的图片中的各种目标进行定位和分类。最后采用目标检测模型中常用的平均精度均值mAP来验证所提模型的目标检测精度，采用FPS(Frame Per Second)指标验证其目标检测速度。经检验，本发明科学合理，适应性强，实用价值高，可为输电线路运维等相关人员提供参考。
附图说明
图1为本发明中RFBS-SRGAN结构示意图；
图2为本发明中DH-YOLOv5结构示意图；
图3为本发明的整体流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的部分实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图3，本发明提供一种技术方案：一种基于深度学习的架空输电线路监拍图像检测方法，包括以下步骤：
S1.建立训练数据集及测试数据集
在2020年1月1日至12月31日时间段内，从某省输电线路通道的可视化系统随机选取抓拍照片1500张照片作为训练集，然后从中任意选取500张照片作为测试集。根据输电线路通道隐患识别目标将训练样本中的目标分为吊车、钩机等大型机械和风筝、塑料布、防尘网等小目标物体，通过人工手动的方法按照不同的场景、天气、光照等进行样本标记，准备训练。这样训练出来的模型鲁棒性会更高。
S2.构建RFBS-SRGAN训练模型
由于照片中会包含建筑物、树木、施工机械、线上异物等不同形状不同大小的物体，会出现线上搭挂物等小目标难识别等问题，因此本发明提出了RFBS-SRGAN。
2.1构建生成器
为了有效获得图中多尺度物体精细的细节和纹理，增强物体特征的识别性能，通过在SRGAN中引入感受野模块Receptive Field Block(RFB)生成高分辨率图片，感知驱动的方法有助于提升图像的视觉效果，并且为了能更好的获得细节特征，快速准确识别图片中的小目标，同时降低模型的计算复杂度，在感受野模块中采用小尺度卷积，恢复高频细节同时保持内容一致性。本发明所提RFBS-SRGAN的生成器的该＝网络结构主要由五部分组成：
特征提取模块是由内核为3×3大小的卷积层组成，原始低分辨率图片ILR输入fconv卷积后输出为式(1)：
xconv＝fconv(ILR) (1)
深度残差可以进行高效的特征提取，削弱图像中的噪点。Trunk-A模块由20个残差密集块级联组成，每个模块由6层卷积组成，该模块中的第n个残差密集块定义为
Figure BDA0003776189460000091
式(2)是Trunk-A模块的输出。
Figure BDA0003776189460000092
Trunk-RFB模块由不同尺度的卷积滤波器组成，恢复丰富的图像细节，Trunk-RFB模块中第m个感受野残差密集块定义为
Figure BDA0003776189460000093
式(3)是Trunk-RFB模块的输出。Trunk-RFB由10个Residual of Receptive Field Dense Blocks(RRFDB)堆叠而成，每个RRFDB包含6个RFB
Figure BDA0003776189460000094
Trunk-RFB模块的输出xRRFDB反馈到单个的感受野模块和上采样模块，为了感受输电线路通道可视化监拍图片的不同空间背景，不同像素深度信息细节，交替使用最近邻插值和子像素卷积方式进行上采样。
上采样模块的输出xs可以表示为公式(4)。其中，fRFB表示RFB函数，finter表示最近邻域插值函数，fsub表示子像素卷积的函数。
xs＝fsub(finter(fsub(finter(fRFB(xRRFDB))))) (4)
最后的两个卷积层的内核大小为3×3。fc1和fc2表示最后两个卷积层的函数，最终的超分辨率输出结果ISR可以用公式(5)
ISR＝fc2(fc1(xs)) (5)
为了更好的重建输电线路通道可视化系统抓拍图中小目标的图像，本发明的感受野模块，将原来卷积层3×3尺寸的大内核，替换为多个小核1×1、1×3、3×1分支池组合，根据输入图像中各种尺寸目标，应用不同的尺寸的卷积多分支池内核进行图像偏移量控制，经过感受野模块不仅能够提取细粒度的多尺度特征，尤其是线条特征，例如导线、地线及边缘轮廓等，还可以有效降低参数量和时间复杂度。
2.2判别器构建
判别器由多个由卷积层-激活函数层-谱归一化层组成的残差模块级联组成，其用Leaky Relu作为激活函数，同时，通过引入光谱正则化，约束各个残差模块的权重矩阵，能有效解决对抗网络训练不稳定，锐化过度及伪影问题，最后通过全连接层并使用Sigmoid激活函数，获得输入图像的识别概率。
令判别器的输出为式(6)
D(x)＝Wx+b (6)
其中W为对抗网络的参数矩阵，b为偏置项，在邻域δ内，当输出满足式(7)时：
Figure BDA0003776189460000101
σ(W)即W的谱归一化。
2.3定义损失函数
用预训练的VGG模型从图像的特征图谱中对生成图像ISR和真实图像IHR进行特征提取，R为训练数据集，网络的对抗性损失为Ladv，控制网络训练稳定性，像素损失为Lpix，避免过度生成高频细节。
ILR表示输入的低分辨率图像。像素损失Lpix定义为生成图像ISR和真实图像IHR之间的曼哈顿距离，如等式(8)所示：
Figure BDA0003776189460000111
VGG损失是生成图像ISR的特征图谱与真实图像IHR特征图谱之间的曼哈顿距离，如等式(9)所示：
Figure BDA0003776189460000112
其中36表示预训练VGG模型中第36层的特征图。
生成对抗网络的对抗性训练损失为：
Figure BDA0003776189460000113
其中ΔReal与ΔFake衡量生成图像ISR和真实图像IHR的之间的差异性：
Figure BDA0003776189460000114
σ为sigmoid函数，函数E表示训练过程中每个小批量中所有数据取平均，即期望。
综上，所提模型的生成器损失函数如下，其中λ与η分别为像素损失与对抗损失系数，用来平衡各个损失项：
LG＝λLpix+LVGG+ηLadv (12)
判别器损失定义为：
LD＝LReal+LFake (13)
其中LReal使得真实图像与生成图像尽可能相似，LFake生成图像与真实图像尽可能不相似。
Figure BDA0003776189460000121
Figure BDA0003776189460000122
S3.构建DH-YOLOv5模型
输入端在原Mosaic增强的基础上融合了Mixup增强，在达到最后训练结束的20代之前使用两种增强方式，对照片做色彩，翻转，缩放，随机两张样本按比例混合等图像增强操作，进一步提高模型对输电线路可视化系统图片中小目标的识别能力。Backbone在DH-YOLOv5的Darknet53基础上，增加了SPP金字塔池化组件。主要用于将全卷机以后的数据，使用最大值池化，不管输入尺寸多少，都压缩到一个固定的尺寸的输出层，Neck层由自上而下的特征金字塔结构FPN上采样和自下而上的金字塔注意力网络PAN下采样结构组成，进行多尺寸预测，大幅度增强了检测精度，特别是提高小目标的检测水平，Prediction层加入了解耦头，提高识别精度，加快网络收敛速度，并对损失函数进行重新定义。DH-YOLOv5检测器在3个不同尺度的特征图上来检测物体，其中下采样倍数分别为8倍、16倍和32倍，分别适用小、中大物体的检测。
解耦头在原三个耦头的CBL(Conv+Bn+Leaky_relu激活函数)之后分别分支两个CBL池，每个CBL后的上CBL池通过卷积层与sigmoid连接输出一个分支，下CBL池分为两个分支，上分支通过卷积层与sigmoid连接，下分支只通过卷积层输出，最后Concat张量拼接进行融合，将预测目标框的有无包含目标obj_output，预测目标框的坐标reg_output，预测目标框类别cls_output三个分支输入到Reshape层，从而输出特征预测信息。
所提DH-YOLOv5模型损失函数由定位分支损失、类别分支损失及目标判别损失三部分构成。定位分支损失采用预测框与真实框的欧式距离损失函数训练框的位置与大小信息，类别分支与目标存在性判别分支采用每个目标单独进行二分类交叉熵损失函数训练。
Figure BDA0003776189460000131
式中，K为边框的尺寸，M为边框数量。
Figure BDA0003776189460000132
和
Figure BDA0003776189460000133
表示第i个网格的第j个边框是否为目标检测对象。(xi,yi,wi,hi)和
Figure BDA0003776189460000134
为所预测目标框的位置与大小信息坐标和真实目标框的坐标。Ci和
Figure BDA0003776189460000135
为第i个框存在物体的预测置信度和真实置信度。pi(c)和
Figure BDA0003776189460000136
为物体属于c类的预测概率和真实概率，λnoobj为目标物体存在性判别损失系数，λcoord为目标框判别坐标损失系数。
分别对图像中的吊车、钩机等大型机械，线上搭挂风筝、塑料布、防尘网等小目标异物等进行模型训练后，在测试集中测试得到如下结果：
Figure BDA0003776189460000137
由上表得出结论，经过优化的模型RFBS-SRGAN+DH-YOLOv5在平均精度均值比传统YOLOv5高6.56％，比DH-YOLOv5高4.2％，而且识别速度也比传统YOLOv5快了26.6帧，比DH-YOLOv5快18.3帧。通过以上评估指标对模型进行评估和对比，表明本发明所提模型能快速且准确识别线路通道内物体，该技术能够辅助人工判别，提升系统的精准预警能力，指导运维人员差异化巡视，提高工作人员的利用率，从而实现输电线路运维管理水平的提高。各种目标在不同方法下的检测精度对比如下表：
Figure BDA0003776189460000141
由上表可知，本发明所提方法在各种目标的检测识别准确率上都有所提升，尤其在线路上搭挂的风筝、防尘网、塑料布等难识别的小目标上准确率高达94.5％以上，对输电线路运检可视化精准快速预警提升，具有明显效果，对保障超/特高压电力大动脉安全稳定运行具有重要意义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于深度学习架空输电线路监拍图像检测方法，其特征在于，包括如下步骤：S1.建立训练数据集及测试数据集；S2.把训练样本输入到RFBS-SRGAN模型中进行训练；S3.将生成的高分辨率图像输入到DH-YOLOv5模型中进行训练，通过模型中的输入端数据增强、主干网络、颈部网络、解耦头和预测层逐级进行处理；S4.在达到最终训练结束的20代之前，使用两种数据增强方式，对照片做随机两张样本按比例混合图像增强操作，解耦头在原三个耦头的CBL之后分别分支两个CBL池，每个CBL后的上CBL池通过卷积层与sigmoid连接输出一个分支，下CBL池分为两个分支，上分支通过卷积层与sigmoid连接，下分支只通过卷积层输出，最后Concat张量拼接进行融合，将预测目标框的有无包含目标obj_output，预测目标框的坐标reg_output，预测目标框类别cls_output三个分支输入到Reshape层，从而输出特征预测信息。
2.根据权利要求1所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：S1具体步骤为：从输电线路通道的可视化系统中随机选取抓拍照片1500张照片作为训练集，然后从中任意选取500张照片作为测试集，根据输电线路通道隐患识别目标将训练样本中的目标分为吊车、钩机等大型机械和风筝、塑料布、防尘网等小目标物体，通过人工手动的方法按照不同的场景、天气、光照等进行样本标记，准备训练；
S2训练过程中，在Trunk-RFB模块中3×3尺寸的大内核，替换为多个小核1×1、1×3、3×1分支池组合，根据输入图像中各种尺寸目标，应用不同的尺寸的卷积多分支池内核进行图像偏移量控制，恢复高频细节同时保持内容一致性，降低模型的计算复杂度,经过训练优化的模型，最终生成高分辨率图像；
Trunk-RFB模块由不同尺度的卷积滤波器组成，该模块中第m个感受野残差密集块定义为
Figure FDA0003776189450000011
下式是Trunk-RFB模块的输出。
3.根据权利要求2所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：所述Trunk-RFB模块由10个Residual of Receptive Field Dense Blocks(RRFDB)堆叠而成，每个RRFDB包含6个RFB
Figure FDA0003776189450000021
Trunk-RFB模块的输出xRRFDB反馈到单个的感受野模块和上采样模块，同时，在判别器中通过引入谱归一化层，约束各个残差模块的权重矩阵，有效解决对抗网络训练不稳定，锐化过度及伪影问题，最后通过全连接层并使用Sigmoid激活函数，获得输入图像的识别概率。
4.根据权利要求3所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：所述Trunk-RFB模块的输出判别器的为下式：
D(x)＝Wx+b
其中W为对抗网络的参数矩阵，b为偏置项，在邻域δ内，当输出满足下式时：
Figure FDA0003776189450000022
σ(W)即W的谱归一化。
5.根据权利要求1所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：所述颈部网络由自上而下的特征金字塔结构FPN上采样和自下而上的金字塔注意力网络PAN下采样结构组成。
6.根据权利要求1所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：所述DH-YOLOv5模型的损失函数由定位分支损失、类别分支损失及目标判别损失三部分构成。
7.根据权利要求6所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：所述定位分支损失采用预测框与真实框的欧式距离损失函数训练框的位置与大小信息，类别分支与目标存在性判别分支采用每个目标单独进行二分类交叉熵损失函数训练。
8.根据权利要求6所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：所述DH-YOLOv5模型的损失函数为：
Figure FDA0003776189450000031
式中，K为边框的尺寸，M为边框数量；
Figure FDA0003776189450000032
和
Figure FDA0003776189450000033
表示第i个网格的第j个边框是否为目标检测对象；(xi,yi,wi,hi)和
Figure FDA0003776189450000034
为所预测目标框的位置与大小信息坐标和真实目标框的坐标。
9.根据权利要求8所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：Ci和
Figure FDA0003776189450000035
为第i个框存在物体的预测置信度和真实置信度；pi(c)和
Figure FDA0003776189450000036
为物体属于c类的预测概率和真实概率，λnoobj为目标物体存在性判别损失系数，λcoord为目标框判别坐标损失系数。
10.根据权利要求1所述的一种基于深度学习的架空输电线路监拍图像检测方法，其特征在于：两种数据增强方式包括Mosaic和Mixup；对照片做色彩，翻转，缩放，随机两张样本按比例混合图像增强操作。
CN202210919911.9A 2022-08-01 2022-08-01 一种基于深度学习的架空输电线路监拍图像检测方法 Pending CN115240057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210919911.9A CN115240057A (zh) 2022-08-01 2022-08-01 一种基于深度学习的架空输电线路监拍图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210919911.9A CN115240057A (zh) 2022-08-01 2022-08-01 一种基于深度学习的架空输电线路监拍图像检测方法

Publications (1)

Publication Number Publication Date
CN115240057A true CN115240057A (zh) 2022-10-25

Family

ID=83678346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210919911.9A Pending CN115240057A (zh) 2022-08-01 2022-08-01 一种基于深度学习的架空输电线路监拍图像检测方法

Country Status (1)

Country Link
CN (1) CN115240057A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645502A (zh) * 2023-07-27 2023-08-25 云南大学 输电线路图像检测方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645502A (zh) * 2023-07-27 2023-08-25 云南大学 输电线路图像检测方法、装置及电子设备
CN116645502B (zh) * 2023-07-27 2023-10-13 云南大学 输电线路图像检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN108427920A (zh) 一种基于深度学习的边海防目标检测方法
CN109344821A (zh) 基于特征融合和深度学习的小目标检测方法
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN110348376A (zh) 一种基于神经网络的行人实时检测方法
CN112861690B (zh) 多方法融合的遥感影像变化检测方法及系统
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN111862143B (zh) 一种河堤坍塌自动监测方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN110245695A (zh) 一种基于卷积神经网络的tbm岩渣大小等级识别方法
CN109903373A (zh) 一种基于多尺度残差网络的高质量人脸生成方法
CN111951226A (zh) 一种基于x光图像的多尺度违禁品检测系统及方法
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN110889868B (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN115719445A (zh) 一种基于深度学习和树莓派4b模块的海产品识别方法
CN115240057A (zh) 一种基于深度学习的架空输电线路监拍图像检测方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN111539434B (zh) 基于相似度的红外弱小目标检测方法
CN112270289A (zh) 一种基于图卷积注意力网络的智能监测方法
CN112749741A (zh) 一种基于深度学习的手闸紧固故障识别方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN115661932A (zh) 一种垂钓行为检测方法
CN116310967A (zh) 一种基于改进YOLOv5的化工厂安全帽佩戴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination