CN113536944A - 基于图像识别的配电线路巡检数据识别及分析方法 - Google Patents
基于图像识别的配电线路巡检数据识别及分析方法 Download PDFInfo
- Publication number
- CN113536944A CN113536944A CN202110684486.5A CN202110684486A CN113536944A CN 113536944 A CN113536944 A CN 113536944A CN 202110684486 A CN202110684486 A CN 202110684486A CN 113536944 A CN113536944 A CN 113536944A
- Authority
- CN
- China
- Prior art keywords
- tower
- identification
- image
- network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 38
- 238000009826 distribution Methods 0.000 title claims abstract description 35
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 238000013135 deep learning Methods 0.000 claims abstract description 26
- 230000007547 defect Effects 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000013499 data model Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 52
- 238000011176 pooling Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000012706 support-vector machine Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像识别的配电线路巡检数据识别及分析方法，包括以下步骤：选取数据模型提取方法；基于深度学习目标检测方法对杆塔特征提取分析；根据杆塔特征构建配网设备样本库和评价指标；根据设备样本库和评价指标构建图像缺陷识别平台。本发明基于深度学习图像识别技术，实现无人机巡检图像的自动分析，提高采集数据的智能化分析能力，提高了缺陷的识别效率，极大减少了人工识别的工作量，降低了人工识别的错误率。
Description
技术领域
本发明涉及电网配电线路的巡检技术领域，特别涉及一种基于图像识别的配电线路巡检数据识别及分析方法。
背景技术
配电网作为电网重要的组成部分，是大型输电网和用户对接的重要环节，系统的安全、可靠运行直接影响到整个电网系统的正常运行及用户的日常生产生活。对配电网线路进行定期巡视检查，随时了解和掌握配电线路的运行情况以及线路周围环境和线路保护区的变化情况，是确保供电安全的基础。
配电网是指从输电网或地区发电厂接受电能，通过配电设施就地分配或按电压逐级分配给各类用户的电力网。是由架空线路、电缆、杆塔、配电变压器、隔离开关、无功补偿器及一些附属设施等组成的，在电力网中起重要分配电能作用的网络。所以对配电网输电线路的巡检就尤为重要。目前无人机代替人工巡检已成为趋势，可以降低基层班组人员巡检工作量，提高巡检效率。
无人机巡检中，由于无人机拍摄的是图像数据是视频数据，因此对图像的识别就成为至关重要的一项关键技术。无人机巡检图像智能分析很大程度上可以完全转化为目标检测的课题，其研究已经有几十年的历史，一直都受到人们的高度重视，至今借助于各种理论提出了数以百计的物体检测算法，而且这方面的研究仍然在积极地进行着。关于图像识别、缺陷与隐患验证国内外发展水平传统方法为：模版匹配方法(采用已知的模版与目标图像进行匹配比较)、贝叶斯分类法、人工神经网络法等。当前的深度学习用到的图像识别方法基于神经网络。目前国内外均在发展局域深度学习的图像识别算法。但是目前的图像识别算法还存在识别准确率不高的问题。
发明内容
本发明的目的是提供一种基于图像识别的配电线路巡检数据识别及分析方法，可以解决现有技术中识别准确率不高的问题。
本发明的目的是通过以下技术方案实现的：
基于图像识别的配电线路巡检数据识别及分析方法，包括以下步骤：
选取数据模型提取方法；
基于深度学习目标检测方法对杆塔特征提取分析；
根据杆塔特征构建配网设备样本库和评价指标；
根据设备样本库和评价指标构建图像缺陷识别平台。
进一步的，所述选取数据模型提取方法包括：
杆塔特征分析；
基于浅层特征的电力地物特征提取分析；
基于卷积神经网络原理，将无人机影像输入卷积神经网络进行卷积运算，获取图像的深层次特征；
根据深层次特征选取数据模型提取方法。
进一步的，所述基于深度学习目标检测方法对杆塔特征提取分析包括：
使用选择性搜索算法获取若干个候选区域，利用卷积神经网络抽取特征向量，利用SVM对特征向量进行分类，获取类别和预测的候选框；
利用特征提取网络获得输入图像的特征图，作为RPN网络的输入；
通过算子对杆塔进行特征提取；
基于SSD的杆塔检测；
基于Mask R-CNN的杆塔实例分割。
进一步的，所述根据杆塔特征构建配网设备样本库和评价指标包括：
构建适合电力行业的设备识别数据集；
根据以下公式确定评价指标：
Bp为预测位置边框，Bg为真实边框，a为评定边框的定位精度，λ取值为0.5。
进一步的，选取基于图形切割的方法、基于方向梯度直方图的方法、基于可变形部件模型的方法对电力地物特征提取分析。
进一步的，利用图形切割的方法提取杆塔的轮廓信息，实现杆塔与背景的分割；使用方向梯度直方图结合支持向量机检测杆塔；使用基于可变形部件模型方法，结合LatentSVM检测提取杆塔的空间模型。
进一步的，选取FasterR-CNN和SSD两种深度学习目标检测方法进行图像的深层次特征提取；选取Mask R-CNN方法进行实例分割，并结合具体方法制作样本，使用MaskR-CNN网络模型训练无人机数据的杆塔，实现对杆塔的实例分割。
进一步的，所述的特征提取网络是一个由卷积层+非线性激活层+池化层组成的。
进一步的，所述的卷积神经网络由输入层、卷积层、池化层、全连接层和输出层构成，卷积神经网络中每层卷积层由若干特征图组成，每个特征图由多个神经元组成，生成特征图的参数都是通过反向传播算法优化得到的。
本发明的基于图像识别的配电线路巡检数据识别及分析方法，与现有技术相比，具有以下技术效果：
1、本发明基于深度学习图像识别技术，实现无人机巡检图像的自动分析，发现其中的缺陷隐患并标记相应区域。整体研究思路首先分析电力地物提取方法，针对基于浅层特征和深度学习目标检测方法进行数据预处理；其次对电力地物中的关键目标杆塔进行特征分析，然后根据特征分析结果，选取提取方法进行无人机数据中杆塔的提取。
2、本发明提高采集数据的智能化分析能力，将人力从海量的数据后期处理中解放出来，并完成海量图片向结构化数据的转化。
3、提升数据管理能力，统一整合巡检数据，建立公共基础数据库、输电线路基础数据库、巡检数据库、缺陷及隐患库等，实现缺陷数据的统计分析。
4、提高了缺陷的识别效率，极大减少了人工识别的工作量，降低了人工识别的错误率。
5、系统具备灵活的可扩展性，系统具备丰富的接口和扩展能力，可灵活的扩充缺陷识别类型，对接三方系统提供通用识别服务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的基于图像识别的配电线路巡检数据识别及分析方法的整体流程图；
图2是本发明Faster R-CNN的实现流程；
图3是本发明ResNet50提取特征示意图；
图4是本发明SSD流程图；
图5是本发明Mask R-CNN流程图；
图6是本发明图像缺陷识别平台。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本发明的基于图像识别的配电线路巡检数据识别及分析方法，包括以下步骤：
步骤S1、选取数据模型提取方法。
进一步的，在本申请的一种优选实施方式中，步骤S1具体包括如下步骤；
步骤S101、杆塔特征分析。
基于图像处理方法，设计算子对杆塔的外部轮廓、边缘、灰度、纹理、梯度等特征进行提取。为更好的提取电力地物，使用卷积神经网络提取杆塔更丰富的深层次特征，为选取基于卷积神经网络的深度学习提取电力地物的方法提供支持。
步骤S102、基于浅层特征的电力地物特征提取分析。
电力地物是指地面上的有形的电力设备。分析无人机拍摄的影像中杆塔的特征，对基于浅层特征的提取方法进行综合比较，选取出适宜的提取模型进行电力地物中杆塔的提取。
选取基于图形切割(Graph Cuts)的方法、基于方向梯度直方图(HOG)的方法、基于可变形部件模型(DPM)的方法进行杆塔的提取。利用Graph Cuts提取杆塔的轮廓信息；使用方向梯度直方图结合支持向量机检测杆塔，通过改进输入模型，提高杆塔检测的精度；使用基于可变形部件模型方法，结合Latent SVM检测提取杆塔的空间模型。
步骤S103、基于深度学习目标检测方法的电力地物提取分析：基于卷积神经网络原理，将无人机影像输入卷积神经网络进行卷积运算，获取图像的丰富的深层次特征。
通过对电力地物提取方法的基础及国内外研究现状的分析，结合深度学习目标检测的国内外研究现状，通过设计算子分析杆塔浅层特征，通过卷积神经网络分析提取杆塔更丰富的深层次特征。选取Faster R-CNN、SSD和Mask R-CNN三种深度学习目标检测网络模型，分析其原理并设计实现算法流程，针对性制作模型需要的样本集。针对Tow-Stage中的Faster R-CNN网络模型分别使用Inception V2和ResNet50网络框架作为基础网络进行杆塔的模型训练与检测，并对获得的两种模型检测结果进行对比分析。针对One-Stage中的SSD网络模型分别Inception V2和ResNet50网络框架作为其基础网络进行杆塔的模型训练与检测，并对两种模型检测结果进行对比分析。对Faster R-CNN 和SSD的实验结果进行对比分析。使用Mask R-CNN对杆塔样本进行训练获得模型，检测并分割出杆塔；通过对电力地物提取方法的基础及国内外研究现状的分析，结合深度学习目标检测的国内外研究现状，通过设计算子分析杆塔浅层特征，通过卷积神经网络分析提取杆塔更丰富的深层次特征。
步骤S104、根据深层次特征选取数据模型提取方法。
根据杆塔浅层特征分析结果，选取Graph Cuts、HOG+SVM、DPM三种基于浅层特征提取方法，并结合具体方法制作样本。利用Graph Cuts实现杆塔的提取，实现杆塔与背景的分割；使用HOG+SVM的方法，通过改进模型输入，训练出适用于无人机影像的杆塔检测模型；使用DPM方法训练获取无人机数据中杆塔的空间模型，实现杆塔的提取。
根据卷积神经网络提取特征的分析结果，选取FasterR-CNN和SSD两种深度学习目标检测方法进行杆塔的提取，选取Mask R-CNN方法进行实例分割，并结合具体方法制作样本，使用MaskR-CNN网络模型训练无人机数据的杆塔，实现对杆塔的实例分割；分析对比杆塔的传统提取方法结果与深度学习方法结果，结合电力工程实际应用场景，对提取方法进行分析选取。利用Tow-Stage中典型的深度学习目标检测方法Faster R-CNN、One-Stage中典型的深度学习目标检测方法SSD进行杆塔的目标检测，并研究Mask R-CNN方法对杆塔进行实例分割。
卷积神经网络的网络结构基本由输入层、卷积层、池化层、全连接层和输出层构成，卷积神经网络中每层卷积层由若干特征图组成，每个特征图由多个神经元组成，生成特征图的参数都是通过反向传播算法优化得到的。
步骤S2、基于深度学习目标检测方法对杆塔特征提取分析。
进一步的，在本申请的一种优选实施方式中，步骤S2包括：
步骤S201、基于Faster R-CNN的杆塔检测：使用选择性搜索算法获取若干个候选区域，利用卷积神经网络抽取特征向量，利用SVM对特征向量进行分类，获取类别和预测的候选框。
R-CNN的不足之处包括输入大小被限制，所需候选区域过多、重复计算量大等。空间金字塔池化网络(SPP-Net)能够使得网络输入任意大小尺寸图像，且相对于R-CNN节省了大量时间。Fast R-CNN在R-CNN的基础。上借鉴了SPP-Net 方法，改进了ROI池化层，使用Softmax分类器替代了SVM，利用多任务损失函数将边框回归纳入卷积神经网络中训练，把分类和边框回归合并为了一个多任务模型；性能也得到了很大的提升，但是还存在一些问题，候选区域模块耗时，计算量大。FasterR-CNN是在Fast R-CNN的基础上，使用区域提议网络(RPN) 替代Ss获取候选区域，使得检测速度大大提升，且RPN将候选区域提取层融合至卷积网络中，针对生成检测区域建议的任务实现了端到端的训练，Faster R-CNN的实现流程图如下所示，如图2所示，Faster RCNN可以分为4个主要内容：特征提取网络、RPN网络、ROI池化、分类。
步骤S202、特征提取网络:使用一个由卷积层+非线性激活层+池化层组成的卷积神经网络(CNN)作为特征提取网络，利用特征提取网络获得输入图像的特征图，作为RPN网络的输入。
RPN网络：在特征提取网络提取的卷积特征基础上添加一些额外的卷积层，这些卷积层能够同时在规则网格的每个位置上回归区域边界和目标分数。RPN 网络分为两条线，在获得特征图之后，进入RPN网络之前会为每个点配备k(本项目中使用k＝9)种anchors作为初始的检测框。这些anchors是一组矩形，这些矩形大小不一，基本能覆盖输入数据的各个尺度和形状。配备anchors后，一条线卷积过后通过softmax判断anchors属于正样本还是负样本，后一条卷积过后利用边界框回归修正anchors获得偏移量，最后综合正样本的anchors和其对应的边界框偏移量，获得区域候选框Proposal；ROI池化:用其收集RPN输出的候选区域(Proposal)，因Proposals大小不一，使用ROI池化的方法将 Proposal统一大小进行输出，并把处理好的Proposal特征图送入后续网络；分类:通过全连接层与Softmax层获得具体类别，输出类别的概率(cls_prob)，同时利用边框回归获得每个候选区域的位置偏移量，用于回归更加精确的检测框。
步骤S203、特征提取网络分析:通过算子对杆塔进行特征提取。
尽管这些特征在一定程度上能够提取出杆塔，但是其缺乏良好的泛化性，利用更丰富更高层次的特征区分杆塔与其他地物是研究的方向。深度学习目标检测方法能够提取图像更深层次的信息，利用目标与背景在更深层次特征中的不同，在包含复杂背景的影像中进行目标的提取，提取特征的方式通常使用卷积神经网络(CNN)。对比传统方法使用设计的特征，通过深度学习自动学习获得的特征更加丰富，表达能力也更强，将其应用于图像的目标检测能有很好的效果。CNN的网络结构基本由输入层、卷积层、池化层、全连接层和输出层构成，CNN中每层卷积层由若干特征图(FeatureMap)组成，每个特征图由多个神经元组成，生成特征图的参数都是通过反向传播算法优化得到的，除去这些基本的结构层级，还会有一些诸如批归一化层(Batch Normalization，BN)、切分层、融合层等。常见的一些网络框架有:奠定现代卷积神经网络基础的LeNet网络、可看作深度学习的一个起点的AlexNet网络、证明增加网络深度能够在一定程度上影响网络最终的性能的VGGNet网络、利用Inception模块增加网络宽度和稀疏性的GoogLeNet网络、基于Inception模块改进的InceptionV2、 InceptionV3网络、构建残差块利用跳跃连接解决了网络退化问题的ResNet网络等。为优化特征提取和网络学习能力，还可采用可以使用Dropout策略、 Maxout策略、加入BN层等方式进行优化；
为更好分析特征提取网络提取的特征，如图3所示，以ResNet50网络为例，对单幅影像提取特征，获得的前面几层结果，对其可视化如下图所示，图A 为使用卷积核为7的第一个卷积层卷积后结果，图B为BN后结果，图C为使用ReLU激活后的结果，图D为最大池化结果，池化窗口大小为3，步长为 2，图E为第一层ResNet块处理后的结果，图F为第二层ResNet块处理后的结果，后续层级因为分辨率和数量因素暂不展示。
ResNet50提取特征:从提取的特征中可以看出，第一次卷积、BN、ReLU激活后，获得的特征基本是杆塔的纹理、轮廓、边缘等浅层信息，但是因为卷积核使用了64个，所以提取了64种的特征，随后经历池化层最大池化后，获取了新的、维度较小的特征，这些相对于传统的特征提取方法，从数量来说更加丰富多样，后面继续加深网络，在原有特征基础上使用ResNet块提取出了更多更丰富多样的非线性特征，这些操作相比于传统方法设计特征算子来提取杆塔特征更加高效，拥有更丰富的特征也能更准确的将杆塔从复杂的地物背景中提取出来，因此，借用深度卷积神经网络来提取杆塔具有很好的现实意义；
步骤S204、基于SSD的杆塔检测。
单发多盒检测器(Single Shot MultiBox Detector，SSD)模型是一种 One-Stage检测算法，单阶段检测算法也被称为基于回归分析的目标检测算法，它将目标边框的定位问题转换为回归问题，通过一个神经网络直接输出检测结果。在SSD之前，YOLO算法是第一个在取得不错的检测精度的情况下还能达到实时运行的单阶段目标检测算法，而SSD借鉴了YOLO中的回归思想，又参考了Faster R-CNN中的Anchor机制，设定一些默认边界框，综合两者优点，用小的卷积进行全图各个位置的多尺度局部特征分类回归，既有YOLO相近的检测速度，又有和Faster R-CNN相近的精度，图4为SSD的流程图，
SSD流程图:为SSD算法提出者在论文中使用的网络结构，包含了前面特征提取的基础网络和后面的辅助网络，共同构成了特征提取模块，因为后面的辅助网络的层级尺寸是逐渐减小的，能够代表不同尺度的特征，对这些特征层(或者原来基础网络中现有的特征层)可以使用一组小卷积核卷积产生固定的预测集合，即对这些特征层的特征图同时进行softmax分类和位置回归，获得类别置信度和位置偏移。预测是在特征图的每个单元上，SSD算法设计者在特征图上对每个单元设计了以该单元为中心的一系列同心的默认边界框，这些默认框与这些特征图每个单元关联，预测就是预测不同尺度和长宽比的默认边界框的形状偏移和与其相关的置信度。这些默认边界框的设计，与Faster R-CNN中的Anchor的设计很相似，这些默认边界框就是一些目标的预选框，SSD使用这些边界框作为先验信息，能够使得其对目标的定位精度较准确，YOLO因为没有利用先验信息，所以其定位精度稍差，后面有许多专家学者YOLO算法进行了很多改进，引入Anchor机制，进行多尺度训练，大大提升了性能。SSD设计者将这些默认边界框应用于不同尺度的特征图中，在多个特征图中使用不同的边界框，有效的离散可能的输出框形状的空间。在训练过程中，需要将这些默认边界框与实际边界框进行匹配，匹配将匹配大于IOU阈值的任何实际边界框，简化了学习问题，使用不同尺寸、长宽比的默认框，结合不同尺度的特征映射，能够获得各种输入目标大小和形状的预测集合，使用难例挖掘减少训练过程中负样本比例，使得正负样本比至少为1:3，这样训练能够更稳定，优化更快，最后训练的总损失由定位损失和置信度损失加权求和获得。
步骤S205、基于Mask R-CNN的杆塔实例分割。
Mask R-CNN是一个实例分割框架，扩展自Faster R-CNN。实例分割是一种在像素层面识别目标轮廓的任务，在物体检测的基础上，还要求分割出物体的像素，即判断出目标物的类别和位置，且要判断哪个位置的像素分别属于哪个目标物。Mask R-CNN扩展至Faster R-CNN，其主要修改是将Faster R-CNN中的ROI池化层使用其提出的ROIAlign进行替换，然后在后续网络中添加了一个并列的全卷积层用于计算mask，其流程如图5所示，Mask R-CNN流程图如图所示，其结构和FasterR-CNN非常类似，先使用特征提取网络进行特征提取，在MaskR_CNN中，何凯明等人使用了ResNet网络作为了基础网络用来提取特征，浅层特征如边缘、纹理等在底层检测中，高层特征在网络的更深层中，何凯明等人为了进一步提升基础网络性能，使用特征金字塔网络(FPN)对基础网络进行了扩展，FPN可以把高、低层特征相互结合，使其可以在多个尺度上更好的表征特征。而且他们还使用了ResNet网络的升级版ResNeXt网络结合 FPN作为基础主干网络进行了测试，获得了更好的结果。特征提取网络提取出特征图后经过RPN网络获得了区域候选框，Faster R-CNN是使用ROI池化的方式将提议区域的Proposal统一到统一大小，而Mask R-CNN使用ROIAlign 替换了ROI池化层。因为实例分割需要细化到像素，通过ROI池化会导致特征图与原始影像不对齐的问题，虽然对齐问题在分类上影响不大，但是会在 Mask上存在较大误差，影像检测精度，使用ROIAlign能够保留大致的空间位置。在ROI池化中为了方便在Proposal和划分单元的时候会有两次取整过程，这个时候就已经导致RPN网络回归出来的候选框有一定偏差了，即已经不对齐了，所以ROIAlign取消了整数化过程，并且引入了一个双线性插值过程，填充非整数位置的像素，将整个特征聚集过程转化为一个连续的操作，很大程度上解决了不对齐问题。之后就是在分类、位置回归之外再加一个mask的分支任务，总的损失函数为三者损失之和，计算损失时，像素属于哪个类，哪个类就用sigmoid输出二值交叉熵损失，在测试时，通过分类分支预测的类别来选择相应的mask预测，能避免类间竞争，较好的提升性能。Mask R-CNN经过对 FasterR-CNN的一些列改进，在实例分割和检测精度方面都达到了较高水准。
步骤S3、根据杆塔特征构建配网设备样本库和评价指标。
进一步的，在本申请的一种优选实施方式中，步骤S3包括：
步骤S301、样本数据集构建：构建适合电力行业的设备识别数据集，在电力作业中，利用无人机线路中巡检，同步获取感兴趣照片或是巡检视频。
样本数据集构建目前在目标检测领域有几个知名的检测数据集，其中有ImageNet，PASCALVOC、MS COCO、SUN。其中，ImageNet是ILSVRC竞赛使用的数据集，由斯坦福计算机视觉实验室主导创建，是目前最大规模的数据集，从2014年开始构建了包含200类目标的Tiny ImageNet数据集用于目标检测任务竞赛。PASCAL VOC是最早提出给大量数据构建标签的公开数据集，用于图像目标分类、目标检测、图像分割等任务，很多的优秀算法都是在这个基础上产生的。SUN是目前标记的类别最多的数据集，MS COCO是近两年由微软主导构建的包含91类的标签数据库，数据集丰富且结合了ImageNet、PASCAL VOC、SUN 数据集构建的特点，为研究图像中目标对象的上下文关系做出了贡献。四个数据集的对比如表格所示。
参考国际上公认的公开数据集，尝试构建适合电力行业的设备识别数据集，在电力行业中，利用无人机线路中巡检，同步获取感兴趣照片或是巡检视频。而针对于巡检任务，需要对输电线路上及杆塔上的电力部件等，研究不同设备特征，分析任务需求，从而构建设备识别样本库，样本库主要包括图片和图片对应的标记文件，使用四点标框把目标标定。
步骤S302、评价指标的确定：
对于一个目标检测算法，一般会对待检测图像I，经过算法处理，输出一系列预测位置边框(predicted bounding box)Bp，对应着预测的C种不同的目标类别及预测置信度f，在评价算法时，会对所有的测试集图像进行多目标检测，分别对不同目标进行评测，在测试集图像中，都有人工标记的不同类别的外围框，即真实边框ground truth box，用Bg表示，预测边框会往往和真实的边框不是完全重合的，用a来评定边框的定位精度，若预测区域满足下公式，则认为边框是正确的，具体公式如下：
(1)式中，Bp为预测位置边框，Bg为真实边框，a为评定边框的定位精度，λ取值为0.5。
多目标类别检测一般用召回率R(Recall)、精确率P(Precision)和精确率的平均值AP(Average Precision)来衡量一个检测算法的好坏；当评判某一类别检测结果时，假定IoU>0.5时为正确的一次检测。
步骤S4、根据设备样本库和评价指标构建图像缺陷识别平台。
如图6所示，包含机巡数据资源管理平台、自学习训练平台、机巡图像智能识别服务平台、IDC核心交换机、IDC核心防火墙、综数网核心交换机和机巡图像智能识别客户端；
基于配网环境下缺陷后期处理或即时处理场景的AI图像分析平台，规划设计基于边-云-端的融合处理架构、基于深度学习/机器学习图像处理算法主要解决巡检图像的缺陷分析、风险预警/研判、巡检大数据管理和数据挖掘问题，且系统具备深度网络模型学习训练和智能进化能力。
缺陷及隐患类型，如表1所示：
表1
配网线路图像缺陷智能检测，基于机巡图像缺陷检测的应用主要分为四大方面，一是针对架空线路、柱上开关设备、柱上变压器、柱上电容器、电线杆 (杆头、支架等)及架空线路通道；第二是架空线路通道的树线茅盾(通道树与线的距离)是目前无人机巡视的重点，线上漂浮物；第三是周边环境的缺陷检测，包括建筑物、树木、火灾等；第四是架空线路设备以及其他设备问题(如设备裂缝、电线杆位移倾斜、电线或设备异常)的故障查巡。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，包括以下步骤：
选取数据模型提取方法；
基于深度学习目标检测方法对杆塔特征提取分析；
根据杆塔特征构建配网设备样本库和评价指标；
根据设备样本库和评价指标构建图像缺陷识别平台。
2.根据权利要求1所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，所述选取数据模型提取方法包括：
杆塔特征分析；
基于浅层特征的电力地物特征提取分析；
基于卷积神经网络原理，将无人机影像输入卷积神经网络进行卷积运算，获取图像的深层次特征；
根据深层次特征选取数据模型提取方法。
3.根据权利要求1所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，所述基于深度学习目标检测方法对杆塔特征提取分析包括：
使用选择性搜索算法获取若干个候选区域，利用卷积神经网络抽取特征向量，利用SVM对特征向量进行分类，获取类别和预测的候选框；
利用特征提取网络获得输入图像的特征图，作为RPN网络的输入；
通过算子对杆塔进行特征提取；
基于SSD的杆塔检测；
基于Mask R-CNN的杆塔实例分割。
4.根据权利要求1所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，所述根据杆塔特征构建配网设备样本库和评价指标包括：
构建适合电力行业的设备识别数据集；
根据以下公式确定评价指标：
Bp为预测位置边框，Bg为真实边框，a为评定边框的定位精度，λ取值为0.5。
5.根据权利要求2所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，选取基于图形切割的方法、基于方向梯度直方图的方法、基于可变形部件模型的方法对电力地物特征提取分析。
6.根据权利要求5所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，利用图形切割的方法提取杆塔的轮廓信息，实现杆塔与背景的分割；使用方向梯度直方图结合支持向量机检测杆塔；使用基于可变形部件模型方法，结合Latent SVM检测提取杆塔的空间模型。
7.根据权利要求2所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，选取FasterR-CNN和SSD两种深度学习目标检测方法进行图像的深层次特征提取；选取Mask R-CNN方法进行实例分割，并结合具体方法制作样本，使用MaskR-CNN网络模型训练无人机数据的杆塔，实现对杆塔的实例分割。
8.根据权利要求3所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，所述的特征提取网络是一个由卷积层+非线性激活层+池化层组成的。
9.根据权利要求2所述的基于图像识别的配电线路巡检数据识别及分析方法，其特征在于，所述的卷积神经网络由输入层、卷积层、池化层、全连接层和输出层构成，卷积神经网络中每层卷积层由若干特征图组成，每个特征图由多个神经元组成，生成特征图的参数都是通过反向传播算法优化得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110684486.5A CN113536944A (zh) | 2021-06-21 | 2021-06-21 | 基于图像识别的配电线路巡检数据识别及分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110684486.5A CN113536944A (zh) | 2021-06-21 | 2021-06-21 | 基于图像识别的配电线路巡检数据识别及分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113536944A true CN113536944A (zh) | 2021-10-22 |
Family
ID=78125338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110684486.5A Withdrawn CN113536944A (zh) | 2021-06-21 | 2021-06-21 | 基于图像识别的配电线路巡检数据识别及分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113536944A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117191821A (zh) * | 2023-11-03 | 2023-12-08 | 山东宇影光学仪器有限公司 | 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法 |
| CN117237363A (zh) * | 2023-11-16 | 2023-12-15 | 国网山东省电力公司曲阜市供电公司 | 一种输电线路外破源识别方法、系统、介质及设备 |
-
2021
- 2021-06-21 CN CN202110684486.5A patent/CN113536944A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117191821A (zh) * | 2023-11-03 | 2023-12-08 | 山东宇影光学仪器有限公司 | 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法 |
| CN117191821B (zh) * | 2023-11-03 | 2024-02-06 | 山东宇影光学仪器有限公司 | 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法 |
| CN117237363A (zh) * | 2023-11-16 | 2023-12-15 | 国网山东省电力公司曲阜市供电公司 | 一种输电线路外破源识别方法、系统、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
| CN110992307A (zh) | 基于yolo的绝缘子定位识别方法及装置 | |
| CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
| CN115147383A (zh) | 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法 | |
| Maduako et al. | Deep learning for component fault detection in electricity transmission lines | |
| CN116452850A (zh) | 一种基于数据挖掘和深度学习的道路积水区域识别方法 | |
| CN115393631A (zh) | 基于贝叶斯层图卷积神经网络的高光谱图像分类方法 | |
| CN114881286A (zh) | 一种基于深度学习的短时降水预测方法 | |
| CN116824517B (zh) | 基于可视化的变电站运维安全管控系统 | |
| CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
| CN116385950A (zh) | 一种小样本条件下电力线路隐患目标检测方法 | |
| CN116029440A (zh) | 光伏电站超短期功率预测方法和装置 | |
| CN114694019A (zh) | 基于异常检测的遥感影像建筑物迁移提取方法 | |
| CN114663751A (zh) | 一种基于增量学习技术的输电线路缺陷识别方法和系统 | |
| CN115100546A (zh) | 一种基于mobilenet的电力设备小目标缺陷识别方法及系统 | |
| Sheng et al. | A Method and Implementation of Transmission Line's Key Components and Defects Identification Based on YOLO | |
| CN112380985A (zh) | 变电站入侵异物实时检测方法 | |
| CN112348062A (zh) | 气象图像预测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211022 |