CN112270234A - 一种基于航拍图像的输电线路绝缘子目标识别方法 - Google Patents

一种基于航拍图像的输电线路绝缘子目标识别方法 Download PDF

Info

Publication number
CN112270234A
CN112270234A CN202011125332.4A CN202011125332A CN112270234A CN 112270234 A CN112270234 A CN 112270234A CN 202011125332 A CN202011125332 A CN 202011125332A CN 112270234 A CN112270234 A CN 112270234A
Authority
CN
China
Prior art keywords
insulator
segments
segment
network
links
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011125332.4A
Other languages
English (en)
Other versions
CN112270234B (zh
Inventor
田海瑞
侯春萍
王致芃
曹凯鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011125332.4A priority Critical patent/CN112270234B/zh
Publication of CN112270234A publication Critical patent/CN112270234A/zh
Application granted granted Critical
Publication of CN112270234B publication Critical patent/CN112270234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于航拍图像的输电线路绝缘子目标识别方法，包括下列步骤：准备数据集；分别提取绝缘子图片的片段(Segments)特征和链接(Links)特征；融合片段(Segments)特征和链接(Links)特征，识别目标区域。

Description

一种基于航拍图像的输电线路绝缘子目标识别方法
技术领域
本发明属于图像处理、遥感影像和计算机视觉技术领域，涉及一种基于数字图像处理和深度学习技术的输电线路航拍图像绝缘子目标检测方法。
背景技术
近电力系统是由发电厂、送变电线路网、供配电网和电力用户网等环节组成的电能生产与消费系统整体，它的功能是将自然界的一次能源通过发电动力装置转化成电能，再经输电、变电和配电将电能供应到各用户，从而完成电能生产传输和使用的整个过程。保证传输的可靠性和稳定性无论对国家安全还是日常生活都具有重要意义。因此需要对电路传输网络的可靠性进行检测，以保证整个电线网路的稳定性。
我国的电网规模宏大，且输电线路多分布在荒郊野外，地形复杂。而绝缘子作为架空输电线路的重要组成部分，用于支持、悬吊架空导线，使导线与导线之间以及导线与大地之间保持足够的绝缘。输电线路的绝缘子配件按照制作材料可以分为玻璃绝缘子、复合绝缘子以及陶瓷绝缘子，如图1所示。本专利中只针对绝缘子的识别，不涉及分类。
由于输电线路常年暴露于自然环境中，线路的绝缘子配件要遭受暴晒、狂风、暴雨以及冰雪等自然原因的侵袭；输电线路电击、自然雷击等高电压影响，以及绝缘子本身内外应力疲劳损伤和寿命年限的限制。而绝缘子的表面污秽、裂纹/破损等表面缺陷，以及绝缘子的掉串、阻抗降低会造成电力故障，导致大面积的电力瘫痪。在过去输电系统故障的统计中，由于绝缘子缺陷造成的故障事件占到总故障的一半以上，同时全国各个电力区域均发生过由此原因造成的大面积电力瘫痪事件。
因此在日常的电力巡检过程中，绝缘子的快速定位有助于须迅速查找故障点，分析故障原因，为后续的电力检修和维护提供了重要参考。但同时这就对巡检图像易故障配件定位的准确性和及时性有着很高的要求。
传统的巡检模式为人工巡检，但是由于电力输送网络大都处于复杂的山地深林地形，导致该巡检模式的劳动强度大、代价高，且巡视结果受到人员技能以及天气、地形、光照等自然条件的影响较大。
针对一些人工巡检难以到达的输电线路，无人机巡检是一种比较有效的方式，可以对输电线路的巡检过程进行优化，对现有制度中的缺陷进行填补。输电线路的无人机巡检主要是为了能够拍摄输电线路故障易发配件，及时发现输电线路缺陷和故障，排除安全隐患。有效的解决人工巡检的困难，提高巡检的效率、质量和效益。
[1]曾绍攀.无人机巡检输电线路技术的应用分析[J].质量探索,2016(6):86-87.
[2]张永,李德波,吴翔,et al.无人机巡检输电线路技术的应用与分析[J].宿州学院学报,2013(08):87-88.
[3]王世坤.基于纹理特征的绝缘子目标识别与跟踪研究[D].华北电力大学(北京).
发明内容
本发明的目的是本发明的目的是提供一种识别有效区域占比高，且识别准确率高的绝缘子目标检测算法，技术方案如下：
一种基于航拍图像的输电线路绝缘子目标识别方法，包括下列步骤：
第一步，准备数据集；
(1)通过无人机拍摄不同环境的输电线路绝缘子数据集，且每个图片是由陶瓷绝缘子、复合绝缘子、玻璃绝缘子一种或几种组合而成，确定训练数据集和测试数据集；
(2)准备绝缘子目标检测的标签数据：每张绝缘子图片中绝缘子的位置和旋转方向不同，考虑到本算法训练需要带旋转角度的Ground Truths，重新设计标记软件，标记软件采用多边形的标记方式，生成标记文件，内部利用最小外接矩形，计算出多边形的最小外接矩形；
第二步，分别提取绝缘子图片的片段(Segments)特征和链接(Links)特征；
(1)提取航拍图像的绝缘子片段(Segments)特征；
(2)以识别网络VGG16作为网络的主要骨干，并将VGG16的最后两个全连接层改成卷积层，同时在后面额外添加4个卷积层，利用这些卷积层提取深层次绝缘子特征图(Feature map)；
(3)添加额外的增强网络即特征金字塔网络(Feature Pyramid Networks，FPN)；增加网络的多特征融合能力，将高层次网络特征和低层次网络特征融合起来，增强网络的表达能力，将融合得到的特征映射图来做检测预测；
(4)对于片段(Segments)特征，网络最终输出维度为7的预测值包括2个置信参数和5个偏置参数；
(5)提取绝缘子片段之间的链接(Links)特征：通过卷积来产生片段和八邻域之间的链接(Links)特征，每个邻域两个参数，表示置信分数；针对不同卷积层之间的链接(Links)特征，检测当前卷积层和上一层卷积层的四邻域关系，最终网络输出为层内片段的八邻域链接(Links)特征置信参数16个和跨层片段的四邻域链接(Links)特征置信参数8个；
第三步，融合片段(Segments)特征和链接(Links)特征；
(1)将检测到的绝缘子片段(Segments)特征和链接(Links)特征建立成图模型，利用深度优先搜索算法(DFS)找到连通分量，每个连通分量为包括一系列同一行片段(Segments)特征的集合；
(2)利用最小二乘法线性回归得到一条回归线段，然后利用回归得到线段的起点和终点计算出识别区域的中心坐标；
(3)求解片段的平均高度和平均偏置角度作为识别区的高度和偏置角度，最后求解出最远的片段之间的距离即为宽度，得到目标识别区域。
本发明运用深度学习方法实现基于航拍输电线路图像的绝缘子检测功能，并运用特征金字塔提取更丰富的图像特征，充分利用像素信息，可显著提高识别区域的有效面积比例，并保证了识别的准确率。
附图说明
图1绝缘子分类图
图2绝缘子形态示意图
图3传统识别框和本算法识别框对比图
图4求解最小外接矩形示意图
图5检测算法基础框架示意图
图6特征金字塔网络结构示意图
图7绝缘子片段预测流程示意图
图8片段间链接提取示意图
图9融合算法实现示意图
具体实施方式
为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。
本发明从绝缘子的形态出发，设计了一种新的基于航拍输电线路的绝缘子目标识别。如图2所示，针对不同类型的绝缘子，其都是由形态相同的绝缘子片段组成，将检测区域的关注点设计为片段能够提取到更多有用信息，且因为绝缘子串的唯一定向性，可以根据片段的邻域检查，来优化特征提取过程和片段融合过程。按以下步骤具体实现：
第一步，准备数据集。
(1)准备目标检测网络所需图片数据。
考虑到不同类型绝缘子的形态不尽相同，以及绝缘子暴露在野外的环境也不相同，于是采的数据集为不同环境背景(包括山地，深林，住宅区等)，不同类型绝缘子的图片集合，同时为了适应多种绝缘子环境下目标的检测，数据集添加了多种类型绝缘子集中在一张图片的情况。各类绝缘子数据示例如图1所示。绝缘子数据集包括玻璃绝缘子类型数据157张，复合绝缘子类型数据313张，以及多种绝缘子类型数据81张。
(2)准备目标检测网络所需标签数据。
考虑到本算法训练需要带旋转角度的Ground Truths，如图3所示。于是设计了一款新的标记软件，标记软件采用多边形的标记方式，内部利用最小外接矩形，计算出多边形的最小外接矩形，其计算方法为：
1.求凸包，在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包。采用Graham扫描法找出多边形的凸包，主要思想是找到凸包上的一个点，然后从那个点开始按逆时针方向逐个找凸包上的点；
2.求最小外接矩形，根据结论对于多边形P的一个外接矩形存在一条边与原多边形的边共线。可以利用四条切线(红色)，其中一条与多边形一条边重合，确定外接矩形(黑色)，如图4所示。主要算法实现为：利用枚举每一条边，求出对面最远的点，以及最两边的点，最终求解出最小外接矩形。
第二步，目标检测特征提取网络构建。
特征提取机制已被广泛应用于图像中目标区域的定位，以捕捉特定区域的特征。在绝缘子图像中特征提取重要的为两部分，第一部分为绝缘子片段(Segment)特征提取，第二部分为片段间的链接(Links)特征提取，这样融合算法才能得最终到准确的绝缘子识别区域。
(1)采用改进的VGG-16网络进行片段(Segment)特征检测，具体步骤如下：
1.以传统的识别网络VGG16作为网络的主要骨干，并将VGG16的最后两个全连接层改成卷积层，同时在后面额外添加4个卷积层，利用这些卷积层提取深层次绝缘子特征图(Feature map)，具体框架如图5所示。
2.添加额外的增强网络，特征金字塔网络(Feature Pyramid Networks，FPN)。增加了网络的多特征融合能力，将高层次网络特征和低层次网络特征融合起来，增强网络的表达能力，将融合得到的特征映射图来做检测预测。如图6所示，为绝缘子检测网络增加的特征金字塔网络结构。
3.对不同层的特征图(Feature map)使用3*3的卷积层产生最终的输出，包括片段(Segments)特征和链接(Links)特征，片段(Segment)特征为带旋转角度的预测区域信息，最终，对于片段(Segment)特征的预测包括：2个特征置信分和5个位置偏置信息，具体表示为：
Si＝(xs i，ys i，ws i，hs i，θs i)
其中，(xs i，ys i,ws i，hs i，θs i)表示表示当前卷积层提取的第i个片段(Segment)特征，xs i,ys i表示标记框的中心位置，ws i,hs i表示标记框的宽和高，θs i表示预测区域相对于水平位置的旋转角度。如图7所示为绝缘子片段(Segment)特征预测流程。
(2)层内链接(link)特征检测，是对于同一卷积层的特征图，且每个位置预测一个片段(Segment)特征,所以对于同一卷积层内链接(link)特征，只需要预测当前片段(Segment)特征的8邻域，每个链接(link)特征有两个分数(表示是否属于同一个绝缘子串)，如图8所示为绝缘子链接(link)特征提取示意图，最终检测检测表达式如下：
Figure BDA0002733422180000051
第三步，融合片段(Segments)特征和链接(Links)特征。
融合算法的设计将检测到的绝缘子片段(Segments)特征和链接(Links)特征建立成图模型，利用深度优先搜索算法(DFS)找到连通分量，每个连通分量为一系列同一行的片段(Segments)特征集合，再利用最小二乘法线性回归，得到一条回归直线，实现示意图如图9所示。具体实现如下：
(1)输入一张图片的绝缘子片段(Segments)特征集合，可以表示为：
S＝{s(i)} (3-7)
其中，s(i)＝(xs (i),ys (i),ws (i),hs (i),θs (i))，表示当前集合中的第i个片段(Segments)特征。
(2)利用片段(Segments)特征集合中片段偏置角度的平均值作为绝缘子的旋转角度，即：
Figure BDA0002733422180000052
其中，θs (i)表示第i个片段(Segments)特征的偏置角度；|S|表示集合的元素个数；
(3)利用最小二乘法和片段(Segments)特征的中心坐标拟合一条线段，拟合线段的端点表示为起点(xs,ys)和终点(xe,ye)；
(4)计算输出的识别区域，利用起点和终点计算中心坐标，作为预测bounding box的中心坐标；求解所有片段(Segments)特征的高度平均值作为预测bounding box的高度；最后用线段长度加上首尾片段(Segments)特征的平均宽度作为预测bounding box的宽度。可得到参数的表达式如式(3-9)所示：
Figure BDA0002733422180000053
其中，ws,we分别为首尾绝缘子片段(Segment)的宽度；
(5)输出识别区域：
box＝(x,y,w,h,θ) (3-10)
其中(x,y)为检测区域的中心位置坐标；w,h为检测区域的宽和高；θ为检测区域的旋转偏置角。

Claims (2)

1.一种基于航拍图像的输电线路绝缘子目标识别方法，包括下列步骤：
第一步，准备数据集
(1)通过无人机拍摄不同环境的输电线路绝缘子数据集，且每个图片是由陶瓷绝缘子、复合绝缘子、玻璃绝缘子一种或几种组合而成，确定训练数据集和测试数据集；
(2)准备绝缘子目标检测的标签数据：每张绝缘子图片中绝缘子的位置和旋转方向不同，考虑到本算法训练需要带旋转角度的GroundTruths，重新设计标记软件，标记软件采用多边形的标记方式，生成标记文件，内部利用最小外接矩形，计算出多边形的最小外接矩形。
第二步，分别提取绝缘子图片的片段(Segments)特征和链接(Links)特征
(1)提取航拍图像的绝缘子片段(Segments)特征；
(2)以识别网络VGG16作为网络的主要骨干，并将VGG16的最后两个全连接层改成卷积层，同时在后面额外添加4个卷积层，利用这些卷积层提取深层次绝缘子特征图(Featuremap)；
(3)添加额外的增强网络即特征金字塔网络(Feature Pyramid Networks，FPN)；增加网络的多特征融合能力，将高层次网络特征和低层次网络特征融合起来，增强网络的表达能力，将融合得到的特征映射图来做检测预测；
(4)对于片段(Segments)特征，网络最终输出维度为7的预测值包括2个置信参数和5个偏置参数；
(5)提取绝缘子片段之间的链接(Links)特征：通过卷积来产生片段和八邻域之间的链接(Links)特征，每个邻域两个参数，表示置信分数；针对不同卷积层之间的链接(Links)特征，检测当前卷积层和上一层卷积层的四邻域关系，最终网络输出为层内片段的八邻域链接(Links)特征置信参数16个和跨层片段的四邻域链接(Links)特征置信参数8个；
第三步，融合片段(Segments)特征和链接(Links)特征
(1)将检测到的绝缘子片段(Segments)特征和链接(Links)特征建立成图模型，利用深度优先搜索算法(DFS)找到连通分量，每个连通分量为包括一系列同一行片段(Segments)特征的集合；
(2)利用最小二乘法线性回归得到一条回归线段，然后利用回归得到线段的起点和终点计算出识别区域的中心坐标；
(3)求解片段的平均高度和平均偏置角度作为识别区的高度和偏置角度，最后求解出最远的片段之间的距离即为宽度，得到目标识别区域。
2.根据权利要求1所述的方法，其特征在于，利用最小外接矩形，计算出多边形的最小外接矩形，方法为：
a.求凸包，采用Graham扫描法找出多边形的凸包；
b.求最小外接矩形，对于多边形P的一个外接矩形存在一条边与原多边形的边共线，利用多条切线，其中一条与多边形一条边重合，确定外接矩形，方法为：利用枚举每一条边，求出对面最远的点，以及最两边的点，最终求解出最小外接矩形。
CN202011125332.4A 2020-10-20 2020-10-20 一种基于航拍图像的输电线路绝缘子目标识别方法 Active CN112270234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011125332.4A CN112270234B (zh) 2020-10-20 2020-10-20 一种基于航拍图像的输电线路绝缘子目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011125332.4A CN112270234B (zh) 2020-10-20 2020-10-20 一种基于航拍图像的输电线路绝缘子目标识别方法

Publications (2)

Publication Number Publication Date
CN112270234A true CN112270234A (zh) 2021-01-26
CN112270234B CN112270234B (zh) 2022-04-19

Family

ID=74342517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011125332.4A Active CN112270234B (zh) 2020-10-20 2020-10-20 一种基于航拍图像的输电线路绝缘子目标识别方法

Country Status (1)

Country Link
CN (1) CN112270234B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239752A (zh) * 2021-04-27 2021-08-10 西安万飞控制科技有限公司 一种无人机航拍影像自动识别系统
CN113938938A (zh) * 2021-09-27 2022-01-14 新疆天富能源股份有限公司 一种综合能源配电网故障定位方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108693441A (zh) * 2018-04-16 2018-10-23 华北电力大学（保定） 一种输电线路绝缘子识别方法及系统
CN110766003A (zh) * 2019-10-18 2020-02-07 湖北工业大学 一种基于卷积神经网络的片段和链接的场景文字的检测方法
WO2020040734A1 (en) * 2018-08-21 2020-02-27 Siemens Aktiengesellschaft Orientation detection in overhead line insulators

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108693441A (zh) * 2018-04-16 2018-10-23 华北电力大学（保定） 一种输电线路绝缘子识别方法及系统
WO2020040734A1 (en) * 2018-08-21 2020-02-27 Siemens Aktiengesellschaft Orientation detection in overhead line insulators
CN110766003A (zh) * 2019-10-18 2020-02-07 湖北工业大学 一种基于卷积神经网络的片段和链接的场景文字的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAMING HAN 等: "Search Like an Eagle：A Cascaded Model for Insulator Missing Faults Detection in Aerial Images", 《ENERGIES》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239752A (zh) * 2021-04-27 2021-08-10 西安万飞控制科技有限公司 一种无人机航拍影像自动识别系统
CN113938938A (zh) * 2021-09-27 2022-01-14 新疆天富能源股份有限公司 一种综合能源配电网故障定位方法及装置

Also Published As

Publication number Publication date
CN112270234B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN101625723B (zh) 电力线轮廓的快速图像识别方法
Meng et al. Morphology-based building detection from airborne LIDAR data
Luo et al. Autonomous detection of damage to multiple steel surfaces from 360 panoramas using deep neural networks
CN111342391B (zh) 一种输电线路绝缘子和线路故障巡视方法及巡视体系
Sohn et al. Automatic powerline scene classification and reconstruction using airborne lidar data
CN107392247B (zh) 一种电力线下方地物安全距离实时检测方法
CN108734689B (zh) 一种基于区域生长的导线散股检测方法
CN103529362B (zh) 基于感知的绝缘子识别与缺陷诊断方法
CN112270234B (zh) 一种基于航拍图像的输电线路绝缘子目标识别方法
CN113284124B (zh) 一种基于无人机视觉的光伏面板缺陷检测方法
CN108680833B (zh) 基于无人机的复合绝缘子缺陷检测系统
CN101620676A (zh) 绝缘子轮廓的快速图像识别方法
CN108537170A (zh) 一种电力设备固件无人机巡检销钉缺失检测方法
CN107179479A (zh) 基于可见光图像的输电导线散股缺陷检测方法
CN107292861A (zh) 一种绝缘子破损检测方法
CN111126381A (zh) 一种基于r-dfpn算法的绝缘子倾斜定位与识别方法
CN114549998A (zh) 一种基于卫星图像的屋顶光伏潜力抗干扰评估方法
CN106250835A (zh) 基于特征识别的输电线路上的鸟巢识别方法
Zhang et al. Aerial image analysis based on improved adaptive clustering for photovoltaic module inspection
CN109684914A (zh) 基于无人机影像智能识别方法
CN105261011B (zh) 一种无人机巡检航拍复杂背景影像中绝缘子的提取方法
Li et al. The future application of transmission line automatic monitoring and deep learning technology based on vision
CN109816643A (zh) 一种基于线路缺陷识别的树线距离智能分析方法
CN102621419A (zh) 基于激光和双目视觉图像对线路电气设备自动识别和监测方法
CN109697410A (zh) 一种架空输电线路覆盖地区的遥感地物识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant