CN106326808B - 基于无人机图像的检测输电线路杆塔上鸟窝的方法 - Google Patents

基于无人机图像的检测输电线路杆塔上鸟窝的方法 Download PDF

Info

Publication number
CN106326808B
CN106326808B CN201510354963.6A CN201510354963A CN106326808B CN 106326808 B CN106326808 B CN 106326808B CN 201510354963 A CN201510354963 A CN 201510354963A CN 106326808 B CN106326808 B CN 106326808B
Authority
CN
China
Prior art keywords
tower
image
area
nest
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510354963.6A
Other languages
English (en)
Other versions
CN106326808A (zh
Inventor
韩军
邱君华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shensui Intelligent Technology Co ltd
Original Assignee
Shanghai Shensui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shensui Intelligent Technology Co ltd filed Critical Shanghai Shensui Intelligent Technology Co ltd
Priority to CN201510354963.6A priority Critical patent/CN106326808B/zh
Publication of CN106326808A publication Critical patent/CN106326808A/zh
Application granted granted Critical
Publication of CN106326808B publication Critical patent/CN106326808B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2323Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

发明的感知分析输电线路线结构特征的方法。首先,从巡检图像上提取不同方向的线段并采用Gestalt感知理论合并断续小线段,并聚类为平行线组。再根据图像上杆塔的结构特征(近对称交叉特征)将图像分为8╳4的分块,分析每个块内四个不同方向线段数量统计检测出图像上杆塔所在区域。发明了一种融合颜色与纹理的鸟窝检测方法。首先,通过mean‑shift聚类分割在图像上获取颜色一致性区域。再根据鸟窝样本的H直方图特性,通过直方图相交法在图中选取与鸟窝样本最相似的多个区域作为鸟窝的候选区域。接着选取了熵、惯性矩和非相似性三个最能表征鸟窝的共生矩阵特征量计算鸟窝候选区域的纹理特征量。最后,匹配各个候选区域与鸟窝样本纹理相似性实现鸟窝的检测。

Description

基于无人机图像的检测输电线路杆塔上鸟窝的方法
技术领域
本发明涉及到一种采用无人机图像自动检测输电线路杆塔上鸟窝的方法。特别涉及到一种基于颜色、纹理、形状的输电线路杆塔上鸟窝的检测方法,该方法能便捷定位输电线路杆塔上鸟窝的位置,进而有效提高对输电线路管理的智能化。
背景技术
鸟害是个世界性的课题,它严重威胁到许多国家的高压送电线路的安全运行。我国也不例外。随着我国高压输电架空线路的不断增多和生态环境的逐步改善,鸟害事故明显上升,鸟害造成的损失也明显增大,对电力系统的安全运行构成了严重威胁。通过分析当前电网和鸟害情况,我们不难发现当前鸟类对架空电力线路的危害行为主要包括:鸟巢短路故障、鸟粪闪络故障、鸟类飞行故障和鸟啄食其它动物故障。其中鸟巢短接送电线路现象最为普遍。而对于鸟巢的检测,目前主要采用传统的人工检测方法,显然这种方法效率低、受主客观因素影响大、对人检人员的要求高。相比之下,本文主要借助采集到的航拍输电线路图像,采用图像检测的方法生成检测结果——即输电线路鸟巢自动诊断系统,将会获得以下诸多好处:
1)更高效性。与传统的巡检方法(人工巡检)的方式相比,本文的智能诊断系统克服了人工巡检的各种缺陷,系统可以自动对输入的航拍图像组进行识别与诊断,大大降低了巡检人员的工作量,提高了巡检人员的工作效率。
2)更可靠性。人和计算机都可能存在对检测对象的漏检和误判。虽然人的准确率可以更高,但是,在考虑到检测的复杂环境和检测的间歇性,本文的智能诊断系统的平均准确率可以更高。因此,系统的稳定性更高,其信息更值得信赖。
从上世纪80年代开始,我国逐步开始采用一些先进的巡检手段来维护高压输电线路,经历了从人工巡检、机器人巡检、直升机巡检到现在采用无人机巡检的过程。于德明,沈建,汪骏,姚文军,陈方东,武艺,直升机与人工巡视效果对比分析,中国电力,2008年11月,第41卷第11期。分析比较直升机巡检与人工巡检的优缺点,指出直升机巡视的优势在于发现瓶口以上的导地线、金具及设备隐蔽性缺陷;而人工巡视的优势在于发现瓶口以下的外力破坏型的缺陷和线路走廊的缺陷。直升机巡视在发现设备隐蔽性缺陷和较高威胁度的瓶口以上缺陷发现率方面有较大优势,使得最终的平均威胁度要高于人工巡视。如果把威胁度作为考核指标,直升机的巡视效果要优于人工巡视。
但是直升机巡检技术在我国受航空管制的影响发展滞后,而且直升机设备昂贵、维护成本较高。随着通用航空技术的普及和发展,特别是无人机技术的日趋完善,以无人飞行器为巡检载体、地面监控设备为支撑的输电线路巡检系统,因具有广覆盖、高效率、高可靠、低风险和低成本的优势,正在受到愈来愈广泛的关注。
由于无人机一次巡检采集了大量的、高分辨率巡检图像,对电网巡检人员提出了新的要求,从以地面人工巡检方式转换到采用计算机从巡检的图像上发现线路缺陷,是一种对巡检人员素质要求较高、且劳动强度较大的工作。
从2008年直升机巡检时,提出了对输电线路巡检采用智能诊断的技术。基于可见光的图像与视频识别与诊断技术当前国内外还没有成功应用到巡检作业中,存在极大的技术挑战。在野外拍摄电力线路受光线、背景及拍摄角度影响较大。难以从图像上找出特定的电力部件的规律,使得基于可见光的部件识别与诊断变得极其困难。目前国内外这方面公开发表的研究文献和相关研究报道较少。因此,需要大量基础性研究工作,逐步深入。仝卫国,苑津莎,李宝树,图像处理技术在直升机巡检输电线路中的应用综述,电网技术,2010年12月,第34卷,第12期。分析了国内外直升机巡检输电线路图像处理技术的研究现状,提出了图像处理技术应用于该领域需要解决的几个主要技术问题,并探讨了可能的解决方案。
由于高压线路上存在的缺陷有几百种,而急迫需要检测的缺陷有二十几种。易辉,熊幼京,周刚,何慧雯,架空输电线路鸟害故障分析及对策,电网技术,2008年10月,第32卷,第20期。对国家电网公司所属输电线路2004—2006年鸟害故障调查统计进行分类分析,对引起线路鸟害跳闸的原因进行分析研究。鸟类活动引起的线路故障仅次于雷害和外力破坏,占线路故障总数的第3位。鸟害引起线路故障的形式有线路跳闸和零部件损坏。造成线路跳闸的主要原因有鸟粪闪络、鸟巢材料短路和鸟类身体短路。统计发现,鸟类损坏线路零部件的主要形式为鸟啄损复合绝缘子的伞裙、护套。其中因鸟粪引起的线路跳闸次数达348次,占鸟害各类原因故障跳闸总数的87.2%,是鸟害故障跳闸的主要原因;鸟巢材料短路引起的跳闸排在第2位,为40次,占10%;鸟类身体短路、鸟啄复合绝缘子引起的跳闸所占比例很小。因此借助无人机巡检,检测输电线路杆塔上的鸟窝,有助于掌握有关鸟类活动和习性,加大线路鸟害故障的查找、记录和分析,积累数据和经验,总结鸟类威胁线路安全的规律。
王少华,叶自强,架空输电线路鸟害故障及其防治技术措施,高压电器,2011年2月,第47卷,第2期,进一步论述了铁塔比电杆的鸟害故障率高,发生在铁塔的故障占90%。究其原因,由于铁塔高大、稳定,鸟类视野开阔,适宜鸟类停留、筑巢。直线塔鸟害故障多为横担与导线短接;而耐张塔鸟害接地故障多发生在横担与引流线间空气间隙处。此外,鸟粪闪络多发生在悬垂串(如“I”或“II”形串)上,较少发生在“V”形串和耐张串上。
本发明研究了野外环境中鸟巢的检测方法,并将其应用到实际工程项目中。主要涉及到对杆塔区域检测,以及鸟巢检测两部分内容。
对于杆塔区域监测。基于杆塔结构近似对称交叉的特征,提出了一种基于视觉上近对称交叉结构的感知通用计算方法。通过分析各分块中四类小线段的密度分布情况,确定各分块是否有杆塔特征;对具有杆塔特征的分块进行连通性分析,实现图像中杆塔区域的确定。对于鸟巢区域的检测。提出了基于HSV颜色空间的鸟巢检测方法,确定鸟巢的候选区域。针对鸟巢候选区域形状的任意性,提出了鸟巢候选区域的最大外接矩形的构造方法。优化了共生矩阵参数,选取了最能表征鸟巢纹理特征的特征量。在颜色分析的基础上,融合纹理特征,实现鸟巢的检测。
发明内容
有鉴于此,本发明的目的就是自动检测无人机巡检图像中输电线路杆塔所在区域,在杆塔区域内采用颜色与纹理特征分析方法自动检测鸟窝所在区域,进而统计出鸟窝在输电线路上的分布特征。
本发明的另一个目的就是研究的巡检图像杆塔与导线识别技术,能自动检测巡检图像中是否存在杆塔与导线,并精确标注杆塔与导线在巡检图像中的位置,发明的杆塔与导线识别技术能有效排除地面各种复杂的背景纹理及光线对识别杆塔与导线的影响。
本发明的另一个目的就是在识别出杆塔区域的基础上进行颜色与纹理特征分析,首先对巡检图像进行颜色分割,输出分割区域内颜色特征与样本鸟窝颜色特征近似的区域,进一步输出落在杆塔区域内且与样本鸟窝颜色特征近似的区域,对这些候选区域进行分块分析纹理特征,将与样本鸟窝纹理特征近似的分块区域的进行聚类,判决杆塔上可能存在的鸟窝区域。
输电线路本身是由金属构造的,在不同的光线下,其反射形成输电线路的轮廓呈现忽明忽暗特征,在图像分析处理时,提取不到其完整的轮廓,使得在自然场景下对输电线路的图像分析处理变得及其困难。从巡检图像上来看:输电线路具有显著的线结构特征,导线与杆塔是其显著的结构特点,但由于无人机巡检时,是从上到下进行拍摄,巡检图像受背景各种复杂的纹理及光线的影响较大,背景纹理特别是稻田、公路的规则排列、地面的房屋对导线与杆塔区域的识别造成较大的影响。因此需要建立识别输电线路结构的约束机制,才能有效的排除背景纹理的干扰。
本发明采用Gestalt感知理论来获取巡检图像上显著的线结构特征,进而识别巡检图像上是否存在导线或杆塔区域。具体步骤如下:
1-1、采用Kirsch方向算子处理巡检图像,提取巡检图像边缘信息,通过最大类间二差法生成二值图像,并用Blob连通结构管理所有不同方向的线段;
1-2、在步骤1-1生成的二值图像上,采用Gestalt感知理论的量化计算,将斜率与截距相同的小线段,合并连接为长的直线线段,将线段斜率近似相同,截距不同的线段归类为平行线组,确定平行线组的端点区域;
1-3、在步骤1-2生成显著的长线段的基础上,将线段分类为4组:-5°~5°:水平线段;小于-85°或大于85°:垂直线段;5°~85°:斜上线段;-85°~-5°:斜下线段;
1-4、在步骤1-3的基础上来识别杆塔区域,每幅巡检图像拍摄杆塔的角度可能不同,杆塔结构有共同的近对称交叉线结构特征。将二值线段图像划分为8╳4分块区域,统计每个分块内四个不同方向线段数量。并将每块不同方向线段数目写入如下统计结构中:
Figure GDA0000787983330000061
Figure GDA0000787983330000071
1-5、在步骤1-4统计各分块中不同方向线段数目的条件下,按如下方式进行判断:
如果该分块内Hnum,Vnum,SUp_num,SDown_num数目均小于3,则该分块可能是模糊的区域;
如果该分块内SUp_num,SDown_num数目均大于等于3,则该分块可能存在杆塔区域;
如果该分块不是上述两种情况,则该分块不存在杆塔区域;
对所有分块进行统计分析,如果存在模糊分块数目大于总的分块数目的90%,则该幅巡检图像模糊。
如该幅巡检图像不存在模糊,存在杆塔的分块区域,进一步将杆塔的分块区域进行联通性分析,合并为大的区域,并确定可能的杆塔区域的位置。
1-6、依据步骤1-2和步骤1-5,步骤1-2确定平行线组的端点区域,步骤1-5确定了可能的杆塔区域,依据导线与杆塔的连接关系,如果导线端点区域与杆塔区域存在重叠或相邻关系,则确定巡检图像存在杆塔区域,否则确定步骤1-5判断的杆塔区域为地面干扰。
鸟巢颜色特征的不唯一性和复杂的背景干扰,决定了单一的颜色特征不能很好地表征鸟巢特征;鸟巢的无向性、无规则性,以及钢材的遮挡破坏了鸟巢的局部纹理,决定了其单一纹理特征不能很好地表征鸟巢特征。通过测试发现,利用单一的颜色特征或者单一的纹理特征检测杆塔上的鸟巢,会出现漏检及误检,因此提出了基于颜色与纹理特征融合的方法实现鸟巢检测。具体融合过程如下:
2-1、图像经过mean-shift算法分割,结合鸟巢样本的H直方图特性,通过直方图相交法,会得到多个候选鸟巢区域。先求出候选鸟巢区域的最大外接矩形,然后从外接矩形的中心提取一个36×36的小区域,利用该小区域来代表预选鸟巢,进行纹理分析。而求最大外接矩形只要求出每个区域的上下和左右边界。
2-2、提取每个36×36候选区域的灰度共生矩阵的纹理特征。
2-3、利用鸟巢样本的融合纹理阈值,通过相似性匹配,得出最终鸟巢所在区域。即如果某个36×36的纹理特征与鸟巢的纹理特征相似,那么与之对应的那个原始候选区域就是鸟巢的最终检测结果。
附图说明
图1为本发明从输电线路杆塔上的鸟窝检测系统图;
图2为本发明从巡检图像上杆塔区域检测示例图;
图3为本发明基于颜色的鸟窝检测结果示例图;
图4为本发明基于纹理的鸟窝检测结果示例图;
具体实施方式
以下结合附图对本发明的实施例作进一步的详细说明。本实施例以本发明的技术方案为前提下进行实施,给出了详细的实施方式,但本发明的保护范围不限于下述的实施例。
本发明在典型配置的PC计算机通过C/C++编程实施,适合连续采集的输电线路图像,巡检图像格式为JPEG或BMP,巡检图像分辨率不限。
如图1所示杆塔区域确定模块,为本发明从巡检图像上识别输电线路导线与杆塔区域的方法,其具体步骤如下:
3-1、对巡检图像进行灰度化处理,采用Kirsch方向算子处理巡检图像,提取巡检图像边缘信息,通过最大类间二差法生成二值图像,并用Blob连通结构管理所有不同方向的线段,具体采用8个不同方向的Kirsch算子如下:
Figure GDA0000787983330000091
图2(a)是实际无人机巡检采集的输电线路图像,图2(b)是采用8个不同方向的Kirsch算子处理从图2(a)中提取的线段的二值图像。
Blob连通域管理所有不同方向的线段结构如下:
Figure GDA0000787983330000092
3-2、采用Gestalt感知理论的量化计算,将斜率与截距近似相同的小线段,合并连接为长的直线线段。由于导线在巡检图像中具有显著的长线段特征,因此线段长度大于图像宽度八分之一的线段聚类为一组来分析其中包含的平行线组。将线段斜率近似相同,截距不同的线段归类为平行线组。
3-3、在步骤3-2合并出显著的长线段的基础上,将线段分类为4组:-5°~5°:水平线段;小于-85°或大于85°:垂直线段;5°~85°:斜上线段;-85°~-5°:斜下线段;
3-4、在步骤3-3的基础上来识别杆塔区域,每幅巡检图像拍摄杆塔的角度可能不同,杆塔结构有共同的近对称交叉线结构特征。将二值线段图像划分为8╳4分块区域,统计每个分块内四个不同方向线段数量。并将每块不同方向线段数目写入如下统计结构中:
Figure GDA0000787983330000101
3-5、在步骤3-4统计各分块中不同方向线段数目的基础上,按如下方式进行判断:
如果该分块内Hnum,Vnum,SUp_num,SDown_num数目均小于3,则该分块可能是模糊的区域;
如果该分块内SUp_num,SDown_num数目均大于等于3,则该分块可能存在杆塔区域;
如果该分块不是上述两种情况,则该分块不存在杆塔区域;
对所有分块进行统计分析,如果存在模糊分块数目大于总的分块数目的90%,则该幅巡检图像模糊。
如该幅巡检图像不存在模糊,存在杆塔的分块区域,进一步将杆塔的分块区域进行联通性分析,合并为大的区域,并确定可能的杆塔区域的位置;
3-6、依据步骤3-2和步骤3-5,步骤3-2确定导线组的端点区域,步骤3-5确定了可能的杆塔区域,依据导线与杆塔的连接关系,如果导线端点区域与杆塔区域存在重叠或相邻关系,则确定巡检图像存在杆塔区域,否则确定步骤3-5判断的杆塔区域为地面干扰。图2(c)为检测的巡检图像上的杆塔区域;
结合图1中图像颜色分析模块和图像纹理分析模块,颜色与纹理特征相融合的鸟窝检测过程是:首先将巡检的彩色图像转换到Lab颜色空间,通过mean-shift聚类算法对图像进行预分割,再将分割后的图像转到HSV颜色空间,得到HSV颜色空间下的区域级图像;对分割后的图像计算各区域的H、S两个分量的直方图,根据H直方图阈值判断,筛选出符合阈值条件的区域,将这些区域与鸟巢样本的颜色直方图通过直方图相交法进行衡量,确定图像中鸟巢的多个(最大取到5)候选区域;接着结合图像中的杆塔区域,排除不落在杆塔区域内的候选区域,确定剩余鸟巢候选区域的最大外接矩形,并以该矩形的中心确定36×36的小区域;将图像进行灰度化,对各剩余鸟巢候选区域中的36×36小区域计算其GLCM,由GLCM提取相应的纹理特征量,并与鸟巢样本的纹理特征量进行相似性匹配,输出检测结果。其具体步骤如下:
4-1、对巡检的彩色图像转换到Lab色彩度量空间,在Lab颜色空间通过mean-shift聚类分割算法对图像进行预分割,得到RGB空间下的区域级图像;将预分割后的图像由RGB颜色空间转到HSV颜色空间,得到HSV空间下的区域级图像;
4-2、计算分割的各区域的HSV直方图,计算各区域所有像素点的H和S两个分量值,统计相应的直方图;
4-3、直方图相似性匹配。先对各区域H直方图进行阈值判决,得到符合阈值条件的多个区域。然后通过直方图相交法衡量这些区域与鸟窝样本的相似度,在具体匹配中只需将这些区域中H、S两个分量的直方图进行匹配,确定多个(最大取到5)候选区域,并对最终的匹配结果进行标记,即鸟窝的候选区域;
如图3所示,基于颜色的鸟窝检测示例图。计算分割后图像各区域的H和S的直方图,分别统计各区域H直方图中落在[0,25]的所有bin概率之和及落在[320,360]的所有bin概率之和,根据设定的阈值(0.3),确定可能存在鸟巢特性的区域。然后针对这些区域,通过直方图相交法衡量各区域H和S直方图与鸟巢样本的H和S直方图相似度,确定与样本最相似的区域为鸟巢所在区域。
4-4、确定最大外接矩形。在确定完鸟窝候选区域的基础上,对于不在杆塔区域内的候选区域可以直接排除.然后确定剩余鸟窝候选区域的最大外接矩形,并以该矩形为中心确定其相应的36×36小区域;
4-5、提取36×36的小区域的像素灰度值,计算四个方向0°,90°,135°和45°的GLCM,由GLCM提取相应的纹理特征量:惯性矩、熵和非相似性,并计算三个特征量的融合值;通过杆塔与鸟巢图像的大量测试。通过分析最终确定熵(ENT)、惯性矩(CON)、非相似性(DIS)三个特征量融合公式为:
(ENT、CON、DIS)=0.4*ENT+0.5*CON+0.1*DIS
4-6、纹理相似性判断,根据鸟巢样本的三个特征量的融合阈值,确定图像中鸟窝所在的位置。通过大量的实验测试,对鸟巢样本通过计算(ENT、CON、DIS)值,并对其进行统计分析,最终确定鸟巢检测的纹理融合(ENT、CON、DIS)的阈值范围为:3.10-3.95,图4是基于纹理的鸟窝检测结果的示例图。

Claims (3)

1.一种基于无人机巡检图像的输电线路杆塔上鸟窝的检测方法,其特征在于,从无人机巡检图像上采用感知线结构的方法自动识别导线、杆塔区域,标定杆塔与导线在巡检图像中的位置;在识别出杆塔区域的基础上,对巡检图像进行颜色与纹理特征分析,首先对巡检图像进行颜色分割,输出分割区域内颜色特征与样本鸟窝颜色特征近似的区域,进一步输出落在杆塔区域内且与样本鸟窝颜色特征近似的区域,对这些候选区域进行分块分析纹理特征,将与样本鸟窝纹理特征近似的分块区域进行聚类,判决杆塔上可能存在的鸟窝区域,具体的检测鸟窝过程如下:
步骤3-1、对巡检的彩色图像转换到Lab色彩度量空间,在Lab颜色空间通过mean-shift聚类分割算法对图像进行预分割,得到RGB空间下的区域级图像;将预分割后的图像由RGB颜色空间转到HSV颜色空间,得到HSV空间下的区域级图像;
步骤3-2、计算分割的各区域的HSV直方图,计算各区域所有像素点的H和S两个分量值,统计相应的直方图;
步骤3-3、直方图相似性匹配;先对各区域H直方图进行阈值判决,得到符合阈值条件的多个区域;然后通过直方图相交法衡量这些区域与鸟窝样本的相似度,在具体匹配中只需将这些区域中H、S两个分量的直方图进行匹配,确定多个候选区域,并对最终的匹配结果进行标记,即鸟窝的候选区域;计算分割后图像各区域的H和S的直方图,分别统计各区域H直方图中落在[0,25]的所有bin概率之和及落在[320,360]的所有bin概率之和,根据设定的阈值,确定可能存在鸟巢特性的区域;然后针对这些区域,通过直方图相交法衡量各区域H和S直方图与鸟巢样本的H和S直方图相似度,确定与样本最相似的区域为鸟巢所在区域;
步骤3-4、确定最大外接矩形;在确定完鸟窝候选区域的基础上,对于不在杆塔区域内的候选区域可以直接排除.然后确定剩余鸟窝候选区域的最大外接矩形,并以该矩形为中心确定其相应的36×36小区域;
步骤3-5、提取36×36的小区域的像素灰度值,计算四个方向0°,90°,135°和45°的GLCM,由GLCM提取相应的纹理特征量:惯性矩CON、熵ENT和非相似性DIS,并计算三个特征量的融合值;通过杆塔与鸟巢图像的大量测试;通过分析最终确定ENT、CON、DIS三个特征量融合公式为:
(ENT、CON、DIS)=0.4*ENT+0.5*CON+0.1*DIS
步骤3-6、纹理相似性判断,根据鸟巢样本的三个特征量的融合阈值,确定图像中鸟窝所在的位置。
2.如权利要求1所述的基于无人机巡检图像的输电线路杆塔上鸟窝的检测方法,其特征在于,采用感知线结构的方法来识别巡检图像上是否存在导线或杆塔区域;具体步骤如下:
步骤2-1、采用Kirsch方向算子处理巡检图像,提取巡检图像边缘信息,通过最大类间二差法生成二值图像,并用Blob连通结构管理所有不同方向的线段;
步骤2-2、在步骤2-1生成的二值图像上,采用Gestalt感知理论的量化计算,将斜率与截距相同的小线段合并连接为长的直线线段;将线段斜率近似相同,截距不同的线段归类为平行线组;
步骤2-3、在步骤2-2生成显著的长线段的基础上,将线段分类为4组:-5°~5°:水平线段;小于-85°或大于85°:垂直线段;5°~85°:斜上线段;-85°~-5°:斜下线段;
步骤2-4、在步骤2-3的基础上来识别杆塔区域,每幅巡检图像拍摄杆塔的角度可能不同,杆塔结构有共同的近对称交叉线结构特征;将二值线段图像划分为8×4分块区域,统计每个分块内四个不同方向线段数量;并将每块不同方向线段数目写入如下统计结构中:typedef struct BlockLineInfo{
int Hnum;
int Vnum;
int SUp_num;
int SDown_num;
int Cross_num;
BOOL Tower_Area;
BOOL Blur_Area;
}BlockLineInfo;
其中,Hnum表示该分块中水平线段数目,Vnum表示该分块中垂直线段数目,SUp_num表示该分块中斜上线段数目,SDown_num表示该分块中斜下线段数目,Cross_num表示该分块中交叉线段数目,Tower_Area用于识别是否存在杆塔区域,1为存在杆塔;0为不存在杆塔,Blur_Area表示该图像是否模糊,1为该图像模糊;0为该图像不模糊;
步骤2-5、在步骤2-4统计各分块中不同方向线段数目的条件下,按如下方式进行判断:如果该分块内Hnum、Vnum、SUp_num、SDown_num数目均小于3,则该分块可能是模糊的区域;如果该分块内SUp_num、SDown_num数目均大于等于3,则该分块可能存在杆塔区域;如果该分块不是上述两种情况,则该分块不存在杆塔区域;对所有分块进行统计分析,如果存在模糊分块数目大于总的分块数目的90%,则该幅巡检图像模糊;如该幅巡检图像不存在模糊,存在杆塔的分块区域,进一步将杆塔的分块区域进行联通性分析,合并为大的区域,并确定可能的杆塔区域的位置;
步骤2-6、依据步骤2-2和步骤2-5的输出,步骤2-2确定平行线组的端点区域,步骤2-5确定了可能的杆塔区域,依据导线与杆塔的连接关系,如果导线端点区域与杆塔区域存在重叠或相邻关系,则确定巡检图像存在杆塔区域,否则确定步骤2-5判断的杆塔区域为地面干扰。
3.如权利要求1所述的基于无人机巡检图像的输电线路杆塔上鸟窝的检测方法,其特征在于,测试统计确定鸟巢检测的纹理融合(ENT、CON、DIS)的阈值范围为:3.10-3.95。
CN201510354963.6A 2015-06-23 2015-06-23 基于无人机图像的检测输电线路杆塔上鸟窝的方法 Expired - Fee Related CN106326808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510354963.6A CN106326808B (zh) 2015-06-23 2015-06-23 基于无人机图像的检测输电线路杆塔上鸟窝的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510354963.6A CN106326808B (zh) 2015-06-23 2015-06-23 基于无人机图像的检测输电线路杆塔上鸟窝的方法

Publications (2)

Publication Number Publication Date
CN106326808A CN106326808A (zh) 2017-01-11
CN106326808B true CN106326808B (zh) 2020-04-03

Family

ID=57729258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510354963.6A Expired - Fee Related CN106326808B (zh) 2015-06-23 2015-06-23 基于无人机图像的检测输电线路杆塔上鸟窝的方法

Country Status (1)

Country Link
CN (1) CN106326808B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
CN107784634A (zh) * 2017-09-06 2018-03-09 广东工业大学 一种基于模板匹配的输电线杆塔鸟巢识别方法
CN107977959B (zh) * 2017-11-21 2021-10-12 武汉中元华电科技股份有限公司 一种适用于电力作业机器人的呼吸器状态识别方法
CN108334844B (zh) * 2018-02-06 2022-08-12 贵州电网有限责任公司 一种输电线路巡检的沿线自动跟踪方法
CN108416061A (zh) * 2018-03-26 2018-08-17 福州大学 适用电力巡检的无人机航拍影像库建立、分类及检索方法
CN108761237A (zh) * 2018-05-29 2018-11-06 福州大学 无人机电力巡检图像关键电力部件自动诊断与标注系统
CN108791847B (zh) * 2018-06-08 2021-11-16 南京熙赢测控技术有限公司 一种用于自动识别路面窨井盖并自动编号的装置
CN109711368B (zh) * 2018-12-29 2023-04-14 华东理工大学 高空电缆线危险区域图像识别方法
CN109829493A (zh) * 2019-01-25 2019-05-31 黑龙江大学 基于特征混合矩阵的指纹与指静脉识别融合方法
CN110910341B (zh) * 2019-09-02 2023-05-30 海南电网有限责任公司海口供电局 一种输电线路锈蚀区缺陷检测方法及装置
CN111597939B (zh) * 2020-05-07 2023-04-18 西安电子科技大学 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN112613565B (zh) * 2020-12-25 2022-04-19 电子科技大学 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN112907521B (zh) * 2021-02-05 2022-11-04 上海展湾信息科技有限公司 基于ssd和glcm的焊接气孔目标检测方法
CN113671984B (zh) * 2021-07-07 2022-06-24 广东省科学院广州地理研究所 一种移动机巢候选起飞点获取方法
CN118170156A (zh) * 2024-05-14 2024-06-11 石家庄思凯电力建设有限公司 基于飞行动态规划的无人机清除杆塔鸟窝的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102565625A (zh) * 2011-05-25 2012-07-11 上海大学 基于红外图像智能诊断高压输电线路热缺陷的方法
CN103065149A (zh) * 2012-12-21 2013-04-24 上海交通大学 网纹甜瓜果实表型提取与量化方法
CN104217196A (zh) * 2014-08-26 2014-12-17 武汉大学 一种遥感影像圆形油罐自动检测方法
CN104573701A (zh) * 2014-12-02 2015-04-29 华中科技大学 一种玉米雄穗性状的自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102565625A (zh) * 2011-05-25 2012-07-11 上海大学 基于红外图像智能诊断高压输电线路热缺陷的方法
CN103065149A (zh) * 2012-12-21 2013-04-24 上海交通大学 网纹甜瓜果实表型提取与量化方法
CN104217196A (zh) * 2014-08-26 2014-12-17 武汉大学 一种遥感影像圆形油罐自动检测方法
CN104573701A (zh) * 2014-12-02 2015-04-29 华中科技大学 一种玉米雄穗性状的自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于感知组织的输电线路结构识别方法;韩军 等;《红外与激光工程》;20131231;第42卷(第12期);第3458-3463页 *
形状感知的绝缘子识别与缺陷诊断;张晶晶 等;《中国图象图形学报》;20140831;第19卷(第8期);第1194-1201页 *

Also Published As

Publication number Publication date
CN106326808A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106326808B (zh) 基于无人机图像的检测输电线路杆塔上鸟窝的方法
CN108037133B (zh) 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
Davari et al. Intelligent diagnosis of incipient fault in power distribution lines based on corona detection in UV-visible videos
CN108307146B (zh) 一种高压输电线路安全隐患检测系统及方法
Li et al. Towards automatic power line detection for a UAV surveillance system using pulse coupled neural filter and an improved Hough transform
CN110197176A (zh) 基于图像识别技术的巡检数据智能分析系统及分析方法
CN108734689B (zh) 一种基于区域生长的导线散股检测方法
CN108537154A (zh) 基于hog特征和机器学习的输电线路鸟巢识别方法
CN108680833B (zh) 基于无人机的复合绝缘子缺陷检测系统
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN109631848B (zh) 输电线路异物入侵检测系统和检测方法
CN106570853A (zh) 一种形状与颜色融合的绝缘子识别与缺陷检测方法
CN114235825B (zh) 一种基于计算机视觉的钢丝绳质量检测方法
CN105957073B (zh) 输电线路散股故障检测方法
CN104835152A (zh) 一种输电线路巡检图像的处理方法和系统
CN107833211B (zh) 基于红外图像的零值绝缘子自动检测方法及装置
CN107179479B (zh) 基于可见光图像的输电导线散股缺陷检测方法
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
Dutta et al. Image analysis-based automatic detection of transmission towers using aerial imagery
CN114022671B (zh) 一种基于残差神经网络的索道缆绳绳位智能识别方法
CN108596196A (zh) 一种基于绝缘子图像特征词典的污秽状态评估方法
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN112991432A (zh) 基于图像处理的覆冰冰形识别方法
Fang et al. Detection method of transmission line broken stock defects in aircraft inspection based on image processing technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200403

Termination date: 20200623