CN109472776B - 一种基于深度显著性的绝缘子检测及自爆识别方法 - Google Patents

一种基于深度显著性的绝缘子检测及自爆识别方法 Download PDF

Info

Publication number
CN109472776B
CN109472776B CN201811203269.4A CN201811203269A CN109472776B CN 109472776 B CN109472776 B CN 109472776B CN 201811203269 A CN201811203269 A CN 201811203269A CN 109472776 B CN109472776 B CN 109472776B
Authority
CN
China
Prior art keywords
value
insulator
point
points
eye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811203269.4A
Other languages
English (en)
Other versions
CN109472776A (zh
Inventor
周亚琴
李庆武
马云鹏
许金鑫
徐畅
章倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201811203269.4A priority Critical patent/CN109472776B/zh
Publication of CN109472776A publication Critical patent/CN109472776A/zh
Application granted granted Critical
Publication of CN109472776B publication Critical patent/CN109472776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度显著性的绝缘子检测及自爆识别方法,该系统包括无人机系统、4G信号传输模块及双目视觉信息采集模块、图像预处理模块、多特征融合的区域分割模块、深度显著图生成模块、绝缘子区域分割模块、绝缘子自爆识别模块及结果输出模块。当搭载双目相机的无人机至绝缘子周围时,以绝缘子与镜头间无遮挡的角度采集绝缘子左右目视频信息,数据处理模块对左右目视频进行同步均匀取帧,组成“左目‑右目”图像对;结合稀疏视差点与区域分割结果获取深度显著图,完成绝缘子区域的分割;最后利用灰度分布波形分析实现绝缘子的自爆识别及定位,并生成检测报告。本发明可准确、快速完成绝缘子的检测与自爆识别,具有较高的工程应用价值。

Description

一种基于深度显著性的绝缘子检测及自爆识别方法
技术领域
本发明涉及一种基于深度显著性的绝缘子检测及自爆识别方法,属于计算机视觉与输电线路巡检领域。
技术背景
随着国家综合国力的不断发展提升,社会的快速发展对电网建设提出了更高的要求。输电线路作为电网中的重要组成部分,其稳定运行是国民安全用电的重要保障。绝缘子是架空输电线路上的重要电力配件,但因输电线路长期在露天环境下运行,绝缘子不仅要承受正常的机械、电力荷载,还要经受风霜雨雪、雷电及大气污染等各种恶劣的自然条件的影响,加速绝缘子老化,这些影响都会危及输电线路的安全运行。为保证输电线路的安全运行,有必要对输电线路的绝缘子进行检测。
传统的输电线路绝缘子检测通常是人工到位肉眼查看,在电力线的大覆盖面积和多样化环境的需求下,人工到位的绝缘子检测效率低,实时性差,危险性大,对工作人员状态和经验要求高,往往不能满足电力线巡检的覆盖面与即时性要求,智能化手段代替人工检测已成为必然趋势,但目前仍未有有效的智能化输电线路绝缘子检测方法。
发明内容
本发明解决所要解决的技术问题是:提出一种智能化的绝缘子检测方法,实现对绝缘子的准确检测,降低巡检人员工作强度与危险系数,提高工作效率。
为解决上述技术问题,本发明提供一种基于深度显著性的绝缘子检测及自爆识别方法,包括以下步骤:
1.采集双目图像信息:当搭载双目相机的无人机至绝缘子周围时,以镜头与绝缘子间无遮挡的角度拍摄绝缘子,并将获取的视频信息传输入图像分析模块进行处理;
2.图像分析模块以每间隔设定的频率对左目视频、右目视频同步取帧,组成“左目-右目”双目图像对;
3.利用多特征融合算法对左目图像进行区域分割;
4.根据“左目-右目”图像对的匹配结果,求取左目图像中的稀疏视差点,同时利用左目图像区域分割结果获取图像深度显著图,再根据深度显著图自适应设定阈值,获取绝缘子区域分割结果;
5.利用灰度分布波形分析实现绝缘子的自爆识别及定位;
6.依次对所有取得的“左目-右目”图像对进行步骤3-步骤5的处理,返回并记录检测时间、地理位置、绝缘子状态等信息,自动生成巡检报告。
与现有技术相比,本发明的有益效果是:
(1)本发明利用双目获取的深度信息,结合多特征融合的区域分割结果,获取图像深度显著性,利用绝缘子巡检时,绝缘子位于相机最近距离的空间位置特征进行绝缘子区域的检测与分割,极大地降低了拍摄颜色、光照对绝缘子区域检测效果的影响,稳定性高;
(2)本发明提出根据绝缘子骨架垂直方向上的灰度分布曲线图进行绝缘子自爆识别与定位,将复杂的二维图像分析转换为简单的一维数据分析,在保证检测准确率的同时,加快了处理速度;
(3)本发明软硬件系统完备,且可根据检测结果自动生成检测报告,极大地方便了巡检工作人员,减少其工作量,提高巡检效率,具有较高的工程应用价值。
附图说明
图1为系统模块结构图;
图2为系统运行示意图;
图3为相邻且相似超像素合并方式示意图;
图4为绝缘子区域分割结果示意图;
图5为绝缘子分布方向及方向调整示意图;
图6为绝缘子骨架方向及骨架垂直方向示意图;
图7为绝缘子垂直线段上像素点值的总和value曲线图;
图8为基于灰度分布波形分析的绝缘子自爆检测方法示意图。
具体实施方式
本发明提出的基于深度显著性的绝缘子无人机检测及自爆识别方法,所利用的系统包括硬件系统及数据处理系统,如图1所示,硬件系统包括无人机系统、4G信号传输模块及双目视觉信息采集模块,其中双目视觉成像模块由两个规格相同的摄像机组成,摄像机分辨率不低于4k(约为4096×2096),两摄像机光轴平行,镜头置于同一平面,基线距为15-25cm。软件系统包括图像预处理模块、多特征融合的区域分割模块、深度显著图生成模块、绝缘子区域分割模块、绝缘子自爆识别模块及结果输出模块。
如图2,本发明的基于深度显著性的绝缘子无人机检测及自爆识别方法具体运行流程为:
1)当搭载双目相机的无人机至绝缘子周围时,以镜头与绝缘子间无遮挡的角度拍摄绝缘子,采集绝缘子视频图像信息,实时将获取的左、右目视频图像信息传输入数据处理模块;
2)数据处理模块以设定时间间隔均匀对左、右目视频进行同步取帧,组成“左目-右目”图像对{Ileft,Iright};设定时间间隔可以取10秒;
3)利用多特征融合算法实现左目图像的区域分割:
31)首先利用简单线性迭代聚类(SLIC)算法将左目图像Ileft分割为n个超像素块,每个超像素赋予独有且连续的正整数标识符i∈[1,n];
32)将左目图像Ileft灰度化获取灰度图Gray,并将左目图像Ileft转换到CIELab颜色空间,获取左目图像在CIELab颜色空间的图像矩阵ILab,提取每个超像素区域的4维颜色特征{Li,ai,bi,gi},其中,Li,ai,bi分别为超像素i的L,a,b颜色分量均值,gi为超像素i的灰度均值;同时提取4维纹理特征{Cconi,Ccori,Ei,Hi},分别代表每个超像素区域灰度共生矩阵特性中的对比度均值、互相度均值、能量均值和齐次性均值,8维特征共同组成每个超像素区域的度量属性Spi
Spi={Li,ai,bi,gi,Cconi,Ccori,Ei,Hi},i=1,2,3,4,…,n
33)设定只要存在共用边界的两个超像素块即为相邻超像素块,以此条件获取n个超像素块的相邻信息,组成m组相邻对,形成相邻超像素属性对Adjk={Spi,Spj},i,j∈[1,n],k∈[1,m];
34)计算相邻超像素属性对的加权欧氏距离作为差异性度量值Dk
Figure BDA0003316030500000041
其中,ε为接近于0的设定常数,用于保证计算数值的有效性,本发明中设ε=0.0001,ω1、ω2分别为颜色特征和纹理特征的权重。根据概率论理论可知,某种特征数据集的离散程度越大,则特征的差异性越大,其对整体数据影响力也越大。均方差是度量数据离散程度的有效方式,因此,本发明以左目图像Ileft的全局颜色、纹理均方差调节颜色特征和纹理特征的权重:
Figure BDA0003316030500000042
Figure BDA0003316030500000043
其中(h,w)为左目图像h行w列的像素点,H和W为左目图像的高和宽,
Figure BDA0003316030500000044
Figure BDA0003316030500000051
分别为左目图像的全局L、a、b颜色分量均值和灰度均值,Lhw、ahw、bhw、ghw分别表示左目图像中第h行w列的像素点的L、a、b颜色分量值与灰度值,
Figure BDA0003316030500000052
分别为左目图像Ileft全局灰度共生矩阵特性中的对比度均值、互相关均值、能量均值和同质性均值,d∈[1,4]表示灰度共生矩阵的4个方向;35)获取自适应阈值
Figure BDA0003316030500000053
若相邻超像素之间的差异性度量值小于阈值,则该相邻超像素对相似,筛选出所有相邻且相似的超像素对Adjsk|Dk<T,k∈[1,m′],m′为所有相邻且相似超像素对的总个数;竖线前为相邻相似超像素对的代表符号,竖线后为相邻相似超像素对的筛选条件;
36)合并相邻且相似超像素对:如图3所示,构建n×n大小的上三角矩阵M,其中,n为超像素块的数量,相邻且相似的超像素对{l,r}在矩阵中对应的数值Mlr为1,其余为0,利用上三角矩阵M获取合并标号池Mergef,f∈[1,F],F为合并标号池的总个数,其步骤如下:
a.从第l=1行开始,寻找当前行内所有数值为1的列标号rd,d∈[1,R],R为当前行中数值为1的总个数,并将当前行标记为已遍历行,不参与下次遍历,将数值为1的列标号与当前行标号组成合并标号池Merge1{l,rd};
b.遍历所有对应行号为rd,d∈[1,R]的行,寻找新的不属于当前合并标号池的列标号作为新的遍历行标号,重复步骤a,直至当前标号池没有新的标号进入,停止迭代,得到完整合并标号池Merge1
c.依次选择未遍历过的行,重复步骤a和步骤b,直至所有行均被分配到对应的合并标号池Mergef,f∈[1,F],F为合并标号池的总个数;
37)将每个合并标号池内所有标号对应的超像素块合并:即为每个合并标号池从1至F依次赋予一个整数标识符f,并将该标号池的标识符f赋给该合并标号池内的所有超像素,则形成F个合并区域,完成左目图像的区域分割。
4.双目视觉模型可根据视差获取图像深度信息,且距离镜头越近的物体,双目视差越大。当以绝缘子为前景目标进行拍摄时,与镜头距离最近,则绝缘子区域具有深度显著性,因此,本发明结合稀疏视差点与区域分割结果获取深度显著图,完成绝缘子区域的分割:
41)利用改进SURF算法获取精确双目图像匹配点对作为稀疏视差点,步骤如下:
a.利用SURF算法获取左右目图像特征点坐标及64维描述符,左右目图像的特征点定义为
Figure BDA0003316030500000061
其中Pos1、Pos2分别为左目和右目图像的特征点参数,mp、np分别为左右目图像中特征点的总数目,
Figure BDA0003316030500000062
为左目图像第ip1个特征点坐标,
Figure BDA0003316030500000063
为右目图像第jp1个特征点坐标;
b.计算左右目图像的特征点参数Pos1、Pos2中所有点的欧式距离,选择欧式距离最小的点作为粗略匹配点,按欧氏距离升序对粗略匹配点进行排序,删除异常点,选择前kp个匹配点,定义为
Figure BDA0003316030500000064
c.根据k个匹配点
Figure BDA0003316030500000065
中相应点的斜率筛选匹配点,计算所有粗匹配点对的斜率,计算所有斜率的出现率,斜率精度保留至小数点后2位,选取出现率最大的斜率作为主导斜率,保留与主斜率一致的匹配点对,删除其他异常斜率的匹配点,得到H组准确匹配点对:
Figure BDA0003316030500000066
其中
Figure BDA0003316030500000067
Figure BDA0003316030500000068
分别为一组匹配点对中左目、右目图像的特征点坐标;
d.计算所有匹配点对的横坐标的差值绝对值作为该点对的双目视差值
Figure BDA0003316030500000069
获取左目图像的稀疏视差点集合
Figure BDA00033160305000000610
42)分别统计左目图像中F个合并区域中的所有视差点
Pf={Spadn},n∈[1,N],f∈[1,F],N为落入该区域内的视差点的总数,对落入该区域的所有视差点按视差值进行升序排列,若该区域内投影视差点个数N≥3,则取视差值中值作为区域视差值
Figure BDA0003316030500000071
若其0<N<3,取最小值作为区域视差值,若该区域内无视差点,则视差值取0,获取每个区域的深度视差图Pf
Figure BDA0003316030500000072
f∈[1,F],其dt为视差点的视差值,t∈[1,N],F为合并区域数目,F个深度视差图共同组成完整的深度视差图P:
Figure BDA0003316030500000073
43)计算深度显著图均值作为分割阈值Th=avg(P),大于分割阈值的区域即为绝缘子区域Object:
Figure BDA0003316030500000074
如图像4所示,图4(a)为左目图像Ileft,图4(b)为绝缘子区域图Object。
5.利用灰度分布波形分析实现绝缘子的自爆识别及定位:
51)如图5所示,设置遍历线分别从水平方向与垂直方向遍历绝缘子分割图Object,统计每条水平线及垂直线在图像中经过的所有像素点的灰度值之和,并求出灰度值之和最大的遍历线,若遍历线为垂直线,则判断绝缘子分布为纵向分布,若所述遍历线为水平线,则判断绝缘子分布为横向分布,并将图片逆时针旋转90°,将绝缘子图像调整为纵向分布,以方便后续计算;
52)如图6所示,从绝缘子分割图Object第一行开始,寻找包含像素值为1的第一行作为绝缘子区域的起始行,取该行所有像素值为1的像素点的中值点作为绝缘子骨架的起始点Pstart(x,y),寻找包含像素值为1的最后一行作为绝缘子区域的终止行,取该行所有像素值为1的像素点的中值点作为绝缘子骨架的终止点Pend(x,y);
53)通过起始点Pstart(x,y)及终止点Pend(x,y),获取绝缘子骨架方向上的所有点的坐标:
Figure BDA0003316030500000081
y∈[1,height],height为图像的高;
54)根据绝缘子骨架坐标点求解图像Object中,每个坐标点对应的与骨架方向垂直的所有线段,求解每个垂直线段上像素点值的总和value(1,i),i∈[1,height];
55)如图7所示,将像素点值的总和value绘制成曲线图,如图8所示,将曲线图以下步骤a、b进行优化,消除毛刺,平滑曲线,获取局部极大值点,根据局部极大点的分布,提取绝缘子自爆区域。具体步骤如下:
a.以步长step=设定值,如step=5,利用均值滤波法去除曲线图毛刺,遍历像素点值的总和val,将当前value(i)重置为新的平滑值valuenew(i):valuenew(i)=avg([value(i-5):value(i+5)]),i∈[step+1,height-step],此处的i为左目图像的行标号,i∈[1,height];
b.若valuenew(i)>valuenew(i-1)&valuenew(i)>valuenew(i+1)&valuenew(i)>avg(valuenew),则该点即为局部极大值点Pm(jj)=i,统计所有局部极大值点的横坐标,计算所有局部极大值点两两之间的横坐标的差值,将横坐标差的绝对值小于设定值的点作为重复局部极大点集,所述设定值可以为5,保留重复极大点集中value(Pm(jj))最大的点作为最终极大值点,其余点删除,获取最终的局部极大值点Pm′,并计算最终的局部极大值点Pm′的数量为nump
c.求解每个局部极大值点的横坐标的间隔值diff:
diff(1,jj)=Pm′(jj+1)-Pm′(jj),jj∈[1,nump-1],计算是否存在横坐标的异常间隔值diffq,即检测横坐标间隔值diff中大于间隔值均值1.2倍的值作为异常间隔值diffq,diffq←diff|diff>1.2·avg(diff),其中,avg(diff)指所有横坐标间隔值的均值,若存在,则提取异常间隔值对应的两端局部极大点Pm1′和Pm2′的横坐标i1和i2,i1<i2,则异常间隔区域regionq=[i1,i2],即绝缘子自爆缺失区域在左目图像中的位置,返回绝缘子自爆区域信息,若不存在,则返回绝缘子状态良好;diff,diffq,avg(diff)分别为:每个局部极大值点的横坐标间隔值、设定的异常横坐标间隔值、所有局部极大值点的横坐标间隔值均值;
6.依次对所有取得的图像对进行步骤1-步骤5处理,返回并记录检测时间、地理位置、绝缘子状态等信息,自动生成巡检报告。

Claims (6)

1.一种基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,包括以下步骤:
1)采集双目图像信息:当搭载双目相机的无人机至绝缘子周围时,以镜头与绝缘子间无遮挡的角度拍摄绝缘子,并将获取的视频信息传输入图像分析模块进行处理;
2)图像分析模块以每间隔设定的频率对左目视频、右目视频同步取帧,组成“左目-右目”双目图像对;
3)利用多特征融合算法对左目图像进行区域分割;
4)根据“左目-右目”图像对的匹配结果,求取左目图像中的稀疏视差点,同时利用左目图像区域分割结果获取图像深度显著图,再根据深度显著图自适应设定阈值,获取绝缘子区域分割结果;
5)利用灰度分布波形分析实现绝缘子的自爆识别及定位;
6)依次对所有取得的“左目-右目”图像对进行步骤3-步骤5的处理,返回并记录检测时间、地理位置、绝缘子状态信息,自动生成巡检报告;
在所述步骤5)中,利用灰度分布波形分析实现绝缘子的自爆识别及定位的步骤为:
51)设置遍历线分别从水平方向与垂直方向遍历绝缘子分割图Object,统计每条水平线及垂直线在图像中经过的所有像素点的灰度值之和,并求出灰度值之和最大的遍历线,若遍历线为垂直线,则判断绝缘子分布为纵向分布,若所述遍历线为水平线,则判断绝缘子分布为横向分布,并将图片逆时针旋转90°,将绝缘子图像调整为纵向分布;
52)从绝缘子分割图Object第一行开始,寻找包含像素值为1的第一行作为绝缘子区域的起始行,取该行所有像素值为1的像素点的中值点作为绝缘子骨架的起始点Pstart(x,y),寻找包含像素值为1的最后一行作为绝缘子区域的终止行,取该行所有像素值为1的像素点的中值点作为绝缘子骨架的终止点Pend(x,y);
53)通过起始点Pstart(x,y)及终止点Pend(x,y),获取绝缘子骨架方向上的所有点的坐标:
Figure FDA0003316030490000021
height为图像的高;
54)根据绝缘子骨架坐标点求解图像Object中,每个坐标点对应的与骨架方向垂直的所有线段,求解每个垂直线段上像素点值的总和value(1,i),i∈[1,height];
55)将像素点值的总和value绘制成曲线图,获取局部极大值点,根据局部极大点的分布,提取绝缘子自爆区域。
2.根据权利要求1所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤3)中,利用多特征融合算法实现左目图像的区域分割的具体步骤为:
31)首先利用简单线性迭代聚类算法将左目图像Ileft分割为n个超像素块,每个超像素赋予独有且连续的正整数标识符i∈[1,n];
32)将左目图像Ileft灰度化获取灰度图Gray,并将左目图像Ileft转换到CIELab颜色空间,获取左目图像在CIELab颜色空间的图像矩阵ILab,提取每个超像素区域的4维颜色特征{Li,ai,bi,gi},其中,Li,ai,bi分别为超像素i的L,a,b颜色分量均值,gi为超像素i的灰度均值;同时提取4维纹理特征{Cconi,Ccori,Ei,Hi},分别代表每个超像素区域灰度共生矩阵特性中的对比度均值、互相度均值、能量均值和齐次性均值,8维特征共同组成每个超像素区域的度量属性Spi
Spi={Li,ai,bi,gi,Cconi,Ccori,Ei,Hi},i=1,2,3,4,…,n
33)设定只要存在共用边界的两个超像素块即为相邻超像素块,以此条件获取n个超像素块的相邻信息,组成m组相邻对,形成相邻超像素属性对Adjk={Spi,Spj),i,j∈[1,n],k∈[1,m];
34)计算相邻超像素属性对的加权欧氏距离作为差异性度量值Dk
Figure FDA0003316030490000031
其中,ε为设定常数,ω1、ω2分别为颜色特征和纹理特征的权重,以左目图像Ileft的全局颜色、纹理均方差调节颜色特征和纹理特征的权重:
Figure FDA0003316030490000032
Figure FDA0003316030490000033
其中(h,w)为左目图像h行w列的像素点,H和W为左目图像的高和宽,
Figure FDA0003316030490000034
Figure FDA0003316030490000035
分别为左目图像的全局L、a、b颜色分量均值和灰度均值,Lhw、ahw、bhw、ghw分别表示左目图像中第h行w列的像素点的L、a、b颜色分量值与灰度值,
Figure FDA0003316030490000036
分别为左目图像Ileft全局灰度共生矩阵特性中的对比度均值、互相关均值、能量均值和同质性均值,d∈[1,4]表示灰度共生矩阵的4个方向;
35)获取自适应阈值
Figure FDA0003316030490000037
若相邻超像素之间的差异性度量值小于阈值,则该相邻超像素对相似,筛选出所有相邻且相似的超像素对Adjsk|Dk<T,k∈[1,m′],m′为所有相邻且相似超像素对的总个数;竖线前为相邻相似超像素对的代表符号,竖线后为相邻相似超像素对的筛选条件;
36)合并相邻且相似超像素对;
37)将每个合并标号池内所有标号对应的超像素块合并:即为每个合并标号池从1至F依次赋予一个整数标识符f,并将该标号池的标识符f赋给该合并标号池内的所有超像素,则形成F个合并区域,完成左目图像的区域分割。
3.根据权利要求2所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤36)中,合并相邻且相似超像素对的过程为:
构建n×n大小的上三角矩阵M,其中,n为超像素块的数量,相邻且相似的超像素对{l,r}在矩阵中对应的数值Mlr为1,其余为0,利用上三角矩阵M获取合并标号池Mergef,f∈[1,F],F为合并标号池的总个数,其步骤如下:
a.从第l=1行开始,寻找当前行内所有数值为1的列标号rd,d∈[1,R],R为当前行中数值为1的总个数,并将当前行标记为已遍历行,不参与下次遍历,将数值为1的列标号与当前行标号组成合并标号池Merge1{l,rd};
b.遍历所有对应行号为rd,d∈[1,R]的行,寻找新的不属于当前合并标号池的列标号作为新的遍历行标号,重复步骤a,直至当前标号池没有新的标号进入,停止迭代,得到完整合并标号池Merge1
c.依次选择未遍历过的行,重复步骤a和步骤b,直至所有行均被分配到对应的合并标号池Mergef,f∈[1,F],F为合并标号池的总个数。
4.根据权利要求2所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤4)中,获取深度显著图的步骤为:
41)利用改进SURF算法获取精确双目图像匹配点对作为稀疏视差点,步骤如下:
a.利用SURF算法获取左右目图像特征点坐标及64维描述符,左右目图像的特征点定义为
Figure FDA0003316030490000041
其中Pos1、Pos2分别为左目和右目图像的特征点参数,mp、np分别为左右目图像中特征点的总数目,
Figure FDA0003316030490000042
为左目图像第ip1个特征点坐标,
Figure FDA0003316030490000043
为右目图像第jp1个特征点坐标;
b.计算左右目图像的特征点参数Pos1、Pos2中所有点的欧式距离,选择欧式距离最小的点作为粗略匹配点,按欧氏距离升序对粗略匹配点进行排序,删除异常点,选择前kp个匹配点,定义为
Figure FDA0003316030490000051
c.根据k个匹配点
Figure FDA0003316030490000052
中相应点的斜率筛选匹配点,计算所有粗匹配点对的斜率,计算所有斜率的出现率,选取出现率最大的斜率作为主导斜率,保留与主斜率一致的匹配点对,删除其他异常斜率的匹配点,得到H组准确匹配点对:
Figure FDA0003316030490000053
其中
Figure FDA0003316030490000054
Figure FDA0003316030490000055
分别为一组匹配点对中左目、右目图像的特征点坐标;
d.计算所有匹配点对的横坐标的差值绝对值作为该点对的双目视差值
Figure FDA0003316030490000056
获取左目图像的稀疏视差点集合
Figure FDA0003316030490000057
42)分别统计左目图像中F个合并区域中的所有视差点:Pf={Spadn},n∈[1,N],f∈[1,F],N为落入该区域内的视差点的总数,对落入该区域的所有视差点按视差值进行升序排列,若该区域内投影视差点个数N≥3,则取视差值中值作为区域视差值
Figure FDA0003316030490000058
若其0<N<3,取最小值作为区域视差值,若该区域内无视差点,则视差值取0,获取每个区域的深度视差图Pf
Figure FDA0003316030490000059
其dt为视差点的视差值,t∈[1,N],F为合并区域数目,F个深度视差图共同组成完整的深度视差图P:
Figure FDA00033160304900000510
43)计算深度显著图均值作为分割阈值Th=avg(P),大于分割阈值的区域即为绝缘子区域Object:
Figure FDA00033160304900000511
5.根据权利要求1所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤55)中,具体步骤如下:
a.以步长step=设定值,利用均值滤波法去除曲线图毛刺,遍历像素点值的总和value,将当前value(i)重置为新的平滑值valuenew(i):valuenew(i)=avg([value(i-5):value(i+5)]),i∈[step+1,height-step],此处的i为左目图像的行标号,i∈[1,height];
b.若valuenew(i)>valuenew(i-1)&valuenew(i)>valuenew(i+1)&valuenew(i)>avg(valuenew),则该点即为局部极大值点Pm(jj)=i,统计所有局部极大值点的横坐标,计算所有局部极大值点两两之间的横坐标的差值,将横坐标差的绝对值小于设定值的点作为重复局部极大点集,保留重复极大点集中value(Pm(jj))最大的点作为最终极大值点,其余点删除,获取最终的局部极大值点Pm′,并计算最终的局部极大值点Pm′的数量为nump
c.求解每个局部极大值点的横坐标的间隔值diff:
diff(1,jj)=Pm′(jj+1)-Pm′(jj),jj∈[1,nump-1],计算是否存在横坐标的异常间隔值diffq,即检测横坐标间隔值diff中大于间隔值均值1.2倍的值作为异常间隔值diffq,diffq←diff|diff>1.2·avg(diff),其中,avg(diff)指所有横坐标间隔值的均值,若存在,则提取异常间隔值对应的两端局部极大点Pm1′和Pm2′的横坐标i1和i2,i1<i2,则异常间隔区域regionq=[i1,i2],即绝缘子自爆缺失区域在左目图像中的位置,返回绝缘子自爆区域信息,若不存在,则返回绝缘子状态良好;diff,diffq,avg(diff)分别为:每个局部极大值点的横坐标间隔值、设定的异常横坐标间隔值、所有局部极大值点的横坐标间隔值均值。
6.根据权利要求5所述的基于深度显著性的绝缘子检测及自爆识别方法,其特征在于,在所述步骤b中,所述设定值为5。
CN201811203269.4A 2018-10-16 2018-10-16 一种基于深度显著性的绝缘子检测及自爆识别方法 Active CN109472776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811203269.4A CN109472776B (zh) 2018-10-16 2018-10-16 一种基于深度显著性的绝缘子检测及自爆识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811203269.4A CN109472776B (zh) 2018-10-16 2018-10-16 一种基于深度显著性的绝缘子检测及自爆识别方法

Publications (2)

Publication Number Publication Date
CN109472776A CN109472776A (zh) 2019-03-15
CN109472776B true CN109472776B (zh) 2021-12-03

Family

ID=65664578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811203269.4A Active CN109472776B (zh) 2018-10-16 2018-10-16 一种基于深度显著性的绝缘子检测及自爆识别方法

Country Status (1)

Country Link
CN (1) CN109472776B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435208B (zh) * 2019-08-07 2022-09-13 河海大学常州校区 显著性边缘引导的绝缘子区域检测方法
CN110490261B (zh) * 2019-08-22 2022-04-01 河海大学常州校区 一种输电线路巡检图像绝缘子的定位方法
CN110852988A (zh) * 2019-09-27 2020-02-28 广东电网有限责任公司清远供电局 一种绝缘子串自爆的检测方法、装置、设备及存储介质
CN111220619B (zh) * 2019-12-05 2023-05-05 河海大学常州校区 一种绝缘子自爆检测方法
CN111242080B (zh) * 2020-01-21 2023-09-12 南京航空航天大学 一种基于双目相机与深度相机的输电线识别与定位方法
CN111652857B (zh) * 2020-05-20 2022-05-13 国网河北省电力有限公司检修分公司 一种绝缘子缺陷红外检测方法
CN112288791B (zh) * 2020-11-06 2024-04-30 浙江中控技术股份有限公司 一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置
CN112444522B (zh) * 2020-11-16 2021-09-28 中国科学院沈阳自动化研究所 一种电力系统绝缘子串缺陷检测方法
CN112738533A (zh) * 2020-12-28 2021-04-30 中国南方电网有限责任公司超高压输电公司 一种机巡图像分区域压缩方法
CN113051713B (zh) * 2021-03-01 2023-03-21 东方电气集团科学技术研究院有限公司 基于图像灰度共生矩阵多特征提取的复合材料老化预测方法
CN114170535A (zh) * 2022-02-11 2022-03-11 北京卓翼智能科技有限公司 目标检测定位方法、装置、控制器及存储介质和无人机
CN115439474B (zh) * 2022-11-07 2023-01-24 山东天意机械股份有限公司 一种电力设备故障快速定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077521A (zh) * 2013-01-08 2013-05-01 天津大学 一种用于视频监控的感兴趣区域提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077521A (zh) * 2013-01-08 2013-05-01 天津大学 一种用于视频监控的感兴趣区域提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
X射线数字成像检测缺快速识别技术研究;赵志强;《中国优秀硕士学位论文全文数据库》;20150716;第39-40页 *
基于双目视觉的显著性目标检测方法;李庆武等;《光学学报》;20180331;第38卷(第3期);第0315002-1至031500213页 *

Also Published As

Publication number Publication date
CN109472776A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109472776B (zh) 一种基于深度显著性的绝缘子检测及自爆识别方法
CN107704844B (zh) 基于无人机双目视差图像的输电线路覆冰厚度辨识方法
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN111047695B (zh) 一种城市群高度空间信息及等高线的提取方法
CN110084785B (zh) 一种基于航拍图像的输电线垂弧测量方法及系统
CN109523528B (zh) 一种基于无人机双目视觉sgc算法的输电线路提取方法
CN111126184B (zh) 一种基于无人机视频的震后建筑物损毁检测方法
CN107679458B (zh) 一种基于K-Means的道路彩色激光点云中道路标线的提取方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN111383335A (zh) 一种众筹照片与二维地图结合的建筑物三维建模方法
CN104182968A (zh) 宽基线多阵列光学探测系统模糊动目标分割方法
Zhang et al. Automatic diagnosis system of transmission line abnormalities and defects based on UAV
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN114463521B (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN114782714A (zh) 一种基于上下文信息融合的图像匹配方法及装置
CN113947724A (zh) 一种基于双目视觉的线路覆冰厚度自动测量方法
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN112183436B (zh) 基于像素点八邻域灰度对比的高速公路能见度检测方法
CN106709432A (zh) 基于双目立体视觉的人头检测计数方法
CN116958092A (zh) 一种基于改进立体匹配算法的输电线路弧垂快速测量方法
CN117115390A (zh) 一种变电站中变电设备的三维模型布局方法
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN112396572B (zh) 基于特征增强和高斯金字塔的复合绝缘子双光融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant