CN112435208A - 显著性边缘引导的绝缘子区域检测方法 - Google Patents

Abstract

本发明公开了一种基于显著性边缘引导的绝缘子区域检测方法，包括：采用结构化随机森林边缘检测算法快速提取图像边缘概率图，通过非极大值抑制细化图像边缘；利用贝叶斯框架计算各边缘的显著值；筛选出高显著性边缘，根据绝缘子边缘分布波动性形态特征进行二次判断，确定绝缘子边缘段；利用SLIC算法获取绝缘子图像超像素，利用颜色、纹理特征的生长实现绝缘子串的分割。本发明利用显著性边缘进行绝缘子区域检测，对环境、绝缘子种类敏感度低，可应用于多种环境、多种绝缘子的检测中，通用性好，可节省大量人力物力。

Description

显著性边缘引导的绝缘子区域检测方法

技术领域

本发明涉及一种基于显著性边缘引导的绝缘子区域检测方法，属于计算机视觉与输电线路巡检领域。

技术背景

随着我国国民经济的快速发展、人民群众生活、工业、商业用电需求的不断增长及全球能源互联网建设的不断推进，对各类电力设备的安全性及可靠性提出了更为苛刻的要求。输电线路作为电网中的重要组成部分，其稳定运行是国民安全用电的重要保障。绝缘子是架空输电线路上的重要电力配件，但因输电线路长期运行在高电压、强场强露天环境中，绝缘子不仅要承受正常的机械、电力荷载，还要经受风霜雨雪、雷电及大气污染等各种恶劣的自然条件的影响，加速绝缘子老化，若没有及时找到电力设备放电的原因并对故障部件进行维修和更换，放任放电故障发展，结果极有可能导致设备击穿、闪络等现象，致使故障更为严重，波及范围也大大增加。为保证输电线路的安全运行，有必要对输电线路的绝缘子进行检测。

传统的输电线路绝缘子检测通常是人工到位肉眼查看，在电力线的大覆盖面积和多样化环境的需求下，人工到位的绝缘子检测效率低，实时性差，危险性大，对工作人员状态和经验要求高，往往不能满足电力线巡检的覆盖面与即时性要求，智能化手段代替人工检测已成为必然趋势，但目前仍未有有效的智能化输电线路绝缘子检测方法。随着无人机航拍技术的成熟，利用无人机对输电线路进行航拍巡检已经逐渐普及。利用图像处理技术对航拍图像中的绝缘子进行定位是绝缘子检测的关键步骤，可为检巡检人员提供技术支持，辅助其进行进一步的绝缘子故障检测。但是，输电线路巡检环境复杂，绝缘子种类众多，现有的绝缘子区域检测方法难以满足多种环境下多类别绝缘子准确定位的需求。

发明内容

本发明所解决的技术问题是现有技术中绝缘子区域的边缘检测的定位效率和精度有待提高的问题，提出一种对电力设备中绝缘子进行检测的智能化办法，通过对图像信息的分析，实现对可见光图片中的绝缘子区域进行快速定位与检测，实现绝缘子区域的准确、高效检测。

为解决上述技术问题，本发明提供一种基于显著性边缘引导的绝缘子区域检测方法，包括以下步骤：

采用结构化随机森林边缘检测算法提取图像边缘概率图，并通过非极大值抑制算法细化图像边缘，得到细化边缘概率图，筛选细化边缘概率图中边缘连续长度大于所有边缘平均长度且该边缘强度大于边缘平均强度的所有边缘，并将得到的新的边缘概率图归一化至[0,1]；

利用贝叶斯框架计算各边缘的显著值，将局部边缘特征信息代入贝叶斯推理框架中计算该边缘的显著性值；

将得到的所有边缘按显著值从高到低进行排序，筛选出显著性高的边缘，利用绝缘子边缘分布呈现波动性的形态特征进行二次判断，获取绝缘子边缘段。

在上述技术方案的基础上，为了解决现有绝缘子分割不全的问题，还包括基于多特征融合的超像素生长方法，利用SLIC算法对绝缘子图像进行超像素分割，寻找绝缘子边缘段对应的超像素集作为种子图像块，利用颜色、纹理特征进行生长，提取图像中完整的绝缘子串区域。

与现有技术相比，本发明的有益效果是：

(1)本发明将结构化随机森林构与贝叶斯框架相结合，筛选显著性边缘作为绝缘子串候选边缘段，有利于去除检测场景中背景弱边缘的干扰，降低绝缘子串误检率；

(2)本发明提出利用绝缘子串边缘的波动性特征进行二次判断，对环境、绝缘子种类敏感度低，极大地提高了绝缘子定位的准确率；

(3)本发明将绝缘子边缘检测结果与多特征融合超像素生长算法相结合，提高了绝缘子串分割的准确率和完整度。

附图说明

图1为显著性边缘引导的绝缘子区域检测系统；

图2为绝缘子区域检测的具体流程；

图3为边缘细化原理示意图；

图4为局部三进制模式(Local Ternary Patterns，LTP)计算示意图；

图5为绝缘子边缘波动性映射示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图2所示，显著性边缘引导的绝缘子区域检测方法的具体运行流程为：

针对预先采集的一张电力配件图像，采用结构化随机森林边缘检测算法快速提取图像边缘概率图Edge₁，Edge₁中每个像素点的值，即为所述边缘点的强度，获得坐标为(i_p,j_p)边缘点的强度为

边缘概率图图中绝缘子外边缘呈现强边缘状态，可与背景间进行有效区分，绝缘子内部边缘呈现弱边缘状态，不影响绝缘子整体性。再利用梯度信息进行非极大值抑制，实现绝缘子概率图的细化：在具体实施例中，可通过图像获取前端预先采集电力配件图像，其中图像获取前端由载体(无人机或机器人)、可见光相机、旋转云台等设备组成，如图1所示。

具体包括以下步骤：

(1)遍历边缘概率图Edge₁中所有值大于0的像素点pix，w为以pix为中心的8邻域窗口，求该像素点的x，y方向上的梯度G_x，G_y，

则该点的梯度方向为：θ＝arctan(G_y/G_x)，θ为该像素点的梯度方向，获取该点的梯度为

(2)如图3所示，设P₁，P₂为pix梯度方向上的两个亚像素点，求以pix为中心的[S,SE,E,NE,N,NW,W,SW]8个方向像素点的梯度gradm[S,SE,E,NE,N,NW,W,SW]，ω＝|G_y/G_x|，则P₁，P₂的梯度计算方法如下：

若θ∈[0,45)，则P₁，P₂落入0区域内，P₁，P₂的梯度为：

若θ∈[45，90)，则P₁，P₂落入1区域内，P₁，P₂的梯度为：

若θ∈[90，135)，则P₁，P₂落入2区域内，P₁，P₂的梯度为：

若θ∈[135,180]，则P₁，P₂落入3区域内，P₁，P₂的梯度为：

(3)若

且

则保留该pix点作为边缘概率点，保留该点原来的边缘强度值

否则置0；

(4)对边缘概率图Edge₁中所有值大于0的像素点pix进行步骤(2)和(3)处理，实现边缘概率图的细化，得到边缘细化图Edge₂；

(5)获取所有的联通边缘(共N条)，将每条联通边缘上所有边缘点的强度s_n,n∈[1,N]重置为该边缘上强度最大的边缘点强度值，得到新的边缘概率图Edge₃；

(6)筛选细化边缘概率图中满足特定条件的所有边缘，并将得到的新的边缘概率图Edge₄，具体筛选方法可根据需要理由现有技术实现。

在具体实施例中，优选地，采用以下方法实现；设

为所有联通边缘的平均像素点个数，

为Edge₃中联通边缘的强度平均值，剔除边缘像素点个数小于

联通边缘或者边缘强度值小于

的边缘，完成边缘筛选，得到新的边缘概率图Edge₄，并将Edge₄归一化至[0,1]；

2.利用贝叶斯推理模型，通过局部边缘特征信息(即纹理，颜色梯度，边缘幅度)计算边缘显著值。在细化边缘概率图Edge₄中，每个边缘段具有相对边缘强度s_n，令e_j表示第j^th条边缘的相对边缘强度值，p(sal|s)表示每个边缘段为显著性边缘的概率，即边缘显著值：

基于以上公式求解边缘显著值的具体方法可采用现有技术实现，在具体实施例中，优选地，为了进一步降低绝缘子串误检率，采用以下方法实现：

p(sal)和p(bg)分别是边缘段为显著边缘或背景边缘(非显著边缘)的先验概率。p(s|sal)和p(s|bg)是观察似然性，第j^th个边缘段的边缘显著性先验概率计算如下：

其中η_j表示第j^th条边缘段中边缘像素点的纹理、颜色和边缘幅度值的标量乘结果集合；maxη_j表示η_j集合中的最大值；f_Gj表示第j^th条边缘段上所有像素点在特定方向(G_o,i),o∈{0°,45°,90°,135°}上R、G、B三个颜色通道上颜色梯度的大小之和，i表示第j^th边缘上像素点的编号：

f_LTPj是包含在第j^th个边缘段中的边缘像素I_i的局部三进制模式(LTP)，如图4所示，其是通过使用大小为3的内核将I_i的强度值与由I_nb表示的邻域像素的强度值进行比较来计算得到。T是用户定义的阈值，本发明中，T＝5，B为邻域窗口像素个数，此处B＝8。采用特定段的边缘像素的所有LTP值的方差，给出如下公式：

背景先验为：

p(bg)＝1-p(sal)

观察似然概率p(s|sal)和p(s|bg)计算方法如下：

设所有边缘的均值为β＝mean(s_n)，则边缘幅度大于β的边缘为判定为显著性边缘段，边缘幅度小于等于β的边缘判定为背景边缘段，分别统计所有显著性边缘段和背景边缘段的像素点总个数，记为N_sal和N_bg；然后计算边缘强度的归一化直方图(优选地构建10bin直方图)h_s；N_ssal(sal)表示在显著边缘段区域内边缘强度的直方图分布，N_sbg(bg)表示在背景(非显著)边缘段区域内边缘强度的直方图分布；观察似然概率p(s|sal)和p(s|bg)可通过h_s计算获得：

3.获取所有边缘段的显著值后，以所有边缘的显著值均值mean(p(sal|s))作为阈值T₂，筛选出强显著性边缘，再利用绝缘子串边缘呈现波动性的特点进行二次判断：

(1)设筛选后剩余N₂条边缘段，提取每条边缘段的所有像素点，利用最小二乘法进行拟合，利用拟合曲线公式，计算对应边缘段所有像素点x值对应的y坐标值，将拟合离散点与对应边缘像素点求误差：假设某条边缘共有N_p个像素点，且每个像素点对应坐标为

对应拟合点为

则该边缘段拟合误差为：

若边缘误差err＜1，则说明该边缘段呈类线性分布，则非绝缘子形态，则可剔除；

(2)设经过步骤(1)筛选后剩余N₃条边缘段。绝缘子边缘分布呈现如图5所示的波动状态，同一x轴坐标对应多个y映射。因此，分别获取各个边缘段的所有像素点的x坐标范围

j＝1,2,L,N₃，求该边缘段上x坐标值为

的像素点个数

以所有边缘上符合条件的像素点个数的均值

为阈值，若

则认为该边缘段为绝缘子边缘，否则不是。

在以上实施例的基础上，为了解决现有绝缘子分割不全的问题，以下实施例还包括基于多特征融合的超像素生长方法，利用SLIC算法对绝缘子图像进行超像素分割，寻找绝缘子边缘段对应的超像素集作为种子图像块，利用颜色、纹理特征进行生长，提取图像中完整的绝缘子串区域。具体步骤包括：

4.利用SLIC算法对绝缘子图像进行绝缘子图像进行超像素分割，以绝缘子边缘段经过的超像素集作为种子图像块，利用颜色、纹理特征进行生长，实现绝缘子串的分割。

(1)提取颜色特征，设种子区域R有k个相邻的超像素块，以相邻的超像素块作为待生长区域，待生长区域

i＝1,2,L,k，与种子区域的颜色相似度函数定义为：

其中L_R、a_R、b_R分别为种子区域中L、a、b分量均值，L_i、a_i、b_i分别为待生长区域

内L、a、b分量均值；

(2)采用SIFT-Like特征提取纹理特征，使用σ＝1的高斯函数在彩色图像RGB三个颜色通道上分别计算8个方向(E：东；W：西；S：南；N：北；NE：东北；SE：东南；NW：西北：SW：西南)上的高斯微分，得到24个微分图，再使用L1范数归一化获取各个通道各个方向10bins的直方图，每个区域得到一个维度为240的纹理直方图特征向量T＝{t₁,...,t₂₄₀}。种子区域R与待生长区域

之间的纹理相似度定义为:

其中t_Rj为种子区域纹理直方图特征向量的第j个元素，

为待生长区域

纹理直方图特征向量的第j个元素。

(3)设定两个阈值T₁，T₂，

其中

在区域生长算法中，若待生长区域与种子区域的颜色相似度小于设定阈值T₁，且纹理相似度大于设定阈值T₂，则将其合并到种子区域，表示该方向可继续生长，否则，停止该方向的生长。一直进行到图像中没有满足生长准则的像素时，结束整个生长过程，完成绝缘子串的分割。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，包括以下步骤：

针对预先获得的包含绝缘子的电力配件图像，采用结构化随机森林边缘检测算法提取图像边缘概率图Edge₁，并通过非极大值抑制算法细化图像边缘，得到细化边缘概率图Edge₂；

筛选细化边缘概率图中满足特定条件的所有边缘，并将得到的新的边缘概率图Edge₄，并将Edge₄归一化至[0,1]；

基于新的边缘概率图Edge₄，将局部边缘特征信息代入贝叶斯推理框架中计算该边缘的显著性值；

将得到的所有边缘按显著值从高到低进行排序，筛选出显著性高的边缘，利用绝缘子边缘分布呈现波动性的形态特征进行二次判断，获取绝缘子边缘段。

2.根据权利要求1所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，所述特定条件为细化边缘概率图中边缘连续长度大于所有边缘平均长度且该边缘强度大于边缘平均强度。

3.根据权利要求1所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，通过非极大值抑制算法细化图像边缘，得到细化边缘概率图，其具体步骤为：

(1)采用结构化随机森林算法提取图像边缘概率图Edge₁，获得坐标为(i_p,j_p)边缘点的强度为

遍历图像边缘概率图Edge₁中所有值大于0的像素点pix，w为以pix为中心的8邻域窗口，求该像素点的x，y方向上的梯度为G_x和G_y，表达式如下：

则像素点pix的梯度方向为θ，表达式为：θ＝arctan(G_y/G_x)，获取像素点pix的梯度为

(2)设P₁，P₂为pix梯度方向上的两个亚像素点，求以pix为中心的[S,SE,E,NE,N,NW,W,SW]8个方向像素点的梯度gradm[S,SE,E,NE,N,NW,W,SW]，ω＝|G_y/G_x|，则P₁的梯度G_p1和P₂的梯度G_p2计算方法如下：

若θ∈[0,45)，则P₁，P₂落入0区域内，P₁，P₂的梯度为：

若θ∈[45，90)，则P₁，P₂落入1区域内，P₁，P₂的梯度为：

若θ∈[90，135)，则P₁，P₂落入2区域内，P₁，P₂的梯度为：

若θ∈[135,180]，则P₁，P₂落入3区域内，P₁，P₂的梯度为：

(3)若

且

则保留该pix点作为边缘概率点，保留该点原来的边缘强度值

否则置0；

(4)对边缘概率图Edge₁中所有值大于0的像素点pix进行步骤(2)和(3)处理，实现边缘概率图的细化，得到边缘细化图Edge₂。

4.根据权利要求1所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，筛选细化边缘概率图中满足特定条件的所有边缘，并将得到的新的边缘概率图归一化至[0,1]，具体包括：

(1)获取所有共N条的联通边缘，将每条联通边缘上所有边缘点的强度s_n,n∈[1,N]重置为该边缘上强度最大的边缘点强度值，得到新的边缘概率图Edge₃；

(2)设l为所有联通边缘的平均像素点个数，e为Edge₃中联通边缘的强度平均值，剔除边缘像素点个数小于l联通边缘或者边缘强度值小于

的边缘，完成边缘筛选，得到新的边缘概率图Edge₄，并将Edge₄归一化至[0,1]。

5.根据权利要求1所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，利用贝叶斯推理模型，通过局部边缘特征信息计算边缘显著值，具体步骤包括：

所述局部边缘特征信息包括纹理、颜色梯度和边缘幅度；

(1)计算边缘显著值：在细化边缘概率图Edge₄中，每个边缘段具有相对边缘强度s_n，令e_j表示第j^th条边缘的相对边缘强度值，p(sal|s)表示每个边缘段为显著性边缘的概率，该概率就是边缘显著值，表达式如下：

其中p(sal)和p(bg)分别是边缘段为显著边缘或背景边缘的先验概率；p(s|sal)和p(s|bg)是观察似然概率。

6.根据权利要求5所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，

第j^th个边缘段的边缘显著性先验概率计算如下：

其中η_j表示第j^th条边缘段中边缘像素点的纹理、颜色和边缘幅度值的标量乘结果集合；maxη_j表示η_j集合中的最大值；

表示第j^th条边缘段上所有像素点在特定方向(G_o,i),o∈{0°,45°,90°,135°}上R、G、B三个颜色通道上颜色梯度的大小之和，i表示第j^th边缘上像素点的编号：

是包含在第j^th个边缘段中的边缘像素I_i的局部三进制模式，其是通过使用大小为3的内核将I_i的强度值与由I_nb表示的邻域像素的强度值进行比较来计算得到；T是用户定义的阈值，B为邻域窗口像素个数；

采用特定段的边缘像素的所有LTP值的方差，计算方式如下：

其中，ULBP为边缘像素I_i的局部上三进制模式编码值，LLBP为边缘像素I_i的局部下三进制模式编码值；

背景先验为：p(bg)＝1-p(sal)，

观察似然概率p(s|sal)和p(s|bg)计算方法如下：

设所有边缘的均值为β＝mean(s_n)，则边缘幅度大于β的边缘为判定为显著性边缘，边缘幅度小于等于β的边缘判定为背景边缘段，分别统计所有显著性边缘段和背景边缘段的像素点总个数，记为N_sal和N_bg；

然后计算边缘强度的归一化直方图h_s；N_ssal(sal)表示在显著边缘段区域内边缘强度的直方图分布，N_sbg(bg)表示在背景边缘段区域内边缘强度的直方图分布；观察似然概率p(s|sal)和p(s|bg)的计算公式如下：

7.权利要求6所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，所述直方图是10bin直方图。

8.权利要求1所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，筛选出强显著性边缘，再利用绝缘子串边缘呈现波动性的特点进行二次判断的具体步骤为：

(1)以所有边缘的显著值均值mean(p(sal|s))作为阈值T₂，筛选出强显著性边缘，设筛选后剩余N₂条边缘段，提取每条边缘段的所有像素点，利用最小二乘法进行拟合，利用拟合曲线公式，计算对应边缘段所有像素点x值对应的y坐标值，将拟合离散点与对应边缘像素点求误差：

假设某条边缘共有N_p个像素点，且每个像素点对应坐标为

对应拟合点为

则该边缘段拟合误差为：

若边缘误差err＜1，则剔除剔除该边缘段；

(2)设经过步骤(1)筛选后剩余N₃条边缘段；分别获取各个边缘段的所有像素点的x坐标范围

j＝1,2,L,N₃，求该边缘段上x坐标值为

的像素点个数

以所有边缘上符合条件的像素点个数的均值

为阈值，若

则认为该边缘段为绝缘子边缘，否则不是。

9.根据权利要求1所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，获取绝缘子边缘段之后，利用SLIC算法对绝缘子图像进行超像素分割，寻找绝缘子边缘段对应的超像素集作为种子图像块，利用颜色、纹理特征进行生长，实现绝缘子串的分割。

10.根据权利要求9所述的一种基于显著性边缘引导的绝缘子区域检测方法，其特征在于，实现绝缘子区域的分割的方法为：

(1)利用SLIC算法对绝缘子图像进行绝缘子图像进行超像素分割，以绝缘子边缘段经过的超像素集作为种子图像块；

(2)提取颜色特征，设种子区域的邻域个数为k，待生长区域

与种子区域R_i的颜色相似度函数定义为：

其中L_R、a_R、b_R分别为种子区域中L、a、b分量均值，L_i、a_i、b_i分别为待生长区域

内L、a、b分量均值；

(3)采用SIFT-Like特征提取纹理特征，使用σ＝1的高斯函数在彩色图像RGB三个颜色通道上分别计算8个方向上的高斯微分,得到24个微分图,再使用L1范数归一化获取各个通道各个方向10bins的直方图,每个区域得到一个维度为240的纹理直方图特征向量T＝{t₁,...,t₂₄₀}；种子区域R与待生长区域

之间的纹理相似度定义为:

其中t_Rj为种子区域纹理直方图特征向量的第j个元素，

为待生长区域

纹理直方图特征向量的第j个元素；

(4)设定两个阈值T₁,T₂,

其中

在区域生长算法中，若待生长区域与种子区域的颜色相似度小于设定阈值T₁，且纹理相似度大于设定阈值T₂，则将其合并到种子区域，否则，停止该方向的生长；一直进行到图像中没有满足生长准则的像素时，结束整个生长过程，完成绝缘子串的分割。

Images