CN111583171A - 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法 - Google Patents

融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法 Download PDF

Info

Publication number
CN111583171A
CN111583171A CN202010102979.9A CN202010102979A CN111583171A CN 111583171 A CN111583171 A CN 111583171A CN 202010102979 A CN202010102979 A CN 202010102979A CN 111583171 A CN111583171 A CN 111583171A
Authority
CN
China
Prior art keywords
insulator
image
region
representing
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010102979.9A
Other languages
English (en)
Other versions
CN111583171B (zh
Inventor
纪超
王东旭
黄新波
聂婷婷
朱永灿
曹雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202010102979.9A priority Critical patent/CN111583171B/zh
Publication of CN111583171A publication Critical patent/CN111583171A/zh
Application granted granted Critical
Publication of CN111583171B publication Critical patent/CN111583171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，首先对采集的原始绝缘子图像用超像素特征描述指定区域位置的特征信息，然后采用模块化方法提取得到绝缘子粗略显著区域，同时剔除绝缘子粗略显著区域部分背景噪声，最后采用特征紧凑性衡量绝缘子图像中各区域特征的显著性，进而得到绝缘子各区域显著特征图像；然后得到整个绝缘子的显著特征区域图像及整个绝缘子准确的显著特征图像；快速检测出绝缘子是否有缺陷。本发明解决了现有技术中存在的复杂环境下绝缘子检测精度低的问题。

Description

融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种融合前景紧凑特性和多环 境信息的绝缘子缺陷检测方法。
背景技术
绝缘子是高压电线连接塔上挂一种盘状的绝缘体，作用是增加爬电距 离，使带电部件绝缘，并起到机械支撑与定位作用，作为输电线路的重要组 成部分，对整个输电线路的作用是可想而知的，但由于绝缘子在输电线路中 数量多，分布广，长期处于恶劣的野外环境中，容易发生绝缘子自爆、污秽、 破损和裂纹等故障，对输电线路的安全稳定运行造成了极大的威胁，因此在 输电线路巡检中特别注意绝缘子的工作状态，传统的巡检方式有人工巡检， 直升机巡检，这种方式不仅工作强度大，效率低，而且容易造成漏检、误检 现象，如何对绝缘子进行高效的巡检已经成为现阶段研究的重点问题？
随着机器视觉、人工智能迅猛发展，一种新型的绝缘子巡检方式基于融 合前景紧凑性特征和多环境信息的绝缘子缺陷检测应运而生。这种巡检方式 首先利用无人机拍摄背景复杂的绝缘子图像，其次通过4G网络传送到客户 端，最后利用图像识别技术进行复杂环境下绝缘子的缺陷检测。
发明内容
本发明的目的是提供一种融合前景紧凑特性和多环境信息的绝缘子缺 陷检测方法，解决了现有技术中存在的复杂环境下绝缘子检测精度低的问 题。
本发明所采用的技术方案是，融合前景紧凑特性和多环境信息的绝缘子 缺陷检测方法，具体按照以下步骤实施：
步骤1、采集原始绝缘子图像，首先对采集的原始绝缘子图像用超像素 特征描述指定区域位置的特征信息，然后采用模块化方法提取得到绝缘子粗 略显著区域，同时剔除绝缘子粗略显著区域部分背景噪声，最后采用特征紧 凑性衡量绝缘子图像中各区域特征的显著性，进而得到绝缘子各区域显著特 征图像；
步骤2、对步骤1获得的绝缘子各区域显著特征图像送入区域网络 Region Net，得到整个绝缘子的显著特征区域图像；
步骤3、对步骤2获得的整个绝缘子显著特征区域图像送入多环境网络 Multi-Context Net，通过补充Region Net网络中缺少的全局显著性评价，得 到整个绝缘子准确的显著特征图像；
步骤4、对步骤3获得整个绝缘子准确的显著特征图像采用准确率-召回 率precision recall-PR曲线、F-measure和平均绝对误差man absolute error-MAE的值进行评价，快速检测出绝缘子是否有缺陷。
本发明的特点还在于，
步骤1具体按照以下步骤实施：
步骤1.1、首先采用多尺度方法将绝缘子图像分成不同的层进而得到绝 缘子的多层图，然后采用超像素算法SLIC，将每层图像分解为不同的超像 素，得到绝缘子各个区域的超像素特征图像；
步骤1.2、通过对绝缘子各个区域超像素特征图像进行梯度平滑使区域 模块化，得到绝缘子区域结构化特征图像；
步骤1.3、计算显著区域紧凑性，进而得到绝缘子各区域的紧凑性图像；
步骤1.4、计算绝缘子各区域特征的颜色属性，进而得到绝缘子各区域 的颜色特征图像；
由步骤1.1、1.2、1.3、1.4得到绝缘子的各区域显著特征图像。
步骤1.2中对绝缘子各个区域超像素特征图像采用梯度平滑方法完成区 域模块化处理，计算方法如式(1)所示：
Figure BDA0002387486920000031
式(1)中T表示模块化后的区域的数量，IP表示输入图像I中第p个超 像素的灰度值，SP表示平均化后的结构图像，λ表示图像的平滑系数，λ越 大表示图像越平滑，ε为趋于0的正数，Dx(p)表示第p个超像素在x轴方向上 的区域之间的距离，Dy(p)表示第p个超像素在y轴方向上的区域之间的距 离，Lx(p)表示第p个超像素在x轴方向的区域，Ly(p)表示第p个超像素在 y轴方向的区域；
其中，Dx(p)和Dy(p)由式(2)计算得到：
Figure BDA0002387486920000032
式(2)中，R(p)表示以第p个超像素为中心的矩形区域，gp,g为加权函 数，g表示超像素p的参数，SP表示平均化后的结构图像，
Figure BDA0002387486920000033
表示x轴方向 上的平滑系数，
Figure BDA0002387486920000034
表示y轴方向的平滑系数；
其中，加权函数gp,g由式(3)计算得到：
Figure BDA0002387486920000041
式(3)中，xp表示第p个超像素在x轴方向上的点，xq表示第q个超像 素在x轴方向上的点，yp表示第p个超像在y轴方向上的点，yq表示第q个 超像素在y轴方向上的点，δ表示第p个超像素在x轴上的方差；
运用公式(1)、(2)和(3)进行区域模块化，进而把相同区域汇聚 在一起得到绝缘子区域结构化特征图像。
步骤1.3具体如下：
步骤1.3.1、对所述步骤1.2得到的绝缘子区域结构化特征图像采用一组 6维的特征向量S代表超像素的特征，如式(4)所示：
S＝[I′x,I′y,I″xx,I″yy,fx,fy] (4)
式(4)中，x表示超像素在水平方向上的点，y表示超像素在竖直方向 上的点，I′x表示水平上灰度值的一阶导数、I′y表示竖直方向上灰度值的一阶 导数，I″xx表示水平上灰度值的二阶导数，代表水平方向上的纹理特征、I″yy表 示竖直方向上灰度值的二阶导数，代表竖直方向上的纹理特征，f是调节纹 理特征与空间位置特征的权重比例参数；
步骤1.3.2、根据显著性增强的回归模型方法对每个超像素建立6×6维 的方差矩阵∑，如式(5)所示：
Figure BDA0002387486920000042
σbc表示每个超像素的协方差，其中，b表示每个超像素在x轴方向上的 点，b＝1...6，c表示每个超像素在y轴方向的点，c＝1...6；
步骤1.3.3、分别采用纹理和局部熵信息检测区域紧凑性信息，对于纹理 采用局部二元模式LBP的直方图计算纹理特征，纹理特征和局部熵信息分 别由
Figure BDA0002387486920000051
和
Figure BDA0002387486920000052
表示：
计算超像素与多层图之间的权重
Figure BDA0002387486920000053
具体计算如公式(6)所示：
Figure RE-GDA0002556019780000054
式(6)中，ξe,k表示纹理特征权重，ξl,k表示局部熵权重，dB表示直方 图的纹理特征，
Figure BDA0002387486920000055
表示第l层第k个超像素在i这一点的纹理特征，
Figure BDA0002387486920000056
表示 第m层第k个超像素在j这一点的纹理特征，
Figure BDA0002387486920000057
表示第l层第k个超像素在i 这一点的局部熵，
Figure BDA0002387486920000058
表示第m层第k个超像素在j这一点的局部熵；
直方图的纹理特征dB定义如式(7)所示：
Figure BDA0002387486920000059
式(7)中，n表示直方图的数量，z表示纹理特征系数变量，
Figure BDA00023874869200000510
表示 第l层第k个超像素在i这一点的纹理特征，
Figure BDA00023874869200000511
表示第m层第k个超像素在 j这一点的纹理特征；
局部熵特征
Figure BDA00023874869200000512
是在每个像素点的领域中按照式(8)进行计算：
Figure BDA00023874869200000513
式(8)中，H用于归一化局部熵信息，Hk(i)表示第k个超像素在i这 一点的归一化局部熵信息；
绝缘子的区域紧凑性图像由超像素特征、方差矩阵、权重和直方图纹理 特征因素决定，所以在绝缘子缺陷检测中的区域紧凑性计算部分，通过调节 公式(4)中的超像素特征的参数、公式(5)中方差矩阵的参数、公式(6) 中权重的参数、公式(7)中直方图纹理特征的参数和公式(8)中局部熵特 征的的参数，联合得到绝缘子的区域紧凑性图像。
步骤1.4具体如下：
步骤1.4.1、采用高斯混合模型GMM聚类图像颜色，每个像素颜色表示 为具有属于某个颜色属性的若干个高斯模型的加权组合，并由式(9)给出：
Figure BDA0002387486920000061
式(9)中，a表示颜色属性的类别，wa表示颜色属性为a的高斯模型的 权重，μ表示整个颜色属性的特征，∑a表示颜色属性为a的协方差矩阵，μa表示颜色属性为a的特征，Ix表示x轴方向上的灰度值；
步骤1.4.2、测量颜色属性的空间方差：
计算颜色属性的水平空间方差Vh(a)，如式(10)所示：
Figure BDA0002387486920000062
其中，
Figure BDA0002387486920000063
式(10)、(11)中，ph表示超像素p的水平坐标，|X|a＝P(a|Ix)表 示图像中颜色属性为a的概率，Mh(a)表示水平方向颜色属性为a的系数；
整个图像中颜色属性的空间变化定义为式(12)：
Vg(a)＝VV(a)+Vh(a) (12)
式(12)中，Vg(a)表示整个图像中颜色属性为a的方差，VV(a)表示垂 直空间方差，计算方法与水平空间方差相似，Vh(a)表示水平空间方差；
通过式(13)计算图像中像素的颜色显著度CF：
Figure BDA0002387486920000071
其中，P(a|IX)表示颜色属性为a的概率，D(a)表示不同颜色属性之间的 距离，N表示直方图的数量；
对于所有颜色属性，范围标准化为[0,1]，需要对每个颜色属性进行中心 加权归一化项；
由于绝缘子显著特征区域图像由颜色属性高斯模型、水平空间方差、竖 直空间方差和颜色显著度因素共同决定，所以通过调节公式(9)的颜色属 性高斯模型中的参数，调节公式(10)、(11)和(12)中的颜色属性的水 平空间方差、竖直空间方的参数，调节公式(13)中的颜色显著度参数，联 合得到绝缘子显著区域特征图像。
步骤2具体如下：
步骤2.1、将所述步骤1.3得到的绝缘子区域紧凑性特征图像和步骤1.4 得到的绝缘子颜色属性特征图像分别送入区域网络Region Net中，生成具有 相同大小的图像区域掩模，然后下采样16次，并送入RoI模型，得到RoI 区域的绝缘子显著区域特征图像；
步骤2.2、将得到的RoI区域的绝缘子显著区域特征图像，采用Region Net网络的池化层操作对每一个区域网络Region Net中的特征按设定比例的 比率进行聚合，进而得到绝缘子的整个显著特征图像；
步骤2.3、采用边界增强损失，损失函数Lf(W,wf)表示如下：
Figure BDA0002387486920000081
在式(14)中，wf表示第f级预测熔合绝缘体区域的分类器参数，Y+表 示前景标签集，Y-背景标签集，Pr(yj＝1|X；W,wf)∈[0,1]用于表示置信度，并将 测量像素概率的融合预测用于前景，Pr(yj＝0|X；W,wf)∈[0,1]用于表示置信度，并 将测量像素概率的融合预测用于背景，e＝|Y+|/|Y|表示前景与整个图像的比值， X表示模糊图像的参数，W表示清晰图像的参数；
对于l级的预测，损失函数表示为：
Figure BDA0002387486920000082
其中，wl用于表示第l级预测融合绝缘体区域的分类器参数，θl表示第l级 预测分类器的角度参数；
由(14)和(15)可得预测的综合函数为：
Figure BDA0002387486920000083
式(16)中，αf表示损失权重以平衡f层的损失项，αl表示损失权 重以平衡l层的损失项，设置al＝αf＝1；
采用随机梯度下降SGD计算最优参数，计算公式如下所示：
(W*,θ*,w*)＝argminL(W,θ,w) (17)
W表示清晰图像的参数，w表示分类器的参数，θ表示分类器的角度参 数，W*表示清晰图像的最优参数，θ*表示分类器的最优角度参数，w*表示 分类器的最优参数；
通过调节公式(14)中的第f级损失函数各个参数、公式(15)中的第 l级损失函数参数、以及公式(16)中的预测综合函数各个参数，对绝缘子 图像进行融合预测得到整个绝缘子显著特征区域图像。
步骤3具体如下：
步骤3.1、计算显著性概率
Figure BDA0002387486920000091
如式(18)所示：
Figure BDA0002387486920000092
式(18)中，
Figure BDA0002387486920000093
表示多环境网络Multi-Context Net输出特征，
Figure BDA0002387486920000094
表示 区域网络Region-Net的输出特征，m表示超像素的显著性，若属于显著区 域时，m＝1，若属于背景区域时，m＝0，θ1表示显著区域的角度参数；
步骤3.2、在最后一个网络层中采用最小化结果和真值标签之间的最大 损失，将步骤3.1得到的绝缘子显著区域特征和背景区域特征进行准确分类， 公式如式(19)所示：
Figure BDA0002387486920000095
式(19)中，θj＝{φgc,j,φlc,j,γ,β}，其中，φgc,j在模型中表示多环境网络Multi-Context Net建模的权重参数，φlc,j在模型中表示区域网Region-net建模 的权重参数，
Figure BDA0002387486920000096
表示在第i点的特征概率，γ表示区域网络 Region Net权重比例系数，M表示点的数量，β表示多环境(Multi-Context Ne) 权重比例系数，
Figure BDA0002387486920000097
表示多环境网络在第i这点的输出特征，
Figure BDA0002387486920000098
表示区域网络 在第i这点的输出特征；
通过调节公式(18)中的显著性概率各个参数、公式(19)中的最大损 失各个参数，进而得到绝缘子图像显著特征和背景特征的概率，然后把绝缘 子图像进行准确分类，从而检测出绝缘子的缺陷；
由于原始图像较大，所以在公式(1)-(19)中使用原图像的1/8作为 输入图像，进而生成绝缘子显著图像；
将每个分支的步幅分别设置为4,2,1,1，因此所有分支的输出具有相同的 维度，其学习组合权重以生成显著的映射，再通过完全卷积层将FS、FC融合 获得最终的绝缘子显著图像SF，计算公式如式(20)所示：
SF＝Fusion(FS,FC) (20)
式(20)中，FS表示原图经过区域网络Region Net得到的准确的显著区 域图像，FC表示粗略显著区域经过区域网络Region Net得到准确的显著区域 图像。
本发明的有益效果是，一种融合前景紧凑特性和多环境信息的绝缘子缺 陷检测方法，能够准确快速的检测出复杂环境下绝缘子的缺陷，更好地提取 绝缘子的整体信息并确定其边界，准确检测出有缺陷的绝缘子，能够有效抑 制背景亮斑干扰。显著性检测是模仿人类的视觉注意机制，广泛应用于对感 兴趣目标的浏览、内容感知、图像分割以及图像编辑等方面。
附图说明
图1(a)是本发明一种基于融合前景紧凑性特征和多环境信息的绝缘缺 陷检测方法中采用原图；
图1(b)是DSR算法在复杂环境下绝缘子缺陷检测的效果图；
图1(c)是RBD算法在复杂环境下绝缘子缺陷检测的效果图；
图1(d)是CA算法在复杂环境下绝缘子缺陷检测的效果图；
图1(e)是本发明在复杂环境下基于融合前景紧凑性特征和多环境信息 的绝缘缺陷检测方法的效果图；
图2(a)是不同算法的ROC曲线特征图；
图2(b)是不同算法的ROC曲线特征图；
图3本发明流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，流程图 如图3所示，具体按照以下步骤实施：
步骤1、采集原始绝缘子图像，首先对采集的原始绝缘子图像用超像素 特征描述指定区域位置的特征信息，然后采用模块化方法提取得到绝缘子粗 略显著区域，同时剔除绝缘子粗略显著区域部分背景噪声，最后采用特征紧 凑性衡量绝缘子图像中各区域特征的显著性，进而得到绝缘子各区域显著特 征图像；
步骤2、对步骤1获得的绝缘子各区域显著特征图像送入区域网络 Region Net，得到整个绝缘子的显著特征区域图像；
步骤3、对步骤2获得的整个绝缘子显著特征区域图像送入多环境网络 Multi-Context Net，通过补充Region Net网络中缺少的全局显著性评价，得 到整个绝缘子准确的显著特征图像；
步骤4、对步骤3获得整个绝缘子准确的显著特征图像采用准确率-召回 率precision recall-PR曲线、F-measure和平均绝对误差man absolute error-MAE的值进行评价，快速检测出绝缘子是否有缺陷。
其中，步骤1具体按照以下步骤实施：
步骤1.1、首先采用多尺度方法将绝缘子图像分成不同的层进而得到绝 缘子的多层图，然后采用超像素算法SLIC，将每层图像分解为不同的超像 素，得到绝缘子各个区域的超像素特征图像；
步骤1.2、通过对绝缘子各个区域超像素特征图像进行梯度平滑使区域 模块化，得到绝缘子区域结构化特征图像；
步骤1.3、计算显著区域紧凑性，进而得到绝缘子各区域的紧凑性图像；
步骤1.4、计算绝缘子各区域特征的颜色属性，进而得到绝缘子各区域 的颜色特征图像；
由步骤1.1、1.2、1.3、1.4得到绝缘子的各区域显著特征图像。
步骤1.2中对绝缘子各个区域超像素特征图像采用梯度平滑方法完成区 域模块化处理，计算方法如式(1)所示：
Figure BDA0002387486920000121
式(1)中T表示模块化后的区域的数量，IP表示输入图像I中第p个超 像素的灰度值，SP表示平均化后的结构图像，λ表示图像的平滑系数，λ越 大表示图像越平滑，ε为趋于0的正数，Dx(p)表示第p个超像素在x轴方向上 的区域之间的距离，Dy(p)表示第p个超像素在y轴方向上的区域之间的距 离，Lx(p)表示第p个超像素在x轴方向的区域，Ly(p)表示第p个超像素在 y轴方向的区域；
其中，Dx(p)和Dy(p)由式(2)计算得到：
Figure BDA0002387486920000122
式(2)中，R(p)表示以第p个超像素为中心的矩形区域，gp,g为加权函 数，g表示超像素p的参数，SP表示平均化后的结构图像，
Figure BDA0002387486920000123
表示x轴方向 上的平滑系数，
Figure BDA0002387486920000131
表示y轴方向的平滑系数；
其中，加权函数gp,g由式(3)计算得到：
Figure BDA0002387486920000132
式(3)中，xp表示第p个超像素在x轴方向上的点，xq表示第q个超像 素在x轴方向上的点，yp表示第p个超像在y轴方向上的点，yq表示第q个 超像素在y轴方向上的点，δ表示第p个超像素在x轴上的方差；
运用公式(1)、(2)和(3)进行区域模块化，进而把相同区域汇聚 在一起得到绝缘子区域结构化特征图像。
步骤1.3具体如下：
步骤1.3.1、对所述步骤1.2得到的绝缘子区域结构化特征图像采用一组 6维的特征向量S代表超像素的特征，如式(4)所示：
S＝[I′x,I′y,I″xx,I″yy,fx,fy] (4)
式(4)中，x表示超像素在水平方向上的点，y表示超像素在竖直方向 上的点，I′x表示水平上灰度值的一阶导数、I′y表示竖直方向上灰度值的一阶 导数，I″xx表示水平上灰度值的二阶导数，代表水平方向上的纹理特征、I″yy表 示竖直方向上灰度值的二阶导数，代表竖直方向上的纹理特征，f是调节纹 理特征与空间位置特征的权重比例参数；
步骤1.3.2、根据显著性增强的回归模型方法对每个超像素建立6×6维 的方差矩阵∑，如式(5)所示：
Figure BDA0002387486920000133
σbc表示每个超像素的协方差，其中，b表示每个超像素在x轴方向上的 点，b＝1...6，c表示每个超像素在y轴方向的点，c＝1...6；
步骤1.3.3、分别采用纹理和局部熵信息检测区域紧凑性信息，对于纹理 采用局部二元模式LBP的直方图计算纹理特征，纹理特征和局部熵信息分 别由
Figure BDA0002387486920000141
和
Figure BDA0002387486920000142
表示：
计算超像素与多层图之间的权重
Figure BDA0002387486920000143
具体计算如公式(6)所示：
Figure RE-GDA0002556019780000144
式(6)中，ξe,k表示纹理特征权重，ξl,k表示局部熵权重，dB表示直方 图的纹理特征，
Figure BDA0002387486920000145
表示第l层第k个超像素在i这一点的纹理特征，
Figure BDA0002387486920000146
表示 第m层第k个超像素在j这一点的纹理特征，
Figure BDA0002387486920000147
表示第l层第k个超像素在i 这一点的局部熵，
Figure BDA0002387486920000148
表示第m层第k个超像素在j这一点的局部熵；
直方图的纹理特征dB定义如式(7)所示：
Figure BDA0002387486920000149
式(7)中，n表示直方图的数量，z表示纹理特征系数变量，
Figure BDA00023874869200001410
表示 第l层第k个超像素在i这一点的纹理特征，
Figure BDA00023874869200001411
表示第m层第k个超像素在 j这一点的纹理特征；
局部熵特征
Figure BDA00023874869200001412
是在每个像素点的领域中按照式(8)进行计算：
Figure BDA00023874869200001413
式(8)中，H用于归一化局部熵信息，Hk(i)表示第k个超像素在i这 一点的归一化局部熵信息；
绝缘子的区域紧凑性图像由超像素特征、方差矩阵、权重和直方图纹理 特征因素决定，所以在绝缘子缺陷检测中的区域紧凑性计算部分，通过调节 公式(4)中的超像素特征的参数、公式(5)中方差矩阵的参数、公式(6) 中权重的参数、公式(7)中直方图纹理特征的参数和公式(8)中局部熵特 征的的参数，联合得到绝缘子的区域紧凑性图像。
在检测绝缘子的缺陷时，由于绝缘子所处环境复杂，难免会受到颜色因 素的影响，所以非常有必要计算颜色特征属性。
步骤1.4具体如下：
步骤1.4.1、采用高斯混合模型GMM聚类图像颜色，每个像素颜色表示 为具有属于某个颜色属性的若干个高斯模型的加权组合，并由式(9)给出：
Figure BDA0002387486920000151
式(9)中，a表示颜色属性的类别，wa表示颜色属性为a的高斯模型的 权重，μ表示整个颜色属性的特征，∑a表示颜色属性为a的协方差矩阵，μa表示颜色属性为a的特征，Ix表示x轴方向上的灰度值；
步骤1.4.2、测量颜色属性的空间方差：
计算颜色属性的水平空间方差Vh(a)，如式(10)所示：
Figure BDA0002387486920000152
其中，
Figure BDA0002387486920000153
式(10)、(11)中，ph表示超像素p的水平坐标，|X|a＝P(a|Ix)表 示图像中颜色属性为a的概率，Mh(a)表示水平方向颜色属性为a的系数；
整个图像中颜色属性的空间变化定义为式(12)：
Vg(a)＝VV(a)+Vh(a) (12)
式(12)中，Vg(a)表示整个图像中颜色属性为a的方差，VV(a)表示垂 直空间方差，计算方法与水平空间方差相似，Vh(a)表示水平空间方差；
通过式(13)计算图像中像素的颜色显著度CF：
Figure BDA0002387486920000161
其中，P(a|IX)表示颜色属性为a的概率，D(a)表示不同颜色属性之间的 距离，N表示直方图的数量；
对于所有颜色属性，范围标准化为[0,1]，需要对每个颜色属性进行中心 加权归一化项；
由于绝缘子显著特征区域图像由颜色属性高斯模型、水平空间方差、竖 直空间方差和颜色显著度因素共同决定，所以通过调节公式(9)的颜色属 性高斯模型中的参数，调节公式(10)、(11)和(12)中的颜色属性的水 平空间方差、竖直空间方的参数，调节公式(13)中的颜色显著度参数，联 合得到绝缘子显著区域特征图像。
步骤2具体如下：
步骤2.1、将所述步骤1.3得到的绝缘子区域紧凑性特征图像和步骤1.4 得到的绝缘子颜色属性特征图像分别送入区域网络Region Net中，生成具有 相同大小的图像区域掩模，然后下采样16次，并送入RoI模型，得到RoI 区域的绝缘子显著区域特征图像；
步骤2.2、将得到的RoI区域的绝缘子显著区域特征图像，采用Region Net网络的池化层操作对每一个区域网络Region Net中的特征按设定比例的 比率进行聚合，进而得到绝缘子的整个显著特征图像；
步骤2.3、采用边界增强损失，损失函数Lf(W,wf)表示如下：
Figure BDA0002387486920000171
在式(14)中，wf表示第f级预测熔合绝缘体区域的分类器参数，Y+表 示前景标签集，Y-背景标签集，Pr(yj＝1|X；W,wf)∈[0,1]用于表示置信度，并将 测量像素概率的融合预测用于前景，Pr(yj＝0|X；W,wf)∈[0,1]用于表示置信度，并 将测量像素概率的融合预测用于背景，e＝|Y+|/|Y|表示前景与整个图像的比值， X表示模糊图像的参数，W表示清晰图像的参数；
对于l级的预测，损失函数表示为：
Figure BDA0002387486920000172
其中，wl用于表示第l级预测融合绝缘体区域的分类器参数，θl表示第l级 预测分类器的角度参数；
由(14)和(15)可得预测的综合函数为：
Figure BDA0002387486920000173
式(16)中，αf表示损失权重以平衡f层的损失项，αl表示损失权 重以平衡l层的损失项，设置al＝αf＝1；
采用随机梯度下降SGD计算最优参数，计算公式如下所示：
(W*,θ*,w*)＝argminL(W,θ,w) (17)
W表示清晰图像的参数，w表示分类器的参数，θ表示分类器的角度参 数，W*表示清晰图像的最优参数，θ*表示分类器的最优角度参数，w*表示 分类器的最优参数；
通过调节公式(14)中的第f级损失函数各个参数、公式(15)中的第 l级损失函数参数、以及公式(16)中的预测综合函数各个参数，对绝缘子 图像进行融合预测得到整个绝缘子显著特征区域图像。
7.根据权利要求6所述的融合前景紧凑特性和多环境信息的绝缘子缺陷 检测方法，其特征在于，所述步骤3具体如下：
步骤3.1、计算显著性概率
Figure BDA0002387486920000181
如式(18)所示：
Figure BDA0002387486920000182
式(18)中，
Figure BDA0002387486920000183
表示多环境网络Multi-Context Net输出特征，
Figure BDA0002387486920000184
表示 区域网络Region-Net的输出特征，m表示超像素的显著性，若属于显著区 域时，m＝1，若属于背景区域时，m＝0，θ1表示显著区域的角度参数；
步骤3.2、在最后一个网络层中采用最小化结果和真值标签之间的最大 损失，将步骤3.1得到的绝缘子显著区域特征和背景区域特征进行准确分类， 公式如式(19)所示：
Figure BDA0002387486920000185
式(19)中，θj＝{φgc,j,φlc,j,γ,β}，其中，φgc,j在模型中表示多环境网络Multi-Context Net建模的权重参数，φlc,j在模型中表示区域网Region-net建模 的权重参数，
Figure BDA0002387486920000186
表示在第i点的特征概率，γ表示区域网络 Region Net权重比例系数，M表示点的数量，β表示多环境(Multi-Context Ne) 权重比例系数，
Figure BDA0002387486920000187
表示多环境网络在第i这点的输出特征，
Figure BDA0002387486920000188
表示区域网络 在第i这点的输出特征；
通过调节公式(18)中的显著性概率各个参数、公式(19)中的最大损 失各个参数，进而得到绝缘子图像显著特征和背景特征的概率，然后把绝缘 子图像进行准确分类，从而检测出绝缘子的缺陷；
由于原始图像较大，所以在公式(1)-(19)中使用原图像的1/8作为 输入图像，进而生成绝缘子显著图像；
将每个分支的步幅分别设置为4,2,1,1，因此所有分支的输出具有相同的 维度，其学习组合权重以生成显著的映射，再通过完全卷积层将FS、FC融合 获得最终的绝缘子显著图像SF，计算公式如式(20)所示：
SF＝Fusion(FS,FC) (20)
式(20)中，FS表示原图经过区域网络Region Net得到的准确的显著区 域图像，FC表示粗略显著区域经过区域网络Region Net得到准确的显著区域 图像。
本发明主要是模拟人类视觉注意模型对显著区域的感知力，提出了一种 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，由以上步骤可以更 准确，更好的提取绝缘子图像的整体信息并确定其边界，从而更快速的检测 出复杂背景下绝缘子的缺陷位置。
下面就DSR、CA、RBD三种算法的优缺性进行分析：
图1(a)是本发明一种基于融合前景紧凑性特征和多环境信息的绝缘缺 陷检测方法中采用原图。
DSR模型：首先采用重建误差的显著性计算模型,利用超像素表示图像 的边界特征,计算图像各区域的熵及稀疏度来重建误差,然后采用K-Means算 法获取重建误差聚类的显著度，此方法提取的绝缘子图像内部信息特征不够 完整和清晰，边界比较有损失，检测结果如图1(b)所示。
RBD模型：提出了一种多任务深度学习算法,将拉普拉斯非线性模型应 用于显著性增强的回归模型,该模型更多用于语义分割和多目标任务检测等 方面，该方法不能锐化图像前景和背景之间的界限，检测结果如图1(c)所 示。
CA模型：该模型将一幅图像划分为不同的区域，计算各区域之间颜色 元素的差异度，相比于全局对比度模型能更好的提取显著目标的细节，但不 能抑制图像的背景噪声，检测结果如图1(d)所示。
本发明提出的算法(OUR)比CA算法提取显著对象的内部信息更加完 整和清晰，保留了完整的对象边界，提取的有效区域的细节更加完整，可以 更好地抑制背景噪声，突出显著对象的边缘连续性，比RBD算法、GR算法 更有效地抑制背景噪声和亮点干扰，准确地将目标对象标记为显著区域，并 锐化前景和背景之间的界限，检测结果如图1(e)所示。
图2(a)横坐标表示召回率，纵坐标表示准确率，由图可以看到召回率 和准确率成正比，召回率越高准确率就越高，同时本文算法的召回率和准确 率都明显高于其他三种算法，由此可以看出本发明方法检测绝缘子缺陷的效 果比较好。
图2(b)横坐标表示四种算法，纵坐标表示每种算法的召回率、平均绝对 误差和F-measure的值，其中召回率和F-measure越大检测出来的效果越好， 平均绝对误差越小，检测的效果越准确，由此图可以看出本发明算法的召回 率和F-measure明显高于其他三种方法，平均绝对误差较小，由此可以看出 本发明的算法优势比较明显，能很好的检测出绝缘子的缺陷。

Claims (7)

1.融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，其特征在于，具体按照以下步骤实施：
步骤1、采集原始绝缘子图像，首先对采集的原始绝缘子图像用超像素特征描述指定区域位置的特征信息，然后采用模块化方法提取得到绝缘子粗略显著区域，同时剔除绝缘子粗略显著区域部分背景噪声，最后采用特征紧凑性衡量绝缘子图像中各区域特征的显著性，进而得到绝缘子各区域显著特征图像；
步骤2、对步骤1获得的绝缘子各区域显著特征图像送入区域网络Region Net，得到整个绝缘子的显著特征区域图像；
步骤3、对步骤2获得的整个绝缘子显著特征区域图像送入多环境网络Multi-ContextNet，通过补充Region Net网络中缺少的全局显著性评价，得到整个绝缘子准确的显著特征图像；
步骤4、对步骤3获得整个绝缘子准确的显著特征图像采用准确率-召回率precisionrecall-PR曲线、F-measure和平均绝对误差man absolute error-MAE的值进行评价，快速检测出绝缘子是否有缺陷。
2.根据权利要求1所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1、首先采用多尺度方法将绝缘子图像分成不同的层进而得到绝缘子的多层图，然后采用超像素算法SLIC，将每层图像分解为不同的超像素，得到绝缘子各个区域的超像素特征图像；
步骤1.2、通过对绝缘子各个区域超像素特征图像进行梯度平滑使区域模块化，得到绝缘子区域结构化特征图像；
步骤1.3、计算显著区域紧凑性，进而得到绝缘子各区域的紧凑性图像；
步骤1.4、计算绝缘子各区域特征的颜色属性，进而得到绝缘子各区域的颜色特征图像；
由步骤1.1、1.2、1.3、1.4得到绝缘子的各区域显著特征图像。
3.根据权利要求2所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，其特征在于，所述步骤1.2中对绝缘子各个区域超像素特征图像采用梯度平滑方法完成区域模块化处理，计算方法如式(1)所示：
Figure FDA0002387486910000021
式(1)中T表示模块化后的区域的数量，IP表示输入图像I中第p个超像素的灰度值，SP表示平均化后的结构图像，λ表示图像的平滑系数，λ越大表示图像越平滑，ε为趋于0的正数，Dx(p)表示第p个超像素在x轴方向上的区域之间的距离，Dy(p)表示第p个超像素在y轴方向上的区域之间的距离，Lx(p)表示第p个超像素在x轴方向的区域，Ly(p)表示第p个超像素在y轴方向的区域；
其中，Dx(p)和Dy(p)由式(2)计算得到：
Figure FDA0002387486910000022
式(2)中，R(p)表示以第p个超像素为中心的矩形区域，gp,g为加权函数，g表示超像素p的参数，SP表示平均化后的结构图像，
Figure FDA0002387486910000023
表示x轴方向上的平滑系数，
Figure FDA0002387486910000024
表示y轴方向的平滑系数；
其中，加权函数gp,g由式(3)计算得到：
Figure FDA0002387486910000031
式(3)中，xp表示第p个超像素在x轴方向上的点，xq表示第q个超像素在x轴方向上的点，yp表示第p个超像在y轴方向上的点，yq表示第q个超像素在y轴方向上的点，δ表示第p个超像素在x轴上的方差；
运用公式(1)、(2)和(3)进行区域模块化，进而把相同区域汇聚在一起得到绝缘子区域结构化特征图像。
4.根据权利要求3所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，其特征在于，所述步骤1.3具体如下：
步骤1.3.1、对所述步骤1.2得到的绝缘子区域结构化特征图像采用一组6维的特征向量S代表超像素的特征，如式(4)所示：
S＝[I′x,I′y,I″xx,I″yy,fx,fy] (4)
式(4)中，x表示超像素在水平方向上的点，y表示超像素在竖直方向上的点，I′x表示水平上灰度值的一阶导数、I′y表示竖直方向上灰度值的一阶导数，I″xx表示水平上灰度值的二阶导数，代表水平方向上的纹理特征、I″yy表示竖直方向上灰度值的二阶导数，代表竖直方向上的纹理特征，f是调节纹理特征与空间位置特征的权重比例参数；
步骤1.3.2、根据显著性增强的回归模型方法对每个超像素建立6×6维的方差矩阵∑，如式(5)所示：
Figure RE-FDA0002556019770000032
σbc表示每个超像素的协方差，其中，b表示每个超像素在x轴方向上的点，b＝1...6，c表示每个超像素在y轴方向的点，c＝1...6；
步骤1.3.3、分别采用纹理和局部熵信息检测区域紧凑性信息，对于纹理采用局部二元模式LBP的直方图计算纹理特征，纹理特征和局部熵信息分别由
Figure RE-FDA0002556019770000041
和
Figure RE-FDA0002556019770000042
表示：
计算超像素与多层图之间的权重
Figure RE-FDA0002556019770000043
具体计算如公式(6)所示：
Figure RE-FDA0002556019770000044
式(6)中，ξe,k表示纹理特征权重，ξl,k表示局部熵权重，dB表示直方图的纹理特征，
Figure RE-FDA0002556019770000045
表示第l层第k个超像素在i这一点的纹理特征，
Figure RE-FDA0002556019770000046
表示第m层第k个超像素在j这一点的纹理特征，
Figure RE-FDA0002556019770000047
表示第l层第k个超像素在i这一点的局部熵，
Figure RE-FDA0002556019770000048
表示第m层第k个超像素在j这一点的局部熵；
直方图的纹理特征dB定义如式(7)所示：
Figure RE-FDA0002556019770000049
式(7)中，n表示直方图的数量，z表示纹理特征系数变量，
Figure RE-FDA00025560197700000410
表示第l层第k个超像素在i这一点的纹理特征，
Figure RE-FDA00025560197700000411
表示第m层第k个超像素在j这一点的纹理特征；
局部熵特征
Figure RE-FDA00025560197700000412
是在每个像素点的领域中按照式(8)进行计算：
Figure RE-FDA00025560197700000413
式(8)中，H用于归一化局部熵信息，Hk(i)表示第k个超像素在i这一点的归一化局部熵信息；
绝缘子的区域紧凑性图像由超像素特征、方差矩阵、权重和直方图纹理特征因素决定，所以在绝缘子缺陷检测中的区域紧凑性计算部分，通过调节公式(4)中的超像素特征的参数、公式(5)中方差矩阵的参数、公式(6)中权重的参数、公式(7)中直方图纹理特征的参数和公式(8)中局部熵特征的的参数，联合得到绝缘子的区域紧凑性图像。
5.根据权利要求4所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，其特征在于，所述步骤1.4具体如下：
步骤1.4.1、采用高斯混合模型GMM聚类图像颜色，每个像素颜色表示为具有属于某个颜色属性的若干个高斯模型的加权组合，并由式(9)给出：
Figure FDA0002387486910000051
式(9)中，a表示颜色属性的类别，wa表示颜色属性为a的高斯模型的权重，μ表示整个颜色属性的特征，∑a表示颜色属性为a的协方差矩阵，μa表示颜色属性为a的特征，Ix表示x轴方向上的灰度值；
步骤1.4.2、测量颜色属性的空间方差：
计算颜色属性的水平空间方差Vh(a)，如式(10)所示：
Figure FDA0002387486910000052
其中，
Figure FDA0002387486910000053
式(10)、(11)中，ph表示超像素p的水平坐标，|X|a＝P(a|Ix)表示图像中颜色属性为a的概率，Mh(a)表示水平方向颜色属性为a的系数；
整个图像中颜色属性的空间变化定义为式(12)：
Vg(a)＝VV(a)+Vh(a) (12)
式(12)中，Vg(a)表示整个图像中颜色属性为a的方差，VV(a)表示垂直空间方差，计算方法与水平空间方差相似，Vh(a)表示水平空间方差；
通过式(13)计算图像中像素的颜色显著度CF：
Figure FDA0002387486910000061
其中，P(a|IX)表示颜色属性为a的概率，D(a)表示不同颜色属性之间的距离，N表示直方图的数量；
对于所有颜色属性，范围标准化为[0,1]，需要对每个颜色属性进行中心加权归一化项；
由于绝缘子显著特征区域图像由颜色属性高斯模型、水平空间方差、竖直空间方差和颜色显著度因素共同决定，所以通过调节公式(9)的颜色属性高斯模型中的参数，调节公式(10)、(11)和(12)中的颜色属性的水平空间方差、竖直空间方的参数，调节公式(13)中的颜色显著度参数，联合得到绝缘子显著区域特征图像。
6.根据权利要求5所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，其特征在于，所述步骤2具体如下：
步骤2.1、将所述步骤1.3得到的绝缘子区域紧凑性特征图像和步骤1.4得到的绝缘子颜色属性特征图像分别送入区域网络Region Net中，生成具有相同大小的图像区域掩模，然后下采样16次，并送入RoI模型，得到RoI区域的绝缘子显著区域特征图像；
步骤2.2、将得到的RoI区域的绝缘子显著区域特征图像，采用Region Net网络的池化层操作对每一个区域网络Region Net中的特征按设定比例的比率进行聚合，进而得到绝缘子的整个显著特征图像；
步骤2.3、采用边界增强损失，损失函数Lf(W,wf)表示如下：
Figure FDA0002387486910000071
在式(14)中，wf表示第f级预测熔合绝缘体区域的分类器参数，Y+表示前景标签集，Y-背景标签集，Pr(yj＝1|X；W,wf)∈[0,1]用于表示置信度，并将测量像素概率的融合预测用于前景，Pr(yj＝0|X；W,wf)∈[0,1]用于表示置信度，并将测量像素概率的融合预测用于背景，e＝|Y+|/|Y|表示前景与整个图像的比值，X表示模糊图像的参数，W表示清晰图像的参数；
对于l级的预测，损失函数表示为：
Figure FDA0002387486910000072
其中，wl用于表示第l级预测融合绝缘体区域的分类器参数，θl表示第l级预测分类器的角度参数；
由(14)和(15)可得预测的综合函数为：
Figure FDA0002387486910000073
式(16)中，αf表示损失权重以平衡f层的损失项，αl表示损失权重以平衡l层的损失项，设置al＝αf＝1；
采用随机梯度下降SGD计算最优参数，计算公式如下所示：
(W*,θ*,w*)＝arg min L(W,θ,w) (17)
W表示清晰图像的参数，w表示分类器的参数，θ表示分类器的角度参数，W*表示清晰图像的最优参数，θ*表示分类器的最优角度参数，w*表示分类器的最优参数；
通过调节公式(14)中的第f级损失函数各个参数、公式(15)中的第l级损失函数参数、以及公式(16)中的预测综合函数各个参数，对绝缘子图像进行融合预测得到整个绝缘子显著特征区域图像。
7.根据权利要求6所述的融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，其特征在于，所述步骤3具体如下：
步骤3.1、计算显著性概率
Figure FDA0002387486910000081
如式(18)所示：
Figure FDA0002387486910000082
式(18)中，
Figure FDA0002387486910000083
表示多环境网络Multi-Context Net输出特征，
Figure FDA0002387486910000084
表示区域网络Region-Net的输出特征，m表示超像素的显著性，若属于显著区域时，m＝1，若属于背景区域时，m＝0，θ1表示显著区域的角度参数；
步骤3.2、在最后一个网络层中采用最小化结果和真值标签之间的最大损失，将步骤3.1得到的绝缘子显著区域特征和背景区域特征进行准确分类，公式如式(19)所示：
Figure FDA0002387486910000085
式(19)中，θj＝{φgc,j,φlc,j,γ,β}，其中，φgc,j在模型中表示多环境网络Multi-Context Net建模的权重参数，φlc,j在模型中表示区域网Region-net建模的权重参数，
Figure FDA0002387486910000086
表示在第i点的特征概率，γ表示区域网络Region Net权重比例系数，M表示点的数量，β表示多环境(Multi-Context Ne)权重比例系数，
Figure FDA0002387486910000087
表示多环境网络在第i这点的输出特征，
Figure FDA0002387486910000088
表示区域网络在第i这点的输出特征；
通过调节公式(18)中的显著性概率各个参数、公式(19)中的最大损失各个参数，进而得到绝缘子图像显著特征和背景特征的概率，然后把绝缘子图像进行准确分类，从而检测出绝缘子的缺陷；
由于原始图像较大，所以在公式(1)-(19)中使用原图像的1/8作为输入图像，进而生成绝缘子显著图像；
将每个分支的步幅分别设置为4,2,1,1，因此所有分支的输出具有相同的维度，其学习组合权重以生成显著的映射，再通过完全卷积层将FS、FC融合获得最终的绝缘子显著图像SF，计算公式如式(20)所示：
SF＝Fusion(FS,FC) (20)
式(20)中，FS表示原图经过区域网络Region Net得到的准确的显著区域图像，FC表示粗略显著区域经过区域网络Region Net得到准确的显著区域图像。
CN202010102979.9A 2020-02-19 2020-02-19 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法 Active CN111583171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010102979.9A CN111583171B (zh) 2020-02-19 2020-02-19 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102979.9A CN111583171B (zh) 2020-02-19 2020-02-19 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111583171A true CN111583171A (zh) 2020-08-25
CN111583171B CN111583171B (zh) 2023-04-07

Family

ID=72122491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102979.9A Active CN111583171B (zh) 2020-02-19 2020-02-19 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111583171B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554699A (zh) * 2021-07-23 2021-10-26 东方红卫星移动通信有限公司 一种基于峰值的光斑图像定位方法及其系统
CN115546568A (zh) * 2022-12-01 2022-12-30 合肥中科类脑智能技术有限公司 绝缘子缺陷检测方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117845A1 (en) * 2014-10-27 2016-04-28 King Fahd University Petroleum and Minerals Contamination level estimation method for high voltage insulators
WO2018023734A1 (zh) * 2016-08-05 2018-02-08 深圳大学 一种3d图像的显著性检测方法
CN107767374A (zh) * 2017-10-24 2018-03-06 天津大学 一种gis盆式绝缘子内部导体局部过热智能诊断方法
CN108876788A (zh) * 2018-06-14 2018-11-23 国网江苏省电力有限公司电力科学研究院 基于多尺度重构误差融合的绝缘子显著性检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117845A1 (en) * 2014-10-27 2016-04-28 King Fahd University Petroleum and Minerals Contamination level estimation method for high voltage insulators
WO2018023734A1 (zh) * 2016-08-05 2018-02-08 深圳大学 一种3d图像的显著性检测方法
CN107767374A (zh) * 2017-10-24 2018-03-06 天津大学 一种gis盆式绝缘子内部导体局部过热智能诊断方法
CN108876788A (zh) * 2018-06-14 2018-11-23 国网江苏省电力有限公司电力科学研究院 基于多尺度重构误差融合的绝缘子显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
纪超等: "基于深度卷积网络的复杂环境中绝缘子串特征检测", 《计算机测量与控制》 *
纪超等: "改进的Fast-CNN模型在绝缘子特征检测中的研究", 《计算机与现代化》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554699A (zh) * 2021-07-23 2021-10-26 东方红卫星移动通信有限公司 一种基于峰值的光斑图像定位方法及其系统
CN113554699B (zh) * 2021-07-23 2023-05-30 东方红卫星移动通信有限公司 一种基于峰值的光斑图像定位方法及其系统
CN115546568A (zh) * 2022-12-01 2022-12-30 合肥中科类脑智能技术有限公司 绝缘子缺陷检测方法、系统、设备及存储介质
CN115546568B (zh) * 2022-12-01 2023-03-10 合肥中科类脑智能技术有限公司 绝缘子缺陷检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111583171B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Tao et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN110942000A (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
CN108009509A (zh) 车辆目标检测方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN109711416B (zh) 目标识别方法、装置、计算机设备和存储介质
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN110060273B (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN109726748B (zh) 一种基于频带特征融合的gl-cnn遥感图像场景分类方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
Qu et al. Moving vehicle detection with convolutional networks in UAV videos
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN105931241A (zh) 一种自然场景图像的自动标注方法
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
CN111583171B (zh) 融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN112818905A (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
Yan et al. Insulator detection and recognition of explosion based on convolutional neural networks
CN112232297A (zh) 基于深度联合卷积激活的遥感图像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant