CN111402223A - 一种利用变电站视频图像的变电站缺陷问题检测方法 - Google Patents

Abstract

本发明涉及一种利用变电站视频图像的变电站缺陷问题检测方法，与现有技术相比解决了难以满足变电站突发问题监控的缺陷。本发明包括以下步骤：视频图像的获取；缺陷问题检测网络的构建；缺陷问题检测网络的训练；待检测视频图像的获取；变电站缺陷问题的检测。本发明针对变电站突发缺陷的特点，利用视频图像集进行自主学习，以最大化视频图像之间的区别，从而能够主动发现新出现在视频图像中的突发缺陷问题。

Description

一种利用变电站视频图像的变电站缺陷问题检测方法

技术领域

本发明涉及变电站维护管理技术领域，具体来说是一种利用变电站视频 图像的变电站缺陷问题检测方法。

背景技术

我国地缘辽阔、电网覆盖面大，对各类变电设备实时监测与维护越发困 难。随着国家电网启动泛在电力物联网建设，基于计算机视觉的变电设备缺陷 图像缺陷问题与检测的应用研究正逐步深入。

但是变电站内的设施较多，需关注的点也较多和存在不确定性。例如， 日常需要关注的是绝缘子、表针、闸刀等常规缺陷；还需要关注操作工装要求、 着落物(风筝)等突发缺陷。由此同时，图像采集背景为不同时间点同一位置 上进行拍摄，拍摄角度还存在小角度偏移，图像数据也包含光照变化、遮挡、 形变等情况，以上众多不确定因素致使难以实现利用变电站的视频图像进行缺 陷监控。

因此，如何利用变电站的视频图像实现变电站的缺陷监控已经成为急需 解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以满足变电站突发问题监控的缺 陷，提供一种利用变电站视频图像的变电站缺陷问题检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种利用变电站视频图像的变电站缺陷问题检测方法，包括以下步骤：

视频图像的获取：获取变电站视频图像，并将视频图像按帧进行划分，形 成图像集；

缺陷问题检测网络的构建：构建缺陷问题检测网络，缺陷问题检测网络包 括差分对比网络和缺陷检测网络；

缺陷问题检测网络的训练：将图像集输入缺陷问题检测网络，对差分对比 网络和缺陷检测网络进行端到端的训练；

待检测视频图像的获取：实时获取变电站待检测视频图像，将待检测视频 图像按帧进行划分，形成待检测图像集；

变电站缺陷问题的检测：将待检测图像集输入训练后的缺陷问题检测网络， 分析出变电站缺陷问题。

所述缺陷问题检测网络的构建包括以下步骤：

构建缺陷问题检测网络包括差分对比网络和缺陷检测网络，差分对比网络 用于自动学习原始图像空间到某个特征空间的特征映射，在这个特征空间强化 两张变电设备图像的特征并最大化两张变电设备图的区别；缺陷检测网络用于 根据差分特征图区分缺陷区域和背景区域，输入是差分对比网络产生的差分特 征图，输出缺陷定位区域；

设定差分对比网络；

设定缺陷检测网络。

所述设定差分对比网络包括以下步骤：

设定差分对比网络包括编码网络和解码网络，输入两张变电设备图A和B， 输出差分特征图Y：

其中，差分对比网络包括一对权重和结构完全相同的网络，两个网络均是 由编码网络及其相对应的解码网络构成；

变电设备图A经过编码网络得到A1,变电设备图B经过编码网络得到B1， 解码网络将由编码网络得到的低分辨率的特征图A1和B1进行上采样得到与输 入图像相同的分辨率A2和B2，并对A2和B2做差分得到差分特征图Y进行缺 陷区域的检测；

设定编码网络中的每一个编码器通过卷积核组得到特征图组，卷积操作如 下：

输入是：

输出是：

其中x_j表示输入特征图的第j个通道，y_i表示输出特征图的第i个通道， 卷积步长s个像素，边界填充p个像素，使用了k₂个大小为n*n的卷积核，

表示第i个卷积核，浅层卷积核负责提取基础特征，深层卷积 核负责提取复杂的语义特征；

设定卷积操作后接批量归一化操作，非线性激活函数操作Rectified LinearUnit(ReLU)，最大池化操作；

设定解码网络中解码器是上采样操作、卷积操作、批量归一化操作、非线 性激活操作，

其中，上采样操作是利用对应编码器特征图中保存的最大池化时的池化位 置以及池化区域内的最大像素和其余像素间的比值对输入的特征图进行上采 样，对应于解码器产生多通道特征图，编码操作和解码操作的通道数量、尺寸 都是相对应的,

如果编码网络中对应的降采样操作为x₁,x₂,...,x_i,...,x_p→x_max,max＝i，

其中x_i表示第i个像素点的值，最大池化即选取图像对应的池化区域p个 像素内的最大值作为该区域池化后的值，记忆最大值的索引max＝i，且记忆池 化区域内的最大像素和其余像素间的比值x₁/x_i,x₂/x_i,...,1,...,x_p/x_i，那么对应的解 码网络中上采样操作为

y→y₁,y₂,...,y_i,...,y_p,max＝y_i，

其中：

y₁＝y*x₁/x_max,

y₂＝y*x₂/x_max,

...,

y_i＝y,

...,

y_p＝y*x_p/x_max，

两张图像A和B通过编码网络和解码网络映射到特殊的特征空间得到对应 的特征图A2和B2，做差分得到差分特征图Y。

所述设定缺陷检测网络包括以下步骤：

设定缺陷检测网络将差分对比网络得到的变电设备图像的差分特征图像Y 作为输入回归出图像中前景即缺陷区域的具体位置，缺陷检测网络给出变电设 备缺陷相关的感兴趣区域，并判断这些区域是缺陷目标还是背景，对是缺陷目 标的感兴趣区域进行位置的回归调整；

设定使用一个m维通道，n*n卷积核大小的卷积组卷积差分特征图；

通过两个并行的1*1卷积产生两个分支即边框调整层和分类层，通道数取 决于针对差分特征图上的特征点设定的初始感兴趣区域数量，并且初始感兴趣 区域的大小尺寸能够学习；

边框调整层输出四个预测值中心坐标Δx和Δy、以及宽Δw和长Δh，使用这 些平移和缩放的参数，即由初始感兴趣区域得到最终的缺陷区域的边框位置， 边框调整层的损失为

z_i＝(i-i_a)/w_a,i∈(x,y)

z_i＝log(i/i_a),i∈(w,h)

其中w_a表示初始感兴趣区域的宽度，i表示预测缺陷区域的信息，i_a表示初 始感兴趣缺陷的信息，i^*表示真实缺陷区域的信息；

分类层对每个初始感兴趣区域输出两个预测值，是缺陷目标的概率分数和 是背景的概率分数。分类层的损失如下：

T表示类别数，y_j表示样本的真实标签，p_j表示属于第j类的概率。

所述缺陷问题检测网络的训练包括以下步骤：

将图像集分别输入差分对比网络，得到两个相同尺寸的同时强化语义和位 置信息的特征图；

差分对比网络通过两个强化特征图做差得到差分特征图；

将差分特征图输入缺陷检测网络，缺陷检测网络包括定位缺陷感兴趣区域 分支损失和分类感兴趣区域分支损失，利用Softmax Loss分类损失和Smooth L1Loss回归损失对整个网络用随机梯度下降法进行整个网络的端到端训练网 络。

所述变电站缺陷问题的检测包括以下步骤：

将待检测图像集中的图像C输入差分对比网络得到相同尺寸的特征图C2；

将待检测图像集中的图像D输入具有相同权重和结构的差分对比网络得到 相同尺寸的特征图D2；

输出通过特征图C2、D2做差得到差分特征图N；

差分特征图N输入缺陷检测网络，得到变电站缺陷相关的感兴趣区域分类 概率和边框具体位置。

有益效果

本发明的一种利用变电站视频图像的变电站缺陷问题检测方法，与现有 技术相比针对变电站突发缺陷的特点，利用视频图像集进行自主学习，以最大 化视频图像之间的区别，从而能够主动发现新出现在视频图像中的突发缺陷问 题。

本发明通过自动学习原始图像空间到某个特征空间的特征映射，在这个 特征空间强化两张变电设备图像的特征并最大化两张变电设备图的区别，网络 的设计在保证感受野的同时又可以在像素级别上提取特征用于缺陷检测，解码 阶段不仅利用了池化位置而且利用了池化区域内的最大像素和其余像素间的 比值，所以得到的特征图是平滑的且与编码阶段的特征图结构相似，提高关键 点相关的边界划分，更利于在像素级别学习到区分细微差距的映射关系。

附图说明

图1为本发明的方法顺序图；

图2为本发明中缺陷问题检测网络的构建组合图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用 以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种利用变电站视频图像的变电站缺陷问题 检测方法，包括以下步骤：

第一步，视频图像的获取。获取变电站视频图像，并将视频图像按帧进行 划分，形成图像集。在实际应用中，不断拍摄的视频图像作为不断训练、不断 分析的数据集，以使得网络模型随着时间的推移更加强大，也使得网络模型能 够准确地发现变电站内前期未出现的缺陷问题，使得变电站视频图像监测更加 智能化。

第二步，缺陷问题检测网络的构建：构建缺陷问题检测网络，缺陷问题检 测网络包括差分对比网络和缺陷检测网络。缺陷问题检测网络的作用主要有几 点：1、智能化分析变电站的视频图像，经过大量的图像分析后，针对于新出 现的缺陷问题，能够第一时间准确判断出来；2、能够找到更加细致的缺陷问 题，在实际应用中，由于变电站视频图像通常为广角摄像头，其摄录覆盖面较 广，并非专对于某一点的专用摄像头，而广角摄像头正因为覆盖面太广，其摄 录的细小缺陷问题在原图上较难直观呈现，如安全帽颜色差异、安全牌字体差 异、工作人员穿的鞋子等细致要求，在此通过缺陷问题检测网络将细致问题放大化，先利用不同图像之间的特征空间的特征映射，找到细微的区别点，从技 术上发现眼界直观上发现不了的缺陷问题，从而达到更高的分析识别度。其具 体步骤如下：

(1)构建缺陷问题检测网络包括差分对比网络和缺陷检测网络。差分对 比网络用于自动学习原始图像空间到某个特征空间的特征映射，在这个特征空 间强化两张变电设备图像的特征并最大化两张变电设备图的区别；缺陷检测网 络用于根据差分特征图区分缺陷区域和背景区域，输入是差分对比网络产生的 差分特征图，输出缺陷定位区域。同时，由于是对差分特征图进行设备缺陷相 关的感兴趣区域回归，所以不涉及具体缺陷的分类，即无论是什么类别的设备 缺陷均能检测，满足了变电站视频网络中新出现缺陷问题的发现要求。

例如，变电站新进入了人员，通过差分对比网络就能发现出这个人的新出 现，拟定成可能是缺陷问题，具体是否为缺陷问题，交于缺陷检测网络根据训 练所认识的工装、工作牌等进行具体的缺陷判断。

(2)如图2所示，设定差分对比网络。差分对比网络主要是自动学习一 个特征空间映射关系，原始图像空间的细微差别映射到这个特征空间后会强化 两张变电设备图像的特征并最大化两张变电设备图的区别以便于进行缺陷检 测，由于普通的编码网络虽然会降低计算量且保证图像特征的感受野，但是会 降低特征图的分辨率，所以对具有较大区别的图像对检测效果好，具有细微差 别的图像对在普通的编码网络中会因为分辨率的降低丢失关键区别信息，所以 差分对比网络在编码网络之后设计了解码网络并且需要在编码网络记忆最大 池化操作时的池化位置以及池化区域内的最大像素和其余像素间的比值，在解 码网络利用这些位置以及相对比值信息进行非线性上采样，上采样步骤就不需 要进行卷积学习，可以减少训练的参数，上采样后得到的特征图由于不仅使用 了池化位置而且使用了池化区域内的最大像素和其余像素间的比值，所以得到 的特征图是平滑的且与降采样之前的特征图结构一致，提高关键点相关的边界 划分，更利于学习到区分细微差距的映射关系，记忆并利用这些关键信息也可 以在其他编解码结构中使用，差分对比网络可用于进行像素级别图像特征提取， 得到一对输入图像对应的具有缺陷区域语义和位置信息的高分辨率特征图。

设定差分对比网络包括以下步骤：

A1)设定差分对比网络包括编码网络和解码网络，输入两张变电设备图A 和B，输出差分特征图Y：

其中，差分对比网络包括一对权重和结构完全相同的网络，两个网络均是 由编码网络及其相对应的解码网络构成；

变电设备图A经过编码网络得到A1,变电设备图B经过编码网络得到B1， 解码网络将由编码网络得到的低分辨率的特征图A1和B1进行上采样得到与输 入图像相同的分辨率A2和B2，并对A2和B2做差分得到差分特征图Y进行缺 陷区域的检测。由于变电站视频图像变化较多，可能随时有人员或其他小动物 的进入，特别是在广角摄像头下均呈小物体样，通过两个图中找出特征图，再 对特征图进行对比，能够保证发现细小差别。

A2)设定编码网络中的每一个编码器通过卷积核组得到特征图组，卷积操 作如下：

输入是：

输出是：

其中x_j表示输入特征图的第j个通道，y_i表示输出特征图的第i个通道， 卷积步长s个像素，边界填充p个像素，使用了k₂个大小为n*n的卷积核，

表示第i个卷积核，浅层卷积核负责提取基础特征，深层卷积 核负责提取复杂的语义特征。

A3)设定卷积操作后接批量归一化操作，非线性激活函数操作Rectified LinearUnit(ReLU)，最大池化操作。

A4)设定解码网络中解码器是上采样操作、卷积操作、批量归一化操作、 非线性激活操作，

其中，上采样操作是利用对应编码器特征图中保存的最大池化时的池化位 置以及池化区域内的最大像素和其余像素间的比值对输入的特征图进行上采 样，对应于解码器产生多通道特征图，编码操作和解码操作的通道数量、尺寸 都是相对应的,

如果编码网络中对应的降采样操作为x₁,x₂,...,x_i,...,x_p→x_max,max＝i，

其中x_i表示第i个像素点的值，最大池化即选取图像对应的池化区域p个 像素内的最大值作为该区域池化后的值，记忆最大值的索引max＝i，且记忆池 化区域内的最大像素和其余像素间的比值x₁/x_i,x₂/x_i,...,1,...,x_p/x_i，那么对应的解 码网络中上采样操作为

y→y₁,y₂,...,y_i,...,y_p,max＝y_i，

其中：

y₁＝y*x₁/x_max,

y₂＝y*x₂/x_max,

...,

y_i＝y,

...,

y_p＝y*x_p/x_max，

两张图像A和B通过编码网络和解码网络映射到特殊的特征空间得到对应 的特征图A2和B2，做差分得到差分特征图Y。

(3)设定缺陷检测网络。设定缺陷检测网络包括以下步骤：

B1)设定缺陷检测网络将差分对比网络得到的变电设备图像的差分特征图 像Y作为输入回归出图像中前景即缺陷区域的具体位置，缺陷检测网络给出变 电设备缺陷相关的感兴趣区域，并判断这些区域是缺陷目标还是背景，对是缺 陷目标的感兴趣区域进行位置的回归调整。

B2)设定使用一个m维通道，n*n卷积核大小的卷积组卷积差分特征图。

B3)通过两个并行的1*1卷积产生两个分支即边框调整层和分类层，通道 数取决于针对差分特征图上的特征点设定的初始感兴趣区域数量，并且初始感 兴趣区域的大小尺寸能够学习。

B31)边框调整层输出四个预测值中心坐标Δx和Δy、以及宽Δw和长Δh， 使用这些平移和缩放的参数，即由初始感兴趣区域得到最终的缺陷区域的边框 位置，边框调整层的损失为

z_i＝(i-i_a)/w_a,i∈(x,y)

z_i＝log(i/i_a),i∈(w,h)

其中w_a表示初始感兴趣区域的宽度，i表示预测缺陷区域的信息，i_a表示初 始感兴趣缺陷的信息，i^*表示真实缺陷区域的信息；

B32)分类层对每个初始感兴趣区域输出两个预测值，是缺陷目标的概率 分数和是背景的概率分数。分类层的损失如下：

T表示类别数，y_j表示样本的真实标签，p_j表示属于第j类的概率。

第三步，缺陷问题检测网络的训练：将图像集输入缺陷问题检测网络，对 差分对比网络和缺陷检测网络进行端到端的训练。包括以下步骤：

(1)将图像集分别输入差分对比网络，得到两个相同尺寸的同时强化语 义和位置信息的特征图；

(2)差分对比网络通过两个强化特征图做差得到差分特征图；

(3)将差分特征图输入缺陷检测网络，缺陷检测网络包括定位缺陷感兴 趣区域分支损失和分类感兴趣区域分支损失，利用Softmax Loss分类损失和 Smooth L1Loss回归损失对整个网络用随机梯度下降法进行整个网络的端到端 训练网络。

第四步，待检测视频图像的获取：实时获取变电站待检测视频图像，将待 检测视频图像按帧进行划分，形成待检测图像集。

第五步，变电站缺陷问题的检测：将待检测图像集输入训练后的缺陷问题 检测网络，分析出变电站缺陷问题。包括以下步骤：

(1)将待检测图像集中的图像C输入差分对比网络得到相同尺寸的特征 图C2；

(2)将待检测图像集中的图像D输入具有相同权重和结构的差分对比网 络得到相同尺寸的特征图D2；

(3)输出通过特征图C2、D2做差得到差分特征图N；

(4)差分特征图N输入缺陷检测网络，得到变电站缺陷相关的感兴趣区 域分类概率和边框具体位置。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行 业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书 中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会 有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发 明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种利用变电站视频图像的变电站缺陷问题检测方法，其特征在于，包括以下步骤：

11)视频图像的获取：获取变电站视频图像，并将视频图像按帧进行划分，形成图像集；

12)缺陷问题检测网络的构建：构建缺陷问题检测网络，缺陷问题检测网络包括差分对比网络和缺陷检测网络；

13)缺陷问题检测网络的训练：将图像集输入缺陷问题检测网络，对差分对比网络和缺陷检测网络进行端到端的训练；

14)待检测视频图像的获取：实时获取变电站待检测视频图像，将待检测视频图像按帧进行划分，形成待检测图像集；

15)变电站缺陷问题的检测：将待检测图像集输入训练后的缺陷问题检测网络，分析出变电站缺陷问题。

2.根据权利要求1所述的一种利用变电站视频图像的变电站缺陷问题检测方法，其特征在于，所述缺陷问题检测网络的构建包括以下步骤：

21)构建缺陷问题检测网络包括差分对比网络和缺陷检测网络，差分对比网络用于自动学习原始图像空间到某个特征空间的特征映射，在这个特征空间强化两张变电设备图像的特征并最大化两张变电设备图的区别；缺陷检测网络用于根据差分特征图区分缺陷区域和背景区域，输入是差分对比网络产生的差分特征图，输出缺陷定位区域；

22)设定差分对比网络；

23)设定缺陷检测网络。

3.根据权利要求2所述的一种利用变电站视频图像的变电站缺陷问题检测方法，其特征在于，所述设定差分对比网络包括以下步骤：

31)设定差分对比网络包括编码网络和解码网络，输入两张变电设备图A和B，输出差分特征图Y：

其中，差分对比网络包括一对权重和结构完全相同的网络，两个网络均是由编码网络及其相对应的解码网络构成；

变电设备图A经过编码网络得到A1,变电设备图B经过编码网络得到B1，解码网络将由编码网络得到的低分辨率的特征图A1和B1进行上采样得到与输入图像相同的分辨率A2和B2，并对A2和B2做差分得到差分特征图Y进行缺陷区域的检测；

32)设定编码网络中的每一个编码器通过卷积核组得到特征图组，卷积操作如下：

输入是：

输出是：

其中x_j表示输入特征图的第j个通道，y_i表示输出特征图的第i个通道，卷积步长s个像素，边界填充p个像素，使用了k₂个大小为n*n的卷积核，

表示第i个卷积核，浅层卷积核负责提取基础特征，深层卷积核负责提取复杂的语义特征；

33)设定卷积操作后接批量归一化操作，非线性激活函数操作Rectified Linear Unit(ReLU)，最大池化操作；

34)设定解码网络中解码器是上采样操作、卷积操作、批量归一化操作、非线性激活操作，

其中，上采样操作是利用对应编码器特征图中保存的最大池化时的池化位置以及池化区域内的最大像素和其余像素间的比值对输入的特征图进行上采样，对应于解码器产生多通道特征图，编码操作和解码操作的通道数量、尺寸都是相对应的,

如果编码网络中对应的降采样操作为x₁,x₂,...,x_i,...,x_p→x_max,max＝i，

其中x_i表示第i个像素点的值，最大池化即选取图像对应的池化区域p个像素内的最大值作为该区域池化后的值，记忆最大值的索引max＝i，且记忆池化区域内的最大像素和其余像素间的比值x₁/x_i,x₂/x_i,...,1,...,x_p/x_i，那么对应的解码网络中上采样操作为

y→y₁,y₂,...,y_i,...,y_p,max＝y_i，

其中：

y₁＝y*x₁/x_max,

y₂＝y*x₂/x_max,

...,

y_i＝y,

...,

y_p＝y*x_p/x_max，

两张图像A和B通过编码网络和解码网络映射到特殊的特征空间得到对应的特征图A2和B2，做差分得到差分特征图Y。

4.根据权利要求2所述的一种利用变电站视频图像的变电站缺陷问题检测方法，其特征在于，所述设定缺陷检测网络包括以下步骤：

41)设定缺陷检测网络将差分对比网络得到的变电设备图像的差分特征图像Y作为输入回归出图像中前景即缺陷区域的具体位置，缺陷检测网络给出变电设备缺陷相关的感兴趣区域，并判断这些区域是缺陷目标还是背景，对是缺陷目标的感兴趣区域进行位置的回归调整；

42)设定使用一个m维通道，n*n卷积核大小的卷积组卷积差分特征图；

43)通过两个并行的1*1卷积产生两个分支即边框调整层和分类层，通道数取决于针对差分特征图上的特征点设定的初始感兴趣区域数量，并且初始感兴趣区域的大小尺寸能够学习；

431)边框调整层输出四个预测值中心坐标Δx和Δy、以及宽Δw和长Δh，使用这些平移和缩放的参数，即由初始感兴趣区域得到最终的缺陷区域的边框位置，边框调整层的损失为

z_i＝(i-i_a)/w_a,i∈(x,y)

z_i＝log(i/i_a),i∈(w,h)

其中w_a表示初始感兴趣区域的宽度，i表示预测缺陷区域的信息，i_a表示初始感兴趣缺陷的信息，i^*表示真实缺陷区域的信息；

432)分类层对每个初始感兴趣区域输出两个预测值，是缺陷目标的概率分数和是背景的概率分数。分类层的损失如下：

T表示类别数，y_j表示样本的真实标签，p_j表示属于第j类的概率。

5.根据权利要求1所述的一种利用变电站视频图像的变电站缺陷问题检测方法，其特征在于，所述缺陷问题检测网络的训练包括以下步骤：

51)将图像集分别输入差分对比网络，得到两个相同尺寸的同时强化语义和位置信息的特征图；

52)差分对比网络通过两个强化特征图做差得到差分特征图；

53)将差分特征图输入缺陷检测网络，缺陷检测网络包括定位缺陷感兴趣区域分支损失和分类感兴趣区域分支损失，利用Softmax Loss分类损失和Smooth L1 Loss回归损失对整个网络用随机梯度下降法进行整个网络的端到端训练网络。

6.根据权利要求1所述的一种利用变电站视频图像的变电站缺陷问题检测方法，其特征在于，所述变电站缺陷问题的检测包括以下步骤：

61)将待检测图像集中的图像C输入差分对比网络得到相同尺寸的特征图C2；

62)将待检测图像集中的图像D输入具有相同权重和结构的差分对比网络得到相同尺寸的特征图D2；

63)输出通过特征图C2、D2做差得到差分特征图N；

64)差分特征图N输入缺陷检测网络，得到变电站缺陷相关的感兴趣区域分类概率和边框具体位置。

Images