CN110705601A - 基于单阶段目标检测的变电站设备渗漏油图像识别方法 - Google Patents

Abstract

本发明的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，获取原始图像，针对原始图像基于优化分类进行数据增广；针对增广后的数据，基于自适应高斯核的非局部均值进行图像去噪；构建锚点anchor细化模块及目标检测模块，基于构建的模块进行网络结构优化；基于anchor细化模块及目标检测模块，进行深度学习神经网络模型机器训练；导入待诊断图像至训练完成的神经网络模型，进行图像数据处理分析和缺陷诊断。本发明的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，对原始图片进行处理，采用基于自适应高斯核的去噪方法消除原始图片中的噪声和干扰信息，提高原始图片清晰度，有利于提高后续的智能识别分类的准确性。

Description

基于单阶段目标检测的变电站设备渗漏油图像识别方法

技术领域

本发明涉及设备维护技术领域，具体涉及一种基于单阶段目标检测的变电站设备渗漏油图像识别方法。

背景技术

基于油绝缘的传统变电站充油设备依赖于绝缘油良好的绝缘特性，能有效防止设备内部短路，但受到设备制造质量、运输、安装以及长期运行等多重复杂因素的影响，运行充油设备渗漏油比较常见，并且在设备带点情况下很难进行检查和根治，只能结合设备停电时进行处理

变电站充油设备渗漏油的原因很多，目前使用的散热器放气塞子普遍存在不带止口的问题，无法起到良好的密封效果，加上部分厂家的设备结构设计不合理，也极为容易造成渗漏油缺陷。充油设备渗漏油还跟其所承载的负荷大小有关，设备承载负荷越高，则设备油温越高，绝缘油的粘度变得更加稀薄，更加容易导致渗漏油问题。充油设备的组件质量也是造成其容易导致渗漏油的主要原因之一。在充油设备运输、安装过程中采取的起吊、运输、安装操作方法不当也造成的充油设备渗漏油。充油设备长期运行过程中因环境温度、负荷变化等情况发生的热胀冷缩造成的渗漏油问题。

近年来，我国电力系统也在大力推进变电设备化，可是我国电力系统中的变电所依然没有完全改造，在这些变电所中使用的变压器等设备，依然是老式变压器居多，如果计划改造所有的变电设备，需要耗费巨大的人力、物力、财力，还会对正常的电网运行有一定影响。

目前变电站设备渗漏油缺陷主要是人力巡检，发现漏油问题在进行维修。随着计算机技术和图像处理技术的发展，人工智能得到广泛的应用，如何有效将深度学习技术应用于变电站设备渗漏油缺陷检测，这是目前亟需解决的问题。

发明内容

为解决上述现有技术的中的不足，本发明的目的在于提供一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，该方法用于对变电站设备巡检图像进行智能识别诊断，提升了诊断的速度和精度，大大节省了人力物力。

本发明公开了一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，，包括如下步骤：

获取原始图像，针对原始图像基于优化分类进行数据增广；

针对增广后的数据，基于自适应高斯核的非局部均值进行图像去噪；

构建锚点anchor细化模块及目标检测模块，基于构建的模块进行网络结构优化；

基于anchor细化模块及目标检测模块，进行深度学习神经网络模型机器训练；

导入待诊断图像至训练完成的神经网络模型，进行图像数据处理分析和缺陷诊断。

作为上述方案的进一步优化，所述基于优化分类的数据增广具体包括如下内容：

计算测试集合的所有类的分类正确率；

检索测试集合中的正确率最低的分类；

基于检索的正确率最低的分类进行数据增广处理。

作为上述方案的进一步优化，所述图像去噪的处理步骤包括如下：

基于自适应高斯核框架，设置θ_i方向角作为图像的主方向；

设定两幅图像N_i和N_j的主方向分别为θ_i与θ_j，设定Δθ_i，j为练个方向角θ_i与θ_j的差值；

若Δθ_i，j的数值是90的整数倍，交换图像N_j内像素进行图像的旋转转换；

若Δθ_i，j的数值不是90的整数倍，扩大N_j的图像尺寸至可选取到新的图像邻域，进行图像的旋转转换；

若Δθ_i，j的数值不超过2时，图像N_i和N_j为精准匹配，不执行图像的旋转转换；

作为上述方案的进一步优化，所述anchor细化模块的构建通过剔除分类器的分类层。

作为上述方案的进一步优化，所述目标检测模块通过传输连接块的输出进行构建。

作为上述方案的进一步优化，基于anchor细化模块调整anchors的具体位置及其大小，再通过目标检测模块进行回归操作，具体步骤包括如下：

基于划分的图像特征图的单元，生成n个细化的anchorboxes；

通过获取生成的n个细化的anchorboxes，将anchorboxes传递至目标检测模块的对应的特征图，生成目标类别和准确的目标位置和大小。

作为上述方案的进一步优化，所述进行深度学习神经网络模型机器训练基于损失函数的计算，包括anchor细化模块的损失以及目标检测模块的损失。

作为上述方案的进一步优化，所述损失函数定义如下：

设定i为一个小批次里面的anchor索引，

是anchori的真实类别标签，

是anchori真实的位置和大小；

p_i和x_i分别表示预测的anchori是一个目标的置信度和anchor细化模块中细化后的anchori的坐标；

c_i和t_i分别表示目标检测模块中预测的边界框的物体类别和坐标；

N_arm和N_odm分别为anchor细化模块及目标检测模块中正样本的anchors数目，分类损失L_b是两个类别的交叉熵损失，多分类损失L_m是多个类别置信度的归一化指数函数损失；使用平滑L1损失作为回归损失L_r；

上式的指示函数

当条件为真时，输出1；即

反之输出为0；

表明负样本anchors的回归损失被忽略；

当N_arm＝0，设置

和

当N_odm＝0，设置

和

本发明还公开了一种基于单阶段目标检测的变电站设备渗漏油图像识别系统，所述系统包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法。

一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如上任一所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法。

本发明采用上述的技术方案，与现有技术相比，一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，具有以下技术效果：

1、本发明提供的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，针对原始图片进行预处理，采用基于自适应高斯核的去噪方法消除原始图片中的噪声和干扰信息，提高原始图片的清晰度，有利于提高后续的智能识别分类的准确性；

2、本发明提供的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，采用的anchor细化模块和目标检测模块的二级级联结构，anchor细化模块旨在过滤负样本anchors和粗略的调整anchors的位置和大小，提供更好的初始化结果；目标检测模块则将来细化的anchors作为输入，回归准确的目标位和尺寸，基于二级级联结构能够高效地实现目前最好的检测精度，有效保证检测结果的准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例的流程示意图；

图2为本发明实施例基于优化分类的数据增广的流程示意图；

图3为本发明实施例的图像去噪的处理流程示意图；

图4为本发明实施例旋转匹配图像片相似性对比流程图；

图5为本发明实施例噪声图像权系数分布示意图；

图6为本发明实施例基于anchor细化模块的调整位置及其大小示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1-6所示，本发明实施例公开了一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，，包括如下步骤：

步骤1，获取原始图像，针对原始图像基于优化分类进行数据增广；

具体的，基于优化分类的数据增广具体包括如下内容：

步骤11，计算测试集合的所有类的分类正确率；

步骤12，检索测试集合中的正确率最低的分类；

步骤13，基于检索的正确率最低的分类进行数据增广处理；

更具体的，卷积神经网络的末层全连接层与输出层之间，针对输入的图像样本的特征向量进行机器训练，当输入样本过程中，获取如下多元方程组：

上式中，x₁，x₂，…，x_n为最后一层全连接层的输入；a₁，a₂，…，a_m为输出，m表示分类的类别数，W为全连接层的权值参数，b为全连接层的偏置；

针对第i类分析，当输入k个样本时，对于每个类别来说，存在一个多元方程组如下式所示，方程的未知数为该类别所对应的权值参数w，输入样本个数即为构成该方程组的方程个数：

在训练网络模型时，训练集的样本数是k可数的，每类出现的输入样本数量达不到实际全连接层权值参数的数量，k远小于n，针对多元线性方程组，方程组个数小于未知数个数，方程组为欠定方程组，转换成矩阵形式如下，欠定方程组有无穷多解也就是方程组具有多组解；

针对样本特征复杂的分类样本，通过增加输入样本个数，增加方程组的方程个数，基础解系所含向量个数增加，则促进网络模型达到全局最优；

通过基于优化分类的数据增广将分类效果不好的类输入样本增加，即增加该类所对应的方程组的方程个数，针对单类进行数据增广能够提高网络模型对该类的分类正确率进而提高整体的分类正确率；

步骤2，针对增广后的数据，基于自适应高斯核的非局部均值进行图像去噪；

具体的，图像去噪的处理步骤包括如下：

步骤21，基于自适应高斯核框架，设置θ_i方向角作为图像的主方向，利用θ_i实现图像片的旋转匹配；

步骤22，设定两幅图像N_i和N_j的主方向分别为θ_i与θ_j，设定Δθ_i，j为练个方向角θ_i与θ_j的差值；

步骤23，若Δθ_i，j的数值是90的整数倍，交换图像N_j内像素进行图像的旋转转换；

步骤24，若Δθ_i，j的数值不是90的整数倍，扩大N_j的图像尺寸至可选取到新的图像邻域，进行图像的旋转转换；

步骤25，若Δθ_i，j的数值不超过2时，图像N_i和N_j为精准匹配，不执行图像的旋转转换；

具体的，所述anchor细化模块的构建通过剔除分类器的分类层，目标检测模块通过传输连接块的输出进行构建；

基于图像的旋转匹配，使得在当前图像片与目标图像片之间建立更高的相关性，从而发现更多相似的像素，较多的相似像素便于获得更好的去噪效果；

具体的，在通过计算相似距离进行可靠的相似权系数的获取过程中，基于自适应高斯核来计算相似距离，再关联旋转匹配相似性度量以及自适应高斯核权系数获取新的相似距离d_K(i，j)，具体公式如下所示：

上式中，

为归一化后自适应高斯核的权系数，即权函数

定义为：

上式中h(i)为局部自适应相似权重参数，即去噪结果可由下式计算：

上式中，

为归一化因子，S(i)为搜索区域；

具体的，本实施例的局部自适应相似权重参数选取方法基于图像残差估计，具体计算包括如下：

计算含有噪声的样本图像中各个像素的残差r_i：

其中

用于保证在平坦区域E(.)表示数学期望；

利用一个鲁棒的中值估计器估计图像局部区域的噪声标准σ_i，即：

其中，R＝{r₁，r₂，...，r_|Ω(i)|}，|Ω(i)|为图像内像素的总个数；设R′＝{r₁，r₂，...，r_|s(i)|}为搜索区域S(i)内各点的残差估计，搜索区域内的噪声水平定义为σ_i＝mean{R′}

局部自适应相似权重参数h(i)的定义为：

h(i)＝ησ_i (10)

其中，常量η用于调控参数；

基于残差估计方法在图像细节部分存在高估噪声水平，在平坦部分噪声会低估噪声水平，将η设计为与

和σ_i有关的函数：

其中，η₁＝1.1，η₂＝1.6是经验值，通过实验优化得到；

参见图5，为本实施例采用的基于自适应高斯核的非局部均值的去噪方法与传统非局部方法权系数分布示意图，图中左侧是噪声图像，中间是传统非局部均值图像去噪权系数分布，右侧是基于自适应高斯核的非局部均值去噪权系数分布；

图像子块被噪声标准σ＝20的高斯噪声污染，图中越亮的像素表示越大的权值；

从图中可以看出，基于自适应高斯核的非局部均值的去噪方法中具有相似边缘或纹理结构的像素被赋予较大的权值，即本实施例提出的权函数能够更有效地度量像素之间的相似性；

在纹理图像中基于自适应高斯核的非局部均值的去噪方法能够发现更多相似的像素，旋转匹配相似对比能够发现更多具有相似模式的图像片，保证基于自适应高斯核的非局部均值的去噪方法有更好的去噪效果；

步骤3，构建锚点anchor细化模块及目标检测模块，基于构建的模块进行网络结构优化；

所述网络结构包括anchor细化模块和目标检测模块，anchor细化模块用于移除负样本anchors，以便为分类器减少搜索空间，同时粗略调整anchors的位置和大小，以便为随后的回归器提供更好的初始化结果；目标检测模块用于根据细化后的anchors将结果回归到准确的目标位置，并预测多类别标签；

anchor细化模块的构建通过剔除分类器的分类层；目标检测模块通过传输连接块的输出进行构建；传输连接块后面接预测层，其生成目标类别的分数和相对于细化后的anchors的坐标偏移量；

anchor细化模块和目标检测模块基于传输连接块建立联系，将来自anchor细化模块的不同层的功能转换为目标检测模块所需的形式，以便目标检测模块可以共享来自anchor细化模块的特征；

在此特别说明的是，传输连接块用于与anchors相关联的特征图，传输连接块还通过将高级特征添加到传输的特征来继承大规模的上下文，以提高检测的准确性；为了使得大规模的上下文之间的维度相匹配，采用逆卷积操作来增大高级特征，再求和之后添加到卷积层以确保检测的特征的可辩性；

为了提高基于不同尺度下的各个特征层的单步回归预测目标的位置和大小的准确性，本实施例采用两步级联回归策略来回归目标的位置和大小，先通过anchor细化模块首次调整anchors的位置和大小，便于为目标检测模块的回归操作提供更好的初始化结果

更具体的，基于anchor细化模块调整anchors的具体位置及其大小，再通过目标检测模块进行回归操作，具体步骤包括如下：

步骤31，基于划分的图像特征图的单元，生成n个细化的anchorboxes；

步骤32，通过获取生成的n个细化的anchorboxes，将anchorboxes传递至目标检测模块的对应的特征图，生成目标类别和准确的目标位置和大小；

本实施例在计算2个类别分数和相对于细化anchorboxes的四个精确的偏移量，为每个细化anchorbox产生6个输出以实现检测任务；本实施例使用两步级联回归策略，即anchor细化模块生成细化后的anchorboxes，目标检测模块再将这些细化后的anchorboxes作为输入用于进一步检测，尤其针对小目标而言，使得检测结果更加精确；

具体的，本实施例还通过设计负样本过滤机制，拒绝已经被精准分类的负样本anchors，并调节样本失衡问题；

针对在训练阶段对于一个细化后的anchorbox，若其负置信度大于一个预先设置好的阈值θ，即可在训练ODM的过程中舍弃该anchor；优选的，本实施的θ设置为0.99；

通过传递经过细化后的负样本anchorboxes和正样本anchorboxes来训练目标检测模块；

针对在推理阶段，若存在一个经过细化后的anchorbox被赋予一个大于θ的负置信度，则该anchor将在目标检测模块的检测过程中舍弃；

步骤4，基于anchor细化模块及目标检测模块，进行深度学习神经网络模型机器训练；

具体的，训练基于设计的anchor细化模块和目标检测模块的深度学习神经网络模型，本实施例的损失函数包括anchor细化模块的损失以及目标检测模块的损失，对于anchor细化模块，为每个anchor赋予一个二元类标签，表明是一个目标或者不是一个目标，并且同时回归他的位子和大小，以获得一个细化的anchor；

将具有小于阈值的负置信度的细化后的anchors传递给目标检测模块以便进一步预测目标类别和准确的目标位子和大小；

损失函数定义如下：

设定i为一个小批次里面的anchor索引，

是anchori的真实类别标签，

是anchori真实的位置和大小；

p_i和x_i分别表示预测的anchori是一个目标的置信度和anchor细化模块中细化后的anchori的坐标；

c_i和t_i分别表示目标检测模块中预测的边界框的物体类别和坐标；

N_arm和N_odm分别为anchor细化模块及目标检测模块中正样本的anchors数目，分类损失L_b是两个类别的交叉熵损失，多分类损失L_m是多个类别置信度的归一化指数函数损失；使用平滑L1损失作为回归损失L_r；

上式的指示函数

当条件为真时，输出1；即

反之输出为0；

表明负样本anchors的回归损失被忽略；

当N_arm＝0，设置

和

当N_odm＝0，设置

和

更具体的，为了处理不同尺度的目标，本发明实施例选取四个特种层，通过以VGG-16作为主干网络，步长大小分别为8，16，32和64像素，与预测的几种不同尺度的anchors进行关联；

选取的四个特征层均与一个特定的的anchors的尺度和三个纵横比(即0.5，1.0，2.0)相关联；特别说明的是，此处anchors的尺度为对应步长的四倍；

训练过程当中，根据Jaccard重叠觉得anchors和真实框质检的对应关系，针对性的对于网络模型进行端与端的训练；通过将每个真实框与和其最佳重叠分数的anchorboxes进行匹配，再将anchorboxes与和其重叠度高于0.5的任何真实框进行匹配；

步骤5，导入待诊断图像至训练完成的神经网络模型，进行图像数据处理分析和缺陷诊断；

具体的，通过将待诊断的目标图像导入训练完成的神经网络模型，进行图像数据处理分析和缺陷诊断，基于将待诊断识别的变电站渗漏油图像输入到训练完成的深度神经网络模型，验证本案的算法的准确度。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。

Claims (9)

1.一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，其特征在于，包括如下步骤：

获取原始图像，针对原始图像基于优化分类进行数据增广；

针对增广后的数据，基于自适应高斯核的非局部均值进行图像去噪；

构建锚点anchor细化模块及目标检测模块，基于构建的模块进行网络结构优化；

基于anchor细化模块及目标检测模块，进行深度学习神经网络模型机器训练；

导入待诊断图像至训练完成的神经网络模型，进行图像数据处理分析和缺陷诊断。

2.根据权利要求1所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，其特征在于，所述基于优化分类的数据增广具体包括如下内容：

计算测试集合的所有类的分类正确率；

检索测试集合中的正确率最低的分类；

基于检索的正确率最低的分类进行数据增广处理。

3.根据权利要求1所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，其特征在于，所述图像去噪的处理步骤包括如下：

基于自适应高斯核框架，设置θ_i方向角作为图像的主方向；

设定两幅图像N_i和N_j的主方向分别为θ_i与θ_j，设定Δθ_i，j为练个方向角θ_i与θ_j的差值；

若Δθ_i，j的数值是90的整数倍，交换图像N_j内像素进行图像的旋转转换；

若Δθ_i，j的数值不是90的整数倍，扩大N_j的图像尺寸至可选取到新的图像邻域，进行图像的旋转转换；

若Δθ_i，j的数值不超过2时，图像N_i和N_j为精准匹配，不执行图像的旋转转换。

4.根据权利要求1所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，其特征在于，所述anchor细化模块的构建通过剔除分类器的分类层。

5.根据权利要求1所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，其特征在于，所述目标检测模块通过传输连接块的输出进行构建。

6.根据权利要求4或5所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，其特征在于，基于anchor细化模块调整anchors的具体位置及其大小，再通过目标检测模块进行回归操作，具体步骤包括如下：

基于划分的图像特征图的单元，生成n个细化的anchorboxes；

通过获取生成的n个细化的anchorboxes，将anchorboxes传递至目标检测模块的对应的特征图，生成目标类别和准确的目标位置和大小。

7.根据权利要求1所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法，其特征在于，所述进行深度学习神经网络模型机器训练基于损失函数的计算，包括anchor细化模块的损失以及目标检测模块的损失。

8.一种基于单阶段目标检测的变电站设备渗漏油图像识别系统，其特征在于，所述系统包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的一种基于单阶段目标检测的变电站设备渗漏油图像识别方法。

Images