CN111161255A - 基于机器视觉的电力仪表自动检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的电力仪表自动检测方法，对SSD算法进行改进，采用高斯模糊算子和浮雕算子计算变换图像，通过改进SSD算法的基础特征提取层，抽取RGB图像和变换图像的深度融合特征，增强特征的显著性和稳健性，最终基于改进的SSD算法检测电力仪表，提高复杂环境下电力仪表的检测准确率。

Description

基于机器视觉的电力仪表自动检测方法

技术领域

本发明属于电气设备智能检测领域，尤其涉及一种基于机器视觉的电力仪表自动检测方法。

背景技术

电力仪表自动读数是采用图像处理与识别技术判读被测表指针位置及读数，可以显著提高电力仪表测量的自动化程度。为了实现基于计算机机器视觉的电力仪表自动读数，首先需要定位图像中电力仪表的位置，这可以将电力仪表看作一种目标，采用目标检测方法来实现。

传统的目标检测方法主要包括显著性检测、模板匹配、小波变换、图像描述子等。机器视觉显著性检测方法是通过算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)，但该方法一般不适用于检测特定的目标。模板匹配是在图像中搜索与模板中特定目标像素的区域的过程，该方法简单有效，易于实现，但受尺度、光照以及目标表观的影响较大，当噪声过高时，容易发生模板误匹配。小波变换方法是空间和频率的局部变换，能有效地从信号中提取信息，在低信噪比条件下仍能有效检测出弱小目标。但小波变换计算量大，复杂度高，其工程应用性较低。SIFT、SURF等图像描述子在目标检测领域应用也比较多，与模板匹配相比，图像描述子往往具有尺度不变性等特性，抗干扰能力较强，但对于非刚性目标的检测效果不理想，而且受成像质量影响较大。

随着深度学习技术的发展，基于深度学习的目标检测方法越来越多，大幅提升了目标检测的性能。基于深度学习的目标检测算法主要分为two-stage方法和one-stage方法，前者主要思路是先通过启发式方法或者卷积神经网络产生一系列稀疏的候选框，然后对这些候选框进行分类与回归，典型算法有R-CNN(Region-based Convolutional NeuralNetworks)、Fast-CNN、Faster-CNN等，优点是准确度高；后者主要思路是均匀地在图片的不同位置进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用CNN提取特征后直接进行分类与回归，整个过程只需要一步，所以其优势是速度快，但是均匀的密集采样的一个重要缺点是训练比较困难，这主要是因为正样本与负样本(背景)极其不均衡，导致模型准确度稍低，常见典型算法有YOLO(You Only Look Once)、SSD(Single ShotMultiBoxDetector)等。

其中，SSD方法的主要特色包括：一是提取不同尺度的特征图用作检测，大尺度特征图可以用来检测小物体，而小尺度特征图用来检测大物体；二是采用了不同尺度和长宽比的先验框。这样SSD方法不仅速度优于YOLO，而且能有效检测小目标，降低目标漏检的概率，定位精度也高于YOLO，是近些年非常流行的目标检测算法。因此，研究基于SSD算法的目标检测来优化电力仪表自动检测是亟需解决的问题。

发明内容

发明目的：针对以上问题，本发明提出一种基于机器视觉的电力仪表自动检测方法，以SSD方法为基础，结合电力仪表的图像特性改进SSD算法，提高电力仪表检测准确率。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于机器视觉的电力仪表自动检测方法，包括步骤：

(1)对于摄像头采集到的每一帧3通道RGB图像进行图像缩放；

(2)采用高斯模糊算子和浮雕算子计算RGB图像每一通道图像的变换图像，得到尺寸不变的3通道变换图像；

(3)采用改进的SSD算法进行基础特征提取，将前置VGG网络扩展成两个独立的特征提取网络，两个网络的输入层分别是RGB图像和变换图像，对两个网络独立提取特征F_RGB和F_C，然后在两个特征提取网络之后增加一个特征融合层，对独立提取的特征进行融合，得到深度融合特征；

(4)采用SSD算法进行扩展特征提取；

(5)抽取若干不同特征映射图，针对每一个点构造不同尺度大小的包围盒，对这些包围盒进行检测和分类，检测符合条件的包围盒；

(6)对检测到的包围盒进行非极大值抑制，抑制掉重叠或不正确的包围盒，得到目标检测结果。

进一步地，所述步骤1中，采用双线性插值法进行图像缩放。

进一步地，所述步骤2具体包括：

(2.1)构建高斯模糊算子：

对图像中的任意像素点p，其坐标为(x,y)，对应的像素值为f(x,y)，则经过高斯模糊算子之后的像素值为：

f′(x,y)＝0.059[f(x-1,y-1)+f(x+1,y-1)+f(x-1,y+1)+f(x+1,y+1)]

+0.097[f(x,y-1)+f(x,y+1)+f(x-1,y)+f(x+1,y)]+0.159f(x,y)

(2.2)构建浮雕算子：

像素点p，对应的像素值为f’(x,y)，则经过浮雕算子之后的像素值为：

f″(x,y)＝[f′(x+1,y+1)+f′(x+1,y)+f′(x,y+1)]

-[f′(x-1,y-1)+f′(x-1,y)+f′(x,y-1)]

进一步地，所述步骤3中，采用加权平均的融合策略，公式如下：

F＝αF_RGB+(1-α)F_C

其中，α为加权系数。

进一步地，所述步骤4中，提取的扩展特征与提取的基本特征的特征维数相同。

有益效果：本发明采用高斯模糊算子和浮雕算子计算变换图像，通过改进SSD算法的基础特征提取层，抽取RGB图像和变换图像的深度融合特征，增强特征的显著性和稳健性，最终基于改进的SSD算法检测电力仪表，提高复杂环境下电力仪表的检测准确率。

附图说明

图1是本发明方法的流程图；

图2是VGG网络结构框图；

图3是SSD算法的网络架构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示，本发明所述的基于机器视觉的电力仪表自动检测方法，包括步骤：

(1)对于摄像头采集到的每一帧3通道的RGB图像，采用双线性插值方法进行图像缩放，将图像尺寸缩放到300×300；

SSD算法是目前非常流行的目标检测算法，本发明采用SSD算法检测电力仪表目标。SSD算法的输入图像尺寸是300×300的3通道RGB图像。因此，摄像机采集的图像需要先进行缩放处理，将尺度缩放到300×300。本发明采用双线性插值法进行图像缩放。

(2)采用高斯模糊算子和浮雕算子计算RGB图像每一个通道子图像ImgR、ImgG和ImgB的变换图像ImgRC、ImgGC和ImgBC，组合成一幅尺寸仍为300×300的3通道变换图像；

摄像机采集的图像时RGB格式的，RGB图像能够呈现出于人类视觉相似的感知，色彩和纹理丰富，便于提取目标的差异性特征。但是，RGB图像是光强和波长的表达，对光照等环境因素比较敏感。巡检机器人在采集仪器仪表图像时，由于巡检机器人拍摄角度以及光照环境等因素影响，仪表在图像中呈现出的颜色和亮度都有较大变化，因此仅仅基于RGB图像提取的特征受光照等环境因素的影响较大，从而影响电力仪表的自动检测。

因此，本发明对输入图像进行变换，采用高斯模糊算子降低噪声的干扰，采用浮雕算子提升边界的显著度，同时滤除平缓的背景信息，进而增强电力仪表边缘信息的显著度，为提取更具鉴别力的特征奠定基础。

本发明将RGB图像看作R、G、B三个通道上的三幅灰度图像，分别记为ImgR、ImgG、ImgB。对任意一个通道图像，本发明通过高斯模糊算子和浮雕算子计算三幅变换图像，分别记为ImgRC、ImgGC、ImgBC。下面以ImgR为例，阐述如何通过高斯模糊算子和浮雕算子计算变换图像ImgRC。

高斯函数可以表示为：

其中，σ为方差，(x,y)表示像素点的坐标。

本发明基于高斯函数来构造高斯模糊算子，对于图像中的任意像素点p，以该像素点为中心的8邻域像素点可以构成一个3×3的矩阵，记为：

这里，中心像素点的坐标为(0,0)，其余像素点的坐标为相对于中心像素点的坐标。以各像素点的相对坐标来构建高斯模糊算子，为：

为计算简洁，取σ＝1，于是有：

也即，对于图像中的任意像素点p，假定其坐标为(x,y)，对应的像素值为f(x,y)，那么经过高斯模糊算子之后的像素值为：

可见，高斯模糊算子滤波过程中，距离中心像素点越近，其贡献越大。

执行完高斯模糊滤波之后，再采用浮雕算子提升边界的显著度，同时滤除平缓的背景信息。浮雕算子表示为：

也即，对于图像中的任意像素点p，假定其坐标为(x,y)，对应的像素值为f’(x,y)，那么经过浮雕算子之后的像素值为：

需要说明的是：图像变换时，图像上下左右四个边上的像素点因为没有完整的8个相邻像素点，故变换时这些像素点的像素值置为零。

类似地，由ImgG和ImgB计算变换图像ImgGC和ImgBC。这样，由RGB图像中3个通道的图像ImgR、ImgG和ImgB可以计算出三幅变换图像ImgRC、ImgGC和ImgBC，这三幅图像也可以看作是一幅3通道的变换图像。

(3)将SSD算法前置的VGG网络扩展成两个独立的特征提取网络，第一个网络的输入层是一幅300×300的3通道RGB图像，第二个网络的输入层是一幅300×300的3通道变换图像，两个网络独立提取特征F_RGB和F_C，然后在两个特征提取网络之后增加一个特征融合层，对F_RGB和F_C进行加权平均，得到深度融合特征，增强特征的显著性和稳健性；

通常，SSD算法输入层是一幅300×300的3通道RGB图像，考虑到RGB图像对光照等环境因素比较敏感，本发明采用融合高斯模糊算子和浮雕算法的图像变换方法得到一幅3通道的变换图像。这样，RGB图像可以呈现丰富的色彩和纹理，变换图像可以凸显目标轮廓。本发明将两类图像同时送入SSD算法的输入层，以便提取显著性和稳健性更强的深度融合特征，进而提高电力仪表检测的准确率。为此，本发明对SSD算法的特征提取部分进行改进，主要思路是改进SSD算法前置的VGG网络，增加特征融合层。

SSD算法前置的VGG网络结构如图2所示，共包括4个阶段的特征提取环节，含10个卷积层和3个池化层。其中，卷积层的核尺寸都为3×3，池化层的核尺寸都为2×2，阶段1至阶段4的通道数分别为64、128、256和512。

在本发明中，将SSD算法前置的VGG网络扩展成两个独立的特征提取网络，第一个网络的输入层是一幅300×300的3通道RGB图像，第二个网络的输入层是一幅300×300的3通道变换图像。两个网络独立提取特征，特征分别记为F_RGB和F_C，这两组特征都可以看作是一幅38×38的512通道的特征映射图像。

本发明在两个特征提取网络之后增加一个特征融合层，对F_RGB和F_C进行融合处理，抽取显著和稳健的特征。具体是采用加权平均的融合策略，公式如下：

(8)

F＝αF_RGB+(1-α)F_C

考虑到电力仪表的纹理信息比轮廓信息更显著，本发明在融合时对F_RGB施加更大权重，经过大量实验分析，本发明赋予α＝0.7。融合后得到的深度融合特征的映射图尺寸不变，仍为38×38的512通道的特征映射图像。

与传统SSD算法前置VGG网络提取的特征F_RGB相比，本发明提取的深度融合特征从两类不同属性的图像中获取互补属性的特征，增强了特征的显著性，扩展不同目标特征的差异性。同时，引入的特征F_C对光照等环境因素的鲁棒性更强，进而特征的稳健性得以提升。

(4)采用SSD算法的扩展特征提取层抽取扩展特征；

SSD算法采用前置的VGG网络提取基本特征，然后采用如图3所示的卷积层和池化层提取扩展特征。本发明提取的深度卷积特征与SSD算法前置VGG网络提取的基本特征的特征维数是相同的，后续扩展特征的提取网络与SSD算法一致。

(5)采用SSD算法的包围盒检测步骤，抽取6个卷积层输出的特征映射图，对特征映射图上面的每一个点构造6个不同尺度大小的默认包围盒，接着对这些包围盒分别进行检测和分类，检测符合条件的包围盒；

SSD算法的网络架构如图3所示，对于输入一幅一幅300×300的3通道图像，先采用前置的VGG网络提取基础特征，然后抽取6个卷积层(Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2)输出的特征映射图，对特征映射图上面的每一个点构造6个不同尺度大小的默认包围盒，接着对这些包围盒分别进行检测和分类，检测符合条件的包围盒。

(6)采用SSD算法的非极大值抑制步骤，通过将不同特征映射图检测到的包围盒进行非极大值抑制操作，抑制掉一部分重叠或者不正确的包围盒，得到最终的目标检测结果。

Claims (5)

1.一种基于机器视觉的电力仪表自动检测方法，其特征在于，包括步骤：

(1)对于摄像头采集到的每一帧3通道RGB图像进行图像缩放；

(2)采用高斯模糊算子和浮雕算子计算RGB图像每一通道图像的变换图像，得到尺寸不变的3通道变换图像；

(3)采用改进的SSD算法进行基础特征提取，将前置VGG网络扩展成两个独立的特征提取网络，两个网络的输入层分别是RGB图像和变换图像，对两个网络独立提取特征F_RGB和F_C，然后在两个特征提取网络之后增加一个特征融合层，对独立提取的特征进行融合，得到深度融合特征；

(4)采用SSD算法进行扩展特征提取；

(5)抽取若干不同特征映射图，针对每一个点构造不同尺度大小的包围盒，对这些包围盒进行检测和分类，检测符合条件的包围盒；

(6)对检测到的包围盒进行非极大值抑制，抑制掉重叠或不正确的包围盒，得到目标检测结果。

2.根据权利要求1所述的基于机器视觉的电力仪表自动检测方法，其特征在于，所述步骤1中，采用双线性插值法进行图像缩放。

3.根据权利要求1所述的基于机器视觉的电力仪表自动检测方法，其特征在于，所述步骤2具体包括：

(2.1)构建高斯模糊算子：

对图像中的任意像素点p，其坐标为(x,y)，对应的像素值为f(x,y)，则经过高斯模糊算子之后的像素值为：

f′(x,y)＝0.059[f(x-1,y-1)+f(x+1,y-1)+f(x-1,y+1)+f(x+1,y+1)]+0.097[f(x,y-1)+f(x,y+1)+f(x-1,y)+f(x+1,y)]+0.159f(x,y)

(2.2)构建浮雕算子：

像素点p，对应的像素值为f’(x,y)，则经过浮雕算子之后的像素值为：

4.根据权利要求1所述的基于机器视觉的电力仪表自动检测方法，其特征在于，所述步骤3中，采用加权平均的融合策略，公式如下：

F＝αF_RGB+(1-α)F_C

其中，α为加权系数。

5.根据权利要求1所述的基于机器视觉的电力仪表自动检测方法，其特征在于，所述步骤4中，提取的扩展特征与提取的基本特征的特征维数相同。

Images