CN109711253A - 基于卷积神经网络与循环神经网络的电表数值识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络与循环神经网络的电表数值识别方法，包括以下步骤，S1：采集电表数字码盘的图像信息，并对所述图像信息进行预处理；S2：建立卷积神经网络模型，通过卷积神经网络模型提取经预处理后的图像信息的特征值，并对提取出的所述特征值进行降维处理的到低纬度特征值；S3：建立循环神经网络模型，通过循环神经网络模型根据所述低纬度特征值预测表盘数据；S4：将步骤S3中所预测出的表盘数据转化为表盘刻度值。本申请通过对采集到智能电表的图像信息进行预处理，然后通过多层神经网络对预测处理后的图像进行识别和预测，完成自动识表功能。

Description

基于卷积神经网络与循环神经网络的电表数值识别方法

技术领域

本发明涉及一种基于卷积神经网络与循环神经网络的电表数值识别方法。

背景技术

指针式仪表作为一种测量仪器，广泛应用于社会生产生活中的各种领域，并发挥着举足轻重的作用。目前，对指针式仪表的读数主要由人工判读来完成，然而这种方法受人为因素的影响大，可靠性差、效率低。近年来，随着数字图像处理技术的不断发展和完善，指针式仪表的识别也获得了巨大的进步[1-2]。Robert Sablatning等人[3-4]基于机器视觉的图像处理技术，研究了水表和百分表的识别方法。这类仪表的指针可以在表盘上旋转0-360度，且刻度均匀分布。识别的过程主要包括：采用图像分割算法对图像上的表盘进行分割，利用Hough变换取得指针的偏转角度，通过角度法来确定读数。F.Correa Alegria等人[5-6]针对指针式仪表的自动判读，利用机器视觉技术进行了研究，极大的扩充了自动识别系统的可适用范围，能有效的对常见的电力表等进行识别。他们使用剪影法获得指针图像，并用Hough变换检测出两个指针间的夹角，完成读数识别，另外还提出了对数字式仪表的自动识别方法。综上所述，现阶段指针和刻度线的定位方法主要有剪影法、Hough变换法,这些方法大都假设仪表成像环境较为理想，即表盘放置规整、摄像头的光轴与表盘平面垂直、光照均匀。剪影法在光照充足时有较高的识别精度，但当环境较不理想时，识别精度很差；Hough方法在处理较粗的指针时，由于光照不均或其他因素的干扰，可能检测到的直线与实际指针中心线存在一定的偏差，影响了算法的识别精度[7]。然而，实际测试工作的环境复杂，例如：有各种形式的表盘、照明光线不均匀、仪表表面的玻璃会产生反射、摄像头的光轴与表盘平面不垂直以及表盘倾斜等，这些因素都会对仪表图像的识别造成困难，大多数的识别方法将会产生较大的误差，甚至失效。

发明内容

本发明的目的是提供一种基于卷积神经网络与循环神经网络的电表数值识别方法，以解决目前人工读数效率低、容易出错和已有的自动识表方法精度不足的问题。

为解决上述技术问题，本发明提供一种基于卷积神经网络与循环神经网络的电表数值识别方法，包括：

S1：采集电表数字码盘的图像信息，并对所述图像信息进行预处理；

S2：建立卷积神经网络模型，通过卷积神经网络模型提取经预处理后的图像信息的特征值，并对提取出的所述特征值进行降维处理的到低纬度特征值；

S3：建立循环神经网络模型，通过循环神经网络模型根据所述低纬度特征值预测表盘数据。

S4：将步骤S3中所预测出的表盘数据转化为表盘刻度值。

进一步地，步骤S2中所述的卷积神经网络模型包括一个卷积层和一个池化层；所述卷积层用于提取经预处理后的图像信息的特征值；所述池化层用于对卷积层提取的所述特征值进行降维处理的到低纬度特征值。

进一步地，所述循环神经网络模型包括多个循环神经网络单元，且每个循环神经网络单元参数共享。

进一步地，所述卷积层包括5个卷积核，每个卷积核大小为5×5；所述池化层为最大池化网络，其池化窗口大小为3×3；所述循环神经网络模型包括5个循环神经网络单元。

进一步地，所述步骤S4包括：

S41：通过平铺层将步骤S3中预测得出的表盘数据转换成一维数据；

S42：将S41中得到的所述一维数据输入全连接层得到表盘刻度值。

进一步地，该方法还包括通过ADAM算法对卷积神经网络模型进行优化。

进一步地，所述步骤S1中所述的电表数字码盘的图像信息通过可穿戴设备采集。

本发明的有益效果为：本申请通过对采集到智能电表的图像信息进行预处理，然后通过多层神经网络对预测处理后的图像进行识别和预测，完成自动识表功能。该方法利用卷积神经网络提取图特征和循环神经网络进行图像识别。卷积神经网络与传统的手动提取特征的机器学习算法不同，它能够自动的从图片中提取不同的特征，循环神经网络能够是一类用于处理序列数据的神经网络，能够通过前时刻的数据预测出下一个时刻的数据，利用了序列数据之间的相关性。因此在该方法中，我们首先设计多层卷积神经网络用于提取表盘的不同特征值，例如表盘大小特征、表盘指针位置特征等。这些特征都与要输出的表盘刻度值有一定的关联，因此结合循环神经网络预测序列的思想，我们将这些多个特征值视为一个序列数据，利用循环神经网络对这多个特征值进行识别，通过多个特征输出完整的表盘刻度特征。而传统的图像识别方法仅仅只使用卷积神经网络，通过卷积神经网络提取的一个特征值进行图像，而本方法使用循环神经网络利用多个特征值对图像进行识别，充分利用了各个特征之间的关系提高了识别精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明一个实施例的结构示意图；

具体实施方式

一直基于卷积神经网络与循环神经网络的电表数值识别方法，包括以下步骤：

S1：采集电表数字码盘的图像信息，并对所述图像信息进行预处理；

图像采集是实现可电表竖直识别的第一个环节，该环节主要是在实际的生产生活环境中采集到指针式仪表的图像，传送到数据初期单元进行判读。目前有很多图像采集设备能完成指针式仪表自动识别系统中的图像采集需求，诸如数字摄像机、图像采集卡和数字图像信号采集卡等等。同时，在图像采集环节，采集到的图像质量越好，后期识别效果就越精确。好的图像应该十分清晰，具有较高的分辨率，图像的目标区域与背景区域的边界分明，且背景应该尽量简单，干扰因素少，包括光照多少也要适中。

本申请中，可采用可穿戴设备采集电表数字码盘的图像信息，通过可穿戴设备进行电表图像采集，可解放技术人员的双手，便于操作，且提高了精确度。

由于摄像头在采集仪表图像时由于受到光照、气候等各种原因使得采集的图像中可能含有噪声，影响最终识别结果的准确性。因此就需要利用图像处理的方法对从摄像头获得的彩色图像进行预处理，突出图像中有用信息，去除干扰信息，为下一步表盘定位和指针识别服务。对指针式仪表图像预处理主要包括以下步骤：图像的灰度化、图像平滑滤波、图像增强和图像二值化。

(1)图像灰度化。由摄像头采集的图像是彩色图像，包含着大量的颜色信息，如果直接对彩色图像进行处理，不仅运算复杂而且占用的存储空间大。彩色图像每个像素的颜色由红、绿、蓝三个分量组成,每个像素需用三个字节数据来表示；灰度图像的三个分量相同，每个像素的灰度值在0-255内，每个像素只需用一个字节数据来表示。因此，在进行仪表指针定位前需要将彩色仪表图像转化为灰度图像。虽然灰度图像只包含亮度信息而没有颜色信息，但它也能反映整幅图像的色度和亮度等级的分布和特征，并且可以大大减少后续对仪表图像处理的计算量。

(2)图像平滑滤波。在图像采集过程中由于各种因素的影响，会使采集的仪表图像中不可避免地出现各种噪声。噪声对图像后续的处理影响很大，会加大识别误差出现几率，导致识别错误，所以必须对仪表图像进行滤波处理，以抑制噪声、改善图像质量。图像滤波分为频域滤波和空域滤波。频率滤波的实际应用较少，因为它对图像的大小有要求。空域滤波通过直接对图像的像素做空间变换而达到滤波的目的。对于单幅图像，噪声点的灰度值与周围像素的灰度值存在明显的差别，利用噪声点的这一特点可以通过滤波的方法去除噪声的影响。

(3)图像锐化。在图像预处理过程中通常要对图像进行平滑处理以达到消除噪声的目的，在去噪过程中图像边缘会变得模糊，模糊的图像会影响仪表指针的定位与识别效果，不利于以后的边缘检测，所以需要对仪表图像进行锐化处理，图像锐化可以使图像边缘变得清晰。从频域看，图像去噪之后之所以变得模糊是因为高频分量被抑制，因此可以使用高通滤波器使图像锐化。最常用的锐化方法是拉普拉斯锐化，拉普拉斯锐化可以有效地改善因扩散效应引起的图像模糊。

(4)图像二值化。图像二值化将具有多灰度级的图像转变为二值图像，就是根据特定的条件将图像的灰度值转化为只用0和255两个值来表示的图像处理方法，图像二值化是数字图象处理的一个十分重要的环节，在图像分割方面具有广泛的应用。经过二值化处理之后的图像是区别明显的黑白图像，相对于灰度图像，其在存储空间和计算效率上具有十分明显的优势。二值化后图像变得简单，处理速度加快，同时二值化能突出兴趣区域，屏蔽不相干图像内容的干扰，使后续处理变得容易。

S2：建立卷积神经网络模型，通过卷积神经网络模型提取经预处理后的图像信息的特征值，并对提取出的所述特征值进行降维处理的到低纬度特征值；

本申请首先采用卷积层对预处理后的图像进行特征提取，可通过多个卷积滤波器提取多个特征值，每个滤波器输出不同的特征值。卷积层后面连接一个池化层对卷积后得到的特征向量进行降维，通过少量的特征数据来表征高维的数据，待图像进行池化后，我们得到多各低维的特征。

图1中，卷积层由二维卷积神经网络构成，主要用于提取图片特征值，由一系列并行滤波器组成，这些滤波器通过一组权重连接到输入信号，每个滤波器在原始图像上水平和垂直移动求卷积和。通常，一个CNN网络中每个滤波器处理不同时序上的数据，通过滑动窗口对数据进行卷积求和。我们在本文中用一个滤波器简单的描述CNN网络，设卷积滤波器的卷积核大小为M×N，通过在待卷积数据上滑动滤波器，对MN个数据加权求和得到卷积输出。因此CNN的变换公式为:

其中，x为输入数据，w为权值，b为偏置，f(·)为激活函数，本文中使用的激活函数为relu激活函数，其表达式为：f(x)＝max(0,x)。

卷积层包含5个卷积核，每个卷积核大小为5×5，输入图像经过卷积层输出5个特征图，卷积层后面连接着池化层，其中池化层采用的最大池化网络(Maxpooling)，通过移动池化窗口取卷积滤波器输出的最大值，其变化表达式如下式所示：

x^*＝max(x) (2)

池化层主要用于降低计算时间并逐步建立起更高的空间和数据结构不变性，并通过比较小的降采样系数来表示原始的图片特征。其池化窗口大小为3×3，输入图像经过Maxpooling层后的图片大小将变为原来的三分之一。

S3：建立循环神经网络模型，通过循环神经网络模型根据所述低纬度特征值预测表盘数据。

循环神经网络模型(循环层)由循环神经网络(Recurrent Neural Network,RNN)构成，RNN对数据预测上表现出强大的能力，能够通过多个特征预测出我们想要的结果，RNN由多个RNN单元组成，每个RNN单元参数共享，即对于多个RNN单元我们只需要训练一组权重即可。在图1中，循环神经网络的输入为5个特征图，因此所采用的RNN包括5个RNN单元，每个RNN单元处理不同的特征图，通过5个不同的特征图预测出表盘的刻度特征，即通过多个特征图提取与输出结果最相关的特征。每个RNN单元的变化公式为：

h_i＝RNN(h_i-1,x_i,Θ)

其中x_i为输入的第i个特征图，Θ为RNN网络中的所有参数，h_i为第i个RNN单元的输出，h_i-1为第i-1个RNN单元的输出，也即为第i个RNN单元的输入。

S4：将步骤S3中所预测出的表盘数据转化为表盘刻度值。

由于RNN网络的输出是一个二维图，因此本申请通过偶采用平铺层将二维数据转换成一维数据，然后将转换的一维数据输入全连接层得到最终的表盘刻度值。

此外，为了训练神经网络，本申请使用点对点的学习方式学习网络中的所有权重和偏置。我们将f_all和Θ_all分别设为整个神经网络的识别函数和所有参数。因此整个神经网络的表达式为：

y＝f_all(IMG,Θ_all) (3)

其中，IMG为原始输入的电表表盘图像，y为整个神经网络的输出。我们神经网络的输入为历史通过人工抄表保存的表盘图像，标签数据为每个表盘图像对应的刻度值。网络中的所有参数通过ADAM算法进行更新，以此我们可以得到整个网络的均方误差(MSE)表达式为

其中，T为训练样本集中的所有样本数，label为标签向量，即为真实的表盘刻度。我们通过最小化上式对神经网络进行训练。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于卷积神经网络与循环神经网络的电表数值识别方法，其特征在于，包括：

S1：采集电表数字码盘的图像信息，并对所述图像信息进行预处理；

S2：建立卷积神经网络模型，通过卷积神经网络模型提取经预处理后的图像信息的特征值，并对提取出的所述特征值进行降维处理的到低纬度特征值；

S3：建立循环神经网络模型，通过循环神经网络模型根据所述低纬度特征值预测表盘数据。

S4：将步骤S3中所预测出的表盘数据转化为表盘刻度值。

2.根据权利要求1所述的基于卷积神经网络与循环神经网络的电表数值识别方法，其特征在于，步骤S2中所述的卷积神经网络模型包括一个卷积层和一个池化层；所述卷积层用于提取经预处理后的图像信息的特征值；所述池化层用于对卷积层提取的所述特征值进行降维处理的到低纬度特征值。

3.根据权利要求2所述的基于卷积神经网络与循环神经网络的电表数值识别方法，其特征在于，所述循环神经网络模型包括多个循环神经网络单元，且每个循环神经网络单元参数共享。

4.根据权利要求4所述的基于卷积神经网络与循环神经网络的电表数值识别方法，其特征在于，所述卷积层包括5个卷积核，每个卷积核大小为5×5；所述池化层为最大池化网络，其池化窗口大小为3×3；所述循环神经网络模型包括5个循环神经网络单元。

5.根据权利要求1所述的基于卷积神经网络与循环神经网络的电表数值识别方法，其特征在于，所述步骤S4包括：

S41：通过平铺层将步骤S3中预测得出的表盘数据转换成一维数据；

S42：将S41中得到的所述一维数据输入全连接层得到表盘刻度值。

6.根据权利要求1所述的基于卷积神经网络与循环神经网络的电表数值识别方法，其特征在于，该方法还包括通过ADAM算法对卷积神经网络模型进行优化。

7.根据权利要求1所述的基于卷积神经网络与循环神经网络的电表数值识别方法，其特征在于，所述步骤S1中所述的电表数字码盘的图像信息通过可穿戴设备采集。