CN105809179A - 一种指针式仪表的读数识别方法及装置 - Google Patents

Abstract

本发明适用于电子技术领域，提供了一种指针式仪表的读数识别方法及装置，包括：按照预设的图像分割方法，将指针式仪表的待识别表盘图像以指针旋转轴为中心按照角度n分割为360/n个等角区域；将所述待识别表盘图像输入预先构建并训练的卷积神经网络；经过所述卷积神经网络，输出指针位于各个所述等角区域的概率值；根据概率值最大的所述等角区域在所述待识别表盘图像中的位置确定所述待识别表盘图像的指针读数。本发明利用卷积神经网络来识别指针式仪表的指针位置，再根据指针的位置来确定指针读数，消除了因客观条件所造成的读数识别不准确的现象，大大地提高了指针式仪表读数的识别准确率。

Description

一种指针式仪表的读数识别方法及装置

技术领域

本发明属于电子技术领域，尤其涉及一种指针式仪表的读数识别方法及装置。

背景技术

在电力系统的变电站设备中配置了气压表、温度表、测温表等仪表，这些仪表种类多，数量大，且其中很大一部分为指针式仪表。作为对传统人工读表方式的替代，随着电子技术的不断发展，人们开始通过图像处理技术对指针式仪表读数进行自动识别，以使技术人员避开高温、高压、高辐射等恶劣的工作环境，并消除人工观测方法所造成的主观误差，提高仪表读数的识别精度和识别速度。

现有的指针式仪表识别系统通过摄像机对仪表进行图像采集，再用计算机对采集到的图像进行处理：首先对采集到的图像进行预处理以去除噪声，增强图像，然后采用图像二值化等方式对仪表图像进行分割，最后确定待识别指针的位置，并计算出读数。在上述图像处理过程中，摄像头分辨率的高低、摄像头光学中心与指针旋转中心的对准程度、摄像机视差校正、仪表表面的玻璃产生的反射、光照使指针产生的阴影等均可能对识别精度带来影响，且现场环境对摄像机安装有所限制，导致摄像机与仪表盘平面不可能在同一直视线上，或因摄像机的松动、表盘倾斜等原因导致采集到的图像可能发生视角、尺度、旋转、平衡等变化，上述状况均会降低指针式仪表读数的识别准确率。

发明内容

本发明实施例的目的在于提供一种指针式仪表的读数识别方法及装置，旨在解决现有技术对指针式仪表读数的识别准确率低的问题。

本发明实施例是这样实现的，一种指针式仪表的读数识别方法，包括：

按照预设的图像分割方法，将指针式仪表的待识别表盘图像以指针旋转轴为中心按照角度n分割为360/n个等角区域；

将所述待识别表盘图像输入预先构建并训练的卷积神经网络；

经过所述卷积神经网络，输出指针位于各个所述等角区域的概率值；

根据概率值最大的所述等角区域在所述待识别表盘图像中的位置确定所述待识别表盘图像的指针读数。

一种指针式仪表的读数识别装置，包括：

分割单元，用于按照预设的图像分割方法，将指针式仪表的待识别表盘图像以指针旋转轴为中心按照角度n分割为360/n个等角区域；

输入单元，用于将所述待识别表盘图像输入预先构建并训练的卷积神经网络；

分类单元，用于经过所述卷积神经网络，输出指针位于各个所述等角区域归属于预设的每一类的概率值；

确定单元，用于根据概率值最大的所述等角区域在所述待识别表盘图像中的位置确定所述待识别表盘图像的指针读数。

本发明实施例利用卷积神经网络来识别指针式仪表的指针位置，再根据指针的位置来确定指针读数，从而避免了对仪表图像的预处理、计算表盘圆心、分割仪表区域、定位指针等复杂操作，消除了因客观条件所造成的读数识别不准确的现象，大大地提高了指针式仪表读数的识别准确率。

附图说明

图1是本发明实施例提供的指针式仪表的读数识别方法的实现流程图；

图2是本发明实施例提供的表盘图像分割示例图；

图3是本发明另一实施例提供的指针式仪表的读数识别方法的实现流程图；

图4是本发明实施例提供的卷积神经网络的结构示例图；

图5是本发明实施例提供的指针式仪表的读数识别装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的指针式仪表的读数识别方法的实现流程，详述如下：

在S101中，按照预设的图像分割方法，将指针式仪表的待识别表盘图像以指针旋转轴为中心按照角度n分割为360/n个等角区域。

在本实施例中，对于待识别表盘图像以及用于训练卷积神经网络的样本表盘图像，按照预设的图像分割方法，做以下图像分割处理：

以表盘指针所在的旋转轴为中心，从表盘的任一位置起，沿同一方向依次分割出角度为n的若干等角区域，则无论是圆形表盘还是方形表盘，最终都将分割得到360/n个等角区域。

作为本发明的一个实施例，待识别表盘图像的表盘形状需要与其输入的神经网络在训练过程中使用的样本表盘图像的表盘形状相一致，例如，同为圆形或者同为正方形。同时，表盘图像的指针大小需要相同，对于指针大小不同的待识别表盘图像，可以通过图像缩放使得这些待识别表盘图像的指针大小相同。此外，待识别表盘图像与样本表盘图像在进行图像分割时的分割起始位置及分割方向也需要一致，例如，都在时钟12点的位置以顺时针方向开始进行分割。

图2示出了三种表盘形状一致但表盘内容不同的表盘图像分割示例图，从图中可以看出，这三种表盘均为圆形表盘，且均从时针12点的位置开始以顺时针方向完成角度为90的等角区域的分割，且最终每个表盘图像均分割得到了四个等角区域。

在S102中，将所述待识别表盘图像输入预先构建并训练的卷积神经网络。

在S102之前，首先要完成卷积神经网络的构建与训练，卷积神经网络的构建与训练过程如图3所示：

在S301中，采集不同拍摄条件下的样本表盘图像，根据所述预设的图像分割方法分割所述样本表盘图像，按照指针所在的所述等角区域对每张图像进行标签，创建训练集，在所述训练集中，位于相同表盘位置的所述等角区域为一类。

在训练集的创建中，具体来说，收集各种不同客观条件下的指针式仪表的表盘图片，所述不同客观条件，包括视角、几何形变、光照、遮挡、场景等不同条件及上述条件的组合变化，且采集到的表盘图片应包括指针在不同表盘位置上的情况。对于采集到的每一张表盘图片，做上文所述的图像分割处理之后，做为训练卷积神经网络的训练数据，且分割得到的位于相同表盘位置的所有等角区域作为一类，并按照指针所在的所述等角区域对每张图像进行标签，则可以知道，训练数据总共可分为360/n类。

在S302中，构建卷积神经网络。

在本发明实施例中，可以设计一个多层的卷积神经网络来对指针式仪表的读数进行识别，该卷积神经网络包括输入层、输出层、卷积层、池化层和全连接层，指针式仪表的图像从输入层输入，通过交替出现的卷积层和池化层，并在倒数第二层经过全连接层，最后经过用回归函数做回归输出得到的输出层。一般可以将该卷积神经网络的卷积层设置为n1个，池化层设置为n2个，全连接层设置为n3个，其中，n1、n2和n3均为大于或等于2的整数，具体数值可以根据样本表盘图像的形状和种类不同而进行调整。

在S303中，将所述样本表盘图像依次输入所述卷积神经网络，根据所述卷积神经网络的输出值与人工标定的仪表读数值间的差异，不断更新所述卷积神经网络每个节点的参数，直至所述卷积神经网络的输出值与预设的期望值的误差小于预设阈值，完成所述卷积神经网络的训练。

在本实施例中，利用样本表盘图像所产生的训练数据集来对S302中构建的卷积神经网络进行训练，训练过程包括输入的前向传播和误差的反向传播。模型初始化后，采用随机梯度下降法对构建的卷积神经网络进行迭代，每迭代一次检测一次梯度，以寻求网络层权重和偏置的最优解，误差函数使用神经网络预测值与真实值间误差的平方和函数，经过多次迭代来优化卷积神经网络的网络结构，不断更新网络结构中每个节点的参数，最后让损失函数达到最小，即，让卷积神经网络的输出值与预设的期望值的误差小于预设阈值，就完成了对卷积神经网络的训练。

需要说明的是，在训练过程中及后续的识别过程中，为了应用S302构建的卷积神经网络模型，需要对输入的样本表盘图像及待识别表盘图像进行预处理，例如，对图像进行归一化处理。在本实施例中，利用预处理后的训练数据对卷积神经网络模型进行训练，若满足卷积神经网络的输出值与期望值的误差处在可接受的范围内(即小于一预设阈值)，便得到了可用于指针式仪表读数识别的卷积神经网络。

图4给出了一个用于适用于本发明实施例的卷积神经网络的结构示例，包括5个卷积层、3个池化层和2个全连接层，以下对图4所示的卷积神经网络的训练流程进行详细说明：

1、输入大小为224×224的样本表盘图像，局部滑动窗的大小是7×7，滑动步长是2。由于不考虑对图像的边界进行拓展，因此，滑动窗将有110×110个不同的位置，输入到下一层(卷积层)的大小就是110×110。

2、在图4中，设置有96个不同的卷积层，每个卷积层内的权值是相同的。在卷积层中，局部滑动窗的大小是3×3，滑动步长是2，用这个窗口去滑上面得到的卷积层，可以得到96个大小为55×55的卷积层，再经过一次归一化就得到图4中Layer1层的示例。

3、重复步骤2的变换过程，得到图4中的Layer5层的时候，再进行两个全连接，得到4096×1的全连接层，最后再经过softmax变换得到输出变量。

4、输入新的样本表盘图像，重复步骤1至步骤3，不断地反馈学习，迭代更新每个节点的参数，使得损失函数最小，最终得到训练出的神经网络模型。

在S103中，经过所述卷积神经网络，输出指针位于各个所述等角区域的概率值。

在S104中，根据概率值最大的所述等角区域在所述待识别表盘图像中的位置确定所述待识别表盘图像的指针读数。

利用构建并训练好的卷积神经网络对输入的待识别表盘图像进行处理，将会输出360/n个概率值，分别对应一个S301中提及的类别，用于分别表示指针位于待识别表盘图像的每一个等角区域的概率，则确定出其中概率值最大的一类，该类对应的等角区域所在的表盘位置即为指针所在的表盘位置，由此便可以确定出指针读数。

在本发明实施例中，训练好的卷积神经网络模型可以直接对任何指针式仪表的表盘图像进行测试，根据测试的结果很容易判断表盘的指针读数，整个过程速度快、效果好，不需要采用复杂的预处理方法，也不需要采用不同的目标提取算法来对指针进行定位。同时，当输入的待识别表盘图像在成像时受到不同客观条件影响时，卷积神经网络对这些客观情况具备较强的鲁棒性，且能够兼容识别各种不同类型、不同表盘内容的指针式仪表。

本发明实施例利用卷积神经网络来识别指针式仪表的指针位置，再根据指针的位置来确定指针读数，从而避免了对仪表图像的预处理、计算表盘圆心、分割仪表区域、定位指针等复杂操作，消除了因客观条件所造成的读数识别不准确的现象，大大地提高了指针式仪表读数的识别准确率。

基于上文实施例所述的指针式仪表的读数识别方法，图5示出了本发明实施例提供的指针式仪表的读数识别装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。

参照图5，该装置包括：

分割单元51，用于按照预设的图像分割方法，将指针式仪表的待识别表盘图像以指针旋转轴为中心按照角度n分割为360/n个等角区域。

输入单元52，将所述待识别表盘图像输入预先构建并训练的卷积神经网络。

分类单元53，经过所述卷积神经网络，输出指针位于各个所述等角区域的概率值。

确定单元54，根据概率值最大的所述等角区域在所述待识别表盘图像中的位置确定所述待识别表盘图像的指针读数。

可选地，所述装置还包括：

采集单元，采集不同拍摄条件下的样本表盘图像，根据所述预设的图像分割方法分割所述样本表盘图像，按照指针所在的所述等角区域对每张图像进行标签，创建训练集，在所述训练集中，位于相同表盘位置的所述等角区域为一类。

构建单元，构建卷积神经网络。

训练单元，将所述样本表盘图像依次输入所述卷积神经网络，根据所述卷积神经网络的输出值与人工标定的仪表读数值间的差异，不断更新所述卷积神经网络每个节点的参数，直至所述卷积神经网络的输出值与预设的期望值的误差小于预设阈值，完成所述卷积神经网络的训练。

可选地，所述卷积神经网络包括输入层、n1个卷积层、n2个池化层、n3个全连接层和输出层。

可选地，所述待识别表盘图像与所述样本表盘图像的指针大小相同。

可选地，所述装置还包括：

归一化单元，将所述样本表盘图像和所述待识别表盘图像均做归一化处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种指针式仪表的读数识别方法，其特征在于，包括：

按照预设的图像分割方法，将指针式仪表的待识别表盘图像以指针旋转轴为中心按照角度n分割为360/n个等角区域；

将所述待识别表盘图像输入预先构建并训练的卷积神经网络；

经过所述卷积神经网络，输出指针位于各个所述等角区域的概率值；

根据概率值最大的所述等角区域在所述待识别表盘图像中的位置确定所述待识别表盘图像的指针读数。

2.如权利要求1所述的方法，其特征在于，在所述将分割好的所述待识别表盘图像输入预先构建并训练的卷积神经网络之前，所述方法还包括：

采集不同拍摄条件下的样本表盘图像，根据所述预设的图像分割方法分割所述样本表盘图像，按照指针所在的所述等角区域对每张图像进行标签，创建训练集，在所述训练集中，位于相同表盘位置的所述等角区域为一类；

构建卷积神经网络；

将所述样本表盘图像依次输入所述卷积神经网络，根据所述卷积神经网络的输出值与人工标定的仪表读数值间的差异，不断更新所述卷积神经网络每个节点的参数，直至所述卷积神经网络的输出值与预设的期望值的误差小于预设阈值，完成所述卷积神经网络的训练。

3.如权利要求1或2所述的方法，其特征在于，所述卷积神经网络包括输入层、n1个卷积层、n2个池化层、n3个全连接层和输出层。

4.如权利要求1所述的方法，其特征在于，所述待识别表盘图像与所述样本表盘图像的指针大小相同。

5.如权利要求2所述的方法，其特征在于，在所述构建卷积神经网络之后，所述方法还包括：

将所述样本表盘图像和所述待识别表盘图像均做归一化处理。

6.一种指针式仪表的读数识别装置，其特征在于，包括：

分割单元，用于按照预设的图像分割方法，将指针式仪表的待识别表盘图像以指针旋转轴为中心按照角度n分割为360/n个等角区域；

输入单元，用于将所述待识别表盘图像输入预先构建并训练的卷积神经网络；

分类单元，用于经过所述卷积神经网络，输出指针位于各个所述等角区域的概率值；

确定单元，用于根据概率值最大的所述等角区域在所述待识别表盘图像中的位置确定所述待识别表盘图像的指针读数。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

采集单元，用于采集不同拍摄条件下的样本表盘图像，根据所述预设的图像分割方法分割所述样本表盘图像，按照指针所在的所述等角区域对每张图像进行标签，创建训练集，在所述训练集中，位于相同表盘位置的所述等角区域为一类；

构建单元，用于构建卷积神经网络；

训练单元，用于将所述样本表盘图像依次输入所述卷积神经网络，根据所述卷积神经网络的输出值与人工标定的仪表读数值间的差异，不断更新所述卷积神经网络每个节点的参数，直至所述卷积神经网络的输出值与预设的期望值的误差小于预设阈值，完成所述卷积神经网络的训练。

8.如权利要求6或7所述的装置，其特征在于，所述卷积神经网络包括输入层、n1个卷积层、n2个池化层、n3个全连接层和输出层。

9.如权利要求6所述的装置，其特征在于，所述待识别表盘图像与所述样本表盘图像的指针大小相同。

10.如权利要求7所述的装置，其特征在于，所述装置还包括：

归一化单元，用于将所述样本表盘图像和所述待识别表盘图像均做归一化处理。