CN110263790A - 一种基于卷积神经网络的电厂电表字符定位和识别方法 - Google Patents

Abstract

本发明实施例公开了一种基于卷积神经网络的电厂电表字符定位和识别方法，包括：整理电厂电表图像，建立由所述图像组成的含有字符的电表图像库；训练用于定位字符区域的卷积神经网络，确定网络中的学习参数；利用训练好的用于定位字符区域的卷积神经网络定位所述图像库中电表图像的字符区域，输出字符区域进行裁剪并导出；整理导出的含有数字序列图片并建立对应的图像库，利用其训练用于识别数字序列的卷积神经网络；利用训练好的卷积神经网络识别裁剪得到的数字序列图像，输出字符识别结果。本发明充分利用卷积神经网络的特征提取和学习能力，规避了传统图像处理中的噪声等问题，提高了系统的鲁棒性，高效准确地定位并识别电厂电表中的字符。

Description

一种基于卷积神经网络的电厂电表字符定位和识别方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的电厂电表字符定位和识别方法。

背景技术

随着工业化和信息化的快速发展，工业生产的规模不断扩大，全国各地的电厂数量也急剧增加。同样的，电厂中的各种精密仪表也随之增加。电厂电力设备设施的检修和操作对电厂的正常运行是一个非常重要的任务。快速、准确地获得各类仪表的测量值对电厂的日常检修至关重要，依靠人工进行电厂电表读数存在以下缺点：容易引起主观人为误判；检修效率低下、危险性高。而通过巡检机器人后台的仪表识别功能，可以取代传统人工抄表工作，大大节省了巡检的时间，能够发现设备的异常状态。

在现有电表字符定位和识别方法中，主要是利用传统图像处理的方法对电表图片进行处理，通常包括以下3个步骤：字符定位，字符分割和字符识别。其中的字符分割是整个识别过程中的关键，主要是使用图像增强、二值化及连通区域分析方法等。除此之外，字符分割通常将字符单个处理，没有考虑字符之间的关系，而在电厂复杂的环境下，图像的获取容易受到光照，磁场等影响，图片的获取存在质量参差不齐等问题，因此另外采用传统图像处理的方法，其过程较为复杂，效率偏低，系统稳定性和抗干扰行差，识别的准确率低，不能广泛适用于复杂环境。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于卷积神经网络的电厂电表字符定位和识别方法，利用卷积神经网络的特征提取和学习能力对电厂电表字符图像进行处理，可以高效准确地定位并识别电厂电表中的字符。

为了解决上述技术问题，本发明实施例提供了一种基于卷积神经网络的电厂电表字符定位和识别方法，所述方法包括以下步骤：

S1：巡检机器人实地电厂环境拍摄含有字符如：“on”、“off”、“分”、“合”以及由5位罗马数字组成的数字序列电表图片。在此基础之上，对图片进行数据扩充，建立由电厂电表字符图片组成的图像库；

S2：利用训练样本训练一个用于定位字符区域的卷积神经网络Faster-Rcnn，并确定网络中的学习参数；

S3：利用训练好的用于定位字符区域的卷积神经网络Faster-Rcnn定位所述图像库中电表图像的字符区域，输出字符区域进行裁剪并导出；

S4：整理导出的含有数字序列区域图片并建立图像库，利用其训练一个用于识别数字序列的卷积神经网络CRNN；

S5：利用训练好的用于识别数字序列的CRNN网络识别裁剪得到的数字序列图像，输出电表字符识别结果。

步骤S1中，具体包括使用25倍光学变焦相机RST-3200W、佳能单反相机以及自带的移动手机等三种拍摄装备对电厂电表实体环境的拍摄，经整理后得到由450张图片组成的图像库。

进一步的，所述步骤S2以及步骤S4中，用于定位字符区域以及数字序列识别的卷积神经网络CRNN的训练，包括：

卷积神经网络的结构建立和卷积神经网络的参数学习；步骤S2中训练所采用的图像样本来源于巡检机器人实地在电厂拍摄的图片，图片中含有的字符为：“on”、“off”、“分”、“合”以及由5位罗马数字组成的数字序列；步骤S4中训练采用的图像样本来源于步骤S2中训练的卷积神经网络对字符区域的定位并裁剪得到的照片。

其中，卷积神经网络的结构建立，包括：

确定包括卷积层层数、每卷积层的特征图数，全连接的层数、每全连接层的特征图数，池化层层数，卷积层使用的卷积核的大小，池化层所用的采样核的大小，训练步长以及训练RNN网络时的最大时间长度即时间输入。

其中，卷积神经网络的参数学习，是指：

通过不断降低损失函数的函数值来学习卷积神经网络的参数，其中，用于定位字符区域的卷积神经网络的损失函数L({p_i}，{t_i})为：

其中，i表示卷积神经网络中第i个锚点，p_i为第i个锚点为眼部区域的预测概率，如果锚点为正则标签的真实值为1，锚点为负则为0，当为1时，回归损失函数L_reg被激活；t_i为包含定位框四个顶点坐标参数的向量，为定位框的真实值；L_cls为两个类(目标以及非目标)的log损失函数；L_reg表示定位框的回归损失函数取为其中R为1范数损失函数。

用于数字序列识别的卷积神经网络的损失函数O为：

其中，Y_i是由L_i经过循环层和卷积层所产生的序列。该目标函数会直接从图像和它的真实标签序列计算损失值。因此该网络可以在成对的图像和序列上进行端到端的训练。

进一步的，所述步骤S5中，针对步骤S2中利用训练好的用于定位字符区域的卷积神经网络Faster-Rcnn对图像进行字符区域的定位后，得到一个含有字符区域的定位框。所述步骤S3中裁剪所述图像的字符区域，具体为得到的含有字符区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到字符区域图像。

本发明基于卷积神经网络的电厂电表字符定位和识别方法在训练用于定位字符区域的卷积神经网络Faster-Rcnn中，使用到了巡检机器人在实地电厂环境拍摄的图片，在此基础之上，对图片进行数据扩充。分别对图片进行随机旋转、透视形变、平移和添加高斯噪声等，保证了数据的多样性，增加了卷积神经网络的鲁棒性，提高了卷积神经网络定位字符区域的准确性。本发明结合两种不同的卷积神经网络，利用卷积神经网络的强有的特征学习和特征提取能力，可以高效准确地定位并识别电厂电表中的字符。

附图说明

图1为本发明基于卷积神经网络的电厂电表字符定位和识别方法的流程图；

图2为本发明实施例所使用的用于定位字符区域的卷积神经网络Faster-Rcnn的整体结构示意图；

图3为本发明实施例所使用的用于数字序列识别的卷积神经网络CRNN的整体结构示意图；

图4为卷积神经网络CRNN识别电表中的数字序列流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

请参阅图1，本发明提供基于卷积神经网络的电厂电表字符定位和识别方法，该方法包括以下步骤：

步骤S1：巡检机器人实地电厂环境拍摄含有字符如：“on”、“off”、“分”、“合”以及由5位罗马数字组成的数字序列电表图片。在此基础之上，对图片进行数据扩充，建立由电厂电表字符图片组成的图像库。

步骤S2：利用图像库训练一个用于定位字符区域的卷积神经网络Faster－Rcnn，并确定网络中的学习参数；

步骤S3：利用训练好的用于定位字符区域的卷积神经网络Faster－Rcnn定位所述图像库中电表图像的字符区域，输出字符区域进行裁剪并导出；

步骤S4：整理导出的含有数字序列区域图片并建立图像库，利用其训练一个用于识别数字序列的卷积神经网络CRNN；

步骤S5：利用训练好的用于识别数字序列的CRNN网络识别裁剪得到的数字序列图像，输出电表字符识别结果。

以下详细说明本发明涉及的关键步骤。

首先，本例实施的步骤S1中，通过分别对采集得到的电表图像数据进行数据扩充，如：对图片进行随机旋转(左右旋转的角度不能超过10°)；对图片进行透视形变，其中描述上下左右方向的垂直型变的程度参数设置为0.2；对图片进行平移操作且平移的尺度设置为10。在本实例中，扩充之后的数据集包含了850张电厂电表图片，其中760张图片用于训练集，90张用于测试集。

其次，本例实施的步骤S2中，用于定位电表字符区域的卷积神经网络结构请参阅图2，其所使用的目标检测方法为Faster－Rcnn，主要结构为字符区域候选框网络，用于字符区域的定位，向该卷积神经网络输入图像库中的电厂电表图像，输出为带有字符区域定位框的电表图像。本发明实例在测试图片数据集中进行了测试，定位的测试结果为：PascalBox＿Precision/mAP＠0.5IOU＝0.9736，“on”“off”“分”“合”四个字符识别的准确率为0.94。

第三，本例实施的步骤S4中，用于识别数字序列的卷积神经网络CRNN结构请参阅图3，每个层后面的数字代表每层的特征图数，下面的括号里面的三个数字分别代表每个层所使用的核的高度、宽度和步长。在步骤S4中，经过整理后共有450张图片，其中350张图片用于卷积神经网络CRNN的训练，50张用于训练模型过程中的评估，50张用于测试训练后的卷积神经网络CRNN。训练约进行12000steps模型收敛。

第四，本例实施的步骤S5中，利用卷积神经网络CRNN识别电表中的数字序列流程图请参阅图4。

需要说明的是，步骤S2以及步骤S4中中，建立所述卷积神经网络的结构具体包括确定所述深度卷积神经网络的卷积层的层数、每卷积层的特征图数，全连接层的层数、每全连接层的特征图数，池化层的层数，卷积层所用的卷积核的大小，池化层所用的采样核的大小，训练步长以及训练RNN网络时的最大时间长度即时间输入。其中，采用的是采样核为最大化采样核。

综上所述，通过采用本发明的识别方法，本实施例中，随机选取6个所述测试样本的识别结果如表格1所示：

从表格1中可以看出CRNN模型对所述测试样本预测的效果，经过对50张测试图片的评估得到CRNN模型的平均准确率为97.5％，由此可见，将本发明中的卷积神经网络CRNN的电厂电表数字序列识别方法应用于电厂电表数字序列的识别中，识别的准确度较高。

相较于现有技术，利用本发明中提供的识别方法能够有效的识别电厂电表字符，为巡检机器人状态检修提供依据，保障升压站范围内设备的长周期稳定运行。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，包括以下步骤：

步骤S1：巡检机器人实地电厂环境拍摄数字序列电表图片，对图片进行数据扩充，建立由电厂电表字符图片组成的图像库；

步骤S2：利用训练样本训练用于定位字符区域的卷积神经网络，并确定网络中的学习参数；

步骤S3：利用训练好的用于定位字符区域的卷积神经网络定位所述图像库中电表图像的字符区域，输出字符区域进行裁剪并导出；

步骤S4：整理S3导出的含有数字序列区域图片并建立图像库，利用其训练用于识别数字序列的卷积神经网络；

步骤S5：利用训练好的用于识别数字序列的卷积神经网络识别裁剪得到的数字序列图像，输出电表字符识别结果。

2.根据权利要求1所述的基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，所述步骤S2以及步骤S4中，利用反向传播算法训练用于定位电表字符区域以及识别数字序列的两个卷积神经网络，从而得到电厂电表字符定位和识别的模型。

3.根据权利要求2所述的基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，所述步骤S4中，使用步骤S2中训练好的所述定位字符区域的卷积神经网络对电厂电表图像的字符区域进行定位，并将定位框内字符区域图像进行裁剪，得到有字符区域的图像；所述步骤S5中利用步骤S4中的训练好的用于识别数字序列的卷积神经网络对数字序列区域图像进行读数识别。

4.根据权利要求3所述的基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，所述用于识别数字序列的卷积神经网络由三个部分组成：卷积层、循环网络层、合成层，卷积层用于提取输入图像的特征图，循环网络层用于在卷积特征基础上继续提取数字序列特征，合成层用于生成数字序列并输出。

5.根据权利要求1－4任一项所述的基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，所述用于定位字符区域的卷积神经网络和用于识别数字序列的卷积神经网络的结构建立均包括卷积层层数、每卷积层的特征图数、全连接的层数、每全连接层的特征图数、池化层层数、卷积层使用的卷积核的大小、池化层所用的采样核的大小、训练步长以及训练卷积神经网络时的最大时间长度即时间输入。

6.根据权利要求5所述的基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，所述用于定位字符区域的卷积神经网络指通过不断降低损失函数的函数值来学习得到深度卷积神经网络的参数，其中，用于定位电表字符区域的卷积神经网络的损失函数L({p_i}，{t_i})为：

其中，i表示卷积神经网络中第i个锚点，p_i为第i个锚点为电表字符区域的预测概率，如果锚点为正则标签的真实值为1，锚点为负则为0，当为1时，回归损失函数L_rog被激活；t_i为包含定位框四个顶点坐标参数的向量，为定位框的真实值；L_cis为两个类(目标以及非目标)的log损失函数；L_reg表示定位框的回归损失函数，取为其中R为1范数损失函数。

7.根据权利要求6所述的基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，所述用于识别数字序列的卷积神经网络的训练数据通过：

X＝{I_i,L_i}_i的定义

其中I_i是训练过程中卷积神经网络CRNN判断的数字序列，L_i是真实的标签序列，训练整个卷积神经模型的目标函数是最小化真实条件概率下的负对数似然函数：

其中，Y_i是由L_i经过循环层和卷积层所产生的序列，卷积神经网络使用随梯度下降进行训练，梯度由反向传播算法计算。

8.根据权利要求7所述的基于卷积神经网络的电厂电表字符定位和识别方法，其特征在于，针对步骤S4中利用训练好的用于定位字符区域的卷积神经网络对电厂电表图像进行字符区域定位后，得到一个含有字符区域的定位框。