CN108376257A - 一种燃气表不完整码字识别方法 - Google Patents

Abstract

本发明公开了一种燃气表不完整码字识别方法，结合燃气表完整码字和不完整码字的共有特征，改进了基于卷积神经网络的网络模型的损失函数，实现了利用燃气表完整码字来训练识别燃气表不完整码字网络模型的目标，从根本上解决了燃气表不完整码字因数据量不足而对深度学习模型训练不充分而产生的难题。

Description

一种燃气表不完整码字识别方法

技术领域

本发明属于天然气计量技术领域，涉及一种燃气表不完整码字识别方法。

背景技术

目前，天然气计量工具中，传统燃气表计量表基本都是膜式即字轮式码表的大量存在并使用，一定程度上妨碍了信息化管理的发展和进步，传统的轮式燃气表主要是通过人工抄表的方式来统计天然气，后来有学者提出了前馈(Back Propagation，BP)神经网络、支持向量机(Support Vector Machine，SVM)、卷积神经网络(Convolutional NeuralNetwork，CNN)、粒子群优化SVM(Particle Swarm Optimization，PSO)等机器学习方法直接识别燃气表码字图像的码字来实现抄表的自动化，但是还是存在一些不足：

1.大多数方法都只是对燃气表完整码字的识别，都忽略了对燃气表不完整码字的识别，少数的对燃气表不完整码字识别的方法，其识别准确率都不高，最好的燃气表码字识别准确率，也就在90％左右，不能直接用于工业生产。

2.相对于大量存在的燃气表完整码字来说，不完整的燃气表码字的数量，使得相对于其他方法识别准确率较高的CNN方法来说，少量的燃气表不完整码字并不满足其对大量训练数据的要求，也即成为了其对燃气表不完整码字识别准确率进一步提高的瓶颈。

发明内容

针对上述问题，本发明的目的在于，提供一种燃气表不完整码字识别方法，有效的解决了不完整码字的识别准确率不高的难题。

为了实现上述任务，本发明公开如下技术方案：

一种训练燃气表不完整码字识别网络模型的方法，包括以下步骤：

步骤1，获取多个燃气表码字图像,对每个燃气表码字图像进行预处理，得到多个带标签的单码字字符图像；

步骤2，判断步骤1得到的单码字字符图像为完整码字还是不完整码字，其中，所有的完整码字形成完整码字数据集，所有的不完整码字形成不完整码字数据集；

步骤3，将完整码字数据集输入到卷积神经网络模型中进行训练，得到初步训练后的模型；

该卷积神经网络模型中的损失函数为：

其中，y是燃气表单码字字符图像的HOT标签值，a_i为卷积神经网络模型的输出层的第i个输出值，a_j为卷积神经网络模型的输出层的第j个输出值，t为卷积神经网络模型需要分类的类别总数；f(θ)为卷积神经网络模型的损失函数的子项输入，其中，λ是平衡系数，m是常数项，w＝[w₁,w₂,…w_k,…w_N]为卷积神经网络模型的最后一层池化层的特征图对应的权值参数，其中，N为卷积神经网络模型的最后一层池化层的特征图分成的块数，w_k为特征图的第k个块对应的权值；b＝b₁+b₂+...b_k+...+b_N为卷积神经网络模型的最后一层的特征图对应的偏置项，其中，b_k为特征图的第k个块对应的偏置项；

步骤4，对步骤3得到的初步训练后的模型中的损失函数进行修改，得到修改了损失函数后的模型；将不完整码字数据集输入到修改了损失函数后的模型中进行训练，得到燃气表不完整码字识别网络模型；其中，修改了损失函数后的模型的损失函数为：

其中，y是燃气表单码字字符图像的HOT标签值，a1_i为初步训练后的模型的输出层的第i个输出值，a1_j为初步训练后的模型的输出层的第j个输出值，t为初步训练后的模型需要分类的类别总数；

可选地，所述步骤2中的判断步骤1得到的单码字字符图像为完整码字还是不完整码字，具体包括以下步骤：

步骤2.1，将单码字字符图像做投影到垂直向量上；

步骤2.2，统计垂直向量上线段的条数，若线段的条数大于1，则该单码字字符图像为不完整码字图像，若线段的条数等于1，则将该线段与完整的燃气表码字的高度进行比较，若差值大于设定阈值，则该单码字字符图像为不完整码字图像，否则，该单码字字符图像为完整码字图像。

可选地，所述步骤3中的将完整码字数据集输入到卷积神经网络模型中进行训练，得到初步训练后的模型；包括以下步骤：

步骤3.1,将燃气表完整码字数据集分成训练集和验证集,从燃气表完整码字数据集中随机选取4/5作为训练集，剩余1/5作为验证集，将训练集输入到卷积神经网络模型中对其进行训练n次，得到训练后的卷积神经网络模型，其中，第t次对训练集进行训练采用的模型为第t-1次训练后的卷积神经网络模型；将验证集输入到训练后的卷积神经网络模型中，输出训练后的识别准确率和损失函数的损失值；

步骤3.2,若训练后的损失函数的损失值小于设定阈值且训练后的识别准确率大于99％时，或者训练总次数N>200时，该训练后的卷积神经网络模型即为初步训练后的模型；否则，返回步骤3.1，继续对训练集进行训练，将第n+1次对训练集进行训练采用的模型替换为第n次训练后的卷积神经网络模型。

可选地，所述步骤4中的将不完整码字数据集输入到修改了损函数后的模型中进行训练，得到燃气表不完整码字识别网络模型；包括以下步骤：

步骤4.1,将燃气表不完整码字数据集分成训练集和验证集，从燃气表不完整码字数据集中随机选取4/5作为训练集，剩余1/5作为验证集，将训练集输入到步骤3得到的初步训练后的模型中进行训练n次，得到二次训练后的模型，其中，第t次对训练集进行训练采用的模型为第t-1次训练后的模型；将验证集输入到二次训练后的模型中，输出训练后的识别准确率和损失函数的损失值；

步骤4.2,若训练后的损失函数的损失值小于设定阈值且训练后的识别准确率大于99％时，或者训练总次数N>200时，该二次训练后的模型即为燃气表不完整码字识别网络模型；否则，返回步骤4.1，继续对训练集进行训练，将第n+1次对训练集进行训练采用的模型替换为第n次训练后的模型。

本发明还提供一种燃气表不完整码字识别方法，包括以下步骤：

对待识别燃气表不完整码字图像进行预处理，得到预处理后的待识别燃气表不完整码字图像；将预处理后的待识别燃气表不完整码字图像输入到燃气表不完整码字识别网络模型中，该燃气表不完整码字识别网络模型输出待识别燃气表不完整码字图像的识别结果；

所述的燃气表不完整码字识别网络模型为上述的方法得到的。

与现有技术相比，本发明具有以下技术效果：本发明结合燃气表完整码字和不完整码字的共有特征，改进了基于卷积神经网络的网络模型的损失函数，实现了利用燃气表完整码字来训练识别燃气表不完整码字网络模型的目标，从根本上解决了燃气表不完整码字因数据量不足而对深度学习模型训练不充分而产生的难题。

下面结合附图和具体实施方式对本发明的方案作进一步详细地解释和说明。

附图说明

图1是卷积神经网络模型的示意图；

图2是燃气表码字16进制数字串的部分示意图；

图3是燃气表码字图像；

图4是多个单码字字符图像；

图5燃气表完整码字三等分示意图。

具体实施方式

本发明提供一种获取燃气表不完整码字识别网络模型的方法，包括以下步骤：

步骤1，利用摄像机对燃气表码字进行多次拍摄，获取多个燃气表码字图像,对每个燃气表码字图像进行预处理，得到多个带标签的单码字字符图像；

步骤2，判断步骤1得到的单码字字符图像为完整码字还是不完整码字，其中，所有的完整码字形成完整码字数据集，所有的不完整码字形成不完整码字数据集；

步骤3，将完整码字数据集输入到卷积神经网络模型中进行训练，得到初步训练后的模型；

该卷积神经网络模型中的损失函数为：

其中，y是燃气表单码字字符图像的HOT标签值，a_i为卷积神经网络模型的输出层的第i个输出值，a_j为卷积神经网络模型的输出层的第j个输出值，t为卷积神经网络模型需要分类的类别总数，本实施例中，t＝10；f(θ)为卷积神经网络模型的损失函数的子项输入，其中，λ是平衡系数，m是常数项，w＝[w₁,w₂,…w_k,…w_N]为卷积神经网络模型的最后一层池化层的特征图对应的权值参数，其中，N为卷积神经网络模型的最后一层池化层的特征图分成的块数，w_k为特征图的第k个块对应的权值；参见图5，对于燃气表，N＝2,即将卷积神经网络模型的最后一层池化层的特征图分成两块，且位于上部的块占据该特征图的2/3，位于下部的块占据该特征图的1/3；b＝b₁+b₂+...b_k+...+b_N为卷积神经网络模型的最后一层的特征图对应的偏置项，该最后一层指的是卷积神经网络模型中的最后一层的卷积层或者池化层；其中，b_k为特征图的第k个块对应的偏置项，若最后一层为池化层时b_k值为0；该模型的损失函数的公式的第一项代表了整个模型的常规损失，第二项代表了模型最后一层的特征图每一个子块的损失总和。

步骤4，对步骤3得到的初步训练后的模型中的损失函数进行修改，得到修改了损函数后的模型；将不完整码字数据集输入到修改了损函数后的模型中进行训练，得到燃气表不完整码字识别网络模型；其中，修改了损失函数后的模型的损失函数为：

其中，y是燃气表单码字字符图像的HOT标签值，a1_i为初步训练后的模型的输出层的第i个输出值，a1_j为初步训练后的模型的输出层的第j个输出值，t为初步训练后的模型需要分类的类别总数。

本实施例结合燃气表完整码字和不完整码字的共有特征，改进了基于卷积神经网络的网络模型的损失函数，实现了利用燃气表完整码字来训练识别燃气表不完整码字网络模型的目标，从根本上解决了燃气表不完整码字因数据量不足而对深度学习模型训练不充分而产生的难题。

具体地，所述步骤1中的对燃气表码字图像进行预处理，包括以下步骤：

步骤1.1，对燃气表码字图像进行滤波去噪并采用哈夫曼编码进行压缩，得到一个16进制的数字串文本文件，如图2所示；因燃气表码字图像的数据量较大，采用此步骤进行处理能够减少数据量、减少噪声并利于传输。

步骤1.2，将数字串文本文件转换为燃气表码字图像，如图3所示，将转换得到的燃气表码字图像使用高斯平均平滑滤波消除高频分量，再使用拉普拉斯锐化滤波消除低频分量做初步去噪操作，得到初步去噪后的燃气表码字图像。此步骤目的在于，进一步去噪，以提高燃气表码字得到识别准确率；

步骤1.3，将初步去噪后的燃气表码字图像采用线性灰度变换算法对图像进行灰度化处理，得到灰度图像；对灰度图像采用高斯自适应阈值算法进行二值化操作，得到二值图像；

步骤1.4，对二值图像依次采用垂直投影方法和连通域方法进行去噪，得到再次去噪后的燃气表码字图像；

步骤1.5，对再次去噪后的燃气表码字图像进行分隔，得到多个单码字字符图像，如图4所示。在本实施例中，单码字字符图像大小为28*28。

步骤1.6，对步骤1.5得到的单码字字符图像标注标签，得到多个带标签的单码字字符图像。标签的标注采用人工进行标注，标签为0-9十个数字。

具体地，所述步骤2中的判断步骤1得到的单码字字符图像为完整码字还是不完整码字，包括以下步骤：

步骤2.1，将单码字字符图像做投影到垂直向量上；

步骤2.2，统计垂直向量上线段的条数，若线段的条数大于1，则该单码字字符图像为不完整码字图像，若线段的条数等于1，则将该线段与完整的燃气表码字的高度进行比较，若差值大于设定阈值，本实施例中，该设定阈值为4个像素，则该单码字字符图像为不完整码字图像，否则，该单码字字符图像为完整码字图像。

具体地，所述步骤3包括以下步骤：

步骤3.1,将燃气表完整码字数据集分成训练集和验证集,从燃气表完整码字数据集中随机选取4/5作为训练集，剩余1/5作为验证集，将训练集输入到卷积神经网络模型中对其进行训练n次，本实施例中，n＝20，得到训练后的卷积神经网络模型，其中，第t次对训练集进行训练采用的模型为第t-1次训练后的卷积神经网络模型；将验证集输入到训练后的卷积神经网络模型中，输出训练后的识别准确率和损失函数的损失值。

步骤3.2,若训练后的损失函数的损失值小于设定阈值0.001且训练后的识别准确率大于99％时，或者训练总次数N>200时，该训练后的卷积神经网络模型即为初步训练后的模型；否则，返回步骤3.1，继续对训练集进行训练，将第n+1次对训练集进行训练采用的模型替换为第n次训练后的卷积神经网络模型。

具体地，所述步骤4中的将不完整码字数据集输入到修改了损函数后的模型中进行训练，得到燃气表不完整码字识别网络模型；包括以下步骤：

步骤4.1,将燃气表不完整码字数据集分成训练集和验证集，从燃气表不完整码字数据集中随机选取4/5作为训练集，剩余1/5作为验证集，将训练集输入到步骤3得到的初步训练后的模型中进行训练n次,本实施例中，n＝20，得到二次训练后的模型，其中，第t次对训练集进行训练采用的模型为第t-1次训练后的模型；将验证集输入到二次训练后的模型中，输出训练后的识别准确率和损失函数的损失值。

步骤4.2,若训练后的损失函数的损失值小于设定阈值0.001且训练后的识别准确率大于99％时，或者训练总次数N>200时，该二次训练后的模型即为燃气表不完整码字识别网络模型；否则，返回步骤4.1，继续对训练集进行训练，将第n+1次对训练集进行训练采用的模型替换为第n次训练后的模型。

本发明的另一个方面提供一种燃气表不完整码字识别方法，包括以下步骤：

对待识别燃气表不完整码字图像进行预处理，得到预处理后的待识别燃气表不完整码字图像；将预处理后的待识别燃气表不完整码字图像输入到上述燃气表不完整码字识别网络模型中，该燃气表不完整码字识别网络模型输出待识别燃气表不完整码字图像的识别结果。

其中，预处理过程与上述步骤1中的对燃气表码字图像进行预处理的过程相同，此处不再赘述。

实施例

采用本发明的不完整燃气表码字识别方法以及其他机器学习算法SVM、CNN以及PSO-SVM分别对燃气表不完整码字进行识别，得到图表1的识别结果。采用的操作系统为：Linux(GPU-NVIDIA GTX1060)，采用的深度学习库为：TensorFlow。

其中，参见图1，采用本发明的方法中的卷积神经网络模型包括依次设置的输入层、卷积层I、池化层I、卷积层II、池化层II、全连接层I、全连接层II和输出层，其中，输入层的神经元个数为28*28；卷积神经网络模型的卷积核尺度为3*3，该模型的卷积和池化操作的步长都为(1，1)，激活函数为RELU，添加padding其属性值为same，padding值为1，偏置都设为1，池化方法为平均池化；该模型的学习率采用滑动平均模型，其衰减参数为0.9999；对于该模型的参数采用L2正则化方法进行处理；全连接层I、全连接层II和输出层中的神经元个数分别为512，1024和10；卷积层I和池化层I中的特征图的个数相同，均为64个，卷积层II和池化层II中的特征图的个数相同，均为128个，该模型采用Xavier作为模型初始化方法，采用Adam作为模型优化方法。

由表1可知，采用本发明的方法的燃气表码字平均识别准确率高达99.91％，比其他机器学习算法SVM、CNN以及PSO-SVM分别提高26.25％、9.43％、11.01％，表明了本发明的方法在噪声干扰并且燃气表不完整码字数据量不足的情况下，仍有较高的识别准确率和良好的识别效果。

表1

Claims (5)

1.一种训练燃气表不完整码字识别网络模型的方法，其特征在于，包括以下步骤：

步骤1，获取多个燃气表码字图像,对每个燃气表码字图像进行预处理，得到多个带标签的单码字字符图像；

步骤2，判断步骤1得到的单码字字符图像为完整码字还是不完整码字，其中，所有的完整码字形成完整码字数据集，所有的不完整码字形成不完整码字数据集；

步骤3，将完整码字数据集输入到卷积神经网络模型中进行训练，得到初步训练后的模型；

该卷积神经网络模型中的损失函数为：

其中，y是燃气表单码字字符图像的HOT标签值，a_i为卷积神经网络模型的输出层的第i个输出值，a_j为卷积神经网络模型的输出层的第j个输出值，t为卷积神经网络模型需要分类的类别总数；f(θ)为卷积神经网络模型的损失函数的子项输入，其中，λ是平衡系数，m是常数项，w＝[w₁,w₂,…w_k,…w_N]为卷积神经网络模型的最后一层池化层的特征图对应的权值参数，其中，N为卷积神经网络模型的最后一层池化层的特征图分成的块数，w_k为特征图的第k个块对应的权值；b＝b₁+b₂+...b_k+...+b_N为卷积神经网络模型的最后一层的特征图对应的偏置项，其中，b_k为特征图的第k个块对应的偏置项；

步骤4，对步骤3得到的初步训练后的模型中的损失函数进行修改，得到修改了损失函数后的模型；将不完整码字数据集输入到修改了损失函数后的模型中进行训练，得到燃气表不完整码字识别网络模型；其中，修改了损失函数后的模型的损失函数为：

其中，y是燃气表单码字字符图像的HOT标签值，a1_i为初步训练后的模型的输出层的第i个输出值，a1_j为初步训练后的模型的输出层的第j个输出值，t为初步训练后的模型需要分类的类别总数。

2.如权利要求1所述的训练燃气表不完整码字识别网络模型的方法，其特征在于，所述步骤2中的判断步骤1得到的单码字字符图像为完整码字还是不完整码字，具体包括以下步骤：

步骤2.1，将单码字字符图像做投影到垂直向量上；

步骤2.2，统计垂直向量上线段的条数，若线段的条数大于1，则该单码字字符图像为不完整码字图像，若线段的条数等于1，则将该线段与完整的燃气表码字的高度进行比较，若差值大于设定阈值，则该单码字字符图像为不完整码字图像，否则，该单码字字符图像为完整码字图像。

3.如权利要求1所述的训练燃气表不完整码字识别网络模型的方法，其特征在于，所述步骤3中的将完整码字数据集输入到卷积神经网络模型中进行训练，得到初步训练后的模型；包括以下步骤：

步骤3.1,将燃气表完整码字数据集分成训练集和验证集,从燃气表完整码字数据集中随机选取4/5作为训练集，剩余1/5作为验证集，将训练集输入到卷积神经网络模型中对其进行训练n次，得到训练后的卷积神经网络模型，其中，第t次对训练集进行训练采用的模型为第t-1次训练后的卷积神经网络模型；将验证集输入到训练后的卷积神经网络模型中，输出训练后的识别准确率和损失函数的损失值；

步骤3.2,若训练后的损失函数的损失值小于设定阈值且训练后的识别准确率大于99％时，或者训练总次数N>200时，该训练后的卷积神经网络模型即为初步训练后的模型；否则，返回步骤3.1，继续对训练集进行训练，将第n+1次对训练集进行训练采用的模型替换为第n次训练后的卷积神经网络模型。

4.如权利要求1所述的训练燃气表不完整码字识别网络模型的方法，其特征在于，所述步骤4中的将不完整码字数据集输入到修改了损函数后的模型中进行训练，得到燃气表不完整码字识别网络模型；包括以下步骤：

步骤4.1,将燃气表不完整码字数据集分成训练集和验证集，从燃气表不完整码字数据集中随机选取4/5作为训练集，剩余1/5作为验证集，将训练集输入到步骤3得到的初步训练后的模型中进行训练n次，得到二次训练后的模型，其中，第t次对训练集进行训练采用的模型为第t-1次训练后的模型；将验证集输入到二次训练后的模型中，输出训练后的识别准确率和损失函数的损失值；

步骤4.2,若训练后的损失函数的损失值小于设定阈值且训练后的识别准确率大于99％时，或者训练总次数N>200时，该二次训练后的模型即为燃气表不完整码字识别网络模型；否则，返回步骤4.1，继续对训练集进行训练，将第n+1次对训练集进行训练采用的模型替换为第n次训练后的模型。

5.一种燃气表不完整码字识别方法，其特征在于，包括以下步骤：

对待识别燃气表不完整码字图像进行预处理，得到预处理后的待识别燃气表不完整码字图像；将预处理后的待识别燃气表不完整码字图像输入到燃气表不完整码字识别网络模型中，该燃气表不完整码字识别网络模型输出待识别燃气表不完整码字图像的识别结果；

所述的燃气表不完整码字识别网络模型为根据权利要求1-4中任一权利要求所述的方法得到的。