CN113920497B - 一种铭牌识别模型的训练、铭牌的识别方法及相关装置 - Google Patents

Abstract

本发明提供了一种铭牌识别模型的训练、铭牌的识别方法及相关装置，该方法包括：获取对安装在电力设备上的铭牌采集的样本图像数据、铭牌中记录的设备参数；将位于方框的设备参数写入样本区域数据中的印痕上，作为标签区域数据；对标签区域数据中的设备参数采样标签点；将样本图像数据输入编码器中提取特征数据；将特征数据输入回归网络中，对样本区域数据中的印痕采样参考点；将特征数据输入解码器中，将样本区域数据中的印痕重构为字体、作为参考区域数据；根据参考点与标签点之间的差异、参考区域数据与标签区域数据之间的差异，对编码器、回归网络与解码器进行训练，直至参考点与参考区域数据对齐。提高识别铭牌中记录的设备参数的精确度。

Description

一种铭牌识别模型的训练、铭牌的识别方法及相关装置

技术领域

本发明涉及电力的技术领域，尤其涉及一种铭牌识别模型的训练、铭牌的识别方法及相关装置。

背景技术

在电力行业中，电力设备的种类、数量繁多，如电力液压鼓式制动器、电力电缆、电力变压器、综合配电箱、电能计量箱，等等，这些电力设备的设备参数通常刻录在铭牌上，该铭牌装贴在电力设备上。

在推进数字化管理的过程时，技术人员会对铭牌采集图像数据，对该图像数据使用OCR（Optical Character Recognition，光学字符识别）识别铭牌的内容。

但是，由于电力设备多部署在户外，铭牌老化较为明显，部分内容掉漆，导致光学字符识别的结果出错，此时往往需要技术人人工对这些内容进行校对、并录入数据库，花费的时间较长，效率较低。

发明内容

本发明提出了一种铭牌识别模型的训练、铭牌的识别方法及相关装置，以解决铭牌的内容掉漆导致光学字符识别的结果出错的问题。

第一方面，本发明实施例提供了一种铭牌识别模型的训练方法，其特征在于，所述铭牌识别模型包括编码器、回归网络，所述方法包括：

获取对安装在电力设备上的铭牌采集的样本图像数据、所述铭牌中记录的设备参数，所述样本图像数据中包含多个方框所在的样本区域数据；

将位于所述方框的所述设备参数写入所述样本区域数据中的印痕上，作为标签区域数据；

对所述标签区域数据中的所述设备参数采样标签点；

将所述样本图像数据输入所述编码器中提取特征数据；

将所述特征数据输入所述回归网络中，对所述样本区域数据中的印痕采样参考点；

将所述特征数据输入解码器中，将所述样本区域数据中的印痕重构为字体、作为参考区域数据；

根据所述参考点与所述标签点之间的差异、所述参考区域数据与所述标签区域数据之间的差异，对所述编码器、所述回归网络与所述解码器进行训练，直至所述参考点与所述参考区域数据对齐，所述解码器在训练完成时丢弃。

第二方面，本发明实施例还提供了一种铭牌的识别方法，包括：

加载根据第一方面所述的方法训练的铭牌识别模型；

对安装在电力设备上的铭牌采集目标图像数据，所述目标图像数据中包含多个方框所在的目标区域数据；

将所述目标图像数据输入编码器中提取特征数据；

将所述特征数据输入回归网络中，对所述目标区域数据中的印痕采样目标点；

在所述目标图像数据中将所述目标点写入所述目标区域数据中的印痕上，获得重构图像数据；

对所述重构图像数据执行光学字符识别，获得所述铭牌中记录的设备参数。

第三方面，本发明实施例还提供了一种铭牌识别模型的训练装置，所述铭牌识别模型包括编码器、回归网络，所述装置包括：

样本获取模块，用于获取对安装在电力设备上的铭牌采集的样本图像数据、所述铭牌中记录的设备参数，所述样本图像数据中包含多个方框所在的样本区域数据；

标签区域数据生成模块，用于将位于所述方框的所述设备参数写入所述样本区域数据中的印痕上，作为标签区域数据；

标签点采样模块，用于对所述标签区域数据中的所述设备参数采样标签点；

特征数据提取模块，用于将所述样本图像数据输入所述编码器中提取特征数据；

参考点采样模块，用于将所述特征数据输入所述回归网络中，对所述样本区域数据中的印痕采样参考点；

参考区域数据重构模块，用于将所述特征数据输入解码器中，将所述样本区域数据中的印痕重构为字体、作为参考区域数据；

辅助训练模块，用于根据所述参考点与所述标签点之间的差异、所述参考区域数据与所述标签区域数据之间的差异，对所述编码器、所述回归网络与所述解码器进行训练，直至所述参考点与所述参考区域数据对齐，所述解码器在训练完成时丢弃。

第四方面，本发明实施例还提供了一种铭牌的识别装置，包括：

铭牌识别模型加载模块，用于加载根据第一方面所述的方法训练的铭牌识别模型；

目标图像数据采集模块，用于对安装在电力设备上的铭牌采集目标图像数据，所述目标图像数据中包含多个方框所在的目标区域数据；

特征数据提取模块，用于将所述目标图像数据输入编码器中提取特征数据；

目标点采样模块，用于将所述特征数据输入回归网络中，对所述目标区域数据中的印痕采样目标点；

重构图像数据生成模块，用于在所述目标图像数据中将所述目标点写入所述目标区域数据中的印痕上，获得重构图像数据；

光学字符识别模块，用于对所述重构图像数据执行光学字符识别，获得所述铭牌中记录的设备参数。

第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的铭牌识别模型的训练方法或者如第二方面所述的铭牌识别方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的铭牌识别模型的训练方法或者如第二方面所述的铭牌识别方法。

在本实施例中，铭牌识别模型包括编码器、回归网络，获取对安装在电力设备上的铭牌采集的样本图像数据、铭牌中记录的设备参数，样本图像数据中包含多个方框所在的样本区域数据；将位于方框的设备参数写入样本区域数据中的印痕上，作为标签区域数据；对标签区域数据中的设备参数采样标签点；将样本图像数据输入编码器中提取特征数据；将特征数据输入回归网络中，对样本区域数据中的印痕采样参考点；将特征数据输入解码器中，将样本区域数据中的印痕重构为字体、作为参考区域数据；根据参考点与标签点之间的差异、参考区域数据与标签区域数据之间的差异，对编码器、回归网络与解码器进行训练，直至参考点与参考区域数据对齐，解码器在训练完成时丢弃。本实施例利用书写的笔画作为监督，帮助回归网络的低维特征关注笔画的信息提取，在铭牌上的信息因老化掉漆的情况下，帮助回归的点能落到书写的笔画上，即，帮助回归的点落到刻印的痕迹上，重组出书写的笔画，而不是落到经验值上，避免过渡拟合导致无法组成书写的笔画，回归的点能落在书写的笔画上，能更准确的帮助光学字符识别，从而提高识别铭牌中记录的设备参数的精确度，减少人工校对的、录入数据库的成本，减少花费的时间，大大提高了效率。

附图说明

图1为本发明实施例一提供的一种铭牌识别模型的训练方法的流程图；

图2为本发明实施例一提供的一种铭牌的示例图；

图3是本发明实施例二提供的一种铭牌的识别方法的流程图；

图4为本发明实施例三提供的一种铭牌识别模型的训练装置的结构示意图；

图5为本发明实施例四提供的一种铭牌的识别装置的结构示意图；

图6为本发明实施例五提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种铭牌识别模型的训练方法的流程图，本实施例可适用于训练辅助光学字符识别的铭牌识别模型的情况，该方法可以由铭牌识别模型的训练装置来执行，该铭牌识别模型的训练装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，具体包括如下步骤：

步骤101、获取对安装在电力设备上的铭牌采集的样本图像数据、铭牌中记录的设备参数。

在对电力设备推进数字化管理的过程时，技术人员会对安装在电力设备上的铭牌采集图像数据，对该图像数据使用光学字符识别识别铭牌中记录的设备参数，并通过技术人人工对设备参数进行校对、并录入数据库。

在本实施例中，可以从数据库中提取该图像数据，记为样本图像数据，并提取该图像数据对应的设备参数，复用样本图像数据、设备参数作为训练铭牌识别模型的数据，可以减少标注数据的工作量。

步骤102、将位于方框的设备参数写入样本区域数据中的印痕上，作为标签区域数据。

在实际应用中，如图2所示，铭牌上记录的信息一般包括电力设备的类型、铭牌中记录的设备参数、生产电力设备的厂商，等等。

其中，对于电力设备的类型（如图2中的“箱式变电站”）、生产电力设备的厂商（如图2中的“XXXX电器有限公司”）一般位于铭牌的最上方和最下方等特定的位置。

电力设备的设备参数包括参数名、参数值，针对不同类型的电力设备，其参数名、参数值有所不同，部分参数值可进一步划分为数值与单位，部分参数值不可进一步划分为数值与单位，如型号。

一般情况下，参数名、参数值一般位于同一行中，参数名一般位于参数值之前。

示例性地，如图2所示，对于箱式变电站，其中一个设备参数的参数名为“额定频率”、参数值为“50Hz”，其中，“50”为数值，“Hz”为单位，另外一个设备参数的参数名为“高压额定电压”、参数值为“12KV”，其中，“12”为数值，“KV”为单位。

铭牌是针对同一类型的电力设备生产，而并非针对特定型号的电力设备生产，因此，铭牌在出厂之前会刻印设备参数中不同型号的电力设备通用的部分信息，如参数名，而对设备参数中不同型号的电力设备并不通用的部分信息留空，如参数值。

在不同情况中，参数值的单位可以纳入为通用的信息而预先在出厂前刻录，也可以纳入为并不通用的信息，本实施例对此不加以限制。

对于留空的部分信息，通常是印刷有方框（即矩形框，背景可能与其他区域相同，也可能与其他区域不同），在铭牌出厂之后确定电力设备的型号，从而使用刻印机器将该型号中的参数值刻印至方框中。

在铭牌出厂之后，受限于刻印机器的性能，方框中的部分信息在户外老化的过程中容易掉漆，剩余印痕，这些印痕在光学字符识别的过程中容易出错。

那么，在本实施例中，可以针对印痕训练辅助光学字符识别的铭牌识别模型，在训练的过程中，可以以方框作为目标，使用目标检测算法在样本图像数据中检测并裁剪该方框所在的区域，记为样本区域数据，即，样本图像数据中包含多个方框所在的样本区域数据，从而将将位于该方框的设备参数写入相应的样本区域数据中的印痕上，记为标签区域数据，以实现铭牌的还原。

在具体实现中，可以将样本区域数据区分为具有字体（即设备参数）的第一样本区域数据、具有印痕的第二样本区域数据，即第一样本区域数据中的设备参数未掉漆，呈现较为清晰的、带颜色（一般为黑色、红色等）的字体，并不显现出印痕，第二样本区域数据中原本的设备参数掉漆，并不能呈现清晰的、带颜色（一般为黑色、红色等）的字体，而是显现出印痕。

考虑到数据库中存储的设备参数与刻印至铭牌上的字体风格并不一致，因此，使用Multi-Content GAN等算法按照第一样本区域数据上的字体对位于第二样本区域数据所属方框的设备参数进行风格迁移，获得风格参数，即风格参数与第一样本区域数据上的字体（即设备参数）的风格一致。

此时，将风格参数写入第二样本区域数据的印痕上，作为标签区域数据，从而提高了铭牌的真实性。

步骤103、对标签区域数据中的设备参数采样标签点。

在本实施例中，标签区域数据中的设备参数属于可视的字体，对标签区域数据中的设备参数执行下采样，得到多个组成设备参数（即字体）的点，记为标签点。

在标签点较为密集的情况下，标签点可以认为是设备参数（即字体）的笔画呈现的趋势。

步骤104、将样本图像数据输入编码器中提取特征数据。

在本实施例中，回归网络、解码器Decoder共用低纬度的编码器Encoder，解码器Decoder可用于增强编码器Encoder提取字体的笔画的能力，从而使得解码器Encoder字体的笔画辅助训练回归网络。

反之，如果忽略解码器Decoder，编码器Encoder并不增强提取字体的笔画的能力，回归网络提取的点并不落在字体的笔画上，原因是在训练时编码器Encoder、回归网络达到最优即可，而并非是编码器Encoder、回归网络、解码器Decoder达到最优。

在编码器Encoder、回归网络、解码器Decoder共同训练时，编码器Encoder学到的信息更多是混合信息，即混合了字体的点、字体的笔画，强化字体的笔画对字体的点的影响，从而字体的点对字体的笔画更加敏感，将字体的点落在字体的笔画处。

当然，也不能只靠字体的笔画就可以做好字体的点，因为字体的类型众多，笔画也是多种多样的，尤其是在字体的细节上，容易造成过拟合，这些细节对于光学字符识别而言意义不大，并且，有些字体的笔画还是被遮挡的，这时混合了字体的点、字体的笔画可以相互借鉴，使得字体的点在趋势上表现的效果更好。

在设计的时候，编码器Encoder的作用是把一个不定长的输入序列变换成一个定长的背景变量，并在该背景变量中编码输入序列信息。

在本实施例中，编码器Encoder的基本模块使用多个卷积层、池化层Polling（如平均池化），主要实现特征提取的功能，即，从样本图像数据中提取趋势上的特征数据，提取纹理上的特征数据，这部分特征数据提取的强弱会影响回归网络在高维卷积输入的响应强弱，从而影响到回归网络的准确性。

步骤105、将特征数据输入回归网络中，对样本区域数据中的印痕采样参考点。

在具体实现中，回归网络包括ShufflenetV2、MobileNet、ShuffleNetV1、Sception等等，用于在图像数据中识别痕迹中的点。

以ShufflenetV2为例，ShufflenetV2是将输入的特征数据在通道维度分成两个分支，并将两个分支的输出串接成一个特征元素。并且，ShuffleNetv2网络是一种轻量级神经网络，具体是参数数量较少和计算代价较小的神经网络模型。采用ShuffleNetv2网络进行高维特征提取，可以减少回归网络的计算资源消耗，提高点的识别效率。

在本实施例中，将样本区域数据输入回归网络中，回归网络对样本区域数据中的印痕采样多个点，记为参考点。

步骤106、将特征数据输入解码器中，将样本区域数据中的印痕重构为字体、作为参考区域数据。

解码器Decoder的最初时间步输入来自特定的符号。对于一个输出中的序列，当解码器Decoder在某一时间步搜索出该符号时，即完成该输出序列。

编码器Encoder输出的背景变量编码了整个输入序列的信息，给定训练样本中的输出序列，对每个时间步，解码器Decoder输出的条件概率将基于之前的输出序列和背景变量计算。

解码器Decoder通常为多层的RNN，对于输出序列的时间步，解码器Decoder将上一时间步的输出以及背景变量作为输入，并将它们与上一时间步的隐藏状态变换为当前时间步的隐藏状态。

在本实施例中，将特征数据输入解码器Decoder中，解码器Decoder将样本区域数据中的印痕重构为字体，记为参考区域数据。

步骤107、根据参考点与标签点之间的差异、参考区域数据与标签区域数据之间的差异，对编码器、回归网络与解码器进行训练，直至参考点与参考区域数据对齐。

在本实施例中，可以分别计算参考点与标签点之间的差异，以及，计算参考区域数据与标签区域数据之间的差异，以此分别对编码器行反向传播、对回归网络行反向传播、对解码器进行反向传播，分别更新编码器中的权重、回归网络中的权重与解码器中的权重，直至参考点与参考区域数据对齐。

所谓对齐，可以指参考点与参考区域数据的趋势一致，将参考点与参考区域数据叠加在一起时，参考点与参考区域数据贴合，此时，可以认为编码器、回归网络与解码器训练完成，存储编码器、回归网络，包含存储编码器的结构及参数、回归网络的结构及参数，此外，解码器在训练完成时丢弃。

在本发明的一个实施例中，步骤107可以包括如下步骤：

步骤1071、计算参考点与标签点之间的差异，作为第一损失值。

在本实施例中，将参考点与标签点代入预设的第一损失函数中，计算参考点与标签点之间的差异，得到第一损失值，即，第一损失值用于评价参考点（预测值）与标签点（真实值）之间在整体上的位置偏差，可用于更新回归网络。

示例性地，在生成参考点、标签点时，均可以对参考点、标签点配置编号，编号相同的参考点、标签点，位置理论上相同，因此，对于相同编号的参考点与标签点，可以计算参考点与标签点之间的范数距离L2，对所有范数距离L2计算平均值，作为第一损失值。

步骤1072、计算参考区域数据与标签区域数据之间的差异，作为第二损失值。

在本实施例中，将参考区域数据与标签区域数据代入预设的第二损失函数中，计算参考区域数据与标签区域数据之间的差异，得到第二损失值，即，第二损失值用于评价参考点（参考区域数据）与标签点（标签区域数据）之间在整体上的书写偏差，可用于更新解码器。

示例性地，可以将参考区域数据转换为第一矩阵，将标签区域数据转换为第二矩阵，计算第一矩阵与第二矩阵之间的欧式距离，作为第二损失值。

步骤1073、将第一损失值与第二损失值结合为第三损失值。

在本实施例中，可以将第一损失值与第二损失值进行融合，得到第三损失值，第三损失值综合位置偏差、笔画偏差，可用于更新编码器。

示例性地，可以对第一损失值与第二损失值进行线性融合，得到第三损失值。

在本示例中，一方面，计算第一损失值与第一权重之间的乘积，作为第一调权值，另一方面，计算第二损失值与第二权重之间的乘积，作为第二调权值，第一权重大于第二权重，计算第一调权值与第二调权值之间的和值，作为第三损失值。

其中，第一权重大于第二权重。

步骤1074、分别使用第一损失值更新回归网络、使用第二损失值更新解码器、使用第三损失值更新编码器。

对回归网络进行反向传播，基于第一损失值更新回归网络中的权重，对解码器进行反向传播，基于第二损失值更新解码器中的权重，对编码器进行反向传播，基于第三损失值更新编码器中的权重。

具体而言，将第一损失值代入SGD（stochastic gradient descent，随机梯度下降）、Adam（Adaptive momentum，自适应动量）等优化算法中，计算回归网络中权重的更新幅度，从而按照该更新幅度更新回归网络中的权重。

将第二损失值代入SGD、Adam等优化算法中，计算解码器中权重的更新幅度，从而按照该更新幅度更新解码器中的权重。

将第三损失值代入SGD、Adam等优化算法中，计算编码器中权重的更新幅度，从而按照该更新幅度更新编码器中的权重。

步骤1075、判断当前迭代的次数是否到达预设的阈值，若是，则执行步骤1076，若否，则返回执行步骤104。

步骤1076、确定编码器、回归网络与解码器训练完成，丢弃解码器。

在本实施例中，可以预先对迭代的次数设置阈值，作为停止条件，在每轮迭代训练中，统计当前迭代的次数，从而判断当前迭代训练编码器、回归网络与解码器的次数是否到达该阈值。

如果到达该阈值，则可以认为编码器、回归网络与解码器训练完成，此时，分别记录编码器、回归网络中的权重，并丢弃解码器。

如果未到达该阈值，则可以进入下一轮迭代训练，如此循环迭代训练，直至编码器、回归网络与解码器训练完成。

在本实施例中，离线训练编码器、回归网络与解码器，记录编码器、回归网络的结构及其权重，通过各种方式分发至检测的设备，检测的设备可加载编码器、回归网络，检测电力设备上铭牌记录的设备参数。

在本实施例中，铭牌识别模型包括编码器、回归网络，获取对安装在电力设备上的铭牌采集的样本图像数据、铭牌中记录的设备参数，样本图像数据中包含多个方框所在的样本区域数据；将位于方框的设备参数写入样本区域数据中的印痕上，作为标签区域数据；对标签区域数据中的设备参数采样标签点；将样本图像数据输入编码器中提取特征数据；将特征数据输入回归网络中，对样本区域数据中的印痕采样参考点；将特征数据输入解码器中，将样本区域数据中的印痕重构为字体、作为参考区域数据；根据参考点与标签点之间的差异、参考区域数据与标签区域数据之间的差异，对编码器、回归网络与解码器进行训练，直至参考点与参考区域数据对齐，解码器在训练完成时丢弃。本实施例利用书写的笔画作为监督，帮助回归网络的低维特征关注笔画的信息提取，在铭牌上的信息因老化掉漆的情况下，帮助回归的点能落到书写的笔画上，即，帮助回归的点落到刻印的痕迹上，重组出书写的笔画，而不是落到经验值上，避免过渡拟合导致无法组成书写的笔画，回归的点能落在书写的笔画上，能更准确的帮助光学字符识别，从而提高识别铭牌中记录的设备参数的精确度，减少人工校对的、录入数据库的成本，减少花费的时间，大大提高了效率。

实施例二

图3为本发明实施例二提供的一种铭牌的识别方法的流程图，本实施例可适用于使用铭牌识别模型辅助识别电力设备的铭牌的情况，该方法可以由铭牌的识别装置来执行，该铭牌的识别装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑、移动终端（如手机、平板电脑等），等等，具体包括如下步骤：

步骤301、加载铭牌识别模型。

在本实施例中，可以预先训练铭牌识别模型，该铭牌识别模型用于识别铭牌（图像数据）中记录的设备参数。

其中，铭牌识别模型包括编码器、回归网络，铭牌识别模型的训练方法如下：

获取对安装在电力设备上的铭牌采集的样本图像数据、铭牌中记录的设备参数，样本图像数据中包含多个方框所在的样本区域数据；

将位于方框的设备参数写入样本区域数据中的印痕上，作为标签区域数据；

对标签区域数据中的设备参数采样标签点；

将样本图像数据输入编码器中提取特征数据；

将特征数据输入回归网络中，对样本区域数据中的印痕采样参考点；

将特征数据输入解码器中，将样本区域数据中的印痕重构为字体、作为参考区域数据；

根据参考点与标签点之间的差异、参考区域数据与标签区域数据之间的差异，对编码器、回归网络与解码器进行训练，直至参考点与参考区域数据对齐，解码器在训练完成时丢弃。

在本发明实施例中，由于铭牌识别模型的训练方法与实施例一的应用基本相似，所以描述的比较简单，相关之处参见实施例一的部分说明即可，本发明实施例在此不加以详述。

将铭牌识别模型中的编码器、回归网络（结构及其参数）加载至内存中运行，待识别铭牌（图像数据）中记录的设备参数。

步骤302、对安装在电力设备上的铭牌采集目标图像数据。

在本实施例中，用户可以面向安装在电力设备上的铭牌采集图像数据，记为目标图像数据，一般情况下，目标图像数据中包含多个方框所在的区域，记为目标区域数据。

步骤303、将目标图像数据输入编码器中提取特征数据。

将目标图像数据输入编码器中，编码器对目标图像数据进行处理，提取低纬度的特征数据。

步骤304、将特征数据输入回归网络中，对目标区域数据中的印痕采样目标点。

将特征数据输入回归网络中，回归网络对目标区域数据中的印痕采样多个点，记为目标点。

步骤305、在目标图像数据中将目标点写入目标区域数据中的印痕上，获得重构图像数据。

记录目标点位于目标区域数据上的坐标，记为相对位置，在目标图像数据中，将目标点写入相应目标区域数据中的该相对位置上，使得目标点可以写入相应目标区域数据中的印痕上，获得重构图像数据。

步骤306、对重构图像数据执行光学字符识别，获得铭牌中记录的设备参数。

在本实施例中，可以应用深度学习技术对重构图像数据执行光学字符识别，获得铭牌上记录的信息，例如，端到端文本识别算法（End-to-End Text Spotting）、端到端文本检测与识别算法FOTS、文本框识别算法TextBoxes、文本检测算法PSENet，等等。

在目标点较为密集的情况下，目标点可以认为是设备参数（字体）的笔画呈现的趋势，光学字符识别的兼容性较强，笔画呈现的趋势对于光学字符识别的影响明显大于笔画的细节，在光学字符识别的过程中，重构图像数据中的目标点会被当作字体进行识别，在具有良好的趋势的情况下，可以提高识别的成功率。

在实际应用中，该铭牌上记录的信息一般包括电力设备的类型、铭牌中记录的设备参数、生产电力设备的厂商，等等。

其中，对于电力设备的类型、生产电力设备的厂商一般位于铭牌的最上方和最下方等特定的位置，并且，电力设备的类型、生产电力设备的厂商较为固定，因此，可以通过位置或关键词识别电力设备的类型、生产电力设备的厂商。

此外，设备参数包括参数名、参数值，参数名、参数值一般位于同一行中，参数名一般位于参数值之前，那么，可以对重构图像数据执行光学字符识别，获得文本信息。

查找位于方框中的文本信息，作为铭牌中记录的参数值。

查找位于方框之前的文本信息，作为铭牌中记录的参数名。

进一步而言，参数值可划分为数值、单位，在部分情况下，该单位可能在铭牌出厂之前刻印在方框之后，即方框用于记录参数值中的数值，该单位也可能在铭牌出厂之后刻印在方框之中，即，方框用于记录参数值中数值与单位，那么，若位于方框中的文本信息为单位，则确定文本信息为铭牌中记录的参数值。

对于识别出的铭牌上记录的信息（如电力设备的类型、铭牌中记录的设备参数、生产电力设备的厂商等），可以按照既定的格式存储至数据库中。

在本实施例中，加载铭牌识别模型；对安装在电力设备上的铭牌采集目标图像数据，目标图像数据中包含多个方框所在的目标区域数据；将目标图像数据输入编码器中提取特征数据；将特征数据输入回归网络中，对目标区域数据中的印痕采样目标点；在目标图像数据中将目标点写入目标区域数据中的印痕上，获得重构图像数据；对重构图像数据执行光学字符识别，获得铭牌中记录的设备参数。本实施例利用书写的笔画作为监督，帮助回归网络的低维特征关注笔画的信息提取，在铭牌上的信息因老化掉漆的情况下，帮助回归的点能落到书写的笔画上，即，帮助回归的点落到刻印的痕迹上，重组出书写的笔画，而不是落到经验值上，避免过渡拟合导致无法组成书写的笔画，回归的点能落在书写的笔画上，能更准确的帮助光学字符识别，从而提高识别铭牌中记录的设备参数的精确度，减少人工校对的、录入数据库的成本，减少花费的时间，大大提高了效率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例三

图4为本发明实施例三提供的一种铭牌识别模型的训练装置的结构框图，所述铭牌识别模型包括编码器、回归网络，所述装置具体可以包括如下模块：

样本获取模块401，用于获取对安装在电力设备上的铭牌采集的样本图像数据、所述铭牌中记录的设备参数，所述样本图像数据中包含多个方框所在的样本区域数据；

标签区域数据生成模块402，用于将位于所述方框的所述设备参数写入所述样本区域数据中的印痕上，作为标签区域数据；

标签点采样模块403，用于对所述标签区域数据中的所述设备参数采样标签点；

特征数据提取模块404，用于将所述样本图像数据输入所述编码器中提取特征数据；

参考点采样模块405，用于将所述特征数据输入所述回归网络中，对所述样本区域数据中的印痕采样参考点；

参考区域数据重构模块406，用于将所述特征数据输入解码器中，将所述样本区域数据中的印痕重构为字体、作为参考区域数据；

辅助训练模块407，用于根据所述参考点与所述标签点之间的差异、所述参考区域数据与所述标签区域数据之间的差异，对所述编码器、所述回归网络与所述解码器进行训练，直至所述参考点与所述参考区域数据对齐，所述解码器在训练完成时丢弃。

在本发明的一个实施例中，所述标签区域数据生成模块402还用于：

将所述样本区域数据区分为具有字体的第一样本区域数据、具有印痕的第二样本区域数据；

按照所述第一样本区域数据上的所述字体对位于所述第二样本区域数据所属方框的所述设备参数进行风格迁移，获得风格参数；

将所述风格参数写入所述第二样本区域数据的印痕上，作为标签区域数据。

在本发明的一个实施例中，所述辅助训练模块407还用于：

计算所述参考点与所述标签点之间的差异，作为第一损失值；

计算所述参考区域数据与所述标签区域数据之间的差异，作为第二损失值；

将所述第一损失值与所述第二损失值结合为第三损失值；

使用所述第一损失值更新所述回归网络；

使用所述第二损失值更新所述解码器；

使用所述第三损失值更新所述编码器；

判断当前迭代的次数是否到达预设的阈值，若是，则确定所述编码器、所述回归网络与所述解码器训练完成，丢弃所述解码器；若否，则返回执行所述将所述样本图像数据输入所述编码器中提取特征数据。

在本发明的一个实施例中，所述辅助训练模块407还用于：

对于相同编号的所述参考点与所述标签点，计算所述参考点与所述标签点之间的范数距离；

对所述范数距离计算平均值，作为第一损失值。

在本发明的一个实施例中，所述辅助训练模块407还用于：

将所述参考区域数据转换为第一矩阵；

将所述标签区域数据转换为第二矩阵；

计算所述第一矩阵与所述第二矩阵之间的欧式距离，作为第二损失值。

在本发明的一个实施例中，所述辅助训练模块407还用于：

计算所述第一损失值与第一权重之间的乘积，作为第一调权值；

计算所述第二损失值与第二权重之间的乘积，作为第二调权值，所述第一权重大于所述第二权重；

计算所述第一调权值与所述第二调权值之间的和值，作为第三损失值；

其中，所述第一权重大于所述第二权重。

本发明实施例所提供的铭牌识别模型的训练装置可执行本发明任意实施例所提供的铭牌识别模型的训练方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5为本发明实施例四提供的一种铭牌的识别装置的结构框图，具体可以包括如下模块：

铭牌识别模型加载模块501，用于加载铭牌识别模型；

目标图像数据采集模块502，用于对安装在电力设备上的铭牌采集目标图像数据，所述目标图像数据中包含多个方框所在的目标区域数据；

特征数据提取模块503，用于将所述目标图像数据输入编码器中提取特征数据；

目标点采样模块504，用于将所述特征数据输入回归网络中，对所述目标区域数据中的印痕采样目标点；

重构图像数据生成模块505，用于在所述目标图像数据中将所述目标点写入所述目标区域数据中的印痕上，获得重构图像数据；

光学字符识别模块506，用于对所述重构图像数据执行光学字符识别，获得所述铭牌中记录的设备参数。

其中，所述铭牌识别模型包括编码器、回归网络，所述铭牌识别模型的训练方法如下：

获取对安装在电力设备上的铭牌采集的样本图像数据、所述铭牌中记录的设备参数，所述样本图像数据中包含多个方框所在的样本区域数据；

将位于所述方框的所述设备参数写入所述样本区域数据中的印痕上，作为标签区域数据；

对所述标签区域数据中的所述设备参数采样标签点；

将所述样本图像数据输入所述编码器中提取特征数据；

将所述特征数据输入所述回归网络中，对所述样本区域数据中的印痕采样参考点；

将所述特征数据输入解码器中，将所述样本区域数据中的印痕重构为字体、作为参考区域数据；

根据所述参考点与所述标签点之间的差异、所述参考区域数据与所述标签区域数据之间的差异，对所述编码器、所述回归网络与所述解码器进行训练，直至所述参考点与所述参考区域数据对齐，所述解码器在训练完成时丢弃。

在本发明的一个实施例中，所述设备参数包括参数名、参数值；

所述光学字符识别模块506还用于：

对所述重构图像数据执行光学字符识别，获得文本信息；

查找位于所述方框中的所述文本信息，作为所述铭牌中记录的参数值；

查找位于所述方框之前的文本信息，作为所述铭牌中记录的参数名；

若位于所述方框中的所述文本信息为单位，则确定所述文本信息为所述铭牌中记录的参数值。

本发明实施例所提供的铭牌的识别装置可执行本发明任意实施例所提供的铭牌的识别方法，具备执行方法相应的功能模块和有益效果。

实施例五

图6为本发明实施例五提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28，连接不同系统组件（包括存储器28和处理单元16）的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图6未显示，通常称为“硬盘驱动器”）。尽管图6中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的铭牌识别模型的训练方法或铭牌的识别方法。

实施例六

本发明实施例六还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述铭牌识别模型的训练方法或铭牌的识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种铭牌识别模型的训练方法，其特征在于，所述铭牌识别模型包括编码器、回归网络，所述方法包括：

获取对安装在电力设备上的铭牌采集的样本图像数据、所述铭牌中记录的设备参数，所述样本图像数据中包含多个方框所在的样本区域数据；

将位于所述方框的所述设备参数写入所述样本区域数据中的印痕上，作为标签区域数据；

对所述标签区域数据中的所述设备参数采样标签点；

将所述样本图像数据输入所述编码器中提取特征数据；

将所述特征数据输入所述回归网络中，对所述样本区域数据中的印痕采样参考点；

将所述特征数据输入解码器中，将所述样本区域数据中的印痕重构为字体、作为参考区域数据；

根据所述参考点与所述标签点之间的差异、所述参考区域数据与所述标签区域数据之间的差异，对所述编码器、所述回归网络与所述解码器进行训练，直至所述参考点与所述参考区域数据对齐，所述解码器在训练完成时丢弃；

其中，所述根据所述参考点与所述标签点之间的差异、所述参考区域数据与所述标签区域数据之间的差异，对所述编码器、所述回归网络与所述解码器进行训练，直至所述参考点与所述参考区域数据对齐，包括：

计算所述参考点与所述标签点之间的差异，作为第一损失值；

计算所述参考区域数据与所述标签区域数据之间的差异，作为第二损失值；

将所述第一损失值与所述第二损失值结合为第三损失值；

使用所述第一损失值更新所述回归网络；

使用所述第二损失值更新所述解码器；

使用所述第三损失值更新所述编码器；

判断当前迭代的次数是否到达预设的阈值，若是，则确定所述编码器、所述回归网络与所述解码器训练完成，丢弃所述解码器；若否，则返回执行所述将所述样本图像数据输入所述编码器中提取特征数据。

2.根据权利要求1所述的方法，其特征在于，所述将位于所述方框的所述设备参数写入所述样本区域数据中的印痕上，作为标签区域数据，包括：

将所述样本区域数据区分为具有字体的第一样本区域数据、具有印痕的第二样本区域数据；

按照所述第一样本区域数据上的所述字体对位于所述第二样本区域数据所属方框的所述设备参数进行风格迁移，获得风格参数；

将所述风格参数写入所述第二样本区域数据的印痕上，作为标签区域数据。

3.根据权利要求1所述的方法，其特征在于，所述计算所述参考点与所述标签点之间的差异，作为第一损失值，包括：

对于相同编号的所述参考点与所述标签点，计算所述参考点与所述标签点之间的范数距离；

对所述范数距离计算平均值，作为第一损失值。

4.根据权利要求1所述的方法，其特征在于，所述计算所述参考区域数据与所述标签区域数据之间的差异，作为第二损失值，包括：

将所述参考区域数据转换为第一矩阵；

将所述标签区域数据转换为第二矩阵；

计算所述第一矩阵与所述第二矩阵之间的欧式距离，作为第二损失值。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一损失值与所述第二损失值结合为第三损失值，包括：

计算所述第一损失值与第一权重之间的乘积，作为第一调权值；

计算所述第二损失值与第二权重之间的乘积，作为第二调权值，所述第一权重大于所述第二权重；

计算所述第一调权值与所述第二调权值之间的和值，作为第三损失值；

其中，所述第一权重大于所述第二权重。

6.一种铭牌的识别方法，其特征在于，包括：

加载根据权利要求1-5中任一项所述的方法训练的铭牌识别模型；

对安装在电力设备上的铭牌采集目标图像数据，所述目标图像数据中包含多个方框所在的目标区域数据；

将所述目标图像数据输入编码器中提取特征数据；

将所述特征数据输入回归网络中，对所述目标区域数据中的印痕采样目标点；

在所述目标图像数据中将所述目标点写入所述目标区域数据中的印痕上，获得重构图像数据；

对所述重构图像数据执行光学字符识别，获得所述铭牌中记录的设备参数。

7.根据权利要求6所述的方法，其特征在于，所述设备参数包括参数名、参数值；

所述对所述重构图像数据执行光学字符识别，获得所述铭牌中记录的设备参数，包括：

对所述重构图像数据执行光学字符识别，获得文本信息；

查找位于所述方框中的所述文本信息，作为所述铭牌中记录的参数值；

查找位于所述方框之前的文本信息，作为所述铭牌中记录的参数名；

若位于所述方框中的所述文本信息为单位，则确定所述文本信息为所述铭牌中记录的参数值。

8.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的铭牌识别模型的训练方法或者如权利要求6-7中任一项所述的铭牌识别方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的铭牌识别模型的训练方法或者如权利要求6-7中任一项所述的铭牌识别方法。

Images