CN112632993A - 一种基于卷积注意力网络的电力计量实体识别模型的分类方法 - Google Patents

Abstract

一种基于卷积注意力网络的电力计量实体识别模型的分类方法，包括以下步骤：1)划分了5大类电力计量命名实体，分别为：计量数据、计量技术、电力设备、电力单位和电力现象；2)准备电力计量语料库：语料库内的所有电力计量文本，按照步骤1)分类标准进行实体标注，按照该统一标准标注，可以将语料中各类数据、单位、电气术语名称的命名格式进行相对统一的规范；3)构建字符特征嵌入层：电力计量实体识别模型使用词嵌入将输入序列转化为低维度的稠密向量化表示，并将每句话中的字符向量序列作为一组数据传入卷积注意层。本发明在没有大量外部资源的情况下，能够更充分地提取字符及其上下文特征蕴含的信息，从而进一步提高性能。

Description

一种基于卷积注意力网络的电力计量实体识别模型的分类 方法

技术领域

本发明涉及电网知识图谱构建相关的技术领域，特别是涉及一种基于卷积注意力网络的电力计量实体识别模型及相应的分类方法。

背景技术

随着信息化技术发展，电力计量领域积累了大量的电能量数据，却缺少有效处理大数据的方法。通过构建电力领域知识图谱，可以将庞大而零散的电力计量大数据化零为整，为电力企业的决策和发展提供更为全面有效的指导。同时，用户在使用以知识图谱为基础的各类业务应用时能获得更快的检索效率与更高的检索精准度，有效提升电力用户服务质量。

命名实体识别(Named Entity Recognition，NER)是知识图谱构建流程中不可或缺的一环。目前基于神经网络的中文实体识别模型在很大程度上依赖词级嵌入和外部词典集，这些模型的质量可能会受到不同的词嵌入表示形式和词典功能的影响。而针对电力专业领域的实体识别技术则存在以下困难点：1)命名实体通常是专有名词，若没有足够的标注，则很难正确学习词语表示；2)大型专业词典对于实际的实体识别系统而言非常昂贵，因为它将花费大量的内存和较长的匹配时间来获取特征，从而使模型效率低下。

发明内容

为了克服已有技术的不足，本发明提供了一种基于卷积注意力网络的电力计量实体识别模型及分类方法，利用卷积神经网络和注意力机制相结合，相比于该领域内其他实体识别模型，在没有大量外部资源的情况下，能够更充分地提取字符及其上下文特征蕴含的信息，从而进一步提高性能。

本发明解决其技术问题所采用的技术方案是：

一种基于卷积注意力网络的电力计量实体识别模型的分类方法，包括以下步骤：

1)划分了5大类电力计量命名实体，分别为：

计量数据：将表示用于统计相关电力数据的参数标注为计量数据实体，由计量监测获取；

计量技术：将与电力计量相关的某种具体技术方法或技术行为标注为计量技术；

电力设备：将表示电力计量相关的物体、装置标注为电力对象实体；

电力单位：将表示电力计量相关的人员、地区、机构单位标注为电力单位实体；

电力现象：将以某类实体在电力计量过程中产生的客观情况标注为电力现象；

2)准备电力计量语料库：语料库内的所有电力计量文本，按照步骤1)分类标准进行实体标注，按照该统一标准标注，可以将语料中各类数据、单位、电气术语名称的命名格式进行相对统一的规范；

3)构建字符特征嵌入层：电力计量实体识别模型使用词嵌入将输入序列转化为低维度的稠密向量化表示，并将每句话中的字符向量序列作为一组数据传入卷积注意层。

进一步，所述步骤3)中，构建卷积注意层：卷积注意层的目的是对输入字符序列进行编码，并在局部上下文中对有意义的相关字符进行隐式分组；在通过卷积注意层提取局部上下文特征后，将其输入至BiGRU层；

构建全局注意力机制的BiGRU层：采用由两个单向的、方向相反的门控循环单元GRU组成的BiGRU神经网络模型，其输出由这两个GRU的状态共同决定，通过BiGRU计算每个电力计量实体所在语句中的各个字符嵌入，可以使当前字符的输出能与前一字符的状态和后一字符的状态都产生联系，更有利于文本深层次特征的提取；

构建CRF层：在BiGRU层后应用全局自注意力机制层来更好地处理句子级别的信息，最后，在这两层的联合输出结果后衔接一个标准的CRF层，通过正则化的极大似然估计来得到条件概率模型，以预测每个字符的最终标签。

再进一步，所述步骤2)中，所述的电力计量实体识别模型的语料来源包括各类电力计量百科知识、电力计量文献书籍和相关电力单位内计量业务资料文件。

本发明提出了一种基于卷积注意力网络的电力计量命名实体识别模型，该实体识别模型使用一种卷积注意层来提取字符序列中隐含的局部上下文特征。通过将切分向量软连接到字符嵌入中，卷积注意层能够隐式地对与意义相关的字符进行分组，减少了切分错误的影响。在没有大量外部资源的情况下，我们的模型相比于其他中文NER模型具有更高的精确度；本发明的另一个目的是设计一种针对电力计量领域的实体分类方法，用以更好地划分该领域各类专业术语。

应用本发明所提供的方法，首先进行电力计量专业语料库的构建，规范化所有的训练与测试文本标注；之后利用多特征嵌入技术、具有局部注意的CNN特征提取器和全局自我注意机制构建针对电力计量领域文本的实体识别网络模型，完成电力计量命名实体的识别与分类。利用该方法能够在电力计量领域充分挖掘海量计量业务数据的价值，将基于卷积网络与自注意力机制的算法模型应用于电力计量领域以获得更优的命名实体识别效果，有助于搭建更为完整精确的电力领域知识图谱。

本发明的有益效果主要表现在：在没有大量外部资源的情况下，能够更充分地提取字符及其上下文特征蕴含的信息，从而进一步提高性能。

附图说明

图1为基于卷积注意网络的电力计量实体识别技术的一种实施流程图；

图2为基于卷积注意网络的电力计量实体NER模型的结构图；

图3为基于卷积注意网络的电力计量实体NER模型的一种数据分析结果的展示方式；

图4为基于卷积注意网络的电力计量实体NER模型的实体类型分类方法表示图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于卷积注意力网络的电力计量实体识别模型的分类方法，利用本发明专利所述的电力计量实体识别模型可以在没有外部资源的情况下，通过将切分向量软连接到字符嵌入中，使卷积注意层能够隐式地对与意义相关的字符进行分组，从而减少词语切分错误的影响；在GRU和CRF层中间增添全局注意层，以减少字词库以外词汇(OOV)的影响，从而实现对电力计量领域专业文本中各语句和词汇的实体识别。

该实施流程图1包括以下步骤：

步骤1：收集电力计量语料，语料资源主要来自各类电力计量百科知识、电力计量领域相关的文献书籍、相关电力单位内计量业务资料文件等方面，其中来自网络各个网站收集的电力计量百科知识，以及从电力计量领域相关文献书籍中提取出的文字资料均为非结构化数据。电力单位提供的计量业务信息、计量统计数据则以结构化数据居多。对各个类型数据进行数据预处理，规范统一格式，删除不相关的文本语料，以句号作为间隔符划分语料的语句。

步骤2：针对电力计量领域设计了一套新的实体分类方法，用以更好地划分该领域各类专业术语，减少命名实体边界模糊、难以界定等情况的出现；将收集到的语料按照我们提出的分类方法分成计量数据、计量技术、电力设备、电力单位、电力现象这5类实体进行标注，构建电力计量语料库，用于训练和测试模型。

步骤3：使用glove模型方法，对电力计量知识语料库进行训练，为句子中的每个字生成字符Embedding，相比于skip-gram更为充分有效地利用了语料库的统计信息，仅仅利用共现矩阵里面的非零元素进行训练，为了优化电力计量实体识别效果，把电力知识词典作为一种领域知识的形式添加到特征集合中；事实上，目前已有大量可用的电力计量词汇资源，如《电力工程技术词典》、《现代英汉汉英电力技术词典》等；使用《现代英汉汉英电力技术词典》中的专业技术词汇来生成我们的字典功能；首先，获取规范化标记序列和字典项之间可能的最长匹配；然后，对于匹配中的每一个令牌，其特征被编码为BIO(Begin，Inside，Outside)标记方案；最后，利用查找表输出5维的字典嵌入。

步骤4：在生成分布式特征嵌入之后，CNN层对输入的特征嵌入进行局部上下文信息捕获，并利用卷积窗口学习每个字符及其相关联上下文字符之间的特征；同时，我们的模型将CNN与局部注意机制结合起来，以增强模型捕获字符序列之间隐式局部上下文关系的能力。

步骤5：构建BiGRU层对步骤4的特征嵌入进行下一步计算，BiGRU层的目的主要是对输入的文本向量进行文本深层次特征的提取，由单向的、方向相反的两个GRU组成的神经网络模型；利用这种模型，当前时刻的输出能与前一时刻的状态和后一时刻的状态都产生联系。同时，在BiGRU后面添加全局注意力层，以更好地处理句子级信息。

步骤6：将通过步骤5全局注意力机制BiGRU层所得到的文本表示作为CRF层的输入，CRF层根据上一层的输出特征为输入序列的实体进行分类标注，得到最终的识别结果。

步骤7：最后，训练模型学习参数，并将需测试的文本数据和识别结果利用界面展示功能以可视化方式展示出来。

图2为本发明专利针对图1实施流程中一种基于卷积注意网络的电力计量实体NER模型的结构图的具体过程：

1.输入文本特征：在中文NER任务中，将输入句子表示为X_i＝{x_i,1,x_i,2,x_i,3,…,x_i,τ},其中

表示句子X_i中第τ个字符，d_e表示输入嵌入的维度；相应的，将句子标签序列表示为Y_i＝{y_i,1,y_i,2,y_i,3,…,y_i,τ},其中y_i,τ∈γ属于所有可能标签的集合，目标是学习函数f_θ＝X→Y，来获取所有类型在内的输入文本中所有字符的实体类型；在下面的描述中，选取一个实例来省略子索引i；

2.分布式特征嵌入构造：每个字符的输入表示被构造为x＝[x_ch；x_dic；x_seg]，其中

和

分别是字符嵌入、字典嵌入和标注编码，标注信息采用BIO编码；

3.卷积注意层提取局部上下文特征：卷积注意层的目的是对输入字符序列进行编码，并在局部上下文中对有意义的相关字符进行隐式分组；对于CNN中窗口大小为k的每个窗口，首先将位置嵌入连接到每个字符嵌入中，以帮助保持局部窗口上下文中的顺序关系；嵌入位置的维数等于窗口大小k，字符所在位置的初始值为1，其他位置的初始值为0；因此，联合嵌入的维度数为d_e＝d_ch+d_dic+d_pos+d_seg；

然后，在窗口内应用一个局部注意来捕捉中心字符和每个上下文标记之间的关系，然后是一个带有池化层的CNN，将隐藏维度设置为d_h，对于第j个字符，局部注意力集中于所有的级联嵌入

作为窗口输入，并输出k个隐藏向量

隐藏向量按如下计算：

h_m＝α_mx_m

其中

α_m为注意力权重，其计算公式为：

得分函数s定义如下：

s(x_j,x_k)＝v^Ttanh(W₁x_j+W₂x_k)

其中

且

CNN层在k个令牌的上下文窗口中包含dh个中心，如下所示：

其中

且

运算符*表示按元素乘积，

表示隐藏状态

的联合集，两者都是在第一个维度上运算的，并在最后执行池化层操作；

4.在通过卷积注意层提取局部上下文特征后，将其输入到基于BiGRU-CRF的模型中，以预测每个字符的最终标签；

BiGRU层是对连续句信息进行建模，计算如下：

其中

是卷积注意层的输出，

是BiGRU层的先前隐藏状态，且

为参数；

5.然后，应用全局自我注意层，以更好地处理句子级信息，如下所示：

其中j＝1,…,τ表示句子中的所有字符实例，

计算如下：

得分函数s与上述s(x_j,x_k)类似，不同点在于参数

和

替换了原式中的变量；

6.最后，在BiGRU层和全局注意层的输出后连接一个标准的CRF层，用

表示，假设预测的标签序列Y＝{y₁,y₂,y₃,…,y_τ}，则基本真实标签序列的概率由以下公式计算：

其中y′表示任意标记序列，

和

为可训练参数。在解码过程中，使用维特比算法得到预测的标签序列。

到这里，利用多特征嵌入技术、具有局部注意的CNN特征化器和全局自我注意机制，得到了包含基于字符、基于单词和基于句子的信息的整体架构。

对于训练，利用对数似然目标作为损失函数，给定一组训练示例

损失函数L可定义如下：

在训练阶段的每次迭代中，首先随机打乱所有训练实例，然后用批处理更新将它们提供给模型，最后，用AdaDelta算法优化所有参数。

图3为本发明专利在具体的实施流程中，在模型训练完成后对测试数据进行识别的一种展示方案。一种基于卷积神经网络的电力计量实体识别模型的文本识别结果展示方式具体实施过程：

本发明专利构建的语料库包含280篇电力计量领域相关的论文文献，34篇各网站的电力信息文档资源，7份电力单位提供的相关报告与资料。语料库共计18325个句子，20714个电力计量实体词汇标注。我们把语料库中的数据集以10:1的比例划分，分别作为模型的训练集和测试集。

为该模型设计了一个实体识别展示功能，输入待识别的文本，然后可以将需识别的文本和识别后的相应标签输出，在显示器上以界面化的方式呈现，该展示功能与所述的模型构成了一个实体识别系统，该展示功能的具体显示界面如所述实施例图3所示；界面上显示的文本内容已经经过分词处理，词与词之间使用空格隔开，其中电力计量领域的专业实体词汇在后面增加了相应的实体标签(如Obj，Tec)说明，并将文字背景以不同颜色进行划分，以此明显标示各类实体。该实现过程不局限于所述表达方式，但应用本实施例时，其实体识别结果展示应包含本发明专利所述的几个基本元素：以不同颜色背景来区分的5种电力计量实体分类图例(包含计量数据、计量技术、电力设备、电力单位、电力现象)；在实体名称后附加的实体类别英文缩写标签(Dat,Tec,Obj,Org,Phe)；用于显示需检测的电力计量文本内容的区域；以及能获取到所述实体识别模型输出结果的对应程序接口。

图4为相应于上面的方法实施例，所提供的一种基于卷积注意网络的电力计量实体识别模型所对应的实体分类方法，包括：

计量数据：将表示用于统计相关电力数据的参数标注为计量数据实体，通常由计量监测获取，如“用电量”、“抄表率”、“平均负荷”等。

计量技术：将与电力计量相关的某种具体技术方法或技术行为标注为计量技术，如“伏安法”、“自动化抄表”、“安装检验”等。

电力设备：将表示电力计量相关的物体、装置等标注为电力对象实体，如“电能表”、“变电箱”、“接线盒”等。

电力单位：将表示电力计量相关的人员、地区、机构单位等标注为电力单位实体，如“电力检修员”、“广州供电局”、“国家电网”等。

电力现象：将以某类实体在电力计量过程中产生的客观情况标注为电力现象，如“电能表停走”、“电流不平衡”、“窃电现象”等。

通过判断领域专业词语描述的对象、所表达的含义，可以有效划分电力计量领域这5种类型的实体名称，有利于减少前后标注不一致的情况，提升领域命名实体识别准确率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对上述本申请所提供的一种电力计量实体识别模型与电力计量实体分类方法，仅是本发明的优选实施方式，使本领域专业技术人员能够实现或使用本发明。应当指出，对于本技术领域的普通技术人员来说，根据本申请的思想，在具体实施方式及应用范围上均会有变化之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述方法包括以下步骤：

1)划分了5大类电力计量命名实体，分别为：

计量数据：将表示用于统计相关电力数据的参数标注为计量数据实体，由计量监测获取；

计量技术：将与电力计量相关的某种具体技术方法或技术行为标注为计量技术；

电力设备：将表示电力计量相关的物体、装置标注为电力对象实体；

电力单位：将表示电力计量相关的人员、地区、机构单位标注为电力单位实体；

电力现象：将以某类实体在电力计量过程中产生的客观情况标注为电力现象；

2)准备电力计量语料库：语料库内的所有电力计量文本，按照步骤1)分类标准进行实体标注，按照该统一标准标注，可以将语料中各类数据、单位、电气术语名称的命名格式进行相对统一的规范；

3)构建字符特征嵌入层：电力计量实体识别模型使用词嵌入将输入序列转化为低维度的稠密向量化表示，并将每句话中的字符向量序列作为一组数据传入卷积注意层。

2.如权利要求1所述的一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述步骤3)中，构建卷积注意层：卷积注意层的目的是对输入字符序列进行编码，并在局部上下文中对有意义的相关字符进行隐式分组；在通过卷积注意层提取局部上下文特征后，将其输入至BiGRU层；

构建全局注意力机制的BiGRU层：采用由两个单向的、方向相反的门控循环单元GRU组成的BiGRU神经网络模型，其输出由这两个GRU的状态共同决定，通过BiGRU计算每个电力计量实体所在语句中的各个字符嵌入，可以使当前字符的输出能与前一字符的状态和后一字符的状态都产生联系，更有利于文本深层次特征的提取；

构建CRF层：在BiGRU层后应用全局自注意力机制层来更好地处理句子级别的信息，最后，在这两层的联合输出结果后衔接一个标准的CRF层，通过正则化的极大似然估计来得到条件概率模型，以预测每个字符的最终标签。

3.如权利要求2所述的一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述步骤3)中，卷积注意层提取局部上下文特征：卷积注意层的目的是对输入字符序列进行编码，并在局部上下文中对有意义的相关字符进行隐式分组；对于CNN中窗口大小为k的每个窗口，首先将位置嵌入连接到每个字符嵌入中，以帮助保持局部窗口上下文中的顺序关系；嵌入位置的维数等于窗口大小k，字符所在位置的初始值为1，其他位置的初始值为0；因此，联合嵌入的维度数为d_e＝d_ch+d_dic+d_pos+d_seg；

然后，在窗口内应用一个局部注意来捕捉中心字符和每个上下文标记之间的关系，然后是一个带有池化层的CNN，将隐藏维度设置为d_h，对于第j个字符，局部注意力集中于所有的级联嵌入

作为窗口输入，并输出k个隐藏向量

隐藏向量按如下计算：

h_m＝α_mx_m

其中

α_m为注意力权重，其计算公式为：

得分函数s定义如下：

s(x_j，x_k)＝v^Ttanh(W₁x_j+W₂x_k)

其中

且W₁，

CNN层在k个令牌的上下文窗口中包含dh个中心，如下所示：

其中

且

运算符*表示按元素乘积，

表示隐藏状态

的联合集，两者都是在第一个维度上运算的，并在最后执行池化层操作。

4.如权利要求3所述的一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述步骤3)中，在通过卷积注意层提取局部上下文特征后，将其输入到基于BiGRU-CRF的模型中，以预测每个字符的最终标签；

BiGRU层是对连续句信息进行建模，计算如下：

其中

是卷积注意层的输出，

是BiGRU层的先前隐藏状态，且W^r，

为参数。

5.如权利要求4所述的一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述步骤3)中，应用全局自我注意层，以更好地处理句子级信息，如下所示：

其中j＝1，...，τ表示句子中的所有字符实例，

计算如下：

得分函数s与上述s(x_j，x_k)类似，不同点在于参数

和

替换了原式中的变量。

6.如权利要求5所述的一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述步骤3)中，在BiGRU层和全局注意层的输出后连接一个标准的CRF层，用

表示，假设预测的标签序列Y＝{y₁，y₂，y₃，...，y_τ}，则基本真实标签序列的概率由以下公式计算：

其中y′表示任意标记序列，

和

为可训练参数，在解码过程中，使用维特比算法得到预测的标签序列；

利用多特征嵌入技术、具有局部注意的CNN特征化器和全局自我注意机制，得到了包含基于字符、基于单词和基于句子的信息的整体架构。

7.如权利要求6所述的一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述步骤3)中，对于训练，利用对数似然目标作为损失函数，给定一组训练示例

损失函数L可定义如下：

在训练阶段的每次迭代中，首先随机打乱所有训练实例，然后用批处理更新将它们提供给模型，最后，用AdaDelta算法优化所有参数。

8.如权利要求1～7之一所述的一种基于卷积注意力网络的电力计量实体识别模型的分类方法，其特征在于，所述步骤2)中，所述的电力计量实体识别模型的语料来源包括各类电力计量百科知识、电力计量文献书籍和相关电力单位内计量业务资料文件。

Images