CN109783812B - 基于自注意力机制的中文命名实体识别方法、系统、装置 - Google Patents
基于自注意力机制的中文命名实体识别方法、系统、装置 Download PDFInfo
- Publication number
- CN109783812B CN109783812B CN201811621018.8A CN201811621018A CN109783812B CN 109783812 B CN109783812 B CN 109783812B CN 201811621018 A CN201811621018 A CN 201811621018A CN 109783812 B CN109783812 B CN 109783812B
- Authority
- CN
- China
- Prior art keywords
- network
- feature extraction
- named entity
- dependency
- chinese
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000007246 mechanism Effects 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000001419 dependent effect Effects 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 114
- 238000004364 calculation method Methods 0.000 claims description 90
- 230000011218 segmentation Effects 0.000 claims description 38
- 238000013508 migration Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 230000002457 bidirectional effect Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 11
- 230000007787 long-term memory Effects 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000005012 migration Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002095 anti-migrative effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于自然语言处理技术领域，具体涉及一种基于自注意力机制的中文命名实体识别方法、系统、装置，旨在为了解决解决中文命名实体识别的准确度不能满足需求的问题。本发明方法包括：提取待识别语句的私有特征h1、共有特征s1；基于自注意力机制分别计算共有特征s1、私有特征h1对应的长距离依赖关系，获取基于依赖关系的私有特征h′1、基于依赖关系的共有特征s′1；通过任务分类器判断所述待识别语句是否为中文命名实体识别数据时将h′1与s′1进行拼接，获取融合后的中文命名实体识别数据特征h″1，采用条件随即场对融合之后的特征h″1进行标签预测。本发明有效地提高了中文命名实体识别的准确度。
Description
技术领域
本发明属于自然语言处理技术领域，具体涉及一种基于自注意力机制的中文命名实体识别方法、系统、装置。
背景技术
随着互联网的蓬勃发展和日益普及，每个领域每天都会产生海量的信息，比如娱乐、体育等领域。由于这些信息的非结构性和无序性，如何帮助人们理解这些数据，快速的从海量的非结构化文本中识别出有用的信息，从而减轻人类的学习成本，是一件亟需解决的问题。信息抽取技术正式为了解决这个问题。
命名实体识别任务是信息抽取技术的重要环节，是信息抽取领域重要的基础任务和难点问题之一。其性能的好坏直接影响着下游自然语言处理任务的性能。其任务是从非结构化文本中自动识别出命名实体。常见的命名实体包括人物(Person，简称为PER)、地点(Location，简称为LOC)和组织机构(Organization，简称为ORG)等类别。该任务需要识别出实体的边界又要正确地预测出实体的类别。
传统的中文命名识别的方法主要基于特征工程，其依靠手工提取的特征来进行标签。主要的方法有隐马尔可夫模型(Hidden Markov Model，简称为HMM)，支持向量机(Support Vector Machine，简称为SVM)和条件随机场(Conditional Random Fields，简称CRF)等等。这些方法存在误差累积和传递等问题。随着深度学习的流行，基于神经网络的方法开始成为主流方法。然而这些方法需要大量的人工标注的数据作为训练样本。人工标注样本非常的费时费力。
发明内容
为了解决现有技术中的上述问题，即为了解决中文命名实体识别的准确度不能满足需求的问题，本发明的第一方面，提出了一种基于自注意力机制的中文命名实体识别方法，包括：
步骤S10，提取待识别语句的私有特征h1，提取该待识别语句的中文命名实体识别数据和中文分词数据的共有特征s1；
步骤S20，基于自注意力机制分别计算共有特征s1之间的长距离依赖关系，以及私有特征h1之间的长距离依赖关系；获取基于依赖关系的私有特征h′1、基于依赖关系的共有特征S′1；
步骤S30，基于共有特征S′1，通过预先构建的任务分类器判断所述待识别语句是否为中文命名实体识别数据，若是则执行步骤S40；
步骤S40，将h′1与s′1进行拼接，获取融合后的中文命名实体识别数据特征h″1；基于私有特征h″1，采用条件随即场对融合之后的特征h″1进行标签预测，输出所述待识别语句的中文命名实体识别结果。
在一些优选实施例中，通过对所构建的对抗迁移学习模型进行训练后，得到的特征提取网络、依赖关系计算网络、任务分类器，分别获取所述私有特征h1、所述共有特征s1、所述私有特征h′1、所述私有特征h″1，以及进行待识别语句是否为中文命名实体识别数据的判断；
所述特征提取网络包括第一特征提取网络、第二特征提取网络、第三特征提取网络；所述第一特征提取网络用于提取中文命名实体识别数据和中文分词数据的共有特征；所述第二特征提取网络用于提取中文命名实体识别数据特征；所述第三特征提取网络用于提取中文分词数据特征；
所述依赖关系计算网络包括第一依赖关系计算网络、第二依赖关系计算网络、第三依赖关系计算网络；所述第一依赖关系计算网络用于计算所述第一特征提取网络输出共有特征的依赖关系；所述第二依赖关系计算网络用于计算所述第二特征提取网络输出私有特征的依赖关系；所述第三依赖关系计算网络用于计算所述第三特征提取网络输出私有特征的依赖关系；
所述任务分类器基于第一依赖关系计算网络的输出判断输入样本语句的类别；所述输入样本语句的类别包括中文命名实体识别数据、中文分词数据。
在一些优选实施例中，所述对抗迁移学习模型的训练样本包括语句样本、语句种类标签。
在一些优选实施例中，所述对抗迁移学习模型的训练所用目标函数L为：
L＝LNER·I(x)+LCWS·(1-I(x))+λLAdv
其中，LNER和LCWS分别代表中文命名实体识别的损失函数和中文分词的损失函数；LAdv为任务分类器产生的损失，λ为调节系数，用于调节任务分类器产生的损失的权重；I(x)为指示函数，x为某个待预测标签的语句；DNER和DCWS分别代表中文命名实体识别的数据集和中文分词的数据集。
在一些优选实施例中，所述特征提取网络基于双向长短期记忆网络构建。
本发明的第二方面，提出了一种基于自注意力机制的中文命名实体识别系统，包括特征提取模块、依赖关系计算模块、分类判断模块、标签预测模块；
所述特征提取模块，配置为提取待识别语句的私有特征h1，提取该待识别语句的中文命名实体识别数据和中文分词数据的共有特征s1；
所述依赖关系计算模块，配置为基于自注意力机制分别计算共有特征s1之间的长距离依赖关系，以及私有特征h1之间的长距离依赖关系；获取基于依赖关系的私有特征h′1、、基于依赖关系的共有特征s′1；
所述分类判断模块，配置为基于私有特征h′1，通过预先构建的任务分类器判断所述待识别语句是否为中文命名实体识别数据，若是则执行步骤S40；
所述标签预测模块，配置为将h′1与s′1进行拼接，获取融合后的中文命名实体识别数据特征h″1；基于私有特征h″1，采用条件随即场对融合之后的特征h″1进行标签预测，输出所述待识别语句的中文命名实体识别结果。
在一些优选实施例中，所述特征提取模块包括第一特征提取网络、第二特征提取网络；所述第一特征提取网络用于提取中文命名实体识别数据和中文分词数据的共有特征；所述第二特征提取网络用于提取中文命名实体识别数据特征；
所述依赖关系计算模块包括第一依赖关系计算网络、第二依赖关系计算网络；所述第一依赖关系计算网络用于计算所述第一特征提取网络输出共有特征的依赖关系；所述第二依赖关系计算网络用于计算所述第二特征提取网络输出私有特征的依赖关系；
所述分类判断模块包括任务分类器，所述任务分类器配置为基于第一依赖关系计算网络的输出判断输入样本语句的类别；所述输入样本语句的类别包括中文命名实体识别数据、中文分词数据。
在一些优选实施例中，所述第一特征提取网络、所述第二特征提取网络、所述第一依赖关系计算网络、所述第二依赖关系计算网络、所述任务分类器通过对所构建的对抗迁移学习模型进行训练后获得；
所述对抗迁移学习模型包括由特征提取网络、依赖关系计算网络、任务分类器；
所述特征提取网络包括第一特征提取网络、第二特征提取网络、第三特征提取网络；所述第三特征提取网络用于提取中文分词数据特征；
所述依赖关系计算网络包括第一依赖关系计算网络、第二依赖关系计算网络、第三依赖关系计算网络；所述第三依赖关系计算网络用于计算所述第三特征提取网络输出私有特征的依赖关系。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述基于自注意力机制的中文命名实体识别方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述基于自注意力机制的中文命名实体识别方法。
本发明的有益效果：
本发明通过特征提取网络(双向长短期记忆网络)获取共有特征和私有特征，并基于自注意力机制进行依赖关系的计算，得到基于依赖关系的公有特征和私有特征，并通过条件随机场进行标签预测，可以有效地提高中文命名实体识别的准确度；同时，通过构建对抗迁移学习模型，对特征提取网络、依赖关系计算网络、任务分类器、条件随机场进行训练，通过训练后的网络中的一部分进行中文命名实体识别，进一步提高了中文命名实体识别的准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是中文命名实体识别任务和中文分词任务对比示例；
图2本发明一种实施例的基于自注意力机制的中文命名实体识别方法的流程示意图；
图3是本发明一种实施例的对抗迁移学习模型的训练架构示意图；
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
目前关于中文命名实体识别任务已经公开的数据集的规模较小，并且已经提出的方法的性能不是特别高。相比之下，中文分词任务领域的相关数据集较多，并且中文命名实体识别任务和中文分词任务有很多相似之处。
如图1所示，中文命名实体识别任务和中文分词任务有很多相似性，比如对于“希尔顿”和“离开”这两个词，有着相同的边界信息，同时也有各自的特异性，比如中文命名实体识别把“休斯顿机场”看成一个整体，中文分词则将其分成两个单词。另外，如果能显示地捕获到每个单词之间的依赖关系，则将有效地提供命名实体识别的性能。例如，如果只关注“希尔顿”这个词，它可能是一个人物也可能是一个组织机构，但如果能学习到这个词和“离开”这个词之间的依赖关系，就能很容易地预测出它的标签类型。图1中，对于中文命名实体识别的任务，“B”和“I”分别是“Begin”和“Intermedia”的缩写，表示一个实体的开始或者中间部分；“PER”是“Person”的缩写，代表人物类别，“LOC”是“Location”的缩写，代表地点类别；“O”是“Other”的缩写，代表该字符不是实体。对于中文分词的任务，“B”、“I”和“E”分别是“Begin”、“Intermedia”和“End”的缩写，表示一个词语的开始部分、中间部分和结束部分；“S”是“Single”的缩写，表示单个字构成一个词。
本发明的一种基于自注意力机制的中文命名实体识别方法，如图2所示，包括：
步骤S10，提取待识别语句的私有特征h1，提取该待识别语句的中文命名实体识别数据和中文分词数据的共有特征s1；
步骤S20，基于自注意力机制分别计算共有特征s1之间的长距离依赖关系，以及私有特征h1之间的长距离依赖关系；获取基于依赖关系的私有特征h′1、基于依赖关系的共有特征s′1；
步骤S30，基于共有特征s′1，通过预先构建的任务分类器判断所述待识别语句是否为中文命名实体识别数据，若是则执行步骤S40；
步骤S40，将h′1与S′1进行拼接，获取融合后的中文命名实体识别数据特征h″1；基于私有特征h″1，采用条件随机场对融合之后的特征h″1进行标签预测，输出所述待识别语句的中文命名实体识别结果。
本发明方法通过对所构建的对抗迁移学习模型进行训练后，得到的特征提取网络、依赖关系计算网络、任务分类器，分别获取所述私有特征h1、所述共有特征s1、所述私有特征h′1、所述私有特征h″1，以及进行待识别语句是否为中文命名实体识别数据的判断；
所述特征提取网络包括第一特征提取网络、第二特征提取网络、第三特征提取网络；所述第一特征提取网络用于提取中文命名实体识别数据和中文分词数据的共有特征；所述第二特征提取网络用于提取中文命名实体识别数据特征；所述第三特征提取网络用于提取中文分词数据特征；
所述依赖关系计算网络包括第一依赖关系计算网络、第二依赖关系计算网络、第三依赖关系计算网络；所述第一依赖关系计算网络用于计算所述第一特征提取网络输出共有特征的依赖关系；所述第二依赖关系计算网络用于计算所述第二特征提取网络输出私有特征的依赖关系；所述第三依赖关系计算网络用于计算所述第三特征提取网络输出私有特征的依赖关系；
所述任务分类器基于第一依赖关系计算网络的输出判断输入样本语句的类别；所述输入样本语句的类别包括中文命名实体识别数据、中文分词数据。
本发明基于自注意力机制的中文命名实体识别方法可以看作是本发明对抗迁移学习模型中的一部分，即采用的网络架构为中文命名实体识别数据对应部分、共有特征对应部分，方法执行的步骤也和训练过程基本一致，因此下文通过对对抗迁移学习模型的训练来详细展开进行说明。
本发明一种实施例中的对抗迁移学习模型，其训练架构示意图如图3所示，包括特征提取网络、依赖关系计算网络、任务分类器；所述特征提取网络包括第一特征提取网络、第二特征提取网络、第三特征提取网络；所述依赖关系计算网络包括第一依赖关系计算网络、第二依赖关系计算网络、第三依赖关系计算网络。
训练样本包括语句样本、对应的语句种类标签、语句的序列标签；语句样本包括中文命名实体识别数据样本、中文分词数据样本，对应的语句种类标签分别为中文命名实体识别数据、中文分词数据，特征标签包括中文命名实体识别序列标签、中文分词序列标签。
对抗迁移学习模型的训练步骤包括以下四个步骤：
步骤A10，共有特征、私有特征的提取。
首先将所输入的语句样本中的每个字符转化成相应的向量表示。本实施例中每个字符的字向量是用word2vec模型在大规模的百度百科语料上学习得到的，当然也可以通过其他方式获取。
若输入的语句样本为中文命名实体识别数据样本，则通过第一特征提取网络提取共有特征s1、通过第二特征提取网络提取私有特征h1；若输入的语句样本为中文分词数据样本，则通过第一特征提取网络提取共有特征s2、通过第三特征提取网络提取私有特征h2。本实施例中各特征提取网络基于双向长短期记忆网络构建。
本实施例中h1、h2的计算方法一致，对于某个语句样本，其计算公式如公式(1)、(2)所示，其中k为1或2。
其中，
表示语句样本中第i个字符的向量表示；上标k表示来自哪个数据集或者任务(中文命名实体识别或者中文分词)；
和
分别代表共享和私有的双向长短期记忆网络在第i-1步(对第i-1个字符特征提取步骤)隐层单元的输出；BiLSTM()代表双向长短期记忆网络；
和
分别代表共享和私有的双向长短期记忆网络在i步(对第i个字符特征提取步骤)隐层单元的输出；θs和θk分别代表共享的和私有的双向长短期记忆网络的参数，语句样本中各字符
构成语句样本的共有特征sk，语句样本中各字符的
构成语句样本的私有特征hk。本实施例中，可以令k＝1表示来自中文命名实体识别数据集或者任务，令k＝2表示来自中文分词数据集或者任务。
步骤A20，基于自注意力机制分别计算共有特征之间的长距离依赖关系、私有特征之间的长距离依赖关系。
由于私有特征之间的依赖关系的计算方法和共有特征之间的依赖关系的计算方法相同，因此，仅以共有特征之间的依赖关系的计算方法为例进行说明，其计算如公式(3)、(4)、(5)所示：
其中，Q、K和V分别为共有特征中的查询矩阵(Query Matrix)、键矩阵(KeyMatrix)、值矩阵(Value Matrix)，在这里，Q、K和V都为共有特征矩阵Sk；
和Wo都是共有特征的提取网络(第一特征提取网络)的参数矩阵，通过训练进行优化；在这里，下标i和o是仅用来区别不同参数矩阵，没有实际表征意义；Attention()代表自注意力机制；headi代表第i个自注意力的输出；
代表拼接操作；s′k代表来自数据集或者任务k的语句样本自注意力机制基于依赖关系的共有特征。
中文命名实体识别数据特征、中文分词数据特征的依赖关系计算方法均与共有特征的依赖关系计算相同，此处不再重复描述。
步骤A30，基于依赖关系的共有特征，通过任务分类器，对正在被预测的句子(输入的语句样本)进行类型(中文命名实体识别数据和中文分词数据)判断。
该分类器主要是为了优化共享的双向长短期记忆网络(第一特征提取网络)。任务分类器和共享的双向长短期记忆网络存在一种对抗关系：共享的长短期记忆网络用来提取中文命名实体识别任务和中文分词任务共有的特征使得任务分类器无法判定此句子来自于哪个任务，而任务分类器则尽可能正确地预测出任务的类别。本发明使用对抗训练的方式训练任务分类器和共享的长短期记忆网络。任务分类器的计算如公式(6)、(7)、(8)所示：
s″k＝Maxpooling(s′k) (6)
D(s″k；θd)＝Softmax(Wds"k+bd) (7)
其中，s′k代表获取依赖关系之后的共有特征；Maxpooling()代表最大池化操作；S″k代表经过最大池化操作之后的共有特征的表示；Wd和bd分别代表参数矩阵和偏置项，随着模型一起训练；θd代表分类器的参数；Es代表期望；Tk代表第k个任务(中文命名实体识别或者中文分词)中语句样本的数目；K代表任务的数目，此处为2。
为第k个任务中第j个语句样本。
步骤A40，采用条件随机场对共享特征和私有特征融合之后进行标签预测。
在利用自注意力机制捕获到句子中字符之间的长距离依赖关系之后，将计算依赖关系之后的私有特征和计算依赖关系之后的共有的特征进行融合(将二者直接拼接在一起)得到最终的特征表示，该特征将用于序列标签预测。
本发明使用条件随机场(Conditional Random Fields)进行标签预测。在得到最终的特征表示之后，与条件随机场里面设置的状态转移矩阵T相加，得到相应的预测分数，通过遍历比较候选集中所有可能的标签的分数，选取最大的分数对应的标签最为最终的预测的标签。中文命名实体识别和中文分词的标签预测方法是相同的，在这个方法中，每次只对一个任务的标签进行预测。以中文命名实体识别的任务为例，其标签预测的计算过程如公式(9)、(10)、(11)、(12)所示：
oi＝Wsh″i k+bs (10)
其中，h′k和s′k分别代表计算依赖关系之后的私有特征和共有特征；Ws和bs分别代表参数矩阵和偏置项；oi为维度转换之后的表示，h″i k为每个字符最后的特征表示，s(x，y)为语句样本x预测为标签序列y的打分，Tyi-1，yi为状态转移矩阵中从标签yi-1转到标签yi的概率，Yx代表所有可能的标签的候选集，
为候选集中打分最高的标签序列。
在本实施例的对抗迁移学习模型采用梯度下降的方法来更新模型的参数，整体模型的优化目标函数L如公式(13)所示：
L＝LNER·I(x)+LCWS·(1-I(x))+λLAdv (13)
其中，LNER和LCWS分别代表中文命名实体识别的损失函数和中文分词的损失函数；LAdv为任务分类器产生的损失，λ为调节系数，用于调节任务分类器产生的损失的权重；I(x)为指示函数，x为某个待预测标签的语句；DNER和DCWS分别代表中文命名实体识别的数据集和中文分词的数据集。
通过上述方法对对抗迁移学习模型进行训练，采用训练之后的第一特征提取网络、第二特征提取网络、第一依赖关系计算网络、第二依赖关系计算网络、任务分类器和条件随机场，基于训练模型的架构来实现本发明基于自注意力机制的中文命名实体识别方法。具体过程通过上述训练方法可以很清楚的得到，此处不再展开描述。
本发明一种实施例的基于自注意力机制的中文命名实体识别系统包括特征提取模块、依赖关系计算模块、分类判断模块、标签预测模块。
所述特征提取模块，配置为提取待识别语句的私有特征h1，提取该待识别语句的中文命名实体识别数据和中文分词数据的共有特征S1；在一个实施例中，所述特征提取模块包括第一特征提取网络、第二特征提取网络；所述第一特征提取网络用于提取中文命名实体识别数据和中文分词数据的共有特征；所述第二特征提取网络用于提取中文命名实体识别数据私有特征。
所述依赖关系计算模块，配置为基于自注意力机制分别计算共有特征s1之间的长距离依赖关系，以及私有特征h1之间的长距离依赖关系；获取基于依赖关系的私有特征h′1、基于依赖关系的共有特征s′1；在一个实施例中，所述依赖关系计算模块包括第一依赖关系计算网络、第二依赖关系计算网络；所述第一依赖关系计算网络用于计算所述第一特征提取网络输出共有特征的依赖关系；所述第二依赖关系计算网络用于计算所述第二特征提取网络输出私有特征的依赖关系。
所述分类判断模块，配置为基于共有特征s″1，通过预先构建的任务分类器判断所述待识别语句是否为中文命名实体识别数据，若是则执行步骤S40；在一个实施例中，分类判断模块包括任务分类器，所述任务分类器配置为基于第一依赖关系计算网络的输出判断输入样本语句的类别；所述输入样本语句的类别包括中文命名实体识别数据、中文分词数据。
所述标签预测模块，配置为将h′1与S′1进行拼接，获取融合后的中文命名实体识别数据私有特征h″1；基于私有特征h″1，采用条件随即场对融合之后的特征h″1进行标签预测，输出所述待识别语句的中文命名实体识别结果。
上述各模块的获取通过对所构建的对抗迁移学习模型进行训练后获得。所述对抗迁移学习模型包括由特征提取网络、依赖关系计算网络、任务分类器；所述特征提取网络包括第一特征提取网络、第二特征提取网络、第三提取网络；所述第三特征提取网络用于提取中文分词数据特征；所述依赖关系计算网络包括第一依赖关系计算网络、第二依赖关系计算网络、第三依赖关系计算网络；所述第三依赖关系计算网络用于计算所述第三特征提取网络输出私有特征的依赖关系。
本实施例中，特征提取网络、依赖关系计算网络和特征提取模块、依赖关系计算模块所包含的内容不同，前者为对抗迁移学习模型中相应部分，后者为本实施例的基于自注意力机制的中文命名实体识别系统中的相应部分，其包含的内容前文已明确，此处不再重复。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于自注意力机制的中文命名实体识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第一种实施例的存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述基于自注意力机制的中文命名实体识别方法。
本发明一种实施例的处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述基于自注意力机制的中文命名实体识别方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于自注意力机制的中文命名实体识别方法，其特征在于，包括：
步骤S10，提取待识别语句的私有特征h1，提取该待识别语句的中文命名实体识别数据和中文分词数据的共有特征s1；
步骤S20，基于自注意力机制分别计算s1之间的长距离依赖关系，以及h1之间的长距离依赖关系，获取基于依赖关系的私有特征h′1、基于依赖关系的共有特征s′1；其中，计算长距离依赖关系的方法为：
其中，z′k表示基于依赖关系的共有特征或私有特征，headi表示第i个自注意力的输出，
表示拼接操作，Attention()表示自注意力机制，
和Wo表示在提取s′1或h′1时网络的参数矩阵，Q、K和V分别表示为s′1或h′1中的查询矩阵、键矩阵、值矩阵，d表示在提取s′1或h′1时网络的输出维度，T表示转置；
步骤S30，基于s′1，通过预先构建的任务分类器判断所述待识别语句是否为中文命名实体识别数据，若是则执行步骤S40；
步骤S40，将h′1与s′1进行拼接，获取融合后的中文命名实体识别数据特征h″1；采用条件随机场对h″1进行标签预测，输出所述待识别语句的中文命名实体识别结果；
所述中文命名实体识别结果基于训练后的对抗迁移学习模型获取；所述对抗迁移学习模型包括特征提取网络、依赖关系计算网络、任务分类器；所述特征提取网络基于双向长短期记忆网络构建；所述依赖关系计算网络基于自注意力机制构建。
2.根据权利要求1所述的基于自注意力机制的中文命名实体识别方法，其特征在于，
所述特征提取网络包括第一特征提取网络、第二特征提取网络、第三特征提取网络；所述第一特征提取网络用于提取中文命名实体识别数据和中文分词数据的共有特征；所述第二特征提取网络用于提取中文命名实体识别数据特征；所述第三特征提取网络用于提取中文分词数据特征；
所述依赖关系计算网络包括第一依赖关系计算网络、第二依赖关系计算网络、第三依赖关系计算网络；所述第一依赖关系计算网络用于计算所述第一特征提取网络输出共有特征的依赖关系；所述第二依赖关系计算网络用于计算所述第二特征提取网络输出私有特征的依赖关系；所述第三依赖关系计算网络用于计算所述第三特征提取网络输出私有特征的依赖关系；
所述任务分类器基于第一依赖关系计算网络的输出判断输入样本语句的类别；所述输入样本语句的类别包括中文命名实体识别数据、中文分词数据。
3.根据权利要求2所述的基于自注意力机制的中文命名实体识别方法，其特征在于，所述对抗迁移学习模型的训练样本包括语句样本、语句种类标签。
4.根据权利要求3所述的基于自注意力机制的中文命名实体识别方法，其特征在于，所述对抗迁移学习模型的训练所用目标函数L为：
L＝LNER·I(x)+LCWS·(1-I(x))+λLAdυ
其中，LNER和LCWS分别代表中文命名实体识别的损失函数和中文分词的损失函数；LAdv为任务分类器产生的损失，λ为调节系数，用于调节任务分类器产生的损失的权重；I(x)为指示函数，x为某个待预测标签的语句；DNER和DCWS分别代表中文命名实体识别的数据集和中文分词的数据集。
5.根据权利要求1-4任一项所述的基于自注意力机制的中文命名实体识别方法，其特征在于，所述特征提取网络基于双向长短期记忆网络构建。
6.一种基于自注意力机制的中文命名实体识别系统，其特征在于，包括特征提取模块、依赖关系计算模块、分类判断模块、标签预测模块；
所述特征提取模块，配置为提取待识别语句的私有特征h1，提取该待识别语句的中文命名实体识别数据和中文分词数据的共有特征s1；
所述依赖关系计算模块，配置为基于自注意力机制分别计算s1之间的长距离依赖关系，以及h1之间的长距离依赖关系，获取基于依赖关系的私有特征h′1、基于依赖关系的共有特征S′1；其中，计算长距离依赖关系的方法为：
其中，z′k表示基于依赖关系的共有特征或私有特征，headi表示第i个自注意力的输出，
表示拼接操作，Attention()表示自注意力机制，
和Wo表示在提取s′1或h′1时网络的参数矩阵，Q、K和V分别表示为s′1或h′1中的查询矩阵、键矩阵、值矩阵，d表示在提取s′1或h′1时网络的输出维度，T表示转置；
所述分类判断模块，配置为基于s′1，通过预先构建的任务分类器判断所述待识别语句是否为中文命名实体识别数据，若是则执行步骤S40；
所述标签预测模块，配置为将h′1与s′1进行拼接，获取融合后的中文命名实体识别数据特征h″1；采用条件随即场对融合之后的特征h″1进行标签预测，输出所述待识别语句的中文命名实体识别结果；
所述中文命名实体识别结果基于训练后的对抗迁移学习模型获取；所述对抗迁移学习模型包括特征提取网络、依赖关系计算网络、任务分类器；所述特征提取网络基于双向长短期记忆网络构建；所述依赖关系计算网络基于自注意力机制构建。
7.根据权利要求6所述的基于自注意力机制的中文命名实体识别系统，其特征在于，
所述特征提取模块包括第一特征提取网络、第二特征提取网络；所述第一特征提取网络用于提取中文命名实体识别数据和中文分词数据的共有特征；所述第二特征提取网络用于提取中文命名实体识别数据特征；
所述依赖关系计算模块包括第一依赖关系计算网络、第二依赖关系计算网络；所述第一依赖关系计算网络用于计算所述第一特征提取网络输出共有特征的依赖关系；所述第二依赖关系计算网络用于计算所述第二特征提取网络输出私有特征的依赖关系；
所述分类判断模块包括任务分类器，所述任务分类器配置为基于第一依赖关系计算网络的输出判断输入样本语句的类别；所述输入样本语句的类别包括中文命名实体识别数据、中文分词数据。
8.根据权利要求7所述的基于自注意力机制的中文命名实体识别系统，其特征在于，所述第一特征提取网络、所述第二特征提取网络、所述第一依赖关系计算网络、所述第二依赖关系计算网络、所述任务分类器通过对所构建的对抗迁移学习模型进行训练后获得；
所述对抗迁移学习模型包括由特征提取网络、依赖关系计算网络、任务分类器；
所述特征提取网络包括第一特征提取网络、第二特征提取网络、第三特征提取网络；所述第三特征提取网络用于提取中文分词数据特征；
所述依赖关系计算网络包括第一依赖关系计算网络、第二依赖关系计算网络、第三依赖关系计算网络；所述第三依赖关系计算网络用于计算所述第三特征提取网络输出私有特征的依赖关系。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于自注意力机制的中文命名实体识别方法。
10.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于自注意力机制的中文命名实体识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811621018.8A CN109783812B (zh) | 2018-12-28 | 2018-12-28 | 基于自注意力机制的中文命名实体识别方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811621018.8A CN109783812B (zh) | 2018-12-28 | 2018-12-28 | 基于自注意力机制的中文命名实体识别方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109783812A CN109783812A (zh) | 2019-05-21 |
| CN109783812B true CN109783812B (zh) | 2020-08-11 |
Family
ID=66498694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811621018.8A Active CN109783812B (zh) | 2018-12-28 | 2018-12-28 | 基于自注意力机制的中文命名实体识别方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109783812B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148832B (zh) * | 2019-06-26 | 2022-11-29 | 天津大学 | 一种基于标签感知的双重自注意力网络的事件检测方法 |
| CN110598786B (zh) | 2019-09-09 | 2022-01-07 | 京东方科技集团股份有限公司 | 神经网络的训练方法、语义分类方法、语义分类装置 |
| CN111091002B (zh) * | 2019-11-26 | 2023-06-09 | 华东师范大学 | 一种中文命名实体的识别方法 |
| CN113051918B (zh) * | 2019-12-26 | 2024-05-14 | 北京中科闻歌科技股份有限公司 | 基于集成学习的命名实体识别方法、装置、设备和介质 |
| CN111324695B (zh) * | 2020-02-06 | 2022-12-16 | 鼎富智能科技有限公司 | 一种多任务学习方法及装置 |
| CN111597339B (zh) * | 2020-05-22 | 2023-06-30 | 北京慧闻科技(集团)有限公司 | 文档级多轮对话意图分类方法、装置、设备及存储介质 |
| CN115114934A (zh) * | 2022-07-15 | 2022-09-27 | 广东工业大学 | 一种标签融合的联合抽取方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460013B (zh) * | 2018-01-30 | 2021-08-20 | 大连理工大学 | 一种基于细粒度词表示模型的序列标注模型及方法 |
| CN108628823B (zh) * | 2018-03-14 | 2022-07-01 | 中山大学 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
| CN108628828B (zh) * | 2018-04-18 | 2022-04-01 | 国家计算机网络与信息安全管理中心 | 一种基于自注意力的观点及其持有者的联合抽取方法 |
-
2018
- 2018-12-28 CN CN201811621018.8A patent/CN109783812B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109783812A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783812B (zh) | 基于自注意力机制的中文命名实体识别方法、系统、装置 | |
| WO2019153737A1 (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
| CN105787049B (zh) | 一种基于多源信息融合分析的网络视频热点事件发现方法 | |
| CN108304373B (zh) | 语义词典的构建方法、装置、存储介质和电子装置 | |
| KR101561464B1 (ko) | 수집 데이터 감성분석 방법 및 장치 | |
| CN108846097B (zh) | 用户的兴趣标签表示方法、文章推荐方法、及装置、设备 | |
| CN110532563A (zh) | 文本中关键段落的检测方法及装置 | |
| CN111666766A (zh) | 数据处理方法、装置和设备 | |
| CN110162609B (zh) | 用于向用户推荐咨询问题的方法及装置 | |
| CN112805715A (zh) | 识别实体属性关系 | |
| CN111274822A (zh) | 语义匹配方法、装置、设备及存储介质 | |
| Mohanty et al. | Resumate: A prototype to enhance recruitment process with NLP based resume parsing | |
| CN114238573A (zh) | 基于文本对抗样例的信息推送方法及装置 | |
| Yuan et al. | Twitter sentiment analysis with recursive neural networks | |
| CN109271624A (zh) | 一种目标词确定方法、装置及存储介质 | |
| Gunaseelan et al. | Automatic extraction of segments from resumes using machine learning | |
| CN114995903A (zh) | 一种基于预训练语言模型的类别标签识别方法及装置 | |
| Botov et al. | Mining labor market requirements using distributional semantic models and deep learning | |
| CN107291686B (zh) | 情感标识的辨识方法和情感标识的辨识系统 | |
| JP2007241881A (ja) | 意見性判定データベース作成方法及び装置及びプログラム及び意見性判定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
| CN113869034B (zh) | 基于强化依赖图的方面情感分类方法 | |
| CN115660695A (zh) | 客服人员标签画像构建方法、装置、电子设备及存储介质 | |
| CN115130475A (zh) | 一种可扩展的通用端到端命名实体识别方法 | |
| Suresh et al. | A fuzzy based hybrid hierarchical clustering model for twitter sentiment analysis | |
| Lalitha et al. | Applicant Screening System Using NLP |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |