CN114638228A - 一种基于词集自注意力的中文命名实体识别方法 - Google Patents

一种基于词集自注意力的中文命名实体识别方法 Download PDF

Info

Publication number
CN114638228A
CN114638228A CN202210244599.8A CN202210244599A CN114638228A CN 114638228 A CN114638228 A CN 114638228A CN 202210244599 A CN202210244599 A CN 202210244599A CN 114638228 A CN114638228 A CN 114638228A
Authority
CN
China
Prior art keywords
word
word set
attention
vector
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210244599.8A
Other languages
English (en)
Inventor
张德平
厉晓妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210244599.8A priority Critical patent/CN114638228A/zh
Publication of CN114638228A publication Critical patent/CN114638228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于词集自注意力的中文命名实体识别方法。该方法包括文本预处理，词集建模，自注意力重构词集，特征提取，CRF解码五个步骤。其中文本预处理包括分词，词典构建，标注数值化等步骤；词集建模包括词语匹配，划分词集，计算词集向量等；自注意力重组包括注意力分数计算和分配，拼接得出最终的词集向量；特征提取包括拼接词集向量与字向量，输入到Bi‑LSTM/CNN等网络中抽取特征；CRF解码包括根据特征计算最大得分路径，输出标注序列。本发明中的五个步骤可通过算法自动实现，解决传统基于词集方法中不能有效利用词集的问题，且易与现有的预训练语言模型结合使用，为构建中文命名实体识别模型提供新的策略。

Description

一种基于词集自注意力的中文命名实体识别方法
技术领域
本发明涉及自然语言处理技术，具体涉及一种基于词集自注意力的中文命名实体识别方法。
背景技术
命名实体识别(NERName Entity Recognition)是信息抽取领域内的子任务，其目标是从非结构化文本中识别出命名实体如人名、地名和组织名等等。NER在很多下游任务中扮演着重要作用，包括知识库的构建、信息检索和智能问答等等。近年来，命名实体识别快速发展，但中文命名实体识别(CNER Chinese NER)的效果不尽如人意。传统中文命名识别方法存在以下几个方面的问题：
其一，中文分词困难，实体边界预测易出错。与英文NER相比，中文语法结构复杂，没有显式的分词标志，中文实体边界难以确定。传统基于字的识别方法无法充分利用词信息；有部分方法引入外来分词工具来获取词信息，但分词不可避免地会出现错误，这两种方法都难以应用到中文命名识别模型中。
其二，词集信息不能充分利用。现有方法在计算词集向量时，只关注词集内的词，以加权求和的方式得到词集向量，忽略词集间的关联，以及对标注结果重要性不同，导致识别效果难以提升。
发明内容
发明目的：为解决上述问题，本发明提出一种基于词集自注意力的中文命名实体识别方法。
技术方案：一种基于词集自注意力的中文命名实体识别方法，该方法首先利用前缀树构造词典，将输入序列按字分割，用字在词典寻找包含该字的词，按字在词的位置划分词集，对词集内的词所对应的词向量加权求和，得到词集向量；然后利用自注意力机制重构词集向量，突出重点词集，并与字向量拼接输入到特征抽取器中；条件随机场以特征抽取器的输出作为输入解码得到标注序列。由此实现中文命名实体识别模型预测的流程化，解决传统基于词集方法中不能有效利用词集的问题，为构建中文命名实体识别模型提供新的策略。本发明的实现过程包括以下步骤：
文本预处理，获取每个字对应的向量表示；词集建模，获得词集向量；自注意力机制重构获取的词集向量；特征编码器抽取文本特征；CRF解码，输出标注序列。
优选的，文本预处理。利用前缀树构造语料库对应的词典，并记录词出现的频率；按字分割文本序列后到预训练好的词向量中找到每个字对应的向量表示；定义所有可能出现的标注，并进行标注映射数字的字典构建，实现标注数值化。
优选的，词集建模，获得词集向量。对于序列中的每一个字进行如下操作：去词典中匹配包含该字的所有词；按照字在该词的位置划分成四个词集；对每一个词集内的词进行加权求和得到词集向量，权重由该词在语料库中出现的频率计算而来。
优选的，自注意力机制重构词集。以Transformer中的自注意力为核心函数进行计算，将词集向量分别用三个参数矩阵变换并代入到Attention函数中计算得到注意力分数，之后对步骤3)中得到的词集向量加权并拼接，得到字对应的词集向量。
优选的，特征编码器抽取文本特征。将步骤3中的词集向量与该字对应的向量拼接，形成字的最终向量表示；将其输入到Bi-LSTM或CNN中进行特征抽取操作，获得每个字对应的特征向量。
优选的，CRF解码，输出标注序列。输入每个字的特征向量，利用条件随机场算法寻找最大得分路径，输出标注序列。
有益效果：相对于现有技术，本发明的有益效果在于：
(1)建立词集自注意力机制，用权重衡量不同词集的重要性，辅助模型判断实体边界。相较于部分方法中的注意力权重需要额外的参数参与，本方法中计算权重的生成不需要额外的参数，降低了模型复杂度，并充分利用了词集表示。
(2)本方法易与其他预训练语言模型结合使用以增强模型性能，如BERT等。此外，词集划分可在文本预处理阶段进行，不会占用模型训练的时间。
附图说明
图1是本发明基于词集自注意力的中文命名实体识别流程框图；
图2是本发明基于词集自注意力的中文命名实体识别框架图；
图3是本发明词集划分实例；
图4是本发明词集自注意力实例；
图5是本发明LSTM记忆单元结构；
图6是本发明CRF解码实例。
具体实施方式
下面将结合附图来详细说明本方法的技术方案。整个模型的结构如图1所示。
本发明中的命名实体标注策略是BMESO，其中B(Begin)代表开头，M(Middle)代表中间，S(Single)代表单个实体，E(End)代表结尾，O(Outside)代表不是实体。本课题以“B-NAME”为例描述标注含义，“NAME”代表实体类型是人名，“B”表示位置是开头，即该字是实体的第一个字。
步骤1，文本预处理。利用python定义前缀树数据结构，对语料库进行处理，构造词典，记录词出现的频率；读取输入样本，根据预训练词向量，将文本序列转换成向量序列；定义标签，构造标签和ID的映射。
步骤2，词集建模。用字匹配词典中的词，如果匹配到词语就将匹配的结果保存到B、M、E、S四个集合中，分别代表字在词的开始位置、中间位置、末尾位置和独立实体。
Figure BDA0003544603690000031
Figure BDA0003544603690000032
Figure BDA0003544603690000033
Figure BDA0003544603690000034
公式中，L代表词典，如果BMES集合都为空的话，那么就增加一个None作为标识。匹配的词集会融合到下游任务中去。划分过程如图2所示。以此类推，对句子中其他的字划分词集，划分完成后对词集进行向量化操作，采用的方法是加权求和，权重由词在词典中出现的频率决定。
Figure BDA0003544603690000035
公式中，
Figure BDA0003544603690000036
V(S)是词集S的向量表示，z(w)是词在语料库中出现的次数，Z是归一化系数。
步骤3，自注意力重构词集向量。通过步骤2已经获得了词集的初始向量表示后，使用自注意力机制整合词集。自注意力的作用是让模型关注重点信息，忽略次要信息，采用的方法是Self-Attention，并且为了减少模型复杂度，本发明只使用单头注意力进行计算。
Figure BDA0003544603690000037
公式中，Q、K、V是词向量经过参数矩阵变换的结果，dk是词向量的维度。
在对自注意力应用的过程中，需要对其改造，表达式中的Q，K，V用V(S)，也就是词集向量替换，dk用词集向量的维度替换。对四个词集向量都执行注意力计算的操作后进行加权得到最终的词集表示。过程如图3所示。假设B是原始的词集向量表示，注意力权重是a11，a12，a13，a14，，将权重与词集向量相乘相加后得到最终的表示B'，即B'＝a11B+a12M+a13E+a14S。将四个词集拼接得到词集的最终表示。
es(B',M',E',S')＝[vs(B')；vs(M')；vs(E')；vs(S')]
步骤4，特征抽取，通过步骤3得到词集向量后，再和字对应的词向量拼接输入到特征抽取器中。
xc←[xc；es(B',M',E',S')]
特征抽取器用于抽取文本中的特征，以输入后续的模块。本发明中使用Bi-LSTM和CNN这两种主流网络结构作为编码器来抽取特征。Bi-LSTM是由前向和后向的单向LSTM拼接而成的，LSTM的结构如图4所示。
前向隐状态的更新
Figure BDA0003544603690000041
后向隐状态的更新
Figure BDA0003544603690000042
Bi-LSTM在t时刻的隐状态更新
Figure BDA0003544603690000043
LSTM的三种门控函数计算
Figure BDA0003544603690000044
单元状态和隐状态的更新
Figure BDA0003544603690000045
ht＝ot·tanh(ct)
本方法中的CNN是一维文本卷积，其计算方法是：
ci＝f(w·xi:i+h-1+b)
公式中，其中xi:i+h-1是由输入向量中第i行到第i+h-1行组成大小为h×K的滑动窗口，w为K×h的参数矩阵，b为偏置项，K是词向量的维度。
在特征处理过程中，输入
Figure BDA0003544603690000046
是词集向量和字向量拼接后的向量，输出是融合上下文信息的特征向量，为CRF提供特征来源。
步骤5，CRF解码。经过上述几个步骤之后，模型得到了字的深层次特征表示，接下来要将向量表示转换成标注结果。CRF可以学习并捕捉到标注之间的约束和关联性，因此本发明选择CRF进行预测，其计算公式如下：
Figure BDA0003544603690000051
公式中yi表示序列s的所有可能的标注，φt是特征函数。其标注实例如图5所示。解码过程从人为设置的start开始，保留第一个标注对应的得分，在计算第二个标注时仅保留得分和最大的路径，以此类推直到最后一个标注，并返回最大得分路径。不同于贪心算法，维特比算法考虑的是全局最优。
为了评价模型性能，本发明使用以下三个指标对预测结果进行评估，分别是精准率(Precision，P)、召回率(Recall，R)和F1得分(F1 Score)。
精准率是从查准率的角度评价结果，是预测为正例占原本正例正确的比例：
Figure BDA0003544603690000052
召回率是从查全率的角度评价结果，是预测为正例占所有预测为正例的比例：
Figure BDA0003544603690000053
模型迭代优化的目标是尽量提高P和R的值，但在某些极端的情况下P和R不能正确地评价分类器的性能。二者会相互影响和制约，一般来说，精准率高时召回率会低，召回率高时精准率会低。因此，本发明将F1作为主要的评价指标，综合衡量二者：
Figure BDA0003544603690000054
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于词集自注意力的中文命名实体识别方法，其特征在于，所述方法包括以下步骤：
1)文本预处理，获取每个字对应的词向量；
2)词集建模，获得词集向量；
3)自注意力机制重构步骤2)中获取的词集向量；
4)将步骤1)中获取的每个字对应的词向量与步骤3)中重构后的词集向量输入到多层神经网络模型中进行训练，获得每个字对应的特征向量；
5)将步骤4)中的特征向量CRF条件随机场解码，输出标注序列。
2.如权利要求1所述的一种基于词集自注意力的中文命名实体识别方法，其特征在于，步骤1)的具体步骤为：预训练词向量待用，利用前缀树构造语料库对应的词典，并记录词典内不同词出现的频率；将输入中文命名实体识别模型的文本序列按字分割后在预训练好的词向量中找到对应的词向量表示；同时定义中文命名实体识别模型的标注，并将标注映射成数字。
3.如权利要求2所述的一种基于词集自注意力的中文命名实体识别方法，其特征在于，步骤2)的具体步骤为：对于输入中文命名实体识别模型的文本序列中的每一个字均进行如下操作：在构造的词典中匹配包含该字的所有词，按照字在该词的位置划分成四个词集，即开头Begin、中间Middle、结尾End和单字Single，对每一个词集内的词进行加权求和得到对应的词集向量，权重由该词在语料库中出现的频率计算。
4.如权利要求3所述的一种基于词集自注意力的中文命名实体识别方法，其特征在于，步骤3)的具体步骤为：以Transformer模型中的自注意力为核心函数进行计算，将步骤2)中获取的词集向量用参数矩阵变换后代入到Attention函数中得到注意力分数，对步骤2)中获取的词集向量加权后拼接，得到重构后的字对应的词集向量。
5.如权利要求4所述的一种基于词集自注意力的中文命名实体识别方法，其特征在于，步骤4)的具体步骤为：将步骤3)将字对应的词集向量与步骤1)中获取的该字对应的词向量拼接，形成字的最终向量表示；将最终向量输入到多层神经网络模型中进行训练，获得每个字对应的特征向量。
6.如权利要求5所述的一种基于词集自注意力的中文命名实体识别方法，其特征在于，所述多层神经网络模型为CNN神经网络模型、GRU神经网络模型、双向LSTM神经网络模型、Transformer神经网络模型或BERT神经网络模型。
7.如权利要求5所述的一种基于词集自注意力的中文命名实体识别方法，其特征在于，步骤5)的具体步骤为：将步骤4)中的特征向量输入CRF条件随机场来进行计算得分，从人为设置的start开始，保留第一个特征向量对应的得分，在计算第二个特征向量时仅保留得分和最大的路径，以此类推直到最后一个特征向量，返回最大得分路径，输出标注序列。
CN202210244599.8A 2022-03-14 2022-03-14 一种基于词集自注意力的中文命名实体识别方法 Pending CN114638228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210244599.8A CN114638228A (zh) 2022-03-14 2022-03-14 一种基于词集自注意力的中文命名实体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210244599.8A CN114638228A (zh) 2022-03-14 2022-03-14 一种基于词集自注意力的中文命名实体识别方法

Publications (1)

Publication Number Publication Date
CN114638228A true CN114638228A (zh) 2022-06-17

Family

ID=81948220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210244599.8A Pending CN114638228A (zh) 2022-03-14 2022-03-14 一种基于词集自注意力的中文命名实体识别方法

Country Status (1)

Country Link
CN (1) CN114638228A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809666A (zh) * 2022-12-05 2023-03-17 杭州电子科技大学 一种融合词典信息和注意力机制的命名实体识别方法
CN117574896A (zh) * 2024-01-16 2024-02-20 之江实验室 基于电子病历文本的手术费用识别方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115809666A (zh) * 2022-12-05 2023-03-17 杭州电子科技大学 一种融合词典信息和注意力机制的命名实体识别方法
CN115809666B (zh) * 2022-12-05 2023-08-08 杭州电子科技大学 一种融合词典信息和注意力机制的命名实体识别方法
CN117574896A (zh) * 2024-01-16 2024-02-20 之江实验室 基于电子病历文本的手术费用识别方法、装置及存储介质
CN117574896B (zh) * 2024-01-16 2024-04-09 之江实验室 基于电子病历文本的手术费用识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN111783474B (zh) 一种评论文本观点信息处理方法、装置及存储介质
CN112784051A (zh) 专利术语抽取方法
CN111897908A (zh) 融合依存信息和预训练语言模型的事件抽取方法及系统
CN111522839A (zh) 一种基于深度学习的自然语言查询方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN111382565A (zh) 基于多标签的情绪-原因对抽取方法及系统
CN111125333B (zh) 一种基于表示学习与多层覆盖机制的生成式知识问答方法
CN114638228A (zh) 一种基于词集自注意力的中文命名实体识别方法
CN112667818A (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN114091450B (zh) 一种基于图卷积网络的司法领域关系抽取方法和系统
CN112200664A (zh) 基于ernie模型和dcnn模型的还款预测方法
CN115545041B (zh) 一种增强医疗语句语义向量表示的模型构造方法及系统
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN115600597A (zh) 基于注意力机制和词内语义融合的命名实体识别方法、装置、系统及存储介质
CN113468854A (zh) 一种多文档自动摘要生成方法
CN114168754A (zh) 一种基于句法依赖和融合信息的关系抽取方法
CN114117041B (zh) 一种基于特定属性词上下文建模的属性级情感分析方法
CN114492459A (zh) 基于知识图谱与交互图卷积的评论情感分析方法及系统
CN117094325B (zh) 水稻病虫害领域命名实体识别方法
CN112307179A (zh) 文本匹配方法、装置、设备及存储介质
CN116910190A (zh) 多任务感知模型获取方法、装置、设备及可读存储介质
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN116109978A (zh) 基于自约束动态文本特征的无监督视频描述方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination