CN114881032A - 基于多任务学习的层次类别命名实体识别模型设计方法 - Google Patents

基于多任务学习的层次类别命名实体识别模型设计方法 Download PDF

Info

Publication number
CN114881032A
CN114881032A CN202210462583.4A CN202210462583A CN114881032A CN 114881032 A CN114881032 A CN 114881032A CN 202210462583 A CN202210462583 A CN 202210462583A CN 114881032 A CN114881032 A CN 114881032A
Authority
CN
China
Prior art keywords
model
layer
named entity
prediction
mtbp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210462583.4A
Other languages
English (en)
Inventor
程耀开
田宗凯
宋颖毅
杨雨婷
王又辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN202210462583.4A priority Critical patent/CN114881032A/zh
Publication of CN114881032A publication Critical patent/CN114881032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于多任务学习的层次类别命名实体识别模型设计方法，属于自然语言处理技术领域。本发明通过在命名实体识别模型中加入对于类别关系的建模，使得模型能够同时识别出命名实体的多个类别，同时，本发明提出了基于多任务学习的模型来解决具有层次类别的命名实体识别问题。模型使用多任务学习机制同时学习多个层次的命名实体识别任务，这些任务共享同一个编码层，这样可以使得编码层学习到的编码向量可以同时适应多个层次的命名实体识别而不是过拟合于某一个单独的层次。最后，还分别设计了两种信息传递机制传递不同层次间的识别信息，以提高模型的识别效果。

Description

基于多任务学习的层次类别命名实体识别模型设计方法
技术领域
本发明属于自然语言处理技术领域，具体涉及一种基于多任务学习的层次类别命名实体识别模型设计方法。
背景技术
命名实体识别任务是自然语言处理领域的基础任务之一，其目标是识别出句中的人名、地名等有意义的命名实体。在现有的命名实体识别的研究中，大部分都只针对于粗粒度类别的命名实体，数据集中事先规定的类别数量大部分在10类以下，并且不考虑类别间的相互关系。然而在现实中，仅仅对命名实体进行粗粒度分类远远不能满足实际需求，命名实体通常有由粒度不同的多个类别构成，大量关键信息包含在细粒度的维度之上。命名实体的类别层级越多、粒度越细，命名实体识别结果给出的信息也就越丰富。因此，研究面向层次类别的命名实体识别模型设计方法具有十分重要的现实意义。
面向简单场景的命名实体识别并不能适应多层次细粒度类别的复杂情景。如果使用多个面向简单场景的命名实体识别模型识别不同层次的类别，必然导致不同层次间实体不一致和实体父子类别关系冲突等两种现象，同时多个任务互相独立工作，不同的模型类别之间没有相关关系的分析。如果使用面向简单场景的命名实体识别模型直接对最细粒度的类别进行识别，将识别出的细粒度类别当作实体的粗粒度类别输出，则可能会存在细粒度实体数据不足导致训练不充分的问题，同时这种方法也没有利用粗粒度的类别信息，没有建模类别的关系。目前，多层次命名实体识别领域的主流方法为两阶段流水线方法，第一阶段识别实体的边界，第二阶段确定实体的各个层次的类别。在分类时，多采用由粗到细逐级分类的思路。这种方法有两个缺点，第一，流水线方法会存在误差累积的问题，前一个任务出错会导致后续任务的错误。第二，流水线方法没有充分地利用数据集中的信息，会导致性能损失。因为实体类型也有助于实体边界的分割，细粒度的类别信息也有助于粗粒度的实体分类。综上而言，层次类别的命名实体识别的核心挑战在于如何同时利用多层次的信息进行命名实体的识别和分类，以及避免不同层次间输出结果的冲突。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何设计一种命名实体识别模型，使得模型能够同时识别出命名实体的多个类别、解决具有层次类别的命名实体识别问题，同时提高模型的识别效果。
(二)技术方案
为了解决上述技术问题，本发明提供了一种基于多任务学习的层次类别命名实体识别模型设计方法，该方法中，将所设计的基于多任务学习的层次类别的命名实体识别模型命名为MTBP，该模型设计时，将不同层次的命名实体识别视为多个任务，使用一个模型训练多个任务，使用多任务学习机制同时进行多个层次之间的命名实体识别预测，多个任务之间共享编码器，其中设计两种不同的信息传递机制以进行不同层次任务间识别信息的传递，第一种采用自顶向下的信息传递顺序，先预测顶层的类，再将顶层信息传递给下一层进行预测，将其称之为MTBP-T，第二种为自底向上的传递顺序，将其称之为MTBP-B。
优选地，该方法中，MTBP-T模型的设计原理为：将粗粒度类别的模型输出作为信息传入下一层以辅助细粒度的命名实体识别；MTBP-T模型使用BERT作为编码器，输入字符通过所述编码器得到初步的字向量，低层的表示向量由BERT输出结果与上一层标签预测结果拼接而成。
优选地，该方法中，将MTBP-T模型设计为一个面向具有三层类别结构命名实体识别任务的MBTP-T模型结构：
第一层使用BERT的输出作为嵌入向量，计算过程如下公式所示：
E0＝BERT(X)
第二层之后均使用上一层的嵌入与上一层的识别结果的拼接作为嵌入向量：
Ek＝Concat(Ek-1，labelk-1)
其中，E0表示BERT输出，其形状为m×l，l为输入序列的字符数量，m为BERT的字向量的尺寸；Ek代表每一层使用的输入字符向量，0＜k≤n，n为类别的层次数量；labelk-1是由上一层模型输出的抽取结果；
得到每一层字向量后通过线性层和sigmoid激活层得到一个概率矩阵作为预测矩阵，概率矩阵中每一列映射输入序列中的一个字，概率矩阵中每两行映射一个类别，两行中第一行对应该字为该类别实体开始的概率，第二行为结束的概率，具体计算过程如下公式所示：
predj＝sigmoid(Wj Ej)
其中，Ej表示第j个字的向量表示，
Figure BDA0003620877140000031
predj即为预测得到的字符为实体开始和结束位置的概率，
Figure BDA0003620877140000032
其中Cj代表第j层类别的类别个数。
优选地，该方法中，将MTBP-B模型设计为：自下而上传递信息的基于多任务学习的命名实体识别模型，其设计原理为：由于类别之间的从属关系，在实体预测中预测出子类实体实际上就已经预测出了父类实体，模型预测的低层次的实体输出中包含了父类分布的信息，所以可从子类的预测分布中得到父类的预测分布。
优选地，该方法中，将MTBP-B模型设计为一个面向实体类别具有三层结构的MTBP-B模型；
MTBP-B模型也使用BERT作为编码器来将输入序列编码为字符向量，如下公式所示：
E＝Bert(X)
E为输入字符的向量，其中，MTBP-B模型直接使用字符向量进行最细粒度的命名实体预测，预测过程仍然是将字符向量通过两个全连接层和sigmoid激活层得到一个表示字符是否为一类实体开始和结束的矩阵，计算过程如下公式所示：
predn＝sigmoid(WnE)
其中，Wn为全连接层的参数，MTBP-B模型使用低层次的预测结果得到高层次的预测结果，其将同一父类的子类预测数据聚合，得到父类的预测数据，对于开始矩阵，具体转化过程为：将子类的两个预测矩阵按类别进行分割，形成若干个小矩阵，每个矩阵中行映射的类型具有相同的父类；取每一个小矩阵的列最大值形成一个新的行，再将这些行进行拼接得到新的矩阵，这个新的矩阵即为父类的预测矩阵，这个转化过程称之为levelmax操作，整体过程如下公式所示：
predj＝levelmax(predj+1)
其中0≤j＜n。
优选地，MTBP-B和MTBP-T使用单模型同时进行多个层次的实体识别需要使用多任务学习的范式，因此，在损失中同时引入多任务的损失函数进行多个任务的学习，多任务的损失函数设计为：
每一个层次的命名实体识别的单任务都可以分解为多个二分类问题，使用交叉熵损失函数作为二分类问题的损失函数，损失函数为：
loss二分类＝-tlogp-(1-t)log(1-p)
其中t∈{0，1}为标签，p为模型输出的矩阵中的一项，如此一来，单个层次的命名实体识别的损失函数为：
loss单任务＝∑loss二分类
在多个层次的任务进行加和时，因为低层次的类别数高于高层次，相应的损失函数值大于高层次任务的损失函数值，所以对于每一个任务均设置一个超参数0≤λi≤1，1≤i≤n，以调节任务的重要程度，同时限制所有超参数的和为1，总的多任务的损失函数如下公式所示：
Figure BDA0003620877140000051
Figure BDA0003620877140000052
优选地，该方法中，通过预测矩阵构造识别结果，取一个阈值z，0＜z＜1，将预测矩阵中大于阈值的值设置为1，小于阈值的值设置为0，即可得到形状相同的标签矩阵labelj，如下公式所示：
Figure BDA0003620877140000053
labelj即为第j层预测出的标签矩阵，通过标签矩阵的标签值可以得到预测实体的起始和结束位置，从而抽取出该层次类别的命名实体，作为基于多任务学习的层次类别的命名实体识别模型最终输出的结果。
优选地，在训练阶段，使用教师监督学习的方法，直接使用训练集中的细粒度类别信息构造正确的标签矩阵进行指导，即训练时使用的字符标签数据labelj来自于训练集中正确的标签而不是上一层的输出，从而加速基于多任务学习的层次类别的命名实体识别模型的收敛。
优选地，将基于多任务的层次类别命名实体识别模型的多个输出中的高层次类别的输出作为真正的输出结果。
本发明还提供了一种所述方法在自然语言处理技术领域中的应用。
(三)有益效果
本发明通过在命名实体识别模型中加入对于类别关系的建模，使得模型能够同时识别出命名实体的多个类别，同时，本发明提出了基于多任务学习的模型来解决具有层次类别的命名实体识别问题。模型使用多任务学习机制同时学习多个层次的命名实体识别任务，这些任务共享同一个编码层，这样可以使得编码层学习到的编码向量可以同时适应多个层次的命名实体识别而不是过拟合于某一个单独的层次。最后，还分别设计了两种信息传递机制传递不同层次间的识别信息，以提高模型的识别效果。
附图说明
图1为本发明的MTBP-T模型架构图；
图2为本发明的MTBP-B模型架构图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明中，将所设计的基于多任务学习的层次类别的命名实体识别模型命名为MTBP(Multi-Task-BERT-Pointer)，其基本思想为将不同层次的命名实体识别视为多个任务，使用一个模型训练多个任务，使用多任务学习机制同时进行多个层次之间的命名实体识别预测，多个任务之间共享编码层(BERT编码器)。不同层次的命名实体识别任务之间具有很大的关联，多任务学习可以避免过拟合于某一个任务，减小陷入局部极小值的概率。由于不同层次的任务具有很强的相关性，多任务学习可以帮助每一层次的实体识别都有更好的性能。本发明还设计了两种不同的信息传递机制以进行不同层次任务间识别信息的传递，第一种结构采用自顶向下(Top-down)的信息传递顺序，先预测顶层的类，再将顶层信息传递给下一层进行预测，本发明中将其称之为MTBP-T，第二种结构为自底向上(Bottom-up)的传递顺序，本发明中将其称之为MTBP-B，使用时采用其中之一，以下分别介绍。
1、MTBP-T
MTBP-T模型的主要动机在于细粒度的实体识别在得到粗粒度的实体识别信息后会更加准确，所以将粗粒度类别的模型输出作为信息传入下一层以辅助细粒度的命名实体识别。MTBP-T模型的整体架构如图1所示。
MTBP-T模型使用BERT作为编码器，输入字符通过所述编码器得到初步的字向量。低层的表示向量由BERT输出结果与上一层标签预测结果拼接而成。图1展示了一个面向具有三层类别结构命名实体识别任务的MBTP-T模型结构：
第一层使用BERT的输出作为嵌入向量，计算过程如下公式所示：
E0＝BERT(X)\*MERGEFORMAT (1)
第二层之后均使用上一层的嵌入与上一层的识别结果的拼接作为嵌入向量：
Ek＝Concat(Ek-1，labelk-1)\*MERGEFORMAT (2)
其中，E0表示BERT输出，其形状为m×l，l为输入序列的字符数量，m为BERT的字向量的尺寸，通常为768；Ek代表每一层使用的输入字符向量，0＜k≤n，n为类别的层次数量；labelk-1是由上一层模型输出的抽取结果，计算方法在公式中列出。
得到每一层字向量后通过线性层和sigmoid激活层得到一个概率矩阵，概率矩阵中每一列映射输入序列中的一个字，概率矩阵中每两行映射一个类别，两行中第一行对应该字为该类别实体开始的概率，第二行为结束的概率。具体计算过程如下公式所示：
predj＝sigmoid(WjEj)\*MERGEFORMAT (3)
其中，Ej表示第j个字的向量表示，
Figure BDA0003620877140000071
predj即为预测得到的字符为实体开始和结束位置的概率，
Figure BDA0003620877140000072
其中Cj代表第j层类别的类别个数。
2、MTBP-B
MTBP-B模型是指自下而上传递信息的基于多任务学习的命名实体识别模型。其动机在于，由于类别之间的从属关系，在实体预测中预测出子类实体实际上就已经预测出了父类实体。模型预测的低层次的实体输出中包含了父类分布的信息，所以可以从子类的预测分布中得到父类的预测分布。图2展示了一个面向实体类别具有三层结构的MTBP-B模型。
与MTBP-T模型相同，MTBP-B模型也使用BERT作为编码器来将输入序列编码为字符向量。如下公式所示：
E＝Bert(X)\*MERGEFORMAT (4)
E为输入字符的向量。不同的地方在于，MTBP-B模型直接使用字符向量进行最细粒度的命名实体预测。预测过程仍然是将字符向量通过两个全连接层和sigmoid激活层得到一个表示字符是否为某类实体开始和结束的矩阵。计算过程如下公式所示：
predn＝sigmoid(WnE)\*MERGEFORMAT (5)
其中，Wn为全连接层的参数。n表示第n层命名实体识别。MTBP-B模型使用低层次的预测结果得到高层次的预测结果，其具体思路为将同一父类的子类预测数据聚合，得到父类的预测数据。以开始矩阵为例，具体转化过程为：将子类的两个预测矩阵按类别进行分割，形成若干个小矩阵，每个矩阵中行映射的类型具有相同的父类；取每一个小矩阵的列最大值形成一个新的行，再将这些行进行拼接得到新的矩阵，这个新的矩阵即为父类的预测矩阵。以上过程称之为levelmax操作，整体过程如下公式所示：
predj＝levelmax(predj+1)
其中0≤j＜n。
下面介绍多任务损失函数：
MTBP-B和MTBP-T使用单模型同时进行多个层次的实体识别需要使用多任务学习的范式，即在损失中同时引入多任务的损失函数进行多个任务的学习。每一个层次的命名实体识别的单任务都可以分解为多个二分类问题。使用交叉熵损失函数作为二分类问题的损失函数，损失函数为：
loss二分类＝-tlogp-(1-t)log(1-p)\*MERGEFORMAT (6)
其中t∈{0，1}为标签，p为模型输出的矩阵中的某一项。如此一来，单个层次的命名实体识别的损失函数为：
loss单任务＝∑loss二分类\*MERGEFORMAT (7)
在多个层次的任务进行加和时，因为低层次的类别数高于高层次，相应的损失函数值大于高层次任务的损失函数值。所以对于每一个任务均设置一个超参数0≤λi≤1，1≤i≤n，以调节任务的重要程度，同时限制所有超参数的和为1。总的多任务损失函数如下公式所示：
Figure BDA0003620877140000091
Figure BDA0003620877140000092
最后介绍模型预测输出：
最后，通过预测矩阵可以构造识别结果。取一个阈值z，0＜z＜1，将矩阵中大于阈值的值设置为1，小于阈值的值设置为0，即可得到形状相同的标签矩阵labelj，如下公式所示：
Figure BDA0003620877140000093
labelj即为第j层预测出的标签矩阵。通过标签矩阵的标签值可以得到预测实体的起始和结束位置，从而抽取出该层次类别的命名实体，作为本发明设计的基于多任务学习的层次类别的命名实体识别模型最终输出的结果。
在训练阶段，模型未经充分训练时，上层给出的标签输出可能含有大量的错误，并不能起到指导作用。所以在训练时使用教师监督学习的方法，直接使用训练集中的细粒度类别信息构造正确的标签矩阵进行指导，即训练时使用的字符标签数据labelj来自于训练集中正确的标签而不是上一层的输出。这样可以起到加速模型的收敛的效果。
基于多任务的命名实体识别模型会有多个输出，每一层次均会有相应的输出。但是不同层次的输出之间缺乏硬约束关系，不同层次的输出结果可能出现以下几种不一致性：1.实体不一致性。具体指不同层次的输出实体并不完全一致，不同层次输出的实体集合不完全一致。2.实体类别的父子关系不一致性。同一实体在不同层次的分类结果不存在父子关系。与此同时，由于每一个低层次类别都有且只有一个父亲。所以当模型识别出低层次实体时实际上也给出了一个高层次类别的输出，并且这个输出和低层次的分类结果没有实体不一致性和类别的父子关系冲突。也就是说，后者(高层次类别的输出)更适合作为基于多任务学习的层次类别的命名实体识别模型的真正输出。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于多任务学习的层次类别命名实体识别模型设计方法，其特征在于，该方法中，将所设计的基于多任务学习的层次类别的命名实体识别模型命名为MTBP，该模型设计时，将不同层次的命名实体识别视为多个任务，使用一个模型训练多个任务，使用多任务学习机制同时进行多个层次之间的命名实体识别预测，多个任务之间共享编码器，其中设计两种不同的信息传递机制以进行不同层次任务间识别信息的传递，第一种采用自顶向下的信息传递顺序，先预测顶层的类，再将顶层信息传递给下一层进行预测，将其称之为MTBP-T，第二种为自底向上的传递顺序，将其称之为MTBP-B。
2.如权利要求1所述的方法，其特征在于，该方法中，MTBP-T模型的设计原理为：将粗粒度类别的模型输出作为信息传入下一层以辅助细粒度的命名实体识别；MTBP-T模型使用BERT作为编码器，输入字符通过所述编码器得到初步的字向量，低层的表示向量由BERT输出结果与上一层标签预测结果拼接而成。
3.如权利要求2所述的方法，其特征在于，该方法中，将MTBP-T模型设计为一个面向具有三层类别结构命名实体识别任务的MBTP-T模型结构：
第一层使用BERT的输出作为嵌入向量，计算过程如下公式所示：
E0＝BERT(X)
第二层之后均使用上一层的嵌入与上一层的识别结果的拼接作为嵌入向量：
Ek＝Concat(Ek-1，labelk-1)
其中，E0表示BERT输出，其形状为m×l，l为输入序列的字符数量，m为BERT的字向量的尺寸；Ek代表每一层使用的输入字符向量，0＜k≤n，n为类别的层次数量；labelk-1是由上一层模型输出的抽取结果；
得到每一层字向量后通过线性层和sigmoid激活层得到一个概率矩阵作为预测矩阵，概率矩阵中每一列映射输入序列中的一个字，概率矩阵中每两行映射一个类别，两行中第一行对应该字为该类别实体开始的概率，第二行为结束的概率，具体计算过程如下公式所示：
predj＝sigmoid(WjEj)
其中，Ej表示第j个字的向量表示，
Figure FDA0003620877130000021
predj即为预测得到的字符为实体开始和结束位置的概率，
Figure FDA0003620877130000022
其中Cj代表第j层类别的类别个数。
4.如权利要求3所述的方法，其特征在于，该方法中，将MTBP-B模型设计为：自下而上传递信息的基于多任务学习的命名实体识别模型，其设计原理为：由于类别之间的从属关系，在实体预测中预测出子类实体实际上就已经预测出了父类实体，模型预测的低层次的实体输出中包含了父类分布的信息，所以可从子类的预测分布中得到父类的预测分布。
5.如权利要求4所述的方法，其特征在于，该方法中，将MTBP-B模型设计为一个面向实体类别具有三层结构的MTBP-B模型；
MTBP-B模型也使用BERT作为编码器来将输入序列编码为字符向量，如下公式所示：
E＝Bert(X)
E为输入字符的向量，其中，MTBP-B模型直接使用字符向量进行最细粒度的命名实体预测，预测过程仍然是将字符向量通过两个全连接层和sigmoid激活层得到一个表示字符是否为一类实体开始和结束的矩阵，计算过程如下公式所示：
predn＝sigmoid(WnE)
其中，Wn为全连接层的参数，MTBP-B模型使用低层次的预测结果得到高层次的预测结果，其将同一父类的子类预测数据聚合，得到父类的预测数据，对于开始矩阵，具体转化过程为：将子类的两个预测矩阵按类别进行分割，形成若干个小矩阵，每个矩阵中行映射的类型具有相同的父类；取每一个小矩阵的列最大值形成一个新的行，再将这些行进行拼接得到新的矩阵，这个新的矩阵即为父类的预测矩阵，这个转化过程称之为levelmax操作，整体过程如下公式所示：
predj＝levelmax(predj+1)
其中0≤j＜n。
6.如权利要求3至5中任一项所述的方法，其特征在于，MTBP-B和MTBP-T使用单模型同时进行多个层次的实体识别需要使用多任务学习的范式，因此，在损失中同时引入多任务的损失函数进行多个任务的学习，多任务的损失函数设计为：
每一个层次的命名实体识别的单任务都可以分解为多个二分类问题，使用交叉熵损失函数作为二分类问题的损失函数，损失函数为：
loss二分类＝-tlogp-(1-t)log(1-p)
其中t∈{0，1}为标签，p为模型输出的矩阵中的一项，如此一来，单个层次的命名实体识别的损失函数为：
loss单任务＝∑loss二分类
在多个层次的任务进行加和时，因为低层次的类别数高于高层次，相应的损失函数值大于高层次任务的损失函数值，所以对于每一个任务均设置一个超参数0≤λi≤1，1≤i≤n，以调节任务的重要程度，同时限制所有超参数的和为1，总的多任务的损失函数如下公式所示：
Figure FDA0003620877130000031
Figure FDA0003620877130000032
7.如权利要求3至6中任一项所述的方法，其特征在于，该方法中，通过预测矩阵构造识别结果，取一个阈值z，0＜z＜1，将预测矩阵中大于阈值的值设置为1，小于阈值的值设置为0，即可得到形状相同的标签矩阵labelj，如下公式所示：
Figure FDA0003620877130000041
labelj即为第j层预测出的标签矩阵，通过标签矩阵的标签值可以得到预测实体的起始和结束位置，从而抽取出该层次类别的命名实体，作为基于多任务学习的层次类别的命名实体识别模型最终输出的结果。
8.如权利要求7所述的方法，其特征在于，在训练阶段，使用教师监督学习的方法，直接使用训练集中的细粒度类别信息构造正确的标签矩阵进行指导，即训练时使用的字符标签数据labelj来自于训练集中正确的标签而不是上一层的输出，从而加速基于多任务学习的层次类别的命名实体识别模型的收敛。
9.如权利要求1至8中任一项所述的方法，其特征在于，将基于多任务的层次类别命名实体识别模型的多个输出中的高层次类别的输出作为真正的输出结果。
10.一种如权利要求1至9中任一项所述方法在自然语言处理技术领域中的应用。
CN202210462583.4A 2022-04-28 2022-04-28 基于多任务学习的层次类别命名实体识别模型设计方法 Pending CN114881032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210462583.4A CN114881032A (zh) 2022-04-28 2022-04-28 基于多任务学习的层次类别命名实体识别模型设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210462583.4A CN114881032A (zh) 2022-04-28 2022-04-28 基于多任务学习的层次类别命名实体识别模型设计方法

Publications (1)

Publication Number Publication Date
CN114881032A true CN114881032A (zh) 2022-08-09

Family

ID=82671118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210462583.4A Pending CN114881032A (zh) 2022-04-28 2022-04-28 基于多任务学习的层次类别命名实体识别模型设计方法

Country Status (1)

Country Link
CN (1) CN114881032A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994537A (zh) * 2023-01-09 2023-04-21 杭州实在智能科技有限公司 用于解决实体重叠与实体嵌套的多任务学习方法及系统
CN116644755A (zh) * 2023-07-27 2023-08-25 中国科学技术大学 基于多任务学习的少样本命名实体识别方法、装置及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994537A (zh) * 2023-01-09 2023-04-21 杭州实在智能科技有限公司 用于解决实体重叠与实体嵌套的多任务学习方法及系统
CN115994537B (zh) * 2023-01-09 2023-06-20 杭州实在智能科技有限公司 用于解决实体重叠与实体嵌套的多任务学习方法及系统
CN116644755A (zh) * 2023-07-27 2023-08-25 中国科学技术大学 基于多任务学习的少样本命名实体识别方法、装置及介质
CN116644755B (zh) * 2023-07-27 2023-11-17 中国科学技术大学 基于多任务学习的少样本命名实体识别方法、装置及介质

Similar Documents

Publication Publication Date Title
CN113241128B (zh) 基于分子空间位置编码注意力神经网络模型的分子性质预测方法
CN114881032A (zh) 基于多任务学习的层次类别命名实体识别模型设计方法
CN114816997B (zh) 一种基于图神经网络与双向gru特征抽取的缺陷预测方法
CN112069328B (zh) 一种基于多标签分类的实体关系联合抽取模型的建立方法
CN112597296B (zh) 一种基于计划机制和知识图谱引导的摘要生成方法
CN116644755B (zh) 基于多任务学习的少样本命名实体识别方法、装置及介质
CN115145551A (zh) 一种面向机器学习应用低代码开发的智能辅助系统
CN113033189B (zh) 一种基于注意力分散的长短期记忆网络的语义编码方法
CN113535953A (zh) 一种基于元学习的少样本分类方法
CN115688784A (zh) 一种融合字与词语特征的中文命名实体识别方法
CN112766507A (zh) 基于嵌入式和候选子图剪枝的复杂问题知识库问答方法
CN114067162A (zh) 一种基于多尺度多粒度特征解耦的图像重构方法及系统
CN113920379B (zh) 一种基于知识辅助的零样本图像分类方法
CN114840633A (zh) 一种基于异构关联子图的关键词生成方法
CN111145914A (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN114155477A (zh) 一种基于平均教师模型的半监督视频段落定位方法
CN112738647B (zh) 一种基于多层级编码-解码器的视频描述方法及系统
CN111309849B (zh) 一种基于联合学习模型的细粒度数值信息抽取方法
CN117349311A (zh) 一种基于改进RetNet的数据库自然语言查询方法
Sekiyama et al. Automated proof synthesis for propositional logic with deep neural networks
CN115831246A (zh) 一种药物化学反应合成与转化率预测联合优化方法
Sekiyama et al. Automated proof synthesis for the minimal propositional logic with deep neural networks
CN116127978A (zh) 基于医学文本的嵌套命名实体抽取方法
CN115964497A (zh) 一种融合注意力机制与卷积神经网络的事件抽取方法
CN113886602B (zh) 一种基于多粒度认知的领域知识库实体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination