CN113221571B - 基于实体相关注意力机制的实体关系联合抽取方法 - Google Patents

基于实体相关注意力机制的实体关系联合抽取方法 Download PDF

Info

Publication number
CN113221571B
CN113221571B CN202110600808.3A CN202110600808A CN113221571B CN 113221571 B CN113221571 B CN 113221571B CN 202110600808 A CN202110600808 A CN 202110600808A CN 113221571 B CN113221571 B CN 113221571B
Authority
CN
China
Prior art keywords
entity
tail
candidate
relationship
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110600808.3A
Other languages
English (en)
Other versions
CN113221571A (zh
Inventor
李韧
李东
杨建喜
向芳悦
蒋仕新
王笛
刘新龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202110600808.3A priority Critical patent/CN113221571B/zh
Publication of CN113221571A publication Critical patent/CN113221571A/zh
Application granted granted Critical
Publication of CN113221571B publication Critical patent/CN113221571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及互联网络人工智能技术和自然语言处理技术领域，具体涉及基于实体相关注意力机制的实体关系联合抽取方法，其包括：获取待处理文本；将待处理文本输入经过预先训练的实体关系联合抽取神经网络模型中；实体关系联合抽取神经网络模型首先识别所述待处理文本中的所有实体；然后将各个实体分别作为目标头实体去识别对应的目标尾实体；最后识别各个目标头实体与对应目标尾实体之间的关系，并根据目标头实体、目标尾实体和相应关系构建对应的三元组；输出所有的三元组。本发明中的实体关系联合抽取方法能够保证实体关系联合抽取关联性并解决重叠关系问题，从而能够提升实体关系联合抽取的效果。

Description

基于实体相关注意力机制的实体关系联合抽取方法
技术领域
本发明涉及互联网络人工智能技术和自然语言处理技术领域，具体涉及基于实体相关注意力机制的实体关系联合抽取方法。
背景技术
随着互联网技术的快速发展，人们需要处理的数据量激增，特别是在人工智能等数据信息处理领域，如何快速高效地从文本中抽取出实体及实体之间的关系信息，成为迫切需要解决的重要问题。在互联网信息处理领域中，实体往往指可以指示某类具体事物的集合，可以是具体的人事物，也可以是抽象的概念、联系等。实体关系抽取是针对非结构化数据进行信息抽取的一项核心任务，其主要目标是从文本中同时检测实体并识别实体对间的语义关系，被广泛应用在知识图谱构建、信息检索、对话生成和问答系统等方面。目前实体关系抽取一般采用流水线方法和联合学习方法两个框架。
流水线方法在处理时容易忽略两个子任务的相关性，进而会产生一些错误的叠加。联合学习方法同样存在无法识别重叠关系、无法学习到句子中更丰富的上下文信息、未对抽取结果进行校正等问题，从而导致三元组抽取准确率不高。为此，公开号为CN110781683A的中国专利就公开了《一种基于多标签标注和复合注意力机制的实体关系联合抽取方法》，其收集用于研究的语料数据，去除关系标签为"None"的句子，对剩余的句子进行多标签标注，形成训练集；然后将经过多标签标注的句子输入到联合抽取模型中，通过所述联合抽取模型来识别句子中所包含的实体以及实体之间的关系，构建三元组；最后利用关系对齐模型对抽取出来的三元组进行校正，以适应(头实体E1，尾实体E2)实体对的多标签标注。
上述现有方案中的实体关系联合抽取方法能够在一定程度上提高实体关系(即三元组)的抽取准确率。但是，现有的实体关系联合抽取方法本质上仍然是分别提取实体和关系，而没有充分利用两个子任务之间的联系，导致实体关系的抽取关联性很低。为此，申请人从人类的认知角度出发，发现了通过区分实体在不同关系上、下文中与其他实体的关联性来共同提取实体和关系能够保证联合抽取效果。基于此发现，申请人想到采用实体优先策略以及特定的实体相关注意力机制来计算实体的相关性，并通过神经网络模型进一步提升实体与关系之间的联系，进而提出一种新的实体关系联合抽取方法。同时，还解决了现有神经网络模型无法处理复杂重叠关系的问题，从而提升实体关系联合抽取的准确性。因此，申请人设计了一种能够保证实体关系联合抽取关联性并解决重叠关系问题的实体关系联合抽取方法。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够保证实体关系联合抽取关联性并能够解决重叠关系问题的实体关系联合抽取方法，从而能够提升实体关系联合抽取的效果。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于实体相关注意力机制的实体关系联合抽取方法，包括以下步骤：
S1：获取待处理文本；
S2：将待处理文本输入经过预先训练的实体关系联合抽取神经网络模型中；所述实体关系联合抽取神经网络模型首先识别所述待处理文本中的所有实体；然后将各个实体分别作为目标头实体去识别对应的目标尾实体；最后识别各个目标头实体与对应目标尾实体之间的关系，并根据目标头实体、目标尾实体和相应关系构建对应的三元组；
S3：输出所有的三元组。
优选的，所述实体关系联合抽取神经网络模型包括编码模块；
所述编码模块首先对所述待处理文本进行编码，为所述待处理中的各个单词嵌入词向量；然后通过编码Bi-LSTM捕捉编码后待处理文本的语义特征；最后根据所述编码Bi-LSTM的最后一层隐藏状态生成上下文表示。
优选的，所述编码Bi-LSTM通过如下公式捕捉语义特征：
Figure GDA0003655097880000021
Figure GDA0003655097880000022
式中：ei表示第i个单词嵌入的词表示；
Figure GDA0003655097880000023
表示编码Bi-LSTM的最后一层隐藏状态，dh表示编码Bi-LSTM的最后一层隐藏状态的维数；
Figure GDA0003655097880000024
表示全局表示的第i个特征表示，根据对所有最后一层隐藏状态的最大池化计算得到；
Figure GDA0003655097880000025
表示融合了hi和gi的上下文表示。
优选的，所述编码模块通过如下步骤进行编码：首先对所述待处理文本进行分词和汇总得到若干个单词；然后给每个单词分配一个对应的单词ID，并将单词替换成对应的单词ID；最后为每个单词ID嵌入对应的词向量。
优选的，所述实体关系联合抽取神经网络模型还包括候选头实体识别模块；
所述候选头实体识别模块将所述上下文表示作为输入；首先通过候选头实体Bi-LSTM融合和学习所述上下文表示的内部信息，并输出对应的头实体上下文向量表示序列；再将所述头实体上下文向量表示序列输入候选头实体CRF层中，通过所述候选头实体CRF层输出对应的实体类型标签序列；
所述实体关系联合抽取神经网络模型根据所述实体类型标签序列识别得到所有的实体。
优选的，所述候选头实体CRF层通过如下步骤输出实体类型标签序列：
预测基于实体类型的所有候选类型标签序列；
通过如下公式计算各个候选类型标签序列的类型转移分数；
Figure GDA0003655097880000031
o＝{o1,o2,....,on}；
p＝oWp；
Figure GDA0003655097880000032
式中：p、v分别表示候选头实体CRF层的发射矩阵和转移矩阵，
Figure GDA0003655097880000033
Figure GDA0003655097880000034
表示输出的头实体上下文向量表示序列；
Figure GDA0003655097880000035
表示候选头实体识别模块的模型参数；S(X,Y)表示单词到相应类型标签的类型转移分数，X表示单词，Y表示类型标签；
根据类型转移分数并结合如下公式计算各个候选类型标签序列的类型标签概率；
Figure GDA0003655097880000036
式中：p(Y|X)表示候选类型标签序列的类型标签概率；YX表示所有的候选类型标签序列；
根据所述类型标签概率从所有候选类型标签序列中选取对应的实体类型标签序列。
优选的，所述实体关系联合抽取神经网络模型根据实体类型标签序列并结合如下标注策略对实体进行标注：
将实体标注为T1-T2；T1表示实体边界，分别用B、I、E表示实体的开始、中间和结尾，当实体只有一个单词时用S表示；T2表示头实体类型；非实体用O表示。
优选的，所述实体关系联合抽取神经网络模型还包括多尾实体识别模块；
所述多尾实体识别模块将所述上下文表示和识别得到的所有实体作为输入；首先选取对应的实体作为目标头实体，并将对应实体开始处的上下文向量表示作为目标头实体的实体表示；再识别目标头实体对应的目标尾实体；然后通过多尾实体Bi-LSTM融合、学习上下文表示和实体表示的内部信息，并输出对应的尾实体上下文向量表示序列；再将所述尾实体上下文向量表示序列输入多尾实体CRF中，通过所述多尾实体CRF输出对应的头实体和尾实体关系标签序列；
所述实体关系联合抽取神经网络模型根据所述头实体和尾实体关系标签序列识别得到目标头实体与对应目标尾实体的关系，并根据目标头实体、目标尾实体和相应关系构建对应的三元组。
优选的，所述多尾实体识别模块通过如下步骤识别对应的目标尾实体：
将所有实体作为候选尾实体；
通过如下公式计算各个候选尾实体与目标头实体的实体相关注意力；
eik＝vTtanh(Waai+Wggi)；
Figure GDA0003655097880000041
Figure GDA0003655097880000042
式中：sk表示实体相关注意力；
Figure GDA0003655097880000043
都是可训练模型参数；
根据所述实体相关注意力并结合以下公式，过滤与目标头实体呈负相关的候选尾实体，并将剩余的候选尾实体作为目标头实体对应的目标尾实体；
Figure GDA00036550978800000410
uk＝gk⊙tanh(W3sk+b3)；
Figure GDA0003655097880000044
式中：W1,W2,
Figure GDA0003655097880000045
都是模型参数；
Figure GDA00036550978800000411
是拼接运算符；⊙是点乘运算符；σ表示sigmoid激活函数；
Figure GDA0003655097880000046
表示第i个单词在目标头实体为k的情况下的隐藏表示；整个文本表示成
Figure GDA0003655097880000047
优选的，所述多尾实体CRF通过如下步骤输出头实体和尾实体关系标签序列：
预测目标头实体和目标尾实体的所有候选关系标签序列；
通过如下公式计算各个候选关系标签序列的关系转移分数；
Figure GDA0003655097880000048
Figure GDA0003655097880000049
Figure GDA0003655097880000051
Figure GDA0003655097880000052
式中：pk、vk分别表示多尾实体CRF的发射矩阵和转移矩阵；
Figure GDA0003655097880000053
表示输出的尾实体上下文向量表示序列；
Figure GDA0003655097880000054
表示多尾实体识别模块的模型参数；
Figure GDA0003655097880000055
表示单词到相应关系标签的关系转移分数，X表示单词，Y表示关系标签；
根据所述关系转移分数并结合如下公式计算各个候选关系标签序列的关系标签概率；
Figure GDA0003655097880000056
式中：
Figure GDA0003655097880000057
表示候选关系标签序列的标签概率；
Figure GDA0003655097880000058
表示所有的候选关系标签序列；
根据所述关系标签概率从所有候选关系标签序列中选取对应的头实体和尾实体关系标签序列。
本发明中的实体关系联合抽取方法与现有技术相比，具有如下有益效果：
本发明中，实体关系联合抽取神经网络模型基于实体优先策略以及特定的实体相关注意力机制来计算实体的相关性，并通过神经网络模型进一步提升实体与关系之间的联系，从而能够提升实体关系联合抽取的效果。同时，本发明首先识别文本中的实体，并能够识别目标头实体与对应目标尾实体的关系来构建对应的三元组，使得能够通过头实体、尾实体和关系之间的联系来实现三元组的抽取，从而能够保证实体关系联合抽取的关联性。此外，重叠关系中不同的实体对会共享同一种关系或者说同一对实体之间存在多重关系，因此，本发明假设了头实体加关系等于尾实体的映射关系，通过得到一种头实体并根据关系类型标出尾实体的方式应对重叠关系，即能够解决编码过程中的重叠关系问题，从而能够进一步提升实体关系联合抽取的关联性。最后，本发明提供了相较于基于BERT等大型通用领域预训练模型更轻量级的实体关系联合抽取模型，并且在公用数据集和自建桥梁领域数据集上都取得了很好的效果。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为实施例中实体关系联合抽取方法的逻辑框图；
图2为实施例中实体关系联合抽取神经网络模型的逻辑框图；
图3为实施例中头实体标注策略和尾实体标注策略的标注示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于实体相关注意力机制的实体关系联合抽取方法。
如图1所示，基于实体相关注意力机制的实体关系联合抽取方法，包括以下步骤：
S1：获取待处理文本；
S2：将待处理文本输入经过预先训练的实体关系联合抽取神经网络模型中；实体关系联合抽取神经网络模型首先识别待处理文本中的所有实体；然后将各个实体分别作为目标头实体去识别对应的目标尾实体；最后识别各个目标头实体与对应目标尾实体之间的关系，并根据目标头实体、目标尾实体和相应关系构建对应的三元组；
S3：输出所有的三元组。
本发明中，实体关系联合抽取神经网络模型基于实体优先策略以及特定的实体相关注意力机制来计算实体的相关性，并通过神经网络模型进一步提升实体与关系之间的联系，从而能够提升实体关系联合抽取的效果。同时，本发明首先识别文本中的实体，并能够识别目标头实体与对应目标尾实体的关系来构建对应的三元组，使得能够通过头实体、尾实体和关系之间的联系来实现三元组的抽取，从而能够保证实体关系联合抽取的关联性。此外，重叠关系中不同的实体对会共享同一种关系或者说同一对实体之间存在多重关系，因此，本发明假设了头实体加关系等于尾实体的映射关系，通过得到一种头实体并根据关系类型标出尾实体的方式应对重叠关系，即能够解决编码过程中的重叠关系问题，从而能够进一步提升实体关系联合抽取的关联性。最后，本发明提供了相较于基于BERT等大型通用领域预训练模型更轻量级的实体关系联合抽取模型，并且在公用数据集和自建桥梁领域数据集上都取得了很好的效果。
结合图2所示，实体关系联合抽取神经网络模型包括编码模块、候选头实体识别模块和多尾实体识别模块。“Bi-LSTM”是双向长短期记忆人工神经网络；“CRF”是条件随机场。
具体实施过程中，编码模块首先对待处理文本进行编码，为待处理中的各个单词嵌入词向量；然后通过编码Bi-LSTM捕捉编码后待处理文本的语义特征；最后根据编码Bi-LSTM的最后一层隐藏状态生成上下文表示。具体的，编码模块通过如下步骤进行编码：首先对待处理文本进行分词和汇总得到若干个单词；然后给每个单词分配一个对应的单词ID，并将单词替换成对应的单词ID；最后为每个单词ID嵌入对应的词向量。
编码Bi-LSTM通过如下公式捕捉语义特征：
Figure GDA0003655097880000071
Figure GDA0003655097880000072
式中：ei表示第i个单词嵌入的词表示；
Figure GDA0003655097880000073
表示编码Bi-LSTM的最后一层隐藏状态，dh表示编码Bi-LSTM的最后一层隐藏状态的维数；
Figure GDA0003655097880000074
表示全局表示的第i个特征表示，根据对所有最后一层隐藏状态的最大池化计算得到；
Figure GDA0003655097880000075
表示融合了hi和gi的上下文表示。
本发明中，实体关系联合抽取神经网络模型的编码模块能对文本进行编码并嵌入词向量来形成上下文表示，使得后续能够通过得到一种头实体并根据关系类型标出尾实体的方式应对重叠关系，即能够解决编码过程中的重叠关系问题，从而能够进一步提升实体关系联合抽取的关联性。
具体实施过程中，候选头实体识别模块将上下文表示作为输入；首先通过候选头实体Bi-LSTM融合和学习上下文表示的内部信息，并输出对应的头实体上下文向量表示序列；再将头实体上下文向量表示序列输入候选头实体CRF层中，通过候选头实体CRF层输出对应的实体类型标签序列；
实体关系联合抽取神经网络模型根据实体类型标签序列识别得到所有的实体。实体关系联合抽取神经网络模型通过如下标注策略对实体进行标注：将实体标注为T1-T2；T1表示实体边界，分别用B、I、E表示实体的开始、中间和结尾，当实体只有一个单词时用S表示；T2表示头实体类型；非实体用O表示。结合图3所示，“Steven Jobs”被标注为“B-Peop”和“E-Peop”。
具体实施过程中，候选头实体CRF层通过如下步骤输出实体类型标签序列：
预测基于实体类型的所有候选类型标签序列；
通过如下公式计算各个候选类型标签序列的类型转移分数；
Figure GDA0003655097880000076
o＝{o1,o2,....,on}；
p＝oWp；
Figure GDA0003655097880000077
式中：p、v分别表示候选头实体CRF层的发射矩阵和转移矩阵，
Figure GDA0003655097880000081
Figure GDA0003655097880000082
表示输出的头实体上下文向量表示序列；
Figure GDA0003655097880000083
表示候选头实体识别模块的模型参数；S(X,Y)表示单词到相应类型标签的类型转移分数，X表示单词，Y表示类型标签；
根据类型转移分数并结合如下公式计算各个候选类型标签序列的类型标签概率；
Figure GDA0003655097880000084
式中：p(Y|X)表示候选类型标签序列的类型标签概率；YX表示所有的候选类型标签序列；
根据类型标签概率从所有候选类型标签序列中选取对应的实体类型标签序列。
本发明中，候选头实体识别模块通过上述步骤能够准确的输出实体类型标签序列，进而使得实体关系联合抽取神经网络模型能够准确的识别出文本中的实体，从而能够辅助提升实体关系联合抽取的准确性。同时，本发明中的头实体标准策略能够简单且有效的对头实体进行标注，有利于后续尾实体的识别和头实体、尾实体关系的识别，从而能够进一步提升实体关系联合抽取的效果。
具体实施过程中，多尾实体识别模块将上下文表示和识别得到的所有实体作为输入；首先选取对应的实体作为目标头实体，并将对应实体开始处的上下文向量表示作为目标头实体的实体表示(通过公式A＝MASK(G)表示，其中MASK表示实体开始处的索引矩阵，A＝{a1,a2,....,an}，
Figure GDA0003655097880000085
)；再识别目标头实体对应的目标尾实体；然后通过多尾实体Bi-LSTM融合、学习上下文表示和实体表示的内部信息，并输出对应的尾实体上下文向量表示序列；再将尾实体上下文向量表示序列输入多尾实体CRF中，通过多尾实体CRF输出对应的头实体和尾实体关系标签序列；
实体关系联合抽取神经网络模型根据头实体和尾实体关系标签序列识别得到目标头实体与对应目标尾实体的关系，并根据目标头实体、目标尾实体和相应关系构建对应的三元组。实体关系联合抽取神经网络模型通过如下标注策略对尾实体进行标注：将实体标注为T1-T3；T1表示实体边界，分别用B、I、E表示实体的开始、中间和结尾，当实体只有一个单词时用S表示；T3表示头实体与尾实体的关系；非实体用O表示。结合图3所示，尾实体“SanFrancisco”基于头实体“Steven Jobs”被标注为“B-Bo_In”和“E-Bo_In”。
具体实施过程中，多尾实体识别模块通过如下步骤识别对应的目标尾实体：
将所有实体作为候选尾实体；
通过如下公式计算各个候选尾实体与目标头实体的实体相关注意力；
eik＝vTtanh(Waai+Wggi)；
Figure GDA0003655097880000091
Figure GDA0003655097880000092
式中：sk表示实体相关注意力；
Figure GDA0003655097880000093
都是可训练模型参数；
根据实体相关注意力并结合以下公式，过滤与目标头实体呈负相关的候选尾实体，并将剩余的候选尾实体作为目标头实体对应的目标尾实体；
Figure GDA00036550978800000915
uk＝gk⊙tanh(W3sk+b3)；
Figure GDA0003655097880000094
式中：W1,W2,
Figure GDA0003655097880000095
都是模型参数；
Figure GDA00036550978800000916
是拼接运算符；⊙是点乘运算符；σ表示sigmoid激活函数；
Figure GDA0003655097880000096
表示第i个单词在目标头实体为k的情况下的隐藏表示；整个文本表示成
Figure GDA0003655097880000097
具体实施过程中，多尾实体CRF通过如下步骤输出头实体和尾实体关系标签序列：
预测目标头实体和目标尾实体的所有候选关系标签序列；
通过如下公式计算各个候选关系标签序列的关系转移分数；
Figure GDA0003655097880000098
Figure GDA0003655097880000099
Figure GDA00036550978800000910
Figure GDA00036550978800000911
式中：pk、vk分别表示多尾实体CRF的发射矩阵和转移矩阵；
Figure GDA00036550978800000912
表示输出的尾实体上下文向量表示序列；
Figure GDA00036550978800000913
表示多尾实体识别模块的模型参数；
Figure GDA00036550978800000914
表示单词到相应关系标签的关系转移分数，X表示单词，Y表示关系标签；
根据关系转移分数并结合如下公式计算各个候选关系标签序列的关系标签概率；
Figure GDA0003655097880000101
式中：
Figure GDA0003655097880000102
表示候选关系标签序列的标签概率；
Figure GDA0003655097880000103
表示所有的候选关系标签序列；
根据关系标签概率从所有候选关系标签序列中选取对应的头实体和尾实体关系标签序列。
本发明中，多尾实体识别模块通过上述步骤能够准确的输出目标头实体对应的目标尾实体，并能够准确识别出头实体和尾实体关系标签序列，使得实体关系联合抽取神经网络模型能够准确的识别出文本中目标头实体和目标尾实体的关系，从而能够辅助提升实体关系的抽取准确性。同时，本发明中的尾实体标准策略能够简单且有效的对尾实体进行标注，有利于后续头实体、尾实体关系的识别，从而能够进一步提升实体关系联合抽取的效果。此外，本发明的多尾实体识别模块能够基于实体优先策略以及特定的实体相关注意力机制来计算实体的相关性，并通过神经网络模型进一步提升实体与关系之间的联系，从而能够提升实体关系联合抽取的效果。
具体实施过程中，本实施例通过如下步骤训练实体关系联合抽取神经网络模型：
获取训练数据和两个损失函数Lall、LCHE；其中，Lall＝LCHE+LMTE；LCHE表示候选头实体识别模块的损失函数，LMTE表示多尾实体识别模块的损失函数；LCHE和LMTE都是负对数似然；
然后将训练数据输入所述实体关系联合抽取神经网络模型，并通过如下公式最小化联合损失函数L＝Lall+Lent,Lall+Lent＝L，以使得负对数似然损失最小，条件概率最大化:
Figure GDA0003655097880000104
Figure GDA0003655097880000105
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.基于实体相关注意力机制的实体关系联合抽取方法，其特征在于，包括以下步骤：
S1：获取待处理文本；
S2：将待处理文本输入经过预先训练的实体关系联合抽取神经网络模型中；所述实体关系联合抽取神经网络模型首先识别所述待处理文本中的所有实体；然后将各个实体分别作为目标头实体去识别对应的目标尾实体；最后识别各个目标头实体与对应目标尾实体之间的关系，并根据目标头实体、目标尾实体和相应关系构建对应的三元组；
S3：输出所有的三元组；
所述实体关系联合抽取神经网络模型包括编码模块；
所述编码模块首先对所述待处理文本进行编码，为所述待处理文本 中的各个单词嵌入词向量；然后通过编码Bi-LSTM捕捉编码后待处理文本的语义特征；最后根据所述编码Bi-LSTM的最后一层隐藏状态生成上下文表示；
所述实体关系联合抽取神经网络模型还包括候选头实体识别模块；
所述候选头实体识别模块将所述上下文表示作为输入；首先通过候选头实体Bi-LSTM融合和学习所述上下文表示的内部信息，并输出对应的头实体上下文向量表示序列；再将所述头实体上下文向量表示序列输入候选头实体CRF层中，通过所述候选头实体CRF层输出对应的实体类型标签序列；
所述实体关系联合抽取神经网络模型根据所述实体类型标签序列识别得到所有的实体；
所述实体关系联合抽取神经网络模型还包括多尾实体识别模块；
所述多尾实体识别模块将所述上下文表示和识别得到的所有实体作为输入；首先选取对应的实体作为目标头实体，并将对应实体开始处的上下文向量表示作为目标头实体的实体表示；再识别目标头实体对应的目标尾实体；然后通过多尾实体Bi-LSTM融合、学习上下文表示和实体表示的内部信息，并输出对应的尾实体上下文向量表示序列；再将所述尾实体上下文向量表示序列输入多尾实体CRF中，通过所述多尾实体CRF输出对应的头实体和尾实体关系标签序列；
所述实体关系联合抽取神经网络模型根据所述头实体和尾实体关系标签序列识别得到目标头实体与对应目标尾实体的关系，并根据目标头实体、目标尾实体和相应关系构建对应的三元组；
所述多尾实体识别模块通过如下步骤识别对应的目标尾实体：
将所有实体作为候选尾实体；
通过如下公式计算各个候选尾实体与目标头实体的实体相关注意力；
eik＝vTtanh(Waai+Wggi)；
Figure FDA0003655097870000021
Figure FDA0003655097870000022
式中：sk表示实体相关注意力；
Figure FDA0003655097870000023
都是可训练模型参数；
根据所述实体相关注意力并结合以下公式，过滤与目标头实体呈负相关的候选尾实体，并将剩余的候选尾实体作为目标头实体对应的目标尾实体；
Figure FDA0003655097870000024
uk＝gk⊙tanh(W3sk+b3)；
Figure FDA0003655097870000025
式中：
Figure FDA0003655097870000026
都是模型参数；
Figure FDA0003655097870000027
是拼接运算符；⊙是点乘运算符；σ表示sigmoid激活函数；
Figure FDA0003655097870000028
表示第i个单词在目标头实体为k的情况下的隐藏表示；整个文本表示成
Figure FDA0003655097870000029
2.如权利要求1所述的基于实体相关注意力机制的实体关系联合抽取方法，其特征在于：所述编码Bi-LSTM通过如下公式捕捉语义特征：
Figure FDA00036550978700000210
Figure FDA00036550978700000211
式中：ei表示第i个单词嵌入的词表示；
Figure FDA00036550978700000212
表示编码Bi-LSTM的最后一层隐藏状态，dh表示编码Bi-LSTM的最后一层隐藏状态的维数；
Figure FDA00036550978700000213
表示全局表示的第i个特征表示，根据对所有最后一层隐藏状态的最大池化计算得到；
Figure FDA00036550978700000214
表示融合了hi和gi的上下文表示。
3.如权利要求1所述的基于实体相关注意力机制的实体关系联合抽取方法，其特征在于：所述编码模块通过如下步骤进行编码：首先对所述待处理文本进行分词和汇总得到若干个单词；然后给每个单词分配一个对应的单词ID，并将单词替换成对应的单词ID；最后为每个单词ID嵌入对应的词向量。
4.如权利要求1所述的基于实体相关注意力机制的实体关系联合抽取方法，其特征在于，所述候选头实体CRF层通过如下步骤输出实体类型标签序列：
预测基于实体类型的所有候选类型标签序列；
通过如下公式计算各个候选类型标签序列的类型转移分数；
Figure FDA0003655097870000031
o＝{o1,o2,....,on}；
p＝oWp；
Figure FDA0003655097870000032
式中：p、v分别表示候选头实体CRF层的发射矩阵和转移矩阵，
Figure FDA0003655097870000033
Figure FDA0003655097870000034
表示输出的头实体上下文向量表示序列；
Figure FDA0003655097870000035
表示候选头实体识别模块的模型参数；S(X,Y)表示单词到相应类型标签的类型转移分数，X表示单词，Y表示类型标签；
根据类型转移分数并结合如下公式计算各个候选类型标签序列的类型标签概率；
Figure FDA0003655097870000036
式中：p(Y|X)表示候选类型标签序列的类型标签概率；YX表示所有的候选类型标签序列；
根据所述类型标签概率从所有候选类型标签序列中选取对应的实体类型标签序列。
5.如权利要求1所述的基于实体相关注意力机制的实体关系联合抽取方法，其特征在于，所述实体关系联合抽取神经网络模型根据实体类型标签序列并结合如下标注策略对实体进行标注：
将实体标注为T1-T2；T1表示实体边界，分别用B、I、E表示实体的开始、中间和结尾，当实体只有一个单词时用S表示；T2表示头实体类型；非实体用O表示。
6.如权利要求1所述的基于实体相关注意力机制的实体关系联合抽取方法，其特征在于：所述多尾实体CRF通过如下步骤输出头实体和尾实体关系标签序列：
预测目标头实体和目标尾实体的所有候选关系标签序列；
通过如下公式计算各个候选关系标签序列的关系转移分数；
Figure FDA0003655097870000037
Figure FDA0003655097870000038
Figure FDA0003655097870000041
Figure FDA0003655097870000042
式中：pk、vk分别表示多尾实体CRF的发射矩阵和转移矩阵；
Figure FDA0003655097870000043
表示输出的尾实体上下文向量表示序列；
Figure FDA0003655097870000044
表示多尾实体识别模块的模型参数；
Figure FDA0003655097870000045
表示单词到相应关系标签的关系转移分数，X表示单词，
Figure FDA0003655097870000046
表示关系标签；
根据所述关系转移分数并结合如下公式计算各个候选关系标签序列的关系标签概率；
Figure FDA0003655097870000047
式中：
Figure FDA0003655097870000048
表示候选关系标签序列的标签概率；
Figure FDA0003655097870000049
表示所有的候选关系标签序列；
根据所述关系标签概率从所有候选关系标签序列中选取对应的头实体和尾实体关系标签序列。
CN202110600808.3A 2021-05-31 2021-05-31 基于实体相关注意力机制的实体关系联合抽取方法 Active CN113221571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600808.3A CN113221571B (zh) 2021-05-31 2021-05-31 基于实体相关注意力机制的实体关系联合抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600808.3A CN113221571B (zh) 2021-05-31 2021-05-31 基于实体相关注意力机制的实体关系联合抽取方法

Publications (2)

Publication Number Publication Date
CN113221571A CN113221571A (zh) 2021-08-06
CN113221571B true CN113221571B (zh) 2022-07-01

Family

ID=77082073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600808.3A Active CN113221571B (zh) 2021-05-31 2021-05-31 基于实体相关注意力机制的实体关系联合抽取方法

Country Status (1)

Country Link
CN (1) CN113221571B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779260B (zh) * 2021-08-12 2023-07-18 华东师范大学 一种基于预训练模型的领域图谱实体和关系联合抽取方法及系统
CN113688256B (zh) * 2021-10-27 2022-02-22 上海柯林布瑞信息技术有限公司 临床知识库的构建方法、装置
CN114357176B (zh) * 2021-11-26 2023-11-21 永中软件股份有限公司 实体知识自动抽取方法和计算机装置、计算机可读介质
CN115168599B (zh) * 2022-06-20 2023-06-20 北京百度网讯科技有限公司 多三元组抽取方法、装置、设备、介质及产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法
CN109165385A (zh) * 2018-08-29 2019-01-08 中国人民解放军国防科技大学 一种基于实体关系联合抽取模型的多三元组抽取方法
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和系统
CN110781683A (zh) * 2019-11-04 2020-02-11 河海大学 一种实体关系联合抽取方法
CN110968660A (zh) * 2019-12-09 2020-04-07 四川长虹电器股份有限公司 基于联合训练模型的信息抽取方法和系统
CN111368528A (zh) * 2020-03-09 2020-07-03 西南交通大学 一种面向医学文本的实体关系联合抽取方法
CN111832293A (zh) * 2020-06-24 2020-10-27 四川大学 基于头实体预测的实体和关系联合抽取方法
CN112115687A (zh) * 2020-08-26 2020-12-22 华南理工大学 一种结合知识库中的三元组和实体类型的生成问题方法
CN112348191A (zh) * 2020-10-26 2021-02-09 福州大学 一种基于多模态表示学习的知识库补全方法
CN112733541A (zh) * 2021-01-06 2021-04-30 重庆邮电大学 基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法
CN112784059A (zh) * 2021-01-20 2021-05-11 和美（深圳）信息技术股份有限公司 知识图谱表示学习方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763237A (zh) * 2018-03-21 2018-11-06 浙江大学 一种基于注意力机制的知识图谱嵌入方法
CN109165385A (zh) * 2018-08-29 2019-01-08 中国人民解放军国防科技大学 一种基于实体关系联合抽取模型的多三元组抽取方法
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和系统
CN110781683A (zh) * 2019-11-04 2020-02-11 河海大学 一种实体关系联合抽取方法
CN110968660A (zh) * 2019-12-09 2020-04-07 四川长虹电器股份有限公司 基于联合训练模型的信息抽取方法和系统
CN111368528A (zh) * 2020-03-09 2020-07-03 西南交通大学 一种面向医学文本的实体关系联合抽取方法
CN111832293A (zh) * 2020-06-24 2020-10-27 四川大学 基于头实体预测的实体和关系联合抽取方法
CN112115687A (zh) * 2020-08-26 2020-12-22 华南理工大学 一种结合知识库中的三元组和实体类型的生成问题方法
CN112348191A (zh) * 2020-10-26 2021-02-09 福州大学 一种基于多模态表示学习的知识库补全方法
CN112733541A (zh) * 2021-01-06 2021-04-30 重庆邮电大学 基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法
CN112784059A (zh) * 2021-01-20 2021-05-11 和美（深圳）信息技术股份有限公司 知识图谱表示学习方法、装置、电子设备及存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Joint Extraction of Entities and Relations Based on a Novel Decomposition Strategy;Bowen Yu等;《arXiv》;20200219;1-8 *
Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme;Suncong Zheng等;《arXiv》;20170607;1-10 *
Joint extraction of entities and relations via an entity correlated attention neural model;Ren Li等;《Information Sciences》;20210915;179-193 *
QA4IE: A Question Answering based Framework for Information Extraction;Lin Qiu等;《arXiv》;20190128;1-13 *
基于Transformer-BiLSTM-CRF的桥梁检测领域命名实体识别;李 韧等;《中文信息学报》;20210415;第35卷(第04期);83-91 *
基于头实体注意力的实体关系联合抽取方法;刘雅璇，钟勇;《https://kns.cnki.net/kcms/detail/51.1307.TP.20210412.1454.006.html》;20210412;1-7 *
基于神经网络的实体识别和关系抽取的联合模型研究;丁琛;《硕士论文全文数据库 信息科技辑》;20190815(第08期);I138-1393 *
基于联合学习方法的实体关系抽取;刘丽;《电子技术与软件工程》;20210415;181-182 *

Also Published As

Publication number Publication date
CN113221571A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110781683B (zh) 一种实体关系联合抽取方法
CN113221571B (zh) 基于实体相关注意力机制的实体关系联合抽取方法
CN109471895B (zh) 电子病历表型抽取、表型名称规范化方法及系统
CN109918681B (zh) 一种基于汉字-拼音的融合问题语义匹配方法
CN111985239A (zh) 实体识别方法、装置、电子设备及存储介质
CN111243699A (zh) 基于字词信息融合的中文电子病历实体抽取方法
CN112733768A (zh) 基于双向特征语言模型的自然场景文本识别方法及装置
CN113780059A (zh) 一种基于多特征点的连续手语识别方法
CN113971837A (zh) 一种基于知识的多模态特征融合的动态图神经手语翻译方法
CN112905762A (zh) 一种基于同等注意力图网络的视觉问答方法
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN115331075A (zh) 一种多模态场景图知识增强的对抗式多模态预训练方法
CN116204674A (zh) 一种基于视觉概念词关联结构化建模的图像描述方法
CN115687638A (zh) 基于三元组森林的实体关系联合抽取方法及系统
CN114817564A (zh) 一种属性抽取方法、装置及存储介质
CN114492459A (zh) 基于知识图谱与交互图卷积的评论情感分析方法及系统
CN114881038B (zh) 基于跨度和注意力机制的中文实体与关系抽取方法及装置
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN116522165A (zh) 一种基于孪生结构的舆情文本匹配系统及方法
CN116738992A (zh) 基于图注意力网络和字词融合的医疗命名实体识别方法
CN114548090B (zh) 基于卷积神经网络和改进级联标注的快速关系抽取方法
CN116662924A (zh) 基于双通道与注意力机制的方面级多模态情感分析方法
CN115934883A (zh) 一种基于语义增强的多特征融合的实体关系联合抽取方法
CN115659242A (zh) 一种基于模态增强卷积图的多模态情感分类方法
CN115422945A (zh) 一种融合情感挖掘的谣言检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant