CN111985245A - 基于注意力循环门控图卷积网络的关系提取方法及系统 - Google Patents

基于注意力循环门控图卷积网络的关系提取方法及系统 Download PDF

Info

Publication number
CN111985245A
CN111985245A CN202010850462.8A CN202010850462A CN111985245A CN 111985245 A CN111985245 A CN 111985245A CN 202010850462 A CN202010850462 A CN 202010850462A CN 111985245 A CN111985245 A CN 111985245A
Authority
CN
China
Prior art keywords
vector
graph convolution
convolution network
word
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010850462.8A
Other languages
English (en)
Other versions
CN111985245B (zh
Inventor
钱雪忠
王晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010850462.8A priority Critical patent/CN111985245B/zh
Publication of CN111985245A publication Critical patent/CN111985245A/zh
Application granted granted Critical
Publication of CN111985245B publication Critical patent/CN111985245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及一种基于注意力循环门控图卷积网络的关系提取方法及系统，包括对语句进行语义依存分析，将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；构建BLSTM网络层，提取单词上下文特征向量；对所述依赖树应用注意力机制，得到带有权重信息的全连通图的软邻接矩阵；将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示；将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，最终得到语句的关系类别。本发明避免了关键信息丢失，实现对关系提取性能的提升实现对关系提取性能的提升。

Description

基于注意力循环门控图卷积网络的关系提取方法及系统
技术领域
本发明涉及自然语言处理关系提取的技术领域，尤其是指一种基于注意力循环门控图卷积网络(Attention Recurrent Gating Graph Convolutional Network，简称Att-RGate-GCN)的关系提取方法及系统。
背景技术
关系提取是自然语言处理领域的一项重要子任务，是对非结构化文本进行大规模关系理解应用的基石，它在信息抽取、问答系统和知识图谱等领域有着广泛应用。随着大数据时代的到来，处理爆炸性数据的能力要求越来越高，正确理解句子中存在的关系越来越重要。关系提取是根据预先定义的关系类型来识别文本中俩实体之间的语义关系。例如，″The train＜e1＞crash＜/e1＞was caused by terrorist＜e2＞attack＜/e2＞.″，根据给定的句子以及标记的两个实体判定‘crash’与‘attack’之间的关系为Cause-Effect(e1，e2)。
最初的关系提取方法主要是基于特征和基于核函数的方法，分别基于选择合适的特征集和设计合适的核函数。随着神经网络被广泛应用于各项研究，卷积神经网络(Convolutional Neural Network，简称CNN)以及循环神经网络(Recurrent NeuralNetwork，简称RNN)也被广泛应用于关系提取任务中，通过CNN提取局部n-gram特征，RNN提取句子中的长距离依赖特征，从而实现句子的特征向量表示，并通过全连接层softmax分类器得到最终提取的关系类型。为了充分理解句子语义结构，引入句子依存分析的依赖树结构，通过依赖树提取更有效的句子高阶语义信息。
随着图网络在各领域的发展，图卷积网络被越来越多研究者应用于自然语言处理任务中。图卷积网络通过对图进行建模，利用词的共现信息建立词节点之间的边缘，捕获高阶邻域信息。在图卷积过程中，对转换成图结构的依赖树进行建模，将每个节点的邻域信息编码为特征向量，在图中所有位置共享滤波器参数。GCN中的卷积运算与CNN中的相似之处在于模型在输入结构中共享参数。在每一层中，每个节点从其邻接节点汇聚特征信息。
但是，如果单纯利用图卷积网络提取依赖树中的特征，会导致忽视句子中的非局部长距离依赖特征。一是因为依赖树没有得到充分利用，二是因为图卷积网络在网络层数较深的时候会导致关键信息的丢失。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中依赖树没有得到充分利用，且关键信息会丢失的问题，从而提供一种充分利用依赖树并充分提取依赖树中的特征，避免关键信息丢失的基于注意力循环门控图卷积网络的关系提取方法及系统。
为解决上述技术问题，本发明的一种基于注意力循环门控图卷积网络的关系提取方法，包括：对语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树，使用预训练的词向量获得单词嵌入表示，将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；构建BLSTM网络层，设置BLSTM网络结构的各项超参数数值，将所述最终的单词嵌入表示输入到所述BLSTM网络中，提取单词上下文特征向量；对所述依赖树应用注意力机制，将所述依赖树转化为全连通图，得到带有权重信息的全连通图的软邻接矩阵；将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示；将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，得到所有训练示例，通过所述门控图卷积网络不断训练得到最优的网络模型，最终得到语句的关系类别。
在本发明的一个实施例中，使用预训练的词向量获得单词嵌入向量表示：wi＝W*vi其中，W为Glove词向量矩阵，vi表示单词的one-hot向量表示，wi表示第i个单词的词嵌入向量。
在本发明的一个实施例中，所述最终的单词嵌入表示为：xi＝[wi，p1，p2]，其中第i个单词相对于预先标记的第一实体和第二实体的位置特征分别表示为p1和p2，wi表示第i个单词的词嵌入向量。
在本发明的一个实施例中，所述BLSTM网络层包括两层LSTM，在两层LSTM上分别对前向句子序列和反向句子序列进行编码。
在本发明的一个实施例中，在两层LSTM上分别对前向句子序列和反向句子序列进行编码时，编码的过程为：it＝σ(Wxixt+Whiht-1+Wcict-1+bi)；ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)；gt＝tanh(Wxgxt+Whght-1+Wcgct-1+bg)；
Figure BDA0002644552080000031
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)；
Figure BDA0002644552080000032
其中，σ代表sigmoid激活函数；
Figure BDA0002644552080000033
代表向量元素相乘；xt表示时间t时刻的输入向量；ht表示隐藏状态；Wxi、Wxf、Wxg、Wxo表示xt在不同门机制上的权重矩阵；Whi、Whf、Whg、Who表示ht在不同门机制上的权重矩阵；b代表偏差参数，在第t时刻，BLSTM的前向输出为
Figure BDA0002644552080000034
反向输出为
Figure BDA0002644552080000035
将两个方向的输出拼接得到最终t时刻的输出ht：
Figure BDA0002644552080000036
在本发明的一个实施例中，对所述依赖树应用注意力机制，将所述依赖树转化为全连通图的方法为：将依赖树的表示邻接矩阵加上一个单位矩阵，然后通过多头自注意力学习依赖树中每两个节点之间的相关性，将所述依赖树转化为全连通图。
在本发明的一个实施例中，所述软邻接矩阵为：
Figure BDA0002644552080000037
且中headi＝Attention(Wi QQ，Wi KK)，MultiHead(Q，K)＝WM[head1；head2；...；headr]，Wi Q、Wi K和WM为模型可训练变量，’；’表示向量的拼接操作，headi表示第i个头的注意力输出。
在本发明的一个实施例中，将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中的方法分为：对转换成全连通图结构的依赖树进行建模，将每个节点的邻域信息与非局部长距离依赖特征编码为特征向量，使用门控机制过滤信息。
在本发明的一个实施例中，计算每个关系类型的概率以及预测关系类别的方法为：通过softmax分类器计算每个关系类型的概率，再通过argmax函数得到预测关系类别。
本发明还提供了一种基于注意力循环门控图卷积网络的关系提取系统，其特征在于，包括：语义依存分析模块，用于对语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树，使用预训练的词向量获得单词嵌入表示，将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；构建网络模块，用于构建BLSTM网络层，设置BLSTM网络结构的各项超参数数值，将所述最终的单词嵌入表示输入到所述BLSTM网络中，提取单词上下文特征向量；注意力机制模块，用于对所述依赖树应用注意力机制，将所述依赖树转化为全连通图，得到带有权重信息的全连通图的软邻接矩阵；门控图卷积网络提取特征模块，用于将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示；关系预测模块，用于将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，得到所有训练示例，通过所述门控图卷积网络不断训练得到最优的网络模型，最终得到语句的关系类别。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的基于注意力循环门控图卷积网络的关系提取方法及系统，能够更充分地学习到句子的高阶语义信息，为有效提取到句子依赖树中的依赖特征，使用多头自注意力机制为依赖树的信息分配权重，以此来突出有效特征，同时减少冗余特征的影响，最终将依赖树转化为完全连通图的形式；将循环神经网络与门控图卷积网络搭配使用，其中利用循环神经网络提取字符上下文信息，获取细粒度特征，然后将其与完全依赖图的邻接矩阵传入门控图卷积网络，通过门控机制增加特征感知能力，学习隐藏层抽取到的序列特征中的高阶语义信息，最终充分学习到句子序列特征以及局部与非局部依赖特征，从而避免了关键信息丢失，实现对关系提取性能的提升。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明基于注意力循环门控图卷积网络的关系提取方法的流程图；
图2是本发明基于注意力循环门控图卷积网络的流程图。
具体实施方式
实施例一
如图1和图2所示，本实施例提供一种基于注意力循环门控图卷积网络的关系提取方法，包括如下步骤：步骤S1：对语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树，使用预训练的词向量获得单词嵌入表示，将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；步骤S2：构建BLSTM网络层，设置BLSTM网络结构的各项超参数数值，将所述最终的单词嵌入表示输入到所述BLSTM网络中，提取单词上下文特征向量；步骤S3：对所述依赖树应用注意力机制，将所述依赖树转化为全连通图，得到带有权重信息的全连通图的软邻接矩阵；步骤S4：将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示；步骤S5：将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，得到所有训练示例，通过所述门控图卷积网络不断训练得到最优的网络模型，最终得到语句的关系类别。
本实施例所述基于注意力循环门控图卷积网络的关系提取方法，所述步骤S1中，对语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树，语义依存刻画句子语义，优点在于不用去抽象单词本身，而是通过单词所承受的语义框架来刻画单词，而且语义依存分析跨越句子表层句法结构的束缚，表达深层次的语义信息，使用预训练的词向量获得单词嵌入表示，考虑到实体位置特征对于识别句子关键特征有重要作用，因此将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；所述步骤S2中，构建BLSTM网络层，设置BLSTM网络结构的各项超参数数值，由于预训练的单词嵌入只允许对每个单词进行单独的上下文无关的表示，因此在多义词上具有挑战性，因此将所述最终的单词嵌入表示输入到所述BLSTM网络中，提取单词上下文特征向量，有利于弥补词嵌入向量的不足；所述步骤S3中，对所述依赖树应用注意力机制，有利于充分利用依赖树中的有效信息，将所述依赖树转化为全连通图，得到带有权重信息的全连通图的软邻接矩阵，以此学习每个节点之间的依赖关系，同时将关键特征赋予高的相关性权重，可以更充分学习相关特征同时减少无关信息的干扰；所述步骤S4中，将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示，由于在图卷积网络中加入了门控机制，通过门控机制有利于增加特征感知能力，在保留有效记忆信息的同时减少冗余信息的干扰，学习隐藏层抽取到的序列特征中的高阶语义信息，充分学习到句子局部依赖特征与非局部长距离依赖特征；所述步骤S5中，将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，得到所有训练示例，通过所述门控图卷积网络不断训练得到最优的网络模型，最终得到语句的关系类别，本发明不但能够更充分地学习到句子的高阶语义信息，而且避免了关键信息丢失，实现对关系提取性能的提升。
如图2所示，所述步骤S1中，对数据集中的语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树时，其中每个节点代表句子中的单词，每条边代表词与词之间的依赖特征，语义依存刻画句子语义，优点在于不用去抽象单词本身，而是通过单词所承受的语义框架来刻画单词，而且语义依存分析跨越句子表层句法结构的束缚，表达深层次的语义信息。
使用预训练的词向量获得单词嵌入向量表示的方法为：使用预训练的Glove词向量获得单词嵌入向量表示：wi＝W*vi其中，W为Glove词向量矩阵，vi表示单词的one-hot向量表示，wi表示第i个单词的词嵌入向量。
所述最终的单词嵌入表示为：xi＝[wi，p1，p2]，其中第i个单词相对于预先标记的第一实体和第二实体的位置特征分别表示为p1和p2，wi表示第i个单词的词嵌入向量。
具体地，依赖特征即依赖的表示采用随机初始化的方法获得嵌入向量。此外，考虑到实体位置特征对于识别句子关键特征有重要作用，将每个单词相对于实体对的位置信息通过随机初始化编码为位置嵌入向量表示，第i个单词想对于第一实体1和第二实体的位置特征分别表示为p1和p2，将单词嵌入与位置特征相连接，得到最终单词嵌入表示xi＝[wi，p1，p2]。
所述步骤S2中，提取单词上下文特征向量的方法为利用循环神经网络实现。
所述BLSTM网络层包括两层LSTM，在两层LSTM上分别对前向句子序列和反向句子序列进行编码。
具体地，在两层LSTM上分别对前向句子序列和反向句子序列进行编码时，编码的过程为：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)；
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)；
gt＝tanh(Wxgxt+Whght-1+Wcgct-1+bg)；
Figure BDA0002644552080000071
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)；
Figure BDA0002644552080000072
其中，σ代表sigmoid激活函数；
Figure BDA0002644552080000073
代表向量元素相乘；xt表示时间t时刻的输入向量；ht表示隐藏状态；Wxi、Wxf、Wxg、Wxo表示xt在不同门机制上的权重矩阵；Whi、Whf、Whg、Who表示ht在不同门机制上的权重矩阵；b代表偏差参数，在第t时刻，BLSTM的前向输出为
Figure BDA0002644552080000074
反向输出为
Figure BDA0002644552080000075
将两个方向的输出拼接得到最终t时刻的输出ht：
Figure BDA0002644552080000081
所述步骤S3中，对所述依赖树应用注意力机制，将所述依赖树转化为全连通图的方法为：将依赖树的表示邻接矩阵加上一个单位矩阵，然后通过多头自注意力学习依赖树中每两个节点之间的相关性，将所述依赖树转化为全连通图。
所述软邻接矩阵为：
Figure BDA0002644552080000082
其中headi＝Attention(Wi QQ，Wi KK)，MultiHead(Q，K)＝WM[head1；head2；...；headr]，Wi Q、Wi K和WM为模型可训练变量，’；’表示向量的拼接操作，headi表示第i个头的注意力输出。
具体地，将依赖树的结构信息通过邻接矩阵A来表示，其中如果节点i与节点j之间存在关系，则设置Aij＝1，由此句子依赖特征已全部表示为向量。
由于所述依赖树的表示邻接矩阵A无法学习到节点自身特征表示，因此将邻接矩阵A加上一个单位矩阵l；然后通过多头自注意力学习依赖树中每两个节点之间的相关性，由此将依赖树转化为全连通图，以此学习每个节点之间的依赖关系，同时将关键特征赋予高的相关性权重，可以更充分学习相关特征同时减少无关信息的干扰。
多头自注意机制首先通过缩放点击注意力机制利用线性函数将输入的依赖特征映射到两个相似序列中，然后利用点乘计算每个节点特征与与其他节点之间的相关性，缩放点积注意力机制计算：
Figure BDA0002644552080000083
自注意力机制为了从多方面捕捉节点之间的相关性，采用多头机制，使用单独的规范化参数在相同的输入上多次应用自注意力机制，并将结果结合起来作为注意力层的输出，使得模型能够共同关注来自不同表示子空间中的信息，计算如下：
MultiHead(Q，K)＝WM[head1；head2；...；headr]
headi＝Attention(Wi QQ，Wi KK)
其中Wi Q、Wi K和WM为模型可训练变量，’；’表示向量的拼接操作，headi表示第i个头的注意力输出。对于邻接矩阵实施多头自注意力机制，进一步得到带有权重信息的全连通图的软邻接矩阵
Figure BDA0002644552080000091
Figure BDA0002644552080000092
所述步骤S4中，将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中的方法分为：对转换成全连通图结构的依赖树进行建模，将每个节点的邻域信息与非局部长距离依赖特征编码为特征向量，使用门控机制过滤信息。
具体地，所述上下文特征向量和软邻接矩阵传入门控图卷积结构，从而有利于提取高阶语义依赖特征。另外，在图卷积过程中，对转换成图结构的依赖树进行建模，将每个节点的邻域信息与非局部长距离依赖特征编码为特征向量，其中每个节点的邻域信息编码为特征向量，在图中所有位置共享滤波器参数；在每一层网络，每个节点从其邻接节点汇聚特征信息，但是随着图卷积网络深度的加深，汇聚更多依赖特征的同时会造成对先前信息的丢失，从而导致无法学习图中的远距离依赖特征，而使用门控机制过滤信息，通过门控机制增加特征的感知能，在保留有效记忆信息的同时可以减少冗余信息的干扰，门控图卷积计算如下：
Figure BDA0002644552080000093
Figure BDA0002644552080000094
其中，GCN1和GCN2分别是具有残差连接结构的深层图卷积网络结构，这两个图卷积结构权重不共享，其中GCN1为2层结构提取相邻距离为2的邻域节点的语义依赖特征，GCN2为4层残差连接的图卷积网络来设置门限值，控制冗余信息，其中GCN为基于注意力的图卷积运算，如式：
Figure BDA0002644552080000095
其中，
Figure BDA0002644552080000096
表示第I层GCN的输出特征，
Figure BDA0002644552080000097
表示软邻接矩阵中的节点i与节点i之间的权重信息，
Figure BDA0002644552080000098
表示节点j在I-1层上的输出特征，bl表示I层上的偏差项。
所述步骤S5中，计算每个关系类型的概率以及预测关系类别的方法为：通过softmax分类器计算每个关系类型的概率，再通过argmax函数得到预测关系类别。
具体地，在经过门控图卷积结构之后，得到句子的向量表示Ssent：
Ssent＝f(h(L))＝f(GateGCN(h(0)))
考虑到实体附近的信息的有效性，将两个标记实体的向量表示抽取出来与语句向量拼接，传入所述门控图卷积网络的全连接层中：
Figure BDA0002644552080000101
Figure BDA0002644552080000102
hfinal＝FCNN([Ssent；Se1；Se2])
将hfinal通过softmax分类器计算每个关系类型的概率p(y|x，θ)，最终通过argmax函数得到预测关系类别
Figure BDA0002644552080000103
得到所有训练示例
Figure BDA0002644552080000104
利用带L2正则项的交叉熵损失函数作为代价函数，并采用随机梯度下降算法训练模型参数，如下式：
Figure BDA0002644552080000105
其中，yi表示关系类别标签，λ是正则化参数，θ表示网络模型的训练参数。
使用本发明提出的关系提取方法对关系提取数据集进行预测，使用标准数据集进行验证，数据集包含10717个句子实例，其包括8000个训练实例和2717个测试实例。关系类型包括9类关系和一个other类。
以下是预测实例：
The play reflects，among other things，questions about the nature ofpolitical power and the dilemmas facing royal families.
第一实体：play
第二实体：question
关系：Message-Topic(e1，e2)
根据标记的第一实体与第二实体，模型能够正确预测句子中两实体的关系类型，最终F1值(数据集的官方评价指标，其中数据集用的是标准数据集SemEval2010-Task8数据集)达到了85.9％，证明了模型的性能。
预测结果表明基于注意力循环门控图卷积网络模型的关系提取方法比其它方法学习到更充分的关系特征，实现更好的关系提取效果。因此，本发明提出的方法可以有效对句子中存在的关系进行有效识别，实现高效的智能化处理。
实施例二
基于同一发明构思，本实施例提供了一种基于注意力循环门控图卷积网络的关系提取系统，其解决问题的原理与所述基于注意力循环门控图卷积网络的关系提取方法类似，重复之处不再赘述。
本实施例提供一种基于注意力循环门控图卷积网络的关系提取系统，包括：
语义依存分析模块，用于对语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树，使用预训练的词向量获得单词嵌入表示，将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；
构建网络模块，用于构建BLSTM网络层，设置BLSTM网络结构的各项超参数数值，将所述最终的单词嵌入表示输入到所述BLSTM网络中，提取单词上下文特征向量；
注意力机制模块，用于对所述依赖树应用注意力机制，将所述依赖树转化为全连通图，得到带有权重信息的全连通图的软邻接矩阵；
门控图卷积网络提取特征模块，用于将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示；
关系预测模块，用于将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，得到所有训练示例，通过所述门控图卷积网络不断训练得到最优的网络模型，最终得到语句的关系类别。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于注意力循环门控图卷积网络的关系提取方法，其特征在于，包括如下步骤：
步骤S1：对语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树，使用预训练的词向量获得单词嵌入表示，将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；
步骤S2：构建BLSTM网络层，设置BLSTM网络结构的各项超参数数值，将所述最终的单词嵌入表示输入到所述BLSTM网络中，提取单词上下文特征向量；
步骤S3：对所述依赖树应用注意力机制，将所述依赖树转化为全连通图，得到带有权重信息的全连通图的软邻接矩阵；
步骤S4：将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示；
步骤S5：将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，得到所有训练示例，通过所述门控图卷积网络不断训练得到最优的网络模型，最终得到语句的关系类别。
2.根据权利要求1所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：使用预训练的词向量获得单词嵌入向量表示：wi＝W*vi其中，W为Glove词向量矩阵，vi表示单词的one-hot向量表示，wi表示第i个单词的词嵌入向量。
3.根据权利要求1所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：所述最终的单词嵌入表示为：xi＝[wi，p1，p2]，其中第i个单词相对于预先标记的第一实体和第二实体的位置特征分别表示为p1和p2，wi表示第i个单词的词嵌入向量。
4.根据权利要求1所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：所述BLSTM网络层包括两层LSTM，在两层LSTM上分别对前向句子序列和反向句子序列进行编码。
5.根据权利要求4所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：在两层LSTM上分别对前向句子序列和反向句子序列进行编码时，编码的过程为：it＝σ(Wxixt+Whiht-1+Wcict-1+bi)；ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)；gt＝tanh(Wxgxt+Whght-1+Wcgct-1+bg)；
Figure FDA0002644552070000021
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)；
Figure FDA0002644552070000022
其中，σ代表sigmoid激活函数；
Figure FDA0002644552070000023
代表向量元素相乘；xt表示时间t时刻的输入向量；ht表示隐藏状态；Wxi、Wxf、Wxg、Wxo表示xt在不同门机制上的权重矩阵；Whi、Whf、Whg、Who表示ht在不同门机制上的权重矩阵；b代表偏差参数，在第t时刻，BLSTM的前向输出为
Figure FDA0002644552070000024
反向输出为
Figure FDA0002644552070000025
将两个方向的输出拼接得到最终t时刻的输出ht：
Figure FDA0002644552070000026
6.根据权利要求1所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：对所述依赖树应用注意力机制，将所述依赖树转化为全连通图的方法为：将依赖树的表示邻接矩阵加上一个单位矩阵，然后通过多头自注意力学习依赖树中每两个节点之间的相关性，将所述依赖树转化为全连通图。
7.根据权利要求1所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：所述软邻接矩阵为：
Figure FDA0002644552070000027
其中headi＝Attention(Wi QQ，Wi KK)，MultiHead(Q，K)＝WM[head1；head2；...；headr]，Wi Q、Wi K和WM为模型可训练变量，’；’表示向量的拼接操作，headi表示第i个头的注意力输出。
8.根据权利要求1所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中的方法分为：对转换成全连通图结构的依赖树进行建模，将每个节点的邻域信息与非局部长距离依赖特征编码为特征向量，使用门控机制过滤信息。
9.根据权利要求1所述的基于注意力循环门控图卷积网络的关系提取方法，其特征在于：计算每个关系类型的概率以及预测关系类别的方法为：通过softmax分类器计算每个关系类型的概率，再通过argmax函数得到预测关系类别。
10.一种基于注意力循环门控图卷积网络的关系提取系统，其特征在于，包括：
语义依存分析模块，用于对语句进行语义依存分析，为每个输入语句构建一个唯一的依赖树，使用预训练的词向量获得单词嵌入表示，将单词嵌入与位置特征相连接，得到最终的单词嵌入表示；
构建网络模块，用于构建BLSTM网络层，设置BLSTM网络结构的各项超参数数值，将所述最终的单词嵌入表示输入到所述BLSTM网络中，提取单词上下文特征向量；
注意力机制模块，用于对所述依赖树应用注意力机制，将所述依赖树转化为全连通图，得到带有权重信息的全连通图的软邻接矩阵；
门控图卷积网络提取特征模块，用于将所述单词上下文特征向量和软邻接矩阵传入门控图卷积网络中，提取高阶语义依赖特征，得到语句的向量表示；
关系预测模块，用于将两个标记实体的向量表示抽取出来并与所述语句的向量表示拼接，传入所述门控图卷积网络的全连接层中，计算每个关系类型的概率以及预测关系类别，得到所有训练示例，通过所述门控图卷积网络不断训练得到最优的网络模型，最终得到语句的关系类别。
CN202010850462.8A 2020-08-21 2020-08-21 基于注意力循环门控图卷积网络的关系提取方法及系统 Active CN111985245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010850462.8A CN111985245B (zh) 2020-08-21 2020-08-21 基于注意力循环门控图卷积网络的关系提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010850462.8A CN111985245B (zh) 2020-08-21 2020-08-21 基于注意力循环门控图卷积网络的关系提取方法及系统

Publications (2)

Publication Number Publication Date
CN111985245A true CN111985245A (zh) 2020-11-24
CN111985245B CN111985245B (zh) 2024-03-12

Family

ID=73442438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010850462.8A Active CN111985245B (zh) 2020-08-21 2020-08-21 基于注意力循环门控图卷积网络的关系提取方法及系统

Country Status (1)

Country Link
CN (1) CN111985245B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435720A (zh) * 2020-12-04 2021-03-02 上海蠡图信息科技有限公司 一种基于自注意力机制与多药物特征组合的预测方法
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112487189A (zh) * 2020-12-08 2021-03-12 武汉大学 一种图卷积网络增强的隐式篇章文本关系分类方法
CN112633010A (zh) * 2020-12-29 2021-04-09 山东师范大学 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN112733764A (zh) * 2021-01-15 2021-04-30 天津大学 一种基于多模态识别视频情感信息的方法
CN112749757A (zh) * 2021-01-21 2021-05-04 厦门大学 基于门控图注意力网络的论文分类模型构建方法及系统
CN113076744A (zh) * 2021-04-16 2021-07-06 重庆中国三峡博物馆 一种基于卷积神经网络的文物知识关系抽取方法
CN113080847A (zh) * 2021-03-17 2021-07-09 天津大学 基于图的双向长短期记忆模型诊断轻度认知障碍的装置
CN113221181A (zh) * 2021-06-09 2021-08-06 上海交通大学 具有隐私保护的表格类信息抽取系统及方法
CN113297838A (zh) * 2021-05-21 2021-08-24 华中科技大学鄂州工业技术研究院 一种基于图神经网络的关系抽取方法
CN113377422A (zh) * 2021-06-09 2021-09-10 大连海事大学 一种基于深度学习识别自我承认技术债务方法
CN113449517A (zh) * 2021-07-08 2021-09-28 福建工程学院 基于bert门控多窗口注意力网络模型的实体关系抽取方法
CN113468874A (zh) * 2021-06-09 2021-10-01 大连理工大学 一种基于图卷积自编码的生物医学关系抽取方法
CN113505240A (zh) * 2021-07-09 2021-10-15 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113536795A (zh) * 2021-07-05 2021-10-22 杭州远传新业科技有限公司 实体关系抽取的方法、系统、电子装置和存储介质
CN113535904A (zh) * 2021-07-23 2021-10-22 重庆邮电大学 一种基于图神经网络的方面级情感分析方法
CN113609846A (zh) * 2021-08-06 2021-11-05 首都师范大学 一种语句中实体关系的抽取方法及装置
CN113868374A (zh) * 2021-09-15 2021-12-31 西安交通大学 基于多头注意力机制的图卷积网络生物医学信息提取方法
CN114240891A (zh) * 2021-12-17 2022-03-25 重庆大学 融合知识图谱和图卷积神经网络的焊点质量识别方法
WO2022063057A1 (en) * 2020-09-23 2022-03-31 Jingdong Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
CN114282549A (zh) * 2021-08-06 2022-04-05 腾讯科技（深圳）有限公司 信息间根因关系的识别方法、装置、电子设备及存储介质
CN115994539A (zh) * 2023-02-17 2023-04-21 成都信息工程大学 一种基于卷积门控和实体边界预测的实体抽取方法及系统
WO2023077562A1 (zh) * 2021-11-03 2023-05-11 深圳市检验检疫科学研究院 一种基于图扰动策略的事件检测方法及装置
CN116258504A (zh) * 2023-03-16 2023-06-13 广州信瑞泰信息科技有限公司 银行客户关系管理系统及其方法
CN115994539B (zh) * 2023-02-17 2024-05-10 成都信息工程大学 一种基于卷积门控和实体边界预测的实体抽取方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344244A (zh) * 2018-10-29 2019-02-15 山东大学 一种融合区分度信息的神经网络关系分类方法及其实现系统
CN109918671A (zh) * 2019-03-12 2019-06-21 西南交通大学 基于卷积循环神经网络的电子病历实体关系抽取方法
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111274405A (zh) * 2020-02-26 2020-06-12 北京工业大学 一种基于gcn的文本分类方法
CN111428481A (zh) * 2020-03-26 2020-07-17 南京搜文信息技术有限公司 一种基于深度学习的实体关系抽取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
CN109344244A (zh) * 2018-10-29 2019-02-15 山东大学 一种融合区分度信息的神经网络关系分类方法及其实现系统
CN109918671A (zh) * 2019-03-12 2019-06-21 西南交通大学 基于卷积循环神经网络的电子病历实体关系抽取方法
CN111241294A (zh) * 2019-12-31 2020-06-05 中国地质大学（武汉） 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN111274405A (zh) * 2020-02-26 2020-06-12 北京工业大学 一种基于gcn的文本分类方法
CN111428481A (zh) * 2020-03-26 2020-07-17 南京搜文信息技术有限公司 一种基于深度学习的实体关系抽取方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LI ZHIXIN等: "Adaptive Graph Convolutional Networks with Attention Mechanism for Relation Extraction", IEEE, 24 July 2020 (2020-07-24) *
YAN ZHANG等: "Attention Guided Graph Convolutional Networks for Relation Extraction", ARXIV, 14 March 2020 (2020-03-14) *
ZHANG YUHAO等: "Graph Convolution over Dependency Trees Improves Relation Extraction", ARXIV, 26 September 2018 (2018-09-26) *
李冬梅;张扬;李东远;林丹琼;: "实体关系抽取方法研究综述", 计算机研究与发展, no. 07 *
王传栋;徐娇;张永;: "实体关系抽取综述", 计算机工程与应用, no. 12 *
陈佳丽;洪宇;王捷;张婧丽;姚建民;: "利用门控机制融合依存与语义信息的事件检测方法", 中文信息学报, no. 08 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11868730B2 (en) 2020-09-23 2024-01-09 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
WO2022063057A1 (en) * 2020-09-23 2022-03-31 Jingdong Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
CN112487143A (zh) * 2020-11-30 2021-03-12 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112487143B (zh) * 2020-11-30 2022-11-18 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112435720B (zh) * 2020-12-04 2021-10-26 上海蠡图信息科技有限公司 一种基于自注意力机制与多药物特征组合的预测方法
CN112435720A (zh) * 2020-12-04 2021-03-02 上海蠡图信息科技有限公司 一种基于自注意力机制与多药物特征组合的预测方法
CN112487189A (zh) * 2020-12-08 2021-03-12 武汉大学 一种图卷积网络增强的隐式篇章文本关系分类方法
CN112487189B (zh) * 2020-12-08 2022-07-05 武汉大学 一种图卷积网络增强的隐式篇章文本关系分类方法
CN112633010A (zh) * 2020-12-29 2021-04-09 山东师范大学 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN112733764A (zh) * 2021-01-15 2021-04-30 天津大学 一种基于多模态识别视频情感信息的方法
CN112749757B (zh) * 2021-01-21 2023-09-12 厦门大学 基于门控图注意力网络的论文分类模型构建方法及系统
CN112749757A (zh) * 2021-01-21 2021-05-04 厦门大学 基于门控图注意力网络的论文分类模型构建方法及系统
CN113080847A (zh) * 2021-03-17 2021-07-09 天津大学 基于图的双向长短期记忆模型诊断轻度认知障碍的装置
CN113080847B (zh) * 2021-03-17 2022-11-29 天津大学 基于图的双向长短期记忆模型诊断轻度认知障碍的装置
CN113076744A (zh) * 2021-04-16 2021-07-06 重庆中国三峡博物馆 一种基于卷积神经网络的文物知识关系抽取方法
CN113297838A (zh) * 2021-05-21 2021-08-24 华中科技大学鄂州工业技术研究院 一种基于图神经网络的关系抽取方法
CN113221181B (zh) * 2021-06-09 2022-08-09 上海交通大学 具有隐私保护的表格类信息抽取系统及方法
CN113468874B (zh) * 2021-06-09 2024-04-16 大连理工大学 一种基于图卷积自编码的生物医学关系抽取方法
CN113377422B (zh) * 2021-06-09 2024-04-05 大连海事大学 一种基于深度学习识别自我承认技术债务方法
CN113221181A (zh) * 2021-06-09 2021-08-06 上海交通大学 具有隐私保护的表格类信息抽取系统及方法
CN113377422A (zh) * 2021-06-09 2021-09-10 大连海事大学 一种基于深度学习识别自我承认技术债务方法
CN113468874A (zh) * 2021-06-09 2021-10-01 大连理工大学 一种基于图卷积自编码的生物医学关系抽取方法
CN113536795A (zh) * 2021-07-05 2021-10-22 杭州远传新业科技有限公司 实体关系抽取的方法、系统、电子装置和存储介质
CN113536795B (zh) * 2021-07-05 2022-02-15 杭州远传新业科技有限公司 实体关系抽取的方法、系统、电子装置和存储介质
CN113449517A (zh) * 2021-07-08 2021-09-28 福建工程学院 基于bert门控多窗口注意力网络模型的实体关系抽取方法
CN113505240B (zh) * 2021-07-09 2023-04-18 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113505240A (zh) * 2021-07-09 2021-10-15 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113535904A (zh) * 2021-07-23 2021-10-22 重庆邮电大学 一种基于图神经网络的方面级情感分析方法
CN114282549A (zh) * 2021-08-06 2022-04-05 腾讯科技（深圳）有限公司 信息间根因关系的识别方法、装置、电子设备及存储介质
CN113609846B (zh) * 2021-08-06 2022-10-04 首都师范大学 一种语句中实体关系的抽取方法及装置
CN113609846A (zh) * 2021-08-06 2021-11-05 首都师范大学 一种语句中实体关系的抽取方法及装置
CN113868374A (zh) * 2021-09-15 2021-12-31 西安交通大学 基于多头注意力机制的图卷积网络生物医学信息提取方法
CN113868374B (zh) * 2021-09-15 2024-04-12 西安交通大学 基于多头注意力机制的图卷积网络生物医学信息提取方法
WO2023077562A1 (zh) * 2021-11-03 2023-05-11 深圳市检验检疫科学研究院 一种基于图扰动策略的事件检测方法及装置
CN114240891B (zh) * 2021-12-17 2023-07-18 重庆大学 融合知识图谱和图卷积神经网络的焊点质量识别方法
CN114240891A (zh) * 2021-12-17 2022-03-25 重庆大学 融合知识图谱和图卷积神经网络的焊点质量识别方法
CN115994539A (zh) * 2023-02-17 2023-04-21 成都信息工程大学 一种基于卷积门控和实体边界预测的实体抽取方法及系统
CN115994539B (zh) * 2023-02-17 2024-05-10 成都信息工程大学 一种基于卷积门控和实体边界预测的实体抽取方法及系统
CN116258504A (zh) * 2023-03-16 2023-06-13 广州信瑞泰信息科技有限公司 银行客户关系管理系统及其方法

Also Published As

Publication number Publication date
CN111985245B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN111985245B (zh) 基于注意力循环门控图卷积网络的关系提取方法及系统
CN113641586B (zh) 软件源代码缺陷检测方法、系统、电子设备及储存介质
CN109376242B (zh) 基于循环神经网络变体和卷积神经网络的文本分类方法
CN112613303B (zh) 一种基于知识蒸馏的跨模态图像美学质量评价方法
CN114169330B (zh) 融合时序卷积与Transformer编码器的中文命名实体识别方法
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN112561064B (zh) 基于owkbc模型的知识库补全方法
CN111368993A (zh) 一种数据处理方法及相关设备
CN111291556A (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN111985205A (zh) 一种方面级情感分类模型
CN113641819B (zh) 基于多任务稀疏共享学习的论辩挖掘系统及方法
CN116204674B (zh) 一种基于视觉概念词关联结构化建模的图像描述方法
CN112380835B (zh) 融合实体和句子推理信息的问题答案提取方法及电子装置
CN113988075A (zh) 基于多任务学习的网络安全领域文本数据实体关系抽取法
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
CN110781271A (zh) 一种基于层次注意力机制的半监督网络表示学习模型
CN115510236A (zh) 基于信息融合和数据增强的篇章级事件检测方法
CN113420117B (zh) 一种基于多元特征融合的突发事件分类方法
CN116975776A (zh) 一种基于张量和互信息的多模态数据融合方法和设备
CN116737897A (zh) 一种基于多模态的智慧楼宇知识抽取模型和方法
CN111259673A (zh) 一种基于反馈序列多任务学习的法律判决预测方法及系统
CN116414988A (zh) 基于依赖关系增强的图卷积方面级情感分类方法及系统
CN116401624A (zh) 一种基于多叉树结构的非自回归数学题求解器
CN116150334A (zh) 基于UniLM模型和Copy机制的中文共情语句训练方法及系统
CN115422945A (zh) 一种融合情感挖掘的谣言检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant