CN114444515A - 一种基于实体语义融合的关系抽取方法 - Google Patents

一种基于实体语义融合的关系抽取方法 Download PDF

Info

Publication number
CN114444515A
CN114444515A CN202210267524.1A CN202210267524A CN114444515A CN 114444515 A CN114444515 A CN 114444515A CN 202210267524 A CN202210267524 A CN 202210267524A CN 114444515 A CN114444515 A CN 114444515A
Authority
CN
China
Prior art keywords
entity
vector
node
nodes
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210267524.1A
Other languages
English (en)
Inventor
龙军
刘磊
李浩然
向一平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210267524.1A priority Critical patent/CN114444515A/zh
Publication of CN114444515A publication Critical patent/CN114444515A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于实体语义融合的关系抽取方法，包括：获取待抽取关系的目标语句；构建目标语句的预置向量；构建目标语句的句法依存树，并建立句法依存树的邻接矩阵；其中，句法依存树以实体节点作为全局节点，并增设全局节点到其他节点的连接以及所有节点到自身的连接；将预置向量及邻接矩阵输入GCN神经网络进行语义提取，得到第一特征向量；将第一特征向量输入PCNN分段卷积神经网络进行特征提取，得到第二特征向量；将第二特征向量输入Softmax分类器进行关系类别预测，实现实体关系抽取。解决了现有技术中实体关系抽取效果不佳的问题。

Description

一种基于实体语义融合的关系抽取方法
技术领域
本发明涉及信息处理技术领域，尤其涉及一种基于实体语义融合的关系抽取方法。
背景技术
近年来，随着人工智能时代的到来，构建知识网络作为智能推荐系统中重要的一环越来越被人们所重视，其中实体关系抽取可以有效地从非结构化文本中抽取出实体之间的关系从而构建实体关系三元组并实现实体之间的关系分类。关系抽取任务可以描述为：对于给定目标文本T，确定其中实体对e1和e2的关系r表达式为<e1,r,e2>。通过探索自然语言文本中的语义关系更好地理解用户需求并挖掘出实体之间更为准确的实体关系，从而构建知识网络提供更为准确地推荐功能。
传统的关系抽取依赖于机器学习如支持向量机SVM，但其难以解决多分类问题。随着神经网络的发展以及强大的学习能力，学者逐渐采用神经网络取代传统的机器学习用于关系分类任务中，比如CNN、RNN经典模型。随着GCN网络出现，在关系抽取任务重可以通过将目标文本序列转为图结构可从而富其节点的邻域信息。但GCN网络获取临域特征时具有一定的局限性，每层GCN网络结构只能获取一阶邻域特征，在获取K阶邻域特征时需要构建多层GCN网络结构从而消耗大量的时间以及可能出现结果过度平滑的问题。同时传统的GCN网络将所有节点视为同等重要，忽略了实体在关系抽取中的重要性，这往往导致模型对关系预测的准确性降低。常见的监督模型需要通过训练人工标注语料库实现关系抽取任务，但这种方法对人工语料库具有较强的依赖性以及存在受样本噪声影响大等问题，导致的关系抽取效果较差。
发明内容
本发明提供了一种基于实体语义融合的关系抽取方法，以解决现有技术中实体关系抽取效果不佳的问题。
为了实现上述目的，本发明采用如下技术方案。
一种基于实体语义融合的关系抽取方法，包括：
获取待抽取关系的目标语句；
构建目标语句的预置向量，该预置向量包含目标语句中每个单词、单词的词性及实体标签；
构建目标语句的句法依存树，并建立句法依存树的邻接矩阵；其中，句法依存树以实体节点作为全局节点，并增设全局节点到其他节点的连接以及所有节点到自身的连接；
将预置向量及邻接矩阵输入GCN神经网络进行语义提取，得到第一特征向量；
将第一特征向量输入PCNN分段卷积神经网络进行特征提取，得到第二特征向量；
将第二特征向量输入Softmax分类器进行关系类别预测，实现实体关系抽取。
进一步地，所述构建目标语句的预置向量具体包括：
采用词嵌入模型将目标语句中的单词映射到维度为dw的向量空间；
采用句法分析工具对目标语句构造词性标注及实体标签，并将词性及实体标签分别映射到维度为ds的向量空间；
将目标语句的每个单词、词性及实体标签进行拼接，得到目标语句的预置向量S＝{X1,X2,X3,......,Xm}，其中
Figure BDA0003552972570000021
m为目标语句长度，
Figure BDA0003552972570000022
表示第i个单词，
Figure BDA0003552972570000023
表示第i个单词的词性，
Figure BDA0003552972570000024
表示第i个单词的实体标签。
进一步地，所述构建目标语句的句法依存树，并建立句法依存树的邻接矩阵，具体包括：
针对目标语句，使用句法分析工具构建以实体节点作为全局节点的语法依存树；
构建全局节点到其他节点的的连接，建立第一邻接矩阵；
增设每个节点到自身的连接，建立单位矩阵；
将第一邻接矩阵与单位矩阵相加，得到最终的邻接矩阵。
进一步地，所述GCN神经网络的公式表示如下：
Figure BDA0003552972570000025
其中，
Figure BDA0003552972570000026
表示第l层第i个节点的隐藏层表示；ρ表示ReLU激活函数；
Figure BDA0003552972570000027
表示邻接矩阵，
Figure BDA0003552972570000028
表示i节点和j节点的连接关系，其值为i节点到j节点的距离；di表示节点i的出度；b(l)表示偏移量；αi表示权重系数；
Figure BDA0003552972570000029
GCN神经网络的最后一层的每个节点的隐藏层表示构成第一特征向量。
进一步地，所述将第一特征向量输入PCNN分段卷积神经网络进行特征提取，得到第二特征向量，具体包括：
采用多个滤波器及权重矩阵对第一特征向量进行卷积运算；
将每个卷积运算后得到的特征向量分割为三段，分割时以实体头和实体尾为边界分割；将每一段进行最大池化处理，得到池化向量；
拼接所有池化向量，采用非线性方程tanh作为隐藏层激活函数,分片计算最大池化输出，得到第二特征向量。
进一步地，所述将第二特征向量输入Softmax分类器进行关系类别预测，实现实体关系抽取，具体包括：
将第二特征向量输入到Softmax分类器，Softmax分类器公式表示如下：
f(z|g)＝softmax(Wsg+bs)
其中，z表示需要计算的关系类别，g表示第二特征向量，Ws和bs分别为权重参数和偏置参数；
计算出每个关系类别的所占概率，从高到低排序获取最高概率的关系类别作为关系抽取的结果，实现实体关系抽取。
进一步地，进行关系抽取之前，还包括：构建训练样本集，并基于训练样本集对GCN神经网络、PCNN分段卷积神经网络及Softmax分类器进行训练。
进一步地，训练过程中，Softmax分类器的损失函数采用交叉熵函数。
有益效果
本发明提出了一种基于实体语义融合的关系抽取方法，可以有效从非结构化文本中提取出实体之间的关系，从而为智能化推荐系统构建知识网络起到辅助作用。本方法的核心意义在于通过基于新型句法依存树的图结构网络丰富序列的语义信息，将实体节点作为全局节点并构建全局节点到其他节点以及所有节点到自身的连接，可以有效捕获序列中其他词对实体的语义信息。这种方法在一次卷积中就可以获取整棵句法依存树的信息，避免在多层卷积结构计算中带来的时间开销大，结果过度平滑等问题。所以以实体为中心的全连通卷积网络可以有效消除训练时产生的噪音以及捕获实体的关键信息。同时将通过GCN丰富结构语义特征后的序列向量放入PCNN分段卷积神经网络中训练可以体现出不同分段的上下文信息对于实体语义信息的引导作用，提高实体的语义表达进而增强实体间的语义联系提高关系抽取的准确度。最终采用Softmax分类器对关系进行预测分类，从而实现实体关系抽取。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于实体语义融合的关系抽取方法抽取流程图；
图2是本发明实施例提供的关系抽取算法模型结构图；
图3是本发明实施例提供的句法依存树示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
针对于现有技术中关系抽取方法准确度不高的问题，本发明实施例提供了一种基于实体语义融合的关系抽取方法，通过构建新型句法依存树将关注点重点放在丰富实体的语义特征上，在句法依存树中将实体节点作为全局节点并创建实体节点到所有节点的连接，可以在一次卷积可以获得整个句法解析树的语义信息，减少GCN神经网络结构过多导致的时间消耗以及结果过度平滑等问题。将GCN隐藏层输出放入PCNN分段卷积神经网络中以实体为分段点，将序列分段训练可以有效提高不同上下文信息对实体的语义引导，提高实体的语义表达进而增强实体间的语义联系提高关系抽取的准确度。最终采用Softmax分类器对关系进行预测分类。
为了实现上述目的，需先对包括GCN神经网络、PCNN分段卷积神经网络及Softmax分类器在内的关系抽取算法模型进行训练，该关系抽取算法模型结构如图2所示，下面具体介绍该关系抽取算法模型的结构及训练方法。
本实施例中，采用SemEval2010 Task8数据集作为模型的训练集。定义目标语句合集为T1＝{S1,S2,S3,......,Sn}，这些句子包含有预置实体<e1,e2>，采用GloVe词嵌入模型将目标语句中的单词映射到维度为dw的向量空间；采用Stanford Parser句法分析工具对目标语句构造句法分析树、词性标注及实体标签，并将词性及实体标签分别映射到维度为ds的向量空间。将目标语句的每个单词、词性及实体标签进行拼接，得到目标语句的预置向量Si＝{X1,X2,X3,......,Xm}，其中
Figure BDA0003552972570000041
d＝dw+2×ds，m为目标语句长度，
Figure BDA0003552972570000042
表示第i个单词，
Figure BDA0003552972570000043
表示第i个单词的词性，
Figure BDA0003552972570000044
表示第i个单词的实体标签。
现有技术中，将目标语句构建的句法依存树树解析为图结构并创建邻接矩阵，邻接矩阵中每个标记表示一个单词节点，如果单词之间存在依赖关系，相应的节点之间存在一条边。在对每个图卷积运算之后，可以通过融合其邻居节点的特征来更新每个节点的信息，得到的上下文信息特征的序列h＝{h1,h2,h3,......,hm}。图卷积神经网络GCN公式表示如下：
Figure BDA0003552972570000045
其中，A表示邻接矩阵，Aij表示第i个节点和第j个节点相连接，b(l)为偏移量，ρ表示ReLU激活函数，W(l)为权重矩阵，l表示层数。其中一层GCN网络的特征融合只能获取一阶的邻域节点的特征相关性，如果需要获取k阶邻域特征就需要构建K层GCN结构来获取其语义信息，这种方式既消耗时间又可能导致结果过度平滑。
由于在关系抽取的过程中更需要关注实体和上下文之间的语义信息，于是本实施例提出一种新的扩展句法依存树，在句法依存树中采用实体节点作为全局节点，构建全局节点到其他节点的连接，在一次卷积中可以获取整棵句法依存树的语义信息。但是因为在句法依存树中节点自身不能构建依赖关系导致信息无法从
Figure BDA0003552972570000051
转移到
Figure BDA0003552972570000052
我们在每个节点上添加连接自身的边，如图3所示。采用新型的句法依存树，可以增加实体节点在关系抽取中的重要性以及提高句子中关键词对句子语义特征的贡献。构建新型的句法依存树可以使得我们关注的实体节点在一次卷积中可以汇聚其他节点信息，有效减少多次卷积下所带来的结果过度平滑，耗时长等问题。因此修改后的图卷积网络公式为：
Figure BDA0003552972570000053
Figure BDA0003552972570000054
其中，
Figure BDA0003552972570000055
为新型的句法依存树的邻接矩阵，表示新型的句法依存树中所有节点的连接所构成的m×m矩阵，
Figure BDA0003552972570000056
表示i节点和j节点的连接关系，其值为i节点到j节点的距离，在句法依存树中，每两个相连节点之间的距离为1，i节点到j节点需要经过y条边，距离就是y；di表示节点i的出度；I表示所有节点连接自身构成的单位矩阵，A表示构建全局节点到其他节点的连接后的句法依存树构成的邻接矩阵；αi表示权重系数；
Figure BDA0003552972570000057
在经过L层GCN后可以获取到每个节点的隐藏层表示
Figure BDA0003552972570000058
GCN神经网络的最后一层的每个节点的隐藏层表示构成第一特征向量。
接下来使用PCNN分段卷积神经网络丰富不同分段的上下文信息对实体语义的影响，主要根据卷积网络特征通过滑动窗口获取局部特征，将分段后的序列组合使用maxpooling最大池化层将句向量降维，可以选择每一段的最显著特征。由于单个最大池化层不足以捕获两个实体之间的结构信息，根据两个实体之间的位置将句子分为三个片段获取每个片段最大池化后的值拼接作为卷积输出，得到第二特征向量。
本发明在GCN神经网络之后加入PCNN分段卷积神经网络，通过上一层GCN神经网络每个节点的隐藏层表示构成第一特征向量Q作为PCNN分段卷积神经网络输入，令Q＝{q1,q2,q3,...,qm}(qi∈Rd)。本实施例中，为了获取不同特征，我们使用ω(ω＝3)个滤波器，其权重矩阵为w∈Rω*d，将第一特征向量Q中第i个词向量qi到第j个词向量qj串联表示为qi:j。采用k＝3个权重矩阵(W＝{w1,w2,w3})，通过卷积运算将每个权重矩阵与qi:j相乘得到新的序列向量c，修改后的卷积公式为：
cij＝wiqj-ω+1:j 1≤i≤k；1≤j≤m+ω-1
最终经卷积层计算输出的特征矩阵为：
C＝{c1,c2,c3}∈Rk×(m+ω-1)
为了更好捕捉语句内两个实体之间的结构特征，分别以实体头和实体尾为边界分割(即第一个实体及之前的作为第一段，两个实体及之间的作为第二段，第二个实体及之后的作为第三段)，将特征矩阵中的每个卷积计算后的ci分为三段即ci＝{ci1,ci2,ci3}，放入最大池化层计算，可以提取主要特征，最大池化公式为：
pij＝max(cij)1≤i≤k,1≤j≤3
对于分段向量计算的到池化后的向量为pi＝{pi1,pi2,pi3}。最后拼接所有池化向量pi得到拼接后的向量p，采用非线性方程tanh作为隐藏层激活函数，分片计算最大池化输出g作为第二特征向量，公式为：
Figure BDA0003552972570000061
在经过PCNN分段卷积神经网络最大池化层后，得到了每个节点的隐藏表示。为了用这些节点的隐藏表示来表示关系分类，本实施例中使用Softmax分类器进行关系类别预测。Softmax函数用作归一化指数函数，可以计算出具有N个可能值的离散随机变量的分布概率。将第二特征向量g输入到Softmax分类器中，其数学公式如下：
f(z|g)＝softmax(Wsg+bs)
其中，z表示需要计算的关系类别，g表示第二特征向量，Ws和bs分别为权重参数和偏置参数；正确分类的概率值越接近1，则说明分类效果更好，若正确结果越接近0则分类效果很差，该模型通过反向传播训练并在训练中采用交叉熵损失函数评估并继续调整softmax分类器，可以进一步扩大不同类别计算概率的差距，明显提高分类效果，其交叉熵损失函数公式如下：
Figure BDA0003552972570000062
其中，N表示关系类别的个数，Cr表示真实的关系类别，cr表示预测的关系类别。最终计算出每个关系类别的所占概率，从高到低排序获取最高概率关系类别作为关系抽取的结果，从而实现实体关系抽取。
基于SemEval2010 Task8数据集构成训练集对上述网络模型(包括GCN神经网络、PCNN分段卷积神经网络及Softmax分类器)完成训练后，即可用于对实体关系的抽取。基于此，本实施例提供一种基于实体语义融合的关系抽取方法，包括：
S1：获取待抽取关系的目标语句；
S2：构建目标语句的预置向量，该预置向量包含目标语句中每个单词、单词的词性及实体标签；
S3：构建目标语句的句法依存树，并建立句法依存树的邻接矩阵；其中，句法依存树以实体节点作为全局节点，并增设全局节点到其他节点的连接以及所有节点到自身的连接；
S4：将预置向量及邻接矩阵输入GCN神经网络进行语义提取，得到第一特征向量；
S5：将第一特征向量输入PCNN分段卷积神经网络进行特征提取，得到第二特征向量；
S6：将第二特征向量输入Softmax分类器进行关系类别预测，实现实体关系抽取。
本实施例提供的一种基于实体语义融合的关系抽取方法，可以有效从非结构化文本中提取出实体之间的关系，从而为智能化推荐系统构建知识网络起到辅助作用。本方法的核心意义在于通过基于新型句法依存树的图结构网络丰富序列的语义信息，将实体节点作为全局节点并构建全局节点到其他节点以及所有节点到自身的连接，可以有效捕获序列中其他词对实体的语义信息。这种方法在一次卷积中就可以获取整棵句法依存树的信息，避免在多层卷积结构计算中带来的时间开销大，结果过度平滑等问题。所以以实体为中心的全连通卷积网络可以有效消除训练时产生的噪音以及捕获实体的关键信息。同时将通过GCN丰富结构语义特征后的序列向量放入PCNN分段卷积神经网络中训练可以体现出不同分段的上下文信息对于实体语义信息的引导作用，提高实体的语义表达进而增强实体间的语义联系提高关系抽取的准确度。最终采用Softmax分类器对关系进行预测分类，有效获取可能值的离散随机变量的分布概率，作为关系选取依据。在Softmax分类器中加入交叉熵函数进一步扩大不同类别计算的概率差距可以明显提高分类效果从而获取更为准确的获取实体之间的关系表示。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于实体语义融合的关系抽取方法，其特征在于，包括：
获取待抽取关系的目标语句；
构建目标语句的预置向量，该预置向量包含目标语句中每个单词、单词的词性及实体标签；
构建目标语句的句法依存树，并建立句法依存树的邻接矩阵；其中，句法依存树以实体节点作为全局节点，并增设全局节点到其他节点的连接以及所有节点到自身的连接；
将预置向量及邻接矩阵输入GCN神经网络进行语义提取，得到第一特征向量；
将第一特征向量输入PCNN分段卷积神经网络进行特征提取，得到第二特征向量；
将第二特征向量输入Softmax分类器进行关系类别预测，实现实体关系抽取。
2.根据权利要求1所述的基于实体语义融合的关系抽取方法，其特征在于，所述构建目标语句的预置向量具体包括：
采用词嵌入模型将目标语句中的单词映射到维度为dw的向量空间；
采用句法分析工具对目标语句构造词性标注及实体标签，并将词性及实体标签分别映射到维度为ds的向量空间；
将目标语句的每个单词、词性及实体标签进行拼接，得到目标语句的预置向量S＝{X1,X2,X3,......,Xm}，其中
Figure FDA0003552972560000011
m为目标语句长度，
Figure FDA0003552972560000012
表示第i个单词，
Figure FDA0003552972560000013
表示第i个单词的词性，
Figure FDA0003552972560000014
表示第i个单词的实体标签。
3.根据权利要求1所述的基于实体语义融合的关系抽取方法，其特征在于，所述构建目标语句的句法依存树，并建立句法依存树的邻接矩阵，具体包括：
针对目标语句，使用句法分析工具构建以实体节点作为全局节点的语法依存树；
构建全局节点到其他节点的的连接，建立第一邻接矩阵；
增设每个节点到自身的连接，建立单位矩阵；
将第一邻接矩阵与单位矩阵相加，得到最终的邻接矩阵。
4.根据权利要求2所述的基于实体语义融合的关系抽取方法，其特征在于，所述GCN神经网络的公式表示如下：
Figure FDA0003552972560000015
其中，
Figure FDA0003552972560000016
表示第l层第i个节点的隐藏层表示；ρ表示ReLU激活函数；
Figure FDA0003552972560000017
表示邻接矩阵，
Figure FDA0003552972560000018
表示i节点和j节点的连接关系，其值为i节点到j节点的距离；di表示节点i的出度；b(l)表示偏移量；αi表示权重系数；
Figure FDA0003552972560000021
GCN神经网络的最后一层的每个节点的隐藏层表示构成第一特征向量。
5.根据权利要求1所述的基于实体语义融合的关系抽取方法，其特征在于，所述将第一特征向量输入PCNN分段卷积神经网络进行特征提取，得到第二特征向量，具体包括：
采用多个滤波器及权重矩阵对第一特征向量进行卷积运算；
将每个卷积运算后得到的特征向量分割为三段，分割时以实体头和实体尾为边界分割；将每一段进行最大池化处理，得到池化向量；
拼接所有池化向量，采用非线性方程tanh作为隐藏层激活函数,分片计算最大池化输出，得到第二特征向量。
6.根据权利要求1所述的基于实体语义融合的关系抽取方法，其特征在于，所述将第二特征向量输入Softmax分类器进行关系类别预测，实现实体关系抽取，具体包括：
将第二特征向量输入到Softmax分类器，Softmax分类器公式表示如下：
f(z|g)＝softmax(Wsg+bs)
其中，z表示需要计算的关系类别，g表示第二特征向量，Ws和bs分别为权重参数和偏置参数；
计算出每个关系类别的所占概率，从高到低排序获取最高概率的关系类别作为关系抽取的结果，实现实体关系抽取。
7.根据权利要求1所述的基于实体语义融合的关系抽取方法，其特征在于，进行关系抽取之前，还包括：构建训练样本集，并基于训练样本集对GCN神经网络、PCNN分段卷积神经网络及Softmax分类器进行训练。
8.根据权利要求7所述的基于实体语义融合的关系抽取方法，其特征在于，训练过程中，Softmax分类器的损失函数采用交叉熵函数。
CN202210267524.1A 2022-03-18 2022-03-18 一种基于实体语义融合的关系抽取方法 Pending CN114444515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210267524.1A CN114444515A (zh) 2022-03-18 2022-03-18 一种基于实体语义融合的关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210267524.1A CN114444515A (zh) 2022-03-18 2022-03-18 一种基于实体语义融合的关系抽取方法

Publications (1)

Publication Number Publication Date
CN114444515A true CN114444515A (zh) 2022-05-06

Family

ID=81359436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210267524.1A Pending CN114444515A (zh) 2022-03-18 2022-03-18 一种基于实体语义融合的关系抽取方法

Country Status (1)

Country Link
CN (1) CN114444515A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117540750A (zh) * 2023-12-25 2024-02-09 卓世科技(海南)有限公司 基于知识图谱的智能客服语义分析方法
CN117669593A (zh) * 2024-01-31 2024-03-08 山东省计算中心（国家超级计算济南中心） 基于等价语义的零样本关系抽取方法、系统、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117540750A (zh) * 2023-12-25 2024-02-09 卓世科技(海南)有限公司 基于知识图谱的智能客服语义分析方法
CN117540750B (zh) * 2023-12-25 2024-03-22 卓世科技(海南)有限公司 基于知识图谱的智能客服语义分析方法
CN117669593A (zh) * 2024-01-31 2024-03-08 山东省计算中心（国家超级计算济南中心） 基于等价语义的零样本关系抽取方法、系统、设备及介质
CN117669593B (zh) * 2024-01-31 2024-04-26 山东省计算中心（国家超级计算济南中心） 基于等价语义的零样本关系抽取方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN108388651B (zh) 一种基于图核和卷积神经网络的文本分类方法
CN111563164B (zh) 一种基于图神经网络的特定目标情感分类方法
CN110309514A (zh) 一种语义识别方法及装置
CN113591483A (zh) 一种基于序列标注的文档级事件论元抽取方法
CN114298158A (zh) 一种基于图文线性组合的多模态预训练方法
CN110263325A (zh) 中文分词系统
CN112308115B (zh) 一种多标签图像深度学习分类方法及设备
CN111143569A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN114444515A (zh) 一种基于实体语义融合的关系抽取方法
CN113704416B (zh) 词义消歧方法、装置、电子设备及计算机可读存储介质
CN113886571A (zh) 实体识别方法、装置、电子设备及计算机可读存储介质
WO2023134083A1 (zh) 基于文本的情感分类方法和装置、计算机设备、存储介质
CN111274790A (zh) 基于句法依存图的篇章级事件嵌入方法及装置
CN113515632B (zh) 基于图路径知识萃取的文本分类方法
CN111767694B (zh) 文本生成方法、装置和计算机可读存储介质
CN117151220B (zh) 一种基于实体链接与关系抽取的行业知识库系统及方法
CN117076653B (zh) 基于思维链及可视化提升上下文学习知识库问答方法
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN114911945A (zh) 基于知识图谱的多价值链数据管理辅助决策模型构建方法
CN116521882A (zh) 基于知识图谱的领域长文本分类方法及系统
CN113157859A (zh) 一种基于上位概念信息的事件检测方法
CN112699685A (zh) 基于标签引导的字词融合的命名实体识别方法
CN111666752A (zh) 一种基于关键词注意力机制的电路教材实体关系抽取方法
CN114841140A (zh) 依存分析模型及基于依存分析的中文联合事件抽取方法
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination