CN116521887A - 一种基于深度学习的知识图谱复杂问答系统及方法 - Google Patents
一种基于深度学习的知识图谱复杂问答系统及方法 Download PDFInfo
- Publication number
- CN116521887A CN116521887A CN202310173425.1A CN202310173425A CN116521887A CN 116521887 A CN116521887 A CN 116521887A CN 202310173425 A CN202310173425 A CN 202310173425A CN 116521887 A CN116521887 A CN 116521887A
- Authority
- CN
- China
- Prior art keywords
- model
- path
- hop
- knowledge graph
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000002776 aggregation Effects 0.000 claims abstract description 7
- 238000004220 aggregation Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Animal Behavior & Ethology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于深度学习的知识图谱复杂问答系统,包括基于多头注意力机制的信息抽取模型、逐跳关系预测模型和知识图谱;所述基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系;所述逐跳关系预测模型,将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型,采用延伸和聚合操作分别解决链式问题与多实体问题;基于逐跳关系预测模型输出数据,对知识图谱进行查找、推理获取相应的答案。本发明问答系统具有更高的效率,更强的专业性和准确性。
Description
技术领域
本发明涉及智能问答领域,具体涉及一种基于深度学习的知识图谱复杂问答系统及方法。
背景技术
近年来,作为实现Web 3.0知识互联的基础,大量高质量、覆盖大量知识的知识图谱被构建出来,为知识搜索提供了有力的支撑,也已经成为互联网认知智能服务的基础设施。谷歌公司提出知识图谱的初衷,是对搜索引擎提供语义支持,以此来提高搜索引擎的质量,为用户提供细粒度的知识,满足用户日益增长的信息需求。传统的搜索方式,仍然是基于关键字匹配的方式搜索的相关信息,并没有具备“理解”问题的能力,即没有涉及深层次的语义理解。并且,知识图谱中往往包含了海量的知识条目,且条目之间存在着复杂的拓扑结构关系,对于普通用户而言,如何从一个庞大复杂的知识图谱中搜索自己所需要的知识,是一个很大的挑战。
为了能够降低用户检索知识图谱的门槛,并且能够精确地、细粒度地返回用户所询的相关信息,知识图谱问答(Knowledge Base Question Answering,KBQA)——一种高级的信息检索方式、桥接人类用户与机器智能进行信息交换的接口——被研究者们提出。问答系统旨在理解用户所提出的问题意图,并将自然语言问题转化为标准的结构化查询,通过在知识图谱上执行结构化查询,而得到知识图谱中的相关实体、属性值等信息,作为问题的答案返回给用户,以此来方便用户检索知识图谱来获取所需要的知识。问答系统将问题理解、知识查询、推理答案等具体实现细节都隐藏在内部,而对外提供简单的使用接口,用户只需要提出自然语言问题(Natural Language Question,NLQ),就可以获得细粒度的、准确的答案。
目前,知识图谱问答已经成为推动人机交互与互联网语义搜索的重要驱动力之一,也在众多实际智能应用中体现出强大的作用。近几年来,深度学习方法己经在不同领域取得了重大突破,包括图像处理和NLP等,而且在不同任务上得到了广泛的研宄和应用。目前最常用的两种深度学习模型是卷积神经网络网(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN),它们都具有较强的句子表征能力。随着注意力机制Attention Mechanism)的引入,各种任务的性能也得到了极大的提升。最近NLP领域的学者纷纷开始研宄基于语言建模的神经网络模型,比如ELMo、GPT和BERT等,可以从大量的语料中学习潜在的语义特征和句法特征。
随着用户对于信息检索的要求越来越高,以一个三元组为知识载体的简单事实性知识图谱问答,已经难以满足用户复杂的信息需求。人们在面对知识图谱进行信息检索时,可能会产生需要满足特定约束(constraints)、检索大量三元组、并进行相应推理才能得到答案的复杂问题。所以,面向大规模知识图谱的复杂问题问答方法变得越来越重要。但是,复杂问题问答任务本身所具有的特性,导致解决该任务具有一定的挑战性。设计一种有效的复杂问题问答方法,来理解用户提出的自然语言问题的意图,并精确地从知识图谱元素中检索出用户所询的细粒度知识,是具有重要实际意义与研究价值的。
发明内容
有鉴于此,本发明的目的在于提供一种基于深度学习的知识图谱复杂问答系统及方法,旨在解决上述问题。
为实现上述目的,本发明采用如下技术方案:
一种基于深度学习的知识图谱复杂问答系统,包括基于多头注意力机制的信息抽取模型、逐跳关系预测模型和知识图谱;所述基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系;所述逐跳关系预测模型,将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型,采用延伸和聚合操作分别解决链式问题与多实体问题;基于逐跳关系预测模型输出数据,对知识图谱进行查找、推理获取相应的答案。
进一步的,所基于多头注意力机制的信息抽取模型包括RNN共享编码层、SR子模型和O子模型;所述SR子模型抽取出输入文本中主实体S的同时,并给出主实体对应的关系R;所述O子模型则根据RNN共享编码层输出的张量、SR抽取的主实体及对应的关系,输出客实体O。
进一步的,所述SR子模型包括一层自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层;所述输入文本通过RNN共享编码层输出的张量,依次通过自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层,得到每个主实体S及S对应的所有关系R。
进一步的,所述O子模型包括多头注意力机制、带6层残差学习的膨胀卷积层及两层全连接层。
进一步的,所述停止决策模型,用于判断当前路径是否应该执行延伸操作,进行下一跳的路径转移,其输入是问题文本序列和当前的路径序列,输出为真或假,具体如下:
问句和路径表示层:构建孪生网络的结构,使用共享权重的预训练语言模型BERT来分别对问题Q和候选路径P编码表示,对BERT输出的隐层向量表示取平均,作为问题和候选路径的向量表示HQ和HP,如下式所示:
HQ=Meanpooling(BERT(xQ))
xQ=[[CLS],q1,…,qn,[SEP]]
HP=Meanpooling(BERT(xP))
xP=[[CLS],p1,…,pm,[SEP]]
其中,q1,…,qn为问题序列,p1,…,pm为候选路径序列,CLS用于下游的分类任务,SEP用于隔开两个句子;
对于实体的类型词语集合R,将其经过预训练词向量Embedding层编码后的矩阵分别做最大池化和平均池化操作,得到两个向量表示和/>如下列公式所示:
HR=Embedding(R)
R=[r1,r2…ri]
其中,R为实体的类型词语集合;
注意力机制交互层:在得到和/>之后将其拼接得到H′R,通过矩阵WR对其变换维度;再将问题的表示HQ通过矩阵WQ变换维度;
对上述两个维度变换后的矩阵进行相乘操作,得到Attention的权重aij;与H′R加权求和之后,与问题表示HQ点乘后通过一个平均池化层,得到新的问题表示AttQ,如下列公式所示:
输出层:在模型的输出层,将上述运算得到的AttQ和HQ、HP进行运算、拼接,将该输出的向量传递给Softmax层做二分类任务,如下述公式所示。
y=Softmax(H)
H=[HQ,HP,HQ-HP,HQ-AttQ-HP]
输出标签为0或1。
进一步的,所述停止决策模型,损失函数为交叉熵损失函数,如下述公式所示,
L=-[y·ln(x)+(1-y)·ln(1-x)]
训练时最小化损失函数;在预测时,比较输出标签0和1的概率大小,取概率较大的那个作为该样本的预测标签。
进一步的,所述路径相似度计算模型,用于计算当前跳数的候选关系路径和问题之间的相似度,在候选关系路径中选择相似度最高的一条关系路径,输入是问题文本序列和当前的关系路径序列,输出为该关系路径序列的相似度得分,具体如下:
采用带有软间隔的损失函数,只要负样本与正样本的间隔大于γ时,就不再惩罚,如下述公式所示:
L=max(0,γ-S(Q,P+)+S(Q,P-))
其中,Q表示问题,P+表示候选关系路径中的正例,P-表示候选关系路径中的负例,S表示通过路径相似度计算网络计算得到的相似度分数。
一种基于深度学习的知识图谱复杂问答系统的问答方法,包括以下步骤:
用户输入文本;
通过基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系;
根据抽取得到的输入文本的实体和关系,基于逐跳关系预测模型,将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型,采用延伸和聚合操作分别解决链式问题与多实体问题,获取相似度最高的一条关系路径;基于相似度最高的一条关系路径,对知识图谱进行查找、推理获取相应的答案。
本发明与现有技术相比具有以下有益效果:
1、本发明基于多头注意力机制的信息抽取,有效提高知识抽取准确率;
2、本发明将多关系KBQA中的关系预测任务拆分为两个主要的子任务:停止决策任务和路径相似度计算任务,采用延伸和聚合操作分别解决链式问题与多实体问题,能显著减少候选规模,提升系统效率;
3、本发明系统相比于传统的问答系统,具有更高的效率,更强的专业性和准确性。
附图说明
图1是本发明方法流程示意图;
图2是本发明一实施例中基于多头注意力机制的信息抽取模型示意图;
图3是本发明一实施例中SR子模型示意图;
图4是本发明一实施例中O子模型示意图;
图5是本发明一实施例中停止决策模型示意图;
图6是本发明一实施例中路径相似度计算模型示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1-6,本发明提供一种基于深度学习的知识图谱复杂问答系统,包括基于多头注意力机制的信息抽取模型、逐跳关系预测模型和知识图谱;所述基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系;所述逐跳关系预测模型,将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型,采用延伸和聚合操作分别解决链式问题与多实体问题;基于逐跳关系预测模型输出数据,对知识图谱进行查找、推理获取相应的答案。
在本实施例中,基于多头注意力机制的信息抽取模型包括RNN共享编码层、SR子模型和O子模型;所述SR子模型抽取出输入文本中主实体S的同时,并给出主实体对应的关系R;所述O子模型则根据RNN共享编码层输出的张量、SR抽取的主实体及对应的关系,输出客实体O。
参考图2,SRO抽取模型的框架下图所示,输出一个形状为(batch_size,seq_len,embedding_dim)的张量,作为SR子任务和O子任务的输入,batch_size是输入编码器一个批次文本的个数,seq_len是该批次文本中的最大长度,embedding_dim是自定义的字向量维度大小;
参考图3,SR子模型输入的共享编码在通过一层自注意力机制层,输出的张量形状不变。再通过带6层残差学习的膨胀卷积及两层全连接层后,得到SR子模型的最终输出:两个形状为(batch_size,seq_len,num_predicate)的张量。
优选的,SR子模型的输出是每个主实体S及S对应的所有关系R。一个主实体对应两个关系,为了解决这种关系重叠的问题,需要标记出每个实体对应的所有关系。在开始或者结束的位置输出一个长度为num_predicate的张量,即可实现同时标记开始、结束位置和对应的关系,num_predicate输出的第三个维度,在主实体开始、结束指针对应的张量中设置其关系R所在的位置为1,主实体存在多个关系也不会冲突,张量非指针的位置全部设置为0;激活函数使用sigmoid。
参考图4,O子模型其输入有两个,共享编码和SR信息。SR信息是一段文本,包括主实体的类型、主实体本身、关系本身、客实体的类型和源文本。SR信息的文本转换为字向量后的形状是(batch_size,sp_seq_len,embedding_dim),注意,长度sp_seq_len是SR信息在本批次中的最大长度,和共享编码的长度seq_len不一样。
参考图5,在本实施例中,停止决策模型,用于判断当前路径是否应该执行延伸操作,进行下一跳的路径转移,其输入是问题文本序列和当前的路径序列,输出为真或假,具体如下:
问句和路径表示层:构建孪生网络的结构,使用共享权重的预训练语言模型BERT来分别对问题Q和候选路径P编码表示,对BERT输出的隐层向量表示取平均,作为问题和候选路径的向量表示HQ和HP,如下式所示:
HQ=Meanpooling(BERT(xQ))
xQ=[[CLS],q1,…,qn,[SEP]]
HP=Meanpooling(BERT(xP))
xP=[[CLS],p1,…,pm,[SEP]]
类型特征引入层:对于实体的类型词语集合R,将其经过预训练词向量Embedding层编码后的矩阵分别做最大池化和平均池化操作,得到两个向量表示和/>如下列公式所示:
HR=Embedding(R)
R=[r1,r2…ri]
注意力机制交互层:在得到和/>之后将其拼接得到H′R,通过矩阵WR对其变换维度;再将问题的表示HQ通过矩阵WQ变换维度;
对上述两个维度变换后的矩阵进行相乘操作,得到Attention的权重aij;与H′R加权求和之后,与问题表示HQ点乘后通过一个平均池化层,得到新的问题表示AttQ,如下列公式所示:
输出层:在模型的输出层,将上述运算得到的AttQ和HQ、HP进行运算、拼接,将该输出的向量传递给Softmax层做二分类任务,如下述公式所示。
y=Softmax(H)
H=[HQ,HP,HQ-HP,HQ-AttQ-HP]
输出标签为0或1。
进一步的,所述停止决策模型,损失函数为交叉熵损失函数,如下述公式所示,
L=-[y·ln(x)+(1-y)·ln(1-x)]
训练时最小化损失函数;在预测时,比较输出标签O和1的概率大小,取概率较大的那个作为该样本的预测标签。
参考图6,在本实施例中,路径相似度计算模型,用于计算当前跳数的候选关系路径和问题之间的相似度,在候选关系路径中选择相似度最高的一条关系路径,输入是问题文本序列和当前的关系路径序列,输出为该关系路径序列的相似度得分,具体如下:
为了该关系预测框架中模型结构的可替换性,采用带有软间隔的损失函数,只要负样本与正样本的间隔大于γ时,就不再惩罚,如下述公式所示:
L=max(0,γ-S(Q,P+)+S(Q,P-))
其中,Q表示问题,P+表示候选关系路径中的正例,P-表示候选关系路径中的负例,S表示通过路径相似度计算网络计算得到的相似度分数。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (8)
1.一种基于深度学习的知识图谱复杂问答系统,其特征在于,包括基于多头注意力机制的信息抽取模型、逐跳关系预测模型和知识图谱;所述基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系;所述逐跳关系预测模型,将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型,采用延伸和聚合操作分别解决链式问题与多实体问题;基于逐跳关系预测模型输出数据,对知识图谱进行查找、推理获取相应的答案。
2.根据权利要求1所述的一种基于深度学习的知识图谱复杂问答系统,其特征在于,所基于多头注意力机制的信息抽取模型包括RNN共享编码层、SR子模型和O子模型;所述SR子模型抽取出输入文本中主实体S的同时,并给出主实体对应的关系R;所述O子模型则根据RNN共享编码层输出的张量、SR抽取的主实体及对应的关系,输出客实体O。
3.根据权利要求2所述的一种基于深度学习的知识图谱复杂问答系统,其特征在于,所述SR子模型包括一层自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层;所述输入文本通过RNN共享编码层输出的张量,依次通过自注意力机制层、带6层残差学习的膨胀卷积层及两层全连接层,得到每个主实体S及S对应的所有关系R。
4.根据权利要求2所述的一种基于深度学习的知识图谱复杂问答系统,其特征在于,所述O子模型包括多头注意力机制、带6层残差学习的膨胀卷积层及两层全连接层。
5.根据权利要求1所述的一种基于深度学习的知识图谱复杂问答系统,其特征在于,所述停止决策模型,用于判断当前路径是否应该执行延伸操作,进行下一跳的路径转移,其输入是问题文本序列和当前的路径序列,输出为真或假,具体如下:
构建孪生网络的结构,使用共享权重的预训练语言模型BERT来分别对问题Q和候选路径P编码表示,对BERT输出的隐层向量表示取平均,作为问题和候选路径的向量表示HQ和HP,如下式所示:
HQ=Meanpooling(BERT(xQ))
xQ=[[CLS],q1,…,qn,[SEP]]
HP=Meanpooling(BERT(xP))
xP=[[CLS],p1,…,pm,[SEP]]
其中,q1,…,qn为问题序列,p1,…,pm为候选路径序列,CLS用于下游的分类任务,SEP用于隔开两个句子;
对于实体的类型词语集合R,将其经过预训练词向量Embedding层编码后的矩阵分别做最大池化和平均池化操作,得到两个向量表示和/>如下列公式所示:
HR=Embedding(R)
R=[r1,r2…ri]
其中,R为实体的类型词语集合;
注意力机制交互层:在得到和/>之后将其拼接得到H′R,通过矩阵WR对其变换维度;再将问题的表示HQ通过矩阵WQ变换维度;
对上述两个维度变换后的矩阵进行相乘操作,得到Attention的权重aij;与H′ R加权求和之后,与问题表示HQ点乘后通过一个平均池化层,得到新的问题表示AttQ,如下列公式所示:
在模型的输出层,将上述运算得到的AttQ和HQ、HP进行运算、拼接,将该输出的向量传递给Softmax层做二分类任务,如下述公式所示。
y=Softmax(H)
H=[HQ,HP,HQ-HP,HQ-AttQ-HP]
输出标签为0或1。
6.根据权利要求5所述的基于深度学习的知识图谱复杂问答系统,其特征在于,所述停止决策模型,损失函数为交叉熵损失函数,如下述公式所示,
L=-[y·ln(x)+(1-y)·ln(1-x)]
训练时最小化损失函数;在预测时,比较输出标签0和1的概率大小,取概率较大的那个作为该样本的预测标签。
7.根据权利要求1所述的一种基于深度学习的知识图谱复杂问答系统,其特征在于,所述路径相似度计算模型,用于计算当前跳数的候选关系路径和问题之间的相似度,在候选关系路径中选择相似度最高的一条关系路径,输入是问题文本序列和当前的关系路径序列,输出为该关系路径序列的相似度得分,具体如下:
采用带有软间隔的损失函数,只要负样本与正样本的间隔大于γ时,就不再惩罚,如下述公式所示:
L=max(0,γ-S(Q,P+)+S(Q,P-))
其中,Q表示问题,P+表示候选关系路径中的正例,P-表示候选关系路径中的负例,S表示通过路径相似度计算网络计算得到的相似度分数。
8.一种基于权利要求1-7任一所述的一种基于深度学习的知识图谱复杂问答系统的问答方法,其特征在于,包括以下步骤:
用户输入文本;
通过基于多头注意力机制的信息抽取模型抽取输入文本的实体和关系;
根据抽取得到的输入文本的实体和关系,基于逐跳关系预测模型,将多关系KBQA中的关系预测模型拆分为停止决策模型和路径相似度计算模型,采用延伸和聚合操作分别解决链式问题与多实体问题,获取相似度最高的一条关系路径;
基于相似度最高的一条关系路径,对知识图谱进行查找、推理获取相应的答案。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310173425.1A CN116521887A (zh) | 2023-02-28 | 2023-02-28 | 一种基于深度学习的知识图谱复杂问答系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310173425.1A CN116521887A (zh) | 2023-02-28 | 2023-02-28 | 一种基于深度学习的知识图谱复杂问答系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116521887A true CN116521887A (zh) | 2023-08-01 |
Family
ID=87403583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310173425.1A Pending CN116521887A (zh) | 2023-02-28 | 2023-02-28 | 一种基于深度学习的知识图谱复杂问答系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116521887A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117591813A (zh) * | 2024-01-18 | 2024-02-23 | 广东工业大学 | 基于多维特征的复杂装备故障诊断方法及系统 |
-
2023
- 2023-02-28 CN CN202310173425.1A patent/CN116521887A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117591813A (zh) * | 2024-01-18 | 2024-02-23 | 广东工业大学 | 基于多维特征的复杂装备故障诊断方法及系统 |
CN117591813B (zh) * | 2024-01-18 | 2024-04-19 | 广东工业大学 | 基于多维特征的复杂装备故障诊断方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110609891B (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
CN109902145B (zh) | 一种基于注意力机制的实体关系联合抽取方法和系统 | |
CN111259127B (zh) | 一种基于迁移学习句向量的长文本答案选择方法 | |
CN111382565B (zh) | 基于多标签的情绪-原因对抽取方法及系统 | |
CN112015868B (zh) | 基于知识图谱补全的问答方法 | |
CN110134946B (zh) | 一种针对复杂数据的机器阅读理解方法 | |
CN113127624B (zh) | 问答模型的训练方法及装置 | |
CN111897944B (zh) | 基于语义空间共享的知识图谱问答系统 | |
CN113297364B (zh) | 一种面向对话系统中的自然语言理解方法及装置 | |
CN114168749A (zh) | 一种基于知识图谱和疑问词驱动的问题生成系统 | |
CN113743119B (zh) | 中文命名实体识别模块、方法、装置及电子设备 | |
CN112417884A (zh) | 一种基于知识增强和知识迁移的句子语义相关度判断方法 | |
CN113204633B (zh) | 一种语义匹配蒸馏方法及装置 | |
Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
CN110852089A (zh) | 基于智能分词与深度学习的运维项目管理方法 | |
CN116521887A (zh) | 一种基于深度学习的知识图谱复杂问答系统及方法 | |
CN116383352A (zh) | 一种基于知识图谱的零样本构建领域智能问答系统的方法 | |
CN117610562B (zh) | 一种结合组合范畴语法和多任务学习的关系抽取方法 | |
CN114691848A (zh) | 关系三元组联合提取方法及自动问答系统构建方法 | |
CN115186072A (zh) | 一种基于双过程认知理论的知识图谱视觉问答方法 | |
CN116701665A (zh) | 基于深度学习的中医古籍知识图谱构建方法 | |
CN116680407A (zh) | 一种知识图谱的构建方法及装置 | |
CN111091179A (zh) | 基于归因图的异构深度模型可迁移性度量方法 | |
CN115828852A (zh) | 一种基于杂志的人名实体链接方法 | |
CN115934944A (zh) | 一种基于Graph-MLP与相邻对比损失的实体关系抽取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |