CN112765312A - 一种基于图神经网络嵌入匹配的知识图谱问答方法和系统 - Google Patents

一种基于图神经网络嵌入匹配的知识图谱问答方法和系统 Download PDF

Info

Publication number
CN112765312A
CN112765312A CN202011624049.6A CN202011624049A CN112765312A CN 112765312 A CN112765312 A CN 112765312A CN 202011624049 A CN202011624049 A CN 202011624049A CN 112765312 A CN112765312 A CN 112765312A
Authority
CN
China
Prior art keywords
graph
entity
question
matrix
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011624049.6A
Other languages
English (en)
Other versions
CN112765312B (zh
Inventor
李肯立
李旻佳
刘楚波
肖国庆
周旭
阳王东
唐卓
李克勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202011624049.6A priority Critical patent/CN112765312B/zh
Publication of CN112765312A publication Critical patent/CN112765312A/zh
Application granted granted Critical
Publication of CN112765312B publication Critical patent/CN112765312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于图神经网络嵌入匹配的知识图谱问答方法，包括：获取来自用户的问句，使用命名实体识别工具对该问句进行处理，以获得该问句中的实体，并利用句法分析工具对问句进行处理，以获得该问句对应的查询图和主题词；利用实体近义词字典对得到的主题词进行实体链接处理，以得到知识图谱中的主题词，并将知识图谱中的主题词输入知识图谱进行检索，以得到主题图，根据得到的主题图、以及得到的查询图输入训练好的图嵌入匹配模型中，以得到问句的答案。本发明能解决现有语义解析方法其模板并不能完全适用所有的自然语言问句的技术问题，对于语义相似的模糊查找能力较弱，并会生成众多不必要的查询语句，进而导致查询效率低下的技术问题。

Description

一种基于图神经网络嵌入匹配的知识图谱问答方法和系统
技术领域
本发明属于人工智能技术领域，更具体地，涉及一种基于图神经网络嵌入匹配的知识图谱问答方法和系统。
背景技术
融合人类知识是人工智能的研究方向之一。知识表示和推理，受人类解决问题的启发，是为智能系统表示知识，以获得解决复杂任务的能力。近年来，知识图谱作为结构化人类知识的一种形式，引起了学术界和工业界的极大关注。知识图谱是由一些相互连接的实体和其属性构成。换句话说，知识图谱是由一条条知识组成，每条知识表示为一个三元组，实体、关系、实体 (Entity-Relation-Entity)。实体可以是现实世界的对象和抽象概念，关系表示实体之间的关系。知识图谱问答(Knowledge base question answering，简称KBQA)利用图谱丰富的语义关联信息，能够深入理解用户问题并给出答案，近年来吸引了学术界和工业界的广泛关注。然而，随着知识图谱规模的不断扩大，如何快速且准确的进行问答，也成为KBQA的主要挑战。
现有的KBQA方法包括语义解析(Semantic Parsing)方法以及信息检索(Information retrieval)方法；针对基于语义解析的主流方法而言，主要通过语义分析，精准的识别问句中每个实体与关系，再依据句法依存关系，套入问句模板中，形成结构化查询语句，在数据库中进行查找；针对基于信息检索的方法而言，它们主要通过分析问句特征向量，与主题词到答案路径的特征向量，分析得到问句与答案匹配概率，得到匹配结果。
然而，上述KBQA方法均存在一些不可忽略的缺陷：语义解析方法在自然语言问句形式多变时，其模板并不能完全适用所有的自然语言问句；此外，由于该方法需要形成结构化查询语句，该方法对于语义相似的模糊查找能力较弱，并会生成众多不必要的查询语句，进而导致查询效率低下；针对信息检索方法而言，知识图谱与查询图均为图结构，单纯从单向序列结构的角度进行分析并不足以学习到完整的语义特征，从而导致查询准确性较低。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于图神经网络嵌入匹配的知识图谱问答方法和系统，其目的在于，解决现有语义解析方法其模板并不能完全适用所有的自然语言问句的技术问题，现有语义解析方法对于语义相似的模糊查找能力较弱，并会生成众多不必要的查询语句，进而导致查询效率低下的技术问题，以及现有信息检索方法由于单纯从单向序列结构的角度进行分析，导致不能够学习到完整的语义特征，进而导致查询准确性较低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于图神经网络嵌入匹配的知识图谱问答方法，包括以下步骤：
(1)获取来自用户的问句，使用命名实体识别工具对该问句进行处理，以获得该问句中的实体，并利用句法分析工具对问句进行处理，以获得该问句对应的查询图和主题词；
(2)利用实体近义词字典对步骤(1)得到的主题词进行实体链接处理，以得到知识图谱中的主题词，并将知识图谱中的主题词输入知识图谱进行检索，以得到主题图。
(3)根据步骤(2)得到的主题图、以及步骤(1)得到的查询图输入训练好的图嵌入匹配模型中，以得到问句的答案。
优选地，步骤(1)具体包括以下子步骤：
(1-1)获取来自用户的问句，使用命名实体识别工具获取该问句中的所有实体。
(1-2)使用句法分析工具对步骤(1-1)得到的问句进行处理，以得到问句的句法依存树；
(1-3)使用句法分析工具对问句进行处理，以得到问句中每个词的词性；
(1-4)根据步骤(1-1)得到的实体、以及步骤(1-3)得到的问句中每个词的词性去除问句中的所有分词，并根据步骤(1-2)得到的该问句的句法依存树对去除了所有分词后的问句进行处理，以得到该问句中实体间的关系。
(1-5)根据步骤(1-1)得到的实体、步骤(1-4)得到的该问句中实体间的关系、以及步骤(1-2)得到的句法依存树，获取该问句对应的一个查询图；
(1-6)对步骤(1-5)得到的查询图进行解析，以得到主题词；
优选地，步骤(2)具体包括以下子步骤：
(2-1)利用实体近义词字典对步骤(1)得到的主题词进行实体链接处理，以得到知识图谱中的主题词。
(2-2)利用步骤(2-1)得到知识图谱中的主题词，在已有的知识图谱中进行检索，以得到主题词周围两跳内的实体，以及实体之间的关系。
(2-3)根据步骤(2-2)得到的主题词周围两跳内的实体、实体之间的关系、以及步骤(2-1)得到的主题词构建子图作为主题图。
优选地，主题词周围两跳内的实体是指主题词的邻居实体以及该邻居实体的邻居实体；
图嵌入匹配模型包括依次连接的长短期记忆网络LSTM网络、GCN网络、以及Sinkhorn网络。
优选地，步骤(3)中的图嵌入匹配模型是通过以下步骤训练得到的：
(3-1)获取P对问题-答案数据构成的训练集和K对问题-答案数据构成的测试集，分别对训练集和测试集执行上述进步骤(1)和步骤(2)的处理，以得到P对训练用查询图与训练主题图，以及K对测试用查询图与测试用主题图；其中P和K均为自然数，且P和K的比例是4:1。
(3-2)获取步骤(3-1)得到的P个训练用查询图中每张训练用查询图对应的所有实体、实体之间的关系，将每张训练用查询图对应的每个实体和每个关系输入到已训练好的公共词向量GloVe模型中，以得到每个实体和每个关系中每个单词的词向量(其是d维)，一个实体中所有单词的词向量构成该实体对应的一个C×d维实体单词词向量矩阵
Figure RE-GDA0002986123730000041
其中C表示实体中的单词数目；一个关系中所有单词的词向量构成该关系对应的一个B×d 维关系单词词向量矩阵
Figure RE-GDA0002986123730000042
其中B表示关系中的单词数目，d＝300；
(3-3)将一个实体对应的实体单词词向量矩阵
Figure RE-GDA0002986123730000043
输入到LSTM网络中，以得到该实体的1×d维实体词向量Ew，构成N×d维实体词向量矩阵 ZE，其中N表示训练用查询图中的实体数目；将一个关系对应的关系单词词向量矩阵
Figure RE-GDA0002986123730000044
输入到LSTM网络中，以得到该关系的1×d维关系词向量Rw，构成L×d维关系词向量矩阵ZR,其中L表示训练用查询图的关系数目；将获取的实体词向量矩阵ZE和关系词向量矩阵ZR，进行拼接处理，以得到 (N+L)×d维的词向量矩阵Z，依据训练用查询图中实体与实体间的邻接关系、以及实体与关系间的连接关系进行计算，以得到(N+L)×(N+L) 维邻接矩阵A，将获取的词向量矩阵Z以及邻接矩阵A同时输入到GCN中，以得到训练用查询图的实体特征向量矩阵
Figure RE-GDA0002986123730000045
(3-4)获取步骤(3-1)得到的P个训练用主题图中每张训练用主题图对应的所有实体、实体之间的关系，将每张训练用主题图对应的每个实体和每个关系输入到已训练好的公共词向量GloVe模型中，以得到每个实体和每个关系中每个单词的词向量(其是d维)，一个实体中所有单词的词向量构成该实体对应的一个C×d维实体单词词向量矩阵
Figure RE-GDA0002986123730000046
其中C表示实体中的单词数目；一个关系中所有单词的词向量构成该关系对应的一个B×d 维关系单词词向量矩阵
Figure RE-GDA0002986123730000047
其中B表示关系中的单词数目，d＝300；
(3-5)将一个实体对应的实体单词词向量矩阵
Figure RE-GDA0002986123730000051
输入到LSTM网络中，以得到该实体的1×d维实体词向量Ew，构成M×d维实体词向量矩阵 ZE，其中M表示训练用主题图的实体数目；将一个关系对应的关系单词词向量矩阵
Figure RE-GDA0002986123730000052
输入到LSTM网络中，以得到该关系的1×d维关系词向量Rw，构成I×d维关系词向量矩阵ZR,其中L表示训练用主题图的关系数目；将获取的实体词向量矩阵ZE和关系词向量矩阵ZR，进行拼接处理，以得到(M+I) ×d维的词向量矩阵Z。依据训练用主题图中实体与实体间的邻接关系，以及实体与关系间的连接关系进行计算，以得到(M+I)×(M+I)维邻接矩阵A，将获取的词向量矩阵Z以及邻接矩阵A同时输入到GCN中，以获得训练用主题图的实体特征向量矩阵
Figure RE-GDA0002986123730000053
(3-6)根据步骤(3-3)得到的训练用查询图N×d维实体特征向量矩阵和根据步骤(3-5)得到的训练用主题图M×d维实体特征向量矩阵，计算训练用查询图与训练用主题图中各个实体间的相似度，以得到相似度矩阵S。
(3-7)使用Sinkhorn网络对步骤(3-6)得到的N×M维相似度矩阵S，进行列归一化，以得到问句p的预测匹配矩阵S*；
(3-8)根据步骤(3-7)得到的问句p预测匹配矩阵S*，并使用交叉熵损失函数L对图嵌入匹配模型进行迭代训练，直到该图嵌入匹配模型收敛为止，以得到训练好的图嵌入匹配模型和预测答案y。
(3-9)根据步骤(3-1)得到的K对问答-答案数据构成的测试集对训练好的模型进行验证，直到得到的匹配精度达到最优为止，从而得到训练好的图嵌入匹配模型。
优选地，步骤(3-2)具体为：
首先，将C×d维实体单词词向量矩阵
Figure RE-GDA0002986123730000054
输入到LSTM网络中，以从该网络的输出层中得到训练用查询图中每个实体e∈{e1,e2...,en}的1×d维词特征向量Ew：
Ew＝Flstm(e,θlstm)
其中，Flstm表示LSTM网络，θlstm表示LSTM网络的参数。
同时，将B×d维关系单词词向量矩阵
Figure RE-GDA0002986123730000061
输入到LSTM网络中，以从该网络的输出层中得到训练用查询图中每个关系r∈{r1,r2...,rn}的1×d维词特征向量Rw：
Rw＝Flstm(r,θlstm)
其中，Flstm表示LSTM网络，θlstm表示LSTM网络的参数。
然后，将以上所有实体词特征向量拼接，构成N×d维实体词向量矩阵 ZE，其中N为训练用查询图中实体的数目；关系词特征向量结合，构成L×d 维关系词向量矩阵ZR，其中L表示训练用查询图的关系数目。
随后，依据训练用查询图中实体i与实体j之间的邻接关系，得到矩阵Aij：
Figure RE-GDA0002986123730000062
依据训练用查询图中实体p与关系k之间的连接关系，得到矩阵Apk：
Figure RE-GDA0002986123730000063
从而整体构成(N+L)×(N+L)维邻接矩阵A。
然后，将L×d维关系词向量矩阵ZR与N×d维实体词向量矩阵ZE进行拼接处理，以得到(N+L)×d维的词向量矩阵Z。
随后，将邻接矩阵A与词向量矩阵Z同时输入GCN网络中，以获取 GCN网络中第l+1层的词向量矩阵Zl+1，其中l＝0，最终得到的词向量矩阵 Z1就是所有实体与关系的(N+L)×d维特征向量矩阵，其中前N×d维特征向量矩阵，也即为实体特征向量矩阵
Figure RE-GDA0002986123730000064
Figure RE-GDA0002986123730000065
其中，Zl，Ul和fl分别表示GCN网络中第l层的输入特征矩阵、第l 层的权重矩阵、以及第l层的非线性激活函数，Z0＝Z，
Figure RE-GDA0002986123730000071
表示最终的邻接矩阵A的标准化版本，其计算过程如下：
Figure RE-GDA0002986123730000072
其中，
Figure RE-GDA0002986123730000073
IC是单位矩阵，
Figure RE-GDA0002986123730000074
是顶点度数的对角矩阵且满足
Figure RE-GDA0002986123730000075
其中，i表示矩阵
Figure RE-GDA0002986123730000076
的行序号，j表示矩阵
Figure RE-GDA0002986123730000077
的列序号，
Figure RE-GDA0002986123730000078
表示矩阵
Figure RE-GDA0002986123730000079
的对角元素值。
优选地，步骤(3-6)中的相似度矩阵S为N×M维，并且是通过以下公式得到的：
Figure RE-GDA00029861237300000710
优选地，步骤(3-7)具体为，首先，将N×M维相似度矩阵S输入Sinkhorn网络，以获取Sinkhorn中第k层的列行归一化后的矩阵Sk，其中k＝1，其计算过程如下：
Figure RE-GDA00029861237300000711
Figure RE-GDA00029861237300000712
其中，S0＝S，
Figure RE-GDA00029861237300000713
表示按元素除，11T表示N×N维方阵，其元素全为1。
优选地，步骤(3-8)中的交叉熵损失函数L为：
Figure RE-GDA00029861237300000714
其中，p∈P表示是训练集P中的一条训练数据，S*表示问句p的预测匹配矩阵，
Figure RE-GDA00029861237300000715
表示真实匹配矩阵，Qe表示一张训练集查询图的实体集合，Te 表示一张训练集主题图的实体集合，疑问词实体匹配的结果即为预测答案y。
按照本发明的另一方面，提供了一种基于图神经网络嵌入匹配的知识图谱问答系统，包括：
第一模块，用于获取来自用户的问句，使用命名实体识别工具对该问句进行处理，以获得该问句中的实体，并利用句法分析工具对问句进行处理，以获得该问句对应的查询图和主题词；
第二模块，用于利用实体近义词字典对第一模块得到的主题词进行实体链接处理，以得到知识图谱中的主题词，并将知识图谱中的主题词输入知识图谱进行检索，以得到主题图；
第三模块，用于根据第二模块得到的主题图、以及第一模块得到的查询图输入训练好的图嵌入匹配模型中，以得到问句的答案。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明由于采用了步骤(1)，其从问句句法结构出发，得到一张确定的查询图，不用使用预先设定的模板，因此能够解决现有语义解析方法其模板并不能完全适用所有的自然语言问句的技术问题；
(2)本发明由于采用了步骤(1)和步骤(3-2)，其从问句句法结构出发，生成一张确定的查询图并用图嵌入匹配模型学习到完整的语义特征，因此能够解决现有语义解析方法对于语义相似的模糊查找能力较弱，并会生成众多不必要的查询语句，进而导致查询效率低下的技术问题；
(3)本发明由于采用了步骤(3-2)和步骤(3-3)，其使用图卷积网络对查询图和主题图进行嵌入，使图中节点能从图的角度学习到完整的语义特征，因此能够解决现有信息检索方法由于单纯从单向序列结构的角度进行分析，导致不能够学习到完整的语义特征，进而导致查询准确性较低的技术问题；
(4)本发明技术方案查询效率快，精度高。能够充分满足用户的查询需求。
附图说明
图1是本发明基于图神经网络嵌入匹配的知识图谱问答方法的流程示意图；
图2是本发明基于图神经网络嵌入匹配的知识图谱问答方法的细化流程示意图；
图3是本发明基于图神经网络嵌入匹配的知识图谱问答方法系统的结构框图；
图4是本发明计算机设备的内部结构图。
图5是本发明图嵌入匹配网络模型的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基本思路在于，提供一种高效精准的问答系统。它能够获取问句中实体的语义特征，近义词应有相似的语义特征，通过图嵌入匹配方式，使实体得到了的邻居特征，通过匹配相似的特征向量，即可找到查询结果，这样避免了语义解析中生成众多，相似但不必要查询语句的缺点提高了查询效率。由于从图嵌入角度进行特征提取，相对于从单向序列结构提取特征的信息检索方法，提高了查询准确性。
如图1和图2所示，本发明提供了一种基于图神经网络嵌入匹配的知识图谱问答方法，包括以下步骤：
(1)获取来自用户的问句(其是自然语言的问句，例如“北京是哪里的首都？”)，使用命名实体识别工具对该问句进行处理，以获得该问句中的实体，并利用句法分析工具对问句进行处理，以获得该问句对应的查询图和主题词；
本步骤具体包括以下步骤：
(1-1)获取来自用户的问句，使用命名实体识别工具获取该问句中的所有实体。
具体而言，本步骤中的命名实体识别工具是例如nltk、spacy以及 StanfordcoreNLP；实体一般表示为词组。
(1-2)使用句法分析工具对步骤(1-1)得到的问句进行处理，以得到问句的句法依存树；
具体而言，本步骤中的句法分析工具是斯坦福解析器(Stanford Parser)；问句的句法依存树表示的是问句中每个词之间的依存关系。
(1-3)使用句法分析工具对问句进行处理，以得到问句中每个词的词性；
具体而言，本步骤中的句法分析工具是斯坦福解析器(Stanford Parser)；词性是诸如名词、动词、代词、疑问词、分词、根词等。
(1-4)根据步骤(1-1)得到的实体、以及步骤(1-3)得到的问句中每个词的词性去除问句中的所有分词，并根据步骤(1-2)得到的该问句的句法依存树对去除了所有分词后的问句进行处理，以得到该问句中实体间的关系。
具体而言，关系一般表示为词组，其意义是两个实体之间事实的联系。对于三元组而言，其中实体的头尾关系，是根据问句的句法依存关系决定，一般来说尾实体依存于头实体。
(1-5)根据步骤(1-1)得到的实体、步骤(1-4)得到的该问句中实体间的关系、以及步骤(1-2)得到的句法依存树，获取该问句对应的一个查询图；
具体而言，查询图的存储格式为三元组，形如<头实体，关系，尾实体>。
例如，对于问句“北京是哪里的首都？”而言，其查询图为<“哪里”，首都，北京>。
(1-6)对步骤(1-5)得到的查询图进行解析，以得到主题词；
具体而言，主题词为实体，在查询图中，一个相对于其他实体而言拥有更多邻居实体的实体就是主题词。
例如，对于查询图“<美国，科学家，爱因斯坦>，<爱因斯坦，妻子，“谁”>”而言，其主题词为“爱因斯坦”。
(2)利用实体近义词字典对步骤(1)得到的主题词进行实体链接处理，以得到知识图谱中的主题词，并将知识图谱中的主题词输入知识图谱进行检索，以得到主题图。
本步骤具体包括以下步骤：
(2-1)利用实体近义词字典对步骤(1)得到的主题词进行实体链接处理，以得到知识图谱中的主题词。
具体而言，本步骤中的实体近义词字典是公开的实体近义词字典，诸如CrossWikis字典。
(2-2)利用步骤(2-1)得到知识图谱中的主题词，在已有的知识图谱中进行检索，以得到主题词周围两跳内的实体，以及实体之间的关系。
具体而言，本步骤中的知识图谱是公开的知识图谱，诸如Freebase以及DBpedia。
(2-3)根据步骤(2-2)得到的主题词周围两跳内的实体、实体之间的关系、以及步骤(2-1)得到的主题词构建子图作为主题图。
具体而言，主题词周围两跳内的实体是指，主题词的邻居实体以及该邻居实体的邻居实体，二者分别表示为，<主题词，关系，邻居>，<邻居，关系，邻居的邻居>。
(3)根据步骤(2)得到的主题图、以及步骤(1)得到的查询图输入训练好的图嵌入匹配模型中，以得到问句的答案。
本发明的图嵌入匹配模型包括依次连接的长短期记忆网络(Long Short- TermMemory，简称LSTM)网络、图卷积(Graph convolution Network，简称GCN)网络、以及Sinkhorn网络。
具体而言，本步骤中的图嵌入匹配模型是通过以下步骤训练得到的：
(3-1)获取P对问题-答案数据构成的训练集和K对问题-答案数据构成的测试集，分别对训练集和测试集执行上述进步骤(1)和步骤(2)的处理，以得到P对训练用查询图与训练主题图，以及K对测试用查询图与测试用主题图；其中P和K均为自然数，且P和K的比例是4:1。
具体而言，本步骤获取的问题-答案数据是来自例如WebQuestions数据集、Complex Questions数据集，GraphQuestions数据集等。
(3-2)获取步骤(3-1)得到的P个训练用查询图中每张训练用查询图对应的所有实体、实体之间的关系(其过程和上述步骤(2-2)完全相同，在此不再赘述)，将每张训练用查询图对应的每个实体和每个关系输入到已训练好的公共词向量GloVe模型中，以得到每个实体和每个关系中每个单词的词向量(其是d维)，一个实体中所有单词的词向量构成该实体对应的一个C×d维实体单词词向量矩阵
Figure RE-GDA0002986123730000121
其中C表示实体中的单词数目；一个关系中所有单词的词向量构成该关系对应的一个B×d维关系单词词向量矩阵
Figure RE-GDA0002986123730000122
其中B表示关系中的单词数目，d＝300；
(3-3)将一个实体对应的实体单词词向量矩阵
Figure RE-GDA0002986123730000123
输入到LSTM网络中，以得到该实体的1×d维实体词向量Ew，构成N×d维实体词向量矩阵 ZE，其中N表示训练用查询图中的实体数目；将一个关系对应的关系单词词向量矩阵
Figure RE-GDA0002986123730000124
输入到LSTM网络中，以得到该关系的1×d维关系词向量 Rw，构成L×d维关系词向量矩阵ZR,其中L表示训练用查询图的关系数目；将获取的实体词向量矩阵ZE和关系词向量矩阵ZR，进行拼接处理，以得到 (N+L)×d维的词向量矩阵Z，依据训练用查询图中实体与实体间的邻接关系、以及实体与关系间的连接关系进行计算，以得到(N+L)×(N+L) 维邻接矩阵A，将获取的词向量矩阵Z以及邻接矩阵A同时输入到GCN中，以得到训练用查询图的实体特征向量矩阵
Figure RE-GDA0002986123730000125
步骤(3-3)具体为：
首先，将C×d维实体单词词向量矩阵
Figure RE-GDA0002986123730000131
输入到LSTM网络中，以从该网络的输出层中得到训练用查询图中每个实体e∈{e1,e2...,en}的1×d维词特征向量Ew：
Ew＝Flstm(e,θlstm)
其中，Flstm表示LSTM网络，θlstm表示LSTM网络的参数。
同时，将B×d维关系单词词向量矩阵
Figure RE-GDA0002986123730000132
输入到LSTM网络中，以从该网络的输出层中得到训练用查询图中每个关系r∈{r1,r2...,rn}的1×d维词特征向量Rw：
Rw＝Flstm(r,θlstm)
其中，Flstm表示LSTM网络，θlstm表示LSTM网络的参数。
然后，将以上所有实体词特征向量拼接，构成N×d维实体词向量矩阵 ZE，其中N为训练用查询图中实体的数目；关系词特征向量结合，构成L ×d维关系词向量矩阵ZR，其中L表示训练用查询图的关系数目。
随后，依据训练用查询图中实体i与实体j之间的邻接关系，得到矩阵 Aij：
Figure RE-GDA0002986123730000133
依据训练用查询图中实体p与关系k之间的连接关系，得到矩阵Apk：
Figure RE-GDA0002986123730000134
从而整体构成(N+L)×(N+L)维邻接矩阵A。
然后，将L×d维关系词向量矩阵ZR与N×d维实体词向量矩阵ZE进行拼接处理，以得到(N+L)×d维的词向量矩阵Z。
随后，将邻接矩阵A与词向量矩阵Z同时输入GCN网络中，以获取GCN网络中第l+1层的词向量矩阵Zl+1，其中l＝0，最终得到的词向量矩阵 Z1就是所有实体与关系的(N+L)×d维特征向量矩阵，其中前N×d维特征向量矩阵，也即为实体特征向量矩阵
Figure RE-GDA0002986123730000141
Figure RE-GDA0002986123730000142
其中，Zl，Ul和fl分别表示GCN网络中第l层的输入特征矩阵、第l 层的权重矩阵、以及第l层的非线性激活函数，Z0＝Z，
Figure RE-GDA0002986123730000143
表示最终的邻接矩阵A的标准化版本，其计算过程如下：
Figure RE-GDA0002986123730000144
其中，
Figure RE-GDA0002986123730000145
IC是单位矩阵，
Figure RE-GDA0002986123730000146
是顶点度数的对角矩阵且满足
Figure RE-GDA0002986123730000147
其中，i表示矩阵
Figure RE-GDA0002986123730000148
的行序号，j表示矩阵
Figure RE-GDA0002986123730000149
的列序号，
Figure RE-GDA00029861237300001410
表示矩阵
Figure RE-GDA00029861237300001411
的对角元素值。
本步骤的优点在于，首先使用词向量作为实体特征向量的初始向量，使初始向量包含语义特征，进而采用GCN网络学习图的结构特征，并将这些关系融入到实体特征向量中，因此能够保证后续匹配实体工作的准确性，相较于以往匹配方法需要实体与关系同时匹配，保证了查询的精准性，提高了查询效率。
(3-4)获取步骤(3-1)得到的P个训练用主题图中每张训练用主题图对应的所有实体、实体之间的关系(其过程和上述步骤(2-2)完全相同，在此不再赘述)，将每张训练用主题图对应的每个实体和每个关系输入到已训练好的公共词向量GloVe模型中，以得到每个实体和每个关系中每个单词的词向量(其是d维)，一个实体中所有单词的词向量构成该实体对应的一个C×d维实体单词词向量矩阵
Figure RE-GDA00029861237300001412
其中C表示实体中的单词数目；一个关系中所有单词的词向量构成该关系对应的一个B×d维关系单词词向量矩阵
Figure RE-GDA0002986123730000151
其中B表示关系中的单词数目，d＝300；
(3-5)将一个实体对应的实体单词词向量矩阵
Figure RE-GDA0002986123730000152
输入到LSTM网络中，以得到该实体的1×d维实体词向量Ew，构成M×d维实体词向量矩阵 ZE，其中M表示训练用主题图的实体数目；将一个关系对应的关系单词词向量矩阵
Figure RE-GDA0002986123730000153
输入到LSTM网络中，以得到该关系的1×d维关系词向量Rw，构成I×d维关系词向量矩阵ZR,其中L表示训练用主题图的关系数目；将获取的实体词向量矩阵ZE和关系词向量矩阵ZR，进行拼接处理，以得到 (M+I)×d维的词向量矩阵Z。依据训练用主题图中实体与实体间的邻接关系，以及实体与关系间的连接关系进行计算，以得到(M+I)×(M+I) 维邻接矩阵A，将获取的词向量矩阵Z以及邻接矩阵A同时输入到GCN中，以获得训练用主题图的实体特征向量矩阵
Figure RE-GDA0002986123730000154
具体而言，本步骤训练的模型和方法，与(3-3)步骤相同，因此不再赘述。
(3-6)根据步骤(3-3)得到的训练用查询图N×d维实体特征向量矩阵和根据步骤(3-5)得到的训练用主题图M×d维实体特征向量矩阵，计算训练用查询图与训练用主题图中各个实体间的相似度，以得到相似度矩阵S。
具体而言，本步骤中的相似度矩阵S是通过以下步骤得到的：
相似度矩阵共有N行M列，相似度矩阵表第i行表示训练用查询图中第i个实体，与训练用主题图中所有实体的余弦相似度。相似度矩阵表第j 列表示训练用主题图中第j个实体，与训练用查询图中所有实体的余弦相似度。相似度计算公式如下。
Figure RE-GDA0002986123730000155
相似度矩阵为N×M维。
(3-7)使用Sinkhorn网络对步骤(3-6)得到的N×M维相似度矩阵S，进行列归一化，以得到问句p的预测匹配矩阵S*。
步骤(3-7)具体为，首先，将N×M维相似度矩阵S输入Sinkhorn网络，以获取Sinkhorn网络中第k层的列行归一化后的矩阵Sk，其中k＝1，其计算过程如下：
Figure RE-GDA0002986123730000161
Figure RE-GDA0002986123730000162
其中，S0＝S，
Figure RE-GDA0002986123730000163
表示按元素除，11T表示N×N维方阵，其元素全为1。
(3-8)根据步骤(3-7)得到的问句p预测匹配矩阵S*，并使用交叉熵损失函数L对图嵌入匹配模型进行迭代训练，直到该图嵌入匹配模型收敛为止，以得到训练好的图嵌入匹配模型和预测答案y。
具体而言，交叉熵损失函数L为：
Figure RE-GDA0002986123730000164
其中，p∈P表示是训练集P中的一条训练数据，S*表示问句p的预测匹配矩阵，
Figure RE-GDA0002986123730000165
表示真实匹配矩阵，Qe表示一张训练集查询图的实体集合，Te 表示一张训练集主题图的实体集合，疑问词实体匹配的结果即为预测答案y。
(3-9)根据步骤(3-1)得到的K对问题-答案数据构成的测试集对训练好的模型进行验证，直到得到的匹配精度达到最优为止，从而得到训练好的图嵌入匹配模型。
如图3所示，本申请还提供了一种基于图神经网络嵌入匹配的知识图谱问答系统，包括：
问句处理模块，用于获取来自用户的问句，使用命名实体识别工具对该问句进行处理，以获得该问句中的实体，并利用句法分析工具对问句进行处理，以获得该问句对应的查询图和主题词；
信息检索模块，用于利用实体近义词字典对问句处理模块得到的主题词进行实体链接处理，以得到知识图谱中的主题词，并将知识图谱中的主题词输入知识图谱进行检索，以得到主题图；
图嵌入匹配模块，用于根据信息检索模块得到的主题图、以及问句处理模块得到的查询图输入训练好的图嵌入匹配模型中，以得到问句的答案。
关于基于图神经网络嵌入匹配的知识图谱问答系统的具体限定可以参见上文中对于基于图神经网络嵌入匹配的知识图谱问答方法的限定，在此不再赘述。上述基于图神经网络嵌入匹配的知识图谱问答系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设知识图谱数据库以及实体近义词表等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时，用于实现一种基于图神经网络嵌入匹配的知识图谱问答方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM) 或闪存。易失性存储器可包括随机存取存储器(RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM (SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，包括以下步骤：
(1)获取来自用户的问句，使用命名实体识别工具对该问句进行处理，以获得该问句中的实体，并利用句法分析工具对问句进行处理，以获得该问句对应的查询图和主题词；
(2)利用实体近义词字典对步骤(1)得到的主题词进行实体链接处理，以得到知识图谱中的主题词，并将知识图谱中的主题词输入知识图谱进行检索，以得到主题图。
(3)根据步骤(2)得到的主题图、以及步骤(1)得到的查询图输入训练好的图嵌入匹配模型中，以得到问句的答案。
2.根据权利要求1所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，步骤(1)具体包括以下子步骤：
(1-1)获取来自用户的问句，使用命名实体识别工具获取该问句中的所有实体。
(1-2)使用句法分析工具对步骤(1-1)得到的问句进行处理，以得到问句的句法依存树；
(1-3)使用句法分析工具对问句进行处理，以得到问句中每个词的词性；
(1-4)根据步骤(1-1)得到的实体、以及步骤(1-3)得到的问句中每个词的词性去除问句中的所有分词，并根据步骤(1-2)得到的该问句的句法依存树对去除了所有分词后的问句进行处理，以得到该问句中实体间的关系。
(1-5)根据步骤(1-1)得到的实体、步骤(1-4)得到的该问句中实体间的关系、以及步骤(1-2)得到的句法依存树，获取该问句对应的一个查询图；
(1-6)对步骤(1-5)得到的查询图进行解析，以得到主题词。
3.根据权利要求1或2所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，步骤(2)具体包括以下子步骤：
(2-1)利用实体近义词字典对步骤(1)得到的主题词进行实体链接处理，以得到知识图谱中的主题词。
(2-2)利用步骤(2-1)得到知识图谱中的主题词，在已有的知识图谱中进行检索，以得到主题词周围两跳内的实体，以及实体之间的关系。
(2-3)根据步骤(2-2)得到的主题词周围两跳内的实体、实体之间的关系、以及步骤(2-1)得到的主题词构建子图作为主题图。
4.根据权利要求1至3中任意一项所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，
主题词周围两跳内的实体是指主题词的邻居实体、以及该邻居实体的邻居实体；
图嵌入匹配模型包括依次连接的长短期记忆网络LSTM网络、GCN网络、以及Sinkhorn网络。
5.根据权利要求1至4中任意一项所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，步骤(3)中的图嵌入匹配模型是通过以下步骤训练得到的：
(3-1)获取P对问题-答案数据构成的训练集和K对问题-答案数据构成的测试集，分别对训练集和测试集执行上述进步骤(1)和步骤(2)的处理，以得到P对训练用查询图与训练主题图，以及K对测试用查询图与测试用主题图；其中P和K均为自然数，且P和K的比例是4:1。
(3-2)获取步骤(3-1)得到的P个训练用查询图中每张训练用查询图对应的所有实体、实体之间的关系，将每张训练用查询图对应的每个实体和每个关系输入到已训练好的公共词向量GloVe模型中，以得到每个实体和每个关系中每个单词的词向量(其是d维)，一个实体中所有单词的词向量构成该实体对应的一个C×d维实体单词词向量矩阵
Figure FDA0002876983850000031
其中C表示实体中的单词数目；一个关系中所有单词的词向量构成该关系对应的一个B×d维关系单词词向量矩阵
Figure FDA0002876983850000032
其中B表示关系中的单词数目，d＝300；
(3-3)将一个实体对应的实体单词词向量矩阵
Figure FDA0002876983850000033
输入到LSTM网络中，以得到该实体的1×d维实体词向量Ew，构成N×d维实体词向量矩阵ZE，其中N表示训练用查询图中的实体数目；将一个关系对应的关系单词词向量矩阵
Figure FDA0002876983850000034
输入到LSTM网络中，以得到该关系的1×d维关系词向量Rw，构成L×d维关系词向量矩阵ZR,其中L表示训练用查询图的关系数目；将获取的实体词向量矩阵ZE和关系词向量矩阵ZR，进行拼接处理，以得到(N+L)×d维的词向量矩阵Z，依据训练用查询图中实体与实体间的邻接关系、以及实体与关系间的连接关系进行计算，以得到(N+L)×(N+L)维邻接矩阵A，将获取的词向量矩阵Z以及邻接矩阵A同时输入到GCN中，以得到训练用查询图的实体特征向量矩阵
Figure FDA0002876983850000035
(3-4)获取步骤(3-1)得到的P个训练用主题图中每张训练用主题图对应的所有实体、实体之间的关系，将每张训练用主题图对应的每个实体和每个关系输入到已训练好的公共词向量GloVe模型中，以得到每个实体和每个关系中每个单词的词向量(其是d维)，一个实体中所有单词的词向量构成该实体对应的一个C×d维实体单词词向量矩阵
Figure FDA0002876983850000036
其中C表示实体中的单词数目；一个关系中所有单词的词向量构成该关系对应的一个B×d维关系单词词向量矩阵
Figure FDA0002876983850000037
其中B表示关系中的单词数目，d＝300；
(3-5)将一个实体对应的实体单词词向量矩阵
Figure FDA0002876983850000038
输入到LSTM网络中，以得到该实体的1×d维实体词向量Ew，构成M×d维实体词向量矩阵ZE，其中M表示训练用主题图的实体数目；将一个关系对应的关系单词词向量矩阵
Figure FDA0002876983850000039
输入到LSTM网络中，以得到该关系的1×d维关系词向量Rw，构成I×d维关系词向量矩阵ZR,其中L表示训练用主题图的关系数目；将获取的实体词向量矩阵ZE和关系词向量矩阵ZR，进行拼接处理，以得到(M+I)×d维的词向量矩阵Z。依据训练用主题图中实体与实体间的邻接关系，以及实体与关系间的连接关系进行计算，以得到(M+I)×(M+I)维邻接矩阵A，将获取的词向量矩阵Z以及邻接矩阵A同时输入到GCN中，以获得训练用主题图的实体特征向量矩阵
Figure FDA0002876983850000041
(3-6)根据步骤(3-3)得到的训练用查询图N×d维实体特征向量矩阵和根据步骤(3-5)得到的训练用主题图M×d维实体特征向量矩阵，计算训练用查询图与训练用主题图中各个实体间的相似度，以得到相似度矩阵S。
(3-7)使用Sinkhorn网络对步骤(3-6)得到的N×M维相似度矩阵S，进行列归一化，以得到问句p的预测匹配矩阵S*；
(3-8)根据步骤(3-7)得到的问句p预测匹配矩阵S*，并使用交叉熵损失函数L对图嵌入匹配模型进行迭代训练，直到该图嵌入匹配模型收敛为止，以得到训练好的图嵌入匹配模型和预测答案y。
(3-9)根据步骤(3-1)得到的K对问答-答案数据构成的测试集对训练好的模型进行验证，直到得到的匹配精度达到最优为止，从而得到训练好的图嵌入匹配模型。
6.根据权利要求5所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，步骤(3-2)具体为：
首先，将C×d维实体单词词向量矩阵
Figure FDA0002876983850000042
输入到LSTM网络中，以从该网络的输出层中得到训练用查询图中每个实体e∈{e1,e2...,en}的1×d维词特征向量Ew：
Ew＝Flstm(e,θlstm)
其中，Flstm表示LSTM网络，θlstm表示LSTM网络的参数；
同时，将B×d维关系单词词向量矩阵
Figure FDA0002876983850000043
输入到LSTM网络中，以从该网络的输出层中得到训练用查询图中每个关系r∈{r1,r2...,rn}的1×d维词特征向量Rw：
Rw＝Flstm(r,θlstm)
其中，Flstm表示LSTM网络，θlstm表示LSTM网络的参数；
然后，将以上所有实体词特征向量拼接，构成N×d维实体词向量矩阵ZE，其中N为训练用查询图中实体的数目；关系词特征向量结合，构成L×d维关系词向量矩阵ZR，其中L表示训练用查询图的关系数目。
随后，依据训练用查询图中实体i与实体j之间的邻接关系，得到矩阵Aij：
Figure FDA0002876983850000051
依据训练用查询图中实体p与关系k之间的连接关系，得到矩阵Apk：
Figure FDA0002876983850000052
从而整体构成(N+L)×(N+L)维邻接矩阵A。
然后，将L×d维关系词向量矩阵ZR与N×d维实体词向量矩阵ZE进行拼接处理，以得到(N+L)×d维的词向量矩阵Z。
随后，将邻接矩阵A与词向量矩阵Z同时输入GCN网络中，以获取GCN网络中第l+1层的词向量矩阵Zl+1，其中l＝0，最终得到的词向量矩阵Z1就是所有实体与关系的(N+L)×d维特征向量矩阵，其中前N×d维特征向量矩阵，也即为实体特征向量矩阵
Figure FDA0002876983850000053
Figure FDA0002876983850000054
其中，Zl，Ul和fl分别表示GCN网络中第l层的输入特征矩阵、第l层的权重矩阵、以及第l层的非线性激活函数，Z0＝Z，
Figure FDA0002876983850000055
表示最终的邻接矩阵A的标准化版本，其计算过程如下：
Figure FDA0002876983850000061
其中，
Figure FDA0002876983850000062
IC是单位矩阵，
Figure FDA0002876983850000063
是顶点度数的对角矩阵且满足
Figure FDA0002876983850000064
其中，i表示矩阵
Figure FDA0002876983850000065
的行序号，j表示矩阵
Figure FDA0002876983850000066
的列序号，
Figure FDA0002876983850000067
表示矩阵
Figure FDA0002876983850000068
的对角元素值。
7.根据权利要求6所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，步骤(3-6)中的相似度矩阵S为N×M维，并且是通过以下公式得到的：
Figure FDA0002876983850000069
8.根据权利要求7所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，步骤(3-7)具体为，首先，将N×M维相似度矩阵S输入Sinkhorn网络，以获取Sinkhorn网络中第k层的列行归一化后的矩阵Sk，其中k＝1，其计算过程如下：
Figure FDA00028769838500000610
Figure FDA00028769838500000611
其中，S0＝S，
Figure FDA00028769838500000612
表示按元素除，11T表示N×N维方阵，其元素全为1。
9.根据权利要求8所述的基于图神经网络嵌入匹配的知识图谱问答方法，其特征在于，步骤(3-8)中的交叉熵损失函数L为：
Figure FDA00028769838500000613
其中，p∈P表示是训练集P中的一条训练数据，S*表示问句p的预测匹配矩阵，
Figure FDA00028769838500000614
表示真实匹配矩阵，Qe表示一张训练集查询图的实体集合，Te表示一张训练集主题图的实体集合，疑问词实体匹配的结果即为预测答案y。
10.一种基于图神经网络嵌入匹配的知识图谱问答系统，其特征在于，包括：
第一模块，用于获取来自用户的问句，使用命名实体识别工具对该问句进行处理，以获得该问句中的实体，并利用句法分析工具对问句进行处理，以获得该问句对应的查询图和主题词；
第二模块，用于利用实体近义词字典对第一模块得到的主题词进行实体链接处理，以得到知识图谱中的主题词，并将知识图谱中的主题词输入知识图谱进行检索，以得到主题图；
第三模块，用于根据第二模块得到的主题图、以及第一模块得到的查询图输入训练好的图嵌入匹配模型中，以得到问句的答案。
CN202011624049.6A 2020-12-31 2020-12-31 一种基于图神经网络嵌入匹配的知识图谱问答方法和系统 Active CN112765312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011624049.6A CN112765312B (zh) 2020-12-31 2020-12-31 一种基于图神经网络嵌入匹配的知识图谱问答方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011624049.6A CN112765312B (zh) 2020-12-31 2020-12-31 一种基于图神经网络嵌入匹配的知识图谱问答方法和系统

Publications (2)

Publication Number Publication Date
CN112765312A true CN112765312A (zh) 2021-05-07
CN112765312B CN112765312B (zh) 2022-05-10

Family

ID=75698860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011624049.6A Active CN112765312B (zh) 2020-12-31 2020-12-31 一种基于图神经网络嵌入匹配的知识图谱问答方法和系统

Country Status (1)

Country Link
CN (1) CN112765312B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256262A (zh) * 2021-06-04 2021-08-13 上海明略人工智能(集团)有限公司 会议纪要的自动生成方法、系统、存储介质及电子设备
CN113268574A (zh) * 2021-05-25 2021-08-17 山东交通学院 一种基于依赖结构的图卷积网络知识库问答方法及系统
CN113282729A (zh) * 2021-06-07 2021-08-20 北京金山数字娱乐科技有限公司 基于知识图谱的问答方法及装置
CN113536795A (zh) * 2021-07-05 2021-10-22 杭州远传新业科技有限公司 实体关系抽取的方法、系统、电子装置和存储介质
CN113836286A (zh) * 2021-09-26 2021-12-24 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及系统
CN114385827A (zh) * 2021-12-29 2022-04-22 上海云思智慧信息技术有限公司 面向会议知识图谱的检索方法
WO2023025255A1 (zh) * 2021-08-27 2023-03-02 之江实验室 一种多中心医学诊断知识图谱表示学习方法及系统
CN115878790A (zh) * 2022-04-08 2023-03-31 北京中关村科金技术有限公司 一种智能问答方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933653A (zh) * 2019-01-24 2019-06-25 平安科技（深圳）有限公司 问答系统的问答查询方法、系统及计算机设备
CN111339269A (zh) * 2020-02-20 2020-06-26 来康科技有限责任公司 模板自动生成的知识图谱问答训练及应用服务系统
CN111400410A (zh) * 2020-02-28 2020-07-10 湖南大学 知识图谱的查询方法、装置、计算机设备和存储介质
CN111400478A (zh) * 2020-03-27 2020-07-10 天津大学 一种基于词嵌入匹配技术的知识图谱问答方法及装置
CN111782769A (zh) * 2020-07-01 2020-10-16 重庆邮电大学 基于关系预测的知识图谱智能问答方法
CN111930906A (zh) * 2020-07-29 2020-11-13 北京北大软件工程股份有限公司 基于语义块的知识图谱问答方法及装置
CN112100342A (zh) * 2020-08-05 2020-12-18 西北工业大学 一种基于知识表示学习技术的知识图谱问答方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933653A (zh) * 2019-01-24 2019-06-25 平安科技（深圳）有限公司 问答系统的问答查询方法、系统及计算机设备
CN111339269A (zh) * 2020-02-20 2020-06-26 来康科技有限责任公司 模板自动生成的知识图谱问答训练及应用服务系统
CN111400410A (zh) * 2020-02-28 2020-07-10 湖南大学 知识图谱的查询方法、装置、计算机设备和存储介质
CN111400478A (zh) * 2020-03-27 2020-07-10 天津大学 一种基于词嵌入匹配技术的知识图谱问答方法及装置
CN111782769A (zh) * 2020-07-01 2020-10-16 重庆邮电大学 基于关系预测的知识图谱智能问答方法
CN111930906A (zh) * 2020-07-29 2020-11-13 北京北大软件工程股份有限公司 基于语义块的知识图谱问答方法及装置
CN112100342A (zh) * 2020-08-05 2020-12-18 西北工业大学 一种基于知识表示学习技术的知识图谱问答方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAO HUANG等: ""Knowledge Graph Embedding Based Question Answering"", 《PROCEEDINGS OF THE TWELFTH ACM INTERNATIONAL CONFERENCE ON WEB SEARCH AND DATA MINING》 *
王智悦等: ""基于知识图谱的智能问答研究综述"", 《计算机工程与应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268574A (zh) * 2021-05-25 2021-08-17 山东交通学院 一种基于依赖结构的图卷积网络知识库问答方法及系统
CN113268574B (zh) * 2021-05-25 2022-12-20 山东交通学院 一种基于依赖结构的图卷积网络知识库问答方法及系统
CN113256262A (zh) * 2021-06-04 2021-08-13 上海明略人工智能(集团)有限公司 会议纪要的自动生成方法、系统、存储介质及电子设备
CN113282729A (zh) * 2021-06-07 2021-08-20 北京金山数字娱乐科技有限公司 基于知识图谱的问答方法及装置
CN113536795A (zh) * 2021-07-05 2021-10-22 杭州远传新业科技有限公司 实体关系抽取的方法、系统、电子装置和存储介质
WO2023025255A1 (zh) * 2021-08-27 2023-03-02 之江实验室 一种多中心医学诊断知识图谱表示学习方法及系统
CN113836286A (zh) * 2021-09-26 2021-12-24 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及系统
CN113836286B (zh) * 2021-09-26 2024-04-05 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及系统
CN114385827A (zh) * 2021-12-29 2022-04-22 上海云思智慧信息技术有限公司 面向会议知识图谱的检索方法
CN115878790A (zh) * 2022-04-08 2023-03-31 北京中关村科金技术有限公司 一种智能问答方法、装置、存储介质及电子设备
CN115878790B (zh) * 2022-04-08 2023-08-25 北京中关村科金技术有限公司 一种智能问答方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112765312B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN112765312B (zh) 一种基于图神经网络嵌入匹配的知识图谱问答方法和系统
CN111353310B (zh) 基于人工智能的命名实体识别方法、装置及电子设备
CN111259653B (zh) 基于实体关系消歧的知识图谱问答方法、系统以及终端
US11176328B2 (en) Non-factoid question-answering device
CN111159416B (zh) 语言任务模型训练方法、装置、电子设备及存储介质
US10133729B2 (en) Semantically-relevant discovery of solutions
US11227128B2 (en) Linguistically rich cross-lingual text event embeddings
WO2017092380A1 (zh) 用于人机对话的方法、神经网络系统和用户设备
CN111008293A (zh) 基于结构化语义表示的视觉问答方法
CN110378489B (zh) 基于实体超平面投影的知识表示学习模型
US20150066476A1 (en) Methods and Systems of Four Valued Analogical Transformation Operators Used in Natural Language Processing and Other Applications
WO2023137911A1 (zh) 基于小样本语料的意图分类方法、装置及计算机设备
CN112015868A (zh) 基于知识图谱补全的问答方法
CN111339269A (zh) 模板自动生成的知识图谱问答训练及应用服务系统
CN111897944A (zh) 基于语义空间共享的知识图谱问答系统
CN112925904A (zh) 一种基于Tucker分解的轻量级文本分类方法
CN112307048A (zh) 语义匹配模型训练方法、匹配方法、装置、设备及存储介质
CN117540063A (zh) 一种基于问题生成的教育领域知识库搜索优化方法和装置
CN117290478A (zh) 一种知识图谱问答方法、装置、设备和存储介质
CN109977194B (zh) 基于无监督学习的文本相似度计算方法、系统、设备及介质
CN111581365A (zh) 一种谓词抽取方法
CN114386425B (zh) 用于对自然语言文本内容进行处理的大数据体系建立方法
Fu et al. Robot for mathematics college entrance examination
CN113761151A (zh) 同义词挖掘、问答方法、装置、计算机设备和存储介质
CN112966122A (zh) 语料意图识别方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant