CN114637819A - 一种基于时序知识图谱的复杂问答查询方法和装置 - Google Patents

一种基于时序知识图谱的复杂问答查询方法和装置 Download PDF

Info

Publication number
CN114637819A
CN114637819A CN202210146333.XA CN202210146333A CN114637819A CN 114637819 A CN114637819 A CN 114637819A CN 202210146333 A CN202210146333 A CN 202210146333A CN 114637819 A CN114637819 A CN 114637819A
Authority
CN
China
Prior art keywords
time
embedding
model
question
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210146333.XA
Other languages
English (en)
Inventor
鄂海红
宋美娜
许友日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210146333.XA priority Critical patent/CN114637819A/zh
Priority to PCT/CN2022/086924 priority patent/WO2023155287A1/zh
Publication of CN114637819A publication Critical patent/CN114637819A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于时序知识图谱的复杂问答查询方法和装置，其中，该方法包括：获取时序问题并将时序问题输入训练好的问答系统模型；其中，问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；利用时序知识嵌入模型获取时序问题中的实体嵌入和时间嵌入，并利用嵌入提取模型获取时序问题的潜在嵌入；以及利用时间变化模型将时间嵌入变换到时序问题的目标时间下；使用答案评分模型对实体嵌入的实体和目标时间进行评分，并输出得分最高的实体或时间作为时序问题的答案。本发明将潜在的嵌入变换到问题的目标时间，能够提升复杂时序问题的处理能力，并简化复杂问题的处理过程。

Description

一种基于时序知识图谱的复杂问答查询方法和装置
技术领域
本发明涉及信息技术及数据业务技术领域，尤其涉及一种基于时序知识图谱的复杂问答查询方法和装置。
背景技术
时序知识图谱是带有时间属性的结构化事件的集合，可表示为四元组的集合 G＝{(s,r,o,t)}，其中s代表头实体，o代表尾实体，r代表关系，t代表时间，如(梅西，获奖，世界足球先生，2009年)。时序知识图谱可看作一个知识库，而基于时序知识图谱构建问答系统，可让人们更容易地获取所查询的知识，即以自然语言而无需撰写专业查询语句向问答系统提问。
目前主流的时序知识图谱问答方法主要有CRONKGQA、TEQUILA、EXAQT。其中，通过利用时序知识嵌入，CRONKGQA对简单问题达到了很高的准确率，但不能很好处理含有复杂时序关系的时序问题。TEQUILA将复杂时序问题分解为子问题进行多步解答，而 EXAQT在涉及多个实体与事件的子图上进行推理。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提升复杂时序问题的处理能力，并简化复杂问题的处理过程。提出一种基于时序知识图谱的复杂问答查询方法，首先提取复杂问题中的潜在时间和实体的嵌入，然后利用与实体、关系、问题类型相关的神经网络，去推断问题中时间信息的变化，以便将潜在的嵌入变换到问题的目标时间，同时以处理简单问题的方式解决复杂问题，即使用时序图谱嵌入去回答简化后的查询，而不需要进行麻烦的多步查询或子问题分解。
本发明的另一个目的在于提出一种基于时序知识图谱的复杂问答查询装置。
为达上述目的，本发明一方面提出了基于时序知识图谱的复杂问答查询方法，包括以下步骤：
获取时序问题并将所述时序问题输入训练好的问答系统模型；其中，所述问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；利用所述时序知识嵌入模型获取所述时序问题中的实体嵌入和时间嵌入，并利用所述嵌入提取模型获取所述时序问题的潜在嵌入；以及，利用所述时间变化模型将所述时间嵌入变换到所述时序问题的目标时间下；使用所述答案评分模型对所述实体嵌入的实体和所述目标时间进行评分，并输出得分最高的实体或时间作为所述时序问题的答案。
本发明实施例的基于时序知识图谱的复杂问答查询方法，能够将潜在的嵌入变换到问题的目标时间，同时以处理简单问题的方式解决复杂问题，即使用时序图谱嵌入去回答简化后的查询，而不需要进行麻烦的多步查询或子问题分解。
另外，根据本发明上述实施例的基于时序知识图谱的复杂问答查询方法还可以具有以下附加的技术特征：
进一步地，对所述时序知识嵌入模型进行训练，包括：获取时序知识图谱并输入所述问答系统模型；使用TComplEx模型在所述时序知识图谱上训练，获得所述实体嵌入和时间嵌入；若所述TComplEx模型训练结果未达到第一预设指标，则调整所述时序知识嵌入模型超的参数，继续所述TComplEx模型在所述时序知识图谱上训练的步骤；若达到所述第一预设指标，则获取用于所述问答系统模型训练的时序问题样本。
进一步地，对所述问答系统模型进行训练，包括：将所述时序问题样本输入所述问答系统模型，并利用所述问答系统模型在所述时序问题样本上进行训练；若所述问答系统模型的训练结果未达到第二预设指标，则调整所述问答系统模型的超参数，继续所述问答系统模型在所述时序问题样本上进行训练的步骤；若达到所述第二预设指标，则结束对所述问答系统模型的训练。
进一步地，所述使用TComplEx模型在所述时序知识图谱上训练，获得所述实体嵌入和时间嵌入，包括：利用ComplEx模型分别将实体、关系和时间戳表示为复数向量，以获得任一四元组真实性的得分函数为：
Figure BDA0003509135810000021
根据所述得分函数完成TComplEx模型的训练，以获得实体嵌入、关系嵌入和时间嵌入，以及根据所述实体嵌入、关系嵌入和时间嵌入查询单个事件的能力。
进一步地，所述利用所述嵌入提取模型获取所述时序问题的潜在嵌入，包括：使用DistilBert模型编码时序问题q，利用DistilBert模型最后一个隐层状态和全连接层FFN表示提取时序问题q的表示为如下关系：
hq＝FFN(DistilBert(q))
每个时序问题q至少标注一个实体s，使用知识图谱嵌入表示s的嵌入为es＝us，使用所述全连接层FFN提取关系表示er＝FFNr(hq)，若时序问题q的目标时间和目标尾实体缺失，则使用2个全连接层FFN分别提取潜在时间和尾实体的嵌入：
etime＝FFN(hq)，eo＝FFN(hq)
进一步地，所述利用所述时间变化模型将所述时间嵌入变换到所述时序问题的目标时间下，包括：拼接四个实体、关系和时间的潜在嵌入，并送入全连接层FFN：
Figure BDA0003509135810000031
与时序问题q的隐层状态表示拼接后送入全连接层FFN：
Figure BDA0003509135810000032
将潜在的时序嵌入变换为目标时间嵌入:
Figure BDA0003509135810000033
其中，
Figure BDA0003509135810000034
代表对应元素相乘。
进一步地，所述使用所述答案评分模型对所述实体嵌入的实体和所述目标时间进行评分，并输出得分最高的实体或时间作为所述时序问题的答案，包括：基于实体或时间为时序问题的答案，使用两个全连接层FFN分别提取两个关系表示
Figure BDA0003509135810000035
和
Figure BDA0003509135810000036
使用TComplex模型的得分函数和变换后的嵌入，衡量所述时序问题答案的得分：
Figure BDA0003509135810000037
衡量每个时间t为时序问题答案的得分函数为：
Figure BDA0003509135810000038
将所有实体的得分与所有时间的得分拼接后，送入softmax函数后得到归一化的概率，以输出得分最高的实体或时间作为答案。
为达到上述目的，本发明另一方面提出了一种基于时序知识图谱的复杂问答查询装置，包括：
输入模块，用于获取时序问题并将所述时序问题输入训练好的问答系统模型；其中，所述问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；提取模块，用于利用所述时序知识嵌入模型获取所述时序问题中的实体嵌入和时间嵌入，并利用所述嵌入提取模型获取所述时序问题的潜在嵌入；以及，利用所述时间变化模型将所述时间嵌入变换到所述时序问题的目标时间下；输出模块，用于使用所述答案评分模型对所述实体嵌入的实体和所述目标时间进行评分，并输出得分最高的实体或时间作为所述时序问题的答案。
本发明实施例的基于时序知识图谱的复杂问答查询装置，能够将潜在的嵌入变换到问题的目标时间，同时以处理简单问题的方式解决复杂问题，即使用时序图谱嵌入去回答简化后的查询，而不需要进行麻烦的多步查询或子问题分解。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于时序知识图谱的复杂问答查询方法的流程图；
图2为根据本发明实施例的基于时序知识图谱的复杂问答系统框架图；
图3为根据本发明实施例的问答系统的模型结构图；
图4为根据本发明实施例的问答系统的训练流程图；
图5为根据本发明实施例的问答系统的使用流程图；
图6为根据本发明实施例的基于时序知识图谱的复杂问答查询装置结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的基于时序知识图谱的复杂问答查询方法及装置，首先将参照附图描述根据本发明实施例提出的基于时序知识图谱的复杂问答查询方法。
图1是本发明一个实施例的基于时序知识图谱的复杂问答查询方法的流程图。
如图1所示，该基于时序知识图谱的复杂问答查询方法包括以下步骤：
步骤S1，获取时序问题并将时序问题输入训练好的问答系统模型；其中，问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型。
步骤S2，利用时序知识嵌入模型获取时序问题中的实体嵌入和时间嵌入，并利用嵌入提取模型获取时序问题的潜在嵌入；以及，利用时间变化模型将时间嵌入变换到时序问题的目标时间下。
步骤S3，使用答案评分模型对实体嵌入的实体和目标时间进行评分，并输出得分最高的实体或时间作为时序问题的答案。
下面结合附图对本发明实施例做进一步阐述。
具体地，时序知识图谱定义为G＝{(s,r,o,t)}，给定一个问题集，每个问题的答案是实体或时间。问题可是简单事实的查询，也可以是复杂问题(蕴含时序关系如Time join、Before/After、First/After)，具体的问题类型及示例如表1所示。任务是给定了实体链接后的问题后，使用时序知识图谱G去回答自然语言问题。
表1复杂时序问题类型及示例
Figure BDA0003509135810000051
进一步地，如图2所示，该框架的思想是先提取问题的潜在时间嵌入，然后基于实体、关系、时间和问题所提供的信息，将潜在时间变换到目标时间下，从而将复杂问题转化为简单问题，然后利用时序知识图谱嵌入去回答查询。该框架主要由4个模块组成：(1)时序知识图谱嵌入模块；(2)嵌入提取模块；(3)时间变换模块；(4)答案评分模块。该4 个模块的功能如下：
时序知识图谱补嵌入模块，负责学习时序知识图谱的所有事实，将实体、关系、时间表示为嵌入向量的形式，然后利用得分函数f(s,r,o,t)评估某四元组(s,r,o,t)的真实性。基于该模块，进行简单查询(如(s,r,？,t)或(s,r,o,？))。
嵌入提取模块，负责解析时序问题，提取问题中潜在的关系(即所查询的事件类型) 和潜在的时间嵌入。
时间变换模块，负责利用与实体、关系、时间、问题相关的神经网络，去推断问题中时间信息的变化，以便将潜在的嵌入变换到问题的目标时间，以将复杂问题转化为简单问题。
答案评分模块，基于实体、关系、时间嵌入，对四元组进行评分，将评分最高的实体或时间作为最终答案。
则该问答系统模型结构图如图3所示。
作为一种示例，TComplEx是一个代表性的时序知识图谱嵌入模型，是静态知识图谱嵌入模型ComplEx在时序知识图谱上的扩展。ComplEx将实体、关系表示为复数向量。TComplEx将时间戳也表示为复数向量，然后它将衡量某四元组(s,r,o,t)真实性的得分函数定义为：
Figure BDA0003509135810000061
在完成TComplEx的训练后，获得了实体、关系、时间戳的嵌入，以及根据这些嵌入去查询单个事件((s,r,？,t)或(s,r,o,？))的能力。
由于本发明只是利用时序知识图谱嵌入模型去得到每个实体、关系、时间戳的嵌入，以及用于评估四元组的真实性，因此，其他时序知识图谱嵌入模型如TimePlex也可以用于本发明。
潜在嵌入的变换应与实体、关系、时间相关。因此，首先拼接4个潜在嵌入，然后送入一个全连接网络：
Figure BDA0003509135810000062
此外，变换应与问题的时序关系类型(Before，After，First，Last，Time_join)相关，该信息蕴含在问题的隐层状态表示中。于是，继续与问题的隐层状态表示拼接后送入全连接网络：
Figure BDA0003509135810000063
然后，将潜在的时序嵌入变换为目标时间嵌入:
Figure BDA0003509135810000064
其中
Figure BDA0003509135810000065
代表对应元素相乘。
作为一种示例，使用时序知识图谱嵌入模型去回答查询。一个时序问题的答案可以是实体或时间，使用两个全连接层去分别提取两个关系表示
Figure BDA0003509135810000066
和
Figure BDA0003509135810000067
直接使用TComplex 的得分函数，和变换后的嵌入，衡量每个实体entity为问题答案的得分：
Figure BDA0003509135810000068
用于衡量每个时间t为问题答案的得分函数为
Figure BDA0003509135810000069
然后，将所有实体的得分与所有时间的得分拼接后，送入softmax函数后得到归一化的概率，最终的损失函数为交叉熵的多分类损失函数。
进一步地，问答系统模型的训练流程如图4所示，具体的步骤如下所述：
(1)获取时序知识图谱并上传至问答系统；
(2)使用TComplEx模型在时序知识图谱上训练，获得每个实体、关系、时间戳的嵌入；
(3)若TComplEx模型训练结果未达到预期指标，则调整超参数，回到步骤(2)；
(4)若TComplEx模型训练结果达到预期指标，则输入用于训练的时序问答集合；
(5)利用图3所示问答系统模型在问答集合上训练；
(6)若模型训练结果未达到预期指标，则调整超参数，回到步骤(5)；
(7)若模型训练结果达到预期指标，则训练流程结束。
进一步地，问答系统模型的使用流程如图5所示：
(1)输入自然语言时序问题；
(2)利用时序知识嵌入模块获取问题中的实体嵌入和时间嵌入，并用嵌入提取模块获取问题的潜在嵌入；
(3)利用时间变化模块对时间嵌入进行变换，将其变换到问题的目标时间下；
(4)使用答案评分模块对候选实体和时间评分；
(5)输出得分最高的实体或时间作为最终答案，流程结束。
根据本发明实施例的基于时序知识图谱的复杂问答查询方法，通过获取时序问题并将时序问题输入训练好的问答系统模型；其中，问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；利用时序知识嵌入模型获取时序问题中的实体嵌入和时间嵌入，并利用嵌入提取模型获取时序问题的潜在嵌入；以及利用时间变化模型将时间嵌入变换到时序问题的目标时间下；使用答案评分模型对实体嵌入的实体和目标时间进行评分，并输出得分最高的实体或时间作为时序问题的答案。本发明将潜在的嵌入变换到问题的目标时间，能够提升复杂时序问题的处理能力，并简化复杂问题的处理过程。
需要说明的是，基于时序知识图谱的复杂问答查询方法实现方式有多种，但无论具体的实现方法如何，只要方法解决了复杂时序问题的处理能力，都是针对现有技术问题的解决，并具有相应的效果。
为了实现上述实施例，如图6所示，本实施例中还提供了一种基于时序知识图谱的复杂问答查询装置10，该装置10包括：输入模块100、提取模块200和输出模块300。
输入模块100，用于获取时序问题并将时序问题输入训练好的问答系统模型；其中，问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；
提取模块200，用于利用时序知识嵌入模型获取时序问题中的实体嵌入和时间嵌入，并利用嵌入提取模型获取时序问题的潜在嵌入；以及，利用时间变化模型将时间嵌入变换到时序问题的目标时间下；
输出模块300，用于使用答案评分模型对实体嵌入的实体和目标时间进行评分，并输出得分最高的实体或时间作为时序问题的答案。
进一步地，该装置10还包括，第一训练模块，包括：
第一获取模块，用于获取时序知识图谱并输入问答系统模型；
第一训练子模块，用于使用TComplEx模型在时序知识图谱上训练，获得实体嵌入和时间嵌入；
第二训练子模块，用于若TComplEx模型训练结果未达到第一预设指标，则调整时序知识嵌入模型超的参数，继续第一训练子模块；
第三训练子模块，用于若达到第一预设指标，则获取用于问答系统模型训练的时序问题样本。
进一步地，该装置10还包括，第二训练模块，包括：
第四训练子模块，用于将时序问题样本输入问答系统模型，并利用问答系统模型在所述时序问题样本上进行训练；
第五训练子模块，用于若问答系统模型的训练结果未达到第二预设指标，则调整问答系统模型的超参数，继续第四训练子模块；
第六训练子模块，用于若达到第二预设指标，则结束对问答系统模型的训练。
根据本发明实施例的基于时序知识图谱的复杂问答查询装置，通过获取时序问题并将时序问题输入训练好的问答系统模型；其中，问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；利用时序知识嵌入模型获取时序问题中的实体嵌入和时间嵌入，并利用嵌入提取模型获取时序问题的潜在嵌入；以及利用时间变化模型将时间嵌入变换到时序问题的目标时间下；使用答案评分模型对实体嵌入的实体和目标时间进行评分，并输出得分最高的实体或时间作为时序问题的答案。本发明将潜在的嵌入变换到问题的目标时间，能够提升复杂时序问题的处理能力，并简化复杂问题的处理过程。
需要说明的是，前述对基于时序知识图谱的复杂问答查询方法实施例的解释说明也适用于该实施例的基于时序知识图谱的复杂问答查询装置，此处不再赘述。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于时序知识图谱的复杂问答查询方法，其特征在于，包括以下步骤：
获取时序问题并将所述时序问题输入训练好的问答系统模型；其中，所述问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；
利用所述时序知识嵌入模型获取所述时序问题中的实体嵌入和时间嵌入，并利用所述嵌入提取模型获取所述时序问题的潜在嵌入；以及，利用所述时间变化模型将所述时间嵌入变换到所述时序问题的目标时间下；
使用所述答案评分模型对所述实体嵌入的实体和所述目标时间进行评分，并输出得分最高的实体或时间作为所述时序问题的答案。
2.根据权利要求1所述的方法，其特征在于，对所述时序知识嵌入模型进行训练，包括：
获取时序知识图谱并输入所述问答系统模型；
使用TComplEx模型在所述时序知识图谱上训练，获得所述实体嵌入和时间嵌入；
若所述TComplEx模型训练结果未达到第一预设指标，则调整所述时序知识嵌入模型超的参数，继续所述TComplEx模型在所述时序知识图谱上训练的步骤；
若达到所述第一预设指标，则获取用于所述问答系统模型训练的时序问题样本。
3.根据权利要求2所述的方法，其特征在于，对所述问答系统模型进行训练，包括：
将所述时序问题样本输入所述问答系统模型，并利用所述问答系统模型在所述时序问题样本上进行训练；
若所述问答系统模型的训练结果未达到第二预设指标，则调整所述问答系统模型的超参数，继续所述问答系统模型在所述时序问题样本上进行训练的步骤；
若达到所述第二预设指标，则结束对所述问答系统模型的训练。
4.根据权利要求3所述的方法，其特征在于，所述使用TComplEx模型在所述时序知识图谱上训练，获得所述实体嵌入和时间嵌入，包括：
利用ComplEx模型分别将实体、关系和时间戳表示为复数向量，以获得任一四元组真实性的得分函数为：
Figure FDA0003509135800000011
根据所述得分函数完成TComplEx模型的训练，以获得实体嵌入、关系嵌入和时间嵌入，以及根据所述实体嵌入、关系嵌入和时间嵌入查询单个事件的能力。
5.根据权利要求4所述的方法，其特征在于，所述利用所述嵌入提取模型获取所述时序问题的潜在嵌入，包括：
使用DistilBert模型编码时序问题q，利用DistilBert模型最后一个隐层状态和全连接层FFN表示提取时序问题q的表示为如下关系：
hq＝FFN(DistilBert(q))
每个时序问题q至少标注一个实体s，使用知识图谱嵌入表示s的嵌入为es＝us，使用所述全连接层FFN提取关系表示er＝FFNr(hq)，若时序问题q的目标时间和目标尾实体缺失，则使用2个全连接层FFN分别提取潜在时间和尾实体的嵌入：
etime＝FFN(hq)，eo＝FFN(hq) 。
6.根据权利要求5所述的方法，其特征在于，所述利用所述时间变化模型将所述时间嵌入变换到所述时序问题的目标时间下，包括：
拼接四个实体、关系和时间的潜在嵌入，并送入全连接层FFN：
Figure FDA0003509135800000021
与时序问题q的隐层状态表示拼接后送入全连接层FFN：
Figure FDA0003509135800000022
将潜在的时序嵌入变换为目标时间嵌入:
Figure FDA0003509135800000023
其中，
Figure FDA0003509135800000024
代表对应元素相乘。
7.根据权利要求6所述的方法，其特征在于，所述使用所述答案评分模型对所述实体嵌入的实体和所述目标时间进行评分，并输出得分最高的实体或时间作为所述时序问题的答案，包括：
基于实体或时间为时序问题的答案，使用两个全连接层FFN分别提取两个关系表示
Figure FDA0003509135800000025
和
Figure FDA0003509135800000026
使用TComplex模型的得分函数和变换后的嵌入，衡量所述时序问题答案的得分：
Figure FDA0003509135800000027
衡量每个时间t为时序问题答案的得分函数为：
Figure FDA0003509135800000031
将所有实体的得分与所有时间的得分拼接后，送入softmax函数后得到归一化的概率，以输出得分最高的实体或时间作为答案。
8.一种基于时序知识图谱的复杂问答查询装置，其特征在于，包括：
输入模块，用于获取时序问题并将所述时序问题输入训练好的问答系统模型；其中，所述问答系统模型包括：时序知识嵌入模型、嵌入提取模型、时间变化模型和答案评分模型；
提取模块，用于利用所述时序知识嵌入模型获取所述时序问题中的实体嵌入和时间嵌入，并利用所述嵌入提取模型获取所述时序问题的潜在嵌入；以及，利用所述时间变化模型将所述时间嵌入变换到所述时序问题的目标时间下；
输出模块，用于使用所述答案评分模型对所述实体嵌入的实体和所述目标时间进行评分，并输出得分最高的实体或时间作为所述时序问题的答案。
9.根据权利要求8所述的装置，其特征在于，还包括第一训练模块，包括：
第一获取模块，用于获取时序知识图谱并输入所述问答系统模型；
第一训练子模块，用于使用TComplEx模型在所述时序知识图谱上训练，获得所述实体嵌入和时间嵌入；
第二训练子模块，用于若所述TComplEx模型训练结果未达到第一预设指标，则调整所述时序知识嵌入模型超的参数，继续所述第一训练子模块；
第三训练子模块，用于若达到所述第一预设指标，则获取用于所述问答系统模型训练的时序问题样本。
10.根据权利要求9所述的装置，其特征在于，还包括第二训练模块，包括：
第四训练子模块，用于将所述时序问题样本输入所述问答系统模型，并利用所述问答系统模型在所述时序问题样本上进行训练；
第五训练子模块，用于若所述问答系统模型的训练结果未达到第二预设指标，则调整所述问答系统模型的超参数，继续所述第四训练子模块；
第六训练子模块，用于若达到所述第二预设指标，则结束对所述问答系统模型的训练。
CN202210146333.XA 2022-02-17 2022-02-17 一种基于时序知识图谱的复杂问答查询方法和装置 Pending CN114637819A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210146333.XA CN114637819A (zh) 2022-02-17 2022-02-17 一种基于时序知识图谱的复杂问答查询方法和装置
PCT/CN2022/086924 WO2023155287A1 (zh) 2022-02-17 2022-04-14 基于时序知识图谱的复杂问答查询方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210146333.XA CN114637819A (zh) 2022-02-17 2022-02-17 一种基于时序知识图谱的复杂问答查询方法和装置

Publications (1)

Publication Number Publication Date
CN114637819A true CN114637819A (zh) 2022-06-17

Family

ID=81946290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210146333.XA Pending CN114637819A (zh) 2022-02-17 2022-02-17 一种基于时序知识图谱的复杂问答查询方法和装置

Country Status (2)

Country Link
CN (1) CN114637819A (zh)
WO (1) WO2023155287A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457431B (zh) * 2019-07-03 2020-12-25 深圳追一科技有限公司 基于知识图谱的问答方法、装置、计算机设备和存储介质
CN111221983B (zh) * 2020-01-15 2023-08-04 北京百度网讯科技有限公司 时序知识图谱生成方法、装置、设备和介质
CN113051404B (zh) * 2021-01-08 2024-02-06 中国科学院自动化研究所 一种基于张量分解的知识推理方法、装置、设备
CN113254549B (zh) * 2021-06-21 2021-11-23 中国人民解放军国防科技大学 人物关系挖掘模型的训练方法、人物关系挖掘方法及装置
CN113742491A (zh) * 2021-08-12 2021-12-03 上海熙业信息科技有限公司 基于表示学习的时间知识图谱推理方法
CN114020923A (zh) * 2021-09-30 2022-02-08 福州大学 基于无监督类型约束的上下文感知知识补全方法及系统

Also Published As

Publication number Publication date
WO2023155287A1 (zh) 2023-08-24

Similar Documents

Publication Publication Date Title
CN109598995B (zh) 基于贝叶斯知识跟踪模型的智能教学系统
CN102262634B (zh) 一种自动问答方法及系统
CN110413783B (zh) 一种基于注意力机制的司法文本分类方法及系统
CN111143672B (zh) 基于知识图谱的专业特长学者推荐方法
CN110765254A (zh) 一种融合多视角答案重排序的多文档问答系统模型
CN111694940A (zh) 一种用户报告的生成方法及终端设备
CN111145913B (zh) 基于多重注意力模型的分类方法、装置及设备
CN111461394A (zh) 一种基于深度矩阵分解的学生成绩预测方法
CN106649886A (zh) 一种利用三元组标签的深度监督散列进行图像检索方法
CN115481827A (zh) 一种创新创业服务供给与需求智能匹配的方法
CN116821287A (zh) 基于知识图谱和大语言模型的用户心理画像系统及方法
CN113343696A (zh) 电子病历命名实体的识别方法、装置、远程终端及系统
Zhao RETRACTED ARTICLE: Application of deep learning algorithm in college English teaching process evaluation
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN117743526A (zh) 一种基于大语言模型和自然语言处理的表格问答方法
CN112632106B (zh) 一种知识图谱查询方法、装置、设备及存储介质
CN114398893A (zh) 一种基于对比学习的临床数据处理模型的训练方法及装置
CN109840506A (zh) 利用结合关系互动的视频转换器解决视频问答任务的方法
CN113590844A (zh) 一种基于知识图谱的问答库生成方法、装置、电子设备和存储介质
CN114637819A (zh) 一种基于时序知识图谱的复杂问答查询方法和装置
CN117112648A (zh) 一种基于智慧教育数据的高校学生学习画像生成系统及方法
CN115269806A (zh) 应用于矿物领域知识图谱的问答方法、电子装置及存储介质
CN114613477A (zh) 基于深度学习的心理监护方法、装置、设备及存储介质
CN114372478A (zh) 一种基于知识蒸馏的问答方法、终端设备及存储介质
CN105989094B (zh) 基于隐层语义中层表达的图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination