CN111414484A - 有效时段信息确定方法、装置、电子设备和存储介质 - Google Patents

有效时段信息确定方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111414484A
CN111414484A CN202010144138.4A CN202010144138A CN111414484A CN 111414484 A CN111414484 A CN 111414484A CN 202010144138 A CN202010144138 A CN 202010144138A CN 111414484 A CN111414484 A CN 111414484A
Authority
CN
China
Prior art keywords
sentence
statement
relational
reasoning
inference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010144138.4A
Other languages
English (en)
Other versions
CN111414484B (zh
Inventor
李直旭
郑新
何莹
曹思远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN202010144138.4A priority Critical patent/CN111414484B/zh
Publication of CN111414484A publication Critical patent/CN111414484A/zh
Application granted granted Critical
Publication of CN111414484B publication Critical patent/CN111414484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种有效时段信息确定方法、装置、电子设备和存储介质，其中方法包括：确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到关系推理模型输出的每一语句的关系推理结果，关系推理结果用于表征对应语句与事实三元组中的关系的相关程度；基于每一语句的关系推理结果，确定事实三元组的有效时段信息。本发明实施例提供的方法、装置、电子设备和存储介质，全程无需人工介入，适用范围广，有效提高了事实三元组的有效时段信息确定的准确性和可靠性。

Description

有效时段信息确定方法、装置、电子设备和存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种有效时段信息确定方法、装置、电子设备和存储介质。
背景技术
事实知识库(Knowledge Base，KB)在知识问答和信息检索等上层应用中起着至关重要的作用。由于存在随着时间改变的事实，对应在事实知识库中，也存在仅在一段时间内有效的事实三元组。为事实三元组添加有效时段信息，对于保证事实知识库的可靠性至关重要。
目前，有效时段信息的确定方法，通常包括基于人为定义的语法规则提取有效时段信息，以及基于时间知识图谱中的已有时间事实进行推断。然而，人为定义语法规则的成本较高，主观性强，由此得到的有效时段信息的准确性和可信度较低，而基于时间知识图谱进行推断，必须要借助外部知识，实用性差。
发明内容
本发明实施例提供一种有效时段信息确定方法、装置、电子设备和存储介质，用以解决现有的有效时段信息确定方法准确性和可靠性低，实用性差的问题。
第一方面，本发明实施例提供一种有效时段信息确定方法，包括：
确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；
将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，所述关系推理结果用于表征对应语句与所述事实三元组中的关系的相关程度；其中，所述关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的；
基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息。
优选地，所述关系推理结果包括噪声权重和/或关系权重；
其中，所述噪声权重用于表征对应语句与所述事实三元组中的关系的不相关程度；所述关系权重用于表征对应语句与所述事实三元组中的关系的相关程度。
优选地，所述关系推理模型包括多个记忆推理层和一个结果输出层；
所述将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，具体包括：
将每一语句的语句编码特征和时序编码特征，以及上一记忆推理层输出的推理向量输入至当前记忆推理层，得到所述当前记忆推理层输出的推理向量；
将最尾记忆推理层输出的推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的关系推理结果。
优选地，所述将最尾记忆推理层输出的推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的关系推理结果，具体包括：
将所述最尾记忆推理层输出的推理向量中的噪声权重推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的噪声权重；
和/或，将所述最尾记忆推理层输出的推理向量中的关系权重推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的关系权重。
优选地，所述基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息，具体包括：
基于任一语句的噪声权重和/或关系权重，确定所述任一语句的最终权重；
将所述任一语句在所述提及集中对应窗口内的所有语句，作为所述任一语句的所有窗口语句；
基于所述任一语句的所有窗口语句的最终权重，确定所述任一语句的得分；
基于每一语句的得分，确定所述提及集中的起始语句和终止语句；
基于所述起始语句的时间戳和所述终止语句的时间戳，确定所述事实三元组的有效时段信息。
优选地，所述基于所述任一语句的所有窗口语句的最终权重，确定所述任一语句的得分，具体包括：
基于所述任一语句的所有窗口语句的最终权重和窗口权重，确定所述任一语句的得分；其中，任一窗口语句的窗口权重是基于所述任一窗口语句与所述任一语句的距离确定的。
优选地，所述确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征，具体包括：
对任一语句中的每一单词，以及每一单词与所述事实三元组中实体对的距离进行编码，得到所述任一语句的语句编码特征；
对所述任一语句在所述提及集中的时间顺序进行编码，得到所述任一语句的时序编码特征。
第二方面，本发明实施例提供一种有效时段信息确定装置，包括：
特征编码单元，用于确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；
关系推理单元，用于将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，所述关系推理结果用于表征对应语句与所述事实三元组中的关系的相关程度；其中，所述关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的；
有效时段确定单元，用于基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种有效时段信息确定方法、装置、电子设备和存储介质，通过关系推理模型对提及集中每一语句所包含的实体间的关系进行推理，并输出每一语句的关系推理结果，从而确定事实三元组的有效时段信息，全程无需人工介入，适用范围广，有效提高了事实三元组的有效时段信息确定的准确性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的有效时段信息确定方法的流程示意图；
图2为本发明实施例提供的关系推理模型运行方法的流程示意图；
图3为本发明实施例提供的单一记忆推理层的结构示意图；
图4为本发明实施例提供的基于关系推理结果确定有效时段信息的方法流程示意图；
图5为本发明实施例提供的窗口语句示意图；
图6为本发明实施例提供的语句的编码方法的流程示意图；
图7为本发明实施例提供的有效时段信息确定装置的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
许多事实会随着时间改变，例如配偶关系、运动员团队、任职信息等，对应于事实知识库中的事实三元组也仅在一段时间内有效。为事实三元组添加有效时段信息，对于保证事实知识库的可靠性至关重要。
图1为本发明实施例提供的有效时段信息确定方法的流程示意图，如图1所示，该方法包括：
步骤110，确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征。
此处的事实三元组即需要确定有效时段信息的事实三元组，事实三元组包括两个实体，以及两个实体之间的关系，可以表示为(实体1，关系，实体2)的形式。事实三元组的提及集是指由包含事实三元组中的两个实体的语句构成的集合，提及集中的语句所描述的含义可能与事实三元组中两个实体之间的关系相关联，也可能与两个实体之间的关系无关。
针对于提及集中的任一语句，该语句的语句编码特征用于表示该语句自身的语义信息，该语句的时序编码特征用于表示该语句的时间戳所反映的时间信息，此处的时间信息可以是时间戳本身的绝对时间信息，也可以是与提及集中的其余语句的时间戳相比得到的相对时间信息，本发明实施例对此不作具体限定。
例如，事实三元组为(小红，配偶，小白)，该事实三元组对应的提及集如表1所示：
表1、事实三元组(小红，配偶，小白)的提及集
Figure BDA0002400133510000051
Figure BDA0002400133510000061
上述提及集中，各个语句按照时间戳的先后顺序排列，每一语句中均包含有两个实体，即“小红”和“小白”，但其中仅部分语句能够反映“小红”和“小白”的配偶关系，例如序号为2、3、4、5的语句，另外部分语句与配偶关系并不相关，例如序号为1和6的语句。
步骤120，将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到关系推理模型输出的每一语句的关系推理结果，关系推理结果用于表征对应语句与事实三元组中的关系的相关程度；其中，关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的。
具体地，关系推理模型用于基于输入的每一语句的语句编码特征和时序编码特征，推理每一语句中所包含的两个实体之间的关系，并输出每一语句的关系推理结果。其中，针对于任一语句，该语句的关系推理结果可以表示为该语句与各种关系的相关程度，或者该语句与事实三元组中关系的相关程度。此处，该语句与事实三元组中的关系的相关程度越高，则该语句的时间戳越可能处于事实三元组的有效时段之中。
在执行步骤120之前，可以预先训练得到关系推理模型，具体可以通过如下方式训练得到关系推理模型：首先，收集大量样本提及集，并确定样本提及集中每一样本语句的语句编码特征和时序编码特征，此处，不同样本提及集可以对应于同一事实三元组，也可以对应于不同事实三元组。通过人工标注样本提及集中每一样本语句对应于两个实体之间的关系，从而得到每一样本语句的样本关系推理结果。随即，将样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果输入至初始模型进行训练，从而得到关系推理模型。
步骤130，基于每一语句的关系推理结果，确定事实三元组的有效时段信息。
具体地，在得到提及集中每一语句的关系推理结果后，即可确定提及集中能够反映事实三元组的关系的语句，并根据能够反映事实三元组的关系的语句的时间戳，确定事实三元组的有效时段信息。此处，有效时段信息用于反映事实三元组所对应的事实为有效事实的时间段。
例如，表1示出的提及集中，序号为2、3、4、5的语句为能够反映“小红”和“小白”的配偶关系的语句，根据序号为2和5的语句的时间戳，确定事实三元组(小红，配偶，小白)的有效时段信息为[2017.01.05，2019.08.30]。
本发明实施例提供的方法，通过关系推理模型对提及集中每一语句所包含的实体间的关系进行推理，并输出每一语句的关系推理结果，从而确定事实三元组的有效时段信息，全程无需人工介入，适用范围广，有效提高了事实三元组的有效时段信息确定的准确性和可靠性。
基于上述实施例，关系推理结果包括噪声权重和/或关系权重；其中，噪声权重用于表征对应语句与事实三元组中的关系的不相关程度；关系权重用于表征对应语句与事实三元组中的关系的相关程度。
具体地，提及集中存在部分语句，此部分语句虽然包含了事实三元组中的两个实体，但是其描述的含义与事实三元组中的关系并无关联，无法作为判断事实三元组的有效时段信息的依据，此部分语句即为噪声语句。
针对于提及集中的任一语句，该语句的噪声权重反向反映该语句与事实三元组中的关系的相关程度，该语句的噪声权重越高，则该语句为提及集中的噪声语句的概率越高，该语句对于确定事实三元组的有效时段信息的影响越小；该语句的噪声权重越低，则该语句为提及集中的噪声语句的概率越小，该语句越有可能作为判断事实三元组中有效时段信息的依据，对确定事实三元组的有效时段信息的影响越大。
该语句的关系权重正向反映该语句与事实三元组中的关系的相关程度，该语句的关系权重越高，则该语句对确定事实三元组的有效时段信息的影响越大，该语句的时间戳处于事实三元组的有效时段之中的概率越高，该语句的关系权重越低，则该语句对确定事实三元组的有效时段信息的影响越小，该语句的时间戳处于事实三元组的有效时段之中的概率越低。
关系推理模型所输出的每一语句的关系推理结果中，可以仅包含每一语句的噪声权重，反向反映每一语句与事实三元组中的关系的相关程度，也可以仅包含每一语句的关系权重，正向反映每一语句与事实三元组中的关系的相关程度，还可以既包含每一语句的噪声权重，也包含每一语句的关系权重，从反向和正向两个方面分别反映每一语句与事实三元组中的关系的相关程度，从而提高语句与事实三元组中的关系的相关程度表示的准确性。
基于上述任一实施例，关系推理模型包括多个记忆推理层和一个结果输出层。
此处，多个记忆推理层顺序串联，前一记忆推理层的输出即为当前记忆推理层的输入，当前记忆推理层的输出即为下一记忆推理层的输入。最尾一个记忆推理层的输出为结果输出层的输入。
基于上述任一实施例，图2为本发明实施例提供的关系推理模型运行方法的流程示意图，如图2所示，步骤120具体包括：
步骤121，将每一语句的语句编码特征和时序编码特征，以及上一记忆推理层输出的推理向量输入至当前记忆推理层，得到当前记忆推理层输出的推理向量。
具体地，针对于当前记忆推理层，其输入包括每一语句的语句编码特征和时序编码特征，以及上一记忆推理层输出的推理向量。当前记忆推理层基于每一语句的语句编码特征和时序编码特征，以及上一记忆推理层输出的推理向量，对每一语句所包含的两个实体之间的关系进行推理，并输出更新后的推理向量。此处，推理向量可以反映每一语句与各种关系的相关程度。
需要说明的是，针对于首个记忆推理层，首个记忆推理层的输入包括每一语句的语句编码特征和时序编码特征，以及推理向量的初始值，推理向量的初始值可以是随机初始化得到的。
步骤122，将最尾记忆推理层输出的推理向量输入至结果输出层，得到结果输出层输出的每一语句的关系推理结果。
具体地，最尾记忆推理层即多个记忆推理层中的最后一个记忆推理层，最尾记忆推理层的输出即结果输出层的输入。结果输出层根据最尾记忆推理层输出的推理向量，得到每一语句的关系推理结果并输出。
本发明实施例提供的方法，关系推理模型利用多层记忆推理层的结构，对每一语句与事实三元组中的关系的相关程度进行多层推理，从而提高每一语句的关系推理结果的准确性和可靠性。
基于上述任一实施例，记忆推理层是基于记忆网络实现的。图3为本发明实施例提供的单一记忆推理层的结构示意图，如图3所示，步骤121具体包括：
假设当前记忆推理层为第j层，记忆槽Memory Slot中包含每一语句的语句编码特征和时序编码特征，此处将第i个语句的语句编码特征和时序编码特征作为第i个语句的记忆槽，记作mi。通过随机初始化的embedding矩阵Aj和Bj分别将mi转换成记忆向量ki和输出记忆表示vi。需要说明的是，Aj和Bj均是第j层记忆推理层中的矩阵，且Aj和Bj的维数相同。
上一记忆推理层为第j-1层，其输出的推理向量包括噪声权重推理向量Wn，j-1和关系权重推理向量Wr，j-1。将Wn，j-1和Wr，j-1分别输入第j层记忆推理层后，基于Wn，j-1和Wr，j-1更新第j层的问题表示qj。通过与Aj维数相同的随机初始化embedding矩阵Cn和Cr分别得到两个内部状态unj和urj，其中unj用于降低噪声对记忆网络的影响，urj用于语句中包含的两个实体之间的关系推理。
通过内积计算urj与每个记忆向量ki之间的匹配分数，并对任一记忆向量ki对应的匹配分数进行注意力变换，从而得到记忆槽mi的权值αi，j；同样地，通过内积计算unj与每个记忆向量ki之间的匹配分数，并对任一记忆向量ki对应的匹配分数进行注意力变换，从而得到记忆槽mi的权值βi，j。
基于记忆槽mi的权值αi，j，对输出记忆表示vi进行加权求和，得到第i个语句的关系加权和，将每一语句的关系加权和构成的矩阵记为Srj。将Srj与urj的总和作为第j层的关系权重推理向量Wr，j输出。
同样地，基于记忆槽mi的权值βi，j，对输出记忆表示vi进行加权求和，得到第i个语句的噪声加权和，将每一语句的噪声加权和构成的矩阵记为Snj。将Snj与unj的总和作为第j层的噪声权重推理向量Wn，j输出。
基于上述任一实施例，步骤122具体包括：将最尾记忆推理层输出的推理向量中的噪声权重推理向量输入至结果输出层，得到结果输出层输出的每一语句的噪声权重；和/或，将最尾记忆推理层输出的推理向量中的关系权重推理向量输入至结果输出层，得到结果输出层输出的每一语句的关系权重。
具体地，任一记忆推理层输出的推理向量包括噪声权重推理向量和/或关系权重推理向量，其中噪声权重推理向量用于反向反映每一语句与各种关系的相关程度，关系权重推理向量用于正向反映每一语句与各种关系的相关程度。
对应地，当最尾记忆推理层输出的推理向量包括噪声权重推理向量时，结果输出层可以基于噪声权重推理向量，确定每一语句的噪声权重。当最尾记忆推理层输出的推理向量包括关系权重推理向量时，结果输出层可以基于关系权重推理向量，确定每一语句的关系权重。当最尾记忆推理层输出的推理向量包括噪声权重推理向量和关系权重推理向量时，可以分别基于噪声权重推理向量和关系权重推理向量，确定对应的每一语句的噪声权重和关系权重。
进一步地，可以将噪声权重推理向量输入至分类器中，将分类器的输出结果作为每一语句的噪声权重，和/或将关系权重推理向量输入至分类器中，将分类器的输出结果作为每一语句的噪声权重。
基于上述任一实施例，图4为本发明实施例提供的基于关系推理结果确定有效时段信息的方法流程示意图，如图4所示，步骤130具体包括：
步骤131，基于任一语句的噪声权重和/或关系权重，确定该语句的最终权重。
具体地，针对于提及集中的任一语句，当该语句的关系推理结果仅包含噪声权重时，仅基于噪声权重确定该语句的最终权重；当该语句的关系推理结果仅包含关系权重时，仅基于关系权重确定该语句的最终权重；当该语句的关系推理结果同时包含噪声权重和关系权重时，结合噪声权重和关系权重确定该语句的最终权重，此处，噪声权重越小，最终权重越大；关系权重越大，最终权重越大。
噪声权重和/或关系权重与最终权重之间的对应关系可以是预先设定的，例如，第i个语句的噪声权重为pn,i，关系权重为pr,i，对应将最终权重记为pi＝(1-pn,i)*pr,i。
步骤132，将该语句在提及集中对应窗口内的所有语句，作为该语句的所有窗口语句。
具体地，提及集中的每一语句，均对应一个预先设定的窗口，任一语句的窗口中包含有提及集中的多个语句，该语句对应的窗口中的所有语句，均是该语句的窗口语句。例如，针对于提及集中的第i个语句，可以将第i个语句作为第i个语句所对应窗口的中心，并配合预设半径j确定第i个语句所对应的窗口，进而得到第i个语句的窗口语句。
步骤133，基于该语句所有窗口语句的最终权重，确定该语句的得分。
具体地，任一语句在提及集中均对应有多个窗口语句，每一窗口语句均可以通过步骤131得到该窗口语句对应的最终权重。基于该语句所对应的每一窗口语句的最终权重，确定该语句的得分，此处该语句的得分不仅体现了该语句本身与事实三元组中的关系之间的关联程度，还体现该语句对应窗口中的各个语句与事实三元组中的关系之间的关联程度。由此得到的得分，充分考虑了事实是在一段时间内持续有效的特点，能够更加准确地区分提及集中的噪声语句，从而充分消除噪声句子对有效时段信息的影响。
步骤134，基于每一语句的得分，确定提及集中的起始语句和终止语句。
具体地，可以根据每一语句的得分，得到得分较高的多个连续语句，并将连续语句中的第一个语句作为起始语句，最后一个语句作为终止语句。此处，可以将预先设定的得分阈值与每一语句的得分进行比较，若存在多个连续语句的得分均高于得分阈值，则将上述多个连续语句确认为得分较高的多个连续语句，进而确定起始语句和终止语句。
步骤135，基于起始语句的时间戳和终止语句的时间戳，确定事实三元组的有效时段信息。
此处，起始语句的时间戳即为事实三元组的有效起始时间，终止语句的时间戳即为事实三元组的有效终止时间，有效起始时间和有效终止时间构成了事实三元组的有效时段信息。
本发明实施例提供的方法，基于每一窗口语句的最终权重，确定对应语句的得分，充分考虑了事实是在一段时间内持续有效的特点，从而充分消除噪声句子对有效时段信息的影响，提高有效时段信息的准确性和可靠性。
基于上述任一实施例，步骤133具体包括：基于任一语句的所有窗口语句的最终权重和窗口权重，确定该语句的得分；其中，任一窗口语句的窗口权重是基于该窗口语句与该语句的距离确定的。
具体地，在确定第i个语句的窗口语句后，根据任一窗口语句与第i个语句之间的距离，确定该窗口语句的窗口权重，距离越远则窗口权重越小，距离越近则窗口权重越大。此处，可以预先设定不同距离所对应的窗口权重的大小，在得到任一窗口语句与第i个语句之间的距离后，可以直接通过距离确定该窗口语句的窗口权重的大小，或者，也可以预先设定一个包含有距离与窗口权重之间关系的窗口权重计算函数，在得到任一窗口语句与第i个语句之间的距离后，将距离代入到窗口权重计算函数中，从而得到该窗口语句的窗口权重。
随即对每一窗口语句的最终权重和窗口权重进行加权求和，得到第i个语句的得分。
图5为本发明实施例提供的窗口语句示意图，图5中，提及集中共有M个语句，分别记作s1～sM，其中第i个语句即si，si对应的最终权重即pi。假设预设半径j＝1，则si对应的窗口语句包括si-1、si和si+1，假设预设半径j＝2，则si对应的窗口语句包括si-2、si-1、si、si+1、si+2。
假设预设半径j＝1，则si对应的窗口语句si-1、si和si+1分别对应的窗口权重为wi-1、wi和wi+1，wi-1＝0.2，wi＝0.6，wi+1＝0.2，由此得到si的得分Pi＝wi-1*si-1+wi*si+wi+1*si+1。
基于上述任一实施例，图6为本发明实施例提供的语句的编码方法的流程示意图，如图6所示，步骤110具体包括：
步骤111，对任一语句中的每一单词，以及每一单词与事实三元组中实体对的距离进行编码，得到该语句的语句编码特征。
具体地，针对于任一语句，可以分别对该语句中的每一单词进行编码，进而得到每一单词的词级别特征，此外，还可以分别对每一单词与事实三元组中的实体对的距离，即每一单词分别与两个实体的距离进行编码，从而得到每一单词的位置特征，将每一单词的词级别特征与位置特征相结合，即可得到该语句的语句编码特征。
步骤112，对任一语句在提及集中的时间顺序进行编码，得到该语句的时序编码特征。
具体地，考虑到不同语句中对于时间的表达方式不同，直接对每一语句的时间戳进行编码难度较大，本发明实施例中预先根据提及集中每一语句的时间戳，对每一语句按照时间戳从小到大的顺序进行排序，从而得到每一语句的时间顺序。此处的时间顺序可以是每一句子在提及集中的相对排列位置，也可以是提及集中的绝对排列位置，本发明实施例对此不作具体限定。在得到每一语句的时间顺序之后，可以对每一语句的时间顺序进行编码，从而得到每一语句的时序编码特征。
需要说明的是，本发明实施例不对步骤111和步骤112的执行顺序作具体限定，步骤111可以在步骤112之前或之后执行，也可以和步骤112同步执行。
基于上述任一实施例，一种有效时段信息确定方法，包括如下步骤：
首先，针对于需要确定有效时段信息的事实三元组，获取该事实三元组的提及集，并对提及集中的每一语句分别进行编码，得到每一语句的语句编码特征和时序编码特征。其中，任一语句的语句编码特征是对该语句中的每一单词，以及每一单词与事实三元组中实体对的距离进行编码得到的，任一语句的时序编码特征是对该语句在提及集中的时间顺序进行编码得到的。
其次，将每一语句的语句编码特征和时序编码特征输入至关系推理模型，由关系推理模型中的每一记忆推理层顺次基于每一语句的语句编码特征和时序编码特征，对每一语句的关系进行推理，并将最尾记忆推理层输出的噪声权重推理向量和关系权重推理向量输入至关系推理模型中的结果输出层，由结果输出层基于噪声权重推理向量，确定每一语句的噪声权重，并基于关系权重推理向量，确定每一语句的关系权重。
在得到每一语句的噪声权重和关系权重后，分别确定每一语句的最终权重。随后，基于预设窗口，基于每一语句的最终权重进行启发式计算，即基于任一语句所对应预设窗口中的每一窗口语句的最终权重和窗口权重，确定该语句的得分。在得到每一语句的得分后，从中确定得分较高的多个连续语句，并将连续语句中的第一个语句作为起始语句，最后一个语句作为终止语句。基于起始语句和终止语句的时间戳，确定事实三元组的有效时段信息。
本发明实施例提供的方法，通过关系推理模型对提及集中每一语句所包含的实体间的关系进行推理，并输出每一语句的关系推理结果，从而确定事实三元组的有效时段信息，全程无需人工介入，适用范围广，有效提高了事实三元组的有效时段信息确定的准确性和可靠性。此外，基于每一窗口语句的最终权重，确定对应语句的得分，充分考虑了事实是在一段时间内持续有效的特点，从而充分消除噪声句子对有效时段信息的影响，提高有效时段信息的准确性和可靠性。
基于上一实施例，图7为本发明实施例提供的有效时段信息确定装置的结构示意图，如图7所示，该装置包括特征编码单元710、关系推理单元720和有效时段确定单元730；
其中，特征编码单元710用于确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；
关系推理单元720用于将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，所述关系推理结果用于表征对应语句与所述事实三元组中的关系的相关程度；其中，所述关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的；
有效时段确定单元730用于基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息。
本发明实施例提供的装置，通过关系推理模型对提及集中每一语句所包含的实体间的关系进行推理，并输出每一语句的关系推理结果，从而确定事实三元组的有效时段信息，全程无需人工介入，适用范围广，有效提高了事实三元组的有效时段信息确定的准确性和可靠性。
基于上述任一实施例，所述关系推理结果包括噪声权重和/或关系权重；
其中，所述噪声权重用于表征对应语句与所述事实三元组中的关系的不相关程度；所述关系权重用于表征对应语句与所述事实三元组中的关系的相关程度。
基于上述任一实施例，所述关系推理模型包括多个记忆推理层和一个结果输出层；
关系推理单元720包括：
记忆推理子单元，用于将每一语句的语句编码特征和时序编码特征，以及上一记忆推理层输出的推理向量输入至当前记忆推理层，得到所述当前记忆推理层输出的推理向量；
结果输出子单元，用于将最尾记忆推理层输出的推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的关系推理结果。
基于上述任一实施例，结果输出子单元具体用于：
将所述最尾记忆推理层输出的推理向量中的噪声权重推理向量输入至结果输出层，得到所述结果输出层输出的每一语句的噪声权重；
和/或，将所述最尾记忆推理层输出的推理向量中的关系权重推理向量输入至结果输出层，得到所述结果输出层输出的每一语句的关系权重。
基于上述任一实施例，有效时段确定单元730包括：
最终权重确定子单元，用于基于任一语句的噪声权重和/或关系权重，确定所述任一语句的最终权重；
窗口确定子单元，用于将所述任一语句在所述提及集中对应窗口内的所有语句，作为所述任一语句的所有窗口语句；
得分确定子单元，用于基于所述任一语句的所有窗口语句的最终权重，确定所述任一语句的得分；
起止语句确定子单元，用于基于每一语句的得分，确定所述提及集中的起始语句和终止语句；
有效时段确定子单元，用于基于所述起始语句的时间戳和所述终止语句的时间戳，确定所述事实三元组的有效时段信息。
基于上述任一实施例，得分确定子单元具体用于：
基于所述任一语句的所有窗口语句的最终权重和窗口权重，确定所述任一语句的得分；其中，任一窗口语句的窗口权重是基于所述任一窗口语句与所述任一语句的距离确定的。
基于上述任一实施例，特征编码单元710具体用于：
对任一语句中的每一单词，以及每一单词与所述事实三元组中实体对的距离进行编码，得到所述任一语句的语句编码特征；
对所述任一语句在所述提及集中的时间顺序进行编码，得到所述任一语句的时序编码特征。
图8为本发明实施例提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令，以执行如下方法：确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，所述关系推理结果用于表征对应语句与所述事实三元组中的关系的相关程度；其中，所述关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的；基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息。
此外，上述的存储器830中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，所述关系推理结果用于表征对应语句与所述事实三元组中的关系的相关程度；其中，所述关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的；基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种有效时段信息确定方法，其特征在于，包括：
确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；
将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，所述关系推理结果用于表征对应语句与所述事实三元组中的关系的相关程度；其中，所述关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的；
基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息。
2.根据权利要求1所述的有效时段信息确定方法，其特征在于，所述关系推理结果包括噪声权重和/或关系权重；
其中，所述噪声权重用于表征对应语句与所述事实三元组中的关系的不相关程度；所述关系权重用于表征对应语句与所述事实三元组中的关系的相关程度。
3.根据权利要求2所述的有效时段信息确定方法，其特征在于，所述关系推理模型包括多个记忆推理层和一个结果输出层；
所述将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，具体包括：
将每一语句的语句编码特征和时序编码特征，以及上一记忆推理层输出的推理向量输入至当前记忆推理层，得到所述当前记忆推理层输出的推理向量；
将最尾记忆推理层输出的推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的关系推理结果。
4.根据权利要求3所述的有效时段信息确定方法，其特征在于，所述将最尾记忆推理层输出的推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的关系推理结果，具体包括：
将所述最尾记忆推理层输出的推理向量中的噪声权重推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的噪声权重；
和/或，将所述最尾记忆推理层输出的推理向量中的关系权重推理向量输入至所述结果输出层，得到所述结果输出层输出的每一语句的关系权重。
5.根据权利要求2所述的有效时段信息确定方法，其特征在于，所述基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息，具体包括：
基于任一语句的噪声权重和/或关系权重，确定所述任一语句的最终权重；
将所述任一语句在所述提及集中对应窗口内的所有语句，作为所述任一语句的所有窗口语句；
基于所述任一语句的所有窗口语句的最终权重，确定所述任一语句的得分；
基于每一语句的得分，确定所述提及集中的起始语句和终止语句；
基于所述起始语句的时间戳和所述终止语句的时间戳，确定所述事实三元组的有效时段信息。
6.根据权利要求5所述的有效时段信息确定方法，其特征在于，所述基于所述任一语句的所有窗口语句的最终权重，确定所述任一语句的得分，具体包括：
基于所述任一语句的所有窗口语句的最终权重和窗口权重，确定所述任一语句的得分；其中，任一窗口语句的窗口权重是基于所述任一窗口语句与所述任一语句的距离确定的。
7.根据权利要求1至6中任一项所述的有效时段信息确定方法，其特征在于，所述确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征，具体包括：
对任一语句中的每一单词，以及每一单词与所述事实三元组中实体对的距离进行编码，得到所述任一语句的语句编码特征；
对所述任一语句在所述提及集中的时间顺序进行编码，得到所述任一语句的时序编码特征。
8.一种有效时段信息确定装置，其特征在于，包括：
特征编码单元，用于确定事实三元组的提及集中每一语句的语句编码特征和时序编码特征；
关系推理单元，用于将每一语句的语句编码特征和时序编码特征输入至关系推理模型，得到所述关系推理模型输出的每一语句的关系推理结果，所述关系推理结果用于表征对应语句与所述事实三元组中的关系的相关程度；其中，所述关系推理模型是基于样本提及集中每一样本语句的语句编码特征和时序编码特征，以及每一样本语句的样本关系推理结果训练得到的；
有效时段确定单元，用于基于每一语句的关系推理结果，确定所述事实三元组的有效时段信息。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的有效时段信息确定方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的有效时段信息确定方法的步骤。
CN202010144138.4A 2020-03-04 2020-03-04 有效时段信息确定方法、装置、电子设备和存储介质 Active CN111414484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010144138.4A CN111414484B (zh) 2020-03-04 2020-03-04 有效时段信息确定方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010144138.4A CN111414484B (zh) 2020-03-04 2020-03-04 有效时段信息确定方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111414484A true CN111414484A (zh) 2020-07-14
CN111414484B CN111414484B (zh) 2021-05-28

Family

ID=71494171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010144138.4A Active CN111414484B (zh) 2020-03-04 2020-03-04 有效时段信息确定方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111414484B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710343A (zh) * 2009-12-11 2010-05-19 北京中机科海科技发展有限公司 一种基于文本挖掘的本体自动构建系统及方法
US20110022560A1 (en) * 2009-07-21 2011-01-27 International Business Machines Corporation Semantic web technologies in system automation
US20110093430A1 (en) * 2009-10-19 2011-04-21 Oracle International Corporation Massively scalable reasoning architecture
CN103795692A (zh) * 2012-10-31 2014-05-14 中国电信股份有限公司 开放授权方法、系统与认证授权服务器
CN106021308A (zh) * 2016-05-05 2016-10-12 重庆大学 一种面向时序大数据的查询事件识别与检测方法及系统
CN106971175A (zh) * 2017-04-28 2017-07-21 深圳市唯特视科技有限公司 一种在纠缠场景表示中发现物体及其关系的方法
CN107391673A (zh) * 2017-07-21 2017-11-24 深圳狗尾草智能科技有限公司 携带时间戳的中文通用知识图谱的生成方法及装置
CN107463649A (zh) * 2017-07-26 2017-12-12 北京师范大学珠海分校 一种基于具名图的知识图谱时间演化方法
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法
US20190197482A1 (en) * 2017-12-27 2019-06-27 International Business Machines Corporation Creating and using triplet representations to assess similarity between job description documents

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022560A1 (en) * 2009-07-21 2011-01-27 International Business Machines Corporation Semantic web technologies in system automation
US20110093430A1 (en) * 2009-10-19 2011-04-21 Oracle International Corporation Massively scalable reasoning architecture
CN101710343A (zh) * 2009-12-11 2010-05-19 北京中机科海科技发展有限公司 一种基于文本挖掘的本体自动构建系统及方法
CN103795692A (zh) * 2012-10-31 2014-05-14 中国电信股份有限公司 开放授权方法、系统与认证授权服务器
CN106021308A (zh) * 2016-05-05 2016-10-12 重庆大学 一种面向时序大数据的查询事件识别与检测方法及系统
CN106971175A (zh) * 2017-04-28 2017-07-21 深圳市唯特视科技有限公司 一种在纠缠场景表示中发现物体及其关系的方法
CN107391673A (zh) * 2017-07-21 2017-11-24 深圳狗尾草智能科技有限公司 携带时间戳的中文通用知识图谱的生成方法及装置
CN107463649A (zh) * 2017-07-26 2017-12-12 北京师范大学珠海分校 一种基于具名图的知识图谱时间演化方法
US20190197482A1 (en) * 2017-12-27 2019-06-27 International Business Machines Corporation Creating and using triplet representations to assess similarity between job description documents
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
C GUTIÉRREZ 等: "Temporal RDF", 《ESWC"05: PROCEEDINGS OF THE SECOND EUROPEAN CONFERENCE ON THE SEMANTIC WEB: RESEARCH AND APPLICATIONS》 *
Y BI 等: "An efficient triplet-based algorithm for evidential reasoning", 《UAI"06: PROCEEDINGS OF THE TWENTY-SECOND CONFERENCE ON UNCERTAINTY IN ARTIFICIAL INTELLIGENCE》 *
宋晓兆 等: "用于知识库扩充的在线百科表格知识获取与融合", 《软件工程》 *
林二静: "语义关联时空挖掘方法的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭松云: "时态RDF查询语言及其到TSQL2转换方法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN111414484B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
WO2020135337A1 (zh) 实体语义关系分类
US20220180202A1 (en) Text processing model training method, and text processing method and apparatus
US11301637B2 (en) Methods, devices, and systems for constructing intelligent knowledge base
CN112131383B (zh) 特定目标的情感极性分类方法
CN107491436A (zh) 一种标题党识别方法和装置、服务器、存储介质
CN111602128A (zh) 计算机实现的确定方法和系统
CN111694940A (zh) 一种用户报告的生成方法及终端设备
CN111930931B (zh) 一种摘要评价方法及装置
CN110135681A (zh) 风险用户识别方法、装置、可读存储介质及终端设备
CN112418059A (zh) 一种情绪识别的方法、装置、计算机设备及存储介质
US10902215B1 (en) Social hash for language models
CN111414484B (zh) 有效时段信息确定方法、装置、电子设备和存储介质
CN112307738A (zh) 用于处理文本的方法和装置
CN112307754A (zh) 语句获取方法及装置
CN116703659A (zh) 一种应用于工程咨询的数据处理方法、装置及电子设备
CN110852066B (zh) 一种基于对抗训练机制的多语言实体关系抽取方法及系统
CN114547273B (zh) 问题回答方法及相关装置、电子设备、存储介质
CN110888944A (zh) 基于多卷积窗尺寸注意力卷积神经网络实体关系抽取方法
CN110717022A (zh) 一种机器人对话生成方法、装置、可读存储介质及机器人
CN111310460B (zh) 语句的调整方法及装置
CN114036267A (zh) 对话方法及系统
CN112507081A (zh) 相似句匹配方法、装置、计算机设备及存储介质
CN117236410B (zh) 一种可信的电子文件大语言模型训练、推理方法和装置
CN111191465A (zh) 一种问答匹配方法、装置、设备及存储介质
CN114548083B (zh) 标题生成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant