CN115391553A - 一种自动搜索时序知识图谱补全模型的方法 - Google Patents

一种自动搜索时序知识图谱补全模型的方法 Download PDF

Info

Publication number
CN115391553A
CN115391553A CN202211013499.0A CN202211013499A CN115391553A CN 115391553 A CN115391553 A CN 115391553A CN 202211013499 A CN202211013499 A CN 202211013499A CN 115391553 A CN115391553 A CN 115391553A
Authority
CN
China
Prior art keywords
network
time
knowledge
encoder
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211013499.0A
Other languages
English (en)
Other versions
CN115391553B (zh
Inventor
王震
杜昊桐
高超
刘晨
李学龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202211013499.0A priority Critical patent/CN115391553B/zh
Publication of CN115391553A publication Critical patent/CN115391553A/zh
Application granted granted Critical
Publication of CN115391553B publication Critical patent/CN115391553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能领域中的时序知识图谱的补全技术，公开了一种自动搜索时序知识图谱补全模型的方法，包括：步骤1:将待补全的时序知识图谱按照不同时间戳划分为若干个静态知识图谱切片；步骤2:定义搜索空间，基于定义好的搜索空间构建超网络；步骤3:使用单路径采样策略优化超网络的参数；步骤4:对超网络进行一次架构采样，并使架构继承超网络的对应参数，利用架构在验证集上进行推理，得到验证性能；步骤5:实施若干次步骤4，得到对应验证性能最优的架构。本发明方法在三个公开的基准数据集上，可以搜索出比手工设计模型补全性能更优的网络模型；可以针对不同的数据集搜索出不同的网络结构，提升了模型结构的灵活性与数据适应性。

Description

一种自动搜索时序知识图谱补全模型的方法
技术领域
本发明涉及人工智能领域中的时序知识图谱的补全技术，具体涉及一种自动搜索时序知识图谱补全模型的方法。
背景技术
近年来，时序知识图谱因其对现实世界的合理建模而受到研究者的广泛关注，时序知识图谱是富含许多时间敏感的关系事实的图结构数据，如图1所示。其中人物A、人物B、国别是图中的节点，节点之间的关系是图中的边。
时序知识图谱将知识描述为(头实体，关系，尾实体，时间戳) 的四元组形式，如(人物A，当选某职位，国别，2016年11月X日)， (人物A，公开指责，人物B，2022年4月X日)等。时间戳信息可以帮助确定知识成立的时间，使得知识图谱中的知识事实更加可信，这也促进了时序知识图谱在问答系统、推荐系统等领域的一系列应用研究。但绝大多数时序知识图谱都存在着不完整的问题，存在着大量的知识缺失，这会严重影响其应用在下游任务中的性能。为了补全其内部缺失的知识，时序知识图谱补全任务由此产生，时序知识图谱补全任务是时序知识图谱领域的基础问题，旨在预测图谱中的缺失知识。
目前流行的时序知识图谱补全方法主要分为两类，一类是基于嵌入的方法，该类方法直接构造时间感知的时序知识图谱评分函数，来评估候选四元组是否属于图谱中的缺失知识，其中的代表性工作有TTransE,HyTE, DE-SimplE,TNTComplEx等。基于嵌入的方法可以很好地捕捉时序知识图谱中的语义信息，但此类模型忽略了时序知识图谱中丰富的拓扑信息。另一类方法是基于图神经网络的模型，此类模型利用图神经网络捕捉时序知识图谱中的拓扑信息与时序信息，能够更加全面的挖掘时序知识图谱的隐含知识，代表工作如TeMP，T-GAP等，以TeMP为例，该方法是将一个时序知识图谱按照不同时间戳划分为多个静态知识图谱切片，使用多关系图卷积网络(RGCN)捕捉静态知识图谱中的拓扑信息，获得融合拓扑信息的实体表示，利用门控循环单元(GRU)或是时序自注意力机制(SA)捕捉不同时间戳上实体表示的动态演化规律，获得融合时序信息的时间感知实体表示。大量的实证性实验验证了基于图神经网络的模型在时序知识图谱补全问题上可以取得更优的性能。
然而现有技术多采用手工设计的单一网络结构去处理不同的时序知识图谱，手工设计时序知识图谱补全模型成本高昂，且不同的网络结构模型在不同性质的数据上的效果千差万别；而使用固定的图神经网络架构处理不同的时序知识图谱，很难捕捉不同类型的时序知识图谱中多样的拓扑与时序信息。
发明内容
针对现有技术存在的上述不足，本发明的目的在于提供一种自动搜索时序知识图谱补全模型的方法，针对不同性质的时序知识图谱数据，自动搜索出适应数据性质的时序知识图谱补全模型结构，使得在不同数据下搜索出的模型在对应数据上的时序知识图谱补全任务都能取得优异的性能。
为实现以上目的，本发明采用如下技术方案：
一种自动搜索时序知识图谱补全模型的方法，包括以下步骤：
步骤1:将待补全的时序知识图谱按照不同时间戳划分为若干个静态知识图谱切片；
步骤2:定义搜索空间，基于定义好的搜索空间构建超网络；
步骤3:使用单路径采样策略优化超网络的参数，得到训练好的超网络；
步骤4:对超网络进行一次架构采样，并使所述架构继承超网络的对应参数，利用所述架构在验证集上进行推理，得到验证性能；
步骤5:实施若干次步骤4，得到对应验证性能最优的架构，将此架构作为搜索出的对应该时序知识图谱的最优网络结构，用于时序知识图谱补全任务。
进一步地，步骤1中，针对数据集，构造一个实体词典，一个关系词典和一个时间戳词典，使用给定的数字ID表示数据集中的四元组，即头实体，关系，尾实体和时间戳。
进一步地，将数据集划分为训练集、验证集和测试集，再按照不同的表示时间戳的数字ID将训练集、验证集和测试集中的四元组均划分成n个集合，得到n个静态知识图谱切片。
进一步地，步骤2中，对于神经网络结构搜索，首先定义一个搜索空间，搜索空间包括4个部分：拓扑结构编码器、时序信息编码器、层间连接模块和层间聚合模块，其中拓扑结构编码器的候选操作包括：RGCN基于多关系的图卷积网络、RGAT基于多关系注意力的图卷积网络和 COMPGCN基于组合操作的多关系图卷积网络，所述时序信息编码器的候选操作包括：GRU门控循环单元、SELF-ATTENTION自注意力机制和 IDENTITY将输入值作为输出值的运算；所述层间连接模块的候选操作包括：LC_CONCAT对向量进行合并的运算、LC_SUM求和的运算和LC_SKIP 不采取层间连接的运算；所述层间聚合模块的候选操作包括：LF_CONCAT将输入值作为输出值的运算、LF_MAX求最大值的运算、LF_MEAN求平均值的运算和LF_SKIP不采取层间融合的运算。
在本发明的一种优选实施方式中，定义一个两层的搜索空间，其中第一层拓扑结构编码器接受静态知识图谱切片
Figure BDA0003811833850000031
与实体s的初始化嵌入向量
Figure BDA0003811833850000032
作为输入，产生中间实体表示
Figure BDA0003811833850000033
Figure BDA0003811833850000034
代表第一层拓扑结构编码器的运行函数；层间连接模块作为拓扑结构编码器之间的模块，用于融合前一个拓扑结构编码器的输入表示
Figure BDA0003811833850000035
与输出表示
Figure BDA0003811833850000036
产生连接模块的输出
Figure BDA0003811833850000037
作为下一层拓扑结构编码器的输入，fLC代表层间连接模块的运行函数；第二层拓扑结构编码器接受静态知识图谱切片
Figure BDA0003811833850000041
与实体s的中间嵌入表示
Figure BDA0003811833850000042
作为输入，产生中间实体表示
Figure BDA0003811833850000043
类似的，可分别利用静态知识图谱切片
Figure BDA0003811833850000044
得到实体s在不同时间戳下由第i层拓扑结构编码器生成对应的中间表示
Figure BDA0003811833850000045
第一层时序信息编码器将前面τ个时间步，第一层的拓扑结构编码器的输出作为输入，产生融合了多个时间步信息的动态表示
Figure BDA0003811833850000046
Figure BDA0003811833850000047
代表第一层时序信息编码器的运行函数，同理，第二层时序信息编码器产生动态表示
Figure BDA0003811833850000048
层间融合模块融合所有时序信息编码器的输出表示，获得最终的实体表示
Figure BDA0003811833850000049
Figure BDA00038118338500000410
fLF代表层间融合模块的运行函数。
进一步地，构建的超网络中包括了搜索空间中的所有候选操作。
进一步地，构建好超网络后，使用单路径采样策略训练超网络，具体步骤如下：在超网络训练阶段，针对训练集中每个小的数据子集，使用均匀采样，从搜索空间中采样出一条单路径，与此条单路径相关的模型权重将会被激活，对于数据子集，模型将计算损失函数，并基于损失函数使用梯度下降算法对相关模型权重进更新；进行若干次上次操作，最终得到训练好的超网络权重。
进一步地，对于训练好的超网络权重，利用均匀采样，从搜索空间中采样出一条单路径，该单路径对应的网络结构即为一个候选架构，所述候选架构继承超网络中对应训练好的模型权重，在验证集上进行模型推理，获得在验证集上的任务性能。
与现有技术相比，本发明具有以下有益效果：
(1)本发明方法在三个公开的基准数据集上，可以搜索出比手工设计模型补全性能更优的网络模型；采用自动搜索的方式对网络模型进行自动设计，相比于手工设计的模型，减少了手工设计成本，同时使用自动搜索策略，可以针对不同的数据集搜索出不同的网络结构，提升了模型结构的灵活性与数据适应性。
(2)本发明在超网络训练阶段，利用单路径超网络训练策略，可以充分训练构建的超网络，在架构采样阶段，利用随机搜索对架构进行采样，选择验证性能最高的架构，即可搜索出适应数据集的时序知识图谱补全模型结构。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为一个时序知识图谱的示例；
图2为本发明方法流程图；
图3为两层搜索空间的示意图；
图4为超网络示意图；
图5为单路径训练策略示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
对于时序知识图谱，其实体集合、关系集合与时间戳集合分别通过ε，
Figure BDA0003811833850000051
和
Figure BDA0003811833850000052
表示，时序知识图谱中的四元组由(s,r,o,t)来表示，其中，s和o分别是主体实体与客体实体，r是关系，t是时间戳。|ε|代表时序知识图谱中实体元素的数量，
Figure BDA0003811833850000053
代表时序知识图谱中关系元素的数量，
Figure BDA0003811833850000054
代表时序知识图谱中时间戳元素的数量，时序知识图谱可以表示为
Figure BDA0003811833850000055
Figure BDA0003811833850000056
这样的形式。
嵌入向量由对应参数的粗体形式表示，例如
Figure BDA0003811833850000057
表示实体s对应的嵌入向量，de代表实体嵌入维度，
Figure BDA0003811833850000061
表示实体s在时间戳t下由第i层拓扑结构编码器生成对应的中间表示(i>0)。
本发明的流程图如图2所示。下面介绍具体实施例。
步骤1:将待补全的时序知识图谱按照不同时间戳划分为若干个静态知识图谱切片；
数据预处理：本实施例使用的示例数据集是ICEWS14，其中包含7128 种实体，230种关系，时间戳数量为365个，其中训练集包含72826个四元组，验证集包含8941个四元组，测试集包含8963个四元组。针对此数据集，构造一个实体词典，一个关系词典，一个时间戳词典，遍历其中所有的四元组：对于实体元素，如果四元组中的主体实体或客体实体没有在实体词典当中，就将该主体实体或客体实体放入实体词典中，并从0开始给予其一个数字ID表示；对于关系元素，如果四元组中的关系没有在关系词典当中，就将该关系放入关系词典中，并从0开始给予其一个数字ID表示；对于时间戳元素，如果四元组中的时间戳没有在时间戳词典当中，就将该时间戳放入时间戳词典中，并从0开始给予其一个数字ID表示。根据以上做法，就可以使用给定的数字ID表示数据集中的四元组，例如：s1,o1实体在实体词典中分别以22，66表示，r1关系在关系词典中以88表示，t1时间戳在时间戳词典中以99表示。那么(s1,r1,o1,t1)四元组就可以用 (22,88,66,99)这样的四元组来等价表示。
上述操作后，按照不同的时间ID将训练集、验证集和测试集中的四元组均划分成365个集合(一般按照数据集中不同时间戳的个数，来决定的划分的集合的个数。)。其中，以训练集为例，时间ID为t的集合可以表示为
Figure BDA0003811833850000062
这样的形式，本发明称
Figure BDA0003811833850000063
为在时间t下的静态知识图谱切片。
经过预处理后，获得了训练集、验证集与测试集，各365个静态知识图谱切片，其时间ID从0开始，一直到364，这些静态知识图谱切片将作为本发明的输入数据。
对于这7128个实体，本发明利用实体嵌入层生成维度为7128×de的实体表示矩阵，对于230种关系，利用关系嵌入层生成维度为230×dr的关系表示矩阵，并对实体表示矩阵与关系表示矩阵同时进行随机初始化，实体表示矩阵的第i行，代表的是ID为i的实体初始表示向量，关系表示矩阵的第j行，代表的是ID为j的关系初始表示向量。
步骤2:定义搜索空间，基于定义好的搜索空间构建超网络；
对于神经网络结构搜索，本发明首先定义了一个搜索空间，搜索空间包括4个部分，拓扑结构编码器、时序信息编码器、层间连接模块、层间聚合模块，每个部分的候选操作如表1所示。一个两层的搜索空间如图3 所示。以图3为例，具体而言，第一层拓扑结构编码器接受静态知识图谱切片
Figure BDA0003811833850000071
与实体s的初始化嵌入
Figure BDA0003811833850000072
作为输入，产生中间实体表示
Figure BDA0003811833850000073
Figure BDA0003811833850000074
代表第一层拓扑结构编码器的运行函数；层间连接模块作为拓扑结构编码器之间的模块，用于融合前一个拓扑结构编码器的输入表示
Figure BDA0003811833850000075
与输出表示
Figure BDA0003811833850000076
产生连接模块的输出
Figure BDA0003811833850000077
Figure BDA0003811833850000078
作为下一层拓扑结构编码器的输入，fLC代表层间连接模块的运行函数；第二层拓扑结构编码器接受静态知识图谱切片
Figure BDA0003811833850000079
与实体s的中间嵌入表示
Figure BDA00038118338500000710
作为输入，产生中间实体表示
Figure BDA00038118338500000711
类似的，可分别利用静态知识图谱切片
Figure BDA00038118338500000712
得到实体s在不同时间戳下由第i层拓扑结构编码器生成对应的中间表示
Figure BDA00038118338500000713
Figure BDA00038118338500000714
第一层时序信息编码器将前面τ个时间步，第一层的拓扑结构编码器的输出作为输入，产生融合了多个时间步信息的动态表示
Figure BDA00038118338500000715
Figure BDA00038118338500000716
Figure BDA00038118338500000717
代表第一层时序信息编码器的运行函数，同理，第二层时序信息编码器产生动态表示
Figure BDA00038118338500000718
层间融合模块融合所有时序信息编码器的输出表示，获得最终的实体表示
Figure BDA00038118338500000719
fLF代表层间融合模块的运行函数。
表1搜索空间
Figure BDA0003811833850000081
本发明构建了一个超网络，超网络中包括了搜索空间中的所有候选操作，如图4所示。具体而言，对于超网络第i层的拓扑结构编码器部分，
Figure BDA0003811833850000082
其中
Figure BDA0003811833850000083
代表拓扑结构编码器操作候选集合，
Figure BDA0003811833850000084
代表第i层拓扑结构编码器在超网络训练过程中是否采样到了
Figure BDA0003811833850000085
操作，值为1为已被采样，0为未被采样；对于超网络的层间连接模块部分，
Figure BDA0003811833850000086
其中
Figure BDA0003811833850000087
代表层间连接模块操作候选集合，
Figure BDA0003811833850000088
代表第i个层间连接模块在超网络训练过程中是否采样到了
Figure BDA0003811833850000089
操作，值为1为已被采样，0为未被采样；对于超网络的第i层的时序信息编码器部分，
Figure BDA00038118338500000810
其中
Figure BDA00038118338500000811
代表时序信息编码器操作候选集合，
Figure BDA00038118338500000812
代表第i层时序信息编码器在超网络训练过程中是否采样到了
Figure BDA00038118338500000813
操作，值为1为已被采样，0为未被采样；对于超网络的层间融合模块部分，
Figure BDA0003811833850000091
其中
Figure BDA0003811833850000092
代表层间融合模块操作候选集合，
Figure BDA0003811833850000093
代表层间融合模块在超网络训练过程中是否采样到了fLF操作，值为1为已被采样，0为未被采样。
步骤3:使用单路径采样策略优化超网络的参数，得到训练好的超网络；
构建好超网络后，本发明使用单路径策略训练该超网络，具体步骤如下：在超网络训练阶段，针对训练集中每个小的数据子集，使用均匀采样，从搜索空间中采样出一条单路径(例如从3层的拓扑结构编码器搜索空间中分别采样到RGCN,RGAT,RGCN,从3层的时序信息编码器搜索空间中分别采样到GRU,SA,GRU，从2个层间连接模块搜索空间中分别采样到LC_CONCAT，LC_SKIP,从层间融合模块搜索空间中采样到LF_MEAN，构成了一条单路径RGCN||GRU||LC_CONCAT||RGAT||SA||LC_SKIP||RGCN|| GRU||LF_MEAN)，单路径在超网络中的表示如下图5所示。其中的实线箭头表示一条单路径，与此条单路径相关的模型权重将会被激活，对于数据子集，模型将计算损失函数，并基于损失函数使用梯度下降算法对相关模型权重进更新。进行若干次上次操作，最终得到训练好的超网络权重。
步骤4:对超网络进行一次架构采样，并使所述架构继承超网络的对应参数，利用所述架构在验证集上进行推理，得到验证性能；
对于训练好的超网络权重，本发明利用均匀采样，从搜索空间中采样出一条单路径(如上所述)，该单路径对应的网络结构即为一个候选架构，该候选架构继承超网络中对应训练好的模型权重，在验证集上进行模型推理，获得在验证集上的任务性能。
步骤5:实施若干次步骤4，得到验证任务性能最高的架构，将此架构作为本发明方法在ICEWS14数据集上搜索出的时序知识图谱补全模型架构。
本方法在三个公开的基准数据集上，可以搜索出比手工设计模型补全性能更优的网络模型，将本发明方法与现有方法相比，性能比较如表2所示。
表2在不同基准数据集上，不同方法的性能对比
Figure BDA0003811833850000101
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种自动搜索时序知识图谱补全模型的方法，其特征在于，包括以下步骤：
步骤1:将待补全的时序知识图谱按照不同时间戳划分为若干个静态知识图谱切片；
步骤2:定义搜索空间，基于定义好的搜索空间构建超网络；
步骤3:使用单路径采样策略优化超网络的参数，得到训练好的超网络；
步骤4:对超网络进行一次架构采样，并使所述架构继承超网络的对应参数，利用所述架构在验证集上进行推理，得到验证性能；
步骤5:实施若干次步骤4，得到对应验证性能最优的架构，将此架构作为搜索出的对应该时序知识图谱的最优网络结构，用于时序知识图谱补全任务。
2.根据权利要求1所述的自动搜索时序知识图谱补全模型的方法，其特征在于，步骤1中，针对数据集，构造一个实体词典，一个关系词典和一个时间戳词典，使用给定的数字ID表示数据集中的四元组，即头实体，关系，尾实体和时间戳。
3.根据权利要求2所述的自动搜索时序知识图谱补全模型的方法，其特征在于，将数据集划分为训练集、验证集和测试集，再按照不同的表示时间戳的数字ID将训练集、验证集和测试集中的四元组均划分成n个集合，得到n个静态知识图谱切片。
4.根据权利要求1所述的自动搜索时序知识图谱补全模型的方法，其特征在于，步骤2中，对于神经网络结构搜索，首先定义一个搜索空间，搜索空间包括4个部分：拓扑结构编码器、时序信息编码器、层间连接模块和层间聚合模块，其中拓扑结构编码器的候选操作包括：RGCN基于多关系的图卷积网络、RGAT基于多关系注意力的图卷积网络和COMPGCN基于组合操作的多关系图卷积网络，所述时序信息编码器的候选操作包括：GRU门控循环单元、SELF-ATTENTION自注意力机制和IDENTITY将输入值作为输出值的运算；所述层间连接模块的候选操作包括：LC_CONCAT对向量进行合并的运算、LC_SUM求和的运算和LC_SKIP不采取层间连接的运算；所述层间聚合模块的候选操作包括：LF_CONCAT将输入值作为输出值的运算、LF_MAX求最大值的运算、LF_MEAN求平均值的运算和LF_SKIP不采取层间融合的运算。
5.根据权利要求4所述的自动搜索时序知识图谱补全模型的方法，其特征在于，定义一个两层的搜索空间，其中第一层拓扑结构编码器接受静态知识图谱切片
Figure FDA0003811833840000021
与实体s的初始化嵌入向量
Figure FDA0003811833840000022
作为输入，产生中间实体表示
Figure FDA0003811833840000023
Figure FDA0003811833840000024
代表第一层拓扑结构编码器的运行函数；层间连接模块作为拓扑结构编码器之间的模块，用于融合前一个拓扑结构编码器的输入表示
Figure FDA0003811833840000025
与输出表示
Figure FDA0003811833840000026
产生连接模块的输出
Figure FDA0003811833840000027
作为下一层拓扑结构编码器的输入，fLC代表层间连接模块的运行函数；第二层拓扑结构编码器接受静态知识图谱切片
Figure FDA0003811833840000028
与实体s的中间嵌入表示
Figure FDA0003811833840000029
作为输入，产生中间实体表示
Figure FDA00038118338400000210
类似的，可分别利用静态知识图谱切片
Figure FDA0003811833840000031
得到实体s在不同时间戳下由第i层拓扑结构编码器生成对应的中间表示
Figure FDA0003811833840000032
第一层时序信息编码器将前面τ个时间步，第一层的拓扑结构编码器的输出作为输入，产生融合了多个时间步信息的动态表示
Figure FDA0003811833840000033
Figure FDA0003811833840000034
代表第一层时序信息编码器的运行函数，同理，第二层时序信息编码器产生动态表示
Figure FDA0003811833840000035
层间融合模块融合所有时序信息编码器的输出表示，获得最终的实体表示
Figure FDA0003811833840000036
fLF代表层间融合模块的运行函数。
6.根据权利要求4或5所述的自动搜索时序知识图谱补全模型的方法，其特征在于，构建的超网络中包括了搜索空间中的所有候选操作。
7.根据权利要求1所述的自动搜索时序知识图谱补全模型的方法，其特征在于，构建好超网络后，使用单路径采样策略训练超网络，具体步骤如下：在超网络训练阶段，针对训练集中每个小的数据子集，使用均匀采样，从搜索空间中采样出一条单路径，与此条单路径相关的模型权重将会被激活，对于数据子集，模型将计算损失函数，并基于损失函数使用梯度下降算法对相关模型权重进更新；进行若干次上次操作，最终得到训练好的超网络权重。
8.根据权利要求1所述的自动搜索时序知识图谱补全模型的方法，其特征在于，对于训练好的超网络权重，利用均匀采样，从搜索空间中采样出一条单路径，所述单路径对应的网络结构即为一个候选架构，所述候选架构继承超网络中对应训练好的模型权重，在验证集上进行模型推理，获得在验证集上的任务性能。
CN202211013499.0A 2022-08-23 2022-08-23 一种自动搜索时序知识图谱补全模型的方法 Active CN115391553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211013499.0A CN115391553B (zh) 2022-08-23 2022-08-23 一种自动搜索时序知识图谱补全模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211013499.0A CN115391553B (zh) 2022-08-23 2022-08-23 一种自动搜索时序知识图谱补全模型的方法

Publications (2)

Publication Number Publication Date
CN115391553A true CN115391553A (zh) 2022-11-25
CN115391553B CN115391553B (zh) 2023-10-13

Family

ID=84120003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211013499.0A Active CN115391553B (zh) 2022-08-23 2022-08-23 一种自动搜索时序知识图谱补全模型的方法

Country Status (1)

Country Link
CN (1) CN115391553B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878861A (zh) * 2023-02-07 2023-03-31 东南大学 一种针对图数据补全的集成式关键节点组的选择方法
CN117093727A (zh) * 2023-10-16 2023-11-21 湖南董因信息技术有限公司 基于时间关系感知的时序知识图谱补全方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084344A (zh) * 2020-09-11 2020-12-15 清华大学 知识图谱推理方法、装置及存储介质
CN112364108A (zh) * 2020-11-13 2021-02-12 四川省人工智能研究院(宜宾) 一种基于时空架构的时序知识图谱补全方法
CN112395423A (zh) * 2020-09-09 2021-02-23 北京邮电大学 递归的时序知识图谱补全方法和装置
CN112434171A (zh) * 2020-11-26 2021-03-02 中山大学 一种基于强化学习的知识图谱推理补全方法及系统
WO2021096009A1 (ko) * 2019-11-15 2021-05-20 숭실대학교산학협력단 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
CN113360664A (zh) * 2021-05-31 2021-09-07 电子科技大学 一种知识图谱补全方法
CN114238658A (zh) * 2021-12-21 2022-03-25 杭州峰景科技有限公司 时序知识图谱的链接预测方法、装置及电子设备
CN114297397A (zh) * 2021-11-10 2022-04-08 北京邮电大学 基于卷积网络的路径感知的知识图谱补全方法及相关设备
CN114443862A (zh) * 2022-01-28 2022-05-06 齐鲁工业大学 基于加权图卷积网络的知识图谱补全方法及系统
WO2022127299A1 (zh) * 2020-12-17 2022-06-23 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质
CN114742199A (zh) * 2022-03-08 2022-07-12 中国科学院计算技术研究所 一种基于注意力机制的神经网络宏架构搜索方法及系统
US20220245337A1 (en) * 2021-02-02 2022-08-04 International Business Machines Corporation Automated graph based information extraction

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021096009A1 (ko) * 2019-11-15 2021-05-20 숭실대학교산학협력단 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
CN112395423A (zh) * 2020-09-09 2021-02-23 北京邮电大学 递归的时序知识图谱补全方法和装置
CN112084344A (zh) * 2020-09-11 2020-12-15 清华大学 知识图谱推理方法、装置及存储介质
CN112364108A (zh) * 2020-11-13 2021-02-12 四川省人工智能研究院(宜宾) 一种基于时空架构的时序知识图谱补全方法
CN112434171A (zh) * 2020-11-26 2021-03-02 中山大学 一种基于强化学习的知识图谱推理补全方法及系统
WO2022127299A1 (zh) * 2020-12-17 2022-06-23 苏州浪潮智能科技有限公司 构建神经网络架构搜索框架的方法、系统、设备及介质
US20220245337A1 (en) * 2021-02-02 2022-08-04 International Business Machines Corporation Automated graph based information extraction
CN113360664A (zh) * 2021-05-31 2021-09-07 电子科技大学 一种知识图谱补全方法
CN114297397A (zh) * 2021-11-10 2022-04-08 北京邮电大学 基于卷积网络的路径感知的知识图谱补全方法及相关设备
CN114238658A (zh) * 2021-12-21 2022-03-25 杭州峰景科技有限公司 时序知识图谱的链接预测方法、装置及电子设备
CN114443862A (zh) * 2022-01-28 2022-05-06 齐鲁工业大学 基于加权图卷积网络的知识图谱补全方法及系统
CN114742199A (zh) * 2022-03-08 2022-07-12 中国科学院计算技术研究所 一种基于注意力机制的神经网络宏架构搜索方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李凤英等: "基于时序感知的动态知识图谱补全方法", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115878861A (zh) * 2023-02-07 2023-03-31 东南大学 一种针对图数据补全的集成式关键节点组的选择方法
CN117093727A (zh) * 2023-10-16 2023-11-21 湖南董因信息技术有限公司 基于时间关系感知的时序知识图谱补全方法
CN117093727B (zh) * 2023-10-16 2024-01-05 湖南董因信息技术有限公司 基于时间关系感知的时序知识图谱补全方法

Also Published As

Publication number Publication date
CN115391553B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110597735B (zh) 一种面向开源软件缺陷特征深度学习的软件缺陷预测方法
CN110442684A (zh) 一种基于文本内容的类案推荐方法
CN109614614A (zh) 一种基于自注意力的bilstm-crf产品名称识别方法
CN115391553A (zh) 一种自动搜索时序知识图谱补全模型的方法
CN106250412A (zh) 基于多源实体融合的知识图谱构建方法
CN109255505A (zh) 一种多模型融合神经网络的短期负荷预测方法
CN105528437B (zh) 一种基于结构化文本知识提取的问答系统构建方法
Zheng et al. Model compression based on differentiable network channel pruning
CN113761893B (zh) 一种基于模式预训练的关系抽取方法
CN112084373B (zh) 一种基于图嵌入的多源异构网络用户对齐方法
CN109685153A (zh) 一种基于特征聚合的社交网络谣言鉴别方法
CN116127090B (zh) 基于融合和半监督信息抽取的航空系统知识图谱构建方法
CN115392252A (zh) 一种融合自注意力与层级残差记忆网络的实体识别方法
CN116257759A (zh) 一种深度神经网络模型的结构化数据智能分类分级系统
CN114723003A (zh) 一种基于时序卷积和关系建模的事件序列预测方法
CN117421595A (zh) 一种基于深度学习技术的系统日志异常检测方法及系统
Du et al. Research on decision tree algorithm based on information entropy
CN111428502A (zh) 一种面向军事语料的命名实体标注方法
CN115292568A (zh) 一种基于联合模型的廉政和民生新闻事件抽取方法
Wang et al. Enhancing rumor detection in social media using dynamic propagation structures
CN111104492B (zh) 一种基于层次化Attention机制的民航领域自动问答方法
CN115048873B (zh) 一种用于飞机发动机的剩余使用寿命预测系统
Lv et al. Rumor detection based on time graph attention network
CN115203589A (zh) 基于Trans-dssm模型的向量搜索方法及系统
CN112084324B (zh) 基于bert和dnn模型的交通社交媒体数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant