CN112395423A - 递归的时序知识图谱补全方法和装置 - Google Patents
递归的时序知识图谱补全方法和装置 Download PDFInfo
- Publication number
- CN112395423A CN112395423A CN202010942741.7A CN202010942741A CN112395423A CN 112395423 A CN112395423 A CN 112395423A CN 202010942741 A CN202010942741 A CN 202010942741A CN 112395423 A CN112395423 A CN 112395423A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- sub
- knowledge graph
- graph
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003068 static effect Effects 0.000 claims abstract description 87
- 230000006870 function Effects 0.000 claims description 37
- 230000002123 temporal effect Effects 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000000295 complement effect Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提出一种递归的时序知识图谱补全方法和装置,其中,方法包括:根据获取到的时序知识图谱,获取对应的静态知识图谱,将静态知识图谱及特征经过嵌入学习获取更新后的特征;采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和特征,直至遍历所有时间戳的子知识图谱序列;接着,对每个时间戳的子知识图谱进行事实预测。该方法可自然拓展到未来的时间戳的知识图谱并进行事实补全,不需要因为出现新的时间戳的知识图谱对整个模型进行重新训练,具有可拓展性。
Description
技术领域
本申请涉及信息技术及数据业务技术领域,尤其涉及一种递归的时序知识图谱补全方法和装置。
背景技术
目前,社交网络、电商平台用户的事实关系也是随着时间而发生变化的(新的实体和事实不断出现)。因此,对静态知识图谱扩展时间维度的时序知识图谱,有提高基于知识图谱的问答、搜索、推荐效果的潜力,时序知识图谱的事实分布于各时间戳,能反映出实体和关系随时间动态变化的特性。由于知识图谱的覆盖范围是有限的,时序知识图谱也有不完整性的特点。
相关技术中,主要采用离散事件补全模型和连续事实补全模型对时序知识图谱中某一时间戳下缺失的事实进行补全,但是,离散事件补全模型是对特定的静态知识图谱补全方法的扩展,缺乏对新出现的静态知识图谱补全的可拓展性,连续事实补全模型同时训练所有时间戳的事实,而在现实中,由于新的事实不断出现,时序知识图谱是动态变化的。当新的时间戳静态知识图谱出现的时候,需要重新训练,也缺乏对新的时间戳的静态知识图谱补全的可拓展性。
发明内容
本申请的目的旨在至少在一定程度上解决上述技术问题之一。
为此,本申请在于提出一种递归的时序知识图谱补全方法和装置,以实现通过递归的方式,逐个时间戳地对时序知识图谱进行嵌入学习,同时利用前面时间戳的知识图谱的信息,可自然拓展到未来的时间戳的知识图谱并进行事实补全,不需要因为出现新的时间戳的知识图谱对整个模型进行重新训练,具有可拓展性。
本申请第一方面实施例提出了一种递归的时序知识图谱补全方法,包括:获取时序知识图谱;其中,所述时序知识图谱包括不同时间戳的子知识图谱序列;根据所述时序知识图谱,获取对应的静态知识图谱,将所述静态知识图谱及所述静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,所述更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将所述更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历所述时序知识图谱中所有时间戳的子知识图谱序列;根据所述时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对所述每个时间戳的子知识图谱进行事实预测,以对所述时序知识图谱进行补全。
本申请实施例的递归的时序知识图谱补全方法,通过获取时序知识图谱;其中,所述时序知识图谱包括不同时间戳的子知识图谱序列;根据所述时序知识图谱,获取对应的静态知识图谱,将所述静态知识图谱及所述静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,所述更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将所述更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历所述时序知识图谱中所有时间戳的子知识图谱序列;根据所述时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对所述每个时间戳的子知识图谱进行事实预测,以对所述时序知识图谱进行补全。该方法通过递归的方式,逐个时间戳地对时序知识图谱进行嵌入学习,同时利用前面时间戳的知识图谱的信息,可自然拓展到未来的时间戳的知识图谱并进行事实补全,不需要因为出现新的时间戳的知识图谱对整个模型进行重新训练,具有可拓展性。
本申请第二方面实施例提出了一种递归的时序知识图谱补全装置,包括:第一获取模块,用于获取时序知识图谱;其中,所述时序知识图谱包括不同时间戳的子知识图谱序列;第二获取模块,用于根据所述时序知识图谱,获取对应的静态知识图谱,将所述静态知识图谱及所述静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,所述更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;递归学习模块,用于采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将所述更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历所述时序知识图谱中所有时间戳的子知识图谱序列;预测模块,用于根据所述时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对所述每个时间戳的子知识图谱进行事实预测,以对所述时序知识图谱进行补全。
本申请实施例的递归的时序知识图谱补全装置,获取时序知识图谱;其中,所述时序知识图谱包括不同时间戳的子知识图谱序列;根据所述时序知识图谱,获取对应的静态知识图谱,将所述静态知识图谱及所述静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,所述更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将所述更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历所述时序知识图谱中所有时间戳的子知识图谱序列;根据所述时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对所述每个时间戳的子知识图谱进行事实预测,以对所述时序知识图谱进行补全。该装置可实现通过递归的方式,逐个时间戳地对时序知识图谱进行嵌入学习,同时利用前面时间戳的知识图谱的信息,可自然拓展到未来的时间戳的知识图谱并进行事实补全,不需要因为出现新的时间戳的知识图谱对整个模型进行重新训练,具有可拓展性。
本申请第三方面实施例提出了一种计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本申请第一方面实施例提出的递归的时序知识图谱补全的方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请第一方面实施例提出的递归的时序知识图谱补全的方法。
本申请第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如本申请第一方面实施例提出的递归的时序知识图谱补全的方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请一个实施例的递归的时序知识图谱补全方法的流程示意图;
图2为根据本申请一个实施例的时序知识图谱的示意图;
图3为根据本申请一个实施例的时序知识图谱的事实缺失的示意图;
图4为根据本申请一个实施例的递归的时序知识图谱补全装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的递归的时序知识图谱补全方法和装置。需要说明的是,本申请实施例的递归的时序知识图谱补全方法的执行主体为流量估算装置,该递归的时序知识图谱补全装置可应用于任一计算机设备中,以使该计算机设备可以执行递归的时序知识图谱补全功能。其中,计算机设备可以为个人电脑(Personal Computer,简称PC)、云端设备、移动设备、服务器等,移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
图1为根据本申请一个实施例的递归的时序知识图谱补全方法的流程示意图。
如图1所示,该递归的时序知识图谱补全方法的具体实现过程如下:
步骤101,获取时序知识图谱;其中,时序知识图谱包括不同时间戳的子知识图谱序列。
在本申请实施例中,如图2所示,可通过自构建的方式创建时序知识图谱,时序知识图谱是带有时间属性的知识图谱,因此,时序知识图谱可包括不同时间戳的子知识图谱序列。其中,需要说明的是,时序知识图谱在自构建过程中,实体之间的关系会不可避免的缺少或者关系连接的头实体或者尾实体缺失,如图3所示,因此,在本申请实施例中,时序知识图谱可为事实缺失的时序知识图谱。
步骤102,根据时序知识图谱,获取对应的静态知识图谱,将静态知识图谱及静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征。
在本申请实施例中,在获取到时序知识图谱对应的静态知识图谱Gstatic后,可对该静态知识图谱进行特征提取,获取该静态知识图谱对应的特征X,接着,将静态知识图谱和对应的特征X经过嵌入学习,获取更新后的静态知识图谱的特征,将该更新后的静态知识图谱的特征作为时序知识图谱中第一时间戳的子知识图谱的特征。比如,可将静态知识图谱和对应的特征X输入静态知识图谱嵌入学习器中,该静态知识图谱嵌入学习器可对特征X进行更新,输出更新后的特征X,将更新后的特征X作为时序知识图谱中第一时间戳的子知识图谱的特征。
步骤103,采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历时序知识图谱中所有时间戳的子知识图谱序列。
可以理解的是,在本申请实施例中,对不同时间戳的子知识图谱的特征进行更新,相当于在不同时间戳之间多提供一条传播信息的通道,因此,为了下一时间戳的子知识图谱更好地嵌入学习,可对静态知识图谱的学习器参数和不同时间戳的子知识图谱的特征进行更新。
比如,可假设静态知识图谱嵌入学习器为θ,当前时间戳的子知识图谱为当前时间戳的子知识图谱对应的嵌入学习参数为当前时间戳的子知识图谱的特征为X,对应的损失函数可为接着,根据损失函数的梯度,对嵌入学习参数和特征进行更新,具体公式为:
其中,需要说明的是,嵌入学习可包括但不限于基于翻译思想、基于神经网络的嵌入学习,基于翻译思想、基于神经网络的嵌入学习可更好地对静态知识图谱的进行分析,有利于时序知识图谱的补全。其中,基于翻译思想的嵌入学习可包括但不限于TransE、TransD、RotatE等算法,基于神经网络的嵌入学习可包括但不限于RGCN、RDGCN等算法。
步骤104,根据时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对每个时间戳的子知识图谱进行事实预测,以对时序知识图谱进行补全。
为了更好地对时序知识图谱进行补全,在本申请实施例中,在对每个时间戳的子知识图谱进行事实预测时,可分为知识图谱的实体预测和关系预测,其中,知识图谱的实体预测可分为知识图谱的头实体预测和尾实体预测。作为一种示例,可利用每个时间戳的子知识图谱的对应的嵌入学习参数和特征,通过在每个时间戳的子知识图谱的四元组成立的概率,进行每个子知识图谱的实体预测和关系预测。
比如,当前时间戳的子知识图谱为当前时间戳的子知识图谱对应的嵌入学习参数为当前时间戳的子知识图谱的特征为对于头实体预测 (如,(s,r,o,ti)中的头实体s的预测),可将头实体替换为其他实体s',可分别计算在其他实体下的对应的四元组的损失函数损失函数的值越低,则该损失函数对应的四元组越可靠,表示预测的效果越准确。
又比如,当前时间戳的子知识图谱为当前时间戳的子知识图谱对应的嵌入学习参数为当前时间戳的子知识图谱的特征为对于尾实体预测(如,(s,r,o,ti)中的尾实体o的预测),可将尾实体替换为其他实体o',可分别计算在其他实体下的对应的四元组的损失函数损失函数的值越低,则该损失函数对应的四元组越可靠,表示预测的效果越准确。
再比如,当前时间戳的子知识图谱为当前时间戳的子知识图谱对应的嵌入学习参数为当前时间戳的子知识图谱的特征为对于关系预测 (如,(s,r,o,ti)中的关系r的预测),可将关系替换为其他关系r',可分别计算在其他关系下的对应的四元组的损失函数损失函数的值越低,则该损失函数对应的四元组越可靠,表示预测的效果越准确。
综上,通过递归的方式,逐个时间戳地对时序知识图谱进行嵌入学习,同时利用前面时间戳的知识图谱的信息,可自然拓展到未来的时间戳的知识图谱并进行事实补全,不需要因为出现新的时间戳的知识图谱对整个模型进行重新训练,具有可拓展性。
为了可以更好地对静态知识图谱的进行分析,有利于时序知识图谱的补全,在本申请实施例中,可基于翻译思想、基于神经网络的嵌入学习对静态知识图谱的进行分析。其中,基于翻译思想的嵌入学习可包括但不限于TransE、 TransD、RotatE等算法,基于神经网络的嵌入学习可包括但不限于RGCN、 RDGCN等算法。
其中,对于基于翻译思想的嵌入学习TransE算法,对于一个三元组(s,r,o),TransE将关系r看作是从头实体到尾实体o的翻译,正三元组(s,r,o)在嵌入空间中预计保留空间为es+er≈eo,因此,衡量该三元组可靠性的损失函数可为:
f(s,r,o)=||es+er-eo|| (7)
需要理解的是,真实三元组的损失函数对应的损失值较低,而假三元组的损失函数对应的损失值较高,为使正、负三元组的损失函数具有区分度,TransE 使用一个基于差值的目标函数,具体公式为:
其中,S表示正三元组集合,S'表示负三元组集合,γ表示控制正负三元组损失函数区分度的超参数,f(s,r,o)表示正三元组对应的损失函数,f(s',r',o')表示负三元组对应的损失函数。还需要说明的是,由于TransE算法只运用到知识图谱的特征,没有运用其他参数,因此,在本申请实施例中,在使用基于翻译思想的嵌入学习TransE算法时,只需根据公式(4)和(6)对不同时间戳的子知识图谱的特征进行更新和传递。
对于基于翻译思想的嵌入学习TransD算法,可将不同时间戳的子知识图谱的实体、关系投影到超平面,使它们在超平面的投影彼此接近。由于头实体 h和尾实体t可能不是同一类实体,因此TransD对头实体、尾实体分别使用了不同的映射矩阵,该映射矩阵由实体和关系共同决定,头实体对应的映射矩阵可表示为其中,rp表示关系r的投影向量,表示实体h的投影向量,Im×n表示对角元素全为1,其余元素为0的m×n矩阵,表示实体h的投影向量的转置,在投影后的空间内,期望保持基于翻译的距离函数||Mrhh+r-Mrtt||,需要说明的是,TransD算法相对于TransE算法运用了投影矩阵,因此,在使用基于翻译思想的嵌入学习TransD算法时,在根据公式(4)和(6)对不同时间戳的子知识图谱的特征进行更新和传递时,还需根据公式(3)和(5)对嵌入学习参数(即投影矩阵M)进行更新和传递。
对于基于翻译思想的嵌入学习RotatE算法,该算法可同时建模对称、反对称、可逆、组合的关系模式,受到欧拉公式eiθ=cosθ+isinθ的启发,RotatE 算法将不同时间戳的子知识图谱的关系定义在复向量空间中,头实体与尾实体旋转。比如,对于三元组(h,r,t),其嵌入预计满足 为Hadamard乘积(逐元素相乘),距离函数定义为由于RotatE算法只运用到知识图谱的特征,没有运用其他参数,因此,在本申请实施例中,在使用基于翻译思想的嵌入学习RotatE算法时,只需根据公式(4)和(6)对不同时间戳的子知识图谱的特征进行更新和传递。
对于基于神经网络的嵌入学习RGCN算法,该RGCN算法运用图卷积网络进行不同时间戳的子知识图谱的嵌入学习,具体可以以下公式进行逐层更新图卷积网络节点:
其中,σ表示激活函数RELU(·)=max(0,·),R表示知识图谱关系集合,r表示关系,表示与结点i通过关系r连接的结点集合,j表示结点,ci,r表示归一化常数,可设为表示第l层的关系r的映射矩阵,表示第l层的结点映射矩阵,表示第l层的结点j的特征,表示第l+1层的结点的特征。
需要说明的是,输入特征h(o)可根据公式(4)和(6)进行更新和传递,参数W可根据公式(3)和(5)进行更新和传递。
对于基于神经网络的嵌入学习RDGCN算法,该RDGCN算法是借助于原图和对偶图的注意力交互机制,学习关系和结构信息的图卷积网络模型。该算法首先固定关系对偶图(可看做关系之间的语义图),而让原图(不同时间戳的子知识图谱)随着时间变化,以在关系语义不变的前提下,捕捉实体之间的交互信息的变化。在得到图卷积网络输出的实体表示和关系表示后,为了衡量一个三元组(s,r,o)的可靠性,可根据类型距离和语义距离组成的函数进行表示,
d(s,r,o)=dtypes(s,r,o)+λ·dsemantic(s,r,o) (10)
其中,dtypes(s,r,o)表示类型距离,dsemantic(s,r,o)表示语义距离,λ表示语义距离的权重,表示输出的实体s的特征向量,表示输出的实体o的特征向量,表示输出的关系r的特征向量,d表示实体输出向量的维度。
需要说明的是,类型距离可衡量一个三元组类型的合法性,比如,三元组 (新奥尔良,位于,美国)是类型正确的三元组,三元组(新奥尔良,位于,奥巴马)为错误类型的三元组,类型距离越近,表示对应的三元组的类型的正确性越大。对于类型正确的三元组,可通过语义距离进一步进行三元组语义的区分,比如,三元组(新奥尔良,位于,美国)和三元组(新奥尔良,位于,英国),“新奥尔良”与“美国”的语义距离大于“新奥尔良”与“英国”的语义距离,语义距离越近的三元组语义正确性越大。
综上,基于翻译思想、基于神经网络的嵌入学习可对静态知识图谱的进行分析,将该静态知识图谱的分析方法运用到时序知识图谱中,有利于时序知识图谱的补全。
本申请实施例的递归的时序知识图谱补全方法,通过获取时序知识图谱;其中,时序知识图谱包括不同时间戳的子知识图谱序列;根据时序知识图谱,获取对应的静态知识图谱,将静态知识图谱及静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱嵌入学习的参数和所述相邻下一时间戳的子知识图谱的特征,直至遍历所述时序知识图谱中所有时间戳的子知识图谱序列;根据所述时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对每个时间戳的子知识图谱进行事实预测,以对时序知识图谱进行补全。该方法通过递归的方式,逐个时间戳地对时序知识图谱进行嵌入学习,同时利用前面时间戳的知识图谱的信息,可自然拓展到未来的时间戳的知识图谱并进行事实补全,不需要因为出现新的时间戳的知识图谱对整个模型进行重新训练,具有可拓展性。
为了实现上述实施例,本申请还提出一种递归的时序知识图谱补全装置。
图4为根据本申请一个实施例的递归的时序知识图谱补全装置的结构示意图。
如图4所示,该递归的时序知识图谱补全装置400包括:第一获取模块 410、第二获取模块420、递归学习模块430、预测模块440。
其中,第一获取模块410,用于获取时序知识图谱;其中,时序知识图谱包括不同时间戳的子知识图谱序列;第二获取模块420,用于根据时序知识图谱,获取对应的静态知识图谱,将静态知识图谱及静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;递归学习模块430,用于采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历时序知识图谱中所有时间戳的子知识图谱序列;预测模块440,用于根据时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对每个时间戳的子知识图谱进行事实预测,以对时序知识图谱进行补全。
作为本申请实施例的一种可能实现方式,嵌入学习包括:基于翻译思想、基于神经网络的嵌入学习。
作为本申请实施例的一种可能实现方式,第二获取模块420具体用于,将时序知识图谱中的不同时间戳的子知识图谱序列转化为静态知识图谱Gstatic,将静态知识图谱Gstatic作为时序知识图谱对应的静态知识图谱,具体表现公式为:
作为本申请实施例的一种可能实现方式,递归学习模块430具体用于,以第一时间戳的子知识图谱为起点,根据当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征以及嵌入学习参数构成损失函数,根据损失函数的梯度,对嵌入学习参数和特征进行更新,具体公式为:
本申请实施例的递归的时序知识图谱补全装置,获取时序知识图谱;其中,时序知识图谱包括不同时间戳的子知识图谱序列;根据时序知识图谱,获取对应的静态知识图谱,将静态知识图谱及静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历时序知识图谱中所有时间戳的子知识图谱序列;根据时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对每个时间戳的子知识图谱进行事实预测,以对时序知识图谱进行补全。该装置可实现通过递归的方式,逐个时间戳地对时序知识图谱进行嵌入学习,同时利用前面时间戳的知识图谱的信息,可自然拓展到未来的时间戳的知识图谱并进行事实补全,不需要因为出现新的时间戳的知识图谱对整个模型进行重新训练,具有可拓展性。
为了实现上述实施例,本申请还提出一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如本申请前述实施例提出的递归的时序知识图谱补全方法。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请前述实施例提出的递归的时序知识图谱补全方法。
为了实现上述实施例,本申请还提出一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行如本申请上述实施例提出的递归的时序知识图谱补全方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言, "计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器 (RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA) 等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种递归的时序知识图谱补全方法,其特征在于,包括:
获取时序知识图谱;其中,所述时序知识图谱包括不同时间戳的子知识图谱序列;
根据所述时序知识图谱,获取对应的静态知识图谱,将所述静态知识图谱及所述静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,所述更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;
采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将所述更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历所述时序知识图谱中所有时间戳的子知识图谱序列;
根据所述时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对所述每个时间戳的子知识图谱进行事实预测,以对所述时序知识图谱进行补全。
2.如权利要求1所述的方法,其特征在于,所述嵌入学习包括:基于翻译思想、基于神经网络的嵌入学习。
5.一种递归的时序知识图谱补全装置,其特征在于,包括:
第一获取模块,用于获取时序知识图谱;其中,所述时序知识图谱包括不同时间戳的子知识图谱序列;
第二获取模块,用于根据所述时序知识图谱,获取对应的静态知识图谱,将所述静态知识图谱及所述静态知识图谱的特征经过嵌入学习获取更新后的静态知识图谱的特征;其中,所述更新后的静态知识图谱的特征为第一时间戳的子知识图谱的特征;
递归学习模块,用于采用递归方式,以第一时间戳的子知识图谱为起点,将当前时间戳的子知识图谱、当前时间戳的子知识图谱的特征和嵌入学习参数作为嵌入学习的输入,得到更新后的嵌入学习参数和特征,将所述更新后的嵌入学习参数和特征作为相邻下一时间戳的子知识图谱的嵌入学习参数和相邻下一时间戳的子知识图谱的特征,直至遍历所述时序知识图谱中所有时间戳的子知识图谱序列;
预测模块,用于根据所述时序知识图谱中每个时间戳的子知识图谱的对应的嵌入学习参数和特征,对所述每个时间戳的子知识图谱进行事实预测,以对所述时序知识图谱进行补全。
6.如权利要求5所述的装置,其特征在于,所述嵌入学习包括:基于翻译思想、基于神经网络的嵌入学习。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010942741.7A CN112395423B (zh) | 2020-09-09 | 2020-09-09 | 递归的时序知识图谱补全方法和装置 |
PCT/CN2020/140234 WO2022052374A1 (zh) | 2020-09-09 | 2020-12-28 | 递归的时序知识图谱补全方法和装置 |
US17/435,113 US20220207379A1 (en) | 2020-09-09 | 2020-12-28 | Temporal knowledge graph completion method and apparatus based on recursion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010942741.7A CN112395423B (zh) | 2020-09-09 | 2020-09-09 | 递归的时序知识图谱补全方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112395423A true CN112395423A (zh) | 2021-02-23 |
CN112395423B CN112395423B (zh) | 2022-08-26 |
Family
ID=74595800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010942741.7A Active CN112395423B (zh) | 2020-09-09 | 2020-09-09 | 递归的时序知识图谱补全方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220207379A1 (zh) |
CN (1) | CN112395423B (zh) |
WO (1) | WO2022052374A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360772A (zh) * | 2021-07-02 | 2021-09-07 | 中国科学技术大学 | 一种可解释性推荐模型训练方法与装置 |
CN113822494A (zh) * | 2021-10-19 | 2021-12-21 | 平安科技(深圳)有限公司 | 风险预测方法、装置、设备及存储介质 |
CN114117064A (zh) * | 2021-11-09 | 2022-03-01 | 西南交通大学 | 一种基于多时间粒度的知识动态演化方法及应用 |
CN114238658A (zh) * | 2021-12-21 | 2022-03-25 | 杭州峰景科技有限公司 | 时序知识图谱的链接预测方法、装置及电子设备 |
CN115114411A (zh) * | 2022-08-30 | 2022-09-27 | 中国科学院自动化研究所 | 基于知识图谱的预测方法、装置和电子设备 |
CN115391553A (zh) * | 2022-08-23 | 2022-11-25 | 西北工业大学 | 一种自动搜索时序知识图谱补全模型的方法 |
WO2023115761A1 (zh) * | 2021-12-20 | 2023-06-29 | 北京邮电大学 | 基于时序知识图谱的事件检测方法和装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220343146A1 (en) * | 2021-04-23 | 2022-10-27 | Alibaba Singapore Holding Private Limited | Method and system for temporal graph neural network acceleration |
CN116701573A (zh) * | 2023-06-06 | 2023-09-05 | 哈尔滨理工大学 | 一种基于时序知识图谱的查询方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109036546A (zh) * | 2018-06-08 | 2018-12-18 | 浙江捷尚人工智能研究发展有限公司 | 用于临床领域时序知识图谱的链接预测方法及系统 |
CN109815345A (zh) * | 2019-02-25 | 2019-05-28 | 南京大学 | 一种基于路径的知识图谱嵌入方法 |
US20200065668A1 (en) * | 2018-08-27 | 2020-02-27 | NEC Laboratories Europe GmbH | Method and system for learning sequence encoders for temporal knowledge graph completion |
CN111209408A (zh) * | 2019-12-23 | 2020-05-29 | 华东师范大学 | 一种基于混合翻译模型的带时间知识图谱嵌入方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11250314B2 (en) * | 2017-10-27 | 2022-02-15 | Cognizant Technology Solutions U.S. Corporation | Beyond shared hierarchies: deep multitask learning through soft layer ordering |
CN111259085B (zh) * | 2019-12-30 | 2022-08-16 | 福州大学 | 基于关系超平面的时间感知翻译模型的关系预测方法 |
CN111523003A (zh) * | 2020-04-27 | 2020-08-11 | 北京图特摩斯科技有限公司 | 一种以时序动态图谱为核心的数据应用方法及平台 |
-
2020
- 2020-09-09 CN CN202010942741.7A patent/CN112395423B/zh active Active
- 2020-12-28 WO PCT/CN2020/140234 patent/WO2022052374A1/zh active Application Filing
- 2020-12-28 US US17/435,113 patent/US20220207379A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109036546A (zh) * | 2018-06-08 | 2018-12-18 | 浙江捷尚人工智能研究发展有限公司 | 用于临床领域时序知识图谱的链接预测方法及系统 |
US20200065668A1 (en) * | 2018-08-27 | 2020-02-27 | NEC Laboratories Europe GmbH | Method and system for learning sequence encoders for temporal knowledge graph completion |
CN109815345A (zh) * | 2019-02-25 | 2019-05-28 | 南京大学 | 一种基于路径的知识图谱嵌入方法 |
CN111209408A (zh) * | 2019-12-23 | 2020-05-29 | 华东师范大学 | 一种基于混合翻译模型的带时间知识图谱嵌入方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360772A (zh) * | 2021-07-02 | 2021-09-07 | 中国科学技术大学 | 一种可解释性推荐模型训练方法与装置 |
CN113360772B (zh) * | 2021-07-02 | 2022-09-09 | 中国科学技术大学 | 一种可解释性推荐模型训练方法与装置 |
CN113822494A (zh) * | 2021-10-19 | 2021-12-21 | 平安科技(深圳)有限公司 | 风险预测方法、装置、设备及存储介质 |
WO2023065545A1 (zh) * | 2021-10-19 | 2023-04-27 | 平安科技(深圳)有限公司 | 风险预测方法、装置、设备及存储介质 |
CN114117064A (zh) * | 2021-11-09 | 2022-03-01 | 西南交通大学 | 一种基于多时间粒度的知识动态演化方法及应用 |
CN114117064B (zh) * | 2021-11-09 | 2023-05-26 | 西南交通大学 | 一种基于多时间粒度的知识动态演化的城市地铁流量预测方法 |
WO2023115761A1 (zh) * | 2021-12-20 | 2023-06-29 | 北京邮电大学 | 基于时序知识图谱的事件检测方法和装置 |
CN114238658A (zh) * | 2021-12-21 | 2022-03-25 | 杭州峰景科技有限公司 | 时序知识图谱的链接预测方法、装置及电子设备 |
CN115391553A (zh) * | 2022-08-23 | 2022-11-25 | 西北工业大学 | 一种自动搜索时序知识图谱补全模型的方法 |
CN115391553B (zh) * | 2022-08-23 | 2023-10-13 | 西北工业大学 | 一种自动搜索时序知识图谱补全模型的方法 |
CN115114411A (zh) * | 2022-08-30 | 2022-09-27 | 中国科学院自动化研究所 | 基于知识图谱的预测方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2022052374A1 (zh) | 2022-03-17 |
US20220207379A1 (en) | 2022-06-30 |
CN112395423B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112395423B (zh) | 递归的时序知识图谱补全方法和装置 | |
US20190147361A1 (en) | Learned model provision method and learned model provision device | |
CN109583332B (zh) | 人脸识别方法、人脸识别系统、介质及电子设备 | |
CN111126574A (zh) | 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质 | |
CN113095129B (zh) | 姿态估计模型训练方法、姿态估计方法、装置和电子设备 | |
US20220309334A1 (en) | Graph neural networks for datasets with heterophily | |
CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
US20190197425A1 (en) | Deep convolutional factor analyzer | |
CN115439449B (zh) | 全视野组织学图像的处理方法、装置、介质和电子设备 | |
CN116010226A (zh) | 软件系统可靠性仿真评估方法、装置和计算机设备 | |
CN114863385B (zh) | 道路曲面信息生成方法、装置、设备和计算机可读介质 | |
CN112183627A (zh) | 生成预测密度图网络的方法和车辆年检标数量检测方法 | |
CN112651467A (zh) | 卷积神经网络的训练方法和系统以及预测方法和系统 | |
CN115238582A (zh) | 知识图谱三元组的可靠性评估方法、系统、设备及介质 | |
CN112420125A (zh) | 分子属性预测方法、装置、智能设备和终端 | |
US10444062B2 (en) | Measuring and diagnosing noise in an urban environment | |
Mohammed et al. | Classification of ear imagery database using Bayesian optimization based on CNN-LSTM architecture | |
CN113822144A (zh) | 一种目标检测方法、装置、计算机设备和存储介质 | |
CN114298299A (zh) | 基于课程学习的模型训练方法、装置、设备及存储介质 | |
CN116958626A (zh) | 一种图像分类模型训练、图像分类方法、装置及电子设备 | |
CN116956002A (zh) | 诊疗信息预测模型的训练方法、装置、设备及存储介质 | |
CN115375657A (zh) | 息肉检测模型的训练方法、检测方法、装置、介质及设备 | |
CN115312151A (zh) | 数据信息生成方法、装置、计算机设备和存储介质 | |
Pölsterl et al. | Scalable, axiomatic explanations of deep alzheimer’s diagnosis from heterogeneous data | |
CN114730638A (zh) | 跨医疗数据源的网络表示学习算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |