CN113239168A - 一种基于知识图谱嵌入预测模型的可解释性方法和系统 - Google Patents
一种基于知识图谱嵌入预测模型的可解释性方法和系统 Download PDFInfo
- Publication number
- CN113239168A CN113239168A CN202110598553.1A CN202110598553A CN113239168A CN 113239168 A CN113239168 A CN 113239168A CN 202110598553 A CN202110598553 A CN 202110598553A CN 113239168 A CN113239168 A CN 113239168A
- Authority
- CN
- China
- Prior art keywords
- entity
- graph
- knowledge
- embedded
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 235000010958 polyglycerol polyricinoleate Nutrition 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- VFLDPWHFBUODDF-FCXRPNKRSA-N curcumin Chemical compound C1=C(O)C(OC)=CC(\C=C\C(=O)CC(=O)\C=C\C=2C=C(OC)C(O)=CC=2)=C1 VFLDPWHFBUODDF-FCXRPNKRSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229940109262 curcumin Drugs 0.000 description 1
- 235000012754 curcumin Nutrition 0.000 description 1
- 239000004148 curcumin Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- VFLDPWHFBUODDF-UHFFFAOYSA-N diferuloylmethane Natural products C1=C(O)C(OC)=CC(C=CC(=O)CC(=O)C=CC=2C=C(OC)C(O)=CC=2)=C1 VFLDPWHFBUODDF-UHFFFAOYSA-N 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于知识图谱嵌入预测模型的可解释性方法和系统。获取来自用户的问题(包含实体x和关系r),输入训练好的知识图谱嵌入预测模型中,以得到问句的答案即预测结果;利用子图提取工具对用户输入问题中实体x以及得到的预测结果进行分析,以获得预测结果与问题实体x之间的二阶封闭子图;利用扰动算法对得到的二阶封闭子图进行扰动分析,以获得重要节点与路径,并作为对预测结果的解释分析结果。与相关技术相比,本发明提供的基于知识图谱嵌入预测模型的可解释性方法和系统,能够解决现有基于知识图谱预测方法不能提供的关于预测结果的解释分析,该分析可用于佐证预测结果的有效性和合理性,并能够达到高性能和高稳定的要求。
Description
技术领域
本发明属于人工智能技术领域,更具体地,涉及一种基于知识图谱嵌 入预测模型的可解释性方法和系统。
背景技术
知识图谱已经成为不同领域中语义组织信息的重要表示形式。它通常 将信息组织成事实的集合。事实e1,r,e2指示头部实体e1在关系r下链接到尾 部实体e2。知识图谱在搜索、推荐和药物重定位等一系列重要领域都具有 广泛的应用。
然而,知识图谱通常都具备不完备性。为了解决这个问题,研究人员 提出了许多链接预测方法来预测缺失的事实:第一类方法是基于知识图谱 嵌入的方法,其通过学习每个实体和关系的嵌入,并使用基于分数的排名 来指示预测事实的正确性的置信度水平。知识图谱嵌入模型通常在各种知 识图谱上达到很高的预测精度,并且可以处理较大规模的图。
近年来,人们提出了一些工作来解释知识图谱嵌入模型,其中第一种 解释方法是在训练过程中迭代地学习知识图谱嵌入和逻辑规则,学到的规 则可以用于解释;第二种方法是在知识图谱嵌入训练中,同时考虑来自事 实上下文的路径和预测事实的正确性估计,并通过提供路径作为支持证据 来为新事实生成解释;第三种方法是通过删除现有事实去近似对预测事实 得分的影响,并选择最重要的事实来解释预测。
然而,上述几种知识图谱嵌入模型的解释方法都存在一些不可忽略的 缺陷:上述第一种方法并不能迁移到大多主流的知识图谱嵌入方法中;上 述第二种方法在知识图谱嵌入训练中加入学习规则或上下文路径会增加训 练复杂度;上述第三种方法只用一个事实来解释,从而缺乏足够的信息来 进行逻辑推理,并造成解释的准确率偏低。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于知识图 谱嵌入预测模型的可解释性方法和系统,其目的在于,解决现有知识图谱 嵌入模型的解释方法不能迁移到大多主流的知识图谱嵌入方法中的技术问 题,以及在知识图谱嵌入训练中加入学习规则或上下文路径会增加训练复 杂度的技术问题,以及由于只用一个事实来解释,导致缺乏足够的信息来 进行逻辑推理,进而造成解释的准确率偏低的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于知识图谱 嵌入预测模型的可解释性方法,包括以下步骤:
(1)获取来自用户的问题,将该问题输入已训练好的知识图谱嵌入预 测模型中,以得到该问题对应的预测结果,其中用户的问题包含实体x以 及关系r;
(2)利用子图提取工具对用户输入问题中的实体x以及步骤(1)得 到的预测结果进行分析,以获得预测结果与问题之间的二阶封闭子图、该 二阶封闭子图内的所有实体,以及辅助扩展实体;
(3)利用扰动算法并根据步骤(2)获得的辅助拓展实体,对步骤(2) 得到的二阶封闭子图进行扰动分析处理,以获得重要节点与重要路径,作 为预测结果对应的解释分析结果。
优选地,步骤(1)中的知识图谱嵌入预测模型是通过以下步骤训练得 到的:
(1-1)获取知识图谱数据集,并将知识图谱数据集随机划分为训练集、 验证集和测试集,每个知识图谱数据是由头实体e1、关系r以及尾实体e2组成的三元组(e1,r,e2)构成,所有实体构成集合E,所有关系构成集合;
(1-2)对步骤(1-1)得到的训练集中的实体集合E和关系集合R进 行随机初始化,以获得每一个实体的嵌入表示和每一个关系的嵌入表示;
(1-3)将步骤(1-2)得到的训练集中所有实体的嵌入表示和关系的嵌 入表示输入知识图谱嵌入预测模型DistMult中,并使用基于边界的最小化 排名目标对嵌入预测模型中实体的嵌入表示和关系的嵌入表示进行迭代训 练,直到该知识图谱嵌入预测模型收敛为止,从而得到初步训练好的知识 图谱嵌入预测模型;
(1-4)根据步骤(1-1)得到的知识图谱验证集对初步训练好的知识图 谱嵌入预测模型进行验证,直到得到的基于边际的最小化排名目标达到最 优为止,从而得到训练好的知识图谱嵌入预测模型。
优选地,步骤(1-3)具体为:
首先,根据步骤(1-2)得到的训练集中所有实体的嵌入表示和关系的 嵌入构建打分函数:
随后,根据步骤(1-1)中得到的训练集中所有三元组构成的三元组集 合T构建负三元组集合T′:
其中,E表示训练集中出现的所有实体集合;e′1是从E中随机选择作 为头实体的一个实体,使得其与r,e2构成的三元组不属于三元组集合T; e′2是从E中随机选择作为头实体的一个实体,使得与e1,r构成的三元组不 属于三元组集合T。
然后,根据负三元组集合T’和训练集中的三元组集合T使得基于边际 的排名损失L1最小化,从而得到初步训练好的知识图谱嵌入预测模型,其 中排名损失L1具体为:
优选地,步骤(2)具体包含以下子步骤:
(2-1)根据用户输入问题中的实体x以及步骤(1)得到的预测结果y, 在知识图谱中检索,以得到以x为节点的周围两跳内的实体N2(x),以及以y 为节点的周围两跳内的实体N2(y);
(2-2)对步骤(2-1)获得的实体N2(x)和N2(y)取交集,以获得交集实 体Utrain,根据该交集实体Utrain在知识图谱中检索,以获得包含交集实体 Utrain的最小子图,即二阶封闭子图g;
(2-3)根据步骤(2-2)获得的交集实体Utrain在知识图谱中检索,以 得到以交集实体Utrain为节点的周围一跳内的所有邻居,并将所有邻居与交 集实体Utrain取差集,以得到辅助扩展实体Uextend。
优选地,步骤(3)具体包含以下子步骤:
(3-1)获取步骤(2)得到的二阶封闭子图中用户输入问题中的实体x 的所有一阶邻居节点构成的一阶邻居节点集合P1;
(3-2)根据扰动算法,并结合步骤(1)获得的训练好的知识图谱嵌入 预测模型、以及步骤(2)获得的辅助扩展实体Uextend和二阶封闭子图g对 步骤(3-1)获取的一阶邻居节点集合P1进行处理,以获得一阶邻居节点集 合P1中每一个一阶邻居节点的重要分数;
(3-3)将步骤(3-2)中得到的一阶邻居节点集合P1中所有一阶邻居节 点的重要分数按照从大到小进行排序,将重要分数最大值对应的节点i1作为 一阶重要节点;
(3-4)在二阶封闭子图g中获取步骤(3-3)得到的一阶重要节点i1的所有一阶邻居节点构成的一阶邻居节点集合P2;
(3-5)判断用户输入问题中的实体x对应的预测结果y是否位于一阶 邻居节点集合P2中,如果是,则在二阶封闭子图g中获取包含节点集[x,i1,y] 的最小子图,作为预测结果对应的解释分析结果,过程结束;否则进入步 骤(3-6);
(3-6)根据扰动算法,并结合步骤(1)获得的训练好的知识图谱嵌入 预测模型、以及步骤(2)获得的辅助扩展实体Uextend和二阶封闭子图g对 步骤(3-4)获取的一阶邻居节点集合P2进行处理,以获得一阶邻居节点集 合P2中每一个一阶邻居节点的重要分数;
(3-7)将步骤(3-6)中得到的一阶邻居节点集合P2中所有一阶邻居节 点的重要分数按照从大到小进行排序,将重要分数最大值对应的节点i2作为 一阶重要节点;
(3-8)在二阶封闭子图g中获取包含节点集[x,i1,i2,y]的最小子图,作 为预测结果对应的解释分析结果。
优选地,步骤(3-2)具体为:
首先,取出一阶邻居节点集合P1中的任意一个一阶邻居节点p,在二阶 封闭子图g中删除该节点p,以得到新的子图g′,将训练好的知识图谱嵌 入预测模型中的嵌入表示来初始化子图g′中所有实体的嵌入表示和关系表 示,以及辅助扩展实体Uextend中所有实体的嵌入表示。
最后,针对一阶邻居节点集合P1中的剩余每一个一阶邻居节点,重复 上述过程,从而最终得到一阶邻居节点集合P1对应的重要性分数。
优选地,基于边际的排名损失L2定义为:
其中(u,v,w)∈G表示子图g′以及辅助扩展实体Uextend所包含的所有三 元组构成的集合G中的一个三元组,即正三元组;(u′,v,w′)∈G′表示对应正 三元组构造的负三元组集合G′中的一个负三元组,S(u′,v,w′)表示负三元组的 计算分数,S(u,v,w)表示正三元组的计算分数。
优选地,负三元组集合G′等于:
其中E’表示G中出现的所有实体集合;u′是从E’中随机选择作为头实 体的一个实体,使得其与v,w构成的三元组不属于集合G;w是从E’中 随机选择作为尾实体的一个实体,使得其与u,v构成的三元组不属于集合 G。
按照本发明的另一方面,提供了一种基于知识图谱嵌入预测模型的可 解释性系统,包括:
知识图谱嵌入预测模块,用于获取来自用户的问题,将该问题输入已 训练好的知识图谱嵌入预测模型中,以得到该问题对应的预测结果,其中 用户的问题包含实体x以及关系r;
子图提取模块,用于利用子图提取工具对用户输入问题中的实体x以 及知识图谱嵌入预测模块得到的预测结果进行分析,以获得预测结果与问 题之间的二阶封闭子图、该二阶封闭子图内的所有实体,以及辅助扩展实 体;
扰动可解释性分析模块,用于利用扰动算法并根据子图提取模块获得 的辅助拓展实体,对子图提取模块得到的二阶封闭子图进行扰动分析处理, 以获得重要节点与重要路径,作为预测结果对应的解释分析结果。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够 取得下列有益效果:
(1)由于本发明采用步骤(1)到步骤(3),其关注于在嵌入预测模 型得到预测结果之后对预测结果和问题之间的后验分析,模型解耦性较高, 可以使用其他主流的知识图谱嵌入模型作为预测模型进行解释分析,因此 能够解决现有知识图谱嵌入模型并不能迁移到大多主流的知识图谱嵌入方 法的技术问题。
(2)由于本发明采用了步骤(2),其更多关注于预测结果附近的子图 部分对预测结果的影响,不仅减少不必要的全局数据的干扰,同时还能将 应用场景扩展到超大规模的数据集中,因此能够解决现有知识图谱嵌入模 型在知识图谱嵌入训练中加入学习规则或上下文路径会增加训练复杂度的 技术问题。
(3)由于本发明采用了步骤(3),其采用扰动算法能够快速计算出子 图中的重要节点集合,并构成含有丰富语义的解释子图或解释路径,因此 能够解决现有知识图谱嵌入模型由于只用一个事实来解释,从而缺乏足够 的信息来进行逻辑推理的技术问题。
(4)由于本发明采用了步骤(2)和步骤(3),其使用子图提取,并 采用扰动算法,微调训练样本的嵌入,使得模型能够快速适应轻微扰动的 变化,并识别出重要节点。因此能够解决现有解释性方法由于从全局数据 进行迭代训练,分析每个节点或者每条边的重要性,导致耗时严重,进而 导致查询效率较低的技术问题。
附图说明
图1是本发明基于知识图谱嵌入预测模型的可解释性方法的流程示意 图;
图2是本发明基于知识图谱嵌入预测模型的可解释性方法的细化流程 示意图;
图3是本发明基于知识图谱嵌入预测模型的可解释性方法系统的结构 框图;
图4是本发明计算机设备的内部结构图;
图5是本发明子图提取方法的结构图;
图6是本发明扰动算法的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图 及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体 实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的 本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可 以相互组合。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进 行清楚地、完整地描述,显然,所描述的实施例仅是本发明的一部分而非 全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创 造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的基本思路为,提供一种链路预测的可解释性系统。它通过获 取用户的问题,并输入到训练好的嵌入预测模型中,用于预测用户问题的 答案,对用户问题实体和预测结果进行子图提取,并通过评估实体损坏对 预测事实的预测得分的影响,在现有实体节点中,获得最重要的实体以及 连接的路径作为解释。具有处理性能高且训练耗时短的优点。
如图1和图2所示,本发明提供了一种基于知识图谱嵌入预测模型的 可解释性方法,包括以下步骤:
(1)获取来自用户的问题(例如<姜黄素,治疗,什么>),将该问题输 入已训练好的知识图谱嵌入预测模型中,以得到该问题对应的预测结果;
具体而言,本步骤中的知识图谱嵌入预测模型是通过以下步骤训练得 到的:
(1-1)获取知识图谱数据集,并将知识图谱数据集随机划分为训练集、 验证集和测试集,每个知识图谱数据是由头实体e1、关系r以及尾实体e2组成的三元组(e1,r,e2)构成,所有实体构成集合E,所有关系构成集合R;
其中三者的比例为:训练集90%、验证集5%、测试集5%。
具体的,本步骤中的知识图谱数据集是公开的知识图谱数据集,如 DRKG、MovieLens-1M或Family-rr。
(1-2)对步骤(1-1)得到的训练集中的实体集合E和关系集合R进 行随机初始化,以获得每一个实体的嵌入表示和每一个关系的嵌入表示;
嵌入表示的大小为d,d的取值范围为1~1024,优选为200,每一个 嵌入表示均满足均值为0的正态分布;
(1-3)将步骤(1-2)得到的训练集中所有实体的嵌入表示和关系的嵌 入表示输入知识图谱嵌入预测模型DistMult中,并使用基于边界的最小化 排名目标对嵌入预测模型中实体的嵌入表示和关系的嵌入表示进行迭代训 练,直到该知识图谱嵌入预测模型收敛为止,从而得到初步训练好的知识 图谱嵌入预测模型;
步骤(1-3)具体为:
首先,根据步骤(1-2)得到的训练集中所有实体的嵌入表示和关系的 嵌入构建打分函数:
随后,根据步骤(1-1)中得到的训练集中所有三元组构成的三元组集 合T构建负三元组集合T′:
其中,E表示训练集中出现的所有实体集合;e′1是从E中随机选择作 为头实体的一个实体,使得其与r,e2构成的三元组不属于三元组集合T; e′2是从E中随机选择作为头实体的一个实体,使得与e1,r构成的三元组不 属于三元组集合T。
嵌入预测模型的神经网络参数都可以通过最小化基于边际的排名目标 来学习,该目标鼓励正面关系(三元组)的得分高于任何负面关系(三元组)的 得分。通常在知识图谱中出现的三元组称为正三元组。因此将步骤(1-1) 中获得的训练集中的所有三元组构成的集合视为正三元组集合T,并通过破 坏正三元组的头实体或者尾实体来构造负三元组构成的负三元组集合T’。
然后,根据负三元组集合T’和训练集中的三元组集合T使得基于边际 的排名损失L最小化,从而得到初步训练好的知识图谱嵌入预测模型,其 中排名损失L具体为:
(1-4)根据步骤(1-1)得到的知识图谱验证集对初步训练好的知识图 谱嵌入预测模型进行验证,直到得到的基于边际的最小化排名目标达到最 优为止,从而得到训练好的知识图谱嵌入预测模型;
在步骤(1)中,首先是获取用户的问题,其包含实体x以及关系r;
然后,通过和上述步骤(1-3)相同的以下公式,找出使得打分函数S 最大值时的y值,将其作为用户问题的预测结果,其中打分函数S定义为:
(2)利用子图提取工具对用户输入问题中的实体x以及步骤(1)得 到的预测结果进行分析,以获得预测结果与问题之间的二阶封闭子图、该 二阶封闭子图内的所有实体,以及辅助扩展实体(如图5所示);
本步骤具体包含以下子步骤:
(2-1)根据用户输入问题中的实体x以及步骤(1)得到的预测结果y, 在知识图谱中检索,以得到以x为节点的周围两跳内的实体N2(x),以及以y 为节点的周围两跳内的实体N2(y);
具体而言,节点周围两跳内的实体是指该节点的邻居实体以及该邻居 实体的邻居实体,二者分别表示为,<节点,关系,邻居>,<邻居,关系, 邻居的邻居>。
(2-2)对步骤(2-1)获得的实体N2(x)和N2(y)取交集,以获得交集实 体Utrain,根据该交集实体Utrain在知识图谱中检索,以获得包含交集实体 Utratn的最小子图,即二阶封闭子图g;
(2-3)根据步骤(2-2)获得的交集实体Utrain在知识图谱中检索,以 得到以交集实体Utrain为节点的周围一跳内的所有邻居,并将所有邻居与交 集实体Utrain取差集,以得到辅助扩展实体Uextend。
上述步骤(2-1)到(2-3)的优点在于,对预测结果附近的子图部分进 行提取,解决了全局数据带来不必要干扰的问题。
上述步骤(2-1)到(2-3)的优点还在于,采用子图的方式,可以将应 用场景扩展到超大规模的数据集中。
(3)利用扰动算法并根据步骤(2)获得的辅助拓展实体,对步骤(2) 得到的二阶封闭子图进行扰动分析处理,以获得重要节点与重要路径,作 为预测结果对应的解释分析结果;
本步骤具体包含以下子步骤:
(3-1)获取步骤(2)得到的二阶封闭子图中用户输入问题中的实体x 的所有一阶邻居节点构成的一阶邻居节点集合P1;
(3-2)根据扰动算法,并结合步骤(1)获得的训练好的知识图谱嵌入 预测模型、以及步骤(2)获得的辅助扩展实体Uextend和二阶封闭子图g对 步骤(3-1)获取的一阶邻居节点集合P1进行处理,以获得一阶邻居节点集 合P1中每一个一阶邻居节点的重要分数;
如图6所示,本步骤中的扰动算法具体为:
首先,取出一阶邻居节点集合P1中的任意一个一阶邻居节点p,在二阶 封闭子图g中删除该节点p,以得到新的子图g′,将训练好的知识图谱嵌 入预测模型中的嵌入表示来初始化子图g′中所有实体的嵌入表示和关系表 示,以及辅助扩展实体Uextend中所有实体的嵌入表示。
其中,(u,v,w)∈G表示子图g′以及辅助扩展实体Uextend所包含的所有 三元组构成的集合G中的一个三元组,即正三元组;(u′,v,w′)∈G′表示对应 正三元组构造的负三元组集合G′中的一个负三元组,S(u′,v,w′)表示负三元组 的计算分数,S(u,v,w)表示正三元组的计算分数。其中,G′满足
E表示G中出现的所有实体集合;在E中随机一个实体u′作为头实体, 使得与v,w构成的三元组不属于集合G;同理在E中随机一个实体w作 为尾实体,使得与u,v构成的三元组不属于集合G。
最后,针对一阶邻居节点集合P1中的剩余每一个一阶邻居节点,重复 上述过程,从而最终得到一阶邻居节点集合P1对应的重要性分数。
本步骤的优点在于,对子图的嵌入表示进行微调,能够快速适应轻微 扰动的变化,减少了从全局数据进行迭代训练,分析每个节点或者每条边 的重要性,导致耗时严重,进而导致查询效率较低的问题。
(3-3)将步骤(3-2)中得到的一阶邻居节点集合P1中所有一阶邻居节 点的重要分数按照从大到小进行排序,将重要分数最大值对应的节点i1作为 一阶重要节点;
(3-4)在二阶封闭子图g中获取步骤(3-3)得到的一阶重要节点i1的所有一阶邻居节点构成的一阶邻居节点集合P2;
(3-5)判断用户输入问题中的实体x对应的预测结果y是否位于一阶 邻居节点集合P2中,如果是,则在二阶封闭子图g中获取包含节点集[x,i1,y] 的最小子图,作为预测结果对应的解释分析结果,过程结束;否则进入步 骤(3-6);
(3-6)根据扰动算法,并结合步骤(1)获得的训练好的知识图谱嵌入 预测模型、以及步骤(2)获得的辅助扩展实体Uextend和二阶封闭子图g对 步骤(3-4)获取的一阶邻居节点集合P2进行处理,以获得一阶邻居节点集 合P2中每一个一阶邻居节点的重要分数;
具体而言,本步骤中的扰动算法和步骤(3-2)中完全一致,这里不在 赘述。
(3-7)将步骤(3-6)中得到的一阶邻居节点集合P2中所有一阶邻居节 点的重要分数按照从大到小进行排序,将重要分数最大值对应的节点i2作为 一阶重要节点;
(3-8)在二阶封闭子图g中获取包含节点集[x,i1,i2,y]的最小子图,作 为预测结果对应的解释分析结果。
上述步骤(3-1)到步骤(3-8)的优点在于,获取到的重要节点集合可 以构成一个解释子图或者解释路径,为预测结果提供了更丰富的解释性语 义支持。
如图3所示,本申请还提供了基于知识图谱嵌入预测模型的可解释性 系统,包括:
知识图谱嵌入预测模块,用于获取来自用户的问题(包含实体x和关 系r),输入训练好的知识图谱嵌入预测模型中,以得到问句的答案即预测 结果;
子图提取模块,用于利用子图提取工具对知识图谱嵌入预测模块得到 的用户输入问题中的实体x和预测结果进行子图提取处理,以得到包含用 户输入问题中实体x和预测结果的二阶封闭子图;
扰动可解释性分析模块,用于根据子图提取模块得到的二阶封闭子图、 以及知识图谱嵌入预测模块得到的训练好的嵌入预测模型和用户输入及预 测,输入到扰动算法中进行计算,以获得重要节点与重要子图,并作为对 预测结果的解释分析结果。
关于基于知识图谱嵌入预测模型的可解释性系统的具体限定可以参见 上文中对于基于知识图谱嵌入预测模型的可解释性方法的限定,在此不再 赘述。上述基于知识图谱嵌入预测模型的可解释性系统中的各个模块可全 部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌 于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设 备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务 器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接 的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计 算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。 该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器 为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设知识图谱数据库以及实体近义词表等数据。 该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机 程序被处理器执行时,用于实现一种基于图神经网络嵌入匹配的知识图谱 问答方法。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案 相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设 备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或 者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存 储器中存储有计算机程序,该处理器执行计算机程序时实现上述各个方法 实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序 可存储于非易失性计算机可读取存储介质中,该计算机程序在执行时,可 包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所 使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失 性和易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM) 或闪存。易失性存储器可包括随机存取存储器(RAM)或外部高速缓冲存 储器。作为说明而非局限,RAM可以是多种形式,诸如静态RAM(SRAM)、 动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接 存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM) 等。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已, 并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等 同替换和改进等,均应包含在本发明的保护范围之内。
以下对本发明所提出的所述本发明提出一种基于知识图谱嵌入预测模 型的可解释性方法和系统进行了性能评测。需要说明的是,本实施例中采 用的所述数据集为Family-rr,MovieLens-1M数据集,DRKG数据集知识图 谱统计如下表1所示。
表1
Family-rr | MovieLens-1M | DRKG | |
实体数 | 3007 | 13039 | 97238 |
关系 | 12 | 7 | 107 |
三元组事实 | 27218 | 395770 | 5874261 |
在本实施例中,对Family-rr,和MovieLens-1M数据进行可解释性链接 预测实验,同时在DRKG数据集中做案例分析实验。在预测实验中,本发 明将Family-rr和MovieLens-1M随机分为训练集、验证集和测试集,比率 分别为90%、5%和5%。对于每个数据集,本发明使用训练集和验证集训 练知识图谱嵌入模型(例如DistMult)模型和基线模型,并使用训练后的模型 在测试集上执行链接预测。然后,本发明获取每个模型的前200预测分数 最高的预测事实,并将它们相交到一个集合中。本发明认为特定集合内的 事实对于任何类型的模型都是可预测的。最后,本发明在Family-rr中得到 了51个关系类型为Is Mother(Person,Person)的事实和79个关系类型为 MovieLens-1M中Interact(User,Item)关系类型的事实,以作为评价解释方法 的目标事实。同时与五种方法进行对比实验,分别为:Rand,RuLES,PGPR, ELPE,CRIAGE。关于Rand方法,其在给定头实体和尾实体之间随机选择前100条最短路径中的任意一条。本发明在本实验评估过程中没有强制路 径长度限制。关于RuLES方法,源代码地址为 http://people.mpi-inf.mpg.de/~gadelrab/RuLES/;关于PGPR方法,源代码地 址为https://github.com/orcax/PGPR;关于ELPE方法,源代码地址为https://github.com/kingsaint/InductiveExplainableLinkPrediction,关于 CRIAGE方法,本发明拓展了CRIAGE的方法,使其可以生成路径,源代 码地址为https://github.com/pouyapez/criage;本发明提供的基于知识图谱嵌 入预测模型的可解释性系统的所有实验,均使用64个vCPU和8个NVIDIA V100 GPU的AWSp3.16xLarge实例来训练模型,并使用32个vCPU和1 个NVIDIA T4 GPU的AWS g4dn.8xLarge实例来解释说明。相关软件为Python3.6,DGL0.4.3,Tensorflow1.14.0,Pytorch1.4.0。具体实验参数设置 如下表2所示:
表2
参数 | 设置 |
批大小 | 256 |
学习率 | 0.1 |
向量维度大小 | 64 |
gamma | 6.0 |
负采样大小 | 256 |
由下表3-1(它是本发明方法在Family-rr数据集中对Is Mother(h,t)的 事实解释的元路径统计)的实验结果可得:本发明提供的基于知识图谱嵌 入预测模型的可解释性系统在Family-rr数据集上的测试性能均优于其他比 较方法,具体的,本发明生成的所有路径都是合理的,且生成模糊路径(弱 路径)率最低,只有43.1%。CRIAGE的表现与KGExplainer类似;Rand 因为倾向于生成更长的路径,而导致其性能较差,且它还会产生不合理的 路径。由于规则不能针对特定的目标事实对生成的规则进行排名,本发明 将所有匹配的规则都考虑在内,这导致了较高的弱规则(路径)比率。PGPR 和ELEP倾向于产生3跳路径,导致更弱的路径。
由下表3-2(其是本发明方法在MovieLens-1M数据集中对interac(h,t) 的事实解释的元路径统计)的实验结果可得:本发明提供的基于知识图谱 嵌入预测模型的可解释性系统在MovieLens-1M数据集上的测试性能均优 于其他比较方法,具体的,本发明生成的所有路径都是合理的,没有弱路 径,这比其他方法要好。在大多数情况下,Rand倾向于对其他人产生更长 的路径,这导致了糟糕的表现。同时由于规则不能针对特定的目标事实对 生成的规则进行排序,本发明考虑了所有匹配的规则。
由下表3-3(其是本发明基于不同知识图谱嵌入方法在MovieLens-1M 数据集中的解释元路径统计)的实验结果可得:本发明提供的基于知识图 谱嵌入预测模型的可解释性系统可以运用在三个不同的知识图谱嵌入模型 中,并且在MovieLens-1M数据集上的测试评估结果可以看出,本发明可以 很好地与三种模型配合使用,并能提供高效且合理的解释。
表3-1
表3-2
表3-3
容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明, 凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应 包含在本发明的保护范围之内。
Claims (9)
1.一种基于知识图谱嵌入预测模型的可解释性方法,其特征在于,包括以下步骤:
(1)获取来自用户的问题,将该问题输入已训练好的知识图谱嵌入预测模型中,以得到该问题对应的预测结果,其中用户的问题包含实体x以及关系r;
(2)利用子图提取工具对用户输入问题中的实体x以及步骤(1)得到的预测结果进行分析,以获得预测结果与问题之间的二阶封闭子图、该二阶封闭子图内的所有实体,以及辅助扩展实体;
(3)利用扰动算法并根据步骤(2)获得的辅助拓展实体,对步骤(2)得到的二阶封闭子图进行扰动分析处理,以获得重要节点与重要路径,作为预测结果对应的解释分析结果。
2.根据权利要求1所述的基于知识图谱嵌入预测模型的可解释性方法,其特征在于,步骤(1)中的知识图谱嵌入预测模型是通过以下步骤训练得到的:
(1-1)获取知识图谱数据集,并将知识图谱数据集随机划分为训练集、验证集和测试集,每个知识图谱数据是由头实体e1、关系r以及尾实体e2组成的三元组(e1,r,e2)构成,所有实体构成集合E,所有关系构成集合R;
(1-2)对步骤(1-1)得到的训练集中的实体集合E和关系集合R进行随机初始化,以获得每一个实体的嵌入表示和每一个关系的嵌入表示;
(1-3)将步骤(1-2)得到的训练集中所有实体的嵌入表示和关系的嵌入表示输入知识图谱嵌入预测模型DistMult中,并使用基于边界的最小化排名目标对嵌入预测模型中实体的嵌入表示和关系的嵌入表示进行迭代训练,直到该知识图谱嵌入预测模型收敛为止,从而得到初步训练好的知识图谱嵌入预测模型;
(1-4)根据步骤(1-1)得到的知识图谱验证集对初步训练好的知识图谱嵌入预测模型进行验证,直到得到的基于边际的最小化排名目标达到最优为止,从而得到训练好的知识图谱嵌入预测模型。
3.根据权利要求1或2所述的基于知识图谱嵌入预测模型的可解释性方法,其特征在于,步骤(1-3)具体为:
首先,根据步骤(1-2)得到的训练集中所有实体的嵌入表示和关系的嵌入构建打分函数:
随后,根据步骤(1-1)中得到的训练集中所有三元组构成的三元组集合T构建负三元组集合T′:
其中,E表示训练集中出现的所有实体集合;e′1是从E中随机选择作为头实体的一个实体,使得其与r,e2构成的三元组不属于三元组集合T;e′2是从E中随机选择作为头实体的一个实体,使得与e1,r构成的三元组不属于三元组集合T。
然后,根据负三元组集合T’和训练集中的三元组集合T使得基于边际的排名损失L1最小化,从而得到初步训练好的知识图谱嵌入预测模型,其中排名损失L1具体为:
4.根据权利要求1至3中任意一项所述的基于知识图谱嵌入预测模型的可解释性方法,其特征在于,步骤(2)具体包含以下子步骤:
(2-1)根据用户输入问题中的实体x以及步骤(1)得到的预测结果y,在知识图谱中检索,以得到以x为节点的周围两跳内的实体N2(x),以及以y为节点的周围两跳内的实体N2(y);
(2-2)对步骤(2-1)获得的实体N2(x)和N2(y)取交集,以获得交集实体Utrain,根据该交集实体Utrain在知识图谱中检索,以获得包含交集实体Utrain的最小子图,即二阶封闭子图g;
(2-3)根据步骤(2-2)获得的交集实体Utrain在知识图谱中检索,以得到以交集实体Utrain为节点的周围一跳内的所有邻居,并将所有邻居与交集实体Utrain取差集,以得到辅助扩展实体Uextend。
5.根据权利要求1所述的基于知识图谱嵌入预测模型的可解释性方法,其特征在于,步骤(3)具体包含以下子步骤:
(3-1)获取步骤(2)得到的二阶封闭子图中用户输入问题中的实体x的所有一阶邻居节点构成的一阶邻居节点集合P1;
(3-2)根据扰动算法,并结合步骤(1)获得的训练好的知识图谱嵌入预测模型、以及步骤(2)获得的辅助扩展实体Uextend和二阶封闭子图g对步骤(3-1)获取的一阶邻居节点集合P1进行处理,以获得一阶邻居节点集合P1中每一个一阶邻居节点的重要分数;
(3-3)将步骤(3-2)中得到的一阶邻居节点集合P1中所有一阶邻居节点的重要分数按照从大到小进行排序,将重要分数最大值对应的节点i1作为一阶重要节点;
(3-4)在二阶封闭子图g中获取步骤(3-3)得到的一阶重要节点i1的所有一阶邻居节点构成的一阶邻居节点集合P2;
(3-5)判断用户输入问题中的实体x对应的预测结果y是否位于一阶邻居节点集合P2中,如果是,则在二阶封闭子图g中获取包含节点集[x,i1,y]的最小子图,作为预测结果对应的解释分析结果,过程结束;否则进入步骤(3-6);
(3-6)根据扰动算法,并结合步骤(1)获得的训练好的知识图谱嵌入预测模型、以及步骤(2)获得的辅助扩展实体Uextend和二阶封闭子图g对步骤(3-4)获取的一阶邻居节点集合P2进行处理,以获得一阶邻居节点集合P2中每一个一阶邻居节点的重要分数;
(3-7)将步骤(3-6)中得到的一阶邻居节点集合P2中所有一阶邻居节点的重要分数按照从大到小进行排序,将重要分数最大值对应的节点i2作为一阶重要节点;
(3-8)在二阶封闭子图g中获取包含节点集[x,i1,i2,y]的最小子图,作为预测结果对应的解释分析结果。
6.根据权利要求1所述的基于知识图谱嵌入预测模型的可解释性方法,其特征在于,步骤(3-2)具体为:
首先,取出一阶邻居节点集合P1中的任意一个一阶邻居节点p,在二阶封闭子图g中删除该节点p,以得到新的子图g′,将训练好的知识图谱嵌入预测模型中的嵌入表示来初始化子图g′中所有实体的嵌入表示和关系表示,以及辅助扩展实体Uextend中所有实体的嵌入表示。
最后,针对一阶邻居节点集合P1中的剩余每一个一阶邻居节点,重复上述过程,从而最终得到一阶邻居节点集合P1对应的重要性分数。
9.一种基于知识图谱嵌入预测模型的可解释性系统,其特征在于,包括:
知识图谱嵌入预测模块,用于获取来自用户的问题,将该问题输入已训练好的知识图谱嵌入预测模型中,以得到该问题对应的预测结果,其中用户的问题包含实体x以及关系r;
子图提取模块,用于利用子图提取工具对用户输入问题中的实体x以及知识图谱嵌入预测模块得到的预测结果进行分析,以获得预测结果与问题之间的二阶封闭子图、该二阶封闭子图内的所有实体,以及辅助扩展实体;
扰动可解释性分析模块,用于利用扰动算法并根据子图提取模块获得的辅助拓展实体,对子图提取模块得到的二阶封闭子图进行扰动分析处理,以获得重要节点与重要路径,作为预测结果对应的解释分析结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110598553.1A CN113239168B (zh) | 2021-05-31 | 2021-05-31 | 一种基于知识图谱嵌入预测模型的可解释性方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110598553.1A CN113239168B (zh) | 2021-05-31 | 2021-05-31 | 一种基于知识图谱嵌入预测模型的可解释性方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113239168A true CN113239168A (zh) | 2021-08-10 |
CN113239168B CN113239168B (zh) | 2024-01-05 |
Family
ID=77135870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110598553.1A Active CN113239168B (zh) | 2021-05-31 | 2021-05-31 | 一种基于知识图谱嵌入预测模型的可解释性方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113239168B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114225427A (zh) * | 2021-11-17 | 2022-03-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种用于多实体对抗的对手关系识别方法及装置 |
CN115860179A (zh) * | 2022-11-01 | 2023-03-28 | 清华大学 | 轨迹预测方法、装置、设备、存储介质及程序产品 |
CN117332856A (zh) * | 2023-11-03 | 2024-01-02 | 安徽国麒科技有限公司 | 一种基于采样子图策略的电池知识图谱摘要生成方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
WO2021042546A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技(深圳)有限公司 | 知识图谱链接错误的查修方法、装置及存储介质 |
CN112612903A (zh) * | 2020-12-24 | 2021-04-06 | 浙江大学 | 一种可解释的可生成规则的知识图谱嵌入表示学习方法 |
-
2021
- 2021-05-31 CN CN202110598553.1A patent/CN113239168B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829057A (zh) * | 2019-01-11 | 2019-05-31 | 中山大学 | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 |
WO2021042546A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技(深圳)有限公司 | 知识图谱链接错误的查修方法、装置及存储介质 |
CN112612903A (zh) * | 2020-12-24 | 2021-04-06 | 浙江大学 | 一种可解释的可生成规则的知识图谱嵌入表示学习方法 |
Non-Patent Citations (1)
Title |
---|
崔员宁;李静;沈力;申扬;乔林;薄珏;: "Duration-HyTE:基于持续时间建模的时间感知知识表示学习方法", 计算机研究与发展, no. 06 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114225427A (zh) * | 2021-11-17 | 2022-03-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种用于多实体对抗的对手关系识别方法及装置 |
CN115860179A (zh) * | 2022-11-01 | 2023-03-28 | 清华大学 | 轨迹预测方法、装置、设备、存储介质及程序产品 |
CN117332856A (zh) * | 2023-11-03 | 2024-01-02 | 安徽国麒科技有限公司 | 一种基于采样子图策略的电池知识图谱摘要生成方法 |
CN117332856B (zh) * | 2023-11-03 | 2024-02-23 | 安徽国麒科技有限公司 | 一种基于采样子图策略的电池知识图谱摘要生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113239168B (zh) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Apricot: A weight-adaptation approach to fixing deep learning models | |
CN110070141B (zh) | 一种网络入侵检测方法 | |
CN113239168A (zh) | 一种基于知识图谱嵌入预测模型的可解释性方法和系统 | |
Mantovani et al. | To tune or not to tune: recommending when to adjust SVM hyper-parameters via meta-learning | |
Hu et al. | Improving one-shot nas with shrinking-and-expanding supernet | |
CN112861936B (zh) | 一种基于图神经网络知识蒸馏的图节点分类方法及装置 | |
Li et al. | Informative pseudo-labeling for graph neural networks with few labels | |
Connolly | Constructing hidden variables in baysesian networks via conceptual clustering | |
CN111160459A (zh) | 超参数的优化装置和方法 | |
Jia et al. | Hybrid Sooty Tern Optimization and Differential Evolution for Feature Selection. | |
Ganepola et al. | Automating generative adversarial networks using neural architecture search: A review | |
Yedjour | Extracting classification rules from artificial neural network trained with discretized inputs | |
Al Nuaimi et al. | Online streaming feature selection with incremental feature grouping | |
Hassler et al. | A comparison of automated training-by-example selection algorithms for Evidence Based Software Engineering | |
CN108256030A (zh) | 一种基于本体的密度自适应概念语义相似度计算方法 | |
WO2023028997A1 (en) | Exhaustive learning techniques for machine learning algorithms | |
CN116362344A (zh) | 一种基于风格迁移与鲸鱼优化算法杂交的文本对抗攻击方法 | |
Calzada et al. | Dynamic rule activation for extended belief rule bases | |
Rath et al. | CSOFS: Feature Selection Using Cuckoo Search Optimization Algorithm for Software Fault Detection | |
CN114420221A (zh) | 一种基于知识图谱辅助的多任务药物筛选方法和系统 | |
Wang et al. | Application of data-driven method for automatic machine learning in economic research | |
Khurana | Automating feature engineering in supervised learning | |
Zhou et al. | Parametric dual maximization for non-convex learning problems | |
CN112686299A (zh) | 计算机执行的神经网络模型获取方法及装置 | |
Czarnowski et al. | Agent-based data reduction using ensemble technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |