CN117196025A - 基于多视图解码器的知识图谱高阶关系预测方法及系统 - Google Patents
基于多视图解码器的知识图谱高阶关系预测方法及系统 Download PDFInfo
- Publication number
- CN117196025A CN117196025A CN202311175115.XA CN202311175115A CN117196025A CN 117196025 A CN117196025 A CN 117196025A CN 202311175115 A CN202311175115 A CN 202311175115A CN 117196025 A CN117196025 A CN 117196025A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- graph
- matrix
- order relation
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 108091023663 let-7 stem-loop Proteins 0.000 claims 1
- 108091063478 let-7-1 stem-loop Proteins 0.000 claims 1
- 108091049777 let-7-2 stem-loop Proteins 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了知识图谱技术领域的基于多视图解码器的知识图谱高阶关系预测方法及系统，具体包括以下步骤：S1：将待预测的知识图谱导入到知识图谱高阶关系预测模型中，经处理后，重构出多个基于元路径视图的链接概率矩阵；S2：利用阈值和掩码矩阵过滤所述重构的多个基于元路径视图的链接概率矩阵，输出预测结果，本申请中通过对知识图谱中实体间的高阶关系进行预测，实现知识图谱的补全。
Description
技术领域
本发明涉及知识图谱技术领域，具体为基于多视图解码器的知识图谱高阶关系预测方法及系统。
背景技术
知识图谱将知识库表示为有向图，其中节点和边分别表示实体和实体间关系。知识图谱有许多应用，例如语义搜索、对话生成和问答系统。然而，即使是最先进的知识图谱也是不完整的。关系预测是一种根据知识图谱中已存在的知识信息去预测实体间缺失的关系的任务，是一种有前途的、广泛研究的、旨在解决知识图谱的不完整的任务。
现有的方法利用知识图谱表示学习方法进行节点和关系的向量化表示，然后进行推理。表示学习的目的是将知识图谱中的实体和关系映射到低维稠密的向量空间，将传统基于逻辑和符号的运算转变为基于数值的向量计算。基于表示学习的模型由于其简单高效性在链接预测、节点分类等任务上取得了较好的结果，被广泛应用于知识图谱补全、实体对齐等领域。
目前知识图谱表示学习常用的基于转移距离的表示学习模型以TransE模型为代表，它将三元组中的关系看作头实体和尾实体之间的翻译操作，基本假设是成立的事实三元组(h,r,t)应该满足等式h+r＝t。TransE在对一对一类型的关系上很有效，但是在处理一对多、多对一以及多对多问题时存在一定的问题。有很多模型对TransE进行了改进，但是仅考虑知识图谱中的三元组结构信息，尚有大量与实体和关系有关的其它信息没有得到有效应用，造成实体、关系的语义信息不明确。另外，利用图神经网络进行知识图谱的嵌入式表示，并应用到知识图谱的任务中，是当前大为流行的方法。
但目前，在基于表示学习的知识图谱关系预测的已有研究中，一方面，现有方法大都是通过对多种类型节点的特征进行表示学习，然后在相同的语义空间中对不同关系进行预测，无法有效的进行多关系预测；另一方面，现有方法更多关注于一阶链接关系的预测上，忽视高阶链接关系预测的重要性。一阶关系是指知识图谱本体定义的实体之间的直接连接关系，高阶链接关系则是实体间可能存在多跳关系，即由一条隐藏的路径链接两个实体。
发明内容
本发明的目的在于提供基于多视图解码器的知识图谱高阶关系预测方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于多视图解码器的知识图谱高阶关系预测方法，具体包括以下步骤：
S1：将待预测的知识图谱导入到知识图谱高阶关系预测模型中，经处理后，重构出多个基于元路径视图的链接概率矩阵；
其中，所述知识图谱高阶关系预测模型包括数据处理模块、知识图谱编码器、多视图解码器，所述知识图谱高阶关系预测模型的数据处理方法，具体包括以下步骤：
S11：将待预测的知识图谱输入到数据处理模块中进行处理，生成多个基于元路径的视图以及节点的初始化向量表示；
S12：知识图谱编码器对所述节点的初始化向量表示进行处理，生成节点嵌入；
S13：多视图解码器对所述节点嵌入与所述多个基于元路径的视图进行处理，重构出多个基于元路径视图的链接概率矩阵；
S2：利用阈值和掩码矩阵过滤所述重构的多个基于元路径视图的链接概率矩阵，输出预测结果。
作为优选，所述步骤S11中数据处理模块的工作方式具体为，
第一步：将待预测知识图谱的高阶关系和其他链接关系定义为p个元路径，并根据定义的p个元路径将待预测的知识图谱进行子图重构，生成p个基于元路径的视图，并得到视图中节点之间的链接矩阵为{Ai|i＝1…p}；
第二步：利用TransE模型对待预测知识图谱中的三元组进行向量初始化，得到知识图谱中节点的初始化向量表示；
其中，其中p为元路径的数量。
作为优选，所述步骤S12中知识图谱编码器的工作方式具体为，利用双层的异构图注意力神经网络对输入的节点的初始化向量表示通过基于元路径的邻域特征进行分层聚合，生成节点嵌入；
其中，所述节点嵌入为新的节点特征表示矩阵Z。
作为优选，所述步骤S13中多视图解码器的工作方式为：
第一步：根据知识图谱数据处理模块所定义的元路径和基于元路径视图的链接矩阵{Ai|i＝1…p}，将所述新的节点特征表示矩阵Z划分为基于p个视图的节点表示矩阵{Zi|i＝1…p}；
第二步：通过p个可训练的元路径映射矩阵{Wi|i＝1…p}，将所述节点表示矩阵{Zi|i＝1…p}投影到对应的元路径空间中作为节点表示矩阵{Z′i|i＝1…p}；
第三步：通过向量内积和Sigmoid激活函数对所述节点表示矩阵{Z′i|i＝1…p}进行处理，获得节点向量表示在i元路径空间中的链接概率矩阵
作为优选，在所述步骤S2之前用所述节点向量表示在i元路径空间中的链接概率矩阵与基于元路径视图的链接矩阵{Ai|i＝1…p}进行损失计算，若损失值不达标，则利用梯度下降算法实现知识图谱高阶关系预测模型参数的更新，并重新获得节点向量表示在i元路径空间中的链接概率矩阵/>进行损失值计算，直至损失值达标，若损失值达标，则进行步骤S2。
作为优选，所述损失计算的公式为
式中：yi表示元路径链接矩阵Ai中的元素，元素为0或1，表示经过解码器i得到的重构元路径链接矩阵/>中的元素且值的范围在(0，1)之间；
其中，所有基于元路径的视图的综合损失为：
式中：λi为基于元路径i的视图的损失函数的超参数，并令
作为优选，所述步骤S2中的掩码矩阵是由视图中节点之间的链接矩阵为{Ai|i＝1…p}生成。
作为优选，基于多视图解码器的知识图谱高阶关系预测系统，用于实现基于多视图解码器的知识图谱高阶关系预测方法，包括：用于处理待预测知识图谱的数据处理模块、用于处理数据处理模块输出数据的知识图谱编码器模块、用于处理知识图谱编码器模块输出数据的多视图解码器模块以及根据多视图解码器模块输出数据计算预测结果的预测模块。
与现有技术相比，本发明的有益效果是：本申请中利用TransE模型对知识图谱中的三元组进行节点的向量初始化，然后将高阶关系以及其他链接关系定义为多个元路径，并划分多个基于元路径的视图；使用两层的异构图注意力神经网络通过基于元路径的邻域特征进行分层聚合，生成新的节点嵌入；在多视图解码器中，映射矩阵先将节点表示投影到特定元路径空间中，然后重构出多个基于元路径视图的链接概率矩阵；用重构的基于元路径视图的链接概率矩阵和真实链接矩阵进行损失计算，并利用梯度下降算法实现模型参数的更新；最后利用阈值和掩码矩阵过滤视图的链接概率矩阵，实现多种类型节点间的高阶关系预测，通过对知识图谱中实体间的高阶关系进行预测，实现知识图谱的补全。
附图说明
图1为本发明知识图谱高阶关系预测模型结构示意图；
图2为本发明知识图谱高阶关系预测方法流程示意图；
图3为本发明知识图谱数据处理流程示意图；
图4为本发明预测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
基于多视图解码器的知识图谱高阶关系预测方法，具体包括以下步骤：将待预测的知识图谱导入到知识图谱高阶关系预测模型中，经处理后，重构出多个基于元路径视图的链接概率矩阵；
其中，请参阅图1，知识图谱高阶关系预测模型包括数据处理模块、知识图谱编码器、多视图解码器。
请参阅图2，知识图谱数据处理：知识图谱数据处理的内容包括以下几个方面：
(1)根据需要预测的高阶关系和知识图谱schema定义多个元路径；
(2)将模型所需要的知识图谱根据所定义的元路径进行子图重构，生成p个基于元路径的视图，并得到视图中节点之间的链接矩阵为{Ai|i＝1…p}，其中p为元路径的数量。
(3)利用TransE模型将知识图谱中的知识二元组进行向量初始化，得到知识图谱中节点的初始化向量表示。
请参阅图1和图2，知识图谱编码器：
(1)利用双层的异构图注意力神经网络(HAN)对输入的知识图谱数据通过基于元路径的邻域特征进行分层聚合，生成节点嵌入，得到新的节点特征表示矩阵Z。
请参阅图1，多视图解码器：
解码器模块利用p个解码器重构知识图谱数据所定义的基于p个元路径所构造的p个视图中节点之间的链接关系。具体操作为：
(1)根据知识图谱数据处理模块所定义的元路径和基于元路径视图的链接矩阵{Ai|i＝1…p}，将编码器得到的特征表示矩阵Z划分为基于p个视图的节点表示矩阵{Zi|i＝1…p}。
(2)通过p个可训练的元路径映射矩阵{Wi|i＝1…p}，将节点表示矩阵{Zi|i＝1…p}投影到对应的元路径空间中作为节点表示矩阵{Z′i|i＝1…p}。
(3)通过向量内积和Sigmoid激活函数获得节点向量表示在i元路径空间中的链接概率矩阵
请参阅图1，损失函数设计：
模型最终目的是为了为重构输入知识图谱数据基于元路径所生成的p个视图，也就是重构出基于元路径邻居的链接矩阵{Ai|i＝1…p}；因此损失函数用以评估真实的元路径链接矩阵{Ai|i＝1…p)和p个解码器重构出的元路径链接概率矩阵之间的差异。
需要说明的是，若差异不达标，则利用梯度下降算法实现知识图谱高阶关系预测模型参数的更新，并重新获得节点向量表示在i元路径空间中的链接概率矩阵进行损失值计算，直至差异达标，若损失值达标，则进行下一步。
因此单个视图解码器的损失可使用交叉熵函数进行计算，公式为：
其中，yi表示元路径链接矩阵Ai中某个元素(0或1)，表示经过解码器i得到的重构元路径链接矩阵/>中的元素且值的范围在(0，1)之间。所有基于元路径的视图的综合损失为：
λi为基于元路径i的视图的损失函数的超参数，并令
关系预测：
利用多视图解码器重构基于元路径的视图，能够得到节点之间基于特定元路径的链接概率矩阵。通过设定阈值进行过滤，并利用真实元路径视图的链接矩阵生成掩码矩阵再次过滤，就能够得到节点间的链接概率，然后通过和对应元路径视图相呼应就能得到链接关系。公式表示为：
masked(Ai)函数将矩阵Ai中位置为1的元素置为0、位置为0的元素置为1。函数将矩阵/>中元素小于αi的置为0、大于αi的保留原信息。F1ementwise()为元素积操作，也就是两矩阵对应元素相乘。
{αi|i＝1…p}为超参数，分别为p个重构的基于元路径视图的链接概率矩阵的过滤阈值。
关系预测矩阵Qi中元素不为0的位置表示对应节点之间通过元路径i的链接概率。通过对元路径的定义，得到的关系预测矩阵Qi不仅能够预测一阶链接关系，还可以实现高阶链接关系的预测。
请参阅图4，基于多视图解码器的知识图谱高阶关系预测系统，用于实现基于多视图解码器的知识图谱高阶关系预测方法，包括：数据处理模块、知识图谱编码器模块、多视图解码器模块以及预测模块；数据处理模块对待预测的知识图谱进行处理，处理产生的数据依次经过知识图谱编码器模块、多视图解码器模块处理后，导入到预测模块中，输出预测结果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：具体包括以下步骤：
S1：将待预测的知识图谱导入到知识图谱高阶关系预测模型中，经处理后，重构出多个基于元路径视图的链接概率矩阵；
其中，所述知识图谱高阶关系预测模型包括数据处理模块、知识图谱编码器、多视图解码器，所述知识图谱高阶关系预测模型的数据处理方法，具体包括以下步骤：
S11：将待预测的知识图谱输入到数据处理模块中进行处理，生成多个基于元路径的视图以及节点的初始化向量表示；
S12：知识图谱编码器对所述节点的初始化向量表示进行处理，生成节点嵌入；
S13：多视图解码器对所述节点嵌入与所述多个基于元路径的视图进行处理，重构出多个基于元路径视图的链接概率矩阵；
S2：利用阈值和掩码矩阵过滤所述重构的多个基于元路径视图的链接概率矩阵，输出预测结果。
2.根据权利要求1所述的基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：所述步骤S11中数据处理模块的工作方式具体为，
第一步：将待预测知识图谱的高阶关系和其他链接关系定义为p个元路径，并根据定义的p个元路径将待预测的知识图谱进行子图重构，生成p个基于元路径的视图，并得到视图中节点之间的链接矩阵为{Ai|i＝1…p}；
第二步：利用TransE模型对待预测知识图谱中的三元组进行向量初始化，得到知识图谱中节点的初始化向量表示；
其中，其中p为元路径的数量。
3.根据权利要求2所述的基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：所述步骤S12中知识图谱编码器的工作方式具体为，利用双层的异构图注意力神经网络对输入的节点的初始化向量表示通过基于元路径的邻域特征进行分层聚合，生成节点嵌入；
其中，所述节点嵌入为新的节点特征表示矩阵Z。
4.根据权利要求3所述的基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：所述步骤S13中多视图解码器的工作方式为：
第一步：根据知识图谱数据处理模块所定义的元路径和基于元路径视图的链接矩阵{Ai|i＝1…p}，将所述新的节点特征表示矩阵Z划分为基于p个视图的节点表示矩阵{Zi|i＝1…p}；
第二步：通过p个可训练的元路径映射矩阵{Wi|i＝1…p}，将所述节点表示矩阵{Zi|i＝1…p}投影到对应的元路径空间中作为节点表示矩阵{Z′i|i＝1…p}；
第三步：通过向量内积和Sigmoid激活函数对所述节点表示矩阵{Z′i|i＝1…p}进行处理，获得节点向量表示在i元路径空间中的链接概率矩阵
5.根据权利要求4所述的基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：在所述步骤S2之前用所述节点向量表示在i元路径空间中的链接概率矩阵与基于元路径视图的链接矩阵{Ai|i＝1…p}进行损失计算，若损失值不达标，则利用梯度下降算法实现知识图谱高阶关系预测模型参数的更新，并重新获得节点向量表示在i元路径空间中的链接概率矩阵/>进行损失值计算，直至损失值达标，若损失值达标，则进行步骤S2。
6.根据权利要求5所述的基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：所述损失计算的公式为
式中：yi表示元路径链接矩阵Ai中的元素，元素为0或1，表示经过解码器i得到的重构元路径链接矩阵/>中的元素且值的范围在(0，1)之间；
其中，所有基于元路径的视图的综合损失为：
式中：λi为基于元路径i的视图的损失函数的超参数，并令
7.根据权利要求6所述的基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：所述步骤S2中的掩码矩阵是由视图中节点之间的链接矩阵为{Ai|i＝1…p}生成。
8.基于多视图解码器的知识图谱高阶关系预测系统，用于实现如权利要求1-7任一项所述的基于多视图解码器的知识图谱高阶关系预测方法，其特征在于：包括：用于处理待预测知识图谱的数据处理模块、用于处理数据处理模块输出数据的知识图谱编码器模块、用于处理知识图谱编码器模块输出数据的多视图解码器模块以及根据多视图解码器模块输出数据计算预测结果的预测模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175115.XA CN117196025A (zh) | 2023-09-13 | 2023-09-13 | 基于多视图解码器的知识图谱高阶关系预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311175115.XA CN117196025A (zh) | 2023-09-13 | 2023-09-13 | 基于多视图解码器的知识图谱高阶关系预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117196025A true CN117196025A (zh) | 2023-12-08 |
Family
ID=88992074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311175115.XA Pending CN117196025A (zh) | 2023-09-13 | 2023-09-13 | 基于多视图解码器的知识图谱高阶关系预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117196025A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883200A (zh) * | 2021-03-15 | 2021-06-01 | 重庆大学 | 一种面向知识图谱补全的链接预测方法 |
| CN113961718A (zh) * | 2021-10-28 | 2022-01-21 | 南京航空航天大学 | 一种基于工业机械故障诊断知识图谱的知识推理方法 |
| WO2022033072A1 (zh) * | 2020-08-12 | 2022-02-17 | 哈尔滨工业大学 | 一种面向知识图谱表示学习训练的局部训练方法 |
| WO2023065545A1 (zh) * | 2021-10-19 | 2023-04-27 | 平安科技（深圳）有限公司 | 风险预测方法、装置、设备及存储介质 |
| CN116401380A (zh) * | 2023-06-07 | 2023-07-07 | 湖北工业大学 | 面向异构知识图谱的对比学习预测方法及系统 |
| CN116431821A (zh) * | 2023-03-15 | 2023-07-14 | 山东师范大学 | 基于常识感知的知识图谱补全方法及问答系统 |
-
2023
- 2023-09-13 CN CN202311175115.XA patent/CN117196025A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022033072A1 (zh) * | 2020-08-12 | 2022-02-17 | 哈尔滨工业大学 | 一种面向知识图谱表示学习训练的局部训练方法 |
| CN112883200A (zh) * | 2021-03-15 | 2021-06-01 | 重庆大学 | 一种面向知识图谱补全的链接预测方法 |
| WO2023065545A1 (zh) * | 2021-10-19 | 2023-04-27 | 平安科技（深圳）有限公司 | 风险预测方法、装置、设备及存储介质 |
| CN113961718A (zh) * | 2021-10-28 | 2022-01-21 | 南京航空航天大学 | 一种基于工业机械故障诊断知识图谱的知识推理方法 |
| CN116431821A (zh) * | 2023-03-15 | 2023-07-14 | 山东师范大学 | 基于常识感知的知识图谱补全方法及问答系统 |
| CN116401380A (zh) * | 2023-06-07 | 2023-07-07 | 湖北工业大学 | 面向异构知识图谱的对比学习预测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Graph neural networks: A review of methods and applications | |
| Satorras et al. | E (n) equivariant graph neural networks | |
| Liu et al. | Introduction to graph neural networks | |
| Chen et al. | Efficient approximation of deep relu networks for functions on low dimensional manifolds | |
| Bose et al. | Latent variable modelling with hyperbolic normalizing flows | |
| Liao et al. | Learning stochastic differential equations using RNN with log signature features | |
| CN113065649B (zh) | 一种复杂网络拓扑图表示学习方法、预测方法及服务器 | |
| Wang et al. | Deep generative model for periodic graphs | |
| Chen et al. | Factor fields: A unified framework for neural fields and beyond | |
| CN112529069B (zh) | 一种半监督节点分类方法、系统、计算机设备和存储介质 | |
| Lapidus et al. | Dirac operators and geodesic metric on the harmonic Sierpinski gasket and other fractal sets | |
| Rao et al. | Discovering nonlinear PDEs from scarce data with physics-encoded learning | |
| CN114926770A (zh) | 视频动作识别方法、装置、设备和计算机可读存储介质 | |
| CN115862751A (zh) | 基于边特征更新聚合注意力机制的量子化学性质计算方法 | |
| CN113228059A (zh) | 面向跨网络的表示学习算法 | |
| Yang et al. | Soft-mask: adaptive substructure extractions for graph neural networks | |
| Al-sharoa et al. | Community detection in networks through a deep robust auto-encoder nonnegative matrix factorization | |
| Sharma et al. | Prifit: Learning to fit primitives improves few shot point cloud segmentation | |
| Sidheekh et al. | Probabilistic flow circuits: towards unified deep models for tractable probabilistic inference | |
| CN117196025A (zh) | 基于多视图解码器的知识图谱高阶关系预测方法及系统 | |
| CN108614932B (zh) | 基于边图的线性流重叠社区发现方法、系统及存储介质 | |
| CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和系统 | |
| Zhang et al. | Long short‐distance topology modelling of 3D point cloud segmentation with a graph convolution neural network | |
| CN114124729A (zh) | 一种基于元路径的动态异质网络表示方法 | |
| Garov et al. | Application and Some Fundamental Study of GNN In Forecasting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |