CN114579852A - 一种基于图卷积网络与注意力机制的推荐方法 - Google Patents
一种基于图卷积网络与注意力机制的推荐方法 Download PDFInfo
- Publication number
- CN114579852A CN114579852A CN202210187498.1A CN202210187498A CN114579852A CN 114579852 A CN114579852 A CN 114579852A CN 202210187498 A CN202210187498 A CN 202210187498A CN 114579852 A CN114579852 A CN 114579852A
- Authority
- CN
- China
- Prior art keywords
- user
- article
- embedding
- layer
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000006855 networking Effects 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于图卷积网络与注意力机制的推荐方法,包括根据用户与物品交互数据,构造用户‑物品高阶连接性交互图;根据高阶连接性交互图的高阶连接信息进行建模,并生成推荐模型;将用户与物品交互数据对推荐模型进行训练;训练完成后,推荐模型通过内积内积得到用户‑物品之间的关联分数,最终根据关联分数判断是否将物品推荐给用户。本发明考虑在用户‑物品交互二部图中学习嵌入表示,在模型嵌入层便考虑了用户与物品之间的交互信息,通过嵌入传播在用户物品交互图上建模高阶连通性,使得模型可以学习到高维特征信息,以此获得更有效的嵌入,提高了推荐的准确性。
Description
技术领域
本发明涉及计算机智能技术领域,具体涉及一种基于图卷积网络与注意力机制的推荐方法。
背景技术
随着近几年互联网中以指数级的速度增长的庞大数据的出现,我们社会迎来了“大数据”时代。在“大数据”时代中,我们面对如此庞大繁多的数据难免会遇到信息处理困难以及选择困难的问题,这个时候推荐系统就充当一个智能的信息过滤器,帮助我们从大数据中的找到我们需要的内容、物品、服务等等然后呈现在我们面前。目前推荐算法在电商领域,社交媒体,广告等领域都发挥着至关重要的作用。它通常是通过物品特征、用户偏好以及物品与用户之间的交互历史信息挖掘特征信息。
协同过滤算法是目前研究最多、应用范围最广泛的推荐算法之一。该算法依赖于用户所表现出来的历史数据,依据用户对物品的评分数据来寻找相似于目标用户或物品的对象来做候选推荐。随着越来越多的数据被感知,传统的协同过滤算法面临着巨大的挑战。主要包括:冷启动与稀疏性问题、可扩展性问题、多样性问题以及可解释性问题等。针对这些问题,很多学者在传统的协同过滤模型中加入很多辅助信息,如用户画像、物品属性特征等,然而随着辅助信息的增加,训练复杂度也越来越高,其推荐效果却不尽人意。
图结构数据是当前数据挖掘领域研宄的热点方向之一。图(Graph)是一种重要的信息组织结构,由节点(Node)和边(Edge)组成。图神经网络模型可以对数据进行高效的建模,精确地捕获到数据之间潜在的联系。基于GNN的推荐系统将用户和物品作为节点,物品与物品间、用户与用户间、用户与物品间的关系作为节点的状态信息,进而实现推荐。
与传统的协同过滤相比,将图网络应用到协同过滤中,能够捕获用户与用户、用户与物品、物品与物品之间的非线性关系的交互特征,为系统的性能(如召回率、精度等)提高带来了更多机会,克服了传统推荐技术中遇到的一些障碍。但是它的瓶颈依然集中在目前的模型在提取特征的能力上有待加强,且依然面临数据稀疏等问题,并且现有的模型没有聚合邻居节点的不同影响进行有效的建模。
发明内容
为解决现有技术中存在的上述问题,本发明提供一种基于图卷积网络与注意力机制的推荐方法,包括:
根据用户与物品交互数据,构造用户-物品高阶连接性交互图;
根据所述高阶连接性交互图的高阶连接信息进行建模,并生成推荐模型;
将所述用户与物品交互数据对所述推荐模型进行训练;
训练完成后,所述推荐模型通过内积内积得到用户-物品之间的关联分数,最终根据所述关联分数判断是否将物品推荐给用户;
其中,建模步骤包括:
构造嵌入层:所述嵌入层包括用户ID嵌入向量和物品ID嵌入向量;
构造加入注意力机制的嵌入传播层:所述嵌入传播层根据所述嵌入层输入的所述用户ID嵌入向量和物品ID嵌入向量,利用注意力机制为邻居节点分配不同的权重,并加权聚合邻居节点的特征信息更新所述用户ID嵌入向量和物品ID嵌入向量;
构造预测层:预测用户与物品之间的关联分数。
优选的是,所述根据用户与物品交互数据,构造用户-物品构造高阶连接性交互图包括:
采集MovieLens数据集和Last.fm数据集,并将用户与物品交互数据构造为用户-物品交互二部图。
优选的是,所述构造嵌入层包括:
构建用户-物品交互的邻接矩阵;
对所述邻接矩阵中的数据嵌入向量,生成初始嵌入向量查找表。
优选的是,利用注意力机制为邻居节点分配不同的权重包括:
权重计算公式为:
式中:为第k层中物品节点i的特征对于用户节点u的贡献度;"||"为向量的拼接;α是注意力计算函数;和分别为用户u和物品i经过k层传播后的嵌入;Nu为用户u交互过的物品集合;m为物品数量;为第k层u节点的每一个相邻节点i的权重。
优选的是,所述推荐模型通过内积内积得到用户-物品之间的关联分数,最终根据所述关联分数判断是否将物品推荐给用户包括:
将嵌入传播层学习到的嵌入向量加权聚合为最终的嵌入向量,模型将最终的嵌入向量进行简单的内积处理得到用户与物品之间的关联分数进行预测,并为最终用户推荐可能感兴趣的物品。
与现有技术相比,本发明的有益效果为:
本发明在用户-物品交互二部图中学习嵌入表示,在模型嵌入层便考虑了用户与物品之间的交互信息,通过嵌入传播在用户物品交互图上建模高阶连通性,使得模型可以学习到高维特征信息,以此获得更有效的嵌入,提高了推荐的准确性。
附图说明
图1为本发明中用户-物品高阶连接性交互图;
图2为本发明中推荐模型框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
本发明提供一种基于图卷积网络与注意力机制的推荐方法。
参照图1,本发明提供一种基于图卷积网络与注意力机制的推荐方法包括:
根据用户与物品交互数据,构造用户-物品高阶连接性交互图;
具体地,首先将数据集中获取的用户与物品交互数据进行处理,将处理好的欧式空间数据构造为非欧式空间数据,即用户-物品交互二部图;在本实施例中是采集MovieLens数据集和Last.fm数据集,并将用户与物品交互数据构造为用户-物品交互二部图。利用用户-物品交互二部图的拓扑结构对用户-物品的高阶连接信息构建用户-物品高阶连接性交互图。
根据高阶连接性交互图的高阶连接信息进行建模,并生成推荐模型;
将用户与物品交互数据对推荐模型进行训练;
具体地,对于每个数据集,随机选择每个用户的80%的交互历史构成训练集,剩下的20%作为测试集。本实验采用top-k召回率(Recall@K)和准确率(Precision@K)作为评价指标。实验结果表明,本发明提出的模型在两个不同的数据集相比于其他基准模型(LightGCN、NGCF)的Recall@20和Precision@20均有明显提高。验证了模型的有效性。
训练完成后,推荐模型通过内积内积得到用户-物品之间的关联分数,最终根据关联分数判断是否将物品推荐给用户;将嵌入传播层学习到的嵌入向量加权聚合为最终的嵌入向量,模型将最终的嵌入向量进行简单的内积处理得到用户与物品之间的关联分数进行预测,并为最终用户推荐可能感兴趣的物品。
其中,建模步骤包括:
构造嵌入层:嵌入层包括用户ID嵌入向量和物品ID嵌入向量;
具体地,根据推荐模型,本发明一个用户u或一个物品i的嵌入向量表示为:eu,ei∈Rd,d表示嵌入大小。由此可以得到用户嵌入和物品嵌入构成的初始嵌入向量查找表。
E=[eu1,…,euN,ei1,…,eiM]。
其中,用户数量为N,用户用u1,···,uN来表示,物品数量为M,物品用i1,···,iM来表示;eu1,…,euN表示用户的嵌入;ei1,…,eiM表示物品的嵌入,将它们映射到一个向量E表示。这个嵌入向量查找表作为用户和物品嵌入的初始状态。这个嵌入查找表作为用户嵌入和物品嵌入的初始状态,以端到端的方式进行传递和优化。在传统的推荐模型中,这些用户/物品的ID被表示为嵌入向量直接送入交互层并获得预测分数。但是,在本发明的模型中,为了达到更好的推荐效果本发明根据用户-物品交互图中的高阶连接性来获得交互信息构建用户和物品的嵌入向量,由此在嵌入层本发明将考虑了用户与物品目之间交互信息。
构造加入注意力机制的嵌入传播层:嵌入传播层根据嵌入层输入的用户ID嵌入向量和物品ID嵌入向量,利用注意力机制为邻居节点分配不同的权重,并加权聚合邻居节点的特征信息更新用户ID嵌入向量和物品ID嵌入向量;
具体地,为了达到更好的推荐效果我们根据用户-物品交互图中的高阶连接性来获得交互信息,通过图卷积网络进一步更新用户和物品的嵌入向量。我们以第k层的传播为例,图卷积网络的基本思想是通过在图上平滑特征来学习节点的表示。为了实现这一点,它迭代执行图的卷积,即,将邻居的特征聚合为目标节点的新表示。这种邻居聚集可以抽象为:
和分别表示用户u和物品i经过k层传播后的嵌入,Nu为用户u交互过的物品集合,即为用户u经过k+1层传播后的嵌入。AGG是一个聚合函数,是图数据卷积的核心。考虑第k层对目标节点及其邻居节点的表示。在该模型中,我们引入了注意力机制来实现更好的邻居聚合,通过学习邻居的权重,对邻近节点特征做加权聚合,捕获了不同邻居节点的贡献度影响。
其中,表示第k层中物品节点i的特征对于用户节点u的贡献度。"||"表示向量的拼接,α是注意力计算函数。在计算权重的过程中,需要计算第k层中节点u的每一个邻居节点m对u的贡献度令Nu为用户u交互过的物品集合。对于节点u的各个邻接节点m的贡献度进行归一化。并且对其进行非线性函数的激活,在本实验中采用的是LeakyRelu激活函数,最终得到第k层中物品节点i的特征对于用户节点u的权重参数,其计算公式为:
值得注意的是,我们只聚合已连接的邻居,而不集成目标节点本身(即,self-connection)。这不同于大多数现有的图数据卷积操作,这些操作通常会聚集扩展的邻域,并且需要专门处理自连接。在下面介绍的层组合操作本质上捕获了与自连接相同的效果。因此,不需要包含自连接。
构造预测层:预测用户与物品之间的关联分数。
具体地,在模型中,唯一可训练的模型参数是第0层的嵌入,即表示所有用户,表示所有物品。当给定它们时,就可以通过嵌入传播层来计算更高层的嵌入。经过K层嵌入传播之后,我们将图卷积层学习到的多个用户和物品的嵌入向量加权聚合分别得到用户、物品的最终嵌入表示eu和ei:
其中βk≥0表示第k层嵌入的权重。它将作为一个超参数进行手动调整,在执行层组合以获得最终表示的原因有以下三方面。
1)随着层数的增加,嵌入式会出现过平滑的。因此,简单地使用最后一层是有问题的。
2)不同层的嵌入捕获不同的语义。例如,第一层对具有交互的用户和物品进行平滑处理,第二层对具有重叠交互项(用户)的用户(项)进行平滑处理,更高的层捕获更高阶近似。因此,将它们结合起来将使表现更加全面。
3)将不同层的嵌入与加权和相结合,可以捕捉到图卷积与自连接的效果。
最后,模型预测定义为用户和物品最终表示的内积:
作为推荐生成的排名分数。
为了估计本发明的模型参数,使用了贝叶斯(BPR)损失函数对模型进行优化。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于图卷积网络与注意力机制的推荐方法,其特征在于,包括:
根据用户与物品交互数据,构造用户-物品高阶连接性交互图;
根据所述高阶连接性交互图的高阶连接信息进行建模,并生成推荐模型;
将所述用户与物品交互数据对所述推荐模型进行训练;
训练完成后,所述推荐模型通过内积内积得到用户-物品之间的关联分数,最终根据所述关联分数判断是否将物品推荐给用户;
其中,建模步骤包括:
构造嵌入层:所述嵌入层包括用户ID嵌入向量和物品ID嵌入向量;
构造加入注意力机制的嵌入传播层:所述嵌入传播层根据所述嵌入层输入的所述用户ID嵌入向量和物品ID嵌入向量,利用注意力机制为邻居节点分配不同的权重,并加权聚合邻居节点的特征信息更新所述用户ID嵌入向量和物品ID嵌入向量;
构造预测层:预测用户与物品之间的关联分数。
2.如权利要求1所述的基于图卷积网络与注意力机制的推荐方法,其特征在于,所述根据用户与物品交互数据,构造用户-物品构造高阶连接性交互图包括:
采集MovieLens数据集和Last.fm数据集,并将用户与物品交互数据构造为用户-物品交互二部图。
3.如权利要求1所述的基于图卷积网络与注意力机制的推荐方法,其特征在于,所述构造嵌入层包括:
构建用户-物品交互的邻接矩阵;
对所述邻接矩阵中的数据嵌入向量,生成初始嵌入向量查找表。
5.如权利要求1所述的基于图卷积网络与注意力机制的推荐方法,其特征在于,所述推荐模型通过内积内积得到用户-物品之间的关联分数,最终根据所述关联分数判断是否将物品推荐给用户包括:
将嵌入传播层学习到的嵌入向量加权聚合为最终的嵌入向量,模型将最终的嵌入向量进行简单的内积处理得到用户与物品之间的关联分数进行预测,并为最终用户推荐可能感兴趣的物品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210187498.1A CN114579852A (zh) | 2022-02-28 | 2022-02-28 | 一种基于图卷积网络与注意力机制的推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210187498.1A CN114579852A (zh) | 2022-02-28 | 2022-02-28 | 一种基于图卷积网络与注意力机制的推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114579852A true CN114579852A (zh) | 2022-06-03 |
Family
ID=81771329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210187498.1A Pending CN114579852A (zh) | 2022-02-28 | 2022-02-28 | 一种基于图卷积网络与注意力机制的推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114579852A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115221413A (zh) * | 2022-08-03 | 2022-10-21 | 湖北工业大学 | 一种基于交互式图注意力网络的序列推荐方法及系统 |
CN116542720A (zh) * | 2023-07-05 | 2023-08-04 | 湖北工业大学 | 一种基于图卷积网络的时间增强信息序列推荐方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112905900A (zh) * | 2021-04-02 | 2021-06-04 | 辽宁工程技术大学 | 基于图卷积注意力机制的协同过滤推荐算法 |
CN114065048A (zh) * | 2021-11-25 | 2022-02-18 | 西安电子科技大学 | 基于多异构图图神经网络的物品推荐方法 |
-
2022
- 2022-02-28 CN CN202210187498.1A patent/CN114579852A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112905900A (zh) * | 2021-04-02 | 2021-06-04 | 辽宁工程技术大学 | 基于图卷积注意力机制的协同过滤推荐算法 |
CN114065048A (zh) * | 2021-11-25 | 2022-02-18 | 西安电子科技大学 | 基于多异构图图神经网络的物品推荐方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115221413A (zh) * | 2022-08-03 | 2022-10-21 | 湖北工业大学 | 一种基于交互式图注意力网络的序列推荐方法及系统 |
CN116542720A (zh) * | 2023-07-05 | 2023-08-04 | 湖北工业大学 | 一种基于图卷积网络的时间增强信息序列推荐方法及系统 |
CN116542720B (zh) * | 2023-07-05 | 2023-09-19 | 湖北工业大学 | 一种基于图卷积网络的时间增强信息序列推荐方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111881350B (zh) | 一种基于混合图结构化建模的推荐方法与系统 | |
CN111611472B (zh) | 一种基于图卷积神经网络的捆绑推荐方法及系统 | |
CN109190030B (zh) | 融合node2vec和深度神经网络的隐式反馈推荐方法 | |
CN112613602A (zh) | 基于知识感知超图神经网络的推荐方法及系统 | |
CN112364976A (zh) | 基于会话推荐系统的用户偏好预测方法 | |
US20220253722A1 (en) | Recommendation system with adaptive thresholds for neighborhood selection | |
CN110619081A (zh) | 一种基于交互图神经网络的新闻推送方法 | |
CN114579852A (zh) | 一种基于图卷积网络与注意力机制的推荐方法 | |
CN114117142A (zh) | 一种基于注意力机制与超图卷积的标签感知推荐方法 | |
CN113918833B (zh) | 通过社交网络关系的图卷积协同过滤实现的产品推荐方法 | |
CN113918834B (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
CN113704438B (zh) | 一种基于分层注意力机制的异构图的会话推荐方法 | |
CN115221413B (zh) | 一种基于交互式图注意力网络的序列推荐方法及系统 | |
CN113918832A (zh) | 基于社交关系的图卷积协同过滤推荐系统 | |
CN115270007A (zh) | 一种基于混合图神经网络的poi推荐方法及系统 | |
CN115510319A (zh) | 一种基于潜在兴趣多视图融合的推荐方法和系统 | |
CN115168653A (zh) | 基于领域间和领域内关系的跨领域推荐方法及系统 | |
CN114925268A (zh) | 基于图神经网络的推荐方法、系统、电子设备及计算机可读介质 | |
CN104484365B (zh) | 一种多源异构在线社会网络中网络主体之间社会关系的预测方法与系统 | |
CN114491055B (zh) | 基于知识图谱的推荐方法 | |
CN113744023B (zh) | 一种基于图卷积网络的双通道协同过滤推荐方法 | |
Zhang et al. | Knowledge graph driven recommendation model of graph neural network | |
CN114385804A (zh) | 一种基于元学习的异构图注意力神经网络的评论推荐方法 | |
Chen et al. | Graph enhanced neural interaction model for recommendation | |
CN116306834A (zh) | 一种基于全局路径感知图神经网络模型的链路预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |