CN114612715A - 基于本地差分隐私的边缘联邦图像分类方法 - Google Patents
基于本地差分隐私的边缘联邦图像分类方法 Download PDFInfo
- Publication number
- CN114612715A CN114612715A CN202210220176.2A CN202210220176A CN114612715A CN 114612715 A CN114612715 A CN 114612715A CN 202210220176 A CN202210220176 A CN 202210220176A CN 114612715 A CN114612715 A CN 114612715A
- Authority
- CN
- China
- Prior art keywords
- image classification
- edge
- equal
- local
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioethics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种基于本地差分隐私的边缘联邦图像分类方法,实现步骤为:构建边缘联邦学习系统;本地参与方获取训练样本集和测试样本集;参数服务器为每个本地参与方构建图像分类模型;本地参与方初始化训练参数;边缘服务器设置边缘更新参数;本地参与方对图像分类模型的权重参数进行本地优化;边缘服务器获取边缘更新后的结果并发送;参数服务器获取全局更新后的结果并发送;本地参与方获取图像分类结果。本发明在对权重参数进行本地差分隐私扰动上传的过程中,只选取部分参数扰动上传,减小了引入的噪声,提高了模型的精度,同时通过先执行边缘聚合,再执行全局聚合,减少了与参数服务器的通信轮数,进而降低了系统的通信开销。
Description
技术领域
本发明属于图像处理技术领域,涉及一种图像分类方法,具体涉及一种基于本地差分隐私的边缘联邦图像分类方法。
背景技术
图像分类问题是图像处理技术领域的核心问题之一,其目的是根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来。现在主要的图像分类方法是通过卷积神经网络训练图像分类模型来实现的,但是要训练出一个好的图像分类模型需要大量的图像数据。但是用户的图像数据往往包含了大量的敏感信息,所以进行卷积神经网络模型训练时的海量图像数据交互必然会带来隐私安全问题。
基于上述原因,需要一种隐私保护的方法来支持数据共享和模型训练,于是谷歌提出了联邦学习,其主要执行流程为:参数服务器为每个本地参与方构建模型并初始化,各参与方在本地更新模型参数,并将结果发送给参数服务器,参数服务器进行全局聚合后将结果发送给各参与方,然后进行新的一轮迭代,直到损失函数收敛或者达到允许的迭代次数。尽管联邦学习可以在一定程度上保护参与方的数据隐私安全,但是已有研究表明,攻击者能够通过上传的模型参数推理出参与方的原始数据,例如,半诚实的参数服务器可以根据上传的模型参数和特定的样本判断参与方的训练集是否包含该特定的样本,从而导致参与方的隐私泄露。
例如申请公布号为CN 113642664 A,名称为“基于联邦学习的隐私保护图像分类方法”的专利申请,公开了一种基于联邦学习的隐私保护图像分类方法,该方法步骤主要包括:服务器获取公共数据并预处理;服务器初始化并通过洗牌器下发数据至各客户端;客户端训练本地神经网络;洗牌器随机子采样客户端;子采样客户端预测公共数据,扰动并加密后发送给洗牌器;洗牌器伪造并随机排列预测后发送匿名预测给服务器;服务器聚合匿名预测并训练全局神经网络;服务器将训练好的全局神经网络下发至各客户端;客户端利用训练好的全局神经网络进行图像分类。
然而,由于联邦学习本身通信开销大,现有技术在训练过程中引入洗牌器进一步增加了通信开销。因此,需要一种能够降低通信开销的方法,而边缘计算具有低延迟和低带宽运行的优点,通过利用边缘服务器进行边缘聚合,减少本地参与方与参数服务器的通信轮数,可以有效地降低通信开销。同时,本地参与方的参数量大,如果全都使用差分隐私扰动后上传,会导致分配到每个参数上的隐私预算变小,引入的噪声变大,从而使得最终训练的模型精度变低。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于本地差分隐私的边缘联邦图像分类方法,在保证训练数据隐私安全的同时,降低系统的通信开销和提高图像分类模型的精度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)构建边缘联邦学习系统:
构建包括参数服务器以及可与其通信的J个边缘服务器E={Ej|1≤j≤J},每个边缘服务器Ej包括I个本地参与方P={Pj,i|1≤i≤I}的边缘联邦学习系统,其中,I≥2,J≥2,Ej表示第j个边缘服务器,Pj,i表示第j个边缘服务器Ej中的第i个本地参与方;
(2)本地参与方获取训练样本集和测试样本集:
(3)参数服务器为每个本地参与方Pj,i构建图像分类模型Hj,i:
参数服务器为每个本地参与方Pj,i构建包括依次层叠的输入层、隐藏层、输出层的图像分类卷积神经网络模型Hj,i,隐藏层包括l个层叠的卷积层-ReLU层-池化层,输出层包括多个层叠的全连接层,其中l≥2;
(4)本地参与方初始化训练参数:
(5)边缘服务器设置边缘更新参数:
每个边缘服务器Ej设置边缘更新次数为k,最大更新次数为K,K≥10,令k=1;
(6)本地参与方对图像分类模型的权重参数进行本地优化:
(6a)每个本地参与方Pj,i将训练样本集中有放回地随机选取的B个训练样本作为图像分类模型Hj,i的输入,l个隐藏层对每个训练样本进行特征提取,并对所提取的特征进行压缩,输出层根据压缩后的特征对每个训练样本进行分类,得到B个训练样本的预测标签集合
(6b)每个本地参与方Pj,i采用交叉熵损失函数,通过预测标签值及其对应的真实标签值计算图像分类模型Hj,i的损失值然后求取对Hj,i的权重参数的偏导数采用随机梯度下降算法通过对图像分类模型Hj,i的权重参数进行更新,得到本次迭代的权重参数
(7)边缘服务器获取边缘更新后的结果并发送:
每个边缘服务器Ej对上传参数进行聚合,得到的聚合结果并判断k≥K是否成立,若是,得到本次迭代的边缘更新结果以及对应的图像分类模型H'j,并将发送到参数服务器后,执行步骤(8),否则,令k=k+1,Hj,i=H'j,并执行步骤(6);
(8)参数服务器获取全局更新后的结果并发送:
(9)本地参与方获取图像分类结果:
本发明与现有技术相比,具有如下优点:
1.本发明在对每个本地参与方的图像分类模型进行训练以及获取图像分类结果的过程中,首先对每个模型的权重参数进行更新,然后选取更新后的绝对值最大的部分参数,并采用本地差分隐私算法对其进行扰动,从而解决了由本地差分隐私对全部参数进行扰动所引入的噪声大,降低模型精度的问题,有效地提高了最终图像分类模型的精度。
2.本发明在对每个本地参与方的图像分类模型的权重参数进行扰动上传的过程中,首先将扰动的权重参数上传到边缘服务器进行边缘聚合,然后将边缘聚合后的结果上传到参数服务器进行全局聚合,从而减少了本地参与方与参数服务器之间的通信轮数,有效地降低了系统的通信开销。
附图说明
图1为本发明的实现流程图;
图2为本发明构建的边缘联邦学习系统结构示意图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,本发明包括如下步骤:
步骤1)构建边缘联邦学习系统:
构建包括参数服务器以及可与其通信的J个边缘服务器E={Ej|1≤j≤J},每个边缘服务器Ej包括I个本地参与方P={Pj,i|1≤i≤I}的边缘联邦学习系统,其结构如图2所示,其中,S表示参数服务器,I≥2,J≥2,Ej表示第j个边缘服务器,Pj,i表示第j个边缘服务器Ej中的第i个本地参与方;本实施例中J=5,I=10。
步骤2)本地参与方获取训练样本集和测试样本集:
在本实施例中,使用MNIST手写数字图像数据集,该数据集对应的标签是0-9的数字,令C=10,MNIST数据集中包括60000个训练图像样本和10000个测试图像样本,每个图像样本是一个大小为28×28的灰度图像,实施例设置每个本地参与方Pj,i拥有1200个训练图像样本和200个测试图像样本。
步骤3)参数服务器为每个本地参与方Pj,i构建图像分类模型Hj,i:
参数服务器为每个本地参与方Pj,i构建包括依次层叠的输入层、隐藏层、输出层的图像分类卷积神经网络模型Hj,i,隐藏层包括l个层叠的卷积层-ReLU层-池化层,输出层包括多个层叠的全连接层,其中l≥2;
在本实施例中,隐藏层中卷积层-ReLU层-池化层的个数l=2,该2个卷积层-ReLU层-池化层中卷积层卷积核大小均为5,步长均为1;
第一个卷积层-ReLU层-池化层中卷积层的填充为2,卷积核个数设置为6;
第二个卷积层-ReLU层-池化层中卷积层的填充为0,卷积核个数设置为16;
输出层包括的全连接层的个数为3,第一个全连接层的输入为400,输出为120,第二个全连接层的输入为120,输出为84,第三个全连接层的输入为84,输出为10。
步骤4)本地参与方初始化训练参数:
步骤5)边缘服务器设置边缘更新参数:
每个边缘服务器Ej设置边缘更新次数为k,最大更新次数为K,K≥10,令k=1;在本实施例中,K=10。
步骤6)本地参与方对图像分类模型的权重参数进行本地优化:
步骤6a)每个本地参与方Pj,i将训练样本集中有放回地随机选取的B个训练样本作为图像分类模型Hj,i的输入,l个隐藏层对每个训练样本进行特征提取,并对所提取的特征进行压缩,输出层根据压缩后的特征对每个训练样本进行分类,得到B个训练样本的预测标签集合
在本实施例中,B=20,每个输入的训练样本通过第一个卷积层-ReLU层-池化层时,由卷积层进行特征提取得到6个28×28的特征,由池化层进行特征压缩得到6个14×14的特征,然后通过第二个卷积层-ReLU层-池化层时,由卷积层进行特征提取得到16个10×10的特征,由池化层进行特征压缩得到16个5×5的特征,最后通过3个全连接层对池化层后的结果进行分类,得到20个预测标签。
步骤6b)每个本地参与方Pj,i采用交叉熵损失函数,通过预测标签值及其对应的真实标签值计算图像分类模型Hj,i的损失值然后求取对Hj,i的权重参数的偏导数采用随机梯度下降算法通过对图像分类模型Hj,i的权重参数进行更新,得到本次迭代的权重参数
在该步骤中,图像分类模型的权重参数有d=61706个取值,若全部通过差分隐私扰动后上传,则会使得分配到每一个参数上的隐私预算变小,引入的噪声变大,导致最终的图像分类模型精度变低。已有研究表明,绝对值越大的参数对模型的训练影响越大,只上传部分参数不会影响最终模型的精度,甚至还会提高模型的精度。在本实施例中,m=15426。
本步骤中采用本地差分隐私算法对每个参数vs进行扰动,扰动公式为:
本地差分隐私能够通过参数ε为本地参与方提供量化的隐私保护,攻击者无法通过扰动后的值推理出参与方的原始数据,ε设置的越小,隐私保护的效果越好。在本实施例中,ε=0.5。
对于本地差分隐私算法其需要满足本地差分隐私的定义:对于任意两个输入值v和v',输出值o,满足其中Pr[·]表示概率。为了满足本地差分隐私的定义,通过随机响应技术将原始数据[-1,1]映射到概率区间得到线性映射关系,然后通过映射的概率值返回扰动值Q、0、R中的一个。为了满足扰动值对原始数据的无偏性可以计算得到和其中
表示期望。
步骤7)边缘服务器获取边缘更新后的结果并发送:
每个边缘服务器Ej对上传参数进行聚合,得到的聚合结果并判断k≥K是否成立,若是,得到本次迭代的边缘更新结果以及对应的图像分类模型H'j,并将发送到参数服务器后,执行步骤(8),否则,令k=k+1,Hj,i=H'j,并执行步骤(6);
边缘服务器是在靠近本地参与方的网络边缘侧,具有低带宽运行和低延时的优点,本地参与方将扰动的权重参数上传到边缘服务器进行聚合,能够减少与参数服务器的通信轮数。同时,在聚合的过程中,由于扰动值对原始值满足无偏性,因此聚合后不再需要其它的操作。
步骤8)参数服务器获取全局更新后的结果并发送:
步骤9)本地参与方获取图像分类结果:
在本步骤中,所有本地参与方得到的图像分类准确率为98.11%。
Claims (4)
1.一种基于本地差分隐私的边缘联邦图像分类方法,其特征在于,包括如下步骤:
(1)构建边缘联邦学习系统:
构建包括参数服务器以及可与其通信的J个边缘服务器E={Ej|1≤j≤J},每个边缘服务器Ej包括I个本地参与方P={Pj,i|1≤i≤I}的边缘联邦学习系统,其中,I≥2,J≥2,Ej表示第j个边缘服务器,Pj,i表示第j个边缘服务器Ej中的第i个本地参与方;
(2)本地参与方获取训练样本集和测试样本集:
(3)参数服务器为每个本地参与方Pj,i构建图像分类模型Hj,i:
参数服务器为每个本地参与方Pj,i构建包括依次层叠的输入层、隐藏层、输出层的图像分类卷积神经网络模型Hj,i,隐藏层包括l个层叠的卷积层-ReLU层-池化层,输出层包括多个层叠的全连接层,其中l≥2;
(4)本地参与方初始化训练参数:
(5)边缘服务器设置边缘更新参数:
每个边缘服务器Ej设置边缘更新次数为k,最大更新次数为K,K≥10,令k=1;
(6)本地参与方对图像分类模型的权重参数进行本地优化:
(6a)每个本地参与方Pj,i将训练样本集中有放回地随机选取的B个训练样本作为图像分类模型Hj,i的输入,l个隐藏层对每个训练样本进行特征提取,并对所提取的特征进行压缩,输出层根据压缩后的特征对每个训练样本进行分类,得到B个训练样本的预测标签集合
(6b)每个本地参与方Pj,i采用交叉熵损失函数,通过预测标签值及其对应的真实标签值计算图像分类模型Hj,i的损失值然后求取对Hj,i的权重参数的偏导数采用随机梯度下降算法通过对图像分类模型Hj,i的权重参数进行更新,得到本次迭代的权重参数
(7)边缘服务器获取边缘更新后的结果并发送:
每个边缘服务器Ej对上传参数进行聚合,得到的聚合结果并判断k≥K是否成立,若是,得到本次迭代的边缘更新结果以及对应的图像分类模型H'j,并将发送到参数服务器后,执行步骤(8),否则,令k=k+1,Hj,i=H'j,并执行步骤(6);
(8)参数服务器获取全局更新后的结果并发送:
(9)本地参与方获取图像分类结果:
2.根据权利要求1所述的基于本地差分隐私的边缘联邦图像分类方法,其特征在于,步骤(3)中所述的图像分类卷积神经网络模型Hj,i,其中:
隐藏层中卷积层-ReLU层-池化层的个数l=2,该2个卷积层-ReLU层-池化层中卷积层卷积核大小均为5,步长均为1;第一个卷积层-ReLU层-池化层中卷积层的填充为2,卷积核个数设置为6;第二个卷积层-ReLU层-池化层中卷积层的填充为0,卷积核个数设置为16;
输出层包括的全连接层的个数为3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210220176.2A CN114612715A (zh) | 2022-03-08 | 2022-03-08 | 基于本地差分隐私的边缘联邦图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210220176.2A CN114612715A (zh) | 2022-03-08 | 2022-03-08 | 基于本地差分隐私的边缘联邦图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114612715A true CN114612715A (zh) | 2022-06-10 |
Family
ID=81860337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210220176.2A Pending CN114612715A (zh) | 2022-03-08 | 2022-03-08 | 基于本地差分隐私的边缘联邦图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114612715A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424079A (zh) * | 2022-09-30 | 2022-12-02 | 深圳市大数据研究院 | 基于联邦边缘学习的图像分类方法以及相关设备 |
CN116148193A (zh) * | 2023-04-18 | 2023-05-23 | 天津中科谱光信息技术有限公司 | 水质监测方法、装置、设备及存储介质 |
CN116596865A (zh) * | 2023-05-05 | 2023-08-15 | 深圳市大数据研究院 | 缺陷检测方法、系统及机器人 |
CN116611118A (zh) * | 2023-07-21 | 2023-08-18 | 北京智芯微电子科技有限公司 | 基于改进差分隐私的数据隐私保护模型的构建方法、装置 |
CN116863309A (zh) * | 2023-09-04 | 2023-10-10 | 中电科网络安全科技股份有限公司 | 一种图像识别方法、装置、系统、电子设备及存储介质 |
-
2022
- 2022-03-08 CN CN202210220176.2A patent/CN114612715A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115424079A (zh) * | 2022-09-30 | 2022-12-02 | 深圳市大数据研究院 | 基于联邦边缘学习的图像分类方法以及相关设备 |
CN115424079B (zh) * | 2022-09-30 | 2023-11-24 | 深圳市大数据研究院 | 基于联邦边缘学习的图像分类方法以及相关设备 |
CN116148193A (zh) * | 2023-04-18 | 2023-05-23 | 天津中科谱光信息技术有限公司 | 水质监测方法、装置、设备及存储介质 |
CN116148193B (zh) * | 2023-04-18 | 2023-07-18 | 天津中科谱光信息技术有限公司 | 水质监测方法、装置、设备及存储介质 |
CN116596865A (zh) * | 2023-05-05 | 2023-08-15 | 深圳市大数据研究院 | 缺陷检测方法、系统及机器人 |
CN116596865B (zh) * | 2023-05-05 | 2024-04-16 | 深圳市大数据研究院 | 缺陷检测方法、系统及机器人 |
CN116611118A (zh) * | 2023-07-21 | 2023-08-18 | 北京智芯微电子科技有限公司 | 基于改进差分隐私的数据隐私保护模型的构建方法、装置 |
CN116863309A (zh) * | 2023-09-04 | 2023-10-10 | 中电科网络安全科技股份有限公司 | 一种图像识别方法、装置、系统、电子设备及存储介质 |
CN116863309B (zh) * | 2023-09-04 | 2024-01-09 | 中电科网络安全科技股份有限公司 | 一种图像识别方法、装置、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114612715A (zh) | 基于本地差分隐私的边缘联邦图像分类方法 | |
CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
CN108388927B (zh) | 基于深度卷积孪生网络的小样本极化sar地物分类方法 | |
CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
CN113095409B (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
CN111526119B (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
CN113850272A (zh) | 基于本地差分隐私的联邦学习图像分类方法 | |
CN112163637B (zh) | 基于非平衡数据的图像分类模型训练方法、装置 | |
CN114514519A (zh) | 使用异构模型类型和架构的联合学习 | |
CN115062710A (zh) | 基于深度确定性策略梯度的联邦学习分类模型训练方法 | |
CN109919202A (zh) | 分类模型训练方法及装置 | |
CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN112163450A (zh) | 基于s3d学习算法的高频地波雷达船只目标检测方法 | |
CN117156442B (zh) | 基于5g网络的云数据安全保护方法及系统 | |
CN114496083A (zh) | 细胞类型确定方法、装置、设备以及存储介质 | |
CN114584406B (zh) | 一种联邦学习的工业大数据隐私保护系统及方法 | |
CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
CN112995414B (zh) | 基于语音通话的行为质检方法、装置、设备及存储介质 | |
CN112528058B (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
CN114445121A (zh) | 一种广告点击率预测模型构建及广告点击率预测方法 | |
CN112801107A (zh) | 一种图像分割方法和电子设备 | |
CN110210562B (zh) | 基于深度网络和稀疏Fisher矢量的图像分类方法 | |
CN115358418A (zh) | 基于模型扰动的联邦学习分类模型训练方法 | |
CN115987730A (zh) | 基于树状感知融合卷积网络的信号调制识别方法 | |
CN111797732B (zh) | 一种对采样不敏感的视频动作识别对抗攻击方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |