CN109543838B - 一种基于变分自编码器的图像增量学习方法 - Google Patents
一种基于变分自编码器的图像增量学习方法 Download PDFInfo
- Publication number
- CN109543838B CN109543838B CN201811294175.2A CN201811294175A CN109543838B CN 109543838 B CN109543838 B CN 109543838B CN 201811294175 A CN201811294175 A CN 201811294175A CN 109543838 B CN109543838 B CN 109543838B
- Authority
- CN
- China
- Prior art keywords
- layer
- encoder
- decoder
- sampling
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于变分自编码器的图像增量学习方法，包括以下步骤：1)构造以AlexNet网络层结构为原型的编码层，引入采样层和输出层；2)构建以上采样层和卷积层为基础的解码器，并且添加BacthNorm层；3)将编码器和解码器作为一个端到端的整体在数据集上进行训练；4)独立出编码器的分类层和解码器作为旧类别数据的生成器，并联合新增数据进行增量学习。本发明使得对抗扰动的生成不再受限于实际中众多环境因素的影响，具有较高的实用价值。
Description
技术领域
本发明涉及增量学习方法和数字图像处理技术，借鉴了变分自编码(VariationalAuto Encoders,VAEs)的思想，利用改进的编码器(Encoder)进行分类，解码器(Decoder)生成与输入尽可能相似的图片，并且在保持分类层识别精度的前提下，将增量类别数据与解码器生成的数据进行联合训练(Joint training)，从而达到在原有模型上的图像增量学习。
背景技术
随着深度学习地迅速发展，尽管深度神经网络在图像分类，语义分割，目标检测，语音识别，医学图像分析等各个领域显示出优越的性能，但是通常在这种情况下，需要为每个新任务训练各自独立的模型。为了同时提升在多个数据集上的效果，适应各个数据分布的不同，深度神经网络通常需要对整个数据集进行重新训练，以避免灾难性遗忘问题(Catastrophic Forgetting)，即学习了新的知识之后，几乎彻底遗忘了之前训练的知识，可参考文献1(Choy,Min Chee,Srinivasan,Dipti,and Cheu,Ruey Long,“Neuralnetworks for continuous online learning andcontrol.,”IEEE Trans NeuralNetwork,17(6):1511–1531,November 2006.ISSN1045-9227.doi:10.1109/TNN.2006.881710,即Choy,Min Chee,Srinivasan,Dipti,和Cheu,Ruey Long,基于持续在线学习和控制的神经网络,IEEE Trans Neural Network,17(6):1511–1531,November2006.ISSN 1045-9227.doi:10.1109/TNN.2006.881710.)。尤其是在数据量随着时间不断累积的场景下，完全重新训练模型满足不了实际需求。以上现象足以证明深度学习自身存在着潜在的缺陷：重新训练模型需要花费大量时间，无法克服灾难性遗忘问题的前提下，模型的识别性能难以在原有性能上提升。
近年来在增量学习方面取得了较大进展，例如弹性权重合并(Elastic WeightConsolidation,EWC)受突触可塑性理论的启发，是一种非常实用的解决方案，可以缓解在训练一组增量类别模型时的灾难性遗忘问题。通过考虑每个权重的Fisher信息，并在损失函数中加入惩罚项，该方法可以防止权重与旧数据上的分类器密切相关时权重变化过大，可参考文献2(Kirkpatrick,J.,Pascanu,R.,Rabinowitz,N.,Veness,J.,Desjardins,G.,Rusu,A.A.,Milan,K.,Quan,J.,Ramalho,T.,Grabska-Barwinska,A.,Hassabis,D.,Clopath,C.,Kumaran,D.,and Hadsell,R,“Overcoming catastrophic forgetting inneural networks,”Proceedings of the National Academy of Sciences,114(13),3521–3526,即Kirkpatrick,J.,Pascanu,R.,Rabinowitz,N.,Veness,J.,Desjardins,G.,Rusu,A.A.,Milan,K.,Quan,J.,Ramalho,T.,Grabska-Barwinska,A.,Hassabis,D.,Clopath,C.,Kumaran,D.,and Hadsell,R.,克服神经网络中的灾难性遗忘,Proceedingsof the National Academy of Sciences,114(13),3521–3526.)。虽然EWC在一定程度上缓解了增量学习过程中的灾难性遗忘问题，但是EWC的计算成本较高，而且在低维输出空间的应用有限。最近的工作同样也研究了在目标检测领域克服灾难性遗忘问题，例如Konstantin Shmelkov等人提出了一种不训练旧类别对应的数据的情况下进行目标检测器增量学习的方法。在这种情况下，除了保留旧类别上的识别性能外，还使用了一个损失函数来优化新类的性能，可参考文献3(Shmelkov,K.,Schmid,C.,Alahari,K.:Incrementallearning of object detectors withoutcatastrophic forgetting.In:The IEEEInternational Conference on Computer Vision(ICCV 2017),即Shmelkov,K.,Schmid,C.,Alahari,K.:克服灾难性遗忘问题实现目标检测器的增量学习.In:The IEEEInternational Conference on Computer Vision(ICCV 2017))。所以，在数据较大且分布动态变化的情况下，应避免在海量数据下的重复学习，通过增量学习可以在原有模型的基础上对新增的数据进行训练就可以达到在全部数据集上训练的效果。
目前国内外对图像增量学习技术的研究还处于起步阶段。特别是对新增样本中含有新特征以及新特征的维数不同的情况下所做的工作较少。然而，采集数据方式的多样化特点，如用于分类特性是由多个传感器共同采集，增量学习作为一种节约时间和空间代价的有效手段，在经济的发展中起着重要的作用，需要对增量学习方法更深入和更广泛的研究。
发明内容
为了解决随着时间不断推移，数据量的不断增加，空间存储的需求迅速增加，最终学习的速度将落后于数据更新的问题，提高分类器在大数据实际场景中的利用价值，本发明提出以变分自编码器为原型，通过改进的编码器作为分类器，利用解码器作为生成旧类别数据的生成器，将新增类别和生成的旧类别数据进行联合训练，从而达到增量学习的目的。该发明克服了传统学习方式的不足，从日益增加的新数据中有效地训练一个分类器，并且不影响旧类别的识别精度，解决了时间和空间的需求问题，适应了实际应用场景的需求，在人工智能领域具有重要的研究和应用价值。
本发明实现上述发明目的所采用的技术方案为：
一种基于变分自编码器的图像增量学习方法，包括以下步骤：
S1：构造以AlexNet网络层结构为原型的编码层，在编码层之后添加采样层，采样层是由高斯分布的均值层和方差层采样构成，在采样层之后添加输出层，输出层为所有增量类别数目的全连接层，在输出层之后，添加softmax层用于输出预测的类别；
S2：构建解码器，用于生成对应类别的图像，首先，在softmax层之后添加两层全连接层，用于融合提取的高阶特征；接着，采用上采样层能够还原特征，代替编码层中的下采样层；然后，在上采样层之后添加卷积层，用于提取上采样后的有效信息；最后，添加BacthNorm层，加快训练期间解码器模型的收敛速度以及防止过拟合；
S3：将编码器和解码器作为一个整体在数据集上进行训练，训练的目标函数为：编码器分类层的交叉熵函数，编码器采样层的KL相对熵函数以及解码器输出层和编码器输入层的均方差函数，训练优化器采用Adam优化器，采用自适应下降的学习率在数据集上训练200个epoch；
S4：独立出编码器的分类层和解码器作为生成器，采用高斯分布，随机激活分类层中某一个已训练类别的神经元，并利用解码器生成旧类别的数据，记为数据集O；结合新增数据集，记为数据集N；联合数据集O和N，重复S3步骤，训练一个端到端的改进的变分自编码器，直到训练完所有的增量任务为止。
进一步，所述步骤S1中，AlexNet是一个包含5个卷积层，3个最大池化层以及3个全连接层的卷积神经网络，以经典卷积神经网络AlexNet为基础，构建相同结构的编码器，在编码器之后连接采样层，采样层是由两部分全连接网络并联构成，第一部分是高斯分布的均值层，另一部分是高斯分布的方差层，紧接着通过全连接均值层和方差层构成一个采样层，在采样层之后添加输出层，输出层为全连接层，它包含的神经元数目为所有增量类别数，在输出层之后添加softmax层，用于输出预测的类别。
再进一步，所述步骤S2中，解码器是一个编码器的逆过程，目的是将编码后的特征进行还原，解码器由5个上采样层和5个卷积层构成，激活函数使用Relu函数，同时在激活函数后添加BacthNorm层，用于加快训练期间解码器模型的收敛速度以及防止过拟合；首先，在softmax层之后添加两层全连接层，用于融合提取的高阶特征；接着，采用上采样层能够还原特征，代替编码层中的下采样层；然后，在上采样层之后添加卷积层，用于提取上采样后的有效信息。
更进一步，所述步骤S3中，改进的变分自编码器作为一个端到端的模型结构进行训练，首先，对输入的数据进行数据增强，包括尺度变换，旋转，平移，拉伸，加噪声以及标准化操作，从而达到扩充数据集的作用；接着，设定训练的目标函数为编码器分类层的交叉熵函数，编码器采样层的KL相对熵函数以及解码器输出层和编码器输入层的均方差函数，训练优化器采用Adam优化器，采用自适应下降的学习率在数据集上训练200个epoch。
所述步骤S4中，将改进的变分自编码器中的分类层和解码器单独取出作为旧类别数据的生成器，采用高斯分布，随机激活分类层中某一个旧类别的神经元，并利用训练后的解码器参数生成旧类别的图片，记为数据集O；结合新增数据集，记为数据集N；联合数据集O和N，重复S3步骤，训练一个端到端的改进的变分自编码器，直到训练完所有的增量任务为止。
本发明的技术构思为：鉴于变分自编码器有比较好的图像还原能力，而传统的变分自编码器不能进行分类，所以在监督学习中运用受到限制，本发明结合改进的变分自编码器和增量学习的方法，提出用训练后的解码器生成旧类别数据，并结合新增数据联合训练的方式解决了图像增量学习中的灾难性遗忘问题。
与现有的技术相比，本发明的有益效果是：与传统的变分自编码器相比，引入分类层克服了自编码器在监督学习中实际运用的局限性，并提出用训练后的解码器生成旧类别数据，并结合新增数据联合训练的方式解决了增量学习中的灾难性遗忘问题。
附图说明
图1为构建改进的变分自编码器的流程图。
图2为采用改进的变分自编码器进行图像增量学习的流程图。
图3是基于改进的变分自编码器的图像增量学习方法的流程图。
具体实施方式
下面结合说明书附图对本发明做进一步说明。
参照图1～图3，一种基于改进的变分自编码器的图像增量学习方法，克服了传统学习方式的不足，从动态更新的图像数据中有效地训练一个分类器，并且不影响旧类别的识别精度，解决了时间和空间的需求问题，本发明提出运用变分自编码器来生成旧类别图像数据，解决了空间上对旧图像数据的依赖，并联合新增数据训练一个全新的模型，避免了在全部数据集上训练，解决了时间上训练的难题，并且训练后的模型有较好的分类能力。
本发明包括以下步骤：
S1：构造以AlexNet网络层结构为原型的编码层，与变分自编码器类似，在编码层之后添加采样层，采样层是由高斯分布的均值层和方差层采样构成；不同于传统的变分自编码器，在采样层之后添加输出层，输出层为所有增量类别数目的全连接层，在输出层之后，添加softmax层用于输出预测的类别；
S2：构建解码器，用于生成对应类别的图像，首先，在softmax层之后添加两层全连接层，用于融合提取的高阶特征；接着，采用上采样层能够还原特征，代替编码层中的下采样层；然后，在上采样层之后添加卷积层，用于提取上采样后的有效信息；最后，添加BacthNorm层，加快训练期间解码器模型的收敛速度以及防止过拟合；
S3：将编码器和解码器作为一个整体在baseline上进行训练，训练的目标函数为：编码器分类层的交叉熵函数，编码器采样层的KL相对熵函数以及解码器输出层和编码器输入层的均方差函数，训练优化器采用Adam优化器，采用自适应下降的学习率在baseline的数据集上训练200个epoch；
S4：独立出编码器的分类层和解码器作为生成器，采用高斯分布，随机激活分类层中某一个已训练类别的神经元，并利用解码器生成旧类别的数据，记为数据集O；结合新增数据集，记为数据集N；联合数据集O和N，重复S3步骤，训练一个端到端的改进的变分自编码器，直到训练完所有的增量任务为止。
进一步，所述步骤S1中，AlexNet是一个包含5个卷积层，3个最大池化层以及3个全连接层的卷积神经网络，以经典卷积神经网络AlexNet为基础，构建相同结构的编码器；与传统的变分自编码器类似，在编码器之后连接采样层；采样层是由两部分全连接网络并联构成。第一部分是高斯分布的均值层，另一部分是高斯分布的方差层；紧接着通过全连接均值层和方差层构成一个采样层；不同于传统的变分自编码器，在采样层之后添加输出层，输出层为全连接层，它包含的神经元数目为所有增量类别数。在输出层之后添加softmax层，用于输出预测的类别。
再进一步，所述步骤S2中，解码器是一个编码器的逆过程，目的是将编码后的特征进行还原，解码器由5个上采样层和5个卷积层构成，激活函数使用Relu函数，同时在激活函数后添加BacthNorm层，用于加快训练期间解码器模型的收敛速度以及防止过拟合，首先，在softmax层之后添加两层全连接层，用于融合提取的高阶特征；接着，采用上采样层能够还原特征，代替编码层中的下采样层；然后，在上采样层之后添加卷积层，用于提取上采样后的有效信息。
更进一步，所述步骤S3中，改进的变分自编码器作为一个端到端的模型结构进行训练，首先，对输入的数据进行数据增强，包括尺度变换，旋转，平移，拉伸，加噪声以及标准化操作，从而达到扩充数据集的作用；接着，设定训练的目标函数为编码器分类层的交叉熵函数，编码器采样层的KL相对熵函数以及解码器输出层和编码器输入层的均方差函数；训练优化器采用Adam优化器，采用自适应下降的学习率在数据集上训练200个epoch。
所述步骤S4中，将改进的变分自编码器中的分类层和解码器单独取出作为旧类别数据的生成器，采用高斯分布，随机激活分类层中某一个旧类别的神经元，并利用训练后的解码器参数生成旧类别的图片，记为数据集O；结合新增数据集，记为数据集N；联合数据集O和N，重复S3步骤，训练一个端到端的改进的变分自编码器，直到训练完所有的增量任务为止。
综上所述，本发明克服了传统学习方式的不足，从动态更新的数据中有效地训练一个分类器，并且不影响旧类别的识别精度，解决了时间和空间的需求问题，有效地提高了实际应用价值，扩大了应用领域。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。
Claims (1)
1.一种基于变分自编码器的图像增量学习方法，其特征在于，所述方法包括如下步骤：
S1：构造以AlexNet网络层结构为原型的编码层，在编码层之后添加采样层，采样层是由高斯分布的均值层和方差层采样构成，在采样层之后添加输出层，输出层为所有增量类别数目的全连接层，在输出层之后，添加softmax层用于输出预测的类别；
AlexNet是一个包含5个卷积层，3个最大池化层以及3个全连接层的卷积神经网络，以经典卷积神经网络AlexNet为基础，构建相同结构的编码器；
S2：之后构建解码器，用于生成对应类别的图像，首先，在softmax层之后添加两层全连接层，用于融合提取的高阶特征；接着，采用上采样层能够还原特征，代替编码层中的下采样层；然后，在上采样层之后添加卷积层，用于提取上采样后的有效信息；最后，添加BacthNorm层，加快训练期间解码器模型的收敛速度以及防止过拟合；
解码器是一个编码器的逆过程，目的是将编码后的特征进行还原，解码器由5个上采样层和5个卷积层构成，激活函数使用Relu函数；
S3：将编码器和解码器作为一个整体在baseline上进行训练，训练的目标函数为：编码器分类层的交叉熵函数，编码器采样层的KL相对熵函数以及解码器输出层和编码器输入层的均方差函数，训练优化器采用Adam优化器，采用自适应下降的学习率在baseline的数据集上训练200个epoch，改进的变分自编码器作为一个端到端的模型结构进行训练，首先，对输入的数据进行数据增强，包括尺度变换，旋转，平移，拉伸，加噪声以及标准化操作，从而达到扩充数据集的作用；
S4：独立出编码器的分类层和解码器作为生成器，将改进的变分自编码器中的分类层和解码器单独取出作为旧类别数据的生成器，采用高斯分布，随机激活分类层中某一个已训练类别的神经元，并利用解码器生成旧类别的数据，记为数据集O；结合新增数据集，记为数据集N；联合数据集O和N，重复S3步骤，训练一个端到端的改进的变分自编码器，直到训练完所有的增量任务为止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811294175.2A CN109543838B (zh) | 2018-11-01 | 2018-11-01 | 一种基于变分自编码器的图像增量学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811294175.2A CN109543838B (zh) | 2018-11-01 | 2018-11-01 | 一种基于变分自编码器的图像增量学习方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109543838A CN109543838A (zh) | 2019-03-29 |
| CN109543838B true CN109543838B (zh) | 2021-06-18 |
Family
ID=65846319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811294175.2A Active CN109543838B (zh) | 2018-11-01 | 2018-11-01 | 一种基于变分自编码器的图像增量学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543838B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199242B (zh) * | 2019-12-18 | 2024-03-22 | 浙江工业大学 | 一种基于动态修正向量的图像增量学习方法 |
| CN111160487B (zh) * | 2019-12-31 | 2024-02-13 | 清华大学 | 人脸图像数据集的扩充方法和装置 |
| CN111488917A (zh) * | 2020-03-19 | 2020-08-04 | 天津大学 | 一种基于增量学习的垃圾图像细粒度分类方法 |
| CN111652135B (zh) * | 2020-06-03 | 2023-05-23 | 广州视源电子科技股份有限公司 | 心电图数据生成方法、装置及电子设备 |
| CN111885213A (zh) * | 2020-06-09 | 2020-11-03 | 中国科学院信息工程研究所 | 一种基于门控卷积变分自编码器的IPv6地址发现方法和装置 |
| CN111899169B (zh) * | 2020-07-02 | 2024-01-26 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于语义分割的人脸图像的分割网络的方法 |
| CN111814462B (zh) * | 2020-07-09 | 2021-02-09 | 四川大学 | 基于动态正则化的高效终身关系提取方法及系统 |
| CN112115967B (zh) * | 2020-08-06 | 2023-08-01 | 中山大学 | 一种基于数据保护的图像增量学习方法 |
| CN113297575B (zh) * | 2021-06-11 | 2022-05-17 | 浙江工业大学 | 一种基于自编码器的多通道图垂直联邦模型防御方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108140146B (zh) * | 2015-08-19 | 2022-04-08 | D-波系统公司 | 使用绝热量子计算机的离散变分自动编码器系统和方法 |
| CN110023963B (zh) * | 2016-10-26 | 2023-05-30 | 渊慧科技有限公司 | 使用神经网络处理文本序列 |
| CN107679556A (zh) * | 2017-09-18 | 2018-02-09 | 天津大学 | 基于变分自动编码器的零样本图像分类方法 |
| CN108009520B (zh) * | 2017-12-21 | 2020-09-01 | 西安格威西联科技有限公司 | 基于卷积变分自编码器网络的手指静脉识别方法及系统 |
| CN108197736B (zh) * | 2017-12-29 | 2021-08-13 | 北京工业大学 | 一种基于变分自编码器和极限学习机的空气质量预测方法 |
-
2018
- 2018-11-01 CN CN201811294175.2A patent/CN109543838B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109543838A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543838B (zh) | 一种基于变分自编码器的图像增量学习方法 | |
| CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| CN111652066B (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
| LeCun et al. | Deep learning tutorial | |
| CN109919204B (zh) | 一种面向噪声图像的深度学习聚类方法 | |
| CN113469356A (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN110135386B (zh) | 一种基于深度学习的人体动作识别方法和系统 | |
| CN113159173B (zh) | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 | |
| CN109614874B (zh) | 一种基于注意力感知和树形骨架点结构的人体行为识别方法和系统 | |
| CN106919903A (zh) | 一种鲁棒的基于深度学习的连续情绪跟踪方法 | |
| CN108287904A (zh) | 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法 | |
| CN112307714B (zh) | 一种基于双阶段深度网络的文字风格迁移方法 | |
| CN111310852A (zh) | 一种图像分类方法及系统 | |
| CN110135365B (zh) | 基于幻觉对抗网络的鲁棒目标跟踪方法 | |
| CN111931807A (zh) | 一种基于特征空间组合的小样本类增量学习方法 | |
| Zhang et al. | Spiking echo state convolutional neural network for robust time series classification | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN112651360A (zh) | 一种小样本下骨架动作识别方法 | |
| CN112860856B (zh) | 一种算数应用题智能解题方法及系统 | |
| CN113297804B (zh) | 基于U-Transformer多层次特征重构的异常检测方法及系统 | |
| EP3926544B1 (en) | System and method of gesture recognition using a reservoir based convolutional spiking neural network | |
| CN113313030B (zh) | 基于运动趋势特征的人体行为识别方法 | |
| CN113435588B (zh) | 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法 | |
| CN114120447A (zh) | 一种基于原型对比学习的行为识别方法及系统、存储介质 | |
| CN114638408A (zh) | 一种基于时空信息的行人轨迹预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |