CN110119739A - 一种冰晶图片的自动分类方法 - Google Patents
一种冰晶图片的自动分类方法 Download PDFInfo
- Publication number
- CN110119739A CN110119739A CN201910115964.3A CN201910115964A CN110119739A CN 110119739 A CN110119739 A CN 110119739A CN 201910115964 A CN201910115964 A CN 201910115964A CN 110119739 A CN110119739 A CN 110119739A
- Authority
- CN
- China
- Prior art keywords
- picture
- ice crystal
- ice
- model
- ice crystals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种冰晶图片的自动分类方法，首先将一幅包含多时刻冰晶粒子的大图分割成单一时刻的冰晶粒子图片；根据观察到的冰晶图片数据确定冰晶类别数目，建立冰晶粒子图片数据库；将冰晶粒子数据库分为训练集和测试集两部分，使用卷积神经网络(CNN)模型对其进行训练和测试，并对CNN模型进行调整，保存测试效果最佳的模型；使用保存的模型对冰晶图片进行自动分类。此种方法可解决观测到的冰晶粒子分割问题，可解决使用传统方法对冰晶分类造成的准确率低、费时且带有主观性的问题，可使分割后的冰晶粒子图片实现自动分类。
Description
技术领域
本发明属于大气科学技术领域，特别涉及一种冰晶图片的自动分类方法。
背景技术
冰云对全球辐射平衡和气候变化有重要的影响，冰云主要由比球形粒子复杂的各种形状的冰晶粒子组成，其影响程度取决于云本身的微物理特性和光学特性，如冰晶粒子形状、卷云光学厚度等(参见文献1)。不同类别的冰晶与不同形状和高度的云相关联并且具有不同的辐射特性，因此对冰云中的冰晶进行分类研究具有重要意义。目前主要使用云粒子成像仪(CPI)来对冰晶粒子进行观测，以此得到冰晶粒子图片。现有的冰晶图片分类技术主要是根据冰晶粒子自身相关的属性和形状，如文献2使用冰晶图片中粒子的长度、宽度、以及周长等属性为条件来区分不同类别的冰晶粒子，但是由于冰晶粒子尺寸大小以及形状特征多变，使用此方法对冰晶粒子进行分类的准确率较低。此外，通过人为视觉区分冰晶粒子能达到较高的准确率，但是由于观测到的冰晶粒子图片数以万计，如果通过人为视觉去分辨冰晶类别，不仅费时，而且带有较强的主观性。
考虑到使用CPI观测冰晶时，所获得的图片为多个时刻冰晶粒子同时在一幅大图片上，并且一幅图片上包含了不同类别的冰晶粒子，难以直接对冰晶图片进行分类。因此对冰晶图片进行分类前，首先要获得图片中单个的冰晶粒子的图片，但是据我们文献调研所知，目前没有专门针对中国地区观测到的冰晶图片进行分割的技术。
涉及的文献如下：
文献1，程天海，顾行发，陈良富，余涛，田国良，2008:卷云多角度偏振特性研究.物理学报,57(8),5323-5332.
文献2，Lawson R P,Baker B A,Zmarzly P,et al.,2006:Microphysical andoptical properties of atmospheric ice crystals at South Pole Station.Journalof Applied Meteorology and Climatology,45(11),1505-1524.
文献3，Deng J,Dong W,Socher R,et al.,2009:Imagenet:A large-scalehierarchical image database.IEEE Computer Vision and Pattern Recognition(CVPR),248-255.
文献4，Ioffe S,Szegedy C,2015:Batch normalization:Acceleration deepnetwork training by reducing internal covariate shift.InternationalConference on International Conference on Machine Learning,448-456.
文献5，Lecun Y,Boser B,Denker J S,et al.,1989:Backpropagation appliedto handwritten zip code recognition.Neural computation,1(4),541-551.
文献6，Paszke A,Gross S,Chintala S,and Chanan G,2017:PyTorch.
文献7，He K,Zhang X,Ren S,et al.,2016:Deep residual learning for imagerecognition.Proceedings of the IEEE conference on computer vision and patternrecognition,770-778.
发明内容
本发明的目的，在于提供一种冰晶图片的自动分类方法，其可解决观测到的冰晶粒子分割问题，可解决使用传统方法对冰晶分类造成的准确率低、费时且带有主观性的问题，可使分割后的冰晶粒子图片实现自动分类。
为了达成上述目的，本发明的解决方案是：
一种冰晶图片的自动分类方法，包括如下步骤：
步骤1，将一幅包含多时刻冰晶粒子的大图分割成单一时刻的冰晶粒子图片；
步骤2，通过基于迁移学习方法训练好的CNN模型对分割之后的单张冰晶粒子图片进行自动分类。
上述步骤1的具体内容是：
步骤11，对图片进行灰度处理；
步骤12，绘制灰度图的灰度梯度图，提取待抓取的图片边框；
步骤13，对图片遍历抓取了所有边框的左上角顶点、右上角顶点、左下角顶点、右下角顶点，存于4个矩阵中，再以每一个顶点的坐标为标准进行循环，匹配离它最近的3个顶点，这四个点就构成了一个带抓取矩阵图片边框，然后根据边框位置对图片进行裁剪，从而得到单个冰晶粒子图片。
上述步骤2的具体内容是：
步骤21，根据观察到的冰晶图片数据确定冰晶类别数目，建立冰晶粒子图片数据库；
步骤22，将冰晶粒子数据库分为训练集和测试集两部分，使用CNN模型对其进行训练和测试，并对CNN模型进行调整，保存测试效果最佳的模型；
步骤23，使用步骤22中保存的模型对冰晶图片进行自动分类。
上述步骤21中，根据分割后获得的单张冰晶粒子图片，结合冰晶粒子的形状、尺寸大小，将每张冰晶粒子做类别标记，最终分为10个类别。
上述步骤22中，将冰晶图片数据库按照4：1的比例分为训练集和测试集两部分。
上述步骤22的具体内容是：选择预训练的CNN模型，在深度学习框架Pytorch进行训练，根据本次冰晶分类任务来调节预训练模型的参数，将卷积网络中最后全连接层进行微调，替换成步骤21的冰晶类别数目；之后使用微调后的预训练模型对训练集和测试集分别进行训练和测试，最后保存测试效果最佳的分类模型。
上述预训练的CNN模型采用DenseNet、Inception、ResNet、SqueezeNet或VGG。
上述步骤22中，在进行训练和测试前，首先对冰晶粒子数据库中的每张冰晶图片进行以下的数据预处理：图片根据短边等比例缩放，对原始尺寸为[256，480]的冰晶图片进行随机采样以进行尺度增强；从图像或其水平翻转中随机采样224×224的裁剪块，其每个像素都减去平均值；调整图像的亮度并且对图像进行缩放以进行图像增强。
上述步骤23中，用步骤22中保存的模型对随机输入的图片进行预测，预测所获得最大概率的类别便作为该图像分类之后的类别。
采用上述方案后，本发明能够有效地分割中国地区观测所获得的整体的冰晶图片，从而得到观测的单个冰晶粒子图片；并且通过训练好的卷积神经网络模型对分割之后的单张冰晶粒子图片进行自动分类，可以高效且准确地将不同类别的冰晶粒子进行区分，实现冰晶粒子的自动分类。
附图说明
图1是对冰晶图片进行图片分割的示意图；
其中，(a)是一张在中国地区CPI观测到的完整冰晶粒子图片，(b)是对图片进行灰度处理后的灰度梯度图，(c)是待分割的单个冰晶图片的边框；
图2是冰晶图片分割成功效果示意图；
图3是利用迁移学习方法微调ResNet152模型实现冰晶图片自动分类的流程图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
如图3所示，本发明提供一种冰晶图片的自动分类方法，主要包含两个部分：1、冰晶图片的分割；2、冰晶图片的自动分类。第1步是将一幅包含多时刻冰晶粒子的大图自动分割成单一时刻的冰晶粒子图片，第2步是将单张冰晶粒子图片进行分类，具体如下：
步骤1，冰晶图片的分割
根据观测到冰晶图片特点，利用MATLAB软件编程，根据冰晶图片的灰度梯度将单张的冰晶图片提取出来，从而获得单个冰晶粒子图片。
具体步骤：根据在中国地区使用CPI观测到的冰晶粒子图片，如图1(a)，根据图片的特点，首先是对图片做简单的灰度处理，如图1(b)所示，图片处理为3色，白色是背景，黑色是字，灰色是待抓取的图片，之后绘制灰度图的灰度梯度图，提取灰色部分即待抓取的图片边框，见图1(c)；然后对图片遍历抓取所有边框的左上角顶点、右上角顶点、左下角顶点、右下角顶点，存于4个矩阵中，再以每一个顶点的坐标为标准进行循环，匹配离它最近的3个顶点，这四个点就构成了一个带抓取矩阵图片边框，然后根据边框位置对图片进行裁剪，就可以得到单个冰晶粒子图片，如图2所示。
步骤2，冰晶图片的自动分类
主要包含以下3个部分：
1)根据观测到的冰晶图片数据确定冰晶类别数目，建立冰晶粒子图片数据库——ICDC(Ice Crystals Database in China)：根据分割后获得的单张冰晶粒子图片，结合冰晶粒子的形状、尺寸大小，将每张冰晶粒子图片做类别标记，最终分为10个类别，之后在每个类别中挑选出一定数量作为使用卷积网络模型训练和测试的样本，ICDC中冰晶类别名称(对应的图片样本数量)分别如表1：
表1
对于冰晶图片数据库，首先我们检查标记图像的准确性以确保图像唯一，然后我们将冰晶图片数据库按照4：1的比例分为训练集和测试集两部分,并且检查测试集和测试集以确定两者之间没有重复的图片。
2)如图3所示，使用深度学习中卷积神经网络(CNN)模型对冰晶粒子数据集进行训练和测试。这里主要使用迁移学习的方法，即是用Imagenet数据集(文献3)训练得到的预训练CNN模型，迁移到冰晶图片数据集上训练，复用预训练网络模型配置，但不复用预训练模型参数，由于冰晶粒子数据集和原模型使用的数据集分布完全不一样，因此需要不断地调整模型配置中的参数以达到预期的效果。
将建立的冰晶粒子图片数据库按照一定比例划分成两部分：训练集和测试集。选择预训练的CNN模型，例如，DenseNet、Inception、ResNet、SqueezeNet、VGG等常用的CNN预训练模型。在深度学习框架Pytorch进行训练，根据本次冰晶分类任务来调节预训练模型的参数，也就是使用预训练网络初始化网络，而不是随机初始化，将卷积网络中最后全连接层进行微调，替换成我们所确定的冰晶类别数。之后使用微调后的预训练模型对建立的冰晶图片的训练集和测试集分别进行训练和测试。最后保存测试效果最佳的分类模型。
在训练之前，对冰晶粒子数据库中每张冰晶图片进行以下的数据预处理：图片根据短边等比例缩放，对原始尺寸为[256，480]冰晶图像进行随机采样以进行尺度增强。从图像或其水平翻转中随机采样224×224的裁剪块，其每个像素都减去平均值。此外，调整图像的亮度并且对图像进行缩放以进行图像增强。
然后，在每次卷积层之后和激活层之前，采用批量标准化(BN)方法(文献4)。在训练过程中使用随机梯度下降和反向传播方法(文献5)，图片每次训练的批量大小为4。实验设置动量参数为0.9。另外，为了获得最后一个卷积层的合理权重，使用0.001的学习率并训练30次。每训练一次测试其准确率，同时每经过7次完整训练便将学习率调整为原来的0.1倍。实验中使用了机器学习软件包Pytorch(文献6)，以及基于ImageNet数据集训练的的预训练CNN模型，之后在一台配有NVIDIAGeForce GTX1080Ti的电脑上运行。根据训练最优结果选择一种预训练模型：ResNet152。ResNet152是2015年ImageNet大规模视觉识别挑战赛(ILSVRC)竞赛的第一名，具有152层卷积层(文献7)。之后用ResNet152进行迁移学习，首先加载ResNet152预训练模型并将最后一层全连接层输出类别重置为10，训练过程中输出每一次训练和测试的准确率，并自动将具有最高测试精度时的模型保存(测试结果精度最高达到96％)。
3)使用步骤2)中保存的模型来对冰晶图片进行自动分类。即调用2)中训练好的分类模型用来分类和识别其他所需要进行分类的冰晶图片，首先对所需要预测的图片进行与上述训练时进行相同的图片预处理操作，之后，用训练好的分类模型对随机输入的图片进行预测，模型预测所获得最大概率的类别便作为该图像分类之后的类别，这样循环输入数据集中其他需要预测的图片，即可获得所有图片的分类结果。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (9)
1.一种冰晶图片的自动分类方法，其特征在于包括如下步骤：
步骤1，将一幅包含多时刻冰晶粒子的大图分割成单一时刻的冰晶粒子图片；
步骤2，通过基于迁移学习方法训练好的CNN模型对分割之后的单张冰晶粒子图片进行自动分类。
2.如权利要求1所述的一种冰晶图片的自动分类方法，其特征在于：所述步骤1的具体内容是：
步骤11，对图片进行灰度处理；
步骤12，绘制灰度图的灰度梯度图，提取待抓取的图片边框；
步骤13，对图片遍历抓取了所有边框的左上角顶点、右上角顶点、左下角顶点、右下角顶点，存于4个矩阵中，再以每一个顶点的坐标为标准进行循环，匹配离它最近的3个顶点，这四个点就构成了一个带抓取矩阵图片边框，然后根据边框位置对图片进行裁剪，从而得到单个冰晶粒子图片。
3.如权利要求1所述的一种冰晶图片的自动分类方法，其特征在于：所述步骤2的具体内容是：
步骤21，根据观察到的冰晶图片数据确定冰晶类别数目，建立冰晶粒子图片数据库；
步骤22，将冰晶粒子数据库分为训练集和测试集两部分，使用CNN模型对其进行训练和测试，并对CNN模型进行调整，保存测试效果最佳的模型；
步骤23，使用步骤22中保存的模型对冰晶图片进行自动分类。
4.如权利要求3所述的一种冰晶图片的自动分类方法，其特征在于：所述步骤21中，根据分割后获得的单张冰晶粒子图片，结合冰晶粒子的形状、尺寸大小，将每张冰晶粒子图片做类别标记，最终分为10个类别。
5.如权利要求3所述的一种冰晶图片的自动分类方法，其特征在于：所述步骤22中，将冰晶图片数据库按照4：1的比例分为训练集和测试集两部分。
6.如权利要求3所述的一种冰晶图片的自动分类方法，其特征在于：所述步骤22的具体内容是：选择预训练的CNN模型，在深度学习框架Pytorch进行训练，根据本次冰晶分类任务来调节预训练模型的参数，将卷积网络中最后全连接层进行微调，替换成步骤21的冰晶类别数目；之后使用微调后的预训练模型对训练集和测试集分别进行训练和测试，最后保存测试效果最佳的分类模型。
7.如权利要求6所述的一种冰晶图片的自动分类方法，其特征在于：所述预训练的CNN模型采用DenseNet、Inception、ResNet、SqueezeNet或VGG。
8.如权利要求6所述的一种冰晶图片的自动分类方法，其特征在于：所述步骤22中，在进行训练和测试前，首先对冰晶粒子数据库中的每张冰晶图片进行以下的数据预处理：图片根据短边等比例缩放，对原始尺寸为[256，480]的冰晶图片进行随机采样以进行尺度增强；从图像或其水平翻转中随机采样224×224的裁剪块，其每个像素都减去平均值；调整图像的亮度并且对图像进行缩放以进行图像增强。
9.如权利要求3所述的一种冰晶图片的自动分类方法，其特征在于：所述步骤23中，用步骤22中保存的模型对随机输入的图片进行预测，预测所获得最大概率的类别便作为该图像分类之后的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910115964.3A CN110119739B (zh) | 2019-02-15 | 2019-02-15 | 一种冰晶图片的自动分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910115964.3A CN110119739B (zh) | 2019-02-15 | 2019-02-15 | 一种冰晶图片的自动分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110119739A true CN110119739A (zh) | 2019-08-13 |
| CN110119739B CN110119739B (zh) | 2023-02-14 |
Family
ID=67520471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910115964.3A Active CN110119739B (zh) | 2019-02-15 | 2019-02-15 | 一种冰晶图片的自动分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110119739B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767937A (zh) * | 2019-11-13 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 目标检测模型训练方法、装置、电子设备及存储介质 |
| CN111898627A (zh) * | 2020-05-27 | 2020-11-06 | 成都信息工程大学 | 一种基于pca的svm云微粒子优化分类识别方法 |
| CN112907475A (zh) * | 2021-03-02 | 2021-06-04 | 珠海复旦创新研究院 | 一种冰晶图片的自动分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103197305A (zh) * | 2013-03-21 | 2013-07-10 | 武汉大学 | 基于支持向量机识别的沙尘型气溶胶反演方法 |
| CN109325527A (zh) * | 2018-09-05 | 2019-02-12 | 哈尔滨工程大学 | 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法 |
| CN109325484A (zh) * | 2018-07-30 | 2019-02-12 | 北京信息科技大学 | 基于背景先验显著性的花卉图像分类方法 |
-
2019
- 2019-02-15 CN CN201910115964.3A patent/CN110119739B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103197305A (zh) * | 2013-03-21 | 2013-07-10 | 武汉大学 | 基于支持向量机识别的沙尘型气溶胶反演方法 |
| CN109325484A (zh) * | 2018-07-30 | 2019-02-12 | 北京信息科技大学 | 基于背景先验显著性的花卉图像分类方法 |
| CN109325527A (zh) * | 2018-09-05 | 2019-02-12 | 哈尔滨工程大学 | 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| R. PAUL LAWSON等: "Microphysical and Optical Properties of Atmospheric Ice Crystals at South Pole Station", 《HTTPS://JOURNALS.AMETSOC.ORG/VIEW/JOURNALS/APME/45/11/JAM2421.1.XML》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767937A (zh) * | 2019-11-13 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 目标检测模型训练方法、装置、电子设备及存储介质 |
| CN111898627A (zh) * | 2020-05-27 | 2020-11-06 | 成都信息工程大学 | 一种基于pca的svm云微粒子优化分类识别方法 |
| CN111898627B (zh) * | 2020-05-27 | 2021-06-15 | 成都信息工程大学 | 一种基于pca的svm云微粒子优化分类识别方法 |
| CN112907475A (zh) * | 2021-03-02 | 2021-06-04 | 珠海复旦创新研究院 | 一种冰晶图片的自动分割方法 |
| CN112907475B (zh) * | 2021-03-02 | 2023-05-23 | 珠海复旦创新研究院 | 一种冰晶图片的自动分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110119739B (zh) | 2023-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107016405B (zh) | 一种基于分级预测卷积神经网络的害虫图像分类方法 | |
| CN106815604B (zh) | 基于多层信息融合的注视点检测方法 | |
| CN110232406A (zh) | 一种基于统计学习的液晶面板cf图片识别方法 | |
| CN110276386A (zh) | 一种基于机器视觉的苹果分级方法及系统 | |
| CN109711474A (zh) | 一种基于深度学习的铝材表面缺陷检测算法 | |
| CN110119739A (zh) | 一种冰晶图片的自动分类方法 | |
| CN110210362A (zh) | 一种基于卷积神经网络的交通标志检测方法 | |
| CN109919177B (zh) | 基于层次化深度网络的特征选择方法 | |
| CN111540006B (zh) | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 | |
| CN108229580A (zh) | 一种基于注意力机制及特征融合的眼底图中糖网特征分级装置 | |
| CN109886335A (zh) | 分类模型训练方法及装置 | |
| CN108830312B (zh) | 一种基于样本自适应扩充的集成学习方法 | |
| CN101383008A (zh) | 基于视觉注意模型的图像分类方法 | |
| CN110503140A (zh) | 基于深度迁移学习与邻域降噪的分类方法 | |
| CN105426924B (zh) | 一种基于图像中层特征的场景分类方法 | |
| CN105938565A (zh) | 基于多层分类器和互联网图像辅助训练的彩色图像情感分类方法 | |
| CN107665352A (zh) | 一种基于多通道残差网络的珍珠分类方法 | |
| CN109919224B (zh) | 一种基于人工智能的真伪混杂中药材的鉴别方法 | |
| CN112634237A (zh) | 一种基于YOLOv3改进网络的长竹条表面缺陷检测方法及系统 | |
| CN113887410A (zh) | 一种基于深度学习的多类别食材识别系统及方法 | |
| CN109086657B (zh) | 一种基于机器学习的耳朵检测方法、系统及模型 | |
| CN110008877A (zh) | 一种基于Faster RCNN的变电站隔离开关检测识别方法 | |
| CN114548208A (zh) | 一种基于YOLOv5改进的植物种子实时分类检测方法 | |
| CN114627411A (zh) | 基于计算机视觉下并行检测的农作物生育期识别方法 | |
| CN116434012A (zh) | 一种基于边缘感知的轻量型棉铃检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |