CN114170145A - 基于多尺度自编码的异质遥感图像变化检测方法 - Google Patents
基于多尺度自编码的异质遥感图像变化检测方法 Download PDFInfo
- Publication number
- CN114170145A CN114170145A CN202111336955.0A CN202111336955A CN114170145A CN 114170145 A CN114170145 A CN 114170145A CN 202111336955 A CN202111336955 A CN 202111336955A CN 114170145 A CN114170145 A CN 114170145A
- Authority
- CN
- China
- Prior art keywords
- image
- follows
- remote sensing
- change detection
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度自编码的异质遥感图像变化检测方法,具体包括如下步骤:步骤1,对图像进行预处理;步骤2,将经步骤1预处理后的图像放入多尺度神经网络中进行训练,并利用训练好的神经网络生成差异图;步骤3,利用阈值分析算法对步骤2生成的差异图进行分析,得到变化的图像。采用本发明能够对异质遥感图像中的变化区域进行精确检测。
Description
技术领域
本发明属于异质遥感图像变化检测领域,涉及基于多尺度自编码的异质遥感图像变化检测方法。
背景技术
变化检测是一种日益重要的技术,它通过分析在不同时间在同一地理位置上获取的一组图像来识别变化和不变的区域。在检测之前,需要对图像进行去噪和共配准等预处理。去噪即减轻噪声的干扰,并对图像进行共配准,使相同索引的像素对应于相同的地理位置。利用这些预处理后的图像,通过对比和假设检验的过程获得变化信息,这是分析的重点。
目前,不同的卫星平台可以提供各种类型的遥感图像,包括合成孔径雷达(SAR)图像、极化SAR图像、多光谱图像等。根据图像源,变化检测可分为同质和异质两类。同质变化检测是基于相同或相似传感器捕捉到的图像,其中不变区域的像素可视为线性相关。然后,通过对比原始图像得到差异图像(difference image,DI),在差异图像上应用分类算法得到相应的变化图(change map,CM)。相比之下,异质变化检测是基于不同传感器、分辨率、光照条件(光学)、极化和频率(SAR)捕捉的异质性图像,直接比较原始的异质图像是不可行的,这也是异质变化检测的主要难点。基于异质图像的变化检测是一项很有前景但也很有挑战性的研究。
如今,由于光学图像比合成孔径雷达图像更容易得到,大量的光学图像变得可用。然而,由于光学传感器的被动特性,获取高质量的光学图像需要在晴朗的天气和良好的阳光条件下进行。相反,SAR传感器是主动的,因此对天气和阳光条件不敏感。由于这两种传感器的互补特性,准确检测光学和SAR图像的变化对许多实际应用具有重要意义,特别是对紧急灾害的即时评估。在这种情况下,通常无法获得灾害前的SAR图像,也无法立即获得灾害后质量高的光学图像。然而,由于异质图像之间像素差的计算困难,目前基于异质图像的研究较少。处理异质图像的一个主要挑战是不同类型图像中地物的不同特征表示,这增加了获取差异图的难度。光学传感器测量可见光和近红外光谱波段的反射光强度。相应地,光学图像中地物的外观由地物的表面反射特性、场景照明条件和传感器视角决定。SAR传感器是有源的,测量发射信号的后向散射。该信号通常具有狭窄的微波频段,并在距离方向上进行采样。因此,SAR图像中地面物体的外观是由这些物体的几何形状和介电特性以及SAR传感器的发射/接收配置决定的。因此,在光学和合成孔径雷达图像中的地物将表现出明显不同的外观。
异质图像变化检测的基本流程范式为:1)预处理2)生成差异图3)分析差异图。预处理是对两幅图像进行归一化处理。生成差异图是将得到的归一化图像放入模型中进行训练,利用训练好的模型进行差异图的生成。分析差异图,将生成的差异图通过阈值分析、聚类分析、图切分析和水平集分析等方法得到最终的变化图。
发明内容
本发明的目的是提供一种基于多尺度自编码的异质遥感图像变化检测方法,采用该方法能够对异质遥感图像中的变化区域进行精确检测。
本发明所采用的技术方案是,基于多尺度自编码的异质遥感图像变化检测方法,具体包括如下步骤:
步骤1,对图像进行预处理;
步骤2,将经步骤1预处理后的图像放入多尺度神经网络中进行训练,并利用训练好的神经网络生成差异图;
步骤3,利用阈值分析算法对步骤2生成的差异图进行分析,得到变化的图像。
本发明的特点还在于:
步骤1的具体过程为:对配准的一副SAR图像和一副光学遥感图像进行归一化操作,确保每个图像像素点的值在[-1,1]之间。
步骤2的具体过程为:
步骤2.1,假设初始的两幅图像,将变化前的SAR图像记为X、变化后光学遥感图像记为Y,
对于SAR图像X,满足如下条件:
对于光学遥感图像Y,满足如下条件:
步骤2.2,分别获取图像X和图Y的三个尺度的高频分量;
步骤2.3,对步骤2.2所得结果进行自编码重构,得到重构后的图像X~和Y~;
步骤2.4,根据步骤2.3所得结果确定多尺度神经网络的损失函数;
步骤2.5,根据步骤2.4所得的损失函数进行训练,得到训练后的差异图。
步骤2.2的具体过程为:
步骤2.3的具体过程为:
其中,U(·)是上采样操作;
步骤2.4的具体过程为:
采用如下公式(9)获取图像X的损失函数:
其中:
采用如下公式(11)获取图像Y的损失函数:
其中:
根据如下公式(13)求总的重构函数:
Lrecon=LX+LY (13);
循环一致性损失函数由如下公式(16)得到:
Lconsis=CX+CY (16);
其中,CX、CY分别是X和Y的循环一致性损失函数;
CX的计算公式如下:
CY的计算公式如下:
因此,多尺度神经网络的总体损失函数如下公式(19)所示:
Ltotal=Lrecon+Lconsis (19)。
本发明的有益效果是:本发明采用一种基于多尺度自编码的异质遥感图像变化检测方法,首先对配准的一对SAR图像和光学遥感图像进行归一化操作,确保每个像素点的值在[-1,1]之间。其次是将得到的归一化图像放入多尺度神经网络中进行训练,利用训练好的神经网络进行差异图的生成。最后通过阈值法得到最终的变化图。
附图说明
图1是本发明基于多尺度自编码的异质遥感图像变化检测方法的流程图;
图2是Yellow River数据集的变化检测参考图;
图3是Yellow River数据集采用本发明基于多尺度自编码的异质遥感图像变化检测方法得到的变化检测图;
图4是Yellow River数据集采用编码对齐自编码方法得到的变化检测图;
图5是Tianhe airport数据集的变化检测参考图;
图6是Tianhe airport数据集采用本发明基于多尺度自编码的异质遥感图像变化检测方法得到的变化检测图;
图7是Tianhe airport数据集采用编码对齐自编码方法得到的变化检测图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于多尺度自编码的异质遥感图像变化检测方法,如图1所示,具体包括如下步骤:
步骤1,对图像进行预处理;
步骤1的具体过程为:对配准的一副SAR图像和一副光学遥感图像进行归一化操作,确保每个图像像素点的值在[-1,1]之间。
步骤2,将经步骤1预处理后的图像放入多尺度神经网络中进行训练,并利用训练好的神经网络生成差异图;
步骤2的具体过程为:
步骤2.1,假设初始的两幅图像,将变化前的SAR图像记为X、变化后光学遥感图像记为Y,
对于SAR图像X,满足如下条件:
对于光学遥感图像Y,满足如下条件:
步骤2.2,分别获取图像X和图Y的三个尺度的高频分量;
步骤2.2的具体过程为:
步骤2.3的具体过程为:
其中,U(·)是上采样操作;
步骤2.4,根据步骤2.3所得结果确定多尺度神经网络的损失函数;
步骤2.4的具体过程为:
采用如下公式(9)获取图像X的损失函数:
其中:
采用如下公式(11)获取图像Y的损失函数:
其中:
根据如下公式(13)求总的重构函数:
Lrecon=LX+LY (13);
循环一致性损失函数由如下公式(16)得到:
Lconsis=CX+CY (16);
其中,CX、Cy分别是X和Y的循环一致性损失函数;
CX的计算公式如下:
CY的计算公式如下:
因此,多尺度神经网络的总体损失函数如下公式(19)所示:
Ltotal=Lrecon+Lconsis (19)。
步骤2.5,根据步骤2.4所得的损失函数进行训练,得到训练后的差异图。
步骤2.5的具体过程为:采用如下公式(20)生成差异图:
其中,α、β分别是图像的通道数。
步骤3,利用阈值分析算法对步骤2生成的差异图进行分析,得到变化的图像。
本发明基于多尺度自编码的异质遥感图像变化检测方法的特点为:
(a)将拉普拉斯金字塔引入多尺度自编码器中,可以在高保真地压缩和重建SAR图像和光学遥感图像的同时抑制异常。
(b)构建的多尺度自编码器,可以提取多尺度特征并整合它们,以产生可靠的差异图。
实施例
本发明的效果可以通过仿真实验具体说明:
1.实验条件
实验所用微机CPU为IntelPentium43.0GHz内存16GB,编程平台是Python。用于实验的SAR图像和光学图像是Tianhe airport数据集、Yellow River数据集。
2.实验内容
首先是预处理阶段,先对配准的一对SAR图像和光学遥感图像进行归一化操作,确保每个像素点的值在[-1,1]之间。其次是生成差异图阶段,将得到的归一化图像放入多尺度神经网络中进行训练,利用训练好的神经网络进行差异图的生成。最后是分析差异图生成变化图阶段,通过阈值法得到最终的变化图。
3.实验结果
表1是本发明提出的方法和编码对齐自编码(Code-Aligned Autoencoders)方法在Yellow River数据集上的变化检测评价指标;表2是本发明提出的方法和编码对齐自编码(Code-Aligned Autoencoders)方法在Tianhe airport数据集上的变化检测评价指标;
表1
Method | FA | MA | OE | PCC | KC |
Baseline | 14886 | 9163 | 24049 | 0.9083 | 0.4422 |
oBrs | 4951 | 7436 | 12387 | 0.9527 | 0.6579 |
表2
Method | FA | MA | OE | PCC | KC |
Baseline | 26209 | 94 | 26303 | 0.8997 | 0.2358 |
ours | 10123 | 718 | 10841 | 0.9586 | 0.4079 |
图2是Yellow River数据集的变化检测参考图;
图3是Yellow River数据集采用本发明方法得到的变化检测图;
图4是Yellow River数据集采用编码对齐自编码方法得到的变化检测图;图5是Tianhe airport数据集的变化检测参考图;图6是Tianheairport数据集采用本发明方法得到的变化检测图;图7是Tianheairport数据集采用编码对齐自编码方法得到的变化检测图;实验结果表明本发明提出的方法能得到较好的变化检测结果。
Claims (7)
1.基于多尺度自编码的异质遥感图像变化检测方法,其特征在于:具体包括如下步骤:
步骤1,对图像进行预处理;
步骤2,将经步骤1预处理后的图像放入多尺度神经网络中进行训练,并利用训练好的神经网络生成差异图;
步骤3,利用阈值分析算法对步骤2生成的差异图进行分析,得到变化的图像。
2.根据权利要求1所述的基于多尺度自编码的异质遥感图像变化检测方法,其特征在于:所述步骤1的具体过程为:对配准的一副SAR图像和一副光学遥感图像进行归一化操作,确保每个图像像素点的值在[-1,1]之间。
3.根据权利要求1所述的基于多尺度自编码的异质遥感图像变化检测方法,其特征在于:所述步骤2的具体过程为:
步骤2.1,假设初始的两幅图像,将变化前的SAR图像记为X、变化后光学遥感图像记为Y,
对于SAR图像X,满足如下条件:
对于光学遥感图像Y,满足如下条件:
步骤2.2,分别获取图像X和图Y的三个尺度的高频分量;
步骤2.4,根据步骤2.3所得结果确定多尺度神经网络的损失函数;
步骤2.5,根据步骤2.4所得的损失函数进行训练,得到训练后的差异图。
6.根据权利要求5所述的基于多尺度自编码的异质遥感图像变化检测方法,其特征在于:所述步骤2.4的具体过程为:
采用如下公式(9)获取图像X的损失函数:
其中:
采用如下公式(11)获取图像Y的损失函数:
其中:
根据如下公式(13)求总的重构函数:
Lrecon=LX+LY (13);
循环一致性损失函数由如下公式(16)得到:
Lconsis=CX+CY (16);
其中,CX、CY分别是X和Y的循环一致性损失函数;
CX的计算公式如下:
CY的计算公式如下:
因此,多尺度神经网络的总体损失函数如下公式(19)所示:
Ltotal=Lrecon+Lconsis (19)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111336955.0A CN114170145B (zh) | 2021-11-12 | 2021-11-12 | 基于多尺度自编码的异质遥感图像变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111336955.0A CN114170145B (zh) | 2021-11-12 | 2021-11-12 | 基于多尺度自编码的异质遥感图像变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114170145A true CN114170145A (zh) | 2022-03-11 |
CN114170145B CN114170145B (zh) | 2023-04-07 |
Family
ID=80479079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111336955.0A Active CN114170145B (zh) | 2021-11-12 | 2021-11-12 | 基于多尺度自编码的异质遥感图像变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114170145B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117036756A (zh) * | 2023-08-08 | 2023-11-10 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 基于变分自动编码器的遥感图像匹配方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198483A (zh) * | 2013-04-07 | 2013-07-10 | 西安电子科技大学 | 基于边缘和光谱反射率曲线的多时相遥感图像配准方法 |
CN109753896A (zh) * | 2018-12-20 | 2019-05-14 | 西安电子科技大学 | 一种基于共性自动编码器的无监督异源遥感图像变化检测方法 |
EP3614308A1 (en) * | 2018-08-24 | 2020-02-26 | Ordnance Survey Limited | Joint deep learning for land cover and land use classification |
US20200225655A1 (en) * | 2016-05-09 | 2020-07-16 | Strong Force Iot Portfolio 2016, Llc | Methods, systems, kits and apparatuses for monitoring and managing industrial settings in an industrial internet of things data collection environment |
CN112017178A (zh) * | 2020-09-08 | 2020-12-01 | 重庆市地理信息和遥感应用中心 | 一种基于双时相差值图像法的遥感图像区域变化检测方法 |
CN112541904A (zh) * | 2020-12-16 | 2021-03-23 | 西安电子科技大学 | 一种无监督遥感图像变化检测方法、存储介质及计算设备 |
CN112613354A (zh) * | 2020-12-04 | 2021-04-06 | 河海大学 | 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 |
CN112633123A (zh) * | 2020-12-18 | 2021-04-09 | 国网浙江省电力有限公司电力科学研究院 | 一种基于深度学习的异源遥感影像变化检测方法及装置 |
CN113191996A (zh) * | 2020-11-11 | 2021-07-30 | 西北工业大学 | 一种遥感影像变化检测方法、装置及其电子设备 |
-
2021
- 2021-11-12 CN CN202111336955.0A patent/CN114170145B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198483A (zh) * | 2013-04-07 | 2013-07-10 | 西安电子科技大学 | 基于边缘和光谱反射率曲线的多时相遥感图像配准方法 |
US20200225655A1 (en) * | 2016-05-09 | 2020-07-16 | Strong Force Iot Portfolio 2016, Llc | Methods, systems, kits and apparatuses for monitoring and managing industrial settings in an industrial internet of things data collection environment |
EP3614308A1 (en) * | 2018-08-24 | 2020-02-26 | Ordnance Survey Limited | Joint deep learning for land cover and land use classification |
CN109753896A (zh) * | 2018-12-20 | 2019-05-14 | 西安电子科技大学 | 一种基于共性自动编码器的无监督异源遥感图像变化检测方法 |
CN112017178A (zh) * | 2020-09-08 | 2020-12-01 | 重庆市地理信息和遥感应用中心 | 一种基于双时相差值图像法的遥感图像区域变化检测方法 |
CN113191996A (zh) * | 2020-11-11 | 2021-07-30 | 西北工业大学 | 一种遥感影像变化检测方法、装置及其电子设备 |
CN112613354A (zh) * | 2020-12-04 | 2021-04-06 | 河海大学 | 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 |
CN112541904A (zh) * | 2020-12-16 | 2021-03-23 | 西安电子科技大学 | 一种无监督遥感图像变化检测方法、存储介质及计算设备 |
CN112633123A (zh) * | 2020-12-18 | 2021-04-09 | 国网浙江省电力有限公司电力科学研究院 | 一种基于深度学习的异源遥感影像变化检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
MEIJUAN YANG ET AL.: "DPFL-Nets:deep pyramid feature learning networks for multiscale change detection", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
王艳恒等: "结合深度学习和超像元的高分遥感影像变化检测", 《中国图象图形学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117036756A (zh) * | 2023-08-08 | 2023-11-10 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 基于变分自动编码器的遥感图像匹配方法及系统 |
CN117036756B (zh) * | 2023-08-08 | 2024-04-05 | 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) | 基于变分自动编码器的遥感图像匹配方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114170145B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ouma et al. | Wavelet-morphology based detection of incipient linear cracks in asphalt pavements from RGB camera imagery and classification using circular Radon transform | |
CN105809655B (zh) | 车辆检查方法和系统 | |
Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
Mishra et al. | Change detection techniques in remote sensing: A review | |
CN108710910B (zh) | 一种基于卷积神经网络的目标识别方法及系统 | |
Uss et al. | Maximum likelihood estimation of spatially correlated signal-dependent noise in hyperspectral images | |
Wang et al. | Low-illumination image enhancement for night-time UAV pedestrian detection | |
Ganasala et al. | Contrast enhanced multi sensor image fusion based on guided image filter and NSST | |
Zhang et al. | Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images | |
CN110598613B (zh) | 一种高速公路团雾监测方法 | |
CN103093478B (zh) | 基于快速核空间模糊聚类的异源图像粗大边缘检测方法 | |
Zhai | Inversion of organic matter content in wetland soil based on Landsat 8 remote sensing image | |
Gao et al. | Improving the performance of infrared and visible image fusion based on latent low-rank representation nested with rolling guided image filtering | |
Simon | A novel statistical fusion rule for image fusion and its comparison in non subsampled contourlet transform domain and wavelet domain | |
Abdullah et al. | A novel framework for cross-spectral iris matching | |
Zhang et al. | Salient region detection in remote sensing images based on color information content | |
CN114170145B (zh) | 基于多尺度自编码的异质遥感图像变化检测方法 | |
Azevedo et al. | Shadow detection using object area-based and morphological filtering for very high-resolution satellite imagery of urban areas | |
Verma et al. | Development of LR-PCA based fusion approach to detect the changes in mango fruit crop by using landsat 8 OLI images | |
Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
Kim et al. | Automatic pseudo-invariant feature extraction for the relative radiometric normalization of hyperion hyperspectral images | |
Najjar et al. | Histogram features extraction for edge detection approach | |
CN113822361B (zh) | 一种基于汉明距离的sar图像相似程度度量方法和系统 | |
Jafarzadeh et al. | Probability estimation of change maps using spectral similarity | |
Huang et al. | Morphological building index (MBI) and its applications to urban areas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |