CN111899269B - 一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法 - Google Patents
一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法 Download PDFInfo
- Publication number
- CN111899269B CN111899269B CN202010686373.4A CN202010686373A CN111899269B CN 111899269 B CN111899269 B CN 111899269B CN 202010686373 A CN202010686373 A CN 202010686373A CN 111899269 B CN111899269 B CN 111899269B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- unmanned aerial
- sar
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于边缘结构信息的无人机图像与SAR卫星图像的匹配方法,该方法首先利用传统的Ratio算子对SAR卫星图像的边缘进行初步的粗提取,再叠加到SAR原图上对SAR图像进行增强,利用卷积神经网络提取无人机光学/红外图像以及增强后的SAR卫星图像的边缘图像,然后再利用新的卷积神经网络提取边缘图像的深层语义特征,然后对边缘图的深度特征进行相似度匹配,获取无人机图像和SAR卫星图像的匹配热力图,最终根据热力图中值最高的区域,找到无人机图像在SAR卫星图像中的位置。本发明采用的基于图像边缘结构的匹配方法,能够利用图像的边缘特性,弥补不同成像机制带来的域差异,有效地对三种异源图像之间进行匹配。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及无人机光学或红外图像匹配SAR卫星图像的方法。
背景技术
无人机结构简单、灵活机动,可以搭载光学和红外的相机传感器,近年来,基于无人机的诸多应用逐步发展,其中就包括对地信息观测。除了使用无人机进行对地观测,另一种普遍的对地观测方式就是基于卫星的对地观测,包括合成孔径雷达(SyntheticAperture Radar,SAR)等等。相比于无人机,基于卫星的方式也有着不同的优势。就拿SAR来说,SAR图像可以反应地面物体的结构信息,而且不受到天气,云雾的影响,可以进行更广范围的一个对地观测。如果将无人机等终端设备获取的图像与合成孔径雷达等卫星图像进行匹配,结合两者各自的优势,可以为很多应用提供基础,例如基于卫星图像的无人机地理定位任务,无人机影像与卫星影像的图像融合任务等等。
现有的匹配算法对一些宽基线图像的匹配有很好的效果,但在无人机光学/红外图像与SAR图像的匹配中,在自然图像上发展起来的匹配方法却不能取得满意的结果。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
(1)无人机图像和SAR图像的分辨率存在很大的差异;(2)三种图像的成像机制完全不同。SAR图像反应的是物体对雷达波的反射强度,红外图像反应的是物体的温度,而光学图像反应的是类似于人眼所看到的可见光信息,这三种不同的机制,就导致了三种图像的灰度图是完全不同的;(3)SAR图像还存在大量的散斑噪声,红外图像对于物体的纹理细节十分模糊。因此,现有技术中无人机图像与SAR卫星图像的匹配效果不佳。
发明内容
本发明提出一种基于边缘结构信息的无人机图像与SAR卫星图像的匹配方法,用于解决或者至少部分解决现有技术中的方法存在无人机图像与SAR卫星图像的匹配效果不佳的技术问题。
为了解决上述技术问题,本发明提供了一种基于边缘结构信息的无人机图像与SAR卫星图像的匹配方法,包括:
S1:将SAR卫星图像利用基于传统方法Ratio算子进行边缘提取,提取出SAR图像的边缘图,并叠加到SAR卫星图像原图之上,对SAR卫星图像进行边缘增强,得到边缘增强后的SAR卫星图像;
S2:将增强后的SAR卫星图像以及无人机图像输入到相同的深度卷积网络G(·)中,分别提取出增强后的SAR卫星图像的边缘图和无人机图像的边缘图,其中,无人机图像为无人机光学图像或者红外图像;
S3:将提取出的SAR卫星图像的边缘图和无人机图像的边缘图同时输入到新的卷积神经网络H(·)中,用以提取出SAR卫星图像的边缘图的深度特征和无人机边缘图的深度特征;
S4:将SAR卫星图像的边缘图和无人机图像的边缘图分为多个图像块,分别由s和t表示,即s∈ESAR和t∈EUAV,ESAR表示增强后的SAR卫星图像的边缘图,EUAV表示无人机图像的边缘图;
S5:根据图像块之间的余弦相似性确定出图像块s和t之间的匹配概率;
其中,fs和ft分别表示图像块s和t经过卷积神经网络后对应的特征,ρ(·)表示图像块特征之间的相似性,α为网络的超参数,t'表示EUAV中除t之外的其余的图像块,t'∈EUAV,ρ(ft',fs)表示s和t'之间的余弦相似性;
S6:根据图像块s和t之间的匹配概率,确定图像块s和t的相似度:
Q(s,t)=P(t|s)·P(s|t)
在一种实施方式中,S2中的深度卷积网络G(·)为利用在BSDS500数据集上预训练好的RCF网络。
在一种实施方式中,S3中新的卷积神经网络H(·)为在ImageNet上预训练的VGG19网络。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明提供了一种基于边缘结构信息的无人机光学/红外图像与SAR卫星图像的匹配方法,该方法首先利用传统的Ratio算子对SAR卫星图像的边缘进行初步的粗提取,再叠加到SAR原图上对SAR图像进行增强,利用卷积神经网络提取无人机光学/红外图像以及增强后的SAR卫星图像的边缘图像,然后再利用新的卷积神经网络提取边缘图像的深层语义特征,然后对边缘图的深度特征进行相似度匹配,获取无人机图像和SAR卫星图像的匹配热力图,最终根据热力图中值最高的区域,找到无人机图像在SAR卫星图像中的位置。本发明采用的基于图像边缘结构的匹配方法,能够利用图像的边缘特性,弥补不同成像机制带来的域差异,有效地对三种异源图像之间进行匹配,改善了图像匹配的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明无人机图像(无人机光学图像/红外图像)和SAR图像匹配算法流程图;
图2为本发明实施例中无人机光学/红外图像以及SAR卫星图像的示意图;
图3为本发明实施例中不同方式对SAR图像的边缘提取结果;
图4为本发明实施例中匹配结果展示图。
具体实施方式
针对现有技术中的缺陷,本发明的目的是提供一种基于图像边缘结构的无人机光学或红外图像匹配SAR卫星图像的方法,该方法能够更好针对不同成像机理带来的图像差异,利用图像中物体的边缘特性,实现异源图像之间的匹配。
为了达到上述技术效果,本发明的主要发明构思如下:
利用传统ratio算子对边缘较弱的SAR卫星图像进行图像增强,然后利用预训练的深度学习网络RCF对图像提取边缘图,再利用卷积神经网络提取边缘图的深度特征,根据深度特征计算无人机图像边缘图和SAR图像边缘图的相似性,得到相似度热力图,以此确定匹配的位置。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于边缘结构信息的无人机图像与SAR卫星图像的匹配方法,该方法包括:
S1:将SAR卫星图像利用基于传统方法Ratio算子进行边缘提取,提取出SAR图像的边缘图,并叠加到SAR卫星图像原图之上,对SAR卫星图像进行边缘增强,得到边缘增强后的SAR卫星图像。
其中,无人机光学/红外图像以及SAR卫星图像的示意图如附图2所示,图中SAR卫星图像中的灰色矩形框即为无人机光学和红外图像所拍摄的区域。
具体来说,由于SAR图像是根据地物对雷达波的反射成像的,而很多不同地物对雷达波的差距不是很大,这就导致其部分边缘在图像中表现的较弱,如果直接采用卷积神经网络提取SAR图像特征会将部分较弱的边缘直接忽略。因此本发明首先对SAR图像进行了增强处理。
在具体的实施过程中,将SAR卫星图像ISAR利用基于传统方法Ratio算子进行边缘提取,提取出初步的边缘图E'SAR,如附图3的(b)部分所示,该传统算法提取得到的边缘图中,物体的边缘会存在不连续的情况,直接用于后续的匹配效果不好,因此,将该边缘图叠加到SAR卫星图像ISAR原图之上,对SAR卫星图像进行边缘增强,得到边缘增强后的图像I'SAR。
S2:将增强后的SAR卫星图像以及无人机图像输入到相同的深度卷积网络G(·)中,分别提取出增强后的SAR卫星图像的边缘图和无人机图像的边缘图。
具体地,采用相同的深度卷积网络G(·)来对增强后的SAR卫星图像、无人机图像进行边缘图提取。增强后的SAR图像的边缘提取和未增强的SAR图像边缘提取结果如附图3的(c)和(d)部分所示。
此步骤中用到的RCF网络是基于pytorch架构实现的,基础框架为VGG16网络架构,整个边缘提取网络在BSDS500图像匹配的数据集上进行训练,本步骤中直接使用训练得到的模型参数,不需要再次训练。
S3:将提取出的SAR卫星图像的边缘图和无人机图像的边缘图同时输入到新的卷积神经网络H(·)中,用以提取出SAR卫星图像的边缘图的深度特征和无人机边缘图的深度特征。
具体地,S3采用新的深度卷积神经网络来进一步提取深度特征。
S4:将SAR卫星图像的边缘图和无人机图像的边缘图分为多个图像块,分别由s和t表示,即s∈ESAR和t∈EUAV,ESAR表示增强后的SAR卫星图像的边缘图,EUAV表示无人机图像的边缘图。
S5:根据图像块之间的余弦相似性确定出图像块s和t之间的匹配概率。
其中,fs和ft分别表示图像块s和t经过卷积神经网络后对应的特征,ρ(·)表示图像块特征之间的相似性,α为网络的超参数,t'表示EUAV中除t之外的其余的图像块,t'∈EUAV,ρ(ft',fs)表示s和t'之间的余弦相似性;
具体地,考虑到在匹配过程中可能存在局部图像块一对多的匹配情况,即在一幅图像中有一处和另一幅图像中的很多处都相似,为了针对这种情况造成的误匹配。在计算两幅图像的相似度时,本发明首先定义P(·)表示两个图像块之间的匹配概率,由公式计算出图像块s和t之间的匹配概率,其中ρ(·)是计算张量之间的余弦相似性。该匹配概率在图像出现了一对多的匹配情况时,匹配概率会变低,只有在一对一匹配的情况下,得到的匹配概率最高。实验过程中取α=1。
S6:根据图像块s和t之间的匹配概率,确定图像块s和t的相似度:
Q(s,t)=P(t|s)·P(s|t)
具体地,将P(t|s)和P(s|t)相乘,可以对于一对多和多对一的匹配情况都有一定的抑制,根据Q(s,t)对两幅图之间所有的图像块都求取相似度,计算提取出来的图像块深度特征之间的相似性,得到相似性热力图,最佳的匹配区域R即为热力图中数值最高的区域。
请参见图1,为本发明无人机图像和SAR图像匹配算法流程图;无人机图像可以是无人机光学图像(Optical UAV image)或者红外图像(Infrared UAV image),CNN-basededge extraction表示利用深度卷积神经网络G(·)进行边缘图提取,Enhance表示边缘增强,Ratio operator表示,Ratio算子,Conv layer表示卷积层,Feature Tensor表示图像块张量,即图像块的特征,Cosine similarity表示余弦相似性。
在一种实施方式中,S2中的深度卷积网络G(·)为利用在BSDS500数据集上预训练好的RCF网络。
在一种实施方式中,S3中新的卷积神经网络H(·)为在ImageNet上预训练的VGG19网络。
本发明的实验结果如附图4所示,图中自左至右为无人机图像及其边缘图、SAR图像及其边缘图,匹配相似度热力图。其中SAR图像和SAR图像边缘图中的灰色框为无人机图像对应的实际位置,白色框为匹配结果,匹配相似度热力图中白色的框是相似度最高的区域。由附图4所示的匹配结果可知,本方法能够有效地对异源的无人机光学/红外图像和SAR图像进行匹配。
总体来说,本发明提供的一种基于边缘结构信息的无人机光学/红外图像与SAR卫星图像的匹配方法,首先利用传统的Ratio算子对SAR卫星图像的边缘进行初步的粗提取,再叠加到SAR原图上对SAR图像进行增强,利用卷积神经网络提取无人机光学/红外图像以及增强后的SAR卫星图像的边缘图像,然后再利用新的卷积神经网络提取边缘图像的深层语义特征,然后对边缘图的深度特征进行相似度匹配,获取无人机图像和SAR卫星图像的匹配热力图,最终根据热力图中值最高的区域,找到无人机图像在SAR卫星图像中的位置。本发明采用的基于图像边缘结构的匹配方法,能够利用图像的边缘特性,弥补不同成像机制带来的域差异,有效地对三种异源图像之间进行匹配,改善了图像匹配的效果。
本发明中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (3)
1.一种基于边缘结构信息的无人机图像与SAR卫星图像的匹配方法,其特征在于,包括:
S1:将SAR卫星图像利用基于传统方法Ratio算子进行边缘提取,提取出SAR图像的边缘图,并叠加到SAR卫星图像原图之上,对SAR卫星图像进行边缘增强,得到边缘增强后的SAR卫星图像;
S2:将增强后的SAR卫星图像以及无人机图像输入到相同的深度卷积网络G(·)中,分别提取出增强后的SAR卫星图像的边缘图和无人机图像的边缘图,其中,无人机图像为无人机光学图像或者红外图像;
S3:将提取出的SAR卫星图像的边缘图和无人机图像的边缘图同时输入到新的卷积神经网络H(·)中,用以提取出SAR卫星图像的边缘图的深度特征和无人机边缘图的深度特征;
S4:将SAR卫星图像的边缘图和无人机图像的边缘图分为多个图像块,分别由s和t表示,即s∈ESAR和t∈EUAV,ESAR表示增强后的SAR卫星图像的边缘图,EUAV表示无人机图像的边缘图;
S5:根据图像块之间的余弦相似性确定出图像块s和t之间的匹配概率;
其中,fs和ft分别表示图像块s和t经过卷积神经网络后对应的特征,ρ(·)表示图像块特征之间的相似性,α为网络的超参数,t'表示EUAV中除t之外的其余的图像块,t'∈EUAV,ρ(ft',fs)表示s和t'之间的余弦相似性;
S6:根据图像块s和t之间的匹配概率,确定图像块s和t的相似度:
Q(s,t)=P(t|s)·P(s|t)
2.如权利要求1所述的基于边缘结构信息的无人机图像与SAR卫星图像的匹配方法,其特征在于,S2中的深度卷积网络G(·)为利用在BSDS500数据集上预训练好的RCF网络。
3.如权利要求1所述的基于边缘结构信息的无人机图像与SAR卫星图像的匹配方法,其特征在于,S3中新的卷积神经网络H(·)为在ImageNet上预训练的VGG19网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686373.4A CN111899269B (zh) | 2020-07-16 | 2020-07-16 | 一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686373.4A CN111899269B (zh) | 2020-07-16 | 2020-07-16 | 一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111899269A CN111899269A (zh) | 2020-11-06 |
CN111899269B true CN111899269B (zh) | 2022-07-05 |
Family
ID=73189252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010686373.4A Active CN111899269B (zh) | 2020-07-16 | 2020-07-16 | 一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111899269B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239952B (zh) * | 2021-03-30 | 2023-03-24 | 西北工业大学 | 一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法 |
CN113780422B (zh) * | 2021-09-13 | 2023-06-27 | 北京环境特性研究所 | 背景杂波相似性评估方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510532A (zh) * | 2018-03-30 | 2018-09-07 | 西安电子科技大学 | 基于深度卷积gan的光学和sar图像配准方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10591582B1 (en) * | 2015-11-19 | 2020-03-17 | National Technology & Engineering Solutions Of Sandia, Llc | Co-notch and independent windowing to mitigate interference in SAR-based imagery |
CN107480701B (zh) * | 2017-07-19 | 2020-07-28 | 同济大学 | 基于多通道卷积神经网络的光学图像与雷达图像匹配方法 |
CN110929598B (zh) * | 2019-11-07 | 2023-04-18 | 西安电子科技大学 | 基于轮廓特征的无人机载sar图像匹配方法 |
CN111222402A (zh) * | 2019-11-14 | 2020-06-02 | 北京理工大学 | 一种面向无人机图像的人群聚集密度分析方法 |
-
2020
- 2020-07-16 CN CN202010686373.4A patent/CN111899269B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510532A (zh) * | 2018-03-30 | 2018-09-07 | 西安电子科技大学 | 基于深度卷积gan的光学和sar图像配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111899269A (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
Wang et al. | Generative adversarial network-based restoration of speckled SAR images | |
Raihan A et al. | Review of underwater image restoration algorithms | |
CN111899269B (zh) | 一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法 | |
Hassan et al. | Real-time image dehazing by superpixels segmentation and guidance filter | |
Dos Santos et al. | Matching color aerial images and underwater sonar images using deep learning for underwater localization | |
CN111539246B (zh) | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 | |
Toriya et al. | SAR2OPT: Image alignment between multi-modal images using generative adversarial networks | |
Bansal et al. | A review of image restoration based image defogging algorithms | |
CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
Long et al. | Underwater forward-looking sonar images target detection via speckle reduction and scene prior | |
Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
Wang et al. | Afdn: Attention-based feedback dehazing network for UAV remote sensing image haze removal | |
Ju et al. | Single sea surface image dehazing using multi-scale cascaded convolutional neural network | |
CN115439349A (zh) | 一种基于图像增强的水下slam优化方法 | |
CN113537397B (zh) | 基于多尺度特征融合的目标检测与图像清晰联合学习方法 | |
Hou et al. | Ship detection from optical remote sensing image based on size-adapted CNN | |
CN115588033A (zh) | 基于结构提取的合成孔径雷达与光学图像配准系统及方法 | |
CN114565653A (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 | |
CN114723948A (zh) | 基于分层次细节增强的高分辨率遥感图像语义分割方法 | |
Yu et al. | Haze removal algorithm using color attenuation prior and guided filter | |
Gnilitskii et al. | Decision making algorithms in the problem of object selection in images of ground scenes | |
CN112634186A (zh) | 一种无人机的图像分析方法 | |
Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
Krylenko et al. | Possibility of the underwater topography studying of large accumulative forms according to Sentinel-2 data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |