CN114596342B - 基于卫星影像的并行匹配方法、存储介质及计算机设备 - Google Patents
基于卫星影像的并行匹配方法、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN114596342B CN114596342B CN202210283965.0A CN202210283965A CN114596342B CN 114596342 B CN114596342 B CN 114596342B CN 202210283965 A CN202210283965 A CN 202210283965A CN 114596342 B CN114596342 B CN 114596342B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- images
- computer
- src
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于卫星影像并行匹配方法及相关设备,方法包括计算每幅卫星影像的地理范围;计算当前影像的所有邻接影像;计算所有影像各自的邻接影像集合;构建独立匹配任务,把一幅影像与其邻接的多幅影像集合的匹配任务作为一个匹配单元,多个匹配单元之间相互独立,形成多个匹配任务单元;采用多计算机并行匹配。该方法充分利用卫星影像可以获取大致地理坐标的特点和已有计算资源,保障了影像的匹配精度,大幅提高了影像匹配效率。
Description
技术领域
本发明涉及遥感领域,特别地,涉及遥感影像三维建模领域。
背景技术
卫星影像连接点匹配是遥感影像几何处理的关键步骤,由于影像匹配算法本身消耗的计算资源多、处理速度慢,在大区域多幅影像处理中该问题表现的更为突出。匹配主要分为特征点提取和特征点匹配两步,其中特征点提取占据匹配一半左右的时间。卫星影像匹配中多采用基于特征的灰度匹配、相关系数匹配,为了提高匹配效率,研究人员提出了一种基于卫星影像金字塔数据的匹配方法,该方法在算法层面上一定程度提高了匹配效率,对于大区域多幅卫星影像连接点匹配,一幅影像会和相交的多幅影像匹配,如何在匹配策略上减少特征点提取的次数,减少影像之间互匹配的次数,并合理的分配到多台机器,充分利用计算资源是大区域卫星影像生产中急需解决的难题。
发明内容
为了提高影像匹配处理的速度,对匹配算法本身进行优化,降低匹配搜索范围,提高匹配效率,并对算法进行并行化设计,充分利用计算资源。为此,发明了一种基于卫星影像金字塔数据的连接点集群并行匹配方法,该方法包括:
首先为每张影像赋予唯一的标识号,根据影像RPC参数获取影像之间的相交关系,得到每张影像(参考影像)需要匹配的影像集,称为一个匹配单元。在一个匹配单元内,分为参考影像和待匹配影像,参考影像只有一张,其他和该影像相交的影像称为待匹配影像。一个匹配单元内,只对参考影像进行特征点提取,然后利用该特征点在每张待匹配影像上查找匹配点,然后将每个匹配单元分配到多台机器上。
整个大区域遥感影像匹配过程中,特征点提取次数为影像个数。相比不划分匹配单元进行匹配,每匹配一对影像就必须提取一次特征点,特征点提取次数为匹配次数,大大增加了匹配的时间。
本发明实施例提供了一种基于卫星影像并行匹配方法,
计算每幅卫星影像的地理范围;
计算当前影像的所有邻接影像;
计算所有影像各自的邻接影像集合;
构建独立匹配任务,把一幅影像与其邻接的多幅影像集合的匹配任务作为一个匹配单元,多个匹配单元之间相互独立,形成多个匹配任务单元;
采用多计算机并行匹配。
可选的,所述计算每幅卫星影像的地理范围包括:在影像获取之后,根据每幅影像附带的RPC参数文件和该影像覆盖区域的地面平均高程H,通过有理函数模型,计算出每张影像的四个角点对应的地理经纬度坐标和每张影像的覆盖面积Ri。
可选的,所述计算当前影像的所有邻接影像包括:根据计算得到的当前影像的地理范围,对所有影像的地理范围与当前影像A的地理范围求交集,并计算相交面积;A影像与i影像的相交面积记为Si,然后计算A影像与i影像的重叠度Li:
Li=Si/Ra
其中Ra为影像A的覆盖面积,当Li大于10%时,把该i影像记为A的邻接影像,遍历所有影像,得到影像A的邻接影像集合B。
可选的,影像的总数为N,则形成N个匹配任务单元。
可选的,所述采用多计算机并行匹配的并行执行的策略为:获取计算机节点个数J,以及每个计算机的CPU处理核心数Ki,所有计算机的CPU核心数记作M;
如果M大于或等于N,则将N个匹配任务,按照当前计算机的CPU核心数目分配同样个数的任务,直到N个任务分配完毕;
如果M小于N,则当前计算机获得匹配任务单元的个数为N*Ki/M,当前计算机开辟Ki个进程选择匹配单元执行匹配任务,当其中任意进程匹配任务执行完毕时,则选择下一匹配单元执行任务,直至当前计算机分配的匹配任务执行完毕。
可选的,所述一个匹配单元的匹配方法包括:
(1)通过有理函数模型,计算基准影像的四个角点对应的地理坐标,并将该地理坐标,利用有理函数模型反算得到在搜索影像上对应的同名点大致位置,建立起两张影像的像方空间变换关系,如下式:
Xdst=a0+a1*Xsrc+a2*Ysrc+a3*XsrcYsrc
Ydst=b0+b1*Xsrc+b2*Ysrc+b3*Xsrc*Ysrc
a0,a1,a2,a3,b0,b1,b2,b3是变换公式的系数,Xsrc,Ysrc是原始影像的像素坐标,Xdst,Ydst是搜索影像的像素坐标;
(2)利用变换关系快速得到在搜索影像上对应的同名点位置,并将同名点窗口纠正采样到基准影像的坐标系下,使原始影像和搜索影像的共轭实体在像方空间上一致,即两者不存在旋转、几何变形和尺度变化,之后就可以直接进行相关系数的匹配,保留匹配成功的点对,同时对匹配结果进行多项式迭代剔除粗差,并把最终解算的多项式系数作为原始影像与搜索影像间新的变换关系系数;
其中,Cov(M,N)为匹配窗口M和N的灰度值协方差,Var[M]为匹配窗口M的灰度方差,Var[N]为匹配窗口N的灰度方差;
(3)进行下层影像匹配,迭代直至底层影像,并进行最小二乘匹配,提高匹配精度,由(2)得到匹配的点集合{xi,x′i}和以下形式的平面参数变换:
x′=f(x;p),误差方程为ri=x′i-f(xi;p),以步骤(2)匹配的点为初值,f(xi;p)使用仿射变换的形式,并以(2)中使用的仿射变换系数为初值,最小二乘迭代求解参数p,使误差最小,并得到最优的匹配点。
可选的,每张影像具有唯一的标识号。
本发明的另一方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被计算机设备执行时,所述计算机设备执行上述权利要求1-7中任一项所述的匹配方法。
本发明的另一方面提供了一种计算机设备,包括:存储器和处理器;
所述存储器用于存储计算机指令;
所述处理器执行所述存储器存储的计算机指令,以使所述计算机设备执行如权利要求1-7任一项所述的匹配方法。
本发明的发明点和技术效果:
1、现有的不划分匹配单元进行匹配,每匹配一对影像就必须提取一次特征点,特征点提取次数为匹配次数,大大增加了匹配的时间。本发明采用基于卫星影像金字塔数据的连接点集群并行匹配,特征点提取次数为影像个数,能有效缩短匹配时间,提高匹配效率。
2、在一个单元的匹配时采用最优化的匹配算法,进一步提高了匹配效率。
3、该方法充分利用卫星影像可以获取大致地理坐标的特点和已有计算资源,保障了影像的匹配精度,大幅提高了影像匹配效率。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例中的检测系统示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明中对于大区域多幅卫星影像连接点匹配,请参考图1,为本发明实施例中的检测系统示意图,实施例中采用基于卫星影像金字塔数据的连接点集群并行匹配方法,包括:
1、计算每幅卫星影像的地理范围。在影像获取之后,根据每幅影像附带的RPC参数文件和该影像覆盖区域的地面平均高程H,通过有理函数模型,可以计算出每张影像的四个角点对应的地理经纬度坐标和每张影像的覆盖面积Ri。
2、计算当前影像的所有邻接影像。根据步骤1计算得到的当前影像的地理范围,对所有影像的地理范围与当前影像A的地理范围求交集,并计算相交面积。A影像与i影像的相交面积记为Si,然后计算A影像与i影像的重叠度Li:
Li=Si/Ra
其中Ra为影像A的覆盖面积,当Li大于10%时,把该i影像记为A的邻接影像,遍历所有影像,得到影像A的邻接影像集合B。
3、计算所有影像各自的邻接影像集合。按照步骤2,对所有影像进行计算,获得每幅影像的邻接影像集合。
4、构建独立匹配任务。把一幅影像与其邻接的多幅影像集合的匹配任务作为一个匹配单元,那么多个匹配单元之间是相互独立的,形成了多个匹配任务单元,影像的总数为N,则形成N个匹配任务单元。
5、多计算机并行匹配。匹配任务并行执行的策略,获取计算机节点个数J,以及每个计算机的CPU处理核心数Ki,所有计算机的CPU核心数记作M。
如果M大于或等于N,则将N个匹配任务,按照当前计算机的CPU核心数目分配同样个数的任务,直到N个任务分配完毕。
如果M小于N,则当前计算机获得匹配任务单元的个数为N*K_i/M,当前计算机开辟Ki个进程选择匹配单元执行匹配任务,当其中任意进程匹配任务执行完毕时,则选择下一匹配单元执行任务,直至当前计算机分配的匹配任务执行完毕。
其中一个匹配单元的匹配方法包括:
(1)通过有理函数模型,计算基准影像的四个角点对应的地理坐标,并将该地理坐标,利用有理函数模型反算得到在搜索影像上对应的同名点大致位置,建立起两张影像的像方空间变换关系,如下式:
Xdst=a0+a1*Xsrc+a2*Ysrc+a3*XsrcYsrc
Ydst=b0+b1*Xsrc+b2*Ysrc+b3*Xsrc*Ysrc
a0,a1,a2,a3,b0,b1,b2,b3是变换公式的系数,Xsrc,Ysrc是原始影像的像素坐标,Xdst,Ydst是搜索影像的像素坐标;
(2)利用变换关系快速得到在搜索影像上对应的同名点位置,并将同名点窗口纠正采样到基准影像的坐标系下,使原始影像和搜索影像的共轭实体在像方空间上一致,即两者不存在旋转、几何变形和尺度变化,之后就可以直接进行相关系数的匹配,保留匹配成功的点对,同时对匹配结果进行多项式迭代剔除粗差,并把最终解算的多项式系数作为原始影像与搜索影像间新的变换关系系数;
其中,Cov(M,N)为匹配窗口M和N的灰度值协方差,Var[M]为匹配窗口M的灰度方差,Var[N]为匹配窗口N的灰度方差;
(3)进行下层影像匹配,迭代直至底层影像,并进行最小二乘匹配,提高匹配精度,由(2)得到匹配的点集合{xi,x′i}和以下形式的平面参数变换:
x′=f(x;p),误差方程为ri=x′i-f(xi;p),以步骤(2)匹配的点为初值,f(xi;p)使用仿射变换的形式,并以(2)中使用的仿射变换系数为初值,最小二乘迭代求解参数p,使误差最小,并得到最优的匹配点。
可以看出,上述卫星连接点匹配方法的处理过程非常适合集群式多节点多任务处理模式,对于提高了整个区域的连接点匹配速度存在极大的优势。该方法充分利用卫星影像可以获取大致地理坐标的特点和已有计算资源,保障了影像的匹配精度,大幅提高了影像匹配效率。
本申请实施例提供的匹配方法可以部署于计算机设备。
计算机设备可以包括:输入单元、处理器单元、通信单元、存储单元、输出单元及电源等电子设备。
本申请实施例提供的计算机设备可以用于执行前述实施例中的并行匹配方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。
可以理解,除了上述内容,还包括一些常规结构和常规方法,由于这些内容都是公知的,不再赘述。但这并不意味着本发明不存在这些结构和方法。
本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (4)
1.一种基于卫星影像的并行匹配方法,其特征在于:
步骤1、计算每幅卫星影像的地理范围;在影像获取之后,根据每幅影像附带的RPC参数文件和该影像覆盖区域的地面平均高程H,通过有理函数模型,计算出每张影像的四个角点对应的地理经纬度坐标和每张影像的覆盖面积Ri;
步骤2、计算当前影像的所有邻接影像;根据计算得到的当前影像的地理范围,对所有影像的地理范围与当前影像A的地理范围求交集,并计算相交面积;A影像与i影像的相交面积记为Si,然后计算A影像与i影像的重叠度Li:
Li=Si/Ra
其中Ra为影像A的覆盖面积,当Li大于10%时,把该i影像记为A的邻接影像,遍历所有影像,得到影像A的邻接影像集合B;
步骤3、计算所有影像各自的邻接影像集合;按照步骤2,对所有影像进行计算,获得每幅影像的邻接影像集合;
步骤4、构建独立匹配任务,把一幅影像与其邻接的多幅影像集合的匹配任务作为一个匹配单元,多个匹配单元之间相互独立,形成多个匹配任务单元;影像的总数为N,则形成N个匹配任务单元;
步骤5、采用多计算机并行匹配;获取计算机节点个数J,以及每个计算机的CPU处理核心数Ki,所有计算机的CPU核心数记作M;
如果M大于或等于N,则将N个匹配任务,按照当前计算机的CPU核心数目分配同样个数的任务,直到N个任务分配完毕;
如果M小于N,则当前计算机获得匹配任务单元的个数为N*Ki/M,当前计算机开辟Ki个进程选择匹配单元执行匹配任务,当其中任意进程匹配任务执行完毕时,则选择下一匹配单元执行任务,直至当前计算机分配的匹配任务执行完毕;
其中一个匹配单元的匹配方法包括:
(1)通过有理函数模型,计算基准影像的四个角点对应的地理坐标,并将该地理坐标,利用有理函数模型反算得到在搜索影像上对应的同名点大致位置,建立起两张影像的像方空间变换关系,如下式:
Xdst=a0+a1*Xsrc+a2*Ysrc+a3*XsrcYsrc
Ydst=b0+b1*Xsrc+b2*Ysrc+b3*Xsrc*Ysrc
a0,a1,a2,a3,b0,b1,b2,b3是变换公式的系数,Xsrc,Ysrc是原始影像的像素坐标,Xdst,Ydst是搜索影像的像素坐标;
(2)利用变换关系快速得到在搜索影像上对应的同名点位置,并将同名点窗口纠正采样到基准影像的坐标系下,使原始影像和搜索影像的共轭实体在像方空间上一致,即两者不存在旋转、几何变形和尺度变化,之后直接进行相关系数的匹配,保留匹配成功的点对,同时对匹配结果进行多项式迭代剔除粗差,并把最终解算的多项式系数作为原始影像与搜索影像间新的变换关系系数;
其中,Cov(M,N)为匹配窗口M和N的灰度值协方差,Var[M]为匹配窗口M的灰度方差,Var[N]为匹配窗口N的灰度方差;
(3)进行下层影像匹配,迭代直至底层影像,并进行最小二乘匹配,提高匹配精度,由(2)得到匹配的点集合{xi,x′i}和以下形式的平面参数变换:
x′=f(x;p),误差方程为ri=x′i-f(xi;p),以步骤(2)匹配的点为初值,f(xi;p)使用仿射变换的形式,并以(2)中使用的仿射变换系数为初值,最小二乘迭代求解参数p,使误差最小,并得到最优的匹配点。
2.根据权利要求1所述的匹配方法,其特征在于:每张影像具有唯一的标识号。
3.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被计算机设备执行时,所述计算机设备执行上述权利要求1-2中任一项所述的匹配方法。
4.一种计算机设备,其特征在于,包括:存储器和处理器;
所述存储器用于存储计算机指令;
所述处理器执行所述存储器存储的计算机指令,以使所述计算机设备执行如权利要求1-2任一项所述的匹配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210283965.0A CN114596342B (zh) | 2022-03-22 | 2022-03-22 | 基于卫星影像的并行匹配方法、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210283965.0A CN114596342B (zh) | 2022-03-22 | 2022-03-22 | 基于卫星影像的并行匹配方法、存储介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114596342A CN114596342A (zh) | 2022-06-07 |
CN114596342B true CN114596342B (zh) | 2023-03-14 |
Family
ID=81810008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210283965.0A Active CN114596342B (zh) | 2022-03-22 | 2022-03-22 | 基于卫星影像的并行匹配方法、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114596342B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103115614A (zh) * | 2013-01-21 | 2013-05-22 | 武汉大学 | 多源多轨长条带卫星遥感影像联合并行匹配方法 |
CN104134220A (zh) * | 2014-08-15 | 2014-11-05 | 北京东方泰坦科技股份有限公司 | 一种像方空间一致性的低空遥感影像高精度匹配方法 |
US9245201B1 (en) * | 2013-03-15 | 2016-01-26 | Excelis Inc. | Method and system for automatic registration of images |
CN109166143A (zh) * | 2018-07-06 | 2019-01-08 | 航天星图科技(北京)有限公司 | 一种大区域网立体测绘卫星影像匹配方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201135269A (en) * | 2010-04-12 | 2011-10-16 | Univ Nat Central | Integrated positioning method of high-resolution multidimensional satellite image |
-
2022
- 2022-03-22 CN CN202210283965.0A patent/CN114596342B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103115614A (zh) * | 2013-01-21 | 2013-05-22 | 武汉大学 | 多源多轨长条带卫星遥感影像联合并行匹配方法 |
US9245201B1 (en) * | 2013-03-15 | 2016-01-26 | Excelis Inc. | Method and system for automatic registration of images |
CN104134220A (zh) * | 2014-08-15 | 2014-11-05 | 北京东方泰坦科技股份有限公司 | 一种像方空间一致性的低空遥感影像高精度匹配方法 |
CN109166143A (zh) * | 2018-07-06 | 2019-01-08 | 航天星图科技(北京)有限公司 | 一种大区域网立体测绘卫星影像匹配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114596342A (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091567B (zh) | 医学图像配准方法、医疗设备及存储介质 | |
CN109117854B (zh) | 关键点匹配方法、装置、电子设备以及存储介质 | |
JP2012103758A (ja) | 局所特徴量算出装置及び方法、並びに対応点探索装置及び方法 | |
Yung et al. | Efficient feature-based image registration by mapping sparsified surfaces | |
CN111027412A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
Phalak et al. | Scan2plan: Efficient floorplan generation from 3d scans of indoor scenes | |
US20220341752A1 (en) | Alignment Of Map Segments | |
WO2024067716A1 (zh) | 一种网格重建方法、装置、设备和存储介质 | |
CN114596342B (zh) | 基于卫星影像的并行匹配方法、存储介质及计算机设备 | |
CN113284237A (zh) | 一种三维重建方法、系统、电子设备及存储介质 | |
CN117132737A (zh) | 一种三维建筑模型构建方法、系统及设备 | |
CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
JP2003016427A (ja) | ステレオ画像の視差推定方法 | |
Barath et al. | Space-partitioning RANSAC | |
CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
CN111192302A (zh) | 一种基于运动平滑性和ransac算法的特征匹配方法 | |
CN112085092B (zh) | 一种基于时空连续性约束的图匹配方法及装置 | |
CN114549992A (zh) | 一种跨分辨率的建筑物影像提取方法及装置 | |
CN115485735A (zh) | 用于从rgbd视频生产ifc bim对象的密集3d建模方法 | |
Feng et al. | Compact intertemporal coupling network for remote sensing change detection | |
WO2021115154A1 (zh) | 可移动设备定位数据处理方法、装置、设备及存储介质 | |
CN114742707B (zh) | 多源遥感图像拼接方法、装置、电子设备和可读介质 | |
CN114494429B (zh) | 大规模无控制立体平差网几何定位粗差探测与处理方法 | |
CN112598732B (zh) | 目标设备定位方法、地图构建方法及装置、介质、设备 | |
Song et al. | A multi-temporal image registration method based on edge matching and maximum likelihood estimation sample consensus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |