CN107770526B - 一种基于量化ica的超光谱大气红外遥感图像无损压缩方法 - Google Patents
一种基于量化ica的超光谱大气红外遥感图像无损压缩方法 Download PDFInfo
- Publication number
- CN107770526B CN107770526B CN201711009858.4A CN201711009858A CN107770526B CN 107770526 B CN107770526 B CN 107770526B CN 201711009858 A CN201711009858 A CN 201711009858A CN 107770526 B CN107770526 B CN 107770526B
- Authority
- CN
- China
- Prior art keywords
- matrix
- data
- ica
- remote sensing
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Abstract
本发明提供一种基于ICA的超光谱大气红外遥感图像无损压缩方法,本发明为了解决现有的遥感图像压缩方法不适用于超光谱大气红外遥感图像处理过程的问题,而提出一种基于ICA的超光谱大气红外遥感图像无损压缩方法,包括:将三维超光谱数据转换成二维矩阵,并进行处理。求出ICA变换的分离矩阵,再求得ICA变换系数矩阵;然后对变换系数矩阵和独立成分矩阵进行量化得到矩阵AQ和YQ,再对矩阵AQ和YQ进行反量化和逆ICA得到的结果与原图做差,得到残差矩阵D,对AQ和YQ进行预测得到残差矩阵AQP和YQP。最后对三个残差矩阵D、AQP和YQP进行区间编码得到压缩码流。本方法能够对超光谱大气红外遥感图像进行有效的压缩,取得较高的压缩比。
Description
技术领域
本发明涉及遥感图像无损压缩领域,具体涉及一种基于量化ICA的超光谱大气红外遥感图像无损压缩方法。
背景技术
随着超光谱大气红外遥感探测技术的发展,对大气的探测越来越精细,探测周期越来越短,从而探测信息的数据量也随之越来越大,无论是在星上还是在星下,对于探测信息的存储和传输是在数据应用过程当中必然面对的问题。因此,为达到快速传输超光谱大气红外遥感图像数据,对其进行压缩以减少数据存储空间是必要的。近年来,对超光谱大气红外遥感图像数据的有效压缩研究大多数依旧沿用已经成熟的对地高光谱图像数据的压缩方法。但是,超光谱大气红外图像有其相应的特点,其光谱分辨率要高于对地高光谱图像一个数量级,但其空间分辨率却比对地高光谱要低,并且其具有明显的分段特性等,而以往的技术未能考虑到超光谱图像自身空谱特点和物理特性。
发明内容
本发明的目的是为了解决现有的遥感图像压缩方法不适用于超光谱大气红外遥感图像处理过程的问题,而提出一种基于量化ICA的超光谱大气红外遥感图像无损压缩方法。
一种基于量化ICA的超光谱大气红外遥感图像无损压缩方法,包括:
步骤一、三维超光谱大气红外遥感图像数据大小为M×N×L,波段通道总数为L个,将其转化为L行M×N列的矩阵X,其中矩阵X的每一行代表一个光谱维的图像数据,是将M×N按行展开的结果;再求数据矩阵X各行向量中所有元素的平均值,并对X进行零均值处理得到
步骤三、采用基于极大似然估计的不动点算法求解分离矩阵U,通过ICA变换去除超光谱图像数据的谱间冗余,得到独立成分矩阵Y以及ICA的变换系数矩阵A;
步骤四、对独立成分矩阵Y以及ICA的变换系数矩阵A进行量化,分别得到YQ矩阵和AQ矩阵,设定s表示量化级别的数目,量化公式为:
其中,q表示量化索引,d为量化输入的实际数据值,dmax和dmin分别是实际输入的数据中的最大值和最小值,(dmax-dmin)/(2s-1)表示量化的步长大小;round表示取整;
由矩阵A量化得到矩阵AQ的过程为:将矩阵A中的各个元素作为d带入至量化公式中得到量化索引q,再将每一个元素计算得到的量化索引q构成矩阵得到YQ矩阵;由矩阵Y得到矩阵YQ的过程同理。
步骤五、将量化后得到的YQ矩阵和AQ矩阵按照步骤一中相反的方式还原成三维数据形式;还原后的数据大小为nx×ny×nl,用i,j,k分别代表数据所在的行、列以及光谱位置,则得到还原后的数据用ci′,j,k表示,通过以下的公式对其进行预测得到预测结果
其中median函数表示取中值;1<i≤nx,1<j≤ny,1≤k≤nl;
然后得到预测误差ei,j,k:
按照以下三个公式进行计算和更新:
ei,1,k←ei,1,k-ei-1,1,k
e1,j,k←e1,j,k-e1,j-1,k
ei,j,k←ei,j,k-ei,j,k-1
其中,1<i≤nx,1<j≤ny,1<k≤nl;
最后将所得的三维预测误差按照步骤一中的方式重新构造成二维形式,得到YQ矩阵预测后的结果矩阵YQP矩阵,AQ矩阵预测后的结果矩阵AQP矩阵;
步骤六、将待编码数据,包括残差矩阵D、YQP矩阵和AQP矩阵进行区间编码,产生的码流中加入4个辅助信息,分别是ICA的独立成分数num、量化级别的数目s和最小值dmin、以及各个光谱段的均值数据形成最终的压缩码流,完成压缩。
优选地,步骤一中,零均值处理的具体过程为:
优选地,步骤二具体为:
其中,C为L阶矩阵,Λ为对角阵,即Λ=Diag[λ1,λ2,...,λL],其中λi为协方差矩阵C的特征根,λ1≥λ2≥...≥λL≥0,V=[v1,v2,...vL],其中vi为相应的特征向量;
优选地,步骤三具体为:步骤三一、确定独立成分数num,并初始化分离矩阵U,U=[u1,u2,...ui,...,unum]T,其中,ui=[u1,u2,...,uL](1≤i≤num),元素u1,u2,...,uL能够使得|ui|=1且互相正交;
步骤三二、计算Y=UZ,(Y=[y1,y2,...,ynum]T,大小为num×(M×N)),设定N维对角矩阵K=diag[k1,k2,...,knum],其中:
E表示求括号内数据的数学期望;
步骤三四、根据U←(UUT)-1/2U将矩阵U对称正交化;
步骤三五、判步骤三四中分离矩阵U中的ui和步骤三二中分离矩阵U中的ui的内积是否等于1,如果等于1,则保留步骤三四中的分离矩阵U,其大小为num×L,然后计算Y=UZ得到白化后数据矩阵Z的独立成分矩阵Y,大小为num×(M×N),Y中各个行向量是ICA变换之后的得到的独立成分,独立成分数目为num。通过实验设定不同的独立成分数num,以得到相对较高的压缩率,然后计算ICA的变换系数矩阵A=U-1;否则,如果不相等,返回步骤三二,直到满足内积等于1。
本发明的有益效果为:1、具有较高的压缩比;2、可有效地在高阶统计量上取出相关性,更适合超光谱大气红外遥感图像的处理过程;3、平均压缩率可达3.37,高于其他压缩算法。
附图说明
图1是本发明所述的基于量化ICA的超光谱大气红外遥感图像无损压缩方法原理示意图;
图2是本发明所采用的ICA算法的变换过程示意图;
图3是本发明在实验验证时所用的AIRS超光谱大气红外遥感图像数据;其中Granule表示“景”,用于研究的标准超光谱探测仪AIRS的数据集包含10景,5个白天,5个夜晚,同时代表了不同的地理区域;一天的数据共有240景,景后面的数字,例如Granule60,其中的60为序号。
具体实施方式
具体实施方式一、结合图1说明本发明的具体实施方式,一种基于量化ICA的超光谱大气红外遥感图像无损压缩方法:
步骤一、三维超光谱大气红外遥感图像数据大小为M×N×L,波段通道总数为L个,将其转化成二维,得到L行M×N列的矩阵X=[x1,x2,...,xL]T,其中,xi(1≤i≤L)为M×N维的行向量。
再对其进行零均值处理,具体方式如下:
其中,C为L阶矩阵,Λ为对角阵,即Λ=Diag[λ1,λ2,...,λL],其中λi(1≤i≤L)为协方差矩阵C的特征根,λ1≥λ2≥...≥λL≥0,V=[v1,v2,…vL],其中vi(1≤i≤L)为相应的特征向量。
步骤三.采用基于极大似然估计的不动点算法求解ICA的分离矩阵U,通过ICA变换去除超光谱图像数据的谱间冗余,得到独立成分矩阵Y以及ICA的变换系数矩阵A;
步骤三一.首先,确定独立成分数num,然后,初始化分离矩阵U,U=[u1,u2,…ui,...,unum]T,其中,ui=[u1,u2,...,uL](1≤i≤num),|ui|=1且互相正交。
步骤三二.计算Y=UZ,(Y=[y1,y2,...,ynum]T,大小为num×(M×N)),设定num维对角矩阵K=diag[k1,k2,...,knum],其中(E指的是求括号内数据的数学期望):
步骤三四.根据U←(UUT)-1/2U将矩阵U对称正交化。U←Φ(U)表示将计算得到的Φ(U)赋值给U。以下出现的箭头也是相同的含义,表示将箭头起始端的变量计算完后赋给箭头末端的变量,以此来完成对箭头末端变量的更新。
步骤三五.判步骤三四中分离矩阵U中的ui和步骤三二中分离矩阵U中的ui的内积是否等于1,如果等于1,则可以得到分离矩阵U,大小为num×L,然后计算Y=UZ得到白化后数据矩阵Z的独立成分矩阵Y,大小为num×(M×N),Y中各个行向量是ICA变换之后的得到的独立成分,其独立成分数目为num。为了得到相对较高的压缩率,通过实验分析,我们采用的独立成分的数目num=70,然后计算ICA的变换系数矩阵A=U-1。否则,如果不相等,返回步骤三二,直到满足内积等于1为止。
步骤四、对独立成分矩阵Y以及ICA的变换系数矩阵A进行量化,分别得到YQ矩阵和AQ矩阵,设定s表示量化级别的数目,均匀量化方式如下式:
其中,q表示量化索引,d为量化输入的实际数据值,dmax和dmin分别是实际输入的数据中的最大值和最小值,(dmax-dmin)/(2s-1)表示量化的步长大小。通过实验分析,对ICA的变换系数矩阵A进行量化处理时的量化级别为11,对独立成分矩阵Y进行量化处理时选取的量化级别为15时,结果最优。round表示取整;
步骤五、将量化后得到的YQ矩阵和AQ矩阵按照步骤一中相反的方式还原成三维数据形式。还原后的数据大小为nx×ny×nl,用i,j,k分别代表数据所在的行、列以及光谱位置,则得到还原后的数据用c′i,j,k表示,通过下面的公式对其进行预测得到预测结果(median函数表示取中值):
然后可以得到预测误差ei,j,k:
按照如下三个公式进行计算和更新:
ei,1,k←ei,1,k-ei-1,1,k(1<i≤nx)
e1,j,k←e1,j,k-e1,j-1,k(1<j≤ny)
ei,j,k←ei,j,k-ei,j,k-1(1<k≤nl)
最后将所得的三维预测误差按照步骤一中的方式重新构造成二维形式,得到YQ矩阵预测后的结果矩阵YQP矩阵,AQ矩阵预测后的结果矩阵AQP矩阵。
步骤六、将待编码数据,包括残差矩阵D、YQP矩阵和AQP矩阵进行区间编码,产生的码流中加入4个辅助信息,分别是ICA的独立成分数num、量化级别的数目s和最小值dmin、以及各个光谱段的均值数据形成最终的压缩码流,完成压缩。辅助信息可以具体加在帧的头部中。
验证实验采用的数据是美国国家航天太空总署的标准超光谱红外大气数据,共分为十个景,其中五个为白天时间,五个为夜晚时间,代表了地球气象的典型地理区域。每一个数据块被保存为一个二进制文件,共2107个波段通道,135个辐射扫描面,每个波段通道的扫描线上共90个像素,每个数据块的存储大小为41249250bytes。图3是在波数800.01cm-1下的十个AIRS图像数据块。
表1最后一行是本发明方法(PICA),即量化ICA的超光谱大气红外遥感图像无损压缩方法,对图3中十景AIRS数据块进行无损压缩的结果,并与其他典型的压缩方法的对比结果。
表1各种算法的压缩率对比结果
从实验结果可以看出,本发明方法压缩这十景图像均比传统方法具有更高的压缩率,平均压缩率可达到3.37。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (4)
1.一种基于量化ICA的超光谱大气红外遥感图像无损压缩方法,其特征在于,
步骤一、三维超光谱大气红外遥感图像数据大小为M×N×L,波段通道总数为L个,将其转化为L行M×N列的矩阵X,其中矩阵X的每一行代表一个光谱维的图像数据;再求数据矩阵X各行向量中所有元素的平均值,并对X进行零均值处理得到
步骤三、求解分离矩阵U,并进一步得到独立成分矩阵Y以及ICA的变换系数矩阵A;
步骤四、对独立成分矩阵Y以及ICA的变换系数矩阵A进行量化,分别得到YQ矩阵和AQ矩阵,设定s表示量化级别的数目,量化公式为:
其中,q表示量化索引,d为量化输入的实际数据值,dmax和dmin分别是实际输入的数据中的最大值和最小值,(dmax-dmin)/(2s-1)表示量化的步长大小;round表示取整;
由矩阵A量化得到AQ矩阵的过程为:将矩阵A中的各个元素作为d带入至量化公式中得到量化索引q,再将每一个元素计算得到的量化索引q构成矩阵得到YQ矩阵;
步骤五、将量化后得到的YQ矩阵和AQ矩阵按照步骤一中相反的方式还原成三维数据形式;还原后的数据大小为nx×ny×nl,用i,j,k分别代表数据所在的行、列以及光谱位置,则得到还原后的数据用c′i,j,k表示,通过以下的公式对其进行预测得到预测结果
其中median函数表示取中值;1<i≤nx,1<j≤ny,1≤k≤nl;
然后得到预测误差ei,j,k:
按照以下三个公式进行计算和更新:
ei,1,k←ei,1,k-ei-1,1,k
e1,j,k←e1,j,k-e1,j-1,k
ei,j,k←ei,j,k-ei,j,k-1
其中,1<i≤nx,1<j≤ny,1<k≤nl;箭头表示将箭头右侧式子的运算结果赋值给箭头左侧的值;
最后将所得的三维预测误差ei,j,k所构成的矩阵按照步骤一中的方式重新构造成二维形式,得到YQ矩阵预测后的结果矩阵YQP矩阵,AQ矩阵预测后的结果矩阵AQP矩阵;
步骤六、将待编码数据进行区间编码,所述待编码数据包括残差矩阵D、YQP矩阵和AQP矩阵,产生的码流中加入4个辅助信息,分别是ICA的独立成分数num、量化步长q和最小值dmin、以及各个光谱段的均值数据形成最终的压缩码流,完成压缩。
4.根据权利要求1所述的基于量化ICA的超光谱大气红外遥感图像无损压缩方法,其特征在于,步骤三具体为:
步骤三一、确定独立成分数num,并初始化分离矩阵U,U=[u1,u2,...ui,...,unum]T,其中,ui=[u1,u2,...,uL],1≤i≤num,元素u1,u2,...,uL能够使得|ui|=1且互相正交;
步骤三二、计算Y=UZ,Y=[y1,y2,...,ynum]T,大小为num×(M×N),设定对角矩阵K=diag[k1,k2,...,knum],其中:
E指的是求括号内数据的数学期望;
步骤三四、根据U←(UUT)-1/2U将矩阵U对称正交化;
步骤三五、判步骤三四中分离矩阵U中的ui和步骤三一中分离矩阵U中的ui的内积是否等于1,如果等于1,则保留步骤三四中的分离矩阵U,其大小为num×L,然后计算Y=UZ得到白化后数据矩阵Z的独立成分矩阵Y,大小为num×(M×N),Y中各个行向量是ICA变换之后的得到的独立成分,独立成分数目为num;通过实验设定不同的独立成分数num,以得到相对较高的压缩率,然后计算ICA的变换系数矩阵A=U-1;否则,如果不相等,返回步骤三二,直到满足内积等于1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711009858.4A CN107770526B (zh) | 2017-10-25 | 2017-10-25 | 一种基于量化ica的超光谱大气红外遥感图像无损压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711009858.4A CN107770526B (zh) | 2017-10-25 | 2017-10-25 | 一种基于量化ica的超光谱大气红外遥感图像无损压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107770526A CN107770526A (zh) | 2018-03-06 |
CN107770526B true CN107770526B (zh) | 2020-08-07 |
Family
ID=61270688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711009858.4A Active CN107770526B (zh) | 2017-10-25 | 2017-10-25 | 一种基于量化ica的超光谱大气红外遥感图像无损压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107770526B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109089118B (zh) * | 2018-09-26 | 2020-10-27 | 哈尔滨工业大学 | 基于关键信息保护的超光谱大气红外遥感图像压缩方法 |
CN110233626B (zh) * | 2019-07-05 | 2022-10-25 | 重庆邮电大学 | 基于二维自适应量化的机械振动信号边缘数据无损压缩方法 |
CN112697270B (zh) * | 2020-12-07 | 2023-07-18 | 广州极飞科技股份有限公司 | 故障检测方法、装置、无人设备及存储介质 |
CN113051237B (zh) * | 2021-03-30 | 2022-12-09 | 中国科学院空天信息创新研究院 | 时间序列遥感数据的压缩存储方法 |
CN114119787B (zh) * | 2021-11-30 | 2024-04-12 | 哈尔滨工业大学 | 基于正交匹配追踪的超光谱图像预测压缩方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101234A (zh) * | 2007-06-25 | 2008-01-09 | 北京航空航天大学 | 一种实现高光谱地物精细分类的独立成分分析全局搜索方法 |
CN101866424A (zh) * | 2010-05-20 | 2010-10-20 | 复旦大学 | 基于独立分量分析的高光谱遥感图像混合像元分解方法 |
CN103024398A (zh) * | 2013-01-15 | 2013-04-03 | 山东大学 | 基于稀疏矩阵的高光谱遥感图像的压缩感知处理方法 |
CN104616253A (zh) * | 2015-01-09 | 2015-05-13 | 电子科技大学 | 一种利用独立成分分析技术的光学遥感图像薄云去除方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9697599B2 (en) * | 2015-06-17 | 2017-07-04 | Xerox Corporation | Determining a respiratory pattern from a video of a subject |
-
2017
- 2017-10-25 CN CN201711009858.4A patent/CN107770526B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101234A (zh) * | 2007-06-25 | 2008-01-09 | 北京航空航天大学 | 一种实现高光谱地物精细分类的独立成分分析全局搜索方法 |
CN101866424A (zh) * | 2010-05-20 | 2010-10-20 | 复旦大学 | 基于独立分量分析的高光谱遥感图像混合像元分解方法 |
CN103024398A (zh) * | 2013-01-15 | 2013-04-03 | 山东大学 | 基于稀疏矩阵的高光谱遥感图像的压缩感知处理方法 |
CN104616253A (zh) * | 2015-01-09 | 2015-05-13 | 电子科技大学 | 一种利用独立成分分析技术的光学遥感图像薄云去除方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107770526A (zh) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107770526B (zh) | 一种基于量化ica的超光谱大气红外遥感图像无损压缩方法 | |
Wang et al. | Compressive sensing of hyperspectral images via joint tensor tucker decomposition and weighted total variation regularization | |
Dony | Karhunen-loeve transform | |
CN111260576A (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
CN106447632B (zh) | 一种基于稀疏表示的raw图像去噪方法 | |
Gashnikov et al. | Hierarchical GRID interpolation under hyperspectral images compression | |
EP3347852B1 (en) | Methods of compressing and decompressing spectral data | |
CN111147863B (zh) | 基于张量的视频快照压缩成像恢复方法 | |
Amar et al. | Wavelet networks approach for image compression | |
Karami et al. | Hyperspectral image compression optimized for spectral unmixing | |
CN109089118B (zh) | 基于关键信息保护的超光谱大气红外遥感图像压缩方法 | |
Kozhemiakin et al. | An approach to prediction and providing of compression ratio for DCT-based coder applied to multichannel remote sensing data | |
CN111107360B (zh) | 一种光谱-空间维联合的高光谱图像无损压缩方法及系统 | |
CN104244018B (zh) | 快速压缩高光谱信号的矢量量化方法 | |
CN115086715A (zh) | 一种无人机定量遥感应用的数据压缩方法 | |
CN113670440A (zh) | 一种基于自适应字典的压缩光谱成像方法 | |
CN113628290A (zh) | 基于3d卷积自编码器的波段自适应高光谱图像压缩方法 | |
Kaarna et al. | Compression and classification methods for hyperspectral images | |
Ülkü et al. | Large-scale hyperspectral image compression via sparse representations based on online learning | |
Li et al. | Efficient multi-bands image compression method for remote cameras | |
Keranen et al. | Spectral similarity measures for classification in lossy compression of hyperspectral images | |
Zemliachenko et al. | Peculiarities of hyperspectral image lossy compression for sub-band groups | |
Liu et al. | Decomposed Soft Compression for Remote Sensing Image | |
Dony et al. | Compression of SAR images using KLT, VQ and mixture of principal components | |
Agarwal et al. | Image Compression Techniques Comparative Analysis using SVD-WDR and SVD-WDR with Principal Component Analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |