CN103020912A - 一种结合波段聚类和稀疏表达的遥感影像复原方法 - Google Patents
一种结合波段聚类和稀疏表达的遥感影像复原方法 Download PDFInfo
- Publication number
- CN103020912A CN103020912A CN2012105512670A CN201210551267A CN103020912A CN 103020912 A CN103020912 A CN 103020912A CN 2012105512670 A CN2012105512670 A CN 2012105512670A CN 201210551267 A CN201210551267 A CN 201210551267A CN 103020912 A CN103020912 A CN 103020912A
- Authority
- CN
- China
- Prior art keywords
- dictionary
- image
- band
- wave band
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种结合波段聚类和稀疏表达的遥感影像复原方法,以提高高光谱遥感影像的空间分辨率为目的,针对高光谱影像光谱维信息丰富以及不同波段噪声强度不同的特点,构建多波段的影像复原模型,利用波段的间高相似性及冗余信息进行相互约束和互补,最终得到高质量的高光谱影像。首先对高光谱影像进行波段聚类,将大量波段分为相关信息差别较大的少量类别;然后采用压缩感知理论对相同类别的一簇波段构建整体的变分训练多波段字典,通过该字典完成影像复原工作。本发明充分利用了多个波段间的相关性对目标影像进行恢复,并保持其光谱特性,复原结果具有更强的空间信息和光谱信息保持性能。
Description
技术领域
本发明属于遥感图像处理技术领域,涉及一种基于波段聚类和稀疏表达的遥感影像复原方法,对于遥感影像中存在着较高相关性的波段,在此基础上利用高相关性波段组成的类中各波段之间的约束和互补关系,构建多通道的影像复原模型获得高质影像。
背景技术
随着信息处理技术的发展,人们对影像的要求也越来越高,但由于卫星、传感器或者大气等多方面的影响,最终获取的影像上可能会存在一些噪声或者光学模糊现象,所得到的影像往往分辨率很低而且会有退化变形和受噪声污染,导致遥感影像的高空间分辨率和高光谱分辨率无法同时获得,难以满足人们的视觉需要。在获取高质量的影像比较困难或者代价比较昂贵的时候,使用影像复原算法是很有必要的。影像复原主要可分为基于单幅影像复原和多幅影像复原的技术,其主要解决影像去噪,去模糊和超分重建问题。基于多幅影像的复原方法通常是指通过获取多幅不同时相或者不同位移的遥感影像,对多幅具有互补信息的低分辨率影像进行处理,重构出一幅高分辨率影像的技术,其方法有非均匀内插方法,基于多幅影像的Huber-Markov先验模型等。基于单幅影像的复原方法有基于邻域嵌套的超分辨率重建(LLE),基于样本学习的影像重建等。卫星遥感影像具有成像周期较长、地表情况复杂多变、大气辐射干扰严重等原因,使得同一场景的多时相遥感影像的获取较为困难,同时涉及到图像配准问题,而目前的配准算法其精度仍有待提高。可见发展遥感影像单幅影像复原的方法是重要的,但是现有针对多光谱遥感影像的复原算法大多将遥感影像视为普通图像进行复原,并没有考虑到遥感影像的光谱特性。因此,充分利用遥感影像丰富的光谱信息,研究针对单平台单时相遥感影像的复原具有较高的经济价值和现实意义。
发明内容
本发明的目的在于,针对现有技术的上述不足,提供一种结合波段聚类和稀疏表达的遥感影像复原方法,在利用波段间的高度相关性来进行复原的基础上,加入对噪声稳健的稀疏先验,对同一类具有较高相关性的波段同时训练字典并进行影像复原,这样构建的字典可以避免但波段训练字典时信息不足的情况,能够加入其他波段的信息构建一种多通道的稀疏模型,利用多波段直接的相关性,纠正单波段复原中字典训练不当导致复原不佳的情况。
本发明的技术方案为一种结合波段聚类和稀疏表达的遥感影像复原方法,包括以下步骤:
步骤1,将待处理影像根据相关系数指标,划分为具有相关性差异的多个波段类别;
步骤2,对每一波段类别的波段求取最佳字典,包括以下子步骤,
步骤2.1,设第m波段类Xm中包含L个波段,在每个波段上以像素点(xi,yj)为中心,设一个n×n的窗口,将L个同一光谱的n×n的窗口块提取出来组合为维度为nn×L的列向量nn=n×n;同时利用列向量组成第m波段类的样本库;
步骤2.2,稀疏系数向量求解,第一次迭代时利用步骤2,1所得样本库中部分列向量构建该m类的初始字典,基于初始字典采用OMP算法求解列向量的稀疏系数向量;后续迭代利用上一次执行步骤2.3更新的新字典采用OMP算法求解列向量的稀疏系数向量;
步骤2.3,字典更新,包括采用K-SVD算法更新字典,更新方式如下,
对应于字典中的某列原子,找到利用该列原子的影像列以及相应稀疏系数向量,通过对每列原子所得的残差做奇异值分解来更新该原子,使通过字典线性表达所得到的值与原始影像的值之差满足能量最小;
步骤2.4,判断是否达到迭代停止条件,是则确定第m波段类的当前字典为最佳字典,否则返回执行步骤2.2直到达到迭代停止条件;
步骤3,根据步骤2所得每一波段类别的最佳字典进行最小二乘求解得到高质影像。
而且,步骤1实现方式为,计算相关系数矩阵,以相关系数为指标,利用K-means算法对所有波段进行非监督聚类分为k类,每类中的波段相关性达到最大。
本发明的特色在于,不同波段之间的相关性存在差异,相邻波段的相关性一般较强,但是除了相邻波段以外,其它波段也可能与该波段有较强的相关性,因此可通过波段聚类的方法对高光谱影像波段分类,使高相关性波段聚为一类,改善单波段处理信息不足的问题;对于高光谱影像中处于同类波段构建多波段的稀疏先验,在稀疏先验本身对噪声稳健的特点下,在训练字典和用变分模型求解时,其它波段的信息加入在迭代过程中也起到重要作用,其相互之间形成约束和信息的互补,有效控制了复原精度。总之,本发明提出的方法可有效的用于遥感影像质量改善,获得更加准确的复原结果。
附图说明
图1是本发明实施例的流程图。
具体实施方式
本发明技术方案可采用计算机软件技术实现自动运行流程。以下结合附图和实施例详细说明本发明技术方案。
如图1所示,本发明实施例包括以下步骤:
步骤1,波段选择及分类:将待处理影像根据相关系数指标,划分为具有相关性差异的多个波段类别。包括以下子步骤:
步骤1.1,对待处理高光谱影像计算相关系数矩阵,相关系数矩阵中两波段影像xi,xj(i,j=1,...,B,i≠j,B表示该高光谱影像波段总数)之间的相关系数表示为其中分别表示影像xi,xj的平均值,N表示单波段的像元总数,像元标号a=1,...,N:
步骤1.2,以相关系数为准则,用非监督分类(如K-means)对波段聚类,可用如下优化公式表示:
其中R(·,·)表示相关系数测度,得到的K个聚类记为c1,c2…cK,μb是第cb类的聚类中心,b=1,2...,K,xi表示第i个波段影像。如果两个波段影像xi,xj相关系数越高代表这两个波段之间越接近,选择相关系数大的波段影像分为一类,更能准确复原信息。
步骤2,对每一波段类别的波段求取最佳字典。本步骤对处于相同类别的波段构建多通道的正则化模型,建立基于多波段的稀疏先验影像复原模型。
步骤2.1,设第m波段类Xm中包含L个波段,在每个波段上以像素点(xi,yj)为中心,设一个n×n的窗口,将L个同一光谱的n×n的窗口块提取出来组合为维度为nn×L(nn=n×n)的列向量同时利用列向量组成第m类的样本库。
依据压缩感知(稀疏表达)理论,n×n图像块可表示为一组原子[φ1,...,φh,...,φk]h∈k∈Φ的线性组合x=Φα,其对应字典(其维度满足条件:k>n)和稀疏向量α。由于高光谱影像波段数多,无法同时对整幅影像的多波段类构建过完备字典,因此可利用多通道全局先验(Cross-channel Global Prior),在高光谱影像中,对于第m波段类Xm,假设其包含L个波段,xi(i=1,...,L)表示第i波段影像,将该类影像中处于同一光谱的每个像元,在该像元所在波段中选取大小为n×n的窗口并将其表示为列向量,然后按照波段先后顺序依次排列该光谱中L个n×n的窗口,形成新的列向量其中m为类别号,i表示列向量号,N为单波段影像具有总像元数。同时利用列向量组成第m类的样本库。如公式3表示提取其中Ri为从第m波段类Xm提取列向量的矩阵,
步骤2.2,稀疏系数向量求解,第一次迭代时利用步骤2,1所得样本库中部分列向量构建该m类的初始字典,基于初始字典求解列向量的稀疏系数向量;后续迭代利用上一次执行步骤2.3更新的新字典求解列向量的稀疏系数向量。本步骤用于估计稀疏系数向量:
影像复原是为了将低质影像Y恢复为高质量的影像X。其能够被表示为
Y=DHX+v (4)
其中H和D是退化算子,v是噪声。当H和D为单位阵时,影像恢复过程在于去噪;当D为单位阵而H是一个模糊算子时,影像恢复过程在于去模糊;当D是降采样算子而H是模糊算子时,影像恢复就是超分辨率重建。
根据影像恢复基本公式,对应于第m类其恢复问题在加入全局先验的稀疏表达中可以表示为:
该公式的意思是求解满足该代价函数能量最小时的和Xm,其中表示nn×L(nn=n×n)的列向量的稀疏向量、Ym表示输入的低质影像Y的第m波段类、Xm表示待恢复的高质量影像X的第m波段类,分别为和Xm最优估计值,和λm为第m波段类的正则化参数,通过调节和λm控制各正则项之间的比例关系达到影像最佳复原程度。公式(5)中第一项为数据一致项,第二项为多通道稀疏先验,第三项为多通道全局先验。这种多通道的先验模型能够有效保持光谱上的稀疏一致性。
当更新稀疏系数向量时,可将H、D以及Ф看为整体。由于在每次迭代中固定H、D以及Ф,该问题可由正交追踪匹配算法(OMP)求解。
步骤2.3,字典更新,更新方式如下,
对应于字典中的某列原子,找到利用该列原子的影像列以及相应稀疏系数向量,通过对每列原子所得的残差做奇异值分解来更新该原子,使通过字典线性表达所得到的值与原始影像的值之差满足能量最小。
在该步骤中,固定H、D以及α更新字典。逐次更新字典Ф中每列φh(h=1,2,...,k)。首先找出利用第h列原子的索引ωh={d|αd(h)≠0},其中αd(h)表示第h行值不为0的d个稀疏向量:
对El构建进行奇异值分解(SVD)得El=UΔVT,其中U和V为各列正交的特征向量,Δ为特征值。选择U的第一列更新字典中第h0列原子,V与Δ(1,1)的乘积更新稀疏系数向量{αd(l)}(d∈ωl)。
步骤2.4,判断是否达到迭代停止条件,是则确定第m波段类的当前字典为最佳字典,否则返回执行步骤2.2直到达到迭代停止条件。实施例设置迭代停止条件为达到迭代次数,即重复2,3步骤迭代J次后,得到优化的字典Ф。J为预设的迭代次数。对下式(9)求解
可得第m类的影像复原结果,
根据步骤2.1-2.4,依次处理各波段类,得到每一波段类别的最佳字典。
步骤3,根据步骤2所得每一波段类别的最佳字典进行最小二乘求解得到高质影像。
步骤2中构建多通道稀疏先验和多通道全局先验,建立总体影像复原模型,见公式(5);将步骤2所得每一类的最佳字典带入最终的影像复原模型中进行最小二乘求解即可得到最终的高光谱影像复原结果。
具体实施时,可设计程序为对某一待恢复波段类进行迭代更新稀疏系数向量和字典,实现基于多波段的稀疏先验联合求解,得到该波段类复原结果。如果待处理波段类不为空,继续处理下一波段类,直到待处理波段类为空得到高光谱影像复原结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (2)
1.一种结合波段聚类和稀疏表达的遥感影像复原方法,其特征在于,包括以下步骤:
步骤1,将待处理影像根据相关系数指标,划分为具有相关性差异的多个波段类别;
步骤2,对每一波段类别的波段求取最佳字典,包括以下子步骤,
步骤2.1,设第m波段类Xm中包含L个波段,在每个波段上以像素点(xi,yj)为中心,设一个n×n的窗口,将L个同一光谱的n×n的窗口块提取出来组合为维度为nn×L的列向量nn=n×n;同时利用列向量组成第m波段类的样本库;
步骤2.2,稀疏系数向量求解,第一次迭代时利用步骤2,1所得样本库中部分列向量构建该m类的初始字典,基于初始字典采用OMP算法求解列向量的稀疏系数向量;后续迭代利用上一次执行步骤2.3更新的新字典采用OMP算法求解列向量的稀疏系数向量;
步骤2.3,字典更新,包括采用K-SVD算法更新字典,更新方式如下,
对应于字典中的某列原子,找到利用该列原子的影像列以及相应稀疏系数向量,通过对每列原子所得的残差做奇异值分解来更新该原子,使通过字典线性表达所得到的值与原始影像的值之差满足能量最小;
步骤2.4,判断是否达到迭代停止条件,是则确定第m波段类的当前字典为最佳字典,否则返回执行步骤2.2直到达到迭代停止条件;
步骤3,根据步骤2所得每一波段类别的最佳字典进行最小二乘求解得到高质影像。
2.根据权利要求1所述结合波段聚类和稀疏表达的遥感影像复原方法,其特征在于:步骤1实现方式为,计算相关系数矩阵,以相关系数为指标,利用K-means算法对所有波段进行非监督聚类分为k类,每类中的波段相关性达到最大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210551267.0A CN103020912B (zh) | 2012-12-18 | 2012-12-18 | 一种结合波段聚类和稀疏表达的遥感影像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210551267.0A CN103020912B (zh) | 2012-12-18 | 2012-12-18 | 一种结合波段聚类和稀疏表达的遥感影像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103020912A true CN103020912A (zh) | 2013-04-03 |
CN103020912B CN103020912B (zh) | 2016-05-11 |
Family
ID=47969481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210551267.0A Active CN103020912B (zh) | 2012-12-18 | 2012-12-18 | 一种结合波段聚类和稀疏表达的遥感影像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103020912B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729652A (zh) * | 2014-01-17 | 2014-04-16 | 重庆大学 | 基于稀疏保持流形嵌入的高光谱遥感影像分类方法 |
CN105205496A (zh) * | 2015-09-11 | 2015-12-30 | 重庆邮电大学 | 基于空间信息约束的增强型稀疏表示高光谱图像分类装置及方法 |
CN105825529A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 一种基于非局部和低秩分解的高光谱图像压缩方法 |
CN103886333B (zh) * | 2014-04-04 | 2017-02-15 | 武汉大学 | 遥感图像的主动谱聚类方法 |
CN107220662A (zh) * | 2017-05-16 | 2017-09-29 | 西北工业大学 | 基于全局最优聚类的高光谱图像波段选择方法 |
CN108053455A (zh) * | 2017-12-25 | 2018-05-18 | 西安交通大学 | 一种基于线性预测去相关的矢量量化高光谱图像压缩方法 |
CN108280486A (zh) * | 2018-02-02 | 2018-07-13 | 北京航空航天大学 | 一种基于端元簇的高光谱图像解混方法 |
CN109218420A (zh) * | 2018-09-07 | 2019-01-15 | 东南大学 | 基于NB-IoT的无线位移传感器及系统 |
CN111292266A (zh) * | 2020-01-22 | 2020-06-16 | 武汉大学 | 基于双低秩矩阵分解的gf-5遥感影像混合噪声去除方法 |
CN111912799A (zh) * | 2020-07-17 | 2020-11-10 | 中国科学院西安光学精密机械研究所 | 一种基于高光谱水体库的自适应波段选择方法 |
CN112907495A (zh) * | 2021-02-18 | 2021-06-04 | 北京印刷学院 | 高光谱图像的空间分辨率增强方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070159376A1 (en) * | 2006-01-11 | 2007-07-12 | Raytheon Company | Interrupt SAR implementation for range migration (RMA) processing |
CN102324106A (zh) * | 2011-06-02 | 2012-01-18 | 武汉大学 | 一种顾及地表光谱信息的sfs三维重建加密稀疏dem方法 |
-
2012
- 2012-12-18 CN CN201210551267.0A patent/CN103020912B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070159376A1 (en) * | 2006-01-11 | 2007-07-12 | Raytheon Company | Interrupt SAR implementation for range migration (RMA) processing |
CN102324106A (zh) * | 2011-06-02 | 2012-01-18 | 武汉大学 | 一种顾及地表光谱信息的sfs三维重建加密稀疏dem方法 |
Non-Patent Citations (2)
Title |
---|
SHUYUAN YANG等: "Multitask Learning and Sparse Representation based Super-Resolution Reconstruction of Synthetic Aperture Radar Images", 《2011 INTERNATIONAL WORKSHOP ON MULTI-PLATFORM/MULTI-SENSOR REMOTE SENSING AND MAPPING》 * |
高星星: "基于稀疏分解的SAR图像抑制斑点噪声算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729652B (zh) * | 2014-01-17 | 2016-08-31 | 重庆大学 | 基于稀疏保持流形嵌入的高光谱遥感影像分类方法 |
CN103729652A (zh) * | 2014-01-17 | 2014-04-16 | 重庆大学 | 基于稀疏保持流形嵌入的高光谱遥感影像分类方法 |
CN103886333B (zh) * | 2014-04-04 | 2017-02-15 | 武汉大学 | 遥感图像的主动谱聚类方法 |
CN105205496B (zh) * | 2015-09-11 | 2018-12-28 | 重庆邮电大学 | 增强型稀疏表示高光谱图像分类装置及方法 |
CN105205496A (zh) * | 2015-09-11 | 2015-12-30 | 重庆邮电大学 | 基于空间信息约束的增强型稀疏表示高光谱图像分类装置及方法 |
CN105825529A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 一种基于非局部和低秩分解的高光谱图像压缩方法 |
CN105825529B (zh) * | 2016-03-18 | 2019-02-26 | 武汉大学 | 一种基于非局部和低秩分解的高光谱图像压缩方法 |
CN107220662A (zh) * | 2017-05-16 | 2017-09-29 | 西北工业大学 | 基于全局最优聚类的高光谱图像波段选择方法 |
CN107220662B (zh) * | 2017-05-16 | 2019-07-19 | 西北工业大学 | 基于全局最优聚类的高光谱图像波段选择方法 |
CN108053455A (zh) * | 2017-12-25 | 2018-05-18 | 西安交通大学 | 一种基于线性预测去相关的矢量量化高光谱图像压缩方法 |
CN108053455B (zh) * | 2017-12-25 | 2020-06-19 | 西安交通大学 | 一种基于线性预测去相关的矢量量化高光谱图像压缩方法 |
CN108280486A (zh) * | 2018-02-02 | 2018-07-13 | 北京航空航天大学 | 一种基于端元簇的高光谱图像解混方法 |
CN108280486B (zh) * | 2018-02-02 | 2020-06-23 | 北京航空航天大学 | 一种基于端元簇的高光谱图像解混方法 |
CN109218420A (zh) * | 2018-09-07 | 2019-01-15 | 东南大学 | 基于NB-IoT的无线位移传感器及系统 |
CN111292266A (zh) * | 2020-01-22 | 2020-06-16 | 武汉大学 | 基于双低秩矩阵分解的gf-5遥感影像混合噪声去除方法 |
CN111292266B (zh) * | 2020-01-22 | 2022-07-05 | 武汉大学 | 基于双低秩矩阵分解的gf-5遥感影像混合噪声去除方法 |
CN111912799A (zh) * | 2020-07-17 | 2020-11-10 | 中国科学院西安光学精密机械研究所 | 一种基于高光谱水体库的自适应波段选择方法 |
CN111912799B (zh) * | 2020-07-17 | 2021-07-27 | 中国科学院西安光学精密机械研究所 | 一种基于高光谱水体库的自适应波段选择方法 |
CN112907495A (zh) * | 2021-02-18 | 2021-06-04 | 北京印刷学院 | 高光谱图像的空间分辨率增强方法、装置及电子设备 |
CN112907495B (zh) * | 2021-02-18 | 2023-08-29 | 北京印刷学院 | 高光谱图像的空间分辨率增强方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103020912B (zh) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103020912A (zh) | 一种结合波段聚类和稀疏表达的遥感影像复原方法 | |
US10691974B2 (en) | Superpixel classification method based on semi-supervised K-SVD and multiscale sparse representation | |
Chen et al. | Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images | |
CN103020939B (zh) | 利用多时相数据去除光学遥感影像大面积厚云的方法 | |
US10354185B2 (en) | Learning apparatus, learning program, and learning method | |
CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
CN114998109B (zh) | 基于双rgb图像融合的高光谱成像方法、系统及介质 | |
CN105657402A (zh) | 一种深度图恢复方法 | |
CN105469359A (zh) | 基于局部约束低秩表示的人脸超分辨率重建方法 | |
CN109447898B (zh) | 一种基于压缩感知的高光谱超分辨计算成像系统 | |
US8682086B2 (en) | Systems and methods for determining image representations at a pixel level | |
Ge et al. | Improved semisupervised unet deep learning model for forest height mapping with satellite sar and optical data | |
CN103473797B (zh) | 基于压缩感知采样数据修正的空域可缩小图像重构方法 | |
CN115457311B (zh) | 一种基于自表达迁移学习的高光谱遥感影像波段选择方法 | |
CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
CN114331976A (zh) | 一种基于多级张量先验约束的高光谱异常检测方法 | |
CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
CN113705340A (zh) | 一种基于雷达遥感数据的深度学习变化检测方法 | |
Hou et al. | RFSDAF: A new spatiotemporal fusion method robust to registration errors | |
CN114764880B (zh) | 多成分gan重建的遥感图像场景分类方法 | |
CN105931184A (zh) | 基于联合优化的sar图像超分辨率方法 | |
Wei et al. | Diffusion models for spatio-temporal-spectral fusion of homogeneous Gaofen-1 satellite platforms | |
CN102999748A (zh) | 一种优化人脸图像超分辨率重构方法 | |
Kanth et al. | Multi-modal Image Super-resolution with Joint Coupled Deep Transform Learning | |
CN113658227B (zh) | 一种基于协同低秩图模型的rgbt目标跟踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |