CN109448064B - 基于哈达玛的高光谱图像重构方法 - Google Patents

基于哈达玛的高光谱图像重构方法 Download PDF

Info

Publication number
CN109448064B
CN109448064B CN201811170171.3A CN201811170171A CN109448064B CN 109448064 B CN109448064 B CN 109448064B CN 201811170171 A CN201811170171 A CN 201811170171A CN 109448064 B CN109448064 B CN 109448064B
Authority
CN
China
Prior art keywords
matrix
random
image
hadamard
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811170171.3A
Other languages
English (en)
Other versions
CN109448064A (zh
Inventor
王丽
王威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aeronautical University
Original Assignee
Xian Aeronautical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aeronautical University filed Critical Xian Aeronautical University
Priority to CN201811170171.3A priority Critical patent/CN109448064B/zh
Publication of CN109448064A publication Critical patent/CN109448064A/zh
Application granted granted Critical
Publication of CN109448064B publication Critical patent/CN109448064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于哈达玛的高光谱图像重构方法,属于图像压缩技术领域,包括:采集高光谱图像;构造压缩感知测量矩阵对高光谱图像进行重构。该方法根据压缩感知测量矩阵所必须具备的条件,以哈达玛矩阵为基础,设计随机置换算子,得到置换哈达玛矩阵,实现高光谱图像的压缩感知采样和重构;测量矩阵比随机高斯矩阵的重构计算复杂度低,实现高光谱图像的快速重构,解决现有随机测量矩阵硬件可实现性差、确定性测量矩阵难以满足约束等距性质的问题;测量矩阵元素值简单,易于在光学域实现,采用分块模式进行存储,对存储空间的要求较低,采样效率高、重构计算复杂度低,能够满足高光谱图像压缩感知处理的实时需要。

Description

基于哈达玛的高光谱图像重构方法
技术领域
本发明属于图像压缩技术领域,具体涉及一种基于哈达玛的高光谱图像重构方法。
背景技术
高光谱图像不但包含了被观测目标的空间分布信息,而且图像中的每个像元都有几十个甚至上百个窄波段的丰富光谱信息,具备“图谱合一”的性质。由于高光谱图像可以把反映物质性质的光谱特征和呈现物质几何空间信息的图像信息维系在一起,因此极大地提高了人类认知客观世界的能力,在遥感、军事、农业、医学等领域都被证明有着巨大的应用价值。
因高光谱图像的空间、谱间分辨率高的特点,使其包含了非常丰度的细节信息,导致其数据量巨大,给星载传感系统的传输和存储都带来较大的困难。为了解决这个问题,研究者引入压缩感知理论,对高光谱图像进行压缩处理。压缩感知理论将采样与压缩过程结合,直接采集数据的信息特性,能够降低传感器的采样和计算成本。在利用压缩感知理论对高光谱图像进行处理过程中,测量矩阵的选择与信号重构所需测量数量、重构算法的选择和重构的质量都存在内在关联。测量矩阵的作用是对原高维稀疏或可压缩信号进行降维采样,在此过程中确保原信号的信息不丢失且能够精确重构出原始信号。从物理实现角度上看,设计的测量矩阵必须易于硬件实现,否则压缩感知理论无法成功应用。从重构角度上看,测量矩阵的设计需要满足约束等距性质,其等价条件是测量矩阵与稀疏基不相干,以保证较少的测量数目能够高精度地重构原始信号。
大多数随机测量矩阵都能满足约束等距性质,如随机高斯矩阵能以极高的概率满足约束等距性质,精确重构所需的测量数非常少,重构性能也很好,但它的缺点是随机性太强,独立变元个数较多,对硬件的要求较高。随机贝努利矩阵的重构性能与高斯矩阵相近,虽然元素值简单易实现,但其概率分布难以控制,仍然难以应用于高光谱图像的压缩处理。确定性测量矩阵的硬件实现简单,但如何证明其满足约束等距性质又较难。
综上所述,现有技术存在的主要问题在于:1)随机测量矩阵的硬件可实现性差;2)确定性测量矩阵难以满足约束等距性质。
发明内容
为了克服上述现有技术存在的不足,本发明提供了一种基于哈达玛的高光谱图像重构方法。
为了实现上述目的,本发明提供如下技术方案:
一种基于哈达玛的高光谱图像重构方法,包括以下步骤:
步骤1.利用高光谱成像仪采集高光谱图像;
在采样端,高光谱图像总的波段数为J,波段序号为j,对每个波段图像进行分块处理,分块大小为B,Xj表示第j个波段图像,设定采样率为SR;
步骤2.构造压缩感知测量矩阵Φ对高光谱图像进行重构;
步骤2.1.构建哈达玛矩阵H,哈达玛矩阵H的维数是N=B2×B2,哈达玛矩阵H是块对角结构,对角线上的每个元素是一个大小为B×B的块哈达玛矩阵HB构成,根据公式(1)可以构造哈达玛矩阵H:
Figure BDA0001822207580000021
步骤2.2.利用线性同余排序的思想,得到随机置换算子SN,根据公式(2)计算SN的第n个值SN(n):
SN(n)=[mod(C(n-1),N)]+1 (2)
其中,C是小于N的一个正整数,mod(·)表示求余运算;
步骤2.3.根据随机置换算子SN,将哈达玛矩阵H的N个列向量进行随机重新排序,得到随机性强的随机哈达玛矩阵HSN,其中随机哈达玛矩阵HSN的第n列是哈达玛矩阵H的第SN(n)列;
步骤2.4.构建随机挑选算子PM,其中M是每个图像块的采样点数,M=N×SR;PM的第m个值PM(m)是[1,N]范围内的一个随机数;
步骤2.5.根据随机挑选算子PM,从随机哈达玛矩阵HSN中随机挑选M行,得到设计的压缩感知测量矩阵Φ,其中压缩感知矩阵Φ的第m行是随机哈达玛矩阵HSN的第PM(m)行;
步骤3.令j=1;
步骤4.如果j>J,则采样过程结束;否则,转入步骤5;
步骤5.根据压缩感知测量矩阵Φ和波段图像Xj,得到测量值yj=ΦXj,将测量值yj传输至重构端,并令j=j+1,然后转入步骤4;
步骤6.在重构端,令j=1;
步骤7.如果j>J,则重构过程结束;否则,转入步骤8;
步骤8.根据压缩感知测量矩阵Φ和波段图像的测量值yj,利用现有的重构算法进行重构,得到重构图像
Figure BDA0001822207580000031
并将其输出,然后令j=j+1,转入步骤7。
本发明提供的基于哈达玛的高光谱图像重构方法具有以下有益效果:
第一,本发明设计的测量矩阵利用了哈达玛矩阵的固有特性,矩阵元素值简单,易于硬件实现;
第二,本发明设计的测量矩阵采用分块模式进行存储,对存储空间的要求较低;
第三,本发明设计的测量矩阵的采样效率比现有的随机高斯矩阵高,可实现高光谱图像的快速压缩采样;
第四,本发明设计的测量矩阵比随机高斯矩阵的重构计算复杂度低,可实现高光谱图像的快速重构,解决现有的随机测量矩阵硬件可实现性差、确定性测量矩阵难以满足约束等距性质的问题;
第五,本发明的技术关键是根据压缩感知测量矩阵所必须具备的条件,以哈达玛矩阵为基础,设计随机置换算子,得到置换哈达玛矩阵,实现高光谱图像的压缩感知采样和重构;该方法设计的测量矩阵元素值简单,易于在光学域实现,采用分块模式进行存储,对存储空间的要求较低。同时,本发明方法设计的测量矩阵的采样效率高、重构计算复杂度低,能够满足高光谱图像压缩感知处理的实时需要。
附图说明
图1为本发明实施例1的基于哈达玛的高光谱图像重构方法的仿真实验所用的两组高光谱原始图像的第50个波段图像的示意图;
图2为本发明实施例1的基于哈达玛的高光谱图像重构方法的得到的重构图像与已有的随机高斯矩阵得到的重构图像对比图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1
本发明提供了基于哈达玛的高光谱图像重构方法,包括以下步骤:
步骤1.利用高光谱成像仪采集高光谱图像;
在采样端,高光谱图像总的波段数为J,波段序号为j,对每个波段图像进行分块处理,分块大小为B,Xj表示第j个波段图像,设定采样率为SR;
步骤2.构造压缩感知测量矩阵Φ对高光谱图像进行重构;
步骤2.1.构建哈达玛矩阵H,哈达玛矩阵H的维数是N=B2×B2,哈达玛矩阵H是块对角结构,对角线上的每个元素是一个大小为B×B的块哈达玛矩阵HB构成,根据公式(1)可以构造哈达玛矩阵H:
Figure BDA0001822207580000051
步骤2.2.利用线性同余排序的思想,得到随机置换算子SN,根据公式(2)计算SN的第n个值SN(n):
SN(n)=[mod(C(n-1),N)]+1 (2)
其中,C是小于N的一个正整数,mod(·)表示求余运算;
步骤2.3.根据随机置换算子SN,将哈达玛矩阵H的N个列向量进行随机重新排序,得到随机性强的随机哈达玛矩阵HSN,其中随机哈达玛矩阵HSN的第n列是哈达玛矩阵H的第SN(n)列;
步骤2.4.构建随机挑选算子PM,其中M是每个图像块的采样点数,M=N×SR;PM的第m个值PM(m)是[1,N]范围内的一个随机数;
步骤2.5.根据随机挑选算子PM,从随机哈达玛矩阵HSN中随机挑选M行,得到设计的压缩感知测量矩阵Φ,其中压缩感知矩阵Φ的第m行是随机哈达玛矩阵HSN的第PM(m)行;
步骤3.令j=1;
步骤4.如果j>J,则采样过程结束;否则,转入步骤5;
步骤5.根据压缩感知测量矩阵Φ和波段图像Xj,得到测量值yj=ΦXj,将测量值yj传输至重构端,并令j=j+1,然后转入步骤4;
步骤6.在重构端,令j=1;
步骤7.如果j>J,则重构过程结束;否则,转入步骤8;
步骤8.根据压缩感知测量矩阵Φ和波段图像的测量值yj,利用现有的重构算法进行重构,得到重构图像
Figure BDA0001822207580000052
并将其输出,然后令j=j+1,转入步骤7。
下面对本实施例设计的压缩感知测量矩阵约束等距性质进行证明:
S1.将证明压缩感知测量矩阵Φ满足约束等距性质转换为证明感知矩阵A=ΦΨ满足高斯特性,其中Ψ是稀疏基;压缩感知测量矩阵Φ和稀疏基Ψ满足以下条件时,1)信号维数N→∞时,分块大小满足B→∞,2)对给定的常数α0,稀疏基满足
Figure BDA0001822207580000061
若感知矩阵A的每个元素均近似服从高斯分布,则感知矩阵具备高斯特性;
S2.利用中心极限定理对感知矩阵的高斯特性进行证明,即证明感知矩阵A的每个元素能够近似服从高斯分布;令aN=Φ(i,:),表示压缩感知测量矩阵Φ的第i行,令bN=Ψ(:,j),表示稀疏基Ψ的第j列,根据公式(1)得到感知矩阵的每个元素:
Figure BDA0001822207580000062
S3.证明A(i,j)近似服从高斯分布,转化为证明当N→∞时,A(i,j)满足公式(4)和(5)的条件:
Figure BDA0001822207580000063
Figure BDA0001822207580000064
其中,
Figure BDA0001822207580000065
Figure BDA0001822207580000066
根据公式(6)和公式(7)计算:
Figure BDA0001822207580000067
Figure BDA0001822207580000068
S4.将公式(5)转化为公式(8)用于证明:
Figure BDA0001822207580000071
S5.将公式(8)转化为公式(9)和公式(10)用于证明:
Figure BDA0001822207580000072
Figure BDA0001822207580000073
S6.根据公式(11)和公式(12)将公式(9)和公式(10)重写为公式(13)和公式(14):
Figure BDA0001822207580000074
Figure BDA0001822207580000075
Figure BDA0001822207580000076
Figure BDA0001822207580000077
S7.证明向量aN满足公式(4):
S7.1.根据哈达玛矩阵H的特性,矩阵HB的第一行和为B,其他行和为0,则哈达玛矩阵H的每行Hn的均值满足公式(15):
Figure BDA0001822207580000078
其中,n表示哈达玛矩阵H的行号,mod(·)表示取余运算;
S7.2.压缩感知测量矩阵Φ中包含两类行向量,第一类行向量的行和为B/N,这些行向量所在的行记入集合k1,另一类行向量的行和为0,将这些行向量所在的行记入集合k2,则向量aN的均值满足公式(16):
Figure BDA0001822207580000081
S7.3.当i∈k1时,根据公式(17)证明aN满足公式(4):
Figure BDA0001822207580000082
其中,公式(17)中最后一个等号成立的条件是当信号维数N→∞,分块大小满足B→∞,利用罗比达法则实现;
S7.4.当i∈k2且r=2k,k=2,3,...时,根据公式(18)证明aN满足公式(4):
Figure BDA0001822207580000083
S7.5.当i∈k2且r=2k+1,k=1,2,...时,根据公式(19)证明aN满足公式(4):
Figure BDA0001822207580000084
S8.证明向量bN满足公式(13)和公式(14)
S8.1.对于给定的常数α0,稀疏基满足条件
Figure BDA0001822207580000085
说明稀疏基的所有元素有上下界,满足公式(20):
Figure BDA0001822207580000086
其中,ε1和ε2均为常数;
S8.2.根据公式(21)证明bN满足公式(13):
Figure BDA0001822207580000091
S8.3.根据公式(22)证明bN满足公式(14):
Figure BDA0001822207580000092
本实施例提供的基于哈达玛的高光谱图像重构方法的效果通过如下仿真实验具体说明,一般高光谱图像的波段数很多,如图1所示,本实施例选择两组高光谱原始图像的第50个波段的图作为示意图;
1.仿真条件:
1)仿真实验中的两组高光谱图像分别Cupprite1场景和Cuprite2场景;Cupprite1场景、Cuprite2场景由步骤1VIRIS采集得到,实验图像大小为256×256,波段数为188;两组高光谱数据集第50个波段的原始图像如1所示;
2)仿真实验所用的编程平台为M步骤1tl步骤1步骤2R2012步骤2Matlab R2012b;
3)仿真实验中,采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)指标来评价实验结果,峰值信噪比PSNR的定义为:
Figure BDA0001822207580000093
其中,max(Xj)是原始图像Xj的峰值,
Figure BDA0001822207580000094
是原始图像Xj和重构图像
Figure BDA0001822207580000095
的均方误差。
2.仿真内容:
图2为本发明实施例1的基于哈达玛的高光谱图像重构方法的得到的重构图像与已有的随机高斯矩阵得到的重构图像对比图,采用本发明矩阵和现有的随机高斯矩阵对四组高光谱图像进行压缩采样和重构,重构方法梯度投影稀疏重构(Gradient Projectionfor Sparse Reconstruction,GPSR)算法,采样率为0.3时,第50个波段图像的重构结果如图2所示;
从图2所显示的重构结果可以看出,本发明得到的重构图像比随机高斯矩阵得到的重构图像更接近原始图像。
3.峰值信噪比PSNR对比
利用现有的随机高斯矩阵和本发明矩阵对两组高光谱图像进行采样,并利用度投影稀疏重构(Gradient Projection for Sparse Reconstruction,GPSR)算法进行重构,计算重构图像的峰值信噪比PSNR,结果如表1所示。
表1本发明矩阵和随机高斯矩阵的重构峰值信噪比PSNR对比(单位:d步骤2)
Figure BDA0001822207580000101
从表1可以看出,本发明矩阵的重构PSNR高于现有随机高斯矩阵的重构PSNR。
4.采样时间对比
利用现有的随机高斯矩阵和本发明矩阵对两组高光谱图像进行采样,计算每个波段图像的采样时间,结果如表2所示。
表2本发明矩阵和随机高斯矩阵的采样时间对比(单位:s)
Figure BDA0001822207580000111
从表2可以看出,与现有随机高斯矩阵相比,本发明矩阵的采样时间大大降低,提高了采样效率。
5.重构时间对比
利用梯度投影稀疏重构(Gradient Projection for Sparse Reconstruction,GPSR)算法进行重构,计算现有的随机高斯矩阵和本发明矩阵的重构时间,结果如表3所示。
表3本发明矩阵和随机高斯矩阵的重构时间对比(单位:s)
Figure BDA0001822207580000112
从表3可以看出,与现有随机高斯矩阵相比,本发明矩阵的重构时间大大降低,提高了重构效率。
以上所述实施例仅为本发明较佳的具体实施方式,本发明的保护范围不限于此,任何熟悉本领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换,均属于本发明的保护范围。

Claims (1)

1.基于哈达玛的高光谱图像重构方法,其特征在于,包括以下步骤:
步骤1.利用高光谱成像仪采集高光谱图像;
在采样端,高光谱图像总的波段数为J,波段序号为j,对每个波段图像进行分块处理,分块大小为B,Xj表示第j个波段图像,设定采样率为SR;
步骤2.构造压缩感知测量矩阵Φ对高光谱图像进行重构;
步骤2.1.构建哈达玛矩阵H,哈达玛矩阵H的维数是N=B2×B2,哈达玛矩阵H是块对角结构,对角线上的每个元素是一个大小为B×B的块哈达玛矩阵HB构成,根据公式(1)构造哈达玛矩阵H:
Figure FDA0001822207570000011
步骤2.2.利用线性同余排序的思想,得到随机置换算子SN,根据公式(2)计算SN的第n个值SN(n):
SN(n)=[mod(C(n-1),N)]+1 (2)
其中,C是小于N的一个正整数,mod(·)表示求余运算;
步骤2.3.根据随机置换算子SN,将哈达玛矩阵H的N个列向量进行随机重新排序,得到随机性强的随机哈达玛矩阵HSN,其中随机哈达玛矩阵HSN的第n列是哈达玛矩阵H的第SN(n)列;
步骤2.4.构建随机挑选算子PM,其中M是每个图像块的采样点数,M=N×SR;PM的第m个值PM(m)是[1,N]范围内的一个随机数;
步骤2.5.根据随机挑选算子PM,从随机哈达玛矩阵HSN中随机挑选M行,得到设计的压缩感知测量矩阵Φ,其中压缩感知矩阵Φ的第m行是随机哈达玛矩阵HSN的第PM(m)行;
步骤3.令j=1;
步骤4.如果j>J,则采样过程结束;否则,转入步骤5;
步骤5.根据压缩感知测量矩阵Φ和波段图像Xj,得到测量值yj=ΦXj,将测量值yj传输至重构端,并令j=j+1,然后转入步骤4;
步骤6.在重构端,令j=1;
步骤7.如果j>J,则重构过程结束;否则,转入步骤8;
步骤8.根据压缩感知测量矩阵Φ和波段图像的测量值yj,利用现有的重构算法进行重构,得到重构图像
Figure FDA0001822207570000021
并将其输出,然后令j=j+1,转入步骤7。
CN201811170171.3A 2018-10-09 2018-10-09 基于哈达玛的高光谱图像重构方法 Active CN109448064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811170171.3A CN109448064B (zh) 2018-10-09 2018-10-09 基于哈达玛的高光谱图像重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811170171.3A CN109448064B (zh) 2018-10-09 2018-10-09 基于哈达玛的高光谱图像重构方法

Publications (2)

Publication Number Publication Date
CN109448064A CN109448064A (zh) 2019-03-08
CN109448064B true CN109448064B (zh) 2023-02-28

Family

ID=65544834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811170171.3A Active CN109448064B (zh) 2018-10-09 2018-10-09 基于哈达玛的高光谱图像重构方法

Country Status (1)

Country Link
CN (1) CN109448064B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754593A (zh) * 2020-06-28 2020-10-09 西安航空学院 基于空谱联合的多假设预测高光谱图像压缩感知重构方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081731B2 (en) * 2013-01-31 2015-07-14 Inview Technology Corporation Efficient transforms and efficient row generation for Kronecker products of Hadamard matrices
CN103247034B (zh) * 2013-05-08 2016-01-20 中国科学院光电研究院 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法
CN103297775B (zh) * 2013-05-17 2016-02-10 西安电子科技大学 基于联合码率分配和控制的多光谱图像压缩系统与方法
CN106959161B (zh) * 2017-02-23 2018-05-08 中国科学院上海光学精密机械研究所 利用基于随机光栅的压缩感知宽波段高光谱成像系统实现消除大气湍流的方法

Also Published As

Publication number Publication date
CN109448064A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
Willett et al. Sparsity and structure in hyperspectral imaging: Sensing, reconstruction, and target detection
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
CN109448064B (zh) 基于哈达玛的高光谱图像重构方法
CN116051896B (zh) 一种轻量化混合张量神经网络的高光谱图像分类方法
CN113008370A (zh) 基于液晶高光谱计算成像系统的三维自适应压缩重构方法
CN113689513A (zh) 一种基于鲁棒张量分解的sar图像压缩方法
CN115855250A (zh) 一种基于深度学习光谱编解码的光谱成像系统
Huang et al. Compressive hyperspectral image reconstruction based on spatial–spectral residual dense network
Kumari et al. Analysis of orthogonal and biorthogonal wavelet filters for image compression
Healy et al. Compression at the physical interface
Wei et al. Effects of lossy compression on remote sensing image classification based on convolutional sparse coding
CN105021280A (zh) 基于全色和压缩光谱成像的图像超分辨率系统及方法
CN104270642B (zh) 一种基于rklt和主成分选取的高光谱图像无损压缩方法
CN104113758A (zh) 一种基于矩阵初等变换的测量矩阵优化方法
CN106452456A (zh) 一种基于ldpc矩阵的压缩感知测量矩阵构造方法
CN102982563A (zh) 一种基于光学轮廓波变换的图像压缩方法
CN109272561B (zh) 基于空谱联合多假设预测的高光谱图像压缩感知重构方法
Dusselaar et al. A block-based inter-band predictor using multilayer propagation neural network for hyperspectral image compression
Kekre et al. Image compression based on hybrid wavelet transform generated using orthogonal component transforms of different sizes
CN113899453A (zh) 一种基于亚采样的快速光谱成像系统及成像方法
CN112182491B (zh) 一种基于忆阻器阵列的沃尔什-阿达马变换装置
CN114862976A (zh) 一种用于旋转衍射的多光谱图像重建方法
Zhou et al. BTC-Net: Efficient Bit-level Tensor Data Compression Network for Hyperspectral Image
Li et al. Research on lossless compression coding algorithm of N-band parametric spectral integer reversible transformation combined with the lifting scheme for hyperspectral images
Li et al. Efficient multi-bands image compression method for remote cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant