CN113408635B - 基于数字表面模型辅助的高光谱图像本征分解方法 - Google Patents

基于数字表面模型辅助的高光谱图像本征分解方法 Download PDF

Info

Publication number
CN113408635B
CN113408635B CN202110733040.7A CN202110733040A CN113408635B CN 113408635 B CN113408635 B CN 113408635B CN 202110733040 A CN202110733040 A CN 202110733040A CN 113408635 B CN113408635 B CN 113408635B
Authority
CN
China
Prior art keywords
hyperspectral image
surface model
local prior
digital surface
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110733040.7A
Other languages
English (en)
Other versions
CN113408635A (zh
Inventor
谷延锋
金旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110733040.7A priority Critical patent/CN113408635B/zh
Publication of CN113408635A publication Critical patent/CN113408635A/zh
Application granted granted Critical
Publication of CN113408635B publication Critical patent/CN113408635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

基于数字表面模型辅助的高光谱图像本征分解方法,属于高光谱图像融合处理技术领域,本发明为解决现有高光谱图像本征分解精度低的问题。它包括:输入高光谱图像和数字表面模型数据,计算获得几何分量;计算获得局部先验矩阵;计算获得非局部先验矩阵;根据几何分量、局部先验矩阵和非局部先验矩阵进行本征分解,输出高光谱反射率和环境光照。本发明用于高光谱图像的本征分解。

Description

基于数字表面模型辅助的高光谱图像本征分解方法
技术领域
本发明涉及一种高光谱图像本征分解方法,属于高光谱图像融合处理技术领域。
背景技术
高光谱图像具有丰富的光谱信息,但是高维的光谱空间也造成信息的高度冗余,不利于信息的处理解译。为了更好的挖掘信息,现在已经设计出了各种特征提取的方法,但是这些信息提取方法具有本质的缺陷。当环境光照等成像条件变化时,成像得到的光谱也会随之变化,这使得得到的光谱具有很高的不确定性,这种不确定性体现在提取的特征上就会使得特征表达的信息不可靠。为了解决这个问题,研究基于物理成像模型的本征分解方法具有极大的意义。本征分解旨在研究物理成像过程,恢复反映地物本身属性的反射率,同时也反演出环境成像要素,比如光照。本征分解的难点在于,本征分解是一个欠定问题,在模型求解上存在挑战。
发明内容
本发明目的是为了解决现有高光谱图像本征分解精度低的问题,提供了一种基于数字表面模型辅助的高光谱图像本征分解方法。
本发明所述基于数字表面模型辅助的高光谱图像本征分解方法,它包括:
S1、输入高光谱图像和数字表面模型数据,计算获得几何分量;
S2、计算获得局部先验矩阵;
S3、计算获得非局部先验矩阵;
S4、根据几何分量、局部先验矩阵和非局部先验矩阵进行本征分解,输出高光谱反射率和环境光照。
优选的,S1所述计算获得几何分量的具体方法包括:
输入高光谱图像
Figure BDA0003139676530000011
输入数字表面模型高程数据
Figure BDA0003139676530000012
其中,hk=[hk1),hk2),…,hkd)]T,k=1,2,...,u表示每个像素的光谱特征,k=1,2,...,u表示每个像素的索引,λ表示波长,d表示波段数,u表示高光谱图像像素的个数,z1,z2,…,zu表示各个像素对应的高程,
Figure BDA0003139676530000013
表示域;
计算每个像素的法线,获得法线特征:
Figure BDA0003139676530000021
其中,
Figure BDA0003139676530000022
表示法线在x、y、z空间坐标轴的投影;
计算获得几何分量J:J=[J1,J2,…,Ju]ú
其中,
Figure BDA0003139676530000023
c1、c2、c3、c4、c5是五个常数。
优选的,所述c1、c2、c3、c4、c5分别是:
c1=0.429,c2=0.512,c3=0.743,c4=0.886,c5=0.248。
优选的,S2所述计算获得局部先验矩阵的具体方法包括:
遍历每个像素的索引k=1,2,...,u,建立字典Dk=[h1,…,hk-1,hk+1,…,hu,Id];
其中,Id表示d维单位矩阵;
根据下式计算hk在字典Dk中的稀疏表示系数α:
minα‖α‖1subject to hk=Dkα;
局部先验矩阵W的每个元素Wkj由下式赋值获得:
Figure BDA0003139676530000024
Wkj表示W的第k行第j列的元素;
αj表示第j列的稀疏表示系数,αj-1表示第j-1列的稀疏表示系数。
优选的,S3所述计算获得非局部先验矩阵的具体方法包括:
将高光谱图像每个像素的光谱特征hk与数字表面模型高程数据zk堆栈,建立为d+1维向量空间:[hk ú,zk],k=1,2,...,u;
在d+1维向量空间中搜索每个像素的紧邻点,建立紧邻点的集合Qk
非局部先验矩阵T的每个元素Tkj由下式赋值获得:
Figure BDA0003139676530000031
Tkj表示T的第k行第j列的元素。
优选的,S4所述根据几何分量、局部先验矩阵和非局部先验矩阵进行本征分解,输出高光谱反射率和环境光照的具体方法包括:
高光谱反射率
Figure BDA0003139676530000032
其中,rk=[rk1),rk2),...,rkd)]T,k=1,2,...,u表示每个像素的反射率;λ1、λ2、...、λd分别表示第1、2、…、d个图像通道对应的波长;
环境光照为L=[L1,L2,...,L9]ú
L1、L2、...、L9分别表示九维球谐光照的系数;
本征分解的总的代价函数为:
Figure BDA0003139676530000033
σr表示局部先验代价项的权重,σz表示非局部先验代价项的权重;
求偏导数,获得:
Figure BDA0003139676530000034
其中,中间变量G=Iur(Iu-W)(Iu-W)+σz(Iu-T)(Iu-T);
Figure BDA0003139676530000035
其中,1d表示大小为d×1的全1列向量,Iu表示u×u单位矩阵;
Figure BDA0003139676530000036
得到关于R和L的线性方程组,求解获得高光谱图像反射率R和环境光照L。
优选的,所述环境光照L是九维球谐光照系数。
本发明的优点:为了解决高光谱图像本征分解精度低的问题,本发明引入了DSM(Digital Surface Model,数字表面模型)数据的高程信息做指导,能够极大地提高本征分解的精度。本发明能够在DSM数据高程信息的指导下进行高精度的高光谱图像本征分解,,生成高光谱反射率和环境光照,方法简单,运算效率高,易于实现。本发明提出的高光谱图像本征分解方法建立高光谱成像的物理模型,从信号的角度出发结合高光谱图像的光谱信息和DSM数据的高程信息,消除高光谱图像由于光照导致的光谱信息退化导致的光谱不确定性。
附图说明
图1是本发明所述基于数字表面模型辅助的高光谱图像本征分解方法的原理框图;
图2是输入的高光谱图像的示意图;
图3是输入的数字表面模型数据的示意图;
图4是输出的高光谱反射率的示意图;
图5是输出的环境光照的示意图;
图6是采用本发明所述本征分解方法获得的高光谱反射率与其他方法获得的高光谱反射率的误差比较,其中,a表示采用本发明提出基于数字表面模型辅助的高光谱图像本征分解方法获得的高光谱反射率误差,b表示基于稀疏图编码的高光谱本征分解方法获得的高光谱反射率误差,c表示基于特征提取的高光谱本征分解方法获得的高光谱反射率误差,d表示基于纹理结构分离的高光谱本征分解方法获得的高光谱反射率误差。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
具体实施方式一:下面结合图1说明本实施方式,本实施方式所述基于数字表面模型辅助的高光谱图像本征分解方法,它包括:
S1、输入高光谱图像和数字表面模型数据,计算获得几何分量;
S2、计算获得局部先验矩阵;
S3、计算获得非局部先验矩阵;
S4、根据几何分量、局部先验矩阵和非局部先验矩阵进行本征分解,输出高光谱反射率和环境光照。
具体实施方式二:本实施方式对实施方式一作进一步说明,S1所述计算获得几何分量的具体方法包括:
输入高光谱图像
Figure BDA0003139676530000051
输入数字表面模型高程数据
Figure BDA0003139676530000052
其中,hk=[hk1),hk2),…,hkd)]T,k=1,2,...,u表示每个像素的光谱特征,k=1,2,...,u表示每个像素的索引,λ表示波长,d表示波段数,u表示高光谱图像像素的个数,z1,z2,…,zu表示各个像素对应的高程,
Figure BDA0003139676530000053
表示域;
计算每个像素的法线,获得法线特征:
Figure BDA0003139676530000054
其中,
Figure BDA0003139676530000055
表示法线在x、y、z空间坐标轴的投影;
计算获得几何分量J:J=[J1,J2,…,Ju]ú
其中,
Figure BDA0003139676530000056
c1、c2、c3、c4、c5是五个常数。
进一步的,所述c1、c2、c3、c4、c5分别是:
c1=0.429,c2=0.512,c3=0.743,c4=0.886,c5=0.248。
具体实施方式三:本实施方式对实施方式二作进一步说明,S2所述计算获得局部先验矩阵的具体方法包括:
遍历每个像素的索引k=1,2,...,u,建立字典Dk=[h1,…,hk-1,hk+1,…,hu,Id];
其中,Id表示d维单位矩阵;
根据下式计算hk在字典Dk中的稀疏表示系数α:
minα‖α‖1subject to hk=Dkα;
局部先验矩阵W的每个元素Wkj由下式赋值获得:
Figure BDA0003139676530000061
Wkj表示W的第k行第j列的元素;
αj表示第j列的稀疏表示系数,αj-1表示第j-1列的稀疏表示系数。
具体实施方式四:本实施方式对实施方式三作进一步说明,S3所述计算获得非局部先验矩阵的具体方法包括:
将高光谱图像每个像素的光谱特征hk与数字表面模型高程数据zk堆栈,建立为d+1维向量空间:[hk ú,zk],k=1,2,...,u;
在d+1维向量空间中搜索每个像素的紧邻点,建立紧邻点的集合Qk
非局部先验矩阵T的每个元素Tkj由下式赋值获得:
Figure BDA0003139676530000062
Tkj表示T的第k行第j列的元素。
具体实施方式五:本实施方式对实施方式四作进一步说明,S4所述根据几何分量、局部先验矩阵和非局部先验矩阵进行本征分解,输出高光谱反射率和环境光照的具体方法包括:
高光谱反射率
Figure BDA0003139676530000063
其中,rk=[rk1),rk2),...,rkd)]T,k=1,2,...,u表示每个像素的反射率;λ1、λ2、...、λd分别表示第1、2、…、d个图像通道对应的波长;
环境光照为L=[L1,L2,...,L9]ú
L1、L2、...、L9分别表示九维球谐光照的系数;
本征分解的总的代价函数为:
Figure BDA0003139676530000064
σr表示局部先验代价项的权重,σz表示非局部先验代价项的权重;
求偏导数,获得:
Figure BDA0003139676530000071
其中,中间变量G=Iur(Iu-W)(Iu-W)+σz(Iu-T)(Iu-T);
Figure BDA0003139676530000072
其中,1d表示大小为d×1的全1列向量,Iu表示u×u单位矩阵;
Figure BDA0003139676530000073
得到关于R和L的线性方程组,求解获得高光谱图像反射率R和环境光照L。
进一步的,所述环境光照L是九维球谐光照系数。
本发明中,高光谱图像与DSM高程数据具有的互补性、异构性,更具体地说,高光谱图像具有丰富的光谱信息,但是空间信息是三维到二维图像的退化;DSM能获取精确的三维空间信息,但是光谱信息相对匮乏。
为了验证本发明提出的高光谱图像本征分解方法的性能,针对一组实拍的高光谱图像和DSM数据进行了验证,如图2所示,是输入的高光谱图像,如图3所示,是输入的DSM数据,图4是采用本发明提出的高光谱图像本征分解方法获得的高光谱反射率,图5是采用本发明提出的高光谱图像本征分解方法获得的环境光照,如图6所示,是采用本发明所述本征分解方法获得的高光谱反射率与其他方法获得的高光谱反射率的误差比较,图6显示出了本发明提出的高光谱图像本征分解方法的有效性,图6显示,本发明提出的高光谱图像本征分解方法恢复的高光谱反射率误差是最小的。
虽然在本文中参照了特定的实施方式来描述本发明,但是应该理解的是,这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是,可以对示例性的实施例进行许多修改,并且可以设计出其他的布置,只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是,可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是,结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (6)

1.基于数字表面模型辅助的高光谱图像本征分解方法,其特征在于,它包括:
S1、输入高光谱图像和数字表面模型数据,计算获得几何分量;
S2、计算获得局部先验矩阵;
S3、计算获得非局部先验矩阵;
S4、根据几何分量、局部先验矩阵和非局部先验矩阵进行本征分解,输出高光谱反射率和环境光照;
S1所述计算获得几何分量的具体方法包括:
输入高光谱图像
Figure FDA0003482815810000011
输入数字表面模型高程数据
Figure FDA0003482815810000012
其中,hk=[hk1),hk2),…,hkd)]T,k=1,2,...,u表示每个像素的光谱特征,k=1,2,...,u表示每个像素的索引,λ表示波长,d表示波段数,u表示高光谱图像像素的个数,z1,z2,…,zu表示各个像素对应的高程,
Figure FDA0003482815810000013
表示域;
计算每个像素的法线,获得法线特征:
Figure FDA0003482815810000014
其中,
Figure FDA0003482815810000015
表示法线在x、y、z空间坐标轴的投影;
计算获得几何分量J:
Figure FDA0003482815810000018
其中,
Figure FDA0003482815810000016
Figure FDA0003482815810000017
k=1,2,...,u
c1、c2、c3、c4、c5是五个常数;
S2所述计算获得局部先验矩阵的具体方法包括:
遍历每个像素的索引k=1,2,...,u,建立字典Dk=[h1,…,hk-1,hk+1,…,hu,Id];
其中,Id表示d维单位矩阵;
根据下式计算hk在字典Dk中的稀疏表示系数α:
minα||α||1subject to hk=Dkα;
局部先验矩阵W的每个元素Wkj由下式赋值获得:
Figure FDA0003482815810000021
Wkj表示W的第k行第j列的元素;
αj表示第j列的稀疏表示系数,αj-1表示第j-1列的稀疏表示系数;
S3所述计算获得非局部先验矩阵的具体方法包括:
将高光谱图像每个像素的光谱特征hk与数字表面模型高程数据zk堆栈,建立为d+1维向量空间:[hk T,zk],k=1,2,...,u;
在d+1维向量空间中搜索每个像素的紧邻点,建立紧邻点的集合Qk
非局部先验矩阵T的每个元素Tkj由下式赋值获得:
Figure FDA0003482815810000022
Tkj表示T的第k行第j列的元素。
2.根据权利要求1所述的基于数字表面模型辅助的高光谱图像本征分解方法,其特征在于,所述c1、c2分别是:
c1=0.429,c2=0.512。
3.根据权利要求1所述的基于数字表面模型辅助的高光谱图像本征分解方法,其特征在于,所述c3是:
c3=0.743。
4.根据权利要求1所述的基于数字表面模型辅助的高光谱图像本征分解方法,其特征在于,所述c4是:
c4=0.886。
5.根据权利要求1所述的基于数字表面模型辅助的高光谱图像本征分解方法,其特征在于,所述c5是:
c5=0.248。
6.根据权利要求1所述的基于数字表面模型辅助的高光谱图像本征分解方法,其特征在于,S4所述根据几何分量、局部先验矩阵和非局部先验矩阵进行本征分解,输出高光谱反射率和环境光照的具体方法包括:
高光谱反射率
Figure FDA0003482815810000031
其中,rk=[rk1),rk2),...,rkd)]T,k=1,2,...,u表示每个像素的反射率;λ1、λ2、...、λd分别表示第1、2、…、d个图像通道对应的波长;
环境光照为
Figure FDA0003482815810000037
L1、L2、...、L9分别表示九维球谐光照的系数;
本征分解的总的代价函数为:
Figure FDA0003482815810000032
σr表示局部先验代价项的权重,σz表示非局部先验代价项的权重;
求偏导数,获得:
Figure FDA0003482815810000033
其中,中间变量
Figure FDA0003482815810000036
Figure FDA0003482815810000034
其中,1d表示大小为d×1的全1列向量,Iu表示u×u单位矩阵;
Figure FDA0003482815810000035
得到关于R和L的线性方程组,求解获得高光谱图像反射率R和环境光照L。
CN202110733040.7A 2021-06-29 2021-06-29 基于数字表面模型辅助的高光谱图像本征分解方法 Active CN113408635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110733040.7A CN113408635B (zh) 2021-06-29 2021-06-29 基于数字表面模型辅助的高光谱图像本征分解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110733040.7A CN113408635B (zh) 2021-06-29 2021-06-29 基于数字表面模型辅助的高光谱图像本征分解方法

Publications (2)

Publication Number Publication Date
CN113408635A CN113408635A (zh) 2021-09-17
CN113408635B true CN113408635B (zh) 2022-03-08

Family

ID=77680335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110733040.7A Active CN113408635B (zh) 2021-06-29 2021-06-29 基于数字表面模型辅助的高光谱图像本征分解方法

Country Status (1)

Country Link
CN (1) CN113408635B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335197A (zh) * 2019-06-04 2019-10-15 北京理工大学 基于非局部统计本征的去马赛克方法
CN111369457A (zh) * 2020-02-28 2020-07-03 西南电子技术研究所(中国电子科技集团公司第十研究所) 稀疏判别张量鲁棒性pca的遥感图像去噪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8295548B2 (en) * 2009-06-22 2012-10-23 The Johns Hopkins University Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
CN104268897A (zh) * 2014-10-28 2015-01-07 天津大学 一种协同本征图像分解方法
CN107451975B (zh) * 2017-04-25 2019-06-07 中国人民解放军空军工程大学 一种基于视觉加权相似的图像质量清晰化方法
CN112489099B (zh) * 2020-12-11 2023-01-20 北京航空航天大学 点云配准方法、装置、存储介质及电子设备
CN112819959B (zh) * 2021-01-22 2022-03-04 哈尔滨工业大学 高光谱图像和激光雷达数据本征高光谱点云生成方法
CN112784747B (zh) * 2021-01-22 2022-03-04 哈尔滨工业大学 高光谱遥感图像多尺度本征分解方法
CN112785693B (zh) * 2021-02-04 2022-03-18 哈尔滨工业大学 本征高光谱点云生成方法、系统及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335197A (zh) * 2019-06-04 2019-10-15 北京理工大学 基于非局部统计本征的去马赛克方法
CN111369457A (zh) * 2020-02-28 2020-07-03 西南电子技术研究所(中国电子科技集团公司第十研究所) 稀疏判别张量鲁棒性pca的遥感图像去噪方法

Also Published As

Publication number Publication date
CN113408635A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN110501072B (zh) 一种基于张量低秩约束的快照式光谱成像系统的重构方法
CN110930342B (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN111696148A (zh) 基于卷积神经网络的端到端立体匹配方法
Qi et al. Multi-dimensional sparse models
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
AU2020281143B1 (en) Creating super-resolution images
CN108520495B (zh) 基于聚类流形先验的高光谱图像超分辨重建方法
Nan et al. Drmime: Differentiable mutual information and matrix exponential for multi-resolution image registration
CN108460749B (zh) 一种高光谱与多光谱图像的快速融合方法
CN110348299B (zh) 三维物体的识别方法
CN113902622B (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN110930306A (zh) 一种基于非局部感知的深度图超分辨率重建网络构建方法
Li et al. MFormer: Taming masked transformer for unsupervised spectral reconstruction
CN114220019A (zh) 一种轻量级沙漏式遥感图像目标检测方法及系统
CN113408635B (zh) 基于数字表面模型辅助的高光谱图像本征分解方法
CN111062888B (zh) 一种基于多目标低秩稀疏及空谱全变分的高光谱影像去噪方法
CN116935178A (zh) 一种基于多尺度空洞注意力的跨模态图像融合方法
CN114821074B (zh) 机载liDAR点云语义分割方法、电子设备及存储介质
CN115661817A (zh) 一种基于不均衡知识驱动的多模态遥感数据场景分割方法
CN116563187A (zh) 一种基于图神经网络的多光谱图像融合
Yang et al. Reconstruction quality evaluation of compressed sensing image mapping spectrometer
CN115775214A (zh) 一种基于多阶段分形组合的点云补全方法及系统
CN113362447B (zh) 一种表面法线重建融合系统及重建融合方法
CN114708315A (zh) 一种基于深度虚拟对应点生成的点云配准方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant