CN113223159B - 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法 - Google Patents

基于目标纹理虚拟化处理的单幅遥感图像三维建模方法 Download PDF

Info

Publication number
CN113223159B
CN113223159B CN202110584103.7A CN202110584103A CN113223159B CN 113223159 B CN113223159 B CN 113223159B CN 202110584103 A CN202110584103 A CN 202110584103A CN 113223159 B CN113223159 B CN 113223159B
Authority
CN
China
Prior art keywords
image
target
dimensional
pdata
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110584103.7A
Other languages
English (en)
Other versions
CN113223159A (zh
Inventor
闫奕名
王涵
张弛
赵春晖
宿南
冯收
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202110584103.7A priority Critical patent/CN113223159B/zh
Publication of CN113223159A publication Critical patent/CN113223159A/zh
Application granted granted Critical
Publication of CN113223159B publication Critical patent/CN113223159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

基于目标纹理虚拟化处理的单幅遥感图像三维建模方法，属于遥感图像技术领域，本发明为解决对遥感图像进行三维建模时目标纹理复杂冗余不利于本身结构信息提取，影响三维建模效果的问题。包括：以待建目标为中心裁剪为正方形小图像并去除目标以外背景信息，建立三维模型，利用三维模型图片作为风格图片采用对抗损失函数和循环一致性损失函数对生成对抗网络进行训练，应用图像虚拟化算法对单个目标RGB图像进行风格迁移处理，训练单个目标图像建模网络，使用图像虚拟化结果和目标对应的真实模型作为训练集，获得最优化的网络参数模型，建立从二维图像到三维模型的映射关系，利用移动立方体算法获得最终输出模型。本发明用于单幅遥感图像的三维建模。

Description

基于目标纹理虚拟化处理的单幅遥感图像三维建模方法
技术领域
本发明涉及一种单幅遥感图像三维建模方法，属于遥感图像技术领域。
背景技术
遥感图像在民生和国防等领域都有广泛的应用，在对遥感图像的处理中，目标物的识别、提取和三维建模是遥感图像处理中的研究难点和热点。传统的三维建模方法通常有两种，第一种是利用立体匹配技术来实现，这种建模方法通常需要对同一目标有两幅或两幅以上不同时相的遥感图像用来作为输入数据。另一种是利用单幅遥感图像进行三维建模，但是单幅遥感图像中包含大量不同类型的地物，且存在遮挡等状况，使得直接获取的目标物图像纹理复杂、背景不清晰，从而影响三维建模的效果。
发明内容
本发明目的是为了解决对遥感图像进行三维建模时，待建目标的纹理复杂冗余不利于其本身结构信息的提取，进而影响其三维建模效果的问题，提供了一种基于目标纹理虚拟化处理的单幅遥感图像三维建模方法。
本发明所述基于目标纹理虚拟化处理的单幅遥感图像三维建模方法，它包括：
S1、在整幅遥感图像中，以待建三维模型的目标为中心裁剪为正方形小图像；在裁剪后的小图像中去除目标以外的背景信息，使小图像中只保留目标的主体部分；
S2、建立S1获取的单个目标小图像的三维模型，获得三维模型图片；
S3、以单个目标的RGB图像作为输入，利用S2获取的三维模型图片作为风格图片，采用对抗损失函数和循环一致性损失函数对生成对抗网络进行训练；
S4、以单个目标的RGB图像作为输入，输入训练好的生成对抗网络，以S2获取的三维模型图片作为风格图片，应用图像虚拟化算法对单个目标的RGB图像进行风格迁移处理，获得图像虚拟化结果；
S5、将S4中获得的图像虚拟化结果作为S2获得的三维模型的输入，训练单个目标的图像建模网络，使用图像虚拟化结果和目标对应的真实模型作为训练集，获得最优化的网络参数模型，建立从二维图像到三维模型的映射关系，最后利用移动立方体算法获得最终输出模型。
优选的，S2所述建立单个目标小图像的三维模型的具体方法包括：
采用S1裁剪后的单个目标小图像和目标对应的真实模型作为训练集，获得网络参数模型，获取从二维图像到三维模型的映射关系，所述映射关系表示为：
(I∝s)＝fθ(c,x) fθ：R3→[0,1]；
其中，x表示从遥感图像中提取的特征向量，c表示单位概率空间中的点坐标，经过映射fθ，生成单位概率空间I，概率空间中点值的范围是[0,1]，即表示该点是否为网络参数模型内部的概率；单位概率空间I根据尺度因子s调整大小；R3表示概率空间中的点值；
s＝λpr/ptrt；
其中，λ表示从特征提取网络中提取的尺度比例系数，p表示测试图像长或宽的像素数，pt表示训练图像长或宽的像素数，r表示测试使用的遥感图像的空间分辨率，rt表示训练使用的遥感图像的空间分辨率。
优选的，S3所述采用对抗损失函数和循环一致性损失函数对生成对抗网络进行训练，所述对抗损失函数为：
LGAN(G,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log1-DY(G(x))]；
其中，G表示生成网络，生成与域y中的图像相似的图像G(x)，DY表示判别模型，用于区分G(x)和真实样本Y，Pdata(x)表示域x给定训练样本的数据分布，Pdata(y)表示域y给定训练样本的数据分布，X表示输入的内容图片样本，Ey～Pdata(y)表示域y给定训练样本的数据分布的均值；Ex～Pdata(x)表示域x给定训练样本的数据分布的均值；
所述循环一致性损失函数为：
Lcyc(G,F)＝Ex～Pdata(x)[||F(G(x))-1||1]+Ey～Pdata(y)[||G(F(y)-y)||1]；
其中，F表示与对抗损失函数类似的映射F:Y→X；F(y)表示生成与域x中的图像相似的图像，G(F(y)-y)表示循环一致性；F(G(x))表示由生成与域y中的图像相似的图像再生成的与域x中相似的图像；
最终采用的结合对抗损失函数和循环一致性损失函数的均方差误差损失函数为：
LLSGAN(G,DY,X,Y)＝Ey～Pdata(y)[(DY(y)-1)2]+Ex～Pdata(x)[(1-DY(G(x)))2]。
本发明的优点：本发明提出的基于目标纹理虚拟化处理的单幅遥感图像三维建模方法，能够简化建模目标物体的背景和纹理，使得目标的轮廓信息和结构信息更容易提取，从而更准确、快速地对单个目标进行三维建模，减少所需时间和资源。经过实验分析，对空间分辨率不低于0.5m，建筑物最长不超过80m的图像进行建模，本方法能够较好的完成建模任务，且建模所需时间大大减少。而且，本方法的使用适用于各种倾斜角度和分辨率的遥感图像，可用于各种大小的目标物的建模。本发明提出的遥感图像的三维建模方法能够广泛应用于城市规划与建设、军事侦察、三维地图测绘等方面。
附图说明
图1是本发明所述基于目标纹理虚拟化处理的单幅遥感图像三维建模方法的流程框图；
图2是S3所述生成对抗网络的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述基于目标纹理虚拟化处理的单幅遥感图像三维建模方法，它包括：
S1、在整幅遥感图像中，以待建三维模型的目标为中心裁剪为正方形小图像；在裁剪后的小图像中去除目标以外的背景信息，使小图像中只保留目标的主体部分；
S2、建立S1获取的单个目标小图像的三维模型，获得三维模型图片；
S3、以单个目标的RGB图像作为输入，利用S2获取的三维模型图片作为风格图片，采用对抗损失函数和循环一致性损失函数对生成对抗网络进行训练；
S4、以单个目标的RGB图像作为输入，输入训练好的生成对抗网络，以S2获取的三维模型图片作为风格图片，应用图像虚拟化算法对单个目标的RGB图像进行风格迁移处理，获得图像虚拟化结果；
S5、将S4中获得的图像虚拟化结果作为S2获得的三维模型的输入，训练单个目标的图像建模网络，使用图像虚拟化结果和目标对应的真实模型作为训练集，获得最优化的网络参数模型，建立从二维图像到三维模型的映射关系，最后利用移动立方体算法获得最终输出模型。
本实施方式中，所述RGB图像是指彩色图像的每一个像素都用R(Red)、G(Green)、B(Blue)的不同比例来表示。
本实施方式中，S3中单靠对抗损失函数并不能保证所学习的函数能够将单个输入映射到所需输出，因此，为了进一步缩小可能映射函数的空间，采用一个循环一致性损失函数来约束。
具体实施方式二：本实施方式对实施方式一作进一步说明，S2所述建立单个目标小图像的三维模型的具体方法包括：
采用S1裁剪后的单个目标小图像和目标对应的真实模型作为训练集，获得网络参数模型，获取从二维图像到三维模型的映射关系，所述映射关系表示为：
(I∝s)＝fθ(c,x) fθ：R3→[0,1]；
其中，x表示从遥感图像中提取的特征向量，c表示单位概率空间中的点坐标，经过映射fθ，生成单位概率空间I，概率空间中点值的范围是[0,1]，即表示该点是否为网络参数模型内部的概率；单位概率空间I根据尺度因子s调整大小；R3表示概率空间中的点值；
s＝λpr/ptrt；
其中，λ表示从特征提取网络中提取的尺度比例系数，p表示测试图像长或宽的像素数，pt表示训练图像长或宽的像素数，r表示测试使用的遥感图像的空间分辨率，rt表示训练使用的遥感图像的空间分辨率。
具体实施方式三：本实施方式对实施方式一作进一步说明，S3所述采用对抗损失函数和循环一致性损失函数对生成对抗网络进行训练，所述对抗损失函数为：
LGAN(G,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log1-DY(G(x))]；
其中，G表示生成网络，生成与域y中的图像相似的图像G(x)，DY表示判别模型，用于区分G(x)和真实样本Y，Pdata(x)表示域x给定训练样本的数据分布，Pdata(y)表示域y给定训练样本的数据分布，X表示输入的内容图片样本，Ey～Pdata(y)表示域y给定训练样本的数据分布的均值；Ex～Pdata(x)表示域x给定训练样本的数据分布的均值；
所述循环一致性损失函数为：
Lcyc(G,F)＝Ex～Pdata(x)[||F(G(x))-1||1]+Ey～Pdata(y)[||G(F(y)-y)||1]；
其中，F表示与对抗损失函数类似的映射F:Y→X；F(y)表示生成与域x中的图像相似的图像，G(F(y)-y)表示循环一致性；F(G(x))表示由生成与域y中的图像相似的图像再生成的与域x中相似的图像；
最终采用的结合对抗损失函数和循环一致性损失函数的均方差误差损失函数为：
LLSGAN(G,DY,X,Y)＝Ey～Pdata(y)[(DY(y)-1)2]+Ex～Pdata(x)[(1-DY(G(x)))2]。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (1)

1.基于目标纹理虚拟化处理的单幅遥感图像三维建模方法，其特征在于，它包括：
S1、在整幅遥感图像中，以待建三维模型的目标为中心裁剪为正方形小图像；在裁剪后的小图像中去除目标以外的背景信息，使小图像中只保留目标的主体部分；
S2、建立S1获取的单个目标小图像的三维模型，获得三维模型图片；
S3、以单个目标的RGB图像作为输入，利用S2获取的三维模型图片作为风格图片，采用对抗损失函数和循环一致性损失函数对生成对抗网络进行训练；
S4、以单个目标的RGB图像作为输入，输入训练好的生成对抗网络，以S2获取的三维模型图片作为风格图片，应用图像虚拟化算法对单个目标的RGB图像进行风格迁移处理，获得图像虚拟化结果；
S5、将S4中获得的图像虚拟化结果作为S2获得的三维模型的输入，训练单个目标的图像建模网络，使用图像虚拟化结果和目标对应的真实模型作为训练集，获得最优化的网络参数模型，建立从二维图像到三维模型的映射关系，最后利用移动立方体算法获得最终输出模型；
S2所述建立单个目标小图像的三维模型的具体方法包括：
采用S1裁剪后的单个目标小图像和目标对应的真实模型作为训练集，获得网络参数模型，获取从二维图像到三维模型的映射关系，所述映射关系表示为：
(I∝s)＝fθ(c,x)fθ：R3→[0,1]；
其中，x表示从遥感图像中提取的特征向量，c表示单位概率空间中的点坐标，经过映射fθ，生成单位概率空间I，概率空间中点值的范围是[0,1]，即表示该点是否为网络参数模型内部的概率；单位概率空间I根据尺度因子s调整大小；R3表示概率空间中的点值；
s＝λpr/ptrt；
其中，λ表示从特征提取网络中提取的尺度比例系数，p表示测试图像长或宽的像素数，pt表示训练图像长或宽的像素数，r表示测试使用的遥感图像的空间分辨率，rt表示训练使用的遥感图像的空间分辨率；
S3所述采用对抗损失函数和循环一致性损失函数对生成对抗网络进行训练，所述对抗损失函数为：
LGAN(G,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log1-DY(G(x))]；
其中，G表示生成网络，生成与域y中的图像相似的图像G(x)，DY表示判别模型，用于区分G(x)和真实样本Y，Pdata(x)表示域x给定训练样本的数据分布，Pdata(y)表示域y给定训练样本的数据分布，X表示输入的内容图片样本，Ey～Pdata(y)表示域y给定训练样本的数据分布的均值；Ex～Pdata(x)表示域x给定训练样本的数据分布的均值；
所述循环一致性损失函数为：
Lcyc(G,F)＝Ex～Pdata(x)[||F(G(x))-1||1]+Ey～Pdata(y)[||G(F(y)-y)||1]；
其中，F表示与对抗损失函数类似的映射F:Y→X；F(y)表示生成与域x中的图像相似的图像，G(F(y)-y)表示循环一致性；F(G(x))表示由生成与域y中的图像相似的图像再生成的与域x中相似的图像；
最终采用的结合对抗损失函数和循环一致性损失函数的均方差误差损失函数为：
LLSGAN(G,DY,X,Y)＝Ey～Pdata(y)[(DY(y)-1)2]+Ex～Pdata(x)[(1-DY(G(x)))2]。
CN202110584103.7A 2021-05-27 2021-05-27 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法 Active CN113223159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110584103.7A CN113223159B (zh) 2021-05-27 2021-05-27 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110584103.7A CN113223159B (zh) 2021-05-27 2021-05-27 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法

Publications (2)

Publication Number Publication Date
CN113223159A CN113223159A (zh) 2021-08-06
CN113223159B true CN113223159B (zh) 2022-08-23

Family

ID=77098741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584103.7A Active CN113223159B (zh) 2021-05-27 2021-05-27 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法

Country Status (1)

Country Link
CN (1) CN113223159B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114131603B (zh) * 2021-12-02 2023-09-12 复旦大学 基于感知增强和场景迁移的深度强化学习机器人抓取方法
CN115061348B (zh) * 2022-08-01 2024-05-17 世优（北京）科技有限公司 基于物点的三维动态全息显示方法及装置
CN116152403B (zh) * 2023-01-09 2024-06-07 支付宝(杭州)信息技术有限公司 一种形象生成方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334832A (zh) * 2018-01-26 2018-07-27 深圳市唯特视科技有限公司 一种基于生成对抗网络的视线估计方法
CN111145338A (zh) * 2019-12-17 2020-05-12 桂林理工大学 一种基于单视角rgb图像的椅子模型重建方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100911931B1 (ko) * 2007-10-15 2009-08-13 한국전자통신연구원 3차원 건물 모델 생성 방법 및 장치
CN103729886B (zh) * 2013-12-30 2016-09-14 浙江大学 一种基于顶点重定位的三角网格表面模型概率融合方法
CN110210204B (zh) * 2019-05-30 2021-07-13 网易（杭州）网络有限公司 验证码生成方法及装置、存储介质和电子设备
CN110689585B (zh) * 2019-10-09 2022-06-21 阿波罗智能技术(北京)有限公司 多相机外参的联合标定方法、装置、设备和介质
CN111063021B (zh) * 2019-11-21 2021-08-27 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN112581593B (zh) * 2020-12-28 2022-05-31 深圳市人工智能与机器人研究院 神经网络模型的训练方法及相关设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334832A (zh) * 2018-01-26 2018-07-27 深圳市唯特视科技有限公司 一种基于生成对抗网络的视线估计方法
CN111145338A (zh) * 2019-12-17 2020-05-12 桂林理工大学 一种基于单视角rgb图像的椅子模型重建方法及系统

Also Published As

Publication number Publication date
CN113223159A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113223159B (zh) 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
CN107358643B (zh) 图像处理方法、装置、电子设备及存储介质
CN116109798B (zh) 图像数据处理方法、装置、设备及介质
CN106846336A (zh) 提取前景图像、替换图像背景的方法及装置
CN110728722B (zh) 图像颜色迁移方法、装置、计算机设备和存储介质
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN109255357B (zh) 一种rgbd图像协同显著性检测方法
CN107944459A (zh) 一种rgb‑d物体识别方法
CN107945217A (zh) 一种适用于自动装配的图像特征点对快速筛选方法及系统
CN107507263B (zh) 一种基于图像的纹理生成方法及系统
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
CN113052783A (zh) 一种基于人脸关键点的人脸图像融合方法
CN113886510A (zh) 一种终端交互方法、装置、设备及存储介质
CN112017159B (zh) 一种遥感场景下的地面目标真实感仿真方法
CN116452715A (zh) 动态人手渲染方法、装置及存储介质
CN116342377A (zh) 一种降质场景下伪装目标图像自适应生成方法与系统
CN113838199B (zh) 一种三维地形生成方法
CN115131511A (zh) 一种基于倾斜摄影技术+Dynamo创建地形的方法
CN114022609A (zh) 一种基于遥感图像的三维模型构建方法
CN109410302B (zh) 纹理映射方法、装置、计算机设备和存储介质
Li et al. PGAN: Prediction generative adversarial nets for meshes
CN116704097B (zh) 基于人体姿态一致性和纹理映射的数字化人形象设计方法
CN117274763B (zh) 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质
CN118172507A (zh) 基于数字孪生的变电站场景融合三维重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant