CN113358062B - 三维重建相位误差补偿方法 - Google Patents

三维重建相位误差补偿方法 Download PDF

Info

Publication number
CN113358062B
CN113358062B CN202110617634.1A CN202110617634A CN113358062B CN 113358062 B CN113358062 B CN 113358062B CN 202110617634 A CN202110617634 A CN 202110617634A CN 113358062 B CN113358062 B CN 113358062B
Authority
CN
China
Prior art keywords
pattern
phase
fringe pattern
fringe
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110617634.1A
Other languages
English (en)
Other versions
CN113358062A (zh
Inventor
冯维
徐仕楠
汤少靖
周世奇
王恒辉
祝振敏
赵首博
翟中生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202110617634.1A priority Critical patent/CN113358062B/zh
Publication of CN113358062A publication Critical patent/CN113358062A/zh
Application granted granted Critical
Publication of CN113358062B publication Critical patent/CN113358062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种三维重建相位误差补偿方法,包括:步骤1,对要投影的条纹图案进行编码,其包括以下步骤:使用投影仪投射预编码的条纹图案;使用相机采集所述预编码的条纹图案的投影图案;标定计算出所述预编码的条纹图案的所述投影图案的Gamma值,将求解出的所述Gamma值预编码到后续的条纹图案中;步骤2,投射经过Gamma校正的条纹图案,以及所述校正的条纹图案的补偿条纹图案;步骤3,使用相机采集所述校正的条纹图案及其对应的补偿条纹图案的投影图案;步骤4运用三频三相外差法求解所述校正的条纹图案及其对应的补偿条纹图案的投影图案的相位,将这两组的包裹相位相加以消除相位误差,得到补偿后的绝对相位。本发明得到的条纹图像更加平滑,失真度更少。

Description

三维重建相位误差补偿方法
技术领域
本发明涉及一种三维重建相位误差补偿方法,并能够在一定程度上矫正测量系统的Gamma畸变。
背景技术
基于结构光的三维成像,实际上是三维参数的测量与重现,需要主动去投射结构光到被测物体上,通过结构光的变形来确定被测物的尺寸参数,是一种主动三维测量方式。结构光的类型就分为很多种,既然是结构光,当然是将光结构化,简单的结构化包括点结构光,线结构光以及简单的面结构光等,复杂一点的结构化就上升到光学图案的编码了。结构光投射到待测物表面后被待测物的高度调制,被调制的结构光经摄像系统采集,传送至计算机内分析计算后可得出被测物的三维面形数据。空间调制方法为结构光场的相位、光强等性质被待测物的高度调制后都会产生变化,根据读取这些性质的变化就可得出待测物的面形信息。
发明内容
本发明提供一种三维重建相位误差补偿方法,通过本发明方法得到的条纹图像更加平滑,失真度更少,有效提高三维重建的精度。
根据本发明实施例的第一方面,提供一种三维重建相位误差补偿方法,包括:
对要投影的条纹图案进行编码,其包括以下步骤:使用投影设备投射预编码的条纹图案;使用相机采集所述预编码的条纹图案的投影图案;标定计算出所述预编码的条纹图案的所述投影图案的Gamma值,将求解出的所述Gamma值预编码到后续的条纹图案中;
投射经过Gamma校正的条纹图案,以及所述校正的条纹图案的补偿条纹图案;
使用相机采集所述校正的条纹图案及其对应的补偿条纹图案的投影图案;
运用三频三相外差法求解所述校正的条纹图案及其对应的补偿条纹图案的投影图案的相位,将这两组的包裹相位相加以消除相位误差,得到补偿后的绝对相位。经过校正和补偿后的条纹得到的图像更加平滑,失真度更少,可以有效提高三维重建的精度。
本发明的优点如下:
1.在实际的数字条纹投影测量系统中,产生的Gamma畸变效应会导致投影设备投射的正弦条纹发生畸变,会直接导致调制条纹中包含有高次谐波分量。该分量会影响相位的求解精度,进而给系统带来测量误差。通过标定计算出投影条纹的谐波分量,即Gamma值;投射经过Gamma校正的非正弦条纹,即可投射出标准的正弦条纹。
2.与传统的三频四项外差法逆向求解初始相位方法相比,本发明提出三频三相外差法求解初始相位的方法。该方法能够减少条纹采集的数量,可以提高运行速度,本发明能够在准确逆向求解绝对相位的前提下,减少测量误差,抗干扰性得到了提升。
3.本发明提出一种基于相位偏移法的三频三相相位误差补偿,即在相位偏移条纹图案中心引入一个初始的相位偏移,将原始投射的9幅三种频率条纹的基础上,投射相应的9幅补偿条纹图案;将求解的一一对应两组包裹相位相加,即可消除投影仪设备的Gamma非线性效应产生的相位误差。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例的附图作简单地介绍。
图1是本发明一实施例提供的一种基于结构光的三维成像系统示意图。
图2是本发明一实施例提供的相位误差补偿流程图。
具体实施方式
图1示出了一种基于结构光的三维成像系统,所述系统包括相机、投影仪和计算机。
首先通过三频四步相移法进行Gamma系数的预编码标定。在同一稳定光照环境下,保持相机静止不动,通过相机采集投影仪投射至白板平面或幕布上预编码的12幅静态图像序列。为保证拍照图像更加逼近于自然场景,拍摄场景应同时包含明亮和昏暗区域。在计算机的MATLAB2016a软件上对采集的图像序列进行处理,标定计算条纹图案的Gamma值。
视觉成像系统中采集条纹图的谐波系数Bk与测量系统的Gamma系数γ存在比例关系,若Bk≠0,则正弦信号第k+1阶谐波分量和第k阶的比例见数学公式1。
[数学公式1]
Figure BDA0003092751810000021
正常曝光范围内,求解出谐波系数Bk即可求解出Gamma系数γ值。
考虑到实际测量过程中还存在着投影仪的离焦问题。本发明采用点扩散函数的高斯模型来描述离焦,则实际采集的条纹谐波系数
Figure BDA0003092751810000022
和由Gamma效应引起的谐波系数Bk的数学关系可由以下数学式2表示。
[数学公式2]
Figure BDA0003092751810000023
在投影仪像素平面上预先编码两个γ1、γ2值,将γ1、γ2值分别代入数学式2,即可得到以下数学公式3所表示的关于γ的二次方程。其中f0为投影条纹图频率,σ为投影离焦因子。
[数学公式3]
(K-1)γ1γ2γ2+(2Kγ2-Kγ1-2γ12)γ=2(K-1)
其中K为数学公式2等式左边代入γ1、γ2值后相除的结果。结合上述公式将求解出的Gamma系数γ值预编码到后续的投影条纹中。
编码设计三种不同周期T1、T2、T3条纹图案,使得叠加周期T123>1,这样叠加之后的周期宽度要大于投影仪投射的条纹图案的宽度。但不限于三种周期的条纹图案,只要叠加周期大于1即可。做成固件烧录到投影仪中。由投影仪投射到物体表面并采集,根据数学公式4计算等效周期T12、T23和T123,T12为周期为T1、T2的条纹图案叠加后的周期,T23为周期为T2、T3的条纹图案叠加后的周期,T123为周期为T1、T2、T3的条纹图案叠加后的周期。
[数学公式4]
Figure BDA0003092751810000031
Te代表两两叠加的周期,数学公式4即为叠加公式。
运用三频三相的多频外差解相解得由相机采集的9幅条纹图案的初始包裹相位值,从而得到每个像素点的相位主值分别为
Figure BDA0003092751810000032
利用数学公式5解得中间相位主值
Figure BDA0003092751810000033
Figure BDA0003092751810000034
[数学公式5]
Figure BDA0003092751810000035
Figure BDA0003092751810000036
Figure BDA0003092751810000037
的计算公式一样。
将中间相位主值
Figure BDA0003092751810000038
Figure BDA0003092751810000039
作为外差计算的参数,求得外差的绝对相位值Φ123;结合数学公式6逆向求解初始相位,得到频率最大的Φ1(x,y)作为最终相位。
[数学公式6]
Figure BDA00030927518100000310
(x,y)为采集图像中的像素坐标。
为减小采集设备的非线性响应,本发明提出一种相位偏移补偿算法用于三频三相的多频外差解相。相位误差补偿流程图如图2所示。一般相机采集到的第n幅条纹图案可由数学公式7表示。
[数学公式7]
Figure BDA0003092751810000041
In(x,y)为相机采集到的第n幅条纹图案;(x,y)为采集图像中的像素坐标;A表示的是环境光强度;B代表的是被测物体自身表面的漫反射系数,即被测物体对条纹图案的相位调制度,均视为常数;f为正弦条纹的频率;
Figure BDA0003092751810000042
只包含的是相位信息;δn表示条纹图案的相移量。
投影仪投射至被测物体表面的条纹图案光强分布可用以下数学公式8表示。
[数学公式8]
Ip(x,y)=fp(In(x,y))
Ip(x,y)为投影仪投射至被测物体表面的条纹图案光强分布表达式,fp为投影仪对输入信号与输出信号之间的映射函数关系。
同理,如果采用fc作为工业相机输入与输出信号之间的非线性响应函数,且相机感光元件捕获的环境光强为Ia’,物体表面反射率为Ir(x,y),则相机感光元件的输出图像可用以下数学公式9表示。
[数学公式9]
Ic(x,y)=fc[Ir(x,y)+I'a(x,y)]
相机的感光元件在进行光电信号转换过程中会产生能量比例失衡的现象,则工业相机的转换函数为非线性函数。因此,相机的非线性响应可近似以下数学公式10表示。
[数学公式10]
Ic(x,y)=q3[Ir(x,y)+I'a(x,y)]3+q2[Ir(x,y)+I'a(x,y)]2+q1[Ir(x,y)+I'a(x,y)]+q0
其中,q3,q2,q1,q0为拟合系数。
若考虑测量系统的Gamma效应,将数学公式10带入数学公式8、9中,则可得到数学公式11。
[数学公式11]
Ic(x,y)=k3[In(x,y)]+k2[In(x,y)]+k1[In(x,y)]γ+k0
k3、k2、k1、k0为变换计算后的拟合系数。
从以上数学公式可以得出结论,测量系统实际上是存在3γ阶的非线性响应,另一方面,可由系统的高次谐波来表示系统的高阶非线性。因此,测量系统的采集图像响应方程可由以下数学公式12表示。
[数学公式12]
Figure BDA0003092751810000051
其中Ak为谐波系数,k为谐波最大的次数。
通常情况下,超过五次谐波的引入的误差较小可以忽略不计,因此k的取值范围一般小于5。本发明采用的解相方法为三步相移法来求解相位主值,计算包裹相位可由以下数学公式13来表示。
[数学公式13]
Figure BDA0003092751810000052
上式中,Ai(i=1,2,4,5)为i次谐波下的系数。
由所求得的相位含有相位误差,因此根据理想相位数学公式14可求得由数学公式15表示的相位误差。
[数学公式14]
Figure BDA0003092751810000053
[数学公式15]
Figure BDA0003092751810000054
上式中m1和m2都是常数。则数学公式15可以表示为以下数学公式16。
[数学公式16]
Figure BDA0003092751810000055
实际测量过程中,若不考虑五次谐波带来的影响,拟合出的相位误差公式表示成数学公式17。
[数学公式17]
Figure BDA0003092751810000056
Figure BDA0003092751810000057
为一个2π周期内的常数波动,因此可以令
Figure BDA0003092751810000058
则相位误差可由下式最终表示为以下数学公式18。
[数学公式18]
Figure BDA0003092751810000061
由上式可知若在相位偏移条纹图案中引入一个初始的相位偏移,则相位误差也会产生相应的变化。故引入初始的相位偏移差为-π/3的条纹图案,即要在原先设计好的投射条纹组基础上,再添加一组补偿条纹图案,此时对应的包裹相位图的相位误差可用以下数学公式19表示。
[数学公式19]
Figure BDA0003092751810000062
结合数学公式18、19可以发现相位误差满足
Figure BDA0003092751810000063
即可将由于投影仪设备的Gamma非线性效应产生的相位误差可以消除掉。计算补偿后的条纹即可用于最终的三维重建所需相位。
经过校正和补偿后的条纹得到的图像更加平滑,失真度更少,可以有效提高三维重建的精度。本发明方法在原点处误差累积较小,相位变化顺滑,毛刺较少,效果比三频四相的多频外差的方法提高了很多。

Claims (1)

1.一种三维重建相位误差补偿方法,其特征在于,包括:
对要投影的条纹图案进行编码,其包括以下步骤:使用投影仪投射预编码的条纹图案;使用相机采集所述预编码的条纹图案的投影图案;标定计算出所述预编码的条纹图案的所述投影图案的Gamma值,将求解出的所述Gamma值预编码到后续的条纹图案中;
投射经过Gamma校正的条纹图案,以及所述校正的条纹图案的补偿条纹图案;
使用相机采集所述校正的条纹图案及其对应的所述补偿条纹图案的投影图案;
运用三频三相外差法求解所述校正的条纹图案及其对应的所述补偿条纹图案的所述投影图案的相位,该相位包括包裹相位和绝对相位,将所述校正的条纹图案的包裹相位与所述补偿条纹图案的包裹相位相加得到消除相位误差后的包裹相位,再对消除相位误差后的包裹相位通过外差法计算得到三维重建所需要的绝对相位;
其中,标定计算出所述预编码的条纹图案的所述投影图案的Gamma值的方法为:
实际采集的条纹谐波系数
Figure FDA0003694037630000011
和由Gamma效应引起的谐波系数Bk的数学关系可由以下数学式1表示:
[数学公式1]
Figure FDA0003694037630000012
在投影仪像素平面上预先编码两个γ1、γ2值,将γ1、γ2值分别代入数学式2,即可得到以下数学公式2所表示的关于γ的二次方程,其中f0为投影条纹图频率,σ为投影离焦因子,
[数学公式2]
(K-1)γ1γ2γ2+(2Kγ2-Kγ1-2γ12)γ=2(K-1)
其中K为数学公式1等式左边代入γ1、γ2值后相除的结果,结合上述公式求解出Gamma系数γ值。
CN202110617634.1A 2021-05-31 2021-05-31 三维重建相位误差补偿方法 Active CN113358062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617634.1A CN113358062B (zh) 2021-05-31 2021-05-31 三维重建相位误差补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617634.1A CN113358062B (zh) 2021-05-31 2021-05-31 三维重建相位误差补偿方法

Publications (2)

Publication Number Publication Date
CN113358062A CN113358062A (zh) 2021-09-07
CN113358062B true CN113358062B (zh) 2022-08-09

Family

ID=77531588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617634.1A Active CN113358062B (zh) 2021-05-31 2021-05-31 三维重建相位误差补偿方法

Country Status (1)

Country Link
CN (1) CN113358062B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114234846B (zh) * 2021-12-03 2022-11-08 电子科技大学 一种基于双响应曲线拟合的快速非线性补偿方法
CN116734771B (zh) * 2023-08-16 2023-10-20 武汉工程大学 基于主动式Gamma校正的电路板元器件几何检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292734A (zh) * 2013-05-27 2013-09-11 华中科技大学 相位测量系统中伽玛值标定方法
CN104048621A (zh) * 2014-06-11 2014-09-17 西安交通大学 一种基于恒定相位编码的数字相移三维测量轮廓术相位误差检测方法
CN104330052A (zh) * 2014-11-21 2015-02-04 天津工业大学 外差式三频不等步相移解相位方法
CN105403172A (zh) * 2015-10-27 2016-03-16 华侨大学 一种大视场结构光视觉测量中分区域Gamma预校正相位误差补偿方法
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法
WO2018040017A1 (zh) * 2016-08-31 2018-03-08 深圳大学 一种基于自适应条纹的投影仪镜头畸变校正方法及其系统
CN109084701A (zh) * 2018-08-06 2018-12-25 清华大学 一种基于结构光的运动物体测量误差补偿方法
CN109297435A (zh) * 2018-10-24 2019-02-01 重庆大学 一种反向抵消非线性误差的彩色数字光栅编码方法
CN109990731A (zh) * 2019-01-21 2019-07-09 深圳市易尚展示股份有限公司 基于数字投影三维测量系统的非线性相位误差的校正方法
CN112378348A (zh) * 2020-10-28 2021-02-19 华中科技大学 一种针对低质量条纹图像的迭代相位校正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070115484A1 (en) * 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
CA2528791A1 (en) * 2005-12-01 2007-06-01 Peirong Jia Full-field three-dimensional measurement method
WO2017035817A1 (zh) * 2015-09-02 2017-03-09 深圳大学 一种相位误差补偿方法及装置
CN107044833B (zh) * 2017-03-24 2019-03-05 南京理工大学 一种基于改进的傅立叶变换轮廓技术的超快三维形貌测量方法及其系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292734A (zh) * 2013-05-27 2013-09-11 华中科技大学 相位测量系统中伽玛值标定方法
CN104048621A (zh) * 2014-06-11 2014-09-17 西安交通大学 一种基于恒定相位编码的数字相移三维测量轮廓术相位误差检测方法
CN104330052A (zh) * 2014-11-21 2015-02-04 天津工业大学 外差式三频不等步相移解相位方法
CN105403172A (zh) * 2015-10-27 2016-03-16 华侨大学 一种大视场结构光视觉测量中分区域Gamma预校正相位误差补偿方法
WO2018040017A1 (zh) * 2016-08-31 2018-03-08 深圳大学 一种基于自适应条纹的投影仪镜头畸变校正方法及其系统
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法
CN109084701A (zh) * 2018-08-06 2018-12-25 清华大学 一种基于结构光的运动物体测量误差补偿方法
CN109297435A (zh) * 2018-10-24 2019-02-01 重庆大学 一种反向抵消非线性误差的彩色数字光栅编码方法
CN109990731A (zh) * 2019-01-21 2019-07-09 深圳市易尚展示股份有限公司 基于数字投影三维测量系统的非线性相位误差的校正方法
CN112378348A (zh) * 2020-10-28 2021-02-19 华中科技大学 一种针对低质量条纹图像的迭代相位校正方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Phase shifting algorithms for fringe projection profilometry: A review;Chao Zuo 等;《OPTICS AND LASERS IN ENGINEERING》;20181031;第109卷;第23-59页 *
一种提高光栅投影测量精度算法的研究;王泳龙 等;《桂林航天工业学院学报》;20191215(第04期);第461-467页 *
一种针对投影仪gamma效应的相位误差补偿方法;张申华 等;《仪器仪表学报》;20191130;第40卷(第11期);第1-8页 *
分区域Gamma预编码校正的相位误差补偿;林俊义 等;《光电工程》;20160915;第43卷(第09期);第32-38页 *
基于多频外差的全频解相方法;刘飞 等;《激光与光电子学进展》;20190131;第56卷(第1期);第1-8页 *
相移条纹投影三维形貌测量技术综述;毛翠丽 等;《计量学报》;20180930;第39卷(第5期);第628-640页 *
结构光三维测量非线性相位误差主动校正法;孙进 等;《仪表技术与传感器》;20191031(第10期);第117-121、126页 *

Also Published As

Publication number Publication date
CN113358062A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
Zuo et al. Phase shifting algorithms for fringe projection profilometry: A review
CN113358062B (zh) 三维重建相位误差补偿方法
CN107607060B (zh) 一种应用于光栅三维投影测量中的相位误差补偿方法
Chen et al. Generic exponential fringe model for alleviating phase error in phase measuring profilometry
US8411284B2 (en) Method for simultaneous hue phase-shifting and system for 3-D surface profilometry using the same
Zhang et al. Generic nonsinusoidal fringe model and gamma calibration in phase measuring profilometry
Wang et al. Nonlinear correction for fringe projection profilometry with shifted-phase histogram equalization
CN113063371B (zh) 面向正弦条纹的非线性自矫正结构光三维测量方法及系统
CN113607087A (zh) 一种面结构光三维成像技术中的相位非线性误差补偿方法
US20220107173A1 (en) Phase-shifting phase measurement error correction method based on pixel tracing of object raster images
CN113358063B (zh) 一种基于相位加权融合的面结构光三维测量方法及系统
CN106461380A (zh) 一种基于自适应条纹的投影仪镜头畸变校正方法及其系统
CN109523627B (zh) 一种基于泰勒指数表达式型面结构光的三维重建方法
Jiang et al. Fringe harmonics elimination in multi-frequency phase-shifting fringe projection profilometry
JP7001835B2 (ja) 位相シフト偏向測定法で非線形応答特性を補償するためのシステム及び方法
CN114526692B (zh) 一种基于离焦度解包裹的结构光三维测量方法及装置
CN108061517B (zh) 基于莫尔序列光栅的面结构光解相方法
Zhu et al. Alternate iterative least-squares algorithm based on nonuniform phase shifting for suppressing nonlinearity errors in fringe projection profilometry
CN113237437B (zh) 一种基于位相编码元件的结构光三维形貌测量方法及装置
CN116734771B (zh) 基于主动式Gamma校正的电路板元器件几何检测方法
CN111649696B (zh) 一种结构光测量系统高精度校准方法
Mohammadi et al. Single-frame digital phase-shifting 3D shape measurement using pixel-wise moiré-wavelength refinement
Xu et al. High dynamic range 3D measurement technique based on adaptive fringe projection and curve fitting
Kang et al. Determination of optimal binary defocusing based on digital correlation for fringe projection profilometry
Wu et al. An inverse error compensation method for color-fringe pattern profilometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant