CN110398201B - 一种联合数字图像相关技术和莫尔抽样法的位移测量方法 - Google Patents

一种联合数字图像相关技术和莫尔抽样法的位移测量方法 Download PDF

Info

Publication number
CN110398201B
CN110398201B CN201910720915.2A CN201910720915A CN110398201B CN 110398201 B CN110398201 B CN 110398201B CN 201910720915 A CN201910720915 A CN 201910720915A CN 110398201 B CN110398201 B CN 110398201B
Authority
CN
China
Prior art keywords
displacement
grating
moire
calculating
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910720915.2A
Other languages
English (en)
Other versions
CN110398201A (zh
Inventor
毛凤山
陈昌富
余加勇
陈仁朋
何旷宇
薛现凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201910720915.2A priority Critical patent/CN110398201B/zh
Publication of CN110398201A publication Critical patent/CN110398201A/zh
Application granted granted Critical
Publication of CN110398201B publication Critical patent/CN110398201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种联合数字图像相关技术和莫尔抽样法的位移测量方法,利用数字图像相关法辅助莫尔抽样法进行位移测量,包括以下步骤:(1)通过相机获得带有光栅图案的标志点位移序列图像;(2)采用数字图像相关法对采集的序列图像逐帧计算标志点位移及相位变化值;(3)采用莫尔抽样法计算莫尔条纹相位;(4)计算序列图像中光栅标志位移值。本发明的有益效果如下:具有位移测量精度高、量程大、计算简便、适用性广、不需要进行相机标定等优点。

Description

一种联合数字图像相关技术和莫尔抽样法的位移测量方法
【技术领域】
本发明涉及工程结构变形监测技术领域,尤其涉及一种联合数字图像相关技术和莫尔抽样法的位移测量方法。
【背景技术】
基于莫尔效应的位移测量方法是上世纪70年代发展起来的一种非接触位移测量方法,起初该方法被用于近距离位移测量,其位移测量精度可以到纳米级。其原理是主光栅与副光栅叠加产生的莫尔条纹,当副光栅发生位移时候,会导致莫尔条纹的移动,通过计量莫尔条纹移动距离实现高精度位移测量。
基于计算机视觉的莫尔抽样法是将相机中感光传感器阵列当作一个虚拟光栅,将实际的光栅图案当作另一个光栅,经过对拍摄到的图片进行抽样计算可以得到莫尔条纹,通过监测莫尔条纹相移实现高精度位移测量,能够精确测量小于十分之一像素的位移。
现有的运用莫尔抽样法进行位移监测的技术中,仅关注相邻帧图像中光栅标志位移小于四分之一光栅周期的情况,而实际情况是由于环境振动的影响或图像采集间隔的延长,相邻帧图像中光栅标志位移经常出现接近或大于一个光栅周期的情况。另外,在应用莫尔抽样法进行变形监测的时候,由于在图片中光栅标志处框选区域计算得到的相位在-π到π之间变化,且随着坐标增大呈现不连续变化。上述原因导致在后续对采集到的序列图像进行自动化处理时位移计算错误。
传统基于计算机视觉的位移测量方法采用数字图像相关法或轮廓提取法直接对图片中标志进行追踪,从而实现位移测量,这些方法只能实现像素级位移的精确测量,亚像素级位移测量精度有限,且由于噪声的影响,会导致亚像素级位移计算错误。
【发明内容】
本发明的目的是提出了一种联合数字图像相关技术和莫尔抽样法的位移测量方法,其可以解决传统基于计算机视觉的位移测量方法采用数字图像相关法或轮廓提取法直接对图片中标志进行追踪,从而实现位移测量,这些方法只能实现像素级位移的精确测量,亚像素级位移测量精度有限,且由于噪声的影响,会导致亚像素级位移计算错误的技术问题。
为实现上述目的,本发明的技术方案为:
一种联合数字图像相关技术和莫尔抽样法的位移测量方法,包括以下步骤:
步骤(1)、通过相机获得带有光栅条纹的标志点位移序列图像;
步骤(2)、采用数字图像相关法对采集的序列图像逐帧计算标志点位移及相位变化值;
步骤(3)、采用莫尔抽样法计算莫尔条纹相位;
步骤(4)、计算序列图像中光栅标志的位移值。
作为本发明的一种改进,在步骤(1)中,通过相机获得带有光栅条纹的标志点位移序列图像具体包括以下步骤:
将栅距为P的二维光栅图案打印出来后固定在待监测物体上,并使光栅图案坐标x方向与大地水平面平行;
将相机架设在指定位置,使相机图像坐标uov的v轴与光栅图案坐标xoy的y轴平行且uov平面与xoy平面平行;
连接数据采集系统与相机,设定图像采集时间间隔t。
作为本发明的一种改进,在步骤(2)中,采用数字图像相关方法对采集的序列图像逐帧计算标志点粗位移具体包括以下步骤:
在图片中光栅标志处框选一个大于10像素×10像素的矩形区域,利用相关系数法计算矩形区域在每帧图像中的移动距离[Δαu i,Δαvi],单位为像素;
通过式(1)计算相邻帧中光栅标志相位变化值
Figure BDA0002157172490000021
其中,PT为一个光栅周期在图片中的像素个数,i为采集到的序列图像中的第i帧图片。
作为本发明的一种改进,在步骤(3)中,采用莫尔抽样法计算莫尔条纹相位具体包括以下步骤:
在图片中光栅标志处框选两个分别用于计算水平位移和垂直位移的矩形区域;
采用莫尔抽样法计算莫尔条纹相位。
作为本发明的一种改进,在步骤(4)中,计算序列图像中光栅标志的位移值具体包括以下步骤:
依据数字图像相关方法计算的相位变化值辅助莫尔抽样法计算相移值大小;
根据莫尔抽样法计算相移值;
计算序列图像中相邻帧之间光栅标志的位移;
将相邻帧图像中光栅标志位移累加得到光栅标志的最终位移值。
本发明的有益效果如下:
方法步骤精简、位移监测精度高,仅需要知道一个光栅周期的实际尺寸就能进行位移监测,不需要进行相机标定与任何坐标测定;
可用作监测对象的静态和动态的位移测量和模态测量,适用性广;
可以推广用于大规模的多点位移实时监测系统,具有价格便宜,实时性好的优点。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1是本发明实施例中监测系统示意图;
图2是光栅标志图案;
图3是相机拍摄光栅标志效果示意图;
图4是莫尔抽样计算示意图;
图5是莫尔条纹沿横向的相位变化;
图6莫尔抽样法相移确定示意图。
其中,1、人工制作的标志板;2、光栅标志;3、相机;4、数据采集、处理系统;5、数字图像相关法相关系数计算窗口;6、相机拍摄照片;7、照片中光栅标志;8、莫尔抽样法光栅垂直位移计算区域;9、莫尔抽样法光栅水平位移计算区域。
【具体实施方式】
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1和2所示,本发明提供一种联合数字图像相关技术和莫尔抽样法的位移测量方法是基于计算机视觉的高精度位移测量方法,适用于边坡、基坑、桥梁、建筑工程等对象的位移监测。该测量方法只需要精确的量测光栅图案一个周期的实际物理尺寸,不需要三维坐标的测量,具体包括以下步骤:
步骤(1)、通过相机获得带有光栅条纹的标志点位移序列图像,具体步骤如下:
将栅距为P的二维光栅图案打印出来后固定在待监测物体上,使光栅图案坐标x方向与大地水平面平行;
在本步骤中,将分辨率大于300像素每厘米的光栅图案用分辨率大于600dpi的打印机打印后过塑,将打印好的光栅标志固定在待测对象外表面或人工制作的标志板上。
光栅标志的栅距P采用如下方法确定:①通过查找相机参数获得镜头焦距f和像元物理尺寸a及相机到标志点的距离D;②光栅的栅距P需要满足一个光栅周期内的像素个数在4至20之间,即
Figure BDA0002157172490000041
其中,光栅标志的条纹数量需要满足抽样、插值后的像素级至少具有一个完整的三角函数周期,即条纹数量大于
Figure BDA0002157172490000042
将相机架设在指定位置,使相机图像坐标uov的v轴与光栅图案坐标xoy的y轴平行且uov平面与xoy平面平行;
在本步骤中,通过调整相机的姿态,使拍摄出来的图片坐标uov的v轴与光栅图案坐标xoy的y轴平行,同时使图像平面uov与光栅标志平面xoy平行。计算表明,当v轴与y轴之间所夹锐角为5°的时候,由于光栅周期取值误差导致的位移测量误差为0.38%。
连接数据采集系统与相机,设定图像采集时间间隔为t。
在本步骤中,打开数据采集系统,根据预先计算的变形速率设置好合适的采样时间步长以保证监测数据不失真的同时尽量减少数据内存占用。本实施中基坑开挖过程中预计最大变形速率为20mm每天,可设置拍摄间隔为10min拍摄一张照片。
步骤(2)、采用数字图像相关法对采集的序列图像逐帧计算标志点位移及计算相位变化值,具体步骤如下:
在图片中光栅标志处框选一个大于10像素×10像素的矩形区域,利用相关系数法计算矩形区域在每帧图像中的移动距离[Δαu i,Δαv i],单位为像素;
具体结合图3所示,在本步骤中,首先在光栅标志上框选一个大于10像素×10像素的矩形区域用于计算相关系数,并计算得到光栅标志每帧图像中的移动距离[Δαu i,Δαv i]。相关系数搜索窗口大小可选1至2PT,单位为像素;由于监测时候光栅标志会有明显的亮度变化,因此相关系数计算方法采用归一化相关系数计算公式,即:
Figure BDA0002157172490000043
其中,M、N分别为框选的矩形区域的宽度和高度,f、g分别为当前帧和下一帧图像中坐标(m,n)处的灰度值,
Figure BDA0002157172490000044
分别为f、g的平均值。
由于光栅图案本身具有一定的周期性,相关系数计算矩形框既要包含光栅标志部分区域,也要包含没有光栅图案的区域,如图3所示,否则会出现位移计算错误的情况。用于相关系数计算的矩形区域,在每一帧图片中搜索完后,需更新矩形框的位置,保证在每帧图片矩形框相对光栅标志的位置不变。
通过式(1)计算相邻帧中光栅标志相位变化值。
在本步骤(2)中,采用数字图像相关法计算相邻帧图像中光栅标志相位变化值为:
Figure BDA0002157172490000045
如图3中坐标uov所示,式(1)计算的相位值正负号定义如下:沿着u增大方向位移增量为正,相位变化值为正,反之为负;沿着v增大方向位移增量为正,相位变化值为正,反之为负。
步骤(3)、采用莫尔抽样法计算莫尔条纹相位,具体步骤如下:
首先,在图片中光栅标志处框选两个分别用于计算水平位移和垂直位移的矩形区域。在本步骤中用于计算水平和垂直位移的计算区域被框选出来,具体如图3所示,框选区域要位于相邻两帧图像的光栅标志内,并相对图片坐标uov的位置不变。同时,为了不影响计算精度,莫尔抽样法计算相位时候框选的条纹数量要大于
Figure BDA0002157172490000051
请结合图4所示,采用莫尔抽样法计算相位。在本步骤中将利用莫尔抽样法将框选出来的区域进行计算。图4(a)为框选区域实际的光栅条纹图案,图4(b)为图片中框选区域的效果图。将图4(b)中的第一行像素值中的第(s-1)(Pk-1)+1(s=1,2...N)处像素值采样出来,采样结果如图4(c)。利用线性插值算法(或多项式插值算法或样条插值算法或其他插值算法)将图4(c)空缺处像素值补齐,插值计算完成后的莫尔条纹如图4(d)。对图4(d)中像素值进行离散傅里叶变换并得到基频和莫尔条纹初始相位
Figure BDA0002157172490000052
采用同样的方法得到序列图像中水平位移计算框和竖直位移计算框的莫尔纹初始相位
Figure BDA0002157172490000053
步骤(4)、计算序列图像中光栅标志位移值,具体步骤如下:
依据数字图像相关方法计算的相位变化值辅助莫尔抽样法计算相移值大小。在本步骤中,将确定相邻两张图片中的相位变化值(即相移值)
Figure BDA0002157172490000054
其计算式为:
Figure BDA0002157172490000055
再结合图5和6所示,由于周期三角函数进行傅里叶变化后的相位谱是一个间断函数,且莫尔条纹计算得到的相位信息没法判断条纹移动方向,例如,第i帧图像计算得到的
Figure BDA0002157172490000056
第i+1帧图像计算得到的
Figure BDA0002157172490000057
在考虑到可能出现位移接近一个光栅周期或大于一个光栅周期的可能,需要根据数字图像相关计算相位变化值辅助确定莫尔条纹相移值,具体判断过程如下:
①当
Figure BDA0002157172490000058
时,相移值为象限图中
Figure BDA0002157172490000059
逆时针扫至
Figure BDA00021571724900000510
所扫过的角度;
②当
Figure BDA00021571724900000511
时,相移值为象限图中
Figure BDA00021571724900000512
逆时针扫至
Figure BDA00021571724900000513
所扫过的角度加上
Figure BDA00021571724900000514
其中mod是向下取整;
③当
Figure BDA00021571724900000515
时,相移值为象限图中
Figure BDA00021571724900000516
顺时针扫至
Figure BDA00021571724900000517
所扫过的角度;
④当
Figure BDA00021571724900000518
时,相移值为象限图中
Figure BDA00021571724900000519
顺时针扫至
Figure BDA00021571724900000520
所扫过的角度加上
Figure BDA00021571724900000521
其中mod是向下取整。
根据莫尔抽样法计算序列图像中相邻帧之间光栅标志的位移。在本步骤中采用下式计算相邻帧中光栅标志的位移,
Figure BDA00021571724900000522
上式中计算的位移正方向为坐标uov中坐标轴增大的方向。
将相邻帧图像中光栅标志位移累加得到光栅标志的最终位移值。在本步骤中,采用下式计算光栅标志从监测起第1帧至第i帧图像时所发生的累计位移,
Figure BDA0002157172490000061
本发明的有益效果如下:
方法步骤精简、位移监测精度高,仅需要知道一个光栅周期的实际尺寸就能进行位移监测,不需要进行相机标定与任何坐标测定;
可用作监测对象的静态和动态的位移测量和模态测量,适用性广;
可以推广用于大规模的多点位移实时监测系统,具有价格便宜,实时性好的优点。
尽管本发明的实施方案已公开如上,但并不仅仅限于说明书和实施方案中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里所示出与描述的图例。

Claims (1)

1.一种联合数字图像相关技术和莫尔抽样法的位移测量方法,其特征在于,包括以下步骤:
步骤(1)、通过相机获得带有光栅条纹的标志点位移序列图像,具体包括以下步骤:
将栅距为P的二维光栅图案打印出来后固定在待监测物体上,并使光栅图案坐标x方向与大地水平面平行;
将相机架设在指定位置,使相机图像坐标uov的v轴与光栅图案坐标xoy的y轴平行且uov平面与xoy平面平行;
连接数据采集系统与相机,设定图像采集时间间隔t;
步骤(2)、采用数字图像相关法对采集的序列图像逐帧计算标志点位移及相位变化值;具体包括以下步骤:
在图片中光栅条纹标志点处框选一个大于10像素×10像素的矩形区域,利用相关系数法计算矩形区域在每帧图像中的移动距离[Δαui,Δαvi],单位为像素;
通过式(1)计算相邻帧中光栅条纹标志点相位变化值
Figure FDA0003076940950000011
其中,PT为一个光栅周期在图片中的像素个数,i为采集到的序列图像中的第i帧图片;
步骤(3)、采用莫尔抽样法计算莫尔条纹相位;具体包括以下步骤:将光栅条纹图案每一行和每一列像素值中的第(s-1)(Pk-1)+1处像素值采样出来,其中s=1,2...N,利用线性插值算法或多项式插值算法或样条插值算法或其他插值算法将空缺处像素值补齐,对像素值进行离散傅里叶变换并得到基频和莫尔条纹初始相位
Figure FDA0003076940950000012
从而得到序列图像中水平位移计算框和竖直位移计算框的莫尔纹初始相位
Figure FDA0003076940950000013
步骤(4)、计算序列图像中光栅标志的位移值,计算序列图像中光栅条纹标志点的位移值具体包括以下步骤:
依据数字图像相关方法计算相位变化值辅助莫尔抽样法计算相移值大小,具体包括:当
Figure FDA0003076940950000014
时,相移值为象限图中
Figure FDA0003076940950000015
逆时针扫至
Figure FDA0003076940950000016
所扫过的角度;当
Figure FDA0003076940950000017
时,相移值为象限图中
Figure FDA0003076940950000021
逆时针扫至
Figure FDA0003076940950000022
所扫过的角度加上
Figure FDA0003076940950000023
其中mod是向下取整;当
Figure FDA0003076940950000024
时,相移值为象限图中
Figure FDA0003076940950000025
顺时针扫至
Figure FDA0003076940950000026
所扫过的角度;当
Figure FDA0003076940950000027
时,相移值为象限图中
Figure FDA0003076940950000028
顺时针扫至
Figure FDA0003076940950000029
所扫过的角度加上
Figure FDA00030769409500000210
其中mod是向下取整;同理,当
Figure FDA00030769409500000211
时,相移值为象限图中
Figure FDA00030769409500000212
逆时针扫至
Figure FDA00030769409500000213
所扫过的角度;当
Figure FDA00030769409500000214
时,相移值为象限图中
Figure FDA00030769409500000215
逆时针扫至
Figure FDA00030769409500000216
所扫过的角度加上
Figure FDA00030769409500000217
其中mod是向下取整;当
Figure FDA00030769409500000218
时,相移值为象限图中
Figure FDA00030769409500000219
顺时针扫至
Figure FDA00030769409500000220
所扫过的角度;当
Figure FDA00030769409500000221
时,相移值为象限图中
Figure FDA00030769409500000222
顺时针扫至
Figure FDA00030769409500000223
所扫过的角度加上
Figure FDA00030769409500000224
其中mod是向下取整;计算序列图像中相邻帧之间光栅条纹标志点的位移,采用下式(2)计算相邻帧中光栅条纹标志点的位移
Figure FDA00030769409500000225
上式(2)中计算的位移正方向为坐标uov中坐标轴增大的方向;将相邻帧图像中光栅条纹标志点位移累加得到光栅条纹标志点的最终位移值;采用下式(3)计算光栅条纹标志点从监测起第1帧至第i帧图像时所发生的累计位移
Figure FDA00030769409500000226
CN201910720915.2A 2019-08-06 2019-08-06 一种联合数字图像相关技术和莫尔抽样法的位移测量方法 Active CN110398201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720915.2A CN110398201B (zh) 2019-08-06 2019-08-06 一种联合数字图像相关技术和莫尔抽样法的位移测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720915.2A CN110398201B (zh) 2019-08-06 2019-08-06 一种联合数字图像相关技术和莫尔抽样法的位移测量方法

Publications (2)

Publication Number Publication Date
CN110398201A CN110398201A (zh) 2019-11-01
CN110398201B true CN110398201B (zh) 2021-08-06

Family

ID=68327626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720915.2A Active CN110398201B (zh) 2019-08-06 2019-08-06 一种联合数字图像相关技术和莫尔抽样法的位移测量方法

Country Status (1)

Country Link
CN (1) CN110398201B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050219553A1 (en) * 2003-07-31 2005-10-06 Kelly Patrick V Monitoring apparatus
CN101839699B (zh) * 2010-05-14 2011-11-30 清华大学 一种测量微纳米金属互连线残余变形的方法
CN102768020B (zh) * 2012-08-03 2015-04-22 南京理工大学 一种基于数字条纹投影技术测量微小物体表面高度的测量系统及其方法
CN105526871B (zh) * 2016-01-25 2018-09-25 广东工业大学 基于cmos的光栅位移测量系统及其测量方法
JP6813162B2 (ja) * 2016-02-17 2021-01-13 国立研究開発法人産業技術総合研究所 モアレ法による高速変位・ひずみ分布測定方法及び測定装置

Also Published As

Publication number Publication date
CN110398201A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110645917B (zh) 基于阵列式相机的高空间分辨率三维数字图像测量方法
US6542250B1 (en) Method of three-dimensionally measuring object surfaces
KR101475382B1 (ko) 광학적 3차원 측량의 자기 적응 윈도우 푸리에 위상추출방법
JP7120582B2 (ja) オプティカルフロー映像処理を利用する河川流速測定装置および方法
CN101980291B (zh) 基于随机微位移的超分辨率图像重建方法
JP3059035B2 (ja) 距離測定装置
CN109373912B (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN111263142A (zh) 一种摄像模组光学防抖的测试方法、装置、设备及介质
CN111402315B (zh) 一种自适应调整双目摄像机基线的三维距离测量方法
CN102903078B (zh) 一种基于多分辨率傅里叶分析理论的运动模糊图像参数估计方法
CN104897065A (zh) 一种板壳结构表面位移场的测量系统
CN110398201B (zh) 一种联合数字图像相关技术和莫尔抽样法的位移测量方法
CN116935181B (zh) 一种完全二值散斑嵌入脉宽调制模式三维测量方法
CN107544069B (zh) 基于平面近似模型的多基线相位解缠绕方法
CN115457022B (zh) 基于实景三维模型正视影像的三维形变检测方法
CN111257346A (zh) 基于投影过滤的pcb定位装置及方法
CN116402713A (zh) 一种基于二维图像和几何形状的电力三维点云补全方法
Kim et al. An accurate and robust stereo matching algorithm with variable windows for 3D measurements
CN110375672B (zh) 基于模拟退火算法的实时相位测量轮廓术
CN108917632B (zh) 一种高效率高精度数字图像相关位移后处理方法
CN113295701A (zh) 基于数字图像对剪力墙损伤的测量方法、设备和介质
CN113674347A (zh) 基于相机和投影群阵列的三维形貌的变形测量装置及方法
CN112229342B (zh) 一种相位测量轮廓术中投影光栅的快速自校正方法
CN111089563A (zh) 平面斜视图像测距定位方法及测距定位系统
CN111640084A (zh) 一种基于lk光流的高速像素匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant