CN113538483A - 高精度近景摄影测量标志的编解码方法和测量方法 - Google Patents

高精度近景摄影测量标志的编解码方法和测量方法 Download PDF

Info

Publication number
CN113538483A
CN113538483A CN202110719511.9A CN202110719511A CN113538483A CN 113538483 A CN113538483 A CN 113538483A CN 202110719511 A CN202110719511 A CN 202110719511A CN 113538483 A CN113538483 A CN 113538483A
Authority
CN
China
Prior art keywords
mark
points
point
information
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110719511.9A
Other languages
English (en)
Other versions
CN113538483B (zh
Inventor
王达磊
刘玖财
潘玥
吉煜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110719511.9A priority Critical patent/CN113538483B/zh
Publication of CN113538483A publication Critical patent/CN113538483A/zh
Application granted granted Critical
Publication of CN113538483B publication Critical patent/CN113538483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种高精度近景摄影测量标志的编解码方法和测量方法,编码过程为通过标志点与信息点的组合构成完整的编码标志,并设定信息点的编码区间;解码过程为对获取的含有编码标志的图像进行预处理,对获得的二值化图像进行轮廓清洗,得到编码点的所有轮廓;筛选出标志点轮廓,逐个确定标志点,并获得标志点的中心坐标,排除标志点后,将其余的轮廓标记为信息点轮廓,以特定标志点的连线为起始位置,并以该连线的长度作为滑动搜索的宽度,进行特定路径的搜索,根据预设编码区间内是否存在信息点,确定该编码区间的值作为解码值,遍历搜索区间后,得到所有信息点的解码值。与现有技术相比,本发明具有优异的特征点解算稳定性以及准确性。

Description

高精度近景摄影测量标志的编解码方法和测量方法
技术领域
本发明涉及摄影测量技术领域,尤其是涉及一种高精度近景摄影测量标志的编解码方法和测量方法。
背景技术
数字近景摄影测量的研究及应用已步入成熟期。它已能满足医学领域对图像实时性、几何高精度方面的要求,可用于外科、人体测量学、人类行为动作的监控测量等。研究的重点从几何量测精度转为实时性、全自动化和测量结果的深加工(三维建模与虚拟现实)等,尤其是激光扫描技术的发展,使得多传感器数据采集及数据融合等问题倍受关注,从而也使数字近景摄影与计算机视觉的关系越发密切。
数字近景摄影测量通过对被测物体进行摄影,测量、分析所拍摄图像,获得其位置或集合信息的,具有非接触、易操作、精度高等优点,具有较大的发展潜力。随着复杂测量任务的增多,传统标识点特征点解算的稳定性以及准确性已经制约了其整体测量优势的发挥,这一问题是目前亟需解决的。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种高精度近景摄影测量标志的编解码方法和测量方法,也是一种对编码标识进行准确解算的解码与测量方法,具有优异的特征点解算稳定性以及准确性。
本发明的目的可以通过以下技术方案来实现:
本申请的第一个目的是保护一种高精度近景摄影测量标志的编解码方法,包括:
编码过程:
生成标志点,根据待编码信息在标志点附近生成信息点,所述标志点与信息点的尺寸不同,通过标志点与信息点的组合构成完整的编码标志,并设定信息点的编码区间;
解码过程:
S1:对获取的含有编码标志的图像进行预处理,获得仅含有边缘信息的二值化图像;
S2:对S1中获得的二值化图像进行轮廓清洗,得到编码点的所有轮廓;
S3:基于S2中得到的所有编码点轮廓的拟合尺寸大小进行排序,筛选出标志点轮廓,之后根据不同标志点轮廓间的距离远近,逐个确定标志点,并获得标志点的中心坐标;
S4:排除标志点后,将其余的轮廓标记为信息点轮廓,以特定标志点的连线为起始位置,并以该连线的长度作为滑动搜索的宽度,进行特定路径的搜索,根据预设编码区间内是否存在信息点,确定该编码区间的值作为解码值,遍历搜索区间后,得到所有信息点的解码值。
进一步地,所述信息点基于预设的信息点轮廓线呈环形设置,信息点构成的环形中部设有标志点A。
进一步地,所述信息点轮廓线由内向外依次设有二类标志点轮廓线和一类标志点轮廓线。
进一步地,所述一类标志点轮廓线上设有标志点B和标志点C,所述二类标志点轮廓线上设有标志点D和标志点E;
所述标志点E远离标志点B而靠近标志点C,所述标志点D与标志点B和标志点C的距离相同。
进一步地,S4中以标志点EA的连线为起始位置,采用逆时针弧形搜索的方式,根据设定区间内是否存在信息点确定,每个设定区间的编码值,360度遍历搜索后,得到所有信息点的解码值。
进一步地,S1中根据编码容量的需求,调整信息点编码区间的间隔密度、信息点的大小、一类标志点轮廓线和二类标志点轮廓线的尺寸,以此实现编码容量的匹配。
进一步地,S1中编码图像的预处理过程为:对输入的含编码标志的图像进行噪声处理、二值化处理、canny边缘检测算子等预处理操作,获得仅含有边缘信息的二值化图像。
进一步地,S2中轮廓清洗的过程为:根据直线剔除、尺寸准则、形状嵌套、最小二乘法椭圆拟合、形状准则原则,剔除仅含有边缘信息的二值化图像中包含直线、周长尺寸不符或形状不符的“杂质”轮廓,得到编码点的所有轮廓。
本申请的第一个目的是保护一种高精度近景摄影测量方法,包括以下步骤:
在待测量区域生成标志点,根据待编码信息在标志点附近生成信息点,通过标志点与信息点的组合构成完整的编码标志;
通过摄像设备获取含有编码标志的图像,使用本技术方案上述解码方法对含有编码标志的图像进行解码;
基于解码结果得到各个标志点的中心坐标以及信息点的编码信息,根据标志点相互间的几何关系,对编码的中心点进行平差计算,以此精确化编码中心点坐标;
通过对EA、BA、DA直线角度的平差计算,获得编码角度;
根据已知标志点A和标志点B、C间的实际物理尺寸,根据摄影基础理论,推算得到编码的实际位移精度;
最终采用改进的傅立叶-梅林变换算法对两幅图像上编码标志点上发生的旋转尺度关系与平移量进行解算,得到解码信息即作为测量结果。
实际上,整个解算过程主要是在这一帧的完整图像中寻找模板区域然后裁剪,对裁剪出的图像根据预设定义的规则进行解算。
这里的两幅图像指的是上一帧的模板图像(上一帧裁剪出来的图)和这一帧的待匹配图像(这一帧完整图),通过变换算法能够计算出模板图像在待匹配图像中的位置并在待匹配图像上裁剪出来得到裁剪图(这一帧的裁剪图),同时得到旋转角度与缩放系数。接着对裁剪图按照我们定义的规则再进行解算,然后根据梅林公式计算出的结果和我们基于裁剪图得到的结果,二者进行叠加平差得到最终的结果。
进一步地,所述编码的实际位移精度为1像素代表的实际物理尺寸。
与现有技术相比,本发明具有以下技术优势:
1)本技术方案可以精确识别编码标识的位置信息,同时能够对编码标识进行准确解算,相对传统的标识码引入了编码可靠度概念,针对复杂场景下可能出现的编码遮挡情况,可根据编码内一类二类标志点的检测结果,对应给出编码结算结果的可靠度。(如:一类标志点里有个编码遮挡了,最终解算结果的可靠度就为80%,如果挡住两个,可靠度为60%,这样相关人员也可以根据结果的可靠度了解编码的实时情况,起到一个反馈的作用)。
2)另外本技术方案还可以存储不同的信息,相比于传统方案,如果要进行多目标的识别,在不同的检测点放置不同的编码,可进行自动识别与区分,不用进行人工标定。
附图说明
图1为本发明实施例中编码的样例示意图;
图2为本发明实施例中解码规则示意图;
图3为本发明中解码流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
本技术方案提出了一种可以精确识别编码标识的位置信息,同时对编码标识进行准确解算的编码解码与测量方法。
具体实施时,根据编码容量的需求,调整信息点编码区间的间隔密度、信息点的大小以及二类标志点的轮廓线大小,目前信息点编码区间被划分为6档,参见图2中信息轮廓线上环形设置的6个划分区域,每一档内若有信息点记为1,没有则记为0,所以目前本实施例中编码的容量为2^6=64个编码。如果增大二类标志点的轮廓线的直径、减小信息点大小以及降低编码区间的间隔大小,则编码区间可以多被划分更多的档数,容量自然得到扩大。
解码过程具体的技术细节参见图1。
图像的预处理:
噪声处理:选用中值滤波对图像进行降噪处理,因为仅需要图形边缘信息,且中值滤波处理后产生的模糊更是少得多,去除噪声的同时,不会删除图像中的细节,可以防止边缘模糊,能较好的保留图形边缘信息。
二值化处理:通过给定阈值对输入的图像进行分割生成二值图像。
Canny算子边缘检测:在获得二值图像之后,使用Canny算子从二值图像中提取编码标志的边缘信息。
轮廓清洗:
在轮廓清洗过程中,采用了准则剔除法,基本思想是:根据最终获得的图形要求,制定相应准则,逐步剔除不符合要求的图形轮廓。
剔除直线:在预处理后,图形中可能会出现部分直线,可能是标志边界或者复杂背景的杂质物体产生的。由于编码中图形均为圆形,由于弧度限制,在同一方向上的连续边缘点不会超过10个。基于此准则,对预处理后的图像进行扫描,如果出现连续10个或10个像素点以上,则将其定义为直线,将该闭合轮廓上的所有像素点灰度值归0。
尺寸准则:根据图像的缩放比例,结合编码大小以及编码距相机的观测距离,可大致推断编码图形的轮廓大小及面积大小。如果满足长宽、长宽比及面积大小的阈值范围,则保留该轮廓。
椭圆拟合:经过以上准则剔除后,图像中剩余的轮廓基本就是编码图形的轮廓曲线,这些曲线大部分是椭圆轮廓。本发明采用现有技术中最小二乘法进行椭圆拟合,如下所示。
Figure BDA0003136441300000051
标志点检测
首先对所有的椭圆轮廓按照其拟合椭圆的长半轴长度进行排序,长半轴最大的轮廓代表的点为标志点A,参见图2中的中心区域。接着遍历剩余的轮廓求其圆心点到标志点A的距离,得到距离最远的点为标志点B和标志点C,即一类标志点轮廓线上对应的两个标志点,次远的点是标志点D和标志点E,距离最近的为信息点群。
接着分别求标志点D、E两点到B、C两点的距离,与C、B两点距离相差较大的两点为E点,相差较小的为D点,二类标志点确定完毕。同时,与E点距离较近的点为C点,与E点较远的点为B点,一类标志点确定完毕。则所有的标志点一一确定完毕。
信息点的检测与解码
以标志点EA的连线为起始位置,采用逆时针弧形搜索的方式,根据给定区间内是否存在信息点确定该编码区间值,360度遍历搜索后,得到所有信息点的解码值,完成相应的解码。
目前信息点编码区间被划分为6档,每一档内若有信息点记为1,没有则记为0,360度扫描完成后即可得到6位数字,即为解码值,参见图1。
测量过程:
在完成相应解码后,可得到各个标志点的中心坐标以及信息点的编码信息。根据标志点相互间的几何关系,计算标志点CB连线中点以及标志点A的坐标,二者进行平差计算,得到更加准确的编码中心点坐标。
同时通过对EA、BA、DA直线角度的取平均计算,也可获得编码角度。另外,根据已知标志点A和标志点BC间的实际物理尺寸,根据摄影基础理论,可推算得到编码的实际位移精度以及角度(图像上1像素代表的实际物理尺寸)。
最终采用现有技术中改进的傅立叶-梅林变换算法对两幅图像上编码标志点上发声的旋转尺度关系与平移量进行解算即可。基于改进傅里叶-梅林变换的相关公式及原理如下:
Figure BDA0003136441300000071
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种高精度近景摄影测量标志的编解码方法,其特征在于,包括:
编码过程:
生成标志点,根据待编码信息在标志点附近生成信息点,所述标志点与信息点的尺寸不同,通过标志点与信息点的组合构成完整的编码标志,并设定信息点的编码区间;
解码过程:
S1:对获取的含有编码标志的图像进行预处理,获得仅含有边缘信息的二值化图像;
S2:对S1中获得的二值化图像进行轮廓清洗,得到编码点的所有轮廓;
S3:基于S2中得到的所有编码点轮廓的拟合尺寸大小进行排序,筛选出标志点轮廓,之后根据不同标志点轮廓间的距离远近,逐个确定标志点,并获得标志点的中心坐标;
S4:排除标志点后,将其余的轮廓标记为信息点轮廓,以特定标志点的连线为起始位置,并以该连线的长度作为滑动搜索的宽度,进行特定路径的搜索,根据预设编码区间内是否存在信息点,确定该编码区间的值作为解码值,遍历搜索区间后,得到所有信息点的解码值。
2.根据权利要求1所述的一种高精度近景摄影测量标志的编解码方法,其特征在于,所述信息点基于预设的信息点轮廓线呈环形设置,信息点构成的环形中部设有标志点A。
3.根据权利要求2所述的一种高精度近景摄影测量标志的编解码方法,其特征在于,所述信息点轮廓线由内向外依次设有二类标志点轮廓线和一类标志点轮廓线。
4.根据权利要求3所述的一种高精度近景摄影测量标志的编解码方法,其特征在于,所述一类标志点轮廓线上设有标志点B和标志点C,所述二类标志点轮廓线上设有标志点D和标志点E;
所述标志点E远离标志点B而靠近标志点C,所述标志点D与标志点B和标志点C的距离相同。
5.根据权利要求1所述的一种高精度近景摄影测量标志的编解码方法,其特征在于,S4中以标志点EA的连线为起始位置,采用逆时针弧形搜索的方式,根据设定区间内是否存在信息点确定,每个设定区间的编码值,360度遍历搜索后,得到所有信息点的解码值。
6.根据权利要求4所述的一种高精度近景摄影测量标志的编解码方法,其特征在于,S1中根据编码容量的需求,调整信息点编码区间的间隔密度、信息点的大小、一类标志点轮廓线和二类标志点轮廓线的尺寸,以此实现编码容量的匹配。
7.根据权利要求1所述的一种高精度近景摄影测量标志的编解码方法,其特征在于,S1中编码图像的预处理过程为:对输入的含编码标志的图像进行噪声处理、二值化处理、canny边缘检测算子等预处理操作,获得仅含有边缘信息的二值化图像。
8.根据权利要求1所述的一种高精度近景摄影测量标志的编解码方法,其特征在于,S2中轮廓清洗的过程为:根据直线剔除、尺寸准则、形状嵌套、最小二乘法椭圆拟合、形状准则原则,剔除仅含有边缘信息的二值化图像中包含直线、周长尺寸不符或形状不符的“杂质”轮廓,得到编码点的所有轮廓。
9.一种高精度近景摄影测量方法,其特征在于,包括以下步骤:
在待测量区域生成标志点,根据待编码信息在标志点附近生成信息点,通过标志点与信息点的组合构成完整的编码标志;
通过摄像设备获取含有编码标志的图像,使用权利要求1至8中任意一项所述解码方法对含有编码标志的图像进行解码;
基于解码结果得到各个标志点的中心坐标以及信息点的编码信息,根据标志点相互间的几何关系,对编码的中心点进行平差计算,以此精确化编码中心点坐标;
通过对EA、BA、DA直线角度的平差计算,获得编码角度;
根据已知标志点A和标志点B、C间的实际物理尺寸,根据摄影基础理论,推算得到编码的实际位移精度;
最终采用改进的傅立叶-梅林变换算法对两幅图像上编码标志点上发生的旋转尺度关系与平移量进行解算,得到解码信息即作为测量结果。
10.根据权利要求9所述的一种高精度近景摄影测量方法,其特征在于,所述编码的实际位移精度为1像素代表的实际物理尺寸。
CN202110719511.9A 2021-06-28 2021-06-28 高精度近景摄影测量标志的编解码方法和测量方法 Active CN113538483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110719511.9A CN113538483B (zh) 2021-06-28 2021-06-28 高精度近景摄影测量标志的编解码方法和测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110719511.9A CN113538483B (zh) 2021-06-28 2021-06-28 高精度近景摄影测量标志的编解码方法和测量方法

Publications (2)

Publication Number Publication Date
CN113538483A true CN113538483A (zh) 2021-10-22
CN113538483B CN113538483B (zh) 2022-06-14

Family

ID=78097018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110719511.9A Active CN113538483B (zh) 2021-06-28 2021-06-28 高精度近景摄影测量标志的编解码方法和测量方法

Country Status (1)

Country Link
CN (1) CN113538483B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731312A (zh) * 2022-11-03 2023-03-03 中国地质大学(武汉) 基于多特征松弛约束的环状编码标志点提取与识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103047943A (zh) * 2012-12-31 2013-04-17 吉林大学 基于单投射编码结构光的车门外板形状尺寸检测方法
WO2013076583A2 (en) * 2011-11-25 2013-05-30 Universite De Strasbourg Active vision method for stereo imaging system and corresponding system
WO2016026349A1 (zh) * 2014-08-20 2016-02-25 深圳大学 高鲁棒性的标志点解码方法及系统
CN108573511A (zh) * 2018-02-11 2018-09-25 湖南科技大学 点状分布合作编码标志及其识别定位方法
CN109190742A (zh) * 2018-08-23 2019-01-11 华中科技大学 一种基于灰度特征的编码特征点的解码方法
CN109186550A (zh) * 2018-07-20 2019-01-11 潘玥 一种可编码近景摄影测量标志的编码解码与测量方法
US20190080468A1 (en) * 2017-09-13 2019-03-14 National Tsing Hua University Positioning and measuring system based on image scale
CN111508534A (zh) * 2019-01-30 2020-08-07 中国科学院上海高等研究院 基于纳米光刻光盘的偏振平衡测量读取方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013076583A2 (en) * 2011-11-25 2013-05-30 Universite De Strasbourg Active vision method for stereo imaging system and corresponding system
CN103047943A (zh) * 2012-12-31 2013-04-17 吉林大学 基于单投射编码结构光的车门外板形状尺寸检测方法
WO2016026349A1 (zh) * 2014-08-20 2016-02-25 深圳大学 高鲁棒性的标志点解码方法及系统
US20190080468A1 (en) * 2017-09-13 2019-03-14 National Tsing Hua University Positioning and measuring system based on image scale
CN108573511A (zh) * 2018-02-11 2018-09-25 湖南科技大学 点状分布合作编码标志及其识别定位方法
CN109186550A (zh) * 2018-07-20 2019-01-11 潘玥 一种可编码近景摄影测量标志的编码解码与测量方法
CN109190742A (zh) * 2018-08-23 2019-01-11 华中科技大学 一种基于灰度特征的编码特征点的解码方法
CN111508534A (zh) * 2019-01-30 2020-08-07 中国科学院上海高等研究院 基于纳米光刻光盘的偏振平衡测量读取方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DALEI WANG: "Machine Vision-Based Monitoring Methodology", 《IEEE ACCESS》 *
张春森: "基于摄影测量视觉方法相似模拟试验自动监测研究", 《煤炭科学技术》 *
熊雪菲: "基于双目视觉测量系统的编码标志点的检测与重建", 《实验力学》 *
王达磊: "基于深度神经网络的锈蚀图像分割与定量分析", 《华南理工大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731312A (zh) * 2022-11-03 2023-03-03 中国地质大学(武汉) 基于多特征松弛约束的环状编码标志点提取与识别方法

Also Published As

Publication number Publication date
CN113538483B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
Shortis et al. Comparison of some techniques for the subpixel location of discrete target images
CN108921864B (zh) 一种光条中心提取方法及装置
CN106529550B (zh) 基于连通域分析的多维特征量提取方法及装置
EP2085928B1 (en) Detection of blobs in images
CN108764004B (zh) 一种基于编码环采样的环状编码标记点解码识别方法
CN109190742B (zh) 一种基于灰度特征的编码特征点的解码方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN111612850A (zh) 一种基于点云的猪只体尺参数测量方法
CN112486207A (zh) 一种基于视觉识别的无人机自主降落方法
CN107358628B (zh) 基于靶标的线阵图像处理方法
JP2014228357A (ja) ひび割れ検出方法
CN110660072A (zh) 一种直线边缘的识别方法、装置、存储介质及电子设备
CN109363770A (zh) 一种手术导航机器人标志点自动识别定位方法
CN114240845A (zh) 一种应用于切削工件的光切法表面粗糙度测量方法
CN113538483B (zh) 高精度近景摄影测量标志的编解码方法和测量方法
EP1519142A2 (en) Method and system for image processing for profiling with structured light
CN113298725B (zh) 一种轮船图标图像叠加误差的纠正方法
CN114485433A (zh) 基于伪随机散斑的三维测量系统、方法及装置
CN111667429B (zh) 一种巡检机器人目标定位校正方法
CN111292346B (zh) 一种噪声环境下浇铸箱体轮廓的检测方法
CN112651943A (zh) 一种三维影像标记点提取方法
JP3919722B2 (ja) 肌形状計測方法及び肌形状計測装置
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN115345850A (zh) 一种基于虚拟标尺的病灶尺寸识别方法、装置
CN113554688B (zh) 一种基于单目视觉的o型密封圈尺寸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant