CN112001850A - 一种基于图像金字塔结构的光缆检测图像增强方法 - Google Patents

一种基于图像金字塔结构的光缆检测图像增强方法 Download PDF

Info

Publication number
CN112001850A
CN112001850A CN201910444575.5A CN201910444575A CN112001850A CN 112001850 A CN112001850 A CN 112001850A CN 201910444575 A CN201910444575 A CN 201910444575A CN 112001850 A CN112001850 A CN 112001850A
Authority
CN
China
Prior art keywords
image
pyramid
filtering
layer
optical cable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910444575.5A
Other languages
English (en)
Other versions
CN112001850B (zh
Inventor
韦玮
马新华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910444575.5A priority Critical patent/CN112001850B/zh
Publication of CN112001850A publication Critical patent/CN112001850A/zh
Application granted granted Critical
Publication of CN112001850B publication Critical patent/CN112001850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像金字塔结构的光缆检测图像增强方法,所述方法包括如下步骤:首先构建引导滤波图像金字塔,然后根据引导滤波金字塔构建拉普拉斯金字塔,接着对拉普拉斯金字塔进行分层双边滤波,最终将滤波后的金字塔图像反向叠加回原图像。本方法很好的解决了在光缆图像采集过程中由光照度不均匀带来的光缆图像噪声,同时增强光缆的暗部细节,并且计算更为简单,在保证光缆图像的预处理效果的同时,也可以保证图像预处理的实时性。本发明的算法对图像细节增强具有通用性,算法性能优越,计算简单,适用于各种实时性要求高的机器视觉系统。

Description

一种基于图像金字塔结构的光缆检测图像增强方法
技术领域
本发明涉及一种基于图像金字塔结构的光缆检测图像增强方法,属于图像处理技术领域。
背景技术
随着时代的发展,人们对通信的速度要求越来越高,随着各大运营商实施光纤到户战略,光缆的发展速度也随之加快。据统计,在2016年,我国光缆需求就达到了2.4亿公里,占据全球总需量的57%。光缆表面作为光缆的重要组成部分之一,其质量的检测一直是光缆生产商关注的重点。
对于光缆外观缺陷的检测,国内生产企业一般是靠人工观察,其缺点是:1检测速率低;2光缆的生产速度最大可达5米每秒,且光缆需要360度进行检测。3根据企业调研得知,一批光缆的生产完成需要机器连续运作5至10天,人工无法负担如此强度的工作。有人提出用基于计算机的机器视觉系统来解决光缆表面缺陷检测,这确实是一个可行的办法,但是并不是最好的。据企业调研得知,就目前的光缆生产速度而言,想要达到实时检测光缆这一要求,每秒钟需处理300幅可见光图像,普通计算机无法达到这一速度,且连续长时间的高负荷计算,普通计算机无法保持稳定的工作状态。
基于机器视觉的系统,高质量的图像是提高系统品质的关键环节。想要准确无误的识别出光缆的瑕疵,必需获取高质量的光缆图像。但是在光缆的制造和生产过程中,工业相机不可避免的被外界因素与自身性能的干扰,造成采集的光缆图像可能会干扰后续系统对瑕疵的分析处理。所以,我们有必要对光缆原始图像进行预处理。
光缆图像的不清晰是由于光源性能问题致使光缆表面光照度不均匀;其次是光缆图像表面暗部的细节不明显,容易造成误判。基于光照度不均匀,常用的图像预处理算法有基于灰度变换的直方图均衡法、基于频域变换的同态滤波法以及基于高斯滤波的Retinex法。但是针对以上几种算法,无论从效果,还是实时性方面,都没有达到光缆缺陷检测系统的要求,所以设计了一个新的图像细节增强算法来抑制由光照度不均匀带来的图像噪声,同时增强光缆的暗部细节是十分有必要。
发明内容
本发明的目的在于提供一种基于图像金字塔结构的光缆检测图像增强方法,以解决现有技术中导致的上述多项缺陷或缺陷之一。
一种基于图像金字塔结构的光缆检测图像增强方法,所述方法包括如下步骤:
构建引导滤波图像金字塔G1,G2,G3,G4
构建拉普拉斯图像金字塔LP1,LP2,LP3
对拉普拉斯图像金字塔进行双边滤波LP′1,LP′2,LP′3
将滤波后的金字塔图像反向叠加回原图像。
优选的,所述引导滤波图像金字塔构建包括如下步骤:
将光缆原始图像作为引导滤波金字塔的第一层G1
将引导滤波金字塔的第一层经过引导滤波,然后对图像进行下采样,即删除图像矩阵偶数行与列,得到第二层的引导滤波金字塔图像G2
将引导滤波金字塔的第二层经过引导滤波,然后对图像进行下采样,得到第三层的引导滤波金字塔图像G3
将引导滤波金字塔的第三层经过引导滤波,然后对图像进行下采样,得到第四层的引导滤波金字塔图像G4
优选的,所述引导滤波包括以下步骤:
构造引导滤波函数,引导滤波函数的输出与输入满足二维窗口的线性关系:
Figure BDA0002073212370000021
其中,q是输出像素的值,I是输入图像的值,i和k是像素索引,a和b是当窗口中心位于k时该线性函数的系数;
求出线性函数的系数;
Figure BDA0002073212370000031
经过最小二乘法求解可得:
Figure BDA0002073212370000032
其中,|w|为窗口内总像素数;μk和σk 2分别是引导图像Ik在窗口wk内的均值和方差,
Figure BDA0002073212370000033
为窗口中输入图像P的均值,ε是图像的自适应系数;
计算每个窗口的线性系数时,将线性函数值进行平均:
Figure BDA0002073212370000034
其中
Figure BDA0002073212370000035
为多个线性窗口下的线性函数的系数值。
优选的,所述拉普拉斯图像金字塔构建方法包括如下步骤:
将引导滤波金字塔的第二层上采样后经过高斯滤波得到图像G′2
将引导滤波金字塔的第一层减去G′2,得到拉普拉斯金字塔的第一层LP1
将引导滤波金字塔的第三层上采样后经过高斯滤波,得到图像G′3
将引导滤波金字塔的第二层减去G′3,得到拉普拉斯金字塔的第二层LP2
将引导滤波金字塔的第四层上采样后经过高斯滤波,得到图像G′4
将引导滤波金字塔的第三层减去G′4,得到拉普拉斯金字塔的第三层LP3
优选的,所述高斯滤波的具体步骤如下:
确定高斯核函数的窗口大小,根据光缆图像采集系统特性,确认标准差为1,比例系数为1/273的高斯核函数作为滤波窗口;
Figure BDA0002073212370000036
移动高斯核的中心元素,使它位于输入图像待处理像素的正上方;将输入图像的像素值作为权重,乘以高斯核,结果为输出像素值。
优选的,所述双边滤波去除包括如下步骤:
确定双边滤波器的空间邻近度因子,亮度相似因子;
Figure BDA0002073212370000041
Figure BDA0002073212370000042
其中f(x,y)为滤波窗口中心像素值,f(i,j)为邻域像素值,亮度相似因子中的δr为灰度差值的标准方差;δd是空间距离的标准方差,当δd越大时,图像平滑效果越好;d为间邻近度因子,r亮度相似因子;
将当前模板内像素分别与加权权重因子进行卷积运算,之后进行加权平均后得到模板中心点输出像素值fBF(x,y);即:
Figure BDA0002073212370000043
优选的,所述反向叠加的方法包括如下步骤:
将LP′3上采样得到上采样图片,再与LP′2相加得到LP″2
将LP″2上采样得到上采样图片,再与LP′1相加得到LP″1
将LP″1叠加回原图像的能量层,得到细节增强图像。
与现有技术相比,本发明所达到的有益效果:
1、本发明根据光缆原始图像的特性,将引导滤波算法与拉普拉斯金字塔算法结合,其中引导滤波有效的将光缆原始图像的能量层和细节层分开,双边滤波平滑了由光照度均匀导致的光缆原始图像中出现的噪声,并且极大限度的增强了光缆暗部的缺陷细节,对后期的光缆缺陷检测起到了极大的助力。
2、本发明的与传统的图像预处理算法相比,保留了光缆原始图像更多的细节信息,其可靠性,重复性,适应性更强。与灰度变换的直方图均衡法相比,本发明降低了由光照度不均匀导致的光缆表面的明暗变化,提高了检测的灵敏度,本发明的算法计算更为简单,在保证光缆图像的预处理效果的同时,也可以保证图像预处理的实时性。
3、本发明的算法对图像细节增强具有通用性,经测试,算法性能优越,计算简单,适用于各种实时性要求高的机器视觉系统。
附图说明
图1本发明的改进的拉普拉斯金字塔算法分层图
图2光缆原始图像
图3金字塔图
图4拉普拉斯金字塔图
图5拉普拉斯金字塔第一层图像双边滤波效果图(a.拉普拉斯金字塔第一层图像.b.双边滤波效果图)
图6经过本发明算法细节增强对比图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
如图1-图6所示,公开了一种基于图像金字塔结构的光缆检测图像增强方法,所述方法包括如下步骤:
(1)构建引导滤波图像金字塔G1,G2,G3,G4
(2)构建拉普拉斯图像金字塔LP1,LP2,LP3.
(3)对拉普拉斯图像金字塔进行双边滤波LP′1,LP′2,LP′3
(4)将滤波后的金字塔图像反向叠加回原图像。
在本实施例中,引导滤波图像金字塔的具体构建方法如下:
将光缆原始图像作为引导滤波金字塔的第一层G1
将引导滤波金字塔的第一层经过引导滤波,然后对图像进行下采样,即删除图像矩阵偶数行与列,得到第二层的引导滤波金字塔图像G2
将引导滤波金字塔的第二层经过引导滤波,然后对图像进行下采样,得到第三层的引导滤波金字塔图像G3
将引导滤波金字塔的第三层经过引导滤波,然后对图像进行下采样,得到第四层的引导滤波金字塔图像G4
在本实施例中,引导滤波图像金字塔构建包括如下步骤:
将光缆原始图像作为引导滤波金字塔的第一层G1
将引导滤波金字塔的第一层经过引导滤波,然后对图像进行下采样,即删除图像矩阵偶数行与列,得到第二层的引导滤波金字塔图像G2
将引导滤波金字塔的第二层经过引导滤波,然后对图像进行下采样,得到第三层的引导滤波金字塔图像G3
将引导滤波金字塔的第三层经过引导滤波,然后对图像进行下采样,得到第四层的引导滤波金字塔图像G4
在本实施例中,第一步,构造引导滤波函数,引导滤波函数的输出与输入满足二维窗口的线性关系:
Figure BDA0002073212370000064
其中,q是输出像素的值,I是输入图像的值,i和k是像素索引,a和b是当窗口中心位于k时该线性函数的系数;
第二步,求出线性函数的系数;也就是线性回归,即希望拟合函数的输出值q与真实值p之间的差距最小,转化为最优化问题,也就是让损耗最小:
Figure BDA0002073212370000061
经过最小二乘法求解可得:
Figure BDA0002073212370000062
其中,|w|为窗口内总像素数;μk和σk 2分别是引导图像Ik在窗口wk内的均值和方差,
Figure BDA0002073212370000063
为窗口中输入图像P的均值,ε是图像的自适应系数;
第三步,再计算每个窗口的线性系数时,一个像素会被多个窗口包含,也就是说,每个像素都由多个线性函数所描述。具体到某一点,将线性函数值进行平均:
Figure BDA0002073212370000071
其中
Figure BDA0002073212370000072
为多个线性窗口下的线性函数的系数值。
在本实施例中,拉普拉斯金字塔的具体构建方法如下:
将引导滤波金字塔的第二层上采样后经过高斯滤波得到图像G′2
将引导滤波金字塔的第一层减去G′2,得到拉普拉斯金字塔的第一层LP1
将引导滤波金字塔的第三层上采样后经过高斯滤波,得到图像G′3
将引导滤波金字塔的第二层减去G′3,得到拉普拉斯金字塔的第二层LP2
将引导滤波金字塔的第四层上采样后经过高斯滤波,得到图像G′4
将引导滤波金字塔的第三层减去G′4,得到拉普拉斯金字塔的第三层LP3
在本实施例中,高斯滤波的具体步骤如下:
确定高斯核函数的窗口大小:根据光缆图像采集系统特性,确认标准差为1,比例系数为1/273的高斯核函数作为滤波窗口;
Figure BDA0002073212370000073
移动高斯核的中心元素,使它位于输入图像待处理像素的正上方;将输入图像的像素值作为权重,乘以高斯核,结果为输出像素值。
在本实施例中,双边滤波的图像处理方法如下:
确定双边滤波器的空间邻近度因子,亮度相似因子;
Figure BDA0002073212370000074
Figure BDA0002073212370000075
其中f(x,y)为滤波窗口中心像素值,f(i,j)为邻域像素值,亮度相似因子中的δr为灰度差值的标准方差;δd是空间距离的标准方差,当δd越大时,图像平滑效果越好;d为间邻近度因子,r亮度相似因子。
计算双边滤波器的权重因子
Figure BDA0002073212370000081
其中,w为综合计算两个因子得出的加权权重因子;
将当前模板内像素分别与加权权重因子进行卷积运算,之后进行加权平均后得到模板中心点输出像素值fBF(x,y);即:
Figure BDA0002073212370000082
在本实施例中,反向叠加的具体处理方法如下:
将LP′3上采样得到上采样图片,再与LP′2相加得到LP″2
将LP″2上采样得到上采样图片,再与LP′1相加得到LP″1
将LP″1叠加回原图像的能量层,得到细节增强图像。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于图像金字塔结构的光缆检测图像增强方法,其特征在于,所述方法包括如下步骤:
构建引导滤波图像金字塔G1,G2,G3,G4
构建拉普拉斯图像金字塔LP1,LP2,LP3
对拉普拉斯图像金字塔进行双边滤波LP′1,LP′2,LP′3
将滤波后的金字塔图像反向叠加回原图像。
2.根据权利要求1所述的基于图像金字塔结构的光缆检测图像增强方法,其特征在于,所述引导滤波图像金字塔构建包括如下步骤:
将光缆原始图像作为引导滤波金字塔的第一层G1
将引导滤波金字塔的第一层经过引导滤波,然后对图像进行下采样,即删除图像矩阵偶数行与列,得到第二层的引导滤波金字塔图像G2
将引导滤波金字塔的第二层经过引导滤波,然后对图像进行下采样,得到第三层的引导滤波金字塔图像G3
将引导滤波金字塔的第三层经过引导滤波,然后对图像进行下采样,得到第四层的引导滤波金字塔图像G4
3.根据权利要求2所述的基于图像金字塔结构的光缆检测图像增强方法,其特征在于,所述引导滤波包括以下步骤:
构造引导滤波函数,引导滤波函数的输出与输入满足二维窗口的线性关系:
Figure FDA0002073212360000011
其中,q是输出像素的值,I是输入图像的值,i和k是像素索引,a和b是当窗口中心位于k时该线性函数的系数;
求出线性函数的系数;
Figure FDA0002073212360000012
经过最小二乘法求解可得:
Figure FDA0002073212360000013
其中,|w|为窗口内总像素数;μk和σk 2分别是引导图像Ik在窗口wk内的均值和方差,
Figure FDA0002073212360000021
为窗口中输入图像P的均值,ε是图像的自适应系数;
计算每个窗口的线性系数时,将线性函数值进行平均:
Figure FDA0002073212360000022
其中
Figure FDA0002073212360000023
为多个线性窗口下的线性函数的系数值。
4.根据权利要求2所述的基于图像金字塔结构的光缆检测图像增强方法,其特征在于,所述拉普拉斯图像金字塔构建方法包括如下步骤:
将引导滤波金字塔的第二层上采样后经过高斯滤波得到图像G'2
将引导滤波金字塔的第一层减去G'2,得到拉普拉斯金字塔的第一层LP1
将引导滤波金字塔的第三层上采样后经过高斯滤波,得到图像G'3
将引导滤波金字塔的第二层减去G'3,得到拉普拉斯金字塔的第二层LP2
将引导滤波金字塔的第四层上采样后经过高斯滤波,得到图像G'4
将引导滤波金字塔的第三层减去G'4,得到拉普拉斯金字塔的第三层LP3
5.根据权利要求4所述的基于图像金字塔结构的光缆检测图像增强方法,其特征在于,所述高斯滤波包括如下步骤:
确定高斯核函数的窗口大小,根据光缆图像采集系统特性,确认标准差为1,比例系数为1/273的高斯核函数作为滤波窗口;
Figure FDA0002073212360000024
移动高斯核的中心元素,使它位于输入图像待处理像素的正上方;将输入图像的像素值作为权重,乘以高斯核,结果为输出像素值。
6.根据权利要求1所述的基于图像金字塔结构的光缆检测图像增强方法,其特征在于,所述双边滤波去除包括如下步骤:
确定双边滤波器的空间邻近度因子,亮度相似因子;
Figure FDA0002073212360000025
Figure FDA0002073212360000031
其中f(x,y)为滤波窗口中心像素值,f(i,j)为邻域像素值,亮度相似因子中的δr为灰度差值的标准方差;δd是空间距离的标准方差,当δd越大时,图像平滑效果越好;d为间邻近度因子,r亮度相似因子。
计算双边滤波器的权重因子
Figure FDA0002073212360000032
其中,w为综合计算两个因子得出的加权权重因子;
将当前模板内像素分别与加权权重因子进行卷积运算,之后进行加权平均后得到模板中心点输出像素值fBF(x,y);即:
Figure FDA0002073212360000033
7.根据权利要求1所述的基于图像金字塔结构的光缆检测图像增强方法,其特征在于,所述反向叠加的方法包括如下步骤:
将LP'3上采样得到上采样图片,再与LP'2相加得到LP”2
将LP”2上采样得到上采样图片,再与LP'1相加得到LP”1
将LP”1叠加回原图像的能量层,得到细节增强图像。
CN201910444575.5A 2019-05-27 2019-05-27 一种基于图像金字塔结构的光缆检测图像增强方法 Active CN112001850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910444575.5A CN112001850B (zh) 2019-05-27 2019-05-27 一种基于图像金字塔结构的光缆检测图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910444575.5A CN112001850B (zh) 2019-05-27 2019-05-27 一种基于图像金字塔结构的光缆检测图像增强方法

Publications (2)

Publication Number Publication Date
CN112001850A true CN112001850A (zh) 2020-11-27
CN112001850B CN112001850B (zh) 2022-08-16

Family

ID=73461815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910444575.5A Active CN112001850B (zh) 2019-05-27 2019-05-27 一种基于图像金字塔结构的光缆检测图像增强方法

Country Status (1)

Country Link
CN (1) CN112001850B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170054910A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshhiba Image processing apparatus and image capturing apparatus
CN106934820A (zh) * 2017-03-17 2017-07-07 南昌航空大学 基于引导滤波的图像序列金字塔分层光流计算方法
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170054910A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshhiba Image processing apparatus and image capturing apparatus
CN106934820A (zh) * 2017-03-17 2017-07-07 南昌航空大学 基于引导滤波的图像序列金字塔分层光流计算方法
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法

Also Published As

Publication number Publication date
CN112001850B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
Park et al. Single image dehazing with image entropy and information fidelity
WO2018040118A1 (zh) 一种基于GPU的TFT-LCD Mura缺陷检测的方法
Tripathi et al. Single image fog removal using bilateral filter
CN111986120A (zh) 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法
CN105046653B (zh) 一种视频雨滴去除方法及系统
CN112132196B (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
WO2021114564A1 (zh) 一种低对比度红外图像的增强方法
Wang et al. Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex
CN114677336B (zh) 一种基于红外图像的幕墙面板损伤识别方法
CN115034997A (zh) 图像处理方法及装置
CN111563866A (zh) 一种多源遥感图像融合方法
Khan et al. Deep image enhancement for ill light imaging
Wang et al. Single-image dehazing using color attenuation prior based on haze-lines
Mao et al. Clarity method of fog and dust image in fully mechanized mining face
CN117830134A (zh) 基于混合滤波分解和图像融合的红外图像增强方法及系统
CN112001850B (zh) 一种基于图像金字塔结构的光缆检测图像增强方法
CN117058505A (zh) 一种基于空间梯度引导网络的可见光与红外图像融合方法
CN104063851A (zh) 一种基于Retinex的工业透明薄膜包装检测方法
Zhang et al. A LCD screen Mura defect detection method based on machine vision
Song et al. End-to-end dehazing of traffic sign images using reformulated atmospheric scattering model
Zhou et al. Low‐light image enhancement for infrared and visible image fusion
CN113160066A (zh) 一种低照度图像高效增强方法
Zhang et al. Application of Machine Vision Technology in 3D Printing Quality Inspection System
CN114757892B (zh) 基于人工智能的透视材料缺陷检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant