CN105005985A - 背光图像微米级边缘检测方法 - Google Patents

背光图像微米级边缘检测方法 Download PDF

Info

Publication number
CN105005985A
CN105005985A CN201510346921.8A CN201510346921A CN105005985A CN 105005985 A CN105005985 A CN 105005985A CN 201510346921 A CN201510346921 A CN 201510346921A CN 105005985 A CN105005985 A CN 105005985A
Authority
CN
China
Prior art keywords
mrow
mover
mtd
overbar
msup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510346921.8A
Other languages
English (en)
Other versions
CN105005985B (zh
Inventor
赵文辉
赵文珍
段振云
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Technology
Original Assignee
Shenyang University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Technology filed Critical Shenyang University of Technology
Priority to CN201510346921.8A priority Critical patent/CN105005985B/zh
Publication of CN105005985A publication Critical patent/CN105005985A/zh
Application granted granted Critical
Publication of CN105005985B publication Critical patent/CN105005985B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

背光图像微米级边缘检测方法属于高精度检测技术领域,尤其涉及一种背光图像微米级边缘检测方法。本发明提供一种曲面拟合精度高、抗干扰的背光图像微米级边缘检测方法。本发明包括以下步骤:1)结合点扩散函数和单边阶跃模型,构建背光图像阶跃边缘法平面截线正态分布函数模型;背光源边缘检测图像的前景和背景为常量P1、P2,背景与前景的灰度差为g=P2-P1,灰度曲面过边缘法平面的截线为正态分布函数(高斯积分)曲线:图像边缘点过曲线的中心点在图像平面的投影,或t-μ=0。

Description

背光图像微米级边缘检测方法
技术领域
本发明属于高精度检测技术领域,尤其涉及一种背光图像微米级边缘检测方法。
背景技术
机器视觉测量系统集光学、传感器、图像处理和模式识别等多领域多学科的关键技术于一体,在非接触高速在线测量领域应用广泛。本发明利用机器视觉和数字图像处理技术,针对背光数字图像,建立法向正态概率分布曲线图像边缘灰度曲面模型,用最小二乘法求取拟合曲面四个系数,得到微米级亚像素边缘。
专利申请号:2011104481191,名称为“一种彩色图像边缘检测方法”,将彩色图像分解到红色、绿色、蓝色和黄色四个通道图像,分别计算红绿、蓝黄拮抗图像,并在拮抗图像上计算得到边缘信息分布图像,通过调节计算生成颜色拮抗图像过程中引入的两组拮抗权重因子,调节图像中颜色边缘和亮度边缘的强度,实现边缘检测。
专利申请号:2011100826554,名称为“一种图像边缘检测的方法”,在利用摄像机获得一幅图像后,首先用一种在12邻域像素内计算x方向和y方向一阶偏导数差分的方法计算梯度幅值和方向,抑制图像中的噪声并且避免图像的边缘模糊。再建立灰度共生矩阵逆差矩特征值和高斯空间系数及阈值之间的映射关系,自适应地改变高斯空间系数和边缘检测的高低阈值,确保了图像边缘点的连续提取。最后根据“非局部最大值抑制”原理检测图像边缘点,提高了图像边缘检测的精确度。
专利申请号:2008102323401,名称为“基于Fast Slant Stack变换的图像边缘检测方法”。其过程为:根据滑动窗大小和重叠度对图像分块,每次检测提取一个小图像块,根据其灰度均方差判断块中是否存在边缘,对存在边缘的图像块做Fast Slant Stack变换,并对变换结果的零值区域进行填充;对填充后的图像块做二进小波变换,搜索变换后小波域系数极大值,并根据极大值所处的位置用基于共轭梯度法的Fast Slant Stack逆变换重构空域中的图像,存放到输出矩阵中对应的位置。
专利申请号:2010102516986,名称为“一种基于数学形态学的图像边缘检测方法”,采用不同尺度的结构元素对图像进行形态学处理,获取边缘信息图像,然后对边缘信息图像进行加权合并,获取总边缘信息图像,最后对总边缘信息图像的边缘点进行细化和阈值分割,得到最终的二值边缘图像。
专利申请号:2008101877316,名称为“一种基于Bayer RGB的图像边缘检测方法”,以目标像素点为中心,生成3x3邻域的Bayer RGB像素点矩阵,分别对该矩阵中各像素点,应用检测算子进行梯度运算,得到各像素点的梯度幅值以及梯度角度。然后采用双阈值判定和相邻像素点梯度比较,判定是否为边缘点。免除了像素点的灰度计算,适用于对CMOS图像传感器所得的原始图像直接进行边缘检测。
专利申请号:2007101787372,名称为“一种基于阈值分割的图像边缘检测方法”。利用图像中像素邻域的灰度值均值统计信息作为该点阈值设置的标准,并引入该点邻域内像素灰度值方差作为附加判断条件,从而实现综合考虑区域信息的全局二值化,使提取出来的目标点是图像的边缘。根据不同的需要来选择不同大小的结构元素。对每一个像素都给定一个阈值,从而实现综合考虑区域信息的全局二值化。
专利申请号:2014104698402,名称为“一种基于机器视觉的快速亚像素边缘检测与定位方法”,包括以下步骤:获取检测图像;图像去噪预处理:计算每个像素点水平方向上的梯度Gx和垂直方向上的梯度Gy;计算每个像素点极坐标下的梯度幅值G0和梯度方向Gθ;确定每个像素点的邻域像素点;确定像素级边缘点;计算每个像素级边缘点在8分梯度方向上的亚像素边缘点到该像素级边缘点的距离;计算实际梯度方向Gθ上的亚像素边缘点到像素级边缘点的距离d;采用余弦查找表法计算其实际梯度方向Gθ上的亚像素边缘点的直角坐标,进而实现图像边缘点的检测和亚像素级定位。
以上发明基于机器视觉和图像处理技术,利用颜色、数学形态学、阀值法、梯度法等方法,检测数字图像中的像素级和亚像素级边缘。这些方法适用于正面照明图像,都不适用于背光图像的微米级边缘检测。
发明内容
本发明就是针对上述问题,提供一种曲面拟合精度高、抗干扰的背光图像微米级边缘检测方法。
为实现上述目的,本发明采用如下技术方案,本发明包括以下步骤:
1)结合点扩散函数和单边阶跃模型,构建背光图像阶跃边缘法平面截线正态分布函数模型;
背光源边缘检测图像的前景和背景为常量P1、P2,背景与前景的灰度差为
g=P2-P1
灰度曲面过边缘法平面的截线为正态分布函数(高斯积分)曲线:
p = g 2 π σ ∫ - ∞ R e - 1 2 σ 2 ( t - μ ) 2 d t
图像边缘点过曲线的中心点在图像平面的投影,或t-μ=0。
2)过渡带离散点曲面拟合求解
μ,σ沿边缘线S方向在邻域内呈线性变化
μs=μ0+ks   (1)
σs=σ0+ls   (2)
查标准正态分布表得到
t - μ σ = z
将(1)、(2)式代入,得
t-μ0-ks=a(σ0+ls)
用最小二乘法求取拟合曲面四个系数μ0、σ0、k、l,使
Σ i = 1 n ( t i - μ 0 - σ 0 z i - ks i - lz i s i ) 2 = Σ i = 1 n ϵ i 2 = E
趋于最小,使
∂ E ∂ μ 0 = 0 ; ∂ E ∂ σ 0 = 0 ; ∂ E ∂ k = 0 ; ∂ E ∂ 1 = 0
1 z ‾ s ‾ z s ‾ z ‾ z 2 ‾ z s ‾ z 2 s ‾ s ‾ z s ‾ s 2 ‾ zs 2 ‾ z s ‾ z 2 s ‾ zs 2 ‾ z 2 s 2 ‾ μ 0 σ 0 k l - t ‾ a t ‾ s t ‾ z s t ‾ = 0 - - - ( 3 )
其中,(即上方带横杠的标识)表示平均值;
3)分段提取边缘曲面亚像素边缘
在图像平面内建立边缘曲线活动坐标系;以像素级别的粗边界曲线方向为活动坐标系的一个坐标,以曲线弧长作为其坐标值;以粗边界曲线的法线方向为活动坐标系的另一个坐标,以点到曲线的法向距离作为其坐标值;以计算点为中心选取曲面拟合区域;在边缘法线方向上,区域包含边缘过渡区和前景与背景图像部分;将选取区域内点的图像坐标转换为边缘曲线的活动坐标,得到ti、si及相应的灰度值pi;根据pi/g查标准正态分布表,得到ai;求得μ0,即边缘到粗边界曲线的法向距离,得到精确的边缘曲线。
作为一种优选方案,本发明还包括步骤4)背光源检测图像边缘时,图像边缘清晰,边缘过渡带窄,将μ,σ在邻域内作为常量,即
μs=μ0   (4)
σs=σ0   (5)
简化计算
μ 0 = t ‾ - z ‾ t ‾ z ‾ - t z ‾ z ‾ z ‾ - Z z ‾ - - - ( 6 ) .
作为另一种优选方案,本发明所述步骤3)选取区域为背光图像边缘过渡带宽度的10至20倍。
其次,本发明所述步骤4)边缘过渡带为3-4个像素。
本发明有益效果。
(1)针对背光图像,构建了阶跃边缘法平面截线正态分布函数模型,并给出了微米级亚像素边缘定位方法的完整步骤。本方法属于曲面拟合,具有曲面拟合精度高,抗干扰的优点。
(2)曲面拟合时,采用的不是行列方向的邻域点,而是切线和法线方向的过渡带数据点,提高了精度。曲面切向和法向分离,减少了计算复杂度。单纯的曲面拟合算法,仅仅减少了噪声的影响,本方法将离散点纠正到理论曲面上,极大地消除了噪声影响。
(3)对量块边缘的检测表明,直线度误差在±1.5μm以内。因此,本方法能有效应用于机械零件轮廓几何量精度的微米级测量,尤其适用于孔径、中心距等的测量。
(4)简化计算,求解速度快。
附图说明
下面结合附图和具体实施方式对本发明做进一步说明。本发明保护范围不仅局限于以下内容的表述。
图1背光图像边缘灰度特征。
灰度曲面,以图像行列为水平坐标,灰度值为高度坐标。由于是远心镜头和平行光源组成系统所拍摄的图片,边缘尖锐清晰,过渡带约为2-3个像素,每个像素对应实际尺寸约为20μm。
图2是阶跃边缘法平面截线正态分布函数模型。
R为法截面上,拟合边界到实际点平均值的距离,计算出的边界亚像素位置为
具体实施方式
如图所示,本发明包括以下步骤:
1、结合点扩散函数和单边阶跃模型,构建背光图像阶跃边缘法平面截线正态分布函数模型。
背光源边缘检测图像的前景和背景为常量P1、P2,如附图1所示,背景与前景的灰度差为
g=P2-P1
灰度曲面过边缘法平面的截线为正态分布函数(高斯积分)曲线:
p = g 2 π σ ∫ - ∞ R e - 1 2 σ 2 ( t - μ ) 2 d t
图像边缘点过曲线的中心点在图像平面的投影,(或t-μ=0)
2、过渡带离散点曲面拟合求解
为了简化曲面模型,使μ,σ沿边缘线S方向在微小邻域内呈线性变化
μs=μ0+ks   (1)
σs=σ0+ls   (2)
查标准正态分布表可以得到
t - μ σ = z
将(1)、(2)式代入,得
t-μ0-ks=a(σ0+ls)
用最小二乘法求取拟合曲面四个系数μ0、σ0、k、l,使
Σ i = 1 n ( t i - μ 0 - σ 0 z i - ks i - lz i s i ) 2 = Σ i = 1 n ϵ i 2 = E
趋于最小,则应使
∂ E ∂ μ 0 = 0 ; ∂ E ∂ σ 0 = 0 ; ∂ E ∂ k = 0 ; ∂ E ∂ 1 = 0
可得
1 z ‾ s ‾ z s ‾ z ‾ z 2 ‾ z s ‾ z 2 s ‾ s ‾ z s ‾ s 2 ‾ zs 2 ‾ z s ‾ z 2 s ‾ zs 2 ‾ z 2 s 2 ‾ μ 0 σ 0 k l - t ‾ a t ‾ s t ‾ z s t ‾ = 0 - - - ( 3 )
其中,表示平均值。
3、分段提取边缘曲面亚像素边缘
在图像平面内建立边缘曲线活动坐标系。以像素级别的粗边界曲线方向为活动坐标系的一个坐标,以曲线弧长作为其坐标值;以粗边界曲线的法线方向为活动坐标系的另一个坐标,以点到曲线的法向距离作为其坐标值。以计算点为中心选取曲面拟合区域。在边缘法线方向上,区域必须包含边缘过渡区和前景与背景图像部分。将选取区域内点的图像坐标转换为边缘曲线的活动坐标,得到ti、si及相应的灰度值pi。根据pi/g查标准正态分布表,可得到ai。求得μ0,即边缘到粗边界曲线的法向距离,从而,可得到精确的边缘曲线。
4、背光源检测图像边缘时,图像边缘清晰,边缘过渡带窄(3-4个像素),将μ,σ在微小邻域内近似为常量,即
μs=μ0   (4)
σs=σ0   (5)
因此,可以简化计算
μ 0 = t ‾ - z ‾ t ‾ z ‾ - t z ‾ z ‾ z ‾ - Z z ‾ - - - ( 6 )
下面结合附图说明本发明的检测过程。
(1)在图像平面内建立边缘曲线活动坐标系。以像素级别的粗边界曲线方向为活动坐标系的一个坐标,以曲线弧长作为其坐标值;以粗边界曲线的法线方向活动坐标系的另一个坐标,以点到曲线的法向距离作为其坐标值。
(2)以计算点为中心,根据过渡带宽度选取曲面拟合区域。在边缘法线方向上,区域必须包含边缘过渡区和前景与背景图像部分。为了减小计算量,应控制前景和背景图形范围为最小;在边缘方向上选取范围,应既能够达到足够的拟合精度,又能够尽量减小计算量,一般取边缘过渡带宽度的10至20倍。背光图像的过渡带宽度一般在3-5像素之间,比如过渡带宽度为4个像素,则合理的曲面拟合区域参数为宽度方向(t)取8像素,边缘方向(s)取45像素。
(3)将选取区域内点的图像坐标转换为边缘曲线的活动坐标,得到ti、si及相应的灰度值pi
(4)根据pi/g查标准正态分布表,可得到ai
(5)由(3)式可求得μ0,即边缘到粗边界曲线的法向距离,从而,可得到精确的边缘曲线。
可以理解的是,以上关于本发明的具体描述,仅用于说明本发明而并非受限于本发明实施例所描述的技术方案,本领域的普通技术人员应当理解,仍然可以对本发明进行修改或等同替换,以达到相同的技术效果;只要满足使用需要,都在本发明的保护范围之内。

Claims (4)

1.背光图像微米级边缘检测方法,其特征在于包括以下步骤:
1)结合点扩散函数和单边阶跃模型,构建背光图像阶跃边缘法平面截线正态分布函数模型;
背光源边缘检测图像的前景和背景为常量P1、P2,背景与前景的灰度差为
g=P2-P1
灰度曲面过边缘法平面的截线为正态分布函数(高斯积分)曲线:
p = g 2 π σ ∫ - ∞ R e - 1 2 σ 2 ( t - μ ) 2 d t
图像边缘点过曲线的中心点在图像平面的投影,或t-μ=0;
2)过渡带离散点曲面拟合求解
μ,σ沿边缘线S方向在邻域内呈线性变化
μs=μ0+ks   (1)
σs=σ0+ls   (2)
查标准正态分布表得到
t - μ σ = z
将(1)、(2)式代入,得
t-μ0-ks=a(σ0+ls)
用最小二乘法求取拟合曲面四个系数μ0、σ0、k、l,使
Σ i = 1 n ( t i - μ 0 - σ 0 z i - ks i - lz i s i ) 2 = Σ i = 1 n ϵ i 2 = E
趋于最小,使
∂ E ∂ μ 0 = 0 ; ∂ E ∂ σ 0 = 0 ; ∂ E ∂ k = 0 ; ∂ E ∂ 1 = 0
1 z ‾ s ‾ z s ‾ z ‾ z 2 ‾ z s ‾ z 2 s ‾ s ‾ z s ‾ s 2 ‾ zs 2 ‾ z s ‾ z 2 s ‾ zs 2 ‾ z 2 s 2 ‾ μ 0 σ 0 k 1 - t ‾ a t ‾ s t ‾ z s t ‾ = 0 - - - ( 3 )
其中,表示平均值;
3)分段提取边缘曲面亚像素边缘
在图像平面内建立边缘曲线活动坐标系;以像素级别的粗边界曲线方向为活动坐标系的一个坐标,以曲线弧长作为其坐标值;以粗边界曲线的法线方向为活动坐标系的另一个坐标,以点到曲线的法向距离作为其坐标值;以计算点为中心选取曲面拟合区域;在边缘法线方向上,区域包含边缘过渡区和前景与背景图像部分;将选取区域内点的图像坐标转换为边缘曲线的活动坐标,得到ti、si及相应的灰度值pi;根据pi/g查标准正态分布表,得到ai;求得μ0,即边缘到粗边界曲线的法向距离,得到精确的边缘曲线。
2.根据权利要求1所述背光图像微米级边缘检测方法,其特征在于还包括步骤4)背光源检测图像边缘时,图像边缘清晰,边缘过渡带窄,将μ,σ在邻域内作为常量,即
μs=μ0   (4)
σs=σ0   (5)
简化计算
μ 0 = t ‾ - z ‾ t ‾ z ‾ - t z ‾ z ‾ z ‾ - z 2 ‾ - - - ( 6 ) .
3.根据权利要求1所述背光图像微米级边缘检测方法,其特征在于所述步骤3)选取区域为背光图像边缘过渡带宽度的10至20倍。
4.根据权利要求2所述背光图像微米级边缘检测方法,其特征在于所述步骤4)边缘过渡带为3-4个像素。
CN201510346921.8A 2015-06-19 2015-06-19 背光图像微米级边缘检测方法 Expired - Fee Related CN105005985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510346921.8A CN105005985B (zh) 2015-06-19 2015-06-19 背光图像微米级边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510346921.8A CN105005985B (zh) 2015-06-19 2015-06-19 背光图像微米级边缘检测方法

Publications (2)

Publication Number Publication Date
CN105005985A true CN105005985A (zh) 2015-10-28
CN105005985B CN105005985B (zh) 2017-10-31

Family

ID=54378642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510346921.8A Expired - Fee Related CN105005985B (zh) 2015-06-19 2015-06-19 背光图像微米级边缘检测方法

Country Status (1)

Country Link
CN (1) CN105005985B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108168439A (zh) * 2017-12-29 2018-06-15 北京理工大学 基于亚像素的裂缝宽度检测关键技术
CN110390679A (zh) * 2019-07-03 2019-10-29 上海联影智能医疗科技有限公司 图像处理方法、计算机设备和可读存储介质
CN111355936A (zh) * 2018-12-20 2020-06-30 杭州凝眸智能科技有限公司 用于人工智能的采集和处理图像数据的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334263A (zh) * 2008-07-22 2008-12-31 东南大学 圆形目标的圆心定位方法
CN101465002A (zh) * 2009-01-05 2009-06-24 东南大学 椭圆目标的亚像素边缘定位方法
CN103136758A (zh) * 2013-03-25 2013-06-05 长春工业大学 基于正交多项式拟合的快速边缘检测方法
CN104715491A (zh) * 2015-04-09 2015-06-17 大连理工大学 一种基于一维灰度矩的亚像素边缘检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334263A (zh) * 2008-07-22 2008-12-31 东南大学 圆形目标的圆心定位方法
CN101465002A (zh) * 2009-01-05 2009-06-24 东南大学 椭圆目标的亚像素边缘定位方法
CN103136758A (zh) * 2013-03-25 2013-06-05 长春工业大学 基于正交多项式拟合的快速边缘检测方法
CN104715491A (zh) * 2015-04-09 2015-06-17 大连理工大学 一种基于一维灰度矩的亚像素边缘检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M.POLLEFEYSP等: "A stratified approach to metric self-calibration", 《INTERNATIONAL CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. WASHINGTON: IEEE. COMPUTER SOCIETY PRESS,1997》 *
李帅等: "基于高斯曲面拟合的亚像素边缘检测算法", 《工具技术》 *
贺忠海等: "利用曲线拟合方法的亚像素提取算法", 《仪器仪表学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108168439A (zh) * 2017-12-29 2018-06-15 北京理工大学 基于亚像素的裂缝宽度检测关键技术
CN111355936A (zh) * 2018-12-20 2020-06-30 杭州凝眸智能科技有限公司 用于人工智能的采集和处理图像数据的方法及系统
CN111355936B (zh) * 2018-12-20 2022-03-29 淄博凝眸智能科技有限公司 用于人工智能的采集和处理图像数据的方法及系统
CN110390679A (zh) * 2019-07-03 2019-10-29 上海联影智能医疗科技有限公司 图像处理方法、计算机设备和可读存储介质
CN110390679B (zh) * 2019-07-03 2022-04-26 上海联影智能医疗科技有限公司 图像处理方法、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN105005985B (zh) 2017-10-31

Similar Documents

Publication Publication Date Title
CN101408985B (zh) 一种圆形光斑亚像素中心提取方法及装置
CN107203973B (zh) 一种三维激光扫描系统中线激光中心的亚像素定位方法
CN102883175B (zh) 深度图提取、判断视频场景切换及深度图边缘优化方法
CN101477685B (zh) 具有景深零件加工质量的亚像素级图像检测方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN105574533B (zh) 一种图像特征提取方法和装置
CN110189347B (zh) 一种测量物体体积的方法及终端
CN105894521A (zh) 基于高斯拟合的亚像素边缘检测方法
CN107832674B (zh) 一种车道线检测方法
CN107578430A (zh) 一种基于自适应权值和局部熵的立体匹配方法
CN114212452B (zh) 基于激光辅助和图像处理的煤流检测方法及节能控制系统
CN105005985B (zh) 背光图像微米级边缘检测方法
CN105787912B (zh) 一种基于分类的阶跃型边缘亚像素定位方法
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
CN111127384A (zh) 基于偏振成像的强反射工件视觉测量方法
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN110687122A (zh) 一种陶瓦表面裂纹检测方法及系统
TWI394097B (zh) 移動物體的偵測方法以及偵測系統
CN110751690B (zh) 铣床刀头视觉定位方法
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN104537632A (zh) 基于边缘提取的红外图像直方图增强方法
Wu et al. Research on crack detection algorithm of asphalt pavement
CN104573635A (zh) 一种基于三维重建的微小高度识别方法
CN115760549A (zh) 一种曲面3d数据展平化的处理方法
CN106897989A (zh) 一种基于线密度计算的指纹图像分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171031