CN103295224B - 一种基于均值漂移和分水岭的乳腺超声图像自动分割方法 - Google Patents

一种基于均值漂移和分水岭的乳腺超声图像自动分割方法 Download PDF

Info

Publication number
CN103295224B
CN103295224B CN201310082147.5A CN201310082147A CN103295224B CN 103295224 B CN103295224 B CN 103295224B CN 201310082147 A CN201310082147 A CN 201310082147A CN 103295224 B CN103295224 B CN 103295224B
Authority
CN
China
Prior art keywords
image
region
ultrasound image
average
breast tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310082147.5A
Other languages
English (en)
Other versions
CN103295224A (zh
Inventor
吴水才
周著黄
林岚
赵磊
张晓春
王宇龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SYMBOW MEDICAL TECHNOLOGY Co Ltd
Beijing University of Technology
Original Assignee
SYMBOW MEDICAL TECHNOLOGY Co Ltd
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYMBOW MEDICAL TECHNOLOGY Co Ltd, Beijing University of Technology filed Critical SYMBOW MEDICAL TECHNOLOGY Co Ltd
Priority to CN201310082147.5A priority Critical patent/CN103295224B/zh
Publication of CN103295224A publication Critical patent/CN103295224A/zh
Application granted granted Critical
Publication of CN103295224B publication Critical patent/CN103295224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于均值漂移和分水岭算法的乳腺肿瘤超声图像自动分割方法,利用金字塔均值漂移算法对乳腺肿瘤超声图像进行滤波,再利用分水岭算法对滤波后的图像进行分割,根据肿瘤一般位于图像中部或上部并且平均回声强度较低的经验知识,计算分水岭分割结果图像中特定感兴趣区域内的最小灰度,遍历分水岭分割结果图像,将灰度等于最小灰度的像素灰度赋为前景,否则赋为背景,从而得到目标肿瘤区域,即最终的肿瘤分割结果二值图像。该方法实现了乳腺超声图像中肿瘤边界的准确、自动提取,可用于乳腺肿瘤超声图像的快速、准确、自动化分割。

Description

一种基于均值漂移和分水岭的乳腺超声图像自动分割方法
技术领域
本发明属于图像处理技术领域,特别涉及一种医学超声图像自动分割方法,是均值漂移和分水岭算法用于乳腺肿瘤超声图像自动分割的改造技术。
背景技术
乳腺癌是妇女最常见的恶性肿瘤之一,目前最有效的检测与诊断方式是乳腺X线摄影。但由于乳腺X线摄影的特异度较低,导致了大量不必要的活检,不仅给患者带来痛苦,而且增加了成本。另外,乳腺X线摄影产生的电离辐射也会给患者和医生带来健康风险。超声影像具有低成本、无侵性、实时性等特点,已成为乳腺肿瘤检测的重要手段之一。但乳腺超声图像具有低对比度、斑点噪声以及与组织相关的纹理结构,会给医生的诊断带来一定的困难;且不同的医生之间存在对乳腺超声的理解和诊断方面的差异。因此,乳腺超声的计算机辅助诊断系统具有很大的意义。有研究表明,乳腺超声计算机辅助诊断系统的输出结果可以为医生在乳腺肿瘤检测、定征和诊断决策时提供一种参考。
图像分割是乳腺超声计算机辅助诊断系统的重要环节。近几十年来,国内外在乳腺超声图像分割方面已经提出许多方法,包括阈值分割、区域生长、基于模型的方法(包括活动轮廓模型,水平集,马尔科夫随机场等)、基于图论的方法(包括图割,归一化割等)、基于机器学习的方法、基于聚类的方法(包括K均值,模糊C均值等)。这些方法存在一些主要缺点:(1)多数方法需要手工交互,诸如手工选择种子点或初始轮廓;(2)多数方法对斑点噪声敏感,且由于超声图像对比度低,具有与组织相关的纹理,故准确分割较为困难;(3)多数方法算法复杂度高,处理时间长,难以满足临床要求。
准确、快速、自动化分割是图像分割的目标。但分割的准确性、效率以及自动化水平也是相互矛盾的。近些年来,也有一些乳腺超声图像自动分割方法相继被提出,这些方法一般思路为:(1)通过某种手段自动找到肿瘤区域的种子点或者找到能够将肿瘤涵括在内的感兴趣区域;(2)利用种子点或者感兴趣区域内的某一点作为区域生长算法的种子点,进行区域生长粗分割;(3)将粗分割得到的边界作为活动轮廓模型的初始轮廓,进行活动轮廓模型精分割。但这些方法存在以下问题:(1)自动查找种子点或感兴趣区域的算法往往鲁棒性不高,仅对部分图像有效,影响了自动分割的准确性;(2)算法复杂度高,处理费时,难以达到临床上对自动分割的速度要求。
分水岭算法是图像分割中应用较广的一种快速分割方法,但由于超声图像的固有特性,在淹没过程会产生过多的区域,会导致分割较慢并且准确性低的问题。
发明内容
本发明旨在提出一种乳腺肿瘤超声图像的准确、快速、自动化分割方法。本发明将分水岭算法与均值漂移算法结合在一起,并进行了改进。首先采用金字塔均值漂移算法对乳腺超声图像进行滤波,大幅提高了图像的同质性,使其更加平滑,再使用分水岭算法对滤波后的图像进行分割处理,从而能够大量减少生成的区域个数,提高了分割的速度和精度。分水岭分割得到的结果图像中包含了若干区域,每个区域内部的灰度相同,但各区域之间灰度不同。此外,本发明还结合了临床医生的经验知识,即乳腺肿瘤一般位于图像的中部或上部且乳腺肿瘤内部平均回声强度较低,提取分水岭分割结果图像中特定感兴趣区域内的最小灰度,作为目标肿瘤区域的灰度,再遍历整个分水岭分割结果图像,将灰度等于最小灰度的像素赋为前景,否则赋为背景,即得到最终的肿瘤分割结果图像。
具体技术内容如下:
1.1.对于一幅乳腺肿瘤超声图像I,利用金字塔均值漂移算法对其进行滤波,得到滤波后的图像If;所述的金字塔均值漂移算法包括如下步骤:
(a).对乳腺肿瘤超声图像I进行最高层数L的高斯金字塔分解,L≥2,得到L层图像I1,…,IL,图像IL为金字塔的底层;
(b).对第L层图像IL进行均值漂移滤波,得到结果图像(IL)ms
(c).使用拉普拉斯金字塔将第L层的均值漂移滤波结果图像(IL)ms向上采样得到第L-1层图像I'L-1,再对I'L-1进行均值漂移滤波,得到(IL-1)ms
(d).重复步骤(c),直到得到第1层均值漂移滤波结果图像(I1)ms,即金字塔均值漂移滤波后的图像If
1.2.利用分水岭算法对If进行分割,得到分割后的图像Is
1.3.计算Is中特定感兴趣区域内的最小灰度minGray;
1.4.遍历Is,对于灰度等于minGray的像素,将其灰度赋为前景,即为目标肿瘤区域,否则赋为背景,得到最终的肿瘤分割结果二值图像。
上述步骤1.2具体包括如下步骤:
2.1.计算If各像素的梯度,得到梯度图像G;
2.2.对G的每个像素的梯度按升序进行排列,得到升序排列后的梯度图像Gs
2.3.对Gs进行淹没,得到If的nr个区域以及各区域之间的邻接关系;
2.4.将If的nr个区域合并成为nm个区域,合并过程为,根据步骤3.3中得到的各区域之间的邻接关系,查找相邻区域,计算相邻区域内所有像素的平均灰度值,当两个相邻区域Ra和Rb的平均灰度值MGa和MGb之差的绝对值小于阈值ε时,将这两个相邻区域合并为一个区域Rc,ε取值范围2≤ε≤6,区域Rc的平均灰度值MGc赋为:MGc=[Ca/(Ca+Cb)]·MGa+[Cb/(Ca+Cb)]·MGb,Ca表示区域Ra内像素的个数,Cb表示区域Rb内像素的个数;
2.5.将If的nm个区域的各区域内各像素的灰度值赋为该区域的平均灰度值,得到分割后的图像Is
上述步骤1.3中,特定感兴趣区域为矩形,矩形的左上角坐标为(λx·width,λy·height),坐标原点为乳腺肿瘤超声图像I的左上角,矩形的宽度和高度分别为λw·width和λh·height,width和height分别表示I的宽度和高度,0.2≤λx≤0.3,0.05≤λy≤0.1,0.2≤λw≤0.3,0.3≤λh≤0.4。
有益效果:
1.本发明方法在分割乳腺肿瘤超声图像时自动化水平高,是完全、充分的自动化分割,避免了手工交互。
2.本发明算法复杂度低,容易实现,处理速度比现有的乳腺肿瘤自动分割方法快一个数量级。
3.本发明算法经过验证,除少数图像边界十分模糊外,均能快速、准确、自动提取乳腺肿瘤边界,达到预期目的。
附图说明
图1:本发明方法的流程图;
图2:本发明方法中金字塔均值漂移算法的流程图;
图3:本发明方法中分水岭算法的流程图;
图4:待分割的原始乳腺肿瘤超声图像;
图5:对乳腺肿瘤超声图像使用金字塔均值漂移算法滤波后的效果图;
图6:对滤波后的乳腺肿瘤超声图像使用分水岭算法分割后的效果图;
图7:在分割后的乳腺肿瘤超声图像中显示特定感兴趣区域的效果图;
图8:最终的肿瘤分割结果二值图像;
图9(a)-(d):具有强噪声、内部有局部极值的恶性肿瘤分割过程示意图,由上到下依次为:图9(a)原始图像,图9(b)金字塔均值漂移算法滤波后的图像,图9(c)分水岭算法分割后的图像,图9(d)肿瘤分割结果图像;
图10(a)-(d):边界不规则的恶性肿瘤分割过程示意图,由上到下依次为:图10(a)原始图像,图10(b)金字塔均值漂移算法滤波后的图像,图10(c)分水岭算法分割后的图像,图10(d)肿瘤分割结果图像。
具体实施方式
结合附图和实际例子对提取过程进行具体的描述。所使用数据为使用新博医疗乳腺光超成像系统采集的25幅临床乳腺肿瘤超声图像。下面分步进行介绍:
1.使用金字塔均值漂移算法对一幅待分割的原始乳腺肿瘤超声图像I(如图4所示)进行滤波,得到滤波后的图像If。金字塔均值漂移算法的基本步骤如图2所示。滤波后的效果图如图5所示。具体实施步骤如下:
(1).对乳腺肿瘤超声图像I进行最高层数L的高斯金字塔分解,L≥2,得到L层图像I1,…,IL,图像IL为金字塔的底层;
(2).对第L层图像IL进行均值漂移滤波,得到结果图像(IL)ms,均值漂移滤波是常用的滤波方法,其实施步骤分为两步:不连续性保持滤波和均值漂移聚类,以下进行简要介绍。
(2.1)不连续性保持滤波的实施步骤为:
设xi表示原始图像中第i个像素的灰度值,i≤n,n表示原始图像中像素总数,zi为滤波后的图像中第i个像素的灰度值,这些像素在空域-值域联合域内表达,
a)对于第i个像素,初始化步数j=1,yi,1=xi
b)计算对应于第i个像素的第j+1步的灰度值yi,j+1,直到(yi,j+1-yi,c)≤ε,停止计算,yi,c为对应于第i个像素的收敛点的灰度值,
其中,yi,j+1的计算方式为:h为核大小,g(x)=-k'(x),k(x)为核轮廓函数;
c)第i个像素滤波后的灰度值zi赋为即:在处的滤波后的像素的灰度值被赋值为收敛点的灰度值其中s,r分别表示空域分量和值域分量。
(2.2)均值漂移聚类的实施步骤为:
a)使用不连续性保持滤波,保存关于每个收敛点的灰度值yi,c的所有信息;
b)将所有zi按照在空域用核hs和在值域用核hr聚类得到m个类别Cp,p=1,...,m;
c)对均值漂移滤波后的每个像素的灰度值ti赋值ti={p|zi∈Cp},得到均值漂移滤波后的结果图像(IL)ms
(3).使用拉普拉斯金字塔将第L层的均值漂移滤波结果图像(IL)ms向上采样得到第L-1层图像I'L-1,再对I'L-1进行均值漂移滤波,得到(IL-1)ms
(4).重复步骤(3),直到得到第1层均值漂移滤波结果图像(I1)ms,即金字塔均值漂移滤波后的图像If
本实施例中设定高斯金字塔分解最高层数L为3;均值漂移滤波的空域核大小为20,值域核大小为40。
2.使用分水岭算法对滤波后的图像If进行分割,得到分割后的图像Is。分水岭算法的基本步骤如图3所示。分割后的效果图如图6所示。具体实施步骤如下:
(1).计算If各像素的梯度,得到梯度图像G;
某一像素(i,j)的梯度G(i,j)的计算方式为:
Gx(i,j)=[If(i+1,j-1)+If(i+1,j)+If(i+1,j+1)
-If(i-1,j-1)-If(i-1,j)-If(i-1,j+1)]/3
Gy(i,j)=[If(i-1,j-1)+If(i,j-1)+If(i+1,j-1)
-If(i-1,j+1)-If(i,j+1)-If(i+1,j+1)]/3
G ( i , j ) = [ G x ( i , j ) ] 2 + [ G y ( i , j ) ] 2
如果G(i,j)大于255,则令G(i,j)=255,
其中,If(i,j)为If在像素(i,j)处的灰度值,Gx(i,j)和Gy(i,j)分别为水平和垂直方向的梯度;计算If的所有像素的梯度,得到梯度图像G。
(2).对G的每个像素的梯度按升序进行排列,得到升序排列后的梯度图像Gs
(3).对Gs进行淹没,得到If的nr个区域以及各区域之间的邻接关系;
(4).将If的nr个区域合并成为nm个区域,合并过程为,根据步骤3.3中得到的各区域之间的邻接关系,查找相邻区域,计算相邻区域内所有像素的平均灰度值,当两个相邻区域Ra和Rb的平均灰度值MGa和MGb之差的绝对值小于阈值ε时,将这两个相邻区域合并为一个区域Rc,ε取值范围2≤ε≤6,本实施例中设定ε=3,区域Rc的平均灰度值MGc赋为:MGc=[Ca/(Ca+Cb)]·MGa+[Cb/(Ca+Cb)]·MGb,Ca表示区域Ra内像素的个数,Cb表示区域Rb内像素的个数;
(5).将If的nm个区域的各区域内各像素的灰度值赋为该区域的平均灰度值,得到分割后的图像Is
3.根据肿瘤一般位于图像中部或上部并且平均回声强度较低的经验知识,计算分水岭分割结果图像Is中特定感兴趣区域内的最小灰度minGray,特定感兴趣区域为矩形,矩形的左上角坐标为(λx·width,λy·height),坐标原点为乳腺肿瘤超声图像I的左上角,矩形的宽度和高度分别为λw·width和λh·height,width和height分别表示I的宽度和高度,0.2≤λx≤0.3,0.05≤λy≤0.1,0.2≤λw≤0.3,0.3≤λh≤0.4,本实施例中设定λx=0.25,λy=0.08,λw=0.25,λh=0.31,在分割后的乳腺肿瘤超声图像中显示特定感兴趣区域的效果图如图7所示,其中白色虚线框所示区域为特定感兴趣区域。
4.遍历分水岭分割结果图像Is,对于灰度等于minGray的像素,将其灰度赋为前景,即为目标肿瘤区域,否则赋为背景,得到最终的肿瘤分割结果二值图像,本实施例中设定前景为255,背景为0,最终的肿瘤分割结果二值图像如图8所示。

Claims (3)

1.一种基于均值漂移和分水岭的乳腺肿瘤超声图像自动分割方法,其特征在于包括以下步骤:
1.1.对于一幅乳腺肿瘤超声图像I,利用金字塔均值漂移算法对其进行滤波,得到滤波后的图像If;所述的金字塔均值漂移算法包括如下步骤:
(a).对乳腺肿瘤超声图像I进行最高层数L的高斯金字塔分解,L≥2,得到L层图像I1,…,IL,图像IL为金字塔的底层;
(b).对第L层图像IL进行均值漂移滤波,得到结果图像(IL)ms
(c).使用拉普拉斯金字塔将第L层的均值漂移滤波结果图像(IL)ms向上采样得到第L-1层图像I'L-1,再对I'L-1进行均值漂移滤波,得到(IL-1)ms
(d).重复步骤(c),直到得到第1层均值漂移滤波结果图像(I1)ms,即金字塔均值漂移滤波后的图像If
1.2.利用分水岭算法对If进行分割,得到分割后的图像Is
1.3.计算Is中特定感兴趣区域内的最小灰度minGray;
1.4.遍历Is,对于灰度等于minGray的像素,将其灰度赋为前景,即为目标肿瘤区域,否则赋为背景,得到最终的肿瘤分割结果二值图像。
2.根据权利要求1所述的一种基于均值漂移和分水岭的乳腺肿瘤超声图像自动分割方法,其特征在于:所述的步骤1.2包括:
2.1.计算If各像素的梯度,得到梯度图像G;
2.2.对G的每个像素的梯度按升序进行排列,得到升序排列后的梯度图像Gs
2.3.对Gs进行淹没,得到If的nr个区域以及各区域之间的邻接关系;
2.4.将If的nr个区域合并成为nm个区域,合并过程为,根据步骤3.3中得到的各区域之间的邻接关系,查找相邻区域,计算相邻区域内所有像素的平均灰度值,当两个相邻区域Ra和Rb的平均灰度值MGa和MGb之差的绝对值小于阈值ε时,将这两个相邻区域合并为一个区域Rc,ε取值范围2≤ε≤6,区域Rc的平均灰度值MGc赋为:MGc=[Ca/(Ca+Cb)]·MGa+[Cb/(Ca+Cb)]·MGb,Ca表示区域Ra内像素的个数,Cb表示区域Rb内像素的个数;
2.5.将If的nm个区域的各区域内各像素的灰度值赋为该区域的平均灰度值,得到分割后的图像Is
3.根据权利要求1所述的一种基于均值漂移和分水岭的乳腺肿瘤超声图像自动分割方法,其特征在于:所述的步骤1.3中,特定感兴趣区域为矩形,矩形的左上角坐标为(λx·width,λy·height),坐标原点为乳腺肿瘤超声图像I的左上角,矩形的宽度和高度分别为λw·width和λh·height,width和height分别表示I的宽度和高度,0.2≤λx≤0.3,0.05≤λy≤0.1,0.2≤λw≤0.3,0.3≤λh≤0.4。
CN201310082147.5A 2013-03-14 2013-03-14 一种基于均值漂移和分水岭的乳腺超声图像自动分割方法 Expired - Fee Related CN103295224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310082147.5A CN103295224B (zh) 2013-03-14 2013-03-14 一种基于均值漂移和分水岭的乳腺超声图像自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310082147.5A CN103295224B (zh) 2013-03-14 2013-03-14 一种基于均值漂移和分水岭的乳腺超声图像自动分割方法

Publications (2)

Publication Number Publication Date
CN103295224A CN103295224A (zh) 2013-09-11
CN103295224B true CN103295224B (zh) 2016-02-17

Family

ID=49096029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310082147.5A Expired - Fee Related CN103295224B (zh) 2013-03-14 2013-03-14 一种基于均值漂移和分水岭的乳腺超声图像自动分割方法

Country Status (1)

Country Link
CN (1) CN103295224B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737382B (zh) * 2012-06-22 2017-02-08 刘怡光 一种前列腺超声图像自动精确分割方法
CN105163103B (zh) * 2014-06-13 2017-10-27 株式会社理光 用层叠结构来表示立体图像以分析图像中的目标的技术
CN104504720B (zh) * 2015-01-07 2017-04-19 四川大学 一种新的前列腺超声图像分割方法
CN104915950B (zh) * 2015-04-29 2017-10-20 华南理工大学 一种基于能量约束的区域增长超声图像自动分割方法
US10074037B2 (en) * 2016-06-03 2018-09-11 Siemens Healthcare Gmbh System and method for determining optimal operating parameters for medical imaging
CN110298817A (zh) * 2019-05-20 2019-10-01 平安科技(深圳)有限公司 基于图像处理的目标物统计方法、装置、设备及存储介质
CN110458795A (zh) * 2019-06-03 2019-11-15 赵旭东 一种乳腺肿块超声图像超声区域分离方法
CN111223112B (zh) * 2020-01-07 2023-05-12 江苏君英天达人工智能研究院有限公司 基于图像均值漂移和水平集方法的图像分割方法
CN116894841B (zh) * 2023-09-08 2023-11-28 山东天鼎舟工业科技有限公司 一种变速箱合金壳体质量视觉检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710387A (zh) * 2009-10-29 2010-05-19 中国科学院对地观测与数字地球科学中心 一种高分辨率遥感图像智能分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710387A (zh) * 2009-10-29 2010-05-19 中国科学院对地观测与数字地球科学中心 一种高分辨率遥感图像智能分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Automatic Ore Image Segmentation Using Mean Shift and watershed transform;Anthony AMANKWAH et al.;《Radioelektronika》;20110420;第2-4节 *

Also Published As

Publication number Publication date
CN103295224A (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
CN103295224B (zh) 一种基于均值漂移和分水岭的乳腺超声图像自动分割方法
Shojaii et al. Automatic lung segmentation in CT images using watershed transform
CN102654902B (zh) 基于轮廓向量特征的嵌入式实时图像匹配方法
Mesanovic et al. Automatic CT image segmentation of the lungs with region growing algorithm
CN107403201A (zh) 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
US7787673B2 (en) Method and apparatus for airway detection and segmentation using 3D morphological operators
CN107590809A (zh) 肺分割方法及医学成像系统
CN102068281B (zh) 一种占位性病变超声图像的处理方法
CN103824295A (zh) 一种肺部ct图像中粘连血管型肺结节的分割方法
CN106780451A (zh) X射线、超声、红外图像融合乳腺肿块图像检测方法
CN102968783B (zh) 从腹部图像数据中自动分割骨骼的方法及系统
CN106846346B (zh) 基于关键帧标记的序列ct图像骨盆轮廓快速提取方法
CN104715483B (zh) 肺部ct影像异常区域的自动分割方法
RU2589292C2 (ru) Устройство и способ формирования карты коррекции затухания
US7929741B2 (en) System and method for automated detection of mucus plugs within bronchial tree in MSCT images
CN101971213A (zh) 图像中解剖结构分割与建模的方法及系统
CN103489198A (zh) 从序列mr图像中自动分割脑干区域的方法
Memon et al. Segmentation of lungs from CT scan images for early diagnosis of lung cancer
CN108765388B (zh) 食道内窥oct图像层次结构的自动分割方法和系统
CN103544695B (zh) 一种高效的基于博弈框架的医学图像分割方法
CN106780491B (zh) Gvf法分割ct骨盆图像中采用的初始轮廓生成方法
KR101178398B1 (ko) 의료 영상 분할 처리 장치와 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN102903103A (zh) 基于迁移活动轮廓模型的胃部ct序列图像分割方法
CN108830852A (zh) 三维超声肿瘤辅助测量系统及方法
CN106651842A (zh) 一种ct影像肺结节种子点自动获取和分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160217

Termination date: 20210314