CN102436645A - 基于mod字典学习采样的谱聚类图像分割方法 - Google Patents

基于mod字典学习采样的谱聚类图像分割方法 Download PDF

Info

Publication number
CN102436645A
CN102436645A CN2011103466565A CN201110346656A CN102436645A CN 102436645 A CN102436645 A CN 102436645A CN 2011103466565 A CN2011103466565 A CN 2011103466565A CN 201110346656 A CN201110346656 A CN 201110346656A CN 102436645 A CN102436645 A CN 102436645A
Authority
CN
China
Prior art keywords
dictionary
characteristic
vector
mod
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103466565A
Other languages
English (en)
Other versions
CN102436645B (zh
Inventor
缑水平
焦李成
杨静瑜
张向荣
李阳阳
赵一帆
杨淑媛
庄广安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN 201110346656 priority Critical patent/CN102436645B/zh
Publication of CN102436645A publication Critical patent/CN102436645A/zh
Application granted granted Critical
Publication of CN102436645B publication Critical patent/CN102436645B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于字典学习采样谱聚类的图像分割方法,主要解决现有谱聚类方法分割结果不稳定的问题。其实现过程是:(1)对待分割的图像进行特征提取,并将提取的特征数据归一化到[0,1]之间,以去除数据间量级的影响;(2)用MOD字典学习方法对归一化后的特征数据进行学习,得到字典D;(3)计算特征数据与字典原子的欧氏距离,并取距离小的前l个数据作为采样子集S,l取300;4)利用
Figure DDA0000105753360000011
方法,从选出的采样子集S得到所有特征数据的特征向量;(5)对前k个特征值对应的特征向量进行k-means聚类,得到最终的图像分割结果。本发明与现有的技术相比图像分割结果稳定、准确度高,可用于目标检测和目标识别。

Description

基于MOD字典学习采样的谱聚类图像分割方法
技术领域
本发明属于图像处理技术领域,涉及图像分割,可用于对纹理图像和SAR图像进行目标检测和目标识别。
背景技术
聚类就是按照一定的要求和规律对事物进行区分和分类的过程,在这一过程中没有任何关于类别的先验知识,仅靠事物间的相似性作为类属划分的准则,因此属于无监督分类的范畴。聚类分析则是指用数学的方法研究和处理给定对象的分类,是多元统计分析的一种,也是无监督模式识别的一个重要分支。它把一个没有类别标记的样本集按某种准则划分成若干个子集,使相似的样本尽可能归为一类,而不相似的样本尽量划分到不同的类中。作为一种无监督分类方法,聚类分析已经被广泛地应用于模式识别、数据挖掘、计算机视觉和模糊控制等许多领域。但传统的聚类算法,如k-means算法,EM算法等都是建立在凸球形的样本空间上,但当样本空间不为凸时,算法会陷入局部最优。
谱聚类方法是一种建立在谱图理论基础之上,利用数据相似性矩阵的特征向量进行聚类的方法。谱聚类方法实现简单,与维数无关,能在任意形状的样本空间上聚类并收敛于全局最优解,因此得到了越来越广泛的应用。目前谱聚类方法已被成功应用于语音识别、视频分割、图像分割、VLSI设计和网页划分等领域。但是,谱聚类方法需要计算一个n×n相似性矩阵的主要特征向量,n是样本个数。这对于大规模数据,计算量是相当大的,这也成为了谱聚类方法的瓶颈问题。
Fowlkes等人提出了基于
Figure BDA0000105753340000011
逼近的谱聚类方法。该方法首先从所有样本中随机选取一个样本子集作为代表求解特征问题,然后再将其特征向量扩展为整个样本集合权值矩阵的特征向量。然而,选取结果对聚类影响很大,聚类结果表现出不稳定性。后来提出的k均值
Figure BDA0000105753340000012
谱聚类方法,在一定程度上解决了不稳定问题。该方法用k-means方法对数据集预聚类,将与预聚类得到的中心点最近邻的数据点作为采样点,取代了原来的随机采样。但由于k-means方法本身并不是一种完全稳定聚类方法,当样本空间不为凸时,算法会陷入局部最优,所以k均值
Figure BDA0000105753340000013
谱聚类方法图像分割结果很不稳定。
发明内容
本发明的目的在于克服上述已有技术的缺点,提出了一种基于MOD字典学习采样的谱聚类图像分割方法,以得到稳定的、更准确的图像分割结果。
为实现上述目的,本发明通过对样本进行MOD学习得到字典,并根据样本与字典的距离,把那些距离较小的样本作为采样点,最大化保留图像信息,再利用
Figure BDA0000105753340000021
逼近谱聚类算法划分得到所有样本的标签,具体步骤包括如下:
(1)使用灰度共生矩阵对待分割的图像进行特征提取,并将提取的特征数据X={x1,...,xi,...,xn}(i=1,...,n)归一化到[0,1]之间,得到数据X′以去除数据间量级的影响;
(2)用MOD字典方法对X′进行学习,得到字典D={d1,…,dj,…,dm},j=1,...,m,dj为字典中的原子,m为字典原子数,取300;
(3)计算特征数据X′与字典D的欧氏距离,并取距离较小的前l个数据作为采样子集S,l取300;
(4)利用
Figure BDA0000105753340000022
方法,从选出的采样子集S得到所有特征数据的特征向量;
(5)对前k个特征值对应的特征向量进行k-means聚类,得到最终的图像分割结果,其中k是类别数,k≥1且为整数;
本发明由于对特征数据通过字典学习得到字典,并选择与字典距离最近的特征数据作为采样子集,最大化地保留了图像信息,使采样子集具有代表性;同时本发明利用字典采样子集对剩余数据进行
Figure BDA0000105753340000023
嵌入,使图像分割性能有明显提升。
附图说明
图1是本发明图像分割的流程图;
图2是现有的一幅2分类纹理图像;
图3是用本发明与现有
Figure BDA0000105753340000024
谱聚类方法对图2的仿真分割结果图;
图4是现有的一幅3分类纹理图像;
图5是用本发明与现有
Figure BDA0000105753340000025
谱聚类方法对图4的仿真分割结果图;
图6是现有的一幅2分类SAR图像;
图7是用本发明与现有
Figure BDA0000105753340000026
谱聚类方法对图6的仿真分割结果图;
图8是现有的一幅2分类SAR图像;
图9是用本发明与现有
Figure BDA0000105753340000031
谱聚类方法对图8的仿真分割结果图。
具体实施方式
参照图1,本发明的实施步骤如下:
步骤1.使用待分割图像的灰度共生矩阵对图像进行特征提取,并将提取的特征数据归一化,以去除数据间量级的影响。
(1a)对待分割的图像生成灰度共生矩阵P,窗口大小取16;
(1b)在0°,45°,90°和135°这4个方向上,从图像的灰度共生矩阵P中抽取以下三种二次统计量:
角二阶矩: f 1 = Σ i = 0 n - 1 Σ j = 0 n - 1 p 2 ( i , j ) ,
同质区: f 2 = Σ i = 0 n - 1 Σ j = 0 n - 1 p ( i , j ) / [ 1 + ( i - j ) 2 ] 2 ,
对比度: f 3 = Σ i = 0 n - 1 Σ j = 0 n - 1 | i - j | p ( i , j ) ,
其中,n是样本总数,p(i,j)是灰度共生矩阵P第i行第j列的元素;
在4个方向上分别计算上述统计量,得到每个样本的特征数据向量xi=(fi1,fi2,…,fi12),i=1,...,n;
(1c)将n个样本的特征数据向量作为列向量构成的特征数据X={x1,...xi,…,xn},i=1,...,n,并把X归一化到[0,1]之间,得到数据X′,以去除数据间量级的影响。
步骤2.用MOD字典对归一化后的特征数据进行学习,得到字典D。
(2a)随机选取m个特征数据作为初始字典原子,构成初始字典D=(d1,…,dj,…,dm),j=1,...,m,其中字典原子dj∈Rt×1,t是每个特征数据的维数,m取300;
(2b)根据初始字典D′,利用正交匹配追踪算法对特征数据X的第i个特征数据xi进行稀疏编码,获得稀疏表示系数向量αi
min α i | | x i - D ′ α i | | 2 2 s.t.||αi||0<L
其中L为编码的稀疏度,L取4;
(2c)对n个特征数据都进行稀疏编码,将得到的n个稀疏表示系数向量作为列向量构成稀疏表示系数矩阵A={α1,...,αi,...,αn},i=1,...,n,αi是第i个特征数据xi在字典D′上的稀疏表示系数向量;
(2d)根据字典D′和稀疏表示系数矩阵A,利用最小二乘法求解目标函数
Figure BDA0000105753340000042
把得到的最优解作为新的字典D″;
(2e)重复执行步骤(2b)、步骤(2c)和步骤(2d)N次,得到最终的字典D,N取25。
步骤3.计算特征数据与字典原子的距离,并取距离小的前l个数据作为采样子集S。
(3a)根据下式计算第j个字典原子dj与第i个特征数据xi的欧氏距离wji
wji=||dj-xi||,j=1,...,m,i=1,...,n
将n个特征数据分别与第j个字典原子dj的欧氏距离构成dj的距离向量:wj={wj1,...,wji,...,wjn},i=1,...,n;
(3b)比较每个字典原子的距离向量中的值,把最小的欧氏距离wji对应的第i个特征数据作为采样点,得到大小为l的采样子集S,l取300。
步骤4.利用
Figure BDA0000105753340000043
方法,从选出的采样子集S得到所有特征数据的特征向量。
(4a)计算采样子集S的权值矩阵W=G(S,S),其中n为特征数据个数,G()为高斯核函数;
(4b)对权值矩阵W进行特征分解,求出特征值λ={λ1,...,λi,...,λm}和特征向量
Figure BDA0000105753340000044
其中λi是λ的第i个元素,
Figure BDA0000105753340000046
的第i列向量,i=1,2,...,m;
(4c)由W的特征值λ和特征向量根据下式计算第j个列向量
Figure BDA0000105753340000048
Figure BDA0000105753340000049
将n个列向量构成所有特征数据的特征向量:
Figure BDA0000105753340000051
步骤5.对前k个特征值对应的特征向量进行k-means聚类,得到最终的图像分割结果,其中k是类别数,对2分类图k取2,对3分类图k取3。
本发明效果可以通过以下实验进一步证实:
实验仿真环境为:MATLAB 7.5.0,Intel(R)Pentium(R)2CPU 3.0GHz,WindowXP Professional。
实验内容包括:用现有
Figure BDA0000105753340000052
谱聚类方法和本发明应用灰度共生矩阵特征对256×256的纹理图像和SAR图像进行仿真分割实验。
仿真实验1:用现有
Figure BDA0000105753340000053
谱聚类方法和本发明对图2进行仿真分割,分割结果如图3所示,其中图3(a)是现有
Figure BDA0000105753340000054
谱聚类方法的分割结果图,图3(b)是本发明的分割结果图。
仿真实验2:用现有
Figure BDA0000105753340000055
谱聚类方法和本发明对图4进行仿真分割,分割结果如图5所示,其中图5(a)是现有
Figure BDA0000105753340000056
谱聚类方法的分割结果图,图5(b)是本发明的分割结果图。
仿真实验3:用现有
Figure BDA0000105753340000057
谱聚类方法和本发明对图6进行仿真分割,分割结果如图7所示,其中图7(a)是现有谱聚类方法的分割结果图,图7(b)是本发明的分割结果图。
仿真实验4:用现有
Figure BDA0000105753340000059
谱聚类方法和本发明对图8进行仿真分割,分割结果如图9所示,其中图9(a)是现有
Figure BDA00001057533400000510
谱聚类方法的分割结果图,图9(b)是本发明的分割结果图。
由图3、图5、图7和图9可以看出,本发明的分割结果图无论在区域一致性还是边缘分割上,都优于现有谱聚类方法,这是因为本发明先对所有特征数据进行MOD字典学习,选择与字典原子欧氏距离最近的点作为采样点,相对于现有
Figure BDA00001057533400000512
谱聚类方法的等概率随机选取采样点方法,能够更好的保留图像信息,得到稳定的、精确度高的分割结果。

Claims (4)

1.一种基于MOD字典学习采样的谱聚类图像分割方法,包括如下步骤:
(1)使用灰度共生矩阵对待分割的图像进行特征提取,并将提取的特征数据归一化到[0,1]之间,以去除数据间量级的影响;
(2)用MOD字典方法对归一化后的特征数据集X={x1,…,xi,…,xn}(i=1,...,n)进行学习,得到字典D={d1,…,dj,…,dm},j=1,...,m,且m<=n,dj为字典中的原子,m为字典原子数,取300;
(3)计算特征数据与字典原子的欧氏距离,从X′中取距离较小的前l(l≤n,l取300)个数据构成采样子集Sp
(4)利用 
Figure FDA0000105753330000011
方法,从选出的采样子集S得到所有特征数据的特征向量;
(5)对前k个特征值对应的特征向量进行k-means聚类,得到最终的图像分割结果,其中k是类别数,k≥1且为整数。
2.根据权利要求1所述的基于MOD字典学习采样的谱聚类图像分割方法,其中步骤(2)所述的用MOD字典学习方法对归一化后的特征数据进行学习,得到字典,按照如下步骤进行:
(2a)随机选取m个特征数据作为初始字典原子,构成初始字典D=(d1,…,dj,…,dm),j=1,...,m,其中字典原子dj∈Rt×1,t是每个特征数据xi的维数,m取300;
(2b)根据已有字典D,利用正交匹配追踪算法对特征数据X的第i个特征数据xi进行稀疏编码,获得稀疏表示系数向量αi
Figure FDA0000105753330000012
s.t.||αi||0<L
其中L为编码的稀疏度,L取4;
(2c)对n个特征数据都进行稀疏编码,将得到的n个稀疏表示系数向量作为列向量构成稀疏表示系数矩阵A={α1,...,αi,...,αn},i=1,...,n,αi是第i个特征数据xi在字典D上的稀疏表示系数向量; 
(2d)根据字典D和稀疏表示系数矩阵A,利用最小二乘法求解目标函数 
Figure FDA0000105753330000021
把得到的最优解作为新的字典D′;
(2e)用D′更新D,重复执行步骤(2b)、步骤(2c)和步骤(2d)N次,得到最终的字典D″,N取25。
3.根据权利要求1所述的基于MOD字典学习的谱聚类图像分割方法,其中步骤(2)所述的计算特征数据与字典原子的欧氏距离,并取距离较小的前l个数据构造采样子集S,按照如下步骤进行:
(3a)根据下式计算第j个字典原子dj与第i个特征数据xi的欧氏距离wji
wji=||dj-xi||,j=1,...,m,i=1,...,n
将n个特征数据分别与第j个字典原子dj的欧氏距离构成第j个字典原子dj的距离向量:wj={wi1,...,wji,...,wjn},i=1,...,n;
(3b)比较全部字典原子的距离向量wj(j=1,...,m)的值,把欧氏距离较小的前l个wji对应的第i个特征数据x′i作为采样点,并去掉重复特征数据,得到规模为300的采样子集S。
4.根据权利要求1所述的基于MOD字典学习的谱聚类图像分割方法,其中步骤(4)所述的利用 
Figure FDA0000105753330000022
方法,从选出的采样子集S得到所有特征数据的特征向量,按照如下步骤进行:
(4a)计算采样子集S的权值矩阵W=G(S,S),其中n为特征数据个数,G()为高斯核函数;
(4b)对权值矩阵W进行特征分解,求出特征值λ={λ1,...,λi,...,λl}和特征向量 
Figure FDA0000105753330000023
其中λi是λ的第i个元素, 
Figure FDA0000105753330000024
是 
Figure FDA0000105753330000025
的第i列向量,i=1,2,...,l;
(4c)由W的特征值λ和特征向量 
Figure FDA0000105753330000026
根据下式计算得到φ的第j个列向量 
Figure FDA0000105753330000027
Figure FDA0000105753330000028
将n个列向量构成所有特征数据的特征向量: 
Figure FDA0000105753330000029
CN 201110346656 2011-11-04 2011-11-04 基于mod字典学习采样的谱聚类图像分割方法 Expired - Fee Related CN102436645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110346656 CN102436645B (zh) 2011-11-04 2011-11-04 基于mod字典学习采样的谱聚类图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110346656 CN102436645B (zh) 2011-11-04 2011-11-04 基于mod字典学习采样的谱聚类图像分割方法

Publications (2)

Publication Number Publication Date
CN102436645A true CN102436645A (zh) 2012-05-02
CN102436645B CN102436645B (zh) 2013-08-14

Family

ID=45984690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110346656 Expired - Fee Related CN102436645B (zh) 2011-11-04 2011-11-04 基于mod字典学习采样的谱聚类图像分割方法

Country Status (1)

Country Link
CN (1) CN102436645B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116762A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于自调制字典学习的图像分类方法
CN105469059A (zh) * 2015-12-01 2016-04-06 上海电机学院 一种视频中的人物识别、定位和统计方法
CN106023221A (zh) * 2016-05-27 2016-10-12 哈尔滨工业大学 基于非负低秩稀疏关联制图的遥感图像分割方法
CN110348518A (zh) * 2019-07-12 2019-10-18 厦门大学 一种基于黎曼网络的矩阵词典摘要方法
CN110909582A (zh) * 2018-09-18 2020-03-24 华为技术有限公司 一种人脸识别的方法及设备
CN111652319A (zh) * 2020-06-09 2020-09-11 创新奇智(广州)科技有限公司 一种布匹缺陷检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299243A (zh) * 2008-06-27 2008-11-05 西安电子科技大学 基于免疫谱聚类的图像分割方法
CN101673398A (zh) * 2009-10-16 2010-03-17 西安电子科技大学 基于免疫稀疏谱聚类的图像分割方法
CN101763514A (zh) * 2010-01-15 2010-06-30 西安电子科技大学 基于特征重要度排序谱聚类的图像分割方法
CN102096819A (zh) * 2011-03-11 2011-06-15 西安电子科技大学 利用稀疏表示与字典学习进行图像分割的方法
CN102122386A (zh) * 2011-03-01 2011-07-13 西安电子科技大学 基于字典迁移聚类的sar图像分割方法
CN102122353A (zh) * 2011-03-11 2011-07-13 西安电子科技大学 利用增量字典学习与稀疏表示进行图像分割的方法
CN102129573A (zh) * 2011-03-10 2011-07-20 西安电子科技大学 基于字典学习和稀疏表示的sar图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299243A (zh) * 2008-06-27 2008-11-05 西安电子科技大学 基于免疫谱聚类的图像分割方法
CN101673398A (zh) * 2009-10-16 2010-03-17 西安电子科技大学 基于免疫稀疏谱聚类的图像分割方法
CN101763514A (zh) * 2010-01-15 2010-06-30 西安电子科技大学 基于特征重要度排序谱聚类的图像分割方法
CN102122386A (zh) * 2011-03-01 2011-07-13 西安电子科技大学 基于字典迁移聚类的sar图像分割方法
CN102129573A (zh) * 2011-03-10 2011-07-20 西安电子科技大学 基于字典学习和稀疏表示的sar图像分割方法
CN102096819A (zh) * 2011-03-11 2011-06-15 西安电子科技大学 利用稀疏表示与字典学习进行图像分割的方法
CN102122353A (zh) * 2011-03-11 2011-07-13 西安电子科技大学 利用增量字典学习与稀疏表示进行图像分割的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GOU S.P. AT EL: "SAR image segmentation based on Immune Greedy Spectral Clustering", 《2ND ASIAN-PACIFIC CONFERENCE ON SYNTHETIC APERTURE RADAR》 *
LICHENG JIAO ET AL: "Spectral Clustering Ensemble Applied to SAR Image Segmentation", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
SHUYUAN YANG ET AL: "Cooperative Synthetic Aperture Radar Image Segmentation Using Learning Sparse Representation Based Clustering Scheme", 《2011 INTERNATIONAL WORKSHOP ON MULTI-PLATFORM/MULTI-SENSOR REMOTE SENSING AND MAPPING》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116762A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于自调制字典学习的图像分类方法
CN103116762B (zh) * 2013-03-20 2015-10-14 南京大学 一种基于自调制字典学习的图像分类方法
CN105469059A (zh) * 2015-12-01 2016-04-06 上海电机学院 一种视频中的人物识别、定位和统计方法
CN106023221A (zh) * 2016-05-27 2016-10-12 哈尔滨工业大学 基于非负低秩稀疏关联制图的遥感图像分割方法
CN110909582A (zh) * 2018-09-18 2020-03-24 华为技术有限公司 一种人脸识别的方法及设备
CN110909582B (zh) * 2018-09-18 2023-09-22 华为技术有限公司 一种人脸识别的方法及设备
CN110348518A (zh) * 2019-07-12 2019-10-18 厦门大学 一种基于黎曼网络的矩阵词典摘要方法
CN111652319A (zh) * 2020-06-09 2020-09-11 创新奇智(广州)科技有限公司 一种布匹缺陷检测方法及装置

Also Published As

Publication number Publication date
CN102436645B (zh) 2013-08-14

Similar Documents

Publication Publication Date Title
CN101763514B (zh) 基于特征重要度排序谱聚类的图像分割方法
CN102436645B (zh) 基于mod字典学习采样的谱聚类图像分割方法
US8064697B2 (en) Laplacian principal components analysis (LPCA)
CN102346851B (zh) 基于njw谱聚类标记的图像分割方法
CN101807258B (zh) 基于核标度切维数约简的合成孔径雷达图像目标识别方法
CN107563442B (zh) 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法
CN101673398B (zh) 基于免疫稀疏谱聚类的图像分割方法
CN103413146B (zh) 基于Freeman熵和自学习的极化SAR图像精细分类方法
Dong et al. An algorithm for underdetermined mixing matrix estimation
CN101140624A (zh) 图像匹配方法
CN101853509A (zh) 基于Treelets和模糊C-均值聚类的SAR图像分割方法
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和系统
CN112836671A (zh) 一种基于最大化比率和线性判别分析的数据降维方法
Dong et al. Feature extraction through contourlet subband clustering for texture classification
CN103955709A (zh) 基于加权合成核与tmf的极化sar图像分类方法
Cruz et al. Feature representation selection based on classifier projection space and oracle analysis
CN103456017B (zh) 基于种子集的半监督权重核模糊聚类的图像分割方法
CN103714340A (zh) 基于图像分块的自适应特征提取方法
Chen et al. Sparsity-regularized feature selection for multi-class remote sensing image classification
Li Curvature-aware manifold learning
ul Haq et al. Neural network based adaboosting approach for hyperspectral data classification
CN114332172A (zh) 一种基于协方差矩阵改进的激光点云配准方法
Ulfarsson et al. Tuning parameter selection for nonnegative matrix factorization
CN105894035A (zh) 基于sar-sift和dbn的sar图像分类方法
CN106127236B (zh) 基于狄利克雷mrf混合模型的极化sar图像分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130814

Termination date: 20181104

CF01 Termination of patent right due to non-payment of annual fee