CN102298774B - 基于联合相似性的非局部均值去噪方法 - Google Patents

基于联合相似性的非局部均值去噪方法 Download PDF

Info

Publication number
CN102298774B
CN102298774B CN 201110282126 CN201110282126A CN102298774B CN 102298774 B CN102298774 B CN 102298774B CN 201110282126 CN201110282126 CN 201110282126 CN 201110282126 A CN201110282126 A CN 201110282126A CN 102298774 B CN102298774 B CN 102298774B
Authority
CN
China
Prior art keywords
pixel
piece
centered
gray
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110282126
Other languages
English (en)
Other versions
CN102298774A (zh
Inventor
钟桦
焦李成
韩攀攀
王桂婷
侯彪
王爽
张小华
田小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN 201110282126 priority Critical patent/CN102298774B/zh
Publication of CN102298774A publication Critical patent/CN102298774A/zh
Application granted granted Critical
Publication of CN102298774B publication Critical patent/CN102298774B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于联合相似性的非局部均值去噪方法,它属于图像处理技术领域,主要克服现有自然图像非局部均值去噪中权值计算不准确的问题。其实现过程是:(1)对输入的含噪自然图像中所有像素点设定搜寻区域,对搜寻区域内点进行均值和方差预选取得到相似集合;(2)计算相似集合内所有点与当前点之间距离,并利用本发明设计的权值公式计算权值;(3)根据计算出的相似集合内所有像素点的权值,对相似集合内所有像素点及对应的像素块进行加权平均,得到像素点修正后图像像素点及像素块的灰度值。本发明在总体性能上优于其它的去噪方法,能够更好地平滑噪声的同时保持自然图像的边缘和纹理等细节,可用于对自然图像的去噪处理。

Description

基于联合相似性的非局部均值去噪方法
技术领域
本发明属于图像处理技术领域,涉及一种基于联合相似性的非局部均值去噪方法,可用于对自然图像的去噪处理。
背景技术
图像信息以其信息量大、传输速度快、作用距离远等优点成为人类获取信息的重要来源及利用信息的重要手段,而现实中的图像由于种种原因都是带有噪声的。噪声恶化了图像质量,使图像模糊甚至淹没和改变特征,给图像分析和识别带来困难。为了去除噪声,会引起图像边缘的模糊和一些纹理细节的丢失。反之,对图像进行边缘增强也会同时增强噪声。因此在去除噪声的同时,要求最小限度的减小图像的信息,保持图像的原貌。
传统的去噪方法大致可以分为两类,一类是基于空域的方法,一类是基于变换域的方法。空域去噪方法中比较经典的方法包括高斯滤波,中值滤波,双边滤波等。它们的共同特点就是利用局部窗口内像素灰度值的连续性来对当前像素进行灰度调整。这些方法大都在去除噪声的同时模糊了图像的细节信息,例如图像的边缘,纹理等。
由于自然图像,特别是纹理图像所含信息具有一定的冗余性,Buades等人提出了一种非局部均值的去噪方法。该方法以当前像素为中心取大小一定的窗口,在整幅图像内寻找与其具有相似结构的窗口,以窗口之间的相似度为权值对当前像素的灰度值进行调整。由于这种方法在去噪领域良好的性能,自提出以来迅速引起众多学者的广泛关注,但是它仍然存在以下问题:1:算法复杂性比较大;2:权值计算准确性欠佳;3:图像的边缘与细节仍存在一定程度的模糊。
非局部均值算法里两个像素点之间的相似性是通过以它们两者为中心的块得到,即用块的相似性表示点的相似性,首先,计算两像素点对应块之间的距离;然后,根据不同的权值函数得到两像素点之间的权值,权值越大,两像素点越相似。NL方法中对应的权值函数是指数形式,其表示两像素点对应块之间的欧氏距离越小,则两像素点之间的权值越大,这是从实际物理意义上考虑的,但这种指数形式的权值函数存在参数难以自适应以及相似点之间权值分布不稳定的缺陷;BNL方法中认为两相似点对应块之间的欧氏距离经过修正后服从卡方分布,并将这种卡方分布转变成高斯分布,设计了一种基于概率分布的权值函数,但是这种权值函数在两相似点之间距离很小的时候权值也很小,这在实际物理意义下是错误的。
综上,无论是NL方法还是BNL方法,它们的权值函数都存在缺陷,这导致它们对像素点之间的相似性计算并不精确,使图像像素恢复值偏离其真实值过大。
发明内容
本发明的目的在于克服上述已有技术的不足,提出了基于联合相似性的非局部均值去噪方法,通过推导并设计出一种新的权值函数,使得相似点相似性计算更加精确,进一步提高图像去噪效果。
实现本发明目的的技术方案包括如下步骤:
(1)对输入的含噪自然图像中待修正像素点xi的搜寻区域像素点xj,进行块的均值和方差预选取,得到像素点xi的相似集合,i从1到I×I,I×I表示输入图像的大小,j从1到N×N,N×N表示以待修正像素点xi为中心的搜寻区域的大小;
(2)对满足预选取条件的点,计算待修正像素点与其相似集合内像素点之间的欧氏距离,并对欧氏距离修正,得到距离d(v(xi),v(xj)),该距离服从高斯分布,v(xi)是以xi为中心的M×M大小的块,v(xj)是以xj为中心的M×M大小的块;
(3)根据上述距离d(v(xi),v(xj)),利用如下公式计算计算待修正像素点xi与其相似集合内点xj之间的权值w(v(xi),v(xj)):
w ( v ( x i ) , v ( x j ) ) = 1 W ( x i ) ( 1 2 - 1 π ∫ 0 d ( v ( x i ) , v ( x j ) ) - u 2 e - y 2 dy )
其中,W(xi)是归一化系数:
W ( x i ) = Σ j = 1 M × N ( 1 2 - 1 π ∫ 0 d ( v ( x i ) , v ( x j ) ) - u 2 e - y 2 dy )
式中,d(v(xi),v(xj))是像素点xi和xj对应的距离,它服从一个高斯分布,表示该分布在分位点为0.88处对应的值,M2表示以xi为中心的的块的大小,N×N是以xi为中心的搜寻区域大小;
(4)根据计算出的权值w(v(xi),v(xj)),对该集合内所有像素点进行加权平均,得到像素点修正后点的灰度
Figure BDA0000093182070000031
(5)根据计算出的权值w(v(xi),v(xj)),对该集合内所有像素点对应像素块进行加权平均,得到像素块修正后的灰度
Figure BDA0000093182070000032
(6)用修正后像素点的灰度值
Figure BDA0000093182070000033
取代输入的含噪自然图像中像素点的灰度值,得到图像点的去噪结果z(xi);
(7)用修正后像素点对应像素块的灰度值
Figure BDA0000093182070000034
取代输入的含噪自然图像中像素点对应像素块的灰度值v(xi),得到图像块的去噪结果。
本发明由于使用了新提出的权值计算公式,与现有的技术相比具有以下优点:
1.本发明能在空域中进行,实现过程简单,且可以并行实现;
2.本发明能够更准确地计算含噪自然图像中像素点之间的相似性,使相似点的权值分布趋于平稳,进而能更准确的计算出待修正像素点的灰度值;
3.本发明能够更准确计算出待修正像素点的灰度值,进而能够在较好平滑噪声的同时保持和恢复自然图像的边缘和纹理细节。
附图说明
图1是本发明的流程图;
图2是本发明使用的测试图像;
图3是本发明使用的含噪图像;
图4是对图3基于像素点的去噪结果图;
图5是对图3基于像素块的去噪结果图。
具体实施方式
参照附图1,本发明给出基于联合相似性的非局部均值去噪方法,包括如下步骤:
步骤1,对输入的含噪自然图像中待修正像素点xi的搜寻区域像素点xj按如下条件公式进行块的均值和方差预选取,得到像素点xi的相似集合:
a:|mean(v(xi))-mean(v(xj))|>3σ/M;
b : max ( var ( v ( x i ) ) , var ( v ( x j ) ) ) min ( var ( v ( x i ) ) , var ( v ( x j ) ) ) > 1.6 ;
其中,式a表示块的均值预选取,式b表示块的方差预选取,σ是噪声标准差,M是块的直径,mean(v(xi)),mean(v(xj))分别是以像素点xi和xj为中心的块的均值,var(v(xi)),var(v(xj))分别是块的方差。
步骤2,对满足预选取条件的点xj,计算待修正像素点与相似集合内所有像素点之间的欧氏距离,并对欧氏距离修正,得到距离d(v(xi),v(xj)),即:
d ( v ( x i ) , v ( x j ) ) = Σ m = 1 M × M ( ( v ( m ) ( x i ) - v ( m ) ( x j ) ) 2 σ 2 )
其中,σ是噪声标准差,xi是待估计的像素点,xj是以xi为中心的大小为N×N的搜寻区域中的像素点,v(xi)是以xi为中心的M×M大小的块,v(xj)是以xj为中心的M×M大小的块,v(m)(xi)表示块v(xi)的第m个像素,v(m)(xj)表示块v(xj)的第m个像素。
步骤3,根据上述距离d(v(xi),v(xj)),构建计算距离d(v(xi),v(xj))对应的权值w(v(xi),v(xj))。
根据距离d(v(xi),v(xj))服从一个高斯分布,该分布的均值为
Figure BDA0000093182070000043
方差为1的原理,为了使距离d(v(xi),v(xj))越小对应权值越大,同时保证距离d(v(xi),v(xj))在均值
Figure BDA0000093182070000044
附近也能得到较大权值,本发明根据如下条件设计权值公式:
a)使高斯分布在其分位点α为0.88处对应距离u的权值等于0.5;
b)在距离d(v(xi),v(xj))小于u时,得到的权值将大于0.5同时小于1,
d(v(xi),v(xj))越小,对应权值越大;
c)在距离d(v(xi),v(xj))大于u时,得到的权值将小于0.5并随着距离的增大不断接近0。
基于以上条件,本发明设计如下权值公式计算计算待修正像素点xi与相似集合内像素点xj之间的权值w(v(xi),v(xj))为:
w ( v ( x i ) , v ( x j ) ) = 1 W ( x i ) ( 1 2 - 1 π ∫ 0 d ( v ( x i ) , v ( x j ) ) - u 2 e - y 2 dy )
式中
W ( x i ) = Σ j = 1 M × N ( 1 2 - 1 π ∫ 0 d ( v ( x i ) , v ( x j ) ) - u 2 e - y 2 dy ) 表示归一化系数,
其中,
Figure BDA0000093182070000053
表示该分布在分位点为0.88处对应的距离,M2表示以xi为中心的的块的大小,N×N是以xi为中心的搜寻区域大小。
步骤4,利用权值w(v(xi),v(xj)),对相似集合内所有像素点进行加权平均,得到像素点xi的恢复值
Figure BDA0000093182070000054
z ^ ( x i ) = Σ j = 1 N × N z ( x j ) w ( v ( x i ) , v ( x j ) )
其中,权值w(v(xi),v(xj))满足:0≤w(v(xi),v(xj))≤1,
Figure BDA0000093182070000056
z(xj)为原图中xj处像素点的灰度值。
步骤5,利用权值w(v(xi),v(xj))对相似集合内所有像素点对应的像素块进行加权平均,得到当素点xi对应像素块的恢复值
v ^ ( x i ) = Σ j = 1 N × N v ( x j ) w ( v ( x i ) , v ( x j ) ) .
步骤6,用修正后像素点的灰度值
Figure BDA0000093182070000059
取代输入的含噪自然图像中像素点的灰度值z(xi),得到图像点的去噪结果。
步骤7,用修正后像素块的灰度值
Figure BDA00000931820700000510
取代输入的含噪自然图像中像素块的灰度值v(xi),得到图像块的去噪结果。
本发明效果可以通过以下实验进一步证实:
一.实验条件和内容
实验条件:实验所使用的输入图像如图2和3所示,其中,图2(a)是测试图像Lena,图2(b)是测试图像Barbara,图2(c)是测试图像Peppers,图2(d)是测试图像House。
实验内容:在上述实验条件下,对图2中的所有测试图像分别加入噪声标准差为5,10,15,20,25,30,50,75,100的高斯加性白噪声,使用现有的NL方法,BNL方法和本发明方法对加噪后的图像进行实验。
二.实验结果
图3是对图2(a)加入噪声标准差为20的含噪的Lena图像,用NL方法对图3点的去噪效果如图4(a)所示,用NL方法对图3块的去噪效果如图5(a)所示,其中搜寻窗大小为15×15,相似窗大小为7×7,从图4(a)和图5(a)中可以看出,此方法的噪声抑制能力有限,而且边缘与细节存在模糊;
用BNL方法对图3点的去噪效果如图4(b)所示,用BNL方法对图3块的去噪效果如图5(b)所示,其中搜寻窗大小为15×15,相似窗大小为7×7,从图4(b)和图5(b)可以看出,此方法块的噪声抑制能力稳定性要优于NL方法,但是它点的去噪效果在PSNR值上很低;
用本发明方法对图3点的去噪效果如图4(c)所示,用本发明方法对图3块的去噪效果如图5(c)所示,其中搜寻窗大小为15×15,相似窗大小为7×7,从图4(c)和图5(c)可以看出,它的去噪效果要优于上面所提到的所有方法,同质区域也较平滑,图像的亮度保持效果较好,图像的边缘,细节也得到了很好的保持,而且其基于点和基于块的方法都能取得较理想的效果;
对图2中的所有测试图像用PSNR作为去噪效果的评价指标,将上述的去噪方法和本发明方法进行比较,各种方法的去噪效果PSNR值列在表1中。
表1各种去噪结果对比
Figure BDA0000093182070000061
Figure BDA0000093182070000071
表1结果均为5次平均后的结果,从表1中可以看出,与NL方法相比,本发明方法在点和块的去噪结果上都具有明显优势,就BNL方法来说,其点的结果在PSNR值上效果很差,但其块的结果要优于NL方法,本发明方法块的去噪效果在低噪声的情况下对比BNL方法优势较小,但随着噪声增大本发明方法的优势也不断提高。
以上实验结果表明,本发明在总体性能上优于现有的其它去噪方法,能够更好地平滑噪声的同时保持自然图像的边缘和纹理等细节。

Claims (3)

1.一种基于联合相似性的非局部均值去噪方法,包括如下步骤:
(1)对输入的含噪自然图像中待修正像素点xi的搜寻区域像素点,进行块的均值和方差预选取,得到像素点xi的相似集合,i从1到I×I,I×I表示输入图像的大小,j′从1到N×N,N×N表示以待修正像素点xi为中心的搜寻区域的大小;
(2)对满足预选取条件的点,计算待修正像素点与其相似集合内像素点xj之间的欧氏距离,并对欧氏距离修正,得到距离d(v(xi),v(xj)),该距离服从高斯分布,v(xi)是以xi为中心的M×M大小的块的灰度值所形成的向量,v(xj)是以xj为中心的M×M大小的块的灰度值所形成的向量;
(3)根据上述距离d(v(xi),v(xj)),利用如下公式计算待修正像素点xi与其相似集合内点xj之间的权值w(v(xi),v(xj)):
w ( v ( x i ) , v ( x j ) ) = 1 W ( x i ) ( 1 2 - 1 π ∫ 0 d ( v ( x i ) , v ( x j ) ) - u 2 e - y 2 dy )
其中,W(xi)是归一化系数:
W ( x i ) = Σ j = 1 N × N ( 1 2 - 1 π ∫ 0 d ( v ( x i ) , v ( x j ) ) - u 2 e - y 2 dy )
式中,d(v(xi),v(xj))是像素点xi和xj对应的距离,它服从一个高斯分布,
Figure FDA00002386590800013
表示该分布在分位点为0.88处对应的值,M2表示以xi为中心的块的大小,N×N是以xi为中心的搜寻区域大小;
(4)根据计算出的权值w(v(xi),v(xj)),对该相似集合内所有像素点进行加权平均,得到像素点修正后点的灰度
(5)根据计算出的权值w(v(xi),v(xj)),对该相似集合内所有像素点对应像素块进行加权平均,得到像素块修正后的灰度
Figure FDA00002386590800015
(6)用修正后像素点的灰度值,取代输入的含噪自然图像中像素点的灰度值,得到图像点的去噪结果;
(7)用修正后像素点对应像素块的灰度值,取代输入的含噪自然图像中像素点对应像素块的灰度值,得到图像块的去噪结果;
步骤(1)所述的对输入的含噪自然图像中待修正像素点xi的搜寻区域像素点x′j进行块的均值预选取,是通过如下公式选取:
|mean(v(xi))-mean(v(x′j))|>3σ/M
其中,σ是噪声标准差,M是以像素点xi为中心的块的直径,mean(v(xi))和mean(v(x′j))分别表示以像素点xi和x′j为中心的块的均值;
步骤(1)所述的对输入的含噪自然图像中待修正像素点xi的搜寻区域像素点x′j进行块的方差预选取,是通过如下公式选取:
max ( var ( v ( x i ) ) , var ( v ( x j ′ ) ) ) min ( var ( v ( x i ) ) , var ( v ( x j ′ ) ) ) > 1.6
其中,var(v(xi))和var(v(x′j))分别是以像素点xi和x′j为中心的块的方差;
步骤(2)所述的计算待修正像素点与其相似集合内像素点之间的欧氏距离,并对欧氏距离修正,得到距离d(v(xi),v(xj)),是通过如下公式计算:
d ( v ( x i ) , v ( x j ) ) = Σ m = 1 M × M ( ( v ( m ) ( x i ) - v ( m ) ( x j ) ) 2 σ 2 )
其中,d(v(xi),v(xj))表示两个相似点之间的距离,σ是噪声标准差,xi是待估计的像素点,xj是xi相似集合中的像素点,v(xi)是以xi为中心的M×M大小的块,v(xj)是以xj为中心的M×M大小的块,v(m)(xi)表示块v(xi)的第m个像素,v(m)(xj)表示向量v(xj)的第m个像素。
2.根据权利要求1所述的基于联合相似性的非局部均值去噪方法,其特征在于步骤(4)中所述的对相似集合内所有像素点进行加权平均,得到像素点修正后的灰度
Figure FDA00002386590800023
是通过如下公式计算:
z ^ ( x i ) = Σ j = 1 N × N z ( x j ) w ( v ( x i ) , v ( x j ) )
其中,权值w(v(xi),v(xj))满足:0≤w(v(xi),v(xj))≤1,
Figure FDA00002386590800025
为原图中xj处的灰度值,N×N是以xi为中心的搜寻区域大小。
3.根据权利要求1所述的基于联合相似性的非局部均值去噪方法,其特征在于步骤(5)所述的对相似集合内所有像素点对应的块进行加权平均,得到修正后像素点xi对应块的灰度
Figure FDA00002386590800031
是通过如下公式计算:
v ^ ( x i ) = Σ j = 1 N × N v ( x j ) w ( v ( x i ) , v ( x j ) )
其中,权值w(v(xi),v(xj))满足:0≤w(v(xi),v(xj))≤1,
Figure FDA00002386590800033
为原图中以xj为中心的块灰度值,
Figure FDA00002386590800034
为加权平均后xi点对应块的灰度,N×N是以xi为中心的搜寻区域大小。
CN 201110282126 2011-09-21 2011-09-21 基于联合相似性的非局部均值去噪方法 Expired - Fee Related CN102298774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110282126 CN102298774B (zh) 2011-09-21 2011-09-21 基于联合相似性的非局部均值去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110282126 CN102298774B (zh) 2011-09-21 2011-09-21 基于联合相似性的非局部均值去噪方法

Publications (2)

Publication Number Publication Date
CN102298774A CN102298774A (zh) 2011-12-28
CN102298774B true CN102298774B (zh) 2013-02-27

Family

ID=45359172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110282126 Expired - Fee Related CN102298774B (zh) 2011-09-21 2011-09-21 基于联合相似性的非局部均值去噪方法

Country Status (1)

Country Link
CN (1) CN102298774B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542543A (zh) * 2012-01-06 2012-07-04 西安电子科技大学 基于块相似性的交互式图像分割方法
CN103400352A (zh) * 2013-07-22 2013-11-20 西安电子科技大学 基于混合块相似性的极化sar图像降斑方法
CN104182935B (zh) * 2014-08-11 2017-02-15 同济大学 一种基于层次分析法选取小波基的图像去噪方法
CN104778669B (zh) * 2015-04-16 2017-12-26 北京邮电大学 快速图像去噪方法及装置
CN105184750A (zh) * 2015-09-22 2015-12-23 广州市百果园网络科技有限公司 一种在移动终端对实时视频图像去噪的方法和装置
CN108093182A (zh) * 2018-01-26 2018-05-29 广东欧珀移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109146803B (zh) * 2018-07-26 2021-08-17 北京航空航天大学 基于多角度图像的sar图像辐射分辨率提升方法及装置
CN109712079A (zh) * 2018-10-19 2019-05-03 中国人民解放军海军工程大学 盲元校正方法及装置
CN113034387B (zh) * 2021-03-05 2023-07-14 成都国科微电子有限公司 一种图像去噪方法、装置、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727662B (zh) * 2009-11-27 2012-05-09 西安电子科技大学 Sar图像非局部均值去斑方法
CN101833753B (zh) * 2010-04-30 2012-05-09 西安电子科技大学 基于改进贝叶斯非局部均值滤波器的sar图像去斑方法
CN101950414B (zh) * 2010-09-02 2012-07-04 西安电子科技大学 自然图像非局部均值去噪方法

Also Published As

Publication number Publication date
CN102298774A (zh) 2011-12-28

Similar Documents

Publication Publication Date Title
CN102298774B (zh) 基于联合相似性的非局部均值去噪方法
Wang et al. Dehazing for images with large sky region
CN102567973B (zh) 基于改进的形状自适应窗口的图像去噪方法
CN103942758B (zh) 基于多尺度融合的暗通道先验图像去雾方法
CN103020918B (zh) 基于形状自适应邻域均值的非局部均值去噪方法
CN101980284B (zh) 基于两尺度稀疏表示的彩色图像降噪方法
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN102298773B (zh) 一种形状自适应的非局部均值去噪方法
CN103886589B (zh) 面向目标的自动化高精度边缘提取方法
CN105913396A (zh) 一种噪声估计的图像边缘保持混合去噪方法
CN104680510A (zh) Radar视差图优化方法、立体匹配视差图优化方法及系统
Zhao et al. Single image fog removal based on local extrema
CN103530848A (zh) 一种非均匀光照图像二次曝光的实现方法
CN103049892A (zh) 基于相似块矩阵秩最小化的非局部图像去噪方法
CN103279931A (zh) 基于透射率的去雾图像去噪方法
CN104376535A (zh) 一种基于样本的快速图像修复方法
CN104156918B (zh) 基于联合稀疏表示与残差融合的sar图像噪声抑制方法
CN105590301B (zh) 自适应正斜双十字窗均值滤波的脉冲噪声消除方法
CN103164855A (zh) 一种结合反射光照的贝叶斯决策前景提取方法
CN101493933B (zh) 一种局部结构自适应的图像扩散去噪方法
CN102024156A (zh) 彩色人脸图像中的唇部区域定位方法
CN104732492A (zh) 一种深度图像的去噪方法
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN106204461A (zh) 结合非局部先验的复合正则化图像去噪方法
CN108229247A (zh) 一种移动车辆检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130227

Termination date: 20180921