CN1941923B - 应用于彩色数字影像的自动白平衡方法 - Google Patents

应用于彩色数字影像的自动白平衡方法 Download PDF

Info

Publication number
CN1941923B
CN1941923B CN2005101125325A CN200510112532A CN1941923B CN 1941923 B CN1941923 B CN 1941923B CN 2005101125325 A CN2005101125325 A CN 2005101125325A CN 200510112532 A CN200510112532 A CN 200510112532A CN 1941923 B CN1941923 B CN 1941923B
Authority
CN
China
Prior art keywords
value
image
white point
color
pixel group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005101125325A
Other languages
English (en)
Other versions
CN1941923A (zh
Inventor
翁竟智
陈宏铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AviSonic Tech Corp
Original Assignee
AviSonic Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AviSonic Tech Corp filed Critical AviSonic Tech Corp
Priority to CN2005101125325A priority Critical patent/CN1941923B/zh
Publication of CN1941923A publication Critical patent/CN1941923A/zh
Application granted granted Critical
Publication of CN1941923B publication Critical patent/CN1941923B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)

Abstract

一种应用于彩色数字影像的自动白平衡方法,包括计算适应该影像的动态临界值,选取满足该动态临界值的第一像素群为候选参考白点,并由所述的候选参考白点中选取亮度值较大者作为参考白点,根据所述的参考白点的许多色彩的色彩值与该影像中最大的亮度值得到该许多色彩的增益,以及以所述的增益调整该影像中的第二像素群的色彩值。

Description

应用于彩色数字影像的自动白平衡方法
技术领域
本发明是有关一种数字影像的处理方法,特别是关于一种应用于彩色数字影像的自动白平衡方法。
背景技术
为了使数字影像得到如同在自然光之下的品质,自动白平衡在数字影像的处理过程中扮演极重要的角色。公知的自动白平衡算法包括灰色世界(greyworld)、理想反射物(perfect reflector)、模糊规则方法(fuzzy rulesmethod)及Chikane方法等。灰色世界是最广为使用的算法,其假设反射系数的平均值是一特定的灰色值,优点在于运算简单且当影像中具有足够的颜色变化时可得到满意的影像品质,缺点在于不易决定灰色值,尤其在影像中具有颜色均匀的大型物体时更是如此。理想反射物算法是基于在影像中最亮的像素相当于一物体的光滑面或镜面的假设下,以影像中最亮的像素作为参考白点,其缺点在于整个影像中的亮度常会改变,因此参考白点不易决定。模糊规则算法是将影像转换到亮度-彩度[YCbCr]色彩空间进行分析,图1显示在不同光源下不同颜色从其名义上位置的偏移,其中,A方向为高色温轴,B方向为低色温轴。从图1中可发现亮色的偏移量比暗色的偏移量大,且白色物体的彩度值Cr与Cb的比值介于-1.5到-0.5之间,已知的数个模糊规则算法即是基于以上的特性而建立,该算法包括将影像分为八个区域,并计算每个区域中Cr及Cb的平均值,接着决定每个区域的权重,基于模糊控制的原理计算整幅影像的Cr’及Cb’值,该Cr’及Cb’值表示影像颜色从白平衡点的偏移,可利用Cr’及Cb’值得到Cr及Cb增益以调整每一个像素,但以上所述的程序需反复执行直到Cr’及Cb’的结果接近该影像的白平衡点,因此演算相当繁复。至于Chikane算法则是基于预先处理的概念,先将直方图均衡化应用到影像上以提高该影像像素的对比,接者使用一预先定义的临界值决定参考白点,此方法用于大部分的影像上可得到满意的结果,但其临界值是事先决定且与影像的状态无关,当影像具有的白点数目相对少时则影像的品质会劣化。
因此,一种减少演算复杂度及得到较佳影像品质的自动白平衡方法,乃为所冀。
发明内容
本发明的目的之一,在于提出一种应用于彩色数字影像的自动白平衡方法。
更具体而言,本发明的目的,在于提出一种使用动态临界值为彩色数字影像决定参考白点的方法。
根据本发明,一种应用于彩色数字影像的自动白平衡方法,包括计算适应该影像的动态临界值,选取满足该动态临界值的第一像素群定义为候选参考白点,并选取所述的候选参考白点中亮度值较大者作为参考白点,根据所述的参考白点的许多色彩的色彩值与该影像中最大的亮度值得到该许多色彩的增益,以及以所述的增益调整该影像中的第二像素群的色彩值。
本发明使用与影像状态相关的动态临界值决定参考白点,以低复杂度的算法得到最佳的影像品质,解决了公知白平衡中灰色值及参考白点不易决定、演算步骤繁复、预先决定参考白点临界值及颜色均匀的大型物体的影像易产生劣化等缺点,而且对每一个被处理的影像具有适应性。
附图说明
图1显示在不同光源下不同颜色从其名义上位置的偏移量;
图2是根据本发明的一个流程图;
图3是根据本发明的近白区域示意图;以及
图4是将影像分成十二个区域的示意图。
符号说明:
10    流程图
12    彩色数字影像
14    色彩空间转换
16    计算Mb及Mr
18    计算Db及Dr
20    产生动态临界值
22    决定近白区域
24    决定参考白点
26    计算许多色彩的增益
28    调整色彩值
32    近白区域
34    近白区域的中心
36    影像的彩度值的平均值
具体实施方式
根据本发明,一种应用于彩色数字影像的自动白平衡方法,是使用适应该影像的动态临界值决定该影像中的白点,该方法包括白点侦测及白点调整二步骤。
图2所示的流程图10是一个在YCbCr空间中进行处理的实施例,其中,白点侦测从步骤14到步骤24,而白点调整为步骤26及步骤28,分别叙述如下。
步骤14:色彩空间转换
将一彩色数字影像12,例如由取像装置撷取产生,从三原色的色彩空间[RGB]转换到一个类似人类视觉系统的亮度-彩度色彩空间[YCbCr]。在RGB空间中,色彩信息是红色、绿色及蓝色色彩值,在YCbCr空间中,色彩信息是一个亮度值及两个彩度值。在影像处理的技术领域中,色彩信息与不同空间之间的转换是已广为熟知的。
步骤16:计算影像彩度值的平均值
计算影像12在YCbCr空间中彩度值Cb及Cr的平均值Mb及Mr
步骤18:计算影像彩度值的绝对差值的平均值
计算影像12中彩度值Cb及Cr的绝对差值的平均值
D b = Σ i , j ( | C b ( i , j ) - M b | ) /N 公式1
以及
D r = Σ i , j ( | C r ( i , j ) - M r | ) / N 公式2
其中,Cb(i,j)及Cr(i,j)是影像12中位于位置(i,j)的像素的彩度值且N是用于计算的像素数目。
步骤20:产生动态临界值
利用Mb、Mr、Db及Dr决定动态临界值
|Cb(i,j)-(Mb+Db×sign(Mb))|<K1×Db        公式3
以及
|Cr(i,j)-(K1×Mr+Dr×sign(Mr))|<K1×Dr    公式4
其中,K1是一个常数,sign(Mb)与sign(Mr)表示Mb与Mr的正负号,当Mb与Mr小于0,sign(Mb)与sign(Mr)等于-1,当Mb与Mr等于0,sign(Mb)与sign(Mr)等于0,当Mb与Mr大于0,sign(Mb)与sign(Mr)等于1。在不同的实施例中,公式3及4中的常数K1可以调整。
步骤2 2:决定近白区域
将符合公式3及4的像素群列为候选参考白点,候选参考白点在YCbCr空间中组成一近白区域,如图3所示,图3是影像12的彩度值分布示意图,近白区域32由影像12中符合公式3及4的像素群组成,而近白区域32的中心为点34,影像12的彩度值的平均值为点36。在不同的实施例中,可以调整公式3及4中的常数K1,以调整近白区域32的范围。
步骤24:决定参考白点
选取近白区域32中候选参考白点亮度值较大者,例如亮度值为前10%者,作为参考白点。
步骤26:计算许多色彩的增益
在决定参考白点后,为了保持整个影像12的亮度在相同的标准,可利用一个或多个参考值,例如影像12中最大的亮度值,正规化参考白点中许多色彩的色彩值的平均值而得到许多色彩的增益,例如
Rgain=Ymax/Ravew    公式5
Ggain=Ymax/Gavew    公式6
Bgain=Ymax/Bavew    公式7
其中,Ravew、Gavew及Bavew为参考白点中红色、绿色及蓝色色彩值的平均值,Ymax为影像12中的最大亮度值。
步骤28:调整色彩值
利用公式5至7得到的增益调整影像12中许多色彩的色彩值
R′=R×Rgain    公式8
G′=G×Ggain     公式9
B′=B×Bgain     公式10
其中,R、G及B是影像12中原始的红色、绿色及蓝色色彩值,而R′、G′及B′是调整后的红色、绿色及蓝色色彩值。
进一步的改良如图4所示,将影像12分成多个区域,例如十二个区域,分别计算该十二个区域的Mb、Mr、Db及Dr,若其中某一区域的Db及Dr值小于一临界值,表示该区域不具有足够的颜色变化,可将该区域忽略后再重新计算影像12的Mb、Mr、Db及Dr,并经由公式3及4得到近白区域,以得到参考白点,增加此步骤有助于避免颜色均匀的大型物体产生较大的误差。
为得到更佳的影像品质,可再次计算近白区域中的Mb、Mr、Db及Dr,并依据公式3及4得到修正后的近白区域,再由新的近白区域中选取亮度值较大的像素群,例如亮度值为前10%者,作为参考白点,此种经多次修正所选出的参考白点比只经过一次运算所选出的参考白点更具代表性,因此经过公式5至10的运算后,可得到更令人满意的影像品质。
本发明的特点在于使用动态临界值选取参考白点,对于任何一个被处理的影像而言,动态临界值适应该影像本身的状态,因此藉以选取的参考白点是最符合该影像状态。根据本发明,动态临界值是从被处理的影像的像素所提供的色彩信息而产生,在上述实施例中,是在YCbCr空间中进行处理,所使用的色彩信息是亮度值及彩度值,在另外的实施例中,根据其进行影像处理的色彩空间,例如YUV空间或YCNk空间,从该空间的色彩信息产生动态临界值,再进一步选取参考白点。在其它实施例中,进行影像处理时尚包含一次或多次的色彩空间转换。

Claims (24)

1.一种应用于彩色数字影像的自动白平衡方法,包括下列步骤:
从该影像中选取符合适应该影像的动态临界值的第一像素群作为参考白点,其中该动态临界值是从该影像的第三像素群的彩度值的平均值及绝对差值的平均值产生;
根据所述的参考白点中许多色彩的色彩值与一个或多个参考值产生多个所述的色彩的增益;以及
以所述的增益调整该影像中的第二像素群的色彩值。
2.如权利要求1所述的应用于彩色数字影像的自动白平衡方法,其中该选取多个参考白点的步骤包括下列步骤:
选取符合该动态临界值的第三像素群为候选参考白点;以及
从所述的候选参考白点中选取亮度值在前10%者为所述的参考白点。
3.如权利要求2所述的应用于彩色数字影像的自动白平衡方法,其中所述的候选参考白点组成一近白区域。
4.如权利要求1所述的应用于彩色数字影像的自动白平衡方法,其中该一个或多个参考值包括该影像中最大的亮度值。
5.如权利要求1的方法,其中该产生多个增益的步骤包括将该一个或多个参考值除以参考白点的色彩的色彩值的平均值。
6.一种应用于彩色数字影像的自动白平衡方法,包括下列步骤:
从该影像选取多个区域;
从该多个区域中的第一像素群的彩度值产生适应该影像的动态临界值,其中该动态临界值是从该第一像素群的彩度值的平均值及绝对差值的平均值产生;
从该影像中选取符合该动态临界值的第二像素群作为参考白点;
根据所述的参考白点中许多色彩的色彩值与一个或多个参考值产生多个所述的色彩的增益;以及 
以所述的增益调整该影像中的第三像素群的色彩值。
7.如权利要求6所述的应用于彩色数字影像的自动白平衡方法,其中该选取多个区域的步骤包括下列步骤:
将该影像分成多个候选区域;以及
将该多个候选区域中其彩度值的绝对差值的平均值不小于一临界值者定为该多个区域。
8.如权利要求6所述的应用于彩色数字影像的自动白平衡方法,其中该选取多个参考白点的步骤包括下列步骤:
选取符合该动态临界值的第四像素群为候选参考白点;以及
从所述的候选参考白点中选取亮度值在前10%者为所述的参考白点。
9.如权利要求8所述的应用于彩色数字影像的自动白平衡方法,其中所述的候选参考白点组成一近白区域。
10.如权利要求6所述的应用于彩色数字影像的自动白平衡方法,其中该一个或多个参考值包括该影像中最大的亮度值。
11.如权利要求6所述的应用于彩色数字影像的自动白平衡方法,其中该产生多个增益的步骤包括将该一个或多个参考值除以所述的参考白点的所述的色彩的色彩值的平均值。
12.一种应用于彩色数字影像的自动白平衡方法,包括下列步骤:
从该影像的第一像素群的彩度值产生第一临界值,其中该第一临界值是从该第一像素群的彩度值的平均值及绝对差值的平均值产生;
从该影像中选取符合该第一临界值的第二像素群;
从该第二像素群的彩度值产生适应该影像的动态临界值,其中该动态临界值是从该第二像素群的彩度值的平均值及绝对差值的平均值产生;
从该影像中选取符合该动态临界值的第三像素群作为参考白点;
根据所述的参考白点中许多色彩的色彩值与一个或多个参考值产生多个所述的色彩的增益;以及 
以所述的增益调整该影像中的第四像素群的色彩值。
13.如权利要求12所述的应用于彩色数字影像的自动白平衡方法,其中该选取多个参考白点的步骤包括下列步骤:
选取符合该动态临界值的第五像素群为候选参考白点;以及
从所述的候选参考白点中选取亮度值在前10%者为所述的参考白点。
14.如权利要求13所述的应用于彩色数字影像的自动白平衡方法,其中所述的候选参考白点组成一近白区域。
15.如权利要求12所述的应用于彩色数字影像的自动白平衡方法,其中该一个或多个参考值包括该影像中最大的亮度值。
16.如权利要求12所述的应用于彩色数字影像的自动白平衡方法,其中该产生多个增益的步骤包括将该一个或多个参考值除以所述的参考白点的所述的色彩的色彩值的平均值。
17.一种应用于彩色数字影像的自动白平衡方法,包括下列步骤:
从该影像选取多个区域;
从该多个区域中的第一像素群的彩度值产生第一临界值,其中该第一临界值是从该第一像素群的彩度值的平均值及绝对差值的平均值产生;
从该影像中选取符合该第一临界值的第二像素群;
从该第二像素群的彩度值产生适应该影像的动态临界值,其中该动态临界值是从该第二像素群的彩度值的平均值及绝对差值的平均值产生;
从该影像中选取符合该动态临界值的第三像素群作为参考白点;
根据所述的参考白点中许多色彩的色彩值与一个或多个参考值产生多个所述的色彩的增益;以及
以所述的增益调整该影像中的第四像素群的色彩值。
18.如权利要求17所述的应用于彩色数字影像的自动白平衡方法,其中该选取多个区域的步骤包括下例步骤:
将该影像分成多个候选区域;以及 
将该多个候选区域中其彩度值的绝对差值的平均值不小于一临界值者定为该多个区域。
19.如权利要求17所述的应用于彩色数字影像的自动白平衡方法,其中该选取多个参考白点的步骤包括下列步骤:
选取满足该动态临界值关系的第五像素群为候选参考白点;以及
从所述的候选参考白点中选取亮度值在前10%者为所述的参考白点。
20.如权利要求19所述的应用于彩色数字影像的自动白平衡方法,其中所述的候选参考白点组成一近白区域。
21.如权利要求17所述的应用于彩色数字影像的自动白平衡方法,其中该一个或多个参考值包括该影像中最大的亮度值。
22.如权利要求17所述的应用于彩色数字影像的自动白平衡方法,其中该产生多个增益的步骤包括将该一个或多个参考值除以参考白点的色彩的色彩值的平均值。
23.一种应用于彩色数字影像的自动白平衡方法,包括下列步骤:
从该影像中的第一像素群的色彩信息产生动态临界值,具体包括:
计算影像在YCbCr空间中彩度值Cb及Cr的平均值Mb及Mr
计算影像中彩度值Cb及Cr的绝对差值的平均值;
Figure FSB00000291141300041
以及
Figure FSB00000291141300042
其中,Cb(i,j)及Cr(i,j)是影像中位于位置(i,j)的像素的彩度值且N是用于计算的像素数目;
利用Mb、Mr、Db及Dr产生动态临界值;
|Cb(i,j)-(Mb+Db×singn(Mb))|<K1×Db
以及 
|Cr(i,j)-(K1×Mr+Dr×sign(Mr))|<K1×Dr
其中,K1是一个常数,sign(Mb)与sign(Mr)表示Mb与Mr的正负号,当Mb与Mr小于0,sign(Mb)与sign(Mr)等于-1,当Mb与Mr等于0,sign(Mb)与sign(Mr)等于0,当Mb与Mr大于0,sign(Mb)与sign(Mr)等于1;
选取符合该动态临界值的第二像素群作为参考白点;
从所述的参考白点的色彩信息与一个或多个参考值产生一个或多个增益;以及
以该一个或多个增益调整该影像中的第三像素群的色彩信息。
24.如权利要求23所述的应用于彩色数字影像的自动白平衡方法,其中该选取参考白点的步骤包括下列步骤:
选取符合该动态临界值的第四像素群作为候选参考白点;以及
选取该候选参考白点中符合临界值的第五像素群以获得该第二像素群。 
CN2005101125325A 2005-09-30 2005-09-30 应用于彩色数字影像的自动白平衡方法 Expired - Fee Related CN1941923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2005101125325A CN1941923B (zh) 2005-09-30 2005-09-30 应用于彩色数字影像的自动白平衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2005101125325A CN1941923B (zh) 2005-09-30 2005-09-30 应用于彩色数字影像的自动白平衡方法

Publications (2)

Publication Number Publication Date
CN1941923A CN1941923A (zh) 2007-04-04
CN1941923B true CN1941923B (zh) 2011-03-23

Family

ID=37959628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101125325A Expired - Fee Related CN1941923B (zh) 2005-09-30 2005-09-30 应用于彩色数字影像的自动白平衡方法

Country Status (1)

Country Link
CN (1) CN1941923B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534821A (zh) * 2015-09-10 2017-03-22 三星电子株式会社 图像处理装置和自动白平衡方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442679B (zh) * 2007-11-23 2010-12-01 佛山市顺德区顺达电脑厂有限公司 自动白平衡控制系统及其方法
CN103780892A (zh) * 2012-10-25 2014-05-07 鸿富锦精密工业(深圳)有限公司 白平衡调整方法
EP3039864B1 (en) * 2013-08-26 2018-09-19 Intel Corporation Automatic white balancing with skin tone correction for image processing
CN104702941B (zh) * 2013-12-09 2017-03-08 展讯通信(上海)有限公司 一种白点区域表示及判定方法
TWI552112B (zh) * 2014-12-27 2016-10-01 國立中興大學 色溫估測演算法
CN104618703B (zh) * 2015-02-09 2016-08-24 傅邓文 一种白平衡调整方法
JP2017201250A (ja) * 2016-05-02 2017-11-09 富士ゼロックス株式会社 変化度合い導出装置、変化度合い導出システム、変化度合い導出方法、これに用いる色既知体及びプログラム
CN105979237A (zh) * 2016-06-01 2016-09-28 努比亚技术有限公司 一种图像处理方法及装置
CN107027017A (zh) * 2017-04-25 2017-08-08 建荣半导体(深圳)有限公司 一种图像白平衡的调整方法、装置、图像处理芯片及存储装置
US10803341B2 (en) * 2017-12-26 2020-10-13 Augentix Inc. Method and computer system of white point detection
CN109993687B (zh) * 2017-12-29 2023-06-13 阿里巴巴集团控股有限公司 一种图像信息处理方法及装置
CN112055191B (zh) * 2020-08-25 2022-08-09 浙江大华技术股份有限公司 白平衡调整的方法、图像采集设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5926562A (en) * 1995-06-23 1999-07-20 Fuji Photo Film Co., Ltd. Image processing method using reference values to determine exposure state
CN1275870A (zh) * 1999-05-31 2000-12-06 索尼公司 彩色成像装置和方法
US20030189650A1 (en) * 2002-04-04 2003-10-09 Eastman Kodak Company Method for automatic white balance of digital images
US20050174586A1 (en) * 2001-11-13 2005-08-11 Seishin Yoshida Color coversion apparatus color conversion method color change program and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5926562A (en) * 1995-06-23 1999-07-20 Fuji Photo Film Co., Ltd. Image processing method using reference values to determine exposure state
CN1275870A (zh) * 1999-05-31 2000-12-06 索尼公司 彩色成像装置和方法
US20050174586A1 (en) * 2001-11-13 2005-08-11 Seishin Yoshida Color coversion apparatus color conversion method color change program and recording medium
US20030189650A1 (en) * 2002-04-04 2003-10-09 Eastman Kodak Company Method for automatic white balance of digital images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2000-201277A 2000.07.18

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534821A (zh) * 2015-09-10 2017-03-22 三星电子株式会社 图像处理装置和自动白平衡方法
CN106534821B (zh) * 2015-09-10 2019-07-12 三星电子株式会社 图像处理装置和自动白平衡方法

Also Published As

Publication number Publication date
CN1941923A (zh) 2007-04-04

Similar Documents

Publication Publication Date Title
CN1941923B (zh) 应用于彩色数字影像的自动白平衡方法
US6594384B1 (en) Apparatus and method for estimating and converting illuminant chromaticity using perceived illumination and highlight
Martinkauppi et al. Behavior of skin color under varying illumination seen by different cameras at different color spaces
Gasparini et al. Color balancing of digital photos using simple image statistics
US20060203311A1 (en) Automatic white balance method adaptive to digital color images
US7057768B2 (en) Automatic color balance
CN1193315C (zh) 数字图像中的偏色检测和消除
US7949185B2 (en) Method of performing robust auto white balance
US20080240605A1 (en) Image Processing Apparatus, Image Processing Method, and Image Processing Program
US6188786B1 (en) Image processing apparatus that determines an area in an image based on color information
US7933469B2 (en) Video processing
KR20090017158A (ko) 자동 화이트 밸런스 방법
US6483940B1 (en) Method for dividing image
JP2009055465A (ja) 画像処理装置および方法
JPH0862741A (ja) 階調補正装置
US10224004B2 (en) Automatic white balance based on surface reflection decomposition
CN105761292A (zh) 一种基于颜色转移和修正的图像着色方法
CN106815602B (zh) 一种基于多层次特征描述的跑道fod图像探测方法及装置
CN109903275B (zh) 一种基于自适应多尺度滤波和直方图对比的酒醅发霉区域检测方法
US9098886B2 (en) Apparatus and method for processing an image
CN102542526A (zh) 一种图像去色方法
WO2022120799A1 (zh) 图像处理方法、装置、电子设备及存储介质
US8351724B2 (en) Blue sky color detection technique
TW499812B (en) Method to determine the semi-S curve tone process of digital image
CN115665395B (zh) 一种适用于单调场景下的图像白平衡方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110323

Termination date: 20160930