CN1262104C - 采用神经网络技术对图像进行滤波的方法 - Google Patents

采用神经网络技术对图像进行滤波的方法 Download PDF

Info

Publication number
CN1262104C
CN1262104C CN 03132639 CN03132639A CN1262104C CN 1262104 C CN1262104 C CN 1262104C CN 03132639 CN03132639 CN 03132639 CN 03132639 A CN03132639 A CN 03132639A CN 1262104 C CN1262104 C CN 1262104C
Authority
CN
China
Prior art keywords
image
filtering
wave filtering
filtering method
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 03132639
Other languages
English (en)
Other versions
CN1529495A (zh
Inventor
刘忠仁
孙圣和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN 03132639 priority Critical patent/CN1262104C/zh
Publication of CN1529495A publication Critical patent/CN1529495A/zh
Application granted granted Critical
Publication of CN1262104C publication Critical patent/CN1262104C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种采用神经网络技术对图像进行滤波的方法,A、确定网络输入层和输出层的神经元个数;B、确定隐层层数和神经元个数;C、生成训练测试矢量集合,采用多幅性质不同、受污染程度不同的图像和其相应的干净图像一起构造训练测试矢量集合;D、构建代价函数,确定误差目标;E、采用优化算法来调整网络的权值和阈值。本发明提供一种在尽可能多的保持细节的前提下消除噪声,提高视频图像主观标准和客观标准。本发明给出了神经网络滤波方法的构建方法,研究了训练集合的生成、网络规模的大小对滤波方法性能的影响。实验表明,该滤波方法去除噪声和细节保持能力远优于秩排序滤波方法和形态滤波方法等传统滤波方法。

Description

采用神经网络技术对图像进行滤波的方法
技术领域:本发明涉及一种多媒体视频数据增强方法,特别是一种采用神经网络技术对图像进行滤波的方法。
背景技术:图像在采集、传送、处理过程中会产生脉冲噪声,在图像中引起黑白点,俗称椒盐噪声。脉冲噪声导致图像质量降低,图像特征提取和图像识别的困难以及不良的视觉效果。脉冲噪声是一类非线性噪声,很难用线性的方法消除。基于秩排序的层叠滤波、基于结构的广义形态滤波等非线性滤波方法对脉冲噪声具有较强的抑制能力,其中基于开关加权机制的滤波方法能够处理严重污染的图像。但这些滤波方法也存在适应性差,对于污染很少的图像的细节恢复能力不尽人意的缺点。原因在于:1、这些滤波方法多是基于选择机制的,当期望的输出不在观测样本集中时它们不可能输出最优解;2、利用的信息有限,通常只能使用若干人为预先设定的判别规则。采用模糊集合增强的滤波方法通常比相应的普通集合滤波方法性能好一点,但存在着模糊规则难以获得的困难。林荫等于1993年提出一种神经网络滤波方法,用神经网络来逼近最优的层叠滤波方法中的正布尔函数,并证明了神经层叠滤波方法优于层叠滤波方法。遗憾的是,复杂的算法和过长的计算时间使得该算法无法实时应用,甚至阻碍了对神经网络滤波方法的研究。
发明内容:本发明提供一种在尽可能多的保持细节的前提下消除噪声,提高视频图像主观标准和客观标准的采用神经网络技术对图像进行滤波的方法。本发明的目的是通过以下技术方案实现的:本发明为一种采用神经网络技术对图像进行滤波的方法,
A:确定网络输入层和输出层的神经元个数;
B:确定隐层层数和神经元个数;
隐层节点数目与输入和输出的信息量相关,并给出了一个快速估计公式:
N H = N I + ( N O , N C ) MAX 2 - - - ( 6 )
其中NH,NI,NO,NC分别为隐层节点数、输入矢量维数、输出节点数和目标分类数;
C:生成训练测试矢量集合,采用多幅性质不同、受污染程度不同的图像和其相应的干净图像一起构造训练测试矢量集合;
D:构建代价函数,确定误差目标;采用了客观评价标准和主观评价标准,代价函数为:
                      J=αNMSE+βHVSNR                             (7)
其中α,β为权重因子,归一化均方误差NMSE定义如下:
NMSE = Σ k = 1 N Σ j = 1 M ( x ( k , j ) - x ^ ( k , j ) ) 2 Σ k = 1 N Σ j = 1 M ( x ( k , j ) ) 2 - - - ( 8 )
式中x(k,j)为原始图像中的点,HVSNR---视觉信噪比;PSNR---峰值信噪比,为处理过的图像中的点.常用的PSNR和NMSE具有以下关系:
PSNR = 10 log 1 NMSE - - - ( 9 )
E:采用优化算法来调整网络的权值和阈值;
F:重复步骤D以及步骤E直至满足误差目标或迭代次数。
当前,计算机技术的发展已经消除了采用神经网络直接构建多值图像滤波方法的诸多限制因素。神经网络是一种结构连接主义的产物,是模仿人类大脑处理特定任务的机器。多层前向神经网络的典型结构由输入层、隐层、输出层组成,其中隐层的规模和层数可以根据需要进行调节。已经证明,多层前向神经网络具有稳定收敛、能逼近任意函数等特性。前向神经网络中是由众多神经元连接而成,其基本单元-神经元,具有三个基本要素:连接权,积分器和激活函数。神经元的数学表达为:
u k = Σ j = 1 p w kj x j · - - - ( 3 )
                               yk=(ukk)                   (4)式中x1,x2,...,xp是输入信号,Wk1,Wk2,...,Wkp是第k个神经元的树突权值,uk是累加器的输出,θk是阈值,yk是神经元的输出,激活函数为
Figure C0313263900045
其中T是一个伸缩因子.
由于神经网络很强的模式识别能力、任意函数逼近能力和自适应学习能力,从理论上讲,使用神经网络能够实现满足任意指标的最优图像滤波方法。适宜于用作滤波方法的神经网络有多层前向神经网络、径向基神经网络、反馈神经网络和细胞神经网络等,但研究不够充分,缺乏对实际应用的指导。本发明利用神经网络将视频数据进行滤波,采用遗传算法进行优化,并使用客观评价标准和主观评价标准相结合的方法作为优化指标。本发明给出了神经网络滤波方法的构建方法,研究了训练集合的生成、网络规模的大小对滤波方法性能的影响。实验表明,该滤波方法去除噪声和细节保持能力远优于秩排序滤波方法和形态滤波方法等传统滤波方法。视频数据可以是静态图像和动态图像,噪声可以是脉冲噪声、高斯噪声或者其他类型的噪声。滤波方法具有结构固定,并行度高等优点,适宜于采用CPLD或者DSP硬件实现。图像滤波就是根据图像中没有受到污染的数据估计替代受污染数据,从而达到去伪存真的目的。设X=[xi,j]M×N为图像输入信号,则图像滤波的输出信号为:Y=F(X),其中F(X)是滤波函数.由于图像的维数很大,滤波方法的设计中常采用开窗操作,即在X中开滤波窗Xmn,维数为(2k+1)2,滤波窗中心元素为X(m,n),则有Y(m,n)=F(Xmn).滤波函数F(X)决定了滤波性能,对应于均值滤波方法有:
F ( X mn ) = Σ i = - k k Σ j = - k k X ( m + i , n + j ) / ( 2 k + 1 ) 2 - - - ( 1 )
对应于中值滤波方法有:
                 F(Xmn)=MED(Xmn)                                  (2)
研究表明,当F(Xmn)中利用的图像中的信息,如极值点和形态学结构信息,制订的合理规则越多,获得滤波方法性能越好。但在图像滤波方法设计中,人工设计这些规则极其繁琐,而且很难取舍其中的矛盾规则,因而出现很多算法复杂、计算时间长而性能不佳的滤波方法。寻找一种结构整齐、能够让机器自动学习调整规则的方法是必要的。人工神经网络正好满足这些要求。本发明给出了多层前向神经网络滤波方法的一般方法及需要解决的问题,在尽可能多的保持细节的前提下消除噪声,提高视频图像主观标准和客观标准。将神经网络用作图像滤波方法,就是用神经网络来逼近最优的滤波方法传递函数F(Xmn)。由上文可知,神经网络滤波方法的输入层对应于滤波窗内的观测向量,输出层对应于滤波窗口中心的输出向量。不难看出,多层前向神经网络构建的滤波方法等价于FIR滤波方法,具有稳定收敛的特性。从各种实验结果可以看出,神经网络滤波方法恢复细节的能力远优于其它常用滤波方法.尤其是当图像受到污染程度较轻时,其他滤波方法在滤除噪声的同时模糊了原始的信息,所以已经不能增加信噪比,而图像受到少量污染实际上是工程实践中最常见的情形。
附图说明:
图1给出了滤波方法对不同程度噪声污染的图像恢复能力的对比结果
图2为Lena图的滤波效果,滤波窗口大小为3*3
图2a为原始图像
图2b为受到脉冲噪声(10%)污染的图像
图2c为的标准中值滤波方法的滤波结果
图2d为软阈值自适应滤波结果
图2e渐进开关中值滤波方法的滤波结果
图2f为本发明提出的神经网络滤波方法的滤波结果。
具体实施方式:
本发明为采用神经网络技术对图像进行滤波的方法,A:确定网络输入层和输出层的神经元个数;
B:确定隐层层数和神经元个数;
隐层节点数目与输入和输出的信息量相关,并给出了一个快速估计公式:
N H = N I + ( N O , N C ) MAX 2 - - - ( 6 )
其中NH,NI,NO,NC分别为隐层节点数、输入矢量维数、输出节点数和目标分类数;
C:生成训练测试矢量集合,采用多幅性质不同、受污染程度不同的图像和其相应的干净图像一起构造训练测试矢量集合;
D:构建代价函数,确定误差目标;采用了客观评价标准和主观评价标准,代价函数为:
                  J=αNMSE+βHVSNR                                 (7)
其中α,β为权重因子,归一化均方误差NMSE定义如下:
NMSE = Σ k = 1 N Σ j = 1 M ( x ( k , j ) - x ^ ( k , j ) ) 2 Σ k = 1 N Σ j = 1 M ( x ( k , j ) ) 2 - - - ( 8 )
式中x(k,j)为原始图像中的点,HVSNR---视觉信噪比;PSNR----峰值信噪比,为处理过的图像中的点.常用的PSNR和NMSE具有以下关系:
PSNR = 10 log 1 NMSE - - - ( 9 )
E:采用优化算法来调整网络的权值和阈值;
F:重复步骤D以及步骤E直至满足误差目标或迭代次数。
下面首先给出构建本发明所述方法的主要步骤并作进一步说明:
A:确定网络输入层和输出层的神经元个数;
神经网络的输入层对应于滤波窗口内的像素,其节点个数根据图像的性质和受污染的程度来调整.根据经验,对于神经网络滤波方法,3×3窗口就能获得很不错的性能,大尺寸的输入窗口由于函数复杂、难以优化而需要太多的时间.在计算能力允许的情况下,5×5的窗口能够使得神经网络滤波方法获得更多的局部结构信息,也是可以接受的。
神经网络的输出层对应于滤波窗口的中心像素,对会读图像输出层神经的个数为1。
对多通道图像,比如RGB彩色图像,输入层和输出层的神经元个数和通道数成正比。
B:确定隐层层数和神经元个数;
隐层节点数目与输入和输出的信息量相关,并给出了一个快速估计公式:
N H = N I + ( N O , N C ) MAX 2 - - - ( 6 )
其中NH,NI,NO,NC分别为隐层节点数、输入矢量维数、输出节点数和目标分类数.研究表明,图像滤波方法的粗分类数目大致在20-50之间,更细的分类不能成比例地增加滤波效能.因此,隐层的数目在14-30之间。
对多通道图像,比如RGB彩色图像,隐层节点数目和通道数成正比。
C:生成训练测试矢量集合;
多层前向神经网络常采用有导师训练方法,需要构建训练测试矢量集合.在这里我们采用多幅性质不同、受污染程度不同的图像和其相应的干净图像一起构造训练测试矢量集合。这样做的目的是使得滤波方法能够具有较高的适应性.对于无法得到干净图像的应用场合,只要能判决滤波输出图像是否有利于应用,比如受提高了匹配精度,就可以用间接有导师训练法,遗传算法等,优化滤波方法。矢量集合的大小比较灵活,已能覆盖整个作用空间为佳。
D:构建代价函数,确定误差目标;
滤波输出图像是否有利于应用是一个广义概念,包括基于原图像和输出图像之差的客观评价标准(MSE、MAE、PSNR)、基于人类视觉的主观评价标准(HVSNR)以及具体应用的指标,如图像匹配的精度等.在这里我们综合采用了客观评价标准和主观评价标准,代价函数为:
                  J=αNMSE+βHVSNR                           (7)
其中α,β为权重因子,归一化均方误差NMSE定义如下:
NMSE = Σ k = 1 N Σ j = 1 M ( x ( k , j ) - x ^ ( k , j ) ) 2 Σ k = 1 N Σ j = 1 M ( x ( k , j ) ) 2 - - - ( 8 )
式中x(k,j)为原始图像中的点,
Figure C0313263900072
为处理过的图像中的点.常用的PSNR和
NMSE具有以下关系:
PSNR = 10 log 1 NMSE - - - ( 9 )
式7中HVSNR的定义采用了小波分解理论,使自动计算图像主观质量成为可能,由于其计算比较耗时,滤波方法设计中仅在对较优的参数组进一步优化时使用。
E:采用优化算法来调整网络的权值和阈值;
神经网络的权值和阈值的调整属于参数优化问题.为了便于重复实验,后文的数据是采用经典BP算法得到的结果,速度和性能都比较适中.实验中,我们还采用了改进的遗传优化方法,该算法不需要太多神经网络信息,收敛速度也很快。两者的结果是一致的。
F:重复步骤D 以及步骤E直至满足误差目标或迭代次数。
满足步骤D中的误差目标就是指使得代价函数在应用要求的精度下逼近最小值。在一些实时时变系统中,满足一定的迭代次数也是一个重要的指标。
按照上述方法,本发明对包含Lena林娜图、桥溪图和云图在内的各类标准图像进行了仿真实验.这些图像具有丰富的细节和平滑区.测试图像为256×256大小、256灰度级.实验方法和结果可以类推到彩色图像。
实验中采用的训练样本为受到20%脉冲噪声污染的部分Lena图,大小为200×200.迭代次数为450代,在PC机上耗时10分钟。
表1各种滤波器的性能对比(云图和桥溪图,PSNR)
                                            遥感云图               桥溪图
  1%   10%   20%   1%   10%   20%
  噪声污染图像标准中值滤波软阈值自适应滤波渐进开关中值滤波多层神经网络滤波   25.9227.5527.0933.6640.06   15.6626.5626.8633.0935.54   12.5924.6226.5929.9232.07   24.7723.5422.8429.4631.05   15.1622.9322.5728.8529.06   12.1721.7622.3726.5127.02
表1给出了各种滤波方法对遥感云图和桥溪图的滤波结果。
                         表2各种滤波器的性能对比(Lena,PSNR)
  0   1%   2%   5%   10%   20%   30%   40%
  标准中值滤波软阈值自适应滤波渐进开关中值滤波多层神经网络滤波   30.227.8435.4147.62   30.7527.7536.0544.84   30.7127.6236.8744.45   29.9827.4436.1541.38   28.9727.1433.2537.61   26.4126.730.3033.92   22.4126.5228.5830.52   17.9925.8926.8926.44
表2给出了各种滤波方法对林娜图的滤波结果。其中,标准中值滤波方法的滤波性能基本能够代表层叠滤波方法、形态滤波方法等,软阈值自适应滤波是文献[2]的方法,其基本思想是根据局部平均值设定阈值来进行滤波处理处理,渐进开关中值滤波是作者在极值开关中值滤波方法的增强型,能够根据图像污染程度进行滤波窗口调整,在计算时间和对高污染的图像处理两方面都很优越。多层神经网络滤波方法就是上文提到的算法,为9×18×9×1结构.可以看出,无论对细节丰富的桥溪图还是比较平滑的云图,神经滤波方法都有明显的效果。
                   表3神经网络的规模和滤波性能的关系(Lena,PSNR)
  0%   1%   2%   5%   10%   20%   30%   40%   处理时间
  9-9-9-19-18-9-19-9-18-99-18-18-19-36-36-1   44.1547.4538.0147.6240.53   42.0445.3337.5844.8439.76   40.7443.337.2144.4539.24   38.1340.5135.8741.3835.87   34.9736.9833.9437.6135.884   30.6633.2230.7133.9233.04   26.8728.8727.1530.5229.22   23.5124.9623.6526.43625.96   0.821.231.121.613.78
表3给出了神经网络规模及隐层节点分配对滤波方法性能的影响。其中,优化迭代次数均为450代.可以看到9×18×9×1和9×18×18×1的网络结构性能比较好,9×36×36×1网络结构则需要更多地迭代次数才能收敛到最优解。
图1可以看到,随着噪声密度加大,各种滤波方法的性能都有所下降。而在噪声密度小的时候,其他滤波方法却依然不可避免地模糊图像。
图2为Lena图的滤波效果,滤波窗口大小为3*3,其中,图2a为原始图像,图2b为受到脉冲噪声(10%)污染的图像,图2c为的标准中值滤波方法的滤波结果,图2d为软阈值自适应滤波结果,图2e渐进开关中值滤波方法的滤波结果,图2f为本发明提出的神经网络滤波方法的滤波结果.实验中,当噪声密度小于10%时,肉眼很难分辨神经网络滤波方法的输出图像和原图之间的差别,却能明显感觉到其他滤波方法输出图像模糊。
从各种实验结果可以看出,神经网络滤波方法恢复细节的能力远优于其它常用滤波方法.尤其是当图像受到污染程度较轻时,其他滤波方法在滤除噪声的同时模糊了原始的信息,所以已经不能增加信噪比,而图像受到少量污染实际上是工程实践中最常见的情形。
神经网络滤波方法的计算复杂度和网络的规模成正比,为0(NI*NH*NO),而与图像受污染程度无关,因此计算时间可以精确确定。而且,神经网络的结构非常易于并行计算编程,也能够方便地在可编程器件上实现。

Claims (1)

1、一种采用神经网络技术对图像进行滤波的方法,其特征是:A:确定网络输入层和输出层的神经元个数;
B:确定隐层层数和神经元个数;
隐层节点数目与输入和输出的信息量相关,并给出了一个快速估计公式:
N H = N I + ( N O , N C ) MAX 2
其中NH,NI,NO,NC,分别为隐层节点数、输入矢量维数、输出节点数和目标分类数;
C:生成训练测试矢量集合,采用多幅性质不同、受污染程度不同的图像和其相应的干净图像一起构造训练测试矢量集合;
D:构建代价函数,确定误差目标;采用了客观评价标准和主观评价标准,代价函数为:
                         J=αNMSE+βHVSNR
其中α,β为权重因子,归一化均方误差NMSE定义如下:
NMSE = Σ k = 1 N Σ j = 1 M ( x ( k , j ) - x ^ ( k , j ) ) 2 Σ k = 1 N Σ j = 1 M ( x ( x , k ) ) 2
式中x(k,j)为原始图像中的点, 为处理过的图像中的点,HVSNR---视觉信噪比;PSNR----峰值信噪比,常用的PSNR和NMSE具有以下关系:
PSNR = 10 log 1 NMSE
E:采用优化算法来调整网络的权值和阈值;
F:重复步骤D以及步骤E直至满足误差目标或迭代次数。
CN 03132639 2003-09-27 2003-09-27 采用神经网络技术对图像进行滤波的方法 Expired - Fee Related CN1262104C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 03132639 CN1262104C (zh) 2003-09-27 2003-09-27 采用神经网络技术对图像进行滤波的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 03132639 CN1262104C (zh) 2003-09-27 2003-09-27 采用神经网络技术对图像进行滤波的方法

Publications (2)

Publication Number Publication Date
CN1529495A CN1529495A (zh) 2004-09-15
CN1262104C true CN1262104C (zh) 2006-06-28

Family

ID=34286060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 03132639 Expired - Fee Related CN1262104C (zh) 2003-09-27 2003-09-27 采用神经网络技术对图像进行滤波的方法

Country Status (1)

Country Link
CN (1) CN1262104C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741776B (zh) * 2009-11-10 2013-06-05 华为技术有限公司 消除干扰信号的方法以及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100459718C (zh) * 2004-11-26 2009-02-04 财团法人工业技术研究院 对色彩过滤阵列图像解马赛克的方法与装置
CN101295969B (zh) * 2008-06-26 2011-04-27 湖南大学 高阶有限冲击响应数字滤波器设计方法
CN101546425B (zh) * 2009-05-05 2011-04-13 广东工业大学 双阈值开关型彩色图像矢量滤波方法
CN101742088B (zh) * 2009-11-27 2011-10-19 西安电子科技大学 非局部均值空域时变视频滤波方法
CN103198457A (zh) * 2013-03-25 2013-07-10 江南大学 一种基于自适应神经模糊推理系统的图像噪声检测方法
US10515304B2 (en) * 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741776B (zh) * 2009-11-10 2013-06-05 华为技术有限公司 消除干扰信号的方法以及装置

Also Published As

Publication number Publication date
CN1529495A (zh) 2004-09-15

Similar Documents

Publication Publication Date Title
CN113052211B9 (zh) 一种基于特征的秩和通道重要性的剪枝方法
Hole et al. Application of genetic algorithm for image enhancement and segmentation
CN106127217A (zh) 用于近似深入神经网络以用于解剖对象检测的方法和系统
CN108596890B (zh) 一种基于视觉测量率自适应融合的全参考图像质量客观评价方法
CN110533614B (zh) 一种结合频域和空域的水下图像增强方法
CN108615231A (zh) 一种基于神经网络学习融合的全参考图像质量客观评价方法
CN112418261B (zh) 一种基于先验原型注意力机制的人体图像多属性分类方法
CN109461458B (zh) 一种基于生成对抗网络的音频异常检测方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN112819063B (zh) 一种基于改进的Focal损失函数的图像识别方法
CN1262104C (zh) 采用神经网络技术对图像进行滤波的方法
CN105894469A (zh) 基于外部块自编码学习和内部块聚类的去噪方法
CN111079665A (zh) 基于Bi-LSTM神经网络的摩尔斯电码自动识别方法
CN108648180B (zh) 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法
CN103824285B (zh) 一种基于蝙蝠优化模糊聚类的图像分割方法
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN113205462B (zh) 一种基于神经网络学习先验的光子反射率图像去噪方法
Sorwar et al. DCT based texture classification using soft computing approach
CN111639751A (zh) 一种用于二值卷积神经网络的非零填补训练方法
Lorenz et al. Feature selection with NSGA and GAAM in EEG signals domain
CN112989955B (zh) 基于空时双流异构嫁接卷积神经网络人体动作识别方法
CN108550152A (zh) 基于深度特征感知推理的全参考图像质量客观评价方法
CN110110769B (zh) 一种基于宽度径向基函数网络的图像分类方法
Sarkar et al. An incremental pruning strategy for fast training of CNN models
CN111723864A (zh) 基于主动学习使用互联网图片进行对抗训练的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee