CN103035019A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN103035019A CN103035019A CN2012105322106A CN201210532210A CN103035019A CN 103035019 A CN103035019 A CN 103035019A CN 2012105322106 A CN2012105322106 A CN 2012105322106A CN 201210532210 A CN201210532210 A CN 201210532210A CN 103035019 A CN103035019 A CN 103035019A
- Authority
- CN
- China
- Prior art keywords
- image
- gray
- filtering
- pixel
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种图像处理方法,包括:获取输入的原始图像;根据所述输入的原始图像生成对应的灰度图像;通过对所述灰度图像进行非线性滤波得到滤波图像;通过将所述原始图像和所述滤波图像混合生成美化图像。此外,还包括一种图像处理装置。上述图像处理方法及装置可以提高处理速度。
Description
技术领域
本发明涉及图像处理领域,特别是涉及一种图像处理方法及装置。
背景技术
日常生活中,人们在拍照之后通常还会对照片进行后期处理,将人体脸部的斑点、痣、胎记等影响审美的区域消除,从而对照片实现美化效果。
然而,传统技术中的图像处理方法计算量较大,耗时较多,处理速度较慢。
发明内容
基于此,有必要提供一种能提高处理速度的图像处理方法。
一种图像处理方法,包括:
获取输入的原始图像;
根据所述输入的原始图像生成对应的灰度图像;
通过对所述灰度图像进行非线性滤波得到滤波图像;
通过将所述原始图像和所述滤波图像混合生成美化图像。
在其中一个实施例中,所述根据所述输入的原始图像生成对应的灰度图像的步骤为:
根据公式:
生成灰度图像;其中,Go(i,j)为像素坐标(i,j)处的灰度值,Po(i,j,R)为像素坐标(i,j)处的红色分量,Po(i,j,G)为像素坐标(i,j)处的绿色分量,Po(i,j,B)为像素坐标(i,j)处的蓝色分量。
在其中一个实施例中,所述通过对所述灰度图像进行非线性滤波得到滤波图像的步骤为:
根据公式:
N=(2R+1)2;
对所述灰度图像进行滤波,其中,R为滤波器半径,N为滤波器的模板面积,xc为滤波器中心像素点的灰度值,xi为模版内像素点i的灰度值,k为滤波系数,T为灰度阈值,d为比例系数,且比例系数d满足:
在其中一个实施例中,所述通过对所述灰度图像进行非线性滤波得到滤波图像的步骤之前还包括:
计算所述灰度图像的灰度均值Ta,设置所述灰度阈值T为Ta/2。
在其中一个实施例中,所述通过将所述原始图像和所述滤波图像混合生成美化图像的步骤为:
根据公式:
将所述原始图像和所述滤波图像混合生成美化图像;其中,Po为所述输入的原始图像中像素坐标为(i,j)的像素点,Pc为所述滤波图像中像素坐标为(i,j)的灰度值,Pn所述为美化图像中像素坐标为(i,j)的像素点,Po(i,j,R)、Po(i,j,G)和Po(i,j,B)分别表示像素点Po的红色分量、绿色分量和蓝色分量,Pn(i,j,R)、Pn(i,j,G)和Pn(i,j,B)分别表示像素点Pn的红色分量、绿色分量和蓝色分量。
此外,还有必要提供一种能提高处理速度的图像处理装置。
一种图像处理装置,包括:
原始图像获取模块,用于获取输入的原始图像;
灰度图生成模块,用于根据所述输入的原始图像生成对应的灰度图像
图像滤波模块,用于通过对所述灰度图像进行非线性滤波得到滤波图像;
图像混合模块,用于通过将所述原始图像和所述滤波图像混合生成美化图像。
在其中一个实施例中,所述灰度图生成模块还用于根据公式:
生成灰度图像;其中,Go(i,j)为像素坐标(i,j)处的灰度值,Po(i,j,R)为像素坐标(i,j)处的红色分量,Po(i,j,G)为像素坐标(i,j)处的绿色分量,Po(i,j,B)为像素坐标(i,j)处的蓝色分量。
在其中一个实施例中,所述图像滤波模块还用于根据公式:
N=(2R+1)2;
对所述灰度图像进行滤波,其中,R为滤波器半径,N为滤波器的模板面积,xc为滤波器中心像素点的灰度值,xi为模版内像素点i的灰度值,k为滤波系数,T为灰度阈值,d为比例系数,且比例系数d满足:
在其中一个实施例中,所述图像滤波模块还用于计算所述灰度图像的灰度均值Ta;,设置所述灰度阈值T为Ta/2。
在其中一个实施例中,所述图像混合模块还用于根据公式:
将所述原始图像和所述滤波图像混合生成美化图像;其中,Po为所述输入的原始图像中像素坐标为(i,j)的像素点,Pc为所述滤波图像中像素坐标为(i,j)的灰度值,Pn所述为美化图像中像素坐标为(i,j)的像素点,Po(i,j,R)、Po(i,j,G)和Po(i,j,B)分别表示像素点Po的红色分量、绿色分量和蓝色分量,Pn(i,j,R)、Pn(i,j,G)和Pn(i,j,B)分别表示像素点Pn的红色分量、绿色分量和蓝色分量。
上述图像处理方法及装置,先获取输入的原始图像,并计算原始图像对应的灰度图像,对该灰度图像进行非线性滤波得到滤波图像(滤波后的灰度图像),然后再混合原始图像和滤波图像来生成美化图像。由于人体脸部的斑点、痣、胎记等图像杂质属于图像中的高频部分,因此对灰度图像滤波之后得到的滤波图像中图像杂质被模糊化。然后再混合原始图像和滤波图像来生成美化图像,即可起到去斑点的效果,且上述处理过程计算量较小,提高了图像处理速度。
附图说明
图1为一个实施例中图像处理方法的流程图;
图2为一个实施例中原始图像的效果图;
图3为一个实施例中生成的美化图像的效果图;
图4为一个实施例中图像处理装置的结构示意图。
具体实施方式
在一个实施例中,如图1所示,一种图像处理方法,包括:
步骤S102,获取输入的原始图像。
原始图像可以为对照片进行后期处理时在照片图像上的图像区域。可根据输入的坐标参数获取原始图像。在本实施例中,可通过获取照片图像内包含有图像杂质的区域上的点选或框选等操作来获取输入的原始图像。在一个应用场景中,用户可点选或框选照片中人脸部区域上包含有斑点的区域来输入。
步骤S104,根据输入的原始图像生成对应的灰度图像。
在本实施例中,根据输入的原始图像生成对应的灰度图像的步骤为:根据公式:
生成灰度图像;其中,Go(i,j)为像素坐标(i,j)处的灰度值,Po(i,j,R)为像素坐标(i,j)处的红色分量,Po(i,j,G)为像素坐标(i,j)处的绿色分量,Po(i,j,B)为像素坐标(i,j)处的蓝色分量。
步骤S106,通过对灰度图像进行非线性滤波得到滤波图像。
非线性滤波即通过与非线性分布的权值系数对应的模板进行像素点与权值系数的加权均值滤波。滤波图像即对灰度图像进行滤波后得到图像(仍为灰度图)。
在本实施例中,通过对灰度图像进行非线性滤波得到滤波图像的步骤具体为根据公式:
N=(2R+1)2;
对灰度图像进行滤波,其中,R为滤波器半径,N为滤波器的模板面积,xc为滤波器中心像素点的灰度值,xi为模版内像素点i的灰度值,k为滤波系数,T为灰度阈值,d为比例系数,且比例系数d满足:
也就是说,采用的滤波器的模板的大小为(2R+1)×(2R+1)。模板中像素点i对应的权值系数为ki,对于输入的原始图像中的像素点c的灰度值xc,其对应的滤波图像中对应的像素点的灰度值即为
在本实施例中,滤波器半径R为4,即采用9×9的模板。将滤波器半径设为4个像素点可以在保证美化效果的情况下减少计算量,进一步提高处理速度。
在本实施例中,通过对灰度图像进行非线性滤波得到滤波图像的步骤之前还可计算灰度图像的灰度均值Ta,并设置前述公式中的灰度阈值T为Ta/2。
步骤S108,通过将原始图像和滤波图像混合生成美化图像。
在本实施例中,通过将原始图像和滤波图像混合生成美化图像的步骤为:
根据公式:
将原始图像和滤波图像混合生成美化图像;其中,Po为输入的原始图像中像素坐标为(i,j)的像素点,Pc为滤波图像中像素坐标为(i,j)的灰度值,Pn为美化图像中像素坐标为(i,j)的像素点,Po(i,j,R)、Po(i,j,G)和Po(i,j,B)分别表示像素点Po的红色分量、绿色分量和蓝色分量,Pn(i,j,R)、Pn(i,j,G)和Pn(i,j,B)分别表示像素点Pn的红色分量、绿色分量和蓝色分量。
也就是说,可遍历原始图像中的像素点Po(i,j),并获取其对应的原始图像副本中像素坐标同为(i,j)的Pc(i,j),然后获取像素点Po对应的红色分量、绿色分量和蓝色分量:Po(i,j,R)、Po(i,j,G)和Po(i,j,B),以及像素点Pc的灰度值Pc(i,j),然后根据上述公式即可得到美化图像中像素坐标为(i,j)的像素点Pn的红色分量、绿色分量和蓝色分量,Pn(i,j)对应的灰度值即为:
在一个实施例中,请同时参考图2和图3,图2为原始图像,图3为经过上述处理过程后得到的美化图像。比较图2和图3可以看出图2中的斑点部分已经在图3中被完全消除,从而达到了美化的效果。
在一个实施例中,如图4所示,一种图像处理装置,包括:原始图像获取模块102、灰度图生成模块104、图像滤波模块106以及图像混合模块108。其中:
原始图像获取模块102,用于获取输入的原始图像。
原始图像可以为对照片进行后期处理时在照片图像上的图像区域。可根据输入的坐标参数获取原始图像。在本实施例中,原始图像获取模块102可用于通过获取照片图像内包含有图像杂质的区域上的点选或框选等操作来获取输入的原始图像。在一个应用场景中,用户可点选或框选照片中人脸部区域上包含有斑点的区域来输入。
灰度图生成模块104,用于根据输入的原始图像生成对应的灰度图像。
在本实施例中,灰度图生成模块104还用于根据公式:
生成灰度图像;其中,Go(i,j)为像素坐标(i,j)处的灰度值,Po(i,j,R)为像素坐标(i,j)处的红色分量,Po(i,j,G)为像素坐标(i,j)处的绿色分量,Po(i,j,B)为像素坐标(i,j)处的蓝色分量。
图像滤波模块106,用于通过对灰度图像进行非线性滤波得到滤波图像。
非线性滤波即通过与非线性分布的权值系数对应的模板进行像素点与权值系数的加权均值滤波。滤波图像即对灰度图像进行滤波后得到图像(仍为灰度图)。
在本实施例中,图像滤波模块106还用于根据公式:
N=(2R+1)2;
对灰度图像进行滤波,其中,R为滤波器半径,N为滤波器的模板面积,xc为滤波器中心像素点的灰度值,xi为模版内像素点i的灰度值,k为滤波系数,T为灰度阈值,d为比例系数,且比例系数d满足:
在本实施例中,滤波器半径R为4,即采用9×9的模板。将滤波器半径设为4个像素点可以在保证美化效果的情况下减少计算量,进一步提高处理速度。
在本实施例中,图像滤波模块106还用于计算灰度图像的灰度均值Ta,并设置前述公式中的灰度阈值T为Ta/2。
图像混合模块108,用于通过将原始图像和滤波图像混合生成美化图像。
在本实施例中,图像混合模块108可用于根据公式:
将原始图像和滤波图像混合生成美化图像;其中,Po为输入的原始图像中像素坐标为(i,j)的像素点,Pc为滤波图像中像素坐标为(i,j)的灰度值,Pn为美化图像中像素坐标为(i,j)的像素点,Po(i,j,R)、Po(i,j,G)和Po(i,j,B)分别表示像素点Po的红色分量、绿色分量和蓝色分量,Pn(i,j,R)、Pn(i,j,G)和Pn(i,j,B)分别表示像素点Pn的红色分量、绿色分量和蓝色分量。
也就是说,可遍历原始图像中的像素点Po(i,j),并获取其对应的原始图像副本中像素坐标同为(i,j)的Pc(i,j),然后获取像素点Po对应的红色分量、绿色分量和蓝色分量:Po(i,j,R)、Po(i,j,G)和Po(i,j,B),以及像素点Pc的灰度值Pc(i,j),然后根据上述公式即可得到美化图像中像素坐标为(i,j)的像素点Pn的红色分量、绿色分量和蓝色分量,Pn(i,j)对应的灰度值即为:
在一个实施例中,请同时参考图2和图3,图2为原始图像,图3为经过上述图像处理装置处理得到的美化图像。比较图2和图3可以看出图2中的斑点部分已经在图3中被完全消除,从而达到了美化的效果。
上述图像处理方法及装置,先获取输入的原始图像,并计算原始图像对应的灰度图像,对该灰度图像进行非线性滤波得到滤波图像(滤波后的灰度图像),然后再混合原始图像和滤波图像来生成美化图像。由于人体脸部的斑点、痣、胎记等图像杂质属于图像中的高频部分,因此对灰度图像滤波之后得到的滤波图像中图像杂质被模糊化。然后再混合原始图像和滤波图像来生成美化图像,即可起到去斑点的效果,且上述处理过程计算量较小,提高了图像处理速度。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,包括:
获取输入的原始图像;
根据所述输入的原始图像生成对应的灰度图像;
通过对所述灰度图像进行非线性滤波得到滤波图像;
通过将所述原始图像和所述滤波图像混合生成美化图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述输入的原始图像生成对应的灰度图像的步骤为:
根据公式:
生成灰度图像;其中,Go(i,j)为像素坐标(i,j)处的灰度值,Po(i,j,R)为像素坐标(i,j)处的红色分量,Po(i,j,G)为像素坐标(i,j)处的绿色分量,Po(i,j,B)为像素坐标(i,j)处的蓝色分量。
3.根据权利要求1所述的图像处理方法,其特征在于,所述通过对所述灰度图像进行非线性滤波得到滤波图像的步骤为:
根据公式:
N=(2R+1)2;
对所述灰度图像进行滤波,其中,R为滤波器半径,N为滤波器的模板面积,xc为滤波器中心像素点的灰度值,xi为模版内像素点i的灰度值,k为滤波系数,T为灰度阈值,d为比例系数,且比例系数d满足:
4.根据权利要求3所述的图像处理方法,其特征在于,所述通过对所述灰度图像进行非线性滤波得到滤波图像的步骤之前还包括:
计算所述灰度图像的灰度均值Ta,设置所述灰度阈值T为Ta/2。
5.根据权利要求1至4任一项所述的图像处理方法,其特征在于,所述通过将所述原始图像和所述滤波图像混合生成美化图像的步骤为:
根据公式:
将所述原始图像和所述滤波图像混合生成美化图像;其中,Po为所述输入的原始图像中像素坐标为(i,j)的像素点,Pc为所述滤波图像中像素坐标为(i,j)的灰度值,Pn所述为美化图像中像素坐标为(i,j)的像素点,Po(i,j,R)、Po(i,j,G)和Po(i,j,B)分别表示像素点Po的红色分量、绿色分量和蓝色分量,Pn(i,j,R)、Pn(i,j,G)和Pn(i,j,B)分别表示像素点Pn的红色分量、绿色分量和蓝色分量。
6.一种图像处理装置,其特征在于,包括:
原始图像获取模块,用于获取输入的原始图像;
灰度图生成模块,用于根据所述输入的原始图像生成对应的灰度图像
图像滤波模块,用于通过对所述灰度图像进行非线性滤波得到滤波图像;
图像混合模块,用于通过将所述原始图像和所述滤波图像混合生成美化图像。
7.根据权利要求6所述的图像处理装置,其特征在于,所述灰度图生成模块还用于根据公式:
生成灰度图像;其中,Go(i,j)为像素坐标(i,j)处的灰度值,Po(i,j,R)为像素坐标(i,j)处的红色分量,Po(i,j,G)为像素坐标(i,j)处的绿色分量,Po(i,j,B)为像素坐标(i,j)处的蓝色分量。
8.根据权利要求6所述的图像处理装置,其特征在于,所述图像滤波模块还用于根据公式:
N=(2R+1)2;
对所述灰度图像进行滤波,其中,R为滤波器半径,N为滤波器的模板面积,xc为滤波器中心像素点的灰度值,xi为模版内像素点i的灰度值,k为滤波系数,T为灰度阈值,d为比例系数,且比例系数d满足:
9.根据权利要求8所述的图像处理装置,其特征在于,所述图像滤波模块还用于计算所述灰度图像的灰度均值Ta;,设置所述灰度阈值T为Ta/2。
10.根据权利要求6至9任一项所述的图像处理装置,其特征在于,所述图像混合模块还用于根据公式:
将所述原始图像和所述滤波图像混合生成美化图像;其中,Po为所述输入的原始图像中像素坐标为(i,j)的像素点,Pc为所述滤波图像中像素坐标为(i,j)的灰度值,Pn所述为美化图像中像素坐标为(i,j)的像素点,Po(i,j,R)、Po(i,j,G)和Po(i,j,B)分别表示像素点Po的红色分量、绿色分量和蓝色分量,Pn(i,j,R)、Pn(i,j,G)和Pn(i,j,B)分别表示像素点Pn的红色分量、绿色分量和蓝色分量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210532210.6A CN103035019B (zh) | 2012-12-11 | 2012-12-11 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210532210.6A CN103035019B (zh) | 2012-12-11 | 2012-12-11 | 图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103035019A true CN103035019A (zh) | 2013-04-10 |
CN103035019B CN103035019B (zh) | 2016-04-13 |
Family
ID=48021885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210532210.6A Expired - Fee Related CN103035019B (zh) | 2012-12-11 | 2012-12-11 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103035019B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605975A (zh) * | 2013-11-28 | 2014-02-26 | 小米科技有限责任公司 | 一种图像处理的方法、装置及终端设备 |
CN103729829A (zh) * | 2013-12-13 | 2014-04-16 | 深圳市云宙多媒体技术有限公司 | 一种彩色图像抽线的渲染方法及装置 |
CN105956993A (zh) * | 2016-05-03 | 2016-09-21 | 成都索贝数码科技股份有限公司 | 一种基于gpu的移动端视频美颜的即时呈现方法 |
CN105976308A (zh) * | 2016-05-03 | 2016-09-28 | 成都索贝数码科技股份有限公司 | 一种基于gpu的移动端高质量美颜的实时处理方法 |
CN106296576A (zh) * | 2016-08-05 | 2017-01-04 | 厦门美图之家科技有限公司 | 图像处理方法和图像处理装置 |
CN104517265B (zh) * | 2014-11-06 | 2017-06-13 | 福建天晴数码有限公司 | 智能磨皮方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201025199A (en) * | 2008-12-31 | 2010-07-01 | Altek Corp | Method for beautifying human face in digital image |
-
2012
- 2012-12-11 CN CN201210532210.6A patent/CN103035019B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201025199A (en) * | 2008-12-31 | 2010-07-01 | Altek Corp | Method for beautifying human face in digital image |
Non-Patent Citations (1)
Title |
---|
李天翼: "基于相关权值的图像椒盐噪声自适应窗滤波", 《四川大学学报》, vol. 44, no. 4, 31 July 2012 (2012-07-31), pages 105 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605975A (zh) * | 2013-11-28 | 2014-02-26 | 小米科技有限责任公司 | 一种图像处理的方法、装置及终端设备 |
CN103729829A (zh) * | 2013-12-13 | 2014-04-16 | 深圳市云宙多媒体技术有限公司 | 一种彩色图像抽线的渲染方法及装置 |
CN104517265B (zh) * | 2014-11-06 | 2017-06-13 | 福建天晴数码有限公司 | 智能磨皮方法和装置 |
CN105956993A (zh) * | 2016-05-03 | 2016-09-21 | 成都索贝数码科技股份有限公司 | 一种基于gpu的移动端视频美颜的即时呈现方法 |
CN105976308A (zh) * | 2016-05-03 | 2016-09-28 | 成都索贝数码科技股份有限公司 | 一种基于gpu的移动端高质量美颜的实时处理方法 |
CN106296576A (zh) * | 2016-08-05 | 2017-01-04 | 厦门美图之家科技有限公司 | 图像处理方法和图像处理装置 |
CN106296576B (zh) * | 2016-08-05 | 2019-07-16 | 厦门美图之家科技有限公司 | 图像处理方法和图像处理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103035019B (zh) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103035019B (zh) | 图像处理方法及装置 | |
CN104952036B (zh) | 一种即时视频中的人脸美化方法和电子设备 | |
CN106228516B (zh) | 一种高自然度的实时美颜方法、装置 | |
CN106971165B (zh) | 一种滤镜的实现方法及装置 | |
CN103942755B (zh) | 图像亮度调节方法和装置 | |
US9813614B2 (en) | Method and system for analog/digital image simplification and stylization | |
CN103093437B (zh) | 生成铅笔画风格图像的方法及装置 | |
CN104282002A (zh) | 一种数字图像的快速美容方法 | |
CN104091310A (zh) | 一种图像去雾方法和装置 | |
CN103745430B (zh) | 一种数字图像的快速美容方法 | |
CN103617638A (zh) | 图像处理的方法及装置 | |
CN105023244B (zh) | 美化图像中人体肤色和调整人体肤色亮度的方法及其装置 | |
CN109040720B (zh) | 一种生成rgb图像的方法及装置 | |
CN103093417B (zh) | 生成水彩画风格图像的方法及装置 | |
CN106296567A (zh) | 一种基于稀疏表示的多层次图像风格的转换方法及装置 | |
CN102915521A (zh) | 一种移动终端图像处理方法及装置 | |
CN102750671A (zh) | 一种图像彩色噪声去除方法 | |
CN103116898B (zh) | 生成水墨画风格图像的方法及装置 | |
CN103049922B (zh) | 移轴特效图像生成方法及装置 | |
CN102768758B (zh) | 一种改进的彩色图像usm锐化方法 | |
CN102547067B (zh) | 改进的双三次插值视频缩放方法 | |
CN104599238A (zh) | 图像处理方法及装置 | |
CN103455974A (zh) | 一种图像素描风格化的处理方法 | |
CN104408736A (zh) | 基于特征相似性的合成人脸画像质量评价方法 | |
CN110223246B (zh) | 一种多风格人像美颜磨皮方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160413 Termination date: 20181211 |
|
CF01 | Termination of patent right due to non-payment of annual fee |