CN106355596A - 一种融合均匀颜色信息和复合感受野模型的边缘检测方法 - Google Patents
一种融合均匀颜色信息和复合感受野模型的边缘检测方法 Download PDFInfo
- Publication number
- CN106355596A CN106355596A CN201610764120.8A CN201610764120A CN106355596A CN 106355596 A CN106355596 A CN 106355596A CN 201610764120 A CN201610764120 A CN 201610764120A CN 106355596 A CN106355596 A CN 106355596A
- Authority
- CN
- China
- Prior art keywords
- receptive field
- uniform color
- gradient
- sigma
- color information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种融合均匀颜色信息和复合感受野模型的边缘检测方法,结合均匀颜色信息来模拟复合感受野的抑制和易化作用来进行边缘检测,并且提出融合均匀颜色信息的复合感受野模型。它同时考虑了均匀颜色信息,抑制和易化作用对边缘的影响,能够获得更好的边缘检测效果。它更加符合视觉感知机制。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种融合均匀颜色信息和复合感受野模型的边缘检测方法。
背景技术
边缘检测是图像处理和分析的关键步骤,对后续高层次的特征描述、匹配和识别等有着重大的影响。生理实验研究表明,初级视觉皮层的感受野具有方向选择性。大量研究表明,在经典感受野的周边区域还存在着非经典感受野,它不仅具有抑制作用,还具有易化作用。经典感受野和大周边去抑制区域统称为复合感受野(参见图1)。复合感受野模型能够较好地检测图像边缘,但没有考虑到颜色信息的作用。由于均匀颜色信息与人类感知颜色的模式具有相似性,考虑颜色信息来检测图像边缘更加符合视觉感知特点。
近些年来,基于生物视觉机制的边缘检测方法受到越来越多的关注,视觉信息经过视觉通路的各级神经元感受野加工和处理后,使得动物(包括人类)能够感知和识别外界中的物体。然而,目前结合均匀颜色信息和复合感受野模型来进行边缘检测的研究相对较少。若能够充分利用均匀颜色的属性,并且模拟抑制和易化作用来进行边缘检测,将能够更好地检测出图像的边缘信息。
发明内容
本发明所要解决的技术问题是提供一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其同时考虑了均匀颜色信息,抑制和易化作用对边缘的影响,能够获得更好的边缘检测效果。
为解决上述问题,本发明是通过以下技术方案实现的:
一种融合均匀颜色信息和复合感受野模型的边缘检测方法,包括如下步骤:
步骤1、对原始彩色图像f(x,y)进行多尺度采样,并将每个尺度图像f(x,y,s)转换到HSV颜色空间;
步骤2、采用Gabor函数对亮度分量V进行卷积,并获得每个尺度的Gabor能量图eσ(x,y,s);
步骤3、根据下式对每个尺度的Gabor能量图eσ(x,y,s)进行抑制和易化,获得每个尺度的梯度图像E(x,y,s);
式中,Wd(x,y)为均匀颜色差别的抑制函数,a1为均匀颜色差别的抑制强度系数,WH(x,y)为色调H的易化函数,a2为H分量对边缘的易化强度系数,WS(x,y)为饱和度S的易化函数,a3为S分量对边缘的易化强度系数,[.]+表示半波校正;
步骤4、将所有尺度的梯度图像E(x,y,s)进行整合,获得最终的梯度图像E(x,y);
步骤5、抽取最终的梯度图像E(x,y)的轮廓线,完成原始彩色图像的边缘检测;
上述s为尺度,(x,y)为像素点的坐标。
步骤3中,均匀颜色差别的抑制函数Wd(x,y)的计算公式为:
式中,DOG(x,y,σd)为高斯差分函数,Δc为非经典感受野区域上任意一点与经典感受野中心点之间的均匀颜色差别,[.]+表示半波校正,‖.‖1表示一阶范数,σd为均匀颜色差别的抑制方差。
步骤3中,色调H的易化函数WH(x,y)的计算公式为:
式中,H(x,y)为经典感受野中心点的色调值,H(x′,y′)为非经典感受野区域上任意一点处的色调值,r为Gamma值,σH为色调H的易化方差。
步骤3中,饱和度S的易化函数WS(x,y)的计算公式为:
式中,S(x,y)2为经典感受野中心点(x,y)处的颜色饱和度S(x,y)在色轮上的面积,σs为饱和度S的易化方差,‖.‖1表示一阶范数。
步骤4中,所有尺度的梯度图像E(x,y,s),整合为最终的梯度图像E(x,y)的公式为:
式中,max[.]表示最大值,∑[.]表示累加值。
步骤5的具体过程为:先寻找最终的梯度图像E(x,y)中具有梯度极大值的像素点;再通过双阈值方法来对梯度极大值像素点的局部区域进行非极大值抑制:当梯度极大值像素点的梯度幅值小于低阈值时,则梯度极大值像素点被设置为0;当梯度极大值像素点的梯度幅值大于高阈值时,则梯度极大值像素点被设置为1;当梯度极大值像素点处于低阈值和高阈值之间时,如果梯度极大值像素点的邻域内没有大于高阈值的像素,则该梯度极大值像素点就被抑制,反之则该梯度极大值像素点判为边缘点。
所述边缘检测方法,还进一步包括步骤6、采用错检率,漏检率和准确率这3个评价标准来评价轮廓检测性能。
与现有技术相比,本发明提出了一种融合了均匀颜色信息和复合感受野属性的边缘检测方法,其能够结合均匀颜色信息来模拟复合感受野的抑制和易化作用。由于均匀颜色信息与人类感知颜色的模式具有相似性,复合感受野是视觉系统的重要功能单元,因此将两者结合则更加符合视觉感知特点。融合均匀颜色信息的复合感受野模型是对经典复合感受野模型的一种改进,鉴于考虑了均匀颜色信息以及抑制和易化作用,能够获得更好的边缘检测效果,更加符合视觉感知特点。
附图说明
图1为复合感受野的分布示意图。
图2为抑制和易化作用的示意图。
具体实施方式
一种融合均匀颜色信息和复合感受野模型的边缘检测方法,包括如下步骤:
(1)首先对原始彩色图像f(x,y)进行多尺度采样。初步采用5个尺度(包括上采样和下采样),即s∈[-1,0,1,2,3],图像长度和宽度的缩放倍数都为2-s。,则可以得到多尺度图像f(x,y,s)。鉴于均匀颜色空间与人类视觉系统感知颜色模式具有相似性,多尺度采样完成后,将多尺度图像转换到HSV颜色空间。为了实现边缘提取,分别对多尺度图像f(x,y,s)分别进行如下操作:
(2)本发明将亮度分量V则用于边缘提取,采用Gabor函数对亮度分量V进行卷积,并获得Gabor能量图,定义为eσ(x,y,s),以此来模拟视觉皮层的简单细胞和复杂细胞的功能模式。Gabor滤波器的定义如下:
其中,X=xcosθ+ysinθ,Y=-xsinθ+ycosθ,θ为滤波器的方向,γ为椭圆率,λ为波长,δ为标准方差。本发明初步拟定Nθ=6,γ=0.25,λ=0.56和δ=2.333。对亮度分量V进行Gabor滤波后可得Gabor能量图像eσ(x,y,s),然后提出一种融合均匀颜色信息的复合感受野模型来进行边缘检测,并且考虑抑制(Inhibition)和易化(Facilitation)作用。参见图2。
(3)计算均匀颜色差别的抑制函数。在均匀颜色空间中,任意两个颜色点的颜色差别可以通过欧几里德距离来度量。本发明首先考虑某个距离范围内均匀颜色差别对边缘的影响,定义它的抑制函数为:
式中,DOG(x,y,σd)为高斯差分函数,Δc为非经典感受野区域上任意一点(x′,y′)与经典感受野中心点(x,y)之间的均匀颜色差别,[.]+表示半波校正,‖.‖1表示一阶范数,均匀颜色的抑制方差σd=1.60。
(4)计算色调H的易化函数。色调H表示不同的颜色类别。色调差别越大,产生颜色变化就越大,则边缘越明显。定义它的易化函数为:
式中,H(x,y)为经典感受野中心点(x,y)的色调值,H(x′,y′)为非经典感受野区域上任意一点(x′,y′)处的色调值,r为Gamma值,色调H易化方差σH=2.40。
(5)计算饱和度S的易化函数。饱和度S表示颜色深浅或者颜色浓淡。颜色深浅程度同样影响到边缘的明显程度。初步定义它的易化函数为:
式中,S(x,y)2为经典感受野中心点(x,y)处的颜色饱和度S(x,y)在色轮上的面积,饱和度S易化方差σs=3.20,x为经典感受野中心点(x,y)横坐标,y为经典感受野中心点(x,y)纵坐标,‖.‖1表示一阶范数。
(6)对每个尺度的Gabor能量图eσ(x,y,s)进行抑制和易化。
假设Gabor能量为eσ(x,y,s),则最终输出为:
式中,Wd(x,y)为均匀颜色差别的抑制函数,a1为均匀颜色差别的抑制强度系数,WH(x,y)为色调H的易化函数,a2为H分量对边缘的易化强度系数,WS(x,y)为饱和度S的易化函数,a3为S分量对边缘的易化强度系数,[.]+表示半波校正。在本发明中,a1=0.35,a2=0.40,a3=0.25。
(7)采用(步骤(2)到步骤(6))的方法对多尺度图像f(x,y,s)进行处理,可得到多尺度梯度图像E(x,y,s),S∈[-1,0,1,2,3,],然后整合这些多尺度梯度图,可获得梯度图像E(x,y)。整合方法为:
(8)抽取梯度图像E(x,y)的轮廓线。对梯度图像E(x,y)进行非极大值抑制的操作,只保留局部灰度变化极大的点。通过双阈值方法来对非极大值抑制进行阈值处理当梯度幅值小于低阈值时这些像素被设置为0,当梯度幅值大于高阈值时这些像素被设置为1,而对于在两个阈值之间的像素,如果它的邻域内没有大于高阈值的像素,则该点就被抑制,反之则该点为边缘点。本发明将低阈值设置为0.2,高阈值设置为0.6。
(9)采用错检率,漏检率和准确率三个评价标准来评价轮廓检测性能。
为了实现边缘提取,本发明提出一种融合均匀颜色信息的复合感受野模型来进行边缘检测,所以本发明考虑抑制和易化作用。此外,为了减少光照条件的影响,鉴于均匀颜色空间与人类视觉系统感知颜色模式具有相似性,均匀颜色的差别,色调,饱和度和边缘有着非常密切的关系,所以本发明还考虑均匀颜色差别,色调H和饱和度S对边缘的作用。由此,本发明提出了结合均匀颜色信息和模拟复合感受野模型来进行边缘检抽取图像边缘特征,它被称之为颜色信息复合感受野模型。颜色信息复合感受野模型根据复合感受野的抑制和易化作用以及均匀颜色信息来定义,它在某种程度上模拟了视觉感知机制,能够表达均匀颜色信息优势,神经元抑制和易化机制。颜色信息复合感受野所包含的信息量明显地高于经典的复合感受野模型,可以视为经典复合感受野模型的重要改进。
Claims (8)
1.一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其特征是,包括如下步骤:
步骤1、对原始彩色图像f(x,y)进行多尺度采样,并将每个尺度图像f(x,y,s)转换到HSV颜色空间;
步骤2、采用Gabor函数对亮度分量V进行卷积,并获得每个尺度的Gabor能量图eσ(x,y,s);
步骤3、根据下式对每个尺度的Gabor能量图eσ(x,y,s)进行抑制和易化,获得每个尺度的梯度图像E(x,y,s);
式中,Wd(x,y)为均匀颜色差别的抑制函数,a1为均匀颜色差别的抑制强度系数,WH(x,y)为色调H的易化函数,a2为H分量对边缘的易化强度系数,WS(x,y)为饱和度S的易化函数,a3为S分量对边缘的易化强度系数,[.]+表示半波校正;
步骤4、将所有尺度的梯度图像E(x,y,s)进行整合,获得最终的梯度图像E(x,y);
步骤5、抽取最终的梯度图像E(x,y)的轮廓线,完成原始彩色图像的边缘检测;
上述s为尺度,(x,y)为像素点的坐标。
2.根据权利要求1所述一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其特征是,步骤3中,均匀颜色差别的抑制函数Wd(x,y)的计算公式为:
式中,DOG(x,y,σd)为高斯差分函数,Δc为非经典感受野区域上任意一点与经典感受野中心点之间的均匀颜色差别,[.]+表示半波校正,‖.‖1表示一阶范数,σd为均匀颜色差别的抑制方差。
3.根据权利要求1所述一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其特征是,步骤3中,色调H的易化函数WH(x,y)的计算公式为:
式中,H(x,y)为经典感受野中心点的色调值,H(x′,y′)为非经典感受野区域上任意一点处的色调值,r为Gamma值,σH为色调H的易化方差。
4.根据权利要求1所述一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其特征是,步骤3中,饱和度S的易化函数WS(x,y)的计算公式为:
式中,S(x,y)2为经典感受野中心点(x,y)处的颜色饱和度S(x,y)在色轮上的面积,σS为饱和度S的易化方差,||.||1表示一阶范数。
5.根据权利要求1所述一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其特征是,步骤4中,所有尺度的梯度图像E(x,y,s),整合为最终的梯度图像E(x,y)的公式为:
式中,max[.]表示最大值,∑[.]表示累加值。
6.根据权利要求1所述一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其特征是,步骤5的具体过程为:
先寻找最终的梯度图像E(x,y)中具有梯度极大值的像素点;
再通过双阈值方法来对梯度极大值像素点的局部区域进行非极大值抑制;
当梯度极大值像素点的梯度幅值小于低阈值时,则梯度极大值像素点被设置为0;
当梯度极大值像素点的梯度幅值大于高阈值时,则梯度极大值像素点被设置为1;
当梯度极大值像素点处于低阈值和高阈值之间时,如果梯度极大值像素点的邻域内没有大于高阈值的像素,则该梯度极大值像素点就被抑制,反之则该梯度极大值像素点判为边缘点。
7.根据权利要求1所述一种融合均匀颜色信息和复合感受野模型的边缘检测方法,其特征是,还进一步包括:
步骤6、采用错检率,漏检率和准确率这3个评价标准来评价轮廓检测性能。
8.根据权利要求1所述一种融合均匀颜色信息和复合感受野模型的边缘检测方法,尺度s∈[-1,0,1,2,3]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610764120.8A CN106355596B (zh) | 2016-08-30 | 2016-08-30 | 一种融合均匀颜色信息和复合感受野模型的边缘检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610764120.8A CN106355596B (zh) | 2016-08-30 | 2016-08-30 | 一种融合均匀颜色信息和复合感受野模型的边缘检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106355596A true CN106355596A (zh) | 2017-01-25 |
CN106355596B CN106355596B (zh) | 2018-11-23 |
Family
ID=57856138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610764120.8A Expired - Fee Related CN106355596B (zh) | 2016-08-30 | 2016-08-30 | 一种融合均匀颜色信息和复合感受野模型的边缘检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106355596B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146901A (zh) * | 2018-08-03 | 2019-01-04 | 广西科技大学 | 基于颜色拮抗感受野的轮廓检测方法 |
CN109949324A (zh) * | 2019-02-01 | 2019-06-28 | 广西科技大学 | 基于非经典感受野非线性亚单元响应的轮廓检测方法 |
CN110210493A (zh) * | 2019-04-30 | 2019-09-06 | 中南民族大学 | 基于非经典感受野调制神经网络的轮廓检测方法及系统 |
CN107742302B (zh) * | 2017-11-13 | 2019-12-31 | 广西科技大学 | 基于初级视皮层多尺度轮廓融合的轮廓检测方法 |
CN113902953A (zh) * | 2021-08-31 | 2022-01-07 | 际络科技(上海)有限公司 | 基于联合抑制的目标检测分类方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750731A (zh) * | 2012-07-05 | 2012-10-24 | 北京大学 | 基于左右单眼感受野和双目融合的立体视觉显著计算方法 |
CN103903251A (zh) * | 2012-12-30 | 2014-07-02 | 南京理工大学 | 基于非经典感受野复合调制的夜视图像显著轮廓提取方法 |
CN104484667A (zh) * | 2014-12-30 | 2015-04-01 | 华中科技大学 | 一种基于亮度特征和轮廓完整性的轮廓提取方法 |
US20160019699A1 (en) * | 2014-01-14 | 2016-01-21 | Welch Allyn, Inc. | Edge detection in images |
US20160212363A1 (en) * | 2015-01-20 | 2016-07-21 | Samsung Electronics Co., Ltd. | Image processing apparatus, image capturing apparatus, image processing method, and method of controlling the image capturing apparatus |
-
2016
- 2016-08-30 CN CN201610764120.8A patent/CN106355596B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750731A (zh) * | 2012-07-05 | 2012-10-24 | 北京大学 | 基于左右单眼感受野和双目融合的立体视觉显著计算方法 |
CN103903251A (zh) * | 2012-12-30 | 2014-07-02 | 南京理工大学 | 基于非经典感受野复合调制的夜视图像显著轮廓提取方法 |
US20160019699A1 (en) * | 2014-01-14 | 2016-01-21 | Welch Allyn, Inc. | Edge detection in images |
CN104484667A (zh) * | 2014-12-30 | 2015-04-01 | 华中科技大学 | 一种基于亮度特征和轮廓完整性的轮廓提取方法 |
US20160212363A1 (en) * | 2015-01-20 | 2016-07-21 | Samsung Electronics Co., Ltd. | Image processing apparatus, image capturing apparatus, image processing method, and method of controlling the image capturing apparatus |
Non-Patent Citations (2)
Title |
---|
COSMIN GRIGORESCU等: "Contour detection based on nonclassical receptive field inhibition", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
唐奇伶等: "视觉感知结合学习的自然图像轮廓检测", 《中国科学:信息科学》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107742302B (zh) * | 2017-11-13 | 2019-12-31 | 广西科技大学 | 基于初级视皮层多尺度轮廓融合的轮廓检测方法 |
CN109146901A (zh) * | 2018-08-03 | 2019-01-04 | 广西科技大学 | 基于颜色拮抗感受野的轮廓检测方法 |
CN109146901B (zh) * | 2018-08-03 | 2021-09-17 | 广西科技大学 | 基于颜色拮抗感受野的轮廓检测方法 |
CN109949324A (zh) * | 2019-02-01 | 2019-06-28 | 广西科技大学 | 基于非经典感受野非线性亚单元响应的轮廓检测方法 |
CN109949324B (zh) * | 2019-02-01 | 2022-04-22 | 广西科技大学 | 基于非经典感受野非线性亚单元响应的轮廓检测方法 |
CN110210493A (zh) * | 2019-04-30 | 2019-09-06 | 中南民族大学 | 基于非经典感受野调制神经网络的轮廓检测方法及系统 |
CN113902953A (zh) * | 2021-08-31 | 2022-01-07 | 际络科技(上海)有限公司 | 基于联合抑制的目标检测分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106355596B (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106355596A (zh) | 一种融合均匀颜色信息和复合感受野模型的边缘检测方法 | |
CN103914834B (zh) | 一种基于前景先验和背景先验的显著性物体检测方法 | |
CN104392463B (zh) | 一种基于联合稀疏多尺度融合的图像显著区域检测方法 | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
CN102867188B (zh) | 一种基于级联结构的会场内座位状态检测方法 | |
CN103310194B (zh) | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 | |
CN103996198B (zh) | 复杂自然环境下感兴趣区域的检测方法 | |
EP2575077B1 (en) | Road sign detecting method and road sign detecting apparatus | |
CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
CN104299009B (zh) | 基于多特征融合的车牌字符识别方法 | |
CN103048329B (zh) | 一种基于主动轮廓模型的路面裂缝检测方法 | |
CN104766046A (zh) | 一种利用交通标识颜色及形状特征进行检测与识别算法 | |
CN103034852B (zh) | 静止摄像机场景下特定颜色行人的检测方法 | |
CN108805018A (zh) | 道路交通标志检测识别方法、电子设备、存储介质及系统 | |
CN103198315A (zh) | 基于字符轮廓和模板匹配的车牌字符分割算法 | |
CN104794440B (zh) | 一种基于多分块多尺度lbp的假指纹检测方法 | |
CN101673345A (zh) | 基于形状先验的提取目标闭合轮廓的方法 | |
CN103413119A (zh) | 基于人脸稀疏描述子的单样本人脸识别方法 | |
CN103218609A (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
CN103886589A (zh) | 面向目标的自动化高精度边缘提取方法 | |
CN104408711A (zh) | 一种基于多尺度区域融合的显著区域检测方法 | |
CN104766344B (zh) | 基于运动边缘提取器的车辆检测方法 | |
CN104658003A (zh) | 舌体图像的分割方法和装置 | |
CN103927509A (zh) | 眼睛定位方法及装置 | |
CN105225216A (zh) | 基于空间距圆标记边缘检测的虹膜预处理算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20181012 Address after: 541004 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region Applicant after: Guangxi Normal University Address before: 541004 302, room 69, 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region. Applicant before: Liu Guanghai |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181123 Termination date: 20210830 |
|
CF01 | Termination of patent right due to non-payment of annual fee |