CN103679643B - 一种多条纹噪声定位滤除方法 - Google Patents

一种多条纹噪声定位滤除方法 Download PDF

Info

Publication number
CN103679643B
CN103679643B CN201310215982.1A CN201310215982A CN103679643B CN 103679643 B CN103679643 B CN 103679643B CN 201310215982 A CN201310215982 A CN 201310215982A CN 103679643 B CN103679643 B CN 103679643B
Authority
CN
China
Prior art keywords
frequency
point
fringes
noise
fringes noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310215982.1A
Other languages
English (en)
Other versions
CN103679643A (zh
Inventor
汤春明
刘玉翠
陈立伟
廖艳萍
关乐禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201310215982.1A priority Critical patent/CN103679643B/zh
Publication of CN103679643A publication Critical patent/CN103679643A/zh
Application granted granted Critical
Publication of CN103679643B publication Critical patent/CN103679643B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明属于噪声滤除领域,具体涉及一种采用频域局部阈值法定位其频率,再用高斯陷波滤波器滤除,实现对多条纹噪声定位滤除的方法。多条纹噪声定位滤除方法,包括:1)图像变换;2)分区;3)设定分区阈值;4)条纹噪声频率点定位;5)滤波;本发明提出一种条纹噪声频率定位滤除方法,能够对多种类型的条纹噪声频率定位,且定位准确,使得滤除条纹更加彻底。该方法利用局部阈值法确定噪声频率位置,能够对各种复杂的条纹噪声频率定位,因此解决了受能量分布影响造成的无法定位较小幅值条纹噪声频率的问题。

Description

一种多条纹噪声定位滤除方法
技术领域
本发明属于噪声滤除领域,具体涉及一种采用频域局部阈值法定位其频率,再用高斯陷波滤波器滤除,实现对多条纹噪声定位滤除的方法。
背景技术
全息相机系统(HoloCam)是用来分析、检测全球海洋生物和无机粒子的数量及其分布的。与普通的相机系统相比,它可以非介入式和非破坏性地拍摄自然状态下的海洋生物和无机粒子,获得高分辨率的三位图像。但由于全息相机系统本身结构以及外界环境(例如水体浑浊度等)原因,使得拍摄的全息图常带有条纹噪声,这种噪声的存在严重影响了重建像的质量和进一步的处理。由于条纹噪声和有用信息是混合在一起的,我们在滤除条纹噪声时要尽量避免有用信息的损失。这是条纹噪声滤除的难点,也是近些年条纹噪声滤除研究的热点。
目前较为成熟的先进条纹噪声滤除方法有频域滤波法、空域法和人工辅助法等,其中频域法是最为常用、便捷的方法,有许多学者曾在此基础上作出过改进。这些方法对于单一的周期噪声和水平或垂直的条纹噪声效果很好,但对于非单一,非水平和非垂直的噪声条纹,只能去除频谱幅值比较大的周期条纹噪声,而对余下的非周期噪声和频谱幅值比较小的噪声则无能为力。
发明内容
本发明的目的在于提供一种更精确定位、更高效率滤除复杂条纹噪声的方法。
本发明的目的是这样实现的:
多条纹噪声定位滤除方法,包括如下步骤:
1)图像变换
对全息图进行二维傅里叶变换,并将零频率点移到中心,对尺寸为M×N的待处理全息图I,取幅度FIa
FI=fftshift(fft2(I))
FIa=abs(FI)
其中,fft2()为快速二维傅里叶变换,fftshift()为移零频到中心的函数,abs()是全息图I频域幅度提取函数;
2)分区
将零频率点临近的1-20个频率点范围内的频谱置为0;将全息图平分为16个区;
3)设定分区阈值
阈值T:
T = a d i j
d i j = ( x 0 2 + y 0 2 ) 2 ( x i 2 + y j 2 ) 2
其中,a通常取2,i,j为分区索引,dij为(i,j)分区中心到零频率点相对距离的倒数,x0,y0为零频率点的坐标索引,xi,yj为分区中心点的坐标索引;
4)条纹噪声频率点定位
对于每个分区(i,j),寻找最大值maxij,计算均值meanij,若则该点是异常点,将该点作为周期条纹频率中心点,将maxij对应分区索引转化为全局索引nx,ny记录下来,通过高斯陷波滤波器滤除;若有与周期条纹方向相同的非周期条纹噪声,将nx,ny修正,使修正后的频率点落在非周期条纹噪声对应的频域亮线上,根据修正的频率点计算频域亮线的斜率,根据直线方程求亮线与第一行和最后一行的交点的列索引,分别记作yy1,yyM,对(yy1,yyM)区间内直线上大于全局均值的点进行局部陷波滤波器滤除;重新在该区寻找maxij,计其算均值meanij,直到
5)滤波
将处理后的幅度谱与相位谱相乘,继续重建过程。
高斯陷波滤波器为:
H ( i , j ) = 1 - exp ( - D 1 ( i , j ) D 2 ( i , j ) 4 d 0 4 )
D 1 ( i , j ) = ( i - n x ) 2 + ( j - n y ) 2
D 2 ( i , j ) = ( i + n x - 2 x 0 ) 2 + ( j + n y - 2 y 0 ) 2
其中,i,j为全局各个频率索引,d0为截止频率;将高斯陷波滤波器与频谱点乘,将相乘后频谱的周期条纹噪声频率中心点的幅度值取其邻域频率点幅度的平均值作为补偿。
局部陷波滤波器模版尺寸为(2×s+1)×5,
其中k为亮线的斜率,其模板选如下:
MSK=repmat([8,5,5,5,8],2*s+1,1)
repmat()是将向量[8,5,5,5,8]复制2*s+1行。
本发明的有益效果在于:
本发明提出一种条纹噪声频率定位滤除方法,对于周期条纹噪声首先利用局部阈值法确定频率位置,然后利用高斯陷波滤波器将其滤除;对于非周期条纹噪声,则要利用上述周期条纹频率位置并运用直线方程近似模拟出它的位置,再对其进行滤除。这一过程能够对多种类型的条纹噪声频率定位,且定位准确,使得滤除条纹更加彻底。该方法利用局部阈值法确定噪声频率位置,能够对各种复杂的条纹噪声频率定位,因此解决了受能量分布影响造成的无法定位较小幅值条纹噪声频率的问题。
附图说明
图1a为带条纹噪声的全息图1;
图1b为图1a的幅度谱;
图1c为图1a的重建像;
图1d为定位了周期噪声频率中心的图1c;
图1e为去条纹噪声后频谱图;
图1f为去噪后的重建像;
图1g为去噪前后重建像的差;
图2a为带条纹噪声的全息图2;
图2b为图2a的幅度谱;
图2c为图2a的重建像;
图2d为定位了周期噪声频率中心的图2c;
图2e为去条纹噪声后频谱图;
图2f为去噪后的重建像;
图2g为去噪前后重建像的差;
图3a为带条纹噪声的全息图3;
图3b为图3a的幅度谱;
图3c为图3a的重建像;
图3d为定位了周期噪声频率中心的图3c;
图3e为去条纹噪声后频谱图;
图3f为去噪后的重建像;
图3g为去噪前后重建像的差;
图4a为带条纹噪声的全息图4;
图4b为图4a的幅度谱;
图4c为图4a的重建像;
图4d为定位了周期噪声频率中心的图4c;
图4e为去条纹噪声后频谱图;
图4f为去噪后的重建像;
图4g为去噪前后重建像的差;
图5a为带条纹噪声的全息图5;
图5b为图5a的幅度谱;
图5c为图5a的重建像;
图5d为定位了周期噪声频率中心的图5c;
图5e为去条纹噪声后频谱图;
图5f为去噪后的重建像;
图5g为去噪前后重建像的差;
图6a为带条纹噪声的全息图6;
图6b为图6a的幅度谱;
图6c为图6a的重建像;
图6d为定位了周期噪声频率中心的图6c;
图6e为去条纹噪声后频谱图;
图6f为去噪后的重建像;
图6g为去噪前后重建像的差;
图7a为带条纹噪声的全息图7;
图7b为图7a的幅度谱;
图7c为图7a的重建像;
图7d为定位了周期噪声频率中心的图7c;
图7e为去条纹噪声后频谱图;
图7f为去噪后的重建像;
图7g为去噪前后重建像的差。
具体实施方式
下面结合附图对本发明做进一步描述:
本发明的具体实现步骤如下:
第一步:图像变换
对全息图进行二维傅里叶变换,并将零频率点移到中心,并取其幅度。假设待处理全息图为I,尺寸为M×N。幅度计算公式如下:
FI=fftshift(fft2(I))(1)
FIa=abs(FI)(2)
其中,fft2()为快速二维傅里叶变换,fftshift()为移零频到中心的函数,abs()是全息图I频域幅度提取函数。
第二步:分区
由于零频点及其附近能量极大,严重影响到阈值的选取,造成寻找噪声频率点失败,因此,首先将零频附近的频谱置为0;然后将全息图平分为4个区,再将每个小区平分为四区,即将全息图分成16个区。由于条纹噪声,在频域表现为对称性,因此只需对一半的频谱定位,另然后根据对称性算出相应的位置。
第三步:设定分区阈值
由于全息相机拍摄的都是微小生物或粒子的视频,所以其频谱呈现以下特点:
1)几乎所有的能量集中在零频附近,以零频能量最大而且极大;
2)低频周期噪声的脉冲值很大,但远远小于零频值;
3)高频周期噪声的脉冲值较小,远远小于低频周期噪声的脉冲值;
4)在纵向或者横向上能量分布呈现由高频到低频逐渐增大,且越接近零频,加剧愈厉害。
根据这些特点,可以把频谱图看作一个与到零频距离成反比的二维高斯函数或指数函数,(经过大量实验验证,对于本发明研究的全息图像选择指数函数模型效果较好),阈值T的选取可以通过下面的公式计算得到:
T = a d i j - - - ( 3 )
d i j = ( x 0 2 + y 0 2 ) 2 ( x i 2 + y j 2 ) 2 - - - ( 4 )
其中,经大量实验验证,a取2-2.3能够得到比较合理的阈值,i,j为分区索引,dij为(i,j)分区中心到零频率点相对距离的倒数,x0,y0为零频率点的坐标索引,xi,yj为分区中心点的坐标索引。
第四步:条纹噪声定位
对于每个分区(i,j),首先寻找其最大值maxij,并计算其均值meanij,若则说明该点是异常点,将其作为条纹频率位置,将maxij对应分区索引转化为全局索引nx,ny记录下来,然后通过高斯陷波滤波器滤除;若有与此周期条纹方向相近的非周期条纹噪声,将nx,ny修正,使其大致在非周期噪声条纹对应的频域亮线上(经大量实验验证,若nx,ny离零频点相对比较近,则nx补偿在10个像素点左右即可,反之,则ny补偿28个像素点左右即可),然后根据修正的频率点计算频域亮线的近似斜率,并根据直线方程求得亮线与第一行和最后一行的交点的列索引,分别记作yy1,yyM,然后对(yy1,yyM)区间内直线上大于全局均值的点再次利用局部陷波滤波器滤除;重新在该区寻找maxij和计其算均值meanij,直到
最后将处理后的幅度谱与相位谱相乘返回主程序重建去噪后的全息图,或逆变换显示去噪全息图。
2滤除条纹噪声时常遇到的几个问题说明:
①高斯陷波滤波器模板计算公式如下:
H ( i , j ) = 1 - exp ( - D 1 ( i , j ) D 2 ( i , j ) 4 d 0 4 ) - - - ( 5 )
D 1 ( i , j ) = ( i - n x ) 2 + ( j - n y ) 2 - - - ( 6 )
D 2 ( i , j ) = ( i + n x - 2 x 0 ) 2 + ( j + n y - 2 y 0 ) 2 - - - ( 7 )
其中,i,j为全局各个频率索引,d0为截止频率。
然后将上述得到模板与频谱点乘,因为噪声频率和有用信息是混合在一起,即在有噪声频率存在的位置,有用信息同样存在,因此将相乘后频谱的噪声频率点的幅度值取其周围幅度的平均值作为补偿。
②在处理非周期条纹噪声频率时,局部陷波滤波器模版尺寸为(2×s+1)×5
其中k为亮线的近似斜率。其模板选择如下:
MSK=repmat([8,5,5,5,8],2*s+1,1)(9)
repmat()是将向量[8,5,5,5,8]复制2*s+1行,这样设置模板的原因是,让其靠亮线近的幅值消弱的大些,反之消弱的小些,以最大限度的保留有用信息。
利用本发明的条纹滤除方法对来自不同视频的7幅全息图进行处理。全息图的相关信息如表1所示。表1中还包含了滤除条纹的过程中定位时阈值的底数a取值及高斯陷波滤波器截止频率d0取值。
表1测试全息图参数
图1,2,3,6,7含有的条纹噪声最为复杂,包括低频周期、高频周期和非周期条纹噪声。从各图去噪前后频谱图可以看出,本发明能够准确定位周期条纹噪声频率;从各图去噪前后重建像的差看以看出,通过本发明对全息图处理后,条纹噪声几乎全部被抑制掉,有用信息得到较高程度的保持,甚至全不被保留,例如图7,
图4所含条纹噪声最为简单,只含有低频周期条纹噪声。从图4c与图4f可以看出条纹噪声几乎全部被一直掉,由图4g可以看出有用信息相对丢失了较多;
图5所含条纹噪声较为复杂,含有低频周期和高频周期条纹噪声。同图4,条纹噪声几乎全部被一直掉,但有用信息丢失相对较多。
由7幅全息图的找到的周期噪声频率点图可以得出,只要周期噪声频率不是特别小都可以定位到,由去噪后重建像的差图可以看出,采用本发明的方法有用信息有损失,但都偏小,有的甚至可以将损失降为0。说明本发明方法对多条纹噪声的滤除具有较好的效果。
实验结果表明:本发明对周期条纹噪声首先利用局部阈值法确定频率位置,然后利用高斯陷波滤波器将其滤除;对非周期条纹噪声,则要利用上述周期条纹频率位置并运用直线方程近似模拟出它的位置,再对其进行滤除。本发明利用局部阈值法确定噪声频率位置,能够对各种复杂的条纹噪声频率定位,且定位准确,摆脱了受能量分布影响造成的无法定位比较小幅值条纹噪声频率的问题。另外本发明还能够对多种类型条纹噪声频率定位,使得滤除条纹更加彻底。

Claims (3)

1.一种多条纹噪声定位滤除方法,其特征在于,包括如下步骤:
1)图像变换
对全息图进行二维傅里叶变换,并将零频率点移到中心,对尺寸为M×N的待处理全息图I,取幅度FIa
FI=fftshift(fft2(I))
FIa=abs(FI)
其中,fft2()为快速二维傅里叶变换,fftshift()为移零频到中心的函数,abs()是全息图I频域幅度提取函数;
2)分区
将零频率点临近的1-20个频率点范围内的频谱置为0;将全息图平分为16个区;
3)设定分区阈值
阈值T:
T = a d i j
d i j = ( x 0 2 + y 0 2 ) 2 ( x i 2 + y j 2 ) 2
其中,a取2,i,j为分区索引,dij为(i,j)分区中心到零频率点相对距离的倒数,x0,y0为零频率点的坐标索引,xi,yj为分区中心点的坐标索引;
4)条纹噪声频率点定位
对于每个分区(i,j),寻找最大值maxij,计算均值meanij,若maxij/meanij>T,则该点是异常点,将该点作为周期条纹频率中心点,将maxij对应分区索引转化为全局索引nx,ny记录下来,通过高斯陷波滤波器滤除;若有与周期条纹方向相同的非周期条纹噪声,将nx,ny修正,使修正后的频率点落在非周期条纹噪声对应的频域亮线上,根据修正的频率点计算频域亮线的斜率,根据直线方程求亮线与第一行和最后一行的交点的列索引,分别记作yy1,yyM,对(yy1,yyM)区间内直线上大于全局均值的点进行局部陷波滤波器滤除;重新在该区寻找maxij,计其算均值meanij,直到maxij/meanij<T;
5)滤波
将处理后的幅度谱与相位谱相乘,继续重建过程。
2.根据权利要求1所述的一种多条纹噪声定位滤除方法,其特征在于:
所述的高斯陷波滤波器为:
H ( i , j ) = 1 - exp ( - D 1 ( i , j ) D 2 ( i , j ) 4 d 0 4 )
D 1 ( i , j ) = ( i - n x ) 2 + ( j - n y ) 2
D 2 ( i , j ) = ( i + n x - 2 x 0 ) 2 + ( j + n y - 2 y 0 ) 2
其中,i,j为全局各个频率索引,d0为截止频率;将高斯陷波滤波器与频谱点乘,将相乘后频谱的周期条纹噪声频率中心点的幅度值取其邻域频率点幅度的平均值作为补偿。
3.根据权利要求1或2所述的一种多条纹噪声定位滤除方法,其特征在于:所述局部陷波滤波器模版尺寸为(2×s+1)×5,
其中k为亮线的斜率,其模板选如下:
MSK=repmat([8,5,5,5,8],2*s+1,1)
repmat()是将向量[8,5,5,5,8]复制2*s+1行。
CN201310215982.1A 2013-06-03 2013-06-03 一种多条纹噪声定位滤除方法 Expired - Fee Related CN103679643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310215982.1A CN103679643B (zh) 2013-06-03 2013-06-03 一种多条纹噪声定位滤除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310215982.1A CN103679643B (zh) 2013-06-03 2013-06-03 一种多条纹噪声定位滤除方法

Publications (2)

Publication Number Publication Date
CN103679643A CN103679643A (zh) 2014-03-26
CN103679643B true CN103679643B (zh) 2016-06-29

Family

ID=50317100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310215982.1A Expired - Fee Related CN103679643B (zh) 2013-06-03 2013-06-03 一种多条纹噪声定位滤除方法

Country Status (1)

Country Link
CN (1) CN103679643B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3024568B1 (fr) * 2014-07-30 2021-06-18 Fogale Nanotech Procede d'extraction de motifs non periodiques masques par des motifs periodiques, et dispositif mettant en oeuvre le procede
CN104657958B (zh) * 2015-03-18 2017-09-29 西安科技大学 一种红外图像条纹噪声消除方法
CN105243650A (zh) * 2015-11-16 2016-01-13 成都神州数码索贝科技有限公司 一种基于小波变换和傅里叶变换的条纹噪声去除方法及系统
CN105957033A (zh) * 2016-04-26 2016-09-21 成都市晶林科技有限公司 基于图像分层的红外图像条纹滤波方法
CN106056542B (zh) * 2016-05-19 2018-12-07 西安交通大学 一种基于频率域滤波的干涉图背景去除方法
WO2017197618A1 (zh) * 2016-05-19 2017-11-23 深圳大学 一种红外图像中条纹噪声的去除方法及系统
CN107730454B (zh) * 2016-08-10 2021-02-05 苏州中科天启遥感科技有限公司 一种基于线追踪的线阵影像中横条纹噪声去除的方法
KR102579457B1 (ko) 2017-02-24 2023-09-14 삼성전자주식회사 이미지 보정 방법 및 장치
CN108932489A (zh) * 2018-06-25 2018-12-04 李娜 脸部识别可行性分析系统
CN109447920B (zh) * 2018-11-12 2021-02-02 中国人民解放军国防科技大学 基于陷波滤波器的条带噪声自动去除方法
CN109829899B (zh) * 2019-01-18 2020-08-07 创新奇智(广州)科技有限公司 一种针对钢卷端面缺陷检测的背景抑制算法
CN110866874B (zh) * 2019-10-21 2021-07-30 南京大学 基于频域的去除光场重建图像中的周期噪声的方法
CN110838093B (zh) * 2019-11-05 2022-06-10 安徽大学 一种fMOST或MOST显微图像条纹噪声去除方法
CN112150385B (zh) * 2020-09-29 2023-05-12 四川虹美智能科技有限公司 红外图像滤波方法及装置
CN112862816B (zh) * 2021-03-15 2024-03-15 太原理工大学 一种hrtem图像中煤芳香烃晶格条纹的智能提取方法
CN116074645B (zh) * 2022-11-29 2024-02-09 哈尔滨工业大学 一种图像条纹噪声主动抑制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073220A (zh) * 2010-12-08 2011-05-25 中国科学院光电技术研究所 一种单幅封闭条纹相位提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0329012D0 (en) * 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
US7508994B2 (en) * 2005-12-05 2009-03-24 Eastman Kodak Company Method for detecting streaks in digital images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073220A (zh) * 2010-12-08 2011-05-25 中国科学院光电技术研究所 一种单幅封闭条纹相位提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TDI-CCD遥感图像条带噪声的消除;赵变红 等;《空间科学学报》;20120331;第32卷(第2期);第298-304页 *

Also Published As

Publication number Publication date
CN103679643A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103679643B (zh) 一种多条纹噪声定位滤除方法
Chen et al. Automatic noise attenuation based on clustering and empirical wavelet transform
TWI432975B (zh) 數據分析與重現方法以及其計算機系統
CN110120020A (zh) 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
CN101303764B (zh) 基于非下采样轮廓波的多传感器图像自适应融合方法
Ducrozet et al. Applicability and limitations of highly non-linear potential flow solvers in the context of water waves
CN103995289A (zh) 基于时频谱模拟的时变混合相位地震子波提取方法
CN110174702B (zh) 一种海上地震数据低频弱信号恢复的方法和系统
CN105631820A (zh) 基于小波变换和三边滤波器的医学超声图像去噪方法
CN109164483A (zh) 多分量地震数据矢量去噪方法及多分量地震数据矢量去噪装置
CN106199532B (zh) 基于混合傅立叶-小波分析的探地雷达信号降噪方法
CN106680874B (zh) 基于波形形态特征稀疏化建模的谐波噪声压制方法
CN104614769B (zh) 一种压制地震面波的聚束滤波方法
Li et al. Wavelet-based higher order correlative stacking for seismic data denoising in the curvelet domain
CN103489157A (zh) 一种增强合成孔径声纳干涉图质量的滤波方法及系统
CN103654758A (zh) 一种抗干扰的心率检测方法
CN109709585A (zh) 去除gps坐标时间序列中有色噪声的方法
Liu et al. Irregularly sampled seismic data reconstruction using multiscale multidirectional adaptive prediction-error filter
CN103777237B (zh) 一种基于空变加权镶边波数域滤波的地表高程平滑方法
Mattausch et al. Image-based PSF estimation for ultrasound training simulation
CN102314675B (zh) 基于小波高频的贝叶斯去噪方法
CN104751675B (zh) 基于有限新息率理论脉冲信号采样的车位检测方法
CN103426145A (zh) 一种基于多分辨分析的合成孔径声纳相干斑噪声抑制方法
CN103020907A (zh) 基于二维集合经验模态分解的dspi条纹滤波系统
Wang et al. Time-frequency representation for seismic data using sparse S transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160629

CF01 Termination of patent right due to non-payment of annual fee