CN104732535B - 一种约束稀疏的非负矩阵分解方法 - Google Patents
一种约束稀疏的非负矩阵分解方法 Download PDFInfo
- Publication number
- CN104732535B CN104732535B CN201510119985.4A CN201510119985A CN104732535B CN 104732535 B CN104732535 B CN 104732535B CN 201510119985 A CN201510119985 A CN 201510119985A CN 104732535 B CN104732535 B CN 104732535B
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- msup
- mfrac
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种约束稀疏的非负矩阵分解方法，用于将给定的由图像像素值组成的非负矩阵通过多次迭代分解得到基矩阵和系数矩阵，在求解过程中对系数矩阵施加最小相关约束的同时对基矩阵施加2‑范数的约束，使得分解结果更优且唯一。本发明方法是对传统非负矩阵分解算法的一种改进，在保证非负约束和分解精度的基础上，使分解后得到的矩阵尽可能的稀疏，从而更加节省存储空间。
Description
技术领域
本发明属于图像信息处理技术领域，具体而言是一种在对系数矩阵施加最小相关约束的同时对基矩阵施加2-范数的约束，从而使得分解结果更优且唯一的稀疏非负矩阵分解算法。
背景技术
随着移动多媒体应用的推广和普及，各种多媒体数据(如图像数据等)得到爆发式地增长，如何在海量数据中进行快速分析、搜索并获取少量感兴趣数据成为现阶段需要解决的问题。近年来，盲源分离(Blind Source Separation，BSS)成为信号处理领域的一个研究热点。其基本思想是在未知源信号和传输信道参数的情况下，仅从观测到的混合信号中恢复出源信号。
1999年，D.D.Lee与H.S.Seung在《Nature》上发表了学术文章《Learning theparts of objects by non-negative matrix factorization》，首次提出了一种带有非负约束的矩阵分解方法，即非负矩阵分解(Non-negative Matrix Factorization，NMF)。该方法要求给定源数据满足非负性，即其物理意义是数据的非负性要满足其物理信号的真实性，在实际应用过程中，非负数据广泛的存在，且分解后的结果具有明确的物理含义，如灰度图像的元素值为0～255(或0～1)、电表数据一直保持非负等。NMF的非负限定符合直观上的理解：整体是由部分组成的，因此它在某种意义上把握了数据描述的本质；非负性的限制导致了相应描述在一定程度上的稀疏性。稀疏性描述将在一定程度上将抑制外界环境干扰，如光照的变化、图像部分遮挡或物体的旋转等。非负矩阵分解具有的这些优势，逐渐成为一种盲源分离的新的有效手段，该方法成为近年来研究的热点，有望在信号处理、海量数据分析和数据挖掘等领域取得突破性进展。
目前，很多利用增加新的限制条件到已有的NMF模型中，以便使得分解结果能够满足更多性质的要求，例如加入稀疏性、平滑性和正交性等条件限制，从而得到分解结果更加合理。对NMF系数矩阵施加相关性约束以实现盲源分离，从而放宽了对基矩阵独立性的要求，但其要求基矩阵稀疏。而实际的基矩阵信号信道参数常常是非稀疏的，该方法具有一定的局限性。本文提出了一种基于非负矩阵分解的新的稀疏算法，该算法对系数矩阵施加最小相关系数约束和对基矩阵施加向量2-范数约束，并通过梯度下降法进行迭代求解。
发明内容
发明目的：针对稀疏非负矩阵分解算法中的分解速率慢，易陷入局部最优值的缺点，本发明提出了一种新的约束稀疏的非负矩阵分解方法，对系数矩阵施加最小相关系数约束和对基矩阵施加向量2-范数约束，使得分解结果更优且唯一。
技术方案：为了更好理解本发明技术方案，先对相关技术做简单介绍：
NMF算法即给定非负矩阵V∈Rm×n，NMF旨在求解两个非负子矩阵W∈Rm×r和H∈Rr×n使得V≈WH。其中V为原矩阵(灰度图像的像素值矩阵)，W称为基矩阵(又叫特征矩阵)，H称为系数矩阵。一般情况下r＜＜min(m,n)，达到降低数据存储维数，从而降低数据存储空间，在降维过程中可同时添加约束使得结果更加稀疏，对原始图像的表达更加具体，重构的图像与原图像的误差更小。
在数理统计理论中，非相关源信号间的相关系数的绝对值一定小于它们混合信号间的相关系数的绝对值。分离出来的信号的相关系数的绝对值越小就表明分离出来的信号间的相关性越小。因此可以把分离信号相关系数最小作为对系数矩阵H的一个约束条件。相关系数定义为：
对i≠j，若＜hi,hj＞＝0，则R(H)取最小值。
矩阵范数是具有“长度”概念的函数，其中2-范数||·||F的几何意义为欧几里得二维空间中矩阵对应点与原点的距离。在基矩阵W按列归一化的前提下，最大化有利于结果尽量的稀疏，故若在算法中对基矩阵W的2-范数的平方值作为约束，可以使得结果更加稀疏。
本发明提供的一种约束稀疏的非负矩阵分解方法，在Lee和Seung的基本非负矩阵算法的基础上，增加了对系数矩阵H进行了最小相关约束和对基矩阵W进行了最大2-范数约束，得到如下改进的目标函数：
式中R(H)为相关系数，αW和αH为正则化参数，正则化参数表示约束的强度，越大表示约束越强。
对目标函数采用梯度下降法得到迭代规则，基于迭代规则将非负矩阵V通过多次迭代分解得到稀疏的基矩阵W和系数矩阵H，本发明方法的主要步骤包括：
(1)根据给定的降维目标r，随机初始化W和H并进行归一化处理；
(2)确定基矩阵W和系数矩阵H的学习因子ηW和ηH；
(3)运用梯度下降法按如下迭代公式进行迭代，更新W和H：
式中，i＝0,1,...,m-1，k＝0,1,...,r-1，j＝0,1,...,n-1；
(4)在每一步迭代后将W和H的负元素置零，并对W按列进行归一化处理；
(5)循环进行(3)～(4)直至收敛，得到的基矩阵W和系数矩阵H即为最后分解结果。
进一步地，所述步骤(2)中基矩阵W和系数矩阵H的学习因子ηW和ηH为：
所述步骤(3)中迭代公式为：
式中，i＝0,1,...,m-1；k＝0,1,...,r-1；j＝0,1,...,n-1，其中hk为矩阵H的第k个列向量，上述迭代公式写成矩阵形式为：
其中.*与./代表对应元素相乘与相除。
有益效果：与现有技术相比，本发明方法可以使得图像分解后的结果更加稀疏更加实体化，分解后的重构图像与原图像的误差更小，适合于大量数据的降维处理，有利于降低数据存储空间。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明实施例公开的一种约束稀疏的非负矩阵分解方法，用于将源图像像素矩阵V通过多次迭代分解得到基矩阵W和系数矩阵H，是在Lee和Seung的基本非负矩阵算法的基础上，增加了对系数矩阵H进行了最小相关约束和对基矩阵W进行了2-范数约束，得到如下改进的目标函数：
式中R(H)为系数矩阵H的相关系数，αW和αH为正则化参数，表示约束的强度，越大表示约束越强，常用取值为αW∈[1,2],αH∈(0,1]。
根据运用梯度下降法，对目标函数采用梯度下降法得到
本发明实施例方法的具体步骤如下：
(1)任意选择非负归一化矩阵W和H；通常情况下根据源图像的尺寸大小以及目标效果，合理选择降维的目标尺寸，即合理选择r。确定好r后，按照原图像尺寸m、n和将维目标r随机非负初始化W和H并进行归一化出处理。通常根据原图像的复杂程度合理选择，若r的选择太大则降维效果不明显，选择太小则原图像的细节丢失太多失真明显。例如对于Yale人脸图像数据库(100×100像素，即100×100的矩阵)中的一张图片，其中参数选择可为：αW为1.5，αH为0.2，r取30。
(2)适当选择学习速率；
要保证迭代收敛速度的同时也要保证结果的正确性，若迭代的结果负元素太多则会导致分解效果差，图像失真。为保证迭代过程中有尽快的收敛速率和结果非负化，本发明方法采用的学习因子为：
(3)按下式进行迭代；
带入学习因子和梯度函数即为：
写成矩阵形式即为：
其中.*与./代表对应元素相乘与相除。
(4)在每一步迭代后将W和H的负元素置零，并对W按列进行归一化处理；
(5)循环进行(3)～(4)直至收敛，此时得到基矩阵W和系数矩阵H。收敛是指在计算后新的数据的值与计算前的值的差值为0或者极小，本方法收敛条件采用0.01*trace(W*WT)和0.01*trace(H*HT)。当然可以根据需求变化，精度要求高就把值的系数减小，反之亦然。
Claims (3)
1.一种约束稀疏的非负矩阵分解方法，应用于图像分解，所述方法为：将给定的由灰度图像像素值组成的非负矩阵V通过多次迭代分解得到两个非负子矩阵：基矩阵W和系数矩阵H使得V≈WH，其中V∈Rm×n，W∈Rm×r，H∈Rr×n，r＜＜min(m,n)；其特征在于，在每次迭代过程中对系数矩阵H施加最小相关约束，并同时对基矩阵W施加最大2-范数的约束，目标函数为：
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>,</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msup>
<msub>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>V</mi>
<mo>-</mo>
<mi>WH</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mi>F</mi>
</msub>
<mn>2</mn>
</msup>
<mo>-</mo>
<msub>
<mi>&alpha;</mi>
<mi>W</mi>
</msub>
<msup>
<msub>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>W</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mi>F</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>&alpha;</mi>
<mi>H</mi>
</msub>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
</mrow>
式中为系数矩阵H的相关系数；其中，i＝0,1,...,m-1，k＝0,1,...,r-1；αW和αH为正则化参数，表示约束的强度，越大表示约束越强。
2.根据权利要求1所述的约束稀疏的非负矩阵分解方法，其特征在于，所述将给定的由图像像素值组成的非负矩阵V通过多次迭代分解得到两个非负子矩阵中，包括如下步骤；
(1)根据给定的降维目标r，随机初始化W和H并进行归一化处理；
(2)确定基矩阵W和系数矩阵H的学习因子ηW和ηH；
(3)运用梯度下降法按如下迭代公式进行迭代，更新W和H：
<mfenced open='{' close=''>
<mtable>
<mtr>
<mtd>
<msub>
<mi>W</mi>
<mi>ik</mi>
</msub>
<mo>&LeftArrow;</mo>
<msub>
<mi>W</mi>
<mi>ik</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&eta;</mi>
<mi>W</mi>
</msub>
<mfrac>
<mrow>
<mo>&PartialD;</mo>
<mi>F</mi>
</mrow>
<msub>
<mrow>
<mo>&PartialD;</mo>
<mi>W</mi>
</mrow>
<mi>ik</mi>
</msub>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>H</mi>
<mi>kj</mi>
</msub>
<mo>&LeftArrow;</mo>
<msub>
<mi>H</mi>
<mi>kj</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&eta;</mi>
<mi>H</mi>
</msub>
<mfrac>
<mrow>
<mo>&PartialD;</mo>
<mi>F</mi>
</mrow>
<msub>
<mrow>
<mo>&PartialD;</mo>
<mi>H</mi>
</mrow>
<mi>kj</mi>
</msub>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
式中，i＝0,1,...,m-1，k＝0,1,...,r-1，j＝0,1,...,n-1；
(4)在每一步迭代后将W和H的负元素置零，并对W按列进行归一化处理；
(5)循环进行(3)～(4)直至收敛，得到的基矩阵W和系数矩阵H即为最后分解结果。
3.根据权利要求2所述的约束稀疏的非负矩阵分解方法，其特征在于，所述步骤(2)中基矩阵W和系数矩阵H的学习因子ηW和ηH为：
<mrow>
<mfenced open='{' close=''>
<mtable>
<mtr>
<mtd>
<msub>
<mi>&eta;</mi>
<mi>W</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>W</mi>
<mi>ik</mi>
</msub>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>WHH</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>ik</mi>
</msub>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&eta;</mi>
<mi>H</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>H</mi>
<mi>kj</mi>
</msub>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>W</mi>
<mi>T</mi>
</msup>
<mi>WH</mi>
<mo>)</mo>
</mrow>
<mi>kj</mi>
</msub>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
所述步骤(3)中迭代公式为：
<mfenced open='{' close=''>
<mtable>
<mtr>
<mtd>
<msub>
<mi>W</mi>
<mi>ik</mi>
</msub>
<mo>&LeftArrow;</mo>
<msub>
<mi>W</mi>
<mi>ik</mi>
</msub>
<mfrac>
<mrow>
<mrow>
<mo>(</mo>
<msup>
<mi>VH</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>ik</mi>
<mo>+</mo>
<msub>
<mi>&alpha;</mi>
<mi>W</mi>
</msub>
<msub>
<mi>W</mi>
<mi>ik</mi>
</msub>
</mrow>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>WHH</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mi>ik</mi>
</msub>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>H</mi>
<mi>kj</mi>
</msub>
<mo>&LeftArrow;</mo>
<msub>
<mi>H</mi>
<mi>kj</mi>
</msub>
<mo>[</mo>
<mfrac>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>W</mi>
<mi>T</mi>
</msup>
<mi>V</mi>
<mo>)</mo>
</mrow>
<mi>kj</mi>
</msub>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>W</mi>
<mi>T</mi>
</msup>
<mi>WH</mi>
<mo>)</mo>
</mrow>
<mi>kj</mi>
</msub>
</mfrac>
<mo>-</mo>
<msub>
<mi>&alpha;</mi>
<mi>H</mi>
</msub>
<mfrac>
<mn>1</mn>
<mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>h</mi>
<mi>k</mi>
</msub>
<msup>
<msub>
<mi>h</mi>
<mi>k</mi>
</msub>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<msub>
<mi>H</mi>
<mi>kj</mi>
</msub>
</mrow>
</mfrac>
<mfrac>
<mn>1</mn>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>W</mi>
<mi>T</mi>
</msup>
<mi>WH</mi>
<mo>)</mo>
</mrow>
<mi>kj</mi>
</msub>
</mfrac>
<mo>+</mo>
<msub>
<mi>&alpha;</mi>
<mi>H</mi>
</msub>
<mfrac>
<msub>
<mrow>
<mo>[</mo>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>HH</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mi>T</mi>
</mrow>
</msup>
<mi>H</mi>
<mo>]</mo>
</mrow>
<mi>kj</mi>
</msub>
<msub>
<mrow>
<mo>(</mo>
<msup>
<mi>W</mi>
<mi>T</mi>
</msup>
<mi>WH</mi>
<mo>)</mo>
</mrow>
<mi>kj</mi>
</msub>
</mfrac>
<mo>]</mo>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119985.4A CN104732535B (zh) | 2015-03-18 | 2015-03-18 | 一种约束稀疏的非负矩阵分解方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119985.4A CN104732535B (zh) | 2015-03-18 | 2015-03-18 | 一种约束稀疏的非负矩阵分解方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104732535A CN104732535A (zh) | 2015-06-24 |
| CN104732535B true CN104732535B (zh) | 2017-12-22 |
Family
ID=53456403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510119985.4A Expired - Fee Related CN104732535B (zh) | 2015-03-18 | 2015-03-18 | 一种约束稀疏的非负矩阵分解方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104732535B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978573B (zh) * | 2015-07-06 | 2018-07-24 | 河海大学 | 一种应用于高光谱图像处理的非负矩阵分解方法 |
| CN105138781B (zh) * | 2015-09-02 | 2018-10-12 | 苏州珂晶达电子有限公司 | 一种半导体器件的数值模拟数据处理方法 |
| CN105389291B (zh) * | 2015-12-21 | 2018-08-21 | 西安电子科技大学 | 基于增量式凸局部非负矩阵分解的数据处理方法 |
| CN105488505B (zh) * | 2015-12-31 | 2019-01-11 | 中国科学院电子学研究所 | 一种对具有旋转角度的目标进行识别的方法 |
| CN106597439A (zh) * | 2016-12-12 | 2017-04-26 | 电子科技大学 | 一种基于增量学习的合成孔径雷达目标识别方法 |
| CN107563287B (zh) * | 2017-06-16 | 2019-12-31 | 江汉大学 | 人脸识别方法和装置 |
| CN107943816A (zh) * | 2017-10-09 | 2018-04-20 | 中国电子科技集团公司第二十八研究所 | 一种网络热点话题的发现方法和系统 |
| CN108985356A (zh) * | 2018-06-28 | 2018-12-11 | 中国人民解放军国防科技大学 | 基于nmf的图像分解方法 |
| CN111837185B (zh) * | 2018-12-07 | 2024-03-12 | 广东省智能制造研究所 | 基于约束半非负矩阵分解的声音分类方法、装置及介质 |
| CN113792254B (zh) * | 2021-08-17 | 2024-05-28 | 大连理工大学 | 一种引入空间稀疏约束的多被试fMRI数据Tucker分解方法 |
-
2015
- 2015-03-18 CN CN201510119985.4A patent/CN104732535B/zh not_active Expired - Fee Related
Non-Patent Citations (5)
| Title |
|---|
| 加稀疏约束的非负矩阵分解;张宇飞;《中国优秀硕士学位论文全文数据库 基础科学辑》;20110615(第06期);第1,14-22,28页 * |
| 基于投影梯度法的非负矩阵分解稀疏算法;平沙沙 等;《计算机与数字工程》;20121220;第40卷(第12期);第20-22，59页 * |
| 基于约束NMF的欠定盲信号分离算法;赵知劲 等;《计算机应用研究》;20110515;第28卷(第5期);第1843-1845页 * |
| 基于约束NMF的盲源分离算法;赵知劲 等;《压电与声光》;20101215;第32卷(第6期);第1049-1052页 * |
| 基于行列式和稀疏性约束的NMF的欠定盲分离方法;卢宏 等;《计算机应用》;20110201;第31卷(第2期);第553-558页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104732535A (zh) | 2015-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104732535B (zh) | 一种约束稀疏的非负矩阵分解方法 | |
| Kulkarni et al. | A leaf recognition technique for plant classification using RBPNN and Zernike moments | |
| CN106709881A (zh) | 一种基于非凸低秩矩阵分解的高光谱图像去噪方法 | |
| Roemer et al. | Tensor-based algorithms for learning multidimensional separable dictionaries | |
| CN106022355B (zh) | 基于3dcnn的高光谱图像空谱联合分类方法 | |
| CN103020939B (zh) | 利用多时相数据去除光学遥感影像大面积厚云的方法 | |
| WO2022217746A1 (zh) | 一种高分辨率高光谱计算成像方法、系统及介质 | |
| CN108154133B (zh) | 基于非对称联合学习的人脸画像-照片识别方法 | |
| Bai et al. | Adaptive correction procedure for TVL1 image deblurring under impulse noise | |
| CN102542542A (zh) | 基于非局部稀疏模型的图像去噪方法 | |
| CN110139046B (zh) | 一种基于张量的视频帧合成方法 | |
| CN103955904A (zh) | 一种基于离散分数阶傅里叶变换相位信息的信号重建方法 | |
| CN104463148B (zh) | 基于图像重构和哈希算法的人脸识别方法 | |
| CN106157254A (zh) | 基于非局部自相似性的稀疏表示遥感图像去噪方法 | |
| CN105809182B (zh) | 一种图像分类的方法及装置 | |
| CN109299170B (zh) | 一种针对带标签时间序列数据的补全方法 | |
| Zhang et al. | Image denoising via 2D dictionary learning and adaptive hard thresholding | |
| Badre et al. | Summarization with key frame extraction using thepade's sorted n-ary block truncation coding applied on haar wavelet of video frame | |
| CN110751599B (zh) | 一种基于截断核范数的视觉张量数据补全方法 | |
| CN114998750A (zh) | 一种遥感图像随机长度条带去除方法、装置、设备及介质 | |
| He et al. | Patch tracking-based streaming tensor ring completion for visual data recovery | |
| CN103150709B (zh) | 一种基于伪牛顿法的四元数域彩色图像压缩感知恢复方法 | |
| Lian et al. | Transfer orthogonal sparsifying transform learning for phase retrieval | |
| CN104050489B (zh) | 一种基于多核最优化的合成孔径雷达自动目标识别方法 | |
| Agathos et al. | Robust minimum volume simplex analysis for hyperspectral unmixing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171222 Termination date: 20210318 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |