CN109117886A - 一种图像帧中目标尺度与区域估计的方法 - Google Patents
一种图像帧中目标尺度与区域估计的方法 Download PDFInfo
- Publication number
- CN109117886A CN109117886A CN201810941383.0A CN201810941383A CN109117886A CN 109117886 A CN109117886 A CN 109117886A CN 201810941383 A CN201810941383 A CN 201810941383A CN 109117886 A CN109117886 A CN 109117886A
- Authority
- CN
- China
- Prior art keywords
- target
- scale
- region
- estimation
- large scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像帧中目标尺度与区域估计的方法。本发明将图像划分成多个区块，在多个区块上做小尺度目标的尺度估计，对全图做大尺度目标的尺度估计。尺度估计将尺度空间划分成多个区间。对每个区间做判断，图像上是否存在属于这个区间的目标。目标尺度估计以多个二分类实现，二分类得到对应尺度是否有目标的概率分数，在尺度空间上可以组成一个分数向量。目标尺度估计的结果是尺度空间上对应尺度目标是否存在的分数向量。本发明可以快速对图像帧中目标的尺度和区域做出估计，减少多尺度金字塔图像检测所需要处理的尺度和面积，减少检测算法的耗时。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种图像帧中目标尺度与区域估计的方法。
背景技术
图像目标检测需要解决检测多尺度目标的问题。基于多尺度金字塔的解决方案，因为需要遍历所有尺度，会导致检测耗时高的问题。我们可以观察到图像中目标的尺度很多时候是有限的、不连续的。因为成像近大远小，所以相近尺度的目标在图像上有区域聚集性。这些现象在人脸检测等任务中尤为明显。
目前已有的技术中，《一种基于尺度估计的人脸检测方法-201711294249.8》对人脸做出了尺度的估计，减少多尺度金字塔检测的尺度数量，可以减少检测耗时。但是没有对目标的区域做出估计，这样导致在没有目标的区域上做了大量无用的计算，在耗时上还是较高。
发明内容
本发明针对现有技术的不足，提供了一种图像帧中目标尺度与区域估计的方法。
本发明使用卷积神经网络，可以快速对图像帧中目标的尺度和区域都做出估计。即可以将图像帧划分成若干个区域，检测出区域中是否有目标，如果有目标，给出区域中目标的尺度。区域中的目标可以是0个、1个或者多个，可以是多个不同尺度的目标。
本发明具体是：
步骤一、离线训练
1.1将原始图像做随机裁剪和水平翻转扰动，缩放为固定尺寸。
1.2生成大尺度目标标签：
大尺度目标定义为尺度属于[n1,n2]的目标。根据缩放图像上的目标宽高的均值计算大尺度分数向量。对于一个区间，如果存在属于这个尺度区间的目标，分数向量上对应的分数置为1，为正样本。如果不存在属于这个尺度区间的目标，分数向量上对应的分数置为0，为负样本。
1.3生成小尺度目标标签：
小尺度目标定义为尺度属于[m1,m2]的目标。将图像划分成L个大小为a、步长为s的区域。对于单个区域，根据区域内目标宽高的均值计算小尺度分数向量。正负样本计算规则与大尺度目标相同。
1.4使用caffe训练目标尺度分类器。
步骤二、在线检测
2.1、将图像缩放，输入训练好的目标尺度分类器，得到尺度估计的分布分数。
2.2、大尺度目标估计：
2.2.1、对大尺度估计的分布分数做平滑。
2.2.2、对大尺度估计的分布分数做非极大值抑制，得到全图是否有大尺度目标，如果有大尺度目标，得到大尺度目标的尺度。
2.3、小尺度目标尺度与区域估计：
2.3.1、对一个区域的小尺度估计分数做平滑。
2.3.2、对区域的小尺度估计的分布分数做非极大值抑制，得到该区域图是否有小尺度目标，如果有小尺度目标，得到小尺度目标的尺度。
2.3.3、对其它区域做2.3.1和2.3.2相同的操作。
2.4、输出图像帧的尺度和区域估计结果。
本发明的有益效果：
本发明可以快速对图像帧中目标的尺度和区域做出估计，减少多尺度金字塔图像检测所需要处理的尺度和面积，减少检测算法的耗时。
附图说明
图1为caffe网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
本发明将图像划分成多个区块，在多个区块上做小尺度目标的尺度估计，对全图做大尺度目标的尺度估计。
尺度估计将尺度空间划分成多个区间。对每个区间做判断，图像上是否存在属于这个区间的目标。目标尺度估计以多个二分类实现，二分类得到对应尺度是否有目标的概率分数，在尺度空间上可以组成一个分数向量。目标尺度估计的结果是尺度空间上对应尺度目标是否存在的分数向量。
区域估计将图像划分成多个区块，在每个图像块上做尺度估计。如果尺度估计结果为所有尺度区间都没有对应的目标，那么当前区域没有目标；否则，当前区域有目标，并且给出对应的尺度估计。
本发明具体是：
步骤一、离线训练
1.1将原始图像做随机裁剪和水平翻转扰动，缩放为固定尺寸
1.2生成大尺度目标标签：
大尺度目标定义为尺度属于[n1,n2]的目标。根据缩放图像上的目标宽高的均值计算大尺度分数向量。对于一个区间，如果存在属于这个尺度区间的目标，分数向量上对应的分数置为1，为正样本。如果不存在属于这个尺度区间的目标，分数向量上对应的分数置为0，为负样本。
1.3生成小尺度目标标签：
小尺度目标定义为尺度属于[m1,m2]的目标。[n1,n2]与[m1,m2]两个区间可以有一定重叠，也可以不重叠，即m1<n1≤m2<n2。将图像划分成L个大小为a、步长为s的区域。对于单个区域，根据区域内目标宽高的均值计算小尺度分数向量。正负样本计算规则与大尺度目标相似。
1.4模型训练优化使用的损失函数使用两个加权的交叉熵损失函数：
其中Loss表示损失，m表示尺度序号，wm表示第m个尺度区间的权重，pm表示第m个尺度区间的分数，表示第m个尺度区间的估计结果，(l,n)表示第l个图像区域的第n个尺度区间的参数，a是一个权重比例调节参数，表示大尺度目标和小尺度目标对Loss的影响。
步骤二、在线检测
2.1、将图像缩放，输入训练好的目标尺度估计模型，得到尺度估计的分布分数。
2.2、大尺度目标估计：
2.2.1、对大尺度估计的分布分数做平滑。
2.2.2、对大尺度估计的分布分数做非极大值抑制，得到全图是否有大尺度目标，如果有大尺度目标，得到大尺度目标的尺度。
2.3、小尺度目标尺度与区域估计：
2.3.1、对一个区域的小尺度估计分数做平滑。
2.3.2、对区域的小尺度估计的分布分数做非极大值抑制，得到该区域图是否有小尺度目标，如果有小尺度目标，得到小尺度目标的尺度。
2.3.3、对其它区域做2.3.1和2.3.2相同的操作。
2.4、输出图像帧的尺度和区域估计结果。
实施例：
本实施包括以下步骤：
步骤一、离线训练
1.1将原始图像做随机裁剪和水平翻转扰动，图像缩放到224×224，按长边缩放到224的比例缩放图形，短边补0填充。
1.2生成大尺度目标标签：
大尺度目标定义为尺度属于[26.1,28]的目标，间隔比例为20.1，共有20个2分类。根据缩放图像上的目标宽高的均值计算大尺度分数向量。对于一个区间，如果存在属于这个尺度区间的目标，分数向量上对应的分数置为1，为正样本；如果不存在属于这个尺度区间的目标，分数向量上对应的分数置为0，为负样本。
1.3生成小尺度目标标签：
小尺度目标定义为尺度属于[22,26.5]的目标，间隔比例为20.1，共有46个2分类。与大尺度目标在尺度区间[26.1,26.5]有重叠。将图像划分成49个大小112x112为步长为32的区域。对于单个区域，根据区块内目标宽高的均值计算小尺度分数向量。正负样本计算规则与大尺度目标相似。
1.4大尺度目标和小尺度目标的正样本分类权重为16，负样本分类权重为1，正样本尺度空间上的1领域内的负样本的分类权重置为0。小尺度目标和大尺度目标的权重比例为5:1。
1.5使用caffe训练目标尺度分类器，网络结构见图1。conv_blok包含了一个的卷积层，一个激活层ReLU，一个标准化层BN。conv_blok的卷积层的卷积核大小为3×3，步长为1，填充为1。data是数据输入层，维度为224×224×3，其他网络层结构输出大小见网络结构图。conv layers是一个卷积特征提取网络。conv_blok1是一个结构为conv_blok的卷积块。conv_cls是一个卷积核大小为3×3，步长为1，填充为1的卷积层。global_max_pool是全局极大值池化层。prob是softMax层，输出大尺度目标的尺度估计分数。prob_Area是softMax层，输出小尺度目标的尺度估计分数。
训练策略：
先训练一个不做区域估计的、全图的全尺度估计模型，用这个模型初始化尺度与区域估计模型，再进行训练。
步骤二、在线检测
2.1、将输入图像的最长边缩放到224，短边补0填充，输入训练好的尺度与区域估计模型。
2.2、大尺度目标估计：
2.2.1、对20个大尺度估计的分布分数做窗口为3的平滑。
2.2.2、对平滑后的分布分数做窗口为5的非极大值抑制。
2.2.3、得到全图是否有大尺度目标的估计，如果有大尺度目标，得到大尺度目标的尺度。
2.3、小尺度目标尺度与区域估计：
2.3.1、对一个区域的46个小尺度估计分数做窗口为3的平滑。
2.3.2、对平滑后的分布分数做窗口为5的非极大值抑制。
2.3.3、得到该区域图是否有小尺度目标，如果有小尺度目标，得到小尺度目标的尺度。
2.3.4、对其它48个区域做2.3.1和2.3.2相同的操作。
2.4、输出图像帧的尺度和区域估计结果。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。
Claims (3)
1.一种图像帧中目标尺度与区域估计的方法，其特征在于该方法包括以下步骤：
步骤一、离线训练
1.1将原始图像做随机裁剪和水平翻转扰动，缩放为固定尺寸；
1.2生成大尺度目标标签：
大尺度目标定义为尺度属于[n1,n2]的目标；根据缩放图像上的目标宽高的均值计算大尺度分数向量；对于一个区间，如果存在属于这个尺度区间的目标，分数向量上对应的分数置为1，为正样本；如果不存在属于这个尺度区间的目标，分数向量上对应的分数置为0，为负样本；
1.3生成小尺度目标标签：
小尺度目标定义为尺度属于[m1,m2]的目标；将图像划分成L个大小为a、步长为s的区域；对于单个区域，根据区域内目标宽高的均值计算小尺度分数向量；正负样本计算规则与大尺度目标相同；
1.4使用caffe训练目标尺度分类器；
步骤二、在线检测
2.1、将图像缩放，输入训练好的目标尺度分类器，得到尺度估计的分布分数；
2.2、大尺度目标估计：
2.2.1、对大尺度估计的分布分数做平滑；
2.2.2、对大尺度估计的分布分数做非极大值抑制，得到全图是否有大尺度目标，如果有大尺度目标，得到大尺度目标的尺度；
2.3、小尺度目标尺度与区域估计：
2.3.1、对一个区域的小尺度估计分数做平滑；
2.3.2、对区域的小尺度估计的分布分数做非极大值抑制，得到该区域图是否有小尺度目标，如果有小尺度目标，得到小尺度目标的尺度；
2.3.3、对其它区域做2.3.1和2.3.2相同的操作；
2.4、输出图像帧的尺度和区域估计结果。
2.根据权利要求1所述的一种图像帧中目标尺度与区域估计的方法，其特征在于：在模型训练优化过程中的损失函数使用两个加权的交叉熵损失函数：
Loss表示损失，m表示尺度序号，wm表示第m个尺度区间的权重，pm表示第m个尺度区间的分数，表示第m个尺度区间的估计结果，(l,n)表示第l个图像区域的第n个尺度区间的参数，a是一个权重比例调节参数，表示大尺度目标和小尺度目标对Loss的影响。
3.根据权利要求1或2所述的一种图像帧中目标尺度与区域估计的方法，其特征在于：使用caffe训练目标尺度分类器所使用的训练策略为：先训练一个不做区域估计的、全图的全尺度估计模型，用这个模型初始化尺度与区域估计模型，再进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810941383.0A CN109117886B (zh) | 2018-08-17 | 2018-08-17 | 一种图像帧中目标尺度与区域估计的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810941383.0A CN109117886B (zh) | 2018-08-17 | 2018-08-17 | 一种图像帧中目标尺度与区域估计的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109117886A true CN109117886A (zh) | 2019-01-01 |
| CN109117886B CN109117886B (zh) | 2022-02-18 |
Family
ID=64853461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810941383.0A Expired - Fee Related CN109117886B (zh) | 2018-08-17 | 2018-08-17 | 一种图像帧中目标尺度与区域估计的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109117886B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111489332A (zh) * | 2020-03-31 | 2020-08-04 | 成都数之联科技有限公司 | 一种用于目标检测的多尺度iof随机裁剪的数据增强方法 |
| CN112199984A (zh) * | 2020-07-10 | 2021-01-08 | 北京理工大学 | 一种大尺度遥感图像的目标快速检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886619A (zh) * | 2014-03-18 | 2014-06-25 | 电子科技大学 | 一种融合多尺度超像素的目标跟踪方法 |
| CN104680158A (zh) * | 2015-03-31 | 2015-06-03 | 盐城工学院 | 一种基于对尺度块局部多值模式的人脸识别方法 |
| US20160171680A1 (en) * | 2014-12-16 | 2016-06-16 | The Board of Trustees of the Land Stanford Junior University | Systems and Methods for Satellite Image Processing to Estimate Crop Yield |
| CN106295605A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 红绿灯检测与识别方法 |
| CN107220952A (zh) * | 2017-06-09 | 2017-09-29 | 河南科技大学 | 一种基于显著性的多尺度图像平滑方法 |
| CN107844785A (zh) * | 2017-12-08 | 2018-03-27 | 浙江捷尚视觉科技股份有限公司 | 一种基于尺度估计的人脸检测方法 |
-
2018
- 2018-08-17 CN CN201810941383.0A patent/CN109117886B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886619A (zh) * | 2014-03-18 | 2014-06-25 | 电子科技大学 | 一种融合多尺度超像素的目标跟踪方法 |
| US20160171680A1 (en) * | 2014-12-16 | 2016-06-16 | The Board of Trustees of the Land Stanford Junior University | Systems and Methods for Satellite Image Processing to Estimate Crop Yield |
| CN104680158A (zh) * | 2015-03-31 | 2015-06-03 | 盐城工学院 | 一种基于对尺度块局部多值模式的人脸识别方法 |
| CN106295605A (zh) * | 2016-08-18 | 2017-01-04 | 宁波傲视智绘光电科技有限公司 | 红绿灯检测与识别方法 |
| CN107220952A (zh) * | 2017-06-09 | 2017-09-29 | 河南科技大学 | 一种基于显著性的多尺度图像平滑方法 |
| CN107844785A (zh) * | 2017-12-08 | 2018-03-27 | 浙江捷尚视觉科技股份有限公司 | 一种基于尺度估计的人脸检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| MARTIN DANELLJAN ET AL: "Accurate Scale Estimation for Robust Visual Tracking", 《ACCURATE SCALE ESTIMATION FOR ROBUST VISUAL TRAKING》 * |
| 马燕妮等: "面向对象影像多尺度分割最大异质性参数估计", 《遥感学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111489332A (zh) * | 2020-03-31 | 2020-08-04 | 成都数之联科技有限公司 | 一种用于目标检测的多尺度iof随机裁剪的数据增强方法 |
| CN111489332B (zh) * | 2020-03-31 | 2023-03-17 | 成都数之联科技股份有限公司 | 一种用于目标检测的多尺度iof随机裁剪的数据增强方法 |
| CN112199984A (zh) * | 2020-07-10 | 2021-01-08 | 北京理工大学 | 一种大尺度遥感图像的目标快速检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109117886B (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106251361B (zh) | 一种钢轨表面缺陷图像自适应分割方法 | |
| CN107844785B (zh) | 一种基于尺度估计的人脸检测方法 | |
| CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
| CN108898610A (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
| CN101957997B (zh) | 一种动态场景中基于区域均值核密度估计的运动目标检测方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN110929578A (zh) | 一种基于注意力机制的抗遮挡行人检测方法 | |
| CN110223302A (zh) | 一种基于旋转区域提取的舰船多目标检测方法 | |
| CN104463128B (zh) | 用于人脸识别的眼镜检测方法及系统 | |
| CN110543837A (zh) | 一种基于潜在目标点的可见光机场飞机检测方法 | |
| CN103839065A (zh) | 人群动态聚集特征提取方法 | |
| CN109359661B (zh) | 一种基于卷积神经网络的Sentinel-1雷达图像分类方法 | |
| CN103942758A (zh) | 基于多尺度融合的暗通道先验图像去雾方法 | |
| CN106991686B (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
| CN107564022A (zh) | 基于贝叶斯融合的视频显著性检测方法 | |
| CN101216942A (zh) | 一种自适应选取权重的增量式特征背景建模算法 | |
| CN103279931A (zh) | 基于透射率的去雾图像去噪方法 | |
| CN108446694A (zh) | 一种目标检测方法及装置 | |
| CN102902956A (zh) | 一种地基可见光云图识别处理方法 | |
| CN109948593A (zh) | 基于结合全局密度特征的mcnn人群计数方法 | |
| CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
| CN112381030B (zh) | 一种基于特征融合的卫星光学遥感图像目标检测方法 | |
| CN110443279B (zh) | 一种基于轻量级神经网络的无人机图像车辆检测方法 | |
| CN102903102A (zh) | 基于非局部的三马尔可夫随机场sar图像分割方法 | |
| CN112528913A (zh) | 一种基于图像的砂石颗粒物粒径检测分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220218 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |