CN102519396A - 三个灰度对称线性编码周期的采样点三维信息获取方法 - Google Patents
三个灰度对称线性编码周期的采样点三维信息获取方法 Download PDFInfo
- Publication number
- CN102519396A CN102519396A CN2011104310963A CN201110431096A CN102519396A CN 102519396 A CN102519396 A CN 102519396A CN 2011104310963 A CN2011104310963 A CN 2011104310963A CN 201110431096 A CN201110431096 A CN 201110431096A CN 102519396 A CN102519396 A CN 102519396A
- Authority
- CN
- China
- Prior art keywords
- coding
- point
- pattern
- sampled point
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提供了一种三个灰度对称线性编码周期的采样点三维信息获取方法,步骤为:选择编码周期,制备9幅由3个编码周期不同的灰度线性对称相移光栅;将光栅投射到被测物体表面,利用条纹图像获取装置,获得9幅条纹图像;计算得到采样点在此编码周期内对应于编码图案的相对编码点,得到采样点在该频率内的余数方程,联立余数方程,得到采样点在3个不同编码周期内的同余方程组,采用大衍求一术确定同余方程组的乘率,进而得到方程组的解;确定采样点的投影角,根据三角原理确定采样点的三维信息。本发明方法克服了传统双频相移三维测量中,误差大,测量范围受限,误差累计及传递的缺点。该方法是一种具有非接触,高采样密度,高精度的三维测量技术。
Description
技术领域
本发明涉及计算机采样技术,具体涉及一种三维非接触高精度、无误差传递的三维测量技术、三维信息获取与重建方法。
背景技术
数量众多的光学非接触三维信息获取技术被广泛的应用于现代工农业生产过程中,其中结构光技术由于其主动测量原理,采样密度可调,测量精度高等优点被广泛应用于逆向工程、考古、医学、服饰、人体测量等需要恢复物体的三维形状的领域中。结构光技术是利用普通或者激光作为光源,将已知的图案投射到被测物的表面,根据通过成像装置从另一角度获取的图像,利用三角原理获得采样点的三维信息。
结构光技术根据投影图案的不同可以分为单点结构光、单线结构光、多线结构光和编码结构光等。其中单点和单线结构光由于其需要高精度的扫面机械及高精度的定位装置,已经不能引起广大研究者的兴趣。多线结构光由于使用时必须确定条纹对应的问题,也不适用于实际测量中。但编码结构光由于其条纹次序明确,不需考虑其他几何约束的优点已经成为目前该领域的研究热点。编码结构光技术向被测物投射编码图案,测量速度由于不需扫描装置而被大大提高了。在通过预先标定明确系统结构参数的条件下,确定被测物采样点并将其与条纹图像、编码图案对应起来,是编码结构光目前主要的研究问题。
编码结构光根据编码方法可分为时间编码、空间编码和直接编码、三者各具优点。相对于空间编码和直接编码,时间编码具有容易识别、准确度高等优点而具有广阔的应用前景。时间编码又可分为数字编码和连续编码两种技术,连续编码方法具有测量空间编码连续的优点,抗干扰能力强的优点,已经被越来越多研究者所重视。
目前连续编码方法主要分为正弦相移编码法和强度比编码法。正弦相移编码法具有采样密度高,在单独一个周期内,相位值连续且唯一,但是在多周编码中存在着周期数判定不准确,容易产生多义性,且该技术涉及大量的正切及反正切计算,计算量大,这些缺点限制了该技术的应用范围。强度比法恰恰弥补了正弦相移法计算量大的缺点。该技术利用线性变化光照下每一像素值与持续光照下像素值的比率,即强度比,替代正弦相位法中的相位值,具有速度快,计算量小的优点,但该技术不可避免的存在着解包裹时,采样点不唯一的问题。
大衍求一术被引入到连续正弦编码结构光解码中,目前编码方法采用两个编码频率对被测物进行采样,解码时除了求解同余方程外,还需要查询事先标定好的误差表进行修正,这类技术的采样精度没有明显的提高。
三周期正弦编码法也被用来进行正弦相移的解包裹算法,但是该方法不可避免正弦相移方法中计算量大,且投射编码图案众多的问题。
发明内容
本发明的目的是提供一种提高相移编码结构光测量范围,减小测量误差,提高测量精度,克服被测物表面反射率不一致和环境光对测量影响的三个灰度对称线性编码周期的采样点三维信息获取方法。
本发明的目的通过以下的步骤实现:
(1) 选择编码周期,制作编码图案。根据投射源及测量范围确定三个不同的编码周期。编码图案是由投射源投射到被测物体表面的主动信息,是由在编码图案上,按X和Y方向顺序排列的编码点的灰度级构成。根据投射源与条纹图像获取装的几何位置确定编码方向,在另一个方向上是编码方向上编码点灰度级的重复。编码周期是指编码点的灰度级从某一个灰度级经历过灰度级最高、灰度级最低,且将此灰度级重复三次时,沿编码方向上编码点的总数。在一个周期内,灰度的编码是线性的,并且关于1/2周期点对称。为了提高编码图像的解码时抗干扰能力和测量精度,对于一个编码周期,制作三幅沿着编码方向依次仅移动1/3周期的编码图案,总计9幅编码图案。
将某一个编码周期中的一幅编码图案经由投射源投影到被测物体表面,平面的编码图案受到被测物体表面三维信息的调制,产生变形,利用条纹图像获取装置,获取包含有被测物体及变形编码图案的条纹图像。将其他2幅根据同一个编码周期,但沿编码方向依次移动1/3周期的编码图案经由投射源投射到被测物体表面,获取条纹图像。再将其他2个编码周期的共计6幅编码图案依次投射到被测物体表面,获取不同编码图案经由被测物体表面改变的6幅条纹图像。
对同一个编码周期的3幅条纹图像同一个采样点的灰度数据进行处理,计算得到采样点在此编码周期内对应于编码图案的相对编码点,得到采样点在该周期内的余数方程。针对同一采样点在其余2个不同编码周期的其余6幅条纹图像进行相同处理,总计得到3个余数方程,联立得到采样点对应绝对编码点的同余方程,采用大衍求一术确定同余方程的乘率,进而等到该同余方程的解,即采样点对应的绝对编码点,进而获得采样点对应的投影角度。
在确定采样点的对应的投影角度后,还需根据投射源与条纹图像获取装置的几何关系和三角原理确定采样点的三维信息。
本发明有以下技术效果:
1.本发明方法通过选择三个不同的编码周期,在保留相位编码方法对投影角连续划分的优点同时,对相位编码法的测量范围拓展了第三个编码周期倍。
本发明方法在相同测量范围内,可以选择三种周期较小的对称灰度线性编码,这样减少了在同一幅值范围内灰度分布的点数,在同等情况下,与大周期的灰度编码相比,灰度分布的减少更加明显,出现误差的可能性大为降低。
本发明方法需要投射9幅编码图案,有效地减少了投射图案的数量,提高了三维信息获取的速度。
本发明方法对同一个编码周期,投射三幅移动1/3周期的编码图案,可以提高抗干扰能力,同时减少了环境光照和被测物表面反射系数不一致对三维信息获取结果的影响。
本发明方法采用编码点作为确定投影角的中间变量,可以减少计算量,进一步提高了三维信息获取的速度。
本发明方法在解码时通过第三个编码周期的引入,扩大了绝对编码点的表示范围,与两个编码周期的相位方法相比将投影角进一步细分了。
本发明方法在解码时,不依靠条纹图像中采样点对应像点周围的像素点的数据,仅仅依靠本身的灰度信息,从原理上截断了误差传递的可能,避免了累计大误差的出现。
本发明提出的三个编码周期对称线性灰度编码解码技术即可解决投影角连续划分的问题,又可以提高测量准确度和采样密度。
附图说明
图1为基于三个灰度对称线性编码周期的采样点三维信息获取技术的实施流程框图;
图2为对称线性灰度编码排列序号;
图3为对称线性灰度编码的三个编码周期灰度示意图;
图4为三个编码周期对称线性灰度编码投射图案;
图5为解码后对应三个周期的相对编码点;
图6为求解同于方程后确定的绝对编码点。
具体实施方式
下面结合附图对本发明作进一步的说明:
本发明方法在实施中需要投射源,条纹图像获取装置和用于控制及计算的计算机。用来测量被测物表面被采样点的三维信息。其中被采样点的三维信息包括,在以投射源投射光学系统光学中心为原点,以原点与条纹图像获取装置照相光学系统光学中心连线方向为X轴方向,以投射源投射光学系统的光轴方向为Z轴方向的左手空间坐标系(世界坐标系)中,被采样点距离三个坐标轴的距离x,y,z,或者根据(x,y,z)及必要的空间解析几何计算方法,可以获取的诸如被采样点处得法向量、曲率或结合其他被采样点可以计算的被测物表面的诸如弯曲、倾斜、扭曲、翘曲之类的信息。
图1是基于三个灰度对称线性编码周期的采样点三维信息获取技术的实施流程框图。在使用前需要对测量系统包括的投射器、条纹图像获取装置和两者之间的距离进行标定,本领域的技术人员不难理解这一步骤是利用三角法进行三维信息获取的必要步骤。
按3个编码周期生成对称灰度线性编码,每个编码周期各生成沿编码方向移动1/3周期的编码图案,共计9幅编码图案,利用投射器,向被测物投射多幅灰度对称线性多频编码图案,虽然此处编码图案的生产和编码图案的投射是顺序描述的,但本领域的技术人员不难理解可以通过同步技术实现在前1幅编码图案投射的时间内生成下1幅编码图案,以供下一个投射时间使用。
通过条纹图像获取装置,采集包含由被测物表面所产生变形的条纹及环境背景的条纹图像,由分析、控制和处理装置对条纹图像进行预处理后,确定条纹图像中采样点对应于编码图案中的相对编码点,建立该编码周期下的余数方程,3个编码周期内的3个余数方程联立得到同余方程组,根据大衍求一术确定乘率,得到采样点在编码图案中的绝对编码点,确定采样点对应的投影角度,根据三角原理获得采样点的三维信息。
图2是由计算机生成的编码图案族中某一个编码周期线性灰度对称编码排列的序号。计算机控制投射源,按照设计的投射顺序和投影时间,依次将图2所示的多周期灰度线性编码的编码图案投射到被测物表面。编码公式如式(1)所示:
式中I
max
和I
min
是灰度编码时赋予编码点的最大灰度级和最小灰度级,mod(n,T
i
)表示编码点的在编码图案中同一行内的序号对周期T
i
取余得到余数。
图3是本发明方法采用的三个灰度对称线性编码的灰度示意图。其中每一幅编码图案根据投射源最大投射分辨力,按照行的编码方向,以周期T
i
(i=1,2,3)重复编码,赋予行方向编码点以具体的灰度级,列方向的编码点的灰度级分别重复同一列中上一行编码点的灰度级。本领域的技术人员将会理解,编码图案是列方向平行,行方向灰度变化的条纹编码图案。
图4是本发明方法实际应用时通过投射源向被测物表面投射的编码图案。原理上在一个编码周期T
i
内采用一幅灰度对称线性编码图案和一幅最大灰度级编码图案/或一幅最小灰度级编码图案,也可用于计算被测物表面采样点的三维信息,但是为了克服环境光及被测物表面采样点表面反射系数不同对测量的影响,采用投射3幅灰度级变化的编码图案,可以有效的提高采样点灰度计算时的鲁棒性及抗干扰的能力。
计算机生成的编码图案族是由三个编码周期且每一个编码周期由三幅相移编码图案组成,总计9幅编码图案;每一幅编码图案中在一个周期内灰度级完成从最低灰度级保持,从最低灰度级线性增加到最高灰度级,最高灰度级保持,从最低灰度级线性减少到最低灰度级,这样的灰度变化,根据图3可以看出灰度级的变化类似于梯形,其余编码点周期重复梯形灰度变化;且每一编码周期的三幅编码图案在编码方向上,依次沿相同的方向,移动1/3周期。三个编码周期对应的对称灰度线性编码周期是任意两个周期都为互质的,此处互质是指两个编码周期的最大公约数为1。
条纹图像获取装置所获取的条纹图像包括:被测物在多幅编码图案照射时,物体表面在多个照明条件下的反射光;通过转换电路,转换为能被识别并可处理的9幅条纹图像;其获取条纹图像的时间及方式由计算机根据编码图案的周期及编码图案的投射时间计算确定。
对同一编码周期的3幅条纹图像进行灰度计算,确定采样点在该编码周期下编码图案中对应相对编码点r(m,n),求解公式如式(2)所示。
式中I
1
、I
2
和I
3
是同一编码周期获取的三幅条纹图像中,同一采样点的不同灰度值,T为对应的编码周期。
根据编码周期T
i
、相对编码点r
i
(m,n),构造余数a
i
,建立相对编码点r
i
(m,n),在编码周期T
i
内的余数方程r
i
(m,n)≡a
i
(mod T
i
);其中i表示三个编码周期的编号,i=1,2,3;
图5是以编码周期T
1
=3,T
2
=4,T
3
=5为例,条纹图像采样点,在不同编码周期的编码图案照射条件下,求解对应编码周期内余数方程可能的相对编码点值。
如果仅一个编码周期进行编解码的话,那么超出一个周期以外的采样点对应的编码点不唯一。
可以看出利用两个编码周期可以确定两个周期乘积个绝对编码点,但是此时为了获得到更高的采样精度,必须采用以下几种方法:
1. 增大每一个编码周期,以满足在整个测量空间内采样点与编码点唯一对应,但是编码周期的增大,不可避免的使采样点灰度信息获取容易受到其他采样点反射灰度信息的影响,同时容易产生误差;
2. 在不改变同一周期内灰度等级数量的前提下,只能增加编码图案中,同一灰度编码点的个数,这样在原理上降低了采样精度;
3. 额外增加其他约束条件,为了获取到与本方法相同的采样精度,必须与投射同一灰度编码点个数相同的线移编码图案,大大超出本方法投射的编码图案数量,降低了整体测量速度。
建立关于采样点在3个编码周期编码图案照射条件下的投射源对应的绝对编码点x和3个编码周期的同余方程组:x(m,n)≡a
i
(mod T
i
);
计算得到采样点对应于编码图案上的绝对编码点x(m,n):根据大衍求一术确定同余方程组的乘率K
i
,利用公式(3)进而等到该同余方程组的解;
根据同余方程组的解,可以确定采样点在编码图案中对应的绝对编码点。
图6是是以编码周期T
1
=3,T
2
=4,T
3
=5为例,条纹图像采样点,在不同编码周期的编码图案照射条件下,求解对应编码周期内余数方程可能的相对编码点值。
确定采样点在编码图案中对应的绝对编码点x(m,n)后,根据预先标定的投射源投影光学系统的投射范围角度、条纹图像获取装置的照相光学系统的投影光学系统与照相光学系统之间的实际距离,计算得到采样点的三维信息。
本发明方法可以由一个投射编码图案的DLP投射器、一个或多个采集编码图像的数字相机、一个产生编码图案、进行系统控制和数据处理的笔记本电脑所组成,其特点是不含运动件、图案编码方便,而且所有部件均可在市场上购得。系统标定通过控制带有特征点的标准平面在视场内移动,采用照相测量方法完成。现有工艺水平完全可以满足原理样机和标定装置的加工要求。
Claims (1)
1.一种三个灰度对称线性编码周期的采样点三维信息获取方法,其特征在于步骤包括:
(1) 选择编码周期,制作编码图案;根据投射源及测量范围确定三个不同的编码周期;编码图案是由投射源投射到被测物体表面的主动信息,是由按X和Y方向顺序排列的编码点的灰度级构成;根据投射源与条纹图像获取装的几何关系确定编码方向,在另一个方向上是编码方向上编码点灰度级的重复;编码周期是灰度级从某一个灰度级经历过灰度级最高、灰度级最低,且将此灰度级重复三次时,沿编码方向上编码点的总数;在一个周期内,灰度的编码是线性的,并且关于1/2周期点对称;为了提高编码图像的解码时抗干扰能力和测量精度,对于一个编码周期,制作三幅沿着编码方向依次移动1/3周期的编码图案,总计9幅编码图案;
(2) 将某一个编码周期的一幅编码图案经由投射源投影到被测物体表面,平面的编码图案受到被测物体表面三维信息的调制,产生变形,利用条纹图像获取装置,获取包含有被测物体及变形编码图案的条纹图像;将其他2幅根据同一个编码周期,但沿编码方向依次移动1/3周期的编码图案经由投射源投射到被测物体表面,获取条纹图像;再将其他2个编码周期的共计6幅编码图案依次投射到被测物体表面,获取不同编码图案经由被测物体表面改变的6幅条纹图像;
(3) 对同一个编码周期的3幅条纹图像同一个采样点的灰度数据进行处理,计算得到采样点在此编码周期内对应于编码图案的相对编码点,得到采样点在该频率内的余数方程;针对同一采样点在3个不同编码周期的其余6幅条纹图像进行相同处理,总计得到3个余数方程,联立得到采样点对应绝对编码点的同余方程,采用大衍求一术确定同余方程的乘率,进而等到该同余方程的解,即采样点对应的绝对编码点,进而获得采样点对应的投影角度;
(4) 在确定采样点的对应的投影角度后,根据投射源与条纹图像获取装置的几何关系和三角原理确定采样点的三维信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110431096.3A CN102519396B (zh) | 2011-12-21 | 2011-12-21 | 三个灰度对称线性编码周期的采样点三维信息获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110431096.3A CN102519396B (zh) | 2011-12-21 | 2011-12-21 | 三个灰度对称线性编码周期的采样点三维信息获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102519396A true CN102519396A (zh) | 2012-06-27 |
CN102519396B CN102519396B (zh) | 2014-11-05 |
Family
ID=46290400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110431096.3A Expired - Fee Related CN102519396B (zh) | 2011-12-21 | 2011-12-21 | 三个灰度对称线性编码周期的采样点三维信息获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102519396B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103697834A (zh) * | 2013-12-26 | 2014-04-02 | 南京理工大学 | 实时光学三维测量中动态场景无效点的自动识别与排除方法 |
CN104583713A (zh) * | 2012-06-29 | 2015-04-29 | Inb视觉股份公司 | 使优选是结构化的物体表面成像的方法及用于成像的装置 |
CN104864823A (zh) * | 2015-06-16 | 2015-08-26 | 哈尔滨理工大学 | 一种n频编码结构光解码算法 |
CN112880589A (zh) * | 2021-01-18 | 2021-06-01 | 南昌航空大学 | 基于双频相位编码的光学三维测量方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002162215A (ja) * | 2000-11-27 | 2002-06-07 | Matsushita Electric Works Ltd | 3次元形状計測方法およびそのシステム |
EP1770356A2 (en) * | 2005-09-30 | 2007-04-04 | Topcon Corporation | Three-dimensional measurement system with projection device |
CN101881605A (zh) * | 2010-06-02 | 2010-11-10 | 南京航空航天大学 | 基于相位编码技术的光学三维测量方法 |
-
2011
- 2011-12-21 CN CN201110431096.3A patent/CN102519396B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002162215A (ja) * | 2000-11-27 | 2002-06-07 | Matsushita Electric Works Ltd | 3次元形状計測方法およびそのシステム |
EP1770356A2 (en) * | 2005-09-30 | 2007-04-04 | Topcon Corporation | Three-dimensional measurement system with projection device |
CN101881605A (zh) * | 2010-06-02 | 2010-11-10 | 南京航空航天大学 | 基于相位编码技术的光学三维测量方法 |
Non-Patent Citations (4)
Title |
---|
于晓洋等: "结构光时间编码技术", 《哈尔滨理工大学学报》, no. 1, 31 January 2010 (2010-01-31) * |
傅晓: "格雷码结合灰度梯形相移编码三维测量方法与系统的研究", 《中国优秀硕士学位论文全文数据库》, no. 6, 30 June 2011 (2011-06-30) * |
单鹂娜: "组合式时间编码结构光三维测量方法与技术", 《中国优秀硕士学位论文全文数据库》, 20 April 2011 (2011-04-20) * |
许丽等: "结构光系统的周期编码设计", 《光学精密工程》, vol. 18, no. 2, 28 February 2010 (2010-02-28) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104583713A (zh) * | 2012-06-29 | 2015-04-29 | Inb视觉股份公司 | 使优选是结构化的物体表面成像的方法及用于成像的装置 |
CN103697834A (zh) * | 2013-12-26 | 2014-04-02 | 南京理工大学 | 实时光学三维测量中动态场景无效点的自动识别与排除方法 |
CN104864823A (zh) * | 2015-06-16 | 2015-08-26 | 哈尔滨理工大学 | 一种n频编码结构光解码算法 |
CN104864823B (zh) * | 2015-06-16 | 2017-04-05 | 哈尔滨理工大学 | 一种n频编码结构光解码算法 |
CN112880589A (zh) * | 2021-01-18 | 2021-06-01 | 南昌航空大学 | 基于双频相位编码的光学三维测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102519396B (zh) | 2014-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102519390B (zh) | 三编码周期灰度梯形相移结构光三维信息获取方法 | |
CN102494637B (zh) | 三个编码周期的三基色梯形相移三维信息获取方法 | |
CN107036556B (zh) | 基于分段量化相位编码的结构光三维测量方法 | |
CN104197861B (zh) | 基于结构光灰度向量的三维数字成像方法 | |
CN108955571B (zh) | 双频外差与相移编码相结合的三维测量方法 | |
CN111536904A (zh) | 一种基于结构照明的三维测量方法及系统、存储介质 | |
CN102261896A (zh) | 一种基于相位测量的物体三维形貌测量方法及系统 | |
CN110174079B (zh) | 一种基于四步相移编码型面结构光的三维重建方法 | |
CN111207692B (zh) | 一种改进的分段阶梯相位编码三维测量方法 | |
CN101509763A (zh) | 单目高精度大型物体三维数字化测量系统及其测量方法 | |
CN105303572B (zh) | 基于主被动结合的深度信息获取方法 | |
CN110849290B (zh) | 基于形态学操作的分段量化编码强度的三维测量方法 | |
CN101939618B (zh) | 光学三角测量 | |
CN106546193B (zh) | 一种高反射物体表面三维测量方法和系统 | |
CN102519396B (zh) | 三个灰度对称线性编码周期的采样点三维信息获取方法 | |
Yu et al. | Unequal-period combination approach of gray code and phase-shifting for 3-D visual measurement | |
CN103940370A (zh) | 基于周期互质混合编码的目标物体三维信息获取方法 | |
CN109974624A (zh) | 一种基于多频相移的减少投影图像数量的方法 | |
CN104697468B (zh) | 基于倾斜相位编码条纹的光学三维测量方法 | |
CN113465545A (zh) | 一种基于高速led阵列的三维测量系统及其测量方法 | |
CN116718133A (zh) | 近距离单点结构光三维测量方法 | |
CN102494638B (zh) | 三个编码周期的三基色三角形相移三维信息获取方法 | |
CN113345039B (zh) | 三维重建量化结构光相位图像编码方法 | |
CN107421467B (zh) | 结构光三维测量方法及系统 | |
US10801834B2 (en) | Fringe projection for determining topography of a body |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141105 Termination date: 20171221 |
|
CF01 | Termination of patent right due to non-payment of annual fee |