CN101345887B - 改良的rgb影像缩放方法 - Google Patents

改良的rgb影像缩放方法 Download PDF

Info

Publication number
CN101345887B
CN101345887B CN2007101363233A CN200710136323A CN101345887B CN 101345887 B CN101345887 B CN 101345887B CN 2007101363233 A CN2007101363233 A CN 2007101363233A CN 200710136323 A CN200710136323 A CN 200710136323A CN 101345887 B CN101345887 B CN 101345887B
Authority
CN
China
Prior art keywords
image
yuv
interpolation
convergent
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101363233A
Other languages
English (en)
Other versions
CN101345887A (zh
Inventor
邱全成
孙瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Bluearc Animation Co., Ltd.
Original Assignee
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Corp filed Critical Inventec Corp
Priority to CN2007101363233A priority Critical patent/CN101345887B/zh
Publication of CN101345887A publication Critical patent/CN101345887A/zh
Application granted granted Critical
Publication of CN101345887B publication Critical patent/CN101345887B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

一种改良的RGB影像缩放方法,目的是解决以往在RGB影像缩放时运算量过大及影像缩放后容易产生影像失真的问题。其通过将输入的RGB影像先转换为YUV影像,然后于计算影像缩放过程中采取整数运算方式来减少整体运算量,并针对YUV影像缩放后所需增加的插值点中最易为肉眼辨识的Y分量进行高阶的插值处理,以减少影像缩放后所产生的失真程度,最后还原为RGB影像进行输出。藉此,可以使影像缩放的整体处理效率提升并且能够获得更为接近真实的缩放影像。

Description

改良的RGB影像缩放方法
技术领域
本发明为一种RGB影像缩放方法,特别是指一种通过将RGB影像转换为YUV影像后,再进行缩放处理的RGB影像缩放方法。
背景技术
在影像处理的技术领域中,最常使用到的就是“影像缩放”技术,其主要目的是希望能够将所取得的影像重新取样(resampling)之后转换为实际所需的影像大小,在许多医学、多媒体及数据资料的处理上经常会应用到这样的技术。
其中,最常使用到的影像缩放方法又属针对目前使用率最高的RGB影像所提供的RGB影像缩放方法。请参考图1的已知RGB影像缩放方法流程图,可知以往的RGB影像缩放方法都是在RGB影像以及欲缩放大小的缩放参数值被读入之后(步骤10及步骤20),直接针对RGB影像进行重新取样的计算,亦即利用运算式去计算RGB影像依照缩放参数值进行缩放后所产生出的RGB缩放影像中各像素点的新座标位置(步骤30),然后直接以这些新获得座标位置的各像素点的RGB分量来进行各个插值点的插值运算(步骤40),插值运算通常就是直接以插值点最邻近的像素点的R、G、B分量作为插值点的RGB分量,当所有插值点都完成插值运算之后,即可得到一个依照缩放参数值进行缩放后所产生的RGB缩放影像,最后输出此RGB缩放影像(步骤50)。
此种已知技术虽然常用,但是由于其所产生出来的RGB缩放影像往往会产生边缘不够平滑或者是边界不够清晰的现象,导致影像产生失真问题;并且由于整个缩放过程中因为运算充满了大量的浮点运算(float pointoperation)过程,也导致影像缩放的运算效率大受影响,产生处理效率不高的问题。
因此,如何针对现有RGB影像缩放方法提出改良,特别是针对影像缩放后所产生的影像失真问题以及在影像缩放过程中所产生的大量运算进行改良,是需要努力的课题所在。
发明内容
有鉴于已知RGB影像缩放方法所产生的影像失真以及大量运算技术问题,本发明目的在于提供一种改良的RGB影像缩放方法,其利用影像格式转换、采取整数运算及增强部分插值点插值运算的技术手段来解决已知技术所存在的技术问题。
整个改良的RGB影像缩放方法的技术手段,包含下列步骤:(a)读入欲进行缩放的RGB影像,将之转换格式为YUV影像;(b)接收欲获得实际影像大小的缩放参数值;(c)然后依照缩放参数值开始计算YUV影像中各像素点进行缩放后所产生的新的YUV缩放影像中各像素点座标位置,特别的是整个运算过程均以整数运算方式进行;(d)获得到新的YUV缩放影像后,便针对YUV缩放影像中的各插值点进行YUV分量的插值,其主要是区分为下列两个步骤执行:(d1)撷取各关联像素点的Y分量进行各插值点的高阶插值运算;(d2)撷取各关联像素点的U、V分量进行各插值点的直接插值运算;(e)最后再将YUV缩放影像转换回RGB缩放影像,输出RGB缩放影像。
其中,整数运算方式主要是针对计算新的YUV缩放影像中各像素点座标位置时,因为缩放参数值代入运算式后经常会产生浮点数(float point)的缘故,因此在实际运算时本发明方法将可用整数m及n表示为m*10-n时,先以m计算座标位置(x0,y0)再除以10n的方式,使整个运算过程中都是以整数方式进行运算,以大幅减少过多的浮点运算量。
通过本发明的改良的RGB影像缩放方法,确实可以达到使影像缩放的整体处理效率提升,并且能够获得更为接近真实的缩放影像的技术功效。
有关本发明的特征与实作,兹配合图式作最佳实施例详细说明如下。
附图说明
图1是已知RGB影像缩放方法流程图。
图2是本发明改良的RGB影像缩放方法流程图。
图3A是本发明改良的RGB影像缩放方法应用于放大影像实施例示意图。
图3B是第3A图中应用本发明改良的RGB影像缩放方法对Y分量进行高阶插值运算示意图。
图3C是第3A图中应用本发明改良的RGB影像缩放方法对UV分量进行直接插值运算示意图。
具体实施方式
本发明提出的改良RGB影像缩放方法,是针对以往在RGB影像缩放时运算量过大及影像缩放后容易产生影像失真的问题提出解决方案。本发明所提出改良的RGB影像缩放方法,可以用电脑软件的形式被具体实现在任何电脑可执行的影像处理平台上(如:数据电视、电脑)。
所谓的RGB影像,即目前广泛被应用于多媒体显示、电脑显示影像及电视显示上的影像格式,其采用红R(Red)、绿G(Green)及蓝B(Blue)三原色进行相加混合的原理,通过发射不同强度的三原色电子束,来产生所须色彩的RGB影像;而所谓的YUV影像,则是另一种普遍被应用在多媒体显示、电脑显示影像以及电视显示上的影像格式,其主要基于人眼视觉对亮度的敏感度大于色彩彩度的敏感度的前提而将影像改以亮度分量Y以及色差分量U、V来表示,其特点就是Y分量是与U、V分量独立分开的。
由于RGB影像在进行影像缩放时,必须同时对影像中的R、G、B分量分别作运算,且运算过程中经常出现大量的浮点数运算,因此在处理效率上不够高;再加上RGB影像本身的组成结构特性,导致RGB影像在进行影像缩放后所产生的影像失真问题(颜色失真、影像模糊…)特别严重。因此,本发明采取将RGB影像做影像格式转换、整数运算及增强部分插值点插值运算的方式来改善已知技术中存在于RGB影像缩放的问题,以下进一步说明:
已知RGB影像缩放方法,已如先前技术中所述(可参考图1)在此不再赘述,其主要产生缺失的原因就在于是直接对输入的RGB影像本身作处理,因此必然存在先前技术所待解决的问题。请参考图2的部份,是为本发明改良的RGB影像缩放方法流程图,首先将待处理的RGB影像读入(步骤100),读入的方式可以通过电脑软件的设计将RGB影像直接自影像处理平台外部连接的资料传输载体(如:数据传输线缆)读入,亦可自影像处理平台外挂的记录储存媒体读入(如:记忆卡、光碟片);然后执行影像格式转换的程序,亦即将RGB影像转换为YUV影像(步骤200),其转换方式是通过运算式来将RGB影像中各像素中的R、G、B分量([R G B])分别转换为对应的YUV影像的Y、U、V分量([Y U V]),其运算式大致可以表示如下:
Y U V = R G B 0.299 - 0.148 0.615 0.587 - 0.289 - 0.515 0.114 0.437 - 0.100
完成影像格式转换后,便接着进行缩放参数值的接收(步骤300),缩放参数值的接收可以通过电脑软件设计的使用者操作界面(User Interface,UI)实现于影像处理平台的画面上供自外部进行随机输入,基本上缩放参数值即为影像欲缩放的倍数值,可以用正、负整数来表示放大倍数或者缩放倍数(如:3表示放大3倍,-2表示缩小2倍)但输入及表现可不受限于此,此外电脑软件实现的过程中步骤300的缩放参数值亦可提前于步骤100前作输入设定,本发明对此并不作限定。
获得缩放参数值后,接着开始进行对YUV影像的实际缩放过程,由于影像缩放必然会使原本像素点所在的座标位置产生偏移而出现新的像素点座标位置,而原本像素点所在座标位置也因为产生偏移而出现一些新的插值点需要利用关联像素点去进行内插(interpolation)来得到其像素点的YUV分量,因此必须先以整数运算方式来计算依照缩放参数值进行缩放后所新产生的YUV缩放影像中各个新的像素点座标位置(步骤400),计算方式同样是通过将原本的像素点座标位置(x1,y1)及缩放参数值(ratio)代入运算式后去计算出YUV缩放影像中新的像素点座标位置(x0,y0),其运算式可采如下表示:
x 0 y 0 1 = x 1 y 1 1 1 / ratio 0 0 0 1 / ratio 0 0 0 1
值得注意的是,由于运算式中的1/ratio经常会出现浮点数的数值结果,在运算上往往容易造成运算资源上的庞大负担,特别是在一连串影像转换的运算过程中,对于运算处理效率上的影响非常的大,因此本发明特别在此利用整数运算方式来改善大量浮点数运算的效率问题(步骤410)。所述的整数运算逻辑如下:当判断出运算式中的1/ratio数值为浮点数时,且此浮点数能够用整数m及n表示为m*10-n时,则在运算时先以m去计算出新的座标位置(x0,y0)之后,再将所得到的座标位置(x0,y0)除以10n,最终仍可以得到正确的新像素座标位置(x0,y0),通过整数运算方式甚至还可以降低转换编码误差机率,产生更为精确的YUV缩放影像结果。
当依照缩放参数值运算出新的YUV缩放影像中各个新像素所在的座标位置时,同时也可以经由缩放前后的YUV影像及YUV缩放影像的比对而得出对应要执行插值计算的各插值点所在座标位置,此为已知技术在此就不多做赘述。有了明确的插值点,接下来就必须针对YUV缩放影像中的各插值点进行YUV分量的计算,为了降低影像失真的问题并且减少运算量,本发明利用YUV影像的特性而将计算各插值点YUV分量的部份分为两个部份进行(即图2中的步骤500及步骤550),说明如下:
(1)步骤500:是针对YUV缩放影像中较容易为人眼感受的Y分量部分进行插值运算,换句话说本发明方法在Y分量上采取较高阶的插值运算法来计算,因此可以在Y分量上得到较精确且较高品质的插值结果,对于整体YUV缩放影像的失真改善效果最为显著。因此,本发明方法是撷取各关联像素点的Y分量进行各插值点的高阶插值运算。
(2)步骤550:是针对YUV缩放影像中较不易为人眼感受的U及V分量部分进行插值运算,换句话说本发明方法在UV分量上由于其对YUV缩放影像的失真改善效果不大,且容易造成大量的运算量,因此对UV分量是采取直接插值运算法来计算,对于整体YUV缩放影像的失真问题影响效果不大但能够提升整体运算效率。因此,本发明方法是撷取各关联像素点的U、V分量进行各插值点的直接插值运算。
本发明所提到的高阶插值运算,基本上可以采取目前已知的一些插值运算法来进行Y分量的运算,但至少是必须为一阶以上的插值运算法。例如:双线性插值运算法(bilinear interpolation)、双立方插值运算法(bicubicinterpolation);至于直接插值运算,则是直接以和插值点相邻的像素点作为关联像素点,并以此关联像素点的U、V分量作为各插值点的U、V分量,通常会以最接近插值点的单一关联像素点来进行运算,此种运算最为有效率(但并不以此为限)。
至于所述的关联像素点,则依照所使用的插值运算法不同而会有不同用来参考计算插值点各分量的关联像素点。一般都是以插值点邻近的像素点(可以是缩放前YUV影像中的像素点或者是缩放后YUV缩放影像中的新像素点)为基准,当然在较为高阶的插值运算法中还可以通过复杂的运算来决定插值点所须参考的关联像素点;并且在一些高阶插值运算中还可以依照关联像素点与插值点之间的距离关系来给予不同关联像素点不同的权重系数以便能够更精确的计算Y分量。本发明对于关联像素点的决定方式以及给予权重系数的判定方式均未作任何限定。
在此,仅以图3A至图3C来对YUV缩放影像进行横向放大2倍时所采取的技术特征做简单实施例说明(YUV影像缩小时亦同):
首先,图3A的部份显示当YUV影像欲进行横向2倍放大时,YUV影像原像素点(P1及P2)800会分别向左右两边横向偏移至YUV缩放影像中的YUV缩放影像新像素点(nP1及nP2)810,其新座标位置的计算方式已于前面说明过在此不再作叙述,而原先的YUV影像原像素点(P1及P2)800横向偏移之后,为了使放大后的YUV缩放影像能够降低失真程度便需要在YUV缩放影像新像素点(nP1及nP2)810两个新像素点之间的插值点进行插值运算(即图中所示的第一插值点811“iP1”及第二插值点812“iP2”),插值点的座标位置决定可通过缩放前后的YUV影像及YUV缩放影像的比对而得出对应要执行插值计算的各插值点所在座标位置,不多作叙述。
如前所述,本发明方法是将插值点中的Y分量以及UV分量做不同的处理。请参考到图3B部份,是对Y分量进行高阶插值运算示意图,由图中可知针对第一插值点811的Y分量(iY1),采取了将插值点相邻的像素点视为关联像素点(此例中是nP1及nP2)的方式撷取其各自的Y分量来计算,所采取的高阶插值运算则是可以用iY1=2*Y1/3+Y2/3来表示,其中对于与插值点不同距离的关联像素点的Y分量也适当给予不同权重系数,同样第二插值点812的Y分量(iY2),亦使用插值点相邻的像素点作为关联像素点(此例中是nP1及nP2)的方式撷取其各自的Y分量来计算,但不同的是由于邻近插值点的关联像素点关系不同,因此给予权重系数的方式也不同,而改为以iY2=Y1/3+2*Y2/3表示。至于图3C部分,则是对UV分量进行直接插值运算示意图,基本上由于UV分量对于影像失真的影响度不高因此采取不需要额外运算的直接插值法来处理插值点所需要的UV分量,由图中可知,第一插值点811的UV分量(iU1,iV1)及第二插值点812的UV分量(iU2,iV2)均是利用插值点相邻的像素点来作为关联像素点,在本实施例中以最接近插值点的关联像素点来进行直接的插值,因此第一插值点811的UV分量(iU1,iV1)可以用iU1=U1及iV1=V1来表示,而第二插值点812的UV分量(iU2,iV2)则可以用iU2=U2及iV2=V2来表示。
最后,当YUV缩放影像中的各像素点均完成步骤500及步骤550的程序后,将可以产生出完整的YUV缩放影像。最后,再将YUV缩放影像转换为RGB格式,产生所谓的RGB缩放影像(步骤600),然后输出RGB缩放影像(步骤700),至此结束本发明方法的流程。
其中,所述步骤600中将YUV缩放影像转换为RGB缩放影像,其转换方式是通过如下运算式将YUV缩放影像中各像素中的Y、U、V分量([Y U V])分别转换为对应的RGB缩放影像的R、G、B分量([R G B]):
R G B = Y U V 1 1 1 0 - 0.39 2.03 1.14 - 0.58 0
由于本发明提出的改良RGB影像缩放方法,特别着重在影像缩放过程中的影像格式转换、采取整数运算及增强部分插值点插值运算的技术手段运用,因此能够充分解决掉已知技术所存在的技术问题,并且达到预期的技术功效。
虽然本发明以前述的较佳实施例揭露如上,然其并非用以限定本发明,任何熟习相像技艺者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,因此本发明的专利保护范围须视本说明书所附的权利要求范围所界定者为准。

Claims (5)

1.一种改良的RGB影像缩放方法,其包含下列步骤:
(a)读入一RGB影像,转换该RGB影像为一YUV影像;
(b)接收一缩放参数值;
(c)以一整数运算方式计算该YUV影像中各像素点依该缩放参数值进行缩放后所产生的一YUV缩放影像中各像素点座标位置,该整数运算方式系通过下列表达式以该YUV影像中各像素点坐标位置(x1,y1)计算缩放后该YUV缩放影像中各像素点坐标位置(x0,y0),其中ratio是为该缩放参数值;且该整数运算方式是当1/ratio的值为浮点数并可用整数m及n表示为m*10-n时,先以m计算坐标位置(x0,y0)再除以10n:
Y U V = R G B 0.299 - 0.148 0.615 0.587 - 0.289 - 0.515 0.114 0.437 - 0.100 ;
(d)针对该YUV缩放影像中各像素点以外的各插值点的YUV分量,执行下列步骤:
(d1)自该YUV缩放影像中各像素点撷取各关联像素点的Y分量进行各插值点的一高阶插值运算,其中该高阶插值运算是以各插值点相邻的各像素点作为关联像素点,并以此些关联像素点的Y分量进行一阶以上插值运算作为各插值点的Y分量;及
(d2)自该YUV缩放影像中各像素点撷取各关联像素点的U、V分量进行各插值点的一直接插值运算,其中该直接插值运算是以相邻的像素点作为关联像素点,并以此关联像素点的U、V分量作为各插值点的U、V分量;及
(e)转换该YUV缩放影像为一RGB缩放影像,输出该RGB缩放影像。
2.如权利要求1所述的改良的RGB影像缩放方法,其中该步骤(a)是通过下列运算式将该RGB影像中各像素的R、G、B分量([RGB])转换为该YUV影像的Y、U、V分量([YUV]):
Y U V = R G B 0.299 - 0.148 0.615 0.587 - 0.289 - 0.515 0.114 0.437 - 0.100 .
3.如权利要求1所述的改良的RGB影像缩放方法,其中该一阶以上插值运算是以关联像素点与插值点之间的距离关系来分配不同的权重系数给该些关联像素点,并以加权后的关联像素点的Y分量进行插值运算。
4.如权利要求3所述的改良的RGB影像缩放方法,其中该一阶以上插值运算是为双线性插值运算法或双立方插值运算法。
5.如权利要求1所述的改良的RGB影像缩放方法,其中该步骤(e)是通过下列运算式将该YUV缩放影像中各像素的Y、U、V分量([YUV])转换为该RGB缩放影像的R、G、B分量([RGB]):
R G B = Y U V 1 1 1 0 - 0.39 2.03 1.14 - 0.58 0 .
CN2007101363233A 2007-07-13 2007-07-13 改良的rgb影像缩放方法 Expired - Fee Related CN101345887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101363233A CN101345887B (zh) 2007-07-13 2007-07-13 改良的rgb影像缩放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101363233A CN101345887B (zh) 2007-07-13 2007-07-13 改良的rgb影像缩放方法

Publications (2)

Publication Number Publication Date
CN101345887A CN101345887A (zh) 2009-01-14
CN101345887B true CN101345887B (zh) 2011-01-05

Family

ID=40247755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101363233A Expired - Fee Related CN101345887B (zh) 2007-07-13 2007-07-13 改良的rgb影像缩放方法

Country Status (1)

Country Link
CN (1) CN101345887B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088614A (zh) * 2010-11-23 2011-06-08 北京邮电大学 一种放大视频图像的方法和装置
CN102118616A (zh) * 2011-02-24 2011-07-06 深圳市同洲电子股份有限公司 图片解码方法及图片解码器
CN102280096B (zh) * 2011-07-15 2013-09-18 杭州米加科技有限公司 一种融合图像缩放与颜色空间转换的方法
CN103916649B (zh) * 2012-12-31 2017-03-15 展讯通信(上海)有限公司 一种图像处理方法和装置、系统
CN107172425B (zh) * 2016-03-07 2020-01-31 百度在线网络技术(北京)有限公司 缩略图生成方法、装置及终端设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1444394A (zh) * 2002-03-08 2003-09-24 电子科技大学 一种电视墙图像放大插值方法
CN1525760A (zh) * 2003-08-29 2004-09-01 北京中星微电子有限公司 一种图像合成处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1444394A (zh) * 2002-03-08 2003-09-24 电子科技大学 一种电视墙图像放大插值方法
CN1525760A (zh) * 2003-08-29 2004-09-01 北京中星微电子有限公司 一种图像合成处理方法

Also Published As

Publication number Publication date
CN101345887A (zh) 2009-01-14

Similar Documents

Publication Publication Date Title
US10861133B1 (en) Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium
US7443392B2 (en) Image processing program for 3D display, image processing apparatus, and 3D display system
US8520009B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
CN110351511A (zh) 基于场景深度估计的视频帧率上变换系统及方法
CN101345887B (zh) 改良的rgb影像缩放方法
Xue et al. Joint luminance and chrominance learning for underwater image enhancement
US11908107B2 (en) Method and apparatus for presenting image for virtual reality device, device and non-transitory computer-readable storage medium
CN102053804B (zh) 图像处理装置及控制方法
CN109643462B (zh) 基于渲染引擎的实时图像处理方法以及显示设备
US20110216968A1 (en) Smart image resizing with color-based entropy and gradient operators
JP5362130B2 (ja) イメージ処理方法及びそのための装置
WO2023160426A1 (zh) 视频插帧方法、训练方法、装置和电子设备
CN112396554A (zh) 一种基于生成对抗网络的图像超分辨率算法
CN111383158A (zh) 遥感图像预处理方法
CN104853059A (zh) 超分辨率图像处理方法及其装置
KR101180409B1 (ko) 히스토그램 정규화와 감마 보정 합성을 통하여 저조도 영상을 개선하는 방법 및 장치
CN105991937A (zh) 一种基于Bayer格式图像的虚拟曝光方法及装置
JPH08115416A (ja) 画像処理装置及び方法
US7127118B2 (en) System and method for compressing image files while preserving visually significant aspects
CN103164868B (zh) 产生具有景深效果的图像的方法和装置
CN112132919A (zh) 一种模拟印泥效果的电子印章呈现方法
WO2014034242A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN111031301A (zh) 一种色域空间调整的方法、存储设备及显示终端
CN104333673B (zh) 一种基于fpga与dsp的实时视频图像偏色校正方法
KR102670870B1 (ko) 딥러닝 기반 영상 노이즈 저감 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180517

Address after: The 19 floor of Fengyuan Road, Liwan District, Guangzhou, Guangdong

Patentee after: Guangzhou Bluearc Animation Co., Ltd.

Address before: Taipei City, Taiwan Chinese Shilin District Hougang Street No. 66

Patentee before: Inventec Corporation

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110105

Termination date: 20200713

CF01 Termination of patent right due to non-payment of annual fee