CN101600121B - 一种白平衡修正值的计算方法 - Google Patents

一种白平衡修正值的计算方法 Download PDF

Info

Publication number
CN101600121B
CN101600121B CN2008101089873A CN200810108987A CN101600121B CN 101600121 B CN101600121 B CN 101600121B CN 2008101089873 A CN2008101089873 A CN 2008101089873A CN 200810108987 A CN200810108987 A CN 200810108987A CN 101600121 B CN101600121 B CN 101600121B
Authority
CN
China
Prior art keywords
white balance
image
correct value
brightness
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101089873A
Other languages
English (en)
Other versions
CN101600121A (zh
Inventor
谢汶宏
萧淑真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asia Optical Co Inc
Original Assignee
Asia Optical Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asia Optical Co Inc filed Critical Asia Optical Co Inc
Priority to CN2008101089873A priority Critical patent/CN101600121B/zh
Publication of CN101600121A publication Critical patent/CN101600121A/zh
Application granted granted Critical
Publication of CN101600121B publication Critical patent/CN101600121B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种白平衡修正值的计算方法,影像撷取装置使用辅助光并撷取影像时,可由当时环境光与辅助光对影像提供的亮度比例,得到各光源色温影响该影像颜色的比重,再将该两种光源色温的比重中和后,以取得白平衡修正值,最后再以该白平衡修正值对该影像进行白平衡的修正。

Description

一种白平衡修正值的计算方法
技术领域
本发明涉及一种白平衡修正值的计算方法,特别是应用在影像撷取装置使用辅助光源拍摄时计算影像白平衡修正值的方法。
背景技术
现今数字相机的影像感测组件使用电荷耦合组件(CCD)或互补式金属氧化半导体(CMOS)来取代现有底片的功能,而在进行摄影时,因为拍照环境的亮度,是由混杂着各式来源的的光所供应,这些各式来源光的色温,将会影响到影像感测组件对色彩撷取的正确度。
一般来说,色温值较低的光源下进行摄影拍照时,所拍摄显示出的影像颜色会偏向红色;相反地,在色温值较高的光源下进行摄影拍照时,所拍摄显示出来影像的颜色会偏向蓝色。由此可知,在不同色温值的光源下,进行摄影拍照时,所拍摄得到的影像颜色会与实际物体的颜色有所出入,因此必须对所拍摄得到影像的颜色进行修正,以便修正为接近实际物体的颜色,此修正处理影像颜色的过程即称为白平衡处理。
一般在亮度较低的环境下进行拍摄时,会使用闪光灯来进行亮度的补偿,以提高拍摄环境的亮度,因此有现有技术是利用闪光灯来进行白平衡的方法,如美国公开专利US20030030730A1号中即公开一种利用闪光灯进行白平衡调整的方法,该发明是利用根据对目标物发射的闪光灯量及未发射前亮度取得的第一控制数值,应用在预设的方程式中以取得第二控制数值后,再根据第一控制数值及第二控制数值进行由影像感测组件输出的影像信号白平衡处理。然而,若所提供的闪光灯强度愈强,所造成颜色色偏的影响则会愈大。
发明内容
本发明要解决的技术问题在于,针对现有技术中采用辅助光源会造成颜色色偏的缺陷,提供一种计算白平衡修正值的方法,用以修正因加入辅助光源所造成色偏的影响。
本发明是一种白平衡修正值的计算方法,是影像撷取装置使用辅助光并撷取影像时,可由当时环境光与辅助光对影像提供的亮度比例,得到各光源色温影响该影像颜色的比重,再将该两种光源色温的比重中和后,以取得一白平衡修正值,最后再以该白平衡修正值对该影像进行白平衡的修正。
利用本发明可改善拍摄的环境,在较暗的亮度下,即使辅助光提供更强的亮度补偿,藉由计算的白平衡修正值,而准确的进行白平衡修正。
附图说明
图1是本发明实施例的白平衡修正值的计算方法的流程图。
图2是本发明实施例的脉波宽度与预设闪光亮度的关系表。
图3是本发明实施例的第一影像构成示意图。
具体实施方式
为了让本发明的目的、特征、及优点能更明显易懂,下文特举较佳实施例,并配合附图中的图1至图3,作详细说明。
本发明实施例是影像撷取装置使用辅助光补偿环境亮度,并进行影像撷取,以对影像作白平衡修正,其中,任何可发光的装置均可作为本发明的辅助光,例如:闪光灯或对焦灯。为方便说明,本发明是以闪光灯为例,并详述如下:
请参阅图1,是本发明实施例白平衡修正值的计算方法的流程图。
步骤一:首先于暗房下,进行闪光灯的色温实验,以取得一预设闪光灯色温CT2;及进行脉波宽度(μs:微秒)对应闪光灯的预设亮度的实验,以取得闪光灯的预设亮度,其中,该脉波宽度为一影像撷取装置感测该暗房下的环境亮度所得到的脉波宽度,以驱动闪光灯装置发出闪光。
上述闪光灯的色温实验由该影像撷取装置在暗房内对一灰卡进行影像撷取动作,并由该影像撷取装置自动调整闪光灯输出电压的脉波宽度来驱动闪光灯装置,使产生在不同脉波宽度下所对应闪光灯的预设亮度,以对该环境作亮度补偿,同时撷取影像并由该影像一特定范围内各个画素的RGB颜色强度作加总平均的计算,计算结果即代表在暗房下的预设闪光灯色温CT2的RGB颜色强度(RCT2,GCT2,BCT2)。其中RGB颜色强度是在影像中,画素所显示颜色的三原色光强度大小,包含有红(R)颜色强度、绿(G)颜色强度、以及蓝(B)颜色强度。
举例来说,若影像中的其中一画素显示的颜色为红色,则该RGB颜色强度(R,G,B)假设为(255,0,0),代表该画素RGB颜色强度的红颜色强度为255,绿颜色强度为0,以及蓝颜色强度为0。
脉波宽度对应闪光灯的预设亮度的实验中,调整脉波宽度(微秒)使闪光灯产生闪光的大小变化,再撷取各闪光的影像。由上述取得该闪光灯色温CT2的方法取得在各闪光的影像中的GCT2颜色强度,以代表各闪光的光亮度,并称之为预设亮度R。
接着,将上述闪光灯的脉波宽度对应亮度的实验结果制作成脉波宽度(P)与预设亮度(R)的关系表,如图2所示,并将该关系表储存于该影像撷取装置内。其中,P字段为脉波宽度;R字段则为对应各脉波宽度的闪光灯预设亮度。
有关影像中一特定范围的定义及RGB颜色强度加总平均的计算,将于下述步骤中详述举例。
步骤二:在不具闪光灯的环境下撷取一第一影像300,并由该第一影像的一特定范围内计算各个画素的RGB颜色强度加总平均,计算得到的结果即为该环境下的一环境色温CT1的RGB颜色强度(RCT1,GCT1,BCT1),并由该环境色温CT1的GCT1颜色强度代表该环境下所提供的亮度为一第一环境亮度Y1,其中,该特定范围是指包含该第一影像全部范围或部份范围。
上述该环境色温CT1的计算方式如图3所示,图3所示是本发明实施例的第一影像构成示意图。第一影像300由H(行)×V(列)个画素所组成,设定该第一影像300的中间区域(H/2)×(V/2)为该特定范围301,接着,计算该第一影像300的特定范围301内各个画素RGB颜色强度的加总平均,计算得到的结果即为该环境色温CT1,而环境色温CT1的GCT1颜色强度即为该第一环境亮度Y1。
举例来说,假设该第一影像300的画素为1600×1200,则定义影像上每个画素的坐标位置为pix(x,y),亦即x的范围为0~1599、y的范围为0~1199,其中坐标x轴方向代表行的画素位置、坐标y轴方向代表列的画素位置,每个画素代表一个坐标单位,由影像最左上的画素位置为坐标原点pix(0,0),x轴量、y轴量分别向右、向下依序递增。且更具体而言,该特定范围301是选取该第一影像300上x的范围为400~1200、y的范围为300~900的画素。其中,该特定范围301是以该第一影像300的正中心为基准而选取,但不用以限定本发明。
假设该特定范围301各位置的各画素的RGB颜色强度分别如下:
pix(400,300)=(200,150,100)
pix(401,300)=(199,150,101)
pix(402,300)=(201,150,99)
pix(1200,898)=(201,150,99)
pix(1200,899)=(199,150,101)
pix(1200,900)=(200,150,100)
因为该特定范围301内总共有(H/2)×(V/2)个画素,即800×600=48000个画素,因此该特定范围内各个画素的RGB颜色强度加总平均结果如下:
( 200 + 199 + 201 + . . . + 201 + 199 + 200 480000 , 150 + 150 + 150 + . . . + 150 + 150 + 150 480000 , 100 + 101 + 99 + . . . + 99 + 101 + 100 480000 ) = ( 200 , 150 , 100 )
(200,150,100)即代表该环境色温CT1,其中,200表示该环境色温CT1的RCT1颜色强度;150表示该环境色温CT1的GCT1颜色强度;100表示该环境色温CT1的BCT1颜色强度,又GCT1颜色强度代表该第一环境亮度Y1,因此该第一环境亮度Y1为150。
步骤三:于与步骤二同样状态下,即不具闪光灯的环境下,以一第一脉宽P1驱动闪光灯装置发出闪光撷取一第二影像,并由该第二影像取得一第二环境亮度Y2,其中,该第一脉宽P1可以任一自然数,单位为微秒(μs)。
步骤四:由该第二环境亮度Y2减去该第一环境亮度Y1,即得到在第一脉宽P1下所产生的闪光灯亮度为一第一闪光亮度F1。
步骤五:以脉波宽度为一第二脉宽P2下,使用影像撷取装置驱动闪光灯装置发出闪光,并撷取最后欲拍摄的物体的一第三影像。
步骤六:请参考图2,是本发明实施例的脉波宽度与预设闪光亮度的关系表,将该第一脉宽P1及该第二脉宽P2对照脉波宽度P字段,由对应的预设亮度R字段的值,分别取得闪光灯对应预设亮度的一第一预设闪光亮度R1及一第二预设亮度R2。
举例来说,假设该第一脉宽P1为20μs,该第二脉宽P2为19μs,经由图2的关系表对应即可得到该第一脉宽P1的第一预设亮度R1为200,而该第二脉宽P2的第二预设亮度R2则为190。
步骤七:以该第一脉宽P1与该第二脉宽P2在暗房内会产生预设闪光亮度为R1及R2,因此该闪光灯的预设亮度比值为在相同脉波宽度P1、P2下,撷取该第二影像与该第三影像时闪光灯的闪光亮度为F1及F2,因此该闪光亮度比值为
Figure S2008101089873D00062
又因预设亮度R1、R2与闪光亮度F1、F2皆由该第一脉宽P1与该第二脉宽P2驱动闪光灯装置所产生,因此闪光灯的预设亮度比值与闪光亮度比值的关系理论上应相等,即
R 1 R 2 = F 1 F 2 - - - ( 1 )
再由第1式推导出一第二闪光亮度计算式:
F 2 = R 2 R 1 × F 1 - - - ( 2 )
其中,R1、R2、F1为已知数。
步骤八:将步骤五所撷取的该第三影像中,环境与闪光灯提供影像的亮度比来表示该二光源色温对影像的影响比重,因此该第一环境亮度Y1与该第二闪光亮度F2的比值即为该两种光源在影像中所提供的亮度比,所以可知环境的色温影响在影像中所占的比重为
Figure S2008101089873D00065
闪光灯的色温影响在影像中所占的比重为
Figure S2008101089873D00066
为中和该两种色温对影像颜色的影响,因此将该两种光源色温影响所占的比重相加,计算的结果即为该两种光源色温影响的中和,而将该结果表示为一白平衡修正值WB,因此可得知一白平衡修正值计算式为:
WB = CT 1 × Y 1 + CT 2 × F 2 Y 1 + F 2 - - - ( 3 )
因光源的色温是由RGB颜色强度表示,所以该白平衡修正值WB包括一红颜色白平衡修正值WBR;一绿颜色白平衡修正值WBG;以及一蓝颜色白平衡修正值WBB。其中该红颜色白平衡修正值WBR,用于对画素红颜色强度的修正;该绿颜色白平衡修正值WBG,用于对画素绿颜色强度的修正;以及该蓝颜色白平衡修正值WBB,用于对画素蓝颜色强度的修正,利用上述该三种的修正值,修正画素所显示的颜色,使之更接近实际的颜色。
依据上述的计算式(3)中该环境色温CT1及该预设闪光灯色温CT2的RGB颜色强度,可推导出该红颜色白平衡修正值WBR的一红颜色白平衡修正值计算式、该绿颜色白平衡修正值WBG的一绿颜色白平衡修正值计算式、以及该蓝颜色白平衡修正值WBB的一蓝颜色白平衡修正值的计算式,各计算式表示如下:
WB R = R CT 1 × Y 1 + R CT 2 × F 2 Y 1 + F 2 - - - ( 4 )
WB G = G CT 1 × Y 1 + G CT 2 × F 2 Y 1 + F 2 - - - ( 5 )
WB B = B CT 1 × Y 1 + B CT 2 × F 2 Y 1 + F 2 - - - ( 6 )
因为该白平衡修正值WB包含WBR,WBG,以及WBB
因此可表示为WB=(WBR,WBG,WBB)
所以
WB = ( R CT 1 × Y 1 + R CT 2 × F 2 Y 1 + F 2 , G CT 1 × Y 1 + G CT 2 × F 2 Y 1 + F 2 , B CT 1 × Y 1 + B CT 2 × F 2 Y 1 + F 2 )
步骤九:使用影像撷取装置将该第三影像内的各画素RGB颜色强度乘上该白平衡修正值WB后,再除以一数值N,其中,不同的影像撷取装置即具有不同的数值N,以进行正规化处理,处理后的结果取代原始的RGB颜色强度,再输出影像,此时即为白平衡修正完成后的影像。
步骤一的目的是在取得影像撷取装置的辅助光预设信息,使同一影像撷取装置在尔后进行影像拍摄时,提供该白平衡计算的预设信息,因此后续在同一影像撷取装置下,对所撷取影像进行白平衡的修正,只需执行步骤二至步骤九的动作即可。
本发明利用影像中的环境光与辅助光提供的亮度比重计算出的白平衡参数,用以中和辅助光色温对影像造成的色彩偏差,因此在较暗的环境亮度下,即使辅助光提供更强的亮度补偿,所造成更大的色彩偏差影响,会因白平衡参数对影像颜色的修正而改善色温造成的偏差影响,达到影像白平衡的效果。
以上所述仅为本发明的较佳实施例而已,不能以此限定本发明实施的范围,即凡依本发明权利要求及发明说明书内容所作的简单的等效变化与修饰,皆应仍属本发明专利涵盖的范围内。

Claims (9)

1.一种白平衡修正值的计算方法,用于影像撷取装置,其特征在于,所述影像撷取装置内储存有预设辅助光色温CT2及脉波宽度P与预设亮度R的关系表,所述计算方法包含下列步骤:
(A)在同一场景下,撷取第一影像及具有辅助光的第二影像,其中辅助光是以第一脉宽P1进行亮度补偿;
(B)由该第一影像得到环境色温CT1以及第一环境亮度Y1;
(C)由该第二影像中取得第二环境亮度Y2;
(D)将该第二环境亮度Y2减去该第一环境亮度Y1,取得第一闪光亮度F1;
(E)辅助光以第二脉宽P2补偿亮度,并撷取第三影像;
(F)由查询该脉波宽度P与预设亮度R的关系表,取得第一预闪亮度R1与第二预闪亮度R2,并由第二闪光亮度计算式计算出该第二闪光亮度F2,其中,以及
(G)由白平衡修正值计算式,计算出白平衡修正值WB,其中,
Figure FSB00000327738200012
2.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该环境色温CT1及该第一环境亮度Y1是由该第一影像的特定范围内画素的RGB颜色强度取得。
3.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该预设辅助光色温CT2的RGB颜色强度为(RCT2,GCT2,BCT2)。
4.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该环境色温CT1的RGB颜色强度为(RCT1,GCT1,BCT1)。
5.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该预设辅助光色温CT2是由该影像撷取装置在暗房内对一灰卡进行影像撷取动作,并由该影像撷取装置驱动辅助光装置产生辅助光,以对该环境作亮度补偿,同时撷取影像并由影像的特定范围内各个画素的RGB颜色强度作加总平均计算的结果所得到的辅助光色温CT2。
6.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该环境色温CT1为该第一影像的特定范围内各个画素的RGB颜色强度作加总平均计算的结果。
7.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该第一环境亮度Y1是由该环境色温CT1中的GCT1颜色强度代表为该第一环境亮度Y1。
8.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该第一预设亮度R1与该第二预设亮度R2分别由该第一脉宽P1与该第二脉宽P2查询该脉波宽度P与预设亮度R的关系表取得。
9.如权利要求1所述的白平衡修正值的计算方法,其特征在于,该白平衡修正值WB更包括有红颜色白平衡修正值WBR、绿颜色白平衡修正值WBG、以及蓝颜色白平衡修正值WBB
CN2008101089873A 2008-06-03 2008-06-03 一种白平衡修正值的计算方法 Expired - Fee Related CN101600121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101089873A CN101600121B (zh) 2008-06-03 2008-06-03 一种白平衡修正值的计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101089873A CN101600121B (zh) 2008-06-03 2008-06-03 一种白平衡修正值的计算方法

Publications (2)

Publication Number Publication Date
CN101600121A CN101600121A (zh) 2009-12-09
CN101600121B true CN101600121B (zh) 2011-03-23

Family

ID=41421325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101089873A Expired - Fee Related CN101600121B (zh) 2008-06-03 2008-06-03 一种白平衡修正值的计算方法

Country Status (1)

Country Link
CN (1) CN101600121B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104709B (zh) * 2009-12-21 2013-01-30 展讯通信(上海)有限公司 相机拍摄图像的处理方法及相机
US20140085503A1 (en) * 2012-09-24 2014-03-27 Htc Corporation Mobile Communication Apparatus and Flashlight Controlling Method
CN103354601A (zh) * 2013-07-31 2013-10-16 广东欧珀移动通信有限公司 提升闪光灯拍照效果的方法和系统
CN104349149B (zh) * 2013-08-07 2018-03-23 联想(北京)有限公司 一种图像成像效果调整方法及电子设备
JP2015203764A (ja) * 2014-04-14 2015-11-16 キヤノン株式会社 発光装置、その制御方法、および制御プログラム、並びに撮像装置
CN104537633B (zh) * 2014-12-18 2017-07-11 河南师范大学 一种利用图像融合技术消除图像反影的方法
CN105554489A (zh) * 2015-07-10 2016-05-04 宇龙计算机通信科技(深圳)有限公司 一种白平衡调整方法和拍摄终端
CN105959520B (zh) * 2016-05-31 2019-10-15 努比亚技术有限公司 一种照片拍摄装置及方法
CN106331382B (zh) * 2016-11-17 2019-06-25 捷开通讯(深圳)有限公司 一种基于移动终端的闪光灯组件及其控制系统、控制方法
CN110022475B (zh) * 2018-01-10 2021-10-15 中兴通讯股份有限公司 一种摄影设备校准方法、摄影设备及计算机可读存储介质
CN109147663A (zh) * 2018-11-28 2019-01-04 南京中电熊猫平板显示科技有限公司 一种有机发光显示装置及其亮度补偿方法
CN110944116B (zh) * 2019-11-08 2021-06-25 瑞芯微电子股份有限公司 基于白平衡的单个闪光灯补偿方法、装置、设备和介质
CN110740307A (zh) * 2019-11-18 2020-01-31 重庆金山医疗技术研究院有限公司 自动白平衡的内窥镜及白平衡参数调节方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402530A (zh) * 2001-08-09 2003-03-12 佳能株式会社 图像摄取装置,白平衡的调整方法及其操作处理程序
CN1418019A (zh) * 2001-10-31 2003-05-14 凌阳科技股份有限公司 数字相机的自动闪光灯白平衡装置及其方法
CN101159879A (zh) * 2006-10-08 2008-04-09 普立尔科技股份有限公司 数字图像获取装置及其白平衡调整的方法
CN101179663A (zh) * 2006-11-07 2008-05-14 明基电通股份有限公司 拍照方法及系统及其机器可读取介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402530A (zh) * 2001-08-09 2003-03-12 佳能株式会社 图像摄取装置,白平衡的调整方法及其操作处理程序
CN1418019A (zh) * 2001-10-31 2003-05-14 凌阳科技股份有限公司 数字相机的自动闪光灯白平衡装置及其方法
CN101159879A (zh) * 2006-10-08 2008-04-09 普立尔科技股份有限公司 数字图像获取装置及其白平衡调整的方法
CN101179663A (zh) * 2006-11-07 2008-05-14 明基电通股份有限公司 拍照方法及系统及其机器可读取介质

Also Published As

Publication number Publication date
CN101600121A (zh) 2009-12-09

Similar Documents

Publication Publication Date Title
CN101600121B (zh) 一种白平衡修正值的计算方法
CN109151426B (zh) 一种白平衡调整方法、装置、相机及介质
TWI450014B (zh) 行動通訊裝置及閃光控制方法
TWI433533B (zh) 影像擷取裝置及其影像合成方法
CN104639923B (zh) 一种对图像数据进行处理的方法、装置和终端
CN103227928B (zh) 白平衡的调整方法及装置
CN104113743B (zh) 低照度下彩色摄像机自动白平衡处理方法及装置
US20100045824A1 (en) Video image pickup apparatus and exposure guide display method
JP2010504664A (ja) モノクロカメラでカラーイメージを撮影する結像方法と装置
CN111292246A (zh) 图像颜色校正方法、存储介质及内窥镜
JP2012109900A (ja) 撮影装置、撮影方法、およびプログラム
CN102340673A (zh) 一种针对交通场景的摄像机白平衡方法
JP2012235377A (ja) 画像処理装置、画像処理方法及びプログラム
CN111970432A (zh) 一种图像处理方法及图像处理装置
CN103200409A (zh) 多投影仪显示系统的颜色校正方法
CN106169182A (zh) 一种合成多幅不同曝光度图像的方法
CN108270952B (zh) 一种双目摄像机影像色差的校正方法及系统
WO2019134491A1 (en) Method and apparatus for processing image
CN106550227B (zh) 一种图像饱和度调整方法及装置
CN105306913B (zh) 图像获取装置及其图像补偿方法
CN108513043A (zh) 一种图像降噪方法及终端
CN109891869A (zh) 视频信号处理设备、视频信号处理方法和视频信号处理系统
JP5899894B2 (ja) 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法
CN102202182A (zh) 一种采用线阵ccd的大动态范围图像获取的装置及方法
US20140098258A1 (en) Color distortion correction method and device for imaging systems and image output systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110323

Termination date: 20170603

CF01 Termination of patent right due to non-payment of annual fee