CN101236249A - 一种用于透镜声纳的信号处理系统 - Google Patents

一种用于透镜声纳的信号处理系统 Download PDF

Info

Publication number
CN101236249A
CN101236249A CNA2008100640604A CN200810064060A CN101236249A CN 101236249 A CN101236249 A CN 101236249A CN A2008100640604 A CNA2008100640604 A CN A2008100640604A CN 200810064060 A CN200810064060 A CN 200810064060A CN 101236249 A CN101236249 A CN 101236249A
Authority
CN
China
Prior art keywords
data
signal
lens
signal processing
submarine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100640604A
Other languages
English (en)
Other versions
CN101236249B (zh
Inventor
卞红雨
王晓峰
归美
孙宗鑫
战卓
桑恩方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN2008100640604A priority Critical patent/CN101236249B/zh
Publication of CN101236249A publication Critical patent/CN101236249A/zh
Application granted granted Critical
Publication of CN101236249B publication Critical patent/CN101236249B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提供的是一种用于透镜声纳的信号处理系统。包括放置在岸上或船上的控制整个系统运行并进行图像显示的水上主机和置于水下、负责接收并处理水下声信号、形成图像数据的水下数据接收子系统。所述的水下数据接收子系统与所述的水上主机通过同轴电缆及串口相连,通过串口接收水上主机的命令,通过同轴电缆实现数据水上水下的实时传输。本发明是用于透镜声纳的信号处理系统,通过包络检波器即可得到波束形成后的数据,无需复杂的信号处理,系统电路规模小,数据吞吐量小,成像速度快,通过对水下数据进行采集接收,无复杂的算法就能够实现水下图像的实时显示,从而实现高分辨率的水下探测,可广泛地应用在水下目标识别、声探测等领域。

Description

一种用于透镜声纳的信号处理系统
(一)技术领域
本发明涉及一种信号处理装置,具体地说是一种用于透镜声纳的信号处理系统。
(二)背景技术
伴随着水下技术的日益成熟,用于水下勘探的目标成像技术越来越得到人们的重视。研究近距离的高分辨率声纳成像技术,无论是对堤坝、船体、水下建筑物等水下物体的表面探测还是对水下机器人的声视觉系统都是十分必要的,它能够提供物体表面的细节信息,能够使人们对水下物体有清晰的了解。
目前,国内外的成像声纳产品,无论是二维还是三维成像声纳,它们的共同特点是采用电子或数字波束形成成像技术,增加了数字信号处理的复杂度;为了提高探测的分辨率,就要提高成像声纳的工作频率和基元数量,这样使得电路规模和功耗大为增加。
以高分辨率多波束成像声纳(专利申请号200420063755.8)为例,它使用数字波束形成技术实现近距离成像,其装置存在着明显的三个缺点:首先,需要复杂的信号处理算法,开发困难;其次,需要大规模的信号处理电路,功耗大,成本高;三是需要较高的采样率,数据吞吐量大,使得系统的成像速度慢。
透镜声纳使用声透镜聚焦的原理,在无功耗的情况下形成成像波束,无需再进行复杂的数字波束形成算法,从而使功耗和运算复杂度大为降低。
(三)发明内容
本发明的目的在于提供一种体积小、功耗低、分辨率高、成像速度快的用于透镜声纳的信号处理系统。
本发明的目的是这样实现的:
包括放置在岸上或船上的水上主机1和置于水下的水下数据接收子系统6,水下数据接收子系统6与水上主机1通过同轴电缆4及串口5相连,通过串口5接收水上主机1的命令,通过同轴电缆4实现数据水上水下的实时传输;水上主机1包括:PC机2和PCI数据接收板卡3,PC机2上运行的是系统实时显示控制程序;PCI数据接收板卡3插入PC机2的PCI插槽中,二者通过PCI总线实现数据高速突发传输;水下数据接收子系统6包括:主控模块7和三个以16通道为单位进行数据采集的数据采集模块8。
本发明还可以包括:
1、所述的主控模块7包括:电平转换器9、单片机10、主控制器11、高速串行数据发送器12、总线收发器13,其中,电平转换器9、单片机10、主控制器11、高速串行数据发送器12依次由电信号连接;主控制器11与总线收发器13由电信号连接。
2、所述的数据采集模块8由信号调理部分14、模数转换器19、可编程控制器20、DSP21、FLASH22、存储器23组成;其中,信号调理部分14、模数转换器19、可编程控制器20依次由电信号连接;DSP21和FLASH22由电信号连接;DSP21和存储器23由电信号连接。
3、所述的信号调理部分14包括:前置放大器15、高通滤波器16、后置放大器17、包络检波器18;其中,模拟信号依次经过前置放大器15、高通滤波器16、后置放大器17、包络检波器18、模数转换器19转换为数字信号。
各部分的作用说明如下:
水上主机1以PC机2为主,PC机2上运行的是实时显示控制程序,通过鼠标和键盘进行工作参数的设置,通过串口5向水下接收子系统6发送控制命令,控制命令包括设备启动、启动接收、数据存储、复位设备、关闭设备等,最后通过PCI总线接收水下数据,根据接收的水下数据进行图像的合成及实时显示,并将这些数据存入PC机2的硬盘中。PCI数据接收板卡3实际是水下数据接收子系统6与PC机2的接口,通过同轴电缆4接收来自水下数据接收子系统6的数据,通过PCI总线将接收到的数据传入水上PC机2中。PCI数据接收板卡3中运行的驱动程序采取乒乓缓存技术,能够实现快速不间断的数据存储,更能够对数据进行高速有效的存储。
串口5和同轴电缆4负责水上、水下数据及控制命令的传输。水上主机1通过串口5为水下数据接收子系统6提供控制命令,水下数据接收子系统6接收到的水下声图像数据通过同轴电缆4传到水上主机1进行图像的合成及实时显示。
单片机10通过串口5接收水上主机1发送的控制命令,控制水下数据接收子系统6的工作。串口5发出的RS232电平信号经由电平转换器9转换成TTL电平信号。
主控制器11负责把系统的工作参数装载到水下数据接收子系统6,接收控制命令,产生启动数据采集模块8进行数据采集所需的控制信号的时序,接收采集到的数据,由高速串行数据发送器13将并行的数据转换成串行的数据通过同轴电缆4发送到水上的PCI数据接收卡3中。
总线收发器13不仅完成了DSP21与主控制器11之间的总线信号输入、输出切换,避免了总线的冲突,还完成了总线信号的驱动。
数据采集模块8中的可编程控制器20产生模数转换器19所需的控制信号,并将数据打包缓存到其内部的FIFO中,通过中断的方式存入DSP21中。
DSP21接收包络检波后的数字信号,只需将数据解包,进行简单的归一化处理,存入存储器23,无需复杂的波束形成算法,最终将数据传输到主控模块7中。DSP21中运行的程序储存在外接的FLASH22中。与高分辨率多波束成像声纳相比,无需进行复杂的信号处理,无需高精度、高工作频率的信号处理芯片。
信号调理部分14将模拟信号进行处理,使之符合模数转换器19的要求。信号调理部分14中的前置放大器15、高通滤波器16、后置放大器17、包络检波器18依次由电信号连接。
由于实际的信号很微弱,需通过前置放大器15和后置放大器17组成多级放大电路,将信号进行放大,具有高输入阻抗,低输出阻抗,高增益带宽积,低噪声的特点。
高通滤波器16是利用运算放大器构建的有源二阶高通滤波器,能够有效的滤出需要频率范围的信号,通带内外的抑制比达到40dB,提高了模拟输出信号的信噪比,一方面滤除掉接收信号中的噪声,另一方面为后面的模拟信号的数字化进行抗混迭滤波。
包络检波器18是利用运算放大器和肖特基二极管搭建的检波器,实现包络检波的功能,克服了普通检波二极管做包络检波时,正向伏安特性非线性,小信号检波失真严重以及温度敏感等问题,具有检波失真小,检波效率高且可调,等效输入电阻大,等效输出电阻小的优点。运放采用OP37,该运放具有较高的增益带宽积,良好的频率特性,输入阻抗高,偏置电流小,输入失调及温度漂移小;二极管采用肖特基二极管,它具有开关频率高,正向压降低,快速恢复等性能,非常适用于检波。无需复杂的数字信号处理,即可直接得到波束形成后的信号,另外信号的频率也会大幅降低,后端的模数转换器19无需高的采样率,数据量降低,省去了后续的信号处理电路,较现有成像声纳,极大的降低了系统的工作频率、电路规模及成本。
本发明的工作原理是:
该用于透镜声纳的信号处理系统还要与发射系统协同工作。该用于透镜声纳的信号处理系统分为:水上主机1及水下数据接收子系统6。水上主机1安装在岸上或船体上,控制整个系统的运行,信息的实时存储及水下图像合成、实时显示。水下数据接收子系统6置于水下,对水下信号进行接收、处理和传输。当需要探测水下目标时,接通系统电源,根据海域具体情况以及实际要求,通过显示控制软件设置工作参数,并把参数装载进系统,启动系统工作。发射系统发射声波进行探测,同时启动水下数据接收子系统6进行数据接收,接收的信号是经过透镜后的声波。主控模块7接收到开始命令后,同时启动三个数据采集模块8对信号进行采集、存储,待数据存储完毕,主控模块7分时片选各个数据采集模块8进行数据传输,经同轴电缆4将水下信号传到水上主机1中的PCI数据接收板卡3,再经由PCI总线传入PC机2中,从而获得水下目标图像的信息,实时地显示水下目标的图像。水上主机1中的显控软件能够提供友好的人机交互界面,不仅可以实时的对水下目标进行显示并将数据存储在硬盘中,而且操作者还可以通过其方便地对水下数据接收子系统6进行控制。
用于透镜声纳的信号处理系统,通过包络检波器18即可得到波束形成后的数据,无需复杂的信号处理,使得系统电路规模得到了最大限度的缩小,数据吞吐量小,成像速度快,无复杂的算法就能够实现对水下信号的准确实时地采集接收,能够实现水下图像的实时显示,从而实现高分辨率的水下探测,即使在能见度较低等水文条件不好的海域也能够得到很好的成像效果,准确地反映水下目标,广泛地应用在水下目标识别、声探测等领域。
(四)附图说明
图1是本发明的总体结构框图。
图2是本发明主控模块的原理结构图。
图3是本发明数据采集模块的原理结构图。
图4是本发明中数字信号在水下数据接收模块中的传输过程。
图5是本发明包络检波器及模数转换器的电路原理图。
图6是本发明主控模块的电路原理图
(五)具体实施方式
下面结合附图举例对本发明做更详细地描述:
结合图1,本发明的构成包括:放置在岸上或船上的实现水下图像合成、显示和实时控制的水上主机1和置于水下,负责接收并处理水下声信号、形成图像数据的水下数据接收子系统6,二者通过同轴电缆4进行水下数据的传输,水上主机1通过串口5向水下数据接收子系统6发送控制命令。水下数据接收子系统6由主控模块7和三个数据采集模块8组成,分别对16路信号进行采集接收,共接收接收阵发出的48路信号。
结合图2、6,本发明的主控模块7包括:电平转换器9、单片机10、主控制器11、高速串行数据发送器12、总线收发器13,各个部分统一安置在印刷电路板上。先前的成像声纳在主控模块中采用DSP来进一步的进行信号处理,本系统无需复杂的信号处理电路,大大缩小了电路的规模。主控模块7只需提供系统的控制信号的时序,电路上只需要A1-A4四个模块即可完成控制功能,图6表示的是主控模块的电路原理图,其中,A1对应高速串行数据发送器12,A2对应主控制器11,A3对应总线收发器13,A4对应单片机10,这几部分由电信号连接。高速串行数据发送器12是同轴电缆4的发送端,数据通过其传入到水上主机1,控制命令通过串口5送入单片机10进行工作参数装载,主控制器11通过接收单片机10发送的命令来控制数据采集模块8的工作,待三个数据采集模块8对数据都采样存储完毕,会发出中断,通知主控模块7中的主控制器11,主控制器11会分时片选每个数据采集模块8,最终将三个数据采集模块8采集的数据全部通过同轴电缆4传到水上主机1,实现水下图像的显示。
结合图3、5,本发明数据采集模块8包括:信号调理部分14、模数转换器19、可编程控制器20、DSP21、FLASH22和存储器23。各个部分都在一块电路板上,采用导线相连。前置放大器15、高通滤波器16、后置放大器17、包络检波器18组成了信号调理部分14,它们分别由电信号连接。具体为:信号经过前置放大器15、高通滤波器16、后置放大器17、包络检波器18预处理后,再经由模数转换器19转换为数字信号;图5表示的是两路信号经包络检波采样的电路原理图,信号Vin是模拟信号经过信号调理部分14处理后的信号,经过包络检波器18后可以得到波束形成的信号。使用包络检波器18即可得到波束形成后的信号,无需高精度复杂的DSP,是本系统区别于其它声纳系统的一个特点。包络检波器18摒弃了传统二极管包络检波,是采用运算放大器和肖特基二极管搭建的精密包络检波器,具有检波失真小,等效输入电阻大,等效输出电阻小的优点。当输入电压为负时,经放大器反相,二极管D2截止,D1导通,D1的导通为放大器提供了深度负反馈,因此,输出电压为0。当输入电压为正时,二极管D1截止,只要V1达到-0.7V,D2就导通,这时,可把D2的正向压降Vd看成是放大器的输出失调电压,只要Vin≥Vd/Au(Au运算放大器的开环增益),就会使D2导通,而且D2一旦导通,放大器就处于深度的闭环状态,非线性失真非常小,输入和输出之间就是具有良好的线性关系,而且死区电压非常小,这种精密检波器的内阻和温度系数也比普通检波器小很多,同时还兼有电压放大的作用。采样后的信号AD1_D[0..7],被送入可编程控制器20中,可编程控制器20为模数转换器19提供控制时序,控制模数转换器19的工作,将数据打包缓存,二者由电信号连接。可编程控制器20以中断方式通知DSP21读取数据,DSP21通过外部存储器接口A(EMIFA)将数据存入存储器23,待三个数据采集模块8的数据全部存储完毕,给主控模块7中的主控制器11中断,主控制器11使能DSP21控制信号,通过DSP21的主机接口HPI进行数据的读写。总线收发器13完成DSP21与主控制器11之间的总线信号输入、输出切换。DSP21上运行的程序存储在FLASH22中,FLASH22与DSP21通过外部存储器接口B(EMIFB)扩展。三个数据采集模块8接收到启动命令,会同时对信号进行采样,可编程控制器20控制数据的传输,最终将采集到的数据存入到DSP21外接的存储器23中。
本发明是用于透镜声纳的信号处理系统,具体工作流程:系统上电,由水上主机1发送启动等控制命令至水下数据接收子系统6,水下数据接收子系统6接收到开始命令后,同时启动三个数据采集模块8对接收到的48路信号进行接收采集、处理、传输,最终经同轴电缆4将水下信号传到水上主机1中,实时的显示水下目标的图像。

Claims (7)

1、一种用于透镜声纳的信号处理系统,包括放置在岸上或船上的水上主机[1]和置于水下的水下数据接收子系统[6],其特征是:水下数据接收子系统[6]与水上主机[1]通过同轴电缆[4]及串口[5]相连,通过串口[5]接收水上主机[1]的命令,通过同轴电缆[4]实现数据水上水下的实时传输;水上主机[1]包括:PC机[2]和PCI数据接收板卡[3],PC机[2]上运行的是系统实时显示控制程序;PCI数据接收板卡[3]插入PC机[2]的PCI插槽中,二者通过PCI总线实现数据高速突发传输;水下数据接收子系统[6]包括:主控模块[7]和三个以16通道为单位进行数据采集的数据采集模块[8]。
2、根据权利要求1所述的用于透镜声纳的信号处理系统,其特征是:所述的主控模块[7]包括:电平转换器[9]、单片机[10]、主控制器[11]、高速串行数据发送器[12]、总线收发器[13],其中,电平转换器[9]、单片机[10]、主控制器[11]、高速串行数据发送器[12]依次由电信号连接;主控制器[11]与总线收发器[13]由电信号连接。
3、根据权利要求1或2所述的用于透镜声纳的信号处理系统,其特征是:所述的数据采集模块[8]由信号调理部分[14]、模数转换器[19]、可编程控制器[20]、DSP[21]、FLASH[22]、存储器[23]组成;其中,信号调理部分[14]、模数转换器[19]、可编程控制器[20]依次由电信号连接;DSP[21]和FLASH[22]由电信号连接;DSP[21]和存储器[23]由电信号连接。
4、根据权利要求1或2所述的用于透镜声纳的信号处理系统,其特征是:所述的信号调理部分[14]包括:前置放大器[15]、高通滤波器[16]、后置放大器[17]、包络检波器[18];其中,模拟信号依次经过前置放大器[15]、高通滤波器[16]、后置放大器[17]、包络检波器[18]、模数转换器[19]转换为数字信号。
5、根据权利要求3所述的用于透镜声纳的信号处理系统,其特征是:所述的信号调理部分[14]包括:前置放大器[15]、高通滤波器[16]、后置放大器[17]、包络检波器[18];其中,模拟信号依次经过前置放大器[15]、高通滤波器[16]、后置放大器[17]、包络检波器[18]、模数转换器[19]转换为数字信号。
6、根据权利要求4所述的用于透镜声纳的信号处理系统,其特征是:所述的包络检波器[18]是采用运算放大器和肖特基二极管搭建的精密包络检波器。
7、根据权利要求5所述的用于透镜声纳的信号处理系统,其特征是:所述的包络检波器[18]是采用运算放大器和肖特基二极管搭建的精密包络检波器。
CN2008100640604A 2008-03-03 2008-03-03 一种用于透镜声纳的信号处理系统 Expired - Fee Related CN101236249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100640604A CN101236249B (zh) 2008-03-03 2008-03-03 一种用于透镜声纳的信号处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100640604A CN101236249B (zh) 2008-03-03 2008-03-03 一种用于透镜声纳的信号处理系统

Publications (2)

Publication Number Publication Date
CN101236249A true CN101236249A (zh) 2008-08-06
CN101236249B CN101236249B (zh) 2011-03-16

Family

ID=39919998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100640604A Expired - Fee Related CN101236249B (zh) 2008-03-03 2008-03-03 一种用于透镜声纳的信号处理系统

Country Status (1)

Country Link
CN (1) CN101236249B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825704A (zh) * 2009-12-08 2010-09-08 中国科学院声学研究所 一种用于合成孔径声纳系统中的图像显示方法
CN101359050B (zh) * 2008-08-27 2011-04-20 哈尔滨工程大学 一种声纳图像处理板
CN101685156B (zh) * 2008-09-27 2012-07-18 中国科学院声学研究所 一种声透镜成像声纳的收发通道
CN102928844A (zh) * 2012-11-08 2013-02-13 中北大学 一种水下亚波长分辨率三维成像方法
CN105629250A (zh) * 2016-03-31 2016-06-01 芜湖应天光电科技有限责任公司 一种水下三维场景实时成像系统
CN105681770A (zh) * 2016-03-17 2016-06-15 天津超智海洋科技有限公司 一种多dsp声呐信号并行处理系统
CN109996150A (zh) * 2018-01-02 2019-07-09 上海航空电器有限公司 一种近地告警系统多通道输出告警语音电路
CN110058219A (zh) * 2018-12-30 2019-07-26 上海微波技术研究所(中国电子科技集团公司第五十研究所) Mimo谐波雷达
CN116259302A (zh) * 2023-05-15 2023-06-13 之江实验室 一种水下复合材料声透镜

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3784805A (en) * 1972-10-04 1974-01-08 Us Navy Sonar image converter

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359050B (zh) * 2008-08-27 2011-04-20 哈尔滨工程大学 一种声纳图像处理板
CN101685156B (zh) * 2008-09-27 2012-07-18 中国科学院声学研究所 一种声透镜成像声纳的收发通道
CN101825704A (zh) * 2009-12-08 2010-09-08 中国科学院声学研究所 一种用于合成孔径声纳系统中的图像显示方法
CN101825704B (zh) * 2009-12-08 2012-12-12 中国科学院声学研究所 一种用于合成孔径声纳系统中的图像显示方法
CN102928844A (zh) * 2012-11-08 2013-02-13 中北大学 一种水下亚波长分辨率三维成像方法
CN102928844B (zh) * 2012-11-08 2015-01-21 中北大学 一种水下亚波长分辨率三维成像方法
CN105681770A (zh) * 2016-03-17 2016-06-15 天津超智海洋科技有限公司 一种多dsp声呐信号并行处理系统
CN105629250A (zh) * 2016-03-31 2016-06-01 芜湖应天光电科技有限责任公司 一种水下三维场景实时成像系统
CN109996150A (zh) * 2018-01-02 2019-07-09 上海航空电器有限公司 一种近地告警系统多通道输出告警语音电路
CN110058219A (zh) * 2018-12-30 2019-07-26 上海微波技术研究所(中国电子科技集团公司第五十研究所) Mimo谐波雷达
CN110058219B (zh) * 2018-12-30 2021-11-09 上海微波技术研究所(中国电子科技集团公司第五十研究所) Mimo谐波雷达
CN116259302A (zh) * 2023-05-15 2023-06-13 之江实验室 一种水下复合材料声透镜

Also Published As

Publication number Publication date
CN101236249B (zh) 2011-03-16

Similar Documents

Publication Publication Date Title
CN101236249B (zh) 一种用于透镜声纳的信号处理系统
CN101539599B (zh) 数字式雷电探测方法及其装置
CN102928844B (zh) 一种水下亚波长分辨率三维成像方法
CN107219513B (zh) 水下运动目标回波模拟方法及收发一体化装置
CN101334473B (zh) 基于水声多波束的深水网箱鱼群状态远程实时监测仪
CN109946666A (zh) 基于MPSoC的毫米波雷达信号处理系统
CN206531959U (zh) 声纳系统信号采集传输控制装置
CN102305621A (zh) 一种水文综合测量装置
CN104180891A (zh) 一种基于声阵的海洋声传播损失实时测量方法
CN104754249B (zh) 一种应用于水下成像声纳的信号处理系统
CN201378190Y (zh) 数字式雷电探测装置
CN106772394A (zh) 声纳系统信号采集传输控制方法及应用该方法的装置
CN104614720A (zh) 拖曳阵声呐系统
CN207184490U (zh) 一种水声信号采集装置
CN104062662B (zh) 一种多方位扫描网位仪
CN107656273A (zh) 雷达信号采集还原器
CN104698464A (zh) 一种新型单波束测深仪
CN205157777U (zh) 一种基于跳频信号的全自动超声波测深仪
CN105352859A (zh) 一种用于检测流体在线多参数性状结构的方法
CN207972762U (zh) 船舶吃水检测系统
CN204666812U (zh) 一种新型单波束测深仪
Yang et al. Design and realization of a buoy for ocean acoustic tomography in coastal sea based on NB-IoT technology
CN106802410A (zh) 一种基于dsp和fpga架构的超声波飞行时间测量装置及方法
CN210222252U (zh) 一种避碰声纳系统
CN113126069A (zh) 一种基于zynq的前视声呐信号处理硬件系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110316

Termination date: 20170303

CF01 Termination of patent right due to non-payment of annual fee