CN105260025B - 基于移动终端的稳态视觉诱发电位脑机接口系统 - Google Patents
基于移动终端的稳态视觉诱发电位脑机接口系统 Download PDFInfo
- Publication number
- CN105260025B CN105260025B CN201510671856.6A CN201510671856A CN105260025B CN 105260025 B CN105260025 B CN 105260025B CN 201510671856 A CN201510671856 A CN 201510671856A CN 105260025 B CN105260025 B CN 105260025B
- Authority
- CN
- China
- Prior art keywords
- mrow
- target
- msub
- frequency
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明属于生物交叉技术领域,具体涉及一种基于移动终端的稳态视觉诱发电位脑机接口系统,目的是解决SSVEP在移动终端上的使用问题。其特征在于:它包括刺激器、脑电采集与预处理和目标识别3个模块;其中,刺激器模块用于通过视觉产生脑电刺激信号,脑电采集与预处理模块用于采集脑电波并进行降噪处理,目标识别模块用于对处理后的脑电波信号进行识别。本发明基于移动终端的稳态视觉诱发电位系统的闪烁频率准确、携带方便,不需要训练就可以取得较好的结果。适用于目标个数较少、使用场所经常变化的场合,例如轮椅控制、鼠标控制、商业娱乐开发等。该系统进一步扩展了脑机接口的应用范围,具有一定实用价值。
Description
技术领域
本发明属于生物交叉技术领域,具体涉及一种基于移动终端的稳态视觉诱发电位脑机接口系统。
背景技术
脑电信号(Electroencephalogram,EEG)通常采用非侵入式头皮脑电记录获得,它包含了很多人们应用于脑-机接口的有用信息。研究表明,当受到一个固定频率的视觉刺激的时候,人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。这个响应被称为稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP),它可以可靠的应用于脑-机接口系统(Brain-Computer Interface,BCI)。
很多SSVEP脑机接口系统都使用发光二极管或者发光片作为刺激器。应用发光片作为刺激器可以产生准确的刺激频率,检测精确度很高,不会产生谐波现象,而且绝大部分的受试者都会对刺激产生明显的SSVEP响应。但此种方法需要进行硬件方面的设计与实现,增加额外的电路和器件。
现在也有很多学者使用计算机显示器作为刺激器。刺激块和脑机接口系统的应用图形用户界面能产生于同一个显示器,从而简化了脑机接口系统,而且使受试者的注意力无需在刺激界面与图形用户界面之间转移,使受试者感觉更加舒适。在计算机显示器上显示刺激块,需要采用软件编程,根据系统时间和更新频率,计算显存里图形的形状、亮度、呈现时刻等,应用非常方便,因此这种方式的使用范围越来越广。
随着脑机接口技术应用范围日益广泛,台式机上的脑机接口系统在很大程度上已经不能满足日常的生活需求,因此应用于无线或者移动终端上的脑机接口系统亟待研究。在脑电波用于无线或者移动通信技术方面,虽然实际投入运行的案倒不多,但是相关研究却一直在深入发展。例如日本开发的“替身”(Avatar)接口,这种脑电波接口系统能把自己的实际感觉、人的脑电波和肌电与其他生物信息通过有线和无线网络传给替身机器人和计算机系统中的虚拟角色。通常脑机接口系统中的计算机在控制显存中的图形生成、更新时,还需要处理系统其它界面响应,导致CPU的任务负荷在时间上分布不均匀。这在CPU处理能力很强时不会出现问题。但是在处理能力较低的移动终端上,极有可能在任务复杂的情况下使得刺激块的呈现时刻误差,导致无法精确获得SSVEP响应。对CPU的过高要求使得大多数SSVEP系统都运行在台式机平台上,因此体积比较庞大,不利于携带,限制了SSVEP的使用范围。因此需要提出一种新的技术途径,解决SSVEP在移动终端上的使用问题。
发明内容
本发明的目的是解决SSVEP在移动终端上的使用问题,提供一种基于移动终端的稳态视觉诱发电位脑机接口系统。
本发明是这样实现的:
一种基于移动终端的稳态视觉诱发电位脑机接口系统,包括刺激器、脑电采集与预处理和目标识别3个模块;其中,刺激器模块用于通过视觉产生脑电刺激信号,脑电采集与预处理模块用于采集脑电波并进行降噪处理,目标识别模块用于对处理后的脑电波信号进行识别。
如上所述的刺激器采用图形闪烁刺激;采用多个刺激目标来对应试验者多个选择命令;刺激器频率稳定,以便采集到稳定的脑电信号,有利于信号的检测和系统的准确性。
如上所述的刺激器采用拥有固定刷新率的显示器或者LED发光块实现,采用方波对刺激器进行调制;刺激器只有亮和暗两种状态;刷新率决定亮或暗的最小持续时间;把视觉刺激器限定于拥有固定刷新率的两种状态的刺激器,采用二进制序列来描述刺激的属性;二进制数“1”代表亮,“0”代表暗;
选择在6-20Hz的频带范围内,信噪比高的可用频率作为目标闪烁频率,存储图像的数量为:
其中,K为目标个数;
目标是否在当前时刻呈现,用如下公式判断:
其中:i为帧计数器,从1开始计数,显示器每次刷新时加1;Mod为求余数运算符;m为目标的分频数;
i更新后,使用公式(2)进行计算,判断目标是否在该时刻呈现,如果目标呈现,则显示存储的图片中包含该目标的图片;
当i等于所有分频数的最小公倍数P时,将i清零,在显示器每次刷新时重新累加。
如上所述的脑电采集与预处理模块和目标识别模块连接,它安装在被测试人员的头部,采集被测试人头部的脑电信号,并将其放大、滤波、数字化后发送目标识别模块。
如上所述的脑电采集与预处理模块包括电极、放大器、滤波器和模数转换器组成,它们依次连接;电极安装在被测试人的头部,采集受试者的脑电信号并将其发送给放大器;放大器将来自电极的电信号进行放大,然后将其发送给滤波器;滤波器对接收到的信号进行滤波处理,然后将其发送给模数转换器;模数转换器将接收到的模拟信号转换为数字信号,并将其发送给目标识别模块。
如上所述的目标识别模块对接收到的脑电采集与预处理模块发送的信息进行处理,计算信噪比最大的刺激频率所对应的目标,即为识别目标;对于K个目标的SSVEP脑机接口系统,假设其刺激频率分别为:f1,f2,...,fK;对于某一段脑电数据x,利用FFT或者其他现有的功率谱分析方法,计算信号x的功率谱P(f);然后计算各个刺激频率及其谐波处的信噪比;信噪比Sk指刺激频率处的值与周围n个频率点上的均值之间的比值;
其中fres代表FFT的频率分辨率;
取信噪比最大的刺激频率所对应的目标为识别目标:
本发明的有益效果在于:本发明包括刺激器、脑电采集与预处理和目标识别3个模块。基于移动终端的稳态视觉诱发电位系统的闪烁频率准确、携带方便,不需要训练就可以取得较好的结果。适用于目标个数较少、使用场所经常变化的场合,例如轮椅控制、鼠标控制、商业娱乐开发等。该系统进一步扩展了脑机接口的应用范围,具有一定实用价值。
附图说明
图1是本发明的一种基于移动终端的稳态视觉诱发电位脑机接口系统的结构原理图。
具体实施方式
下面结合附图和实施例对本发明进行进一步描述。
如图1所示,一种基于移动终端的稳态视觉诱发电位脑机接口系统,包括刺激器、脑电采集与预处理和目标识别3个模块。其中,刺激器模块用于通过视觉产生脑电刺激信号,脑电采集与预处理模块用于采集脑电波并进行降噪处理,目标识别模块用于对处理后的脑电波信号进行识别。
其中,刺激器采用图形闪烁刺激。在本实施例中,采用多个刺激目标来对应试验者多个选择命令。刺激器频率稳定,以便采集到稳定的脑电信号,有利于信号的检测和系统的准确性。在本实施例中,刺激器采用拥有固定刷新率的显示器或者LED发光块实现,采用方波对刺激器进行调制。即刺激器只有亮和暗两种状态。刷新率决定亮或暗的最小持续时间,该最小的持续时间称为帧。例如60Hz刷新率的显示器,每一帧的时间长度为1/60秒。若把视觉刺激器限定于拥有固定刷新率的两种状态的刺激器时,可采用二进制序列来描述刺激的属性。二进制数“1”代表亮,“0”代表暗。例如在60Hz显示器下,序列“10000”代表第一帧为亮,随后的四帧为暗。当这个序列不断重复时,刺激器就呈现12Hz的闪烁刺激。
由于SSVEP在6-20Hz的频带内信号信噪比高,因此以60Hz刷新率为例,在6-20Hz的频带范围内,信噪比高的可用频率只有60/4、60/5、60/6、60/7、60/8、60/9、60/10共7个目标,存储图像的数量为:
其中,K为目标个数,即当存储7个目标时,则存储128张图片。
目标是否在当前时刻呈现,用如下公式判断:
其中:i为帧计数器,从1开始计数,显示器每次刷新时加1;Mod为求余数运算符;m为目标的分频数,在本实施例中取4、5、6、7、8、9、10。
i更新后,使用公式(2)进行计算,判断目标是否在该时刻呈现,如果目标呈现,则显示存储的图片中包含该目标的图片。
当i等于所有分频数的最小公倍数P时,将i清零,在显示器每次刷新时重新累加。
脑电采集与预处理模块和目标识别模块连接,它安装在被测试人员的头部,采集被测试人头部的脑电信号,并将其放大、滤波、数字化后发送目标识别模块。在本实施例中,脑电采集与预处理模块包括电极、放大器、滤波器和模数转换器组成,它们依次连接。电极安装在被测试人的头部,采集受试者的脑电信号并将其发送给放大器。放大器将来自电极的电信号进行放大,然后将其发送给滤波器。滤波器对接收到的信号进行滤波处理,然后将其发送给模数转换器。模数转换器将接收到的模拟信号转换为数字信号,并将其发送给目标识别模块。
脑电信号中噪声信号有很多,包括神经源噪声和非神经源噪声。神经源噪声有自发的与意识无关的信号,或者与感兴趣特征脑电无关的特征信号;非神经源噪声包括有眼动伪迹、肌电干扰、工频干扰等。采用放大器、滤波器和模数转换器,能够将这些噪声信号消除,提高脑电信号的信噪比。
目标识别模块对接收到的脑电采集与预处理模块发送的信息进行处理,计算信噪比最大的刺激频率所对应的目标,即为识别目标。在本实施例中,对于K个目标的SSVEP脑机接口系统,假设其刺激频率分别为:f1,f2,...,fK。对于某一段脑电数据x,利用FFT(FastFourier Transformation),或者其他现有的功率谱分析方法,计算信号x的功率谱P(f)。然后计算各个刺激频率及其谐波处的信噪比。信噪比Sk指刺激频率处的值与周围n个频率点上的均值之间的比值:
其中fres代表FFT的频率分辨率;
取信噪比最大的刺激频率所对应的目标为识别目标:
本发明在刺激器产生刺激信号的过程中,通过将不同目标出现时的图片进行预先存储,当显示器的刷新时刻满足目标呈现条件时,则调用相应图片进行显示。对于硬件的处理能力要求较低,节省图形处理时间,实现了稳态视觉诱发电位脑机接口系统在移动终端上的应用,方便快捷,应用范围广。
上面对本发明的实施例作了详细说明,上述实施方式仅为本发明的最优实施例,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (4)
1.一种基于移动终端的稳态视觉诱发电位脑机接口系统,其特征在于:它包括刺激器、脑电采集与预处理和目标识别3个模块;其中,刺激器模块用于通过视觉产生脑电刺激信号,脑电采集与预处理模块用于采集脑电信号并进行降噪处理,目标识别模块用于对处理后的脑电信号进行识别;
所述的刺激器模块采用图形闪烁刺激;采用多个刺激目标来对应被测试人员多个选择命令;刺激器模块频率稳定,以便采集到稳定的脑电信号,有利于信号的检测和系统的准确性;
所述的刺激器模块采用拥有固定刷新率的显示器或者LED发光块实现,采用方波对刺激器模块进行调制;刺激器模块只有亮和暗两种状态;刷新率决定亮或暗的最小持续时间;把刺激器模块限定于拥有固定刷新率的两种状态的刺激器模块,采用二进制序列来描述刺激的属性;二进制数“1”代表亮,“0”代表暗;
选择在6-20Hz的频带范围内,信噪比高的可用频率作为目标闪烁频率,存储图像的数量为:
<mrow>
<msubsup>
<mi>C</mi>
<mi>K</mi>
<mn>0</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>C</mi>
<mi>K</mi>
<mn>1</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>C</mi>
<mi>K</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<msubsup>
<mi>C</mi>
<mi>K</mi>
<mi>K</mi>
</msubsup>
<mo>=</mo>
<msup>
<mn>2</mn>
<mi>K</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,K为目标个数;
目标是否在当前时刻呈现,用如下公式判断:
其中:i为帧计数器,从1开始计数,显示器每次刷新时加1;mod为求余数运算符;m为目标的分频数;
i更新后,使用公式(2)进行计算,判断目标是否在该时刻呈现,如果目标呈现,则显示存储的图片中包含该目标的图片;
当i等于所有分频数的最小公倍数P时,将i清零,在显示器每次刷新时重新累加。
2.根据权利要求1所述的基于移动终端的稳态视觉诱发电位脑机接口系统,其特征在于:所述的脑电采集与预处理模块和目标识别模块连接,它安装在被测试人员的头部,采集被测试人员头部的脑电信号,并将其放大、滤波、数字化后发送目标识别模块。
3.根据权利要求2所述的基于移动终端的稳态视觉诱发电位脑机接口系统,其特征在于:所述的脑电采集与预处理模块包括电极、放大器、滤波器和模数转换器组成,它们依次连接;电极安装在被测试人员的头部,采集被测试人员的脑电信号并将其发送给放大器;放大器将来自电极的脑电信号进行放大,然后将其发送给滤波器;滤波器对接收到的信号进行滤波处理,然后将其发送给模数转换器;模数转换器将接收到的模拟信号转换为数字信号,并将其发送给目标识别模块。
4.根据权利要求1所述的基于移动终端的稳态视觉诱发电位脑机接口系统,其特征在于:所述的目标识别模块对接收到的脑电采集与预处理模块发送的信息进行处理,计算信噪比最大的刺激频率所对应的目标,即为识别目标;对于K个目标的SSVEP脑机接口系统,假设其刺激频率分别为:f1,f2,...,fK;对于某一段脑电数据x,利用FFT或者其他现有的功率谱分析方法,计算脑电数据x的功率谱P(f),其中f为刺激频率;然后计算各个刺激频率及其谐波处的信噪比;信噪比Sk指刺激频率处的值与周围n个频率点上的均值之间的比值;
<mrow>
<msub>
<mi>S</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mn>10</mn>
<msub>
<mi>log</mi>
<mn>10</mn>
</msub>
<mo>(</mo>
<mfrac>
<mrow>
<mi>n</mi>
<mo>&times;</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
</munderover>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>&times;</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>P</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>&times;</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中fres代表FFT的频率分辨率;
取信噪比最大的刺激频率所对应的目标为识别目标:
<mrow>
<mi>C</mi>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<mi>k</mi>
</munder>
<msub>
<mi>S</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mi>K</mi>
<mo>.</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510671856.6A CN105260025B (zh) | 2015-10-15 | 2015-10-15 | 基于移动终端的稳态视觉诱发电位脑机接口系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510671856.6A CN105260025B (zh) | 2015-10-15 | 2015-10-15 | 基于移动终端的稳态视觉诱发电位脑机接口系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105260025A CN105260025A (zh) | 2016-01-20 |
CN105260025B true CN105260025B (zh) | 2018-06-05 |
Family
ID=55099746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510671856.6A Expired - Fee Related CN105260025B (zh) | 2015-10-15 | 2015-10-15 | 基于移动终端的稳态视觉诱发电位脑机接口系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105260025B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599839B (zh) * | 2016-12-13 | 2019-07-12 | 清华大学 | 车载脑电外源性干扰的电磁场特征的并行降噪方法及装置 |
CN107811735B (zh) * | 2017-10-23 | 2020-01-07 | 广东工业大学 | 一种辅助进食方法、系统、设备及计算机存储介质 |
CN107748622A (zh) * | 2017-11-08 | 2018-03-02 | 中国医学科学院生物医学工程研究所 | 一种基于人脸感知的稳态视觉诱发电位脑‑机接口方法 |
CN109998828B (zh) * | 2019-04-29 | 2022-01-28 | 河南科技大学第一附属医院 | 重症监护室床边控制柜 |
CN111031057B (zh) * | 2019-12-21 | 2020-10-09 | 北京理工大学 | 一种基于刺激信号诱发脑电波的信息传输方法 |
CN112116422B (zh) * | 2020-09-10 | 2022-11-04 | 湖南工商大学 | 基于脑机接口的网上购物系统及方法 |
CN113282180A (zh) * | 2021-07-07 | 2021-08-20 | 中国工商银行股份有限公司 | 一种基于脑机接口的交互系统、方法及装置 |
CN114115547B (zh) * | 2022-01-27 | 2022-05-13 | 中国医学科学院生物医学工程研究所 | 一种混合脑机接口的目标呈现方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348382A (ja) * | 2003-05-21 | 2004-12-09 | Ntt Docomo Inc | 携帯型電子装置およびその制御方法 |
CN101373402A (zh) * | 2007-08-24 | 2009-02-25 | 中兴通讯股份有限公司 | 基于视觉激发脑电波的人机交互系统和方法 |
EP2239652A1 (en) * | 2009-04-07 | 2010-10-13 | Keywords.de GmbH | Providing an interactive visual representation on a display |
CN103076881A (zh) * | 2013-01-18 | 2013-05-01 | 哈尔滨工业大学深圳研究生院 | 基于脑电波信号的多媒体点播方法及系统 |
-
2015
- 2015-10-15 CN CN201510671856.6A patent/CN105260025B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN105260025A (zh) | 2016-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105260025B (zh) | 基于移动终端的稳态视觉诱发电位脑机接口系统 | |
Liu et al. | Implementation of SSVEP based BCI with Emotiv EPOC | |
Chen et al. | A high-itr ssvep-based bci speller | |
Cheng et al. | Design and implementation of a brain-computer interface with high transfer rates | |
CN109271020B (zh) | 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法 | |
CN103399639B (zh) | 基于ssvep和p300联合脑机接口方法及装置 | |
CN108803873B (zh) | 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法 | |
CN104965584A (zh) | 基于ssvep与osp的混合脑-机接口方法 | |
CN103092340B (zh) | 一种脑-机接口视觉刺激方法及信号识别方法 | |
CN103472922A (zh) | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 | |
Turesson et al. | Category-selective phase coding in the superior temporal sulcus | |
Cao et al. | A high rate online SSVEP based brain-computer interface speller | |
CN111930238B (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
CN103064508A (zh) | 步进延迟闪烁序列的脑机接口控制方法及其系统 | |
CN106166065A (zh) | 一种基于社交网络的可穿戴心电健康交互平台及其实现方法 | |
CN108181995A (zh) | 交互系统、方法及装置 | |
CN109034015B (zh) | Fsk-ssvep的解调系统及解调算法 | |
CN107957780A (zh) | 一种基于稳态视觉诱发电位生理特性的脑机接口系统 | |
CN106618592A (zh) | 一种远程血糖监控处理的方法及移动终端 | |
Nakanishi et al. | An approximation approach for rendering visual flickers in SSVEP-based BCI using monitor refresh rate | |
CN116058851B (zh) | 脑电数据处理方法、装置、分析系统、电子装置和介质 | |
CN112783314A (zh) | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 | |
CN106778475B (zh) | 一种最优导联集选择方法及系统 | |
CN107292244A (zh) | 一种精神压力识别方法、智能设备及计算机可读存储介质 | |
Zhang et al. | Implement an asynchronous online SSVEP-based brain computer interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180605 Termination date: 20181015 |
|
CF01 | Termination of patent right due to non-payment of annual fee |