CN102867415B - 基于视频检测技术的道路拥堵判别方法 - Google Patents
基于视频检测技术的道路拥堵判别方法 Download PDFInfo
- Publication number
- CN102867415B CN102867415B CN201210336629.4A CN201210336629A CN102867415B CN 102867415 B CN102867415 B CN 102867415B CN 201210336629 A CN201210336629 A CN 201210336629A CN 102867415 B CN102867415 B CN 102867415B
- Authority
- CN
- China
- Prior art keywords
- road
- occupation rate
- present road
- time occupancy
- average lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种道路拥堵情况的判别方法,包括:对获取的当前道路的视频图像进行处理,得到当前道路的背景图像和前景目标;根据所述前景目标,计算所述当前道路的平均道路占有率和时间占有率;根据所述平均道路占有率和时间占有率,按照建立的道路交通拥堵判别准则判断所述当前道路的拥堵情况。采用本发明,在只利用平均道路占有率和时间占有率两个有限参数的情况下,可以准确、有效地判断道路的拥堵情况。
Description
技术领域
本发明涉及交通情况检测技术领域,尤其涉及一种基于视频检测技术的道路拥堵判别方法。
背景技术
在城市中,随着机动车拥有数量的迅速增长,道路的拥堵情况日益严重,尤其是在上、下班等高峰时期,拥堵现象更为普遍。目前,对道路交通拥堵的判别方法主要是通过各种交通检测技术获得所需要的交通状态参数,并通过对这些交通状态参数进行分析、处理,进而判断道路的拥堵情况。其中,常见的交通检测技术包括:环形线圈法、GPS(Global Positioning System,全球定位系统)数据法、雷达检测器、视频检测技术等。在上述方法中,视频检测技术由于具有安装不损坏路面、不会造成交通的暂时中断、获取的信息多等优点,在近几年的时间里,得到了飞速的发展和普遍的应用。
目前,利用视频检测技术进行交通拥堵检测时,一般有两种方式:一是采用传输视频图像到监控中心的方式。另一是在获取诸如流量、道路占有率、时间占有率、速度、车间距、排队长度等交通状态参数后,选取其中的多个交通状态参数,并利用预先定义的拥堵判别算法实现对交通拥堵状态的检测;例如:在该方法的一种应用中,通过利用时间占有率、流量、速度作为交通状态参数,设计三个模糊分类器同时对交通状态进行判断,进而得到交通拥堵情况。在该方法的另一种应用中,通过利用道路占有率,进而得到占有率方差,并通过设计拥堵模糊聚类判别器进行判断,进而得到道路拥堵情况。
在上述的第一种应用中,由于速率、流量等参数难于从视频图像中获取,即使能够获取,准确程度也不高,因此会导致最终的检测结果不准确。在上述的第二种应用中,虽然只需要获取一个交通状态参数,但是该方法要求在前期设计拥堵模糊判别器时,进行聚类中心的训练;但是,对聚类中心的训练需要大量的数据,并且对所用的数据也有严格的要求,因此满足要求的数据一般不容易获取,因此在实际训练时,使用的数据并没有严格满足要求,从而导致训练结果并不精确,进而导致最终对道路拥堵情况的检测结果也相应地不准确。
因此,现有技术中在基于视频检测技术进行道路的拥堵情况判断时,存在不能够准确地、有效地判断道路交通状态的问题。
发明内容
本发明实施例所要解决的技术问题在于,提供了一种基于视频检测技术的道路拥堵判别方法。利用该方法,可以准确、有效地判断道路的拥堵情况。
为了解决上述技术问题,本发明实施例提供了一种判断道路拥堵情况的方法,包括下列步骤:
对获取的当前道路的视频图像进行处理,得到当前道路的背景图像和前景目标;
根据所述前景目标,计算所述当前道路的平均道路占有率和时间占有率;
根据所述平均道路占有率和时间占有率,按照建立的道路交通拥堵判别准则判断所述当前道路的拥堵情况。
进一步地,所述对获取的当前道路的视频图像进行处理,得到当前道路的背景图像和前景目标,包括下列步骤:
从获取的当前道路的视频图像中提取M帧图片;
对所述提取的M帧图片进行分析,得到所述当前道路的背景图像,所述M为正整数;
根据所述背景图像,采用背景差法得到所述当前道路的前景目标,并对所述前景目标进行去噪;
根据所述去噪后的前景目标和当前图像,更新所述当前道路的背景图像。
所述根据所述前景目标,计算得到所述当前道路的平均道路占用率和时间占有率,包括:
采用公式:
计算道路占有率;
采用公式:
和公式:
计算平均道路占有率;
进一步地,area_cari为第i帧图像中所有目标车辆的面积,area_road为道路区域的总面积,Areai为道路占有率,Ci为平均道路占有率;
采用公式:
计算当前道路的时间占有率,其中exist_car表示连续N帧图像中虚拟线圈被车辆占有的帧数,Ti为时间占有率。
进一步地,所述拥堵情况包括如下任意一项或组合:拥堵、缓行和畅通。
进一步地,建立的道路交通拥堵判别准则为:
当0≤平均道路占有率<α0,且0≤时间占有率<β1,则所述当前道路的拥堵情况为畅通;
当0≤平均道路占有率<α0,且β1≤时间占有率<1,则所述当前道路的拥堵情况为缓行;
当α0≤平均道路占有率<α1,且0≤时间占有率<β0,则所述当前道路的拥堵情况为畅通;
当α0≤平均道路占有率<α1,且β0≤时间占有率<1,则所述当前道路的拥堵情况为缓行;
当α1≤平均道路占有率<1,且0≤时间占有率<β1,则所述当前道路的拥堵情况为缓行;
当α1≤平均道路占有率<1,且β1≤时间占有率<1,则所述当前道路的拥堵情况为拥堵;
其中0<α0<α1<1,0<β0<β1<1。
实施本发明实施例,具有如下有益效果:
本发明实施例在判断道路的拥堵情况时,只涉及了平均道路占有率和时间占有率两个交通状态参数,而平均道路占有率和时间占有率可以准确地从视频图像中获得,因此本发明实施例在采用基于平均道路占有率和时间占有率的道路交通拥堵判别准则进行当前道路的拥堵情况判断时,能够准确、有效地得到当前道路的拥堵情况。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1是本发明的基于视频检测技术的道路拥堵情况的判别方法的实施例的流程示意图;
图2是图1中的步骤S11的实施例的流程示意图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,是本发明的基于视频检测技术的道路拥判别方法的实施例的流程示意图。图1的方法流程包括:
步骤S11,对获取的当前道路的视频图像进行处理,得到当前道路的背景图像和前景目标。
其中,在步骤S11前需要获取当前道路的视频图像,当前道路的视频图像可以由摄像机或摄像头进行拍摄获得,此处当前道路一般是选择为需要重点监测其交通状况的路段,例如隧道、十字路口等。
具体地,请参考图2,是步骤S11的一种实施例的流程示意图。其包括:
步骤S21,从获取的当前道路的视频图像中提取M帧图片。
视频图像可以视为由一帧一帧连续的图片组成,因此步骤S21以帧为单位,从获取的视频图像中提取出一幅幅连续的图片,以便后续的分析。
步骤S22,对步骤S11提取到的M帧图片进行分析,得到所述当前道路的背景图像。
其中,M为正整数,优选地,M选择大于20的正整数。在步骤S22中,可以首先从内存中划分一部分区域,用于存储当前需要进行处理的图片;然后从步骤S11提取的图片中,选择连续或等间隔的M帧图片存入内存中,作为当前需要处理的图片;最后,步骤S22可以采用平均统计的方法分析这M帧图片,得到当前道路的背景图像。
步聚S23,根据步骤S22得到的背景图像,采用背景差法得到所述当前道路的前景目标,并对所述前景目标进行去噪。
其中,步骤S22得到背景图像后,从图片中减去背景图像(即背景差法)然后对得到的图像进行阈值分割,就可以得到当前道路的前景目标,阈值的选取用otsu算法(最大类间差法,有时也称之为大津算法,被认为是图像分割中阈值选取的最佳算法,计算简单,不受图像亮度和对比度的影响,因此在数字图像处理上得到了广泛的应用)。需要说明的是,直接采用背景差法得到的前景目标通常具有噪声,例如由于树叶等的抖动引起的噪声,因此需要采用诸如形态学等方法对前景目标进行去噪,去噪后得到的前景目标才是后续中使用的前景目标。
步骤S24,根据步骤S23进行去噪后得到的前景目标和当前图像,更新所述当前道路的背景图像。
其中,将背景图像分为前景对应的部分和非前景对应的部分,然后分别用这两部分进行背景更新,一般地前景对应部分的更新率小于非前景部分对应的更新率。在步骤S24中对前景对应部分进行更新的目的是:由于前景可能是伪前景,进行形态学等方法处理后并不能将其消除,因此通过一个小的更新率更新可以去除这些伪前景,从而可以使得到的背景图像更准确。
步骤S12,根据步骤S11得到的前景目标,计算当前道路的平均道路占有率和时间占有率。
使用平均道路占有率,可以有效地防止由于误检测造成的参数准确性不高的问题,起到提高参数准确性的作用。
具体地,可以采用公式:
计算道路占有率;
采用公式:
和公式:
计算平均道路占有率;
其中,area_cari为第i帧图像中所有目标车辆的面积,area_road为道路区域的总面积,Areai为道路占有率,Ci为平均道路占有率。上述中的area_cari和area_road参数可以从背景图像和前景目标中得到。
采用公式:
计算当前道路的时间占有率,其中exist_car表示连续N帧图像中虚拟线圈被车辆占有的帧数,Ti为时间占有率,也就是说时间占有率为N帧图像中各车道的虚拟线圈被车辆占有的帧数与N的比值。
步骤S13,根据步骤S12得到的平均道路占有率和时间占有率,按照建立的道路交通拥堵判别准则判断所述当前道路的拥堵情况。
其中,拥堵情况可以包括如下任意一下或其组合:拥堵、缓行和畅通。建立的道路交通拥堵判别准则是基于道路占有情况和时间占有率的用于判断道路拥堵情况的准则,是:
当0≤平均道路占有率<α0,且0≤时间占有率<β1,则所述当前道路的拥堵情况为畅通;
当0≤平均道路占有率<α0,且β1≤时间占有率<1,则所述当前道路的拥堵情况为缓行;
当α0≤平均道路占有率<α1,且0≤时间占有率<β0,则所述当前道路的拥堵情况为畅通;
当α0≤平均道路占有率<α1,且β0≤时间占有率<1,则所述当前道路的拥堵情况为缓行;
当α1≤平均道路占有率<1,且0≤时间占有率<β1,则所述当前道路的拥堵情况为缓行;
当α1≤平均道路占有率<1,且β1≤时间占有率<1,则所述当前道路的拥堵情况为拥堵;
其中0<α0<α1<1,0<β0<β1<1。
在一种实施方式中,建立的基于平均道路占用率和时间占用率的道路交通拥堵判别准则可以如表一所示:
表一
另外,上述中主要是通过分析N帧图片,得到该N帧图片所反映的交通拥堵情况。在一些实施方式中,可以认为上述得到的拥堵情况为临时的拥堵情况,接下来可以采用类似的判断方法对接下来的N帧图片所反映的拥堵情况进行判别,得到另一个临时的拥堵情况;依此类推得到5或以上的临时拥堵情况,然后根据这些临时拥堵情况,采用“投票”原则确定当前道路的最终拥堵情况,并且在拥堵情况为拥堵时可以向相关工作人员进行报警,提示相关工作人员采取必要的措施降低道路的拥堵。
本发明实施例在判断道路的拥堵情况时,只涉及了平均道路占有率和时间占有率两个交通状态参数,而平均道路占有率和时间占有率可以准确地从视频图像中获得,因此本发明实施例在采用基于平均道路占有率和时间占有率的拥堵判别准则进行当前道路的拥堵情况判断时,能够准确、有效地得到当前道路的拥堵情况。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序指令来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (3)
1.一种基于视频检测技术的道路拥堵判别方法,其特征在于:包括下列步骤:
对获取的当前道路的视频图像进行处理,得到当前道路的背景图像和前景目标;
根据所述前景目标,计算所述当前道路的平均道路占有率和时间占有率;
按照建立的道路交通拥堵判别准则,仅根据所述平均道路占有率和时间占有率,判断所述当前道路的拥堵情况,其中所述拥堵情况包括如下任意一项或组合:拥堵、缓行和畅通;
其中,所述建立的道路交通拥堵判别准则为:
当0≤平均道路占有率<α0,且0≤时间占有率<β1,则所述当前道路的拥堵情况为畅通;
当0≤平均道路占有率<α0,且β1≤时间占有率<1,则所述当前道路的拥堵情况为缓行;
当α0≤平均道路占有率<α1,且0≤时间占有率<β0,则所述当前道路的拥堵情况为畅通;
当α0≤平均道路占有率<α1,且β0≤时间占有率<1,则所述当前道路的拥堵情况为缓行;
当α1≤平均道路占有率<1,且0≤时间占有率<β1,则所述当前道路的拥堵情况为缓行;
当α1≤平均道路占有率<1,且β1≤时间占有率<1,则所述当前道路的拥堵情况为拥堵;
其中0<α0<α1<1,0<β0<β1<1,
采用公式:
计算当前道路的时间占有率,其中exist_car表示连续N帧图像中虚拟线圈被车辆占有的帧数,Ti为时间占有率。
2.如权利要求1所述的方法,其特征在于:所述对获取的当前道路的视频 图像进行处理,得到当前道路的背景图像和前景目标,包括下列步骤:
从获取的当前道路的视频图像中提取M帧图片;
对所述提取的M帧图片进行分析,得到所述当前道路的背景图像,所述M为正整数;
根据所述背景图像,采用背景差法得到所述当前道路的前景目标,并对所述前景目标进行去噪;
根据所述去噪后的前景目标和当前图像,更新所述当前道路的背景图像。
3.如权利要求2所述的方法,其特征在于:所述根据所述前景目标,计算得到所述当前道路的平均道路占有率和时间占有率,包括:
采用公式:
计算道路占有率;
采用公式:
和公式:
计算平均道路占有率;
其中,area_cari为第i帧图像所有目标车辆的面积,area_road为道路区域的总面积,Areai为道路占有率,Ci为平均道路占有率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210336629.4A CN102867415B (zh) | 2012-09-12 | 2012-09-12 | 基于视频检测技术的道路拥堵判别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210336629.4A CN102867415B (zh) | 2012-09-12 | 2012-09-12 | 基于视频检测技术的道路拥堵判别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102867415A CN102867415A (zh) | 2013-01-09 |
CN102867415B true CN102867415B (zh) | 2015-05-13 |
Family
ID=47446267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210336629.4A Expired - Fee Related CN102867415B (zh) | 2012-09-12 | 2012-09-12 | 基于视频检测技术的道路拥堵判别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102867415B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413435B (zh) * | 2013-06-21 | 2015-03-18 | 中国航天系统工程有限公司 | 一种基于油耗采集的路网运行状态分析方法 |
CN103985250B (zh) * | 2014-04-04 | 2016-05-18 | 浙江工业大学 | 轻量级的全息道路交通状态视觉检测装置 |
CN105894825A (zh) * | 2015-06-03 | 2016-08-24 | 杭州远眺科技有限公司 | 一种基于流量传感器的城市道路占有率的计算方法 |
CN109191830B (zh) * | 2018-08-09 | 2021-01-05 | 昆明理工大学 | 一种基于视频图像处理的道路拥堵检测方法 |
CN109615874B (zh) * | 2018-12-28 | 2021-02-02 | 浙江大学 | 一种基于格式塔心理学准则的路况分析方法 |
CN109887276B (zh) * | 2019-01-30 | 2020-11-03 | 北京同方软件有限公司 | 基于前景提取与深度学习融合的夜间交通拥堵检测方法 |
CN109993987A (zh) * | 2019-04-03 | 2019-07-09 | 山东中安科技股份有限公司 | 一种用于高速雾区高发段的拥堵检测方法及系统 |
CN111369807B (zh) * | 2020-03-24 | 2022-04-12 | 北京百度网讯科技有限公司 | 一种交通事故的检测方法、装置、设备和介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002367077A (ja) * | 2001-06-07 | 2002-12-20 | Mitsubishi Electric Corp | 交通渋滞判定装置及び交通渋滞判定方法 |
JP2004133790A (ja) * | 2002-10-11 | 2004-04-30 | Sumitomo Electric Ind Ltd | 交通状況表示方法、交通状況表示システム、及び交通状況表示装置 |
CN101807345A (zh) * | 2010-03-26 | 2010-08-18 | 重庆大学 | 一种基于视频检测技术的交通拥堵判别方法 |
CN102136195A (zh) * | 2011-03-28 | 2011-07-27 | 长安大学 | 一种基于图像纹理检测道路交通状况的方法 |
CN102147971A (zh) * | 2011-01-14 | 2011-08-10 | 赵秀江 | 基于视频图像处理技术的交通信息采集系统 |
CN102542805A (zh) * | 2012-03-08 | 2012-07-04 | 南京理工大学常熟研究院有限公司 | 基于视频判断交通拥堵的装置 |
CN102509101B (zh) * | 2011-11-30 | 2013-06-26 | 昆山市工业技术研究院有限责任公司 | 交通视频监控中的背景更新方法和车辆目标提取方法 |
CN102436739B (zh) * | 2011-09-27 | 2013-10-23 | 重庆大学 | 基于视频检测技术的高速公路收费广场交通拥堵判别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090099910A1 (en) * | 2007-10-11 | 2009-04-16 | International Business Machines Corporation | System and method for managing electronic advertising responsive to traffic congestion |
-
2012
- 2012-09-12 CN CN201210336629.4A patent/CN102867415B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002367077A (ja) * | 2001-06-07 | 2002-12-20 | Mitsubishi Electric Corp | 交通渋滞判定装置及び交通渋滞判定方法 |
JP2004133790A (ja) * | 2002-10-11 | 2004-04-30 | Sumitomo Electric Ind Ltd | 交通状況表示方法、交通状況表示システム、及び交通状況表示装置 |
CN101807345A (zh) * | 2010-03-26 | 2010-08-18 | 重庆大学 | 一种基于视频检测技术的交通拥堵判别方法 |
CN102147971A (zh) * | 2011-01-14 | 2011-08-10 | 赵秀江 | 基于视频图像处理技术的交通信息采集系统 |
CN102136195A (zh) * | 2011-03-28 | 2011-07-27 | 长安大学 | 一种基于图像纹理检测道路交通状况的方法 |
CN102436739B (zh) * | 2011-09-27 | 2013-10-23 | 重庆大学 | 基于视频检测技术的高速公路收费广场交通拥堵判别方法 |
CN102509101B (zh) * | 2011-11-30 | 2013-06-26 | 昆山市工业技术研究院有限责任公司 | 交通视频监控中的背景更新方法和车辆目标提取方法 |
CN102542805A (zh) * | 2012-03-08 | 2012-07-04 | 南京理工大学常熟研究院有限公司 | 基于视频判断交通拥堵的装置 |
Non-Patent Citations (3)
Title |
---|
基于视频处理的城市道路交通拥堵判别技术研究;王川童;《中国优秀硕士学位论文全文数据库》;中国学术期刊(光盘版)电子杂志出版社;20110430(第4期);参见论文正文第14页第2.3节-第16页第2.4.1节、第16-17页第2.4.3节、第20页第3.1节、第27页第3.2节、图2.4、图3.1、图3.7 * |
基于视频检测技术的城市交通拥堵判别模型;李茂华 等;《公路交通技术》;公路交通技术编辑部;20120831(第4期);第126-131页 * |
翟润平 等.视频检测技术检测交通流参数的原理与方法.《中国人民公安大学学报(自然科学版)》.《中国人民公安大学学报(自然科学版)》编辑部,1999,(第1期),第24-27页. * |
Also Published As
Publication number | Publication date |
---|---|
CN102867415A (zh) | 2013-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102867415B (zh) | 基于视频检测技术的道路拥堵判别方法 | |
CN108986465B (zh) | 一种车流量检测的方法、系统及终端设备 | |
CN110287905B (zh) | 一种基于深度学习的交通拥堵区域实时检测方法 | |
US10212397B2 (en) | Abandoned object detection apparatus and method and system | |
CN104599502A (zh) | 一种基于视频监控的车流量统计方法 | |
US11380104B2 (en) | Method and device for detecting illegal parking, and electronic device | |
CN109241938B (zh) | 道路拥堵检测方法及终端 | |
CN103617410A (zh) | 基于视频检测技术的高速公路隧道停车检测方法 | |
CN111339994B (zh) | 一种判断临时违章停车的方法及装置 | |
CN109830117B (zh) | 道路规划优化方法、装置、计算机设备及存储介质 | |
CN103116987A (zh) | 一种基于监控视频处理的车流统计和违规检测的方法 | |
CN105336169A (zh) | 一种基于视频判断交通拥堵的方法和系统 | |
CN111027447B (zh) | 一种基于深度学习的道路溢出实时检测方法 | |
US20220237919A1 (en) | Method, Apparatus, and Computing Device for Lane Recognition | |
Odeh | Management of an intelligent traffic light system by using genetic algorithm | |
JP2019192209A (ja) | ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法 | |
CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
CN106327880A (zh) | 一种基于监控视频的车速识别方法及其系统 | |
CN110733507A (zh) | 车道变换及道路隔离方法、装置、设备及存储介质 | |
CN110986994B (zh) | 一种基于高噪音车辆轨迹数据的换道意图自动标注方法 | |
CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
CN114141022B (zh) | 应急车道占用行为检测方法、装置、电子设备及存储介质 | |
CN111563425B (zh) | 交通事件识别方法及电子设备 | |
CN116704750B (zh) | 一种基于聚类算法的交通状态识别方法、电子设备、介质 | |
CN116311913B (zh) | 一种基于ai视频智能分析的高速路段拥堵分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150513 Termination date: 20210912 |
|
CF01 | Termination of patent right due to non-payment of annual fee |