CN101819493A - 交互式显示屏幕及其方法 - Google Patents

交互式显示屏幕及其方法 Download PDF

Info

Publication number
CN101819493A
CN101819493A CN 201010175181 CN201010175181A CN101819493A CN 101819493 A CN101819493 A CN 101819493A CN 201010175181 CN201010175181 CN 201010175181 CN 201010175181 A CN201010175181 A CN 201010175181A CN 101819493 A CN101819493 A CN 101819493A
Authority
CN
China
Prior art keywords
display screen
specific light
electric signal
light information
deriving means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010175181
Other languages
English (en)
Other versions
CN101819493B (zh
Inventor
周倩
马建设
张松
程雪岷
郭洪峰
刘敏霞
郭华林
毛乐山
林喜荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN 201010175181 priority Critical patent/CN101819493B/zh
Publication of CN101819493A publication Critical patent/CN101819493A/zh
Application granted granted Critical
Publication of CN101819493B publication Critical patent/CN101819493B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

本发明提供一种交互式显示屏幕及其方法。交互式显示屏幕包括:显示屏幕(300),成像装置(200),用于对具有特定光信息的物体(100)形成包含其空间位置信息的像;光位置获取装置(400),用于把所述成像装置(200)所形成的、包含具有特定光信息的物体(100)空间位置信息的像转化为相应的位置电信号;处理单元(500),用于处理所述光位置获取装置(400)所传送来的位置电信号,并控制所述显示屏幕(300)做出相应的显示。本发明的优点在于,不需要对显示屏幕本身有额外的要求即可实现交互式的输入,适用于任何显示屏幕,例如投影屏幕或者CRT显示屏等,因此能以较低的成本实现大屏幕的交互式输入。

Description

交互式显示屏幕及其方法
技术领域
本发明涉及一种交互式显示屏幕及交互式显示的方法。
背景技术
交互式的输入是指用户在显示的图像中直接操作,并能及时显示出用户的相应操作,交互式输入已经越来越多的应用到各种场合。其中触摸板作为最常用的交互式输入设备,广泛地应用到PDA、笔记本电脑、手机、工控机、大屏幕电视、电子白板等领域。与传统的鼠标、键盘相比,采用触摸板直接在显示画面上进行的操作直观而简便,受到了人们的欢迎。
但是在大屏幕显示领域,触摸板的使用还比较少,这是因为现有触摸板技术往往采用接近(接触)传感器来实现交互式输入,但是一旦显示屏幕尺寸过大,则制造难度加大,而且成本也会急剧上升。
发明内容
本发明所要解决的技术问题是提供一种交互式显示屏幕及交互式显示的方法,能够大面积的显示屏幕上以较高反应速度和精度的进行交互输入。
本发明的目的是通过以下技术方案来实现的:
一种交互式显示屏幕,包括:显示屏幕;
成像装置,用于对具有特定光信息的物体形成包含其空间位置信息的像;
光位置获取装置,用于把所述成像装置所形成的、包含具有特定光信息的物体空间位置信息的像转化为相应的位置电信号;
处理单元,用于处理所述光位置获取装置所传送来的位置电信号,并控制所述显示屏幕做出相应的显示。
更具体来说,为了获取所述具有特定光信息的物体相对于所述显示屏幕的显示平面的位置信息,需要以该显示平面对其确定一个横向坐标和纵向坐标。所述成像装置包括:相互成一定角度设置的两个反射镜。只要这两个反射镜不相互平行,即相互成一定角度,则这两个反射镜所成的像中都能分解出包含所述具有特定光信息的物体的关于该显示平面对其确定相应的横向坐标和纵向坐标。
作为本发明交互式显示屏幕的一个实施例,所述显示屏幕的显示平面为矩形;所述成像装置包括:第一横向反射镜、第二横向反射镜、第一纵向反射镜和第二纵向反射镜;所述第一横向反射镜和第二横向反射镜分别设置在所述显示屏幕的显示平面相对的横向边的边缘位置处,并与所述显示平面成一定角度;所述第一纵向反射镜和第二纵向反射镜分别设置在所述显示屏幕的显示平面相对的纵向边的边缘位置处,并与所述显示平面成一定角度。
与之相应的,所述光位置获取装置包括:
第一光位置获取装置,用于把所述第一横向反射镜所形成的、包含具有特定光信息的物体空间位置信息的像转化为相应的位置电信号;
第二光位置获取装置,用于把所述第二横向反射镜所形成的、包含具有特定光信息的物体空间位置信息的像转化为相应的位置电信号;
第三光位置获取装置,用于把所述第一纵向反射镜所形成的、包含具有特定光信息的物体空间位置信息的像转化为相应的位置电信号;
和第四光位置获取装置,用于把所述第二纵向反射镜所形成的、包含具有特定光信息的物体空间位置信息的像转化为相应的位置电信号。
为了更好的获取包含具有特定光信息的物体空间位置信息的像,光位置获取装置包括:光路整形装置和光学传感器;所述光路整形装置包括:设置在所述光学传感器与所述成像装置之间的反射镜及透镜,用于把所述成像装置所形成的包含其空间位置信息的像传送到所述光学传感器;所述光学传感器将光信号转换为相应的位置电信号,并传送到所述处理单元。
所述光学传感器采用COMS图像传感器、电荷耦合器件图像传感器或者位置敏感传感器获得相应的位置电信号。
一种采用交互式显示屏幕的交互式显示的方法,包括以下步骤:
具有特定光信息的物体靠近所述的交互式显示屏幕;
成像装置对具有特定光信息的物体形成包含其空间位置信息的像;
光位置获取装置把所述成像装置所形成的、包含具有特定光信息的物体空间位置信息的像转化为相应的位置电信号;
处理单元处理所述光位置获取装置所传送来的位置电信号,并控制所述显示屏幕做出相应的显示。
在本发明交互式显示的方法的一种实施例中,所述具有特定光信息的物体包括:发出特定光的光源。如果在同一个交互式显示屏幕同时有两个或者两个以上具有特定光信息的物体的时候,所述处理单元是应该能分辨出不同的光源所发出的光的。可以采用的办法有:不同的具有特定光信息的物体所包括的光源所发出的光的波长是有区别的。
在本发明交互式显示的方法的另一种实施例中,所述具有特定光信息的物体为不自发光的特定物体,即如手指或者普通的不发光的指点笔等,这样,所述处理单元通过图像识别算法获得该具有特定光信息的物体的位置。
为了进一步提高交互式输入的效果,所述显示屏幕具有接触传感器,将所述具有特定光信息的物体与所述显示屏幕接触的力的信号转换为相应的电信号,并传送到所述处理单元处理。
与现有技术相比本发明的优点在于,不需要对显示屏幕本身有额外的要求即可实现交互式的输入,适用于任何显示屏幕,例如投影屏幕或者CRT显示屏等,因此能以较低的成本实现大屏幕的交互式输入。
附图说明
图1是本发明的交互式显示屏幕第一种实施例的立体结构图;
图2是本发明的交互式显示屏幕第一种实施例的剖面图;
图3是本发明的交互式显示屏幕第一种实施例的投影定位的示意图;
图4是本发明的交互式显示屏幕第一种实施例对一个具有特定光信息的物体定位的示意图;
图5是本发明的交互式显示屏幕第一种实施例对两个具有特定光信息的物体定位的示意图;
图6是本发明的交互式显示屏幕第二种实施例的剖面图;
图7是本发明的交互式显示屏幕第三种实施例的剖面图;
图8是本发明的交互式显示屏幕第四种实施例的剖面图。
具体实施方式
下面结合附图和较佳的实施例对本发明作进一步说明。
如图1和图2所示,交互式显示屏幕应包括:显示屏幕300、成像装置200、光位置获取装置400和处理单元500。所述成像装置200用于对具有特定光信息的物体100形成包含其空间位置信息的像。光位置获取装置400用于把所述成像装置200所形成的、包含具有特定光信息的物体100空间位置信息的像转化为相应的位置电信号。所述处理单元500用于处理所述光位置获取装置400所传送来的位置电信号,并控制所述显示屏幕300做出相应的显示。
具体来说,所述显示屏幕300的显示平面为矩形。所述成像装置200包括:第一横向反射镜211、第二横向反射镜212、第一纵向反射镜221和第二纵向反射镜222。所述第一横向反射镜211和第二横向反射镜212分别设置在所述显示屏幕300的显示平面相对的横向边的边缘位置处,并与所述显示平面成一定角度;所述第一纵向反射镜221和第二纵向反射镜222分别设置在所述显示屏幕300的显示平面相对的纵向边的边缘位置处,并与所述显示平面成一定角度。所述成像装置200的反射镜与所述显示平面成一定角度能够便于成像。
与之相应的,所述光位置获取装置400包括:第一光位置获取装置401、第二光位置获取装置402、第三光位置获取装置403和第四光位置获取装置404。其中,第一光位置获取装置401用于把所述第一横向反射镜211所形成的、包含具有特定光信息的物体100空间位置信息的像转化为相应的位置电信号;第二光位置获取装置402用于把所述第二横向反射镜212所形成的、包含具有特定光信息的物体100空间位置信息的像转化为相应的位置电信号;第三光位置获取装置403用于把所述第一纵向反射镜221所形成的、包含具有特定光信息的物体100空间位置信息的像转化为相应的位置电信号;和第四光位置获取装置404用于把所述第二纵向反射镜222所形成的、包含具有特定光信息的物体100空间位置信息的像转化为相应的位置电信号。
为了更好的获取包含具有特定光信息的物体空间位置信息的像,光位置获取装置400包括:光路整形装置410和光学传感器420。所述光路整形装置410包括:设置在所述光学传感器420与所述成像装置200之间的反射装置及透镜,用于把所述成像装置200所形成的包含其空间位置信息的像传送到所述光学传感器420。所述光学传感器420将光信号转换为相应的位置电信号,并传送到所述处理单元500。
所述光学传感器420采用COMS图像传感器、电荷耦合器件图像传感器或者位置敏感传感器获得相应的位置电信号。
对应所述第一光位置获取装置401、第二光位置获取装置402、第三光位置获取装置403和第四光位置获取装置404,都分别具有相互物理上分离的光学传感器420。而在某些实施例中,多个光位置获取装置之间可以共用一个物理上整合的光学传感器。
采用所述的交互式显示屏幕的交互式显示的方法包括以下步骤:
具有特定光信息的物体100靠近所述的交互式显示屏幕;
成像装置200对具有特定光信息的物体100形成包含其空间位置信息的像;
光位置获取装置400把所述成像装置200所形成的、包含具有特定光信息的物体100空间位置信息的像转化为相应的位置电信号;
处理单元500处理所述光位置获取装置400所传送来的位置电信号,并控制所述显示屏幕300做出相应的显示。
其中,所述显示屏幕300具有接触传感器,将所述具有特定光信息的物体100与所述显示屏幕300接触的力的信号转换为相应的电信号,并传送到所述处理单元500处理。
如图3和图4所示,当所述成像装置200的反射镜与所述显示屏幕300的显示平面的夹角为135°。所述具有特定光信息的物体100分别由第一横向反射镜211、第二横向反射镜212、第一纵向反射镜221和第二纵向反射镜222形成四个像。上述横向设为x方向,上述纵向设为y方向。沿x方向放置的两个反射镜对所述具有特定光信息的物体100成的像分别为4x′,4x″,沿y方向的反射镜对所述具有特定光信息的物体100成的像为4y′,4y″。由于正交投影的原理,4x′与4x″在触摸平面上的投影的位置不受触摸用笔在y方向上的位移的影响;同理,4y′与4y″在触摸平面上的投影的位置不受触摸用笔在x方向上的位移的影响。
例如,所述具有特定光信息的物体100移动到新位置100’,经过所述成像装置200反射镜成像,其像也发生变化。但如果仅仅是x方向的移动,则其y方向的投影位置不发生变化。
显然,由所述成像装置200对所述具有特定光信息的物体100所形成的、包含其空间位置信息的像中,包含有具有特定光信息的物体100的位置信息。其中,沿x方向设置的横向反射镜211、212能够获得所述具有特定光信息的物体100的x方向位置的信息;沿y方向设置的横向反射镜221、222能获得所述具有特定光信息的物体100的y方向位置的信息,这样也就能够获得确定的所述具有特定光信息的物体100在所述显示屏幕300的显示屏面上确定的位置了。
光路整形装置410与所述成像装置200配合设置,将所述具有特定光信息的物体100的像传送到光学传感器420,转化成包含有所述具有特定光信息的物体100位置信息的位置电信号。
如果显示平面是一个封闭的曲线面,例如圆,则可以设置沿其边缘封闭曲线的反射镜,此时该反射镜可以认为是有无穷多个反射面,即无穷多个反射镜。
显然,最少只要有两个相互成一定角度的成像面,所述成像装置200最少只要包括相互成一定角度设置的两个反射镜,为了便于数据处理,两个反射镜的轴线方向可以设置为相互垂直。而本实施例中,所述成像装置200使用四面反射镜是为了防止所述具有特定光信息的物体100有障碍物遮挡,而多余的反射镜的冗余设置可以保证工作可靠。
如图5所示,如图4不同的是,同时有两个不同的具有特定光信息的物体101、102在同一所述交互式显示屏幕中工作。为实现对不同的具有特定光信息的物体的坐标的分离,可以采用多种方式,例如,不同的具有特定光信息的物体有着不同的颜色,或者具有不同的形状,甚至可以发出不同颜色的光等等。所述处理单元500可以从分离出不同的具有特定光信息的物体,并分别读取它们的坐标。其中,具有特定光信息的物体101的坐标分别是(X1’,X1”,Y1’,Y1”),具有特定光信息的物体102的坐标分别是(X2’,X2”,Y2’,Y2”)。
在如图6所示的交互式显示屏幕的实施例中,所述光路整形装置410包括依次接收所述成像装置200的光并传送到所述光学传感器420的:第一反射装置411、透镜组413和第二反射装置412。
在如图7所示的交互式显示屏幕的实施例中,所述光路整形装置410包括依次接收所述成像装置200的光并传送到所述光学传感器420的:第一反射装置411和透镜组413。
如图8所示,所述具有特定光信息的物体100包括:发出特定光的光源。如果在同一个交互式显示屏幕同时有两个或者两个以上具有特定光信息的物体的时候,所述处理单元是应该能分辨出不同的光源所发出的光的。可以采用的办法有:不同的具有特定光信息的物体所包括的光源所发出的光的波长是有区别的。
而在上述的其他实施例中,所述具有特定光信息的物体100为不自发光的特定物体,即如手指或者普通的不发光的指点笔等。这样,所述处理单元通过图像识别算法获得该具有特定光信息的物体的位置。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (9)

1.一种交互式显示屏幕,包括:显示屏幕(300),其特征在于,还包括:
成像装置(200),用于对具有特定光信息的物体(100)形成包含其空间位置信息的像;
光位置获取装置(400),用于把所述成像装置(200)所形成的、包含具有特定光信息的物体(100)空间位置信息的像转化为相应的位置电信号;
处理单元(500),用于处理所述光位置获取装置(400)所传送来的位置电信号,并控制所述显示屏幕(300)做出相应的显示;
其中,光位置获取装置(400)包括:光路整形装置(410)和光学传感器(420);所述光路整形装置(410)包括:设置在所述光学传感器(420)与所述成像装置(200)之间的反射装置及透镜,用于把所述成像装置(200)所形成的包含其空间位置信息的像传送到所述光学传感器(420);所述光学传感器(420)将光信号转换为相应的位置电信号,并传送到所述处理单元(500)。
2.如权利要求1所述的交互式显示屏幕,其特征在于,所述光学传感器(420)采用COMS图像传感器、电荷耦合器件图像传感器或者位置敏感传感器获得相应的位置电信号。
3.如权利要求1所述的交互式显示屏幕,其特征在于,所述成像装置(200)包括:相互成一定角度设置的两个反射镜。
4.如权利要求3所述的交互式显示屏幕,其特征在于,所述显示屏幕(300)的显示平面为矩形;所述成像装置(200)包括:第一横向反射镜(211)、第二横向反射镜(212)、第一纵向反射镜(221)和第二纵向反射镜(222);所述第一横向反射镜(211)和第二横向反射镜(212)分别设置在所述显示屏幕(300)的显示平面相对的横向边的边缘位置处,并与所述显示平面成一定角度;所述第一纵向反射镜(221)和第二纵向反射镜(222)分别设置在所述显示屏幕(300)的显示平面相对的纵向边的边缘位置处,并与所述显示平面成一定角度。
5.如权利要求4所述的交互式显示屏幕,其特征在于,所述光位置获取装置(400)包括:
第一光位置获取装置(401),用于把所述第一横向反射镜(211)所形成的、包含具有特定光信息的物体(100)空间位置信息的像转化为相应的位置电信号;
第二光位置获取装置(402),用于把所述第二横向反射镜(212)所形成的、包含具有特定光信息的物体(100)空间位置信息的像转化为相应的位置电信号;
第三光位置获取装置(403),用于把所述第一纵向反射镜(221)所形成的、包含具有特定光信息的物体(100)空间位置信息的像转化为相应的位置电信号;
和第四光位置获取装置(404),用于把所述第二纵向反射镜(222)所形成的、包含具有特定光信息的物体(100)空间位置信息的像转化为相应的位置电信号。
6.一种采用如权利要求1至5中任一权利要求所述的交互式显示屏幕的交互式显示的方法,其特征在于,包括以下步骤:
具有特定光信息的物体(100)靠近所述的交互式显示屏幕;
成像装置(200)对具有特定光信息的物体(100)形成包含其空间位置信息的像;
光位置获取装置(400)把所述成像装置(200)所形成的、包含具有特定光信息的物体(100)空间位置信息的像转化为相应的位置电信号;
处理单元(500)处理所述光位置获取装置(400)所传送来的位置电信号,并控制所述显示屏幕(300)做出相应的显示。
7.如权利要求6所述的交互式显示的方法,其特征在于,所述具有特定光信息的物体(100)包括:发出特定光的光源。
8.如权利要求6所述的交互式显示的方法,其特征在于,所述具有特定光信息的物体(100)为不自发光的特定物体;所述处理单元(500)通过图像识别算法获得该具有特定光信息的物体(100)的位置。
9.如权利要求6所述的交互式显示的方法,其特征在于,所述显示屏幕(300)具有接触传感器,将所述具有特定光信息的物体(100)与所述显示屏幕(300)接触的力的信号转换为相应的电信号,并传送到所述处理单元(500)处理。
CN 201010175181 2008-12-22 2008-12-22 交互式显示屏幕及其方法 Expired - Fee Related CN101819493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010175181 CN101819493B (zh) 2008-12-22 2008-12-22 交互式显示屏幕及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010175181 CN101819493B (zh) 2008-12-22 2008-12-22 交互式显示屏幕及其方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008102413893A Division CN101446875B (zh) 2008-12-22 2008-12-22 一种交互式显示屏幕及交互式显示的方法

Publications (2)

Publication Number Publication Date
CN101819493A true CN101819493A (zh) 2010-09-01
CN101819493B CN101819493B (zh) 2013-03-06

Family

ID=42654617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010175181 Expired - Fee Related CN101819493B (zh) 2008-12-22 2008-12-22 交互式显示屏幕及其方法

Country Status (1)

Country Link
CN (1) CN101819493B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013104314A1 (zh) * 2012-01-09 2013-07-18 西安智意能电子科技有限公司 一种用于确定发射装置相对检测装置的三维位置的系统
CN104516592A (zh) * 2013-09-27 2015-04-15 联想(北京)有限公司 信息处理设备和信息处理方法
CN108234839A (zh) * 2016-12-14 2018-06-29 谷歌有限责任公司 用于相机系统的薄陶瓷成像屏幕

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0897161B1 (en) * 1997-08-07 2007-10-10 Fujitsu Limited Optical scanning-type touch panel
CN1896939A (zh) * 2005-10-18 2007-01-17 冯志刚 一种实现电脑手写绘图板可视输入的装置
CN100507813C (zh) * 2007-01-19 2009-07-01 清华大学 嵌入式屏幕光点定位装置
CN101446875B (zh) * 2008-12-22 2012-02-29 清华大学深圳研究生院 一种交互式显示屏幕及交互式显示的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013104314A1 (zh) * 2012-01-09 2013-07-18 西安智意能电子科技有限公司 一种用于确定发射装置相对检测装置的三维位置的系统
CN104516592A (zh) * 2013-09-27 2015-04-15 联想(北京)有限公司 信息处理设备和信息处理方法
CN104516592B (zh) * 2013-09-27 2017-09-29 联想(北京)有限公司 信息处理设备和信息处理方法
CN108234839A (zh) * 2016-12-14 2018-06-29 谷歌有限责任公司 用于相机系统的薄陶瓷成像屏幕
CN108234839B (zh) * 2016-12-14 2021-01-29 谷歌有限责任公司 用于相机系统的薄陶瓷成像屏幕

Also Published As

Publication number Publication date
CN101819493B (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
US9658765B2 (en) Image magnification system for computer interface
US9454260B2 (en) System and method for enabling multi-display input
US20080303786A1 (en) Display device
TWI446249B (zh) 光學影像式觸控裝置
CN102063231A (zh) 一种基于图像检测的非接触式电子白板系统及检测方法
US8664582B2 (en) Display with an optical sensor
US9696842B2 (en) Three-dimensional cube touchscreen with database
JP2006252093A (ja) 力覚式タッチパネルを具備したインターフェイス装置
US20110199337A1 (en) Object-detecting system and method by use of non-coincident fields of light
CN101446875B (zh) 一种交互式显示屏幕及交互式显示的方法
TWI423094B (zh) 光學式觸控裝置及其運作方法
CN201611477U (zh) 一种光学触摸屏
CN101819493B (zh) 交互式显示屏幕及其方法
KR101065771B1 (ko) 터치 디스플레이 시스템
KR20160148769A (ko) 공간 터치 기능을 갖는 입체 영상 표시 장치
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
JP6632429B2 (ja) 情報表示装置および情報表示方法
WO2013076824A1 (ja) タッチパネル装置における情報処理方法、および、タッチパネル装置
CN101067761A (zh) 用于与显示系统进行交互操作的方法及设备
CN201859424U (zh) 显示器触控系统
US8564570B2 (en) Optical touch apparatus and operating method thereof
CN102929434B (zh) 投影系统与其影像处理方法
KR101687954B1 (ko) 적외선 스테레오 카메라를 이용한 필기 인식 시스템 및 그 방법
JP2012133487A (ja) 座標入力装置、座標入力方法
KR101176311B1 (ko) 발광체를 이용한 좌표인식용 터치스크린

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130306

Termination date: 20201222

CF01 Termination of patent right due to non-payment of annual fee