JP2570966B2 - Point device device - Google Patents

Point device device

Info

Publication number
JP2570966B2
JP2570966B2 JP5160571A JP16057193A JP2570966B2 JP 2570966 B2 JP2570966 B2 JP 2570966B2 JP 5160571 A JP5160571 A JP 5160571A JP 16057193 A JP16057193 A JP 16057193A JP 2570966 B2 JP2570966 B2 JP 2570966B2
Authority
JP
Japan
Prior art keywords
information
user
menu item
individual difference
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5160571A
Other languages
Japanese (ja)
Other versions
JPH0720988A (en
Inventor
倫太郎 村岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP5160571A priority Critical patent/JP2570966B2/en
Publication of JPH0720988A publication Critical patent/JPH0720988A/en
Application granted granted Critical
Publication of JP2570966B2 publication Critical patent/JP2570966B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、視線入力によるポイン
トデバイス装置に関し、特に計算機システムにおけるユ
ーザインタフェイスを円滑に行うための技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a point device using a line of sight input, and more particularly to a technique for smoothly performing a user interface in a computer system.

【0002】[0002]

【従来の技術】従来のポイントデバイス装置では、アイ
コンなどのグラフィカルユーザインタフェイスを用いて
人間と計算機システムが対話を行う場合、マウス、ライ
トペン、ジョイスティックなどを使用するのが一般的で
ある。
2. Description of the Related Art In a conventional point device, when a human and a computer system interact with each other using a graphical user interface such as an icon, a mouse, a light pen, a joystick, and the like are generally used.

【0003】この内、マウス装置を例にして従来のポイ
ントデバイス装置について図面を参照して説明する。図
3は従来例のポイントデバイス装置であるマウス装置の
システム構成図である。
A conventional point device will be described with reference to the drawings, taking a mouse device as an example. FIG. 3 is a system configuration diagram of a mouse device which is a conventional point device device.

【0004】この従来例のマウス装置のシステムは、座
標計測手段11’と補正手段12’とから成る座標検出
手段1’と、カーソル表示手段2と、メニュ項目検出手
段3と、メニュ項目実行要求検出手段4と、メニュ項目
実行手段5と、座標100と、選択メニュ項目情報30
0とから構成されている。ここで、計算機システムの利
用者たる人間が、マウス装置を移動させることで、座標
検出手段1’の座標変位検出手段11’により2次元座
標の変位を検出し、その変位を入力として補正手段1
2’により新たな座標100を算出し、ディスプレイ上
のカーソルを移動させている。座標100が決定する
と、計算機システムはカーソル表示手段2を用いて、デ
ィスプレイ上の該当する座標へカーソルを表示し、利用
者に現在ポイントしている座標を知らせる。同時にメニ
ュ項目検出手段3は、座標100を入力としてカーソル
と重なっているメニュ項目を検出し、検出されたメニュ
項目の情報を選択メニュ項目300に格納する。そし
て、計算機システムは、メニュ項目実行要求検出手段4
により、利用者からの実行要求を受け取ると、メニュ項
目実行手段5を起動し、利用者の要求が受け付けられた
ことを通知する。メニュ項目実行手段5は、選択メニュ
項目情報300を参照し、その選択されたメニュ項目に
該当する処理をシステムで実行する。
The conventional mouse device system includes a coordinate detecting means 1 'comprising a coordinate measuring means 11' and a correcting means 12 ', a cursor displaying means 2, a menu item detecting means 3, a menu item executing request Detecting means 4, menu item executing means 5, coordinates 100, selected menu item information 30
0. Here, a human who is a user of the computer system moves the mouse device, thereby detecting a two-dimensional coordinate displacement by the coordinate displacement detecting means 11 'of the coordinate detecting means 1', and using the displacement as an input, the correcting means 1
New coordinates 100 are calculated by 2 ', and the cursor on the display is moved. When the coordinates 100 are determined, the computer system uses the cursor display means 2 to display a cursor at the corresponding coordinates on the display to notify the user of the coordinates to which the user is currently pointing. At the same time, the menu item detecting means 3 detects the menu item overlapping the cursor by using the coordinates 100 as an input, and stores information on the detected menu item in the selected menu item 300. Then, the computer system executes the menu item execution request detecting means 4
Thus, when an execution request from the user is received, the menu item execution means 5 is activated, and the fact that the request from the user has been received is notified. The menu item executing means 5 refers to the selected menu item information 300 and executes a process corresponding to the selected menu item in the system.

【0005】[0005]

【発明が解決しようとする課題】システムの利用者がシ
ステムと対話を行うときは、キーボードを使用するのが
一般的であるが、最近ではディスプレイ上に表示したメ
ニュ項目(選択肢)をポイントデバイス装置を用いて選
択する機会も増えている。
When a user of a system interacts with the system, it is common to use a keyboard, but recently, menu items (options) displayed on a display are point device devices. Opportunities to select using are also increasing.

【0006】しかし、上述した従来のポイントデバイス
装置(マウスなどの機器)でメニュ項目をポイントする
には、利用者がキーボードから手を離さなくてはなら
ず、またカーソルの移動に時間がかかるなどの欠点があ
った。
However, in order to point to a menu item with the above-mentioned conventional point device (e.g., a device such as a mouse), the user must release his / her hand from the keyboard, and it takes time to move the cursor. There were drawbacks.

【0007】[0007]

【課題を解決するための手段】本発明の目的は、上述し
た利用者のロスタイムを軽減し、作業効率の向上を図っ
た視線入力によるポイントデバイス装置を提供すること
にある。
SUMMARY OF THE INVENTION It is an object of the present invention to provide a point device using a line-of-sight input which reduces the above-mentioned user's loss time and improves work efficiency.

【0008】そのため、本発明のポイントデバイス装置
は、計算機システムの利用者である人間の眼の位置や動
きなどによってディスプレイのどこをみているのかその
座標を計測、算出する手段と、算出された座標を利用者
の身体的特徴による個人差の情報で補正する手段と、利
用者の個人差の情報を計測する手段と、個人差の情報を
格納する手段と、個人差の情報が格納されるメモリと、
補正されて最終的に決定されたディスプレイ上の座標に
カーソルを表示する手段と、表示されたカーソルと重な
っているディスプレイ上のメニュ項目を検出する手段
と、検出したメニュ項目の実行要求が行われたことを検
出する手段と、検出された実行要求を計算機システムに
伝える手段とを有することを特徴としている。
[0008] Therefore, the point device device of the present invention is a means for measuring and calculating the coordinates of where the user is looking at the display based on the position and movement of the human eye who is a user of the computer system, and the calculated coordinates. The user
Means for correcting with information of individual differences due to physical characteristics of the user, means for measuring information of individual differences of users, means for storing information of individual differences, and a memory for storing information of individual differences,
A means for displaying a cursor at the corrected and finally determined coordinates on the display, a means for detecting a menu item on the display overlapping the displayed cursor, and an execution request for the detected menu item are performed. And a means for transmitting the detected execution request to the computer system.

【0009】[0009]

【実施例】次に、本発明の実施例について図面を参照し
て説明する。
Next, embodiments of the present invention will be described with reference to the drawings.

【0010】図1は本発明によるポイントデバイス装置
の一実施例を使用したシステムの構成図である。
FIG. 1 is a block diagram of a system using an embodiment of a point device according to the present invention.

【0011】本発明の実施例のシステムは、座標計測手
段11と補正手段12とから成る座標検出手段1と、カ
ーソル表示手段2と、メニュ項目検出手段3と、メニュ
項目実行要求検出手段4と、メニュ項目実行手段5と、
個人差計測手段6と、個人差登録手段7と、座標100
と、個人差の情報200と、選択メニュ項目情報300
とから構成されている。
The system according to the embodiment of the present invention comprises a coordinate detecting means 1 comprising a coordinate measuring means 11 and a correcting means 12, a cursor displaying means 2, a menu item detecting means 3, a menu item execution request detecting means 4, Menu item executing means 5;
Individual difference measuring means 6, individual difference registering means 7, coordinates 100
, Individual difference information 200, and selection menu item information 300
It is composed of

【0012】座標100は座標検出手段1によって得ら
れた座標データを表し、個人差の情報200は個人差登
録手段7によって格納され、座標検出手段1にて補正情
報として用いられる個人差の情報を表し、選択メニュ項
目情報300はカーソル表示手段2のカーソルによって
ポイントされているメニュ項目の情報を表す。
Coordinates 100 represent coordinate data obtained by the coordinate detecting means 1, and individual difference information 200 is stored by the individual difference registering means 7, and the individual difference information used as correction information by the coordinate detecting means 1 is stored in the coordinate data 100. The selected menu item information 300 indicates information on the menu item pointed to by the cursor of the cursor display unit 2.

【0013】次に、本実施例のポイントデバイス装置の
動作について図面を参照して説明する。
Next, the operation of the point device of this embodiment will be described with reference to the drawings.

【0014】図2は本実施例のポイントデバイス装置の
動作を説明するためのフローチャートである。
FIG. 2 is a flow chart for explaining the operation of the point device device of this embodiment.

【0015】例として、ディスプレイ上にいくつかのメ
ニュ項目(選択肢)が表示されていて、この中の1つを
選択、実行する作業を考える。
[0015] As an example, consider a task in which several menu items (options) are displayed on the display, and one of them is selected and executed.

【0016】従来の技術の項で説明したように、従来例
であるマウス装置の場合の座標100を得るための座標
検出手段1’は、座標変位計測手段11’によってX座
標,Y座標の変位を検出し、補正手段12’により座標
100を補正し、新たにポイントすべき座標100を得
ている。
As described in the section of the prior art, the coordinate detecting means 1 'for obtaining the coordinates 100 in the case of the mouse apparatus according to the prior art uses the coordinate displacement measuring means 11' to displace the X and Y coordinates. Is detected, and the coordinates 100 are corrected by the correction means 12 ′ to obtain coordinates 100 to be newly pointed.

【0017】これに対して、本発明によるポイントデバ
イス装置の場合を図1、図2を用いて説明する。
On the other hand, the case of the point device according to the present invention will be described with reference to FIGS.

【0018】本実施例のポイントデバイス装置では、ま
ず座標計測手段11によって利用者の顔面の角度や眼球
の位置、その動きなどにより利用者の見つめるディスプ
レイ上の座標を計測する。ここで行われる計測結果は、
利用者の身体的な特徴などに大きく依存していると思わ
れ、かなりの個人差を含んでいると考えられる。この個
人差の情報としては、例えば、利用者の身体的な特徴で
ある、眼球の大きさ,瞳の大きさ,鼻の高さなどがあげ
られ、これらは各利用者によって異る。しかしながら、
各利用者が一度登録しておけば、その利用者が利用する
たびに変動する情報ではない。 例えば、座標計測手段1
1にて、顔面の角度測定する際、小型カメラを取り付け
た眼鏡を利用したとすれば、小型カメラが測定できるの
は、眼鏡の向いている方向である。顔面の向いている方
向と眼鏡の向いている方向とは若干のズレが生じる。こ
れを補正するには、鼻の高さ,両耳と鼻の配置などの人
によって異なる身体的特徴で補正する必要が出てくる。
また、眼球の位置(黒目が何処を向いているか)で、座
標(見つめている点)を測定することを考えても、眼球
の大きさ,瞳の大きさは人によって異なるため、利用者
により異なった補正を行う必要が生じる。
In the point device according to the present embodiment, first, the coordinates on the display which the user looks at are measured by the coordinate measuring means 11 based on the angle of the face of the user, the position of the eyeball, and the movement thereof. The measurement results performed here are:
It is thought to depend heavily on the physical characteristics of the user, etc., and it is considered that there are considerable individual differences. This one
As information on human differences, for example, the physical characteristics of the user
There is an eyeball size, pupil size, nose height, etc.
These are different for each user. However,
If each user registers once, that user will use it
It is not information that changes every time. For example, coordinate measuring means 1
At 1, install a small camera when measuring the angle of the face
If you use glasses, you can measure a small camera
Is the direction in which the glasses are facing. Face facing
There is a slight deviation between the direction and the direction in which the glasses are facing. This
To correct this, you can adjust the height of the nose, the placement of both ears and the nose, etc.
It is necessary to correct for different physical characteristics depending on the situation.
Also, depending on the position of the eyeball (where the iris is facing),
Even if you consider measuring the target (the point you are staring at),
Because the size of the eyes and the size of the pupil vary from person to person,
Requires different corrections.

【0019】より正確な座標を得るために、補正手段1
2は、眼鏡などで機械的に測定された座標を個人差の情
報200(眼球の大きさ,瞳の大きさなど)を基に座標
計測手段11で得た座標の修正を行う(ステップ1)。
In order to obtain more accurate coordinates, correction means 1
2 is a method of measuring coordinates measured mechanically with glasses, etc.
Coordinates based on information 200 (eyeball size, pupil size, etc.)
The coordinates obtained by the measuring means 11 are corrected (step 1).

【0020】個人差の情報200は、予め利用者が個人
差計測手段6によって測定し、個人差登録手段7によっ
て個人差の情報200に格納しておくこととする。ま
た、ここで言う個人差の情報200とは、いかなる利用
者からも採取可能なデータであり、かつ補正手段12に
よって正確な座標100を得るのに十分な要素を含んで
いるものとする(ステップ2)。
The individual difference information 200 is measured by the user in advance by the individual difference measuring means 6 and stored in the individual difference information 200 by the individual difference registration means 7. In addition, the individual difference information 200 referred to here is data that can be collected from any user and includes elements sufficient for the corrector 12 to obtain an accurate coordinate 100 (step). 2).

【0021】計算機システムは、座標検出手段1によっ
て利用者の見つめているディスプレイ上の正確な座標1
00を得る。座標100が決定すると、計算機システム
はカーソル表示手段2を用いて、ディスプレイ上の該当
する座標へカーソルを表示し、利用者に現在ポイントし
ている座標を知らせる(ステップ3)。
The computer system uses the coordinate detecting means 1 to determine the exact coordinates 1 on the display that the user is looking at.
00 is obtained. When the coordinates 100 are determined, the computer system uses the cursor display means 2 to display a cursor at the corresponding coordinates on the display to inform the user of the coordinates to which the user is currently pointing (step 3).

【0022】また、同時にメニュ項目検出手段3は、座
標100を入力としてカーソルと重なっているメニュ項
目を検出し、検出されたメニュ項目の情報を選択メニュ
項目300に格納する(ステップ4)。
At the same time, the menu item detecting means 3 detects the menu item overlapping the cursor by using the coordinates 100 as input, and stores information on the detected menu item in the selected menu item 300 (step 4).

【0023】利用者は、視線を移動させ目的のメニュ項
目をポイントし、その実行要求を計算機システムに対し
行う(ステップ5)。
The user moves his / her line of sight, points to a target menu item, and issues an execution request to the computer system (step 5).

【0024】計算機システムは、メニュ項目実行要求検
出手段4により、利用者からの実行要求を受け取ると、
メニュ項目実行手段5を起動し、利用者の要求が受け付
けられたことを通知する。メニュ項目実行手段5は、選
択メニュ項目情報300を参照し、その選択されたメニ
ュ項目に該当する処理をシステムで実行する(ステップ
6)。
When the computer system receives the execution request from the user by the menu item execution request detecting means 4,
The menu item executing means 5 is activated to notify that the user's request has been accepted. The menu item executing means 5 refers to the selected menu item information 300 and executes a process corresponding to the selected menu item in the system (step 6).

【0025】尚、個人差の情報200は、必ずしもポイ
ントデバイス装置の内部に設ける必要はなく、第二の発
明のように、外部記憶装置(例えば、ICカード)を使
用することも可能である。
The individual difference information 200 does not necessarily need to be provided inside the point device, and an external storage device (for example, an IC card) can be used as in the second invention.

【0026】また、第三の発明のように、個人差の情報
200を計算機システム内部に複数登録し、利用者のI
Dなどで個人差の情報200を特定することも可能であ
る。
Also, as in the third invention, a plurality of individual difference information 200 is registered in the computer system, and the
It is also possible to specify the individual difference information 200 by D or the like.

【0027】[0027]

【発明の効果】以上説明したように、本発明のポイント
デバイス装置は、利用者がディスプレイを見つめるだけ
でメニュ項目の選択が可能となり、マウスなどの機器を
利用者がキーボードから手を離さなくても使用でき、ま
た、カーソルの移動の時間を軽減できる効果を奏する。
As described above, the point device device of the present invention allows a user to select a menu item only by looking at the display, and allows the user to release a mouse or other device from the keyboard. Can also be used, and the effect of reducing the time for moving the cursor can be achieved.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明によるポイントデバイス装置の一実施例
を使用したシステムの構成図である。
FIG. 1 is a configuration diagram of a system using an embodiment of a point device device according to the present invention.

【図2】本実施例のポイントデバイス装置の動作を説明
するためのフローチャートである。
FIG. 2 is a flowchart for explaining the operation of the point device device of the embodiment.

【図3】従来例のポイントデバイス装置であるマウス装
置のシステム構成図である。
FIG. 3 is a system configuration diagram of a mouse device which is a conventional point device device.

【符号の説明】[Explanation of symbols]

1,1’ 座標検出手段 2 カーソル表示手段 3 メニュ項目検出手段 4 メニュ項目実行要求検出手段 5 メニュ項目実行手段 6 個人差計測手段 7 個人差登録手段 11,11’ 座標計測手段 12,12’ 補正手段 100 座標 200 個人差の情報 300 選択メニュ項目情報 1, 1 'coordinate detecting means 2 cursor displaying means 3 menu item detecting means 4 menu item execution request detecting means 5 menu item executing means 6 individual difference measuring means 7 individual difference registering means 11, 11' coordinate measuring means 12, 12 'correction Means 100 Coordinate 200 Individual difference information 300 Selection menu item information

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 計算機システムの利用者である人間の眼
の位置や動きなどによってディスプレイのどこをみてい
るのかその座標を計測、算出する手段と、前記算出され
た座標を利用者の身体的特徴による個人差の情報で補正
する手段と、前記利用者の個人差の情報を計測する手段
と、前記個人差の情報を格納する手段と、前記個人差の
情報が格納されるメモリと、前記補正されて最終的に決
定されたディスプレイ上の座標にカーソルを表示する手
段と、前記表示されたカーソルと重なっているディスプ
レイ上のメニュ項目を検出する手段と、前記検出したメ
ニュ項目の実行要求が行われたことを検出する手段と、
前記検出された実行要求を計算機システムに伝える手段
とを有することを特徴とするポイントデバイス装置。
1. A means for measuring and calculating coordinates of a position on a display based on the position and movement of a human eye as a user of a computer system, and using the calculated coordinates as physical characteristics of the user. Means for correcting with the information of the individual difference, means for measuring the information of the individual difference of the user, means for storing the information of the individual difference, a memory in which the information of the individual difference is stored, and the correction Means for displaying a cursor at the coordinates on the display finally determined, a means for detecting a menu item on the display overlapping the displayed cursor, and a request to execute the detected menu item is sent. Means for detecting that
Means for transmitting the detected execution request to a computer system.
【請求項2】 前記個人差の情報が格納されるメモリ
が、ICカードであることを特徴とする請求項1記載の
ポイントデバイス装置。
2. The point device according to claim 1, wherein the memory storing the information on the individual difference is an IC card.
【請求項3】 前記個人差の情報が格納されるメモリ
が、前記計算機システム内に確保され、利用者が特定さ
れると前記個人差の情報が特定されることを特徴とする
請求項1記載のポイントデバイス装置。
3. The memory according to claim 1, wherein a memory for storing the information on the individual difference is secured in the computer system, and the information on the individual difference is specified when a user is specified. Point device equipment.
JP5160571A 1993-06-30 1993-06-30 Point device device Expired - Fee Related JP2570966B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5160571A JP2570966B2 (en) 1993-06-30 1993-06-30 Point device device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5160571A JP2570966B2 (en) 1993-06-30 1993-06-30 Point device device

Publications (2)

Publication Number Publication Date
JPH0720988A JPH0720988A (en) 1995-01-24
JP2570966B2 true JP2570966B2 (en) 1997-01-16

Family

ID=15717849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5160571A Expired - Fee Related JP2570966B2 (en) 1993-06-30 1993-06-30 Point device device

Country Status (1)

Country Link
JP (1) JP2570966B2 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62133519A (en) * 1985-12-06 1987-06-16 Hitachi Ltd Display device

Also Published As

Publication number Publication date
JPH0720988A (en) 1995-01-24

Similar Documents

Publication Publication Date Title
JP7191714B2 (en) Systems and methods for direct pointing detection for interaction with digital devices
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US8773466B2 (en) Image processing apparatus, image processing method, program, and image processing system
US9001006B2 (en) Optical-see-through head mounted display system and interactive operation
WO2014106219A1 (en) User centric interface for interaction with visual display that recognizes user intentions
KR20160080109A (en) Systems and techniques for user interface control
US20220044481A1 (en) Augmented reality screen system and augmented reality screen display method
US11314326B2 (en) Information processing device, information processing method, and program for determining a user gaze
JP2019097675A (en) Sight line detection calibration method, system and computer program
WO2021185110A1 (en) Method and device for eye tracking calibration
EP3944228A1 (en) Electronic device, method for controlling electronic device, program, and storage medium
CN111275769A (en) Monocular vision parameter correction method and device
JP2570966B2 (en) Point device device
CN114167997B (en) Model display method, device, equipment and storage medium
US11294510B2 (en) Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2D camera
JP7287172B2 (en) Display control device, display control method, and program
KR102325684B1 (en) Eye tracking input apparatus thar is attached to head and input method using this
JP6373546B2 (en) Information processing apparatus, information processing method, and program
JP6185301B2 (en) Information processing program, information processing apparatus, information processing system, and method for calculating indicated position
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
CN113095243B (en) Mouse control method and device, computer equipment and medium
US20220192487A1 (en) Method and system for determining dominant eye, and non-transitory computer-readable recording medium
US20230325009A1 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
US20210374991A1 (en) Method, system and non-transitory computer-readable recording medium for supporting object control

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19960903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071024

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081024

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101024

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees