JP2015194544A - 細胞撮像制御装置および方法並びにプログラム - Google Patents
細胞撮像制御装置および方法並びにプログラム Download PDFInfo
- Publication number
- JP2015194544A JP2015194544A JP2014071378A JP2014071378A JP2015194544A JP 2015194544 A JP2015194544 A JP 2015194544A JP 2014071378 A JP2014071378 A JP 2014071378A JP 2014071378 A JP2014071378 A JP 2014071378A JP 2015194544 A JP2015194544 A JP 2015194544A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- autofocus
- image
- evaluation value
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Urology & Nephrology (AREA)
- Food Science & Technology (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Biophysics (AREA)
- Hematology (AREA)
- Molecular Biology (AREA)
- Medicinal Chemistry (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Automatic Focus Adjustment (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
Description
と同様に、細胞画像全体のコントラストに基づくオートフォーカス制御である。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相差レンズ34に入射された直接光は対物レンズ35によって集光され、位相リングを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、培養容器15内の細胞によって回折された回折光は大部分が位相板の透明板を通過し、その位相および明るさは変化しない。
死細胞やゴミなどの浮遊物にフォーカスが合っているフォーカス位置が存在すると判定する(S44,NO)。
2 細胞撮像制御装置
3 位相差顕微鏡
4 ディスプレイ
5 入力装置
10 ステージ
11 搬送部
12 制御部
15 培養容器
21 細胞画像取得部
22 細胞検出部
23 制御部
24 オートフォーカス制御部
25 表示制御部
26 コントラスト情報取得部
33 対物レンズ
34 位相差レンズ
35 対物レンズ
36 位相板
37 結像レンズ
38 撮像素子
Claims (11)
- 非染色の細胞への光の照射による前記細胞の透過光または反射光を撮影した細胞画像を取得して該細胞画像内における前記細胞または該細胞内の構造体を検出する細胞検出部と、
該細胞検出部によって検出された細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、前記細胞画像を撮像する撮像装置に対して前記オートフォーカス評価値に基づくオートフォーカス制御信号を出力するオートフォーカス制御部とを備えたことを特徴とする細胞撮像制御装置。 - 前記細胞画像のコントラスト情報を取得するコントラスト情報取得部を備え、
前記オートフォーカス制御部が、前記オートフォーカス制御信号によるオートフォーカス制御によって前記撮像装置により撮像された細胞画像について、前記細胞または構造体の画像情報に基づくオートフォーカス評価値および前記コントラスト情報に基づくオートフォーカス評価値をそれぞれ算出し、前記コントラスト情報に基づくオートフォーカス評価値が最大となり、かつ前記細胞または構造体の画像情報に基づくオートフォーカス評価値が最大でないフォーカス位置が存在する場合には、フォーカス位置をオートフォーカス制御開始時の原点位置に戻す制御信号を前記撮像装置に出力するものである請求項1記載の細胞撮像制御装置。 - 前記オートフォーカス制御部が、前記フォーカス位置を前記原点位置に戻した後、前記前記コントラスト情報に基づくオートフォーカス評価値が最大となるフォーカス位置よりも前記原点位置側の範囲内において前記オートフォーカス制御を行うものである請求項2記載の細胞撮像制御装置。
- 前記原点位置が、前記細胞が培養される容器の底面の位置または前記細胞が設置された設置面の位置である請求項2または3記載の細胞撮像制御装置。
- 前記オートフォーカス制御部が、前記細胞または構造体の画像情報に基づいて、前記細胞または前記構造体の個数または面積を取得し、該個数または面積に基づいて前記オートフォーカス評価値を算出するものである請求項1から4いずれか1項記載の細胞撮像制御装置。
- 前記オートフォーカス制御部が、フォーカス位置の移動可能範囲を変更するものである請求項1から5いずれか1項記載の細胞撮像制御装置。
- 前記オートフォーカス制御部が、前記細胞または前記構造体の大きさに関する情報に基づいて、前記フォーカス位置の移動可能範囲を変更するものである請求項6記載の細胞撮像制御装置。
- 前記構造体が、前記細胞の核小体または核である請求項1から7いずれか1項記載の細胞撮像制御装置。
- 前記細胞が、幹細胞、薬効検査の際に採取された細胞または生検の際に採取された細胞である請求項1から8いずれか1項記載の細胞観察装置。
- 非染色の細胞への光の照射による前記細胞の透過光または反射光を撮影した細胞画像を取得して該細胞画像内における前記細胞または該細胞内の構造体を検出し、
該検出した細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、前記細胞画像を撮像する撮像装置に対して前記オートフォーカス評価値に基づくオートフォーカス制御信号を出力することを特徴とする細胞撮像制御方法。 - コンピュータを、非染色の細胞への光の照射による前記細胞の透過光または反射光を撮影した細胞画像を取得して該細胞画像内における前記細胞または該細胞内の構造体を検出する細胞検出部と、
該細胞検出部によって検出された細胞または構造体の画像情報に基づいてオートフォーカス評価値を算出し、前記細胞画像を撮像する撮像装置に対して前記オートフォーカス評価値に基づくオートフォーカス制御信号を出力するオートフォーカス制御部として機能させることを特徴とする細胞撮像制御プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014071378A JP6219214B2 (ja) | 2014-03-31 | 2014-03-31 | 細胞撮像制御装置および方法並びにプログラム |
PCT/JP2015/054412 WO2015151616A1 (ja) | 2014-03-31 | 2015-02-18 | 細胞撮像制御装置および方法並びにプログラム |
US15/271,634 US10330907B2 (en) | 2014-03-31 | 2016-09-21 | Cell imaging control device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014071378A JP6219214B2 (ja) | 2014-03-31 | 2014-03-31 | 細胞撮像制御装置および方法並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015194544A true JP2015194544A (ja) | 2015-11-05 |
JP6219214B2 JP6219214B2 (ja) | 2017-10-25 |
Family
ID=54239954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014071378A Expired - Fee Related JP6219214B2 (ja) | 2014-03-31 | 2014-03-31 | 細胞撮像制御装置および方法並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10330907B2 (ja) |
JP (1) | JP6219214B2 (ja) |
WO (1) | WO2015151616A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017221616A1 (ja) * | 2016-06-20 | 2017-12-28 | 東洋製罐グループホールディングス株式会社 | 培養細胞の撮像方法及び装置 |
WO2018003340A1 (ja) * | 2016-07-01 | 2018-01-04 | ソニー株式会社 | 画像取得方法、画像取得装置、プログラム及び培養容器 |
JP2018077337A (ja) * | 2016-11-09 | 2018-05-17 | 富士フイルム株式会社 | 撮像装置および方法並びに撮像制御プログラム |
JP2018081666A (ja) * | 2016-03-18 | 2018-05-24 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法及びプログラム |
JP2019500038A (ja) * | 2015-12-23 | 2019-01-10 | 上海吉倍生物技術有限公司Shanghai GenBase Biotechnology Co., Ltd. | 全自動細胞連続培養システム |
WO2019225177A1 (ja) * | 2018-05-25 | 2019-11-28 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
JP2020522016A (ja) * | 2017-05-30 | 2020-07-27 | カール・ツァイス・マイクロスコピー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツングCarl Zeiss Microscopy GmbH | オーバビューコントラスト画像を生成及び解析する方法 |
US11016279B2 (en) | 2016-07-11 | 2021-05-25 | Olympus Corporation | Observation device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019070751A (ja) | 2017-10-10 | 2019-05-09 | オリンパス株式会社 | 観察装置および焦点調節方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09189850A (ja) * | 1996-01-09 | 1997-07-22 | Olympus Optical Co Ltd | オートフォーカス顕微鏡 |
JPH10502466A (ja) * | 1994-07-01 | 1998-03-03 | ジェフレイ エイチ. プライス, | スキャニングマイクロスコピー用オートフォーカスシステム |
JP2008020498A (ja) * | 2006-07-10 | 2008-01-31 | Olympus Corp | 自動焦点検出装置 |
JP2008046305A (ja) * | 2006-08-14 | 2008-02-28 | Olympus Corp | 自動合焦装置、顕微鏡および自動合焦方法 |
JP2012042668A (ja) * | 2010-08-18 | 2012-03-01 | Sony Corp | 顕微鏡制御装置及び領域判定方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06138119A (ja) | 1992-04-08 | 1994-05-20 | Kagaku Gijutsucho Hoshasen Igaku Sogo Kenkyusho | 細胞自動分類・分析装置 |
JP4797522B2 (ja) | 2005-09-08 | 2011-10-19 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
JP5040191B2 (ja) | 2006-06-29 | 2012-10-03 | 富士通株式会社 | マイクロインジェクション装置及び自動焦点調整方法 |
JP2008116526A (ja) | 2006-11-01 | 2008-05-22 | Matsushita Electric Ind Co Ltd | 顕微鏡画像の処理装置及び処理方法 |
US8016090B2 (en) * | 2008-07-25 | 2011-09-13 | Target Brands, Inc. | Collapsible container |
JP5430188B2 (ja) | 2009-03-16 | 2014-02-26 | オリンパス株式会社 | 細胞画像解析装置及び細胞の画像を撮像する方法 |
US8385624B2 (en) * | 2009-05-13 | 2013-02-26 | David J. Charlot | Automated transient image cytometry |
WO2011132586A1 (ja) * | 2010-04-23 | 2011-10-27 | 浜松ホトニクス株式会社 | 細胞観察装置および細胞観察方法 |
JP5780865B2 (ja) | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
US9025881B2 (en) * | 2012-02-06 | 2015-05-05 | Nanyang Technological University | Methods and apparatus for recovering phase and amplitude from intensity images |
KR20140010553A (ko) * | 2012-07-13 | 2014-01-27 | 삼성전자주식회사 | 픽셀 어레이, 이를 포함하는 이미지 센서, 및 상기 이미지 센서의 로컬 다크 전류 보상 방법 |
TW201514599A (zh) * | 2013-10-07 | 2015-04-16 | Novatek Microelectronics Corp | 影像感測器及影像擷取系統 |
-
2014
- 2014-03-31 JP JP2014071378A patent/JP6219214B2/ja not_active Expired - Fee Related
-
2015
- 2015-02-18 WO PCT/JP2015/054412 patent/WO2015151616A1/ja active Application Filing
-
2016
- 2016-09-21 US US15/271,634 patent/US10330907B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10502466A (ja) * | 1994-07-01 | 1998-03-03 | ジェフレイ エイチ. プライス, | スキャニングマイクロスコピー用オートフォーカスシステム |
JPH09189850A (ja) * | 1996-01-09 | 1997-07-22 | Olympus Optical Co Ltd | オートフォーカス顕微鏡 |
JP2008020498A (ja) * | 2006-07-10 | 2008-01-31 | Olympus Corp | 自動焦点検出装置 |
JP2008046305A (ja) * | 2006-08-14 | 2008-02-28 | Olympus Corp | 自動合焦装置、顕微鏡および自動合焦方法 |
JP2012042668A (ja) * | 2010-08-18 | 2012-03-01 | Sony Corp | 顕微鏡制御装置及び領域判定方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019500038A (ja) * | 2015-12-23 | 2019-01-10 | 上海吉倍生物技術有限公司Shanghai GenBase Biotechnology Co., Ltd. | 全自動細胞連続培養システム |
JP2018081666A (ja) * | 2016-03-18 | 2018-05-24 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法及びプログラム |
WO2017221616A1 (ja) * | 2016-06-20 | 2017-12-28 | 東洋製罐グループホールディングス株式会社 | 培養細胞の撮像方法及び装置 |
WO2018003340A1 (ja) * | 2016-07-01 | 2018-01-04 | ソニー株式会社 | 画像取得方法、画像取得装置、プログラム及び培養容器 |
US11016279B2 (en) | 2016-07-11 | 2021-05-25 | Olympus Corporation | Observation device |
US10551607B2 (en) | 2016-11-09 | 2020-02-04 | Fujifilm Corporation | Imaging apparatus and method and imaging control program |
JP2018077337A (ja) * | 2016-11-09 | 2018-05-17 | 富士フイルム株式会社 | 撮像装置および方法並びに撮像制御プログラム |
JP2020522016A (ja) * | 2017-05-30 | 2020-07-27 | カール・ツァイス・マイクロスコピー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツングCarl Zeiss Microscopy GmbH | オーバビューコントラスト画像を生成及び解析する方法 |
US11307398B2 (en) | 2017-05-30 | 2022-04-19 | Carl Zeiss Microscopy Gmbh | Method for generating and analyzing an overview contrast image |
JP7153418B2 (ja) | 2017-05-30 | 2022-10-14 | カール・ツァイス・マイクロスコピー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | オーバビューコントラスト画像を生成及び解析する方法 |
WO2019225177A1 (ja) * | 2018-05-25 | 2019-11-28 | ソニー株式会社 | 制御装置、制御方法、およびプログラム |
JPWO2019225177A1 (ja) * | 2018-05-25 | 2021-07-15 | ソニーグループ株式会社 | 制御装置、制御方法、およびプログラム |
JP7243718B2 (ja) | 2018-05-25 | 2023-03-22 | ソニーグループ株式会社 | 制御装置、制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10330907B2 (en) | 2019-06-25 |
US20170010455A1 (en) | 2017-01-12 |
JP6219214B2 (ja) | 2017-10-25 |
WO2015151616A1 (ja) | 2015-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6219214B2 (ja) | 細胞撮像制御装置および方法並びにプログラム | |
JP6461128B2 (ja) | 細胞評価装置および方法並びにプログラム | |
JP6595156B2 (ja) | 細胞画像取得装置および方法並びにプログラム | |
JP6301199B2 (ja) | 細胞評価装置および方法並びにプログラム | |
JP6173950B2 (ja) | 細胞撮像制御装置および方法並びにプログラム | |
JP4663602B2 (ja) | 自動合焦装置、顕微鏡および自動合焦方法 | |
JP6143365B2 (ja) | 細胞画像評価装置および方法並びにプログラム | |
WO2017145487A1 (ja) | 顕微鏡および観察方法 | |
JP2018000102A (ja) | 撮影装置および方法並びに撮影制御プログラム | |
JP6097952B2 (ja) | 観察画像判定装置および方法並びにプログラム | |
KR102149625B1 (ko) | 촬영 화상 평가 장치 및 방법과, 프로그램 | |
KR20180102118A (ko) | 위상차 현미경 및 촬상 방법 | |
JP6667419B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
JP6619315B2 (ja) | 観察装置および方法並びに観察装置制御プログラム | |
JP6499506B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
JP6785947B2 (ja) | 細胞画像評価装置および方法並びにプログラム | |
WO2019225325A1 (ja) | 観察装置、観察装置の作動方法、及び観察制御プログラム | |
KR20180104041A (ko) | 세포 관찰 장치 및 방법 | |
JP6534294B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
JP6406008B2 (ja) | 光学観察装置 | |
JP2018157830A (ja) | 細胞画像取得装置および方法並びにプログラム | |
JP2016208856A (ja) | 撮像装置および方法並びに撮像制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170404 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6219214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |