DE4420833C2 - Echtzeit-Röntgenfernsehbildsystem mit einem CCD-Festkörperbildsensor - Google Patents
Echtzeit-Röntgenfernsehbildsystem mit einem CCD-FestkörperbildsensorInfo
- Publication number
- DE4420833C2 DE4420833C2 DE4420833A DE4420833A DE4420833C2 DE 4420833 C2 DE4420833 C2 DE 4420833C2 DE 4420833 A DE4420833 A DE 4420833A DE 4420833 A DE4420833 A DE 4420833A DE 4420833 C2 DE4420833 C2 DE 4420833C2
- Authority
- DE
- Germany
- Prior art keywords
- real
- time
- image
- ray television
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title 1
- 238000001514 detection method Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/30—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from X-rays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/32—Transforming X-rays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
CCD-Sensoren sind in der Auslesegeschwindigkeit beschränkt.
Die Ursache liegt im Frequenzgang des Ausgangsverstärkers auf
dem Chip oder in der limitierten Verschiebungsgeschwindigkeit
der Ladungen in den Registern des CCD-Sensors.
Um höhere Auslesegeschwindigkeiten zu realisieren, baut man
CCD-Sensoren, die zwei oder vier Ausgänge haben, über die das
Bild simultan ausgelesen wird.
Problematisch dabei ist, daß die separaten Ausgangsverstärker
leicht voneinander abweichende Kennlinien (Linearitätsfehler)
haben, so daß sichtbar ist, wo die Trennung des Bildes im
CCD-Sensor liegt. Dies ist ein unerwünschter Effekt, der bei
diagnostischen Röntgenbildern stark ins Gewicht fällt, weil
die Anforderungen an die Amplitudenauflösung, z. B. in der
digitalen Radiographie, sehr hoch sind.
Wenn digitalisiert wird, kommt erschwerend hinzu, daß Ana
log/Digital-Wandler zusätzliche Linearitätsfehler und Lang
zeitdrift sowohl im Gleichspannungsniveau als auch in der
Verstärkung aufweisen. Diese Fehler und zusätzliche Einflüsse
von Analogverstärkern, die dem Sensor vorgeschaltet sind,
führen ebenfalls zu Gleichlauffehlern zwischen den Kanälen.
Besonders unangenehm können die Fehler werden, wenn eine Ver
steilerung der Amplitudenkennlinie, z. B. Logarithmierung für
digitale Subtraktionsangiographie, erforderlich ist.
Wegen der geschilderten Probleme und da digitale Korrekturen
noch erhebliche Bearbeitungszeiten erfordern, war es bisher
problematisch, CCD-Sensoren mit mehr als einem Ausgang für
bildqualitätsempfindliche Anwendungen beim hochauflösenden
Röntgenfernsehen im Echtzeit-Modus zu verwenden. Vielmehr
mußte - soweit möglich - eine Betriebsart gewählt werden, bei
der nur ein Ausgang verwendet wird. Dadurch reduziert sich
jedoch die maximale Bildfrequenz, was die Anwendung derarti
ger Sensoren, z. B. in der Kardiologie, beschränkt.
In DE 32 36 147 A1 ist eine Röntgenfernseheinrichtung be
schrieben, bei der eine Leeraufnahme ohne Röntgenstrahlung
durch Beleuchtung der Fotokathode des Röntgenbildverstärkers
hergestellt wird, die vom Röntgenbild subtrahiert wird, wo
durch Störstrukturen kompensiert werden. Eine Korrektur des
Röntgenbilds selbst während seiner Anfertigung erfolgt nicht.
In US 4,509,077 ist ein elektrooptisches Bildaufnahmesystem
beschrieben, bei dem eine Selbstdiagnose der Wirkung des Fo
tosensors erfolgt und Fehler angezeigt werden. Für Röntgen
aufnahmen ist dieses System nicht geeignet.
Der Erfindung liegt die Aufgabe zugrunde, ein Echtzeit-Rönt
genfernsehbildsystem der eingangs genannten Art so auszubil
den, daß bei einer hohen Auslesegeschwindigkeit eine gute
Bildqualität erzielt wird.
Diese Aufgabe ist erfindungsgemäß gelöst durch die Merkmale
des Patentanspruchs. Bei der Erfindung können Regelkreise
vorgesehen sein, die sowohl die Bildaufnehmer als auch die
nachgeschaltete Signalverarbeitung (Verstärker, Kennlinien
veränderung, Klemmung) einschließen. Zur Erfassung der
Gleichlauffehler soll eine gleichmäßige Vorbelichtung verwen
det werden. Diese wird vorteilhaft durch Lichtquellen (z. B.
Leuchtdioden) vor dem Objektiv der Fernsehkamera realisiert.
Das Prinzip der Erfindung liegt darin, daß man Abweichungen
des Bildsignals von Gleichmäßigkeit innerhalb eines Bildbe
reiches (Dominante) erfaßt und mit geeigneten Stellgliedern
eliminiert. Die Dominante liegt vorteilhaft in der Bildmitte.
Dabei sind Fehler von drei verschiedenen, voneinander unab
hängigen Kategorien zu beseitigen:
- 1. Gleichspannungsfehler oder LSB-Fehler (Least Significant Bit, das Bit mit dem geringsten Gewicht): Dies sind Ampli tudenabweichungen des dunkelsten Bereiches des Bildes z. B. Dunkelstrom-Ungleichmäßigkeiten).
- 2. Unterschiede der mittleren linearen Verstärkung in beiden Kanälen, d. h. Unterschiede in den hellsten Bildpartien.
- 3. Unterschiede in der Linearität.
Die Erfindung ist nachfolgend anhand eines in der Zeichnung
dargestellten Ausführungsbeispieles näher erläutert.
Hier ist nur eine digital arbeitende Version beschrieben,
analoge Ausführungen sind ebenfalls möglich. Eine Lichtquelle
1 beleuchtet in Pausenzeiten der Röntgenanlage (keine Durch
leuchtung und kein Aufnahmebetrieb, signalisiert von der
Röntgenanlage 12) über das Objektiv 2 den CCD-Sensor 3. Der
CCD-Sensor 3 wird vom Fernsehsystem 11 angesteuert. Der CCD-
Sensor 3 hat zwei Ausgänge A und B, deren on-Chip-Videover
stärker und analoge Signalvorverarbeitung einschließlich dou
ble correlated sampling, d. h. doppelt korrellierte Abtastung,
sowie gegebenenfalls weitere Vorverstärkung im Bauelement 4
zusammengefaßt sind. Block 5 enthält Maßnahmen zur Kennlinienveränderung,
z. B. Logarithmierer für digitale Subtrak
tionsangiographie. Im Block 6 erfolgt eine getastete Klemmung
des Videosignals vor einem weiteren Verstärker 7 und dem Ana
log/Digital-Wandler 8. Der Digitalspeicher 9 dient zur Spei
cherung des gesamten Bildes. Die Bauelemente 4 bis 9 sind dem
Ausgang A des CCD-Sensors 3 zugeordnet.
Im weiteren Signalweg des Ausgangs B sollen die notwendigen
Korrekturen zur Erzielung des Gleichlaufes durchgeführt wer
den. Dazu gehören die Vorverstärkerstufe 14 (entspricht Bau
element 4 des Kanals A), die Kennlinienveränderung 15 (ent
spricht Block 5 im Kanal A), das Stellglied 16 (entspricht
Block 6 im Kanal A), der Vorverstärker 17 und der A/D-Wandler
18 (entsprechend 7 und 8 im Kanal A). Der Digitalspeicher 9
ist beiden Kanälen zugeordnet. Der Kanal B enthält zusätzlich
das Stellglied 19, welches die Linearität der Kanäle anpaßt.
Die Mittel zur Erzielung der Linearisierung bestehen aus
zumindest einer steuerbaren Kennlinienverkrümmung. Den
Bausteinen 16, 18 und 19 sind die Bausteine 20, 21 bzw. 22
zugeordnet, welche die Speicherung und D/A-Wandlung der zum
Kennlinienangleich erforderlichen Daten (Baustein 20: An
gleich im Bildschwarzen; Baustein 21: Linearitätsangleich,
Spannungswert des Kennlinienknickes, Ausprägung des Knickes;
Baustein 22: Angleich im Bildweißen) übernehmen. Im Kompara
tor 23 werden die Digitalsignale der beiden Kanäle vergli
chen. Dabei ist es vorteilhaft, wenn in der Steuerung 13 eine
Dominante erzeugt wird, die eine Torschaltung 24 ansteuert
und bestimmt, welche Signale hier verglichen werden. Das Er
gebnis des Vergleichs wird in den Bausteinen 20, 21 und 22
zwischengespeichert, digital-analog gewandelt und den als
Stellgliedern ausgebildeten Bausteinen 16, 18 und 19 zuge
führt. Angenommen wird ein CCD-Sensor in Interline-Transfer-
Architektur mit zwei horizontalen Ausleseregistern. Es fallen
simultan die Videosignale einer geraden und der benachbarten
ungeraden Zeile eines Vollbildes an.
Abgleichschritte:
Abgleichschritte:
- 1. Angleich der beiden Ausgänge für Dunkelstrom. Die Licht quelle 1 ist abgeschaltet. Die Dunkelstrom-Bildsignale werden im Komparator 23 subtrahiert und das innerhalb der gewählten Dominante anfallende Meßergebnis in der Spei cherschaltung 20 zwischengespeichert und dem Stellglied 16 zugeführt. Der neu eingestellte Amplitudenwert für den Dunkelstrom des Kanals B wird bei der folgenden Abtastung wirksam und wiederum mit dem Dunkelstrom des Kanals A ver glichen. Der Vorgang wiederholt sich so lange, bis der De tektor 28 für die Größe des Regelhubs der Steuerung 13 signalisiert, daß der Unterschied zwischen beiden Kanälen genügend klein geworden ist.
- 2. Abgleich für Bildweiß
Analog zur Einstellung des Dunkelstromverhaltens erfolgt die Einstellung auf gleichen Amplitudenwert im Bildweißen. Hierzu wird die Lichtquelle 1 so betrieben, daß eine Aus steuerung des CCD-Sensors 3 bis kurz vor Einsatz des Bloo mings erfolgt. Die Schritte zur Erzielung des Gleichlaufs erfolgen analog wie bei 1. Stellglied ist jedoch z. B. die Amplitudenparametrierung des A-/D-Wandlers 18. Dies ist ein Eingang des A/D-Wandlers 18, mit dem der Wandlungsbereich (Spannungshub) festgelegt wird. - 3. Linearitätsabweichungen
Die Lichtquelle 1 wird so betrieben, daß eine von Bild zu Bild mit von Null bis zur Intensität wie bei 2., z. B. in 5%-Schritten steigende Helligkeit, resultiert. Die Schal tung 29 stellt fest, wo die Differenz zwischen den Kanälen am größten ist. Hier wird mit dem Stellglied 19 die Linearität der Kanäle angepaßt. Das Stellglied 19 kann z. B. aus Einzelhalbleitern (bipolare Transistoren oder Feldeffekttransistoren, evtl. Dioden-Widerstandskombina tionen) oder ICs die Kennlinienveränderung bewirken. - 4. Da die Verstellung der Linearität unter Umständen geringe Auswirkungen auf den Kanalgleichlauf im Dunkeln, aber merkliche Auswirkungen auf den Gleichlauf in hellen Bild partien haben kann, sorgt eine Steuerung (Baustein 21) da für, daß anschließend an eine Kennlinienveränderung die Abgleichschritte wieder bei 1. beginnen und dieser Zyklus erst dann abgebrochen wird, wenn die Differenzen zwischen den Kanälen hinreichend klein sind.
Claims (2)
1. Echtzeit-Röntgenfernsehbildsystem mit einem CCD-Sensor (3)
und einer Beleuchtungsvorrichtung (1) zur gleichmäßigen Vor
belichtung des CCD-Sensors (3) sowie einer Erfassungsschal
tung (Kanal B) zur Erfassung der Abweichungen des Bildsignals
von einem vorgegebenen Wert, welche eine Stellschaltung (16,
18, 19) zur Eliminierung dieser Abweichungen steuert.
2. Echtzeit-Röntgenfernsehbildsystem nach Anspruch 1, bei dem
die Erfassung innerhalb einer Dominante des Bildes erfolgt.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4420833A DE4420833C2 (de) | 1994-06-15 | 1994-06-15 | Echtzeit-Röntgenfernsehbildsystem mit einem CCD-Festkörperbildsensor |
US08/490,661 US5541974A (en) | 1994-06-15 | 1995-06-15 | Real-time x-ray video imaging system having a CCD solid state image sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE4420833A DE4420833C2 (de) | 1994-06-15 | 1994-06-15 | Echtzeit-Röntgenfernsehbildsystem mit einem CCD-Festkörperbildsensor |
Publications (2)
Publication Number | Publication Date |
---|---|
DE4420833A1 DE4420833A1 (de) | 1995-12-21 |
DE4420833C2 true DE4420833C2 (de) | 1996-11-07 |
Family
ID=6520599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4420833A Expired - Fee Related DE4420833C2 (de) | 1994-06-15 | 1994-06-15 | Echtzeit-Röntgenfernsehbildsystem mit einem CCD-Festkörperbildsensor |
Country Status (2)
Country | Link |
---|---|
US (1) | US5541974A (de) |
DE (1) | DE4420833C2 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19847219C2 (de) * | 1998-10-13 | 2000-07-06 | Ziehm Gmbh | Röntgendiagnostikeinrichtung mit Bildverstärker und CCD-Kamera und einer Schaltung zur Regelung der Dosisleistung der Röntgenröhre und der Verstärkung des Videoverstärkers sowie einem Verfahren hierzu |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3197559B2 (ja) * | 1990-07-02 | 2001-08-13 | バリアン・メディカル・システムズ・インコーポレイテッド | 画像増強検出器を使用するコンピュータx線断層撮影装置 |
JP3377323B2 (ja) * | 1995-02-09 | 2003-02-17 | 株式会社モリタ製作所 | 医療用x線撮影装置 |
DE19613662A1 (de) * | 1996-04-04 | 1997-10-09 | Siemens Ag | Röntgendiagnostikanlage |
JPH11513220A (ja) * | 1996-07-08 | 1999-11-09 | フィリップス エレクトロニクス エヌ ベー | 一定パターンノイズの補正 |
DE69731061T2 (de) * | 1996-07-08 | 2005-10-06 | Koninklijke Philips Electronics N.V. | Röntgenstrahluntersuchungsvorrichtung mit halbleiterröntgendetektor |
JP4346687B2 (ja) * | 1996-12-23 | 2009-10-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | X線画像センサマトリックス及び補正ユニットを有するx線検査装置 |
JP2001501071A (ja) * | 1997-07-11 | 2001-01-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 補正システムを含む撮像装置及びx線検査装置 |
CA2388256A1 (en) | 1999-10-08 | 2001-04-19 | Dentsply International Inc. | Automatic exposure control for dental panoramic and cephalographic x-ray equipment |
DE60110206T2 (de) | 2000-02-02 | 2006-03-09 | Gendex Corp. | Automatische erkennung von röntgenstrahlung für interorales dentales röntgenbildaufnahmegerät |
JP2004536643A (ja) * | 2001-07-25 | 2004-12-09 | デンツプライ インターナショナル インコーポレーテッド | 実時間デジタルx線撮像装置 |
AU2003261200A1 (en) | 2002-07-25 | 2004-02-25 | Dentsply International Inc. | Real-time digital x-ray imaging apparatus and method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3106627A1 (de) * | 1981-02-23 | 1982-09-09 | Siemens AG, 1000 Berlin und 8000 München | Roentgendiagnostikeinrichtung mit einem regelkreis fuer die belichtungsregelung |
DE3236147A1 (de) * | 1982-09-29 | 1984-03-29 | Siemens AG, 1000 Berlin und 8000 München | Roentgenfernseheinrichtung mit einer verarbeitungsschaltung zur beseitigung von stoerstrukturen |
US4509077A (en) * | 1982-12-17 | 1985-04-02 | Ncr Canada Ltd-Ncr Canada Ltee | Automatic, self-diagnosing, electro-optical imaging system |
US5461658A (en) * | 1993-05-21 | 1995-10-24 | U.S. Philips Corporation | X-ray examination apparatus |
-
1994
- 1994-06-15 DE DE4420833A patent/DE4420833C2/de not_active Expired - Fee Related
-
1995
- 1995-06-15 US US08/490,661 patent/US5541974A/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19847219C2 (de) * | 1998-10-13 | 2000-07-06 | Ziehm Gmbh | Röntgendiagnostikeinrichtung mit Bildverstärker und CCD-Kamera und einer Schaltung zur Regelung der Dosisleistung der Röntgenröhre und der Verstärkung des Videoverstärkers sowie einem Verfahren hierzu |
Also Published As
Publication number | Publication date |
---|---|
DE4420833A1 (de) | 1995-12-21 |
US5541974A (en) | 1996-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4420833C2 (de) | Echtzeit-Röntgenfernsehbildsystem mit einem CCD-Festkörperbildsensor | |
DE3687877T2 (de) | Kamera und verfahren zur bilderzeugung. | |
DE3535753C1 (de) | Signalprozessor | |
DE69428723T2 (de) | Einrichtung und Verfahren zur Kompensation von bei Datenkommunikation auftretender Verschiebungs- und Verstärkungsdrift | |
DE3780998T2 (de) | Schaltung zur schwarzwertkorrektur fuer videokamera. | |
DE602005005553T2 (de) | Abbildungsvorrichtung und Abbildungsverfahren | |
CH674584A5 (de) | ||
EP2207343B1 (de) | Bildsensor | |
DE3119751C2 (de) | Röntgendiagnostikeinrichtung | |
DE3331732C2 (de) | Vorrichtung zur Anpassung des Bildhelligkeitsbereiches eines Videobildes an den Widergabereich einer photographischen Emulsion | |
DE2053116B2 (de) | Schaltungsanordnung zur kompensation von amplitudenfehlern in bildsignalen | |
DE3732634A1 (de) | Roentgendiagnostikeinrichtung | |
DE2342916A1 (de) | Verfahren und vorrichtung zum kompensieren der fehlueberdeckung in einem vielkanalfernsehsystem | |
DE4431491C1 (de) | Verfahren und Vorrichtung zur Korrektur des Weißabgleichs eines Videofarbbildsignals | |
DE10226588A1 (de) | Bildaufnahmegerät und Bildaufnahmeverfahren für ein Mikroskop | |
DE3020318A1 (de) | Streulichtausgleichsschaltungsanordnung fuer fernsehen | |
DE69017192T2 (de) | Verfahren und gerät zur signal-rausch-verhältnis-verbesserung in einer fernsehfilmeinrichtung. | |
DE102013209164B4 (de) | Digitale Filmkamera | |
DE102014007401B4 (de) | Verfahren zur Bildaufnahme einer stroboskopisch beleuchteten Szene und Bildaufnahmevorrichtung | |
DE19801968A1 (de) | Verfahren und Vorrichtung zur Konvergenzkorrektur in einem Fernsehgerät | |
EP0944997B1 (de) | Verfahren zur archivierung von bildvorlagen mittels digitaler bilddatenverarbeitung | |
DE3309949A1 (de) | Elektronische bildverarbeitungsvorrichtung | |
DE19837483C2 (de) | Verfahren und Vorrichtung zur Aufnahme optischer Eigenschaften einer relativbewegten Szene | |
DE4424905C1 (de) | Röntgendiagnostikeinrichtung mit einem CCD-Bildwandler | |
WO1999003261A1 (de) | Vorrichtung und verfahren zum erfassen eines optischen signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8120 | Willingness to grant licences paragraph 23 | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |