DE3880075T2 - Vorrichtung zur Kompensation der Verzerrung gekrümmter transparenter Flächen. - Google Patents

Vorrichtung zur Kompensation der Verzerrung gekrümmter transparenter Flächen.

Info

Publication number
DE3880075T2
DE3880075T2 DE88202353T DE3880075T DE3880075T2 DE 3880075 T2 DE3880075 T2 DE 3880075T2 DE 88202353 T DE88202353 T DE 88202353T DE 3880075 T DE3880075 T DE 3880075T DE 3880075 T2 DE3880075 T2 DE 3880075T2
Authority
DE
Germany
Prior art keywords
distortion
camera
receiver
deflection
anamorphosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE88202353T
Other languages
English (en)
Other versions
DE3880075D1 (de
Inventor
Fernand Loy
Jean-Claude Perrin
Joel Rollin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Gloeilampenfabrieken NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Gloeilampenfabrieken NV filed Critical Philips Gloeilampenfabrieken NV
Application granted granted Critical
Publication of DE3880075D1 publication Critical patent/DE3880075D1/de
Publication of DE3880075T2 publication Critical patent/DE3880075T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/08Anamorphotic objectives
    • G02B13/10Anamorphotic objectives involving prisms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Lenses (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Telescopes (AREA)
  • Eyeglasses (AREA)

Description

  • Die Erfindung betrifft eine Vorrichtung zur Kompensation, in einem bestimmten Spektralbereich, der optischen Verzeichnung, die aus der Betrachtung eines Gesichtsfeldes durch eine transparente, zwischen dem Gesichtsfeld und einem mit einem Objektiv versehenen Empfänger aufgestellte Wand hindurch herrührt, wobei die Form der Wand eine Verzeichnung ohne Rotationssymmetrie verursacht, die eine Krümmung und eine Längenänderung in dem Bild der Objekte des Gesichtsfeldes hervorruft.
  • Eine solche Vorrichtung wird beispielsweise in der Luftfahrt verwendet, wenn die transparente Wand das Cockpitfenster des Flugzeuges bildet und der Empfänger eine die Szene aufnehmende Kamera an Bord dieses Flugzeuges ist. Dieses Cockpitfenster hat üblicherweise konische Form und die dadurch tretenden optischen Strahlenbündel erfahren daher eine erhebliche Verzeichnung, die zu korrigieren oder wenigstens zu reduzieren notwendig ist.
  • Die genannte Vorrichtung verschafft eine optische Korrektur, die die folgenden Bedingungen erfüllt:
  • - Das System ändert die Bildauflösung nicht.
  • - Es zeigt einen einfachen Entwurf, ist kompakt und leicht zu regeln.
  • Eine derartige Vorrichtung ist bereits Gegenstand einer zum Stand der Technik nach Artikel 54(3) EPÜ gehörenden Patentanmeldung EP-A 0 270 166 der Anmelderin gewesen, in der die Korrektur einer Differentialverzeichnung zwischen dem Beobachter (Auge des Piloten) und dem Empfänger (Beobachtungs-Kamera) behandelt wird.
  • Der erfindungsgemäßen Vorrichtung liegt die Aufgabe zugrunde, die Gesamtverzeichnung des Bildes in Höhe der Kamera zu korrigieren.
  • Die zu lösende Aufgabe ist etwas schwieriger, da der verfügbare Raum viel kleiner ist und die Gesichtsfelder größer sind. Die zu kompensierende Krümmung ist hier also viel stärker und schwankt sehr stark mit dem Feld.
  • Die zur Behebung dieser zusätzlichen Schwierigkeiten vorgeschlagene erfindungsgemäße optische Vorrichtung der eingang definierten Art ist dadurch gekennzeichnet, daß sie aus der Kombination aus dem genannten Empfänger und aus einem parallele Strahlenbündel verwendenden, optischen System gebildet wird, das in dem Strahlengang zwischen dem Empfänger und der Wand angeordnet ist, wobei das optische System ein einziges Gebilde aus miteinander verbundenen, eine achromatische Gesamtheit bildenden Ablenkprismen mit unterschiedlicher Brechzahl ist, das eine Ablenkung und eine Anamorphose in einer ersten Richtung bewirkt, und wobei das Objektiv des Empfängers eine geregelte Brennweite hat, um, als Funktion dessen Verzeichnung, in einer zu der ersten Richtung senkrechten Richtung eine Anamorphose zu bewirken.
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im folgenden näher beschrieben. Es zeigen:
  • Figur 1 die Aufgabenstellung;
  • Figur 2 die Formen der zu korrigierenden Verzeichnung und die der durch die Korrektur verursachten Verzeichnung;
  • Figur 3 eine perspektivische Darstellung der erfindungsgemäßen Vorrichtung;
  • Figur 4 einen Schnitt durch die genannte Vorrichtung entlang einer vertikalen Ebene.
  • Die schematische Zeichnung von Figur 1 stellt den Schnitt durch einen Teil der konisch geformten Windschutzscheibe 1 eines Flugzeuges dar, die aus einem in einem vorgegebenen Spektralbereich transparenten Material besteht.
  • Eine Videokamera zeichnet die Landschaft 2 während des Fluges durch diese Windschutzscheibe hindurch auf, wobei infolge der Durchquerung der Scheibe auf dem erzeugten Bild der Szene in der Fokusebene 4 der Austrittspupille 3 der Kamera eine asymmetrische Verzeichnung auftritt, die behoben werden soll, und wobei die Achse der Kamera mit einer von dem Flugzeug abhängigen Bezugsrichtung RFH einen Winkel von -7,5º bildet.
  • Figur 2 zeigt die Form der von dem Cockpitfenster des Flugzeugs erzeugten Gesamtverzeichnung und die von der Kompensationsvorrichtung einzubringenden Verzeichnungen.
  • Ein Quadrat abcd wird durch das Cockpitfenster in a'b'c'd' verformt. Da die Linien a'd' und b'c' senkrecht zur Seite ab des Quadrats bleiben, kann für den Fall dieses Beispiels eine Korrekturvorrichtung vorgeschlagen werden, die eine Anamorphose der Linien bei konstantem Azimut und eine Krümmung der Linien bei konstanter Elevation realisiert.
  • So verformt die Vorrichtung das ursprüngliche Quadrat in ein Rechteck a"b"c"d", und die in a"'b"' und c"'d"' eingebrachte Krümmung muß der durch das Durchqueren des Cockpitfensters erzeugten Krümmung entgegengesetzt gerichtet sein.
  • Erfindungsgemäß wird die Kompensation mit Hilfe eines optischen Systems ausgeführt, das modular aufgebaut und vor der Kamera angebracht ist, und von dem eine perspektivische Ansicht in Figur 3 gegeben wird, die den Verlauf eines von der Austrittspupille 3 der Kamera ausgehenden Strahls zeigt. Die achromatische Korrekturvorrichtung ist aus einer Gesamtheit aus zwei miteinander verbundenen Ablenkprismen 5 und 6 aufgebaut, die zwischen der Pupille 3 und der Windschutzscheibe 1 liegen.
  • Wenn ox die Kameraachse ist, werden die Koordinaten für jeden Punkt des Raumes auf rechtwinklige Achsensysteme oxyz zwischen der Kamera und den verbundenen Prismen und o'x'y'z' nach Ablenkung durch diese Prismen zurückgeführt.
  • Für eine Ablenkung des Einheitsvektors vom Ursprung o bestimmt die Projektion dieses Vektors auf die horizontale Ebene xoy den Azimutwinkel g mit der Achse ox und den Elevationswinkel s mit dem Vektor .
  • Entsprechend bestimmt der Einheitsvektor ' vom Ursprung o' den Azimutwinkel g' und den Elevationswinkel s'.
  • Die Azimut- und Elevationsextremwerte bezüglich der Bezugsrichtung RFH sind:
  • s = 4º und -18º
  • g = ± 15º
  • Die Anamorphosefunktion wird durch eine geringe Änderung der Brennweite der Beobachtungskamera zusammen mit der Ausdehnung der von der Prismengesamtheit 5 und 6 erzeugten Linien bei konstanter Elevation realisiert.
  • Das Rechenprogramm verwendet die folgenden Annahmen für die Untersuchung des Lichtstrahlenganges:
  • - Der Azimut- und Elevationsursprung fällt zu Anfang des Programms mit der Achse ox (Kameraachse) zusammen,
  • - der Ausgangsursprung fällt mit ox' zusammen, wobei ox' mit der optischen Kameraachse am Ausgang des Ablenkprismas zusammenfällt.
  • Unter Berücksichtigung dieser Annahmen liegt die Richtung zu Anfang innerhalb der folgenden Grenzen:
  • - 15º < g < 15º
  • - 10,5º < s < 11,5º
  • Für eine Elevation s und ein Azimut g am Ausgang der Kamera verzeichnet die Windschutzscheibe das Bild so, daß in Höhe der Landschaft der Azimut- und der Elevationswinkel s+&delta;s und g + &delta;g werden.
  • Das zwischen der Kamera und der Windschutzscheibe liegende Korrektursystem sollte also eine von der Kamera ausgehende Richtung (s, g) in eine Richtung (s- &delta;s, g-&delta;g) verändern.
  • Um die Anamorphose in Azimutrichtung zu berechnen, führt man zunächst eine Brennweitenänderung in Höhe der Kamera aus. Die Brennweite f wird f+&delta;f.
  • Wenn ein lineares Format der Abmessung y unter einem Winkel &theta; vom Hauptpunkt des Kameraobjektivs gesehen wird, gilt y = f tan&theta; vor der Brennweitenänderung und y = (f+&delta;f)tan(&theta;+&delta;&theta;) nach der Brennweitenänderung.
  • Im Falle eines komplexen Objektivs ergibt die Abweichung von y eine Verzeichnung dritter Ordnung als Funktion des Feldes. Dies führt zu einer Verzeichnung zweiter Ordnung für die effektive Brennweite. Das homothetische Brennweitenverhältnis ändert sich also als Funktion des Feldes, das heißt als Funktion von s und g und ist zu schreiben als:
  • Am Ausgang der Kamera wird die Visierrichtung durch s' und g' gegeben, für die gilt:
  • tan s' =
  • (s,g) tan s für g = 0;
  • tan s' =
  • für g &ne; 0
  • und tan g' =
  • (s,g) tan g, unabhängig von dem Wert für g,
  • wobei s und g von der Kameraachse aus gerechnet werden.
  • Vor der Korrektur hat das Kameraobjektiv die folgenden Eigenschaften:
  • Brennweite: 11,2 mm
  • Durchmesser der Eintrittspupille 10 mm
  • Der untersuchte Spektralbereich (für die Korrektur der chromatischen Aberration) ist der folgende: &lambda;min = 405 nm, &lambda;mittel = 656 nm, &lambda;max = 850 nm. Die Abweichungen sind für &lambda;mittel berechnet.
  • Bei konstantem Azimutwinkel müssen die Zwischenräume zwischen den Linien vergrößert werden; man hat also g' > g und &delta;f < 0, was einen viel kleineren Wert für die Brennweite bedeutet.
  • Die Berechnungen zeigen, daß man eine Anamorphose dieser Linien von etwa 1,064 erreichen sollte.
  • Die neue Brennweite f' als Funktion der alten ist also:
  • Um die Krümmung der Linien bei konstantem Elevationswinkel zu erzeugen, wird die Eigenschaft eines Ablenkprismas ausgenutzt, in dem Bilde eines parallel zu seiner Kante verlaufenden Spaltes eine Krümmung mit einer zur Basis des Prismas gerichteten Konkavität zu erzeugen.
  • Da die Krümmung hier sehr wichtig ist, muß das am Kopfende angeordnete Prisma 5 eine starke Ablenkung aufweisen. Aber der Nachteil bei einem solchen Prisma ist, daß in Elevationsrichtung eine Änderung des Abstandes der Linien bei konstantem Elevationswinkel erzeugt wird.
  • Das Mittel zur Reduktion dieser Änderung besteht darin, hinter dem Prisma 5 ein weiteres Ablenkprisma 6 umgekehrt anzubringen, das den folgenden Bedingungen genügt:
  • - die von diesem Prisma erzeugte Ablenkung muß sehr viel schwächer sein, um die von dem Prisma 5 eingebrachte Krümmung nicht aufzuheben.
  • - es muß in der Nähe des Ablenkminimums in Richtung des oberen Teil des Feldes wirken.
  • Die totale Korrektur ergibt sich aus der Kombination all dieser Effekte:
  • - Anamorphose in Azimutrichtung durch Änderung der Brennweite,
  • - von der Prismengesamtheit erzeugte Ablenkung und Anamorphose in Elevationsrichtung.
  • In Figur 4, die einen Schnitt durch die Vorrichtung entlang der Ebene xoz zeigt, hat die Abweichung von der optischen Kameraachse nach unten einen Wert von -6,108º, der Spitzenwinkel des Prismas 5 beträgt 20º und der Spitzenwinkel des Prismas 6 ist 5,4º.
  • Man muß also die Gesamtheit aus Kamera + Prisma in bezug auf die Bezugsposition um 6,108º nach oben schwenken.
  • Eine derartige Kombination ermöglicht die Achromatisierung, wenn die verbundenen Prismen 5 und 6 beispielsweise aus Gläsern mit Brechzahlen 1,508 (K7) bzw. 1,796 (SF6) bestehen.
  • Die erfindungsgemäße Vorrichtung weist die Vorteile eines verringerten Raumbedarfs und damit Verringerung der Kosten auf, da sie nur zwei optische Einzelteile enthält.
  • Dagegen haben die wichtigsten Abweichungen von der optischen Achse eine viel größere Schwenkung der Gesamtheit aus Korrekturvorrichtung + Kamera zur Folge.

Claims (1)

1 Vorrichtung zur Kompensation, in einem bestimmten Spektralbereich, der optischen Verzeichnung, die aus der Betrachtung eines Gesichtsfeldes (2) durch eine transparente, zwischen dem Gesichtsfeld (2) und einem mit einem Objektiv versehenen Empfänger (3, 4) aufgestellte Wand (1) hindurch herrührt, wobei die Form der Wand eine Verzeichnung ohne Rotationssymmetrie verursacht, die eine Krümmung und eine Längenänderung in dem Bild der Objekte des Gesichtsfeldes hervorruft, und die Vorrichtung aus der Kombination aus dem genannten Empfänger und aus einem parallele Strahlenbündel verwendenden, optischen System (5, 6) gebildet wird, das in dem Strahlengang zwischen dem Empfänger und der Wand (1) angeordnet ist, wobei das optische System ein einziges Gebilde aus miteinander verbundenen, eine achromatische Gesamtheit bildenden Ablenkprismen (5,6) mit unterschiedlicher Brechzahl ist, das eine Ablenkung und eine Anamorphose in einer ersten Richtung bewirkt, und wobei das Objektiv eine geregelte Brennweite hat, um, als Funktion dessen Verzeichnung, in einer zu der ersten Richtung senkrechten Richtung eine Anamorphose zu bewirken.
DE88202353T 1987-10-27 1988-10-21 Vorrichtung zur Kompensation der Verzerrung gekrümmter transparenter Flächen. Expired - Fee Related DE3880075T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR8714831A FR2622307B1 (fr) 1987-10-27 1987-10-27 Dispositif de rattrapage de la distorsion totale engendree par la forme d'une paroi transparente

Publications (2)

Publication Number Publication Date
DE3880075D1 DE3880075D1 (de) 1993-05-13
DE3880075T2 true DE3880075T2 (de) 1993-10-07

Family

ID=9356201

Family Applications (1)

Application Number Title Priority Date Filing Date
DE88202353T Expired - Fee Related DE3880075T2 (de) 1987-10-27 1988-10-21 Vorrichtung zur Kompensation der Verzerrung gekrümmter transparenter Flächen.

Country Status (5)

Country Link
US (1) US4902098A (de)
EP (1) EP0314243B1 (de)
JP (1) JPH01152873A (de)
DE (1) DE3880075T2 (de)
FR (1) FR2622307B1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011003735A1 (de) 2009-07-08 2011-01-13 Robert Bosch Gmbh Verzeichnungskorrektur von videosystemen
WO2013068450A1 (de) * 2011-11-10 2013-05-16 Leopold Kostal Gmbh & Co. Kg Kameraanordnung für ein kraftfahrzeug

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0507297A3 (en) * 1991-04-03 1993-09-15 Canon Kabushiki Kaisha System and apparatus for image information processing
FR2760924B1 (fr) 1997-03-14 1999-06-04 Thomson Csf Architecture optique pour systeme de vision infrarouge
FR2833717B1 (fr) * 2001-12-14 2004-02-20 Thales Sa Combinaison optique multichamp de type cassegrain
JP5030203B2 (ja) * 2006-08-29 2012-09-19 日本輸送機株式会社 フォークリフトのアクスル機構
FR2969318B1 (fr) * 2010-12-21 2013-08-09 Peugeot Citroen Automobiles Sa Dispositif d'affichage tete haute a lame transparente a faces non paralleles, pour un vehicule
JP5909334B2 (ja) * 2011-07-29 2016-04-26 株式会社日立エルジーデータストレージ 光ビーム走査装置およびそれを用いた画像表示装置
KR102036318B1 (ko) 2012-02-16 2019-11-26 삼성전자주식회사 전자 장치의 카메라 왜곡 현상 방지를 위한 윈도우
JP6201339B2 (ja) * 2013-02-25 2017-09-27 株式会社デンソー ヘッドアップディスプレイ装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2821111A (en) * 1954-09-22 1958-01-28 Taylor Taylor & Hobson Ltd Anamorphotic optical systems
FR1222433A (fr) * 1958-04-15 1960-06-09 Système de prismes achromatiques à distance focale variable pour modifier, allonger et comprimer des images
GB1034811A (en) * 1962-01-12 1966-07-06 Watson W & Sons Ltd Improvements in or relating to microscopes
GB1296573A (de) * 1970-09-22 1972-11-15
US4234891A (en) * 1979-07-30 1980-11-18 The Singer Company Optical illumination and distortion compensator
EP0025335B1 (de) * 1979-09-05 1983-06-08 The Marconi Company Limited Stabilisierbare optische Visiergeräte und Panzerkanonensteuerung mit einem solchen Visiergerät
US4634241A (en) * 1984-04-27 1987-01-06 Canon Kabushiki Kaisha Stereoscopic microscope
FR2607269B1 (fr) * 1986-11-21 1989-03-24 Trt Telecom Radio Electr Dispositif de rattrapage de distorsion

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011003735A1 (de) 2009-07-08 2011-01-13 Robert Bosch Gmbh Verzeichnungskorrektur von videosystemen
DE102009027520A1 (de) 2009-07-08 2011-01-20 Robert Bosch Gmbh Verzeichnungskorrektur von Videosystemen
WO2013068450A1 (de) * 2011-11-10 2013-05-16 Leopold Kostal Gmbh & Co. Kg Kameraanordnung für ein kraftfahrzeug
US10061063B2 (en) 2011-11-10 2018-08-28 Leopold Kostal Gmbh & Co. Kg Camera arrangement for a motor vehicle

Also Published As

Publication number Publication date
US4902098A (en) 1990-02-20
FR2622307A1 (fr) 1989-04-28
JPH01152873A (ja) 1989-06-15
EP0314243B1 (de) 1993-04-07
EP0314243A1 (de) 1989-05-03
DE3880075D1 (de) 1993-05-13
FR2622307B1 (fr) 1990-03-09

Similar Documents

Publication Publication Date Title
DE4324849C2 (de) Videosystem zum Erzeugen eines Farbvideobilds auf einem Schirm
DE3529026C2 (de)
DE69103734T2 (de) Kollimierte Anzeigvorrichtung mit einem aussen, axialen, sphärischen Spiegel für einen Simulator.
DE112016005483T5 (de) Linse mit Freiform-Oberfläche und Head-Up-Display
DE69806783T2 (de) Optische vorrichtung für helmvisier mit einem manginspiegel
DE3880075T2 (de) Vorrichtung zur Kompensation der Verzerrung gekrümmter transparenter Flächen.
DE4128435A1 (de) Hochgeoeffnetes weitwinkelobjektiv
DE1944211C3 (de) Einspiegelungsvorrichtung
DE60202641T2 (de) Raumsparende optische Architektur für Helmvisier mit grossem Sichtfeld
DE3779580T2 (de) Vorrichtung zur kompensation einer verzeichnung.
EP1031866A2 (de) Relaisoptik für ein Ablenksystem sowie ein Ablenksystem
DE102007019017A1 (de) Verfahren und Vorrichtung zum Projizieren eines Bildes auf eine Projektionsfläche
DE69908561T2 (de) Optische vorrichtung mit rohrförmigen spiegel für am helm befestigtes sichtgerät
DE69015155T2 (de) Strahlteiler für farbabbildungsvorrichtung.
DE69807478T2 (de) Bilddarstellungsvorrichtung für helmanzeige
DE2728342A1 (de) Prismatische kombination zur periskopischen beobachtung
DE102012202637A1 (de) Projektionskopf für einen Laserprojektor
DE1772537C3 (de) Einrichtung zum selbsttätigen Ausgleich der Einflüsse zufälliger Bewegungen von optischen Geräten
DE69504076T2 (de) Abbildungsvorrichtung
DE2042508A1 (de) Verfahren und Vorrichtung zur Ver Stärkung der Abhängigkeit der Winkel änderung eines optischen Ausfallstrahls
DE1772827C3 (de) Einrichtung zum selbsttätigen optischen Ausgleich von unerwünschten Kippbewegungen optischer Geräte
DE850264C (de) Mischbildentfernungsmesser mit Mattscheibenscharfeinstellung
DE3020342C2 (de) Optisch-mechanische Abtastvorrichtung
DE60201251T2 (de) Optische Visiervorrichtung für ein Kampffahrzeug
DE19860017A1 (de) Vorrichtung für die Projektion eines Videobildes

Legal Events

Date Code Title Description
8380 Miscellaneous part iii

Free format text: DER INHABER IST ZU AENDERN IN: THOMSON-TRT DEFENSE, PARIS, FR

8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee