DE2951780C2 - Objektuntersuchungs- oder -erkennungssystem - Google Patents

Objektuntersuchungs- oder -erkennungssystem

Info

Publication number
DE2951780C2
DE2951780C2 DE19792951780 DE2951780A DE2951780C2 DE 2951780 C2 DE2951780 C2 DE 2951780C2 DE 19792951780 DE19792951780 DE 19792951780 DE 2951780 A DE2951780 A DE 2951780A DE 2951780 C2 DE2951780 C2 DE 2951780C2
Authority
DE
Germany
Prior art keywords
signal
inspection
horizontal
video signal
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired
Application number
DE19792951780
Other languages
English (en)
Other versions
DE2951780A1 (de
Inventor
Hajime Tokio/Tokyo Yoshida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hajime Industries Ltd
Original Assignee
Hajime Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hajime Industries Ltd filed Critical Hajime Industries Ltd
Publication of DE2951780A1 publication Critical patent/DE2951780A1/de
Application granted granted Critical
Publication of DE2951780C2 publication Critical patent/DE2951780C2/de
Expired legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Sorting Of Articles (AREA)
  • Control Of Conveyors (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

  • Die Erfindung betrifft ein Objektuntersuchungs- oder -erkennungssystem. Mit diesem wird das Fotobild eines zu untersuchenden Objekts von einer lichtelektrischen Bildabtastvorrichtung aufgenommen.
  • Bekannte Untersuchungssysteme für sehr kleine Objekte, welche durch Einrichtungen wie Förderbänder überführt werden, führen normalerweise die Untersuchung durch mikroskopische Vergrößerung des untersuchten Objekts durch. Wenn aber das untersuchte Objekt sehr klein ist, ist es schwierig, genau zu ermitteln, ob das untersuchte Objekt mit hoher Genauigkeit in eine vorbestimmte Ermittlungsposition überführt wird oder nicht. Nach dem Stand der Technik wird die Ankunft des untersuchten Objekts bei der vorbestimmten Ermittlungsposition ermittelt durch einen Lichtschalter, Annäherungsschalter oder dgl.; wenn aber das untersuchte Objekt sehr klein ist, gibt es dabei verschiedene Schwierigkeiten.
  • Um diesen Zustand zu vermeiden, sind bereits Systeme zur Positionsermittlung eines untersuchten Objekts vorgeschlagen worden, bei denen Lichtfühler auf dem Monitorschirm installiert werden, auf den die untersuchten Objekte projiziert werden.
  • Aus der DE-AS 21 19 850 ist eine Vorrichtung für ein Verfahren zum Messen der Bewegung eines Objekts bekannt. Sie umfaßt eine Kameraröhre, die ein Videosignal liefert. Dieses Videosignal wird in ein erstes Teil-Videosignal des gesamten Umgebungsbereichs des Objekts und in ein zweites Teil-Videosignal eines das Objekt enthaltenden Teilbereichs aufgeteilt. Das Objekt ist klein gegenüber dem Erfassungbereich. Es ist eine Objekt-Einfangschaltung vorgesehen mit bzw. in der die Koordinaten des Objekts bestimmt werden. Es werden Korrekturspannungen erzeugt, damit der gewählte Teilbereich der Bewegung des Objekts folgt, daß Objekt also den Teilbereich nicht verläßt. Zusätzlich zu den Ablenkspannungen für die Abtastung des Umgebungsbildes wird die Kameraröhre mit den korrigierten Ablenkspannungen des Teilbereichs gespeist.
  • Diese bekannte Vorrichtung dient dazu, ein sich rasch änderndes Objekt innerhalb seines Umgebungsbereiches in seinen einzelnen Änderungsphasen zu überwachen. Automatisch wird die Messung begonnen, wenn ein gekennzeichnetes Objekt in den Untersuchungsbereich vorliegt. Bei mehreren vorliegenden Objekten erfolgt eine Auswahl, und zwar durch von Hand auf das ausgewählte Objekt gerichteten Lichtstrahl.
  • Die Betrachtung des Gesamtbildes erfolgt auf einem an den Ausgang angeschlossenen Videogerät.
  • Weitere nähere Erläuterung zum Stand der Technik vermittelt die Fig. 1.
  • In dem in Fig. 1 gezeigten bekannten System wird auf einem Förderband 1 ein zu untersuchendes Objekt 2 in der durch einen Pfeil 3 angezeigten Richtung überführt. In einer vorgestimmten Stellung bei dem Förderband ist eine photoelektrische Bildabtastvorrichtung wie beispielsweise eine Fernsehkamera 4 oder dgl. angeordnet, welche das untersuchte Objekt 2 teilweise elektrisch vergrößert. Das Bezugszeichen 5 bezeichnet einen Monitorschirm der photoelektrischen Bildabtastvorrichtung 4, auf welchem in einer vorbestimmten Position ein Lichtfühler 6 angeordnet ist, um die Lage des untersuchten Objekts 2 zu ermitteln. In Fig. 1 ist der schraffierte Block ein Bild 7 des untersuchten Objekts 2 auf dem Förderband 1, welches Bild auf den Monitorschirm 5 mit scharfem Hintergrund projiziert wird, wobei sich das Objekt 2 auf dem Monitorschirm 5 in der durch einen Teil 8 angedeuteten Richtung zu dem Fühler 6 hin bewegt. Wenn dieses Bild 7 beispielsweise den Fühler 6 überlappt, wird dieser tätig und erzeugt ein Startsignal, das einem Objektuntersuchungs- oder -erkennungssystem 9 wie beispielsweise einem Komputer oder dgl. zugeführt wird, um die spezifizierte Untersuchung für das Objekt 2 durchzuführen. Es kann jedoch vorkommen, daß wegen der Gestalt und der Abmessungen des untersuchten Objekts 2 oder seiner Stellung auf dem Förderband 1, z. B., wenn das Bild 7 des in Fig. 1 gezeigten untersuchten Objekts 2 wie der durch gestrichelte Linien angedeutete Block 10 ist und sich in der Richtung des Pfeils 8 auf dem Monitorschirm 5 bewegt, dieses Bild 10 den Fühler 6 nicht überlappt. Daher beginnt in diesem Fall das Untersuchungssystem 9 nicht mit seiner Untersuchungstätigkeit, und folglich wird die Untersuchung des Objekts 2 nicht durchgeführt. Obwohl zur Vermeidung eines solchen Zustands der Fühler 6 unter gebührender Beachtung der Abtastrichtung der Fernsehkamera 4 und der Überführungsrichtung des untersuchten Objekts 2 angeordnet wird, ist es möglich, daß eine derartige Unmöglichkeit der Untersuchung auftritt.
  • Da ferner die Positionsermittlung des untersuchten Objekts 2 in Intervallen von 16,7 Millisekunden stattfinden soll, wird vom funktionellen Standpunkt der Fernsehkamera 4 die Positionsermittlung unvermeidbar innerhalb von 16,7 Millisekunden variieren oder streuen.
  • Weiterhin ist festzustellen, daß auch bei Störung des Monitor-Fernsehempfängers oder bei Abnahme seiner Helligkeit keine Tätigkeit stattfindet, wozu noch die Tatsache kommt, daß der Monitor-Fernsehempfänger ständig in Bewegung ist, so daß noch der Mangel einer verkürzten Lebensdauer auftritt.
  • Aufgabe der vorliegenden Erfindung ist, ein solches Objektuntersuchungssystem anzugeben, das zuverlässige Erfassung und Untersuchung auch bei sehr kleinen Objekten und sehr kurzer Untersuchungszeit gewährleistet.
  • Diese Aufgabe wird mit einem System mit den Merkmalen des Anspruchs 1 gelöst.
  • Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnungen beschrieben. Es zeigt:
  • Fig. 1 ein Schemabild eines herkömmlichen Objekterkennungssystems;
  • Fig. 2 ein Blockschaltbild einer Ausführungsform des Objekterkennungssystems gemäß der Erfindung;
  • Fig. 3A, 3 B und 3 C schematische Bilder zur Erläuterung der Erfindung; und
  • Fig. 4A und 4 B, 5 A und 5 B sowie 6 A und 6 B Wellenformdiagramme zur Erläuterung.
  • Fig. 2 zeigt ein Blockschaltbild eines erfindungsgemäßen Objekterkennungssystems. In Fig. 2 bezeichnet das Bezugszeichen 11 einen Synchronseparator, der das zusammengesetzte Videosignal, welches von der Fernsehkamera oder dgl. der lichtelektrischen Bildabtastvorrichtung 4 zugeführt wird, welche ein (in Fig. 2 nicht gezeigtes) zu untersuchendes Objekt fotografiert, in ein horizontales Synchronsignal h, ein vertikales Synchronsignal v und Videosignal s aufspaltet. Das vertikale Synchronsignal v, das durch den Synchronseparator 11 abgetrennt wird, wird einer Taktsteuerschaltung 12 zugeführt. In der Taktsteuerschaltung 12 wird dann ein Markierimpulssignal stv erzeugt, das auf dem vertikalen Synchronsignal v basiert. Dieses Markierimpulssignal stv, welches die vertikale Position des Ermittlungsbereichs auf dem Monitorschirm eines Monitor-Fernsehempfängers spezifiziert, wie unten erläutert, wird einer Markierschaltung 14 zugeführt. Andererseits wird das horizontale Synchronsignal h einer Taktsteuerschaltung 13 zugeführt, und dann bildet die Taktsteuerschaltung 13 ein Markierimpulssignal sth, das auf dem horizontalen Synchronsignal h basiert. Dieses Markierimpulssignal sth spezifiziert die horizontale Stellung des Ermittlungsbereichs auf dem Monitorschirm, wie weiter unten beschrieben. Dieses Markierimpulssignal sth wird der Markierschaltung 14 zugeführt. In dieser Markierschaltung 14 wird durch Kombinieren der Markierimpulssignale stv und sth ein zusammengesetztes Markierimpulssignal oder ein Vergleichssteuersignal erzeugt. Dementsprechend spezifiziert dieses Vergleichssteuersignal cst sowohl die horizontale als auch die vertikale Position des Ermittlungsbereichs auf dem Monitorschirm. Dieses Vergleichssteuersignal cst wird einem Komparator 16 zugeführt. In dem Komparator 16 wird nur während der Periode, die durch das zusammengesetzte Markierimpulssignal cst spezifiziert ist, mit anderen Worten, nur bei der spezifizierten Position auf dem Monitorschirm, das Videosignal s verglichen mit einem Bezugssignal des Helligkeitspegels auf dem Monitorschirm, welches von einem Pegelsteuer- oder Bezugssignalgenerator 15 geliefert wird. Das Signal von dem Komparator 16 wird einer Mono-Multivibratorschaltung 17 zugeführt, welche einen rücktriggerbaren Monomultivibrator mit einer Impulsdauer von beispielsweise wenigstens 63 Mikrosekunden aufweist, und wenn ein Eingangssignal vorhanden ist, erzeugt die Multivibratorschaltung 17 ein Signal sta zum Starten einer Untersuchungseinrichtung. Dieses Signal sta wird einer Untersuchungseinrichtung 18 zur Untersuchung des Objektes, wie beispielsweise einem üblichen Komputer zugeführt, und, obwohl nicht in Fig. 2 gezeigt, wird die Untersuchung des Objekts durchgeführt. Diese Untersuchung des Objekts kann auf einem Monitorschirm 19 eines Monitor-Fernsehempfängers 19 M überwacht werden, welcher das Ausgangsvideosignal von der Fernsehkamera 4 erhält.
  • Gemäß dem oben beschriebenen Aufbau des Objektserkennungs- oder Untersuchungssystems wird die folgende Untersuchung des Objektes durchgeführt. In diesem Fall sei angenommen, daß beispielsweise der Monitorschirm 19 ein schwarzer Hintergrund ist und ein zu untersuchendes Objekt 21 in Fig. 3A auf Weiß basiert. Wenn das zu untersuchende Objekt 21 bei einem Ermittlungsbereich 20 ankommt, dessen Position auf dem Monitorschirm 19 durch das Vergleichssteuersignal cst spezifiziert ist, gibt der Komparator 16 ein Vergleichssignal ab, durch welches die Mono-Multivibratorschaltung 17 das Startsignal sta erzeugt, und die Untersuchung des zu untersuchenden Objekts 21 wird in dem Untersuchungssystem 18 durchgeführt.
  • Ferner ist es zur Festlegung des Ermittlungsbereichs 20, wie in Fig. 3A angedeutet, ausreichend, daß die Taktsteuerschaltung 12 derart arbeitet, daß ihr Ausgangssignal stv aufgrund des vertikalen Synchronsignals v angeordnet ist, wie in Fig. 4A angedeutet, und die Taktsteuerschaltung 13 derart arbeitet, daß ihr Ausgangssignal sta aufgrund des horizontalen Synchronsignals h gemäß Fig. 4B angeordnet ist. Erfindungsgemäß ist es nicht erforderlich, einen speziellen photooptischen Fühler auf dem Monitorschirm 19 vorzusehen, wie in dem Fall des bekannten Systems, und da der Ermittlungsbereich 20 als freie Festlegung spezifiziert ist, die auf dem horizontalen sowie dem vertikalen Synchronsignal h bzw. v von dem lichtelektrischen Bildabtastsystem basiert, ist der Monitor-Fernsehempfänger nicht direkt für die Ermittlungstätigkeit notwendig. Indessen ist der Monitor nur erforderlich, um die Stellung des zu untersuchenden Objekts usw. zur Untersuchungsstartzeit zu betätigen. Dementsprechend kann die Untersuchung durchgeführt werden ohne Beeinflussung durch die Schwierigkeit der Beobachtung des Monitorschirms oder einen Helligkeitsabfall des Monitorschirms oder eine andere Monitorstörung; außerdem kann die Lebensdauer des Monitor-Fernsehempfängers über längere Zeiträume erhalten werden, da er nicht ständig betrieben werden muß. Anders ausgedrückt, können durch die Erfindung die herkömmlichen Mängel, wie oben erwähnt, fast völlig vermieden werden.
  • Ferner kann, wie in Fig. 3B als Beispiel gezeigt, wenn das Objekt 21 in der durch einen Teil 22 angedeuteten Richtung auf dem Monitorschirm 19 nach links fließt, dadurch, daß der Ermittlungsbereich 20 schmal und lang in Vertikalrichtung auf dem Monitorschirm 19 festgelegt wird, das Objekt 21, obwohl seine Stellung oben oder unten ist, sicher ermittelt werden, und das Leerintervall für die Ermittlungszeit kann auch stark reduziert werden.
  • Um den Ermittlungsbereich festzulegen, wie in Fig. 3B dargestellt, ist es ausreichend, daß die Taktsteuerschaltung 12 derart arbeitet, daß ihr Ausgangssignal stv aufgrund des vertikalen Synchronsignals v die in Fig. 5A gezeigte Form hat, und die Taktsteuerschaltung 13 in der Art arbeitet, daß ihr Ausgangssignal sta aufgrund des horizontalen Synchronsignals h gemäß Fig. 5B festgelegt wird.
  • Auch wenn das Objekt 21, wie in Fig. 3C durch einen Pfeil 23 angedeutet, vertikal auf dem Monitorschirm 19 nach oben und unten strömt, kann das Objekt 21, obwohl es nach rechts oder links verlagert ist, sicher ermittelt werden, indem der Ermittlungsbereich 20 schmal und lang in Horizontalrichtung auf dem Monitorschirm 19 festgelegt wird, wie in der Zeichnung gezeigt. Um den Ermittlungsbereich 20 festzulegen, wie in Fig. 3C gezeigt, ist es ausreichend, daß die Taktsteuerschaltung 12 derart arbeitet, daß ihr Ausgangssignal stv aufgrund des vertikalen Synchronsignals festgelegt wird, wie in Fig. 6A gezeigt, und die Taktsteuerschaltung 13 derart arbeitet, daß ihr Ausgangssignal sth aufgrund des horizontalen Synchronsignals h festgelegt wird, wie in Fig. 6B gezeigt.

Claims (2)

1. Objektuntersuchungs- oder -erkennungssystem, gekennzeichnet durch
a) eine lichtelektrische Bildabtastvorrichtung (4), die ein zu untersuchendes Objekt (2) aufnimmt und ein zusammengesetztes Videosignal liefert,
b) eine Einrichtung (11) zum Abtrennen eines horizontalen und eines vertikalen Synchronsignals und eines Videosignals von dem zusammengesetzten Videosignal,
c) eine Einrichtung (12, 13, 14) zum Erzeugen eines Vergleichssteuersignals, das auf dem horizontalen und vertikalen Synchronsignal basiert,
d) eine Einrichtung (15) zum Erzeugen eines Bezugssignals,
e) eine Einrichtung (16, 17), die dazu dient, das Videosignal mit dem Bezugssignal nur in einer durch das Vergleichssteuersignal bestimmten Periode zu vergleichen und ein Signal zum Starten einer Untersuchungseinrichtung (18) zu erzeugen.
2. Objektuntersuchungs- oder -erkennungssystem nach Anspruch 1, dadurch gekennzeichnet, daß die Einrichtung (12, 13, 14) zum Erzeugen des Vergleichssteuersignals zwei Taktsteuerschaltungen (12, 13) umfaßt, welche das horizontale bzw. das vertikale Synchronsignal erhalten und entsprechende Markierimpulssignale erzeugen, sowie eine Markierschaltung (14), welche die Markierimpulssignale erhält und dann das Vergleichssteuersignal erzeugt.
DE19792951780 1978-12-25 1979-12-21 Objektuntersuchungs- oder -erkennungssystem Expired DE2951780C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16354178A JPS5587072A (en) 1978-12-25 1978-12-25 Inspection unit of object

Publications (2)

Publication Number Publication Date
DE2951780A1 DE2951780A1 (de) 1980-07-17
DE2951780C2 true DE2951780C2 (de) 1992-08-06

Family

ID=15775837

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19792951780 Expired DE2951780C2 (de) 1978-12-25 1979-12-21 Objektuntersuchungs- oder -erkennungssystem

Country Status (5)

Country Link
JP (1) JPS5587072A (de)
CA (1) CA1126853A (de)
DE (1) DE2951780C2 (de)
FR (1) FR2445676B1 (de)
GB (1) GB2041199B (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5745482A (en) * 1980-09-02 1982-03-15 Riken Denshi Kk Automatic detector for moving body
JPS608769A (ja) * 1983-06-29 1985-01-17 Fujitsu Ltd 物体検出装置
JPS6039581A (ja) * 1983-08-13 1985-03-01 Shigumatsukusu Kk 物体検出装置
JPH0660941B2 (ja) * 1988-04-15 1994-08-10 シグマツクス株式会社 物体検出装置
JPH0774830B2 (ja) * 1990-02-13 1995-08-09 日鉄鉱業株式会社 連続して移送される物品のとぎれを検出する方法およびその装置
JPH0792503B2 (ja) * 1991-04-12 1995-10-09 シグマツクス株式会社 物体検出装置
DE10050368A1 (de) * 2000-10-11 2002-04-18 Sick Ag Vorrichtung und Verfahren zur Erkennung von Codes

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS509581B1 (de) * 1970-04-24 1975-04-14
DE2236092A1 (de) * 1972-07-22 1974-01-31 Philips Patentverwaltung Schaltungsanordnung zur automatischen erfassung, anzeige und auswertung von aenderungen in fernsehtechnisch erzeugten bildern
DE2238156B2 (de) * 1972-08-03 1976-10-28 Takeda Chemical Industries, Ltd., Osaka (Japan) Pruefvorrichtung mit einer fernsehkamera fuer ampullen o.dgl.
US3932042A (en) * 1974-05-20 1976-01-13 Barry-Wehmiller Company Container inspection apparatus and method of inspection
US4002823A (en) * 1974-11-01 1977-01-11 Ball Corporation Method and apparatus for video inspection of articles of manufacture
DE2705936B2 (de) * 1977-02-10 1979-11-08 Barry-Wehmiller Co., Saint Louis, Mo. (V.St.A.) Verfahren und Anordnung zur elektronischen Bildanalyse
JPS5596405A (en) * 1979-01-19 1980-07-22 Hajime Sangyo Kk Inspection device for moving object
JPS5684073A (en) * 1979-12-12 1981-07-09 Stanley Electric Co Ltd Picture signal reading method

Also Published As

Publication number Publication date
DE2951780A1 (de) 1980-07-17
GB2041199B (en) 1983-08-17
JPS5587072A (en) 1980-07-01
FR2445676A1 (fr) 1980-07-25
CA1126853A (en) 1982-06-29
FR2445676B1 (fr) 1985-10-25
GB2041199A (en) 1980-09-03

Similar Documents

Publication Publication Date Title
DE3012559C2 (de)
DE2937335C2 (de) Verfahren und Vorrichtung zur optischen Prüfung von Gegenständen
DE69625000T2 (de) Schwingungsüberwachungsvorrichtung und Überwachungsverfahren
DE3000932C2 (de) Untersuchsungssystem für bewegte Objekte
DE69325729T2 (de) Verfahren und Anordnung zur Prüfung einer gedruckten Leiterplatte
DE3819496C2 (de)
DE69515646T2 (de) Verfahren und Vorrichtung zum Erfassen von Fehlern in Textilbahnen und dergleichen
DE3222753A1 (de) Verfahren und vorrichtung zur oberflaechenkontrolle eines werkstoffes
CH636976A5 (de) Einrichtung zur anzeige von ueberkorrekturen bei einer elektronischen farbkorrekturvorrichtung.
DE3117073C2 (de) Einrichtung zur Feststellung des Lidschlages eines Auges
DE2951780C2 (de) Objektuntersuchungs- oder -erkennungssystem
DE102005001091B3 (de) Verfahren und Anordnung zur Fehlererkennung an Druckbildern während der Bahnbeobachtung von gedrucktem Material
DE3011014C2 (de)
DE69518128T2 (de) Bilddatenverarbeitungsvorrichtung mit Bilddatenteilungsfunktion und Verfahren zur Verarbeitung von Bilddaten
DE3009907C2 (de) Speicheradressensignalgenerator für eine automatische Justiereinrichtung einer Fernsehkamera
DE3002186C2 (de) Objektuntersuchungssystem
DE3030140A1 (de) Verfahren zur optischen ueberpruefung von stabfoermigen gegenstaenden und einrichtung zur durchfuehrung des verfahrens
EP0046241B1 (de) Anordnung zum Feststellen von Unregelmässigkeiten des Randes von Prüflingen
DE19513309A1 (de) IC-Testgerät mit einer Ionenstrahl-Vorrichtung und Testverfahren für einen IC
DE3315591A1 (de) Oberflaechenpruefverfahren
DE2916159C2 (de) Inspektionseinrichtung
EP0342318B1 (de) Automatischer Bildschärfeabgleich von Bildröhren
DE4201935A1 (de) Fehlerermittlungsverfahren und -vorrichtung
DE69310321T2 (de) Vorrichtung zur Kontrolle der Innenfläche eines zylindrischen Behälters
DE69317247T2 (de) Automatische Fokussierung für eine Videokamera

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
D2 Grant after examination
8363 Opposition against the patent
8366 Restricted maintained after opposition proceedings
8305 Restricted maintenance of patent after opposition
D4 Patent maintained restricted
8339 Ceased/non-payment of the annual fee