DE4103646C1 - Line image scanner suitable for close range photogrammetry - has photogrammetric recording chamber with central projector for imaging reference marks - Google Patents

Line image scanner suitable for close range photogrammetry - has photogrammetric recording chamber with central projector for imaging reference marks

Info

Publication number
DE4103646C1
DE4103646C1 DE4103646A DE4103646A DE4103646C1 DE 4103646 C1 DE4103646 C1 DE 4103646C1 DE 4103646 A DE4103646 A DE 4103646A DE 4103646 A DE4103646 A DE 4103646A DE 4103646 C1 DE4103646 C1 DE 4103646C1
Authority
DE
Germany
Prior art keywords
line
sensor
reference markings
image scanner
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE4103646A
Other languages
English (en)
Inventor
Wilfried Prof. Dr. 3013 Barsinghausen De Wester-Ebbinghaus
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rollei Fototechnic GmbH
Original Assignee
Rollei Fototechnic & Co Kg 3300 Braunschweig De GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rollei Fototechnic & Co Kg 3300 Braunschweig De GmbH filed Critical Rollei Fototechnic & Co Kg 3300 Braunschweig De GmbH
Priority to DE4103646A priority Critical patent/DE4103646C1/de
Application granted granted Critical
Publication of DE4103646C1 publication Critical patent/DE4103646C1/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047Detection, control or error compensation of scanning velocity or position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/1013Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of at least a part of the main-scanning components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04703Detection of scanning velocity or position using the scanning elements as detectors, e.g. by performing a prescan
    • H04N2201/04705Detection of scanning velocity or position using the scanning elements as detectors, e.g. by performing a prescan using inactive scanning elements, e.g. elements outside the scanning area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04715Detection of scanning velocity or position by detecting marks or the like, e.g. slits
    • H04N2201/0472Detection of scanning velocity or position by detecting marks or the like, e.g. slits on or adjacent the sheet support
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04729Detection of scanning velocity or position in the main-scan direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04731Detection of scanning velocity or position in the sub-scan direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04732Detecting at infrequent intervals, e.g. once or twice per line for main-scan control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/047Detection, control or error compensation of scanning velocity or position
    • H04N2201/04701Detection of scanning velocity or position
    • H04N2201/04734Detecting at frequent intervals, e.g. once per line for sub-scan control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

Die Erfindung betrifft einen Zeilen-Bildabtaster, mit einer Bildabtastfläche und einer parallel hierzu in einer Sensorebene verschiebbaren Sensorzeile, wobei zur geometrischen Kalibrierung des Zeilen-Bildabtasters an beiden senkrecht zur Sensorzeile liegenden Rändern der Bildabtastfläche auf einem transparenten Träger in Richtung der Sensorbewegung verlaufende Referenzmar­ kierungen angebracht sind, die sich bei der Bildabtastung mit auf der Sensorzeile abbilden.
Eine derartige Ausführungsform läßt sich der JP-A-62-21 9 758 ent­ nehmen.
Zeilen-Bildabtaster bieten gegenüber Flächensensoren höhere geo­ metrische Auflösung bei der elektronischen Bildaufzeichnung (siehe hierzu auch ISPRS Commission V Symposium "Close-Range Photogrammetry Meets Machine Vision", 1990, ISSN 0256-1840, SPIE Volume 1395 Part One of Two Parts, S. 86 ff.).
Innerhalb der Sensorzeile sind die Bildelemente teilgenau und stabil angebracht. Im Gesamtbild dagegen wird beim Zeilen-Bild­ abtaster die geometrische Genauigkeit von der instrumentellen Güte der mechanischen Sensor-Bewegungsvorrichtung bestimmt.
Da im Rahmen der digitalen Bildverarbeitung Bildpunkte mit einer Genauigkeit von besser als einem Zehntel des Bildelementabstands definiert werden können, muß bei den üblichen Bildelementabstän­ den von rund 10µm für die Mechanik eines Zeilen-Bildabtasters flächenhaft eine Gesamtgenauigkeit von besser als 1µm gefordert werden. Dies wird durch die eine geometrische Kalibrierung er­ möglichenden Referenzmarkierungen erreicht. Die Bewegung der Sensor­ zeile läßt sich optisch verfolgen und das abgetastete Bild geo­ metrisch entzerren. Durch die Anordnung der Referenzmarkierungen an beiden senkrecht zur Sensorzeile liegenden Rändern der Bild­ abtastfläche lassen sich der Maßstab der Bildzeilen definieren und eine Gradlinigkeit der Bildspalten sicherstellen.
Der Erfindung liegt die Aufgabe zugrunde, den eingangs beschrie­ benen Zeilen-Bildabtaster in seinem Anwendungsbereich zu erwei­ tern.
Diese Aufgabe wird erfindungsgemäß durch folgende Merkmale gelöst:
  • a) Ein mechanischer Antrieb zur Verschiebung der Sensorzeile;
  • b) eine photogrammetrische Aufnahmekammer mit Zentralprojek­ tion zur Abbildung der Referenzmarkierungen;
  • c) in dieser Aufnahmekammer ist zur Projizierung der beiden an den Rändern der Bildabtastflächen vorgesehenen Refe­ renzmarkierungen je ein Beleuchtungszentrum angeordnet, die durch je eine Spaltblende so abgedeckt sind, daß die Beleuch­ tungsstrahlenbüschel auf den Bereich der Referenzmarkierungen begrenzt sind.
Erfindungsgemäß werden somit die Abtastfläche im Bildraum und das Bildraum-Bezugssystem perspektivisch festgelegt. Dadurch läßt sich die Abtastfläche im Bildraum eindeutig reproduzieren. Ferner läßt sich die nutzbare Abtastfläche außerhalb der Referenzmarkierungen gegen die Beleuchtungszentren abschatten.
Zur Kontrolle des Abstandes und der Parallelität der Bildzeilen ist es vorteilhaft, wenn die als Linie ausgebildeten Referenz­ markierungen durch parallel zur Sensorzeile verlaufende, in Richtung der Sensorbewegung jeweils gleichen Abstand voneinander aufweisende Teilstriche unterteilt sind.
Zur Erreichung einer flächenhaft geometrischen Stabilität ist es vorteilhaft, wenn der die Referenzmarkierungen aufnehmende transparente Träger eine die gesamte Bildabtastfläche über­ deckende Glasplatte ist.
Durch die optischen Referenzmarkierungen in der Abtastfläche erhält man einen sich selbst kalibrierenden Zeilen-Bildabtas­ ter hoher Zuverlässigkeit. Alle Referenzmarkierungen lassen sich auf einer gemeinsamen Glasplatte mit geringem Aufwand in flächenhaft hoher geometrischer Genauigkeit langzeitstabil anbringen.
In der Zeichnung ist eine als Beispiel dienende Ausführungs­ form der Erfindung schematisch dargestellt. Es zeigen:
Fig. 1 in Draufsicht einen Zeilen-Bildabtaster mit photogram­ metrischer Aufnahmekammer und
Fig. 2 die Darstellung gemäß Fig. 1 in Vorderansicht.
Die beiden Figuren lassen eine Bildabtastfläche 1 erkennen, zu der parallel eine Sensorzeile 2 über einen nicht dargestellten mechanischen Antrieb in Richtung des in Fig. 2 eingezeichneten Vektors 4 verschoben wird.
Vorgesehen ist ferner ein transparenter Träger 3 in Form einer die gesamte Bildabtastfläche 1 überdeckender Glasplatte, auf deren beiden senkrecht zur Sensorzeile 2 liegenden Randberei­ chen, die zugleich den Rand der Bildabtastfläche 1 definieren, Referenzmarkierungen 5 angebracht sind, die jeweils als Linie ausgebildet sind, die in Richtung der Sensorbewegung 4 verlau­ fen und durch parallel zur Sensorzeile 2 liegende, in Richtung der Sensorbewegung 4 jeweils gleichen Abstand voneinander auf­ weisende Teilstriche 5a unterteilt sind.
Fig. 1 läßt eine photogrammetrische Aufnahmekammer 6 erkennen, die eine Zentralprojektion 7 zur Abbildung der Referenzmar­ kierungen 5, 5a aufweist. Zur Projizierung der beiden linien­ haft ausgebildeten Referenzmarkierungen 5, 5a auf die Sensor­ zeile 2 sind in der Aufnahmekammer 6 zwei Beleuchtungszentren 8 angeordnet, die durch je eine Spaltblende 9 so abgedeckt sind, daß ihre Beleuchtungsstrahlenbüschel 10 auf den Bereich der Referenzmarkierungen 5, 5a begrenzt sind.

Claims (4)

1. Zeilen-Bildabtaster, mit einer Bildabtastfläche (1) und einer parallel hierzu in einer Sensorebene verschiebbaren Sensorzeile (2), wobei zur geometrischen Kalibrierung des Zeilen-Bildabtasters an beiden senkrecht zur Sensorzeile (2) liegenden Rändern der Bildabtastfläche auf einem transparenten Träger (3) in Richtung der Sensorbewegung (4) verlaufende Referenzmarkierungen (5, 5a) angebracht sind, die sich bei der Bildabtastung mit auf der Sensor­ zeile (2) abbilden, gekennzeichnet durch folgende Merk­ male:
  • a) ein mechanischer Antrieb zur Verschiebung der Sen­ sorzeile (2);
  • b) eine photogrammetrische Aufnahmekammer (6) mit Zen­ tralprojektion (7) zur Abbildung der Referenzmarkie­ rungen (5, 5a);
  • c) in dieser Aufnahmekammer (6) ist zur Projizierung der beiden an den Rändern der Bildabtastflächen (1) vorgesehenen Referenzmarkierungen (5, 5a) je ein Beleuchtungszentrum (8) angeordnet, die durch je eine Spaltblende (9) so abgedeckt sind, daß die Be­ leuchtungsstrahlenbüschel (10) auf den Bereich der Referenzmarkierungen (5, 5a) begrenzt sind.
2. Zeilen-Bildabtaster nach Anspruch 1, dadurch gekennzeich­ net, daß die Referenzmarkierungen (5, 5a) linienhaft aus­ gebildet sind.
3. Zeilen-Bildabtaster nach Anspruch 2, dadurch gekennzeich­ net, daß die als Linie ausgebildeten Referenzmarkierungen (5) durch parallel zur Sensorzeile (2) verlaufende, in Richtung der Sensorbewegung (4) jeweils gleichen Abstand voneinander aufweisende Teilstriche (5a) unterteilt sind.
4. Zeilen-Bildabtaster nach einem der vorhergehenden An­ sprüche, dadurch gekennzeichnet, daß der die Referenzmar­ kierungen (5, 5a) aufnehmende transparente Träger (3) eine die gesamte Bildabtastfläche (1) überdeckende Glas­ platte ist.
DE4103646A 1991-02-07 1991-02-07 Line image scanner suitable for close range photogrammetry - has photogrammetric recording chamber with central projector for imaging reference marks Expired - Fee Related DE4103646C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE4103646A DE4103646C1 (en) 1991-02-07 1991-02-07 Line image scanner suitable for close range photogrammetry - has photogrammetric recording chamber with central projector for imaging reference marks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE4103646A DE4103646C1 (en) 1991-02-07 1991-02-07 Line image scanner suitable for close range photogrammetry - has photogrammetric recording chamber with central projector for imaging reference marks

Publications (1)

Publication Number Publication Date
DE4103646C1 true DE4103646C1 (en) 1992-01-30

Family

ID=6424530

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4103646A Expired - Fee Related DE4103646C1 (en) 1991-02-07 1991-02-07 Line image scanner suitable for close range photogrammetry - has photogrammetric recording chamber with central projector for imaging reference marks

Country Status (1)

Country Link
DE (1) DE4103646C1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2697121A1 (fr) * 1992-10-20 1994-04-22 Sagem Télécopieur à fourche optique de détection de document.
NL9500226A (nl) * 1995-02-07 1996-09-02 Fuji Photo Film Bv Werkwijze voor het testen van de werking van een lichtaftastinrichting.
DE19536297A1 (de) * 1995-09-29 1997-04-03 Daimler Benz Ag Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
DE19702594A1 (de) * 1996-01-26 1997-08-07 Ricoh Kk Bildleseeinrichtung
DE19844257A1 (de) * 1998-09-26 2000-04-13 Heidelberger Druckmasch Ag Vorrichtung zur Positionserfassung von rotierenden Objekten
WO2000075858A1 (de) * 1999-06-04 2000-12-14 Heimann Biometric Systems Gmbh Anordnung zur erfassung der oberflächenstrukturen von fingern und/oder handinnenflächen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62219758A (ja) * 1986-03-19 1987-09-28 Sharp Corp イメ−ジスキヤナ
JPS6454966A (en) * 1987-08-26 1989-03-02 Fuji Photo Film Co Ltd Original platen for reading picture
DE3906707A1 (de) * 1989-03-03 1990-09-06 Standard Elektrik Lorenz Ag Stehbildkamera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62219758A (ja) * 1986-03-19 1987-09-28 Sharp Corp イメ−ジスキヤナ
JPS6454966A (en) * 1987-08-26 1989-03-02 Fuji Photo Film Co Ltd Original platen for reading picture
DE3906707A1 (de) * 1989-03-03 1990-09-06 Standard Elektrik Lorenz Ag Stehbildkamera

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2697121A1 (fr) * 1992-10-20 1994-04-22 Sagem Télécopieur à fourche optique de détection de document.
NL9500226A (nl) * 1995-02-07 1996-09-02 Fuji Photo Film Bv Werkwijze voor het testen van de werking van een lichtaftastinrichting.
DE19536297A1 (de) * 1995-09-29 1997-04-03 Daimler Benz Ag Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
DE19536297C2 (de) * 1995-09-29 2003-10-02 Daimler Chrysler Ag Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
DE19702594A1 (de) * 1996-01-26 1997-08-07 Ricoh Kk Bildleseeinrichtung
DE19702594C2 (de) * 1996-01-26 2001-05-17 Ricoh Kk Bildleseeinrichtung
DE19844257A1 (de) * 1998-09-26 2000-04-13 Heidelberger Druckmasch Ag Vorrichtung zur Positionserfassung von rotierenden Objekten
DE19844257B4 (de) * 1998-09-26 2006-11-23 Heidelberger Druckmaschinen Ag Vorrichtung zur Positionserfassung von rotierenden Objekten
WO2000075858A1 (de) * 1999-06-04 2000-12-14 Heimann Biometric Systems Gmbh Anordnung zur erfassung der oberflächenstrukturen von fingern und/oder handinnenflächen

Similar Documents

Publication Publication Date Title
US5008743A (en) Telecentric imaging system optical inspection machine using the same and method for correcting optical distortion produced thereby
US5040059A (en) Method and apparatus of image mensuration with selectively visible and invisible reseau grid marks
EP1386141B1 (de) Verfahren und vorrichtung zur berührungsfreien untersuchung eines gegenstandes, insbesondere hinsichtlich dessen oberflächengestalt
EP0295433B1 (de) Registermesssystem, wie es im Offsetbereich zur Kontrolle der Lage der Druckplatten Anwendung findet
DE3883593T2 (de) Vorrichtung zur Messung von Höhendifferenzen.
US6288801B1 (en) Self calibrating scanner with single or multiple detector arrays and single or multiple optical systems
DE19906443C2 (de) Bilderzeugungsapparat, bei dem eine Einstellung zur Ausbildung eines Bildes in rechteckiger Gestalt leicht durchgeführt werden kann und Verfahren zum Herstellen eines derartigen Apparats
CH692873A5 (de) Vorrichtung und Verfahren zur geometrischen Kalibrierung von CCD-Kameras.
EP1320064A2 (de) Verfahren und Anordnung zur verzerrungsarmen Aufnahme von an einer Kontaktfläche durch gestörte Totalreflexionen entstehenden Intensitätsmustern
US20030053045A1 (en) System for inspecting a flat sheet workpiece
DE4103646C1 (en) Line image scanner suitable for close range photogrammetry - has photogrammetric recording chamber with central projector for imaging reference marks
US6219442B1 (en) Apparatus and method for measuring distortion of a visible pattern on a substrate by viewing predetermined portions thereof
DE10084477B4 (de) Messung der Konvergenzausrichtung eines Projektionssystems
DE4212404A1 (de) Vorrichtung zum messen der raeumlichen form eines langgestreckten bauteils
EP0683888B1 (de) Messkameraanordnung, insbesondere für photogrammetrische messungen an technischen objekten
DE102004058655B4 (de) Verfahren und Anordnung zum Messen von Geometrien eines Objektes mittels eines Koordinatenmessgerätes
EP0572804B1 (de) Anordnung zur geometriegetreu hochauflösenden Abtastung grosser Bildformate
DE4037273A1 (de) Einrichtung zur fotogrammetrischen vermessung eines objekts
DE19709050A1 (de) Anordnung zur bildhaften, farblichen Erfassung von räumlichen Gegenständen mit einem Flachbettscanner
DE19610941C2 (de) Zweiachsiger Neigungsmesser und Verfahren zur Neigungsmessung
DE69024042T2 (de) Koordinatenbestimmungsgerät.
DE69307007T2 (de) Optisch aneinandergefügte elektro-optische Bauteile
DE102004028191B4 (de) Verfahren und Vorrichtung zur quantitativen Erfassung der Lage der optischen Achse eines optoelektronischen Sensorsystems
DE19819992C2 (de) Verfahren zur dreidimensionalen Erfassung räumlicher Gegenstände mit einem Flachbettscanner und Vorrichtung zur Durchführung des Verfahrens
DE4016185C2 (de) Kamera

Legal Events

Date Code Title Description
8100 Publication of the examined application without publication of unexamined application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: ROLLEI FOTOTECHNIC GMBH, 38126 BRAUNSCHWEIG, DE

8339 Ceased/non-payment of the annual fee