DE2812323C2 - Verfahren zur Bildaufnahme aus der Luft oder dem Weltraum und Vorrichtung zur Durchführung des Verfahrens - Google Patents

Verfahren zur Bildaufnahme aus der Luft oder dem Weltraum und Vorrichtung zur Durchführung des Verfahrens

Info

Publication number
DE2812323C2
DE2812323C2 DE2812323A DE2812323A DE2812323C2 DE 2812323 C2 DE2812323 C2 DE 2812323C2 DE 2812323 A DE2812323 A DE 2812323A DE 2812323 A DE2812323 A DE 2812323A DE 2812323 C2 DE2812323 C2 DE 2812323C2
Authority
DE
Germany
Prior art keywords
elements
photo
matrix
lines
photo elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired
Application number
DE2812323A
Other languages
English (en)
Other versions
DE2812323A1 (de
Inventor
Jean Charles Joseph Chambourcy Petitfourt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Group SAS
Original Assignee
Airbus Group SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR7708110A external-priority patent/FR2384407A1/fr
Priority claimed from FR7804925A external-priority patent/FR2417899A2/fr
Application filed by Airbus Group SAS filed Critical Airbus Group SAS
Publication of DE2812323A1 publication Critical patent/DE2812323A1/de
Application granted granted Critical
Publication of DE2812323C2 publication Critical patent/DE2812323C2/de
Expired legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/711Time delay and integration [TDI] registers; TDI shift registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/72Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using frame transfer [FT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/002Special television systems not provided for by H04N7/007 - H04N7/18
    • H04N7/005Special television systems not provided for by H04N7/007 - H04N7/18 using at least one opto-electrical conversion device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

Die Erfindung betrifft ein Verfahren gemäß Oberbegriff des Patentanspruchs 1 sowie eine Vorrichtung zu seiner Durchführung.
Verfahren zur Bildaufnahme aus der Luft sind bekannt So offenbart z. B. die DE-OS 22 50 251 ein optronisches Verfahren zur Abtastung von Geländeprofilen und Aufwicklung der Temperaturverteilung von Geländestreifen in der Art eines Wärmebiides mit Hilfe von Dektronen, die in einer einzigen zur Abtastrichtung parallelen Zeile angeordnet und zwischen denen Verzögerungsglieder vorgesehen sind.
Ferner ist aus der DE-OS 28 02 44! eine Vorrichtung zur Aufnahme von Infrarotbildern bekannt Sie arbeitet jedoch mit ^iner Aufnahmeröhre mit pyroclektrischem Target, so daß für die erforderliche Signalverarbeitung andere Mittel erforderlich sind als für den Erfindungsgegenstand.
Es ist insbesondere durch die Zeitschrift »Scientific American«, Februar 1974, VoL 230, Nr. 2, bekannt, daß derartige CCD-Vorrichtungen einem aus Halbleiterstoff wie Silizium gefertigt sind, der sehr leicht auf Strahlen im sichtbaren Bereich und in der Nähe des Infrarotbereiches anspricht Wenn derartige Strahlen auf das Substrat der Vorrichtungen treffen, absorbiert es die Strahlen und läßt Elektronen erscheinen, deren Anzahl der einfallenden Lichtmenge proportional ist Die Elektronen füllen demnach wenigstens einen Teil der Potential-»Löcher« dieser Vorrichtungen aus, d.h. sie werden durch die örtlich festgelegten Volumina des Halbleiterstoffs angezogen, die auf Elektronen ansprechen und von einem Taktsignal erzeugt werden. Eine derartige lichtelektronische Elektronenbildung stellt somit ein Eingangssignal für CCD-Systeme dar.
Es wurden bereits Versuche unternommen, diese Eigenschaft der Ladungskopplung zu nutzen, um Bildaufnahmen vom Flugzeug oder Satelliten anzufertigen. Hierfür bestreichen die in Flugzeugen oder Satelliten eingebauten Vorrichtungen das zu beobachtende Gebiet nach dem »Push Broom«-Verfahren.
Nach einer ersten bekannten Ausführungsform weisen die ladungsgekoppelten Vorrichtungen in Form von geradlinigen Stäbchen mehrere (z. B. 500) elementare lichtempfindliche Felder auf, wobei die Achse der Stäbchen zur Vorwärtsbewegung des Flugzeuges oder des Satelliten senkrecht verläuft. Zur Aufzeichnung eines Bildes mit derartigen Stäbchen werden die Taktimpulse während einer bestimmten Belichtungszeit, der Integrationszeit gesperrt, worauf die auf den Stäbchen aufgenommene Information durch Anlegen der Taktimpulse gelesen wird, die die Information in die Hilfsspeicher geben, von denen die Information ausgenutzt wird.
Derartige Hilfsspeicher müssen aus technologischen Gründen vorhanden sein, insbesondere um ein Videosignal gewünschter Frequenz zu erhalten und eine bestimmte Bildunschärfe zu vermeiden, die sich einstellen würde, falls keine Hilfsspeicher vorhanden wären, indem einem Stäbchen gleichzeitig mit der Belichtung die Taktsignale aufgedrückt werden.
In einer zweiten Ausführungsform sind die ladungsgekoppelten Vorrichtungen in Form einer aus lichtempfindlichen Elementarfeldern bestehenden Matrix ausgebildet und weisen zusätzlich einen ladungsgekoppelten Schaltspeicher auf, so daß jedem Elementarfeld der Matrize eine Schaltspeicherzelle entspricht Im allgemeinen liegen alle Elementarfelder einer Matrizenspalte parallel zur Flugrichtung des Flugzeuges oder Satelliten an ein und derselben Transferelektrode, so daß die Information aller Felder der Spalte als Block am Ende der Integrationszeit in den Schaltspeicher übertragen wird, von dem aus die Information einer Vorrichtung zur Weiterbearbeitung zugeführt wird.
Es ist somit ersichtlich, daß in diesen bekannten Ausführungsformen von der Gesamtheit der lichtempfindlichen Elementarfeldern getrennte Speichereinrichtungen zur Übertragung der Information an einem Ausgang vorgesehen sind
Seiostverständlich sind in diesen beiden bekannten Ausführungsformen logische Steuerschaltungen für eine bestimmte Zeitdauer angelegte Sensibilisierung oder
iü Sperrung jedes lichtempfindlichen Elementarfeldes, zur geeigneten Übertragung der Information usw. vorgesehen. Falls man aus Gründen der Erläuterung eine fiktive Unterteilung des beobachteten Gebietes in nebeneinanderliegende Elementarzonen vornimmt, deren Abmessungen jeweils dergestalt sind, daß sie über die Optik des Bildaufnahmesystems denen eines lichtempfindlichen Elementarfeldes der ladungsgekoppelten Vorrichtung entsprechen, arbeiten die logischen Steuerschaltungen derart, daß eine Elementarzone des Gebietes als ganzes ein einziges Mal von einem einzigen lichtempfindlichen Elementarfeld der ladungsgekoppelten Vorrichtung gesehen wird. Dies besagt, daß die Integrationszeit ti eines Photo-Elementarfeldes gleich der Überflugzeit t\ unterhalb des Flugzeuges oder Satelliten
2j einer Querlinie der Elementarzonen des beobachteten Gebietes gewählt wird. Wenn somit Vdie Geschwindigkeit der Flugzeug- oder Satellitenbahn gegenüber dem Ende und d die Bemessung einer Elementarzone des beobachteten Gebietes parallel zur Flugrichtung ist, liegt die Integrationszeit f, jedes lichtempfindlichen Elementarfeldes fest und entspricht
Die Praxis hat gezeigt, daß die mit diesen bekannten Ausführungsformen gewonnenen Bilder hinsichtlich ihrer Qualität nicht immer befriedigend waren. Insbesondere sind die durch sie erzielten Grautöne zu schwach, um eine treue bildliche Wiedergabe des beobachteten Gebietes darzustellen.
Dies beruht auf der Talsache, daß die Dynamik derartiger bekannter Systeme zu schwach ist Es ist bekannt, daß die Dynamik das Verhältnis von Signalgröße zu maximalem Geräusch sowie Signalgröße zu minimalem Geräusch ist d. h. die Beziehung zwischen dem minimalen erfaßbaren Signal und dem Sättigungssignal, und daß in den beschriebenen bekannten Systemen die Dynamik bei einer Größenordnung von 200 und einem Maximum von 500 liegt
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art so auszubilden, daß das Rausch-zu-Signalverhältnis im abgegebenen Signal wesentlich verbessert wird und eine Dynamik erreicht wird, die möglichst in der Größenordnung von 2000 bis 3000 liegt
Diese Aufgabe wird erfindungsgemäß durch die im Kennzeichen des Patentanspruchs angegebenen Merkmale gelöst.
Die weitere Ausbildung des Verfahrens und eine Vorrichtung zur Durchführung des Verfahrens geht aus den Unteransprüchen hervor.
Die mit der Erfindung erzielten Vorteile beruhen darauf, daß jede Elementarzone des bei der Bildaufnahme erfaßten Gebietes mehrere Male durch die CCD Vorrichtung (jedesmal durch ein anderes Photoelement) wahrgenommen wird und daß das jeder Zone entsprechende Endsignal die Summe mehrerer einzelner Signale ist, die Empfindlichkeit der CCD-Vorrich-
tung und somit auch deren Dynamik verbessert werden, die eine Größenordnung von 3000 erreichen kann.
Darüber hinaus ist als Folge, daß die Integrationszeit variabel und unabhängig von der Oberflugzeit der Linie Ti, z. B. einzig und allein als Funktion der Belichtungsbe- r> dingungen eines in Betracht gezogenen Gebietsabschnitts gewählt wurde, keine Sättigung der CCD-Vor richtung zu befürchten: es ist durchaus ausreichend, die Integrationszeit um so kleiner zu wählen wie man sich der Sättigung der CCD-Vorrichtung nähert. ι ο
Wie nachstehend leicht zu erkennen ist, kann bei P gleich der Anzahl der Zeilen der Photoelemente in einer Gruppe von Zeilen die Integrationszeit (, je nach dem des Signals/Geräusch-Verhältnis in Abhängigkeit von der Belichtungsstärke darstellenden Kurvenabschnitt r> höher, gleich öder niedriger als
gewählt werden, in dem der Betriebspunkt des erfindungsgemäßen Bildaufnahmesystems liegt. Eine derartige Wahl der Integrationszeit /, kann es möglich machen, daß das Bildaufnahmesystem bei einer maximalen konstanten Belichtungsstärke arbeitet.
Die Zeitveränderung {,kanndurch eine Servoeinrichtung in Abhängigkeit der Momentbedingungen der Bildaufnahmen durchgeführt werden. Auf jeden Fall ist es für einen bestimmten Bildaufnahmeeinsatz, für den die Belichtungsverhältnisse des Beobachtungsgebiets im voraus bekannt sind, von Vorteil, die dem Bildaufnah- jo mesystem zugeordnete Steuerlogik im vorhinein zu programmieren, so daß zu einem bestimmten Einsatzpunkt die programmierte Integrationszeit f, wirksam wird.
Zur Durchführung des obigen erfindungsgemäßen Verfahrens ist es unerläßlich, insbesondere im Falle einer Integrationszeit t, unter t\ — Ix , Speicher (oder
Übertragungsplätze veränderlicher oder fester Dauer) bei der Übertragung der Information eines Photoelements zum anderen vorzusehen. Es ist dabei zweckmäßig, daß diese Speicherzellen aus von der Matrix abgedeckten Photoelementen bestehen und die in einer Elementenspalte parallel zur Flugbewegung des Flugzeuges angeordneten Photoelemente dem Bildfang dienen, wobei gleichbedeutend hiermit die als Speicher dienende abgedeckten Elemente alternierende Gesamtheiten oder Komplexe bilden. Man kann z. B. in derartigen Spalten ein Bildfang Photoelemente alternierend mit einem Speicherelement oder sogar zwei Bildfang-Photoelemente mit zwei Speicherelementen oder vielmehr drei derartige F.lemente mit drei Speicherelementen usw. finden. Somit erhält man für die Matrixzeilengruppen, die jeweils eine Gesamtheit von einer, zwei, drei usw. Zeilen von Photoelementen und eine Gesamtheit von einer, zwei, drei usw. Zeilen von Speicherelementen aufweisen. Durch die Speicherzellen ist es darüber hinaus möglich, die für die Bildaufnahme gestellten Anforderungen mit denen der Lesung der belichteten Photoelemente in Einklang zu bringen.
Darüber hinaus ist eine vorteilhafte Ausführungsform einer CCD-Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens, in dem eine Matrix von einer Steuerlogik zugeordneten Photoelementen verwendet wird, dadurch gekennzeichnet, <daß die Matrix abwechselnd Zeilenkomplexe von Photoelementen und Zeilenkomplexe von Speicherelementen enthält, die gleichbedeutend jeweils wenigstens eine Zeile aufweisen, und daß jeder Zeilenkomplex der Speicherelemente einem Zeilenkomplex von Photoelementen zugeordnet ist, der im Hinblick auf die Überflugrichtung des beobachteten Gebiets vor jenem liegt, wobei zur Bildung einer Zeilengruppe die elektrischen Zustände der Gruppen der Matrix zu einem bestimmten Zeitpunkt unter Einwirkung der Logiksteuerung die gleichen sind, während die elektrischen Zustände der Zeilen einer Gruppe unterschiedlich sind.
Um für eine derartige Vorrichtung eine zusätzliche Möglichkeit einzuräumen, die Integrationszeit f, veränderlich zu gestalten, kann man die Anzahl der Photoelemente verändern, die aufeinanderfolgend ein und die gleiche Elementarzone des Gebiets wahrnehmen. Zu diesem Zweck können die Zeilen der Photoelcmente der Matrix mindestens zwei getrennte Gruppen bilden, von denen entweder die eine oder die andere nach Art unabhängiger Untermatrizen oder gleichzeitig nach Art einer Einzelmatrix arbeiten kann. In diesem Falle ist es zweckmäßig, unterhalb der letzten Zeilengruppe der Matrix wenigstens eine Zeile von Zusatzphotoelementen vorzusehen und den elektrischen Zustand dieser Zusatzphotoelementenzeile geboten durch die Logiksteuerung derart zu wählen, daß die Zusatzphotoelemente entweder an der Integration des beobachteten Bildes und seiner Übertragung teilhaben oder nur zur Beobachtung des Gebiets verwendet werden.
Nach bekannter Art kann die Matrix aus Photoelementarfeldern von annähernd quadratischer Gestalt, z. B. von seitwärts annähernd 20 Mikron gebildet sein, wobei die Felder geeignet sind, sowohl die Photoelemente als auch die Speicherelemente zu bilden. Um jedoch die Intensitätsschwankungen des Bildes zu verringern, d. h. die Verschlechterung der Modulationsübertragungsfunktion aufgrund der Flugbewegung des — das Bildaufnahmesystem auf seiner Bahn tragenden Flugkörpers, ist es zweckmäßig, daß senkrecht zur Flugrichtung des Flugkörpers die Elementarfelder in mehrere aufeinanderfolgende Elemente z. B. in 2,3 oder 4 Elemente unterteilt werden.
Vorzugsweise haben die einem gleichen Photoelementarfeld angehörenden aufeinanderfolgenden Elementen ein und die gleiche Funktion, d.h. sie sollen entweder dem Bildfang oder dem Speicher dienen. Somit bilden alle Elemente eines Elementarfeldes eine der obenerwähnten die Zeilengruppen bildenden alternierenden Gesamtheiten oder Komplexe.
Die Erfindung wird anhand der nächstfolgenden Beschreibung, einer in den Zeichnungen dargestellten bevorzugten Ausführungsform näher erläutert Hierbei zeigt
F i g. 1 eine schematische Darstellung des Einsatzes des erfindungsgemäßen Systems an Bord eines Flugzeuges,
Fig.2 eine schematische Darstellung der Struktur und z.T. des Betriebs einer aus ladungsgekoppelten Photofeldern bestehende Matrix nach der Erfindung,
Fig.3 ein Diagramm, das das Verhalten des Bildaufnahmesystems nach der Erfindung wiedergibt,
F i g. 4 eine schematische Darstellung, einer ersten Anwendung des erfmdungsgemäßen Verfahrens,
F i g. 5 ein Chronogramm zur F i g. 4,
Fig.6 eine schematische Darstellung einer zweiten Anwendung des erfindungsgemäßen Verfahrens,
Fig. 7 ein Chronogramm zur F ig. 6, und
" Fig. 8 eine Abwandlung der Fig. 1.
Es werden in den Figuren für gleiche Teile gleiche
Bezugszeichen verwendet. Darüber hinaus sind die Felder und Photoelemente (Unterfelder), die zum Bildfang verwendet werden sollen, durch weiße Fächer oder Zellen dargestellt, während die abgedeckten Felder und Photoelemente, die als provisorischer Übergangsspeicher dienen, schraffiert dargestellt sind.
Nach der Fig. 1 ist das Bildaufnahmesystem zur Erkundung des Gebiets 1 aus der Luft oder aus dem Weltraum an Bord eines Flugkörpers 2 eingesetzt, der das Gebiet mit einem Geschwindigkeitsvektor V überfliegt. Das System umfaßt eine Matrix 3 ladungsgekoppelter Elemente, die das Gebiet 1 über eine Optik 4 beobachten, sowie eine Logiksteuerung 5 und ein Schreibgerät oder Sender 6. Selbstverständlich besitzt die Optik 4 ein Objektiv, dessen Öffnung und Brennweite auf die Erfordernisse des jeweiligen Einsatzes abgestimmt sind.
Diese Photomatrix 3 erkundet im Abtastverfahren »PUSH BROOM« das Gebiet 1 nach Maßgabe der Vorwärtsbewegung des Flugkörpers 2, wobei sich aus der nacheinanderfolgenden Belichtung der in der Brennebene der Optik 4 liegenden Zeilen der lichtempfindlichen Felder der Matrix eine Bildzeile ergibt. Die Aufeinanderfolge der Zeilen eines Bildes, d. h. die vertikale Abtastung des Bildes, ergibt sich somit aus der Flugbewegung des Flugzeugs 2 auf seiner Bahn oder aus dem Umlauf des Satelliten in seiner Erdbahn. Die Logiksteuerung 5 ist mit der Vorwärtsbewegung auf der Flugbahn des Flugzeuges oder Satelliten zur Übertragung der aufgezeichneten Videodaten an den Schreiber oder den Sender 6 synchronisiert, so daß die vertikale und horizontale Abtastung des Bildes auf die nachstehend beschriebene Art durchgeführt werden kann.
Wie bereite in der Einleitung zur Beschreibung angedeutet, beruhen die Besonderheiten der Erfindung hauptsächlich im Aufbau der lichtempfindlichen Matrix 3 und im damit durchgeführten Bildaufnahmeverfahren.
Im allgemeinen ist der Aufbau der Charge-Transfer-Photomatrix nach der Erfindung derart gestaltet, daß sie aus Zeilen von Speicherelemente alternierenden Zeilen von lichtempfindlichen Elementen besteht, die den Speicherelementenzeilen zugeordnet sein können, und zwar jeweils einzeln, paarweise, in Dreiergruppen usw., um so die Zeilengruppen zu bilden. Man kann z. B. nach der Erfindung eine aus Zeilengruppen gebildete CCD-Photomatrix verwenden, bei der die Zeilengruppen jeweils eine, zwei, drei, vier usw. Photoelementenzeilen und entsprechend eine, zwei, drei, vier usw. Speicherelementenzeilen umfassen. Darüber hinaus kann jede Photoelementenzeile oder Speicherelementenzeile aus der senkrecht zum Geschwindigkeitsvektor V des Flugzeuges 2 erfolgten Unterteilung der Zeilen der im allgemeinen quadratisch ausgebildeten Fiementarfelder der Photomatrizen hervorgehen. Durch eine derartige Unterteilung wird, wie nachstehend noch zu erläutern ist, der Effekt der Intensitätsschwankung praktisch unterdrückt.
In dem in Fig.2 dargestellten Ausführungsbeispiel weist die CCD-Matrix 3 Mm-elementare Photofelder auf, die in π Zeilen und N Spalten aufgeteilt sind, wobei der Geschwindigkeitsvektor des Flugkörpers 2 parallel zu den Spalten verläuft
Nach der Fig.2 weist die Matrix 3 abwechselnd Zeilen elementarer Photofelder 7 und Zeilen von Speicherfeldern 8 auf, wobei jede Zeile der Felder 7 unterteilt ist in zwei Zeilen von Photoelementen (ab ai— öi, bi... y\, Yi) und dagegen jede Zeile der Felder 8 unterteilt ist in zwei Zeilen von Speicherelementen (33, a«— ... Xi, Xt). Somit ist in diesem Ausführungsbeispiel jede der oben definierten Zeilengruppen (ausgenommen die letzte, die notwendigerweise keine Zeilen von Speicherelementen aufweist) aus zwei Photoelementenzeilen, gefolgt von zwei Speicher- oder Transferelementenzeilen zusammengesetzt. Alle Elemente a\, b\... yy liegen an einer Steuerleitung φ,, die ihre Befehle von der Logikeinheit 5 empfängt.
Gleichermaßen liegen alle Elemente 32, fe · ■ · *2, yi an ein und derselben Steuerleitung g>2, während alle Elemente a$... x^ und alle Elemente 3a... x* an den gemeinsamen Steuerleitungen φι bzw. ςΡ4 liegen. Wie Leitung φι so empfangen auch die Leitungen φζ, ψ3 und q>t ihre Befehle ebenfalls von der Logikeinheit 5.
Der Matrix 3 ist ein von der Logikeinheit 5 gesteuerte Schriftregister oder Schaltspeicher 9 zugeordnet, der die von den N Elementenspalten der Matrix stammenden Videosignale empfängt und dem Schreiber oder Sender 6 übermittelt. Das Register9 umfaßt NZellen 10,
2» von denen jede einer Spalte der Matrix 3 zugeordnet ist.
Nach der Erfindung wird jede der Elementarzonen
des beobachteten Gebiets 1 aufeinanderfolgend z.T.
von mehreren Photoelementen (a\, ai —b\,bi, — ...y\, yi) der entsprechenden Spalte von Matrix 3 parallel
:r> verlaufend zur Flugbewegung Vdes Flugkörpers 2 über dem Gebiet wahrgenommen, wobei die Elektronenladung aus einer Beobachtung der Elementarzone von einem Photoelement an ein folgendes Photoelement (siehe Pfeile der F i g. 2) weitergegeben und die Zone
jo ihrerseits beobachtet wird, so daß sich jedesmal die aus der momentanen Beobachtung stammende Elektronenladung zur Summe der von den früheren Beobachtungen erzeugten Elektronenladungen hinzuaddiert und diese angesammelte Ladung schrittweise zum unteren Ende der Spalte und danach an die entsprechende Zelle 10 des Registers 9 übertragen wird. Sobald dann alle Zellen 10 ihre Videoinformation erhalten haben, wird unter der Einwirkung der Logikeinheit 5 der Inhalt aller Zellen 10 als Block dem Sender oder Schreiber 6 übertragen.
Aufgrund der Tatsache, daß jedes beobachtete Teilgebiet mehrere Male wahrgenommen wird, erhöht sich die Empfindlichkeit der erfindungsgemäßen Vorrichtung, was auch für ihre Dynamik zutrifft Dieser Sachverhalt ist der Fig.3 zu entnehmen, die das
Geräuschverhältnis — in dB als Funktion der Belich-
tungsstärke in Luxsekunden wiedergibt. Bei den bekannten Matrix verwendeten Vorrichtungen entspricht ihr Verhalten der Kurve A, wobei die entsprechende Dynamik durch das Segment D\ dargestellt ist Hingegen zeigt die Kurve 8 das Verhalten nach dem ernndungsgemäBen Verfahren. Das Segment Di stellt hier die entsprechende Dynamik dar, bei weitem größer ist als Dt.
Die Wirkungsweise nach der Erfindung entspricht einer derartigen Zunahme an Empfindlichkeit, daß fast die Sättigungszone ST der Matrix erreicht wird. Um diese Klippe jedoch zu umgehen, wird nach einem weiteren Merkmal der Erfindung die Integrationszeit f,-(wie oben definiert) variiert, so daß die Matrix bei einer konstanten Belichtungsstärke arbeitet. Zum Beispiel kann (F ϊ g. 3) in der von der Sättigungsgrenze sehr weit entfernten Zone I die Integrationszeit f,auf einen höher als oben gleich ii—^ (fi und Phaben die obenerwähnte
Bedeutung) betragenden Wert eingestellt werden, wogegen in der Zwischenzone II f; einen Wert gleich
ίι— I1 und in der Sättigung entsprechende Zone III f,
einen Wert und t\— I1 annehmen kann.
Zum leichteren Verständnis des erfindungsgemäßen Verfahrens wird auf F i g. 2 (für die P= 2 gilt) und auf die beiden Funktionsweisen darstellenden Beispiele der F i g. 4,5 oder der F i g. 6,7 Bezug genommen.
In dem in F i g. 4 schematisierten Beispiel und dessen Chronogramm 6 (F i g. 5) zur Erzielung von Aufnahmen ohne Intensitätsschwankungen mit die Zeit i,dem Wert ti= t\ t\_ entsprechen.
Da in diesem Beispiel P=
zeit t, gleich /^ sein.
2 ist, daß die Integrations-
Geht man von der Annahme aus, daß,die Photoelemente der Zeilen a\, b\...y\ (Verbindung φι) ausgehend vom Zeitpunkt to sensibilisiert, bestimmt diese Zeit fo die Hinterkante der Elementarzonen 11 des beobachteten Gebiets 1, so daß diejenigen, die mit x,+3, x, + i, usw. gekennzeichnet sind, seitwärts gleich 1 sind.
Werden die Photoelemente während der Zeit (,= t]_
zur Zeit ίο+ t\_ sensibilisiert, haben die Elemente der
Linien a\, b\ usw. das erfaßte Gebiet 1 der Flächen bestrichen, die die Zonen x,+3, av + i usw. bedecken. Zu diesem Zeitpunkt werden von den Photoelementen a\, b\ usw. die aufgenommenen Signale den Elementen der folgenden Zeilen 22, fc... X2, y2 zugeführt, die ihrerseits während einer Zeit sensibilisiert werden, wogegen die
I
Elemente au b\ usw. während dieser gleichen Zeit Z1 gehemmt werden, und dieser Vorgang läuft demge-
maß weiter, wobei die Zeilengruppen der Speicherelemente (23, 24 ... X3, Xa) eine Hilfsfunktion für die Zeilengruppen der Photoelemente ausüben.
In den Fig.4 und 5 sind durch senkrechte Pfeile die Ladungsübertragungen, die zu den Umschaltzeitpunkten Z0 + h, t0+ ti, Z0 + 3 /, usw. durchgeführt wer-
2 2
den, und durch die Buchstaben 5 bzw. / der »Sensibilisierungs-« oder »Sperrzustand« der Photoelemente nach der Umschaltung angezeigt Die Buchstaben c und ν zeigen jeweils die Zustände »belastet« bzw. »leer« an.
Somit ergibt sich für jede der N Spalten eine globale
Integrationszeit die gleich (— + 1) mal der Einheitsin-
tegrationszeit ist, da jede
Photoelementen umfaßt
Ausgehend vom Beispiel der Fig.4 und 5 ist ersichtlich, daß auf Wunsch die Sperrzeit vermindert und die Integrationszeit i, so sehr erhöht wird, daß schließlich der Wert t\—^erreicht wird.
Als Grenzwert könnte die Inhibit- oder Sperrzeit praktisch auf Null gesenkt werden, wobei die Umschaltmomente sich gegenüber den obenerwähnten um
Spalte — +1 Zeilen
von
-^-verschieben. Somit liegt der Effekt der Intensitätsschwankung beLmaximal oder gleich —.
Es ist ersichtlich, daß in dem Beispiel der F i g. 4 und 5 die Speicherelemente nicht unerläßlich sind.
Demgegenüber sind sie es jedoch im Beispiel der F i g. 6 und dessen Chronogramm (F i g. 7), in dem davon ausgegangen wird, daß die Integrationszeit f, unter Zi- /1 liegt, d. h. kleiner als Z| ist.
T 2
In diesem Beispiel wurde (,-gleich t\_ gewählt.
Bei einem Vergleich der F i g. 6 und 7 gegenüber 4 und 5 ergibt sich, daß in dem Beispiel der Fig.4 und 5 die Zeitpunkte, von denen aus die Photoelemente der Linien au b\... y\ sensibilisiert sind, verzögert sind und die Zeitpunkte, von denen aus die Photoelemente der Zeilen 22, in... yi gesperrt sind, ihrerseits vorgestellt sind.
Somit ist es in diesem Falle die Zeit — von der aus die
π Elemente der Zeilen β2, 02.. .j2 sensibilisiert sind —, die die Hinterkante der Zonen 11 des Gebiets 1 bestimmt, wogegen es die Zeit ist; — von der aus die Elemente der Zeilen au b\ ...y\ gesperrt sind —, die die Vorderkante der Zonen bestimmt. Wie das Chronogramm der F i g. 7 zeigt, ist es in diesem Fall unerläßlich. Speicherelemente a3, 24... X3, Xa zwischen den Photoelementen vorzusehen, um die Übertragung der Videoinformation zu gewährleisten. Es sind nämlich dies die Speicherelemente, die eine geeignete Lichtintegration von einem Photoelement zum anderen durch die Ladungsübertragung ermöglichen, und dies unabhängig vom Wert der Integrationszeit ti.
Demgemäß ist es also ohne Nachteil möglich, die globale Integrationszeit auf sehr niedrige Werte herabzusetzen, um ein System mit sehr großer Dynamik zu erhalten.
Das Beispiel der F i g. 6 und 7 zeigt, daß es für einen einwandfreien Betrieb nach der Erfindung ausreicht, die Beziehung
τ
für jeden Belichtungs- und Übertragungszyklus einzuhalten, in der tm die Speicherungszeit und Tdie Periode darstellt und α eine ganze Zahl 1,2,3 usw. ist
Demnach ist es mit dem System nach der Erfindung möglich, Integrationszeiten unabhängig von den Durchlaufzeiten der Zeilen und Aufnahmen ohne Intensitätsschwankungen sowie mit einer sehr großen Dynamik zu erhalten, wobei die Empfindlichkeit ohne den Einsatz von Filtersätzen oder Verschlüssen leicht regelbar ist.
Aus der Fig.8 geht hervor, daß die beiden Elementenzeilen y\ und ji die hinter der letzten Speicherelementenzeile x* liegen, als zusätzlich zur Matrix 3 gehörend betrachtet werden können, die aus den Elementen a\, a-i—b\, bi—x\, X2 gebildet ist Die Elemente y\ können mit einer zusätzlichen Steuerleitung φ'\ und die Elemente y-i dagegen mit einer anderen zusätzlichen Steuerieitung g>2 verbunden werden, wobei die Leitungen φΊ und ψΊ ihre Befehle von der
ss Logikeinheit 5 erhalten.
Die Leitungen g>4,953, q>2 und φι erteilen den Zeilen 21, a% 23, 24... JTi, Xz, Xi, Xa Befehle, so daß die Zeilen das oben erwähnte Verhalten zeigen oder als neutrale Elemente auftreten, die nicht an der Beobachtung des Gebiets (Totalsperre der entsprechenden Elemente der Matrix) beteiligt sind. Im letzteren Falle werden nur die Elemente y\, yi zur Beobachtung des Gebiets verwendet und über die Leitungen φΊ und φ'2 aktiviert
Es ist somit leicht ersichtlich, daß sich nach einem
derartigen Verfahren eine zusätzliche Möglichkeit ergibt, die gesamte Integrationszeit U des Bildes zu variieren.
Sollten farbige Aufnahmen erwünscht sein, wären
mehrere Matritzen 3 nach der Erfindung ausreichend, denen verschiedene Farbfilter zugeordnet sind und deren Videofarbsignale zur Wiederherstellung der Bilder kombiniert werden. Somit kann das erfindungsgemäße System auch leicht als Mehrspektralsystem verwendet werden.
In einem praktischen Ausführungsbeispiel zur Bildaufnahme von einem etwa in 650 km Höhe die Erde umlaufenden Satelliten dürfte unter Verwendung einer RITCHEY-CHRETIEN-Optik mit einer Brennweite von etwa 2 m, einem Feld von 3,8° und einer relativen ö'fnung von /1/8 die Auflösung am Boden bei etwa 10 m pro Elementarzone und das Aufnahmefeld bei etwa 30 km Breite liegen, wobei der Bilddetektor aus drei Matrizen der oben beschriebenen Art gebildet ist. Jede Matrix ist auf einem Halbleiterchip (puce
semiconductrice) ausgebildet, der noch einen Videoverstärker aufweist. Jede Matrix enthält 1024 Spalten und 20 Zeilengruppen, von denen jede zwei Zeilen Photoelemente gefolgt von zwei Zeilen Speicherelemente (F i g. 2, 7) aufweist. Die Matrizen sind nach der Zweiphasentechnik (technologie du type biphase) gefertigt.
Zwei der Matrizen sind gleichermaßen quergerichtet und das dritte zwischen den beiden ersten geringfügig zurückversetzt angeordnet. Die Zentren der Photoelemente und der Speicherelemente haben einen Abstand von 30 μηι in Zeilenrichtung und 15 μιπ in Spaltenrichtung.
Die Zeilenfrequenz liegt bei 700 Hz und die Lesefrequenz (Leeren der Register 9) bei 1 MHz.
Hierzu 6 Blatt Zeichnungen

Claims (12)

Patentansprüche:
1. Verfahren zur Bildaufnahme aus der Luft oder dem Weltraum mittels einer an Bord eines Flugzeuges oder Raumschiffes eingesetzten Bildaufnahmevorrichtung, bestehend aus einer Vielzahl von Aufnahmeelementen zum Erkunden mittels einer geeigneten Optik eines Gebietes, das in fiktive, nebeneinanderliegende Elementarzonen aufgeteilt ist, deren jeweilige Abmessungen dergestalt sind, daß sie über die Optik jeweils denjenigen eines Aufnahmeelementes entsprechen, wobei sich jede der Elementarzonen des beobachteten Gebietes aufgrund der relativen Verschiebung der Bildaufnahmevorrichning in bezug auf das Gebiet aufeinanderfolgend gegenüber mehreren Aufnahmeelementen gegenüberliegend befindet, die parallel zur befolgten Balm des Flugzeuges oder Raumschiffes Ober dem Gebiet angeordnet sind, und die aufeinanderfolgenden Beobachtungen ein und derselben beobachteten Zone des Gebietes mehreren Feldern hinzuaddiert werden, dadurch gekennzeichnet, daß eine ladungsgekoppelte (CCD-)Vorrichtung mit einer an sich bekannten Matrix von Fotoelementen verwendet wird, von denen ein jedes eines der Bildaufnahmeelemente bildet und daß die Fotoelemente von einer Logik derart gesteuert werden, daß die aus einer Beobachtung einer Elementarzone des Gebietes stammende Elektronenladung durch ein Fotoelement an das nächstfolgende Fotoelement übertragen wird, das sich in der entsprechenden Spalte der Matrix parallel zur befolgten Bahn des Flugzeuges oder Raumschiffes befindet, und die Zone seinerseits beobachtet, so daß jedesmal die aus der bestehenden Beobachtung stammende Elektronenladung der Summe der Elektronenladungen hinzugefügt wird, die aus der vorhergehenden Beobachtung gebildet werden, und daß diese kumulierte Ladung Zeile um Zeile zu einem Ende der Spalte hin transferiert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Integrationszeit der Photoelemente der CCD-Vorrichtung um so kleiner, je näher die Annäherung an die Sättigungszustände (F i g. 3) der Vorrichtung ist
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, daß die Integrationszeit der Photoelemente im Laufe eines Bildaufnahmeeinsatzes in Abhängigkeit von den vorher bestimmten Helligkeitsbedingungen programmiert und vorgeschrieben ist
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Zeilen der Photoelemente der Matrix wenigstens zwei getrennte Gruppen bilden, von denen jede für sich entweder nach Art von unabhängigen Untermatrizen oder gleichzeitig nach Art einer Einheitsmatrix arbeiten kann.
5. Ladungsgekoppelte (CCD-)Vorrichtung zur Durchführung des Verfahrens nach den Ansprüchen 1 bis 4, bestehend aus einer Logikeinheit (5) zugeordneten Matrix (3) von Photoelementen, dadurch gekennzeichnet, daß die Matrix alternierend von aus Photoelementen und aus Speicherele- menten bestehende Zeilenkomplexe aufweist, die von gleicher Bedeutung sind und jeweils mindestens eine Zeile umfassen, und daß jeder Komplex der Zeilen von Speicherelementen eines diesen in Oberflugrichtung des beobachteten Gebiets vorangehenden Komplex Zeilen von Photoelementen zur Bildung einer Zeilengruppe zugeordnet ist wobei unter der Einwirkung der Steuerungslogik die elektrischen Zustände der Gruppen der Matrix zu einem gegebenen Zeitpunkt die gleichen sind.
6. Verfahren nach einem der Ansprüche 1 bis 4 im Einsatz mit der Vorrichtung nach Anspruch 5, bei dem die Vorbeilaufzeit einer Querzeile der Elementarzonen des beobachteten Gebiets fi ist und P der Anzahl der Zeilen der Photoelemente in einer Zeilengruppe der Vorrichtung entspricht, dadurch gekennzeichnet, daß entfernt von den Sättigungsbedingungen der Vorrichtung die Integrationszeit der Photoelemente höher als oder gleich ii — r, gewählt
ρ wird.
7. Verfahren ncch einem der Ansprüche 1 bis 4 im Einsatz mit der Vorrichtung nach Anspruch 5, bei dem die Vorbeiiaufzeit einer Querzeile der Elementarzonen des beobachteten Gebiets fi ist und P der Anzahl der Zeilen der Photoelemente in einer Zeüengruppe der Vorrichtung entspricht, dadurch gekennzeichnet, daß in der Nähe der Sättigungszustände der Vorrichtung die Integrationszeit der Photoelemente niedriger als ii — r, gewählt wird.
8. Verfahren nach Anspruch 4 im Einsatz mit der Vorrichtung nach Anspruch 5, dadurch gekennzeichnet daß unterhalb der letzten Zeilengruppe mindestens eine Zeile zusätzlicher Photoelemente vorgesehen ist und daß die Zeile der zusätzlichen Elemente auf getrennte Weise mit der Logiksteuerung derart verbunden ist, daß sie entweder unabhängig vom Rest der Matrix oder gleichzeitig mit dieser arbeitet und mit ihr zumindest in betrieblicher Hinsicht ein Ganzes bildet
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet daß unterhalb der letzten Zeilengruppe die Matrix einen Komplex mehrerer zusätzlicher Photoelementzeilen umfaßt, wobei jede Zeile des Komplexes unabhängig von der Steuerlogik gesteuert werden kann.
10. Vorrichtung nach Anspruch 5 mit einer Matrix aus annähernd quadratisch ausgebildeten lichtempfindlichen Feldern, dadurch gekennzeichnet, daß senkrecht zum Geschwindigkeitssektor des Flugzeuges oder Raumschiffs die lichtempfindlichen Felder in mehrere Zellen unterteilt sind, von denen jede ein Photo- oder Speicherelement darstellt.
11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet daß die einem gleichen Elementarfeld angehörenden Zellen die gleiche Funktion haben, d. h. sie bilden alle entweder Photoelemente oder Speicherelemente.
12. Vorrichtung nach einem der Ansprüche 5, 10 oder 11, dadurch gekennzeichnet daß die Anzahl P der Photoelementzeilen in einer Zeilengruppe und die Anzahl der ein Elementarfeld der Matrix unterteilenden Zellen gleich zwei ist.
DE2812323A 1977-03-18 1978-03-17 Verfahren zur Bildaufnahme aus der Luft oder dem Weltraum und Vorrichtung zur Durchführung des Verfahrens Expired DE2812323C2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR7708110A FR2384407A1 (fr) 1977-03-18 1977-03-18 Procede et systeme pour la prise de vues aeriennes ou spatiales
FR7804925A FR2417899A2 (fr) 1978-02-21 1978-02-21 Procede et systeme pour la prise de vues aeriennes ou spatiales

Publications (2)

Publication Number Publication Date
DE2812323A1 DE2812323A1 (de) 1978-09-21
DE2812323C2 true DE2812323C2 (de) 1982-06-09

Family

ID=26219915

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2812323A Expired DE2812323C2 (de) 1977-03-18 1978-03-17 Verfahren zur Bildaufnahme aus der Luft oder dem Weltraum und Vorrichtung zur Durchführung des Verfahrens

Country Status (1)

Country Link
DE (1) DE2812323C2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3418394A1 (de) * 1984-05-17 1986-01-09 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Bildaufnahme- und bildverarbeitungsverfahren sowie -vorrichtungen fuer in fluggeraeten mitgefuehrte videokameras
DE3829300A1 (de) * 1987-09-22 1989-03-30 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur abtastung eines objektes

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4231062A (en) * 1978-11-28 1980-10-28 Rca Corporation Charge-coupled device imager system
DE2940871C2 (de) * 1979-10-09 1983-11-10 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Photogrammetrisches Verfahren für Fluggeräte und Raumflugkörper zur digitalen Geländedarstellung
DE3012601C2 (de) * 1980-04-01 1983-06-09 Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln Verfahren und Einrichtung zur zeilenweisen Aufnahme von Gegenständen
CA1314623C (en) * 1988-09-20 1993-03-16 Naoshi Suzuki Image pickup system capable of obtaining a plurality of stereo images with different base height ratios

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2250251C3 (de) * 1972-10-13 1975-07-17 Eltro Gmbh, Gesellschaft Fuer Strahlungstechnik, 6900 Heidelberg Schaltungsanordnung zum optronischen Abtasten von Geländeprofilen
FR2378414A1 (fr) * 1977-01-21 1978-08-18 Thomson Csf Dispositif de prise de vue en infrarouge avec un tube a cible pyroelectrique, et systeme comportant un tel dispositif

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3418394A1 (de) * 1984-05-17 1986-01-09 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Bildaufnahme- und bildverarbeitungsverfahren sowie -vorrichtungen fuer in fluggeraeten mitgefuehrte videokameras
DE3829300A1 (de) * 1987-09-22 1989-03-30 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur abtastung eines objektes

Also Published As

Publication number Publication date
DE2812323A1 (de) 1978-09-21

Similar Documents

Publication Publication Date Title
DE2533405C3 (de) Verfahren zum verschachtelten Auslesen einer Ladungsspeicheranordnung
DE69931629T2 (de) Aktivpixel-cmos-sensor mit mehreren speicherkondensator
DE69835989T2 (de) Aktiver Pixelbildsensor mit gemeinsam genutztem Verstärker-Auslesesystem
DE69715397T2 (de) Elektro-optische bildwandlermatrix mit zweiachsiger bildbewegungskompensation
DE69627487T2 (de) Direktes digitales panorama-luftbildsystem und -verfahren
DE68920134T2 (de) Farbbildaufnahmegerät mit horizontal-farbstreifenfilter zur reduzierung des steigzeitrauschens.
DE2224275C3 (de) Vorrichtung zur Bilderzeugung mit einer Detektoranordnung
DE69605276T2 (de) Einen filter enthaltende röntgenstrahlvorrichtung
DE2802441C3 (de) Vorrichtung zur Aufnahme von Infrarotbildern mit einer Aufnahmeröhre mit pyroelektrischem Target
DE3345215C2 (de) Festkörper-Bildaufnahmewandler
DE2846627B2 (de) Korrelations-Verfolgungsgerät
EP0357944A1 (de) Zahnärztliche Röntgendiagnostikeinrichtung zur Erstellung von Panorama-Schichtaufnahmen vom Kiefer eines Patienten
DE4335088A1 (de) Bildaufnahmegerät
DE3223809A1 (de) Festkoerper-bildabtastvorrichtung
DE1289549B (de) Bildwandlersystem
DE3514994C2 (de) Festkörper-Bildsensor
DE68920544T2 (de) Detektor-Matrix-Anordnung für Infrarot-Zeilenabtaster grosser Geschwindigkeit/Höhe Verhältnissen.
DE3013282A1 (de) Detektoranordnung fuer ein optisches system
DE3006267C2 (de) Festkörper-Abbildungsanordnung
DE69017172T2 (de) Bildaufnahmeeinrichtung mit integrierten Ablenkschaltungen.
DE3437561A1 (de) Bildaufnahmevorrichtung
DE60023976T2 (de) Festkörper-Strahlungsdetektor
DE2727425A1 (de) Optoelektrisches detektionssystem
DE2812323C2 (de) Verfahren zur Bildaufnahme aus der Luft oder dem Weltraum und Vorrichtung zur Durchführung des Verfahrens
DE3432994C2 (de) Festkörper-Bildaufnahmewandler

Legal Events

Date Code Title Description
OD Request for examination
8125 Change of the main classification

Ipc: H04N 7/18

8126 Change of the secondary classification

Ipc: H04N 3/15

D2 Grant after examination
8339 Ceased/non-payment of the annual fee