DE4342216A1 - Nichtlineare Abtastung zur Optimierung des Leistungsvermögens eines elektrooptischen Sektorabtastungs-Erkennungssystems - Google Patents
Nichtlineare Abtastung zur Optimierung des Leistungsvermögens eines elektrooptischen Sektorabtastungs-ErkennungssystemsInfo
- Publication number
- DE4342216A1 DE4342216A1 DE4342216A DE4342216A DE4342216A1 DE 4342216 A1 DE4342216 A1 DE 4342216A1 DE 4342216 A DE4342216 A DE 4342216A DE 4342216 A DE4342216 A DE 4342216A DE 4342216 A1 DE4342216 A1 DE 4342216A1
- Authority
- DE
- Germany
- Prior art keywords
- scanning
- distance
- scene
- scan
- focal plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/30—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical otherwise than with constant velocity or otherwise than in pattern formed by unidirectional, straight, substantially horizontal or vertical lines
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Die vorliegende Erfindung bezieht sich allgemein auf
elektrooptische Wiedererkennungs- bzw. Erkennungssysteme
und insbesondere auf eine nichtlineare Abtastung zur Opti
mierung des Leistungsvermögens von elektrooptischen Erken
nungssystemen.
Elektrooptische Systeme finden weitverbreiteten Einsatz
bei gegenwärtigen Erkennungssystemen. Für diesen Be
kanntheitsgrad gibt es drei wesentliche Gründe. Der erste
Grund besteht darin, daß diese Systeme in Echtzeit arbeiten
können. Anders ausgedrückt können diese Systeme Daten dann,
wenn diese zusammengetragen werden, verarbeiten und inter
pretieren. Diese Systeme sammeln Daten unter Einsatz eines
in der Luft transportierten Kamerasystems, übertragen die
Daten über ein Luft/Boden-Datenkoppelglied zu einer
Bodenstation und verarbeiten die Daten in der Bodenstation,
wie sie empfangen werden. Dies ermöglicht eine sehr viel
raschere Interpretation von Daten als bei gleichartigen
Daten, die auf photographischem Film aufgezeichnet, zurück
zu einer Heimatbasis geflogen und im Anschluß an den
Flugvorgang verarbeitet werden.
Ein zweiter Vorteil besteht in der Fähigkeit des elek
trooptischen Systems, Dunst zu durchdringen. Diese Fähig
keit wird durch Signalverarbeitungstechniken ermöglicht,
die imstande sind, die Dateninformation vom Hintergrundrau
schen (Dunst bzw. Verschleierung) zu trennen und zu ver
stärken. Diese Fähigkeit ist bei herkömmlichen photographi
schen Erkennungstechniken nicht vorhanden, da es nicht mög
lich ist, die Wirkungen des Hintergrundrauschens zu besei
tigen.
Zusätzlich können elektrooptische Systeme aufgrund der
hohen Empfindlichkeit von elektrooptischen Detektoren mit
geringerem Umgebungslicht als photographische Systeme ar
beiten. Dies hat den Effekt, daß die Zeitdauer je Tag, wäh
rend der eine Erkennungs- bzw. Aufklärungsmission geflogen
werden kann, verlängert ist.
Typischerweise existieren zwei allgemeine Formen elek
trooptischer Erkennungssysteme. Fig. 1 zeigt die beiden
allgemeinen Formen von elektrooptischen Erkennungssystemen.
In einer ersten Betriebs- bzw. Ausführungsart, die als
Streifenbetriebsartsystem bezeichnet wird, ist die durch
das elektrooptische System erfaßte Fläche ein langer,
schmaler Schlitz, der als eine Projektion bzw. eine
Abbildung eines Schlitzes 104 beschrieben werden kann. Die
Projektion des Schlitzes 104 ist die Fläche, die durch eine
Fokalebenenanordnung bzw. Brennebenenanordnung (FPA = Focal
Plane Array) des Systems erfaßt (projiziert) wird. Die
Brennebenenanordnung FPA ist in einem Luftfahrzeug bzw.
Flugzeug 102 angebracht. Eine Linsenanordnung dient zur
Fokussierung des Schlitzes 104 auf die
Brennebenenanordnung. Üblicherweise ist die
Brennebenenanordnung eine Linie aus optischen Sensorein
richtungen wie etwa CCD-Elementen. Bei einem Streifenbe
triebsartsystem erstreckt sich die Projektion des Schlitzes
104 unter rechtem Winkel zu der Flugrichtung und bildet ei
ne Dimension des Bilds. Die Flugrichtung ist durch einen
Flugpfad 122 veranschaulicht. Die zweite Dimension des
Bilds wird durch die Vorwärtsbewegung des Flugzeugs 102 er
zeugt, während es entlang des Flugpfads 122 mit einer Ge
schwindigkeit V fliegt. In dieser Beschreibung wird die
Richtung der Vorwärtsbewegung des Flugzeugs als Richtung in
bzw. entlang der Spur bzw. als Spurrichtung bezeichnet. Die
in rechtem Winkel zum Flugpfad verlaufende Richtung wird
als Richtung quer zur Spur oder als Querrichtung bezeich
net.
Die zweite Betriebsart ist eine Panoramabetriebsart mit
Sektorabtastung (Sektorabtastungsbetriebsart). In der Sek
torabtastungsbetriebsart ist die Linie der Detektoren in
der Brennebenenanordnung mit der Richtung entlang der Spur
ausgerichtet. Folglich verläuft eine Projektion 106 der
Brennebenenanordnung in der Richtung entlang der Spur. Die
Projektion 106 wird unter rechtem Winkel zum Flugpfad (der
Richtung quer zur Spur) entlang der abzubildenden Szene ab
getastet. Die Abtastung in der Richtung quer zur Spur
stellt die zweite Dimension des Bilds dar.
Für Langbereichs- bzw. Großbereichs- oder Fernbereichs-
Luftüberwachungsanwendungen werden Langbereichs-Schrägpho
tographiersysteme (LOROP = long-range oblique photography-
Systeme) eingesetzt. Ein typisches LOROP-System arbeitet
mit einer an einem Luftfahrzeug angebrachten elektroopti
schen Kamera, die dazu ausgelegt ist, eine Szene bei oder
nahe am Horizont in der Sektorabtastungsbetriebsart abzuta
sten. Die abgetasteten Objekte werden durch eine Linse oder
andere optische Komponenten auf der Brennebenenanordnung
fokussiert. Ein rotierendes Prisma kann zur Abtastung der
Projektion 106 in der Richtung quer zur Spurrichtung ent
lang der abzutastenden Szene eingesetzt werden. Die Brenne
benenanordnung FPA besitzt oftmals eine Höhe bzw. Tiefe von
einem Bildelement (Pixel) und eine Breite von mehreren tau
send Bildelementen.
Die elektrooptische Kamera erzeugt ein elektronisches
Signal, das ein Bild der abgetasteten Szene repräsentiert.
Dieses Signal wird nach unten zu einer Bodenstation gekop
pelt, in der es in eine sichtbare Information umgewandelt
wird.
Unter erneuter Bezugnahme auf Fig. 1 wird ein LOROP-Sy
stem in größeren Einzelheiten beschrieben. Ein Flugzeug 102
fliegt mit einer Höhe A über dem Grund und mit einem Boden
abstand D von der auf zunehmenden Szene. Das Flugzeug 102
fliegt mit einer Geschwindigkeit V in der Richtung entlang
der Spur, parallel zu der Szene. Der Sichtlinienabstand
zwischen dem Flugzeug 102 und der Szene ist als eine
Schrägentfernung pslant definiert. Für
Weitbereichsanwendungen (LOROP) ist die Schrägentfernung
pslant groß. (Beispielsweise kann pslant bei einer
typischen Anwendung in der Größenordnung von 40 Seemeilen
bzw. ca. 74 km sein).
Die Brennebenenanordnung und die zugehörigen optischen
Einrichtungen sind im Flugzeug 102 montiert. Ein Depressi
onswinkel Rd ist als der Winkel der Sichtlinie der Kamera,
bezogen auf eine horizontale Ebene, definiert. Ein rotie
rendes Kamerafaß bzw. ein rotierender Kameraaufnehmer be
wirkt eine Abtastung der Projektion 106 entlang der Szene
beim oder nahe am Horizont. Die Geschwindigkeit des Flug
zeugs 102 in der Richtung der Spur und parallel zur Szene
führt dazu, daß die Kamera benachbarte Scheiben bzw. Ab
schnitte der Szene aufnimmt. Jede benachbarte Scheibe bil
det ein vollständiges Bild.
Fig. 2 zeigt diese abgetasteten Scheiben bzw. Teilbe
reiche in größeren Einzelheiten. Bezugnehmend auf die Fig.
1 und 2 ist die Länge jeder Scheibe durch den Abstand
bestimmt, der durch die Abtastbewegung der Kamera in der
Richtung quer zur Spur abgedeckt ist. Diese Länge wird als
eine Feldüberdeckung 202 quer zur Spur bezeichnet. Die
Breite jeder Scheibe in der Richtung entlang der Spur ist
durch die Breite der Brennebenenanordnung, die Brennweite
der optischen Komponenten und den Abstand zwischen der Ka
mera und der Szene bestimmt. Diese Breite ist als die Feld
überdeckung 204 bzw. Überdeckungsfeld in Richtung entlang
der Spur bekannt. Diese Scheiben überlappen einander in der
Richtung entlang der Spur (Spurrichtung) in einem Ausmaß,
der als eine Vorwärtsüberlappung 206 bekannt ist. Die Vor
wärtsüberlappung 206 stellt sicher, daß kein Teil der Szene
unabgetastet verbleibt.
Das Überdeckungsfeld 204 in Richtung der Spur ist eine
Funktion von pslant. Gemäß den typischerweise eingesetzten
Linsenanordnungen ist das Überdeckungsfeld 204 in Richtung
der Spur an dem entfernten Ende der Abtastung (Fernfeld-Ab
tastungspunkt) größer (größer auf dem Boden, jedoch mit
derselben Winkelüberdeckung) als bei dem Punkt der Abta
stung, der dem Flugzeug am nächsten liegt (Nahfeld-Abtast
punkt). Dieses Phänomen ist zur Vereinfachung in Fig. 2
nicht gezeigt. Vielmehr ist in Fig. 2 ein Überdeckungsfeld
204 in Spurrichtung gleich groß sowohl für den Nahfeld- als
auch für den Fernfeld-Abtastpunkt dargestellt.
Eine vertikale Abtastgeschwindigkeit (in der Richtung
quer zur Spur) ist derart gewählt, daß bei einer gegebenen
Geschwindigkeit V des Flugzeugs 102 ein bestimmter Betrag
der Vorwärtsüberlappung 206 erhalten wird. Die bestimmte
Größe der Vorwärtsüberlappung 206 ist derart gewählt, daß
keine Bildinformation zwischen Abtastungen verloren geht.
Wenn sich die Geschwindigkeit V des Flugzeugs 102 vergrö
ßert, muß sich auch die vertikale Abtastgeschwindigkeit er
höhen, um den bestimmten Betrag der Vorwärtsüberlappung 206
beizubehalten.
Um eine optimale Systemauflösung zu erhalten, muß die
Information in der Brennebenenanordnung jedesmal gelesen
werden, wenn die Vertikalabtastung die Brennebenenanordnung
zum Durchwandern des durch jedes Brennelement projizierten
Bereichs veranlaßt. Wenn mehr Fläche bzw. ein größerer Be
reich durch ein Bildelement zwischen Auslesungen der Brenn
ebenenanordnung detektiert (projiziert) wird (d. h. wenn
sich die Abtastgeschwindigkeit vergrößert), verringert sich
die Systemauflösung. Um somit bei einer Vergrößerung der
vertikalen Abtastgeschwindigkeit die Systemauflösung beizu
behalten, muß sich auch die Rate vergrößern, mit der die
Information in der Brennebenenanordnung gelesen wird. Da
die Rate, mit der die Information in der Brennebenenanord
nung gelesen werden kann, durch die Detektortechnologien
begrenzt ist, ist die vertikale Abtastgeschwindigkeit auf
eine praktische maximale Rate beschränkt. Da die vertikale
Abtastgeschwindigkeit auf ein Maximum in der Praxis auf
grund der maximalen Leserate der Brennebenenanordnung ge
bunden ist und da eine Vergrößerung der vertikalen Abtast
geschwindigkeit bei Vergrößerung der Geschwindigkeit V des
Flugzeugs 102 erforderlich ist, um eine bestimmte Vorwärts
überlappung 206 beizubehalten, ist die Geschwindigkeit V
auf einen Maximalwert beschränkt. Somit ist bei einer gege
benen Auflösung und Vorwärtsüberlappung die Arbeitsge
schwindigkeit V, mit der die Panorama-Sektorabtastungser
kennung durchgeführt werden kann, auf einen Maximalwert be
grenzt. Herkömmliche LOROP-Systeme waren nicht imstande,
diese Beschränkung ohne Beeinträchtigung der Auflösung zu
überwinden.
Es sei angemerkt, daß in diesen Unterlagen die System
auflösung durch manche bzw. einige konstante Zahlen bzw.
Anzahl von Linienpaaren je Längeneinheit auf dem Boden de
finiert ist.
Es wird somit ein System und ein Verfahren zum Vergrö
ßern der Arbeitsgeschwindigkeit V benötigt, mit der ein die
elektrooptische Erkennung ausführendes Flugzeug fliegen
kann, während eine bestimmte Vorwärtsüberlappung 206 und
die Systemauflösung bei einem gegebenen Niveau gehalten
wird.
Mit der vorliegenden Erfindung wird ein Gerät und ein
Verfahren zum Ausdehnen der Arbeitsgeschwindigkeit des Pan
orama-Weitbereich-Schrägphotographierens (LOROP) mit Sek
torabtastung ohne Einbuße an Systemauflösung geschaffen.
Die vorliegende Erfindung ist auf ein System und ein Ver
fahren zum Vergrößern der Abtastgeschwindigkeit eines elek
trooptischen Erkennungssystems mit Sektorabtastung gerich
tet, wobei ein bestimmtes Niveau der Vorwärtsüberlappung
und der Systemauflösung, wie vorstehend definiert, auf
rechterhalten wird. Die vorliegende Erfindung nutzt die
vergrößerte Auflösung aus, die den Nahfeldabschnitten der
Abtastung inhärent ist. Während die Kamera von dem Fernfeld
zum Nahfeld abtastet, wird die Abtastgeschwindigkeit ver
größert. Diese Vergrößerung der Abtastgeschwindigkeit er
möglicht es dem System, eine erhöhte Nahfeldauflösung durch
eine vergrößerte Abtastgeschwindigkeit zu ersetzen. Die
Erhöhung der Abtastgeschwindigkeit in dem Nahfeld führt zu
einer Erhöhung der gesamten Abtastrate, während ein be
stimmter Pegel der Systemauflösung aufrechterhalten wird.
Diese Vergrößerung der Abtastrate ermöglicht eine größere
Geschwindigkeit des Betriebs des Flugzeugs, ohne daß die
Vorwärtsüberlappung geopfert bzw. beeinträchtigt wird.
Gemäß der vorliegenden Erfindung werden Berechnungen
durchgeführt, um die gewünschte Abtastrate der Kamera auf
grund der gegebenen Betriebsparameter der Mission zu be
stimmen. Eine zugehörige Leserate der Brennebenenanordnung
wird berechnet, die zur Erfüllung der Spezifikationen des
Leistungsvermögens (insbesondere Auflösung) bei der be
stimmten Abtastrate erforderlich ist. Bei schnelleren Kame
raabtastraten muß auch die Leserate der Brennebenenanord
nung schneller sein. Bei Kamera-Abtastraten oberhalb eines
Schwellwerts muß die Brennebenenanordnung mit einer Rate
gelesen werden, die schneller ist als es die Detektor
technologie erlaubt. Falls die berechnete Leserate der
Brennebenenanordnung das Systemmaximum bzw. die maximale
Systemrate überschreitet, muß sich die Abtastgeschwindig
keit als Funktion der Zeit verändern.
In dem Falle einer variierenden Abtastrate befindet
sich die Abtastgeschwindigkeit im Fernfeldpunkt der Abta
stung beim Schwellwert und vergrößert sich, während die Ab
tastung durch das bzw. zum Nahfeld fortschreitet. Diese
Vergrößerung führt zu einer Erhöhung der gesamten Abtastge
schwindigkeit einer Kamera während des Abtastzyklus. Die
nichtlineare Abtastgeschwindigkeit, die während jeder Abta
stung benutzt wird, wird entweder unter Einsatz einer exak
ten Lösung oder unter Polynom-Annäherung bestimmt.
Die Kamera wird entlang der Szene mit der vorstehend
bestimmten nichtlinearen Geschwindigkeit abgetastet. Folg
lich wird ein Bild der abgetasteten Szene auf der Brennele
mentanordnung fokussiert. Daten werden aus der Brennebenen
anordnung in periodischen Intervallen ausgelesen, wodurch
eine elektronische photographische Aufnahme von Streifen
der abgetasteten Szene bewirkt wird. Diese Daten sind ein
elektronisches Signal, das digitale Bilddaten enthält. Das
Signal wird an eine Bodenstation für die Verarbeitung ge
sendet, um schließlich ein sichtbares Bild zu erhalten.
Jedoch führt die Abtastung der Szene mit einer nichtli
nearen Geschwindigkeit dazu, daß das Bildelement-Aspektver
hältnis bzw. Flächen- bzw. Seitenverhältnis des
resultierenden Bilds verzerrt wird und innerhalb des
gesamten Bilds variiert. Um dies zu kompensieren, werden
die digitalen Bilddaten korrigiert, um die Wirkungen der
nichtlinearen Abtastgeschwindigkeit zu beseitigen. Wenn sie
einmal korrigiert sind, kann ein verzerrungsfreies
sichtbares Bild erzeugt werden, das im gesamten Bild ein
Bildelement-Aspektverhältnis von 1 : 1 besitzt. Somit stellt
die vorliegende Erfindung ein verbessertes
Leistungsvermögen eines elektrooptischen Erkennungssystems
aufgrund des Einsatzes einer nichtlinearen
Abtastgeschwindigkeit bereit, bei dem die vergrößerte Nah
feldauflösung vorteilhaft ausgenutzt wird und bei dem die
resultierenden Bilddaten dann elektronisch korrigiert wer
den, um die Wirkungen der nichtlinearen Abtastgeschwindig
keit zu beseitigen.
Weitere Merkmale und Vorteile der vorliegenden Erfin
dung sowie der Aufbau und die Arbeitsweise verschiedener
Ausführungsbeispiele der vorliegenden Erfindung werden
nachstehend unter Bezugnahme auf die beigefügten Zeichnun
gen näher beschrieben. In den Zeichnungen bezeichnen glei
che Bezugszahlen identische oder funktional gleichwertige
Elemente. Zusätzlich bezeichnet die ganz links stehende
Ziffer einer Bezugszahl die Zeichnung, in der die Bezugs
zahl zuerst auftritt.
Die Erfindung wird nachstehend unter Bezugnahme auf die
beigefügten Zeichnungen näher beschrieben. Es zeigen:
Fig. 1 eine schematische Darstellung, die ein elek
trooptisches, mit Sektorabtastung arbeitendes Erkennungssy
stem veranschaulicht,
Fig. 2 photographische Scheiben 106, die bei einem
elektrooptischen, mit Sektorabtastung arbeitenden Erken
nungssystem erhalten werden,
Fig. 3 ein Ablaufdiagramm, das ein Verfahren in Über
einstimmung mit der vorliegenden Erfindung veranschaulicht,
Fig. 4 ein sehr verallgemeinertes Blockschaltbild, das
die Schlüsselelemente bzw. wesentlichen Elemente der vor
liegenden Erfindung und deren Umgebung veranschaulicht,
Fig. 5 ein Ablaufdiagramm, das die Schritte zeigt, die
bei der Bestimmung der gewünschten Abtastgeschwindigkeit
enthalten sind,
Fig. 6 ein Ablaufdiagramm, das die Schritte veranschau
licht, die zur Bestimmung einer verwendeten Abtastzeit er
forderlich sind, und
Fig. 7 ein Blockschaltbild, das Elemente der vorliegen
den Erfindung veranschaulicht.
Nachstehend wird ein Inhaltsverzeichnis der folgenden
Abschnitte aufgelistet:
- 1. Übersicht über die Erfindung
- 2. Terminologie
- 3. Die Erfindung und ihre Umgebung
- 4. Nichtlineare Abtastung
- 5. Ausführungsbeispiele der Erfindung
- 5.1 Annahmen und Schlüsselsystemparameter
- 5.2 Bestimmung der Abtastrate (Abtastgeschwin
digkeit) und Zeilenrate
- 5.2.1 Abtastgleichungen mit exakter Lösung für die Betriebsarten 1, 4 und 5
- 5.2.2 Gleichungen für polynomische Annähe rung der Abtastung für die Betriebs arten 1, 4 und 5
- 5.2.3 Gleichungen für die Abtastung mit exakter Lösung für Betriebsarten 2 und 3
- 5.2.4 Polynomische Annäherung für Betriebs arten 2 und 3
- 5.3 Verfahren zur Korrektur des Bildelement-
Seitenverhältnisses bzw. Bereichsverhältnis
ses
- 5.3.1 Ableitung bzw. Gewinnung
- 5.3.2 Realisierung
- 6. Schlußfolgerungen
Die vorliegende Erfindung ist ein System und ein Ver
fahren für nichtlineare Abtastung bei elektrooptischen Er
kennungssystemen, um eine erhöhte Betriebsgeschwindigkeit
des Flugzeugs bei einem bestimmten Niveau der Systemauflö
sung und der Vorwärtsüberlappung zu ermöglichen. Bei der
vorliegenden Erfindung werden vorteilhafterweise die Erhö
hungen bei der Nahfeldauflösung bei Anwachsen der Abtastge
schwindigkeit im Nahfeld unter Aufrechterhaltung einer ge
gebenen Leserate der Brennebenenanordnung (typischerweise
der maximalen Rate) ausgenutzt. Damit kann die gesamte Ab
tastgeschwindigkeit vergrößert werden, ohne daß die System
auflösung beeinträchtigt wird. Da die gesamte Abtastge
schwindigkeit vergrößert wird, kann die Flugzeuggeschwin
digkeit V vergrößert werden, während eine bestimmte Vor
wärtsüberlappung beibehalten wird.
Während die Leserate der Brennebenenanordnung (bzw.
Brennebenenarray, FPA) konstant gehalten wird, wird bei zu
nehmender Abtastgeschwindigkeit eine größere Fläche der
Szene in der Richtung quer zur Spur je Auslesung der Brenn
ebenenanordnung abgebildet. Da sich die Abtastgeschwindig
keit vergrößert, wenn das System das Nahfeld abtastet, wird
eine größere Fläche der Szene zwischen den Auslesungen der
Brennebenenanordnung im Nahfeld abgebildet, als es beim
Fernfeld der Fall ist. Als Ergebnis ist das winkelmäßige
Gesichtsfeldverhältnis (Aspekt-Verhältnis) der Bildelemente
innerhalb eines einzelnen Bilds nicht konstant 1 : 1.
Folglich wird das resultierende Bild verzerrt. Das Bild
wird in der Richtung quer zur Spur längsgestreckt (mit Be
zug zu der Richtung entlang der Spur). Das Ausmaß der Ver
längerung vergrößert sich (im Nahfeld), wenn sich die Abta
stgeschwindigkeit vergrößert. Tatsächlich werden die Bild
elemente in der Richtung quer zur Spur dadurch verlängert,
daß ihre Winkelabmessung größer wird. Wenn jedoch das Bild
betrachtet wird, erscheint es "gequetscht". Das gequetschte
bzw. gestauchte Erscheinungsbild ist im Nahfeld noch deut
licher.
Um ein endgültiges Produktbild mit einem Winkel-Seiten
verhältnis bzw. -Bildformat von 1 : 1 (d. h. verzerrungsfrei)
überall innerhalb des Bilds bereitzustellen, wird das Bild
während der Bildverarbeitung korrigiert.
Somit schafft die vorliegende Erfindung ein verbesser
tes Systemverhalten bzw. Leistungsvermögen eines elektroop
tischen LOROP-Systems, indem eine nichtlineare Abtastung
zur vorteilhaften Ausnutzung einer vergrößerten Nahfeldauf
lösung durchgeführt wird und die Bilddaten elektronisch zur
Korrektur der nichtlinearen Abtastrate korrigiert werden.
In der nachstehenden Tabelle 1 sind die Definitionen
der in dieser Anmeldung verwendeten Ausdrücke und Symbole
aufgelistet. Die Ausdrücke in Tabelle 1 sind derart geord
net, daß sie lediglich unter Bezugnahme auf solche Aus
drücke definiert sind, die bereits zuvor in der Tabelle de
finiert wurden.
Manche der in Tabelle 1 aufgelisteten Ausdrücke wurden
schon vorstehend in dieser Anmeldung definiert. Die Defini
tion dieser Ausdrücke wird in Tabelle 1 wiederholt.
In dieser Anmeldung sind die Ausdrücke "Abtastrate" und
"Abtastgeschwindigkeit" austauschbar verwendet. Diese Aus
drücke beziehen sich auf die winkelmäßige Geschwindigkeit,
mit der die Kamera abgetastet wird.
Die vorliegende Erfindung wurde für den Einsatz zusam
men mit dem taktischen elektrooptischen Weitbereichs-Sen
sorsystem F-979H entwickelt, das durch Loral Fairchild
Systems, Syosset, New York entwickelt wurde. Dieses
Sensorsystem kann in einer Vielzahl von Flugzeugen oder in
einer Erkennungs-Bausteingruppe, vorzugsweise unterhalb der
Tragfläche oder in einem anderen, derartigen Luftfahrzeug
montiert werden. Der Kern dieses Systems ist ein
Systembildsensor (Systems Imaging Sensor), der eine
Abbildungs-LRU (zeilenersetzbare Einheit = line replaceable
unit (LRU)) und drei elektronische LRUs bzw.
Zeilenersetzungseinheiten enthält. Eine zusätzliche
Ausstattung kann eine Erkennungsmanagementeinheit
enthalten, die schnittstellenmäßig mit dem Flugzeug, einer
Steuertafel, optischen Anzeigen und einem
Datenaufzeichnungsgerät während des Flugs bzw. einem
Flugdatenschreiber gekoppelt ist.
Ein Bodendatensystem, das als eine EO-LOROPS-Bodensta
tion bezeichnet wird, wird zur Verarbeitung der Bilddaten
in Echtzeit, zur Bereitstellung sichtbarer Anzeigen der
Bilddaten, zur Aufzeichnung digitaler Daten auf Aufzeich
nungsgeräten und zur Aufzeichnung sichtbarer Bilder auf
Film eingesetzt.
Fig. 4 zeigt ein verallgemeinertes Blockschaltbild, das
eine repräsentative Umgebung bzw. Anordnung der vorliegen
den Erfindung veranschaulicht. Typische luftgestützte Kom
ponenten gemäß der vorliegenden Erfindung können innerhalb
des Flugzeugs 102 oder innerhalb einer Erkennungsbaugruppe
montiert sein. Der luftgestützte Abschnitt enthält elek
trooptische Komponenten 412, Aufzeichnungsgeräte 414 für
die Aufzeichnung während des Flugs und einen Luft-Boden-
Sender 416. Bei einem Ausführungsbeispiel wird der Luft-Bo
den-Sender 416 nicht eingesetzt. Daten werden an Bord des
Flugzeugs gespeichert und zu der Bodenstation geliefert.
Elektrooptische Komponenten 412 enthalten eine Brenne
benenanordnung, optische Komponenten, Fokussier- und Be
lichtungssteuerung, optionale Datenkompression, Computer-
Hardware und -Software sowie elektronische Verarbeitungs
einrichtungen. Die elektrooptischen Komponenten empfangen
optische Information der abgetasteten Szene und stellen ein
elektronisches Signal 424 bereit, das die optische Szene
repräsentiert. Das elektronische Signal 424 wird unter Ein
satz eines optionalen Aufzeichnungsgeräts 414 zur Aufzeich
nung während des Flugs aufgezeichnet.
Der Luft-Boden-Sender 416 wird zum Übertragen von abge
tasteter Bildinformation vom Flugzeug 102 zu einer Boden
station 402 eingesetzt. Eine derartige Übertragung wird
durch ein Luft-Boden-Datenkoppelglied bzw. eine Datenver
bindung 422 erreicht. Einzelheiten der Blöcke 412 bis 416
werden im weiteren Text im Zusammenhang mit Fig. 7 erläu
tert.
Die Bodenstation 402 enthält einen Datenkopplungsemp
fänger 432, eine digitale Bilddatenverarbeitung 434 und ei
ne Anzeige 436. Der Datenkopplungsempfänger 432 empfängt
Bilddaten auf einem Träger über die Luft-Boden-Datensignal
verbindung 422, beseitigt den Träger und leitet die ver
bleibenden digitalen Bilddaten zur Verarbeitung über bzw.
als ein elektronisches Signal 426 weiter. Wahlweise werden
die digitalen Bilddaten am Ausgang des Empfängers 432 auf
gezeichnet.
Eine solche Aufzeichnung wird zu Archivierungszwecken
oder für eine Verarbeitung später als in Echtzeit (off
line) durchgeführt.
Die digitale Bilddatenverarbeitung bzw. Verarbeitungs
einrichtung 434 kann so gestaltet sein, daß sie eine Mehr
zahl von Datenverarbeitungsfunktionen bereitstellt. Das Ge
samtziel der digitalen Bilddatenverarbeitung besteht in der
Umsetzung von digitalen Bilddaten in ein verwendbares
sichtbares Bild.
Eine alternative Umgebung bzw. Auslegung kann in Be
tracht gezogen werden, bei der die digitale Bildverarbei
tung nicht in der Bodenstation 402, sondern in dem Flug
zeug/in der Bausteingruppe durchgeführt wird. Es kann auch
eine zusätzliche alternative Umgebung bzw. Ausgestaltung in
Betracht gezogen werden, bei der das elektronische Signal
nicht über die Luft-Boden-Datensignalverbindung 422 über
tragen, sondern statt dessen auf einem transportablen Medium
aufgezeichnet wird. Bei der Ausgestaltung wird das elektro
nische Signal 424 aus dem Medium ausgelesen und im Anschluß
an den Flugvorgang verarbeitet. Bei diesen Alternativen
wird das Erfordernis einer Luft-Boden-Datensignalverbindung
und ihrer zugehörigen Hardware vermieden.
Das Systemleistungsverhalten eines LOROP-Systems wird
oftmals anhand eines Bildinterpretierbarkeit-Beurteilungs
skalenwerts (IIRS-Wert = Image Interpretability Rating
Scale - IIRS -) spezifiziert. Der IIRS-Wert bzw. Beurtei
lungsskalenwert ist ein quantitatives, wenn auch teilweises
subjektives Maß der Bildqualität. Er ist eine Funktion der
Schrägentfernung pslant, der Höhe A, der Systemauflösung,
der atmosphärischen Sichtbarkeit bzw. Sichtbedingungen und
der Sonnenbestrahlung. Ein bestimmter Beurteilungsskalen
wert ist typischerweise als ein Bereich von bodenaufgelö
sten Abständen (GRD = ground resolved distances) bei einer
gegebenen Schrägentfernung R an beliebiger Stelle innerhalb
eines gegebenen Vollbilds definiert. Typische IIRS-Beurtei
lungswerte und ihre zugehörigen GRD-Werte sind auf den Sei
ten 58 bis 65 des beigefügten Anhangs aufgelistet.
GRD ist als das minimale Testzielelement definiert, das
auf dem Boden aufgelöst wird. Generell muß das System den
Boden mit dem zweifachen Wert des Werts GRD abtasten. Folg
lich ist die Bodenabtaststrecke bzw. Bodenabtastentfernung
GSD (= ground sample distance)
GRD = 2*GSD.
Anders ausgedrückt muß der Boden bei jedem halben Fuß
(bzw. alle 15 cm) abgetastet werden, um unter schlechtesten
Bedingungen ein Ziel mit der Größe von ca. 30 cm (ein Fuß)
aufzulösen.
Um einen gegebenen Beurteilungsskalenwert IIRS zu er
füllen, kann angenommen werden, daß die Abtastgeschwindig
keit der Kamera auf eine Rate beschränkt ist, bei der die
Kamera die Strecke von lediglich einem durch den Wert IIRS
spezifizierten Wert GSD zwischen bzw. bei jedem Lesezyklus
der Brennebenenanordnung FPA durchquert. Anders ausgedrückt
muß die Information in der Brennebenenanordnung zur Erfül
lung einer bestimmten IIRS-Anforderung bei der vertikalen
Auflösung jedesmal gelesen werden, wenn die Vertikalabta
stung die Brennebenenanordnung zur Durchquerung einer ver
tikalen Strecke von einer Hälfte des durch den IIRS-Wert
spezifizierten bodenaufgelösten Abstands GRD veranlaßt.
Wenn sich die vertikale Abtastgeschwindigkeit vergrößert,
muß sich auch die Rate, mit der die Information in der
Brennelementanordnung gelesen wird, vergrößern. Da die Ra
te, mit der die Information in der Brennelementanordnung
gelesen werden kann, durch Detektortechnologien beschränkt
ist, ist die vertikale Abtastgeschwindigkeit in der Praxis
auf eine maximale Rate begrenzt.
Da die vertikale Abtastgeschwindigkeit in der Praxis
ein Maximum erreicht und da eine Erhöhung der vertikalen
Abtastgeschwindigkeit erforderlich ist, um die Vorwärts
überlappung 206 beizubehalten, wenn sich die Geschwindig
keit V des Flugzeugs 102 vergrößert, ist die Geschwindig
keit V auf ein Maximum bzw. einen maximalen Wert beschränkt.
Die durch jedes Bildelement der Brennebenenanordnung
FPA selektierte Fläche der Szene (d. h. die durch jedes
Bildelement projizierte Fläche) zu irgendeinem gegebenen
Zeitpunkt ist als die Abtastgröße definiert. Wie vorstehend
angegeben, wird die EO-Kamera derart abgetastet, daß die
Projektion jedes Bildelements über die Szene in der Rich
tung quer zur Spur bewegt wird. Diese Abtastung führt dazu,
daß die Szene in Streifen abgebildet wird, wie vorstehend
erläutert wurde.
Während die Kamera abgetastet wird, wird ein Szenenbild
auf der Brennebenenanordnung fokussiert. Die Brennebenenan
ordnung wandelt dieses Szenenbild in eine elektrische La
dungsdarstellung der optischen Information um. Brennebenen
anordnungen FPA sind dem Fachmann bekannt. Die elektrische
Ladungsinformation in der Brennebenenanordnung wird in her
kömmlicher Weise periodisch während einer Lesung bzw. wäh
rend eines Lesezyklus der Brennebenenanordnung ausgelesen.
Bei einem bevorzugten Ausführungsbeispiel ist das Sze
nenbild eine optische Information im sichtbaren Spektrum
(d. h. Licht). Es können andere Ausführungsbeispiele in Be
tracht gezogen werden, bei denen die erfaßte Szenenenergie
eine andere Wellenlänge wie etwa Infrarot besitzt. Für den
Fachmann ist offensichtlich, wie er die Detektortechnolo
gie, die optischen Komponenten und Filter zur Optimierung
des Systemleistungsvermögens bei einer gewünschten Be
triebswellenlänge zu wählen hat.
Die Fläche, die durch die überstrichene projizierte Än
derung des Winkels (bezogen auf den Boden) zwischen Ausle
sungen der Brennebenenanordnung überdeckt bzw. abgedeckt
wird, wird als die Bodenabtaststrecke bzw. der Bodenabta
stabstand (GSD = ground sample distance) bezeichnet. Folg
lich enthält jeder Streifen mehrere Bodenabtaststrecken GSD.
Die Bodenabtaststrecke GSD ist eine Funktion der Bildele
mentgröße, der Brennweite des Systems, der Abtastgeschwin
digkeit der Kamera und der Schrägentfernung pslant. Wenn
sich die Schrägentfernung pslant verringert, nimmt auch der
Wert GSD ab. Daher erhöht sich die Auflösung bei einer Ver
ringerung der Schrägentfernung pslant. Als Ergebnis verrin
gern sich auch der Wert GRD für eine gegebene Abtastge
schwindigkeit und die Leserate der Brennebenenanordnung.
Die Schrägentfernung pslant zwischen dem Flugzeug und
der Probe bzw. Abtastung nimmt ab, wenn die Abtastung vom
Fernfeld-Abtastpunkt zum Nahfeld-Abtastpunkt durchgeführt
wird. Jedoch besteht kein Erfordernis einer verbesserten
Auflösung (über den bestimmten Wert GRD hinaus) bei der
Nahfeld-Abtastung. Um das Leistungsvermögen bei einem be
stimmten Wert von IIRS quer über das gesamte Abdeckfeld 202
quer zur Spur sicherzustellen, muß der spezifizierte Wert
von GRD für einen gewünschten Wert IIRS bei dem dem
schlechtesten Fall entsprechenden Punkt erfüllt sein, der
dem Fernfeld-Abtastpunkt entspricht. Die verbesserte Auflö
sung beim Nahfeld-Abtastpunkt ergibt einen besseren Wert
von IIRS, was jedoch nicht von praktischem Nutzen ist, da
der spezifizierte bzw. geforderte Wert von IIRS bereits er
füllt wurde.
Die vorliegende Erfindung macht sich jedoch vorteilhaf
terweise dieses verbesserte Nahfeld-Auflösungsvermögen zu
nutze, um das bei herkömmlichen Systemen vorhandene Problem
der Beschränkung der Abtastrate zu überwinden. Da der Wert
GSD im Nahfeld abnimmt, kann die Kamera schneller abgeta
stet werden (bei einer gegebenen Leserate der
Brennebenenanordnung), um dieselbe Größe des Werts GSD im
Nahfeld zu erreichen, wie er auch im Fernfeld bei der
langsameren Abtastrate erzielt wurde.
Eine schnellere Abtastung im Nahfeld vergrößert die ge
samte Abtastrate der Kamera. Als Ergebnis kann die Ge
schwindigkeit V des Flugzeugs (und die Größe der Abdeckung
her zur Spur) bei einer gegebenen Anforderung an den Wert
IIRS und einer gegebenen Leserate der Brennebenenanordnung
den Wert überschreiten, auf den sie bei herkömmlichen
Systemen begrenzt war.
Wie vorstehend erläutert, baut die vorliegende Erfin
dung auf dem Umstand auf, der andernfalls zu erhöhter Auf
lösung im Nahfeld führen würde, um eine Vergrößerung der
Abtastgeschwindigkeit der Kamera dann, wenn sich die Abta
stung in das Nahfeld bewegt, zu ermöglichen. In
Übereinstimmung mit der vorliegenden Erfindung werden Bild
daten, die unter Verwendung einer erhöhten Abtastgeschwin
digkeit (nichtlineare Abtastung) gesammelt werden, auf dem
Boden korrigiert, um die geometrischen Auswirkungen dieser
nichtlinearen Abtastung zu beseitigen. Fig. 3 zeigt ein Ab
laufdiagramm, das einen bevorzugten Verarbeitungsablauf ge
mäß der vorliegenden Erfindung veranschaulicht. Fig. 7
zeigt ein Blockschaltbild, das ein bevorzugtes System gemäß
der vorliegenden Erfindung darstellt. Die vorliegende Er
findung wird nun unter Bezugnahme auf die Fig. 3 und 7 er
läutert.
In einem Schritt 302 werden Berechnungen zur Bestimmung
von Systembetriebsparametern wie etwa der Kameraabtastrate
und den Leseraten der Brennebenenanordnung bei einem gewün
schen Wert von IIRS und gegebenen Betriebsparametern wie
etwa der Geschwindigkeit V des Flugzeugs durchgeführt.
Diese Berechnungen werden ohne Beschränkungen hinsichtlich
der Abtastrate ausgeführt. Eine zugehörige Leserate der
Brennebenenanordnung, die zur Erfüllung der
Leistungsspezifikationen (insbesondere der Auflösung) bei
der bestimmten Abtastrate erforderlich ist, wird berechnet.
Bei schnelleren Kamera-Abtastraten muß auch die Leserate
der Brennebenenanordnung schneller sein. Bei Kamera-
Abtastraten oberhalb eines gewissen Werts muß die
Brennebenenanordnung mit einer Rate gelesen werden, die
schneller ist als es die Detektortechnologie erlaubt. Diese
Abtastrate wird als "Schwellwert"-Rate bezeichnet.
Falls die geforderte Leserate der Brennebenenanordnung
innerhalb der Systemfähigkeiten liegt, kann die Abtastge
schwindigkeit der Kamera während der gesamten Abtastung
konstant sein. Falls andererseits die gewünschte Leserate
der Brennebenenanordnung schneller ist als es das System
handhaben kann, muß die Abtastgeschwindigkeit als eine
Funktion der Zeit verändert werden. Anders ausgedrückt wird
zur Erzielung von Abtastraten oberhalb des Schwellwerts ei
ne nichtlineare Abtastung eingesetzt, wodurch die Abtastge
schwindigkeit vergrößert wird, wenn die Kamera das Nahfeld
abtastet.
In einem Schritt 303 wird dann, wenn die Abtastrate
oberhalb der Schwellwertrate liegt, eine nichtlineare Abta
stgeschwindigkeit bestimmt.
In einem Schritt 304 wird die Kamera entlang der abzu
bildenden Szene mit der Abtastgeschwindigkeit abgetastet,
die im Schritt 302 (oberhalb des Schwellwerts) oder im
Schritt 303 (oberhalb des Schwellwerts) bestimmt wurde. Die
Kamera-Abtastung kann unter Verwendung einer rotierenden
Prismenanordnung 702, einer beweglichen Kamerahalterung,
einem rotierenden Kamerafaß oder einer Anzahl von anderen
Abtasttechniken erzielt werden. Diese Techniken zur Abta
stung einer Kamera über eine Szene hinweg sind dem Fachmann
bekannt.
In einem Schritt 306 wird ein Bild der Szene auf einer
Brennebenenanordnung FPA 704 des Systems fokussiert,
während die Kamera über die Szene hinweg abgetastet wird.
Die Brennebenenanordnung 704 wandelt das Bild (sichtbar,
Infrarot, elektromagnetisch oder dergleichen) in
elektrische Ladungsinformation 722 um. Die elektrische
Ladungsinformation 722 wird durch eine elektronische
Haupteinheit 706 verarbeitet, um ein physikalisches
elektronisches Signal 422A bereitzustellen, das die auf der
Brennebenenanordnung fokussierte Bildinformation
repräsentiert. Anders ausgedrückt, "photographiert" die
Kamera die Szene elektronisch im Schritt 306.
Eine optimale Datenkompression kann durch eine Daten
komprimiereinheit 708 bewirkt werden, um die digitalen
Bilddaten im elektronischen Signal 424A zu komprimieren.
Durch die Datenkomprimierung wird ein Signal 424B erzeugt.
Die Bilddaten werden zum Boden für eine Verarbeitung
übertragen, wie sie vorstehend unter Bezugnahme auf Fig. 4
erläutert wurde. Falls eine Datenkomprimierung eingesetzt
wurde, müssen die Daten nach Empfang dekomprimiert bzw. ex
pandiert werden.
Als Ergebnis werden die digitalen Bilddaten im elektro
nischen Signal 424A in einem bzw. in Form eines elektroni
schen Signals 426 bereitgestellt.
In einem Schritt 308 werden digitale Bilddaten im elek
tronischen Signal 426 in einer Bildverarbeitungseinheit 710
verarbeitet, um ein Bild der Szene zu erzeugen, wie sie
durch die Kamera "photographiert" wurde. Diese Verarbeitung
umfaßt die Umwandlung der digitalen Bildinformation im
elektronischen Signal 426 in ein Datensignal 724 für ein
sichtbares Bild, das auf einem Monitor oder einer anderen
Einrichtung angezeigt oder als Hartkopie bereitgestellt
werden kann.
In einem Schritt 310 wird das Bildelement-Seitenver
hältnis des Datensignals 724 für ein sichtbares Bild durch
eine Seitenverhältnis-Korrektureinheit 712 korrigiert, um
die Auswirkungen der nichtlinearen Abtastung zu kompensie
ren. Das Bildelement-Seitenverhältnis ist das Verhältnis
von der Breite zur Höhe.
In einem Schritt 312 wird das im Schritt 308 verarbei
tete Bild auf einem Monitor oder einer anderen Einrichtung
436 angezeigt, als Hart- bzw. Dauerkopie ausgedruckt oder
in einer Datenbank 714 für spätere Rückgewinnung gespei
chert.
Die vorstehende, auf Fig. 3 Bezug nehmende Diskussion
entspricht einer schematisierten Erläuterung der Schlüssel
schritte bzw. wesentlichen Schritte der vorliegenden Erfin
dung. Die Schritte 302, 303 und 308 sind für einen erfolg
reichen Betrieb in Übereinstimmung mit der vorliegenden Er
findung wesentlich. Diese Schritte werden in größeren Ein
zelheiten in den nachfolgenden Unterabschnitten beschrie
ben.
Bei den vorstehend erläuterten Schritten 302 und 303
bestimmen das System und das Verfahren gemäß der vorliegen
den Erfindung die gewünschte Abtastgeschwindigkeit. Um Lei
stungs-Zielsetzungen zu erfüllen, sammelt das EO-Kamerasys
tem gemäß der vorliegenden Erfindung seine Bilddaten in ei
ner solchen Weise, daß das winkelmäßige Seitenverhältnis
der Bildelemente innerhalb eines einzelnen Bilds nicht kon
stant 1 : 1, sondern variabel ist (d. h. die Abtastgeschwin
digkeit ist nichtlinear). Dies führt zu einem Bild, das
verzerrt ist. Jedoch ist es wünschenswert, ein verzerrungs
freies endgültiges Bild mit Bildelementen bereitzustellen,
deren winkelmäßiges Seitenverhältnis an jeder Stelle inner
halb des Bilds 1 : 1 beträgt. Gemäß der vorliegenden Erfin
dung wird dies im Schritt 308 dadurch erreicht, daß das va
riable Bildelement-Seitenverhältnis in dem EO-LOROPS-Boden
erforschungssystem (GES = Ground Exploitation System) kor
rigiert wird.
Um diese Korrektur rasch genug durchzuführen, um mit
dem ankommenden Datenfluß Schritt zu halten, sollte die
Korrektur berechnungsmäßig einfach gehalten werden. Aller
dings sind die Gleichungen für die winkelmäßige Abtastge
schwindigkeit des Kamerasystems üblicherweise verhältnismä
ßig komplex. Um die erforderlichen Berechnungen zu verein
fachen, können die Kameraabtastungsgleichungen exakt unter
Heranziehung eines quadratischen Polynoms beim Depressions
winkel angenähert werden. Dies ermöglicht dem System die
Erfüllung seiner Leistungszielvorgaben, während gleichzei
tig ein berechnungsmäßig einfacher Vorgang der Korrektur
des Bildelement-Seitenverhältnisses erzielt wird.
In den nachstehenden Unterabschnitten dieser Anmeldung
ist die Bestimmung der Abtastgeschwindigkeit gemäß den
Schritten 302 und 303 und die Korrektur des Bildelement-
Seitenverhältnisses gemäß Schritt 308 in größeren Einzel
heiten erläutert.
Im Unterabschnitt 5.1 dieser Anmeldung sind die Annah
men dargelegt, die bei der Bestimmung der Beziehungen zwi
schen der Abtastgeschwindigkeit und der Bildkorrektur
herangezogen werden. Im Unterabschnitt 5.1 sind auch
essentielle Systemparameter diskutiert. Im Unterabschnitt
5.2 der Anmeldung sind die Gleichungen für eine exakte
winkelmäßige Abtastgeschwindigkeit, die für jede der fünf
Betriebsarten gewünscht ist, und die Vorgehensweise
beschrieben, die zur Approximierung derselben mittels eines
quadratischen Polynoms des Depressionswinkels eingesetzt
wird. Im Unterabschnitt 5.3 ist die Prozedur beschrieben,
die zur Durchführung einer raschen Korrektur des
Bildelement-Seitenverhältnisses eingesetzt wird.
Gewisse Annahmen können getroffen werden, um die erfor
derlichen Berechnungen zu vereinfachen. In diesem Abschnitt
ist eine Liste der Annahmen beschrieben, die bei einem be
vorzugten Ausführungsbeispiel der vorliegenden Erfindung
eingesetzt werden.
Die erste, herangezogene Annahme besteht darin, daß die
Erde flach ist. Durch diese Annahme werden die Abtastge
schwindigkeitsgleichungen und folglich die Korrekturglei
chungen erheblich vereinfacht.
Die zweite Annahme besteht darin, daß kein Querwind
bzw. Seitenwind vorhanden ist. Dies erlaubt die Annahme,
daß die Bewegung des Flugzeugs vollständig in der Richtung
entlang der Spur erfolgt und keine Bewegungskomponente in
der Richtung quer zur Spur vorhanden ist. Anders ausge
drückt besteht die zweite Annahme darin, daß kein Schiebe
winkel vorliegt.
Die dritte Annahme besteht darin, daß das Flugzeug wäh
rend der Dauer jeder Abtastung stillsteht.
Die vierte Annahme besteht darin, daß bei sehr kleinen
Winkeln der Wert des Winkels (Radian) anstelle des Sinus
des Winkels eingesetzt werden kann. Diese vierte Annahme
ist nichts anderes als eine häufig benutze mathematische
Annäherung.
Die abschließende Annahme besteht darin, daß der zuge
führte Depressionswinkel bei der Bestimmung einer Abtastung
stets der maximale Depressionswinkel für die Abtastung ist.
Das EO-LOROP-Kamerasystem gemäß der vorliegenden Erfin
dung ist im Stande, Bilddaten bzw. Bildbestandteile unter
Heranziehung von fünf unterschiedlichen Betriebsarten in
einer breiten Leistungsvermögen-Hüllkurve bzw. einem brei
ten Leistungsspektrum der Flugzeuggeschwindigkeit, der Höhe
und des Depressionswinkels zusammenzutragen. In den Tabel
len 2 und 3 sind repräsentative Systemparameter für ein
Ausführungsbeispiel der vorliegenden Erfindung aufgelistet.
Die nachstehenden Gleichungen sind Gleichungen für die
vorstehend angegebenen Kameraparameter, die im Gegensatz zu
den gegebenen wie folgt berechnet werden:
Hierbei ist der Ausdruck "25,4 mm/in" lediglich eine
Dimensionierungsumrechnungsangabe bei Verwendung von
Zollangaben für die Brennweite f und besitzt bei Verwendung
von metrischen Angaben den Wert 1.
Wie vorstehend angegeben, wird die vorliegende Erfin
dung anhand von fünf Betriebsarten beschrieben. Die spezi
fizierten fünf Betriebsarten besitzen jeweils unterschied
liche Parameter, wie in der nachstehenden Tabelle 4 aufge
listet. Zusätzliche Betriebsarten können in Betracht gezo
gen werden, bei denen alternative Systemparameter bestimmt
werden.
Wie vorstehend umrissen, werden die gewünschte Abtast
geschwindigkeit und die nichtlineare Abtastgeschwindigkeit
in den Schritten 302 bzw. 303 bestimmt. Die Schritte 302
und 303 werden in diesem Abschnitt in größeren Einzelheiten
unter Bezugnahme auf Fig. 5 erläutert.
In einem Schritt 502 wird die benutzte aktuelle Abtast
zeit tsused bestimmt. Die benutzte Abtastzeit tsused ist
die in Sekunden ausgedrückte Zeitdauer, während der das Sy
stem während jedes Abtastzyklus tatsächlich die Szene abta
stet. Die benutzte Abtastzeit ist ein Bruchteil der Abtast
zeit ts, die für die Abtastung der Szene während des Abta
stzyklus zur Verfügung steht.
In einem Schritt 504 wird die Zeilenrate lr des Systems
bestimmt und die Anzahl von Zeilen in der Abtastung berech
net. Die Zeilenrate lr des Systems ist die Rate, mit der
Zeilen von Bildelementen durch das Kamerasystem erzeugt
werden. Die Zeilenrate lr des Systems ist eine Funktion der
gewählten Betriebsart.
In einem Schritt 506 wird eine Bildende-Zeit tend be
stimmt. Die Bildende-Zeit tend ist die Zeit, die nach der
Erzeugung der letzten vollständigen Bildzeile während der
Abtastung verstrichen ist.
Falls die Zeilenrate lr bei einem Schritt 508 kleiner
als oder gleich groß wie die maximale Zeilenrate lrmax ist,
wird eine konstante Abtastgeschwindigkeit benutzt (Schritt
509). Falls jedoch die Zeilenrate lr die maximale Zeilen
rate lrmax überschreitet, muß in einem Schritt 510 eine
nichtlineare Abtastgeschwindigkeit berechnet werden und die
Abtastgeschwindigkeit kann während der Abtastung vergrößert
werden, wobei XGSD konstant gehalten wird.
Fig. 6 zeigt ein Flußdiagramm, in dem die Schritte ge
zeigt sind, die bei der Bestimmung der benutzten Abtastzeit
tsused im Schritt 502 durchlaufen werden. Gemäß Fig. 6 wird
in einem Schritt 602 die Schrägentfernung pslant wie folgt
bestimmt:
In einem Schritt 604 wird die Zykluszeit tc berechnet.
Um die Zykluszeit zu berechnen, wird der Abstand in Rich
tung der Spur im Nahfeld (Nahbereich) berechnet. Bei einem
Depressionswinkel Rdmax (Nahfeld) bildet die Kamera einen
Abstand bzw. eine Entfernung in Richtung der Spur ab, der
bzw. die gleich:
ist. Die Zykluszeit wird einfach als die Zeit gewählt
bzw. bestimmt, die das Flugzeug benötigt, um sich um einen
Bruchteil dieses Abstands in Richtung der Spur fortzubewe
gen. Ein Bruchteil dieses Abstands (im Gegensatz zu dem ge
samten Abstand) wird herangezogen, um eine Vorwärtsüberlap
pung bereitzustellen. Falls die Zykluszeit tc schneller
bzw. kürzer ist als die Zeit, die benötigt wird, den Ab
stand in Richtung der Spur zu überdecken, überlappen sich
die abgetasteten Streifen. Der benutzte Bruchteil ist durch
(1 - ov) definiert, wobei ov eine Zahl ist, die kleiner ist
als 1 und die Größe anzeigt, mit der sich die Bilder über
lappen müssen. Beispielsweise wird bei ov = 0,12 eine Über
lappung von 12% bereitgestellt. Damit läßt sich die Zy
kluszeit wie folgt beschreiben:
Hierbei bezeichnen, wie auch schon bei den vorstehenden
Gleichungen, der Ausdruck "ft" die Dimension "Fuß", der
Ausdruck "nmile" "Nautische Meile" und "hr" die Abkürzung
für "Stunde".
Bei praktischen Einsätzen gibt es eine untere Grenze
tcmin für die Zykluszeit tc aufgrund der Tatsache, daß der
Kameraabtastmechanismus eine maximale Drehgeschwindigkeit
besitzt. Daher muß der berechnete Wert von tc mit der unte
ren Grenze tcmin verglichen werden. Falls tc kleiner ist
als tcmin, wird die gewünschte Überlappung unter Heranzie
hung des nachstehenden Ablaufes geopfert bzw. geändert, um
eine vernünftige Zyklus zeit zu erzielen:
Falls ov kleiner ist als 0,12, ist ov auf 0,12 festzu
legen und die Berechnung zu wiederholen.
Falls tc weiterhin kleiner ist als tcmin, oder falls ov
ursprünglich kleiner ist als + 0,12, ist tc gleich tcmin
festzulegen.
Die tatsächlich erzielte Überlappung kann dann aus der
Zykluszeit unter Umstellung der vorstehenden Gleichung un
ter Auflösung für ov berechnet werden.
In einem Schritt 606 wird die Abtastzeit berechnet. Mit
der gegebenen Zykluszeit tc wird die zur Verfügung stehende
Abtastzeit ts dann wie folgt berechnet:
ts = tc - td.
In einem Schritt 608 wird die benutzte tatsächliche Ab
tastzeit tsused wie folgt berechnet:
Die benutzte Abtastzeit wird auf eine ganze Zahl von
Millisekunden abgeschnitten, wobei bei einem bevorzugten
Ausführungsbeispiel das luftgestützte System die
Kameraabtastgeschwindigkeit mit Intervallen von einer
Millisekunde erneuert. Alternative Ausführungsbeispiele
können in Betracht gezogen werden, bei denen das luftge
stützte System die Kameraabtastgeschwindigkeit mit anderen
periodischen oder nichtperiodischen Intervallen erneuert.
Wenn die Abtastzeit tsused im Schritt 502 bestimmt
wurde, können die Zeilenrate und die Anzahl von Zeilen bei
der Abtastung im Schritt 504 berechnet werden. Bei den Be
triebsarten 2 und 3 ist die Zeilenrate stets lrmax und es
ergibt sich die Anzahl von Bildzeilen bei der Abtastung zu
nZeilen = (tsused × lr) auf ganze Zahl zu beschneiden.
Bei den Betriebsarten 1, 4 und 5 ist es gewünscht, Zei
len zu erzeugen, deren Winkel quer zur Spur Rdll ist, der
bzw. die zu der Überdeckung xcov quer zur Spur, gerundet
auf eine ganze Zahl, passen:
Die Zeilenrate lr wird als nächstes wie folgt derart
berechnet, daß nZeilen erzeugt werden:
Falls die berechnete Zeilenrate lrmax übersteigt, muß
die Zeilenrate auf lrmax begrenzt werden und die Abtastge
schwindigkeit muß nichtlinear variiert werden, derart, daß
gilt:
lr = min(lr, lrmax).
Die Anzahl von während der Abtastung erzeugten Zeilen
beträgt daher:
nZeilen = (lr * tsused) auf ganze Zahl zu beschneiden.
Das Ergebnis wird auf eine ganze Zahl beschnitten, wo
bei irgendeine Teilzeile entfällt.
Die im Schritt 506 bestimmte Bildende-Zeit ist daher:
Die in dem Schritt 510 bestimmte nichtlineare Abtastge
schwindigkeit kann unter Heranziehung einer exakten Lösung
oder einer polynomischen Annäherung bestimmt werden. Diese
Bestimmungen werden in den nachstehenden Unterabschnitten
diskutiert. Im Unterabschnitt 5.2.1 sind Abtastgleichungen
mit exakter Lösung für die Betriebsarten 1, 4 und 5 be
schrieben. Im Unterabschnitt 5.2.2 sind Abtastgleichungen
für polynomische Annäherung für die Betriebsarten 1, 4 und
5 erläutert. In den Unterabschnitten 5.2.3 und 5.2.4 sind
jeweils Abtastgleichungen mit exakter Lösung bzw. polynomi
scher Annäherung für die Betriebsarten 2 und 3 beschrieben.
In diesem Abschnitt ist die exakte Lösung für die win
kelmäßige Abtastgeschwindigkeit bei den Betriebsarten 1, 4
und 5 erläutert.
Falls die gemäß Abschnitt 4 berechnete gewünschte Zei
lenrate kleiner als oder gleich groß wie lrmax ist, ist die
winkelmäßige Abtastgeschwindigkeit der Kamera während der
gesamten Abtastung konstant und ergib sich wie folgt:
ω(t) = Rdll * lr.
Bei der Abtastung mit dieser konstanten winkelmäßigen
Abtastgeschwindigkeit werden Bildelemente mit dem gewünsch
ten konstanten winkelmäßigen Seitenverhältnis (angular as
pect ratio) erzeugt. Rdmin kann exakt wie folgt berechnet
werden:
Rdmin = Rdmax - Rdll * nZeilen.
Wie bei dem Schritt 508 dargestellt ist, wird dann,
wenn die gewünschte Zeilenrate lrmax überschreitet, die
winkelmäßige Abtastgeschwindigkeit der Kamera über die Zeit
verändert und die erzeugten Bildelemente besitzen variable
winkelmäßige Seitenverhältnisse, die durch das Bodenerfor
schungssystem GES korrigiert werden müssen.
Um zu erkennen, wie dies erfolgt, ist es hilfreich, zu
nächst im Detail die drei Schlüsselgleichungen zu untersu
chen, die GSD in Richtung der Spur "iGSD", GSD quer zur
Spur "xGSD" und GSD definieren:
Für gutes Leistungsverhalten über die gesamte Abtastung
(bezogen auf GSD) wird ein gewisser Anteil der Auflösung in
dem Nahbereich geopfert, um eine bessere Auflösung in dem
Fernbereich (Fernfeld) zu erzielen. Um dies zu erreichen,
wird die Abtastgeschwindigkeit in einer solchen Weise geän
dert, daß xGSD konstant gehalten wird:
Wenn diese Gleichung nach δRd/δt aufgelöst wird, ergibt
sich eine winkelmäßige Abtastgeschwindigkeit von:
Die vorstehende Gleichung kann wie folgt vereinfacht
werden:
Eine Umstellung für A ergibt:
Wenn die vorstehend angegebene Gleichung nach Rd als
eine Funktion der Zeit gelöst und dann differenziert wird,
um ω(t) zu erhalten, ergibt sich:
Bei den vorstehenden Gleichungen wurde das Vorzeichen
der Zeit umgekehrt, so daß es stets nicht negativ ist und
die Abtastung verändert sich von Rdmax auf Rdmin, wenn t
sich ausgehend von 0 vergrößert. Die Integrationskonstante
c kann leicht berechnet werden, indem t = 0 und R = Rmax
in die Gleichung für C eingesetzt werden. Rdmin kann dann
genau berechnet werden, indem tend in die Gleichung für Rd(t)
eingesetzt wird.
Um eine quadratische polynomische Annäherung an die ex
akte Lösung für die winkelmäßige Abtastgeschwindigkeit bei
den Betriebsarten 1, 4 und 5 zu ermitteln, werden drei
Gleichungen mit drei Unbekannten aufgestellt. Die Gleichun
gen werden bezüglich der Koeffizienten gelöst. Es ist anzu
merken, daß es wünschenswert ist, eine Näherung zu erhal
ten, bei der t bei 0 beginnt und sich unabhängig davon, ob
die Abtastung eine Vorwärtsabtastung (Rdmax zu Rdmin) oder
eine Rückwärtsabtastung (Rdmin zu Rmax) ist, vergrößert.
Daher wird bei der Aufstellung der Gleichungen für eine
Vorwärtsabtastung die Zeit tpoly bei den Näherungsgleichun
gen verwendet sowie texact = tpoly bei den exakten Glei
chungen benutzt. Bei dem Aufstellen der Gleichungen für ei
ne Rückwärtsabtastung wird tpoly bei den Näherungsgleichun
gen und texact = (tsused - tpoly) bei den exakten Gleichun
gen verwendet.
Es sind drei Gleichungen in bzw. mit drei Unbekannten
der nachstehenden Form gewünscht:
ωexact(texact) = a * tpoly 2 + b * tpoly + c
t0 wird zu 0 und Δt = tsused festgelegt. Werte von
tpoly = 0, t0 + Δt/2, und t0 + Δt sind aufzunehmen; texact
ist wie vorstehend beschrieben zu berechnen, die Gleichun
gen sind aufzustellen; und es ist hinsichtlich a, b und c
aufzulösen bzw. zu lösen. Das Ergebnis wird eine Näherungs
gleichung für ω(t) in der Form
ωpoly(tpoly) = a * tpoly 2 + b * tpoly + c
sein, wobei t unabhängig von der Abtastrichtung bei t0
+Δt beginnt.
Dieses Verfahren kann zur Beinhaltung von Bildern mit
konstantem winkelmäßigen Bildelement-Seitenverhältnis ver
allgemeinert werden, indem festgelegt wird: a = 0, b = 0
und c = Rdll * lr.
In diesem Abschnitt werden die exakten Lösungen für die
winkelmäßige Abtastgeschwindigkeit der Betriebsarten 2 und
3 vorgestellt.
Bei den Kamerabetriebsarten 2 und 3 werden Bilder in
einer solchen Weise zusammengetragen, daß der Wert GSD in
dem gesamten Bild konstant ist. Die Zeilenrate lr ist stets
lrmax, die winkelmäßige Abtastgeschwindigkeit der Kamera
verändert sich mit der Zeit und die erzeugten Bildelemente
haben veränderbare winkelmäßige Seitenverhältnisse, die
durch das GES-System zu korrigieren sind. Um zu veranschau
lichen, wie dies erreicht wird, sollen zunächst im Detail
die drei Schlüsselgleichungen untersucht werden, die den
Wert GSD in Richtung der Spur "iGSD", den Wert von GSD quer
zur Spur "xGSD" und GSD definieren:
Um den Wert GSD stets konstant zu halten, kann die Ab
tastung xGSD verändert werden, um die Veränderungen von
iGSD exakt zu kompensieren. Jedoch würde dies bei großen
Depressionswinkeln zu sehr kleinen Werten von iGDS und ent
sprechend großen Werten xGSD führen. Wenn jedoch xGSD sehr
groß wird, kann ein sehr kleiner Wert von iGSD nicht zur
Kompensation eingesetzt werden. Das System ist daher auf
den größeren Wert von iGSD und xGSD/2 beschränkt. Daher
wird für größere Depressionswinkel xGSD konstant gehalten,
um den gewünschten Wert GSD beizubehalten (siehe Unterab
schnitt 5.3 für die Werte von GSD bei den Betriebsarten 2
und 3):
Wenn diese Gleichung nach δRd/δt aufgelöst wird, wobei
gilt:
ergibt sich:
Es ist anzumerken, daß dies dieselbe Grundform wie die
exakte Lösung für die Betriebsarten 1, 4 und 5 ist, wobei
die Konstante A einen unterschiedlichen Wert besitzt. Unter
Einsatz der Ergebnisse aus dem Unterabschnitt 5.4 ergibt
sich:
Bei den vorstehenden Gleichungen wurde das Vorzeichen
der Zeit t wiederum umgekehrt, so daß t stets nicht negativ
ist und die Abtastung von Rdmax zu Rdmin fortschreitet,
wenn sich t von 0 ausgehend vergrößert. Die Integrations
konstante C kann leicht berechnet werden, indem t = 0 und
Rd = Rdmax in die Gleichung für C eingesetzt wird.
Die vorstehenden Gleichungen werden bei den Betriebsar
ten 2 und 3 eingesetzt, bis der Wert von iGSD den Wert von
xGSD/2 erreicht. Der Depressionswinkel, bei dem dies auf
tritt, ist:
Es ist wichtig, anzumerken, daß die Bedingungen, die
auftreten können, folgende sind: Rdcutoff Rdmax, Rdmax <
Rdcutoff < Rdmin, oder Rdmin Rdcutoff. Falls Rdcutoff
Rdmax ist, werden die vorstehend angegebenen Gleichungen
nicht herangezogen, da die Abtastung vollständig durch die
nachstehend vorgestellten Gleichungen beschrieben wird.
Falls Rdmax < Rdcutoff ist, kann nach tcutoff aufgelöst
werden, indem Rdcutoff in die vorstehende Gleichung für t
eingesetzt wird. Falls tcutoff tsused gilt, ist die Ab
tastung vollständig durch die vorstehend angegebenen Glei
chungen definiert und es kann Rdmin ermittelt werden, indem
tend in der Gleichung für Rd(t) eingesetzt wird. Falls
tcutoff < tsused gilt, ist Rdmax < Rdcutoff < Rdmin, wobei
der erste Teil der Abtastung durch die vorstehend angegebe
nen Gleichungen und der zweite Teil durch die nachstehend
aufgeführten Gleichungen beschrieben wird.
Bei Rdcutoff < = Rdmin wird zugelassen, daß xGSD vari
iert, um einen konstanten Wert von GSD beizubehalten, wobei
die Veränderung wie folgt stattfindet:
Bei Auflösung der vorstehenden Gleichung für Rd als
Funktion der Zeit und anschließendes Differenzieren zum Er
halten von ω(t) erhält man:
Bei den vorstehenden Gleichungen wurde das Vorzeichen
der Zeit t erneut umgekehrt, so daß t stets nicht negativ
ist und die Abtastung von Rdmax zu Rdmin erfolgt, wenn sich
t ausgehend von 0 vergrößert. Falls Rdcutoff Rdmax ist,
kann die Integrationskonstante C leicht durch Einsetzen von
t = 0 und Rd = Rdmax in die Gleichung für C berechnet wer
den. Falls Rdmax < Rdcutoff < Rdmin ist, wird die Integra
tionskonstante C dann durch Einsetzen von t - tcutoff und
Rd = Rdcutoff in die Gleichung für C berechnet. Rdmin kann
durch Einsetzen von tend in die Gleichung für Rd(t) ermit
telt werden.
Um eine quadratische polynomische Näherung für die ex
akte Lösung für die winkelmäßige Geschwindigkeit bei den
Betriebsarten 2 und 3 zu finden, werden drei Gleichungen
mit drei Unbekannten aufgestellt und hinsichtlich der Koef
fizienten gelöst. Falls die Abtastung vollständig entweder
durch den ersten Satz oder den zweiten Satz der im Ab
schnitt 5.1 vorgestellten Gleichungen für die Betriebsart 2
und 3 beschrieben ist, muß lediglich ein Satz von Gleichun
gen gelöst werden. Falls jedoch Rdmax < Rdcutoff < Rdmin
ist, besteht die Abtastung aus zwei Teilen: dem ersten
Teil, der durch die Gleichungen für konstantes GSD quer zur
Spur beschrieben wird, und dem zweiten Teil, der durch die
Gleichungen für variables GSD quer zur Spur beschrieben
wird. Folglich müssen zwei Sätze von Gleichungen gelöst
werden, um polynomische Annäherungen für jeden Teil der Ab
tastung zu erhalten.
Es ist wünschenswert, eine Näherung zu erzielen, bei
der t bei 0 beginnt und sich unabhängig davon, ob die
Abtastung eine Vorwärtsabtastung (Rdmax zu Rdmin) oder eine
Rückwärtsabtastung (Rdmin zu Rdmax) ist, vergrößert. Daher
wird beim Aufstellen der Gleichungen für eine
Vorwärtsabtastung die Zeit tpoly bei den
Näherungsgleichungen und texact = tpoly bei den exakten
Gleichungen benutzt. Beim Aufstellen der Gleichungen für
eine Rückwärtsabtastung wird tpoly bei der
Näherungsgleichung und texact = (tsused - tpoly) für die
exakten Gleichungen herangezogen, wobei, wenn die Abta
stung, wie vorstehend beschrieben, eine zweiteilige Abta
stung ist, tcutoff = (tsused - tcutoff) festzulegen ist.
Es ist erwünscht, (möglicherweise zwei Sätze von) drei
Gleichungen in bzw. mit drei Unbekannten der nachstehenden
Form zu haben:
ωexact(texact) = a * tpoly 2 + b * tpoly + c.
Bei einer einteiligen Abtastung ist t0 = 0 und Δt =
tsused zu setzen; bei einer zweiteiligen Abtastung sind zu
erst die Gleichungen unter Heranziehung von t0 = 0 und Δt =
tcutoff zu lösen und dann t0 = tcutoff und Δt = (tsused -
tcutoff) einzusetzen. Werte von tpoly = t0, t0 + Δt/2 und
t0 + Δt sind aufzunehmen; texact ist in der vorstehend be
schriebenen Weise zu berechnen; die Gleichungen sind aufzu
stellen und bezüglich a, b und c zu lösen.
Bei jedem Satz von Gleichungen ist das Ergebnis eine
Näherungslösung für ω(t) mit der Form:
ωpoly(tpoly) = a * tpoly 2 + b * tpoly + c.
Hierbei beginnt t bei t0 und vergrößert sich unabhängig
von der Richtung der Abtastung zu t0 + Δt. Bei einer zwei
teiligen Abtastung ist das erste Polynom heranzuziehen,
falls t < tcutoff ist, und das zweite, falls t tcutoff
ist.
Wie vorstehend beschrieben, werden im Schritt 308 das
elektronische Signal, das die Bilddaten repräsentiert, ver
arbeitet und das Bildelement-Seitenverhältnis korrigiert.
Die Korrektur des Seitenverhältnisses der Bildelemente wird
nachstehend in Einzelheiten beschrieben. In diesem Unterab
schnitt wird die Korrektur in zwei Schritten vorgestellt.
Der erste Schritt besteht in der Ableitung bzw. Gewinnung
der Korrektur, und der zweite Schritt stellt eine Realisie
rung des Verfahrens bzw. Ablaufs der Korrektur des Bildele
ment-Seitenverhältnisses dar.
Das Bodenerforschungssystem EO-LOROPS GES muß verklei
nerte Ansichtsbilder durch Mittelwertbildung der Bildele
mente "on-the-fly", d. h. beim Durchlaufen (in Echtzeit)
bilden, wenn Daten empfangen oder von einem diktalen Band
aufzeichnungsgerät wiedergegeben werden. Die verkleinerte
Ansicht bzw. Darstellung muß in einen Bildelementpuffer für
nminif × nminif Bildelemente passen (minif = Abkürzung für
minified = verkleinert) und die Bildelemente in der ver
kleinerten Darstellung müssen ein winkelmäßiges Seitenver
hältnis von 1 : 1 besitzen. Bei einem Bild, das unter Verwen
dung einer konstanten winkelmäßigen Abtastgeschwindigkeit
zusammengestellt wurde, ist die Berechnung des Verkleine
rungsfaktors verhältnismäßig einfach:
Bei einem Bild mit veränderlichen winkelmäßigen Bild
element-Seitenverhältnissen verändert sich jedoch der Mit
telwertbildungsfaktor in der Zeilenrichtung (Richtung quer
zur Spur), da der durch jede Linie repräsentierte Winkel
variiert. Es ist somit eine Funktion gewünscht, die für je
de Zeile in dem verkleinerten Betrachtungsbild anzeigt,
wieviele Zeilen aus dem Bild mit voller Auflösung zu mit
teln sind. Bei einer zweiteiligen Abtastung sind zwei der
artige Funktionen erforderlich. Um diese Funktion zu ermit
teln, wird zuerst navg unter Heranziehung von
anstelle von nZeilen berechnet:
Dieser Wert von navg wird als der Verkleinerungsfaktor
in der Bildelement-Dimension bzw. -Richtung (Richtung ent
lang der Spur) herangezogen. Der dieser Anzahl von Bildele
menten entsprechende Winkel ist:
ΔRminif = navg * Rdet.
Der nächste Schritt besteht in der Auffindung einer po
lynomischen Näherung dritter Ordnung für die Zeit t als
Funktion des Winkels Rpoly, der seit Beginn der Abtastung
abgetastet wurde. Durch Integration von:
ωpoly(tpoly) = a * tpoly 2 + b * tpoly + c
ergibt sich:
Bei einer einteiligen Abtastung oder bei dem ersten
Teil einer zweiteiligen Vorwärtsabtastung ist d = 0.
Für den zweiten Teil einer zweiteiligen Vorwärtsabta
stung ist:
Für eine Rückwärtsabtastung ist (Rcutoff-Rdmin) für
(Rdmax-Rdcutoff) zu ersetzen und tcutoff = (tsused-
tcutoff) zu setzen. Die Koeffizienten a, b und c sind für
den zweiten Teil der Abtastung. Es werden nun vier Glei
chungen mit vier Unbekannten aufgestellt, um zu finden:
t(Rpoly) = at * Rpoly 3(tpoly) + bt * Rpoly 2(tpoly) + ct * Rpoly(tpoly) + dt.
Durch eine Reihe von Ersetzungen läßt sich nun eine
Funktion nlg der Zeilenanzahl lminif in dem verkleinerten
Betrachtungsbild ermitteln, die die Anzahl von Zeilen in
dem Bild mit voller Auflösung angibt, das zur Erzeugung ei
ner Zeile in dem verkleinerten Betrachtungsbild heranzuzie
hen sind:
wobei:
und:
Diese Ausdrücke können ersetzt bzw. eingesetzt werden,
wodurch man zu folgenden Ausdrücken gelangt:
Um diese Gleichung in einfachen Ausdrücken darzustel
len, wird definiert:
Bei Einsetzen dieser Ausdrücke ergibt sich:
Wenn es Zeit ist, die Zeilenzahl lminif (relativ zu 0)
in dem verkleinerten Betrachtungsbild zu berechnen, wird
die Funktion nlg(lminif) bewertet. Die am vorderen Ende an
gebrachte Elektronik in dem Bodenerforschungssystem GES
bildet nlg(lminif) Zeilen mit voller Auflösung und führt
eine Abwärts-Mittelwertbildung um navg in der Bildelement-
Dimension bzw. -Richtung (Dimension entlang der Spur) und
um nlg(lminif) in der Zeilendimension bzw. Zeilenrichtung
(quer zur Spur) durch. Die Bewertung von nlg(lminif) kann
ohne irgendwelche Multiplikationen innerhalb einer Schleife
durchgeführt werden, wie es durch den nachstehenden Pseudo-
Code demonstriert wird:
nlg = (alg * l_initial + blg) * l _initial + clg
inc = alg * (2 * l_initial + l) + blg
for (l = l_initial; l < l_last; l++)
[*note letter l, not number 1*]
nlg + = inc
inc += 2 * alg
Anmerkung: [* bezeichnet Buchstabe l, nicht die Zahl 1*]
[* bei diesem Punkt ist nlg korrekt als aktueller Wert von l *]
inc = alg * (2 * l_initial + l) + blg
for (l = l_initial; l < l_last; l++)
[*note letter l, not number 1*]
nlg + = inc
inc += 2 * alg
Anmerkung: [* bezeichnet Buchstabe l, nicht die Zahl 1*]
[* bei diesem Punkt ist nlg korrekt als aktueller Wert von l *]
Im allgemeinen ist der Wert von nlg(lminif) keine ganze
Zahl, wobei es aber für eine schnelle hardwaremäßige Reali
sierung wünschenswert ist, eine ganze Zahl von Zeilen des
Bilds voller Auflösung für die Erstellung jeder Zeile der
verkleinerten Darstellung einzusetzen. Daher muß bei der
Berechnung jeder Zeile der verkleinerten Ansicht
nlg(lminif) auf die nächste ganze Zahl gerundet und der
(positive oder negative) Fehlerbetrag zu dem nächsten Wert
von nlg(lminif) hinzuaddiert werden. In dieser Weise
"folgt" das korrigierte Bild einer exakt interpolierten
Korrektur auf die nächste Anzahl von Zeilen mit voller Auf
lösung. Durch den nachstehenden Pseudo-Code wird die Kor
rektur des winkelmäßigen Bildelement-Seitenverhältnisses
unter Heranziehung einer Arithmetik bzw. Berechnungsvor
schrift unter Einsatz von verschobenen ganzen Zahlen mit
32-Bit erzielt.
Auch wenn vorstehend verschiedene Ausführungsbeispiele
der vorliegenden Erfindung erläutert wurden, versteht es
sich, daß diese lediglich als Beispiel vorgestellt wurden
und keine Beschränkung des Schutzumfangs darstellen sollen.
Weiterhin ist anzumerken, daß ein Teil der Offenbarung
der vorliegenden Unterlagen urheberrechtlichen Schutz ge
nießt. Die Urheberrechte bleiben vorbehalten.
In den Offenbarungsgehalt vorliegender Anmeldung wird
hiermit auch ausdrücklich der Offenbarungsgehalt der Zeich
nungen und des nachstehenden Anhangs mit einbezogen.
Beurteilungsskala für die Bildinterpretierbarkeit (IIRS
= Imagery Interpretability Rating Scale)
Für eine Interpretation aufgrund einer Wolkendecke,
schlechter Auflösung usw. untauglich.
Bodenauflösungsabstand: Größer als 9 Meter (< 29,5 Fuß)
- - das Vorhandensein von größeren Flugzeugen auf einem Flugplatz erfassen.
- - Oberflächenschiffe erfassen.
- - Seehäfen und künstliche Häfen erfassen (einschließlich von Piers und Warenhäusern bzw. Lagerhäusern).
- - Eisenbahnhöfe und Läden erfassen.
- - Küsten und Landestrände erfassen.
- - Oberflächen-Unterseeboote erfassen.
- - Trainingsfelder für bewaffnete Artillerie-Bodentruppen erfassen.
- - Stadtgebiete erkennen.
- - Terrain erkennen.
Bodenauflösungsabstand: 4,5 bis 9 Meter (14,45 bis 29,
5 Fuß)
- - Brücken erfassen.
- - Einrichtungen von Bodentruppen erfassen (einschließlich Trainingsflächen, Verwaltungs- /Barackengebäuden, Fahrzeugaufbewahrungsgebäuden und Fahrzeugparkflächen).
- - Flugplatzeinrichtungen erfassen (alle größeren Flugzeuge nach Typ, geradflüglig und mit geschwungenen/Delta-Flügeln, genau zählen).
- - Häfen und künstliche Häfen erkennen (einschließlich großen Schiffen und Trockendocks).
Bodenauflösungsabstand: 2,5 bis 4,45 Meter (8,2 bis
14,75 Fuß)
- - Nachrichteneinrichtungen erfassen (Radio/Radar).
- - Versorgungsdeponien erfassen (POL/Artilleriewaffen).
- - Alle Flugzeuge mit geraden Flügeln, alle Flugzeuge mit geschwungenen Flügeln und alle Flugzeuge mit Delta- Flügeln erfassen und genau zählen.
- - Kommando- und Kontroll-Headquarters erfassen.
- - Boden-Boden und Boden-Luft-Waffenplätze erfassen (einschließlich Fahrzeugen und anderen Ausrüstungsstücken).
- - Land-Minenfelder erfassen.
- - Brücken erkennen.
- - Oberflächenschiffe erkennen (zwischen einem Kreuzer und einem Zerstörer aufgrund der relativen Größe und der Bootskörpergestalt unterscheiden).
- - Küsten und Landestrände erkennen.
- - Eisenbahnhöfe und Läden erkennen.
- - Flugplatzeinrichtungen identifizieren.
- - Städtische Flächen identifizieren.
- - Terrain identifizieren.
Bodenauflösungsabstand: 1,2 bis 2,5 Meter (3,94 bis 8,2
Fuß)
- - Raketen und Artillerie erfassen.
- - Truppeneinheiten erkennen.
- - Flugzeuge wie etwa FAGOT/MIDGET erkennen (wenn entfaltet).
- - Waffenplätze erkennen (SSM/SAM). Zwischen Flugwaffentypen aufgrund des Vorhandenseins und der relativen Position von Flügeln und Steuerrippen unterscheiden.
- - Kernwaffenkomponenten erkennen.
- - Land-Minenfelder erkennen.
- - Häfen und künstliche Hafenanlagen identifizieren.
- - Eisenbahnhöfe und Läden identifizieren.
- - Lastwägen bei Bodentruppeneinrichtungen als Last (Transporter)-, Flachbett oder Lieferwagen identifizieren.
- - Einen KRESTA aufgrund der mit dem Heckflügel ausge richteten Helikopter-Plattform und einen KRESTA II aufgrund der angehobenen Helikopter-Plattform (ein Deckniveau oberhalb des Heckflügels und mit dem Hauptdeck ausgerichtet) identifizieren.
Bodenauflösungsabstand: 0,75 bis 1,2 Meter (2,46 bis
3,94 Fuß).
Das Vorhandensein von Identifizierungs-Buchstaben und
Zahlen und alphabetischen Landbezeichnungen auf den Flügeln
von großen Handels- oder Frachtflugzeugen erfassen, wobei
die alphanumerischen Zeichen 90 cm hoch oder größer sind.
- - Kommando- und Kontroll-Headquarters erkenne
- - Einen einzeln aufgestellten Panzer bei Bodentruppeneinrichtungen als leicht oder mittel/schwer identifizieren.
- - Technische Analysen von Flugfeldeinrichtungen durchführen.
- - Technische Analysen von städtischen Flächen durchführen.
- - Technische Analysen des Terrains durchführen.
Bodenauflösungsabstand: 40 bis 75 cm (1,31 bis 2,46
Fuß)
- - Radio/Radaraustattung erkennen.
- - Versorgungsdeponien erkennen (POL/Artilleriewaffen).
- - Raketen und Artillerie erkennen.
- - Brücken identifizieren.
- - Truppeneinheiten identifizieren.
- - FAGOT oder MIDGET aufgrund der Kabinendachkonfiguration bei einzelner Aufstellung erkennen.
- - Die nachstehenden Bodentruppenausrüstungen identifizieren: Panzer T-54/55 bewaffnete Personentransporte BTR-50, AA-Gewehr 57 mm.
- - Typenmäßig RBU-Installationen (beispielsweise Serie 2500), Torpedorohre (beispielsweise 53,34 cm/21 Zoll) und Boden-Luft-Geschoßabfeuerstellen auf einem KANIN DDG, CREVAG DTGESP oder KRESTA II identifizieren.
- - Ein Unterseeboot der Klasse Romeo aufgrund des Vorhandenseins der Verkleidung für die Schnorcheleinführung und den Schnorchelauslaß identifizieren.
- - Ein Unterseeboot der Klasse USG aufgrund des Fehlens der Verkleidung und des Auslasses identifizieren.
Bodenauflösungsabstand: 20 bis 40 cm (0,66 bis 1,31
Fuß)
- - Radargeräte identifizieren.
- - Größere elektronische Komponenten typenmäßig auf einem KILDEN DTGS oder CASHIN DLG identifizieren.
- - Kommando- und Steuer- Headquaters identifizieren.
- - Land- Minenfelder identifizieren.
- - Die generelle Konfiguration eines SSBN/SSGN- Unterseebootsegels einschließlich der relativen Anordnung eines oder mehrerer Brückenperiskope und der hauptsächlichen Elektronik-/Navigationsausstattung identifizieren.
- - Technische Analysen von Häfen und künstlichen Hafenanlagen durchführen.
- - Technische Analysen von Eisenbahnhöfen und Läden durchführen.
- - Technische Analysen von Straßen durchführen.
Bodenauflösungsabstand: 10 bis 20 cm (0,33 bis 0,66
Fuß)
- - Versorgungsdeponien identifizieren (POL/Artilleriewaffen).
- - Raketen und Artillerie identifizieren.
- - Flugzeuge identifizieren.
- - Geschoßwaffenplätze identifizieren (SSM/SAM).
- - Oberflächenschiffe identifizieren.
- - Fahrzeuge identifizieren.
- - An der Oberfläche befindliche Unterseeboote identifizieren (einschließlich von Komponenten wie etwa der Hebelführung der Abschußrampe des Geschoßturms von Echo II SSGN und von größeren Elektronik-/Navigationsausstattungen nach Typ).
- - Auf einem KRESTA II die Gestalt von größeren Komponenten von größeren elektronischen Ausstattungen und kleineren elektronischen Ausstattungen typenmäßig identifizieren.
- - Glieder (Arme, Beine) einer Person identifizieren.
- - Technische Analysen von Brücken durchführen.
- - Technische Analysen von Truppeneinheiten durchführen.
- - Technische Analysen von Küsten und Landestränden durchführen.
Bodenauflösungsabstand: kleiner als 10 cm (kleiner als
0,33 Fuß)
- - Im Detail die Konfiguration einer Mündungsbremse einer Haubitze D-30 identifizieren.
- - Im Detail die Konfiguration von Torpedorohren und AA- Gewehrgestellen (einschließlich Gewehrdetails) auf einem KILDEN DDGS identifizieren.
- - Im Detail die Konfiguration eines Kommandoturms einer ECHO II SSGN einschließlich der detaillierten Gestalt von elektronischen Nachrichtengeräten und Navigationsgeräten identifizieren.
- - Technische Analysen von Radio/Radargeräten durchführen.
- - Technische Analysen von Versorgungsdeponien durchführen (POL/Artilleriewaffen).
- - Technische Analysen von Raketen und Artillerie durchführen.
- - Technische Analysen von Geschoßwaffenplätzen durchführen.
- - Technische Analysen von Kernwaffenkomponenten durchführen.
Die nachstehenden Ausdrücke und Definitionen werden le
diglich für die Zwecke dieses Anhangs verwendet.
Bodenauflösungsabstand: Der Bodenauflösungsabstand
(GRD) ist das minimale Testzielelement, das auf dem Boden
aufgelöst wird. Bei einem System, das einen Bodenauflö
sungsabstand von ca. 30 cm (1 Fuß) besitzt, hat der klein
ste Streifen bzw. die kleinste Stange des Testziels, der
bzw. die im besten Falle unterscheidbar ist, eine physika
lische Breite von ca. 15 cm (0,5 Fuß). (Ein 3-Stangen- bzw.
3-Streifen-Testziel wurde zur Bestimmung von GRD und nach
folgend zur Kalibrierung der Bildinterpretierbarkeits-Be
urteilungsskala eingesetzt.)
Bodenauflösung: Die Bodenauflösung ist ein Ausdruck,
der bei der Interpretation von Fotos benutzt wird, und
stellt eine subjektive zahlenmäßige Bewertung der beschrän
kenden Größe von auf einem Film abgebildeten Bodenobjekten
dar. Für ihre Bestimmung ist ein Testziel erforderlich und
sie kann gegebenenfalls nicht gleichgewichtig mit dem Bo
denauflösungsabstand sein. Das Ausmaß, mit dem eine Person
Bodenobjekte erfassen, erkennen und identifizieren kann,
führt zu seiner Bewertung der Bodenauflösung.
Erfassung: Bei der Bildinterpretation bedeutet dies das
Entdecken des Vorhandenseins eines Objekts, ohne das Objekt
jedoch erkennen zu können.
Erkennung: Die mit beliebigen Mitteln erfolgende Be
stimmung des freundlichen oder feindlichen Charakters der
Individualität eines weiteren, oder von Gegenständen wie
etwa Flugzeugen, Schiffen, Panzern oder einer Erscheinung
wie etwa von Kommunikations- oder elektronischen Mustern.
Identifizierung: Bei der Bildinterpretation die Unter
scheidung zwischen Objekten innerhalb eines bestimmten Typs
oder einer bestimmten Klasse.
Technische Analyse: Die Fähigkeit zur exakten Beschrei
bung eines Merkmals, Objekts oder einer Komponente, das
bzw. die auf einem Film abgebildet ist.
Claims (27)
1. System zum Durchführen einer elektrooptischen Pan
orama-Erkennung einer Szene mit Sektorabtastung und
großem Bereich bzw. großem Abstand, wobei die Erkennung
bei einem gegebenen Grundauflösungsabstand und einer
gegebenen Vorwärtsüberlappung mit erhöhten Abtastge
schwindigkeiten durchgeführt wird, mit
- 1) einer Brennebenenanordnung (704), die zur Er fassung eines Bildes der Szene und zur Umwandlung des Bildes in eine elektronische Ladungsdarstellung des Bildes ausgelegt ist,
- 2) einer elektronischen Haupteinheit (706), die mit der Brennebenenanordnung (704) gekoppelt und zur Umwandlung der elektronischen Ladungsdarstellung in ein digitales Bilddatensignal ausgelegt ist, wobei das di gitale Bilddatensignal eine digitale Repräsentation des Bildes ist,
- 3) einer mit der Brennebenenanordnung (704) ge koppelten ersten Einrichtung zum Fokussieren eines Ab schnitts der Szene auf die Brennebenenanordnung, wobei der Abschnitt der Szene durch eine Projektion der Brennebenenanordnung definiert ist,
- 4) einer mit der ersten Einrichtung gekoppelten zweiten Einrichtung (702) zum Abtasten der Projektion der Brennebenenanordnung entlang der Szene mit nichtlinearer Abtastgeschwindigkeit,
- 5) einer mit der zweiten Einrichtung gekoppelten dritten Einrichtung zum Bestimmen der nichtlinearen Abtastgeschwindigkeit und
- 6) einer mit der elektronischen Haupteinheit (706) gekoppelten vierten Einrichtung (434) zum Verar beiten des digitalen Bilddatensignals für die Bereit stellung eines Sichtbildsignals, das ein korrigiertes Bild repräsentiert, wobei das korrigierte Bild ein Bildelement-Seitenverhältnis besitzt, das zur Beseiti gung der Wirkungen der nichtlinearen Abtastgeschwin digkeit korrigiert ist.
2. System nach Anspruch 1, dadurch gekennzeichnet,
daß die zweite Einrichtung zur Bestimmung der
nichtlinearen Abtastgeschwindigkeit unter Einsatz einer
exakten Lösung ausgelegt ist, wobei die exakte Lösung
die nichtlineare Abtastgeschwindigkeit derart bestimmt,
daß ein Bodenabtastungsabstand quer zur Spurrichtung
während der gesamten Abtastung konstant gehalten wird.
3. System nach Anspruch 1, dadurch gekennzeichnet,
daß die zweite Einrichtung so ausgelegt ist, daß sie
eine polynomische Näherungsgleichung zur Bestimmung der
nichtlinearen Abtastgeschwindigkeit unter Heranziehung
einer polynomischen Annäherung benutzt.
4. System nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß die Brennebenenanordnung
(704) eine CCD-Matrix (Matrix aus
Ladungskopplungseinrichtungen) ist, daß die erste
Einrichtung eine optische Kamera ist, und daß die
vierte Einrichtung ein rotierendes Kamerafaß bzw.
Kameragestell ist.
5. System nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch ein Luftfahrzeug zum Halten der
Brennebenenanordnung der elektronischen Haupteinheit
und der ersten, zweiten und dritten Einrichtung.
6. System nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch ein Luft/Boden-Datenkoppelglied
(422), das zwischen die Brennebenenanordnung und die
vierte Einrichtung zum Übertragen des elektronischen
Signals von dem Luftfahrtzeug zu einer Bodenstation ge
koppelt ist.
7. System nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch eine mit der elektronischen Haupt
einheit (706) gekoppelte Datenbank (414) zum Speichern
des digitalen Bilddatensignals.
8. System nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch eine mit der vierten Einrichtung
gekoppelte Einrichtung (436) zum Anzeigen des korri
gierten Bilds.
9. System nach einem der vorhergehenden Ansprüche,
gekennzeichnet durch eine mit der Brennebenenanordnung
gekoppelte fünfte Einrichtung (708) zum Komprimieren
des digitalen Bilddatensignals zur Bildung eines kom
primierten digitalen Bilddatensignals, und durch eine
mit der fünften Einrichtung (708) gekoppelte sechste
Einrichtung zum Dekomprimieren der komprimierten digi
talen Bilddaten zur Reproduktion des digitalen Bildda
tensignals.
10. Verfahren zum Optimieren der elektrooptischen Pan
orama-Erkennung einer Szene von einem Luftfahrzeug mit
tels Sektorabtastung mit großem Abstand, mit den
Schritten
- 1) Bestimmen einer Kameraabtastrate und einer Le serate für eine Brennebenenanordnung für ein gewünsch tes Niveau des betrieblichen Leistungsvermögens,
- 2) Bestimmen einer nichtlinearen Abtastgeschwin digkeit, falls die Abtastrate oberhalb eines Schwellen werts liegt,
- 3) Abtasten der Kamera entlang der Szene mit der im Schritt (2) bestimmten nichtlinearen Abtastge schwindigkeit,
- 4) Fokussieren eines Bilds der in dem Schritt (3) abgetasteten Szene auf eine Brennebenenanordnung und Umwandeln des Bildes in ein elektronisches, die Szene repräsentierendes Signal,
- 5) Verarbeiten des elektronischen Signals zur Er zeugung eines digitalen Bildes der Szene, wobei die Verarbeitung einen Schritt der Korrektur eines Bildele ment-Seitenverhältnisses des digitalen Bildes zur Be seitigung von Effekten der nichtlinearen Abtastge schwindigkeit enthält.
11. Verfahren nach Anspruch 10, gekennzeichnet durch
den Schritt des Anzeigens des korrigierten Bildes.
12. Verfahren nach Anspruch 10 und 11, dadurch gekenn
zeichnet, daß der Schritt (1) die Schritte enthält:
- a) Bestimmen einer benutzten tatsächlichen Abta stzeit,
- b) Bestimmen einer Zeilenrate des Systems,
- c) Berechnen der Anzahl von Zeilen von Abtastung, wobei die Berechnung unter Heranziehung der in dem Schritt (a) bestimmten tatsächlichen Abtastzeit und der in dem Schritt (b) bestimmten Zeilenrate des Systems durchgeführt wird, und
- d) Bestimmen einer Bildende-Zeit als ein Verhält nis der Anzahl von Zeilen in einer Abtastung zu der Zeilenrate.
13. Verfahren nach Anspruch 10 oder 11, dadurch ge
kennzeichnet, daß der Schritt (1) die Schritte enthält:
- a) Bestimmen einer benutzten tatsächlichen Ab tastzeit,
- b) Bestimmen einer gewünschten Anzahl von Zeilen in einer Abtastung,
- c) Berechnen einer Zeilenrate des Systems als ein Verhältnis der in dem Schritt (b) bestimmten Zahl von Zeilen zu der in dem Schritt (a) bestimmten, benutzten tatsächlichen Abtastzeit, und
- d) Bestimmen einer Bildende-Zeit als ein Verhält nis der Anzahl von Zeilen in einer Abtastung zu der Zeilenrate.
14. Verfahren nach Anspruch 12 oder 13, dadurch ge
kennzeichnet, daß der Schritt zur Bestimmung der be
nutzten Abtastzeit die Schritte enthält:
- i) Bestimmen einer Schrägentfernung,
- ii) Berechnen eines Abstands in Richtung der Spur in einem Nahfeld, wobei der Abstand in Richtung der Spur eine Funktion der in dem Schritt (i) bestimmten Schrägentfernung ist,
- iii) Berechnen einer Zykluszeit als einem Bruchteil des in dem Schritt (ii) berechneten Abstands in Richtung der Spur, wobei der Bruchteil so festgelegt wird, daß ein gewünschtes Ausmaß an Vorwärtsüberlappung bereitgestellt ist,
- iv) Berechnen einer Abtastzeit als eine Funktion der Zykluszeit, und
- v) Berechnen der benutzten Abtastzeit als eine Funktion der Abtastzeit.
15. Verfahren nach einem der Ansprüche 10 bis 14, da
durch gekennzeichnet, daß der Schritt (2) die Schritte
enthält:
- a) Berechnen eines Bodenabtastungsabstands quer zur Spur,
- b) Berechnen einer winkelmäßigen Abtastgeschwin digkeit, die zur Konstanthaltung des Bodenabtastungsab stands quer zur Spur benötigt wird,
- c) Berechnen eines Kamera-Depressionswinkels als eine Funktion der Zeit auf der Grundlage der winkelmä ßigen Abtastgeschwindigkeit und
- d) Differenzieren des in dem Schritt (c) berech neten Depressionswinkels zur Erzielung einer nichtlinearen Abtastgeschwindigkeit.
16. Verfahren nach einem der Ansprüche 10 bis 14, da
durch gekennzeichnet, daß der Schritt (2) die Schritte
enthält:
- a) Berechnen eines Bodenabtastungsabstands quer zur Spur, der zur Aufrechterhaltung eines konstanten gesamten Bodenabtastungsabstands erforderlich ist,
- b) Konstanthalten des Bodenabtastungsabstands quer zur Spur für große Depressionswinkel,
- c) Berechnen einer winkelmäßigen Abtastgeschwin digkeit, die zur Beibehaltung des Bodenabtastungsab stands quer zur Spur erforderlich ist,
- d) Berechnen eines Kamera-Depressionswinkels als eine Funktion der Zeit auf der Grundlage der winkelmä ßigen Abtastgeschwindigkeit und
- e) Differenzieren des in dem Schritt (c) berech neten Depressionswinkels zur Erzielung einer nichtlinearen Abtastgeschwindigkeit.
17. Verfahren nach einem der Ansprüche 10 bis 16, da
durch gekennzeichnet, daß der Schritt (2) den Schritt
des Einsatzes einer quadratischen polynomischen Nähe
rung zur Bestimmung einer nichtlinearen Abtastge
schwindigkeit enthält.
18. Verfahren nach einem der Ansprüche 10 bis 17, da
durch gekennzeichnet, daß der Schritt (5) die Schritte
enthält:
- a) Gewinnen einer Korrektur für das Bildelement- Seitenverhältnis des digitalen Bildes, und
- b) Realisieren der Korrektur zum Korrigieren des Bildelement-Seitenverhältnisses.
19. Verfahren nach Anspruch 18, dadurch gekennzeich
net, daß der Schritt (a) die Schritte enthält:
- i) Berechnen eines Mittelwert-Bildungsfaktors zur Erzeugung verkleinerter Ansichtsbilder,
- ii) Berechnen eines Zeilengruppenwinkels als das Produkt aus dem Mittelwert-Bildungsfaktor und einem De tektorwinkel,
- iii) Bestimmen einer polynomischen zeitlichen Näherung dritter Ordnung als eine Funktion eines seit Beginn der Abtastung abgetasteten Winkels, und
- iv) Bestimmen einer Gruppe von Zeilen mit voller Auflösung auf der Grundlage des Zeilengruppenwinkels und unter Heranziehung des Polynoms dritter Ordnung, und
daß der Schritt (b) die Schritte enthält:
- i) Auswerten bzw. Bewerten der Gruppe von Zeilen mit voller Auflösung,
- ii) Runden der Gruppe von Zeilen mit voller Auf lösung auf einen nächsten ganzzahligen Wert und
- iii) Addieren des Betrags der Rundung zu ei nem nächsten Wert für die Gruppe von Zeilen mit voller Auflösung.
20. System zum Durchführen einer elektrooptischen Pan
oramaerkennung einer Szene mit Sektorabtastung und gro
ßem Bereich und bzw. Abstand aus einem Luftfahrzeug,
wobei die Erkennung mit erhöhten Abtastgeschwindigkei
ten bei einem gegebenen Bodenauflösungsabstand und ei
ner gegebenen Vorwärtsüberlappung durchgeführt wird,
mit
- 1) einer ersten Einrichtung zum Erfassen eines Bildes eines Teiles der Szene und zum Umwandeln des Bildes in ein digitales Bilddatensignal, wobei das di gitale Bilddatensignal eine digitale Repräsentation des Bildes ist,
- 2) einer mit der ersten Einrichtung gekoppelten zweiten Einrichtung zum Fokussieren des Teils der Szene auf die erste Einrichtung und zum Abtasten des Teils der Szene über die gesamte Szene mit einer nichtlinearen Abtastgeschwindigkeit und
- 3) einer mit der ersten Einrichtung gekoppelten dritten Einrichtung zum Verarbeiten des digitalen Bild datensignals zur Bereitstellung eines Sichtbild-Daten signals, das ein korrigiertes Bild repräsentiert, wobei das korrigierte ein Bildelement-Seitenverhältnis be sitzt, das im Hinblick auf die Beseitigung der Wirkun gen der nichtlinearen Abtastgeschwindigkeit korrigiert ist.
21. System nach Anspruch 20, gekennzeichnet durch eine
mit der zweiten Einrichtung gekoppelte vierte Einrich
tung, die zur Benutzung einer exakten Lösung zur Be
stimmung der nichtlinearen Abtastgeschwindigkeit aus
gelegt ist, wobei die exakte Lösung die nichtlineare
Abtastgeschwindigkeit derart bestimmt, daß ein Bodenab
tastungsabstand quer zur Spur während der gesamten Ab
tastung konstant ist.
22. System nach Anspruch 20, gekennzeichnet durch eine mit
der zweiten Einrichtung gekoppelte vierte Einrichtung,
die zum Einsatz einer polynomischen Nährungslösung zur
Bestimmung der nichtlinearen Abtastgeschwindigkeit
ausgelegt ist.
23. System nach Anspruch 20, gekennzeichnet durch eine mit
der ersten Einrichtung gekoppelte vierte Einrichtung
zum Senden des ersten elektronischen Signals von dem
Luftfahrzeug zum Boden.
24. System nach Anspruch 20, gekennzeichnet durch eine mit
der ersten Einrichtung gekoppelte vierte Einrichtung
zum Speichern des digitalen Datensignals.
25. System nach Anspruch 20, gekennzeichnet durch eine mit
der dritten Einrichtung gekoppelte vierte Einrichtung
zum Anzeigen des korrigierten Bildes.
26. System nach Anspruch 20, gekennzeichnet durch eine mit
einer Brennebenenanordnung gekoppelte vierte Einrich
tung zum Komprimieren des digitalen Bilddatensignals
zur Bildung eines komprimierten digitalen Datensignals,
und mit einer mit der vierten Einrichtung gekoppelten
fünften Einrichtung zum Dekomprimieren des
komprimierten digitalen Bilddatensignals.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US07/988,837 US5481479A (en) | 1992-12-10 | 1992-12-10 | Nonlinear scanning to optimize sector scan electro-optic reconnaissance system performance |
US07/988,837 | 1992-12-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE4342216A1 true DE4342216A1 (de) | 1994-06-16 |
DE4342216B4 DE4342216B4 (de) | 2006-11-02 |
Family
ID=25534527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4342216A Expired - Fee Related DE4342216B4 (de) | 1992-12-10 | 1993-12-10 | Nichtlineare Abtastung zur Optimierung des Leistungsvermögens eines elektrooptischen Sektorabtastungs-Erkennungssystems |
Country Status (6)
Country | Link |
---|---|
US (1) | US5481479A (de) |
CA (1) | CA2110962C (de) |
DE (1) | DE4342216B4 (de) |
FR (1) | FR2699361B1 (de) |
GB (1) | GB2273413B (de) |
IL (1) | IL107625A (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10216346A1 (de) * | 2002-04-13 | 2003-10-23 | Valeo Schalter & Sensoren Gmbh | Einparkhilfesystem für Fahrzeuge und Verfahren |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5604534A (en) * | 1995-05-24 | 1997-02-18 | Omni Solutions International, Ltd. | Direct digital airborne panoramic camera system and method |
US5668593A (en) * | 1995-06-07 | 1997-09-16 | Recon/Optical, Inc. | Method and camera system for step frame reconnaissance with motion compensation |
US6069654A (en) * | 1996-02-15 | 2000-05-30 | Lockheed Martin Corporation | System and method for far-field determination of store position and attitude for separation and ballistics |
DE69827232T2 (de) | 1997-01-30 | 2005-10-20 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Mosaikbildverarbeitungssystem |
EP0899580A3 (de) * | 1997-08-29 | 2000-02-02 | Kabushiki Kaisha Toshiba | System zur Ortung eines Zieles und Anflug-Leitsystem |
US6166373A (en) * | 1998-07-21 | 2000-12-26 | The Institute For Technology Development | Focal plane scanner with reciprocating spatial window |
WO2000035200A1 (en) | 1998-12-07 | 2000-06-15 | Universal City Studios, Inc. | Image correction method to compensate for point of view image distortion |
AT4766U3 (de) * | 2001-06-21 | 2002-05-27 | Plasser Bahnbaumasch Franz | Gleisbaumaschine und verfahren zur erfassung einer gleislage |
US6747686B1 (en) | 2001-10-05 | 2004-06-08 | Recon/Optical, Inc. | High aspect stereoscopic mode camera and method |
US6725152B2 (en) | 2002-02-21 | 2004-04-20 | Lockheed Martin Corporation | Real-time route and sensor planning system with variable mission objectives |
US6718261B2 (en) | 2002-02-21 | 2004-04-06 | Lockheed Martin Corporation | Architecture for real-time maintenance of distributed mission plans |
US6687606B1 (en) | 2002-02-21 | 2004-02-03 | Lockheed Martin Corporation | Architecture for automatic evaluation of team reconnaissance and surveillance plans |
US7647232B2 (en) | 2002-02-21 | 2010-01-12 | Lockheed Martin Corporation | Real-time team coordination system for reconnaissance and surveillance missions |
KR100377329B1 (en) * | 2002-06-27 | 2003-03-26 | Agency Defense Dev | Automatic scan device and method with scan width and rate dependent on view field of zoom optical system |
US7424133B2 (en) | 2002-11-08 | 2008-09-09 | Pictometry International Corporation | Method and apparatus for capturing, geolocating and measuring oblique images |
DE10259667B4 (de) * | 2002-12-18 | 2004-09-16 | Lfk-Lenkflugkörpersysteme Gmbh | Verfahren zur Vergrößerung des Bildfeldes einer Focal-Plane-Array-Kamera |
US6856380B2 (en) * | 2003-01-06 | 2005-02-15 | Chun-Shan Institute Of Science And Technology | Aerial vehicle speed error correlation method for two-dimensional visual reproduction of laser radar imaging |
FR2884312B1 (fr) * | 2005-04-08 | 2007-06-22 | Thales Sa | Systeme de designation et/ou d'illumination de cible et de reconnaissance aerienne |
US7805227B2 (en) * | 2005-12-23 | 2010-09-28 | General Electric Company | Apparatus and method for locating assets within a rail yard |
US7873238B2 (en) * | 2006-08-30 | 2011-01-18 | Pictometry International Corporation | Mosaic oblique images and methods of making and using same |
US8593518B2 (en) * | 2007-02-01 | 2013-11-26 | Pictometry International Corp. | Computer system for continuous oblique panning |
US8520079B2 (en) * | 2007-02-15 | 2013-08-27 | Pictometry International Corp. | Event multiplexer for managing the capture of images |
US8385672B2 (en) * | 2007-05-01 | 2013-02-26 | Pictometry International Corp. | System for detecting image abnormalities |
US9262818B2 (en) | 2007-05-01 | 2016-02-16 | Pictometry International Corp. | System for detecting image abnormalities |
US7991226B2 (en) * | 2007-10-12 | 2011-08-02 | Pictometry International Corporation | System and process for color-balancing a series of oblique images |
US8531472B2 (en) | 2007-12-03 | 2013-09-10 | Pictometry International Corp. | Systems and methods for rapid three-dimensional modeling with real façade texture |
US8588547B2 (en) | 2008-08-05 | 2013-11-19 | Pictometry International Corp. | Cut-line steering methods for forming a mosaic image of a geographical area |
US8401222B2 (en) | 2009-05-22 | 2013-03-19 | Pictometry International Corp. | System and process for roof measurement using aerial imagery |
CN101930161B (zh) | 2009-08-28 | 2014-06-18 | 杭州普维光电技术有限公司 | 一种全景成像调整方法和装置以及全景成像装置 |
US9330494B2 (en) | 2009-10-26 | 2016-05-03 | Pictometry International Corp. | Method for the automatic material classification and texture simulation for 3D models |
US8477190B2 (en) | 2010-07-07 | 2013-07-02 | Pictometry International Corp. | Real-time moving platform management system |
DE102010034318B4 (de) * | 2010-08-12 | 2012-02-23 | Jena-Optronik Gmbh | Verfahren und Vorrichtung zur korrigierten radiometrischen Messung von Objektpunkten auf Oberflächen von Himmelskörpern |
DE102010034319B4 (de) * | 2010-08-12 | 2012-04-19 | Jena-Optronik Gmbh | Verfahren und Vorrichtung zur radiometrischen Messung von Objektpunkten auf Oberflächen von Himmelskörpern |
US8823732B2 (en) | 2010-12-17 | 2014-09-02 | Pictometry International Corp. | Systems and methods for processing images with edge detection and snap-to feature |
JP5561214B2 (ja) * | 2011-03-15 | 2014-07-30 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
EP2719163A4 (de) | 2011-06-10 | 2015-09-09 | Pictometry Int Corp | System und verfahren zur bildung eines videostroms mit gis-daten in echtzeit |
US9183538B2 (en) | 2012-03-19 | 2015-11-10 | Pictometry International Corp. | Method and system for quick square roof reporting |
US9881163B2 (en) | 2013-03-12 | 2018-01-30 | Pictometry International Corp. | System and method for performing sensitive geo-spatial processing in non-sensitive operator environments |
US9244272B2 (en) | 2013-03-12 | 2016-01-26 | Pictometry International Corp. | Lidar system producing multiple scan paths and method of making and using same |
US9753950B2 (en) | 2013-03-15 | 2017-09-05 | Pictometry International Corp. | Virtual property reporting for automatic structure detection |
US9275080B2 (en) | 2013-03-15 | 2016-03-01 | Pictometry International Corp. | System and method for early access to captured images |
WO2015105886A1 (en) | 2014-01-10 | 2015-07-16 | Pictometry International Corp. | Unmanned aircraft structure evaluation system and method |
US9292913B2 (en) | 2014-01-31 | 2016-03-22 | Pictometry International Corp. | Augmented three dimensional point collection of vertical structures |
WO2015120188A1 (en) | 2014-02-08 | 2015-08-13 | Pictometry International Corp. | Method and system for displaying room interiors on a floor plan |
US9781378B2 (en) * | 2014-09-09 | 2017-10-03 | The Boeing Company | Coordinating image sensing with motion |
JP6918781B2 (ja) * | 2015-08-21 | 2021-08-11 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 眼ポーズ測定を用いた眼瞼形状推定 |
NZ741863A (en) | 2015-10-16 | 2019-05-31 | Magic Leap Inc | Eye pose identification using eye features |
FR3044101B1 (fr) * | 2015-11-20 | 2020-04-24 | Thales | Procede d'acquisition d'images d'une scene, a partir d'un capteur a bord d'un porteur en deplacement, avec asservissement de sa ligne de visee |
WO2017120571A1 (en) | 2016-01-08 | 2017-07-13 | Pictometry International Corp. | Systems and methods for taking, processing, retrieving, and displaying images from unmanned aerial vehicles |
EP3403050A4 (de) | 2016-02-15 | 2019-08-21 | Pictometry International Corp. | Automatisiertes system und verfahren zur merkmalsextraktion |
US10671648B2 (en) | 2016-02-22 | 2020-06-02 | Eagle View Technologies, Inc. | Integrated centralized property database systems and methods |
US10652464B2 (en) * | 2017-07-31 | 2020-05-12 | Honeywell International Inc. | Systems and methods for automatically switching a surveillance camera into an auto corridor mode |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3952151A (en) * | 1973-08-13 | 1976-04-20 | Trw Inc. | Method and apparatus for stabilized reproduction of remotely-sensed images |
NL7613491A (nl) * | 1976-12-03 | 1978-06-06 | Optische Ind De Oude Delft Nv | Stelsel voor het zwaaisgewijs aftasten van een, een bepaalde soort van een straling emitterend gebied, en het verwerken van de hierbij opge- vangen straling tot een voor weergave of regis- tratie geschikte vorm. |
US4303945A (en) * | 1977-03-21 | 1981-12-01 | Westinghouse Electric Corp. | Image motion compensation for a TV sensor system |
JPS57111178A (en) * | 1980-12-26 | 1982-07-10 | Fujitsu Ltd | Television signal converter for infrared video signal |
US4358789A (en) * | 1981-06-01 | 1982-11-09 | Inframetrics, Inc. | Digital scan converter for image scanning and display system |
US4453087A (en) * | 1981-07-27 | 1984-06-05 | James Linick | Scanning mechanism for FLIR systems |
US4482902A (en) * | 1982-08-30 | 1984-11-13 | Harris Corporation | Resonant galvanometer scanner system employing precision linear pixel generation |
GB2149258B (en) * | 1983-11-04 | 1987-03-11 | Ferranti Plc | Image correction system |
GB2165120B (en) * | 1984-09-28 | 1988-03-09 | G E C Avionics Limited | Line scanners |
DE3830577C3 (de) * | 1988-09-08 | 1995-02-23 | Deutsche Aerospace | Digitale Abtastung |
US5043924A (en) * | 1987-09-22 | 1991-08-27 | Messerschmitt-Bolkow-Blohm Gmbh | Method and apparatus for scanning an object |
US5028998A (en) * | 1989-02-06 | 1991-07-02 | Honeywell Regelsysteme Gmbh | Electronic zoom for wide-angle line scanners |
-
1992
- 1992-12-10 US US07/988,837 patent/US5481479A/en not_active Expired - Lifetime
-
1993
- 1993-11-16 IL IL10762593A patent/IL107625A/en not_active IP Right Cessation
- 1993-12-08 CA CA002110962A patent/CA2110962C/en not_active Expired - Fee Related
- 1993-12-09 GB GB9325223A patent/GB2273413B/en not_active Expired - Fee Related
- 1993-12-09 FR FR9314807A patent/FR2699361B1/fr not_active Expired - Fee Related
- 1993-12-10 DE DE4342216A patent/DE4342216B4/de not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10216346A1 (de) * | 2002-04-13 | 2003-10-23 | Valeo Schalter & Sensoren Gmbh | Einparkhilfesystem für Fahrzeuge und Verfahren |
US7205905B2 (en) | 2002-04-13 | 2007-04-17 | Valeo Schalter Und Sensoren Gmbh | Parking assistance system for vehicles and corresponding method |
Also Published As
Publication number | Publication date |
---|---|
GB2273413B (en) | 1997-01-15 |
GB2273413A (en) | 1994-06-15 |
DE4342216B4 (de) | 2006-11-02 |
US5481479A (en) | 1996-01-02 |
IL107625A (en) | 1998-10-30 |
CA2110962A1 (en) | 1994-06-11 |
CA2110962C (en) | 2004-04-06 |
IL107625A0 (en) | 1994-07-31 |
FR2699361A1 (fr) | 1994-06-17 |
FR2699361B1 (fr) | 1997-03-28 |
GB9325223D0 (en) | 1994-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE4342216B4 (de) | Nichtlineare Abtastung zur Optimierung des Leistungsvermögens eines elektrooptischen Sektorabtastungs-Erkennungssystems | |
DE69204345T2 (de) | Satelliten-Zwillings-Bildaufnahme für Abbildung und Steuerung. | |
DE69627487T2 (de) | Direktes digitales panorama-luftbildsystem und -verfahren | |
DE69021354T2 (de) | System zur Detektion eines Hindernisses. | |
EP0396867B1 (de) | Navigationsverfahren | |
DE69430012T2 (de) | Auf einem luftfahrzeug angebrachter integrierter fotoapparat | |
DE60213526T2 (de) | Verfahren und System zur Verbesserung des Situationsbewusstseins von Kommando-Kontrolleinheiten | |
DE69532037T2 (de) | Beobachtungen von unterhalb einer unruhigen wasseroberfläche | |
WO2018099949A1 (de) | Verfahren und vorrichtung zur georeferenzierung von luftbilddaten mit hilfe von sar-bilddaten | |
DE202016007867U1 (de) | Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform | |
DE102018207265A1 (de) | Korrelation thermischer satellitenbilddaten zur generierung räumlich hochaufgelöster wärmekarten | |
DE102012020093A1 (de) | Anordnung zur Ortung, Erfassung und Überwachung von Eisbergen sowie Verfahren zur Bestimmung eines von treibenden Eisbergen ausgehenden Gefährdungspotentials für stationäre oder schwimmende Meeresbauwerke | |
EP2907105A2 (de) | Verfahren zur bildaufbereitung und verfahren zur bahnverfolgung von raketen | |
EP4102179A1 (de) | Verfahren und vorrichtung zum verorten einer von der ferne aus aufgenommenen bildaufnahme eines objektes | |
Erickson | Line criteria in target acquisition with television | |
Wright et al. | Reducing the cost of multi-spectral remote sensing: Combining near-infrared video imagery with colour aerial photography | |
DE102019220616A1 (de) | Verfahren zur simultanen lokalisierung und abbildung | |
DE4031465A1 (de) | Fernsteuerbare vorrichtung zur aufnahme von informationen im luftraum | |
DE2703906A1 (de) | Mobile infrarotvorrichtung zur aufzeichnung thermischer schwankungen und verfahren zur durchfuehrung dieser aufzeichnung | |
DE19818426A1 (de) | Verfahren zur Fernaufklärung und Zielortung | |
DE10112009A1 (de) | Verfahren zum Aufnehmen von Luftbildern für die Luftbildaufklärung und Vorrichtung zum Durchführen eines solchen Verfahrens | |
DE3940041C2 (de) | Satellit | |
DE102022209654A1 (de) | Signaturmanagement unter Berücksichtigung von Satelliten | |
DE9108593U1 (de) | Fernsteuerbare Vorrichtung zur Aufnahme von Informationen im Luftraum | |
SCHAPPELL et al. | Landmark identification and tracking experiments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8127 | New person/name/address of the applicant |
Owner name: LOCKHEED MARTIN CORP., SYOSSET, N.Y., US |
|
8110 | Request for examination paragraph 44 | ||
8127 | New person/name/address of the applicant |
Owner name: BAE SYSTEMS INFORMATION AND ELECTRONIC SYSTEMS INT |
|
8364 | No opposition during term of opposition | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20110701 |