DE3708683A1 - Verfahren zur bestimmung von lageaenderungen einer bewegten bildsensorplattform - Google Patents

Description

Die Erfindung betrifft ein System zum Erfassen von Lageände­ rungen einer in Luft oder im Raum schwebenden Plattform, z.B. eines Bildsensors, der sich an einem Raumfahrzeug oder Luftfahrzeug befindet. Insbesondere betrifft die Erfin­ dung ein System zum Erfassen von Lageänderungen unter Ver­ wendung einer Geländeabbildungstechnik.

Multispektrale Bildabtaster sind üblicherweise an bewegten Luftfahrzeugen oder Satelliten vorgesehen, um Bilder des Geländes aufzuzeichnen, während sie über die Erdoberfläche hinwegfliegen. Die Bilder werden als Daten aufgezeichnet, die aus einer Reihe von Abtastzeilen bestehen, deren rela­ tive Orientierung gegenüber anderen Abtastzeilen sich än­ dern kann, während sich das Luft- oder Raumfahrzeug längs seines Flugweges bewegt. Die Lage des Luft- oder Raumfahr­ zeugs ist Störeinflüssen durch Roll-, Nick-, Gier-, Höhen­ und Geschwindigkeitsänderungen ausgesetzt, die in das Ge­ ländebild unsystematische geometrische Verzerrungen ein­ führen. Im Falle eines Luftfahrzeugs ergeben sich solche Störungen durch Windböen, Änderungen der Luftdichte und unerwartete Kursänderungen. Störungen bei einem Satelli­ ten sind subtiler, können jedoch auch von atmosphärischen Stößen (in niedrigem Orbit) orbitalen Steuermanövern und Änderungen des Satellitenschwerpunkts (d.h. Kraftstoff­ verbrauch, Orientierungsänderungen der Antennen und Solar­ generatoren) herrühren.

Um die Geometrie der "rohen" Bilddaten zu korrigieren, ist es normalerweise möglich, Bildpunkte mit Bodenkontrollpunkten auf Karten für jeweils wenige Abtastzeilen der Bilddaten zu identifizieren, indem Abbildungen für die genaue Posi­ tion von Eigenschaften gesucht werden, die bestimmten Bildpunkten in den Bilddaten entsprechen und dann das ge­ samte Bild verzerrt und nochmals abgetastet wird, wodurch man die beste Entsprechung für alle Geländekontrollpunkte erhält. Diese Möglichkeit ist jedoch hinsichtlich Zeit- und Arbeitsaufwand besonders kostspielig, denn die aufge­ zeichneten Bildaten müssen manuell mit der Position von Geländekontrollpunkten korreliert werden, und die Korrek­ tur hängt ausschließlich von der Genauigkeit und der Dichte der Geländekontrolle ab. Eine weitere Lösung dieses Problems arbeitet mit Horizontsuchern, Sternzeigern und Trägheitsna­ vigationssystemen an Bord des Luft- oder Raumfahrzeugs. Diese Lagesensoren ermitteln und speichern Lageänderungs­ daten, die zur teilweisen geometrischen Korrektur der Bild­ daten erforderlich sind. Solche Daten sind aus mindestens drei Gründen nicht optimal: Erstens verwenden sie Eigenschaf­ ten oder Trägheitsreferenzen, die nicht ein unmittelbarer Teil der aufgezeichneten Geländedaten sind, zweitens können sie dieselben Kosten verursachen wie der Primärsensor, und drittens sind ihr Gewicht und ihr Leistungsbedarf in einigen Anwendungsfällen zu groß.

Es besteht deshalb ein Bedürfnis für ein leichtes, wirksa­ meres und billigeres System zum Ermitteln und Aufzeichnen der Lageänderungen einer Plattform, beispielsweise einer Bildsensorplattform, die für Geländeabbildungen in Luft- oder Raumfahrzeugen geeignet ist.

Zur Lösung der diesem Bedürfnis zugrundeliegenden Aufgabe sieht die Erfindung ein System zur Ermittlung von Lageän­ derungen einer Bildsensorplattform für Geländeabbildung in Luft- oder Raumfahrzeugen vor, bei dem ein zweiter Sensor verwendet wird, der vorzugsweise einen zweidimen­ sionalen panchromatischen Bildsensor enthält, und wobei ferner ein digitaler Bildkorrelator zum Vergleich sukzessi­ ver, überlappender und augenblicklich erhaltener zweidimen­ sionaler Geländebilddaten verwendet wird. Der zweite Sen­ sor erzeugt eine Reihe von Haupt- und Nebenbildern, wobei jedes Nebenbild zu einem Hauptbild wird, wenn ein nachfol­ gendes Nebenbild erzeugt wird. Eine digitale Bildkorrela­ tion wird zur Identifikation mehrerer (vorzugsweise fünf) Bildelemente auf dem Hauptbild mit denselben geographischen Punkten auf dem Nebenbild durchgeführt. Die Korrelation wird durch Auswahl mehrerer (vorzugsweise fünf) räumlich verteilter Felder von Bildpunktanordnungen in dem Neben­ bild und durch nachfolgendes Bewegen dieser Anordnungen um das Hauptbild herum durchgeführt, um für jedes Feld den Grauskala-Korrelationskoeffizienten zu finden. Die Stellen mit den höchsten Korrelationskoeffizienten werden als wahre Stellen der Nebenbilder relativ zum Hauptbild gewählt. Die Reihe und Spalte der korrelierten Bildpunkte in dem Neben­ bild werden aufgezeichnet, und die relative Orientierung des Nebenbildes zum Hauptbild wird ermittelt, indem die Koplanaritätsbedingung der Fotogrammetrie angewendet wird. Die relative Orientierung der Haupt- und Nebenbilder charak­ terisiert einheitlich die neue Lage der Sensorplattform, d.h. die Änderung der Lage der Plattform zwischen den Zeit­ punkten, zu denen die Haupt- und Nebenbilder aufgezeichnet wurden. Die mit dem zweidimensionalen Bildsensor erhaltenen Daten können zur späteren Verwendung gespeichert werden, oder sie werden in Realzeit verarbeitet, um Informationen zu erhalten, die die Änderungen der Sensorplattform und die korrekte Geometrie der Geländebilddaten kennzeichnen, welche mit dem Primärsensor aufgezeichnet wurden.

Die Erfindung führt also zu einem System zum Ermitteln von Änderungen der Lage einer in der Luft oder im Raum bewegten Plattform, z.B. eines multispektralen Abtasters (Sensors) für Geländeabbildung, das besonders einfach, genau, preis­ wert und zuverlässig ist. Dabei werden Lageänderungen der Sensorplatteform unter Verwendung mathematischer Verfahren ausgewertet, die von einem Rechner durchführbar sind. Das System kann auch dazu eingesetzt werden, Störungen in Ge­ ländedaten eines durch Fernabtastung gewonnenen Geländebil­ des entweder mit nahezu Realzeitbasis oder rechnerunabhängig zu korrigieren. Das System kann ferner Informationen über Höhen- und Geschwindigkeitsänderungen einer in Luft oder im Raum bewegten Plattform liefern. Außerdem kann das System mit konventionellen Luft- und Raumsensoren arbeiten und in einer besonders leichten und kompakten Einreichung ver­ wirklicht werden.

Ein Ausführungsbeispiel der Erfindung wird im folgenden an­ hand der Figuren beschrieben. Es zeigen:

Fig. 1 eine schematische perspektivische Dar­ stellung des Abtastbereiches eines Gelände­ bildsensors, der an einer bewegten Platt­ form, typisch an einem Satelliten oder an einem Luftfahrzeug, angeordnet ist, wobei kleinere Stabilitätsstörungen dargestellt sind, die signifikante geometrische Verzerrun­ gen der Geländedaten verursachen,

Fig. 2 eine schematische perspektivische Dar­ stellung des geometrischen Zusammenhangs zwischen dem Geländebildsensor und dem Lagesensor gegenüber dem abgetasteten Gelände,

Fig. 3 eine schematische perspektivische Darstel­ lung aufeinander folgender und einander überlappender Haupt- und Nebenbilder, die von dem Lagesensor aufgezeichnet werden,

Fig. 4 eine schematische Darstellung sequentieller Haupt- und Nebenbilder, wobei identische geographische Punkte der Bilder jeweils durch Kreise und Punkte bezeichnet sind,

Fig. 5 eine schematische Darstellung der Haupt- und Nebenbilder nach Durchführung der Korrelation, wobei die identischen geogra­ phischen Punkte zweier Bilder durch koinzi­ dente Kreise und Punkte dargestellt sind,

Fig. 6 eine schematische Darstellung des Haupt­ bildes und der aus dem Nebenbild erhaltenen Bildpunktfelder oder -anordnungen, die mathematisch überlagert und relativ zu­ einander verschoben sind,

Fig. 7 eine Seitenansicht von Haupt- und Nebenbild, bei der die einzige Lageänderung der Sensor­ plattform eine Höhenänderung ist,

Fig. 8 eine Seitenansicht von Haupt- und Nebenbild, bei der die einzige Lageänderung der Sensor­ plattform eine Geschwindigkeitsänderung ist,

Fig. 9 eine Seitenansicht von Haupt- und Neben­ bild, bei der die einzige Lageänderung der Sensorplattform eine Nickänderung ist, und

Fig. 10 bis 13 Programmabläufe für die Anwendung des erfindungsgemäßen Systems.

In Fig. 1 ist ein System zum Ermitteln und Messen der Lage­ änderungen einer Sensorplattform an Bord eines bewegten Fahr­ zeugs, beispielsweise eines Satelliten 10 oder eines Luft­ fahrzeugs 12, dargestellt, das sich längs eines bestimmten Flugwegs 13 bewegt. Änderungen des Ortes und der Lage der Plattform führen zu Änderungen der Sensororientierung gegen­ über dem Gelände, das abzubilden ist, und bewirken unsyste­ matische geometrische Verzerrungen der Geländebilddaten. Beispielsweise kann die Plattform aus einem panchromatischen oder einem multispektralen Abtaster (Sensor) bestehen, der das Gelände unter der Plattform einsieht und elektronische Signale erzeugt. Diese Signale können mit einem Rechner zu Bildern des Geländes unter dem Flugweg 13 verarbeitet werden, während sich die Plattform über die Erdoberfläche bewegt. Der Bildsensor hat ein Sichtfeld 14, das längs eines Abtastweges 16 über die Erdoberfläche wandert. In der fol­ genden Beschreibung wird der Bildsensor als Primärsensor bezeichnet, der entweder ein optisch-mechanischer Sensor oder der modernere Typ sein kann, bei dem eindimensionale lineare Anordnungen verwendet werden und der üblicherweise als "Push Broom"- oder als "Multilinear Array"-Abtaster bezeichnet wird. Eine panchromatische (schwarz-weiß) Dar­ stellung des letzteren Typs wird beispielsweise erläu­ tert. In beiden Fällen enthält der Bildsensor lichtempfind­ liche Detektorelemente, die in einer gemeinsamen Ebene an­ geordnet sind, sowie optische Elemente und verschiedene Arten elektronischer Komponenten. Die Orientierung oder Lage der Bildebene, die Ausrichtung der optischen Elemente und die Höhe des Sensors über dem Gelände bestimmen das Sichtfeld auf der Erdoberfläche.

Wie Fig. 2 zeigt, kann ein einfacher Geländesensor eine eindimensionale oder lineare Anordnung 20 enthalten, auf die ein linearer Streifen 18 des Geländes mit einer Op­ tik 24 fokussiert wird. Eine wiederholte Abtastung auf­ einander folgender Geländestreifen mit dem Linearsensor 20 und die Vorwärtsbewegung der Sensorplattform führen zu einem Satz von Bilddaten-Abtastzeilen, die in einem Rech­ ner zur Erstellung eines zusammengesetzten Bildes der von dem Sichtfeld des Sensors überstrichenen Fläche ge­ nutzt werden kann.

Im Idealfall wird die am Satelliten 10 oder Luftfahrzeug 12 vorgesehene Sensorplattform versuchen, einen stetigen oder linearen Flugweg 13 bei konstanter Geschwindigkeit, Lage und Höhe beizubehalten, wenn die Erdoberfläche mit dem Ge­ ländebildsensor 20 abgetastet wird, so daß aufeinander folgende Bildabtastzeilen in genauer geometrischer Beziehung zu zuvor aufgezeichneten Abtastzeilen aufgezeichnet werden. Tatsächlich treten jedoch unsystematische Änderungen der Lage, Höhe und Geschwindigkeit des Luftfahrzeugs 12 in­ folge von Windböen, Änderungen der Luftdichte und unerwar­ teter Kursänderungen auf, oder im Falle eines Satelliten 10 werden solche Änderungen durch atmosphärische Stöße, orbitale Steuermanöver und Änderungen des Satellitenschwer­ punktes durch Kraftstoffverbrauch und Ausrichtungsänderun­ gen von Antennen und Solargeneratoren usw. hervorgerufen. Diese "Plattformänderungen" resultieren in entsprechenden Änderungen der Lage des Geländebildsensors 20, durch die wiederum geometrische Ungenauigkeiten in die Bilddaten ein­ geführt werden. Es ist extrem schwierig, solche Ungenauig­ keiten der Bilddaten durch nachfolgende Bildverarbeitung zu beseitigen, ohne daß eine genaue Kenntnis der Frequenz und Größe der auf den Sensor 20 einwirkenden Störungen be­ steht. Die Erfindung führt nun zu einem System zur Ermittlung der Lage-, der Höhen- und der Geschwindigkeitsänderungen der Plattform zur Geländebildabtastung. Sie beruht auf der Erkenntnis, daß Änderungen der Plattformlage durch Vergleich zweier zweidimensionaler, einander überlappen­ der Geländebilder ermittelt und gemessen werden können, die von einem zweiten Bildsensor augenblicklich aus zwei Punkten längs des Flugweges erhalten werden können.

Wie Fig. 2 zeigt, ist ein zweiter Geländebilddetektor oder Sensor 22 auf derselben Plattform wie der primäre Bildsensor 20 angeordnet und kann eine handelsübliche zweidimensionale Anordnung lichtempfindlicher Elemente enthalten, die in einer gemeinsamen Bildebene angeordnet sind. Der zweite Sensor 22 ist so montiert, daß seine Bild­ ebene parallel oder vorzugsweise koplanar mit derjenigen des ersten Linearsensors 20 liegt. Geeignete elektronische Schaltungen (nicht dargestellt) üblicher Art dienen zur elektronischen Abtastung der zweiten Sensoranordnung 22 zwecks Erzeugung eines synoptischen digitalen Bildrasters (d.h. alle Bilddaten eines Bildfeldes werden von ein und derselben Stelle aus oder in ein und demselben Zeitpunkt auf dem Flugweg erhalten) des gesamten oder eines Teils des mit dem Primärsensor 20 abgetasteten Geländes. Diese letztgenannten Bilddaten dienen als Referenz, mit der Lage-,Höhen- und Geschwindigkeitsänderungen festgestellt und gemessen werden. Wie in Fig. 2 konzeptartig gezeigt, überlappt der Abtastbereich 26 des zweiten Sensors 22 über die Optik 24 den Abtastbereich der Linearanordnung 20. Obwohl dies in technischer Hinsicht vorteilhaft sein kann, muß diese Konfiguration nicht unbedingt vorgesehen sein, jedoch muß der Sensor 22 einander überlappende zweidimen­ sionale Bilder eines Bezugsgeländes aufzeichnen.

Gemäß Fig. 3 dient der Sensor 22 zur Aufzeichnung einer Reihe einander überlappender Bilder entsprechend den Ab­ tastbereichen 26 auf dem Erdboden. Jedes Bild oder Abtast­ bereich 26 ist ein Hauptbild, während das nachfolgende Bild ein Nebenbild des Hauptbildes ist. Das Zeitintervall zwischen der Aufzeichnung aufeinander folgender Bilder der Abtastbereiche 26 ist durch die Geschwindigkeit der Sensorplattform, das Gesamtbildfeld des Sensors, die nominale Frequenz der Lage-, Geschwindigkeits- und Höhen­ änderungen der Sensorplattform, die räumliche Auflösung eines Elements der zweidimensionalen Anordnung 22 und die räumliche Auflösung eines Elements der Linearanordnung 20 bestimmt. Der Abtastbereich 26 ändert seine Position und Größe entsprechend den Änderungen der Lage, Geschwin­ digkeit und Höhe der Sensorplattform 12, die als ein Luft­ fahrzeug dargestellt ist. Beispielsweise entspricht der Abtastbereich 26 a einer Gruppe von Bedingungen, für die die Sensorplattform 12 sich auf ihrem vorgegebenen Flug­ weg befinden möge und eine konstante Höhe und Geschwindig­ keit haben soll. Der Abtastbereich 26 b repräsentiert den Erdbereich, der abgebildet wird, wenn die Sensorplatt­ form 12 eine Rollbewegung durchführt. Der Abtastbereich 26 d repräsentiert das Bild, das sich ergibt, wenn die Sensor­ plattform 12 über die Höhe hinaus steigt, die sie bei dem zuvor erhaltenen Bild hatte. Die entsprechenden Änderungen des von dem Geländebildsensor 20 aufgezeichneten Bildes sind in Fig. 1 gezeigt. In jedem Falle ist es vorteilhaft, wenn die Änderungen des mit der Linearanordnung 20 auf­ gezeichneten Bildes direkt auf die Änderungen der Bilder bezogen sind, die der Sensor 22 aufzeichnet, da beide Sensoren 20, 22 Bildebenen haben, die relativ zueinander fix angeordnet sind und deshalb durch externe Einflüsse gleichartig gestört werden.

Im folgenden wird eine Übersicht über das System gegeben, auf die eine eingehendere Beschreibung anhand der Figu­ ren folgt. Ein Raumverlagerungsfaktor zwischen dem Haupt­ bild und den nachfolgenden Nebenbildern kann aus der Geschwindigkeit und Höhe der Sensorplattform 12 vorbestimmt werden und wird dann als Einflußfaktor für die Bildraster, d.h. die Sätze digitaler Daten verwendet, die jeweils das Haupt- und die Nebenbilder repräsentieren. Das Haupt- und die Nebenbilder werden dann registriert, und es werden minimal drei, jedoch vorzugsweise 5 Bildpunkte des Haupt­ bildes zur Korrelation mit entsprechenden Bildpunkten in drei oder fünf Feldern des Nebenbildes getestet. Eine genaue Korrelation ergibt sich, wenn keine Änderungen der Geschwindigkeit, der Höhe (verglichen mit angenommenen Nennwerten) oder der Lage (Gieren, Rollen oder Nicken) in diesem Segment der Flugbahn der Sensorplattform auftre­ ten. Bei einer weniger genauen Korrelation werden mehrere geometrische Verschiebungen auf Felder des Nebenbildes angewendet, und die Korrelation des Hauptbildes wird wie­ derholt. Die auf die Nebenbildfelder angewandten Verschie­ bungen, die mit dem Hauptbild am besten korrelieren, kenn­ zeichnen die Geometrie einer Änderung gegenüber dem vor­ bestimmten Ort (d.h. Geschwindigkeit und Höhe) und der Lage der Sensoren 20, 22. Mit anderen Worten: die drei oder mehr Bildpunkte in dem Nebenbild, die den höchsten Korrelationskoeffizienten zwischen dem Hauptbild und den Nebenbildern angenommen haben, bestimmen die Orientierung der zweidimensionalen Anordnung des Sensors 22 und damit die Änderung des Ortes und der Lage des Sensors 20 zwischen den Zeitpunkten, zu denen das Hauptbild und die Nebenbil­ der aufgezeichnet wurden. Es ist deshalb möglich, die relative Zeitänderung des Ortes und der Lage der Sensor­ plattform bezüglich der Hauptbilddaten zu bestimmen, die zuvor durch Ermittlung von Lagedaten mit dem Bildsensor über einer Referenzfläche des Geländes erhalten wurden.

Die absolute Lage der Sensoren 20, 22 kann am besten be­ stimmt werden, wenn die Geländebezugsfläche bekannt ist. Diese absolute Lagebestimmung ist jedoch etwas praktischer für eine Satelliten-Sensorplattform, die innerhalb von Stunden oder Tagen über ein und dasselbe Gelände wandert, als für eine Sensorplattform in einem Luftfahrzeug. Wenn die Referenzfläche auf dem Gelände nicht bekannt ist, so wird die Lageänderung der Sensorplattform und die Änderung gegenüber ihrem zu erwartenden Ort mit dem Sensorsystem 22 bezüglich der Lage und dem Ort über der zuvor aufgezeich­ neten Referenzfläche ermittelt. Dies reicht aus, um die mit dem Geländebildsensor 20 für Höhe-, Geschwindigkeits- und Lageänderungen aufgezeichneten Bilder zu korrigieren, die während der Zeit auftraten, die zum Erhalt von minde­ stens zwei Bildabtastzeilen mit dem Bildsensor 20 erfor­ derlich ist.

Es wird nun auf Fig. 4 Bezug genommen, die einander über­ lappende Haupt- und Nebenbilder zeigt, die mit A und B bezeichnet sind. Mehrere Geländereferenzpunkte auf dem Nebenbild sind durch Kreise 28 gekennzeichnet. Dieselben Referenzpunkte sind auf dem Hauptbild durch Punkte 30 gekennzeichnet, wobei die Pfeile die Kreise 28 mit den entsprechenden Punkten 30 korrelieren. Wie in Fig. 4 gezeigt ist, sind das Haupt- und das Nebenbild A und B in der Geometrie des überlappenden Teils des Nebenbildes dargestellt "wie erhalten". Der Grad der Überlappung wurde mathematisch vorbestimmt unter Zugrundelegung des Zeit­ intervalls zwischen dem Aufzeichnen des Haupt- und des Nebenbildes und der vorherbestimmten Geschwindigkeit und Höhe der Sensorplattform 12.

Es ist dann erforderlich, die geometrische Orientierung des Nebenbildes relativ zum Hauptbild zu bestimmen, so daß die entsprechenden Punkte 28, 30 des Geländes auf­ einander ausgerichtet sind, d.h. wenn die Geländepunkte 28, 30 korreliert sind und geometrisch zusammenfallen. Die geometrische Lage des Nebenbildes, die in koinzidenten Geländepunkten 28, 30 resultiert, kann von mehreren Ge­ ländepunkten des Nebenbildes abgeleitet werden. Diese Punkte repräsentieren eine hohe Korrelation mit denselben Punkten, die auf dem Hauptbild aufgezeichnet sind. Dies erfolgt durch Auswahl von mindestens drei oder vorzugs­ weise fünf räumlich verteilten Referenzpunkten auf dem Nebenbild. Obwohl es aus einfachen Regeln der Geometrie bekannt ist, daß nur drei Punkte zur Definition einer Ebene erforderlich sind, ist nicht anzunehmen, daß das Gelände, welches die zu korrelierenden Punkte enthält, eine einfache Ebene ist oder daß die Höhenlage eines je­ den Punktes dieses Geländes bekannt ist. Deshalb ist es normalerweise erforderlich, sich auf relative Orientierungs­ prinzipien der Fotogrammetrie zu verlassen, die minde­ stens fünf Punkte erfordern, welche im Nebenbild und im Hauptbild (korreliert) identifizierbar sind, um alle Variablen zu bestimmen, die das mathematische Orientie­ rungsproblem im relativen Sinne lösen, d.h. das Nebenbild relativ zum Hauptbild. Die Koplanaritätsbedingung der Fotogrammetrie erfordert, daß für jeden der fünf gewählten Punkte der den jeweiligen Erdpunkt mit der Kameraoptik und dem entsprechenden Punkt auf dem Filmbild zu einem ersten Zeitpunkt verbindende Strahl und der denselben Erdpunkt mit der Kameraoptik und dem entsprechenden Punkt auf dem zweiten Filmbild zu einem zweiten Zeitpunkt ver­ bindende Strahl in einer einzigen Ebene liegen. Die rela­ tive Orientierungsoperation erfordert, daß mindestens fünf Strahlenpaare (gefunden nach der Koplanaritätsbedingung) einander in den beiden Anordnungen schneiden. Die Kopla­ naritätsbedingung und die diese definierenden Gleichungen sind eingehender in Manual of Photogrammetry, American Society of Photogrammetry, 4. Auflage, Seiten 55 ff, Copy­ right 1944, 1952, 1966, 1980 diskutiert. Die Kenntnis des Inhalts dieser Veröffentlichung wird in der vorliegenden Beschreibung vorausgesetzt.

In Fig. 6 sind fünf Felder 34 bis 42 des Nebenbildes aus­ gewählt zur Korrelation mit den Referenzpunkten 37 des Hauptbildes. Jedes Feld 34 bis 42 ist als eine 9×9-Anord­ nung von Bildpunkten dargestellt. Eine Korrelation wird durchgeführt, um den Korrelationsgrad der Grauskala (Hellig­ keit) zwischen jedem Bildpunkt in den Feldern 34 bis 42 des Nebenbildes und dem entsprechenden Referenzpunkt 37 des Hauptbildes zu bestimmen. Die Grauskalenintensität oder Helligkeit ist ein Wert, der eine Funktion der mittle­ ren integrierten Strahlung auf den Erdpunkt ist, welcher durch einen Bildpunkt dargestellt wird. Effektiv werden die Nebenbildfelder 34 bis 42 in X- und Y-Richtung (bezo­ gen auf Fig. 6) schrittweise weiterbewegt, so daß eine Korrelation zwischen jedem X,Y-Ort in den Nebenbildfel­ dern 34 bis 42 und dem entsprechenden Referenzbildpunkt 37 erfolgt. Dieses Bilddaten-Verarbeitungsverfahren wird manch­ mal auch als "Nachbarschaftsverarbeitung" bezeichnet. Der Bildpunkt mit dem höchsten Korrelationskoeffizienten in den Nebenbildfeldern 34 bis 42 wird dann ausgewählt, und sein X,Y-Ort in dem Bildfeld wird aufgezeichnet. Die aufgezeichneten Orte der Bildpunkte mit dem höchsten Korre­ lationsgrad in den Nebenbildfeldern 34 bis 42 bestimmen die wahren Orte der Nebenbildfelder 34 bis 42 und somit des gesamten Nebenbildes relativ zum Hauptbild. Fig. 5 zeigt das Nebenbild B in räumlicher Ausrichtung relativ zum Hauptbild A, nachdem das Nebenbild geometrisch in zwei Dimensionen relativ zum Hauptbild "verzerrt" wurde, so daß die Referenzpunkte 28, 30 zusammenfallen.

In Fig. 10 bis 13 ist ein Ablaufplan für ein typisches Rechnerprogramm dargestellt, das auf der Grundlage des vorstehend beschriebenen Systems arbeitet. Fig. 10 zeigt den ersten Schritt 44 des Programms, der für aufeinander folgende Orte längs des Flugweges durchgeführt wird, um die Haupt- und Nebenbilddaten zu erhalten. Dann wird eine Bildkorrelation in Feldern des Überlappungsbereichs von Haupt- und Nebenbild durchgeführt, um korrelierte, einan­ der entsprechende Punkte in dem Geländeteil zu identifi­ zieren, der zweimal abgebildet wurde. Der zweite Schritt 46 bestimmt die relative Orientierung der Nebenbildebene bezüglich der Hauptbildebene unter Verwendung der Prin­ zipien der relativen Orientierung aus der vorstehend be­ schriebenen Fotogrammetrie, gemäß denen mindestens fünf korrelierte, einander entsprechende Punkte erforderlich sind, die in dem Haupt- und dem Nebenbild enthalten sind. Die Subroutine zur Durchführung des Schritts 44 ist in Fig. 11 und 12 gezeigt. Der erste Schritt 48 der Subroutine besteht darin, daß dieselbe Versetzung angewendet wird, die zuvor aus dem Haupt/Nebenbild-Korrelationsverfahren ab­ geleitet wurde, oder aber ein auf der Grundlage der nomi­ nalen Plattformgeschwindigkeit, multipliziert mit dem Abtastintervall des Bildsensors, geschätzter Wert. Der Überlappungsbereich wird dann im Schritt 50 in mindestens fünf oder mehr Felder aufgeteilt, wenn eine relativ große zweidimensionale Bilderzeugungsanordnung als Lagesensor verwendet wird, oder die fünf oder mehr Geländebildfelder werden von fünf oder mehr relativ kleinen zweidimensiona­ len Anordnungen wie vorstehend beschrieben erzeugt. Ein zweidimensionales Korrelationsverfahren wird dann in Schritt 52 für jedes Haupt- und Nebenbilddatenfeld durch­ geführt. Hierzu wählt ein Rechner gemäß Schritt 54 in Fig. 12 den sogenannten Kandidatenbereich für einen Paß­ punkt in dem Hauptbild, der den stärksten Kontrast und/ oder Punkt in einem zweidimensionalen Bild hat. Ein ana­ loges, äquivalentes Verfahren zur visuellen Überprüfung würde darin bestehen, daß eine bestimmte Bildpunktgruppe ausgewählt wird. Bei Schritt 56 werden weitere Kandidaten verarbeitet, wenn der Paßkandidat des Hauptbildes keine passend hohe Korrelationsspitze im Nebenbild hat. Andern­ falls wird das Programm auf Schritt 52 geführt.

Die Subroutine zur Durchführung des Schrittes 46 (Fig. 10) ist in der Fig. 13 dargestellt. Eine Schätzung der Orientie­ rungsparameter wird zunächst bei Schritt 58 durchgeführt, worauf ein mathematischer Schritt 60 folgt, bei dem die Quadrate der Abweichung von dem Idealzustand der Koplana­ rität von Haupt- und Nebenbild für fünf oder mehr Paare korrelierter Bildpunkte minimiert werden. Bei Schritt 62 wird bestimmt, ob die Abweichungen unter einem Schwellen­ wert liegen, der durch die geometrischen Genauigkeitsan­ forderungen bestimmt ist, die an die von dem primären Bild­ sensor erhaltenen Daten zu stellen sind. Wenn die Abwei­ chungen unter dem Schwellwert liegen, so wird der Schritt 60 wiederholt. Andernfalls wird die Subroutine beendet. Das Ausgangsprodukt dieses Verfahrens ist eine Zusammenstellung von Gleichungen, die aufeinander folgende Bildebenen und damit die Orte und Lagen des primären Bildsensors und seiner Plattform beschreiben. Diese Gleichungen ermög­ lichen genaue geometrische Korrekturen der von dem Primär­ sensor erhaltenen Bilddaten entweder in einem relativen Sinne bezüglich der zuvor aufgezeichneten Bilddaten dieses "Flugsegments" oder in einem absoluten Sinne bezüglich einer Karte des Geländes. Der letztere Fall erfordert eine Bilddatenbasis aus eindeutig identifizierbaren Gelände­ abschnitten einschließlich ihrer Kartenkoordinaten und Höhenlagen, die eine Orientierung eines Haupt- oder Neben­ bildes relativ zum Gelände ermöglichen, wobei die vor­ stehend beschriebenen Korrelations- und Koplanaritäts­ prüfungsverfahren angewendet werden.

Claims (17)

1. Verfahren zur Bestimmung von Lageänderungen einer Platt­ form, die in der Luft oder im Raum längs eines Flugweges über der Erde bewegt wird, insbesondere eines Sensors, der nacheinander zweidimensionale Bilder der Erdoberfläche längs des Flugweges aufzeichnet, gekennzeich­ net durch folgende Schritte:

• A) Erzeugen eines ersten Datensatzes entsprechend Bild­ elementen eines ersten zweidimensionalen Bildes der Erdoberfläche an einer ersten Stelle des Flugweges,
• B) Erzeugen eines zweiten Datensatzes entsprechend Bild­ elementen eines zweiten zweidimensionalen Bildes der Erdoberfläche an einer zweiten Stelle des Flugweges mit geringem Abstand zur ersten Stelle, so daß die beiden Bilder einander mindestens teilweise überlap­ pen,
  wobei die Bildelemente entsprechend ihren jeweiligen Orten auf entsprechenden Bildern unterschiedliche Inten­ sität haben und die einander entsprechenden Bildelemente des ersten und zweiten Bildes in den überlappenden Ab­ schnitten um einen Betrag gegeneinander versetzt sind, der auf Lageänderungen der Plattform bezogen ist, und
• C) Korrelieren von mehreren, vorzugsweise fünf, ent­ sprechenden Bildelementen des ersten und des zweiten Bildes in den überlappenden Abschnitten, wobei die relativen Orte der korrelierten Bildelemente die Lageänderungen der Plattform angeben.

2. Verfahren nach Anspruch 1, dadurch gekennzeich­ net , daß in Schritt C) mindestens drei, vorzugsweise mindestens fünf voneinander beabstandete NxM-Anordnungen von Bildelementen in einem der Bilder ausgewählt werden, daß mindestens drei, vorzugsweise mindestens fünf von­ einander beabstandete Referenzbildelemente in dem anderen Bild ausgewählt werden, die jeweils den mindestens drei bzw. mindestens fünf NxM-Anordnungen zugeordnet sind, und daß die ausgewählten Referenzbildelemente mit jedem der Bildelemente der zugeordneten NxM-Anordnungen ver­ glichen werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeich­ net , daß in Schritt C) der Reihen- und Spaltenort des Bildelements in jeder der NxM-Anordnungen aufgezeichnet wird, das die höchste Korrelation mit dem zugeordneten Referenzbildelement hat, und daß die Ebene bestimmt wird, die die Bildelemente in den NxM-Anordnungen enthält, welche die höchste Korrelation mit den zugeordneten Re­ ferenzbildelementen haben.

4. Verfahren nach Anspruch 3, dadurch gekennzeich­ net , daß die Lage der bestimmten Ebene relativ zu der Ebene des ersten Bildes bestimmt wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, daß in Schritt C) mehrere, vorzugsweise fünf zueinander beabstandete Bild­ elemente in dem ersten Bild ausgewählt werden und daß die Orte der ausgewählten Bildelemente in dem zweiten Bild vorherbestimmt werden.

6. Verfahren nach Anspruch 5, dadurch gekennzeich­ net, daß das Vorherbestimmen der Orte der ausgewählten Bildelemente durch Bestimmen der Orte von ausgewählten Bildelementen in zuvor erzeugten Bildern der Erdoberfläche erfolgt.

7. Verfahren nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, daß zur Bilderzeu­ gung zwei Sensoren verwendet werden, die derart fest zu­ einander angeordnet sind, daß ihre Bildebenen parallel zueinander liegen.

8. Verfahren nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, daß die Schritte A) und B) durch Fokussieren von Bildern der Erdoberfläche auf eine zweidimensionale Anordnung lichtempfindlicher Elemente durchgeführt werden.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das erste und das zweite Bild aufeinander ausgerichtet werden.

10. Verfahren nach einem der vorhergehenden Ansprüche, da­ durch gekennzeichnet, daß auf den zwei­ ten Datensatz eine geometrische Versetzung angewendet wird.

11. Digitales Bildverarbeitungsverfahren zur Bestimmung von Änderungen des Ortes oder der Lage einer in der Luft oder im Raum längs eines Flugweges über eine Fläche hin­ weg bewegten Plattform, die einen Bildsensor trägt, ge­ kennzeichnet durch folgende Schritte:

• A) Erzeugen eines ersten synoptischen Bilddatensatzes der Fläche aus der Perspektive einer ersten Stelle längs des Flugweges und Verwendung eines Bildsensors, der eine zweidimensionale Bilderzeugungsanordnung ent­ hält, zur Erzeugung einer Anordnung von Bildelementen eines ersten zweidimensionalen Bildes der Fläche mit N Zeilen zu jeweils M Bildelementen,
• B) Erzeugen eines zweiten Datensatzes mit dem Bildsen­ sor aus der neuen Perspektive einer zweiten Stelle längs des Flugweges, wobei der zweite Datensatz eine neue Anordnung von Bildelementen eines zweiten zwei­ dimensionalen Bildes der Fläche wiedergibt, die an einer zweiten Stelle mit solchem Abstand längs des Flugweges von der ersten Stelle aufgenommen wurden, daß die Bildanordnungen einander überlappen,
  wobei die Bildelemente entsprechend dem Emissionsgrad einer vielgestaltigen Zusammenstellung von Elementen der Fläche unterschiedliche Intensität haben und die einan­ der entsprechenden Bildelementsätze in den überlappenden Teilen der ersten und zweiten Bildanordnung gegeneinander um einen Betrag versetzt sind, der auf Änderungen des Ortes und der Lage der Plattform bezogen ist, und
• C) Vergleichen von mindestens fünf räumlich verteilten Feldern von Bildelementen in dem überlappenden Teil der ersten und zweiten Bildanordnung und Identifi­ zieren von mindestens fünf stark korrelierten Bild­ element-Paßpunkten in dem überlappenden Teil der ersten und zweiten Bildanordnung, wobei die relativen Posi­ tionen der stark korrelierten Bildelement-Paßpunkte bezüglich ihrer individuellen Orte auf der jeweili­ gen Bildanordnung eine eindeutige Funktion der Ände­ rungen des Ortes und der Lage der Plattform sind.

12. Verfahren nach Anspruch 11, dadurch gekennzeich­ net, daß die Schritte B) und C) mit zwei zweidimensio­ nalen Bildanordnungen durchgeführt werden, die miteinan­ der koplanar in einer gemeinsamen Bildebene liegen und räumlich in dem Gesamtbildfeld des Bildsensors verteilt sind.

13. Verfahren nach Anspruch 11 oder 12, dadurch gekenn­ zeichnet, daß in Schritt C) mindestens fünf zu­ einander beabstandete Felder von Bildelementen in einem der Bilder ausgewählt werden, daß mindestens fünf zu­ einander beabstandete Referenzbildelemente einschließlich Fenster von Nachbarbildelementen in dem anderen Bild ausgewählt werden, wobei die Fenster jeweils in einem vorherbestimmten Bereich der fünf Felder liegen, und daß jedes der fünf Referenzbildelemente und ihre ent­ sprechenden Fenster von Nachbarbildelementen mit jedem der Bildelemente und ihren Fenstern von Nachbarbild­ elementen in dem zugeordneten Feld korreliert werden.

14. Verfahren nach Anspruch 12 oder 13, dadurch ge­ kennzeichnet, daß in Schritt C) der Reihen­ und Spaltenort desjenigen Bildelements in jedem Feld aufgezeichnet wird, das die höchste Korrelation mit dem zugeordneten Referenzbildelement hat, und daß fünf Ort- und Orientierungsparameter berechnet werden, die die geometrische Beziehung zwischen den beiden Bildern wiedergeben, indem iterativ mindestens quadratische Gleichungen auf die Abweichungen der fotogrammetrischen Koplanaritätsbedingungen für die zehn oder mehr Bild­ elemente angewendet werden.

15. Verfahren nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, daß in Schritt C) min­ destens fünf zueinander beabstandete Felder des zweiten Bildes ausgewählt werden, und daß die Orte der ausgewähl­ ten Felder in dem ersten Bild bestimmt werden.

16. Verfahren nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, daß das erste und das zweite Bild aufeinander ausgerichtet werden.

17. Verfahren nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, daß auf den zweiten Daten­ satz eine geometrische Versetzung angewendet wird.