DE69310695T2

DE69310695T2 - Verfahren zur Steuerungshilfe eines tieffliegenden Flugkörpers

Info

Publication number: DE69310695T2
Application number: DE69310695T
Authority: DE
Inventors: Daniel Duclos; Roger Samy
Original assignee: Societe Anonyme de Telecommunications SAT
Current assignee: Societe Anonyme de Telecommunications SAT
Priority date: 1992-12-22
Filing date: 1993-11-30
Publication date: 1998-01-08
Anticipated expiration: 2013-12-01
Also published as: FR2699667A1; FR2699667B1; EP0604252B1; DE69310695D1; EP0604252A1

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Führen eines in niedriger Höhe fliegenden Luftfahrzeugs zum Ausweichen vor Gegenständen einer festliegenden, von einer Kamera an Bord des Luftfahrzeugs beobachteten Szene, die im wesentlichen längs der Bahn des Luftfahrzeugs orientiert ist, wobei für jedes von der Kamera empfangene aktuelle Bild:
- Positionen von charakteristischen Punkten der Gegenstände im aktuellen Bild bestimmt und gespeichert werden;
- die Positionen mit den entsprechenden Positionen der charakteristischen Punkte im vorhergehenden Bild verglichen werden;
- im aktuellen Bild für jeden charakteristischen Punkt der Betrag und die Orientierung eines Geschwindigkeitsvektors bestimmt werden, die der Positionsabweichung des charakteristischen Punkts zwischen dem aktuellen Bild und dem vorhergehenden Bild entsprechen;
- ein Punkt in dem aktuellen Bild bestimmt wird, in dem die Gesamtheit der Geschwindigkeitsvektoren zusammenlaufen.
Das Problem, das der vorliegenden Erfindung zugrundeliegt, aber deswegen dennoch nicht ihren Umfang begrenzt, besteht darin, an Bord eines Hubschraubers, der bei Nacht in Bodennähe fliegt, die Hindernisse nahe seiner Bahn, die von einer Infrarotkamera beobachtet werden, zu visualisieren und bezüglich entfernter Hindernisse hervorzuheben.
Eine Vorrichtung zur Durchführung des oben erwähnten Verfahrens ist aus der FR-A-2 642 529 bekannt. Sie liefert die Verschiebungsrichtung des Luftfahrzeugs und ermöglicht es in Verbindung mit einem Geschwindigkeitsmeßsystem, die Position des Luftfahrzeugs bezüglich des überflogenen Geländes zu bestimmen und dank einer Karte des Reliefs dem Gelände zu folgen.
Für den Fall des obengenannten Problems ist eine Karte völlig nutzlos, denn dies betrifft Hindernisse mit niedriger Höhe wie Bäume, und da ein Hubschrauber diese Hindernisse streifen kann, muß die Bahn sehr rasch korrigiert werden.
Die Infrarotkamera liefert das Bild der Landschaft um die Bahn herum, und der Pilot des Hubschraubers muß die Entfernung der Hindernisse nach ihrer Winkelgröße bestimmen, worin hohe Fehlerrisiken liegen, da ihre Größe nicht gut bekannt ist, wodurch eine ständige Aufmerksamkeit erforderlich ist.
Die vorliegende Erfindung zielt darauf ab, diesen Nachteil zu vermeiden und jedes Risiko eines Unfalls zu beseitigen.
Zu diesem Zweck betrifft sie ein Verfahren des oben erwähnten Typs, das dadurch gekennzeichnet ist, daß die Entfernung zwischen der Kamera und den Gegenständen bestimmt wird, indem jedem charakteristischen Punkt ein Entfernungswert relativ zur Kamera zugewiesen wird, der um so kleiner ist, je größer der zugeordnete Betrag des Geschwindigkeitsvektors ist und je geringer die Entfernung zwischen dem entsprechenden charakteristischen Punkt und dem Punkt des Zusammenlaufens ist, und daß der relative Entfernungswert zum Liefern einer Nähenangabe verwendet wird.
Damit verfügt man über eine Karte mit der relativen Tiefe der verschiedenen charakteristischen Punkte, d.h. der Punkte oder kleinen Flecken, die leicht zu identifizieren sind und z.B. über ihre Form oder ihre Helligkeit von einem Bild zum anderen verfolgt werden können.
Dann können sie leicht in Gruppen von benachbarten Punkten mit dem gleichen Geschwindigkeitsvektor einem Gegenstand zugeordnet werden, dessen Bild damit durch die Größe des Geschwindigkeitsvektors zugeordnet oder "markiert" ist, wobei die Größe von Rechenmitteln verwertet werden kann, die das Bild verarbeiten und eine entsprechende Information an den Piloten oder ein Steuerungssystem liefern.
Mit den charakteristischen Punkten werden vorteilhafterweise Linien oder Oberflächenabschnitte gebildet, und es wird eine mittlere Relativentfernung der Linien oder Oberflächenabschnitte zu der Kamera wird bestimmt, indem ein weiterer Geschwindigkeitsvektor verwendet wird, der ein gewichtetes Mittel der Geschwindigkeitsvektoren der charakteristischen Punkte der Linien oder der Oberflächenabschnitte ist. Auf diese Weise können die charakteristischen Umrisse, Linien oder Oberflächen eines Gegenstandes räumlich kontinuierlich "markiert" werden, wodurch der Gegenstand besser definiert ist.
Vorteilhafterweise wird nur ein Teil der charakteristischen Punkte verwendet, wobei von diesen ausgehend, die Linien oder Oberflächenabschnitte gebildet werden, die zu ein und demselben Bild eines Gegenstandes gehören. Hierdurch wird die bestimmte mittlere Relativentfernung ausgehend von diesen Linien oder Oberflächenabschnitten korrigiert und umgekehrt.
Auf diese Weise können die Ergebnisse noch verbessert werden.
Das oben angesprochene Verfahren betrifft isoliert betrachtete charakteristische Punkte, wobei bei der Bestimmung ihrer Relativentfernung für bestimmte Punkte ein grober Fehler auftreten kann, da eine der Positionen dieser charakteristischen Punkte beispielsweise durch die Kamera unkorrekt wiedergegeben und schlecht lokalisiert wird.
Hinsichtlich der Lösung auf der Grundlage der Gesamtheiten, der Linien oder der Oberflächen von charakteristischen Punkte kann die Entfernungsbestimmung durch Verformungen, Verschiebungen von Reflexionspunkten oder Drehungen von Linien oder Oberflächen verfälscht werden.
Da man den Linien oder Oberflächen des Bildes eines Gegenstandes häufig mehrere charakteristische Punkte zuordnen kann, die ihnen benachbart oder überlagert sind die zu diesem Bild gehören und einzeln eine Relativentfernung nach der Durchführung des oben angesprochenen Verfahrens liefern, kann ein grober Fehler dann erfaßt werden, wenn einem dieser charakte ristischen Punkte eine Relativentfernung zugeteilt ist, die sich stark von derjenigen der zugeordneten Linie oder Oberfläche unterscheidet, die den gleichen Gegenstand betrifft.
Es kann dann versucht werden, den Fehler zu korrigieren oder einfach die fehlerhafte Relativentfernung nicht zu berücksichtigen. Wird dann über korrekte Relativentfernungen verfügt, die charakteristischen Punkten von wohldefinierten Positionen zugeordnet sind, dann können die relativen Geschwindigkeiten der zugeordneten Linien oder Oberflächen korrigiert werden. Umgekehrt können durch die verbesserte Bestimmungsgenauigkeit der Relativentfernungen der Linien oder Oberflächen über die Relativentfernung der individuell betrachteten charakteristischen Punkte erneut weniger große Fehler erfaßt werden, was zu einer iterativen schrittweisen Verbesserung der Genauigkeit der Bestimmung der Entfernungen der Gegenstände führt.
Die ausgehend von den Linien oder Oberflächenabschnitten bestimmte mittlere Relativentfernung wird vorteilhafterweise durch charakteristische Punkte korrigiert, die an der Bildung der Linien oder Oberflächenabschnitte nicht beteiligt sind.
Um ferner vorteilhaft bestmöglich Entfernungsfehler zu vermeiden, wird ein aktueller charakteristischer Punkt durch Vergleich seiner Position mit vorhergesagten Positionen von vergangenen charakteristischen Punkten identifiziert.
Um absolute und nicht mehr nur relative Entfernungen zu bestimmen, wird, bei Kenntnis der Entfernung eines der Gegenstände, das Produkt aus der Entfernung eines Gegenstands zur Kamera und seinem relativen Geschwindigkeitsvektor im Verhältnis seines Geschwindigkeitsvektors zu seiner Entfernung vom Punkt des Zusammentreffens als konstant angesehen, um diese Entfernung zu bestimmen.
Weiterhin wird die Nähenangabe eines Punktes vorteilhafterweise auf einem Sichtgerät der von der Kamera aufgenommenen Ansichten angezeigt.
Die Erfindung wird mit Hilfe der folgenden Beschreibung der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens unter Bezug auf die beigefügten Zeichnungen besser verstanden, darin zeigen:
- Fig. 1 eine Hubschrauberkamera, die eine Szene beobachtet;
- Fig. 2 das Bild der Szene;
- Fig. 3 Teilbilder von Gegenständen aus Fig. 2 sowie das entsprechende folgende Teilbild, und
- Fig. 4 ein Diagramm zur Veranschaulichung der Verarbeitungsschritte der Bilder zum Bestimmen der gesuchten Relativentfernung:
Eine an Bord eines Hubschraubers 2 angebrachte Kamera 1, deren Visierachse 3 (Fig. 1) nach dessen Bahn orientiert ist, liefert ein Bildsignal, das für eine Folge von Bildern 4 einer beobachteten Szene steht, von denen eine in Fig. 2 dargestellt ist.
Die Szene umfaßt festliegende Gegenstände, hier zwei Bäume 5 und 6 in unterschiedlichen Entfernungen von der Kamera 1. Die Bilder 4 werden in einem ausreichenden Rhythmus aufgenommen, damit das Bild der Gegenstände leicht verfolgt werden kann und sich nicht von einem Bild zum anderen wesentlich verformt. Bei diesem Beispiel besitzt der weiter entfernte Baum 6 eine größere Winkelhöhe als der Baum 5.
Das Bild 7, 8 jedes Baums 5, 6 ist durch eine Folge von krummlinigen Segmenten 9 definiert, die den Umriß des Baumes bilden, sowie durch andere krummlinige Segmente 10, die relativ zu Einzelheiten im Inneren der Bilder 7, 8 liegen.
Die Punkte, die die Segmente 9, 10 bilden, sind in der Praxis mehrere benachbarte Reihen von Elementarpunkten und heißen charakteristische Punkte. Die charakteristischen Punkte sind also tatsächlich kleine, in diesem Fall nebeneinanderliegende Flecken, die einen hohen Intensitätsgradienten oder gegebenenfalls einen Farbgradienten in Richtung senkrecht zu dem Segment aufweisen, wodurch dieser Letztere leicht ausfindig gemacht werden kann.
Die charakteristischen Punkte (oder Flecken), deren obengenannter Gradient in zwei Richtungen erhöht ist, z.B. an der Winkelverbindung von zwei Segmenten 9, heißen spezifische charakteristische Punkte, denn ihre Position, die bezüglich zweier Richtungen definiert ist, kann mit Präzision bestimmt werden.
Dagegen weisen die zu einem Segment 9 gehörenden charakteristischen Punkte allgemein keinen Intensitätsgradienten in zu dem Segment 9 paralleler Richtung auf, so daß ihre individuelle Position nur nach der Länge oder der Form des Segments 9 geschätzt werden kann.
Fig. 3 stellt drei spezifische charakteristische Punkte 11, 13 und 15 des Bildes 7 sowie drei weitere 17, 19 und 21 des Bildes 8 dar.
Ebenso sind die Positionen der obengenannten spezifischen charakteristischen Punkte dargestellt, die dem folgenden Bild entsprechen, also 12 bzw. 14 und 16 sowie 18, 20 und 22.
Verfolgt man die sechs Geraden, die die beiden spezifischen, homologen charakteristischen Punkte der beiden Bilder verbinden, dann bestimmt man einen gemeinsamen Punkt des Zusammenlaufens oder einen Expansionspunkt 23. Die Visierlinie 3 verläuft durch den Expansionspunkt 23, und alle Punkte des Bildes 4 entfernen sich radial von einem Bild 4 zum folgenden von dem Expansionspunkt 23 in dem Falle, in dem sich die Kamera 1, wie hier der beobachteten Szene nähert.
Dann wird mit Hilfe eines Rechenblocks 1A, der von der Kamera 1 das Signal empfängt, das für die Folge von Bildern 4 repräsen - tativ ist, und für jeden spezifischen charakteristischen Punkt, wie beispielsweise 11, ein Geschwindigkeitsvektor bestimmt, der von der Ausgangsposition 11 ausgeht und an der Endposition 12 endet. Die spezifischen charakteristischen Punkte, wie beispielsweise 11, wurden vorher von dem Rechenblock 1A identifiziert, wobei eine Software eines bekannten Typs zur Formerkennung verwendet wird.
Die Länge eines Vektors , der von dem Expansionspunkt 23 zu dem spezifischen charakteristischen Punkt, wie beispielsweise 11, verläuft, wird ebenfalls von dem Rechenblock 1A berechnet, der dann die Länge des Vektors durch diejenige des Vektors dividiert, um einen relativen Geschwindigkeitsvektor zu erhalten, der dem Geschwindigkeitsvektor ähnlich ist, aber eine durch das obengenannte Verhältnis definierte Länge aufweist. Es ist zu bemerken, daß relative Geschwindigkeitsvektoren auch erhalten werden könnten, indem die Länge des Geschwindigkeitsvektors durch diejenige des Vektors dividiert wird, der den Expansionspunkt 23 mit der Endposition 12 des spezifischen charakteristischen Punktes und nicht mit der Ausgangsposition 11 verbindet.
In Fig. 3 ist gezeigt, daß die spezifischen charakteristischen Punkte 11, 13 und 15 des Bildes 7 des Baumes 5 eine höhere Geschwindigkeit als diejenige der charakteristischen Punkte 17, 19 und 21 bezüglich des Baums 6 aufweisen, während die Vektoren im wesentlichen gleich groß sind. Die relativen Geschwindigkeitsvektoren des Bildes des der Kamera 1 am nächsten liegenden Baums 5 sind demnach größer als diejenigen bezüglich des Baums 6. Daraus wird abgeleitet, daß der Baum 5, der scheinbar weiter entfernt ist, da das Bild 7 kleiner ist, derjenige ist, der der Kamera 1 näher ist.
Bei diesem Beispiel ist keine Informatikauswertung der bestimmten Relativentfernung vorgesehen, um die Bahn zu korrigieren, so daß eine nicht dargestellte Einrichtung zur Wiedergabe des Bildes 4 eine relative Nähenangabe liefert, hier, indem der Baum 5 in dem Bild 4 rot erscheint.
Darüber hinaus liefert das Verhältnis zwischen den Beträgen der relativen Geschwindigkeitsvektoren der spezifischen charakteristischen Punkte eines der Bäume 5, 6 (im wesentlichen gleich für denselben Baum) und derjenigen des anderen Baums den Anteil zwischen den jeweiligen Entfernungen, die jeden Baum 5, 6 von der Kamera 1 trennen. Das wiedergegebene Bild des Baums 6 erscheint in mehr oder weniger blaßem Rosa, je nachdem, ob der obengenannte Anteil der Entfernungen von dem Einheitsverhältnis entfernt ist oder nicht.
Das gleiche Verfahren kann verwendet werden, indem eine größere Anzahl charakteristischer Punkte, dann (jedoch) nichtspezifischer Punkte, wie z.B. Segmente 9 und 10 und sogar Oberflächenabschnitte verarbeitet werden, die durch charakteristische Punkte gebildet oder begrenzt sind, wie hier beispielsweise, eine Oberfläche, die durch Segmente 10 begrenzt ist und die eine starke Leuchtkraft oder eine Farbe aufweist, die sich von derjenigen ihrer Nachbarschaft lokal unterscheidet.
Der Algorithmus von Canny-Deriche ermöglicht die Extraktion oder Ortung der Umrisse, während der Algorithmus von Giraudon die Verkettung der Umrisse ermöglicht, um ein Segment zu erhalten.
Die bekannte Software zur Formerkennung führt dann eine zeitliche Fortschreibung des Bildes der Segmente und der Oberflächen 9, 10 durch und definiert über die fiktive Verschiebung der Segmente und Oberflächen 9, 10 aus ihrer Position in die folgende eine punktweise Entsprechung, woraus wie oben erwähnt die relativen Geschwindigkeitsvektoren jedes der charakteristischen Punkte berechnet werden, die die Segmente und die Oberflächen 9, 10 bilden.
Dann wird ein Mittelwert für die relativen Geschwindigkeitsvektoren ein und desselben Segments oder der Oberfläche 9, 10 berechnet, und es wird eine Relativentfernung definiert, die jedem Segment oder jeder Oberfäche 9, 10 eigen ist.
Der oben erwähnte Mittelwert der relativen Geschwindigkeitsvektoren kann durch eine gleichmäßige Gewichtung durch jeden relativen Geschwindigkeitsvektor erhalten werden, der ihn erzeugt, er kann aber auch erhalten werden, indem die relativen Geschwindigkeitsvektoren stärker gewichtet werden, bei denen die Position des zugehörigen charakteristischen Punktes mit Präzision bestimmt wurde, z.B. wenn es sich um einen spezifischen charakteristischen Punkt handelt, der von nichtspezifischen Punkten umgeben ist.
Die Segmente oder Oberflächen 9, 10, die zu dem Bild 7, 8 eines gleichen Baums 5, 6 gehören, sind aufgrund ihrer Zugehörigkeit zu der Bildoberfläche, die durch den Umriß des Baums 5, 6 begrenzt ist, im wesentlichen gleichen Werten für die Relativentfernung zugeordnet, so daß der gesamte Umriß jedes Baums 5, 6 und die Oberflächen 10 seines Bildes 7, 8 mit der gleichen roten Farbe oder in rosa erscheinen und bequem die Erkennung der Form des Baums ermöglichen.
Das Verfahren wird vorteilhafterweise auf spezifische, also identifizierte charakteristische Punkte sowie auf Segmente oder Oberflächen 9, 10 angewandt, für die die charakteristischen Punkte im allgemeinen nicht identifiziert sind, und ihre Verschiebung von einem Bild zum anderen wird durch die Korrelation der Formen der Segmente oder Oberflächen 9, 10, also mit einer oder zwei Dimensionen durchgeführt, die den Nachteil aufweisen, daß sie sich verformen und damit teilweise den geschätzten Geschwindigkeitsvektor verfälschen können.
Fig. 4 ist ein Flußdiagramm der Schritte des obengenannten Verfahrens. Dort sind fünf Schrittphasen (30, 40, 50, 60 und 70) definiert, nämlich:
- eine Extraktion von spezifischen charakteristischen Punkten und "charakteristischen" Segmenten 9,
- eine Zuordnung oder Identifizierung der spezifischen charakteristischen Punkte oder der zuletzt beobachteten charaktenstischen Segmente an vorgesehenen Positionen, die aus den vorher identifizierten, spezifischen, charakteristischen Punkten oder charakteristischen Segmenten extrapoliert sind,
- eine Validierung der Zuordnungen,
- eine Zeitfilterung der vorgesehenen Positionen, deren Ergebnis in einer Schleife zur Zuordnungsphase übertragen wird, und
- eine Berechnung der Relativentfernung.
In der ersten Phase 30 zur Extraktion werden die spezifischen charakteristischen Punkte bei 31 geortet, und ihre gemessenen Positionen werden bei 33 gespeichert; ebenso werden die aus charakteristischen Punkten gebildeten Segmente 9, 10 bei 32 geortet, und ihre gemessenen Positionen werden bei 34 gespeichert.
In der Zuordnungsphase 40 wird darauf abgezielt, eine Zeitverfolgung der verschiedenen spezifischen Punkte und charakteristischen Segmente durchzuführen, um Fehler aufgrund dessen zu vermeiden, daß ein spezifischer charakteristischer Punkt oder ein charakteristisches Segment mit einem anderen verwechselt wird, wodurch die Bestimmung seiner Geschwindigkeit verfälscht würde. Zu diesem Zweck werden zwei Korrelationen verwendet.
Die erste Korrelierung ist zeitlich und besteht darin, durch Extrapolation nach seinen letzten Positionen die wahrscheinlichste Position der Spur jedes spezifischen charakteristischen Punkts und der Segmente oder Oberflächen 9, 10 vorherzusagen. Die zweite Korrelation ist räumlich und besteht darin, spezifische charakteristische Punkte benachbarten Segmenten oder Oberflächen 9, 10 zuzuordnen, die zum Bild 7, 8 des gleichen beobachteten Gegenstands 5, 6 gehören, um die Abweichungen der Geschwindigkeitsvektoren zu erfassen, die sich bezüglich eines gleichen Gegenstands nicht stark voneinander unterscheiden können.
Schließlich empfängt man bei 41, ausgehend von einem Ausgang der Filterphase 60, eine neue Vorhersage der extrapolierten Positionen der spezifischen charakteristischen Punkte, während die entsprechenden gemessenen Positionen, die bei 33 gespeichert werden, ebenfalls geliefert werden.
Durch den Vergleich der Entfernungen zwischen jeder vorhergesehenen Position und der nächsten gemessenen Position wird jeder spezifische charakteristische Punkt identifiziert, der bei 33 wie der bereits identifizierte behandelt wird, dessen vorhergesehene Position in der Nähe derjenigen liegt, die gerade beobachtet werden (33).
Ebenso wird bei den Segmenten und Oberflächen 9, 10 in einem Schritt 42 verfahren, wo man aus einem Ausgang der Filterphase 60 eine neue Vorhersage der Positionen empfängt, die ausgehend von weiter unten definierten Zeitspuren der Segmente und Oberflächen extrapoliert sind. Diese Vorhersage wird mit den gemessenen Positionen verglichen (34), um die vorgesehene Position eines Segments oder einer Oberfläche 9, 10 zu behalten, bei denen die Positionen der charakteristischen Punkte global die beste Korrelation mit denjenigen für das Segment oder für die Oberfläche 9, 10 aufweisen, wodurch dieses Letztere identifiziert werden kann.
Außerdem wird das Ergebnis des Schritts 41 zur Fortschreibung der spezifischen charakteristischen Punkte geliefert, um den Schritt 42 durchzuführen.
Damit kann beispielsweise eine zu große Ungleichheit zwischen den Geschwindigkeiten von zugehörigen spezifischen charakteristischen Punkten erfaßt werden, die zu ein und demselben Segment 9 gehören würden, oder die dem Segment 9 nicht zugehören, aber zu dem gleichen Bild eines Gegenstandes 7, 8 gehören, oder es kann eine Ungleichheit von spezifischen charakteristischen Punkten bezüglich des zugehörigen Segments 9 erfaßt werden.
Durch diese Zuordnung kann also erfaßt werden, daß ein spezifischer charakteristischer Punkte bezüglich der anderen, zugehörigen spezifischen charakteristischen Punkte eine anormale Geschwindigkeit besitzt. Falls das Segment oder die Oberfläche 9, 10 eine anormale mittlere Geschwindigkeit besitzt, kann es auch sein, daß das Segment oder die Oberfläche 9, 10 ein Reflex ist, der sich sehr rasch auf einer sich drehenden Oberfläche verschiebt, oder umgekehrt ein Reflex, der auf einer sich drehenden Kugelfläche unbeweglich bleibt. Dagegen besitzen die spezifischen charakteristischen Punkte, die allgemein dem Bild von Anschlußpunkten von materiellen Linien (9) entsprechen, die Geschwindigkeit der materiellen Punkte, die sie darstellen.
Damit kann ein Fehler erfaßt werden, der eine ganze Oberfläche betreffen kann, und zwar aufgrund der Geschwindigkeitserfassung eines Reflexes, der sich mit einer Phasengeschwindigkeit verschiebt, d.h. unabhängig von den Gesetzen der Mechanik jeden Wert annehmen kann, der keinerlei Bezug zur wirklichen Geschwindigkeit der reflektierenden Oberfläche aufweist.
In der Validierungsphase 50 werden bei 51 die aufgenommenen Geschwindigkeitsungleichheiten ausgewertet, wobei im Falle einer deutlichen Ungleichheit der obengenannten Geschwindigkeiten eine andere Zuordnung des schlecht identifizierten Segments oder der Oberfläche 9, 10 gesucht wird.
Diese Suche wird unter den Punkten eines Bildfensters mit begrenzter Größe durchgeführt, das in seinem Zentrum den charakteristischen Punkt, der einer Spur zuzuordnen ist, sowie die benachbarten Spuren aufweist, die Kandidaten sind, um zu erkennen, daß dieser charakteristische Punkt sie betrifft. Kann keine bessere Zuordnung gefunden werden, dann werden die entsprechenden Daten für die folgenden Schritte maskiert.
Es ist zu bemerken, daß es praktisch von Vorteil ist, eine Zuordnung der Segmente und Oberflächen 9, 10 durchzuführen, indem zunächst die Zuordnungsergebnisse der zugehörigen spezifischen charakteristischen Punkte verwendet werden, wodurch eine Vorzuordnung der Segmente oder Oberflächen 9, 10 realisiert wird, auf die dann die normale Zuordnung erfolgt, deren Suchfeld damit begrenzt wird.
Die validierten Zuordnungen der Segmente und Oberflächen 9, 10 dienen hier umgekehrt bei 52 zur Validierung der bei 41 bestimmten spezifischen charakteristischen Punkte nach dem bei 51 dargelegten Prinzip, sowie zum Verfeinern der gemessenen Positionen.
Die Ergebnisse der Schritte 51 und 52 werden dann bei 61 bzw. 62 jeweils einer Zeitfilterung unterzogen, um die Spur zu definieren, der die charakteristischen Punkte von einem Punkt zum anderen folgen und um durch Extrapolation die zukünftigen Positionen der spezifischen charakteristischen Punkte sowie der Segmente und Oberflächen 9, 10 vorherzusagen, wobei diese Ergebnisse wie angegeben in den Schritten 42 und 41 von Nutzen sind.
Bei diesem Beispiel werden mehr als zwei frühere Bilder zur Vorhersage der zukünftigen Positionen verwendet, und die Spuren werden ausgehend von Zustandsvariablen modeilhaft dargestellt, die die entsprechenden beobachteten, aufeinanderfolgenden Positionen und ihre Zeitableitungen sind. Die obengenannten Variablen werden einer Kalman-Filterung unterzogen, wodurch die neuen Werte der Variablen berücksichtigt und der Einfluß der alten Werte schrittweise aufgehoben werden kann, und wodurch vor allem Vorhersagen zu den Positionen der Segmente getroffen werden können, die für die Zuordnung der Spuren erforderlich sind.
Der Schritt 70 entspricht der oben dargelegten Berechnung der Relativentfernung und kann ausgehend von den bei 60 vorgesehenen Positionen durchgeführt werden, wodurch aus der entsprechenden Filterung profitiert werden kann, oder es kann ausgehend von den bei 50 ausgegebenen letzten Positionen durchgeführt werden.
Es ist zu bemerken, daß dann, wenn durch jedes bekannte Mittel die absolute Entfernung der Kamera 1 von einem der Bäume 5, 6 an einem a priori beliebig gegebenen Punkt bestimmt wurde, das Bild des gegebenen Punktes einem spezifischen charakteristischen Punkt des entsprechenden Bildes 7, 8 zugeordnet werden kann. Diese Zuordnung kann von der Formerkennungssoftware durchgeführt werden, wenn sie feststellt, daß das Bild des gegebenen Punktes im Inneren des Umrisses des Bildes 7, 8 des Baums 5, 6 liegt. Dann wird jedem anderen charakteristischen Punkt des Bildes 4 eine absolute Entfernung bezüglich der Kamera 1 zugeschrieben, die umgekehrt proportional zu der Relativgeschwindigkeit dieses anderen charakteristischen Punktes ist, d.h. eine absolute Entfernung, die gleich der absoluten Entfernung des oben gegebenen Punktes zu der Kamera 1 ist, multipliziert mit dem Betrag des relativen Geschwindigkeitsvektors bezüglich des gegebenen Punktes (oder des zugehörigen charakteristischen Punktes) und dividiert ducrh den Betrag des homologen relativen Geschwindigkeitsvektors , der dem anderen betroffenen charakteristischen Punkt entspricht.
Bei diesem Beispiel ist vorgesehen, daß die charakteristischen Punkte blinken, die einer absoluten Entfernung unter einem bestimmten Schwellenwert entsprechen.

Claims

1. Verfahren zum Führen eines in niedriger Höhe fliegenden Luftfahrzeugs zum Ausweichen vor Gegenständen (5) einer festliegenden, von einer Kamera (1) an Bord des Luftfahrzeugs beobachteten Szene, die im wesentlichen längs der Bahn des Luftfahrzeugs orientiert ist, wobei für jedes von der Kamera (1) empfangene aktuelle Bild:

- Positionen (12) von charakteristischen Punkten der Gegenstände (5) im aktuellen Bild bestimmt und gespeichert werden;

- die Positionen (12) mit den entsprechenden Positionen der charakteristischen Punkte im vorhergehenden Bild (11) verglichen werden;

- im aktuellen Bild für jeden charakteristischen Punkt der Betrag und die Orientierung eines Geschwindigkeitsvektors ( ) bestimmt werden, die der Positionsabweichung des charakteristischen Punkts zwischen dem aktuellen Bild (12) und dem vorhergehenden Bild (11) entsprechen;

- ein Punkt (23) in dem aktuellen Bild bestimmt wird, in dem die Gesamtheit der Geschwindigkeitsvektoren ( ) zusammenlaufen,

dadurch gekennzeichnet, daß die Entfernung zwischen der Kamera (1) und den Gegenständen bestimmt wird, indem jedem charakteristischen Punkt ein Entfernungswert relativ zur Kamera (1) zugewiesen wird, der um so kleiner ist, je größer der zugeordnete Betrag des Geschwindigkeitsvektors ( ) ist und je geringer die Entfernung zwischen dem entsprechenden charakteristischen Punkt (11, 12) und dem Punkt (23) des Zusammenlaufens ist, und daß der relative Entfernungswert zum Liefern einer Nähenangabe verwendet wird.

2. Verfahren nach Anspruch 1, bei dem mit den charakteristischen Punkten Linien (9) oder Oberflächenabschnitte gebildet werden und eine mittlere Relativentfernung der Linien (9) oder Oberflächenabschnitte zu der Kamera (1) verwendet wird, indem ein weiterer Geschwindigkeitsvektor bestimmt wird, der ein gewichtetes Mittel der Geschwindigkeitsvektoren ( ) der charakteristischen Punke (11) der Linien (9) oder Oberflächenabschnitte ist

3. Verfahren nach Anspruch 2, bei dem nur ein Teil der charakteristischen Punkte (11) verwendet wird, von denen ausgehend die Linien (9) oder Oberflächenabschnitte gebildet werden und die zu ein und demselben Gegenstandsbild gehören, um die mittlere Relativentfernung zu korrigieren, die ausgehend von diesen Linien (9) oder Oberflächenabschnitten gebildet sind, und umgekehrt.

4. Verfahren nach einem der Ansprüche 2 und 3, bei dem die ausgehend von den Linien (9) oder Oberflächenabschnitten bestimmte mittlere Relativentfernung durch charakteristische Punkte korrigiert wird, die der Bildung der Linien (9) oder Oberflächenabschnitte nicht zugehörig sind.

5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem ein aktueller charakteristischer Punkt (12) durch Vergleich seiner Position mit vorhergesagten Positionen von vergangenen charakteristischen Punkten (11) identifiziert wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem das Produkt aus der Entfernung (5) eines Gegenstands (5) zur Kamera (1) und seinem relativen Geschwindigkeitsvektors ( ) als konstant angesehen wird, um diese Entfernung zu bestimmen

7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem die Nähenangabe eines Punktes auf einem Bildschirm zur Visualisierung der von der Kamera geschossenen Aufnahmen angezeigt wird.

8. Verfahren nach Anspruch 7, bei dem die Nähenangabe farbig angezeigt wird.

9. Verfahren nach Anspruch 7, bei dem die Nähenangabe die Leuchtstärke des visualisierten Punktes ist.