DE4413633A1

DE4413633A1 - Verfolgungsgerät

Info

Publication number: DE4413633A1
Application number: DE4413633A
Authority: DE
Inventors: Timothy John Parsons
Original assignee: British Aerospace PLC
Current assignee: MBDA UK Ltd
Priority date: 1993-04-29
Filing date: 1994-04-19
Publication date: 1994-11-03
Also published as: NO941475L; GB2278513B; GB2278513A; US5557543A; FR2704668A1; FR2704668B1; JP3337315B2; GB9308927D0; NO312795B1; NO941475D0; JPH0749942A

Description

Die Erfindung bezieht sich auf ein Gerät zur Verfolgung von Objekten, und sie ist insbesondere anwendbar zur Verfolgung von Straßenfahrzeugen in einem Stadtgebiet von einer Aero plattform aus.

Die Erfindung soll in Verbindung mit einer Abbildungsvorrich tung benutzt werden, die eine Folge von Bildern einer Szene erzeugt, die ein Objekt enthält, beispielsweise ein inter essierendes Fahrzeug. Die Erfindung ist so ausgebildet, daß die Bilddaten, die durch die Abbildungsvorrichtung erzeugt werden, verarbeitet werden, um einen Fixpunkt innerhalb eines jeden aufeinanderfolgenden Bildes zu erzeugen, der die Lage des interessierenden Objekts identifiziert.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfolgungs gerät zu schaffen, welches hinsichtlich einer Fehlverfolgung und hinsichtlich der Abweichung weniger empfindlich ist als bekannte Systeme, die herkömmliche multiplikative Korrelations prozesse benutzen. Wenn insbesondere die Verkehrsdichte hoch ist, tendieren herkömmliche Verfolgungs- und Nachführungsge räte dazu, die Objekte zu verwechseln. Außerdem driftet bei Gegenständen mit geringem Kontrast der Festpunkt, der durch konventionelle Nachführgeräte erzeugt wird, nach einem erkenn baren Randaufbau ab, der diesem Gegenstand zugeordnet ist.

Die Erfindung zeigt eine beträchtliche Verminderung sowohl Das eine Fehlverfolgung und Abdrift anbelangt, und zwar im Vergleich herkömmlichen Verfolgungsgeräten, und die Erfindung ist insbesondere zweckmäßig unter den folgenden Bedingungen:

i) wenn die Bilder eine hohe Dichte von Merkmalen enthalten, die eine gleiche oder ähnliche Raumfrequenz be sitzen wie das interessierende Merkmal;
ii) wenn die Merkmale vorherrschend einen geringen Kontrast gegen das örtliche Hintergrundbild aufweisen;
iii) wenn keine vorhandenen Annahmen über die Natur des zu verfolgenden Merkmals gemacht werden können.

Die Erfindung betrifft ein Verfolgungsgerät, welches folgende Merkmale aufweist:
einen Eingang, um eine Folge von Bildern zu empfangen, die den Gegenstand enthalten, der innerhalb eines Bezugsgegen standes innerhalb einer Hintergrundszene liegt;
erste Verarbeitungsmittel, um eine erste Gruppe von Daten zu erzeugen, die sich auf Bereiche von ausgeprägten Krümmungen innerhalb des Bezugsgegenstandes beziehen;
eine zweite Verarbeitungsvorrichtung, um eine Binär schablone von der ersten Gruppe von Daten zu erzeugen;
und eine dritte Verarbeitungsvorrichtung, um die Binärschablone mit Szenenbildern zu korrelationieren und um einen Fixpunkt zu erzeugen, der die Lage des Gegenstandes innerhalb der Hintergrundszene repräsentiert.

So werden die Punkte hoher Krümmung von einem Graukeilbild gewählt und dann werden Schwellwerte gebildet, um ein Binär bild zu erzeugen. Die Binärpunkte erzeugen Keime, um die herum eine morphologische Dehnung bewirkt werden kann.

Gemäß einem Ausführungsbeispiel wird eine multiplikative Korrelation zwischen dem Bezugsmuster und dem Nachfolgebild berechnet, aber nur an jenen Punkten, die als von Null ab weichend innerhalb des Binärbildes von den Punkten hoher Krümmung innerhalb des Bezugsgegenstandes abgeleitet werden. Die Lage der maximalen Korrelationssumme zwischen dem Bezugs muster und dem Nachfolgebild sind gleich dem Fixpunkt.

Gemäß einem zweiten Ausführungsbeispiel wird eine Merkmals- Punktanpaßtechnik zwischen diskreten Flächen der Binärschablone und entsprechenden Bereichen des nachfolgenden Bildes benutzt.

Im Unterschied zu bekannten Verfolgungsgeräten, beispielsweise jenen, die auf der Hough-Transformation beruhen, benutzt die Erfindung keine Annahme über den darunterliegenden Bildgehalt. Dadurch, daß eine Erkennungsbinärschablone automatisch von einem Bezugsbild abgeleitet wird (eine datengetriebene Technik), ist das Ansprechen des Anpaßprozesses nahezu optimal unter der Annahme, daß die Form des Gegenstandes sich nicht wesent lich zwischen den Bildern ändert. Die Schablone, die von den Punkten hoher Krümmung abgeleitet wird, gewährleistet, daß die Korrelation nur an der jeweiligen Stelle der ausgeprägten physikalischen Struktur auftritt. Außerdem hält die Schablone Relationsinformationen, d. h., Aufzeichnungen der relativen, räumlichen Auslegung dieser Struktur, und es wird die Korrela tion auf Abschnitte des Bildes gerichtet, die die gleiche räumliche Verteilung der ausgeprägten Merkmale enthalten.

Es hat sich gezeigt, daß die Erfindung robust bei einer Folge von thermischen Bildern im 3-5 Mikron-Band und im 8-12 Mikron- Band arbeitet.

Nachstehend werden einige Ausführungsbeispiele der Erfindung unter Bezugnahme auf die Zeichnung beschrieben. In der Zeich nung zeigen:

Die Fig. 1 und 2 zeigen schematische Diagramme von alternativen Ausführungsbeispielen eines erfindungsgemäßen Verfolgungsgerätes.

Fig. 3A, 3B und 3C veranschaulichen Bilder eines verfolgten Fahrzeuges in drei unterschiedlichen Stufen der Datenverarbeitung.

Fig. 1 zeigt in Blockschaltform eine thermische Bilderzeugungs einrichtung 1, die eine Szene eines Stadtgebietes von einer Aeroplattform, beispielsweise von einem Hubschrauber aus, be trachtet. Die Szene kann jeweils ein Straßenfahrzeug enthal ten, dessen Position verfolgt werden soll. Ein Szenenbild wird einem Rahmengenerator 2 zugeführt, der an den Ausgang der Bild erzeugungseinrichtung 1 angeschlossen ist. Der Rahmengenera tor 2 empfängt außerdem Eingangssignale X_o, Y_o von einem Erfassungsmodul 3 und eine weitere Gruppe von Eingangssignalen Xi, Yi von einem Nachführsteuermodul 4. Der Rahmengenerator 2 besitzt einen ersten Ausgang, der aus einer zeitlichen Folge (oder aufeinanderfolgenden Rahmen) von Graukeilbildern I₁, I₂, . . . . . . I_n zusammengesetzt ist, welche die städtische Szene umfassen. Ein zweiter Ausgang umfaßt eine Folge von Graukeilbezugsmustern P_o, P₁ . . . . P_n, wenn eine Reihe von Fixpunkten Xi Yi von dem Nachführsteuermodul 4 geliefert wird. Jedes Bezugsmodell definiert einen Bereich innerhalb eines zugeordneten Bildes der städtischen Szene, das das zu verfolgende Fahrzeug enthält. Das anfängliche Modell P_o wird durch einen Fixpunkt erzeugt, der durch das Erfassungs modul 3 geliefert wird.

Jeder der beiden Ausgänge des Rahmengenerators 2 wird dem Eingang eines Korrelators zugeführt. Außerdem wird der zwei te Ausgang des Rahmengenerators 2, der aus Bezugsmustern P_o . . . P_n zusammengesetzt ist, dem Eingang eines Kantendetektors 6 zugeführt. Der Ausgang des Kantendetektors 6 wird danach dem Eingang eines Krümmungsgenerators 7 zugeführt. Der Ausgang des Generators 7 wird einem Binär- und Dehnungsmodul 8 zugeführt, dessen Ausgang einen dritten Eingang des Korrelators 5 bildet.

Ein Ausgang des Korrelators 5 kann von dem Nachführsteuermodul 4 benutzt werden, um die Lage der Bilderzeugungseinrichtung 1 so einzustellen, daß das Bildfeld immer auf das verfolgte Fahrzeug zentriert wird.

Im Betrieb wird ein erstes Bezugsmuster P₁ durch einen Kan tendetektor 6 betätigt. Das Verfahren umfaßt eine örtliche Randdetektion sowohl in Horizontalrichtung als auch in Verti kalrichtung. Bei einem typischen Beispiel wird ein 5 _* 5 Orts kantendetektor benutzt, um zwei Randkarten zu erzeugen.

Bei der nächsten Operation, die vom Krümmungsgenerator 7 durch geführt wird, werden die beiden Randkarten miteinander multi pliziert und durch eine Funktion normalisiert, die eine Summe von zwei Randkarten für von Null abweichende Punkte ist. Das resultierende Bild ist eine Vereinfachung der Gauss′schen Krümmung der Bildoberfläche, aber es bezieht sich hierauf.

Der Ausgang des Generators 7 wird danach durch das Binär- und Dehnungsmodul 8 verarbeitet. Das erhaltene Krümmungsbild, welches als Schatten des Bezugsmodells P₁ betrachtet werden kann und vom Generator 7 herrührt, wird hinsichtlich der Schwellwerte bearbeitet und in Binärform gebracht, um ein Binärbild von Punkten hoher Krümmung zu erzielen. Es hat sich gezeigt, daß das Verhältnis von Signal zu Hintergrund sehr hoch ist, und daß der gewählte Schwellwert nicht kritisch ist für einen weiten Bereich von Werten. Diese Eigenschaft trägt zur Robustheit des obigen Verfahrens für einen weiten Bereich von Bildtypen bei.

Die Punkte, die das Binärbild bilden, werden durch das Modul 8 modifiziert, indem sie einer morphologischen Dehnung um jeden Krümmungspunkt ausgesetzt werden. Dies führt zu einer "Aus schmierung" eines jeden Punktes.

Das obige Verfahren ist in den Fig. 3A bis 3C dargestellt. Fig. 3A repräsentiert ein thermisches Bild einer Szene mit einem Straßenfahrzeug 9. Ein thermisches Bild würde Bereiche mit hohem Kontrast um Krümmung um die Windschutzscheibe 10 zeigen, die einen kalten Himmel reflektiert und den Bereich 11 um die Räder herum, der heiß ist. Fig. 3B zeigt das auf ein binäres Format gebrachte Bild von Punkten 12 hoher Krümmung und Fig. 3C repräsentiert das Ergebnis des Dehnungsprozesses. Der Ausgang des Binär- und Dehnungsmoduls bildet ein Binär muster 13. Das Ausmaß der Dehnung kann voreingestellt werden in Abhängigkeit von der Größe der Merkmale innerhalb des Be zugsmusterbildes.

Das Ausgangsmuster vom Modul 8 wird in einem Korrelationspro zeß durch einen Korrelator 5 benutzt. In dieser Endstufe wird eine multiplikative Korrelation zwischen einem Bezugs muster P₁ und einem nachfolgenden Bild, in diesem Fall 12, durchgeführt. Die Korrelationssumme wird nur für von Null ab weichende Punkte innerhalb des Binärmusters 13 akkumuliert. Auf diese Weise erscheint die Korrelation an ausgeprägten Be reichen innerhalb des Bildes, d. h., in der Nähe der Punkte hoher Krümmung. Demgemäß wird das Verhältnis von Signal zu Hintergrund verbessert. Der Ausgang des Korrelators ist ein Fixpunkt, der die Lage des Fahrzeuges innerhalb des Bildes I₂ darstellt. Das gesamte Verfahren wird für das nächste Bezugs muster P₂ wiederholt, welches in ähnlicher Weise mit dem folgenden Bild I₃ usw. einer Korrelation unterworfen wird.

Falls erforderlich, kann der Korrelator 5 so ausgebildet sein, daß er eine Korrelationsoberfläche erzeugt, die von dem obigen Korrelationsverfahren herrührt. Eine solche Oberfläche zeigt eine größere Lokalisierung der Bildmerkmale, die von Inter esse sind und ein höheres Verhältnis von Signal zu Hintergrund als eine Korrelationsoberfläche, die dem üblichen multiplika tiven Korrelationsverfahren entspricht.

Nunmehr wird auf Fig. 2 Bezug genommen, wo ein abgewandeltes Ausführungsbeispiel dargestellt ist. Die Komponenten, die dem ersten und zweiten Ausführungsbeispiel gleich sind, wurden mit den gleichen Bezugszeichen versehen.

In Fig. 2 wird ein Bezugsmuster P₁ von einem Graukeilbild durch den thermischen Bilderzeuger 1 geliefert und durch den Kantendetektor 6, den Krümmungsgenerator 7 und das Binär- und Dehnungsmodul 8 in der gleichen Weise verarbeitet, wie unter Bezugnahme auf Fig. 1 beschrieben. Die Differenz zwischen den beiden Ausführungsbeispielen liegt in der Funktion des Korre lators 5. Im wesentlichen wird ein subtraktiver Korrelations prozeß benutzt anstelle eines multiplikativen Korrelations prozesses.

Das gedehnte Binärbild, das am Ausgang des Moduls 8 erscheint, wird innerhalb des Korrelators durch das Unterteilungsmodul 14 in eine Anzahl von Untermustern unterteilt, die jeweils einem bestimmten Bereich des Binärbildes entsprechen, beispielsweise den Bereichen 13A, 13B und 13C in Fig. 3C. In gleicher Weise wird das Bezugsmuster P₂, das in dem folgenden Graukeilbild I₂ enthalten ist, in entsprechende Bereiche durch das Unter teilungsmodul 15 unterteilt. Die Untermuster und die unterteil ten Bereiche werden dann durch ein Merkmals-Punkt-Anpaßmodul 16 bearbeitet. Im wesentlichen werden die Muster um jeden ausge prägten Punkt hoher Krümmung für den interessierenden Gegen stand in dem betreffenden Bild plaziert und auch in einem de finierten Suchbereich innerhalb des folgenden Bildes. Dann findet eine paarweise Anpassung zwischen diesen Punkten statt. Das Merkmals-Punkt-Anpaßmodul 16 ist so ausgebildet, daß es die beste Anpassung zwischen jedem Untermuster (i) und dem unterteilten Bereich (j) bestimmt. Es erreicht dies dadurch, daß zunächst der maximale Korrelationskoeffizient für alle Paare (i, j) gefunden und die Anpassung entschieden wird. Als näch stes schließt das Anpaßmodul 16 jenen Korrelationskoeffizienten von allen anderen Anpassungen aus. Als nächstes wird der maxi male Korrelationskoeffizient für alle verbleibenden Paare be stimmt. Schließlich wird das Verfahren wiederholt, bis sämt liche Anpassungen über einen gewissen vorgewählten Schwellwert vorhanden sind.

In der Endkorrelationsstufe wird durch das Modul 17 ein Fix punkt erzeugt. Die Fixpunkterzeugung kann auf verschiedene be kannte Weise geschehen. Die eine Wahl kann gegenüber einer anderen vorteilhaft sein, je nach den gelieferten Daten. Wenn die Daten besonders störbehaftet sind, und die Wahrscheinlich keit einer fehlerhaften Anpassung hoch ist, dann sollte die beste paarweise Korrelation benutzt werden, um die Fixpunkt stellung zu aktualisieren. Statt dessen sollte für Daten mit geringem Störinhalt für eine Gruppe von paarweisen Korrelations anpassungen (über einem Schwellwert) die Durchschnittslage be nutzt werden, um die Fixpunktstellung zu aktualisieren. Eine dritte Alternative führt eine begrenzte Anpassung durch, d. h., eine Untergruppe von paarweisen Korrelationsanpassungen über einem Schwellwert wird benutzt, um eine Durchschnitts-Fixpunkt stellung zu liefern. Die Untergruppe wird so gewählt, daß die Durchschnitts-Fixstellung innerhalb eines gegebenen Abstands von der Fixpunktstellung liegt, die für den vorherigen Rahmen geschaffen wurde. Hierdurch wird eine zusätzliche Sicherung gegen paarweise Mißanpassungen gewährleistet und demgemäß gegen eine fehlerhafte Fixpunktbestimmung.

Claims

1. Verfolgungsgerät, gekennzeichnet
durch eine Eingangsstufe (2), die eine Folge von Bildern (I₁, I₂, I_n) empfängt, die einen Gegenstand enthalten, der innerhalb eines Bezugsmusters (P_o) inner halb einer Hintergrundszene enthalten ist;
durch eine erste Verarbeitungsstufe (6, 7), um eine erste Gruppe von Daten zu erzeugen, die sich auf Be reiche ausgeprägter Krümmung innerhalb des Bezugsmusters (P_o) beziehen;
durch eine zweite Verarbeitungsstufe (8), die eine Binärschablone für die erste Gruppe von Daten erzeugt;
und durch eine dritte Verarbeitungsstufe (5), die die Binärschablone mit den Szenenbildern korrelationiert, um einen Fixpunkt zu erzeugen, der die Lage des Gegenstandes innerhalb der Hintergrundszene repräsentiert.

2. Verfolgungsgerät nach Anspruch 1, dadurch gekennzeichnet, daß die Szenenbilder aus einem Bezugs muster (P_o) und einem folgenden Bild (I₁) bestehen.

3. Verfolgungsgerät nach Anspruch 1, bei welchem die dritte Verarbeitungsstufe (5) eine Merkmals-Punkt-Anpassung zwischen diskreten Unterbereichen der Binärschablone und ent sprechenden Bereichen eines folgenden Bildes durchführt.