DE2502245C3

DE2502245C3 - Device for universal tracking of a target detected by an observation device

Info

Publication number: DE2502245C3
Application number: DE19752502245
Authority: DE
Inventors: Klaus Dr 2000 Hamburg; Schöne Gerhard 2000 Wedel Hesse
Original assignee: Licentia Patent Verwaltungs GmbH
Current assignee: Licentia Patent Verwaltungs GmbH
Filing date: 1975-01-21
Publication date: 1977-09-15

Description

4040

Die Erfindung betrifft eine Einrichtung zur universellen Verfolgung eines von einem Beobachtungsgerät erfaßten Zieles, bestehend aus einem Bildsensor, insbesondere einer konventionellen Fernseh-Kamera, einem Gerät zur Bildauswertung zwecks Ermittlung der Ablage von bewegten Objekten im Bildfeld des Sensors relativ zu einem sensorfesten Bezugssystem, vorzugsweise dessen Visierlinie, sowie einem Stellantrieb, der die ermittelten Ablagesignale in Azimuth und/oder Elevation zur Nachführung des Sensors derart verarbeitet, daß die Ablagesignale zu Null geregelt werden.The invention relates to a device for universal tracking of an observation device detected target, consisting of an image sensor, in particular a conventional television camera, a device for image evaluation for the purpose of determining the placement of moving objects in the image field of the sensor relative to a sensor-fixed reference system, preferably its line of sight, as well as an actuator that the determined offset signals are processed in azimuth and / or elevation for tracking the sensor in such a way that that the storage signals are regulated to zero.

Es sind Einrichtungen allgemein bekannt, mit deren Hilfe es möglich ist, einen bewegten, elektromagnetische Strahlung (Licht, Wärme), aussendenden oder reflektierenden Gegenstand mit einem für die entsprechende Strahlung empfindlichen Gerät zu beobachten und automatisch seine Lage zu verfolgen. Bei diesen Einrichtungen wird die von ihren Sensoren aufgenommene Bildinformation zur Ableitung von Nachführsignalen ausgewertet.There are devices well known with the help of which it is possible to have a moving, electromagnetic Radiation (light, heat), emitting or reflecting object with one for the appropriate Observe radiation-sensitive device and automatically track its location. With these The image information recorded by their sensors is used to derive tracking signals evaluated.

Es sind speziell nach dem Kontrastprinzip arbeitende Zielverfolgungssysteme bekannt, bei denen eine Szene in helle bzw. dunkle Gebiete eingeteilt und z. B. der Flächenschwerpunkt einer als Ziel erkannten Hell- oder Dunkelfläche errechnet wird. Ferner kann die Lage einer Hell-Dunkel-Kante bestimmt werden.They are specially working according to the contrast principle Target tracking systems known in which a scene is divided into light or dark areas and z. B. the The center of gravity of a light or dark area recognized as a target is calculated. Furthermore, the location a light-dark edge can be determined.

Bei einer Bewegung des Zieles wird ein Ablagesignal an ein Servosystem geliefert, das eine Verstellung des Beobachtungssystems entsprechend dem Ablagesignal bewirkt.When the target moves, an offset signal is sent to a servo system, which enables the Observation system caused according to the discard signal.

Weiterhin sind eine Reihe Verfahren bekannt oder vorgeschlagen, die bezüglich ganz bestimmter Eigenschaften des Zieles empfindlich sind, etwa seiner Farbe, seiner Bewegung, seiner Kontur oder Helligkeits-StruktuV (Muster). So arbeitet eine bekannte Einrichtung nach einem Ortsfilterungsverfahren, bei dem eine Orts-Fourierkomponente des Zieles auf ihre Phase gegenüber dem verschobenen Bild untersucht wird. Das Servosystem regelt das Beobachtungsgerät auf die Phase »NULL« nach. Da jedoch nicht die komplette Zielstruktur eingelagert wird, ist das Wiederauffinden eines einmal verlorenen Zieles ohne externen Eingriff unmöglich.Furthermore, a number of methods are known or proposed that relate to very specific properties of the target are sensitive, such as its color, its movement, its contour or brightness structure (Sample). Thus, a known device works according to a spatial filtering method in which a spatial Fourier component of the target is examined for its phase with respect to the shifted image. The servo system the observation device readjusts to the "ZERO" phase. But not the complete one The target structure is stored, is the retrieval of a lost target without external intervention impossible.

Eine weitere wichtige Randbedingung bei Verfolgungssituationen ist die Umgebung des Zieles. Alle zufälligen Störungen, wie Regen, Änderung der Beleuchtungsverhältnisse, vorübergehende Abdeckungen oder Teilabdeckungen sind ebenso zu berücksichtigen, wie ein stark strukturierter Hintergrund bei einem kon'trastarmen Ziel die Verfolgungssituation erschweren wird. Wird die Verfolgungssituation jedoch sehr komplex, daß beispielsweise ein Fußgänger im Straßenverkehr verfolgt werden soll, versagen alle bisher bekannten Methoden.Another important boundary condition in pursuit situations is the environment of the target. All accidental disturbances, such as rain, changes in lighting conditions, temporary coverings or partial covers are also to be taken into account, as well as a strongly structured background for one contrasting target will aggravate the persecution situation. However, the persecution situation becomes very much complex, that for example a pedestrian is to be followed in traffic, all have failed so far known methods.

Der Erfindung liegt nun die Aufgabe zugrunde, eine Einrichtung zur universellen Verfolgung eines von einem Beobachtungsgerät erfaßten Zieles zu schaffen, mit der eine beträchtliche Steigerung der Leistungsfähigkeit der bisher bekannten Verfolgungssysteme erreicht wird.The invention is based on the object of providing a device for the universal tracking of one of to create an observation device detected target, with which a considerable increase in performance of the previously known tracking systems is achieved.

Die Aufgabe wird erfindungsgemäß dadurch gelöst, daß das Gerät zur Bildauswertung einen Bildspeicher, zwei oder mehrere nach unterschiedlichen Verfahren arbeitende und bewertete Ablagesignale liefernde Bildauswertungseinrichtungen, eine zentrale Bewertungseinheit und eine Bahnextrapolationseinheit aufweist, daß jede Bildauswertungseinrichtung ihre der Ablage des Zieles; vom Zentrum des Szenenbildes in Azimuth und/oder Elevation entsprechenden Ablage- und Bewertungssignale der Bewertungseinheit zugeführt und daß die Bewertungseinheit unter Zuhilfenahme der Ergebnisse der Bahnextrapolationseinheit die resultierenden, dein Stellantrieb des Beobachtungsgerätes zuzuführenden Ablagesignale in Azimuth und/oder Elevation ermitteltThe object is achieved according to the invention in that the device for image evaluation has an image memory, delivering two or more storage signals that work and evaluate according to different methods Has image evaluation devices, a central evaluation unit and a web extrapolation unit, that each image evaluation device its of the filing of the target; from the center of the scene in Azimuth and / or elevation corresponding storage and evaluation signals supplied to the evaluation unit and that the evaluation unit with the aid of the results of the web extrapolation unit the resulting, your actuator of the observation device to be fed storage signals in azimuth and / or Elevation determined

Die Bewertung:5einheit hat außerdem die Aufgabe, eine gegenseitige Ergänzung der verschiedenen BiIdauswertungseinriclitungen zu ermöglichen, einmal z. B. in dem Sinne, daß schnelle aber ungenaue Resultate des einen Kanals als G robwerte an einen langsameren aber genaueren Kanal geleitet werden, zum anderen daß sie die i. a. verschiedenen Ergebnisse der einzelnen Kanäle vergleicht, gewichtet, Prioritäten setzt und weiterhin unter Heranziehung einer Bahnextrapolationseinheit unsinnige Ergebnisse verwirft oder kleinere Zeiträume, während derer das Ziel vorübergehend unsichtbar ist, überbrückt.The evaluation: 5 unit also has the task of complementing the various picture evaluation units to enable once z. B. in the sense that quick but imprecise results of the one channel can be sent to a slower but more precise channel as a G robwert, and on the other hand that it the i. a. comparing, weighting, prioritizing and continuing the various results of the individual channels discards nonsensical results or shorter periods of time using a path extrapolation unit, during which the target is temporarily invisible, bridged.

In einer Ausgestaltung der Erfindung wird vorgeschlagen, daß mindestens eine der Bildauswertungseinrichtungen nach einem Bildkorrelationsverfahren arbeitet und daß die Bewertungseinheit in Abhängigkeit von letzterer einen Speicher speist, dessen Ausgangssignale einer oder mehreren Bildauswertungseinrichtungen zugeführt werden.In one embodiment of the invention it is proposed that that at least one of the image evaluation devices operates according to an image correlation method and that the evaluation unit, as a function of the latter, feeds a memory whose output signals are fed to one or more image evaluation devices.

Der wesentliche! Vorteil der Erfindung liegt in derThe essential one! The advantage of the invention lies in the

Ausnutzung und Kombination der Vorteile jeder einzelnen Bildauswertungseinrichtung, ohne daß deren Nachteile zum Tragen kommen. So kann eine schnelle aber ungenaue Einrichtung zur Vorauswahl (Grobeinweisung) für ein langsamere;, aber präzhies Verfahren herangezogen werden. Auch ist eine geeignete Zusammenstellung sich gegenseitig ergänzender Einrichtungen möglich, so daß möglichst für alle Verfolgungssituationen ein passendes Verfahren — b* w. eine passende Kombination — zur Verfugung steht. Weiterhin ist eine Steigerung der Zuverlässigkeit durch Redundanz gegeben, da die Rechenergebnisse verschiedener Einrichtungen verglichen, bewertet und damit zufällige Störungen sowie unsichere Werte ausgeschlossen werden können. Eine optimale Anpassung an gegebene Anforderungen für spezielle Anwendungsbereiche durch entsprechende Auswahl der Einrichtungen und Auslegung der Auswerteeinheit ist sichergestellt.Exploitation and combination of the advantages of each individual image evaluation device without their Disadvantages come into play. A quick but imprecise setup for pre-selection (rough instruction) for a slower; but more precise procedure can be used. There is also a suitable combination of mutually complementary facilities possible, so that if possible a suitable procedure for all persecution situations - b * w. a suitable one Combination - is available. There is also an increase in reliability through redundancy given, since the calculation results of different facilities compared, evaluated and thus random Malfunctions and uncertain values can be excluded. An optimal adaptation to given Requirements for special areas of application through appropriate selection of facilities and Design of the evaluation unit is ensured.

In der Zeichnung ist ein Aus^ührungsbeispiel nach der Erfindung dargestellt. Das von einem nichl gezeichneten Beobachtungsgerät ausgesandte, dem momentanen Bild des Zieles entsprechende Signal B (x) wird über einen Bildspeicher 1 den Eingängen von beispielsweise sechs nach verschiedenen Prinzipien arbeitenden Bildauswertungseinrichtungen 2 bis 7 zugeführt. Diese Einrichtungen arbeiten reihenfolgcmäßig nach dem Kontrast-, Ortsfilterungs-, Korrelations-, Kontur-, Bewegungs- und Hintergrundprinzip und führen ihre der Ablage des Zieles vom Zentrum des Szenenbildes in X- und K-Richtung entsprechenden Stellsignale einer Bewertungseinheit 8 zu. Die Bewertungseinheit 8 koordiniert die Analysierabläufe der Baugruppen 2 bis 7, ermittelt unter Berücksichtigung einer Bahnextrapolationseinheit 9 aus den verschiedenen Resultaten der Bildauswertungseinrichtungen ein wahrscheinlichstes Ergebnis als Ablagesignal. Weiterhin überwacht die Bewertungseinheit 8 die zu Beginn des Verfolgungsvorgangs in den Vergleichsbildspeicher 10 eingelagerte Ansicht des Zieles in bezug auf Änderungen in der momentanen Ansicht des Zieles aufgrund der Ergebnisse der nach dem Korrelationsprinzip arbeitenden Bildauswertungseinrichtung 4, um gegebenenfalls eine Anpassung des Inhalts vom Vergleichsbildspeicher 10 an die momentane Ansicht zu gewährleisten.In the drawing, an Aus ^ ührungsbeispiel is shown according to the invention. The signal B (x) emitted by a non- drawn observation device and corresponding to the current image of the target is fed via an image memory 1 to the inputs of, for example, six image evaluation devices 2 to 7 operating according to different principles. These devices work sequentially according to the contrast, spatial filtering, correlation, contour, movement and background principle and feed their control signals corresponding to the target position from the center of the scene in the X and K directions to an evaluation unit 8. The evaluation unit 8 coordinates the analysis processes of the assemblies 2 to 7 and, taking into account a path extrapolation unit 9, determines a most likely result as a storage signal from the various results of the image evaluation devices. Furthermore, the evaluation unit 8 monitors the view of the target stored in the comparison image memory 10 at the beginning of the tracking process with regard to changes in the current view of the target based on the results of the image evaluation device 4, which works according to the correlation principle, in order, if necessary, to adapt the content of the comparison image memory 10 to the ensure current view.

Hierzu 1 Blatt Zeichnungen1 sheet of drawings

Claims

Patent claims:

1. Device for universal tracking of a target detected by an observation device consisting of an image sensor, in particular a conventional television camera, a device for image evaluation for the purpose of determining the placement of moving objects in the image field of the sensor relative to a sensor-fixed reference system, preferably its line of sight, and an actuator which processes the determined storage signals in azimuth and / or elevation for tracking the sensor in such a way that the storage signals are regulated to zero, characterized in that the device for image evaluation has an image memory (1), two or more operating according to different methods and Image evaluation devices (2 to 7) delivering evaluated storage signals, a central evaluation unit (8) and a path extrapolation unit (9) have each image evaluation device (2 to 7) corresponding to the location of the target from the center of the scene image in azimuth and / or elevation position and associated evaluation signals of the evaluation unit (8) and that the evaluation unit (8) with the aid of the results of the orbit extrapolation unit (9) determines the resulting storage signals to be fed to the actuator of the observation device in azimuth and / or elevation.

2. Device according to claim 1, characterized in that at least one of the image evaluation devices (2 to 7) works according to an image correlation method and that the evaluation unit (8) depending on the latter, a memory (10) feeds the output signals of which one or more Image evaluation devices (2 to 7) are supplied.