DE3034838C1 - Procedure for recognizing and tracking a target - Google Patents

Procedure for recognizing and tracking a target

Info

Publication number
DE3034838C1
DE3034838C1 DE3034838A DE3034838A DE3034838C1 DE 3034838 C1 DE3034838 C1 DE 3034838C1 DE 3034838 A DE3034838 A DE 3034838A DE 3034838 A DE3034838 A DE 3034838A DE 3034838 C1 DE3034838 C1 DE 3034838C1
Authority
DE
Germany
Prior art keywords
target
image
correlation
tracking
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE3034838A
Other languages
German (de)
Inventor
Gerhard Ing Schoene
Klaus Dr Rer Nat Hesse
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefunken Systemtechnik AG
Original Assignee
Telefunken Systemtechnik AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefunken Systemtechnik AG filed Critical Telefunken Systemtechnik AG
Priority to DE3034838A priority Critical patent/DE3034838C1/en
Priority to FR8117451A priority patent/FR2661738A1/en
Application granted granted Critical
Publication of DE3034838C1 publication Critical patent/DE3034838C1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2226—Homing guidance systems comparing the observed data with stored target data, e.g. target configuration data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2253—Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2273—Homing guidance systems characterised by the type of waves
    • F41G7/2293—Homing guidance systems characterised by the type of waves using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff von Anspruch 1.The invention relates to a method according to the preamble of claim 1.

Es sind eine Reihe von Verfahren und Einrichtungen zur Erkennung und Verfolgung eines Zieles bekanntgeworden. So ist es auch bekannt, bei der im Oberbegriff von Anspruch 1 beschriebenen Einrichtung Vorrichtungen vorzusehen, die das Einblenden von für den Bediener wichtigen Informationen in den Überwachungsmonitor des Bedienungsgerätes ermöglichen (DE-OS 28 42 684).There are a number of methods and devices for detection and Pursuit of a goal. So it is also known at device described in the preamble of claim 1 provide for the display of information important to the operator enable in the monitoring monitor of the control unit (DE-OS 28 42 684).

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erkennung und Verfolgung eines Zieles vorzuschlagen, das zur Erhöhung der Auffaßge­ schwindigkeit von Zielverfolgungseinrichtungen eine automatische, eine manuelle Zuweisung überflüssig machende Zieldetektion ermöglicht.The invention has for its object a method for detection and To propose pursuit of a goal to increase comprehension speed of tracking devices an automatic one manual assignment makes target detection unnecessary.

Die Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale von Anspruch 1 gelöst.The object is achieved by the characterizing features of Claim 1 solved.

Ausgestaltungen der Erfindung sind in den Unteransprüchen 2 bis 27 be­ schrieben. Embodiments of the invention are in the dependent claims 2 to 27 be wrote.  

Von Vorteil ist, da bei der besonders gearteten Bilddarstellung von Wärmebildsensoren durch eine sensorspezifische Bildaufbereitung eine optimale Zielverfolgung erzielt wird. Weiterhin werden vorteilhafterweise für Fälle von Zielverdeckungen und von den realen Zielbewegungen zuwider­ laufende Prädiktionen verbesserte Suchkriterien und Suchverfahren zur Wiederentdeckung eines Zieles vorgeschlagen.It is an advantage because the special image display of Thermal imaging sensors through sensor-specific image processing optimal tracking is achieved. Furthermore, advantageously for cases of concealment of targets and contrary to real target movements ongoing predictions improved search criteria and search methods for Rediscovery of a target proposed.

In der Zeichnung ist ein Ausführungsbeispiel nach der Erfindung dargestellt, und zwar in eine Einrichtung zur Durchführung des erfindungsgemäßen Verfahrens gezeigt. Diese Einrichtung weist einen, ein Zielobjekt erfassenden Bildsensor 1 auf, dessen Ausgangssignale über eine Einrichtung 2 zur tracker­ optimalen Aufbereitung einem Bildspeicher 3 zugeführt werden. Dem Bildspeicher 3, der als Arbeitsspeicher für die Bildverarbeitung nach der Bilderzeugung verwendet wird, ist ein Zieldetektor 4 nachgeschaltet, der zu dem Bildspeicher 3 nach der Bilderzeugung durch den Sensor 1 wahlweise Zugriff hat. Der Zieldetektor 4 weist eine Einrichtung zur Bildaufbereitung 5 auf und unterscheidet während einer Detektion mittels verschiedener hierarchisch gestaffelter Filter 6 Ziele und Störobjekte voneinander. Wenn durch die Filter 6 eine ausreichend sichere Zieldetektion betätigt worden ist, wird automatisch auf eine Verfolgung des entsprechenden Zieles mit Hilfe einer dem Zieldetektor 4 nachgeschalteten Zielverfolgungseinrichtung 7 und eines dem Bildsensor 1 zugeordneten Servoantriebes 8 umgeschaltet.In the drawing, an embodiment according to the invention is shown, namely shown in a device for performing the method according to the invention. This device has an image sensor 1 , which detects a target object, the output signals of which are fed to an image memory 3 via a device 2 for optimal preparation of the tracker. The image memory 3 , which is used as a working memory for image processing after image generation, is followed by a target detector 4 , which optionally has access to image memory 3 after image generation by sensor 1 . The target detector 4 has a device for image processing 5 and distinguishes targets and interfering objects from one another during detection by means of different hierarchically staggered filters 6 . If a sufficiently reliable target detection has been actuated by the filter 6 , the system automatically switches to tracking the corresponding target with the aid of a target tracking device 7 connected downstream of the target detector 4 and a servo drive 8 assigned to the image sensor 1 .

Die Zielverfolgungseinrichtung 7 weist einen Korrelationstracker 9 auf, dem ein bei Zielverlust als Zieldetektionseinrichtung fungierender Kontrast­ tracker 10 nebengeordnet ist. Mittels einer Betriebsartensteuereinrichtung 11 wird von der Korrelationsbetriebsart auf die Kontrastbetriebsart überge­ gangen, wenn der Korrelationstracker 9 ein Ziel bei Teilverdeckung nicht mehr erkennen kann, obwohl es noch deutlich, z. B. durch Baumwipfel hindurchleuchtet. Die Zielverfolgungseinrichtung 7 soll nur dann in die Kontrastbetriebsart übergeführt, d. h. Zieldetektion betrieben und gemeldet werden, wennThe target tracking device 7 has a correlation tracker 9 , to which a contrast tracker 10 , which acts as a target detection device when the target is lost, is arranged next to it. By means of an operating mode control device 11 , the correlation mode is switched to the contrast mode when the correlation tracker 9 can no longer recognize a target in the case of partial concealment, although it is still clear, e.g. B. shines through treetops. The target tracking device 7 should only be converted to the contrast mode, ie, target detection operated and reported, if

  • a) die über der Kontrastschwelle liegende Bildpunktmenge des Zieles, die während des Korrelationstrackers per Akkumulieren festgestellt wurde, eine sinnvolle Größe hat. Dabei kann man beispielsweise bestimmte Varianzgrenzen setzen, d. h. eine positive Abweichung vom akkumulierten Bildpunktmengen-Mittelwert streng, eine negative Abweichung (Teilverdeckung) aber großzügig bewerten; a) the amount of pixels of the target lying above the contrast threshold, the accumulated during the correlation tracker has a reasonable size. You can, for example, certain Set variance limits, d. H. a positive deviation from the accumulated Average pixel amount strict, a negative deviation (partial masking) but evaluate generously;  
  • b) die für die Bildpunktmengendefinition notwendige Schwellermittlung während des Korrelationsbetriebes zu sinnvollen, aus einem eben­ falls akkumulierten zeitlichen Mittelwert, der beispielsweise vom Spitzenwert abgeleitet ist, sich ergebenden Werten geführt hat. Vorzuschlagen sind zumindest obere und untere Plausibilitätsgrenzen.b) the threshold determination necessary for the pixel quantity definition to make sense during the correlation operation, from one level if accumulated time average, for example from Peak value is derived, has resulted in resulting values. At least upper and lower plausibility limits should be proposed.

Da die Kontrast- bzw. Detektionsbetriebsart lediglich untergeordnete Bedeutung haben darf, muß ein Kriterium die Rückkehr in den Korrelations­ betrieb sichern. Hier soll die in Punkt a) beschriebene Varianz der Bildpunkt­ menge des Zieles verwendet werden, und wenn diese eine gewisse Zeit lang gegen Null geht (Ziel befindet sich wieder vor homogenem Himmel), soll per Einspeicher­ impuls an den Zielspeicher des Korrelators die Rückkehr in den Normalbetrieb mit der nun aktuellen Zielansicht ausgelöst werden.Since the contrast or detection mode is only subordinate One criterion must be the return in the correlation secure operation. Here the variance described in point a) is the pixel amount of the target can be used, and if this against a certain time Zero goes (target is again in front of a homogeneous sky), should be saved impulse to the target memory of the correlator the return to normal operation triggered with the current target view.

Voraussetzung für dieses nach Möglichkeit reibungslose Ineinanderübergehen verschiedener Verfolgungsbetriebsarten ist das optimale Dimensionieren des Trackreglers, der die vom Tracker gelieferten Positionsmeßwerte in systemange­ paßte Führungssignale umwandelt. Hier wird die Umschaltung der PID-Regler- Konstanten je nach Betriebsart Track, Prädiktion oder Kontrasttracken vorge­ schlagen.The prerequisite for this to be a smooth transition, if possible different tracking modes is the optimal dimensioning of the Track controller, which systematically measures the position measurements provided by the tracker converted suitable guide signals. Here the switchover of the PID controller Constants depending on the operating mode track, prediction or contrast tracking beat.

In bekannten Waffensystemen ist es häufig möglich, eine recht gute Zielzu­ weisung im Azimut zu bekommen, während in Elevation mit anderen optoelek­ tronischen Mitteln Zieldetektion betrieben werden muß. Da die automatische Zielzuweisung eines Zieles, das z. B. unter einem möglichen Elevationswinkel von 20° erscheint, in max. 0,5 s abgeschlossen sein soll, das vertikale Sehfeld eines E/O-Sensors (elektrooptischer Sensor) aber wegen der erforderlichen Reichweite nur 2,8° beträgt, muß eine Zieldetektionslogik in 1/2 Sekunden einen Streifen von mehr als 7 aufeinanderangestellten Bildern des Himmels (Himmelselement) abgearbeitet haben. Um dieses zu ermöglichen, kann als Bildsensor 1 eine TV-Kamera mit Kurzzeitbelichtung zur Zieldetektion verwendet werden, bei der in an sich bekannter Weise lediglich während der vertikalen Austastlücke das Target kurzzeitig belichtet wird, so daß sich das Ziel während des Absuchens des Himmels nicht über große Targetflächen verteilt. Während der Auslesezeit des Targets liegt ein quasi stehendes Speicherbild eines Himmelelementes vor nun kann mittels Bildverarbeitung nach relevanten Zielen abgesucht werden. Nimmt man an, daß während der Kurzzeitbelichtung sich ein Punktziel lediglich über drei Bildpunkte verschmieren darf, kann die Belichtungszeit etwa 0,2 ms betragen. Das ist ein Untersetzungsverhältnis von 1/100.In known weapon systems, it is often possible to get a fairly good target assignment in azimuth, while target detection must be carried out in elevation with other optoelectronic means. Since the automatic target assignment of a target z. B. appears at a possible elevation angle of 20 °, in max. 0.5 s to be completed, the vertical field of view of an I / O-sensor (electro-optical sensor) but is due to the required range of only 2.8 °, a target detection logic 1/2 second has a strip of more than 7 successive employed images of the Heaven (celestial element) have worked through. To make this possible, a TV camera with short exposure for target detection can be used as image sensor 1 , in which the target is briefly exposed in a manner known per se only during the vertical blanking interval, so that the target does not overturn while scanning the sky large target areas distributed. During the readout time of the target, there is a quasi-standing memory image of a sky element. Now, image processing can be used to search for relevant targets. If one assumes that a point target may only smear over three pixels during the short exposure, the exposure time can be approximately 0.2 ms. This is a reduction ratio of 1/100.

Wird als Bildsensor 1 ein Wärmebildsensor verwendet, der nur aus einem Sensorelement besteht und in CCIR-ähnlicher Norm über das Sehfeld bewegt wird, sind kurzzeitbelichtete Verhältnisse bereits durch diese Konzeption vorgegeben. Liegt ein WB-Sensor mit TDI-Sensorzeile vor, wird durch diese Maßnahme die Empfindlichkeit des Sensors erhöht. Das Ziel kann lediglich entsprechend der Anzahl der horizontalen Sensorelemente einen Bruchteil einer Zeilenzeit lang verschmiert werden. Die Integrationszeit ist bei einem bekannten Gerät dieser Art ca. 9/500 von 64 µs ≈ 1 µs lang. Es ist sichergestellt, daß die Abtastgeschwindigkeit der Sensorelemente groß gegen die sich aus Suchgeschwindigkeit des Sensorkopfes und der Zielgeschwindigkeit zusammensetzenden Zielspur ist.If a thermal image sensor is used as the image sensor 1 , which consists of only one sensor element and is moved across the field of view in a CCIR-like standard, short-term exposure conditions are already predetermined by this concept. If there is a WB sensor with a TDI sensor line, this measure increases the sensitivity of the sensor. The target can only be smeared for a fraction of a line time in accordance with the number of horizontal sensor elements. The integration time is at a known apparatus of this kind approx 9/500 of 64 microseconds ≈ 1 microseconds long. It is ensured that the scanning speed of the sensor elements is high against the target track composed of the search speed of the sensor head and the target speed.

Ein besonderes Problem ist darin begründet, daß der Sensor einen in­ ternen CCIR-Norm-Scan von oben nach unten vollführt, das Gerät aber beispielsweise gerade einen Suchscan von unten nach oben. Das kann bei hohen Geschwindigkeiten dazu führen, daß die Himmelselemente gar nicht vollständig vom Sensor überstrichen werden, sondern nur schmale Streifen der Szene erfaßt sind.A particular problem is caused by the fact that the sensor CCIR norm scan from top to bottom, but the device for example, doing a bottom-up search scan. That can at high speeds cause the celestial elements not at all are completely covered by the sensor, but only narrow strips the scene are captured.

Am Beispiel eines Wärmebildsensors mit flächenhaftem Detektor von 11 Zeilen mal 5 Elemente soll veranschaulicht werden, was gegen diese Problematik vorzusehen ist. (Bei einem solchen Sensor wird ein Bild­ punkt über eine Zeit von 11 Zeilen auf dem Detektor verschmiert, jedoch wegen der begrenzten horizontalen Ausdehnung um den geschätzten Faktor 5/768 untersetzt. Es ergibt sich eine Integrationszeit von max. 11 · 64 µs · 5/768 = 4,5 µs.) Es treten keine Probleme mit vertikaler Suchbewegung bei vertikalem internen Scan auf, wenn der interne vertikale Sensorscan zugunsten der externen vertikalen Suchbewegung abgeschaltet und der Himmel mittels eines nur noch durch horizontale Scan-Bewegungen erzeugten 11 Zeilen breiten Bandes erfaßt wird. Mittels Zwischenspeicherung der Bildstreifen werden stehende Bilder streifenförmiger Himmelselemente erzeugt, die dann per Bildverarbeitung untersucht werden können. The example of a thermal image sensor with a flat detector of 11 lines by 5 elements is intended to illustrate what needs to be done about this problem. (In such a sensor is an image point for a period of 11 lines on the detector smeared, but stepped down because of limited horizontal extent for the estimated factor 5/768. This results in an integration time of max. 11 x 64 microseconds · 5 / 768 = 4.5 µs.) There are no problems with the vertical search movement in the case of a vertical internal scan if the internal vertical sensor scan is switched off in favor of the external vertical search movement and the sky is detected by means of an 11-line-wide band produced only by horizontal scan movements becomes. By temporarily storing the image strips, standing images of strip-shaped celestial elements are generated, which can then be examined using image processing.

Bei Wärmebildsensoren in "vertical-scan-"Technik (Vertikal-Abtasttechnik), bei denen eine senkrechte Spalte von z. B. 120 Sensorelementen waagerecht über die Szene gezogen wird, ist ebenfalls ein Kurzzeitbelichtungseffekt gegeben, so daß solche Sensoren recht schnell den Himmel absuchen können, ohne daß eine Zielverschmierung auftritt. Ein solches Gerät braucht auch nicht - wie bei dem Wärmebildsensor mit flächenhaftem Detektor - angehalten zu werden. Solche Geräte erzeugen jedoch zunächst keine CCIR-Norm und müssen entweder per digitalem Bildspeicher-Normwandler oder per TV-Kamera normgewandelt werden, bevor eine intelligente Bildverarbeitung angesetzt werden kann.For thermal imaging sensors using "vertical-scan" technology (vertical scanning technology), where a vertical column of z. B. 120 sensor elements horizontally the scene is drawn, there is also a short exposure effect, so that such sensors can scan the sky very quickly without one Target smear occurs. Such a device does not need - as with the thermal image sensor with area detector - to be stopped. However, such devices do not initially generate a CCIR standard and must either via digital image storage standard converter or via TV camera be converted to standards before intelligent image processing is applied can be.

Bei einer automatischen Zieldetektion ist für die verwendeten Sensoren zunächst sichergestellt, daß trotz hoher Suchgeschwindigkeit scharfe Bilder des Himmels mit darin befindlichen Zielen entstehen. Für eine Zieldetektion wird immer von dem zusätzlichen Bildspeicher 3 ausgegangen, der nach der eigentlichen Bilderzeugung für die Bildverarbeitung als Arbeitsspeicher zur Verfügung steht. Folgende detaillierte Ausgestaltungen sind möglich:In the case of automatic target detection, it is first ensured for the sensors used that sharp images of the sky with targets located therein are produced despite the high search speed. For a target detection, the additional image memory 3 is always assumed, which is available as working memory for the image processing after the actual image generation. The following detailed configurations are possible:

  • - Pufferspeicherung der vom schwenkenden Sensor angelieferten Daten (hardware),- buffer storage of the data (hardware) delivered by the pivoting sensor,
  • - Segmentierung des Speicherbereiches und Bestimmung einer lokalen Kontrastschwelle (Temperaturschwelle) in jedem Segment (hardware),- Segmentation of the memory area and determination of a local one Contrast threshold (temperature threshold) in each segment (hardware),
  • - Durchmusterung jedes Segmentes in folgender Reihenfolge
    Erster Diskriminationsschritt: Gibt es Objekte (potentielle Ziele) oberhalb der errechneten Schwelle? (hardware),
    Zweiter Diskriminationsschritt, wenn erster Schritt mit ja beantwortet wird: erfüllen diese Objekte ein vorzugebendes Größenkriterium? (software),
    Dritter Diskriminationsschritt, wenn zweiter Schritt mit ja zu beant­ worten ist: wie bewertet der Korrelator dieses Objekt gegen vorzugebende Referenzbilder (Formkriterium)? (software-Dialog mit Korrelator),    - Screening of each segment in the following order
    First step of discrimination: Are there objects (potential targets) above the calculated threshold? (hardware),
    Second step of discrimination, if the first step is answered with yes: do these objects meet a size criterion to be specified? (software),
    Third step of discrimination, if the second step has to be answered with yes: how does the correlator evaluate this object against specified reference images (form criterion)? (software dialog with correlator),
  • - wenn positiv, sind alle Maßnahmen zum lock-on des Trackers zu treffen.- If positive, all measures to lock-on the tracker must be taken.

Die Grundidee einer Zieldetektion ist, mit Hilfe je eines Amplituden- und eines Ausdehnungskriteriums eine Vorsortierung aller potentiellen Ziele vorzunehmen, um schließlich den Korrelator noch bei wenigen Kandidaten mit seiner "matched-filter"-Funktion einsetzen zu können.The basic idea of a target detection is, with the help of an amplitude and an expansion criterion a pre-sorting of all potential goals to make the correlator with a few candidates  to be able to use its "matched filter" function.

Wärmebildsensoren haben je nach Konstruktion eine von einem TV-Bild ab­ weichende spezifische Bilddarstellung. Einmal ist wegen des großen Dyna­ mikbereiches von Wärmebildgeräten eine bestimmte Schwelldifferenz-Temperatur auszuwählen, so daß heißere innere Strukturen eines Zieles wegen der schnellen Sättigung des Videoverstärkers nicht mehr sichtbar werden. Das Ziel erscheint dadurch als heller Fleck oder Feinstruktur. Außerdem kann ein und dasselbe Ziel bestimmter Temperatur vor kaltem oder warmen Hintergrund heiß oder kalt erscheinen, weil letztlich die Temperaturdifferenzen gemessen werden. Zudem kann nach langen heißen Hintergrundobjekten der Differenzverstärker erst nach endlicher Zeit wieder auf richtigem Niveau eingeschwungen sein, was zu einem schwarzen Nachschwingen führt. Alle diese Eigenschaften beein­ trächtigen die Leistungsfähigkeit eines Trackers gravierend und können durch folgende Lösungswege beseitigt werden.Depending on the design, thermal imaging sensors have a difference from a TV image softening specific image representation. Once is because of the great dyna range of thermal imaging devices a certain threshold difference temperature select so that hotter internal structures of a target because of the rapid saturation of the video amplifier are no longer visible. The goal appears as a light spot or fine structure. In addition, a and the same target certain temperature hot on a cold or warm background or appear cold because ultimately the temperature differences are measured. In addition, after long hot background objects, the differential amplifier to be back on the right level after a limited time, which leads to a black ringing. All of these properties affect seriously affect the performance of a tracker and can following solutions are eliminated.

  • a) Mittels des Pufferspeichers 3 und einer problemspezifischen Software und/oder hardware werden die Bilder zunächst trackeroptimal aufbereitet. Das kann z. B. so geschehen, daß für die AD-Wandlung des Orignal-Sensor­ signals nichtlineare Schaltungen verwendet werden, die besonders heiße innere Partien des Zieles im digitalen Bild doch noch feinstrukturieren, bevor sie in den Pufferspeicher gegeben werden. Ferner werden nach langen heißen Störobjekten nicht die tief ins Schwarze reichenden Ausschwinger, sondern (bildverbessernde) Ersatzbildpunkte in sinnvollem Wertebereich geliefert.a) By means of the buffer memory 3 and problem-specific software and / or hardware, the images are first prepared in a tracker-optimal manner. That can e.g. B. happen so that non-linear circuits are used for the AD conversion of the original sensor signals, the particularly hot inner parts of the target in the digital image still fine structure before they are placed in the buffer memory. Furthermore, after long hot disturbing objects, it is not the swing-out swingers that reach deep into the black, but (image-improving) replacement pixels in a reasonable range of values.
  • b) Einem Korrelationstracker könnte man zur Vermeidung des Zielverlustes bei Kontrastumkehr (kalter/warmer Hintergrund) nicht nur das Originalbild des Zieles, sondern auch sein Negativ einspeichern, auf das er bei Bedarf, d. h. extremem Absinken des Korrelationsmaximums, zurückgreifen kann.b) One could avoid a correlation tracker the loss of target when the contrast is reversed (cold / warm background) save only the original image of the target, but also its negative, on which he can if necessary, d. H. extreme decrease in the correlation maximum, can fall back.

Im Falle der Zielverdeckungen und von den realen Zielbewegungen zuwiderlaufenden Prädiktionen sind verbesserte Suchkriterien und Suchverfahren zur Wiederent­ deckung eines Zieles vorgesehen. So wird während einer vollständigen Ziel­ verdeckung in der sogenannten Prädiktionsbetriebsart die Bahn des Zieles geschätzt. Vergeht eine zu lange Zeit bis zur Wiedererkennung, laufen die geschätzte Zielbahn und die reale Zielbewegung auseinander, d. h. das Ziel befindet sich nach Wiedererscheinen weit von der Visierlinie ent­ fernt und ist im begrenzten Suchbereich vor allem von Korrelationstrackern nicht mehr erkennbar. Hier soll nun erfindungsgemäß nach längerer Verdeckung der Suchbereich des Trackers per Programm um das zentrale Suchgebiet herum (außerhalb der Visierlinie) geführt werden, um die Entdeckungswahrscheinlichkeit zu erhöhen. Denkbar sind Suchalgorithmen, mit deren Hilfe das Trackfenster auf die vier Ecken eines um die Visierlinie gedachten Quadrates positioniert wird und von Bild zu Bild fortgeschaltet z. B. nach Uhrzeiger die Visier­ linie umläuft. Diese Suchverfahren lassen sich leicht von der Zielgeschwindigkeit abhängig machen und damit die Suche auf mehr oder weniger großen ggf. auch spiralig aufspreizenden Bahnen ringsum die Visierlinie durchführen.In the case of target obscuration and contradicting real target movements Predictions are improved search criteria and search methods for re-ent coverage of a target is provided. So during a complete goal cover the path of the target in the so-called prediction mode estimated. If it takes too long to be recognized, they run  Estimated target path and the real target movement apart, d. H. the After reappearance, the target is far from the line of sight remotely and is in the limited search area especially from correlation trackers no longer recognizable. Here, according to the invention, after prolonged concealment the search area of the tracker per program around the central search area (outside the line of sight) to determine the probability of detection to increase. Search algorithms are conceivable with the help of which the track window positioned on the four corners of a square around the line of sight is and progressed from picture to picture z. B. the visor clockwise line revolves. These search methods can be easily determined by the target speed make dependent and thus the search on more or less large if necessary also run spirally spreading paths all around the line of sight.

Claims (27)

1. Verfahren zur Erkennung und Verfolgung eines Zieles unter Verwendung eines Zielverfolgungssystems, das aus einem optronischen Bildsensor, eine Bildauswertelogik, einer Nachführautomatik für den Bildsensor und einem Bediengerät besteht, wobei die Nachführautomatik nach dem Korrelationsprinzip durch Vergleich der zwischengespeicherten Bilder der aktuellen Szene mit einer ge­ speicherten Referenzansicht des Zieles arbeitet und nach jedem Bild ein Ablagesignal an die Nachführautomatik liefert sowie eine elektronische Entscheidungs- oder Lernlogik durch Informationen, insbesondere durch Ähnlichkeit von zwischengespeicherter und aktueller Zielansicht, Zielge­ schwindigkeit oder Zielverdeckung, für die Aktualisierung oder Auswahl verschiedener, an einen gemeinsamen Datenbus angeschlossener Ziel­ speicher sorgt, dadurch gekennzeichnet, daß ein zusätzlicher Bildspeicher (3) als Arbeitsspeicher für die Bildverarbeitung nach der Bilderzeugung verwendet wird, daß die Bildauswertelogik (4) zu dem Arbeitsspeicher (3) jederzeit nach der Bilderzeugung durch den Sensor (1) wahlfreien Zugriff hat, daß die Bildauswertelogik (4) während der Suchphase mittels ver­ schiedener hierachisch gestaffelter Filterverfahren Ziele und Störobjekte voneinander unterscheidet, und daß nach einwandfreier Identifizierung automatisch auf die Verfolgung eines Zieles umgeschaltet wird, wenn durch die Filter (6) eine ausreichende sichere Zieldetektion bestätigt worden ist.1. A method for recognizing and tracking a target using a target tracking system, which consists of an optronic image sensor, an image evaluation logic, automatic tracking for the image sensor and an operating device, the automatic tracking according to the correlation principle by comparing the temporarily stored images of the current scene with a ge stored reference view of the target works and delivers a filing signal to the automatic tracking system after each picture, as well as electronic decision-making or learning logic through information, in particular through the similarity of the buffered and current target view, target speed or target concealment, for updating or selecting different ones on a common data bus Connected destination memory, characterized in that an additional image memory ( 3 ) is used as a working memory for image processing after image generation, that the image evaluation logic ( 4 ) random access to the main memory ( 3 ) at any time after the image has been generated by the sensor ( 1 ), that the image evaluation logic ( 4 ) differentiates targets and interfering objects from one another during the search phase by means of various hierarchically staggered filtering methods, and automatically after proper identification is switched to the pursuit of a target when the filter ( 6 ) has confirmed a sufficient safe target detection. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Arbeitsspeicher (3) zur Bestimmung lokaler Kontrastschwellen (Temperaturschwellen) in ge­ trennte Segmente aufgeteilt wird, und daß in jedem Segment eine lokale Kontrastschwelle (Temperaturschwelle) bestimmt wird.2. The method according to claim 1, characterized in that the working memory ( 3 ) for determining local contrast thresholds (temperature thresholds) is divided into separate segments, and that a local contrast threshold (temperature threshold) is determined in each segment. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß jedes Segment des Arbeitsspeichers (3) mittels der Filter (6) nach einer vorgegebenen Reihen­ folge von Diskriminationsschritten durchgemustert wird.3. The method according to claim 1 or 2, characterized in that each segment of the working memory ( 3 ) by means of the filter ( 6 ) is screened for a predetermined sequence of discrimination steps. 4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Bildsensor (1) eine TV-Kamera mit Kurzzeitbelichtung verwendet wird, deren Strahl­ ablenkung derart gestaltet ist, daß ein beliebiger Zugriff zu gespeicherten Bildteilen ermöglicht wird.4. The method according to claim 1, characterized in that a TV camera with short exposure is used as the image sensor ( 1 ), the beam deflection is designed such that any access to stored image parts is made possible. 5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Bildsensor (1) ein Wärmebildgerät mit unvollständiger CCIR-Norm vorgesehen wird, dessen vertikale Ablenkung zum Zwecke einer streifenförmigen Himmels­ abtastung während eines Detektionsvorganges abgeschaltet werden kann.5. The method according to claim 1, characterized in that a thermal imaging device with incomplete CCIR standard is provided as the image sensor ( 1 ), the vertical deflection of which can be switched off for the purpose of a strip-shaped sky scanning during a detection process. 6. Verfahren nach Anspruch 5, gekennzeichnet durch die Verwendung eines Wärmebildsensors mit TDI-Sensorzeile.6. The method according to claim 5, characterized by the use of a Thermal image sensor with TDI sensor line. 7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß als Bildsensor (1) ein Wärmebildgerät in Vertikal-Abtasttechnik mit nachgeschaltetem Normwandler- Bildspeicher verwendet wird.7. The method according to claim 1, characterized in that a thermal imaging device in vertical scanning technology with a downstream standard converter image memory is used as the image sensor ( 1 ). 8. Verfahren nach Anspruch 5, 6 oder 7, dadurch gekennzeichnet, daß die Bilder durch eine sensorspezifische Bildverarbeitung trackeroptimal aufbereitet werden.8. The method according to claim 5, 6 or 7, characterized in that the images optimally processed by a sensor-specific image processing system will. 9. Verfahren nach Anspruch 8, gekennzeichnet durch eine trackeroptimale Aufbe­ reitung mittels eines Pufferspeichers (3). 9. The method according to claim 8, characterized by a tracker optimal preparation by means of a buffer memory ( 3 ). 10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß für die Analog- Digital-Wandlung des Original-Sensorsignals nichtlinerare Schaltungen verwendet werden, die besonders heiße innere Partien des Zieles im digitalen Bild feinstrukturieren, bevor sie in einen Pufferspeicher gegeben werden.10. The method according to claim 8, characterized in that for the analog Digital conversion of the original sensor signal of non-linear circuits be used, the particularly hot inner parts of the target in the Fine-tune digital image before storing it in a buffer are given. 11. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß einem Korrelations­ tracker (9) zur Vermeidung des Zielverlustes bei Kontrastumkehr neben dem Originalbild des Zieles auch sein Negativ eingespeichert wird, auf das der Korrelationstracker (9) bei extremen Absinken des Korrelations­ maximums zurückgreift.11. The method according to claim 8, characterized in that a correlation tracker (9) may also be negative is stored to avoid the target loss in contrast reversal in addition to the original image of the target to which the correlation tracker (9) falls back in extreme lowering of the correlation maximum. 12. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß neben dem Korrelationstracker (9) ein zusätzlicher Kontrasttracker (10) verwendet wird, der bei einem Zielverlust als Zieldetektionseinrichtung fungiert.12. The method according to claim 1, characterized in that in addition to the correlation tracker ( 9 ), an additional contrast tracker ( 10 ) is used, which acts as a target detection device when a target is lost. 13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß die Zielver­ folgungseinrichtung (7) nur dann in die Kontrastbetriebsart überge­ führt wird, wenn die über der Kontrastschwelle liegende Bildpunktmenge des Zieles, die vornehmlich während der Korrelationsbetriebsart durch Akkumulation festgestellt wurde, eine vorgegebene Größe hat.13. The method according to claim 12, characterized in that the Zielver tracking device ( 7 ) is only in the contrast mode leads when the overlying contrast threshold amount of pixels of the target, which was determined primarily during the correlation mode by accumulation, has a predetermined size . 14. Verfahren nach Anspruch 13, gekennzeichnet durch die Verwendung von Varianzgrenzen, derart, daß eine positive Abweichung von akkumulierten Bildpunktmengen-Mittelwert streng, eine negative Abweichung (Teilver­ deckung) großzügig bewertet wird.14. The method according to claim 13, characterized by the use of variance boundaries, such that a positive deviation from accumulated Pixel quantity mean strict, a negative deviation (partial ver coverage) is rated generously. 15. Verfahren nach Anspruch 12, dadurch gekennzeichnet, daß die Zielver­ folgungseinrichtung (7) nur dann in die Kontrastbetriebsart überge­ führt wird, wenn die für die Bildpunktmengendefinition notwendige Schwellermittlung während des Korrelationsbetriebes zu sinnvollen, aus einem akkumulierten zeitlichen Mittelwert sich ergebenden Werten geführt hat.15. The method according to claim 12, characterized in that the target tracking device ( 7 ) is only converted into the contrast mode when the threshold determination required for the pixel quantity definition during the correlation operation has led to meaningful values resulting from an accumulated time average. 16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß der zeitliche Mittelwert von einem Spitzenwert abgeleitet wird. 16. The method according to claim 15, characterized in that the temporal Mean is derived from a peak.   17. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, daß die Rückkehr in die Korrelationsbetriebsart mit der nun aktuellen Zielan­ sicht durch einen Einspeicherimpuls an den Zielspeicher des Korrelators ausgelöst wird, wenn die Varianz der Bildpunktmenge des Zieles für eine vorgegebene Zeitdauer gegen Null geht.17. The method according to claim 13 or 14, characterized in that the Return to the correlation mode with the now current target view through a storage pulse to the target memory of the correlator is triggered when the variance of the pixel set of the target for a predetermined period of time approaches zero. 8. Verfahren nach einem der Ansprüche 12 bis 17, dadurch gekennzeichnet, daß die von der Zielverfolgungseinrichtung (7) gelieferten Positions­ meßwerte mittels Trackreglersoftware in systemangepaßte Führungssignale umgewandelt werden.8. The method according to any one of claims 12 to 17, characterized in that the position measured values supplied by the target tracking device ( 7 ) are converted into system-adapted guide signals by means of track controller software. 19. Verfahren nach Anspruch 18, gekennzeichnet durch die Umschaltung der PID-Reglerkonstanten in Abhängigkeit von der Betriebsart.19. The method according to claim 18, characterized by switching the PID controller constants depending on the operating mode. 20. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß nach einer vollständigen Zielverdeckung für eine längere Zeitdauer ein ziel­ winkelgeschwindigkeitsabhängiges Suchverfahren zur Wiedererkennung des Zieles verwendet wird.20. The method according to claim 1, characterized in that after a complete goal concealment for a longer period of time Search method for recognition based on the angular velocity of the target is used. 21. Verfahren nach Anspruch 20, gekennzeichnet durch die Verwendung von Suchalgorithmen, mit deren Hilfe das Fenster der Zielverfolgungs­ einrichtung auf die vier Ecken eines um die Visierlinie gedachten Quadrates positioniert wird und die Visierlinie umläuft.21. The method according to claim 20, characterized by the use of Search algorithms that help the window of tracking set up on the four corners of an imaginary one around the line of sight Square is positioned and the line of sight revolves. 22. Verfahren nach Anspruch 21, gekennzeichnet durch einen Umlauf im Uhrzeigersinn.22. The method according to claim 21, characterized by a circulation in Clockwise. 23. Verfahren nach Anspruch 20, dadurch gekennzeichnet, daß dem Korrelations­ tracker (9) zur Wiederkennung eines Zieles nach Kontrastumkehr die in der Helligkeit invertierte Ansicht des Zieles bei der Zielauffassung und späteren Aktualisierungsschritten zur Korrelation eingegeben wird.23. The method according to claim 20, characterized in that the correlation tracker ( 9 ) for recognizing a target after contrast reversal, the inverted in brightness view of the target is entered in the target acquisition and later update steps for correlation. 24. Verfahren nach Anspruch 20, dadurch gekennzeichnet, daß dem Korrelations­ tracker (9) zur Wiedererkennung eines Zieles nach plötzlichen Drehungen um eine Achse die um diese Achse verdrehten Ansichten eines Zieles eingegeben werden. 24. The method according to claim 20, characterized in that the correlation tracker ( 9 ) for recognizing a target after sudden rotations about an axis, the rotated views of a target are entered about this axis. 25. Verfahren nach Anspruch 24, dadurch gekennzeichnet, daß die verdrehten Ansichten eines Zieles aus der aktuellen Zielansicht erstellt werden.25. The method according to claim 24, characterized in that the twisted Views of a target can be created from the current target view. 26. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Korrelations­ tracker (9) einen digitalen Regler zur Führung einer stabilisierten Plattform enthält, dessen Zeitkonstanten und Reglereigenschaften in Abhängigkeit von den Betriebsarten Korrelationstracken, Kontrasttracken oder Prädiktion umgeschaltet oder kontinuierlich einander angepaßt werden.26. The method according to claim 1, characterized in that the correlation tracker ( 9 ) contains a digital controller for guiding a stabilized platform, the time constants and controller properties of which are switched or continuously adapted to one another depending on the operating modes correlation tracks, contrast tracking or prediction. 27. Verfahren nach Anspruch 26, dadurch gekennzeichnet, daß der digitale Regler sowohl während der Trackbetriebsarten als auch während der vorherigen Zielsuche mittels zuvor programmierbarer Suchstrategie die Führung der Plattform übernimmt.27. The method according to claim 26, characterized in that the digital Controls both during track modes and during previous target search using a previously programmable search strategy takes over the management of the platform.
DE3034838A 1980-09-16 1980-09-16 Procedure for recognizing and tracking a target Expired - Lifetime DE3034838C1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE3034838A DE3034838C1 (en) 1980-09-16 1980-09-16 Procedure for recognizing and tracking a target
FR8117451A FR2661738A1 (en) 1980-09-16 1981-09-16 Method of detecting and tracking a target, particularly a flying missile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE3034838A DE3034838C1 (en) 1980-09-16 1980-09-16 Procedure for recognizing and tracking a target

Publications (1)

Publication Number Publication Date
DE3034838C1 true DE3034838C1 (en) 1990-11-29

Family

ID=6112033

Family Applications (1)

Application Number Title Priority Date Filing Date
DE3034838A Expired - Lifetime DE3034838C1 (en) 1980-09-16 1980-09-16 Procedure for recognizing and tracking a target

Country Status (2)

Country Link
DE (1) DE3034838C1 (en)
FR (1) FR2661738A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2842684A1 (en) * 1978-09-30 1980-04-10 Licentia Gmbh DEVICE FOR DETECTING AND TRACKING A GOAL

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2842684A1 (en) * 1978-09-30 1980-04-10 Licentia Gmbh DEVICE FOR DETECTING AND TRACKING A GOAL

Also Published As

Publication number Publication date
FR2661738A1 (en) 1991-11-08

Similar Documents

Publication Publication Date Title
DE69302975T2 (en) Vehicle position detection system on a lane
DE3841387C2 (en)
EP1589484B1 (en) Method for detecting and/or tracking objects
DE69322306T2 (en) Object recognition system using image processing
DE102010012811B4 (en) Method for measuring speeds and associating the measured speeds with appropriate vehicles by collecting and merging object tracking data and image tracking data
EP0877951B1 (en) Range and/or position measurement equipment
DE2802441C3 (en) Device for recording infrared images with a recording tube with a pyroelectric target
DE102007044605B4 (en) surveying equipment
DE69017811T2 (en) Tracking system with forced correlation / mixture mode.
DE2258046A1 (en) METHOD OF TRACKING THE TRACK OF A TARGET WITH THE AID OF A TELEVISION SYSTEM AND SYSTEM FOR CARRYING OUT SUCH A PROCEDURE
DE102015216908A1 (en) Method of detecting objects on a shelf
EP1531342B1 (en) Method of detecting pedestrians
DE102008063121A1 (en) Exposure control device and exposure control program for electronic vehicle camera
EP1273928A1 (en) Method and device for suppressing electromagnetic background radiation in an image
DE2816332A1 (en) SYSTEM FOR IDENTIFYING A MOVING SOUND SOURCE
DE4332753C2 (en) Process for the detection of moving objects
EP3391163A1 (en) Device and method for an unmanned flying object
EP1460454A2 (en) Method for combined processing of high resolution images and video images
DE69213897T2 (en) Device for measuring the distance between vehicles
DE2302666A1 (en) METHOD AND SYSTEM FOR TRACKING THE TRACK OF A TARGET
DE69309730T2 (en) Elimination of temporary events for recording and tracking
DE2106035C3 (en) Device for checking the conformity of the shape of an electromagnetically generated object image with a predetermined scheme
DE3034838C1 (en) Procedure for recognizing and tracking a target
DE3614277A1 (en) SCAN FIRE MONITORING SYSTEM
DE3049397A1 (en) METHOD AND DEVICE FOR FOCUSING PHOTOGRAPHIC APPARATUS

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
D1 Grant (no unexamined application published) patent law 81
8320 Willingness to grant licences declared (paragraph 23)
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee