DE2950652B3 - Method for tracking object under use of object tracking system, involves employing different characteristics or changes of characteristic of object on one hand and object environment on other hand to find local demarcation - Google Patents

Method for tracking object under use of object tracking system, involves employing different characteristics or changes of characteristic of object on one hand and object environment on other hand to find local demarcation Download PDF

Info

Publication number
DE2950652B3
DE2950652B3 DE2950652A DE2950652A DE2950652B3 DE 2950652 B3 DE2950652 B3 DE 2950652B3 DE 2950652 A DE2950652 A DE 2950652A DE 2950652 A DE2950652 A DE 2950652A DE 2950652 B3 DE2950652 B3 DE 2950652B3
Authority
DE
Germany
Prior art keywords
target
tracking
image
mask
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE2950652A
Other languages
German (de)
Inventor
Karl-Heinz Dipl.-Ing. Bers
Manfred Dr.-Ing. Bohner
Horst Dr.-Ing. Gerlach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LFK Lenkflugkoerpersysteme GmbH
Original Assignee
LFK Lenkflugkoerpersysteme GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LFK Lenkflugkoerpersysteme GmbH filed Critical LFK Lenkflugkoerpersysteme GmbH
Priority to DE2950652A priority Critical patent/DE2950652B3/en
Anticipated expiration legal-status Critical
Application granted granted Critical
Publication of DE2950652B3 publication Critical patent/DE2950652B3/en
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

The method involves employing different characteristics or changes of characteristic of an object on one hand and the object environment on the other hand to find a local demarcation between object portion and environment portion. The visible portions of the object of foremost and background disturbing influences are separated.

Description

Die Erfindung betrifft ein Verfahren zur Verfolgung eines Zieles unter Verwendung eines Zielverfolgungssystems, wie es im Oberbegriff von Anspruch 1 beschrieben ist.The The invention relates to a method for tracking a target under Use of a tracking system as described in the preamble of Claim 1 is described.

Zielverfolgungssysteme bestehend aus einem Bildsensor, einer bildverarbeitenden elektronischen Logik sowie einem Sensorantrieb, welcher mit Hilfe der Analyseergebnisse der elektronischen Logik den Bildsensor einem vorgegebenen bewegten Ziel nachführen kann, sind seit einiger Zeit allgemein bekannt. Dabei kann die bildverarbeitende Logik nach verschiedenen Auswertverfahren vorgehen: Einfache Methoden beruhen auf dem sogenannten Kontrastprinzip, bei welchem sich das zu verfolgende Ziel durch Extreme (Maxima oder Minima) in der Lichtintensität von der Umgebung abheben muß. Allgemeinere Methoden arbeiten mit Bildvergleichsverfahren, bei welchen in einem – gegebenenfalls adaptionsfähigen – Gedächtnis eine Ansicht des Zieles als Referenz gespeichert und die aktuelle, fortlaufende Szene innerhalb eines vorgegebenen Erwartungsbereiches ständig nach dieser Referenz abgesucht wird.Tracking systems consisting of an image sensor, an image processing electronic Logic and a sensor drive, which with the help of the analysis results the electronic logic the image sensor a predetermined moving Track goal can, have been well known for some time. Here, the image processing Logic according to different evaluation methods: Simple methods are based on the so-called contrast principle, in which the to be pursued by extremes (maxima or minima) in the light intensity of the Environment must take off. More general methods work with image comparison methods which in one - if necessary adaptive - memory one View of the destination saved as a reference and the current, continuous Scene within a given expectation area constantly after This reference is searched.

Ein Problem bei derartigen Bildvergleichsverfahren besteht darin, daß der Referenzspeicher im Idealfall nur das Bild des zu verfolgenden Zieles enthalten sollte, da gleichzeitig im Referenzspeicher enthaltene Bildanteile der Umgebung (Hintergrund, Vordergrund) des Zieles das Ergebnis des Bildvergleiches unsicher oder gegebenenfalls unbrauchbar werden lassen. Da die Zielansicht selbst in der Größe beträchtlich schwanken kann, ist es auch nicht möglich, mit einer mittleren Standartreferenz-Größe alle Größenschwankungen der Zielansicht ausreichend abzudecken.One Problem with such image comparison method is that the reference memory in Ideally, it should contain only the image of the target to be tracked, since at the same time contained in the reference memory image portions of the environment (Background, foreground) of the target the result of the image comparison unsafe or possibly unusable. Because the target view even in size considerably It is also not possible with a medium Standard reference size all size variations sufficiently cover the target view.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Verfolgung eines Zieles vorzuschlagen, mit dem eine Trennungslinie zwischen den sichtbaren Zielpartien und der Umgebung im Bild der Kontur des Zieles bestimmt werden kann, wobei das Verfahren, vom Rechenaufwand her betrachtet, schnell genug durchführbar sein soll, um in Echtzeit-Zielverfolgungssystemen eingesetzt werden zu können.Of the Invention is based on the object, a method for tracking to propose a goal with a dividing line between the visible target parts and the environment in the image of the contour of the Objective can be determined, taking the procedure, from the computational effort Considered to be fast enough to be feasible in real-time tracking systems to be used.

Die Aufgabe wird erfindungsgemäß durch die im Kennzeichen von Anspruch 1 angegebenen Verfahrensmerkmale gelöst.The The object is achieved by the solved in the characterizing part of claim 1 specified process characteristics.

Ausgestaltungen der Erfindung sind in den Unteransprüchen 2 bis 9 beschrieben.refinements The invention are described in the dependent claims 2 to 9.

Die erfindungsgemäßen Verfahren bauen auf bestehenden, bildanalysierenden, digitalelektronischen Logiken zur Berechnung der Ablagewerte des Zieles von der Visierlinie eines Bildsensors – im folgenden kurz Tracker genannt – auf. Zunächst wird der im Tracker enthaltene Referenzspeicher, der im allgemeinen einen rechteckigen Bildausschnitt gespeichert hält, dessen Inhalt zum Vergleich mit der fortlaufenden Szene herangezogen und zudem ständig an die aktuelle Zielansicht angepaßt wird, durch Einführung sogenannter Masken, die die ungewollten Speicheranteile sowohl beim Bildvergleich als auch beim Anpassen an neue Zielansichten unterdrücken, ergänzt. Zum Auffrischen des Referenzspeichers werden die Masken generiert. Es werden unterschiedliche Merkmale und/oder Merkmalsänderungen des Zieles einerseits und der Zielumgebung andererseits dazu benutzt, die gesuchte Trennungslinie zwischen Ziel und Zielumgebung zu bestimmen.The inventive method build on existing, image-analyzing, digital electronic Logics for calculating the deposit values of the target from the sighting line an image sensor - in the following short tracker called - up. First becomes the reference memory contained in the tracker, which in general a rectangular image section stores its content for comparison used with the ongoing scene and constantly on adapted the current target view will, by introduction So-called masks, which are the unwanted memory components both in Suppress image comparison as well as adapt to new target views, added. To the Refreshing the reference memory generates the masks. It become different features and / or feature changes the target on the one hand and the target environment on the other hand, to determine the desired dividing line between target and target environment.

Der wesentliche Vorteil der Erfindung ist darin zu sehen, daß eine automatische Ermittlung einer stets optimalen Referenzspeichergröße und somit die Angabe eines optimierten Adaptionsverfahrens erfolgt.Of the significant advantage of the invention is the fact that an automatic Determination of an always optimal reference memory size and thus the Specification of an optimized adaptation method takes place.

In der Zeichnung ist ein Ausführungsbeispiel nach der Erfindung dargestellt, und zwar zeigtIn The drawing is an embodiment after of the invention, and that shows

1 eine schematische Darstellung, an Hand der die Erzeugung einer Bildvergleichsmaske erläutert wird, 1 a schematic representation, on the basis of the generation of an image comparison mask is explained,

2 eine schematische Darstellung zur Erläuterung der Erzeugung einer verbesserten Austauschmaske, 2 a schematic representation for explaining the generation of an improved replacement mask,

3 einen in sechs Teilreferenzbereiche unterteilten Referenzspeicher mit partieller Austauschunterdrückung, wobei neun unterschiedliche Vordergrundstörungszustände in einer entsprechenden Anzahl von Teilbildern gezeigt werden, und 3 a reference memory with partial replacement suppression subdivided into six partial reference areas, wherein nine different foreground interference states are shown in a corresponding number of partial images, and

4 eine graphische Darstellung der Ähnlichkeit als Funktion der Zeit sowie fünf Hintergrundstörungszustände zur Erläuterung des Prinzips der Hintergrundkorrelation. 4 a graphical representation of the similarity as a function of time and five background noise states to explain the principle of the background correlation.

Aus 1 sind mehrere Blöcke ersichtlich, von denen jeder Block das Ergebnis eines oder mehrerer Verfahrensschritte zur Erzeugung einer Bildvergleichsmaske symbolisiert. Die Bildvergleichsmaske, bei der es sich um die wichtigste Maske des erfindungsgemäßen Verfahrens handelt, kann durch die nachfolgend beschriebenen Verfahrensschritte unter Ausnutzung der im folgenden angegebenen mathematischen Rechenoperationen erhalten werden:Out 1 Several blocks are visible, each block of which symbolizes the result of one or more method steps for generating an image comparison mask. The image comparison mask, which is the most important mask of the method according to the invention, can be obtained by the method steps described below using the mathematical arithmetic operations given below:

Schritt 1: Räumliches Differenzieren des akkumulierten Speicherinhaltes 1 des Referenzspeichers eines Trackers. Hierdurch werden alle Kanten des gespeicherten Bildes des Zielobjektes (mathematisch: Gradienten der originalen Intensitätsverteilung) hervorgehoben, denn bei einem bewegten Objekt wird durch den Akkumulierprozeß die Zielumgebung stark verschliffen, so daß die Zielumgebung im Gradientenbild 2 kaum Struktur zeigen wird.Step 1: Spatially differentiating the accumulated memory contents 1 the reference memory of a tracker. As a result, all edges of the stored image of the target object (mathematically: gradients of the original intensity distribution) are highlighted, because in a moving ob ject, the accumulation process sharpens the target environment so that the target environment in the gradient image 2 hardly will show structure.

Schritt 2: Setzen einer Schwelle im Gradientenbild 2 dergestalt, daß die im Gradientenbild hervortretende Konturlinie des Zieles im wesentlichen oberhalb der Schwelle liegt.Step 2: Set a threshold in the gradient image 2 such that the contour line of the target projecting in the gradient image lies substantially above the threshold.

Schritt 3: Bildung einer sogenannten Zielmaske 3, durch gerichtetes Abtasten des Gradientenbildes 2 vom Rand her zur Mitte hin, dergestalt, daß alle Bildanteile unterhalb der Schwelle als nicht zum Ziel gehörend gerechnet werden und der Abtastprozeß beim Erreichen von oberhalb der Schwelle liegenden Werten des Gradientenbildes 2 abgebrochen wird.Step 3: Formation of a so-called target mask 3 , by directionally scanning the gradient image 2 from the edge towards the center, such that all image components below the threshold are counted as not belonging to the target and the scanning process when reaching above-threshold values of the gradient image 2 is canceled.

Durch diese drei Schritte ist unter Ausnutzung des Merkmals "die akkumulierte Umgebung ist strukturarm" das Ziel gegen die Zielumgebung abgesetzt worden. Das nächste, auszunutzende Merkmal ist die zeitlich rasche Veränderung von sich vor das Ziel schiebenden Störungen der aktuellen Szene 4. Daraus ergibt sichThrough these three steps, using the feature "the accumulated environment is structurally poor," the target has been dropped off against the target environment. The next characteristic to exploit is the rapid change of the current scene's disruption of the target 4 , This results in

Schritt 4: Bildung der Betragsdifferenz zwischen im Referenzspeicher gespeichertem Zielbild 1 und aktueller Szene 4 und Erzeugung einer Differenzbildmaske 5 durch Abspeicherung aller oberhalb einer vorgegebenen Schwelle liegenden Bildpunkte im Differenzbild 10. Die wesentlichen Amplituden des Differenzbildes 10 werden durch sich zwischen Ziel und Beobachter schiebende Hindernisse 8 verursacht und durch die Schwelle wird gewährleistet, daß zufällige kleine Abweichungen nicht mit erfaßt werden.Step 4: Forming the amount difference between target image stored in the reference memory 1 and current scene 4 and generating a difference image mask 5 by storing all above a given threshold pixels in the difference image 10 , The significant amplitudes of the difference image 10 become obstructive obstacles between goal and observer 8th caused by the threshold and ensures that random small deviations are not included.

Schritt 5: Logische Verknüpfung von Zielmaske 3 und Differenzbildmaske 5 zur Bildvergleichsmaske 6 dergestalt, daß aus der Zielmaske 3 noch die in der Differenzbildmaske 5 erkannten Vordergrundstörungen 8 ausgeblendet werden. Die so erhaltene Bildvergleichsmaske 6 enthält also nur die sichtbaren Zielpartien und damit können, bei dem zur Lagebestimmung erforderlichen Bildvergleich, alle störenden, d. h. nicht durch die Bildvergleichsmaske 6 zugelassenen Partien des Referenzspeicherinhaltes 1 ausgeblendet werden.Step 5: Logical Linking of Target Mask 3 and difference image mask 5 to the image comparison mask 6 such that from the target mask 3 still in the difference image mask 5 detected foreground disorders 8th be hidden. The image comparison mask thus obtained 6 So contains only the visible target parts and thus, in the image comparison required for determining the position, all disturbing, ie not by the image comparison mask 6 approved lots of the reference memory content 1 be hidden.

Ein weiterer Nutzen der Differenzbildmaske 5 ist, daß mit ihrer Hilfe verhindert werden kann, daß die erwähnten Vordergrundstörungen 8 mit in den sich ständig anpassenden Referenzspeicher aufgenommen werden. Sie kann also auch als sogenannte Austauschmaske 7 herangezogen werden in der Gestalt, daß jetzt alle, unterhalb der Differenzbildschwelle liegenden Punkte, zum Referenzspeicher-Auffrischen zugelassen werden. In dieser Näherung ist die Austauschmaske 7 also die Komplementärmaske zur Differenzbildmaske.Another benefit of the difference image mask 5 is that with their help can be prevented that mentioned foreground disturbances 8th be included in the constantly adaptive reference memory. It can also be used as a so-called replacement mask 7 are used in the form that now all below the difference image threshold points are allowed for reference memory refresh. In this approximation is the replacement mask 7 So the complementary mask to the difference image mask.

Die oben beschriebenen Verfahrensschritte zur Erzeugung von Austauschmaske 7 und Bildvergleichsmaske 6 können noch verschiedentlich durch Ausnutzung weiterer Merkmale ergänzt und verfeinert werden. Bezüglich der Bestimmung der neuesten Zielmaske kann man die letzten, zeitlich vorangehenden Zielmasken mit heranziehen, um so die Störanfälligkeit gegen leicht mögliche und oft zeitlich singuläre Fehlfunktionen bei der Berechnung der Zielmaske zu verhindern.The process steps described above for the production of replacement mask 7 and image comparison mask 6 can still be supplemented and refined by taking advantage of additional features. With regard to the determination of the latest target mask, one can use the last target masks which preceded the time, in order to prevent the susceptibility to slight and often temporally singular malfunctions in the calculation of the target mask.

Da weiterhin Vordergrundstörungen, deren Analyse auf dem Merkmal "schnelle Änderungen" basiert, auch durch schnelle, nicht translatorische Bewegungen des Zieles, durch Reflexe, oder beispielsweise Schattenwurf auf dem Ziel vorgetäuscht werden können, muß zur Separierung der echten Vordergrundstörungen 8 eine Bewegungsanalyse der Störungen vorgenommen werden. Dies erfolgt gemäß dem in 2 dargestellten Beispiel durch Vergleich mehrerer zeitlich aufeinanderfolgender Differenzbildmasken, die auch als Austauschmasken 71 verwendet werden. Diese Differenzbildmasken werden gemäß dem vierten Verfahrensschritt des obenbezeichneten Verfahrens beispielsweise aus zwei zu den Zeitpunkten tn-1 und tn erfaßten Szenenbildern 41 und 42 gewonnen, wobei zunächst aus den Betragsdifferenzen zwischen im Referenzspeicher gespeichertem Zielbild 1 und den beiden aktuellen Szenenbildern 41 und 42 zwei Differenzbilder 11 und 12 gebildet werden. Die mit 8 und 9 bezeichneten Störungen zeigen folgendes: Wenn die Störung relativ zum Ziel ruht, ist die Störung eine die ausgetauscht werden muß. Dies gilt für die Störung 9. Im Gegensatz hierzu wandert die Störung 8 über das Ziel; es handelt sich somit um einen Vordergrundeinfluß.Furthermore, because foreground perturbations, whose analysis is based on the "fast changes" feature, can also be simulated by fast, non-translational movements of the target, by reflexes, or, for example, shadow casting on the target, must be used to separate true foreground perturbations 8th a motion analysis of the disturbances are made. This is done according to the in 2 illustrated example by comparing a plurality of temporally successive difference image masks, which also serve as replacement masks 71 be used. These difference image masks, according to the fourth method step of the above-mentioned method, for example, from two scene images detected at the times t n-1 and t n 41 and 42 obtained, wherein first from the magnitude differences between stored in the reference memory target image 1 and the two current scene images 41 and 42 two difference pictures 11 and 12 be formed. With 8th and 9 When the disturbance is relative to the target, the disturbance is one that needs to be replaced. This applies to the disorder 9 , In contrast, the disorder migrates 8th about the goal; it is therefore a foreground influence.

Man kann die in der Zielmaske 3 gefundenen Konturen des Zieles dazu heranziehen, die Größe des Referenzspeichers der Zielgröße anzupassen. Dies geschieht am besten dadurch, daß man die horizontale und vertikale Ausdehnung der längerfristig zeitlich gemittelten Zielmaske 3 bestimmt und die genutzte Referenzspeichergröße durch Hinzunahme eines bestimmten Prozentsatzes (beispielsweise 20%) Zielumgebung festlegt. Damit optimiert man den Konturfindungsprozeß, denn ein zu großer Umgebungsanteil im Referenzspeicher erhöht die Chance einer fehlerhaften Konturfindung. Das Signal der Abweichung, zwischen gewünschter Referenzspeichergröße, d. h. dem genutzten Speicherbereich und der tatsächlichen Referenzspeichergröße, kann auch zur Regelung eines Zoomes des Bildsensors herangezogen werden, dergestalt, daß diese Abweichung zu null geregelt wird.You can do that in the destination mask 3 found contours of the target to adjust the size of the reference memory of the target size. This is best done by considering the horizontal and vertical extent of the longer-term time-averaged target mask 3 determines and determines the reference memory size used by adding a certain percentage (for example, 20%) of the target environment. This optimizes the contouring process, because an excessive amount of ambient space in the reference memory increases the chance of faulty contour finding. The signal of the deviation, between desired reference memory size, ie the used memory area and the actual reference memory size, can also be used to control a zoom of the image sensor, such that this deviation is regulated to zero.

Bei länger andauernder Zielverfolgung kann es durch das ständige auf-den-neuesten-Stand-bringen (Auffrischen) des Referenzspeichers vorkommen, daß die eigentliche Zielansicht langsam aus dem Referenzspeicher herausdriftet.With longer-lasting target tracking, it can by the constant up-to-date brin (Refresh) of the reference memory occur that the actual target view slowly drifts out of the reference memory.

Parallel zur Bestimmung der genutzten Referenzspeichergröße, kann die Zielmaske 3 auch dazu herangezogen werden, diese Zieldrift zu verhindern, und zwar beispielsweise durch Bestimmung der Mittelpunkte der maximalen horizontalen und vertikalen Ausdehnung der Zielmaske 3, oder durch Bestimmung ihres Flächenschwerkpunktes und durch langfristiges Zentrieren dieser Bezugspunkte auf den Mittelpunkt des Referenzspeichers.In parallel with the determination of the used reference memory size, the target mask 3 also be used to prevent this target drift, for example by determining the midpoints of the maximum horizontal and vertical extent of the target mask 3 , or by determining their center point and by centering these reference points on the center of the reference memory for a long time.

Nun kann es vorkommen, daß das zu verfolgende Ziel einige Zeit in Ruhe verharrt. Andererseits ist eine häufige Fehlkonstruktion von Trackern, daß sie sich fälschlicherweise auf Hindernisse im Vordergrund hängen. Um einen Ausweg bei diesen Fällen zu finden, bei denen der Tracker die Transversal-Geschwindigkeit "null" für das Ziel gefunden hat, dieser Zustand aber durch die ebenaufgezeichnete Fehlkonstruktion bewirkt wurde (d. h., daß der Tracker irrtümlicherweise eine stationäre Störung der Umgebung als Ziel ansieht, eine Situation, aus der er sich normalerweise selbst nicht befreien kann), wird eine Bewegungsdetektion nach folgendem Verfahren eingesetzt: durch Differenzbildung zweier oder mehrerer aktueller Szenenausschnitte kann ein sich aus der stationären Kulisse fortbewegendes Ziel erneut erstens detektiert werden und zweitens durch quantitative Auswertung der durch das bewegte Ziel sich im Bild fortbewegenden Differenzflächen dieses erneut lokalisiert und eingefangen werden.Now it can happen that the to be pursued goal remains for some time in peace. On the other hand a common one Misconstruction of trackers that they mistakenly hang on obstacles in the foreground. To find a way out in these cases too find where the tracker is the transversal speed "zero" for the target has found this condition but by the just recorded fault construction was effected (i.e., that the Tracker erroneously a stationary one disorder the environment as a goal, a situation that he usually looks like can not free itself), a motion detection according to the following Method used: by subtraction of two or more current Cutouts can be a moving from the stationary backdrop Objective again be detected first and secondly by quantitative Evaluation of moving through the moving target in the picture differential areas to be localized and captured again.

Bewegt sich das Trägerfahrzeug des Tracksystems selbst, so können diese sich bewegenden Differenzflächen auch durch Vordergrundstörungen verursacht werden. Für diesen Fall muß ein weiteres Kriterium zur Eingrenzung des ersten Falles gefunden werden und zwar dadurch, daß zusätzlich die schon erwähnte Differenzbildung Szene-Referenzspeicher herangezogen wird: Ein Vergleich der Differenzbilder aus aufeinanderfolgenden Szenenausschnitten und der Differenzbilder aus Referenzspeicher und dessen Szenenausschnitten ermöglicht gegen diese Vordergrundstörungen zu diskriminieren.Emotional the carrier vehicle of the track system itself, so can these moving differential surfaces are also caused by foreground disturbances become. For this case must be further criterion for the delimitation of the first case can be found and in that in addition to the already mentioned Difference scene reference memory is used: A comparison the difference pictures from successive scene sections and the difference images from reference memory and its scene sections allows against these foreground disorders to discriminate.

Ist die Zielverfolgungssituation so schwierig, daß sich ein Ziel nur ab und zu durch Lücken in der Vordergrundkulisse zu erkennen gibt, so kann noch ein anderes Merkmal herangezogen werden, nämlich, die Änderung der Ähnlichkeit in der Kulisse. Hierzu lädt man den Referenzspeicher (NR) mit einer Ansicht der Kulisse an einem vorgewählten Ort der Szene, an welchem das Ziel erwartet wird. Bewegt sich das erwartete Ziel hinter diesem Kulissenteil vorbei und wird es dabei partiell sichtbar, wird für die Dauer der Anwesenheit des Zieles an diesem Ort der Kulisse die Bildübereinstimmung zwischen Kulissenreferenz und aktueller Szene schlechter sein, als bei Abwesenheit des Zieles. Damit ist eine Möglichkeit der zeitlichen Lokalisierung des Zieles an dem vorgewählten Ort der Kulisse möglich. Mehrere Wiederholungen dieses Verfahrensschrittes können zu einer zusammengehörenden Zielverfolgungssequenz verarbeitet werfen.is the tracking situation is so difficult that a goal just goes off and on too through gaps In the foreground, there is another Feature, namely, the change the similarity in the scenery. Loads for this one the reference memory (NR) with a view of the scenery at one preselected Location of the scene where the goal is expected. Does that move? expected goal behind this gate part over and it will be there partially visible, is used for the duration of the presence of the target in this place the backdrop the Image agreement between setback reference and current scene are worse than in the absence of the target. This is a possibility of temporal localization of the target at the selected Location of the scenery possible. Several repetitions of this process step may be added a belonging together Throw tracking sequence processed.

Diese Situation illustriert 4. Der Rahmen x bezeichnet eine Hintergrundreferenz NR, während die Objektfrequenz mit OR bezeichnet ist. Das Ziel Y bewegt sich sichtbar oder auch großenteils verdeckt durch diesen Bildausschnitt: das Minimum des zeitlichen Ähnlichkeitsverlaufes Z ergibt den Zeitpunkt der Anwesenheit des Zieles am Ort des Bildausschnittes X.This situation illustrates 4 , The frame x denotes a background reference NR, while the object frequency is designated OR. The target Y moves visibly or largely obscured by this image section: the minimum of the temporal similarity course Z gives the time of the presence of the target at the location of the image section X.

In 3 ist ein Referenzspeicher 13 in sechs gleichgroße Teilfrequenzbereiche unterteilt, in denen jeweils ein Teil des den Referenzspeicherinhalt 1 bildenden Zieles eingespeichert ist. Durch diese Zerlegung des Referenzspeichers in Teilbereiche wird ermöglicht, zur Lage- und Ähnlichkeitsbestimmung des Zieles Bildvergleiche mit einem aktuellen Szenenbild getrennt für einen, mehrere oder Kombinationen von Teilbereichen durchzuführen. Starke Abweichungen der Lage und Ähnlichkeit einzelner Teilbereiche oder Teilbereichskombinationen untereinander und/oder Abweichungen von vergangenen Lage- und Ähnlichkeitswerten zur Unterdrückung solcher Bereiche können sowohl bei der Zielpositionsbestimmung als auch bei der Adaption der Referenz ausgewertet werden. Während sich bei einem Gesamtvergleich eine Vordergrundstörung in einer summarischen Verschlechterung der Übereinstimmung zwischen aktueller Szene und der eingespeicherten Referenzgröße auswirkte, wird sich bei dem in 3 dargestellten Beispiel eine Vordergrundstörung 14 meist nur in dem einen oder anderen (oder auch mehreren) Teilbereichen auswirken, so daß einerseits zur Ablageberechnung nur die ungestörten Bereiche herangezogen zu werden brauchen und andererseits die gestörten Bereiche vom Austauschprozeß der Referenz ausgeschlossen werden können.In 3 is a reference memory 13 divided into six equal sub-frequency ranges, in each of which a part of the reference memory content 1 is stored forming destination. As a result of this decomposition of the reference memory into partial areas, it is possible, for the position and similarity determination of the destination, to perform image comparisons with a current scene image separately for one, several or combinations of partial areas. Strong deviations of the position and similarity of individual partial areas or partial area combinations with one another and / or deviations from past position and similarity values for the suppression of such areas can be evaluated both in the determination of the target position and in the adaptation of the reference. While in a total comparison a foreground disturbance has an effect in a summary deterioration of the correspondence between the current scene and the stored reference quantity, the in 3 example shown a foreground disorder 14 usually only in one or the other (or more) sub-areas affect, so that on the one hand for filing calculation only undisturbed areas need to be used and on the other hand, the disturbed areas can be excluded from the exchange process of the reference.

Claims (9)

Verfahren zur Verfolgung eines Zieles unter Verwendung eines Zielverfolgungssystems bestehend aus einem bilderzeugenden Sensor, einem Servosystem zur Sensornachführung, einem Tracker mit Fenster und zugehörendem Referenzspeicher sowie einer Bedienungseinheit, wobei der Tracker durch einen Bildvergleich zwischen einer abgespeicherten, das Ziel enthaltenden adaptionsfähigen Referenz die Ähnlichkeit nach Lage der Referenz und dem Fensterausschnitt der aktuellen Szene berechnet, dadurch gekennzeichnet, daß unterschiedliche Merkmale und/oder Merkmalsänderungen des Zieles einerseits und der Zielumgebung andererseits dazu benutzt werden, fortlaufend eine lokale Abgrenzung zwischen Zielanteil und Umgebungsanteil zu finden, und daß dadurch die sichtbaren Anteile des Zieles von störenden Vorder- und Hintergrundeinflüssen separiert werden.A method of tracking a target using a tracking system comprising an imaging sensor, a sensor tracking servo, a tracker with window and associated reference memory, and an operator, wherein the tracker resembles location by image comparison between a stored adaptive reference containing the target the reference and the pane of the current scene calculated, characterized in that different features and / or feature changes of the target on the one hand and the target environment on the other hand be used to continuously find a local demarcation between the target proportion and ambient proportion, and that thereby the visible portions of the target are separated from disturbing foreground and background influences. Verfahren zur Verfolgung eines Zieles nach Anspruch 1, dadurch gekennzeichnet, daß nach zeitlicher Integration eines mindestens zielumfassenden Bildausschnittes (1) und einer zweidimensionalen Differentation, die in der Struktur des differenzierten Bildes (2) hervortretende Zielkontur vom Rand des Bildausschnittes ausgehend durch Schwellwertkriterien bestimmt, die in der Referenz enthaltenen Zielumgebungsanteile abgetrennt und die verbleibende Zielfläche in Form einer binären Zielmaske (3) abgespeichert wird.Method for tracking a target according to Claim 1, characterized in that, after temporal integration of an at least targeting image section ( 1 ) and a two-dimensional differentiation, which in the structure of the differentiated image ( 2 ) determines the target contour from the edge of the image section based on threshold criteria, separates the target environment components contained in the reference and the remaining target surface in the form of a binary target mask ( 3 ) is stored. Verfahren zur Verfolgung eines Zieles nach Anspruch 1, dadurch gekennzeichnet, daß durch fortlaufende Differenzbildung zwischen aktuellem Bild (4) und der integrierten Referenz (1) Differenzbilder (11, 12) erzeugt werden und alle Amplitudenbeträge, die durch sich vor das Ziel schiebende Vordergrundstrukturen, abrupte Beleuchtungsänderungen des Zieles (Reflexe) oder schnelle Hintergrundänderungen ausgelöst werden und in den Differenzbildern eine vorgegebene Schwelle überschreiten, als Störungen (8) definiert und zur Erzeugung von Differenz-masken (5) herangezogen werden, daß durch den Vergleich zeitlich aufeinanderfolgender Differenzmasken (5) sowie die Auswertung der relativen Lage und Lägeveränderung der Störungen (8) im Fenster eine Klassifizierung der Störungen (8) nach ihren Geschwindigkeitsmerkmalen vorgenommen wird, und daß hieraus eine Austauschmaske (7) erzeugt wird, die bei der Adaption der Referenz an die geänderte Zielansicht die Störungen (8) lokal ausblendet.Method for tracking a target according to Claim 1, characterized in that by continuous difference formation between the current image ( 4 ) and the integrated reference ( 1 ) Difference pictures ( 11 . 12 ) and all amplitude amounts that are triggered by foreground structures shifting in front of the target, abrupt changes in illumination of the target (reflexes) or rapid background changes and that exceed a predetermined threshold in the difference images are generated as disturbances ( 8th ) and to generate difference masks ( 5 ) that by comparing time-sequential difference masks ( 5 ) as well as the evaluation of the relative position and change in the position of the disturbances ( 8th ) in the window a classification of the disturbances ( 8th ) is made according to their speed characteristics, and that from this an exchange mask ( 7 ), which, when adapting the reference to the changed 8th ) hides locally. Verfahren zur Verfolgung eines Zieles nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß zur Einschränkung des Bildvergleichs auf den sichtbaren und nicht gestörten Anteil des Zieles die Zielmaske (3) mit der zeitlich jüngsten Differenzmaske zu einer sogenannten Bildvergleichsmaske (6) verknüpft wird, und dabei für den anschließend durchgeführten Bildvergleich Störgebiete (8) unter Berücksichtigung ihrer jeweiligen Geschwindigkeitskomponente versetzt ausgeblendet werden.Method for tracking a target according to Claim 1, 2 or 3, characterized in that, to limit the image comparison to the visible and undisturbed part of the target, the target mask ( 3 ) with the most recent difference mask to a so-called image comparison mask ( 6 ) and, for the subsequently performed image comparison, interference regions ( 8th ) are staggered taking into account their respective velocity component. Verfahren zur Verfolgung eines Zieles nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Größe des Referenzbereiches (1) automatisch so an die Größe des Zieles angepaßt wird, daß das jeweilige Verhältnis von horizontaler und vertikaler Ausdehnung zwischen dem Zielbereich, der langfristig zeitlich gemittelten Zielmaske (3) und der Größe des Referenzbereiches (1) konstant gehalten wird.Method for tracking a target according to Claim 1 or 2, characterized in that the size of the reference area ( 1 ) is automatically adapted to the size of the target such that the respective ratio of horizontal and vertical extent between the target area, the long-term time-averaged target mask ( 3 ) and the size of the reference area ( 1 ) is kept constant. Verfahren zur Verfolgung eines Zieles nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß zur Eliminierung einer Verschiebung des Zieles innerhalb des Referenzbereiches (1) der Flächenschwerpunkt des Zielbereiches der langfristig gemittelten Zielmaske (3) bestimmt und der Referenzbereich (1) um diesen zentriert wird.Method for tracking a target according to Claim 1 or 2, characterized in that, in order to eliminate a displacement of the target within the reference range ( 1 ) the centroid of the target area of the long-term averaged target mask ( 3 ) and the reference range ( 1 ) is centered around this. Verfahren zur Verfolgung eines Zieles nach Anspruch 1, dadurch gekennzeichnet, daß in vorgegebenen zeitlichen Abständen Differenzbildungen zwischen durch den Tracker bezüglich der Zielposition angepaßten Szenenschnitten der aktuellen Szene durchgeführt und hieraus Hilfsmasken erzeugt werden, die mit den bei der Differenzbildung von Referenz (1) und aktueller Szene (4) erzeugten Differenzmasken (5) verglichen werden und bei neu auftretenden Differenzflächen, die sich in den Hilfsmasken in eine Vorzugsrichtung bewegen, auf eine Fehlfunktion des Trackers geschlossen wird.Method for tracking a target according to claim 1, characterized in that at predetermined time intervals, differential formations between scene sections of the current scene adapted by the tracker with respect to the target position are carried out and auxiliary masks are generated which correspond to those used in the subtraction of reference (FIG. 1 ) and current scene ( 4 ) generated difference masks ( 5 ) are compared and is closed when a new difference surfaces that move in the auxiliary masks in a preferred direction, a malfunction of the tracker. Verfahren zur Verfolgung eines Zieles nach Anspruch 1, dadurch gekennzeichnet, daß die Referenz (1) in Teilbereiche (13) zerlegt wird, daß Bildvergleiche mit der aktuellen Szene (4) zur Lage- und Ähnlichkeitsbestimmung des Zieles getrennt für einen, mehrere oder Kombinationen von Teilbereichen (13) durchgeführt werden und daß starke Abweichungen der Lage und Ähnlichkeit einzelner Teilbereiche (13) oder Teilbereichskombinationen untereinander und/oder Abweichungen von vergangenen Lage- und Ähnlichkeitswerten zur Unterdrückung solcher Bereiche sowohl bei der Zielpositionsbestimmung als auch bei der Adaption der Referenz (1) ausgewertet werden.Method for tracking a target according to Claim 1, characterized in that the reference ( 1 ) into subareas ( 13 ) that image comparisons with the current scene ( 4 ) for determining the position and similarity of the target separately for one, several or combinations of subregions ( 13 ) and that strong deviations in the position and similarity of individual subsections ( 13 ) or partial area combinations with one another and / or deviations from past position and similarity values for suppressing such areas both in the determination of the target position and in the adaptation of the reference ( 1 ) be evaluated. Verfahren zur Verfolgung eines Zieles nach Anspruch 1, dadurch gekennzeichnet, daß bei einem Zielverlust des Trackers ein oder auch mehrere Bildausschnitte der Objektumgebung in der vermuteten Bewegungsrichtung des Zieles in sogenannten Hintergrundreferenzen (NR) abgespeichert werden, daß jede Referenz (NR) fortlaufend mit dem zugehörigen, bezüglich der gesamten Szene lokal festen, aktuellen Bildausschnitt verglichen wird und daß aufgrund des zeitlichen Verhaltens der Ähnlichkeiten zwischen aktuellem Bildausschnitt und zugehöriger Hintergrundreferenz das Ziel erneut detektiert und die Zielposition bestimmt wird.A method of tracking a goal as claimed 1, characterized in that at Target loss of the tracker one or more image sections the object environment in the assumed direction of movement of the target stored in so-called background references (NR), that each Reference (NR) consecutively with the associated, with respect to the entire scene locally fixed, current image detail is compared and that due the temporal behavior of the similarities between current image section and associated background reference the Target detected again and the target position is determined.
DE2950652A 1979-12-15 1979-12-15 Method for tracking object under use of object tracking system, involves employing different characteristics or changes of characteristic of object on one hand and object environment on other hand to find local demarcation Expired - Lifetime DE2950652B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2950652A DE2950652B3 (en) 1979-12-15 1979-12-15 Method for tracking object under use of object tracking system, involves employing different characteristics or changes of characteristic of object on one hand and object environment on other hand to find local demarcation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2950652A DE2950652B3 (en) 1979-12-15 1979-12-15 Method for tracking object under use of object tracking system, involves employing different characteristics or changes of characteristic of object on one hand and object environment on other hand to find local demarcation

Publications (1)

Publication Number Publication Date
DE2950652B3 true DE2950652B3 (en) 2008-09-04

Family

ID=39670351

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2950652A Expired - Lifetime DE2950652B3 (en) 1979-12-15 1979-12-15 Method for tracking object under use of object tracking system, involves employing different characteristics or changes of characteristic of object on one hand and object environment on other hand to find local demarcation

Country Status (1)

Country Link
DE (1) DE2950652B3 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2577607A1 (en) * 2010-05-28 2013-04-10 QUALCOMM Incorporated Dataset creation for tracking targets with dynamically changing portions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3794272A (en) * 1967-02-13 1974-02-26 Us Navy Electro-optical guidance system
DE2842684A1 (en) * 1978-09-30 1980-04-10 Licentia Gmbh DEVICE FOR DETECTING AND TRACKING A GOAL

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3794272A (en) * 1967-02-13 1974-02-26 Us Navy Electro-optical guidance system
DE2842684A1 (en) * 1978-09-30 1980-04-10 Licentia Gmbh DEVICE FOR DETECTING AND TRACKING A GOAL

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2577607A1 (en) * 2010-05-28 2013-04-10 QUALCOMM Incorporated Dataset creation for tracking targets with dynamically changing portions
US9785836B2 (en) 2010-05-28 2017-10-10 Qualcomm Incorporated Dataset creation for tracking targets with dynamically changing portions

Similar Documents

Publication Publication Date Title
DE69127809T2 (en) METHOD FOR DYNAMICALLY ANALYZING TWO MOTIONS IN FOLLOWING SUB-IMAGES WITH THREE SUB-IMAGES
DE69411257T2 (en) Method and device for detecting a video cut
DE69120001T2 (en) Process for the detection of exchange points in moving images
DE68910498T2 (en) SIGNAL PROCESSING FOR THE AUTONOMOUS DETECTION OF OBJECTS IN A BACKGROUND OF INTERFERENCE Echoes.
EP0645037B1 (en) Process for detecting changes in moving images
DE68923535T2 (en) Motion estimation method of a target in an image sequence and device for carrying out this method.
EP0472239B1 (en) Method for evaluating horizontal movements in picture content of a television signal
EP0385384A2 (en) Detection and tracking process of moving objects in a sequence of digital images with moving background
DE3312523C2 (en) Method for recording an information signal in spiral tracks on a recording disk
DE102005034597A1 (en) Method and device for generating a depth map
WO2005048195A2 (en) Method for the analysis of correspondences in image data sets
DE4343095C2 (en) Method and circuit for eliminating interference signals from video signals
DE69909892T2 (en) Method for detecting the relative depth of two objects in a scene based on two recordings from different viewing directions
EP2483834B1 (en) Method and apparatus for the recognition of a false object detection in an image
DE2950652B3 (en) Method for tracking object under use of object tracking system, involves employing different characteristics or changes of characteristic of object on one hand and object environment on other hand to find local demarcation
DE102009007412B4 (en) Method for tracking at least one object
DE2813157A1 (en) PROCEDURE FOR AUTOMATIC PATTERN EVALUATION WITH THE HELP OF FAST IMAGE PROCESSING AND CIRCUIT FOR PERFORMING THE PROCEDURE
DE102018100738A1 (en) Selective feature extraction
DE19624614C2 (en) Process for designing or adapting a fuzzy controller or a system of linked fuzzy controllers
EP0514390B1 (en) Process for determining the instantaneous position and shape of moving objects and for displaying them as a binary image
DE102013018561A1 (en) Method for data acquisition and data processing for lane identification of vehicle, involves filtering and discarding self-similarities of environment characteristics for non-relevant correspondence in generating road shape hypotheses
EP3518180B1 (en) Method for producing an image stack data structure
DE102010018142A1 (en) Method for recording image of object i.e. bank note, during verification of bank note, involves solving equation according to one of vectors, and reprocessing output function as image of object
DE68919205T2 (en) METHOD FOR SEGMENTING MOVING OBJECTS.
DE3740066C1 (en) Device for locating and localizing a picture detail