DE3740789A1 - Verfahren zur zeitlichen Verfolgung eines beweglichen Objektes in einer Bildfolge und Vorrichtung zur Durchführung dieses Verfahrens - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur zeitlichen Ver­ folgung eines beweglichen Objektes in einer Bildfolge, wobei diese Bilder einen festen oder einen neu festgelegten Hintergrund aufweisen. Jedes Bild wird durch eine Kamera analysiert, die eine zeilenweise Abtastung vornimmt; jede Zeile besteht aus Elementen, die als Bildpunkte bezeichnet werden und jeweils durch einen Dominanzwert dargestellt sind. Die zeitliche Verfolgung dient zur Bestimmung der Lage eines Fensters von vorbestimmten Abmessungen, welches das Objekt umgibt und seinen Bewegungen folgt, in jedem Bild, in Abhängigkeit von den geschätzten Koordinaten des Schwerpunktes des Objektes in diesem Bild und in Abhängig­ keit von den geschätzten Komponenten der Translationsge­ schwindigkeit dieses Objektes, selbst wenn im Grenzfall das Objekt verschwunden ist, da es vorübergehend durch ein Hindernis verdeckt wurde. Die Position des Verfolgungs­ fensters wird durch eine Stellvorrichtung ausgenutzt, um der genauen Richtung, in welcher das Objekt liegt, zu fol­ gen.

Die Erfassung eines beweglichen Objektes in einer Bild­ folge beruht im wesentlichen auf der Tatsache, daß die Punkte, welche dieses Objekt darstellen, eine Bildhellig­ keit oder Luminanz aufweisen, die sich von einem Bild zum nächsten ändert. Zahlreiche Schwierigkeiten treten insbe­ sondere auf, um die Lage des Schwerpunktes und die Trans­ lationsgeschwindigkeit eines Objektes zu bestimmen. Jedes Bild ist mehr oder weniger mit Rauschen behaftet, das zu­ fällige Luminanzänderungen bestimmter Bildpunkte verur­ sacht, so daß die festen Punkte des Bildhintergrundes fälschlicherweise als bewegt angesehen werden können. Andererseits weist das Objekt nicht immer einen hohen Kontrast gegenüber dem Hintergrund der Bildfolge auf; ferner kann das Objekt teilweise oder ganz während eines Teiles seiner Bewegung durch Hindernisse verdeckt werden, so daß gewisse Punkte des Objektes nicht erfaßt werden. Die Bestimmung der Koordinaten des Schwerpunktes der be­ wegten Punkte in jedem Bild liefert somit nur eine unbe­ stimmte Abschätzung der Position und Geschwindigkeit des Objektes. Die Fehler, mit denen diese Schätzung behaftet ist, ändern sich zufällig von einem Bild zum nächsten. Diese Fehler erschweren im hohen Ausmaß die Verwirklichung einer genauen und kontinuierlichen zeitlichen Verfolgung. Die Verfolgung ist allgemein durch plötzliche Sprünge und Schwingbewegungen beeinträchtigt.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur zeitlichen Verfolgung anzugeben, durch welches eine kontinuierliche und präzise Verfolgung trotz der Anwesen­ heit von Rauschen, trotz eines geringen Kontrastes des Objektes gegenüber dem Hintergrund und trotz einer sporadi­ schen Verdeckung des Objektes durch Hindernisse ermöglicht wird. Das erfindungsgemäße Verfahren besteht im wesentli­ chen darin, eine Kombination aus einer Verfolgung durch Vorhersage der Objektposition in Abhängigkeit von der Ge­ schwindigkeitsschätzung und aus einer Verfolgung durch Nachführung auf die Position des Objektschwerpunktes vor­ zunehmen.

Insbesondere ist gemäß der Erfindung das Verfahren zur zeitlichen Verfolgung eines Objektes in einer Bildfolge, wobei diese Bilder einen festen oder neu festgelegten Hintergrund aufweisen und jedes Bild Punkt für Punkt ana­ lysiert wird, wobei jeder Bildpunkt durch einen Binärwert dargestellt wird, der seinen Zustand der Bewegung oder Unbewegtheit angibt, dadurch gekennzeichnet, daß zur Bestimmung der Koordinaten XF und YF des Mittelpunktes eines zeitlichen Verfolgungsfensters in jedem i-ten Bild mit i größer als 2:

• - eine erste Koordinate XA und eine zweite Koordinate YA des Schwerpunkts der bewegten Punkte in dem i-ten Bild, wenn ein solcher vorhanden ist, berechnet wird, wobei angenommen wird, daß diese ein bewegtes Objekt darstel­ len;
• - die Komponenten eines ersten Translationsvektors dieses Schwerpunktes zwischen dem (i-2)-ten und dem (i-1)-ten Bild berechnet werden;
• - eine erste Koordinate XFPRD und eine zweite Koordinate YFPRD des Mittelpunktes eines Fensters berechnet werden, welches als vorhergesagtes Fenster bezeichnet wird, wo­ bei die Berechnung als Funktion einer ersten und einer zweiten Koordinate des Mittelpunktes eines zeitlichen Verfolgungsfensters erfolgt, das für das (i-1)-te Bild der Folge bestimmt ist, und in Abhängigkeit von den Kom­ ponenten des ersten Translationsvektors erfolgt;
• - als erste Koordinate XF des Mittelpunktes des zeitlichen Verfolgungsfensters entweder XA oder eine Koordinate XI gewählt wird, die zwischen XFPRD und XA liegt, je nachdem, ob XA im Absolutwert kleiner oder größer als XI ist;
• - als zweite Koordinate YF des Mittelpunktes des zeitlichen Verfolgungsfensters entweder YA oder eine Koordinate YI gewählt wird, die zwischen YFPRD und YA liegt, je nachdem, ob YA im Absolutwert kleiner oder größer als YI ist.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung einer Ausführungsform und aus der Zeichnung, auf die Bezug genommen wird. In der Zeichnung zeigen:

Fig. 1a bis 1d und 2 Skizzen zur Veranschaulichung der Durchführung des erfindungsgemäßen Verfahrens;

Fig. 3 ein Blockschema einer Ausführungs­ form einer Vorrichtung zur Durch­ führung des Verfahrens;

Fig. 4 ein detailliertes Schaltbild eines Teiles dieser Ausführungsform.

Im allgemeinen wird die bearbeitete Folge von Bildern aus einer Bildfolge herausgelöst, die von einer Fernsehkamera mit einer genormten Frequenz geliefert wird. Jedes Fernseh­ bild besteht aus zwei verschachtelten Teilbildern. Bei die­ sem Anwendungsbeispiel wird das Verfahren nur auf ungerad­ zahlige Teilbilder angewendet, und der Bildhintergrund wird als fest oder neu festgelegt angenommen. In der fol­ genden Beschreibung werden als "Bilder" folglich nur die ungeradzahligen Teilbilder bezeichnet. Die geradzahligen Teilbilder werden für die zeitliche Verfolgung des Objektes bei diesem Beispiel einer Anwendung des Verfahrens nicht verwertet. Um das Verfahren auch auf die geradzahligen Teilbilder anzuwenden, muß ein zusätzlicher Speicher zur Speicherung jedes zweiten Teilbildes vorgesehen werden.

Bei diesem Anwendungsbeispiel soll die Gesamtheit der be­ wegten Punkte in einem Bild ein einziges bewegtes Objekt darstellen.

Die Lage des Verfolgungsfensters, die bestimmt wird, in­ dem das erfindungsgemäße Verfahren angewendet wird, kann ausgewertet werden, um ein Stellglied oder dergleichen zu steuern; sie kann aber auch auf einer Kathodenstrahlröhre angezeigt werden und die Bildfolge, welche das bewegte Objekt darstellt, überlagern. Alle Teilbilder der Bild­ folge werden angezeigt, und die Lage des Fensters kann mittels eines Fadenkreuzes dargestellt werden, das auf einen Punkt zentriert ist, welcher dem Mittelpunkt des Fensters entspricht. Die Koordinaten des Mittelpunktes des Fensters werden im Rhythmus der ungeradzahligen Teil­ bilder bestimmt.

Die Anwendung des erfindungsgemäßen Verfahrens besteht zunächst darin, durch ein bekanntes Verfahren die Koordi­ naten (XA, YA) des Schwerpunktes A der bewegten Punkte in jedem Bild zu berechnen. Dieser Punkt A ist der scheinbare Schwerpunkt des Objektes und bildet eine Abschätzung seiner realen Position. Zu diesem Zweck werden über ein bekanntes Verfahren die Komponenten (VA_x, VA_y) der Translationsge­ schwindigkeit des Schwerpunktes A für jedes Bild berechnet. Diese Geschwindigkeit ist die in Erscheinung tretende Ge­ schwindigkeit des Objektes und bildet eine Abschätzung seiner wirklichen Geschwindigkeit. Ein geeignetes Verfahren ist beispielsweise in der französischen Patentanmeldung Nr. 82 09447 beschrieben. Es besteht darin:

• - die Luminanzwerte eines Punktes in zwei aufeinanderfol­ genden Bildern zu vergleichen, um festzustellen, ob er sich bewegt;
• - die bewegten Punkte, wenn sie aneinander anschließen, zu Zonen zu gruppieren;
• - unter den Punkten jeder Zone diejenigen zu bestimmen, welche zur Kontur eines Objektes gehören, was in einem ersten Bild und auch in einem zweiten Bild durchgeführt wird, wobei diese Punkte charakteristisch für eine erste sowie eine zweite Position eines bewegten Objektes sind;
• - die Koordinaten des Schwerpunktes I_P der charakteristi­ schen Punkte der ersten Position zu bestimmen;
• - die Koordinaten des Schwerpunktes I_c der charakteristi­ schen Punkte der zweiten Position zu bestimmen;
• - die Komponenten (TRX, TRY) eines ersten Translations­ vektors zu bestimmen, welcher eine Schätzung der Translation bildet, die das bewegte Objekt erfährt. Die Komponenten dieses Vektors bilden nach Division durch die Dauer des Zeitintervalls T′, welches zwischen den beiden Bildern liegt, die Komponenten (VA_x, VA_y) des in Erscheinung tretenden Translationsgeschwindigkeits­ vektors des Objektes zwischen dem ersten und dem zweiten Bild.

Das Verfahren nach der Erfindung besteht darin, für das dritte Bild die Koordinaten des Mittelpunktes eines Fen­ sters zu berechnen, das als vorhergesagtes Fenster bezeich­ net wird, indem zu den Koordinaten des Mittelpunktes des zeitlichen Verfolgungsfensters, das für das zweite Bild bestimmt wurde, die Komponenten eines zweiten Translations­ vektors hinzuaddiert werden, welcher die Verschiebung des Objektes 11 während des Zeitintervalls T wiedergeben, das zwischen dem zweiten und dem dritten Bild liegt:

XFPRD = XFIP + VA_x · T

YFPRD = YFIP + VA_y · T (1)

Darin sind XFIP und YFIP die Koordinaten des Mittelpunktes des zeitlichen Verfolgungsfensters, die für das zweite Bild bestimmt wurden.

Die Zeitintervalle zwischen den ungeradzahligen Teilbildern einer Folge von Fernsehbildern haben jeweils dieselbe Dauer T; in diesem Beispiel können die Koordinaten über folgende Formeln berechnet werden:

XFPRD = XFIP + TRX

YFPRD = YFIP + TRY (2)

Dies geschieht ohne den Weg über die Berechnung von VA_x und VA_y.

Für das erste und für das zweite Bild einer Bildfolge ist das Verfahren nach der Erfindung nicht anwendbar, denn es hat noch keine Abschätzung der Geschwindigkeit statt­ gefunden; das Verfahren besteht dann darin, das Verfol­ gungsfenster auf dem scheinbaren Schwerpunkt A des Objek­ tes zu zentrieren. Um die Koordinaten des vorhergesagten Fensters in dem dritten Bild zu bestimmen, werden also die Koordinaten XFIP und YFIP gleich den Koordinaten (XA, YA) des Schwerpunktes der bewegten Punkte in dem zweiten Bild angenommen.

Das Verfahren nach der Erfindung besteht anschließend darin, sogenannte Zwischenkoordinaten XI und YI zu bestim­ men, bei denen es sich um die Koordinaten eines Punktes handelt, der gleiche Entfernungen zum Mittelpunkt des vor­ hergesagten Fensters (XFPRD, YFPRD) und zum scheinbaren Schwerpunkt (XA, YA) aufweist. Diese Zwischenkoordinaten werden nach folgenden Formeln bestimmt:

Anschließend wird nach dem erfindungsgemäßen Verfahren für die Koordinaten XF des Mittelpunktes des Fensters entweder die Koordinate XA des Objektschwerpunktes oder aber die Zwischenkoordinate XI gewählt, je nachdem, ob die Koordi­ nate XFPRD einer Voreilung des Mittelpunkts des vorherge­ sagten Fensters bezüglich dem Schwerpunkt der bewegten Punkte entspricht oder ob sie einer Verzögerung des Mittel­ punktes des vorhergesagten Fensters gegenüber dem Schwer­ punkt entspricht. YF wird in analoger Weise unter YI und YFPRD ausgewählt, unabhängig von der Wahl für XF.

XI und YI können auch bestimmt werden, indem die Koordina­ ten des Schwerpunktes A und die Koordinaten des vorherge­ sagten Fensters mit zwei Koeffizienten gewichtet werden, die von verschieden sind, jedoch zwischen 0 und 1 liegen, deren Summe gleich 1 ist. Die Wahl dieser Koeffizienten bestimmt die Wirksamkeit der durch diese Berechnung ver­ wirklichten Filterung und die Konvergenzgeschwindigkeit. Diese Filterung ermöglicht die Unterdrückung von plötzli­ chen Sprüngen des Fensters. Die Koeffizienten 1/2 ergeben eine hohe Konvergenzgeschwindigkeit.

Wenn das Objekt vollständig während einer Dauer verdeckt wird, die einem Bild entspricht, kann die Abschätzung der Position seines Schwerpunktes nicht durch Berechnung der Koordinaten der bewegten Punkte in diesem Bild er­ folgen. Wenn das Objekt während einer Dauer verdeckt wird, die mehreren Bildern entspricht, kann auch die Geschwindig­ keit des Objektes nicht abgeschätzt werden, indem der Translationsvektor des Schwerpunktes der bewegten Punkte in zwei aufeinanderfolgenden Bildern berechnet wird. Es wird dann angenommen, daß das Objekt seine Bewegung mit einer konstanten Geschwindigkeit fortsetzt, die gleich der letzten bekannten Schätzung ist, während einer Dauer, die einer festen Anzahl von Bildern entspricht, beispielsweise 7. Über diese Dauer hinaus wird die Verfolgung als been­ det angesehen, wenn das Objekt nicht wieder erschienen ist. Während dieser Dauer werden die Mittelpunktskoordinaten des zeitlichen Verfolgungsfensters gleich den Mittelpunkts­ koordinaten des vorhergesagten Fensters angenommen und über die Formeln (1) berechnet, worin VA_x und VA_y als gleich den Komponenten der letzten bekannten Schätzung der Translationsgeschwindigkeit angenommen werden.

Die Fig. 1a bis 1d veranschaulichen die verschiedenen an­ getroffenen Fälle. Diese Figuren stellen vier aufeinan­ derfolgende Bilder dar, die ein bezüglich des Bodens 12 und eines festen Gegenstandes 13 bewegliches Objekt zeigen. In Fig. 1a ist das Objekt 11 vollständig sichtbar. In Fig. 1b ist es zu einem großen Teil durch das Hindernis 13 verdeckt. In Fig. 1c ist es durch das Hindernis 13 voll­ ständig verdeckt. In Fig. 1d erscheint es wieder, ist je­ doch noch zu einem großen Teil durch das Hindernis 13 ver­ deckt. Die Lage der Bildpunkte ist in einem kartesischen Koordinatensystem aus einer horizontalen Achse ox und einer vertikalen Achse oy angegeben. Zur Vereinfachung wird angenommen, daß das Objekt 11 sich parallel zur Achse ox bewegt.

Der wirkliche Schwerpunkt R des Objektes muß von dem scheinbaren Schwerpunkt A unterschieden werden, bei dem es sich um den Schwerpunkt der bewegten Punkte handelt. Diese beiden Schwerpunkte stimmen nicht überein, wenn das Objekt teilweise verdeckt wird oder wenn bestimmte in Wirklich­ keit bewegte Punkte nicht erfaßt werden oder auch bestimmte feste Punkte mit Rauschen behaftet sind und als bewegte Punkte erfaßt werden. Der Schwerpunkt A bildet dann nur eine Näherungsschätzung der wirklichen Position des Objektes.

Da in Fig. 1a das Objekt 11 vollständig sichtbar ist und die Detektion der bewegten Punkte als exakt angenommen werden kann, stimmt der Schwerpunkt A der bewegten Punkte mit dem tatsächlichen Schwerpunkt R des Objektes überein. Die Initiierung der zeitlichen Verfolgung besteht darin, das Verfolgungsfenster, welches mit F bezeichnet und mit durchgehenden Linien dargestellt ist, auf den Schwerpunkt A der als bewegt erfaßten Punkte zu zentrieren:

XF = XA = XR

YF = YA = YR

Da der tatsächliche Schwerpunkt R des Objektes mit dem Schwerpunkt A der als bewegt erkannten Punkte übereinstimmt, ist das zeitliche Verfolgungsfenster F genau auf dem Objekt 11 zentriert.

In Fig. 1b hat sich das Objekt 11 bewegt und wird großen­ teils durch das Hindernis 13 verdeckt. Es ist nur der schraffiert dargestellte Teil sichtbar. Der Schwerpunkt A der als bewegt erkannten Punkte stimmt nicht mehr mit dem die Abszisse XFPRD aufweisenden Mittelpunkt des vorherge­ sagten Fensters FPR überein. Der Mittelpunkt des vorher­ gesagten Fensters ist als mit dem tatsächlichen Schwerpunkt R des Objektes übereinstimmend dargestellt, denn bei die­ sem Beispiel bewegt sich das Objekt mit konstanter Geschwin­ digkeit.

Im allgemeinen ist diese Bedingung nicht erfüllt, denn die Geschwindigkeit des Objektes 11 kann sich während des Zeit­ intervalls der Verdeckung durch das Hindernis 13 ändern.

Die Abszisse XA des Schwerpunktes der als bewegt beobach­ teten Punkte ist kleiner als die Abszisse XFPR des Mittel­ punkts des vorhergesagten Fensters FPR, da die Abdeckung durch das Hindernis 13 erfolgt. Das vorhergesagte Fenster FPR eilt somit gegenüber dem Schwerpunkt A der als bewegt beobachteten Punkte voraus. In diesem Falle besteht das erfindungsgemäße Verfahren darin, das zeitliche Verfolgungs­ fenster F auf den Schwerpunkt A der als bewegt beobachteten Punkte zu zentrieren, anstatt von der Hypothese auszugehen, daß die Geschwindigkeit des Objektes konstant bleibt. Die Koordinate XF wird also gleich XA angenommen. Die Abszisse XF des Mittelpunkts des Fensters F wird folglich der Ab­ szisse XA des Schwerpunktes A nachgeführt.

In Fig. 1c ist das Objekt 11 vollständig durch das Hinder­ nis 13 verdeckt, so daß es nicht mehr möglich ist, die Koordinaten des Schwerpunktes A der als bewegt beobachteten Punkte zu berechnen, denn in diesem Bild sind keine beweg­ ten Punkte vorhanden. Die einzigen verfügbaren Informa­ tionen sind: Die Geschwindigkeitsschätzung und die Posi­ tionsschätzung für den Schwerpunkt A, wie sie für die vor­ hergehenden Bilder abgeleitet wurden. In diesem Falle be­ steht das erfindungsgemäße Verfahren darin, anzunehmen, daß das Objekt 11 eine konstante Geschwindigkeit aufweist, die gleich der letzten bekannten Schätzung ist, und das zeitliche Verfolgungsfenster F auf einem Punkt zu zentrie­ ren, dessen Koordinaten über die Gleichungen (1) vorherge­ sagt werden. Aus diesem Grunde ist in Fig. 1c das Fenster F als übereinstimmend mit dem vorhergesagten Fenster FPR dar­ gestellt. Die tatsächliche Position des Objektes 11 ist unbekannt. Fig. 1c zeigt die wirkliche Position des Objek­ tes für eine konstante Bewegungsgeschwindigkeit. In diesem Falle eilt das Verfolgungsfenster F der wirklichen Position des Objektes nach, denn die Bestimmung der Position des Fensters FPRD beruht auf der Position des Punktes A im vorhergehenden Bild, welche gegenüber der Position des wirklichen Schwerpunktes R aufgrund der teilweisen Abdeckung verzögert war.

In Fig. 1d beginnt das Objekt 11 wieder in Erscheinung zu treten, nachdem es hinter dem Hindernis hervortritt, wobei es dieselbe Geschwindigkeit bewahrt. Der sichtbare Teil ist schraffiert dargestellt. Das vorhergesagte Fenster FPR ist weiterhin gegenüber der Position des wirklichen Schwerpunktes R des Objektes 11 verzögert. Die Position des scheinbaren Schwerpunktes A eilt gegenüber der Position des wirklichen Schwerpunktes R voraus, weil ein großer Teil des Objektes 11 verdeckt ist. In diesem Falle wird bei dem Verfahren nach der Erfindung das zeitliche Verfolgungs­ fenster F in einer Zwischenposition mit der Abszisse XI zwischen der Position des vorhergesagten Fensters FPR und dem Schwerpunkt A der als bewegt beobachteten Punkte zen­ triert. Wenn das Objekt sich weiterhin mit derselben Ge­ schwindigkeit in den Bildern bewegt, die auf das in Fig. 1d gezeigte Bild folgen, so ist der beobachtbare Teil des Objektes 11 zunehmend größer. Die Entfernung XA-XFPR zwi­ schen dem Mittelpunkt des vorhergesagten Fensters FPR und dem Punkt A nimmt ab und strebt asymptotisch gegen 0.

Wenn das Objekt erneut ganz sichtbar ist, besteht wieder die Neigung, daß die Mittelpunkte des vorhergesagten Fen­ sters FPR und des Fensters F sowie der Punkt A übereinstim­ men, wie in Fig. 1a. Es tritt also kein Sprung des Fensters F auf, wenn das Objekt 11 hinter dem Hindernis 13 wieder in Erscheinung tritt, sondern eine progressive Heranfüh­ rung ohne Schwingungen.

Die Fig. 2 zeigt eine Variante des in Fig. 1d gezeigten Falles, worin die wirkliche Geschwindigkeit des Objektes während seiner Verdeckung geringer als die letzte bekannte Schätzung ist. Wenn in diesem Fall das Objekt wieder in Erscheinung tritt, eilt der Mittelpunkt des vorhergesagten Fensters FPR gegenüber dem scheinbaren Schwerpunkt A des Objektes voraus und die Abszisse XFPR ist größer als XA. Gemäß dem Verfahren wird dann das Verfolgungsfenster F auf den Schwerpunkt A zentriert, indem XF = XA gesetzt wird.

Solange das Objekt teilweise verdeckt ist, ist die Geschwin­ digkeit des scheinbaren Schwerpunktes A geringer als die wirkliche Geschwindigkeit des Objektes, jedoch nähert sich der Mittelpunkt des Fensters F an den wirklichen Schwer­ punkt R in dem Maße an, wie A sich an R annähert. Das Fen­ ster F wird folglich progressiv auf R zentriert, ohne eine Rückbewegung auszuführen, wodurch Schwingungen vermieden werden. Sobald das Objekt vollständig frei in Erscheinung tritt, ist der Geschwindigkeitsschätzwert wieder gleich der wirklichen Geschwindigkeit, und folglich ist das vor­ hergesagte Fenster FPR wieder auf den Schwerpunkt A der bewegten Punkte zentriert, wie in Fig. 1a.

Bei diesem Beispiel wird die Komponente der Geschwindigkeit auf der Achse oy als verschwindend angenommen; es ist ohne weiteres ersichtlich, daß die Bestimmung der Ordinate des Mittelpunktes eines zeitlichen Verfolgungsfensters F ana­ log der Bestimmung seiner Abszisse ist und unabhängig von dieser durchgeführt werden kann.

Die Objektverfolgung beginnt, sobald das Objekt sich in Bewegung setzt. Wenn das Objekt stehenbleibt und wenn es vollständig verdeckt ist, findet dieselbe Verarbeitung statt; die Verfolgung wird erst als beendet angenommen, wenn eine bestimmte Verzögerung entsprechend beispiels­ weise der Dauer von sieben Bildern abgelaufen ist.

Die Fig. 3 zeigt ein Blockschema einer Ausführungsform einer Vorrichtung zur zeitlichen Verfolgung eines Objektes in einer Bildfolge für die Durchführung des beschriebenen Verfahrens. Bei dieser Ausführungsform sind vorgesehen: Ein Eingangsanschluß 1, der an eine unbewegte Fernseh­ kamera oder an eine bewegliche Fernsehkamera angeschlos­ sen ist, welche an eine bekannte Vorrichtung zur Neufest­ setzung des Bildhintergrundes angeschlossen ist; Mittel 2 zur Schätzung der Koordinaten XA und YA des Schwerpunktes der als bewegt in jedem ungeradzahligen Teilbild der Fern­ sehbildfolge erfaßten Punkte und zur Schätzung der Kompo­ nenten TR_x und TR_y des scheinbaren Translationsvektors eines Objektes, das durch diese bewegten Punkte dargestellt wird; Rechenmittel 3 zur Bestimmung der Koordinaten (XF, YF) des Mittelpunkts eines Fensters aus diesen Daten; und einen Ausgangsanschluß 4, der an irgendeine Stellvorrich­ tung angeschlossen ist, welche die Richtung kennen muß, in welcher das Objekt liegt, wobei diese Richtung durch die Koordinaten XF und YF des Mittelpunktes eines zeitlichen Verfolgungsfensters in einem kartesischen Koordinatensystem bezeichnet wird, das mit den Bildern und folglich mit der Kamera verknüpft ist. Bei diesem Ausführungsbeispiel sind die verarbeiteten Teilbilder durch ein Zeitintervall T getrennt, das konstant und gleich der Periode der ungerad­ zahligen Teilbilder ist. Die Mittel 2 müssen somit die Geschwindigkeit (VA_x, VA_y) nicht berechnen. Die Rechen­ mittel 3 bestimmen die Koordinaten XFPRD und YFPRD direkt aus den Komponenten (TR_x, TR_y) des Translationsvektors über die Formeln (3).

Die Mittel 2 besitzen einen Eingang, der an den Eingangs­ anschluß 1 der Vorrichtung zur zeitlichen Verfolgung ange­ schlossen ist, welcher eine Folge von Luminanzwerten emp­ fängt, die der Folge von abgetasteten und digitalisierten Bildern entsprechen. Die Mittel 2 liefern die Koordinaten (XA, YA) an einen Eingangsanschluß 5 und die Komponenten (TRX, TRY) an einen Eingangsanschluß 6 der Rechenmittel 3 und liefern das Logiksignal C1 an einen Eingangsanschluß 7 und das Logiksignal C2 an einen Eingangsanschluß 8 der Rechenmittel 3. Diese Rechenmittel besitzen einen Ausgang, der mit einem Ausgangsanschluß 4 der Vorrichtung verbunden ist, und liefern die Koordinaten XF und YF des Mittelpunkts eines zeitlichen Verfolgungsfensters für das ungeradzahlige Teilbild, welches gerade verarbeitet wird.

Die Mittel 2 sind gemäß der Beschreibung in der französi­ schen Patentschrift 82 09447 ausgebildet. Sie enthalten insbesondere Rechenmittel, welche die Koordinaten XA und YA des Schwerpunkts der wahren bewegten Punkte in einem Teilbild bestimmen und die geschätzten Komponenten TRX und TRY eines Translationsvektors eines Objektes bestimmen, das durch die Gruppe von wahren bewegten Punkten in einem Teilbild dargestellt wird.

Die Rechenmittel 3 können insbesondere in der in Fig. 4 gezeigten Weise ausgebildet sein. Bei dieser Ausführungs­ form sind ein Mikroprozessor 21, eine Eingabe/Ausgabe- Schnittstelle 20, ein Programmspeicher 24 und ein Daten­ speicher 25 vorgesehen. Der Mikroprozessor 21 ist an die Schnittstelle 20 und an die Speicher 24, 25 über einen Adreßbus 22 und einen bidirektionalen Datenbus 23 ange­ schlossen. Die Schnittstelle 20 ist mit den Eingangsan­ schlüssen 5 und 8 und mit dem Ausgangsanschluß 4 verbun­ den.

Die Rechenmittel 3 wenden das oben beschriebene Verfahren gemäß einem im Programmspeicher 24 abgespeicherten Pro­ gramm an. Dieses Programm enthält die im folgenden beschrie­ benen Schritte. Für das erste Teilbild einer Folge von ungeradzahligen Teilbildern können die Mittel 2 die beweg­ ten Punkte nicht erkennen; sie liefern das Logiksignal C1 an den Mikroprozessor 21. Letzterer bleibt im Wartezustand, bis sich der Wert dieses Signals ändert.

Für das zweite ungeradzahlige Teilbild bestimmen die Mit­ tel 2, wenn bewegte Punkte erkannt werden, die Größen XA, YA, TRX, TRY, um sie dem Mikroprozessor 21 über die Schnitt­ steile 20 zuzuführen. Für dieses zweite ungeradzahlige Teilbild setzt der Mikroprozessor 21 die Werte XA und YA für die Koordinaten XF und YF.

Für die darauffolgenden ungeradzahligen Teilbilder empfängt der Mikroprozessor 21 die Werte XA, YA, TRX und TRY, wel­ che durch die Mittel 2 bestimmt und über die Schnittstelle 20 übertragen wurden. Er speichert die Werte TRX und TRY in dem Speicher 25 und berechnet dann die Koordinaten XFPRD und YFPRD eines vorhergesagten Fensters über die Formeln (2), indem er aus dem Speicher 25 die Koordinaten XFIP und YFIP des Mittelpunktes des zeitlichen Verfolgungs­ fensters ausliest, welche zuvor für das vorhergehende ungeradzahlige Teilbild berechnet wurden. Anschließend bestimmt er die Zwischenkoordinaten XI und YI über die Formeln (3).

Der Mikroprozessor 21 vergleicht anschließend den Absolut­ wert von XA und von XFPRD und erteilt dann der Koorinate XF des Mittelpunktes des Fensters den Wert XA, wenn der Absolutwert von XA kleiner als der Absolutwert von XFPRD ist. Im entgegengesetzten Falle verleiht er der Koordinate XF den Wert XI. Der Mikroprozessor 21 liefert anschließend diese Koordinate XF über die Eingabe-/Ausgabe-Schnittstelle 20 an den Ausgangsanschluß 4.

Anschließend vergleicht er die Absolutwerte von YA und YFPPD. Er gibt der Koordinate YF den Wert YA, wenn der Absolutwert von YA kleiner als der Absolutwert von YFPRD ist. Andernfalls verleiht er der Koordinate YF den Wert YI. Dann liefert er die Koordinate YF über die Eingabe/Ausgabe- Schnittstelle 20 an den Ausgangsanschluß 4. Dann führt er die gleichen Berechnungen für das darauffolgende ungerad­ zahlige Teilbild durch, wenn die Vorrichtung 2 bereit ist, neue Werte XA, YA und TRX, TRY zu liefern.

Wenn die Vorrichtung 2 die Werte XA und YA nicht bestimmen kann, weil das laufende Bild keine als bewegt erkannten Punkte enthält, so liefert sie ein Logiksignal C1 an die Rechenmittel 3. Der Mikroprozessor gibt dann den Koordina­ ten (XF, YF) die vorhergesagten Werte XFPRD und YFPRD, welche über die Formeln (2) berechnet wurden.

Wenn die Vorrichtung 2 die Werte TRX und TRY nicht bestim­ men kann, weil das Objekt in einem der zwei Bilder, welche unmittelbar dem laufenden Bild vorausgingen, unsichtbar war, liefert sie an die Rechenmittel 3 ein Logik­ signal 2. Der Mikroprozessor gibt dann den Koordinaten (XF, YF) die vorhergesagten Werte (XFPRD, YFPRD), welche über die Formeln (2) berechnet wurden, indem für TRX und TRY die letzte Schätzung genommen wird, welche von den Mitteln 2 geliefert wurde und im Speicher 25 gespeichert ist.

Der Mikroprozessor zählt die Anzahl von Bildern, in denen kein Objekt sichtbar ist. Wenn diese Anzahl einen festen Schwellwert überschreitet, beispielsweise 7, wird das Programm, sobald das Objekt wieder in Erscheinung getreten ist, an seinem Anfang wiederaufgenommen, um die Objektver­ folgung erneut zu initiieren.

Bei anderen Ausführungsformen erfolgt die Bestimmung des Schwerpunktes bewegter Punkte ebenso wie die Schätzung der Objektgeschwindigkeit durch andere Mittel, wobei es wesentlich ist, eine zuverlässige Erfassung der wahren bewegten Punkte und eine zuverlässige Schätzung der Ge­ schwindigkeit ihres Schwerpunktes zu verwirklichen.

Die Zwischenkoordinaten können auch über andere Formeln als die Formeln (2) berechnet werden, insbesondere durch eine Interpolation mit zwei Wichtungskoeffizienten, die von 1/2 verschieden und je nach gewünschter Wirksamkeit der Filterung und gewünschter Konvergenzgeschwindigkeit gewählt sind.

Die Bildfolge kann auch zusammengestellt werden, indem beispielsweise jedes dritte ungeradzahlige Teilbild ver­ endet wird, wenn die Bewegung des Objektes zu langsam erfolgt, um in dem Intervall zwischen zwei aufeinander­ folgenden ungeradzahligen Teilbildern wahrnehmbar zu sein.

Die Folge von zu verarbeitenden Bildern kann auch zusammen­ gestellt werden, indem die ungeradzahligen Teilbilder in variablem Abstand T abgenommen werden, der beispielsweise gleich 3, 4 oder 5 Bildabständen ist. Es muß dann der Wert von T vor jeder Anwendung der Formel (1) verändert werden.

Die oben beschriebene Ausführungsform muß dann geändert werden. Die Rechenmittel 3 empfangen die Komponenten TRX und TRY eines ersten Translationsvektors, der einem Zeit­ intervall T′ zwischen dem (i-2)-ten Bild und dem (i-1)-ten Bild entspricht. Sie schätzen die Komponenten VA_x·T und VA_y·T eines zweiten Translationsvektors des (i-1)-ten bis i-ten Teilbildes, indem sie TRX und TRY durch T′ teilen und sie dann mit T multiplizieren, anstatt TRX und TRY direkt anzuwenden. Anschließend berechnet der Mikropro­ zessor XFPRD und YPFRD unter Anwendung der Formeln (1).

Die Änderungen des Programms, nach dem der Mikroprozessor 1 arbeitet, sind für den Fachmann ersichtlich.

Die Erfindung ist auf die zeitliche Verfolgung eines belie­ bigen Objektes anwendbar, beispielsweise die Verfolgung eines Zieles, um die Nachführung eines Drehturms in Ziel­ richtung zu steuern. Es liegt im Rahmen fachmännischen Könnens, eine zusätzliche Rechenvorrichtung zu verwirkli­ chen oder ein zusätzliches, im Mikroprozessor 21 angewen­ detes Programm zu verwirklichen, um die kartesischen Koor­ dinaten (XF, YF) des Mittelpunktes des Fensters in anders­ artige Parameter umzusetzen, beispielsweise zwei Winkel­ werte, die an die Stellvorrichtung angepaßt sind, die dem Objekt folgen soll.

Claims (8)

1. Verfahren zur zeitlichen Verfolgung eines Objektes in einer Bildfolge, wobei die Bilder der Folge einen festen oder neu festgesetzten Hintergrund aufweisen und jedes Bild Punkt für Punkt analysiert wird sowie jeder Bildpunkt durch einen Binärwert dargestellt wird, der seinen Zustand der Bewegung oder Unbewegtheit darstellt, dadurch gekenn­ zeichnet, daß zur Bestimmung der Koordinaten XF und YF des Mittelpunktes eines zeitlichen Verfolgungsfensters (F) in jedem i-ten Bild, mit i größer als 2, folgende Schritte ausgeführt werden:

• - Berechnen einer ersten Koordinate XA und einer zweiten Koordinate YA des Schwerpunktes (A) der bewegten Punkte in dem i-ten Bild, wenn solche Punkte vorhanden sind, wobei angenommen wird, daß diese ein bewegtes Objekt (11) darstellen;
• - Berechnen der Komponenten eines ersten Translationsvek­ tors dieses Schwerpunktes (A) zwischen dem (i-2)-ten und dem (i-1)-ten Bild;
• - Berechnen einer ersten Koordinate XFPRD und einer zwei­ ten Koordinate XFPRD des Mittelpunktes eines Fensters (FPR), das als vorhergesagtes Fenster bezeichnet wird, in Abhängigkeit von einer ersten und einer zweiten Koordinate des Mittelpunktes eines zeitlichen Verfol­ gungsfensters, das für das (i-1)-te Bild der Folge be­ stimmt ist, sowie in Abhängigkeit von den Komponenten des ersten Translationsvektors;
• - als erste Koordinate XF des Mittelpunktes des zeitlichen Verfolgungsfensters (F) wird entweder XA oder aber eine Zwischenkoordinate XI zwischen XFPRD und XA gewählt, je nachdem, ob XA im Absolutwert kleiner oder größer als XI ist;
• - als zweite Koordinate YF des Mittelpunktes des zeitlichen Verfolgungsfensters (F) wird entweder YA oder eine Zwischenkoordinate YI zwischen YFPRD und YA gewählt, je nachdem, ob YA im Absolutwert kleiner oder größer als YI ist.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für den Fall, daß in dem i-ten Bild keine bewegten Punkte vorhanden sind, als erste und zweite Koordinate XF, YF des zeitlichen Verfolgungsfensters (F) die Werte XFPRD bzw. YFPRD gewählt werden; und daß in dem Falle, daß keine bewegten Punkte in dem (i-2)-ten oder dem (i-1)-ten Bild vorhanden sind, die Koordinaten XFPRD und YFPRD als Funktion der Komponenten des letzten Trans­ lationsvektors berechnet werden, der zuvor berechnet werden konnte, innerhalb der Grenzen einer festen Verzö­ gerung.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Berechnung der Koordinaten XFPRD und YFPRD des Mittelpunktes des vorhergesagten Fensters (FPR) in dem i-ten Bild die Komponenten eines zweiten Translations­ vektors berechnet werden, der einer Translation des Mit­ telpunktes des zeitlichen Verfolgungsfensters entspricht, welcher für das (i-1)-te Bild bestimmt wurde, mit einer Geschwindigkeit, die gleich derjenigen der Translation zwischen dem (i-2)-ten Bild und dem (i-1)-ten Bild ist, während einer Dauer, die gleich derjenigen ist, welche das (i-1)-te Bild von dem i-ten Bild trennt.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Bestimmung der Zwischenkoordinaten XI und YI die Koordinaten eines Punktes berechnet werden, der gleiche Abstände vom Mittelpunkt des vorhergesagten Fensters (FPR) und vom Schwerpunkt (A) der bewegten Punkte aufweist.

5. Vorrichtung zur zeitlichen Verfolgung eines Objektes in einer Bildfolge für die Durchführung des Verfahrens nach Anspruch 1, wobei jedes Bild Punkt für Punkt durch eine Fernsehkamera analysiert wird und jeder Bildpunkt durch einen Luminanzwert dargestellt wird, dadurch gekenn­ zeichnet, daß sie umfaßt:

• - erste Mittel (2), welche ein digitales Signal empfangen, das aus der Folge von Luminanzwerten der Bildpunkte zusammengesetzt ist, um bewegte Punkte zu bestimmen und Koordinaten XA und YA des Schwerpunktes der bewegten Punkte in jedem i-ten Bild zu schätzen, für i größer als 2, wobei diese Punkte als solche angenommen werden, die ein bewegtes Objekt darstellen, und um die Komponen­ ten TRX und TRY eines ersten Translationsvektors des Schwerpunkts der bewegten Punkte zwischen dem (i-2)-ten Bild und dem (i-1)-ten Bild abzuschätzen;
• - zweite Mittel (3), um:
  • - eine erste Koordinate XFPRD und eine zweite Koordinate YFPRD des Mittelpunkts eines Fensters, das als vorher­ gesagtes Fenster bezeichnet wird, in dem i-ten Bild als Funktion der Koordinaten des Mittelpunktes eines zeitlichen Verfolgungsfensters, welche zuvor durch die Vorrichtung zur zeitlichen Verfolgung für das (i-1)-te Bild bestimmt wurden, und als Funktion der von den ersten Mitteln (2) gelieferten Werte TRX und TRY zu berechnen;
  • - eine erste Zwischenkoordinate XI zwischen XFPRD und XA und eine zweite Zwischenkoordinate YI zwischen YFPRD und YA zu berechnen, wobei XA und YA von den ersten Mitteln (2) geliefert werden;
  • - XFPRD und XA miteinander zu vergleichen, wobei letzte­ rer Wert von den ersten Mitteln (2) geliefert wird, und um einen Ausgang (4) der Vorrichtung zur zeitli­ chen Verfolgung eine erste Koordinate XF des Mittel­ punkts eines zeitlichen Verfolgungsfensters für das i-te Bild zu liefern, die gleich XA oder XI ist, je nachdem, ob XA im Absolutwert kleiner oder größer als XFPRD ist;
  • - YFPRD und YA miteinander zu vergleichen, wobei letzte­ rer Wert von den ersten Mitteln (2) geliefert wird, und um an den Ausgang (4) eine zweite Koordinate YF des Mittelpunktes des zeitlichen Verfolgungsfensters für das i-te Bild zu liefern, die gleich YA oder gleich YI ist, je nachdem, ob YA im Absolutwert kleiner oder größer als YFPRD ist;

wobei die Folge der Werte XF und YF das Ausgangssignal der Vorrichtung zur zeitlichen Verfolgung bildet.

6. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die zweiten Mittel (3) Rechenmittel (20 bis 25) um­ fassen, um die Komponenten eines zweiten Translationsvek­ tors zwischen dem (i-1)-ten Bild und dem i-ten Bild aus den von den ersten Mitteln (2) gelieferten Größen TRX und TRY zu berechnen und daraus die Größen XFPRD und YFPRD abzuleiten.

7. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die zweiten Mittel (3) zur Berechnung der Zwischen­ koordinaten XI und YI Mittel (20 bis 25) zum Berechnen der Halbsummen von XA und XFPRD sowie der Halbsumme von YA und YFPRD enthalten.