DE68922694T2 - Bild-Bewegungsmessung. - Google Patents

Description

• Die Erfindung betrifft ein Verfahren zur Bild-Bewegungsmessung und insbesondere ein Verfahren, mit dem zwei Bilder zum Bestimmen der Korrelation abhängig von selektiver Verschiebung korreliert werden. Die Erfindung bezieht sich ebenfalls auf Geräte zur Verwendung mit einem derartigen Verfahren.
• Ein obiges Verfahren ist in GB-A-2 188 510 (entsprechend WO-A- 8705769) beschrieben, das sich insbesondere auf die Erzeugung von Bewegungsvektoren für Fernsehbilder richtet. Im Felde des Hochauflösungsfernsehens (HDTV) werden derartige Vektoren mit einem Fernsehsignal transportiert und zum Erzeugen eines vergrößerten Bildes an einem Empfänger durch Beihilfe beim Erzeugen zusätzlicher Zeilen zu denen im empfangenen Signal oder bei der Erzeugung zusätzlicher Felder zwischen denen im empfangenen Signal verwendet. Zur Verbesserung der Auflösung in der Wiedergabe wird es bevorzugt, wenn die Stelle der Bewegungsvektoren mit Unterbildelementgenauigkeit identifiziert werden kann.
• Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren oben erwahnter Art und des oben erwähnten Geräts anzugeben, mit dem die Stellen und daher die daraus entstandenen Bewegungsvektoren mit Unterabtastgenauigkeit identifizierbar sind. Zu diesem Zweck gibt die Erfindung nach einem ersten Merkmal ein Verfahren zur Bild-Bewegungsmessung nach der Beschreibung in Anspruch 1 an. Ein derartiges Verfahren bietet den Vorteil, daß es viel einfacher ist, die Position von Abtastungen höchster Größe in einer niedrigeren Auflösungskorrelationsfunktion vor der Identifikation der Stellen der Spitzen in der Korrelationsfünktion mit höherer Auflösung zu identifizieren. Ein Gerät zur Bild-Bewegungsmessung nach einem zweiten Merkmal der Erfindung ist in Anspruch 6 beschrieben.
• Vorteilhatte Ausführungsbeispiele sind in den Unteransprüchen definiert. Das Verfahren mit der zusätzlichen Kennzeichnung in Anspruch 2 ist insbesondere wichtig, wenn es mehrere Spitzen in der Bewegungsvektoren darstellenden Korrelationsfünktion gibt, als zum Übertragen durch Systemkapazität möglich ist. Wenn das Verfahren mit einem Hochauflösungsfernsehsystem verwendet wird, wird es außerdem anhand des Anspruchs 3 näher gekennzeichnet.
• Obige und weitere Eigenschaften der Erfindung werden nachstehend anhand der Zeichnung näher erläutert. Es zeigen
• Fig. 1 ein Blockschaltbild eines Geräts zur Verwendung mit der Erfindung, und
• Fig. 2 eine Korrelationsoberfiäche desselben Gebiets aus benachbarten Halbbilder eines Fernsehbildes.
• In Fig. 1 ist ein Blockschaltbild eines Geräts dargestellt, das zur Durchführung des Verfahrens nach der Erfindung verwendbar ist. Im allgemeinen wird ein derartiges Apparat mit dem Signalbearbeitungsgerät an der Übertragungsseite bei Fernsehsignalen angeordnet, aber es ist ebenfalls möglich, obgleich weniger wirtschafflich, ein derartiges Apparat in dem Fernsehempfangsgerät anzuordnen. In Fig. 1 bezeichnet die Bezugsziffer 1 eine Eingangsklemme, an die ein Leuchtdichtesignal Halbbild für Halbbild oder Gebiet für Gebiet angelegt wird. Dieses Leuchtdichtesignal gelangt an einen Bildspeicher 2, in dem das Leuchtdichtesignal um eine Halbbildperiode verzögert wird, wonach das verzögerte Leuchtdichteausgangssignal an eine Bearbeitungsstufe 3 gelegt wird, in der es eine zweidimensionale Fourier-Transformation erfährt. Das Leuchtdichtesignal an die Eingangsklemme 1 gelangt ebenfalls direkt an eine zweite Bearbeitungsstufe 4, in der das unverzögerte Leuchtdichtesignal ebenfalls eine zweidimensionale Fourier-Transformation erfährt. Die daraus entstehende transformierte Information gelangt an eine Phasensubtraktionseinrichtung 5, die den Phasenunterschied zwischen ihren beiden Eingängen bewirkt und ihn an eine dritte Bebeitungsstufe 6 legt, deren Ausgangssignal die invertierte Fourier-Transformation darstellt. Dieses Ausgangssignal ist eine Korrelationsfunktion nach der Veranschaulichung durch die typische Korrelationsoberfiäche anhand der Fig. 2, obgleich in der Praxis diese nicht als eine ununterbrochene Korrelationsoberfläche erscheint, sondern als eine Reihe diskreter Abtastungen vorgegebener Größen, die jeweils um ein Abtastintervall auseinander liegen. Das Ausgangssignal der Berbeitungsstufe 6 ist eine Niederauflösungs- Korrelationsfunktion, in der das Abtastintervall ein Bildelement ist. Es wird dabei angenommen, daß die Korrelationsfunktion nach Fig. 2 von einem Gebiet eines Fernsehbildes abgeleitet wird, das um 32 Bildelemente zu 32 Zeilen groß ist, und also läuft die Verschiebung in den X- und Y-Richtungen nach Fig. 2 von -16 nach +16 Abtastpositionen. Nullverschiebung stellt Bewegungsabwesenheit dar, und die von der Nullverschiebungsposition weiter entfernt liegenden Spitzen geben sich ändernde Bewegungsgrade im Gebiet an.
• Das Ausgangssignal der Phasensubtrahiereinrichtung 5 gelangt ebenfalls an eine Abtastumsteuereinrichtung 7, die dieses Ausgangssignal vergrößert, und ein derartiger Vorgang kann mit der Technik unter dem Namen "Auffüllen mit Nullen" bekannt ist. Das daraus entstehende vergrößerte Ausgangssignal aus der Abtastumsteuereinrichtrung 7 gelangt an eine vierte Bebeitungsstufe 8, deren Ausgangssignal die invertierte Fourier-Transformation des vergrößerten Signals aus der Umsteuereinrichtung 7 ist und ebenfalls eine vergrößerte Korrelationsfunktion, die gleich der Korrelationsoberfiäche nach Fig. 2 sein kann, deren Spitzen genauer definiert sind. Wie bei der Bearbeitungsstufe 6 ist die in der Bearbeitungsstufe 8 erzeugte Korrelationsfunktion nicht eine ununterbrochene Oberfläche, sondern eine Reihe diskreter Abtastungen vorgegebener Größen, obgleich in diesem Fall diese Abtastungen um ein Viertel eines Bildelements auseinander liegen, und ist also eine höhere Auflösungskorrelationsfünktion als die aus der Bearbeitungsstufe 6.
• Die Niederauflösungskorrelationsfunktion aus der Berbeitungsstufe 6 gelangt an einen Stellenbestimmer 9 für die größten Abtastungen, der eine vorgegebene Zahl, beispielsweise 20, der Abtastungen mit höchster Größe aus der Niederauflösungskorrelationsfunktion wählt und die Stellen dieser ausgewählten Abtastungen identifiziert. Die Stellen für diese 20 Abtastungen gelangen an eine Spitzenstellenbestimmungseinrichtung 10, die ebenfalls die höhere Auflösungskorrelationsfunktion aus der Bearbeitungsstufe 8 empfängt. Die Spitzenstellenbestimmungseinrichtung 10 identifiziert die entsprechenden Abtastungen in der höheren Auflösungskorrelationsfunktion unter Verwendung der von der Abtaststellenbestimmungseinrichtung 9 gelieferten Koordinaten und sucht unter Verwendung der Positionen für diese 20 Abtastungen die Stellen der höheren Auflösungsspitzen in Verknüpfung mit diesen entsprechenden Abtastungen. Dies kann durch Ausfuhrung einer Suche der steilsten Flanke erreicht werden, wobei ausgehend von einem gewahlten entsprechenden Abtastpunkt die Gradienten zwischen seinen benachbarten Viertelbildelementintervallabtastungen bestimmt werden, bis der steilste Gradient festgestellt wird. Dies wird wiederholt, bis die umgebenden Viertelintervallabtastpunkte größenmäßig niedriger sind, wenn die Spitze mit Viertelbildelementgenauigkeit geortet wird. Die Koordinaten für die auf diese Weise gefundenen Spitzen und ihre Größen können an einen Vektorbegrenzer 11 gelegt werden, in dem bis zu einer begrenzten Zahl, beispielsweise 10, der Koordinaten der Spitzen mit höchster Größe aus solchen gewählt werden, die in der Spitzenstellenbestimmungseinrichtung 10 erzeugt werden, was vorzugsweise mit Fernsehsystemen erfolgt, die eine beschiikte Datenkapazität für die Übertragung von Bewegungsvektoren haben. Diese auf diese Weise gefundenen Koordinaten bilden die begrenzte Zahl von Bewegungsvektoren für ein Gebiet, die an einen Ausgang 12 gelegt werden.
• Obgleich in der obigen Beschreibung das erfmdungsgemäße Verfahren anhand von Geräteeinheiten mit spezifizierten Funktionen beschrieben wird, wird es klar sein, daß das Verfahren in einem Mikrocomputer mit zugeordneter Software-Steuerung durchführbar ist. Zusätzlich können die Korrelationsfunktionen mit einem anderen als dem beschriebenen Verfahren erzeugt werden, wie z.B. durch optimales Anpassen der entsprechenden Gebiete.
• Aus der vorliegenden Beschreibung werden dem Fachmann weitere Abwandlungen bekannt sein. Derartige Abwandlungen können andere Eigenschaften umfassen, die im Entwurf, in der Herstellung und bei der Verwendung des Geräts und seiner Bauteile bekannt sind, und statt oder zusätzlich zu bereits beschriebenen Eigenschaften verwendbar sind.

Claims (8)

1. Verfahren zur Bild-Bewegungsmessung für die Erzeugung von Bewegungsvektoren, mit dem zwei Bilder zur Bestimmung der Korrelation abhängig von selektiver Verschiebung korreliert werden, wobei dieses Verfahren durch folgende Stufen gekennzeichnet ist:

i) das Korrelieren (1-6) von zwei Bildern zur Bestimmung einer ersten Auflösungskorrelation abhängig von der Verschiebung dabei zum Bestimmen erster Abtastkorrelationswerte für eine erste Auflösung,

ii) das Korrelieren (1-5, 7, 8) der zwei Bilder auf der Basis einer vergrößerten Anzahl von Abtastungen zum Bestimmen einer zweiten Auflösungskorrelation abhängig von der Verschiebung dabei zur Bestimmung zweiter Abtastkorrelationswerte für eine höhere als der ersten Auflösung,

iii) die Bestimmung (9) der Positionen einer vorgegebenen Anzahl von Abtastpunkten mit höchster Größe in der ersten Auflösungskorrelationsfunktion, und

iv) das Anwenden (10) der gefundenen Positionen für die vorgegebene Anzahl von Abtastpunkten in der höheren Auflösungskorrelationsfunktion zum Identifizieren der entsprechenden Abtastpunkten in der höheren Auflösungskorrelationsfunktion und zur Bestimmung der Stellen der zugeordneten Spitzen zur Ahzahl der Abtastpunkte in der höheren Auflösungskorrelationsfunktion, wobei die Stellen mit Unterabtastintervallgenauigkeit bei der höheren Auflösung definiert werden.

2. Verfahren nach Anspuch 1, dadurch gekennzeichnet, daß das Verfahren zusätzlich das Wählen (11) aus den Stellen der so gefundenen Spitzen bis zu einer begrenzten Anzahl umfaßt, und diese begrenzte Anzahl ist geringer als die vorgegebene Anzahl der Stellen, deren Koordinaten die Bewegungsvektoren bilden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß Abtastpunkte in der ersten Auflösungskorrelationsfuiiktion ein Intervall von einem Bildelement besitzen, während Abtastpunkte in der höheren Auflösungskorrelationsfunktion ein Intervall von einem Viertel eines Bildelements haben.

4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß die Stellen der Spitzen in der höheren Auflösungskorrelationsfunktion durch Prüfung der Gradienten zwischen benachbarten höheren Auflösungsabtastpunkten gefunden werden, wobei von der vorgegebenen Anzahl entsprechender Abtastpunkte ausgegangen wird.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt (i) der Korrelation (1-6) der zwei Bilder zur Bestimmung der ersten Abtastkorrelationswerte die Schritte der Fourier-Transformation (3, 4) eines ersten Bildes und der Verzögerung des ersten Bildes über eine Bildperiode zur Erzeugung von Fouriertransformierte Bilder, der Phasensubtrktion (5) der Fourier-transformierten Bilder zur Erzeugung eines Phasendifferenzbildes und der invertierten Fourier-Transformation (6) des Phasendifferenzbildes zur Erzeugung der ersten Abtastkorrelationswerte umfaßt,

und daß der Schritt (ii) der Korrelation (1-5, 7, 8) der zwei Bilder auf der Basis der vergrößerten Anzahl von Abtastungen zum Bestimmen der zweiten Abtastkorrelationswerte die Schritte der Fourier-Transformatin (3, 4) des ersten Bildes und der Verzögerung des ersten Bildes über eine Bildperiode zum Erzeugen der Fouriertransformierten Bilder, der Phasensubtraktion (5) der Fourier-transformierten Bilder zum Erzeugen des Phasendifferenzbildes, der Abtaständerung (7) des Phasendiffereiizbildes zum Erzeugen eines Phasendifferenzbildes bei der vergrößerten Anzahl von Abtastungen und der invertierten Fourier-Transformation (8) des Phasendifferenzbildes bei der vergrößerten Anzahl von Abtastungen zum Erzeugen der zweiten Abtastkorrelationswerte umfaßt.

6. Gerät für die Bild-Bewegungsmessung, in dem zwei Bilder zur Bestimmung der Korrelation abhängig von der selektiven Verschiebung korreliert werden, dadurch gekennzeichnet, daß das Gerät folgende Elemente enthält:

Mittel (1-6) zum Korrelieren von zwei Bildern zum Bestimmen der ersten Auflösungskorrelation abhängig von der Verschiebung dabei zum Bestimmen erster Abtastkorrelationswerte bei einer ersten Auflösung,

Mittel (1-5, 7, 8) zum Korrelieren der zwei Bilder auf der Basis einer vergrößerten Anzahl von Abtastungen zum Bestimmen einer zweiten Auflösungskorrelation abhängig von der Verschiebung dabei zur Bestimmung zweiter Abtastkorrelationswerte bei einer höheren aus der ersten Auflösung,

Mittel (9) zum Bestimmen der Positionen einer vorgegebenen Anzahl von Abtastpunkten höchster Größe in der ersten Auflösungskorrelationsfünktion, und

Mittel (10) zum Anwenden der vorgefundenen Positionen für die vorgegebene Anzahl von Abtastpunkten in der höheren Auflösungskorrelationsfunktion zum Identifizieren der entsprechenden Abtastpunkte in der höheren Auflösungskorrelationsfunktion zum Bestimmen der Stellen zugeordneter Spitzen zur Anzahl von Abtastpunkten in der höheren Auflösungskorrelationsfunktion, wobei diese Stellen mit Unterabtastintervallgenauigkeit bei der höheren Auflösung definiert werden.

7. Gerät nach Anspruch 6, dadurch gekennzeichnet, daß es außerdem Mittel (11) zum Wählen aus den Stellen der so gebildeten Spitzen bis zu einer begrenzten Anzahl enthält, wobei die begrenzte Anzahl kleiner ist als die vorgegebene Anzahl der Stellen, deren Koordinaten die Bewegungsvektoren bilden.

8. Gerät nach Anspruch 6, dadurch gekennzeichnet, daß die Mittel (1-6) zum Korrelieren der zwei Bilder zur Bestimmung der ersten Abtas&orrelationswerte Mittel (3, 4) zum Fourier-Transformieren eines ersten Bildes und zum Verzögern des ersten Bildes über eine Bildperiode zum Erzeugen Fourier-transformierter Bilder, Mittel (5) zum Phasensubtrahieren der Fourier-transformierten Bilder zum Erzeugen eines Phasendifferenzbildes und Mittel (6) zum invertierten Fourier-Transformieren des Phasendifferenzbildes zum Erzeugen der ersten Abtastkorrelationswerte enthalten,

und daß die Mittel (1-5, 7, 8) zum Korrelieren der zwei Bilder auf der Basis der vergrößerten Anzahl von Abtastlingen zur Bestimmung der zweiten Abtastkorrelationswerte die Mittel (3, 4) zum Fourier-Transformieren des ersten Bildes und zum Verzögern des ersten Bildes über eine Bildperiode zum Erzeugen der Fouriertransformierten Bilder, die Mittel (5) zum Phasensubtrahieren Bilder zum Erzeugen des Phasendifferenzbildes, Mittel (7) zum Abtaständern des Phasendifferenzbildes zum Erzeugen eines Phasendifferenzbildes bei der vergrößerten Anzahl von Abtastlingen und Mittel (8) zum invertierten Fourier-Transformieren des Phasendifferenzbildes bei der vergrößerten Anzahl von Abtastlingen zum Erzeugen der zweiten Abtastkorrelationswerte umfassen.