DE69331542T2

DE69331542T2 - Ein maschinelles verfahren zur kompensation von nichtlinearen bildwandlungen, z.b. zoom und pan, in einem videobildbewegungskompensierten system

Info

Publication number: DE69331542T2
Application number: DE69331542T
Authority: DE
Inventors: Michael Burl; Roderick Thomson
Original assignee: British Broadcasting Corp
Current assignee: British Broadcasting Corp
Priority date: 1992-03-24
Filing date: 1993-03-24
Publication date: 2002-08-29
Anticipated expiration: 2013-03-25
Also published as: AU3763493A; NO943554L; DK0632915T3; US5953079A; KR950701107A; GB2280082B; WO1993019430A1; FI944455A0; JPH07505033A; DE69331542D1; CN1079094A; EP0632915A1; CA2132863A1; GB9206396D0; GB9419293D0; FI944455A; GB2280082A; EP0632915B1; NO943554D0; ATE213115T1

Description

Diese Erfindung betrifft die Bewegungsmessung in Videobildern und insbesondere eine solche Bewegungsmessung, wenn ein Kamerazoomvorgang, eine Kameradrehung oder eine gewisse andere nicht-lineare Translation zwischen benachbarten Halb- bzw. Zeilenbildern des Videobilds existiert.

Hintergrund der Erfindung

In unserer britischen Patentanmeldung Nr. GB-B-2188510 wird ein Verfahren zur Bewegungsmessung in Fernsehbildern beschrieben, bei dem eine Mehrzahl von Bewegungsvektoren für jeden einer Mehrzahl von Messblöcken eines Bildes abgeleitet wird und aus diesen eine Liste von Bewegungsvektoren abgeleitet wird, die über den gesamten Bereich von jedem Block anwendbar sind. Der Prozess wird dann über den gesamten Bereich des Bildes wiederholt. Diese Vektoren werden unter Verwendung einer Phasenkorrelationstechnik abgeleitet. Einer von diesen wird dann jedem Elementarbereich von jedem Block des Bildes zugeordnet. Andere Verfahren sind ebenfalls möglich, um eine solche Liste von Bewegungsvektoren zu erzeugen, beispielsweise das Blockübereinstimmungsverfahren, das in der europäischen Patentanmeldung Nr. EP-A-0 395 264 beschrieben wird. Jeder Elementarbereich eines Bereichs des Bilds, welchem ein Vektor zugeordnet wird, kann so klein sein wie ein Bildelement (Pixel) oder kann eine Mehrzahl von Bildelementen für einen Block des Bildes umfassen. Die auf diese Weise abgeleiteten Bewegungsvektoren können beispielsweise dazu verwendet werden, um Ausgangshalbbilder zu Zeitpunkten zu erzeugen, die zeitlich zwischen den Zeitpunkten von zwei Eingangshalbbildern liegen. Solche Zwischenhalbbilder werden benötigt, wenn Zeitlupeneffekte erzeugt werden, wenn Videobilder an einen Film oder von einem Film übermittelt werden, oder bei einer Normwandlung.
Man hat herausgefunden, dass die Verfahren, die zur Ableitung der Bewegungsvektoren verwendet werden, für stationäre Kamerapositionen sehr zufriedenstellend sind, aber diese haben zu Problemen geführt, wenn ein Kamerazoomvorgang involviert ist oder eine Drehung der Kamera um ihre Betrachtungsachsen. Diese Probleme waren besonders gravierend, wenn ein solcher Zoomvorgang oder Drehbewegung mit einem Kameraschwenk verknüpft wurde, und die Verfahren zur Ableitung der Bewegungsvektoren haben in gewissen Fällen in diesen Situationen komplett versagt.

Zusammenfassung der Erfindung

Bevorzugte Ausführungsform der vorliegenden Erfindung trachten danach, ein automatisches Verfahren zum Extrahieren einer Bewegungskomponente aufgrund eines Kamerazoomvorgangs oder einer Drehbewegung aus den Grobbewegungen in einer Szene zu extrahieren. Die Komponente für jeden Bildbereich wird proportional zu dem Abstand dieses Bereichs zu einem bestimmten Punkt in dem Bild sein. Dies wird dadurch erzielt, dass eine Konstante abgeschätzt wird, die eine nicht-lineare Transformation repräsentiert, und zwar aus Sätzen von Versuchsvektoren, und dadurch, dass dann ein Vektor, der die nicht-lineare Transformation definiert, zu der Versuchsvektorliste für jeden Block addiert wird.
Die Erfindung ist in den beigefügten Patentansprüchen niedergelegt, auf die Bezug genommen werden sollte.

Kurze Beschreibung der Zeichnungen

Bevorzugte Ausführungsformen der Erfindung werden nun ausführlich und in beispielhafter Weise unter Bezugnahme auf die beigefügten Zeichnungen beschrieben werden, worin:
Fig. 1 schematisch den Typ von Bewegungsvektor zeigt, der von einem herkömmlichen Fernsehbild-Bewegungsmesssystem abgeleitet wird;
Fig. 2 schematisch den Einfluss eines Kameraschwenks zeigt;
Fig. 3 den Einfluss eines Kamera-Zoomvorgangs auf die oberste Reihe von Bildbereichen zeigt, die in Fig. 2 gezeigt sind; und
Fig. 4 und 5 Zoom- und Schwenkoberflächen zeigt, die unter Verwendung einer Ausführungsform gemäß der Erfindung abgeleitet werden.

Ausführliche Beschreibung von bevorzugten Ausführungsformen

In Fig. 2 sind zwei nebeneinander liegende Bilder eines Fernsehsignals F0 und F1 schematisch gezeigt. Diese haben einen Abstand in der Zeit von T. Ein Objekt 2 ist sowohl in F0 als auch in F1 gezeigt und dieses Objekt bewegt sich von einer ersten Position in F0 zu einer zweiten Position F1. Ein Fernsehbild-Bewegungsmesssystem von dem Typ, der in GB 2188510 beschrieben wird, wird dazu verwendet, um Differenzen zwischen F0 und F1 zu analysieren, und dieses erzeugt einen Vektor V, der die Bewegung des Objekts 2 zwischen den benachbarten Bildern oder Halb- bzw. Zeilenbildern beschreibt.
In der Fig. 2 ist ein Bild F1 gezeigt, das in eine Mehrzahl von Bereichen unterteilt ist, für die Sätze von Versuchsbewegungsvektoren mit Hilfe des Bewegungsmesssystems abgeleitet werden. Typischerweise werden 108 Bereiche verwendet und ein Satz von Versuchsvektoren wird für jeden Bereich abgeleitet. Vorzugsweise überlappen diese Bereiche, so dass eine Bewegung über Ränder leichter verfolgt werden kann. Ein Kameraschwenk hat zwischen F0 und F1 stattgefunden und somit erzeugt die Bewegungsmessung einen Translationsvektor in dem Satz von Versuchsvektoren, der für jeden Bereich des Bildes gilt, um den Kameraschwenk zu definieren. Zusätzlich dazu werden Bereiche des Bildes, die Bewegungen von dem Typ, der in der Fig. 1 gezeigt ist, umfassen, in deren Versuchsvektorlisten Vektoren beinhalten, um diesen Typ von Bewegung zu definieren, so dass die Bewegungen von irgendwelchen Vordergrundobjekten, die der im Hintergrund ablaufenden Schwenkbewegung überlagert sind, durch die Bewegungsvektoren geeignet definiert werden, wenn diese Elementarbereichen zugeordnet werden. Die Schwenkvektoren sind Hintergrundvektoren für irgendeine Bewegung in der Szene.
Man hat herausgefunden, dass der Schwenkvektor für einfache Kameraschwenkbewegungen leicht abgeleitet werden kann, weil diese normalerweise in 60% oder mehr der Blöcke auftreten, in die die TV-Pixel unterteilt sind. Wenn jedoch auch ein Zoomvorgang involviert ist, wird ein geringer Anteil des Zoomvorgangs dazu führen, dass die Ableitung des Schwenkvektors versagt.
Um das System dahingehend zu korrigieren, dass irgendein Kamera-Zoomvorgang oder eine Drehbewegung berücksichtigt wird, ist gemäß einer Ausführungsform der vorliegenden Erfindung ein ziemlich verwickelter Vorgang entwickelt worden, um eine Zoomkomponente und auch irgendeine Schwenkkomponente von den Vektoren zu extrahieren, die auf einen Bereich des Bildes angewendet werden.
Zwei Vektoren, die verschiedenen Blöcke in einem Bild F1 einer Sequenz zugeordnet sind, werden von einem Vergleich des Bildes in F1 mit demjenigen in F0 abgeleitet. Dies wird eine allgemeine Bewegung in der Szene repräsentieren und wird zwei Komponenten umfassen. Eine Komponente aufgrund einer Schwenkbewegung wird ein konstanter Wert für das gesamte Bild sein und kann Null sein. Die andere Komponente wird nicht-linear sein und kann aufgrund eines Zoomvorgangs oder einer Drehbewegung auftreten. Dies ist eine Bewegung, die auf einen Punkt in der Szene hin gerichtet ist, von diesem weg gerichtet ist oder drehend um diesen gerichtet ist, und zwar für gewöhnlich in Bezug auf die Mitte, und zwar mit einem Wert, der proportional zu dem Abstand zu diesem Punkt ist. Eine Drehbewegung um einen nicht zentralen Punkt kann als Schwenkbewegung plus Drehbewegung um die Mitte definiert werden.
In der Fig. 3 ist der Einfluss eines Zoomvorgangs auf die oberste Reihe von Bildbereichen gemäß der Fig. 2 dargestellt. Bei P1 wird ein Hintergrundvektor V1 abgeleitet. Dieser umfasst einen Schwenkvektor PV1 und einen Zoomvektor ZV1. Bei P2 wird ein zweiter Hintergrundvektor V2 abgeleitet. Dieser umfasst einen Schwenkvektor PV2 (der gleich PV 1 ist) sowie einen Zoomvektor ZV2.
Die Punkte P1 und P2 sind relativ zu der Mitte des Bildes angeordnet. Dies führt zu einem Gleichungssystem, das wie folgt lautet:
V1 = Schwenk_Vektor + Zoom_Konstante · P1
V2 = Schwenk_Vektor + Zoom_Konstante · P2
Somit gilt:
V1 - V2 = Zoom_Konstante · P1 - Zoom_Konstante · P2
und:
Zoom_Konstante = (V1 - V2)/(p1 - p2)...(1)
Somit gilt:
Schwenk_Vektor = V1 - Zoom_Konstante · P1.
Eine Abschätzung der Zoomkonstante wird unter Verwendung der Gleichung (1) dadurch vorgenommen, dass jeder Vektor in einem Versuchsvektorsatz für einen Bereich verwendet wird und dieser in Gleichung (1) mit jedem Vektor in den Sätzen von Versuchsvektoren von sämtlichen der anderen Bereiche in dem Bild verglichen wird. Daraus kann die Zoomkonstante für das Bild als Ganzes abgeleitet werden, und zwar unabhängig davon, ob irgendwelche transienten Bewegungen innerhalb der Szene vorliegen oder nicht. Dies wird dadurch bewerkstelligt, dass eine Abbildung bzw. Karte der Zoomkonstante für sämtliche der Paare von Vektoren in der Szene abgeleitet wird und diejenige Zoomkonstante abgeleitet wird, deren Wert in dieser Zoomkarte am häufigsten auftritt. Die abgeleiteten Werte werden zufallsverteilt sein, wenn diese nicht einem Quellobjekt entsprechen, auf das der Zoomvorgang einwirkt.
Wenn einmal die Sätze von Versuchsvektoren abgeleitet worden sind, kann die gesamte Analyse der Zoom- und Schwenkvektoren wie folgt zusammengefasst werden:
a) Man erzeuge eine Abbildung bzw. Karte von sämtlichen möglichen Zoomwerten mit reellen und imaginären Achsen und setze die Abbildung gleich Null.
b) Man leite einen Schätzwert für Zoom Konstante aus Gleichung (1) für ein Paar von Bildbereichen aus den Sätzen von Versuchsvektoren für diese Bereiche ab. Dies wird für sämtliche Paare von Bildbereichen wiederholt, nicht jedoch für Vektoren von dem selben Block. Jeder Schätzwert der Zoomkonstante wird dann auf der Zoomkarte dargestellt.
c) Man filtere die Zoomkarte, so dass sich eine glatte Oberfläche ergibt.
d) Derjenige Zoom-Extremwert wird genommen, welcher der größte von Null verschiedene Extremwert mit einer kleinen imaginären Komponente oberhalb eines Schwellenwertes ist. Imaginäre Komponenten treten aufgrund von Kameradrehbewegungen auf und sind normalerweise ziemlich klein.
e) Für jeden Block und jeden Vektor in der ursprünglichen Liste von Versuchsvektoren wird die Zoomkomponente dadurch beseitigt, dass Zoom Konstante multipliziert mit der Blockposition subtrahiert wird:
Vn_de - Zoom = Vn - P1 · Zoom_Konstante
Falls es keinen Zoomvorgang gibt, dann ist Zoom_Konstante = 0 und gilt Vn_de - Zoom = Vn.
f) Man erzeuge eine Karte bzw. Abbildung von sämtlichen möglichen Schwenkwerten und setze die Abbildung auf Null.
g) Man addiere einen konstanten Platzhalter in der Schwenk-Karte bei einer Position, die dem Wert von Vn_de - Zoom entspricht. Man wiederhole dies für sämtliche Vn_de - Zoom.
h) Man filtere die Schwenk-Karte, so dass sich eine glatte Oberfläche ergibt, und finde den Maximalwert. Man setze einen Schwellenwert gleich der Hälfte des Maximums.
i) Die Extremwerte in der Schwenk-Oberfläche entsprechen den Grobbewegungen in dem Bild. Normalerweise ist der größte von Null verschiedene Extremwert oberhalb des Schwellenwerts die Schwenkbewegung. Falls ein Nullwert der höchste Extremwert ist und keine andere Punkte oberhalb des Schwellenwerts liegen, dann gilt Schwenk = 0.
j) Man starte mit dem höchsten Extremwert in der Schwenk-Oberfläche, berechne den pz_Vektor für jeden Block und addiere diesen zu dem Block, falls ein geeigneter Vektor nicht bereits existiert, wobei gilt:
pz_Vektor (n) = Schwenk_Vektor + Zoom_Konstante · Pn
CCD-Kameras neigen dazu, einen verschwindenden Extremwertvektor zu ergeben, wenn kein Zoomvorgang involviert ist. Man glaubt, dass dies aufgrund eines Hintergrundrauschens in den CCD-Zellen auftritt. Somit ist es bei Vorliegen eines Zoomvorgangs unwahrscheinlich, mehr als einen Schwenkvektor aufzufinden, oftmals werden jedoch zwei aufgefunden, falls es keinen Zoomvorgang gibt. Falls die Anzahl von Schwenkvektoren auf eine größere Anzahl gesetzt wird, ist es dennoch unwahrscheinlich, mehr als einen oder zwei Vektoren zu addieren.
Die Zoom-Oberfläche, die mit Hilfe der vorgenannten Schritte abgeleitet wird, ist in der Fig. 4 gezeigt, wobei der Zoom-Extremwert bezeichnet ist. Die x-Achse repräsentiert eine Vorwärts- und Rückwärtsbewegung von Objekten aufgrund eines Zoomvorgangs, d. h. eine Bewegung in die Leinwand hinein oder aus dieser heraus als Folge eines Zoomvorgangs, während die x-Achse eine Drehbewegung repräsentiert. In ähnlicher Weise ist die Schwenk- Oberfläche in der Fig. 5 gezeigt, wobei der höchste von Null verschiedene Extremwert der Schwenkvektor ist.
Die Verwendung dieses Verfahrens macht es möglich, einen kombinierten Zoom- und Schwenkvektor zu der Versuchsvektorliste für jeden Bereich zu addieren und wobei dann Vektoren zu Elementarbereichen eines Bildbereichs zugeordnet werden. Dies führt zu einem Vektor-Zuordnungssystem, das eine untergrundbewegung genauer definiert und Fehler in der Nähe von Vordergrundobjekten verringert. Somit können Hintergrundobjekte in der Nähe von Vordergrundobjekten innerhalb der Szene viel einfacher verfolgt werden und als Folge davon kann der richtige Vektor einem Zwischenhalbbild zugeordnet werden, welcher zu einem Zeitpunkt zwischen F0 und F1 abgeleitet wird.
Ein alternatives Verfahren zum Auffinden des Schwenkvorgangs besteht darin, durch sämtliche der Vektoren nach einer Zoomkorrektur durchzugehen und die Anzahl von Vektoren abzuzählen, die innerhalb eines kleinen Abstandes zu dem Bezugspunkt liegen. Derjenige Vektor mit der größten Anzahl von Nachbarn wird die Schwenkbewegung oder eine Grobbewegung sein.
Ein Fachmann auf diesem Gebiet wird erkennen, dass das hierin beschriebene Verfahren in Form von Computersoftware oder in Form einer spezialisierten Hardware in bekannter Weise realisiert werden kann. Es sind die tatsächlichen Schritte des Ableitens der Zoom- und Schwenkkomponenten des Bildes, die wesentlich für diese spezielle Ausführungsform der Erfindung sind, und nicht irgendwelche spezielle Hardware, die verwendet wird, um diese abzuleiten.
Um das Verfahren zum Ableiten von Schwenk- und Zoomvektoren zu vereinfachen, ist vorgeschlagen worden, dass man anstelle der Erzeugung von Zoom- und Schwenk-Karten eine 1D-Darstellung verwenden kann, die reelle Achsen aufweist, um diese Konstante abzuleiten. Dies würde natürlich jegliche imaginären Komponenten aufgrund einer Kameradrehung nicht berücksichtigen.
Bei dieser vereinfachten Realisierung wird eine Drehbewegung in der Zoom-Karte gemäß der Fig. 4 vollständig ignoriert und wird nur eine Bewegung aufgrund eines Zoomvorgangs dargestellt. Weil eine Drehbewegung für gewöhnlich nur Bewegungen von einem oder zwei Bildpunkten involviert, resultiert daraus keine ernsthafte Verschlechterung der Genauigkeit.
Für die Analyse der Schwenkbewegung werden die Vektoren in x-Komponenten und y- Komponenten aufgeteilt. Die zwei Komponenten werden dann getrennt für die Vektoren analysiert, die abgeleitet werden, um einen Extremwert für die Schwenkbewegung sowohl in der x-Richtung als auch in der y-Richtung zu erzeugen.
Die Rechenleistung, die benötigt wird, um diese vereinfachte Realisierungsform auszuführen, ist erheblich kleiner als diejenige, die für die vollständige Analyse verwendet wird. Die Rechenleistung kann weiter dadurch verringert werden, dass die duplizierten Daten ignoriert werden, die von überlappenden Blöcken erzeugt werden.

Claims

1. Verfahren zum Kompensieren von nicht-linearen Bildtransformationen in einem eine Bildbewegung kompensierenden Videosystem, bei dem ein Satz von Probebewegungsvektoren für jeden einer Anzahl von Blöcken abgeleitet wird und bei dem jeder Block ein Bereich eines Videobildes ist, mit den folgenden Schritten:

es werden Schätzwerte von einer der Bildtransformationen für sämtliche Paare der Probebewegungsvektoren in den Blöcken abgebildet;

es wird die Position eines Maximums der Werte der Abbildung bzw. Karte bestimmt, wobei die Position den Schätzwert für die Bildtransformation darstellt;

es wird von jedem der Probebewegungsvektoren in den Blöcken ein Bewegungsvektor subtrahiert, der gleich der geschätzten Bildtransformation bei der Position des Blocks ist, wobei die Ergebnisse der Subtraktionsvorgänge Vektorwerte sind, von denen die Bildtransformationskomponente entfernt worden ist;

es werden Schätzwerte der anderen der Bildtransformationen für sämtliche der Probebewegungsvektoren in den Blöcken abgebildet;

es wird die Stelle eines Maximums der Werte auf der Abbildung bzw. Karte für die andere der Bildtransformationen bestimmt, wobei die Position den Schätzwert der anderen Bildtransformation darstellt; und

es werden neue Vektoren für jeden Block unter Verwendung der Schätzwerte von beiden Bildtransformationen berechnet.

2. Verfahren nach Anspruch 1, bei dem die nicht-linearen Bildtransformationen ein Zoomvorgang und ein Kameraschwenk sind.

3. Verfahren nach Anspruch 1, bei dem die nicht-linearen Bildtransformationen eine Rotation und ein Kameraschwenk sind.

4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Bildtransformationen anhand von Werten für Probevektoren geschätzt werden, indem ein gekoppeltes Gleichungspaar gelöst wird, nämlich:

V1 = Kameraschwenk_Vektor + Zoom_Konstante*P1

V2 = Kameraschwenk_Vektor + Zoom_Konstante*P2,

wobei V 1 und V2 Werte für Probevektoren in Blöcken sind, deren Positionen P1 und P2 sind.

5. Bildbewegungskompensierendes Videosystem zum Ausführen des Verfahrens nach einem der vorhergehenden Ansprüche.

6. Verfahren zum Kompensieren von nicht-linearen Bildtransformationen in einem eine Bildbewegung kompensierenden Videosystem, bei dem ein Satz von Probebewegungsvektoren für jeden einer Anzahl von Blöcken abgeleitet wird und bei dem jeder Block ein Bereich eines Videobildes ist, mit den folgenden Schritten:

es wird eine eindimensionale graphische Darstellung von Schätzwerten von einer der Bildtransformationen für sämtliche Paare der Probebewegungsvektoren in den Blöcken erstellt;

die Position eines Maximums der Werte in der graphischen Darstellung wird bestimmt, wobei die Position den Schätzwert für die Bildtransformation darstellt;

von jedem der Probebewegungsvektoren in den Blöcken wird ein Bewegungsvektor subtrahiert, der gleich der geschätzten Bildtransformation bei der Position des Blocks ist, wobei die Ergebnisse der Subtraktionsvorgänge Vektorwerte sind, von denen die Bildtransformationskomponente entfernt worden ist;

die Vektorwerte werden in X- und Y-Komponenten aufgeteilt, die dann separat analysiert werden, um die X- und Y-Komponenten der anderen nicht-linearen Bildtransformation zu schätzen; und

7. Verfahren nach Anspruch 6, bei dem die nicht-linearen Bildtransformationen ein Zoomvorgang und ein Kameraschwenk sind.

8. Verfahren nach Anspruch 6, bei dem die nicht-linearen Bildtransformationen eine Rotation und ein Kameraschwenk sind.

9. Verfahren nach einem der Ansprüche 6 bis 8, bei dem die Bildtransformationen anhand von Werten für Probevektoren geschätzt werden, indem ein gekoppeltes Gleichungspaar gelöst wird, nämlich:

V1 = Kameraschwenk_Vektor + Zoom_Konstante*P1

V2 = Kameraschwenk_Vektor + Zoom_Konstante*P2,

wobei V1 und V2 Werte für Probevektoren in Blöcken sind, deren Positionen P1 und P2 sind.

10. Bildbewegungskompensierendes Videosystem zum Ausführen des Verfahrens nach einem der Ansprüche 6 bis 9.