DE69223925T2

DE69223925T2 - Videobildverarbeitung

Info

Publication number: DE69223925T2
Application number: DE69223925T
Authority: DE
Inventors: Michael Twickenham Middlesex Tw1 4Qr Burl; Phillip Sutton Surrey Sm2 5Eq Layton; Roderick Richmond Surrey Tw9 2Ld Thomson
Original assignee: British Broadcasting Corp
Current assignee: British Broadcasting Corp
Priority date: 1991-05-24
Filing date: 1992-05-26
Publication date: 1998-06-18
Anticipated expiration: 2012-05-27
Also published as: WO1992021201A1; CA2087946A1; GB9211154D0; FI930280A0; BG97326A; DK0540714T3; SK399892A3; US6011596A; FI930280A; DE69223925D1; CN1079350A; AU660020B2; CZ399892A3; JPH06500225A; EP0540714B1; GB2256341B; HU9300005D0; NO930221L; NO930221D0; GB2256341A

Description

Hintergrund der Erfindung

Diese Erfindung betrifft die Videobildverarbeitung und insbesondere die Ableitung und Zuteilung bzw. Zuordnung von Bewegungsvektoren, die die Richtung und Größe einer augenblicklichen Bewegung zu verschiedenen Bereichen eines Videobildes angeben, um die Erzeugung von gewünschten Ausgabe- bzw. Ausgangsbildern zu fördern.
Unser britisches Patent Nr. GB-B-2188510 beschreibt ein Verfahren zur Erzeugung eines Verzeichnisses bzw. einer Liste von Bewegungsvektoren, die über den gesamten Bereich eines Videobildes anwendbar sind, und zur Zuordnung eines passenden Bewegungsvektors von den Bewegungsvektoren in dem Verzeichnis zu jedem Bereich des Bildes. Andere Verfahren zur Erzeugung solcher Listen von Bewegungsvektoren sind möglich. Die Bereiche, auf die die Vektoren angewendet werden, können so klein sein wie ein einzelnes Bildelement (Pixel) oder können eine Anzahl von Pixeln umfassen, d.h. einen Block des Bildes.
Solche Bewegungsvektoren sind besonders geeignet, wenn Ausgangsvideohalbbilder erzeugt werden sollen, die einem Zeitpunkt zwischen zwei Eingangshalbbildern entsprechen. Solche Ausgangshalbbilder sind in Videobildverarbeitungssystemen erforderlich, die Videobilder an einen Film oder von diesem übertragen, bei der Umwandlung von Normen bzw. Standards oder bei der Erzeugung von Zeitlupeneffekten (Slow Motion).
Bei allen solchen Anwendungen ist es wünschenswert, ein scharfes, sich gleichmäßig bewegendes Bild zu erzeugen. Für den Fall einer Slow-Motion-Erzeugung, falls das Verfahren beispielsweise mit einer mit einem Verschluß versehenen CCD-Kamera verwendet wird, können dann Bilder mit einer Qualität erzeugt werden, die derjenigen Qualität nahekommt, die man mit einer Kamera mit hoher Bildfrequenz erreichen kann. Ein mögliches Verfahren zur Erzeugung der Liste von Bewegungsvektoren und zur anschließenden Zuordung von diesen zu einzelnen Bildelementen ist in unserer internationalen Patentanmeldung WO-A-9205662 vorgeschlagen worden. Dieses Verfahren ist als Vier-Halbbild-Algorithmus bekannt und verwendet insgesamt vier Eingangshalbbilder zur Zuordnung bzw. Zuteilung eines Ausgangsvektorhaibbildes. Man hat herausgefunden, daß für gewisse Bewegungsarten und insbesondere für eine Drehbewegung diese Art von System nicht immer zufriedenstellende Ergebnisse herbeiführt.
Ein weiteres bekanntes System wird in der britischen Patentanmeldung GB-A- 2231743 beschrieben. Bei diesem Verfahren wird eine Liste von Versuchsvektoren abgeleitet, und zwar unter Verwendung eines Blockübereinstimmungsverfahrens zwischen einem Paar von Halbbildern, die mit F&sub1; und F&sub1; bezeichnet werden. Diese Liste oder Menii bzw. Auswahl von Vektoren wird dann über drei Halbbildintervalle F&sub1; bis F&sub4; angewendet, um ein Vektorhalbbild zum Zeitpunkt eines gewünschten Ausgangsvektorhalbbildes zu erzeugen. Bei diesem Verfahren treten auch Schwierigkeiten auf, weil dem Ausgangsvektorhalbbild Vektoren zugeordnet werden, ohne daß notwendigerweise berücksichtigt würde, ob ein durch den Vektor dargestelltes Objekt in den beiden benachbarten Halbbilder vorhanden ist oder nicht. Somit können Fehler in Ausgangshalbbildem auftreten. Wenn das nächste Intervall (F&sub2; bis F&sub3;) verwendet wird, muß auch ein neuer Satz von Vektoren für F&sub2; abgeleitet und anschließend zugeordnet werden. Dies führt zu einer zusätzlichen Berechnung und erhöht die Komplexität.
Das Dokument "Motion Compensated Image Interpolation" von C. Cafforio et al., publiziert in den IEEE Transactions on Communications, Band 38, Nr.2, Februar 1990, New York, Seiten 215-222, beschreibt einen Algorithmus zur bewegungsausgleichenden Halbbildinterpolation. Dieser Algoritlimus verwendet Vorwärts- und Rückwärtsbewegungsvektorhalbbilder, um zuverlässig verbundene Punkte in aufeinanderfolgenden Bildern zu detektieren. Eine offensichtliche Schwierigkeit bei diesem Algorithmus liegt jedoch in dem Vorhandensein von verdeckten oder nicht verdeckten Teilen, die in nur einem der zwei zur Verfügung stehenden Bilder auftreten.

Zusammenfassung der Erfindung

Wir sind uns bewußt gewesen, daß für eine Folge von drei Videobildern jegliches Objekt, das in einem Eingangshalbbild vorliegt, entweder in dem vorherigen Eingangsvideohalbbild oder in dem darauffolgenden Eingangsvideohalbbild vorhanden sein wird. Somit liegt in diesen drei Halbbildern die gesamte Information vor, die benötigt wird, um ein Ausgangszwischenhalbbild zu erzeugen. Somit besteht der einzige Weg, um sicherzustellen, daß Vektoren korrekt zugeordnet werden, wenn Ausgangshalbbilder erzeugt werden, darin, die Vektoren speziell den Eingangshalbbildern zuzuordnen, bevor Ausgangshalbbilder erzeugt werden. Zwei Verfahren zur Erzeugung der notwendigen Vektormenüs und zur Zuordnung dieser zu Eingangshalbbildern vor der Ableitung von Ausgangshalbbildem werden in dieser Patentanmeldung beschrieben. Wegen der Art und Weise, in der diese funktionieren, werden diese als der Drei-Halbbild-Algorithmus (three field algorithm) und als der Zwei- Halbbild-Algorithmus (two field algorithm) bezeichnet.
Die vorliegende Erfindung wird in den beigefügten Patentansprüchen festgelegt, auf die nachfolgend Bezug genommen werden soll.

Ausführliche Beschreibung bevorzugter Ausführungsformen

Die Effindung wird nachfolgend ausführlicher und in beispielhafter Weise, unter Bezugnahme auf die beigefügten Figuren, beschrieben werden, in denen:
Fig. 1 eine Darstellung ist, die die Ableitung einer Korrelationsfläche mit Hilfe des Drei-Halbbild-Algorithmusses darstellt;
Fig. 2 eine Darstellung ist, die die Bewegung des Vordergrundes und des Hintergrundes beispielsweise zwischen einer Folge von vier aufeinanderfolgenden Halbbildern darstellt;
Fig. 3 eine Darstellung ist, die ein Verfahren zur Vektorzuteilung darstellt;
Fig. 4 eine Darstellung ist, die die Ableitung einer Korrelationsfläche mit Hilfe des Zwei-Halbbild-Algorithmusses darstellt;
Fig. 5 eine Darstellung ist, die die Vektorzuordnung für Vektormenüs darstellt, wie sie in Fig. 4 erzeugt werden;
Fig. 6 ein Blockschema einer Schaltung ist, die die Korrelationsfläche aus Fig. 1 erzeugt; und
Fig. 7 ein Blockschema einer Schaltung zur Erzeugung der Korrelationsfläche aus Fig. 4 ist.
Zunächst wird das zuvor bezeichnete Drei-Vektorhalbbild-Zuordnungsverfahren beschrieben werden.
Das Drei-Vektorhalbbild-Zuordnungsverfahren wird anhand von Fig. 1 beschrieben, die drei zeitlich versetzte Haibbilder f&sub0;, f&sub1; und f&sub2; zu den Zeitpunkten t&sub0;, t&sub1; und t&sub2; zeigt.
Unter Verwendung eines Verfahrens von dem in unserer britischen Patentschrift Nr. GB-B-2188510 dargelegten Typ, einem Phasenkorrelationsverfahren auf Grundlage einer schnellen Fourier-Transformation (Fast Fourier Transformation), wird eine Phasenkorrelationsfläche bzw. ein Phasenkorrelationsflächenraum P&sub1; abgeleitet, um das Vektorhalbbild darzustellen, welche bzw. welcher die Differenzen zwischen Halbbildern f&sub0; und f&sub1; festlegt. Eine zweite Korrelationsfläche P2 wird abgeleitet, um die Differenzen zwischen f&sub1; und f&sub2; darzustellen. Diese Korrelationsflächen werden für jeden einer Anzahl von Blöcken bzw. Feldern der Eingangshalbbilder F&sub0;, F&sub1; und F&sub2; abgeleitet. Typischerweise wird das Eingangsbild vor der Phasenkorrelation in 108 Blöcke unterteilt, die in Form von 9 Zeilen auf 12 Blöcke bzw. Spalten angeordnet sind. Die Phasenkorrelation wird zwischen demselben Block von zwei aufeinanderfolgenden sequentiellen Halbbildern f&sub0; und f&sub1; ausgeführt.
Nachdem die Korrelationsflächen P&sub1; und P2 für entsprechende Blöcke in f&sub0; und f&sub1; und f&sub2; abgeleitet worden sind, werden diese zeitlich gefiltert, indem diese in einem Summierer 2 aufaddiert werden. Dies erzeugt eine Korrelationsfläche PT, die verwendet werden kann, um dem Eingangshalbbild f&sub1; Vektoren zuzuordnen. Diese Fläche PT wird Information über Objekte beinhalten, die in allen drei Haibbildern vorhanden sind, ebenso wie über Objekte, die nur in f&sub0; und f&sub1; oder in f&sub1; und f&sub2; vorhanden sind. Somit sollte es möglich sein, jedem Bildbereich in f&sub1; einen Vektor zuzuordnen.
Ein Vektormenü bzw. eine Vektorauswahl wird von PT vor der Zuordnung von Vektoren zu f&sub1; abgeleitet, indem eine Suche vorgenommen wird, um die Peaks bzw. Extremwerte in der Korrelationsfläche zu lokalisieren. Eine Liste von beispielsweise bis zu fünf Extremwerten oberhalb eines voreingestellten Schwellenwertes wird ausgewählt, um eine Auswahl von Versuchsvektoren zur Zuordnung von Bild bereichen in dem Block in f&sub1; zu erzeugen, von dem die Fläche abgeleitet worden ist.
Bevor die Auswahl von Versuchsvektoren f&sub1; zugeordnet wird, wird sie auf Kameraschwenk- und Zoombestandteile untersucht und werden geeignete Einstellungen vorgenommen. Verfahren zur Durchführung dieser Einstellungen werden in unserer britischen Patentanmeldung 9206396.5, veröffentlicht als GB-A-2280082, beschrieben.
Diese so abgeleitete Vektorauswahl sollte einen Vektor umfassen, der für jedes Pixel in f&sub1; die Bewegung zwischen f&sub0; und f&sub1; sowie zwischen f&sub1; und f&sub2; eindeutig beschreibt.
Der Zweck der Zuordnung ist es, Vektoren zu erzeugen, die den Pixeln von f&sub1; zugeordnet sind, die verwendet werden können, um zu der Ableitung eines Ausgangshalbbildes entweder zwischen f&sub0; und f&sub1; oder zwischen f&sub1; und f&sub2; beizutragen, indem die Daten dieses Pixels auf die Zeitposition des Ausgangshalbbildes projiziert werden. Ein Verfahren zur Zuordnung dieser Vektoren wird in unserer internationalen Patentanmeldung Nr. WO-A-9205662 beschrieben. Darin wird ein Vektor einem Pixel in f&sub1; gemäß demjenigen Vektor in der Versuchsvektorliste zugeordnet, der den kleinsten Gesamtfehler (Übereinstimmungsfehler) bei Ableitung der Projektion dieses Pixels mit diesem Vektor auf f&sub2; und auf f&sub0; ergibt. Schwierigkeiten bei einer solchen Zuordnung treten auf, wenn sich Vordergrundobjekte bewegen und folglich Bereiche des Hintergrundes des Bildes zwischen Halbbildem zum Vorschein bringen und abdunkeln bzw. verdecken. Einige Vorschläge, um mit diesen Schwierigkeiten fertigzuwerden, wurden in unserer internationalen Patentanmeldung wo- A-9205662 im Zusammenhang mit dem Vier-Halbbild-Algorithmus dargelegt und Abwandlungen dieser Vorschläge können bei der Zuordnung von Vektoren verwendet werden, die unter Verwendung des Drei-Halbbild-Algorithmusses abgeleitet werden.
Von einer Szene von Vordergrundobjekten, die sich vor Hintergrundobjekten bewegen, sei angenommen, daß das Vordergrundobjekt den Hintergrund abdunkelt bzw. verdeckt. Die Bewegung des Vordergrundobjektes verdeckt ständig den Hintergrund bzw. macht diesen unscharf und bringt diesen wieder zum Vorschein. Alles, was bei einer Folge von drei Halbbildern im mittleren Halbbild sichtbar ist, sollte entweder in dem vorherigen Halbbild, in dem nächsten Halbbild oder in beiden vorhanden sein. Dies wird in Fig. 2 gezeigt. Die Ausnahme von dieser Regel ist der Fenstereffekt (window effect), der von einer Öffnung in dem Vordergrund hervorgerufen wird, die in jedem Halbbild etwas völlig anderes zeigt.
Der Drei-Halbbild-Algorithmus wird verwendet, um eine Liste von Versuchsvektoren zu erzeugen und bei Verwendung von diesen kann jedes Element eines Bildes auf eine der folgenden Arten zugeordnet werden:
a) Vordergrundobjekt; kleiner Übereinstimmungsfehler in Periode bzw. Zeitraum des mittleren Halbbildes
b) verdeckter Hintergrund; kleiner Übereinstimmungsfehler in Periode des vorherigen Halbbildes, falls Halbbild 1 zugeordnet wird
c) zum Vorschein gebrachter Hintergrund; kleiner Übereinstimmungsfehler in Periode des nächsten Halbbildes, falls Halbbild 2 zugeordnet wird
d) fehlender Vektor/Fensterproblem; keine gute Übereinstimmung (match)
Drei-Halbbild-Zuordnungen erzeugen ein Vektorhalbbild und ein Statushalbbild, die mit einem Eingangs- bzw. Eingabehalbbild zeitlich zusammenfallen. Falls ein synchronisiertes bzw. zeitlich abgestimmtes Eingangsvektorhalbbild für zwei aufeinanderfolgende Eingangshalbbilder zur Verfügung steht, ist die Erzeugung eines Ausgangszwischenhalbbildes bzw. eines zwischengeordneten Ausgangshalbbildes ein Logikproblem. Falls ein Vektor gerade in der Auswahl fehlt, ist natürlich ein Bereich des Bildes dazu bestimmt, mit Hilfe eines Bereitschaftsmodusses (fallback mode) erzeugt zu werden, und wird nicht bewegungskompensiert.

Zuordnung mehrerer Vektoren

Nach diesem Verfahren der Zuordnung wird der Vektorauswählprozeß ausgedehnt, um die Erzeugung von bis zu zwei Vektoren für jedes Ausgangspixel in Bereichen eines zum Vorschein gebrachten und verdeckten Hintergrundes zu ermöglichen. Dies ermöglicht einen sanften Ubergang bzw. Wechsel zwischen Vektoren, die zur Bildinterpolation an Übergangsbereichen zwischen Vordergrund- und Hintergrundobjekten verwendet werden. Beispielsweise wird für jedes Pixel, das als zum Vorschein gebrachter Hintergrund zugeordnet wird (d.h. zwischen den zwei letzten Halbbildern tritt der kleinste gewichtete Zuordnungsfehler auf), auch der Vektor bestimmt, der den kleinsten Zuordnungsfehler über die ersten zwei Halbbilder ergibt. Das Ausgangshalbbild wird dann von den darauffolgenden Halbbildem interpoliert, verschoben um den zugeordneten Vektor für einen zum Vorschein gebrachten Hintergrund (auf die erforderliche Ausgangszeit skaliert) gemeinsam mit einem Beitrag von den vorherigen Halbbildern, verschoben um diesen sekundären Vektor. Das relative Verhältnis der zwei Beiträge kann wie folgt festgelegt werden: ein Steuersignal wird für jedes zu interpolierende Pixel berechnet, das den Anteil des Ausgangshalbbildes spezifiziert, der den folgenden Halbbildern entnommen werden soll. Für alle Teilbilder bzw. Proben in Vordergrundbereichen wird dies eine Konstante gleich δt in Fig. 2 sein, was die normale Betriebsart eines zeitlichen Interpolationsfilters darstellt. In einem Bereich, der als zum Vorschein gebrachter Hintergrund markiert bzw. gekennzeichnet ist, wird das Steuersignal auf den Einheitswert gesetzt, weil die gesamte Information den folgenden Haibbildern entnommen werden sollte, wie zuvor für den Bereich e in Fig. 2 beschrieben wurde. Dieses Steuersignal wird dann einem räumlichen Tiefpaßfilter unterzogen, so daß es nicht länger nur innerhalb der Bereiche von zum Vorschein gebrachtem Hintergrund gleich dem Einheitswert sein wird.
Die Bildelemente, die das Ausgangshalbbild umfassen, können dann in einer Art und Weise zusammengefaßt werden, die harte Kanten bzw. Kantenverläufe minimiert. In einem Originalausgangsbild bzw. Originalquellbild tritt eine Vermischung über einen sehr begrenzten Randbereich zwischen Objekten auf. Dieser Rand wird durch die Auflösung (resolution) beschrieben bzw. festgelegt.
Für den Großteil des Ausgangshalbbildes werden die Bildelemente in beiden Bildern vor dem Bild nach der augenblicklichen Ausgangshalbbildposition vorhanden sein. Das Ausgangsbild wird mit Hilfe einer gewichteten Summe der zwei Eingangsbilder erzeugt. Der Beitrag von jeder der Eingangsvariablen ist ein Bildgrößenfeld (array), das mit assn_ff bezeichnet wird.
Wenn verdeckter oder zum Vorschein gebrachter Hintergrund verwendet wird, wird das Ausgangs- bzw. Ausgabebild nur von einem Bild gebildet. Bei Erzeugung des Ausgangsbildes tritt ein Bildübergang bzw. ein Bildwechsel zwischen der Ein- Halbbild-Bilderzeugung und der Zwei-Halbbild-Bilderzeugung auf. Dieser Wechsel tritt zweimal auf, einmal zwischen dem Hintergrund von einem Halbbild und dem Hintergrund von zwei Halbbildern und wiederum zwischen dem Hintergrund bei Verwendung eines Halbbildes und dem Vordergrund, der von zwei Halbbildern erzeugt wird.
Zwei einer Bildgröße zugeordnete Vektorhalbbilder werden während der Vektorzuordnung erzeugt (als assn_Vi und assn_2 bezeichnet). Das erste Vektorhalbbild entspricht dem Halbbild unmittelbar vor dem Zeitpunkt des Ausgangsbildes und das zweite dem Halbbild danach. Jedes Vektorhalbbild wird von einer anderen Auswahl abgeleitet, die für dieses Halbbild unter Verwendung des Drei-Halbbild-Algorithmusses abgeleitet wurde. Wenn ein minimaler Übereinstimrnungsfehler während der zentralen Periode bzw. während des mittleren Zeitintervalles gefunden wurde, wird beiden Vektorhaibbildern der gleiche Wert zugeteilt und assn_ff wird gleich dem Abstand (dist) zwischen Halbbild 1 und T0 gesetzt, der Ausgangshalbbildzeit. Das Ausgangsbild wird als ein gewichteter Mittelwert der zwei Haibbilder berechnet, und zwar in Abhängigkeit assn_ff:
Aout = A1 x (1 - ass_ff) + A2 assn_ff
assn_ff = dist (Abstand), falls die beste Übereinstimmung in der vorherigen Inter-Halbbildperiode vorlag
Wenn die beste Übereinstimmung in der vorherigen Inter-Halbbildperiode vorliegt, wird der beste Vektor für diese Periode bzw. dieses Zeitintervall in Vektorhalbbild assn_vi eingesetzt und der beste Vektor für das mittlere Zeitintervall in assn_v2 eingesetzt. In diesem Fall wird assn_ff auf 0 gesetzt, um zu erzwingen, daß das Ausgangsbild aus Halbbild 1 erzeugt wird. Wenn die beste Übereinstimmung in der nächstfolgenden Inter-Halbbildperiode vorliegt, wird der beste Vektor für das mittlere Zeitintervall in das Vektor-Halbbild assn-v1 eingesetzt und der beste Vektor für dieses Zeitintervall in assn_v2. Dann wird assn_ff auf 1 gesetzt, um zu erzwingen, daß das Ausgangsbild aus Halbbild 2 erzeugt wird. Dies ist in Fig. 3 dargestellt.
Man erkennt deshalb, daß zwei Vektoren jedem Pixel in jedem Halbbild zugeordnet sind; ein Vektor wird verwendet, wenn man in die Vorwärtsrichtung "schaut" und der andere Vektor wird verwendet, wenn man in die Rückwärtsrichtung "schaut". Während eines verdeckten und zum Vorschein gebrachten Hintergrundes zeigt ein Vektor auf den Hintergrund und wird verwendet, um den Hintergrund zu erhalten, während der andere Vektor auf das Vordergrundobjekt zeigt. Wegen der zugeteilten Werte von assn_ff wird zu einem Zeitpunkt nur ein Vektor verwendet, solange das Feld assn_ff räumlich gefiltert wird. Ein kleiner bzw. schmaler Tiefpaßfilter, angewendet auf assn_ff, wird eine Vermischung während Betriebsartänderungen bewirken.
Das Ausgangshalbbild wird somit pixeiweise erzeugt, wobei das Halbbild vor T0 um dist*assn_V1 verschoben ist und das Halbbild nach T0 um (1-dist)*assn_V1.
Es ist auch möglich, unter anderen Bedingungen jedem Pixel eine Anzahl von Bewegungsvektoren zuzuordnen, beispielsweise zwei. Diese Zuordnung könnte zum Eingabezeitpunkt oder zum Ausgabezeitpunkt erfolgen.
Bei der bevorzugten, nachfolgend beschriebenen Ausführungsform wird das zum ersten Halbbild zeitgleiche (co-timed) Vektorhalbbild immer in Vorwärtsrichtung projiziert und das mit dem zweiten Halbbild zeitgleiche Vektorhalbbild immer rückwärts projiziert.

Vorfilterung

Vor der Zuordnung wird das Eingangsbild durch einen kleinen bzw. schmalen 2D- Raumfilter gegeben. Die Impulsantwort des Filters entspricht einem Rechteck, so daß die Stufenantwort einer linearen Schräge entsprechen wird. Wenn der Übereinstimmungsfehler aus der Differenz zwischen Bildern berechnet wird, wird auch der Bildgradient berechnet. Wenn die Differenz durch den Gradienten dividiert wird, entspricht das Ergebnis einem Positionsfehler. Dies entspricht dem Gradientenverfahren zur Bewegungsmessung und wäre dann am genauesten, wenn die Gradienten in dem Bild linear verlaufen.
Falls die Verschiebung sehr groß ist, funktioniert das Verfahren nicht mehr und die Folge ist keine Messung der Verschiebung, sondern ein großer Fehler. Das Verfahren wird einfach dazu verwendet, den besten Vektor auszuwählen. Eine weitere Verbesserung besteht darin, die Verschiebungsmessung dazu zu verwenden, um kleine Fehler in dem zugeordneten Vektor zu korrigieren.
Unterabgetastete (sub-sampled) Vektorhalbbilder
Die zeitlich abgestimmten bzw. synchronisierten Eingangsvektorhalbbilder werden für altemierende Pixel berechnet. Das Originalbild wird vollständig abgetastet und die Genauigkeit der Übereinstimmungsfehler wird folglich nicht signifikant von der Unterabtastung (sub-sampling) beeinflußt, es tritt jedoch eine beträchtliche Ersparnis bei der Hardware auf.
Übereinstimmungsfehlerberechnung (match error calculation)
Die normale Bedeutung und das normale Verfahren für Übereinstimmungsfehler kann wie folgt zusammengefaßt werden: Übereinstimmungsfehler sind ein Mittel, um herauszufinden, ob ein bestimmter Vektor in der Vektorauswahl auf ein bestimmtes Bildelement Anwendung findet. Der Übereinstimmungsfehler wird durch Verschiebung der zwei Bilder um die vorgeschlagene Vektorbewegung und durch anschließende Subtraktion der zwei Bilder berechnet. Dies wird für den Bereich des Zuordnungsblockes durchgeführt und der Absolutwert dieses Fehlersignales wird durch den Bildgradienten des zentralen bzw. mittleren Bildelementes dividiert und anschließend räumlich gefiltert.
Bei dem Drei-Halbbild-Algorithmus wird das Eingangsbild, das mit dem erforderlichen Eingangsvektorhalbbild zeitlich zusammenfällt, stationär gehalten und die vorherigen und darauffolgenden Bild-Halbbilder werden um einen Versuchsvektor verschoben. Dies muß sowohl flir das Halbbild vor als auch flir das Halbbild nach dem erforderlichen Ausgabezeitpunkt ausgeführt werden.
Dies führt zu zwei Übereinstimmungsfehlern, einer vor und einer nach dem Eingangsbild. Wenn das Vektorhalbbild vorwärts projiziert wird, entspricht der zweite Übereinstimmungsfehler einem Zeitintervall der Ausgangsbildzeit und ein kleiner Übereinstimmungsfehler wird einen Vordergrund anzeigen. Diesem mittleren bzw. zentralen Übereinstimmungsfehler wird eine kleine Präferenz gegeben, indem dieser mit einem Gewichtungsfaktor zwischen 0,5 und 0,99 multipliziert wird. Wenn das Vektorhalbbild rückwärts projiziert wird, entspricht der erste Übereinstimmungsfehler einem Zeitintervall der Ausgangsbild-Zeit und ein kleiner Übereinstimmungsfehler wird einen Vordergrund anzeigen. Dieser mittlere bzw. zentrale Halbbild- Übereinstimmungsfehler wird in der gleichen Art und Weise wie zuvor gewichtet.
Ein weiterer Übereinstimmungsfehler wird berechnet, indem die anderen zwei Übereinstimmungsfehler aufaddiert werden und dieser wird ebenfalls gewichtet. Es scheint so, daß der zentrale Halbbild-Übereinstimmungsfehler und der kombinierte Zwei-Halbbild-Übereinstimmungsfehler zur Identifizierung eines Vordergrundes gleich gut ist und folglich sind die Gewichtungsfaktoren ähnlich.
In der Praxis ist das Vektorhalbbild, das mit dem ersten Bild zeitlich zusammenfällt, flir die Vorwärts-Projektion dem Vektorhalbbild flir das gleiche Bild sehr ähnlich, wenn es sich in der zweiten Bildposition befand und rückwärts projiziert wurde. Die Berechnungen des Übereinstimmungsfehlers sind die gleichen, aber die halbbildabhängigen Gewichtungen werden geändert und folglich die zugeordneten Vektoren und die Statuswerte. Das Vorwärts-Projektionshalbbild und die Rückwärts-Projektionsvektorhalbbilder werden zum gleichen Zeitpunkt berechnet, aber das Vorwärtsvektorhalbbild wird um eine Eingangshalbbildperiode verzögert.

Zuordnung und Status

Bei dieser Vorgehensweise wird das Eingangsvektorhalbbild zu 360 Pixel und 288 Halbbildzeilen unterabgetastet (sub-sampled). Für jedes Element in dem Eingangsvektorhalbbild werden die gewichteten Übereinstimmungsfehler verglichen. Der Versuchsvektor mit dem kleinsten gewichteten Übereinstimmungsfehler wird dem Bildelement zugeordnet.
Für das Vorwärts-Projektionsvektorhalbbild sind die Statusregeln die folgenden:
Vordergrund wird durch den kleinsten Übereinstimmungsfehler angezeigt, welcher der zweite Halbbildmittelwert bzw. der Zwei-Halbbildmittelwert ist.
Verdeckter Hintergrund wird durch den kleinsten Übereinstimmungsfehler angezeigt, der dem ersten Halbbild entspricht.
Ein fehlender Bewegungsvektor wird durch einen großen Übereinstimmungsfehler angezeigt.
Für das Rückwärts-Projektionsvektorhalbbild sind die Statusregeln wie folgt:
Vordergrund wird durch den kleinsten Übereinstimmungsfehler angezeigt, der der erste Halbbildmittelwert oder der Zwei-Halbbildmittelwert ist.
Zum Vorschein gebrachter Hintergrund wird durch den kleinsten Übereinstimmungsfehler angezeigt, der dem zweiten Halbbild entspricht.
Ein fehlender Bewegungsvektor wird durch einen großen Übereinstirnmungsfehler angezeigt.
Der Status wird gemeinsam mit jedem zugeordneten Vektor in den ersten und zweiten Vektorhalbbildem abgespeichert.

Ausgangsvektorhalbbild-Zeit

Die Karte bzw. die Fläche der zugeordneten Eingangsvektoren kann über das zeitgleiche Bild gelegt werden, um anzugeben, auf welche Weise sich alles bewegt. Das Ausgangsvektorhalbbild wird erzeugt, indem jedes Element des ersten Eingangsvektorhalbbildes vorwärts bzw. in Vorwärtsrichtung auf den Ausgabezeitpunkt projiziert wird und das zweite Vektorhalbbild rückwärts auf die Ausgabeposition. Obwohl das Eingangsvektorhalbbild unterabgetastet wird, besitzt das Ausgangsvektorhalbbild die gesamten 720 horizontalen Teilbilder (samples).
Das zeitlich abgestimmte bzw. synchronisierte Ausgangsvektorhalbbild wird in einem gewissen zeitlichen Abstand von dem Eingangsvektorhalbbild benötigt. Diese Situation ist in Fig. 4 gezeigt. Wenn das erste Vektorhalbbild projiziert wird, wird die Stelle bzw. Position jedes zeitlich abgestimmten Eingangsvektors zu dem zugeordneten Vektor addiert, skaliert um den Abstand, und diese neue Stelle hat den zugeordneten Vektor abgespeichert. Für das zweite Vektorhalbbild wird die Stelle jedes zeitlich abgestimmten Eingangsvektors zu dem zugeordneten Vektor, skaliert um 1-Abstand (1-dist), addiert und diese neue Position besitzt den zugeordneten, abgespeicherten Vektor. Eine geringfügige Komplikation besteht darin, daß es unwahrscheinlich ist, daß die projizierte Position eine exakte Position in dem Ausgangsvektorhalbbild ist, und daß auch das Ausgangsvektorhalbbild dichter bzw. enger abgetastet wird als das Eingangsvektorhalbbild. Beide Probleme werden dadurch gelöst, daß der Vektor bei der Position auf jeder Seite des projizierten Vektors gespeichert wird.

Status und Betriebsarten

Der Status des zeitlich abgestimmten Eingangsvektorhalbbildes folgt dem projizierten Vektor und ein neuer Ausgangsvektorstatus wird erzeugt. Die Regeln für den Ausgangsvektorhalbbildstatus sind wie folgt:

Vordergrund

Vordergrundvektoren werden von beiden zeitlich abgestimmten Eingangsvektorhalbbildern in Vorwärtsrichtung und in Rückwärtsrichtung projiziert. Falls zwei Vordergrundvektoren an der gleichen Stelle landen, werden beide Vektoren abgespeichert und der Status zeigt zwei Vordergrundvektoren an.

Hintergrund

Ein verdeckter Hintergrund wird vorwärts projiziert und der Status markiert den Bereich als verdeckten Hintergrund.
Zum Vorschein gebrachter Hintergrund wird rückwärts projiziert und der Status markiert den Bereich als zum Vorschein gebrachten Hintergrund.

Bereitschaftsmodus (fall back modus)

Falls ein Bereich des Bildes einen großen Übereinstimmungsfehler in jedem der zeitlich abgestimmten Eingangsvektorhalbbilder aufweist, wird angenommen, daß kein Bewegungsvektor zur Verfügung steht. Um einen Verlust des Objektes zu einem projizierten Hintergrund zu vermeiden, wird der Bereich als ein nicht zuzuordnender Bereich markiert und geht in den Bereitschaftsmodus. Der augenblicklich verwendete Bereitschaftsmodus soll einen stationären Vektor verwenden und soll die zwei Bilder im Verhältnis zur Position des Ausgangshalbbildes und in Beziehung zu den Eingangshalbbildern zusammenmischen. Ein Bild mit weicherer bzw. feinerer Auflösung wird zur Bereitschaft bzw. zum Rückgriff (fall back) verwendet, um die Härte von nicht bewegungskompensierten Bildelementen zu verringern.

Verarbeitung des Ausgangsvektorhalbbildes

Es ist eine Folge der Vektorprojektion, daß Löcher in dem Vektorhalbbild vorhanden sein können. Die Löcher werden durch einen in der Nähe befindlichen zugeordneten Vektor und den Status aufgefüllt.
Das Ausgangsbild wird aus einem verschobenen Gemisch aus zur Verfügung stehenden Eingangsbildern erzeugt. Der Bildüberblendfaktor (crossfade) steuert die Mischung der zwei Eingangshalbbilder, um das Ausgangsbild zu erzeugen. Dieses crossfade-Signal bzw. "Überblend"-Signal nimmt den Wert von 0 bis 1,0 entsprechend den folgenden Regeln ein:
Verdeckter Hintergrund: crossfade = 0
nimmt das Bild von dem vorherigen Bild zum Vorschein gebrachter Hintergrund: crossfade = 1
nimmt das Bild von dem nächsten Bild
Vordergrund: crossfade = dist (Abstand) nimmt das Bild sowohl von dem vorherigen als auch von dem nachfolgenden Bild. Falls zwei Vordergrundvektoren vorliegen, wird das erste Halbbild um den ersten zuzuordnenden Vektor bewegt und der zweite Vektor verwendet, um das zweite Bild zu verschieben.
Bereich großer Fehler: crossfade = dist (Abstand) Bereitschaftsmodus, zugeordnete Vektoren gleich 0
Verdeckter Hintergrund und zum Vorschein gebrachter Hintergrund:
Dies kann der Fall sein, wenn eine kleine Mittelpunktübereinstimmung nicht erreicht werden kann und wenn herausgefunden wurde, daß crossfade = dist bzw. Abstand ist.
Ausgangsbild erzeugen
Das Verfahren zur Erzeugung des Ausgangsbildes geht jedes Element der Ausgangsbildposition durch und wendet den folgenden Algorithmus an:
pic_output(x, y) =
pic_1(x,y verschoben um dist * vec_1) * (1-crossfade) +
pic_2(x,y verschoben um (dist-1) * vec_2) *crossfade
vec_1 und vec_2 sind zwei zugeordnete Vektoren, falls es nur einen zugeordneten Vektor gibt, wird vec_2 gleich vec_1 gemacht.
Ein Interpolator wurde verwendet, um Pixel-Teilverschiebungen zu erzeugen, aber die genaue Form steht dennoch einer gewissen Optimierung offen. Dieser Teilaspekt wird die Qualität der endgültigen Bilder beeinflussen, ist jedoch für den zugrundeliegenden Drei-Halbbild-Algorithmus nicht von Bedeutung.

Zwei-Halbbild-Vektorprojektionsalgorithmus

Der Zwei-Halbbild-Algorithmus erhält seinen Namen vom Vergleich von nur zwei Halbbildern während des ersten Stadiums der Vektorzuordnung. Die Eingangsvektorauswahlen für das Zwei-Halbbildsystem sind Vektoren, die zeitlich mit den Intervallen zwischen Bildern zusammenfallen, statt daß sie zeitlich mit Bildern zusammenfallen, wie dies für das Drei-Halbbildsystem erforderlich ist.
Dieses Verfahren ist schematisch in Fig. 5 dargestellt. Diese zeigt eine Folge von vier Videobildern f&sub0; bis f&sub3;. Eine Phasenkorrelationsfläche wird für das Intervall zwischen jedem Paar von Bildern abgeleitet und diese Korrelationsflächen sind P&sub0;&sub1;, P&sub1;&sub2; und P&sub2;&sub3;. Jede dieser Flächen kann auf ein ganz bestimmtes Intervall angewendet werden. Falls jede dieser Flächen einfach nur dazu verwendet wird, den Halbbildern, von denen sie abgeleitet wurden, Vektoren zuzuordnen, wird es bei Objekten zu Problemen kommen, die in einem Halbbild nicht jedoch in dem anderen vorhanden sind. Deshalb wird ein gewichteter Mittelwert der drei Korrelationsflächen abgeleitet und anschließend dazu verwendet, um Vektoren zur Erzeugung von Bildern in dem zentralen Intervall f&sub1; bis f&sub2;, zuzuordnen. In diesem speziellen Beispiel wird sowohl P&sub0;&sub1; als auch P&sub2;&sub3; jeweils mit Gewichten von einem Viertel versehen und P&sub1;&sub2; mit einem Gewicht von einhalb, bevor diese alle zusammenaddiert werden, um eine zeitlich gefilterte Korrelationsfiäche abzuleiten, aus der eine Vektorauswahl 12 abgeleitet werden kann. Sobald Vektoren zugeordnet worden sind, wird das Verfahren wiederholt, indem eine weitere Korrelationsfläche in dem Interfall f&sub3; bis f&sub4; abgeleitet wird und indem diese Fläche bzw. dieser Flächenraum gemeinsam mit P&sub1;&sub2; und P&sub2;&sub3; verwendet wird, um eine Vektorauswahl zur Zuordnung über das Intervall f&sub2; bis f&sub3; abzuleiten. Das Verfahren schreitet durch die gesamte Folge von Videobildern fort.
Auf diese Weise wird für jedes Bildintervall in der Folge von Videobildern eine Phasenkorrelationsfläche abgeleitet und diese Korrelationsflächen werden zu einem gewichteten Mittelwert kombiniert, um eine Vektorauswahl zu erzeugen, die über ein einziges Bildintervall anwendbar ist. Die Tatsache, daß die Auswahl über ein Intervall zwischen zwei Bildern anwendbar ist, ist der Grund dafür, warum diese als Zwei-Halbbild-Algorithmus bezeichnet wird.
Wie zuvor diskutiert wurde, wird es bevorzugt, daß die Vektoren Eingangshalbbildern zugeordnet werden, anstatt daß sie Ausgangshalbbildern zugeordnet werden, und es wird berücksichtigt, daß, falls beispielsweise Auswahl&sub1;&sub2; f&sub1; und f&sub2; zugeordnet wird und dann Auswahl&sub2;&sub3; f&sub2; und f&sub3; zugeordnet wird, f&sub2; zwei Vektorhalbbilder zugeordnet sind. Eines dieser Halbbilder hängt mit f&sub1; zusammen und das andere mit f&sub3;. Diese werden als die Vorwärts- bzw. Rückwärts-Projektionshalbbilder bezeichnet und ihre Verwendung ermöglicht eine sehr zuverlässige Erzeugung von Zwischenhalbbildern von der Art, die bei der Slow-Motion-Folgenerzeugung verwendet werden. Der Grund für die Erzeugung von diesen und die Art und Weise, in der Ausgangsbilder erzeugt werden, wird nachfolgend diskutiert.
Das erzeugte, zugeordnete Vektorhalbbild ist ähnlich zu dem, das mit Hilfe der in unserer britischen Patentanmeldung Nr.9013642.5, veröffentlicht als GB-A-225962 5, vorgeschlagenen Vorwärts-/Rückwärtszuordnung erzeugt wird. Die Vorwärts/Rückwärtsvektorhalbbilder werden in Paaren mit dem zugehörigen Übereinstimmungsfehler abgespeichert und kombiniert, um den Vektorstatus zu bestimmen.
Die kombinierten bzw. vereinigten Vektorhalbbilder werden zur Ausgabezeit vorwärts- und rückwärts-projiziert, um ein zweifach synchronisiertes Ausgangsvek torhalbbild zu erzeugen. Der erste, zeitlich abgestimmte Ausgangsvektor ist der Vorwärts-Projektion zugeordnet und der zweite ist der Rückwärts-Projektion zugeordnet und diese werden kombiniert bzw. vereinigt, um die zwei Vektoreingaben an das Bilderzeugungssystem zu steuern.

Bewegungsabschätzung

Die meisten der Eigenschaften des Bewegungsabschätzers sind ähnlich wie beim zuvor beschriebenen "Drei-Halbbild"-Algorithmus. Der Hauptunterschied ist wie folgt:

Vektorauswahl-Zeitsteuerung

Die Auswahl (menu) für die "Drei-Halbbild"-Version erfordert es, daß die Vektorauswahlen sowohl für die Periode vor als auch für die Periode nach dem Zeitpunkt des Eingangshalbbildes gültig sind. Ein Zeitfilter von geradzahliger Ordnung wird auf die Korrelationsfläche angewendet, um eine bestmögliche Abschätzung dieses Bewegungsaugenblickes zu machen. Dies stellt einen Kompromiß dar, der die Bewegungsabschätzung verbessert, wenn die Bewegung in etwa kontinuierlich erfolgt, zu Lasten einer Messung bzw. Bestimmung plötzlich auftretender Bewegungen und schneller Beschleunigungen.
Der "Zwei-Halbbild"-Algorithmus verwendet jede Auswahl nur während einer Halbbildperiode und deshalb gibt es keine Veränderung in der Zeitsteuerung. Es ist wahrscheinlicher, daß eine Auswahl während eines Halbbild-Augenblicks gültig ist anstatt während zwei und folglich unterliegt das Vektorauswahlproblem einem Kompromiß weniger stark.

Korrelationsfilter

Man hat herausgefünden, daß eine spezielle Auslegung des zeitlichen Korrelationsfilters Probleme beheben wird, die durch eine Überlappung bzw. Verschachtelung bewirkt werden, wenn Halbbild-Frequenzkorrelationen vorgenommen werden. Die Auslegung des Zeitfilters wird vorzugsweise die Bedingung erfüllen, daß die Summe der Abstände der ungeradzahligen Koeffizienten gleich der Summe der Abstände der geradzahligen Koeffizienten ist. Weil die wahrscheinlichste Anzahl von Abständen drei ist, werden die Koeffizienten dann 0,25, 0,5, 0,25 betragen.
Fig. 4 zeigt schematisch den Zwei-Halbbild-Algorithmus und zugeordnete Vektorhalbbilder und auf diese Figur wird in den nachfolgenden Abschnitten Bezug genommen.

Synchronisiertes Eingangsvektorhalbbild

Für jede von dem Abschätzer beschaffte Auswahl wird die Zuordnung zweifach durchgeführt, einmal unter Verwendung der Vorwärtszuordnung und einmal unter Verwendung der Rückwärtszuordnung. Die Vorwärtszuordnung wird dadurch bewerkstelligt, daß das erste Halbbild stationär bzw. ortsfest gehalten wird und daß das zweite um einen Versuchsvektor verschoben wird und daß der Übereinstimmungsfehler aus der Größe der Differenz berechnet wird. Die Differenz wird durch den Gradienten geteilt, worin eine Anwendung der Gradientenverfahren-Vektormessung besteht, aber das Ergebnis wird nur zur Auswahl eingesetzt, wobei der Fehler einem Abstand entspricht. Dieser kann zu einem späteren Zeitpunkt zur Berichtigung verwendet werden. Das Rückwärts-Projektionshalbbild wird dadurch erzeugt, daß das zweite Halbbild stationär bzw. ortsfest gehalten wird und das erste verschoben wird und der Vorgang wiederholt wird. Jedes neue Eingangshalbbild und jede neue Auswahl erzeugt zwei zugeordnete Vektorhalbbilder, z.B. werden aus Auswahl 2 die Halbbilder b und c erzeugt.

Vereinigung der synchronisierten Eingangsvektorhalbbilder

Zu diesem Zeitpunkt haben wir vier zugeordnete Vektorhalbbilder, ein Paar für das Halbbild vor dem Ausgabezeitpunkt und ein Paar nach dem Ausgabezeitpunkt. Für jedes Paar wurde das erste durch Rückwärtszuordnung der vorherigen Auswahl erzeugt und das zweite durch Vorwärtszuordnung der zweiten Auswahl.
Falls das Eingangsvektorhalbbild zur Vorwärtsprojektion bestimmt ist, entspricht das zweite Vektorhalbbild "b" der zentralen bzw. mittleren Periode und wird dem Vordergrund zugeordnet. Auf das zweite Vektorhalbbild und den Übereinstimmungsfehler wird das Gewicht centre_wt angewendet und dieser wird dann mit dem Übereinstimmungsfehler des äußeren Halbbilds "a" verglichen. Der Vektor mit dem kleinsten Übereinstimmungsfehler wird zugeordnet. Die folgenden Regeln werden angewendet, wenn die Vektorhalbbilder "a" und "b" vereinigt bzw. zusammengeführt werden, um das Vektorhalbbild "c" zu ergeben:
zentrales Halbbild niedrig: Vordergrund (Status = 3)
äußeres Halbbild niedrig: verdeckter Hintergrund (Status = 1)
beide Übereinstimmungsfehler hoch: fehlender Vektor (Status = 5)
Diese Situation ist ähnlich zu derjenigen, wenn das Eingangsvektorhalbbild zur Rückwärtsprojektion bestimmt ist, außer daß centre_wt auf Übereinstimmungsfehler des rückwärts zugeordneten Vektorhalbbildes "c" angewendet wird. Die gewichteten Übereinstimmungsfehler von "c" werden mit den Übereinstimmungsfehlern von "d" verglichen, um das Rückwärts-Projektionsvektorhalbbild "f" zu erzeugen. Die Regeln werden nun:
zentrales Halbbild niedrig: Vordergrund (Status = 3)
äußeres Halbbild niedrig: zum Vorschein gebrachter Hintergrund (Status = 2)
beide Übereinstimmungsfehler hoch: fehlender Vektor (Status = 5)
Die vereinigten Vektorhalbbilder, die mit Vorher und Nachher (e und f in Fig. 1) bezeichnet werden, sind ähnlich zu den synchronisierten Eingangsvektorhalbbildern, die bei dem Drei-Halbbild-Algorithmus erzeugt werden.

Synchronisiertes Ausgangsvektorhalbbild

Genau wie bei den synchronisierten Eingangsvektorhalbbildem sind dem Ausgangshalbbild zwei Vektorhalbbilder zugeordnet. Das erste wird durch Projektion des "Vorher e"-Vektorhalbbildes in Vorwärtsrichtung und das zweite durch Projektion des "Nachher f"-Vektorhalbbildes in Rückwärtsrichtung erhalten.

Vektorprojektion (in Vorwärtsrichtung)

Die Vektorprojektion erhält man dadurch, daß jede Position bzw. Stelle in dem Eingangsvektorhalbbild "e" besucht bzw. herangezogen wird, daß "dist" mit dem der Stelle des Vektors zugeordneten Vektor multipliziert wird und daß der Vektor und der Status in das Ausgangsvektorhalbbild geschrieben wird. Es ist ziemlich wahrscheinlich, daß es einen Vordergrund-/Hintergrundwettbewerb geben wird, um in eine spezielle Ausgangsposition hineinzuschreiben. Die Situation kann dann eintreten, wenn zwei Vordergrundvektoren an der gleichen Stelle im Raum ankommen, und deshalb gibt es einen einfachen Satz von Regeln zum Schreiben in das Ausgangsvektorhalbbild.
Die Regel wird wie folgt zusammengefaßt:
1) Das gesamte Vektorfeld wird auf Status = 0, nicht zugeordnet, initialisiert.
2) Ein beliebiger Vektor kann in das Ausgangsvektorhalbbild schreiben, vorausgesetzt, sein Status ist höher als der, der gerade vorherrscht. Der zweite Vektor wird ignoriert.

Vektorprojektion (in Rückwärtsrichtung)

Die Vektorprojektion von dem nächsten Eingangshalbbild in Rückwärtsrichtung auf die Ausgangshalbbildposition erfolgt ähnlich zu der Vorwärtsprojektion. Das synchronisierte Ausgangsvektorhalbbild in Rückwärtsrichtung wird in der Figur als h dargestellt und der Status wird auf 0 gesetzt, bevor die Projektion beginnt. Der Unterschied besteht darin, daß der Abstand 1-dist beträgt.

Zusammenführen synchronisierter Ausgangsvektorhalbbilder

Die zwei Ausgangsvektorhalbbilder werden gemäß einem anderen Satz von Regeln vereinigt bzw. zusammengeführt, die in einer Tabelle zusammengefaßt sind (verwendete Abkürzungen: Hg steht für Hintergrund):
!! Arten, die viermal beginnen, könnten mit dist oder 0,5 übergeblendet werden und sind noch Gegenstand einer Optimierung.
Nach der Vektorverarbeitung sind alle Stellen bzw. Plätze des Vektors g, h und der crossfade-Faktor bzw. Bildüberblendfaktor eingesetzt worden. Man hat eine sichtbare Verbesserung des Ausgangsbildes festgestellt, indem ein zweidimensionales Raumfilter über das Vektorhalbbild und die Bildüberblendfläche gelegt wird.

Ausgangsbilderzeugung

Das Ausgangsbilderzeugungsverfahren geht jedes Element der Ausgangsbildstelle durch und wendet den folgenden Algorithmus an:
Pic_output (x, y) =
pic_1 (x,y verschoben um dist * vec_1) * (1-crossfade) +
pic_2(x,y verschoben um (dist-1) * vec_2) *crossfade
Ein Interpolator wurde verwendet, um Pixelteilverschiebungen zu erzeugen, aber die exakte Form unterliegt noch einer gewissen Optimierung. Der Teilaspekt wird die Qualität der endgültigen Bilder beeinflussen, ist jedoch für den eigentlichen Drei- Halbbild-Algorithmus nicht von Bedeutung.
Fig. 6 zeigt Schaltungen zum Ausführen des Drei-Halbbild-Algorithmusses. Diese umfassen ein Paar von Halbbildverzögerungen 20, die in Reihe geschaltet sind und eine Folge von Videohalbbildern empfangen. Der Eingang und der Ausgang von jeder Halbbildverzögerung ist mit einem entsprechenden Eingang eines Phasenkorrelators 22 verbunden. Jeder von diesen erzeugt eine Korrelationsfläche, die die Bewegung zwischen zwei aufeinanderfolgenden Haibbildem darstellt. Diese Flächen werden mit Hilfe der Multiplizierer 24 mit Gewichten von 0,5 versehen und werden dann in einem Addierer 26 vereinigt. Diese gemittelte Korrelationsfläche gelangt dann durch einen Spitzenwertdetektor 28, der nur diejenigen Vektoren durchläßt, die einen vorbestimmten Schwellenwert überschreiten. Auf diese Weise erzeugt dieser eine Vektorauswahl zur Zuordnung eines zentralen Halbbildes eines Satzes aus drei Halbbildern. Zu dem Zeitpunkt, zu dem diese Vektorauswahl verfügbar wird, wird das Eingangshalbbild, dem diese zugeordnet werden soll, dem Ausgang der zweiten der Halbbildverzögerungen 20 zur Verfügung stehen. Die Vektorauswahl und die Ausgangsgrößen der beiden Halbbildverzögerungen bilden die Eingangsgrößen für eine Zuordnungseinheit, wo Vektoren zu dem zentralen Halbbild der Folge von drei Halbbildern zugeordnet werden können, von der die Auswahl abgeleitet wurde.
Fig. 7 ist eine Modifikation der Schaltung aus Fig. 6 und ist geeignet zum Ausführen des Zwei-Halbbild-Algorithmus. Sie umfaßt eine zusätzliche Halbbildverzögerung 20 in Reihe mit den anderen Halbbildverzögerungen. Diese besitzt einen zugeordneten Phasenkorrelator 22, dessen Ausgangsgröße mit Hilfe eines vierten Multiplizierers 21 gewichtet wird, bevor sie mit den Ausgangsgrößen der anderen Phasenkorrelatoren in dem Addierer 26 vereinigt wird. Die erzeugte Vektorauswahl und die verschiedenen Eingangshalbbilder, von denen diese abgeleitet wurden, werden in eine Zuordnungseinheit (nicht dargestellt) gegeben.
Sowohl die Vektorzuordnung als auch die zeitlichen Interpolationsvorgänge wurden ohne Berücksichtigung einer Überlappung beschrieben. Die Vorgänge können unmittelbar auf ein überlapptes bzw. verschachteltes Signal angewendet werden (unter Berücksichtigung der vertikalen Positionierung der abgetasteten Zeilen); alternativ kann ein verschachteltes Signal vor der Verarbeitung in eine sequentielle oder progressive Form gewandelt werden.
Bezüglich einer schematischen Darstellung eines Zeitlupe- bzw. Slow-Motion- Wiedergabesystems, in das die vorliegende Erfindung integriert werden kann, wird auf die IEEE Konferenz-Publikation, Nr. 327 (IBC'90), Seiten 121 bis 125m, verwiesen, deren Offenbarung und auch die Offenbarung der in diesem Dokument verzeichneten Literaturhinweise ausdrücklich im Wege der Bezugnahme in dieser Patentanmeldung mit beinhaltet sei.
Es ist auch berücksichtigt, daß die zuvor beschriebenen Vorgänge generell mit Hilfe eines Computersystems anstatt einer diskreten Schaltung realisiert werden. Die vorstehende Verfahrensbeschreibung hält die gesamte Information bereit, die zur Herstellung eines solchen Systems notwendig ist, wie von einem Fachmann auf diesem Gebiet leicht erkannt werden kann, und eine ausführliche Beschreibung der Programmblöcke bzw. Programmanweisungen ist deshalb nicht notwendig und ist hierin nicht enthalten.

Claims

1. Verfahren zum Videosignal-Bewegungsausgleich zur Verwendung in einem Videosignal-Bewegungsausgleichssystem, welches Verfahren die Schritte umfaßt, daß für jedes Eingangshalbbild aus einem Vergleich dieses Halbbildes mit vorherigen und nachfolgenden Halbbildem ein Satz von Bewegungsvektoren abgeleitet wird, daß jedem der Vektoren bzw. einem jeweiligen der Vektoren einzelne bzw. besondere Bildpunktbereiche des Eingangshalbbildes zugeordnet werden, daß durch Zuordnung von Vektoren von zumindest einem der Eingangshalbbilder zu Bildpunktbereichen des Ausgangshalbbildes ein Ausgangshalbbild zwischen zwei Eingangshalbbildern abgeleitet wird, wobei gewisse Bildpunktbereiche des Ausgangshalbbildes zwei oder mehr Vektoren aufweisen, die diesen zugeordnet sind.

2. Verfahren nach Anspruch 1, bei dem in den genannten gewissen Bildpunktbereichen ein erster der zugeordneten Vektoren verwendet wird, um die Bewegung des Eingangshalbbildes zu einer Seite des Ausgangshalbbildes zu spezifizieren, und der zweite zugeordnete Vektor verwendet wird, um die Bewegung des Eingangshalbbildes zu der anderen Seite des Ausgangshalbbildes zu spezifizieren.

3. Verfahren nach Anspruch 1, bei dem einer der zugeordneten Vektoren mit einem ersten Bildbereich im Zusammenhang steht und ein zweiter der zugeordneten Vektoren mit einem zweiten Bildbereich im Zusammenhang steht, der sich anders als der erste bewegt, wobei der entsprechende Ausgangsbildbereich aus einer Kombination der Vektorsumme bzw. der Resultierenden der zwei Vektoren auf die jeweiligen Eingangsbildbereiche gebildet wird, um das Auftreten eines Verschwimmens bzw. einer Unschärfe an der Kante eines sich bewegenden Objektes anzugeben.

4. Verfahren nach Anspruch 2, bei dem die zwei zugeordneten Vektoren mit den zwei jeweiligen Objekten in Zusammenhang stehen und die Vektorsumme kombiniert bzw. gebildet wird, um das Ausgangshalbbild zu bilden, falls festgestellt wird, daß zwei Objekte eine gleiche Wahrscheinlichkeit bzw. ein gleiches Recht dafür besitzen, daß sie sich in dem Ausgangsbild befinden.

5. Verfahren nach Anspruch 1, bei dem in den genannten gewissen Bildpunktbereichen keine zulässige Bewegungsbestimmung vorgenommen werden kann, und bei dem ein erster Vektor der zugeordneten Vektoren einem Bereitschafts- bzw. Rückfallmode und der zweite der zugeordneten Vektoren einem Vektor aus einem benachbarten Meßblock entspricht.

6. Verfahren nach Anspruch 1, bei dem auf der Basis der zwei zugeordneten Vektoren zwei Vorhersagen für den Wert der gewissen Bildpunktbereiche gemacht werden und bei dem die zwei Vektorsummen mit Hilfe eines einfachen oder gewichteten Mittelwertes kombiniert bzw. gebildet werden.

7. Verfahren nach Anspruch 6, bei dem die Zusammensetzung in Abhängigkeit von einem zeitabhängigen Koeffizienten vorgenommen wird, an den eine glättende Filterfunktion angelegt wird.

8. Verfahren nach Anspruch 1, bei dem für jeden aus einer Anzahl von Blöcken des Bildes Bewegungsvektoren abgeleitet werden und die so abgeleiteten Vektoren ausgewählt werden, um eine Anzahl von Vektoren für das Bild oder Teilbereiche davon zur Verfügung zu stellen.

9. Verfahren nach Anspruch 1, bei dem die Vektoren mit Hilfe eines Phasenkorrelationsverfahrens abgeleitet werden.

10. Verfahren nach Anspruch 2, bei dem die Zuordnung durch gleichzeitigen Vergleich der Inhalte von drei Eingangsbildern erfolgt.

11. Verfahren nach Anspruch 1, bei dem einem Eingangshalbbild zwei Vektorhalbbilder zugeordnet werden, wobei ein erstes Vektorhalbbild durch Rückwärtsprojektion auf ein vorheriges Eingangshalbbild zugeordnet wird und ein zweites Eingangshalbbild durch Vorwärtsprojektion auf ein darauffolgendes Eingangshalbbild zugeordnet wird.

12. Verfahren nach Anspruch 1, bei dem Bildpunktbereichen, denen zwei oder mehr Vektoren zugeordnet sind, diese Vektoren aus verschiedenen Sätzen von Bewegungsvektoren zugeordnet wurden.

13. Vorrichtung zum Video-Bewegungsausgleich, die eine Vektorableitungseinrichtung zum Ableiten einer Anzahl von Bewegungsvektoren für jeden einer Anzahl von Blöcken von jedem Eingangshalbbild aus einem Vergleich des Eingangshalbbildes mit vorherigen und darauffolgenden Eingangshalbbildern und eine Vektorzuordnungseinrichtung zur Zuordnung von jedem der Vektoren zu einzelnen bzw. besonderen Bildpunktbereichen des Eingangshalbbildes sowie eine Einrichtung zum Ableiten eines Ausgangshalbbildes durch Zuordnung von Vektoren von zumindest einem der Eingangshalbbilder zu Bildpunktbereichen des Ausgangshalbbildes umfaßt, wobei gewisse Bildpunktbereiche zwei oder mehr gültige bzw. zulässige Vektoren zugeordnet sind.

14. Verfahren nach Anspruch 1, bei dem jedem Bildpunktbereich eines Eingangshalbbildes zumindest zwei Vektoren zugeordnet sind.

15. Verfahren nach Anspruch 1, bei dem ein erster Vektor, der einem Bildpunktbereich eines Eingangshalbbildes zugeordnet ist, durch Rückwärtsprojektion auf ein vorheriges Eingangshalbbild und ein zweiter Vektor, der dem gleichen Bildpunktbereich zugeordnet ist, durch Vorwärtsprojektion auf ein darauffolgendes Eingangshalbbild abgeleitet wird.

16. Verfahren nach Anspruch 1, bei dem der Satz von Bewegungsvektoren einen Durchschnitt bzw. Mittelwert der Sätze von Bewegungsvektoren bildet, der aus Vergleichen zwischen dem Eingangshalbbild und den diesem unmittelbar vorangehenden und unmittelbar folgenden Eingangshalbbildern abgeleitet wird.

17. Verfahren nach Anspruch 16, bei dem der Mittelwert ein gewichteter Mittelwert ist.

18. Verfahren nach Anspruch 1, bei dem der Vektorableitungsschritt die Schritte umfaßt, daß ein erster Satz von Bewegungsvektoren durch Vergleichen eines ersten und zweiten Eingangshalbbildes abgeleitet wird, daß ein zweiter Satz von Bewegungsvektoren durch Vergleichen des zweiten und eines dritten Eingangshalbbildes abgeleitet wird, und daß ein dritter Satz von Vektoren aus den ersten und zweiten Sätzen abgeleitet wird.

19. Verfahren nach Anspruch 18, bei dem die Eingangshalbbilder aufeinanderfolgende Halbbilder in einer Sequenz bzw. Bildfolge darstellen.

20. Verfahren nach Anspruch 18, das den Schritt einer Zuordnung der Vektoren des dritten Satzes zu Bildpunktbereichen des Bildes einschließt.

21. Verfahren nach Anspruch 18, bei dem der Zuordnungsschritt eine Zuordnung der Vektoren des dritten Satzes zu Bildpunktbereichen des Bildes in dem zweiten Eingangshalbbild umfaßt.

22. Verfahren nach Anspruch 1, bei dem der Vektorableitungsschritt die Schritte umfaßt, daß erste, zweite und dritte Sätze von Bewegungsvektoren von ersten und zweiten, zweiten und dritten sowie dritten und vierten Eingangshalbbildem abgeleitet werden und daß ein vierter Satz von Bewegungsvektoren aus den ersten, zweiten und dritten Sätzen abgeleitet wird.

23. Verfahren nach Anspruch 22, bei dem der vierte Satz von Bewegungsvektoren aus einem Mittelwert der ersten, zweiten und dritten Sätze abgeleitet wird.

24. Verfahren nach Anspruch 23, bei dem der Mittelwert ein gewichteter Mittelwert ist.

25. Verfahren nach Anspruch 24, bei dem die Eingangshalbbilder aufeinanderfolgende Halbbilder in einer Bildfolge darstellen.

26. Verfahren nach Anspruch 24, das den Schritt einer Zuordnung von Vektoren des vierten Satzes zu Bildpunktbereichen in einem Bild einschließt, das von dem Videosignal dargestellt wird.

27. Verfahren nach Anspruch 26, bei dem die Vektoren Bildpunktbereichen der zweiten und dritten Eingangshalbbilder zugeordnet sind.

28. Verfahren nach Anspruch 27, bei dem dem zweiten Eingangshalbbild Vektoren mit Hilfe eines Vorwärtsprojektionsverfahrens und dem dritten Eingangshalbbild Vektoren mit Hilfe eines Rückwärtsprojektionsverfahrens zugeordnet werden.

29. Verfahren nach Anspruch 24, das den Schritt einer Wiederholung des Vorgangs für das zweite, dritte, vierte und ein fünftes Eingangshalbbild einschließt und so einen fünften Satz von Bewegungsvektoren ableitet.

30. Verfahren nach Anspruch 24, bei dem die Sätze von Bewegungsvektoren mit Hilfe eines Phasenkorrelationsverfahrens abgeleitet werden.

31. Vorrichtung zum Ableiten eines Satzes von Bewegungsvektoren, geeignet zur Verwendung in einem Bewegungsausgleichssystem, das gemäß dem Verfahren nach irgendeinem vorhergehenden Anspruch arbeitet, welche Vorrichtung mindestens zwei Halbbildverzögerungseinrichtungen, die in Reihe geschaltet sind und eine Sequenz von Videohalbbildern empfangen, mindestens zwei Bewegungsvektor-Ableitungseinrichtungen, die jeweils Eingangshalbbilder von dem Eingang und Ausgang einer entsprechenden Halbbildverzögerungseinrichtung empfangen, und eine Vereinigungseinrichtung umfaßt, die mit den Ausgängen der Vektorableitungseinrichtungen verbunden ist und einen Ausgang aufweist, der den Satz von Bewegungsvektoren erzeugt.