DE69123359T3

DE69123359T3 - Videobildverarbeitung

Info

Publication number: DE69123359T3
Application number: DE69123359T
Authority: DE
Inventors: Michael Bbc Design & Equipment Department Burl; Graham Thomas
Original assignee: British Broadcasting Corp
Current assignee: British Broadcasting Corp
Priority date: 1990-09-20
Filing date: 1991-09-20
Publication date: 2000-06-08
Anticipated expiration: 2011-09-21
Also published as: BG97555A; SK399692A3; GB9226485D0; NO930999L; GB2261342A; FI931224A; GB2261342B; HUT64661A; JPH06501358A; DE69123359T2; DE69123359D1; FI931224A0; ATE145776T1; BR9106851A; KR930701888A; CN1063190A; EP0549681B1; US6005639A; AU643565B2; AU8624591A

Description

Hintergrund der Erfindung

Die Erfindung betrifft eine Videobildverarbeitung bzw. Fernsehbildverarbeitung und insbesondere die Zuweisung bzw. Bestimmung von Bewegungsvektoren, die die Richtung und den Betrag einer scheinbaren bzw. offensichtlichen Bewegung zu verschiedenen Regionen des Bildes anzeigt, um bei der Erzeugung gewünschter Ausgabebilder zu helfen.
Unser Vereinigtes Königreich-Patent Nr. GB-B-2, 188,510 und der BBC Research Department Report RD 1987/11 beschreiben ein Verfahren zur Verarbeitung eines Videobildes, um so eine Liste von Bewegungsvektoren bereitzustellen, die über das gesamte Gebiet verwendet werden können, und von denen einer so angesehen werden kann, als ob er für jede Region des Bildes zutrifft. Andere Verfahren sind ebenso möglich, um eine derartige Liste von Bewegungsvektoren zu erzeugen. Um derartige Vektoren zu verwenden, ist es dann notwendig, auszuwählen, welche dieser Vektoren auf gegebene Regionen des Bildes angewendet werden können bzw. zutreffen können. Jede Region kann so klein sein, wie ein Bildelement (Pixel) oder es kann eine Anzahl von Bildelementen oder einen Block des Bildes aufweisen.
Die Bewegungsvektoren können zum Beispiel verwendet werden, um Ausgabeteilbilder zu erzeugen, die einen Zeitpunkt in der Zeit entsprechen, der zwischen der Zeit zweier Eingabeteilbilder liegt. Dies kann zum Beispiel bei der Erzeugung von Zeitlupeneffekten, bei der Übertragung von Videobildern zu oder von einem Film oder bei einer Normenumwandlung erforderlich sein.
Eine der am meisten herausfordernden Anwendung einer Bewegungskompensation ist es, Zeitlupensequenzen ohne die ruckartige Bewegung zu erzeugen, die sich aus einer einfachen mehrmaligen Wiederholung eines jeden Bildes ergibt. Die Kenntnis des Bewegungsvektors eines jeden Gegenstandes in dem Bild ermöglicht neue Bilder, die jedem zu erzeugenden Zeitpunkt entsprechen und die Objekte bzw. Gegenstände korrekt positioniert zeigen. Die Verwendung einer derartigen Technik in Verbindung mit einer Verschluß-CCD-Kamera sollte ermöglichen, daß scharfe, sich glatt bewegende Bilder mit einer Qualität erzeugt werden, die sich jener annähern, die von einer Kamera mit hoher Vollbildrate erzielbar ist, und zwar ohne die Betriebsprobleme, die die Verwendung einer derartigen Kamera mit sich bringen würde.
Ein typisches Bild kann bei seiner einfachsten Ausgestaltung so angesehen werden, als ob es eine sich bewegende Vordergrundregion und eine Hintergrundregion aufweist, wie etwas graphisch bzw. schematisch in Fig. 1 der Zeichnungen gezeigt ist. Bei (a) ist eine Teilbild eines Bildes mit einem Vordergrundgegenstand bzw. Vordergrundobjekt, wie zum Beispiel einem Ball vor einem Hintergrund gezeigt. Bei (b) ist das nächste Feld bzw. Teilbild des Bildes gezeigt. Der Ball wird sich von der Position A zu der Position B bewegen müssen. Betrachtet man das Bild (b), so ist nun ein Teil des Hintergrunds, der in (a) zu sehen war, verdeckt, und ein Teil des Hintergrunds, der in (a) nicht zu sehen war, ist nun freigegeben oder nicht verdeckt.
Im allgemeinen kann der Hintergrund sich in dem Bild ebenso "bewegen", falls zum Beispiel die Kamera geschwenkt wird. Somit werden Bewegungsvektoren sowohl dem Vordergrund als auch dem Hintergrund jeweilig zugeordnet. Der geeignete Bewegungsvektor wird in jedem Fall von der Liste möglicher Bewegungsvektoren gewählt (die zum Beispiel wie in einem zuvor erwähnten Patent beschrieben, erzeugt wird), indem die zwei aufeinanderfolgenden Teilbilder verglichen werden und auf die Bewegung geblickt wird, die über verschiedene Regionen bzw. Bereiche des Bildes stattgefunden hat.
Diese Operation wird eine genaue Information über den Großteil des Bildgebiets bereitstellen. Somit kann der Hintergrund, der nicht durch irgendeine Bildposition des Balles A oder B verdeckt ist, zwischen den beiden Bildern verglichen werden. Ebenso kann die Überlappregion zwischen den beiden Positionen A und B des Balles verglichen werden, um einen geeigneten Vektor bereitzustellen. Jedoch enthält eines der Teilbilder sowohl in dem Gebiet eines überdeckten Hintergrunds als auch in dem Gebiet eines freigelegten oder nicht abgedeckten Hintergrunds ein Bild des Balles und das andere ein Bild des Hintergrunds. Das kann nicht sinntragend bzw. bedeutungstragend korreliert werden.
Viele Bewegungs-Schätzalgorithmen wurden vorgeschlagen, siehe zum Beispiel Proceedings of the International Zurich Seminar on Digital Communications, März 1984, Seiten D2.1-D2.5, Bergmann, H. C., "Motion-adaptive frame interpolation". Die meisten können eine Bewegung in derartigen Regionen bzw. Bereichen nicht detektieren oder sie können derartige Regionen nur detektieren, wenn der Hintergrund stationär ist, aber von jenen, die ihre Existenz detektieren können, glauben wir nicht, daß irgendeiner die Richtung oder den Betrag der Bewegung der Region zu der Zeit bestimmen kann, zu der sie aus der Ansicht verschwindet oder wenn sie wieder erscheint.
Die europäische Patentanmeldung Nr. EP-A-0 395 264, die am 31. Oktober 1990 veröffentlicht ist, beschreibt eine Ausführungsform zur Konvertierung eines 1125/60/2:1 HDTV-Signals in ein 24 Hz progressives (nicht-verflochtenes bzw. "noninterlaced") Format zur Aufnahme auf einen Film, das eine Bewegungs-Schätztechnik verwendet, die einen zweistufigen Algorithmus aufweist, in dem die erste Stufe eine Korrelierung (durch Blockanpassung) relativ großer Gebiete des Bildes aufweist, um eine Liste möglicher Bewegungsvektoren zu bestimmen, und zwar gefolgt von einem Zuweisungsprozeß, um Vektoren individuellen Pixeln zuzuordnen. Bei diesem Zuweisungsprozeß werden Vektoren Pixeln in existierenden Eingabeteilbildern zugewiesen, und diese Information muß dann umgewandelt werden, um auf Pixel in Eingabevollbilder werden bei dem Vergleich verwendet.
EP-A-0 294 961 beschreibt eine Anordnung, bei der einer einer Anzahl von Bewegungsvektoren Regionen eines Videobildes zugewiesen wird. Vier Spitzenvektoren werden für die Zuweisung bzw. Bestimmung ausgewählt und für jeden Pixel wird die Differenz zwischen aufeinanderfolgenden Teilbildern berechnet, indem wiederum vier Vektoren verwendet werden. Der Vektor, der den minimalen Fehler bei der Ableitung eines Teilbildes von einem anderen ergibt, wird dann jenem Pixel zugewiesen. Ein drittes Feld bzw. Teilbild wird nur jemals unter Umständen verwendet, wo einer der anderen Vektoren einen Fehler innerhalb eines voreingestellten Fensters von dem Minimum erzeugt. Somit wird das dritte Teilbild nur jemals dann verwendet, wenn das Testen mit den vier Spitzenvektoren kein verläßliches Ergebnis ergibt.
Eine andere zweistufige Konsitenzüberprüfung auf Verlässlichkeit von Bewegungsvektoren ist in "Signal Processing of HDTV; proceedings of the Third International Workshop on HDTV, Turin, Italien, 30.08.-01.09.89, Seiten 649-655" offenbart.

Zusammenfassung der Erfindung

Die vorliegende Erfindung ist in den beigefügten Ansprüchen festgelegt, auf die bezuggenommen werden sollte.
Bei einer bevorzugten Ausführungsform der Erfindung wird ein Bildwert für jede Region bzw. für jeden Bereich eines Videobildes bzw. Fernsehbildes für jedes von vier aufeinanderfolgenden Teilbildern bzw. Halbbildern bestimmt, und zwar für jeden einzelnen einer Liste möglicher Bewegungsvektoren. Die Werte für die vier Teilbilder werden verglichen und wenn die Werte für einen gegebenen Vektor im wesentlichen gleich sind, wird angenommen, daß dies der Vektor ist, der für jene Region geeignet ist. Die Vektoren, die für Regionen mit verdeckten oder freigelegten Hintergrund geeignet sind, können ebenso bestimmt werden, indem Zwischen-Teilbild-Differenzen verglichen werden und Regionen, wo die Zwischen-Teilbild-Differenzen für das zentrale Paar und ein äußeres Paar hoch sind und für das andere äußere Paar der Gruppe von vier Teilbildern niedrig ist.
Ausgabeteilbilder können durch Interpolation erzeugt werden. Um Regionen zu erzeugen, die einem verdeckten Hintergrund entsprechen, werden nur Informationen von den früheren Teilbildern verwendet, und um Regionen entsprechend einem freigelegten Hintergrund zu erzeugen, werden nur Informationen von den späteren Feldern bzw. Teilbildern verwendet.

Kurze Beschreibung der Zeichnungen

Die bevorzugte Ausführungsform der Erfindung wird detaillierter beschrieben, und zwar beispielhaft unter Bezugnahme auf die Zeichnungen, in diesen gilt:
Fig. 1 (oben erwähnt) zeigt zwei aufeinanderfolgende Teilbilder einer Sequenz von Videobildern, bei denen eine Bewegung eines Vordergrundgegenstandes stattfindet;
Fig. 2 ist ein Diagramm, das entsprechende Punkte auf vier aufeinanderfolgenden Teilbildern für einen gegebenen Bewegungsvektor zeigt;
Fig. 3 ist ein Diagramm, das eine Bewegung eines Vordergrunds und eines Hintergrunds zwischen den vier aufeinanderfolgenden Bildern zeigt;
Fig. 4 ist ein Blockdiagramm eines Apparats, um vier Luminanzwerte entlang einer Versuchsbewegungstrajektorie zu erhalten;
Fig. 5 ist ein Blockdiagramm eines Apparats, um Zuweisungsfehler zu berechnen; und
Fig. 6 zeigt eine Schaltung zum Vergleich von Klassifikationskodes und Fehlern.

Detaillierte Beschreibung der bevorzugten Ausführungsform

Nimmt man an, daß das gesamte Bild in Übereinstimmung mit dem selben Versuchs- Bewegungsvektor dargestellt wird, d. h. mit einem der Vektoren in der Liste möglicher Bewegungsvektoren, dann kann der Wert eines jeden Pixels geschätzt werden, indem zu dem Punkt in dem vorhergehenden Teilbild zurückgesehen wird, das bzw. der um den Umfang jenes Vektors versetzt ist. Alternativ kann man zurücksehen und vorwärtssehen, wobei man irgendein gegebenes Teilbild als Bezug annimmt, und man kann für jeden Pixel in dem Bezugsteilbild erzeugen, welchen Wert jener Pixel zur Zeit des Auftretens des vorhergehenden und nachfolgenden Feldes bzw. Teilbildes haben würde. Dies wird erreicht, indem man die Punkte in jenen vorhergehenden und nachfolgenden Teilbildern bzw. Halbbildern ansieht, die von dem Pixel in dem Bezugsteilbild um einen Umfang bzw. Betrag versetzt sind, der bezüglich jenes Bewegungsvektors geeignet ist. Diese Operation ist in Fig. 2 gezeigt, die graphisch vier Teilbilder eines Videosignals zu den Zeiten t - 1, t, t + 1 und t + 2 jeweilig gezeigt. Auf der vertikalen Achse ist in einer Dimension ein räumlicher Schnitt durch das Bild gezeigt. Aufgrund der Bewegung sind die Punkte, die sich auf den verschiedenen Teilbildern bzw. Feldern entsprechen, räumlich versetzt.
Somit kann man für jeden gegebenen Bewegungsvektor für jeden Pixel in dem Bezugsteilbild die Werte aufbauen, von denen man erwartet, daß der Pixel sie in einer Aufeinanderfolge von Teilbildern hat. Falls der Bewegungsvektor in der Tat der Richtige bzw. Korrekte für jenen Pixel ist, ist es wahrscheinlich, daß diese Werte mehr oder weniger die gleichen sind. Falls die Operation für alle möglichen Bewegungsvektoren wiederholt wird, dann ist der Vektor, der die geringste Variation in den erzielten Werten erzeugt, wahrscheinlich der geeignete Vektor für jenen Pixel. Die Werte können verarbeitet werden, um ein Maß eines Zuweisungsfehlers für jeden Pixel und jeden Vektor zu ergeben, wie im folgenden beschrieben wird.
In Übereinstimmung mit dieser Erfindung schlagen wir deshalb vor, den Inhalt von vier aufeinanderfolgenden Teilbildern bzw. Feldern zu verwenden, um die geeigneten Bewegungsvektoren für die verschiedenen Bereiche des Bildes zu bestimmen. Es wird auf Fig. 3 bezuggenommen, die in ähnlicher Weise graphisch vier Teilbilder eines Fernsehsignals bzw. Videos zeigt, die zu den Zeiten t - 1, t, t + 1 und t + 2 jeweilig gezeichnet sind. Auf der vertikalen Achse ist in einer Dimension ein Vordergrundgegenstand gezeigt, der sich über einen Hintergrund bewegt, der sich selbst bewegt. Wie in der Figur gezeigt, bewegt sich der Vordergrundgegenstand stetig nach oben zwischen den Teilbildern t - 1 und t + 2, wohingegen sich der Hintergrund langsamer nach unten bewegt.
Bestehende Systeme vergleichen die zwei zentralen Teilbilder t und t + 1 und sind nicht dazu in der Lage, den Vektor geeignet für gewisse Bereiche des Bildes zu bestimmen. Insbesondere sind sie unfähig, den Vektor geeignet für den Bereich zu bestimmen, der mit c markiert ist, der einen Hintergrund darstellt, der zwischen den Teilbildern t und t + 1 verdeckt ist, oder den Vektor zu bestimmen, der für den Bereich geeignet ist bzw. dafür paßt, der mit e markiert ist und der freigelegten Hintergrund darstellt.
Die Bewegungsvektoren können bei einer Interpolationsoperation verwendet werden, um ein Ausgabeteilbild zu einem Zeitpunkt t + δt zu erzeugen, der einer Zeit zwischen zwei Teilbildern t und t + 1 entspricht. Indem alle vier Teilbilder verwendet werden, ist die Detektion des Bewegungsvektors nicht nur genauer, sondern es wird auch möglich, Vektoren zu den Regionen bzw. Bereichen c und e des Bildes zuzuordnen. Die Verarbeitung, die bei jeder der verschiedenen Regionen a bis g, die in Fig. 2 gezeigt sind, angewendet wird, ist wie folgt:
Regionen a und g: Der Bewegungsvektor des Hintergrundes ergibt einen geringen Zuweisungsfehler über alle vier Teilbilder, so daß eine Vierteilbild-Interpolation verwendet werden kann.
Region b: Der Bewegungsvektor des Hintergrundes ergibt einen geringen Zuweisungsfehler zwischen den zentralen Teilbildern bzw. Feldern, aber nicht über alle vier; eine Zweiteilbild-Interpolation über zentrale Teilbilder wird verwendet, oder eine mögliche Extrapolation des Teilbildes zu der Zeit t, falls der Zuweisungsfehler über die ersten zwei Teilbilder geringer ist, als jener über das zentrale Teilbild.
Region c: Der Hintergrundvektor ergibt nur über die ersten zwei Teilbilder einen geringen Fehler; keine anderen Vektoren ergeben einen geringen Zuweisungsfehler über irgendeinen Zeitraum. Das Gebiet wird somit als "verdeckt" markiert bzw. gekennzeichnet und es wird von dem Teilbild zu der Zeit t extrapoliert, indem der Hintergrundvektor verwendet wird.
Region d: Der Bewegungsvektor des Gegenstandes bzw. Objekts ergibt einen geringen Vierteilbild-Zuweisungsfehler, so daß Vierteilbild-Interpolation verwendet wird.
Region e: Der Hintergrundvektor ergibt einen geringen Zuweisungsfehler über die letzten zwei Teilbilder; keine anderen Vektoren ergeben einen geringen Zuweisungsfehler über irgendeinen Zeitraum. Das Gebiet wird somit als "freigelegt" bezeichnet und von dem Teilbild zu der Zeit t + 1 extrapoliert, indem der Hintergrundvektor verwendet wird.
Region f: Der Hintergrundvektor ergibt einen geringen Zuweisungsfehler zwischen den zentralen Halbbildern, aber nicht über alle vier; Zweiteilbild-Interpolation über die zentralen Teilbilder wird somit verwendet, oder möglicherweise wird das Teilbild zu der Zeit t + 1 extrapoliert, falls der Zuweisungsfehler über die letzten zwei Teilbilder geringer ist, als jener über die zentralen Teilbilder.
Somit ist eine Vektorzuweisung für alle gezeigten Bildregionen möglich, und zwar egal ob auf einer Pixel-um-Pixel- oder auf einer Block-um-Block-Basis. Regionen, die einen verdeckten Hintergrund entsprechen, werden erzeugt, indem nur Information in vorhergehenden Teilbildern verwendet wird und bezüglich Information in Gebieten freigelegten Hintergrund, werden nur aufeinanderfolgende Teilbilder bzw. Teilbilder einer Folge verwendet.
Die Art und Weise, in der die Zuweisungsfehler erzeugt werden, wird nun beschrieben. Vier Teilbilder des Videosignals bzw. Fernsehbildsignals werden gleichzeitig durch eine geeignete Speicherung verfügbar gemacht. Für jeden Versuchsvektor werden die vier Werte entlang der vorgeschlagenen Bewegungstrajektorie bestimmt (siehe Fig. 2). Die genommenen Werte sind die Luminanzwerte des Signals. Der Bewegungsvektor kann bis zu einer Genauigkeit von besser als ein Pixel bestimmt werden und wenn dies der Fall ist, wird die Bewegungstrajektorie nicht exakt durch die bestehenden Abtastpositionen auf Teilbildern t - 1, t + 1 oder t + 2 hindurchgehen. Eine räumliche Interpolationseinrichtung wird dann verwendet, um die Luminanzwerte zu berechnen, die zu den nächstliegenden Pixelpositionen in jenen Teilbildern bzw. Feldern gehören.
Die somit erhaltenen vier Werte werden durch einen Hochpaßfilter hindurchgeführt, der die Amplitude der mit der Zeit variierenden Luminanzkomponente mißt. Viele Filterantworten sind möglich, aber ein Beispiel einer möglichen Filterantwort, die einen gewichteten Mittelwert des Moduls der Differenz bereitstellt, ist folgende:
0,25 · { a&submin;&sub1; - a&sub1; + a&sub0; - a&sub2; }
+ 0,125 · { a&submin;&sub1; - a&sub0; + 2 a&sub0; - a&sub1; + a&sub1; - a&sub2; }
Somit wird ein Wert für jede Pixelposition erhalten. Die Werte über dem Bild werden dann geglättet, indem sie einem räumlichen Tiefpaßfilter zugeführt werden, um einen Vierteilbild-Vektor-Zuweisungsfehler für jeden Vektor auszubilden. Für jeden Pixel werden die Beträge des Vierteilbild-Vektor-Zuweisungsfehlers für alle möglichen Versuchsvektoren dann verglichen. Falls der Betrag des niedrigsten Vierteilbild- Vektor-Zuweisungsfehlers unter einer gegebenen Schwelle bzw. einem gegebenen Schwellwert liegt, wird dann der entsprechende Vektor jenem Pixel zugewiesen und der Pixel wird so gekennzeichnet, als ob er eine einfache Translationsbewegung durchmacht.
Falls der niedrigste Vierteilbild-Zuweisungsfehler über diesem Schwellwert liegt, werden dann die Unterschiede zwischen aufeinanderfolgenden Teilbildern für alle Versuchsvektoren untersucht, um zu bestimmen, welcher Vektor und welcher Zeitabschnitt den geringsten Fehler ergibt, wie oben unter Bezugnahme auf die Fig. 3 beschrieben wurde. Falls die Region einem freigelegten Hintergrund entspricht, so würde man erwarten, daß a&sub1; - a eine kleinere Amplitude für den korrekten Bewegungsvektor aufweist, wohingegen a&sub0; - a&sub1; und a&sub1; - a&sub0; hoch sein würde. In ähnlicher Weise würde ein verdeckter Hintergrund eine niedrige Amplitude von a&submin;&sub1; - a&sub0; erhöhen. Falls der niedrigste Werte für den mittigen Zeitabschnitt vorlag, könnte daraus dann geschlossen werden, daß die Region gerade freigelegt worden ist oder gerade dabei war, verdeckt zu werden. Die drei Fehler werden einem räumlichen Filter unterworfen und vorzugsweise mit Wichtungsfaktoren multipliziert, bevor sie verglichen werden. Die Wichtungsfaktoren werden so gewählt, daß sie gewährleisten, daß ein Gebiet als freigelegter oder verdeckter Hintergrund nur gekennzeichnet wird, wenn der Fehler für einen der äußersten Teilbildperioden bzw. Teilbild-Zeitabschnitte beträchtlich kleiner ist, als für die mittige bzw. zentrale Periode.
Eine mögliche Hardwareimplementation des Verfahrens der Fig. 3 wird nun unter Bezugnahme auf Fig. 4 bis 6 beschrieben. Fig. 4 zeigt, wie die vier Luminanzwerte entlang einer Versuchsbewegungstrajektorie erhalten werden können. Drei fixierte bzw. festgelegte Teilbildverzögerer 10 werden verwendet, um Signalwerte von vier aufeinanderfolgenden Teilbildperioden bereitzustellen. Veränderliche Verzögerer 12 werden verwendet, um die Verschiebung in Übereinstimmung mit dem Versuchsvektorwert durchzuführen, und zwar multipliziert mit einem Wert entsprechend der Zeitperiode zwischen dem relevanten hereinkommenden Teilbild und der Zeit, zu der das Vektorteilbild erzeugt wird. Derartige variable Verzögerer können leicht realisiert werden, indem eine Anzahl von Speicher mit wahlfreiem Zugriff bzw. RAMs verwendet werden, die durch geeignete Lese- und Schreibezeiger adressiert werden. Bei einer Ausführungsform, bei der die Teilbilder auf Unter-Pixel-Genauigkeit versetzt werden, wird jede Schiebeeinrichtung durch eine Anzahl von Schiebeeinrichtungen ersetzt, um die Werte der umgebenden Pixel bereitzustellen; diese Werte werden dann einer räumlichen Interpolationseinrichtung zugeführt, um den Unter- Pixel-Teil der Verschiebung durchzuführen. Eine derartige Interpolationseinrichtung ist gut bekannt.
Fig. 5 zeigt eine mögliche Anordnung zur Berechnung von Vierteilbild- und Zweiteilbild-Zuweisungsfehlern und den Luminanzwerten, die in Fig. 4 berechnet sind. Die Fehler werden berechnet, indem Substrahierer 14 verwendet werden, denen Schaltungen 16 folgen, um den Modulus der Teilbilddifferenz zu berechnen. Die Modulus-Differenzen werden räumlich gefiltert, um die Zweiteilbild-Fehler zu bilden; diese werden verwendet, um die Vierteilbild-Fehler zu berechnen. Es sind integrierte Schaltungen verfügbar, die verwendet werden können, um eine derartige räumliche Filterung durchzuführen; ein Beispiel stellt Inmos A110 dar. Bei diesem Beispiel wird der Vierteilbild-Fehler einfach in einem Summierer 18 von der Summe der drei Zweiteilbild-Fehler abgeleitet; eine komplexere Hochpaß-Filteranordnung kann ebenso verwendet werden, wie zuvor erklärt wurde. Diese Fehler werden zu einer Entscheidungsschaltung 20 übermittelt, die eine Entscheidung, basierend auf den Werten der Fehler in Beziehung zueinander und zu gegebenen Schwellenwerten und Wichtungsfaktoren, die zuvor beschrieben wurden, trifft. Eine derartige Schaltung kann aus Komponenten, wie zum Beispiel Komparatoren und Logikgattern aufgebaut werden.
Fig. 6 zeigt, wie die Klassifikationskodes und Fehler, die mit jedem Versuchsvektor verbunden sind, verglichen werden, um zu einer Endentscheidung zu gelangen. Dies bringt es mit sich, die Fehler für jeden Vektor zu vergleichen, indem Komparatoren verwendet werden, um den kleinsten zu bestimmen. Die Fehler können vor dem Vergleich in Abhängigkeit von ihrer Klassifikation gewichtet werden; eine derartige Gewichtung könnte ausgeführt werden, indem ein programmierbarer Nur-Lesespeicher bzw. ein programmierbarer ROM 22 verwendet wird, der von dem Fehlerwert und dem Klassifikationskode adressiert wird. Die Zahl, die den gewählten Vektor anzeigt, kann leicht in horizontale und vertikale Vektorkomponenten jenes Vektors umgewandelt werden, indem die Zahl verwendet wird, um eine Nachschlagtabelle zu adressieren, die die Liste der Versuchsbewegungsvektoren beinhaltet.
Eine Bildinterpolation, die den Vektor und die Klassifikationsinformation verwendet, die wie oben beschrieben erhalten wird, kann leicht ausgeführt werden, indem eine Anordnung von Teilbild-Verzögerern und variablen Verzögerern verwendet wird, die jener in Fig. 4 gezeigten sehr ähnlich ist. Die variablen Verzögerer werden durch den gewählten Vektor gesteuert; die erhaltenen vier Luminanzwerte werden zu einem Vierabgriffs-Filter übermittelt, dessen Koeffizienten durch den Klassifikationskode und die zeitliche Position des zu erzeugenden Teilbildes bestimmt werden. Ein derartiger Filter kann leicht aufgebaut werden, indem Addierer und Multiplizierer zusammen mit Nur-Lesespeichern verwendet werden, um die Filterkoeffizienten zu halten.
Als eine Alternative für die Verwendung von Teilbilddifferenzen als eine Messung eines Zuweisungsfehlers, ist es möglich, eine genauere Messung auszubilden, indem der Luminanzgradient in der Region eines jeden Pixels berücksichtigt wird. Dies erlaubt es, daß ein geringeres Gewicht Fehlern in hoch detaillierten Gebieten gegeben wird, und ist vorteilhaft, da eine geringe Ungenauigkeit in einem Bewegungsvektor eine Hochteilbild-Differenz bzw. einen Hoch-Halbbild-Unterschied in einer derartigen Region verursachen kann. Ein geeignetes Verfahren zum Berechnen von Zuweisungsfehlern ist wie folgt:
Zuweisungsfehler = ( Differenz + Konst)/ ( Gradient + Konst)
wobei: Differenz = (a&sub0; + a&sub1;)(in dem Fall des Zuweisungsfehlers zwischen den ersten beiden Teilbildern); Konst ist eine Konstante, deren Funktion es ist, Probleme bezüglich Rauschen und Null-Gradienten zu verringern, und zwar zum Beispiel gleich 4 Luminanz-Quantisierungspegeln;
und
Gradient = Quadratwurzel {(Y(x - 1,y) - Y(x + 1,y))² + (Y(x, y - 1) - Y(x, y + 1))}²
wobei Y(x,y) der Luminanzpegel in dem Eingabeteilbild ist, der bezüglich der Zeit dem Zeitpunkt am nächsten liegt, zu dem das Vektorteilbild erzeugt wird, (x,y) sind die Koordinaten in diesem Bild, durch die der betrachtete Bewegungsvektor hindurchgelangt.
Diese Technik kann verwendet werden, wenn irgendeiner der Zuweisungsfehler berechnet wird. Die sich ergebenen Fehler werden einem räumlichen Tiefpaßfilter, wie oben beschrieben, unterzogen.
Eine weitere mögliche Verbesserung der Berechnung von Zuweisungsfehlern liegt darin, Informationen von dem Luminanzsignal zusätzlich zu jenen von der Luminanz, wie soweit beschrieben wurde, mit einzubeziehen. Zwei Chrominanz-Zuweisungsfehler können in derselben Art und Weise, wie für die Luminanz beschrieben, berechnet werden, indem die sogenannten U- und V-Chrominanzsignale verwendet werden. Die Chrominanzzuweisungsfehler werden dann zu jenen dazuaddiert, die von der Luminanzkomponente erhalten werden, um ein kombiniertes Zuweisungsfehlersignal zu ergeben, das in Bildgebieten mit geringem Luminanzdetail, aber beachtlichem Chrominanzdetail verläßlicher sein kann, als ein reines Luminanzsignal.
Falls die Zuweisungsfehler groß sind, so kann dann geschlossen werden, daß kein Vektor zu der Bewegung paßt bzw. mit ihr übereinstimmt; der Pixel wird dann so gekennzeichnet, als ob er einen unbekannten Vektor aufweist.
Falls zwei oder mehr Vektoren ähnliche oder geringe Zuweisungsfehler ergeben, ist es möglich, daß der unkorrekte Fehler gewählt werden kann. In Praxis ist dies nur ein Problem, falls die Vektoren wesentlich unterschiedliche Werte aufweisen. Bei einer Ausführungsform der Erfindung wird die Verläßlichkeit in diesem Umstand verbessert, indem der gesamte Zuweisungsprozeß wiederholt wird, indem räumliche Filter mit größeren Öffnungen bzw. Aperturen verwendet werden, bis ein einziger Vektor gefunden ist. Alternativ kann das räumliche Filtern der Fehlersignale parallel durchgeführt werden, indem eine Anzahl von Filteraperturen verwendet wird, und das Signal von der kleinsten Filterapertur, die eine einzige Antwort ergibt, wird verwendet. Falls kein einziger Vektor gefunden werden kann, der einen niedrigen Zuweisungsfehler ergibt, wird der Pixel dann so gekennzeichnet, als ob er eine unbekannte Bewegung aufweist.
Ausgeklügeltere Verfahren der Kombination und Wichtung der Anpassungsfehler zwischen aufeinanderfolgenden Teilbildern können verwendet werden, um die Verläßlichkeit des Vektor-Zuweisungsprozesses zu verbessern. Zum Beispiel werden bei einer bevorzugten Ausführungsform der Erfindung sieben Anpassungsfehler von drei ungewichteten Anpassungsfehlern wie folgt berechnet:
Berechne zuerst drei ungewichtete Zuweisungsfehler E0, E1 und E2, indem das oben beschriebene Gradientenverfahren verwendet wird; E0 sei der Zuweisungsfehler zwischen den ersten beiden der vier Teilbilder, der bestimmt wird, indem (a&sub0; - a&sub1;) verwendet wird, E1 liege zwischen den zentralen beiden und E2 sei der Fehler zwischen den letzten beiden.
Dann kalkuliere sieben Fehler W0-W6, und zwar basierend auf gewichteten Kombinationen von E0, E1 und E2:
W0 = E0* erste_wt
W1 = E1* eins_wt
W2 = E2* zweite_wt
W3 = (E0 + E1)/2*zwei_wt
W4 = (E1 + E2)/2*zwei_wt
W5 = (E0 + E2)/2*zwei_wt
W6 = (E0 + E1 + E2)/3*drei_wt
Die Wichtungsfaktoren können Konstanten sein, die gewählt sind, um den Betrieb des Vektorauswahlprozesses zu optimieren, oder sie können Funktionen von Parametern, wie zum Beispiel dem Betrag des Versuchsvektors, die Dimensionen der räumlichen Apertur des Zuweisungsfilters und der Ausgabe-Teilbildposition sein.
Bei einer Ausführungsform sind erste_wt und zweite_wt Funktionen, die in einer solchen Art und Weise variieren, daß sie Probleme an Objektgrenzen bzw. Gegenstandsgrenzen verringern, wenn Vordergrund- und Hintergrundvektoren in Konkurrenz treten; in derartigen Regionen neigt der räumliche Tiefpaßfilter, der auf E0-E2 angewendet wird, dazu, den Hintergrundvektor zu veranlassen, gerade innerhalb der Kante des Gegenstandes ausgewählt zu werden. Die folgende Formel kann für diese zwei Wichtungsfaktoren verwendet werden:
erste_wt = 1 + (δt * Vektorlänge) / Aperturlänge
zweite_wt = 1 + ((1-δt) * Vektorlänge) / Aperturlänge
wobei δt die Ausgabeteilbildposition in dem Bereich 0-1, wie in Fig. 3 gezeigt, ist, und
die Aperturlänge die Größe des Raumfilters ist, der auf die Zuweisungsfehler E0-E2 angewendet wird.
Diese Wichtungsfaktoren können auf einen festen maximalen Wert für den Fall sehr großer Vektoren beschränkt werden.
Die anderen Wichtungsfaktoren (eins_wt, zwei_wt und drei_wt) sind Konstanten, die so gewählt werden, daß sie kleiner sind, als eins und somit immer kleiner sind, als erste_wt oder zweite_wt. Dies gewährleistet, daß Vektoren, die einen Vordergrund darstellen, im Verhältnis zu jenen, die einen freigelegten oder verdeckten Hintergrund anzeigen, bevorzugt werden. Dies liegt daran, weil zwangsweise es für einen Hintergrund um die Kante eines sich bewegenden Objekts besser ist, als Vordergrund behandelt zu werden (der leicht unscharf bzw. verwaschen wird), als daß es für Ecken eines Vordergrundobjekts wäre, als Hintergrund behandelt zu werden (der verursacht, daß Löcher in dem Objekt bzw. Gegenstand erscheinen).
Für jeden Versuchsvektor werden die gewichteten Summen W0-W6 verglichen und für jede Abtastung wird die kleinste ausgewählt. Gemäß dieser Auswahl wird die Vektor- und Gebietsklassifikation durchgeführt: Falls W1, W3, W4, W5 oder W6 die kleinsten sind, wird der entsprechende Vektor als Vordergrund bestimmt und gekennzeichnet. Falls WO der kleinste ist, wird der entsprechende Vektor als verdeckter Hintergrund bestimmt und gekennzeichnet. In ähnlicher Weise wird der Vektor gekennzeichnet, als ob er einen verdeckten Hintergrund darstellt, falls W2 am kleinsten ist. Wie zuvor erwähnt, kann, falls der kleinste Fehler über einer voreingestellten Schwelle liegt, dann der Pixel so gekennzeichnet werden, als ob er einen unbekannten Vektor aufweist.
Die erhaltene Vektor- und Gebietklassifikations-Information kann einer zusätzlichen Nachverarbeitung unterworfen werden, falls erforderlich; dies kann die Verwendung von Tiefpaß- oder Median-Raumfiltern miteinschließen. Derartige Filter sind gut bekannt.
Wie unter Bezugnahme auf Fig. 3 bemerkt wurde, findet die Vektor- und Klassifikations-Information, die von der oben beschriebenen Operation erhalten wird, insbesondere Anwendung bei der zeitlichen Interpolation von Bildsequenzen. Derartige Anwendungen beinhalten die Erzeugung einer Zeitlupen-Wiedergabe hoher Qualität, einer Normenwandlung zwischen unterschiedlichen Teilbild-Raten bzw. Feldraten, und die Interpolation von Bildern in Filmsequenzen, um die Darstellungsrate auf jene des Fernsehens zu erhöhen.
Nimmt man Bezug auf Fig. 3, so ist ein Ausgabebild so gezeigt, als ob es zu einer beliebigen Zeit zwischen existierenden Teilbildern interpoliert wird. Die Berechnung der Koeffizienten für die Zweiteilbild- und Vierteilbild-Interpolationsfilter ist relativ einfach und ein gutbekannter Prozeß. Die Figur zeigt nicht irgendwelche Bereiche, an die kein Vektor zugewiesen werden könnte; derartige Bereiche bzw. Regionen werden interpoliert, indem ein nicht adaptiver, Vierabgriffs-Zeitfilter verwendet wird, dessen Antwort der Antwort des Bewegungskompensations-Vierabgriffs-Filters ähneln kann, der in Regionen bzw. Bereichen a, d und g in Fig. 3 verwendet wird.
Bei einer Ausführungsform der Erfindung kann der Vektorauswahlprozeß ausgedehnt werden, um zu ermöglichen, daß bis zu zwei Vektoren für jedes Ausgabepixel in Regionen eines freigelegten und verdeckten Hintergrunds erzeugt wird. Dies ermöglicht ein sanftes Umschalten zwischen Vektoren, die zur Bildinterpolation an Verbindungen zwischen Vordergrund und Hintergrundgegenständen verwendet werden. Zum Beispiel wird für jeden Pixel, der als freigelegter Hintergrund bestimmt ist (d. h. der am niedrigsten gewichtete Zuweisungsfehler trat zwischen den letzten zwei Teilbildern auf), der Vektor, der den minimalen Zuweisungsfehler über die ersten zwei Teilbilder ergibt, ebenso bestimmt. Das Ausgabebild wird dann von den folgenden Teilbildern interpoliert, die um den zugewiesenen bzw. bestimmten freigelegten Hintergrundvektor (skaliert für die erforderliche Ausgabezeit), wie zuvor beschrieben, verschoben werden, und zwar zusammen mit einem Beitrag von den vorhergehenden Teilbildern, die um diesen zweiten Vektor verschoben werden. Das relative Verhältnis der zwei Beiträge kann wie folgt bestimmt werden: Ein Steuersignal wird für jeden zu interpolierenden Pixel berechnet, wobei der Teil des Ausgabebildes, der von den folgenden Teilbildern genommen werden soll, spezifiziert wird. Bezüglich aller Abtastungen in Vordergrundgebieten wird dies eine Konstante gleich δt in Fig. 3 sein, dies ist der normale Operationsmodus eines zeitlichen Interpolationsfilters. In einem Bereich, der als freigelegter Hintergrund gekennzeichnet ist, wird das Steuersignal gleich eins gesetzt, da alle Informationen von den folgenden Teilbildern, wie zuvor beschrieben, für eine Region e in Fig. 3 genommen werden sollte. Dieses Steuersignal wird dann einem Tiefpaßraumfilter unterworfen, so daß es gerade innerhalb von Regionen freigelegten Hintergrunds nicht mehr eins sein wird.
Sowohl die Vektorzuweisung als auch die zeitlichen Interpolationsprozesse wurden ohne Bezugnahme auf eine Verflechtung bzw. auf Interlace beschrieben. Beide Prozesse können direkt auf ein verflochtenes Signal bzw. Interlace-Signal angewendet werden (indem die vertikale Positionierung der abgetasteten Zeilen berücksichtigt wird); alternativ kann ein verflochtenes Signal bzw. Interlace-Signal in eine sequentielle und fortschreitende Form vor der Verarbeitung konvertiert werden.
Man wird erkennen, daß bei dem unüblichen Ereignis es nur erwünscht ist, entweder verdeckten Hintergrund oder freigelegten Hintergrund zu detektieren, aber nicht beides, denn nur drei aufeinanderfolgende Teilbilder müssen verglichen werden.
Bezüglich eines Blockdiagramms eines Zeitlupen-Wiedergabesystems, bei dem die Erfindung verwendet bzw. eingebaut werden kann, wird auf die IEE Conference. Publication Nr. 327 (IBC'90) Seiten 121 bis 125 und auf die Referenzen, die in dieser Veröffentlichung aufgeführt sind, verwiesen.
Man wird ebenso erkennen, daß die Operationen, die oben beschrieben wurden, im allgemeinen eher von einem Computersystem als durch eine diskrete Schaltung realisiert werden. Die obige Beschreibung bezüglich der Operationen liefert alle für die Produktion eines derartigen Systems notwendigen Informationen, wie für einen Fachmann leicht verständlich sein wird, und eine detaillierte Beschreibung der Programmierblöcke ist deshalb unnötig und wird hierin nicht mit aufgenommen.

Claims

1. Verfahren der Zuordnung des geeigneten einer Mehrzahl von Versuchs- Bewegungsvektoren zu Regionen eines Videobildes in Übereinstimmung mit einer offensichtlichen bzw. scheinbaren Bewegung in jener Region zwischen einem Bezugsfeld bzw. Bezugsteilbild und benachbarten Feld bzw. benachbarten Teilbild, wobei das Verfahren die folgende Schritte umfaßt:

für jede Region des Bezugsfeldes bzw. Bezugsteilbildes und für jeden der Mehrzahl von Versuchs-Bewegungsvektoren, werden wenigstens vier Bildwerte, die für jene Region und jenen Bewegungsvektor geeignet sind, bestimmt, indem jeder Versuchs- Bewegungsvektor durch wenigstens vier aufeinanderfolgende Felder bzw. Teilbilder projeziert wird und indem Bildwerte entlang eines jeden bzw. zusammen mit jedem Versuchs-Bewegungsvektor von jedem Feld bzw. Teilbild bestimmt werden; und

für jede Region werden die wenigstens vier Bildwerte oder Werte, die davon, ein Wert für jedes Feld, für die unterschiedlichen Bewegungsvektoren abgeleitet wurden, verglichen, um zu bestimmen, welcher Bewegungsvektor wahrscheinlich der für jene Region geeignete ist.

2. Verfahren nach Anspruch 1, in welchem die Bildwerte Luminanzwerte sind.

3. Verfahren nach Anspruch 1, bei welchem die Versuchs-Bewegungsvektoren eine Genauigkeit aufweist, die besser als ein Pixel ist, und der Schritt zur Bestimmung der Bildwerte für die benachbarten Felder eine räumliche Interpolation umfaßt.

4. Verfahren nach Anspruch 1, in welchem jede Region ein Pixel umfaßt.

5. Verfahren nach Anspruch 1, in welchem jede Region einen Pixelblock umfaßt.

6. Verfahren nach Anspruch 1, in welchem die Bildwerte temporär einer Hochpaßfilterung unterzogen werden, um einen Zuordnungsfehlerwert für jede Region und jeden Vektor vorzusehen, und in welchem der Vergleich das Vergleichen von Zuordnungsfehlerwerten umfaßt.

7. Verfahren nach Anspruch 6, in welchem, wenn für irgendeine Region nur ein Zuordnungsfehlerwert unter einem Schwellwert liegt, der entsprechende Vektor dieser Region zugeordnet wird.

8. Verfahren nach Anspruch 7, in welchem, wenn für irgendeine Region kein Zuordnungsfehlerwert vorliegt, der unter dem Schwellwert liegt, der Schritt des Vergleichens ferner die Berechnung sukzessiver Differenzen zwischen den Teilbildern für jeden möglichen Vektor und die Zuordnung von Bewegungsvektoren in Abhängigkeit von diesen Differenzen umfaßt.

9. Verfahren nach Anspruch 8, in welchem die Differenzen einer Ortsfilterung unterzogen werden.

10. Verfahren nach Anspruch 5. in welchem die Differenzen mit Wichtungsfaktoren bearbeitet werden.

11. Verfahren nach Anspruch 8, bei welchem die vier aufeinanderfolgenden Felder bzw. Teilbilder, die untersucht werden, zwei zentrale Felder bzw. Teilbilder und zwei entgegengesetzte, äußere Felder bzw. Teilbilder sind.

12. Verfahren nach Anspruch 11, in welchem, wenn die Differenz zwischen den zentralen Teilbildern unter einem Schwellwert liegt, jedoch die Differenz zwischen einem der äußeren Teilbilder und dem angrenzenden zentralen Teilbild hoch ist, zumindest dieses eine der äußeren Teilbilder bei der Zuordnung der Bewegungsvektoren ignoriert wird.

13. Verfahren nach Anspruch 11, in welchem, wenn die Differenz zwischen den zentralen Teilbildern hoch ist, die Differenz zwischen dem vorausgehenden äußeren Teilbild und dem angrenzenden zentralen Teilbild hoch ist und die Differenz zwischen dem folgenden äußeren Teilbild und dem angrenzenden zentralen Teilbild gering ist, die Region als aufgedeckter Hintergrund identifiziert wird.

14. Verfahren nach Anspruch 13, in welchem der Vektor, der zwischen dem vorhergehenden äußeren Teilbild und dem angrenzenden zentralen Teilbild den geringsten Zuordnungsfehler ergibt, ebenfalls ermittelt wird und als zur Vordergrundmaterie angrenzend an die Region des identifizierten aufgedeckten Hintergrundes gehörend identifiziert wird.

15. Verfahren nach Anspruch 11, in welchem, wenn die Differenz zwischen den zentralen Teilbildern hoch ist, die Differenz zwischen dem folgenden äußeren Teilbild und dem angrenzenden zentralen Teilbild hoch ist und die Differenz zwischen dem vorhergehenden äußeren Teilbild und dem angrenzenden zentralen Teilbild gering ist, die Region als verdeckter Hintergrund identifiziert wird.

16. Verfahren nach Anspruch 14, in welchem der Vektor, der den geringsten Zuordnungsfehler zwischen dem folgenden äußeren Teilbild und dem angrenzenden zentralen Teilbild ergibt, ebenfalls ermittelt wird und als zur Vordergrundmaterie angrenzend an die Region des identifizierten verdeckten Hintergrundes gehörend identifiziert wird.

17. Verfahren nach Anspruch 1, ferner aufweisend die Erzeugung eines Ausgangsteilbildes zeitlich zwischen den Eingangsteilbildern durch bewegungskompensierte Interpolation unter Verwendung der so zugewiesenen Bewegungsvektoren.

18. Verfahren nach Anspruch 15, in welchem eine weiche Umschaltung zwischen einer Interpolation in Bereichen aufgedeckten oder verdeckten Hintergrundes und Vordergrundbereichen dadurch ausgeführt wird, daß zwei Vektoren verwendet werden, die in solchen aufgedeckten oder verdeckten Regionen ermittelt sind, um die vorhergehenden und folgenden Teilbilder im Interpolator zu verschieben.

19. Verfahren nach Anspruch 1, in welchem die Zuordnungsfehler im wesentlichen aus dem Verhältnis von Luminanzdifferenzwerten zum lokalen Luminanzgradienten ermittelt werden.

20. Verfahren nach Anspruch 1, in welchem die Chrominanzdifferenzwerte längs einer Bewegungstrajektorie zusätzlich zu Luminanzdifferenzwerten bei der Berechnung eines Zuordnungsfehlers verwendet werden.

21. Verfahren nach Anspruch 1, in welchem eine Mehrzahl gewichteter Zuordnungsvektoren durch Kombination der Zuordnungsfehler zwischen angrenzenden Teilbildern gebildet werden und die kombinierten Fehler untersucht werden, wenn ermittelt wird, ob die Region einem Vordergrund, aufgedeckten oder abgedeckten Hintergrund entspricht.

22. Verfahren nach Anspruch 1, in welchem die Vektoren zu einer beliebigen Zeit in Relation zu den ursprünglichen Bildern zugeordnet werden.

23. Apparat zum Zuweisen des geeigneten einer Mehrzahl von Versuchs- Bewegungsvektoren zu Regionen eines Videobildes in Übereinstimmung mit einer offensichtlichen bzw. scheinbaren Bewegung in jener Region zwischen einem Bezugsfeld bzw. Bezugsteilbild und einem benachbarten Feld bzw. Teilbild, wobei der Apparat folgendes umfaßt:

Eine Einrichtung, um für jede Region das Bezugsfeld bzw. Bezugsteilbild und für jeden der Vielzahl von Versuch-Bewegungsvektoren wenigstens vier Bildwerte zu bestimmen, die für jene Region und jenen Bewegungsvektor geeignet sind, indem jeder Versuchs- Bewegungsvektor durch wenigstens vier aufeinanderfolgende Felder projeziert wird, und indem Bildwerte entlang eines jeden bzw. zusammen mit einem jedem Versuchs- Bewegungsvektor von jedem Feld bzw. Teilbild bestimmt werden; und

eine Einrichtung, die mit der Bestimmungseinrichtung verbunden ist, um für jede Region die wenigstens vier Bildwerte oder Werte, die davon abgeleitet sind, und zwar ein Wert für jeden der aufeinanderfolgenden Felder, für die unterschiedlichen Bewegungsvektoren zu vergleichen, um zu bestimmen, welcher Bewegungsvektor wahrscheinlich für jene Region geeignet ist.