DE102009026983A1

DE102009026983A1 - Bildverarbeitungsverfahren mit einer Bewegungsschätzung und Bildverarbeitungsanordnung

Info

Publication number: DE102009026983A1
Application number: DE102009026983A
Authority: DE
Inventors: Markus Schu; Marko Hahn; Peter Dr. Rieder; Christian Tuschen
Original assignee: Trident Microsystems Far East Ltd Cayman Islands
Current assignee: Entropic Communications LLC
Priority date: 2009-06-16
Filing date: 2009-06-16
Publication date: 2010-12-30
Also published as: US20100315560A1; US8861605B2

Abstract

Beschrieben wird ein Verfahren zur Verarbeitung einer Videobildfolge mit einer Anzahl aufeinanderfolgender Bilder und eine Bildverarbeitungsvorrichtung zur Verarbeitung einer Videobildfolge. Das Verfahren umfasst: das Erzeugen wenigstens einer skalierten Bildfolge (F11, F12) aus der Videobildfolge (F); das Erzeugen einer bewegungskompensierten skalierten Bildfolge (F40) aus der skalierten Bildfolge (F50); das Erzeugen einer bewegungskompensierten Ausgangsbildfolge (F') aus der bewegungskompensierten skalierten Bildfolge (F40); wobei die Erzeugung der bewegungskompensierten skalierten Bildfolge (F40) die Ermittlung eines Bewegungsvektorfeldes anhand von wenigstens zwei Bildern (F11; F11) der skalierten Bildfolge (F11, F12) und die Interpolation eines Bildes unter Verwendung der wenigstens zwei Bilder und des Bewegungsvektorfeldes umfasst und wobei der wenigstens eine Eingangsskalierungsfaktor (S11, S12) abhängig ist von einer Bewegungsinformation, die durch wenigstens ein Bewegungsvektorfeld repräsentiert ist, das für zeitlich vorangehende Bilder der wenigstens einen skalierten Bildfolge (F11, F12) ermittelt wurde.

Description

Die vorliegende Erfindung betrifft ein Bildverarbeitungsverfahren mit einer Bewegungsschätzung.
Eine Bewegungsschätzung dient in der Bildverarbeitung dazu, Bewegungsinformationen zu zwei – üblicherweise aufeinanderfolgenden – Bildern einer Bildfolge zu ermitteln. Diese Bewegungsinformation ist eine Information darüber, wie sich einzelne Bereiche eines Bildes von einem Bild zum nächsten Bild verändern, bzw. wie sich die räumliche Position einzelner in der Bildfolge vorkommender Objekte von einem Bild zum nächsten Bild verändert.
Die zu Bildern einer Bildfolge ermittelten Bewegungsinformationen können dazu verwendet werden, Zwischenbilder zwischen einzelnen Bildern der Bildfolge bewegungsrichtig zu interpolieren. Ein Zwischenbild wird bei einem solchen bewegungsrichtigen Interpolationsverfahren so interpoliert, dass ein Objekt, das sich in einem ersten Bild an einer ersten Position und einem zweiten Bild einer zweiten Position befindet, sich in dem Zwischenbild an einer dritten Position zwischen der ersten und zweiten Position befindet, wobei die relative räumliche Lage der dritten Position zu der ersten und zweiten Position der relativen zeitliche Lage des Zwischenbildes zwischen dem ersten und zweiten Bild entspricht.
Die Ermittlung der Bewegungsinformation umfasst beispielsweise das Festlegen von Bildblöcken und die Ermittlung sogenannter Bewegungsvektoren zu den einzelnen Bildblöcken. Ein einem Bildblock zugeordneter Bewegungsvektor enthält eine Information darüber, wie sich die Position des Inhalts dieses Bildblocks von einem Bild zum nächsten Bild verändert. Zur Ermittlung solcher Bewegungsvektoren können grundsätzlich be liebige Bildblöcke in zwei aufeinanderfolgenden Bildern miteinander verglichen werden. Der sogenannte Schätzbereich umfasst in diesem Fall das gesamte Bild, das heißt ein Bildblock an einer beliebigen Position in einem Bild kann mit einem Bildblock an einer beliebigen Position in dem anderen Bild verglichen werden. Dies erfordert allerdings Bildspeicher, die ganze Bilder speichern können, in denen während der Bewegungsschätzung die zwei zu vergleichenden Bilder abgespeichert sind, und die darüber hinaus über ausreichend kurze Zugriffszeiten verfügen, so dass eine Bewegungsschätzung in Echtzeit durchführbar ist. Solche Speicher sind allerdings teuer bzw. für ganze Bilder im HD-Format (1080×1920 Bildpunkte bzw. Pixel) gar nicht verfügbar.
Aus Kostengründen wird der Schätzbereich daher auf einen Bruchteil des Gesamtbildes eingeschränkt. Dies hat allerdings den Nachteil, dass sehr schnelle Bewegungen unter Umständen nicht mehr richtig ermittelt werden können.
Aufgabe der vorliegenden Erfindung ist es daher, ein Bildverarbeitungsverfahren mit Bewegungsschätzung zur Verfügung zu stellen, das in der Lage ist auch schnelle Bewegungen zuverlässig zu schätzen und das dennoch kostengünstig realisierbar ist, und eine Vorrichtung zur Durchführung eines solchen Verfahrens zur Verfügung zu stellen.
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 und eine Vorrichtung gemäß Anspruch 11 gelöst. Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen.
Ein Beispiel eines erfindungsgemäßen Verfahrens zur Verarbeitung einer Videobildfolge mit einer Anzahl aufeinanderfolgender Bilder umfasst: das Erzeugen wenigstens einer skalierten Bildfolge aus der Videobildfolge, das die Skalierung der Bilder der Videobildfolge mit wenigstens einem Eingangsskalierungsfaktor umfasst; das Erzeugen einer bewegungskompensierten skalierten Bildfolge aus der skalierten Bildfolge; das Erzeugen einer bewegungskompensierten Ausgangsbildfolge aus der bewegungskompensierten skalierten Bildfolge, das die Skalierung der bewegungskompensierten skalierten Bildfolge mit einem Ausgangsskalierungsfaktor umfasst. Die Erzeugung der bewegungskompensierten skalierten Bildfolge umfasst bei diesem Verfahren die Ermittlung eines Bewegungsvektorfeldes anhand von wenigstens zwei Bildern der skalierten Bildfolge und die Interpolation eines Bildes unter Verwendung der wenigstens zwei Bilder und des Bewegungsvektorfeldes. Der wenigstens eine Eingangsskalierungsfaktor ist hierbei abhängig von einer Bewegungsinformation, die durch wenigstens ein Bewegungsvektorfeld repräsentiert ist, das für zeitlich vorangehende Bilder ermittelt wurde.
Der Eingangsskalierungsfaktor ist insbesondere kleiner oder gleich Eins. Eine Bewegungsschätzung und eine Interpolation erfolgt bei diesem Verfahren somit basierend auf einer Bildfolge, die aus der Eingangs-Videobildfolge durch Herunterskalieren erhalten wird. Bei einer gegebenen Speichergröße eines für die Bewegungsschätzung verwendeten Zwischenspeichers ermöglicht das erfindungsgemäße eine Bewegungsschätzung über einen größeren Bildbereich. Besitzt der Zwischenspeicher eine gegebene Kapazität, so ist bei dem erfindungsgemäßen Verfahren der Schätzbereich um einen Faktor x größer als bei einem herkömmlichen Verfahren, bei dem die Bewegungsschätzung auf unskalierte Bilder angewendet wird, wobei x der Kehrwert des Skalierungsfaktors ist.
Bei einem Beispiel ist vorgesehen, die Bilder der Videobildfolgen in horizontaler und vertikaler Richtung unterschiedlich zu skalieren, und zwar in horizontaler Richtung mit einer horizontalen Skalierungskomponente und in vertikaler Richtung mit einer vertikalen Skalierungskomponente des Eingangsskalierungsfaktors. Die Vergrößerung des Schätzbereichs entspricht dann in horizontaler Richtung dem Kehrwert der horizontalen Skalierungskomponente und in vertikaler Richtung dem Kehrwert der vertikalen Skalierungskomponente.
Die Skalierung der Videobildfolge und die Erzeugung der bewegungskompensierten Bildfolge aus der skalierten Bildfolge führt unvermeidlich zu einem Informationsverlust bei der Interpolation der Bilder der bewegungskompensierten Bildfolge. Dieser Informationsverlust ist umso größer ist, je kleiner der Eingangsskalierungsfaktor ist, je stärker die Bilder also nach unten skaliert werden. Ein kleiner Skalierungsfaktor tritt beispielsweise dann auf, wenn in Vektorfeldern zu vorangehenden Bildern der skalierten Bildfolge lange Bewegungsvektoren vorhanden sind, die auf schnelle Bewegungen hindeuten, so dass für eine aktuelle Bewegungsschätzung der Schätzbereich durch Verkleinern des Skalierungsfaktors vergrößert werden soll. Dieser Informationsverlust erhöht die Gefahr von Schätzfehlern bei der Bewegungsschätzung, und damit die Gefahr einer fehlerhaften Interpolation. Diese bei einer Vergrößerung des Schätzbereichs zunehmende Gefahr von Fehlern ist allerdings tolerierbar, da die daraus resultierenden Fehler in der bewegungskompensierten skalierten Bildfolge für das menschliche Auge in Bildfolgen mit schnellen Bewegungen üblicherweise weniger sichtbar sind, als vergleichbare Fehler bei Bewegungen mit niedrigen Geschwindigkeiten.
Als Bewegungsinformation für die Einstellung des Eingangsskalierungsfaktors eignet sich beispielsweise der Betrag eines längsten Bewegungsvektors in einem oder mehreren Bewegungsvektorfeldern oder der Mittelwert der Beträge der Bewegungsvektoren eines oder mehrerer Bewegungsvektorfelder. Der Eingangsskalierungsfaktor ist dabei beispielsweise um so kleiner, je größer dieser Betrag oder dieser Mittelwert ist.
Um häufige Änderungen des Eingangsskalierungsfaktors zu vermeiden, ist bei einem Beispiel vorgesehen, eine Anzahl aufeinanderfolgender Bewegungsvektorfelder auszuwerten und den Eingangsskalierungsfaktor beispielsweise erst dann zu ändern, wenn die Bewegungsinformation in einer Mehrzahl der ausgewerteten Bewegungsvektorfelder zu einem anderen Eingangsskalie rungsfaktor als einem momentan eingestellten Skalierungsfaktor führt. Eingestellt wird dabei der Skalierungsfaktor, der aufgrund der Bewegungsinformationen der einzelnen Vektorfelder am häufigsten vorkommt.
Beispiele werden nachfolgend anhand von Figuren näher erläutert. Diese Figuren dienen zur Veranschaulichung des Grundprinzips der vorliegenden Erfindung, so dass lediglich die zum Verständnis dieses Grundprinzips notwendigen Merkmale dargestellt sind. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung.
1 veranschaulicht schematisch ein Beispiel einer Bildfolge mit zeitlich aufeinanderfolgenden Bilder.
2 veranschaulicht anhand eines Blockschaltbilds ein Beispiel einer Bildverarbeitungsanordnung mit einer Bewegungsschätz- und Interpolationseinheit zur Durchführung eines Bildverarbeitungsverfahrens gemäß einem Beispiel der Erfindung.
3 veranschaulicht die Größe eines in einem Speicher der Bewegungsschätzeinheit abspeicherbaren Bildausschnitts eines Bildes abhängig von einem Skalierungsfaktor.
4 veranschaulicht anhand eines Blockschaltbilds ein weiteres Beispiel einer Bildverarbeitungsanordnung mit einer Bewegungsschätz- und Interpolationseinheit zur Durchführung eines Bildverarbeitungsverfahrens gemäß einem Beispiel der Erfindung.
5 veranschaulicht ein Beispiel für die Ermittlung eines Skalierungsfaktors abhängig von einer Bewegungsinformation.
1 veranschaulicht schematisch eine Bildfolge mit zeitlich aufeinanderfolgenden Bildern. Dargestellt sind in 1 zwei Bilder F₁, F₂ dieser Bildfolge. Jedes dieser Bilder umfasst eine Anzahl von matrixartig angeordneten Bildpunkten bzw. Pixeln (nicht dargestellt), denen jeweils wenigstens ein Bildinformationswert zugeordnet ist. Bei einem RGB-Bild sind jedem Bildpunkt drei Farbinformationswerte zugeordnet: Je ein Farbinformationswert für eine der drei Grundfarben Rot (R), Grün (G) und Blau (B). Bei einem YUV-Bild sind jedem Bildpunkt ein Luminanzwert (Y-Wert) und zwei Chrominanzwerte (U-, V-Werte) zugeordnet. Der Bildinhalt einer solchen Bildfolge bzw. die den einzelnen Bildpunkten zugeordneten Bildinformationswerte können in grundsätzlich bekannter Weise auf einer Anzeigevorrichtung, wie zum Beispiel einem Fernsehdisplay, dargestellt werden.
Aus verschiedenen Gründen kann es sinnvoll sein, die in Bildern einer solchen Bildfolge enthaltene Bewegung zu ermitteln. Ein Bewegtbildeindruck entsteht bei einer solchen Bildfolge dann, wenn Objekte in zeitlich aufeinanderfolgenden Bildern der Bildfolge an unterschiedlichen Positionen dargestellt werden. Diese Bewegungsinformation kann zur Komprimierung eines die Bildfolge repräsentierenden Datenstroms genutzt werden, wie dies zum Beispiel beim MPEG-Kodierungsverfahren der Fall ist. Diese Bewegungsinformation kann jedoch auch dazu verwendet werden, bewegungsrichtig ein oder mehrere Zwischenbilder zwischen zwei Bildern der Bildfolge zu interpolieren. Das Bezugszeichen F₁₂ in 1 bezeichnet ein solches Zwischenbild, das zeitlich zwischen den zuvor erläuterten Bilder F₁, F₂ angeordnet ist.
Bewegungsschätzverfahren sind grundsätzlich bekannt. Zum besseren Verständnis der Erfindung werden einige Aspekte von Bewegungsschätzverfahren unter Bezugnahme auf 1 nachfolgend nochmals kurz erläutert:
Die Bewegungsschätzung umfasst die Ermittlung eines Bewegungsvektorfeldes durch Vergleich von jeweils wenigstens zwei unterschiedlichen Bildern der Bildfolge. Diese Bilder sind beispielsweise zwei zeitlich unmittelbar aufeinanderfolgende Bilder, wie die Bilder F₁, F₂ gemäß 1. Das Bewegungsvektorfeld enthält allgemein eine Information darüber, wie sich die Inhalte einzelner Bereiche der beiden Bilder F₁, F₂ von einem Bild F₁ zum anderen Bild F₂ verändern.
Ein solches Bewegungsvektorfeld kann beispielsweise dadurch erzeugt werden, dass das erste Bild F₁ in eine Anzahl matrixartig angeordneter Bildblöcke unterteilt wird, die in 1 gestrichelt dargestellt sind. B1 bezeichnet in 1 einen solchen Bildblock des ersten Bildes F₁. Jeder dieser Bildblöcke umfasst beispielsweise 8×8 oder 16×16 Bildpunkte. Die Ermittlung eines Bewegungsvektors v1 zu dem Bildblock B1 umfasst einen Vergleich zwischen dem Inhalt des Bildblocks B1 mit Bildblöcken gleicher Größe in dem zweiten Bild F₂, wobei diese Bildblöcke nicht notwendigerweise in dem Blockraster liegen, in dem der erste Bildblock B1 liegt. Der Bewegungsvektor v1 bezeichnet den räumlichen Versatz zwischen dem ersten Bildblick B1 und einem Bildblock B1' in dem zweiten Bild F₂, dessen Inhalt dem Inhalt des Bildblocks B1 entspricht. Zur Veranschaulichung des Bewegungsvektors v1 ist die Position des dem zweiten Bild F₂ entstammenden Bildblocks B1' in 1 in dem ersten Bild F₁ dargestellt.
Zum Auffinden des Bildblocks B1', dessen Inhalt dem des Bildblocks B1 entspricht – und damit zum Ermitteln des Bewegungsvektors v1 – können beliebige bekannte Verfahren angewendet werden, insbesondere sogenannte rekursive Schätzverfahren. Bei einem rekursiven Schätzverfahren wird eine Anzahl möglicher Bewegungsvektoren, sogenannter Testvektoren, vorgegeben, die der Reihe nach getestet werden, indem der Bildinhalt des Bildblocks B1 des ersten Bilds F₁ mit dem Bildinhalt des Bildblocks des zweiten Bilds F₂ verglichen wird, auf den der jeweilige Testvektor zeigt. Als Bewegungsvektor ausgewählt wird bei einem solchen Verfahren der Testvektor, der zu dem besten Vergleichsergebnis geführt hat. Ein Vergleichsergebnis ist dabei um so besser, je weniger die zwei miteinander verglichenen Bildblöcke voneinander abweichen.
Die Testvektoren sind beispielsweise Vektoren, die bereits zuvor zu räumlich- oder zeitlich benachbarten Bildblöcken des Bildblocks B1 ermittelt wurden. Räumlich benachbarte Bildblöcke sind dabei Bildblöcke innerhalb des ersten Bildes F₁, die räumlich benachbart zu der Position des ersten Bildblocks B1 angeordnet sind. Zeitlich benachbarte Bildblöcke sind Bildblöcke, die sich an derselben Positionen wie der Bildblock B1, die sich aber in Bildern befinden, die dem ersten Bild B1 zeitlich vorangehen. Räumlich und zeitlich benachbarte Bildblöcke sind Bildblöcke, die sich in zeitlich vorangehenden Bildern an Positionen befinden, die räumlich benachbart zu der Position des Bildblocks B1 ist. Außer den Bewegungsvektoren von räumlich und/oder zeitlich benachbarten Bildblöcken eignen sich als Testvektoren auch Bewegungsvektoren von räumlich/oder zeitlich benachbarten Bildblöcken, die durch Addition oder Subtraktion sogenannter Update-Vektoren modifiziert sind.
Die zu den einzelnen Bildblöcken des ersten Bildes F₁ ermittelten Bewegungsvektoren bilden bei dem zuvor erläuterten Beispiel ein durch Vergleich des ersten und zweiten Bildes F₁, F₂ ermitteltes Bewegungsvektorfeld.
Bezugnehmend auf 1 kann ein solches Bewegungsvektorfeld auch dadurch ermittelt werden, dass das zweite Bild F₂ in einzelne Bildblöcke unterteilt wird und dass zu jedem dieser Bildblöcke durch Vergleich mit Bildblöcken in dem ersten Bild F₁ ein Bewegungsvektor ermittelt wird. B2 bezeichnet in 1 einen solchen Bildblock des zweiten Bildes F₂. v2 bezeichnet einen zu diesem Bildblock F₂ ermittelten Bewegungsvektor.
Soll die Bewegungsinformation zur Zwischenbildinterpolation genutzt werden, so besteht auch die Möglichkeit, das zu interpolierende Bild in Bildblöcke zu unterteilen und jedem dieser Bildblöcke durch Vergleich von Bildblöcken des ersten und zweiten Bildes F₁, F₂ einen Bewegungsvektor zuzuordnen, wie dies in 1 für einen Bildblock B3 des Zwischenbildes F12 dargestellt ist. v3 bezeichnet in 1 den zu diesem Bildblock B3 ermittelten Bewegungsvektor.
Eine Bewegungsschätzung erfordert in erläuterter Weise einen Vergleich der Bildinhalte von Bildblöcken in dem ersten und zweiten Bild F₁, F₂. Zur Ermittlung des Bewegungsvektors eines Bildblocks kann es – wie erläutert – erforderlich sein, mehrere Vergleichsschritte durchzuführen, bei denen jeweils zwei Bildblöcke in dem ersten und zweiten Bild F₁, F₂ miteinander verglichen werden. Der Verglich zweier Bildblöcke in dem ersten und zweiten Bild F₁, F₂ wird nachfolgend als Blockvergleich bezeichnet. Solche Blockvergleiche, und damit die Bewegungsschätzung, sollen in Echtzeit durchführbar sein, also innerhalb einer Zeitdauer, die dem zeitlichen Abstand zweier Bilder der Bildfolge entspricht. Hierzu ist es erforderlich, Bildabschnitte des ersten und zweiten Bildes F₁, F₂ denen die zu vergleichenden Bildblöcke entstammen, in Halbleiterspeichern abzuspeichern, aus denen die zum Blockvergleich erforderlichen Bildinformationen rasch ausgelesen werden können.
Ideal wäre es in diesem Zusammenhang, wenn die beiden Bilder F₁, F₂ vollständig in solchen schnell auslesbaren Speichern abgespeichert wären. In diesem Fall könnten zu Zwecken der Bewegungsschätzung Bildblöcke an beliebigen Positionen der beiden Bilder miteinander verglichen werden. Der sogenannte Schätzbereich würde dann den gesamten Bildbereich umfassen, wodurch auch sehr schnelle Bewegungen geschätzt werden könnten. Eine schnelle Bewegung wird durch einen langen Bewegungsvektor repräsentiert. Ein sich schnell bewegendes Objekt befindet sich in den beiden aufeinanderfolgenden Bildern al so an Positionen, die einen große gegenseitigen Abstand besitzen.
Aus Kostengründen bzw. aus Gründen der technischen Realisierbarkeit werden bei bekannten Vorrichtungen bzw. bei bekannten Verfahren zur Bewegungsschätzung Zwischenspeicher bzw. Cache-Speicher verwendet, in denen die zu vergleichenden Bilder nicht vollständig abgespeichert werden können, so dass bei der Bewegungsschätzung nicht auf den gesamten Bildinhalt zugegriffen werden kann. Diese Zwischenspeicher sind beispielsweise so bemessen, dass lediglich ein Bildausschnitt des ersten und zweiten Bildes abgespeichert werden kann. Ein solcher Bildausschnitt S1, wie er beispielsweise zur Ermittlung eines Bewegungsvektors für den Bildblock B1 in dem ersten Bild F₁ verwendet wird, ist in 1 schematisch dargestellt. Der Bildinhalt dieses Bildausschnitts S1 und ein weiterer Bildausschnitt S2 des zweiten Bilds F₂, der sich an derselben Position wie der erste Bildausschnitt S1 befindet und der dieselbe Größe besitzt, werden zu Zwecken von Blockvergleichen abgespeichert. Die Bildausschnitte S1, S2 sind beispielsweise so gewählt, dass der zu untersuchende Bildblock B1 zentral in den abzuspeichernden Bildausschnitten S1, S2 angeordnet ist. Die Größe dieser Bildausschnitte S1, S2 bestimmt den Schätzbereich, d. h. die maximale Länge von Bewegungsvektoren, die unter Verwendung dieser Bildausschnitte S1, S2 noch ermittelt werden können. Bewegungsvektoren, die auf Bildblöcke zeigen, die außerhalb dieses Schätzbereichs liegen, können bei dem bekannten Verfahren nicht getestet bzw. nicht ermittelt werden. Der Schätzbereich umfasst beispielsweise zwischen 40×150 und 80×250 Bildpunkten.
Um bei einer gegebenen Speichergröße eines zur Bewegungsschätzung verwendeten Zwischenspeichers, den Schätzbereich anpassen zu können, ist bei dem erfindungsgemäßen Verfahren vorgesehen, die Bewegungsschätzung und Interpolation auf eine herunterskalierte Bildfolge anzuwenden und den Skalierungsfaktor adaptiv an ein zuvor in der Bildfolge ermittelte Maß an Bewegung anzupassen. Momentane Bilder der herunterskalierten Bildfolge sind dabei gegenüber den Bildern der unskalierten Bildfolge umso kleiner, je schneller Bewegungen sind, die in vorangehenden Bildern der skalierten Bildfolge ermittelt wurden.
Ein Beispiel eines solchen Verfahrens und ein Beispiel einer Bildverarbeitungsanordnung zur Durchführung eines solchen Verfahrens wird nachfolgend anhand von 2 erläutert, in der ein Blockschaltbild einer Bildverarbeitungsanordnung dargestellt ist.
Die in 2 dargestellte Bildverarbeitungsanordnung umfasst eine Skalierungsanordnung mit einer ersten Skalierungseinheit 11, der eine Videobildfolge F – die nachfolgend auch als Eingangsbildfolge bezeichnet wird – mit zeitlich aufeinanderfolgenden Bildern zugeführt ist. Diese Bildfolge F ist beispielsweise eine Bildfolge mit Originalbildern F₁, F₂, wie sie anhand von 1 erläutert wurde.
Die erste Skalierungseinheit 11 erzeugt aus der Eingangsbildfolge F eine erste skalierte Bildfolge F11, wobei das Erzeugen der ersten skalierten Bildfolge F11 das Skalieren der Bilder der Eingangsbildfolge F mit einem ersten Eingangsskalierungsfaktor S11 umfasst. Der erste Eingangsskalierungsfaktor S11 wird in noch zu erläuternder Weise durch eine Auswerte- und Steuerschaltung 60 erzeugt. Der Eingangsskalierungsfaktor S11 ist kleiner oder gleich Eins (S11 ≤ 1), so dass die Bildgrößen der Bilder der ersten skalierten Bildfolge F11 kleiner oder gleich der Bildgröße der Bilder der unskalierten Eingangsbildfolge F sind. Die Eingangsbildfolge F ist beispielsweise eine sogenannte HD-Bildfolge. Die Bilder einer solchen Bildfolge umfassen jeweils 1920×080 Bildpunkte, umfassen also 1080 Zeilen und 1920 Spalten.
Der Eingangsskalierungsfaktor umfasst zwei Skalierungskomponenten: eine horizontale Skalierungskomponente S11_x, die die Skalierung der Bilder der Eingangsbildfolge F in Zeilenrichtung bzw. horizontaler Richtung bestimmt; und eine vertikale Skalierungskomponente S11_y, die die Skalierung der Bilder der Eingangsbildfolge F in Spaltenrichtung bzw. vertikaler Richtung bestimmt. Die horizontale und die vertikale Skalierungskomponente können gleich sein, wobei in diesem Fall eine symmetrische Skalierung der Bilder erfolgt. Die horizontale und die vertikale Skalierungskomponente S11_x, S11_y können jedoch auch unterschiedlich sein, wobei in diesem Fall eine unsymmetrische Skalierung der Bilder erfolgt.
Die erste Skalierungseinheit 11 kann eine beliebige herkömmliche Skalierungseinheit sein, die in der Lage ist, ein Videobild mit einem vorgegebenen Skalierungsfaktor zu skalieren. Die Skalierung, d. h. die Erzeugung eines Bildes der skalierten Bildfolgen F11 aus einem Bild der Eingangsbildfolge F, kann beispielsweise eine reine Unterabtastung des Eingangsbildes umfassen, kann jedoch auch eine Filterung beinhalten.
Die erste skalierte Bildfolge F11 ist einer Speicheranordnung mit einer ersten Speichereinheit 21 zugeführt, wobei die erste Speichereinheit 21 dazu ausgebildet ist wenigstens zwei aufeinanderfolgende Bilder. F11_n-1, F11_n der ersten skalierten Bildfolge F11 zu speichern.
Die Bildverarbeitungsanordnung umfasst außerdem eine Bewegungsschätz- und Interpolationseinheit 40, die auf die erste Speicheranordnung 21 zugreift und die dazu ausgebildet ist, aus der ersten skalierten Bildfolge F11 eine bewegungskompensierte skalierte Bildfolge F40 zu erzeugen. Diese bewegungskompensierte skalierte Bildfolge F40 kann Originalbilder und interpolierte Zwischenbilder umfassen, wie dies für eine unskalierte Bildfolge anhand von 1 erläutert wurde. ”Originalbilder” sind in diesem Zusammenhang Bilder der ersten skalierten Bildfolge F11, also Bilder, die nur durch Skalieren – und gegebenenfalls Filtern – aus Bildern der Eingang bildfolge F, wie z. B. den Bilder F₁, F₂ gemäß 1, entstanden sind. Die bewegungskompensierte skalierte Bildfolge kann allerdings auch so erzeugt werden, dass sie nur interpolierte Bilder umfasst. Letzteres ist beispielsweise dann der Fall, wenn aus der skalierten ersten Bildfolge F11 eine Bildfolge mit einer anderen Bewegungsphase erzeugt werden soll. Entsprechend kann eine Bildfrequenz der bewegungskompensierten skalierten Bildfolge F40 höher sein als eine Bildfrequenz der skalierten Bildfolge F11 oder kann der Bildfrequenz der skalierten Bildfolge F11 entsprechen.
Je nach gewünschter Bildfrequenz einer durch die Bildverarbeitungsvorrichtung erzeugten Ausgangsbildfolge F' kann die Bewegungsschätz- und Interpolationseinheit 40 dazu ausgebildet sein, zu jedem Originalbild eines oder mehrere Bilder zu erzeugen, wobei zu jedem Originalbild wenigstens ein Bild interpoliert wird, sei es als Ersatz des Originalbildes oder als Zwischenbild zwischen zwei Originalbildern. Die Bewegungsschätz- und Interpolationseinheit 40 funktioniert wie eine herkömmliche Bewegungsschätz- und Interpolationseinheit, die dazu ausgebildet ist, aus einer Eingangbildfolge eine bewegungskompensierte Bildfolge mit interpolierten Bildern zu erzeugen mit dem Unterschied, dass der Bewegungsschätz- und Interpolationseinheit 40 gemäß 2 Bilder einer herunterskalierten Bildfolge F11 zugeführt sind.
Die Bewegungsschätz- und Interpolationseinheit 40 umfasst eine Bewegungsschätzeinheit 41, einen Zwischenspeicher 42, einen Vektorspeicher 43 sowie eine Interpolationseinheit 44. Der Zwischenspeicher 42 dient zur Zwischenspeicherung von Bildausschnitten Sn – 1, Sn der wenigstens zwei in der Speicheranordnung 21 gespeicherten Bilder F₁, F_n der ersten skalierten Bildfolge F11. Die Bewegungsschätzeinheit 41 greift auf diesen Zwischenspeicher 42 zu, um ein Bewegungsvektorfeld anhand der wenigstens zwei in der ersten Speichereinheit 21 gespeicherten Bilder F_n-1, F_n zu erzeugen. Dieses Bewegungsvektorfeld bzw. die einzelnen Bewegungsvektoren dieses Bewe gungsvektorfeldes werden in dem Vektorspeicher abgespeichert. Die durch die Bewegungsschätzeinheit 41 durchgeführte Bewegungsschätzung und die damit verbundene Ermittlung der Bewegungsvektoren erfolgt beispielsweise anhand eines der im Zusammenhang mit 1 erläuterten Verfahren, mit dem Unterschied, dass die Bewegungsschätzung nicht auf die unskalierte Bildfolge F sondern die skalierte Bildfolge F11 angewendet wird.
Der Zwischenspeicher 42 ist beispielsweise so gewählt, dass Bildausschnitte abgespeichert werden können, die zwischen 40×150 und 80×250 Bildpunkten umfassen. Die in dem Zwischenspeicher 42 gespeicherten Bildausschnitte werden, durch andere Bildausschnitte aus der ersten Speichereinheit 21 ersetzt, wenn die bisher im Zwischenspeicher 42 gespeicherten Bildausschnitte ”abgearbeitet” sind. Dieses Verfahren wird solange fortgesetzt bis ein vollständiges Bewegungsvektorfeld zu den wenigstens zwei abgespeicherten Bildern ermittelt wurde. Die Größe der Blöcke, zu denen jeweils ein Bewegungsvektor ermittelt wird, wird insbesondere durch den Skalierungsfaktor S11 nicht beeinflusst. Je kleiner der Skalierungsfaktor ist, je kleiner also die Bilder der herunterskalierten Bildfolge F11 sind, umso geringer wird dabei die Anzahl der Bewegungsvektoren eines Bewegungsvektorfeldes.
Die Bewegungsvektoren eines Vektorfeldes sind beispielsweise Bildblöcken eines zu interpolierenden Zwischenbildes zugeordnet. Soll zwischen zwei Originalbildern mehr als ein Zwischenbild interpoliert werden, so erzeugt die Bewegungsschätzeinheit 41 eine der Anzahl der zu interpolierenden Zwischenbilder entsprechend der Anzahl von Bewegungsvektorfeldern aus den abgespeicherten Bildern F_n-1, F_n. In diesem Zusammenhang sei darauf hingewiesen, dass die Verwendung von zwei aufeinanderfolgenden Bildern F_n-1, F_n der skalierten Bildfolge F11 zur Ermittlung eines Bewegungsvektorfeldes lediglich als Beispiel anzusehen ist. Selbstverständlich besteht auch die Möglichkeit, mehr als zwei aufeinanderfolgende Bilder der skalierten Bildfolge F11 zur Ermittlung eines Bewegungsvektorfeldes zu verwenden. Solche Verfahren sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann.
Die Interpolationseinheit 44 erzeugt die bewegungskompensierte skalierte Bildfolge 40 unter Verwendung der in der Speichereinheit 21 abgespeicherten Bilder und dem Bewegungsvektorfeld, das in dem Vektorspeicher 43 abgespeichert ist bzw. den Vektorfeldern, die in der Speichereinheit 43 abgespeichert sind. Die Erzeugung der bewegungskompensierten skalierten Bildfolge F40 erfolgt beispielsweise derart, dass die Interpolationseinheit 44 die in der ersten Speichereinheit 21 abgespeicherten Originalbilder unverändert auf die bewegungskompensierte skalierte Bildfolge F40 abbildet und zwischen den Originalbildern ein Zwischenbild bzw. mehrere Zwischenbilder unter Verwendung des abgespeicherten Vektorfelds bzw. der abgespeicherten Vektorfelder interpoliert.
Die Bewegungsschätzung und Interpolation kann insbesondere in Echtzeit erfolgen, d. h. die Ermittlung des Bewegungsvektorfeldes zu den wenigstens zwei Bildern F11_n-1, F11_n der skalierten Bildfolge F11 und die Interpolation erfolgt innerhalb eines Zeitraumes der dem Kehrwert der Bildfrequenz der Eingangsbildfolge entspricht, also spätestens bis zu einem Zeitpunkt, zu dem eines der in der ersten Speichereinheit 21 gespeicherten Bilder durch ein nachfolgendes Bild F_n+1 (nicht dargestellt) ersetzt wird und die Bewegungsschätzung und Interpolation die Bilder F_n, F_n+1 erneut beginnt.
Der Vektorspeicher 43 kann dazu ausgebildet sein, außer dem zu den wenigstens zwei Bildern F11_n-1, F11_n ermittelten Bewegungsvektorfeld auch Testvektoren zu speichern, wie sie für eine rekursive Bewegungsschätzung verwendet werden. Entsprechend kann die Bewegungsschätzeinheit 41 dazu ausgebildet sein, eine solche rekursive Bewegungsschätzung zur Ermittlung des Bewegungsvektorfeldes durchzuführen.
Der Bewegungsschätz- und Interpolationseinheit 40 ist eine Ausgangsskalierungseinheit 50 nachgeschaltet, die dazu ausgebildet ist, die Bilder der bewegungskompensierten skalierten Bildfolge F40 zu skalieren, und zwar insbesondere derart zu skalieren, dass die durch die Eingangsskalierungseinheit 11 vorgenommene Herunterskalierung ”rückgängig” gemacht wird. Diese Ausgangsskalierungseinheit 50 kann eine herkömmliche Skalierungseinheit sein, die dazu ausgebildet ist, Bilder um einen vorgegebenen Skalierungsfaktor zu vergrößern. Diese Skalierung kann – wie auch die durch die Eingangsskalierungseinheit 11 durchgeführte Skalierung – eine Filterung umfassen.
Die Skalierung der bewegungskompensierten skalierten Bildfolge F40 durch die Ausgangsskalierungseinheit 50 erfolgt mit einem Skalierungsfaktor S20, dem Kehrwert des ersten Skalierungsfaktors S10 entspricht. Dieser Ausgangsskalierungsfaktor S20 kann entsprechend des Eingangsskalierungsfaktors zwei Skalierungskomponenten umfassen: Eine horizontale Skalierungskomponente S20_y, und eine vertikale Skalierungskomponente S20_x. Die horizontale Skalierungskomponente S20_y des Ausgangsskalierungsfaktors S20 ist hierbei insbesondere der Kehrwert der horizontalen Skalierungskomponente S10 des Eingangsskalierungsfaktors S10, und die vertikale Skalierungskomponente S20_x. des Ausgangsskalierungsfaktors S20 ist insbesondere der Kehrwert der vertikalen Skalierungskomponente S10_x, des Eingangsskalierungsfaktors S10.
Optional ist vorgesehen, die Ausgangsbildfolge F' mit Bildern der Eingangsbildfolge F zu mischen. Hierzu ist ein Mischer 70 vorgesehen, der der Ausgangsskalierungseinheit 50 nachgeschaltet ist und dem von einer weiteren Speicheranordnung 23 zwischengespeicherte Bilder der Eingangsbildfolge F zugeführt sind. Die Anzahl der in der weiteren Speicheranordnung 23 zwischengespeicherten Bilder der Eingangsbildfolge F entspricht beispielsweise der Anzahl der in der ersten Spei chereinheit 21 zwischengespeicherten Bilder der skalierten Bildfolge F11. Der Mischer 70 ist dazu ausgebildet, Bilder der Ausgangsbildfolge F' mit Bildern der Eingangsbildfolge F zu mischen. Sofern die Ausgangsbildfolge F' eine höhere Frequenz als die Eingangsbildfolge F besitzt, ist der Mischer 70 dazu ausgebildet, die Bilder der Eingangsbildfolge entsprechend zu vervielfachen, um so die Bildfrequenz der zugemischten Bilder der Eingangsbildfolge an die Bildfrequenz der Ausgangsbildfolge F' anzupassen.
Die Bildverarbeitungsanordnung umfasst außerdem eine Auswerte- und Steuereinheit 60, die die Skalierungsfaktoren S10, S20 abhängig von wenigstens einer Bewegungsinformation erzeugt, die durch ein Bewegungsvektorfeld repräsentiert ist. Die Einstellung momentaner Werte der Skalierungsfaktoren S10, S20 erfolgt dabei abhängig von Bewegungsinformationen, die anhand von Bewegungsvektorfeldern zu vorangehenden Bildern der skalierten Bildfolge F11 ermittelt wurden. Zur Ermittlung der Skalierungsfaktoren greift die Auswerte- und Steuereinheit 60 auf den Vektorspeicher 43 der Bewegungsschätz- und Interpolationseinheit 40 zu, in dem zu jedem Zeitpunkt mindestens ein Bewegungsvektorfeld abgespeichert ist. Dieses Bewegungsvektorfeld enthält eine Information über eine Bewegung in den wenigstens zwei Bildern F_n-1, F_n, die in der ersten Speichereinheit 21 abgespeichert sind. Jeder dieser Bewegungsvektoren ist einem Bildblock des Originalbildes oder einem Bildblock eines zu interpolierenden Zwischenbildes der Bildfolge F40 zugeordnet. I zuletzt genannten Fall enthält der Bewegungsvektor bezugnehmend auf 1 eine Information darüber, welche Bildblöcke aus den wenigstens zwei abgespeicherten Bildern F_n-1, F_n zur Interpolation des Bildinhaltes des Bildblocks des Zwischenbildes verwendet werden. Ein Bewegungsvektor v umfasst eine horizontale Bewegungsvektorkomponente v_y und eine vertikale Bewegungsvektorkomponente v_x sowie einen Betrag (Länge) der gegeben ist durch:
Je länger ein Bewegungsvektor eines einem Bildblocks eines Zwischenbildes ist, umso stärker ist die Bewegung eines durch den Bildblock dargestellten Objekts in der Bildfolge.
Die Bewegungsschätzung wird bei der dargestellten Bildverarbeitungsanordnung unter Verwendung von Bildausschnitten F_n-1, F_n der skalierten Bildfolge F11 durchgeführt. Im Vergleich zu einer Bewegungsschätzung, die basierend auf der unskalierten Eingangsbildfolge F durchgeführt würde, ist bei dieser Bildverarbeitungsanordnung der Schätzbereich in horizontaler Richtung um einen Faktor vergrößert, der dem Kehrwert der horizontalen Skalierungskomponente entspricht, und in vertikaler Richtung um einen Faktor vergrößert, der dem Kehrwert der vertikalen Skalierungskomponente entspricht. Dies wird anhand eines in 3 dargestellten Beispiels erläutert. 3 zeigt schematisch ein beliebiges Bild F_i der unskalierten Eingangsbildfolge F, das m×n Bildpunkte umfasst. Es sei an genommen, dass der Zwischenspeicher 42 der Bewegungsschätzund Interpolationseinheit 40 dazu ausgebildet ist, einen Bildausschnitt mit p1×q1 Bildpunkten zu speichern. Die Größe dieses Bildausschnitts entspricht dem Schätzbereich, den man bei einer unskalierten Bearbeitung der Eingangsbilder erhalten würde. Durch die Herunterskalierung der Eingangsbildfolge F auf die skalierten Bildfolge F11 sind in einem Bildausschnitt der Größe p1×q1 der skalierten Bildfolge Bildinformationen aus einem größeren Bildbereich der Eingangsbildfolge vorhanden, nämlich Bildinformationen aus einem Bildbereich der Größe p2×q2, wobei gilt:
1/S10y ist hierbei der Kehrwert der horizontalen Skalierungskomponente und 1/S10x ist hierbei der Kehrwert der vertikalen Skalierungskomponente.
Die in dem Vektorspeicher 43 abgespeicherten Bewegungsvektoren sind entsprechend des ersten Skalierungsfaktors S10 verkleinert. Eine in dem Vektorspeicher 43 abgespeicherter Vektor v0 = (v0_x, v0_y) entspricht in der unskalierten Bildfolge einem größeren Bewegungsvektor V0' mit:
Die Auswerte- und Steuereinheit 60 berücksichtigt diese Skalierung bei der Auswertung des Bewegungsvektorfeldes zur Ermittlung der Skalierungsfaktoren S10, S20. Die Auswerte- und Steuereinheit 60 ist beispielsweise dazu ausgebildet, die Bewegungsvektoren des abgespeicherten Bewegungsvektorfeldes, wie z. B. einen Vektor v0', entsprechend Gleichung (3) mit dem Kehrwert des Eingangsskalierungsfaktors S10 zu multiplizieren, um so ein normiertes Bewegungsvektorfeld zu erhalten. Für die nachfolgenden Erläuterungen sei angenommen, dass die Auswerte- und Steuereinheit 60 ein auf diese Weise normiertes Bewegungsvektorfeld zur Ermittlung der Skalierungsfaktoren S10, S20 erzeugt und auswertet.
Bei einem Beispiel ist vorgesehen, dass die Bewegungsinformation eines Vektorfeldes, die zur Erzeugung der Skalierungsfaktoren verwendet wird, ein Maximalwert der Beträge aller oder einiger Bewegungsvektoren eines Bewegungsvektorfeldes ist. Bei einem weiteren Beispiel ist vorgesehen, dass die Bewegungsinformation eines Bewegungsvektorfeldes, die zur Ermittlung der Skalierungsfaktoren S10, S20 verwendet wird, der Mittelwert der Beträge aller oder einiger Bewegungsvektoren des Bewegungsvektorfeldes ist. Bei einem Beispiel vorgesehen, nur den Maximalwert oder den Mittelwert der k längsten Bewegungsvektoren eines Bewegungsvektorfeldes zu ermitteln. k ist hierbei eine Zahl zwischen 2 und der Anzahl der Bewegungsvektoren eines Bewegungsvektorfeldes. k liegt beispielsweise zwischen 10% und 50% dieser Anzahl der Vektoren des Bewegungsvektorfeldes.
Die Bewegungsinformation bzw. der Bewegungsinformationswert, den die Auswerte- und Steuereinheit 60 zu jedem normierten Bewegungsvektorfeld erzeugt, kann entsprechend der Bewegungsvektoren eine horizontale Komponente und eine vertikale Komponente umfassen. Eine horizontale Komponente des Bewegungsinformationswertes wird beispielsweise dadurch gebildet, dass der Maximalwert der Beträge der horizontalen Vektorkomponenten aller oder einiger Bewegungsvektoren des normierten Bewegungsvektorsfeldes ermittelt wird, und die vertikale Komponente des Bewegungsinformationswertes wird beispielweise dadurch erhalten, dass der Maximalwert der Beträge der vertikaler Vektorkomponenten aller oder einiger Bewegungsvektoren des normierten Bewegungsvektorfeldes ermittelt wird. In entsprechender Weise kann ein horizontaler Bewegungsinformationswert bzw. ein vertikaler Bewegungsinformationswert auch dadurch erhalten werden, dass der Mittelwert der Beträge aller oder einiger horizontaler Bewegungsvektorkomponenten bzw. aller oder einiger vertikaler Bewegungsvektorkomponenten gebildet wird. Auch hierbei besteht die Möglichkeit, nicht alle Bewegungsvektoren des Bewegungsvektorfeldes zu berücksichtigen, sondern z. B. nur die k längsten Bewegungsvektoren des jeweiligen Bewegungsvektorfeldes.
Zur Ermittlung des ersten Skalierungsfaktors S10 abhängig von dem Bewegungsinformationswert gibt es verschiedene Möglichkeiten, die nachfolgend erläutert werden.
Bei einem Bespiel ist vorgesehen, nur eine feste Anzahl von Skalierungsfaktoren vorzusehen, von denen einer ausgewählt wird. Abhängig von dem ausgewerteten Bewegungsinformations wert können diese Skalierungsfaktoren symmetrische Skalierungsfaktoren sein, die eine Skalierung in horizontaler und vertikaler Richtung in gleicher Weise bewirken, oder unsymmetrische Skalierungsfaktoren sein, die eine Skalierung in horizontaler und in vertikaler Richtung mit unterschiedlichen Skalierungsfaktoren ermöglichen. Zur Ermittlung der Skalierungsfaktoren ist vorgesehen, jedem Skalierungsfaktor bzw. jeder Skalierungsfaktorkomponente ein Intervall von Bewegungsinformationswerten bzw. Komponenten von Bewegungsinformationswerten zuzuordnen und den Skalierungsfaktor bzw. die Skalierungsfaktorkomponente auszuwählen, in deren Intervall der zu einem Bewegungsvektorfeld ermittelte Bewegungsinformationswert bzw. die zu einem normierten Bewegungsvektorfeld ermittelte Komponente des Bewegungsinformationswertes fällt.
5 veranschaulicht ein Beispiel für eine solche Ermittlung des Eingangsskalierungsfaktors anhand einer Tabelle, die in der Auswerte- und Steuereinheit implementiert sein könnte. Die linke Spalte der Tabelle enthält die für den Skalierungsfaktor S10 einstellbaren Werte und die rechte Spalte enthält zu jedem möglichen Skalierungsfaktor ein Intervall von Bewegungsinformationswerten BI, für welches der jeweilige Skalierungswert ausgewählt wird. Bezugnehmend auf 5 wird beispielsweise der Skalierungsfaktor S10₂ ausgewählt, wenn der ermittelte Bewegungsinformationswert BI in einem Intervall [BI₁, BI₂[ liegt. In diesem Zusammenhang sei erwähnt, dass einer der auswählbaren Skalierungsfaktoren, wie z. B. der Skalierungsfaktor S10₁ der für die kleinsten Bewegungsinformationswerte ausgewählt wird, auch Eins sein kann. Beispiele für die Skalierungsfaktoren sind: S10₁ = 1; S10₂= 1/2; S10₃ = 1/3; S10₄ = 1/4; S10₅ = 1/5.
Die in 5 dargestellte Tabelle kann für Skalierungsfaktoren zur symmetrischen Skalierung genutzt werden, kann jedoch auch für die Ermittlung eines Skalierungsfaktors für eine unsymmetrische Skalierung genutzt werden. In dem zuletzt genannten Fall, ist die Tabelle auf jede der zwei Skalierungskomponenten separat anzuwenden.
Um eine häufige Änderung des Skalierungsfaktors zu vermeiden, ist bei einem Beispiel vorgesehen, jeweils eine Anzahl aufeinander folgender Bewegungsvektorfelder auszuwerten, beispielsweise zwischen 10 und 50 Bewegungsvektorfelder, und nach Auswertung dieser Bewegungsvektorfelder den Skalierungsfaktor einzustellen, der sich aufgrund der Mehrzahl der anhand der ausgewerteten Bewegungsvektorfelder ermittelten Bewegungsinformationswerte ergibt.
Eine Bewegungsschätzung ist bei der in 2 dargestellten Bildverarbeitungsanordnung nur zwischen Bildern der gleichen Bildgröße möglich. Nach einer Änderung des Skalierungsfaktors von einem Wert S11_k-1 auf einen Wert S11_k ist zwischen zwei Bildern der skalierten Bildfolge F11 eine Bewegungsschätzung nicht möglich, nämlich zwischen dem letzten Bild das mit dem Faktor S11_k-1 skaliert wurde und dem ersten Bild das mit dem Skalierungsfaktor S11_k skaliert wurde.
Um eine durchgehende Bewegungsschätzung, das heißt eine Bewegungsschätzung zwischen allen aufeinander folgenden Bildern zu ermöglichen, kann bezugnehmend auf 4 eine zweite Skalierungseinheit 12 sowie eine der zweiten Skalierungseinheit 12 nachgeschaltete zweite Speichereinheit 22 vorgesehen sein. Die zweite Skalierungseinheit 12 erzeugt aus der Eingangsbildfolge F eine zweite skalierte Bildfolge F12, die gegenüber der Eingangsbildfolge F um einen zweiten Skalierungsfaktor S12 skaliert ist. Die der zweiten Skalierungseinheit 12 nachgeschaltete zweite Speichereinheit 22 ist dazu ausgebildet, wenigstens zwei aufeinanderfolgende Bilder der zweiten skalierten Bildfolge F12 zu speichern. Im Übrigen gelten für die zweite Skalierungseinheit 12 sowie die zweite Speichereinheit 22 die zu der ersten Skalierungseinheit 11 bzw. der ersten Speichereinheit 21 im Zusammenhang mit in 2 gemachten Ausführungen entsprechend.
Zwischen die Speichereinheiten 21, 22 und die Bewegungsschätz- und Interpolationseinheit 40 ist eine Auswahleinheit 30 geschaltet, über die die Bewegungsschätz- und Interpolationseinheit 40 auf die in der ersten Speichereinheit 21 oder die in der zweiten Speichereinheit 22 abgespeicherten Bilder zur Bewegungsschätzung und Interpolation zugreift. Die Auswerte- und Steuereinheit 60 steuert hierbei, auf welche der beiden Speichereinheiten 21, 22 die Bewegungs- und Interpolationseinheit 40 bei dieser Anordnung zugreift. Die Auswerte- und Steuereinheit 60 ermittelt bei dieser Anordnung anhand der Bewegungsvektorfelder, die zu einer der skalierten Bildfolgen, d. h. F11 oder F12, ermittelt werden, einen Skalierungsfaktor für die andere der skalierten Bildfolgen und schaltet die Auswahlschaltung 30 dann um, wenn nach einer Anderung des anderen Skalierungsfaktors mindestens zwei skalierte Bilder in der jeweils anderen Speichereinheit 22 abgespeichert sind.
Das erläuterte Verfahren lässt sich auf einfache Weise mit herkömmlichen Bildverarbeitungsanordnungen durchführen, die eine Bewegungsschätzung durchführen. Solchen Bildverarbeitungsanordnungen ist lediglich ein erster Skalierer entsprechend dem ersten Skalierer 11 in 2, vorzuschalten, und ein zweiter Skalierer entsprechend dem Skalierer 50 in 2, nachzuschalten. Darüber hinaus ist eine Auswerte- und Steuerschaltung 60 Skalierungsfaktorschaltung vorzusehen, die die Skalierungsfaktoren für die Skalierer abhängig von Informationen in Bewegungsvektorfeldern erzeugt.

Claims

Verfahren zur Verarbeitung einer Videobildfolge mit einer Anzahl aufeinanderfolgender Bilder, das aufweist: Erzeugen wenigstens einer skalierten Bildfolge (F11, F12) aus der Videobildfolge (F), das die Skalierung der Bilder der Videobildfolge (F) mit wenigstens einem Eingangsskalierungsfaktor (S11, S12) umfasst; Erzeugen einer bewegungskompensierten skalierten Bildfolge (F40) aus der skalierten Bildfolge (F50); Erzeugen einer bewegungskompensierten Ausgangsbildfolge (F') aus der bewegungskompensierten skalierten Bildfolge (F40), das die Skalierung der bewegungskompensierten skalierten Bildfolge mit einem Ausgangsskalierungsfaktor umfasst, wobei die Erzeugung der bewegungskompensierten skalierten Bildfolge (F40) die Ermittlung eines Bewegungsvektorfeldes anhand von wenigstens zwei Bildern (F11_n-1; F11_n) der skalierten Bildfolge (F11, F12) und die Interpolation eines Bildes unter Verwendung der wenigstens zwei Bilder und des Bewegungsvektorfeldes umfasst, und wobei der wenigstens eine Eingangsskalierungsfaktor (S11, s12) abhängig ist von einer Bewegungsinformation, die durch wenigstens ein Bewegungsvektorfeld repräsentiert ist, das für zeitlich vorangehende Bilder der wenigstens einen skalierten Bildfolge (F11, F12) ermittelt wurde.
Verfahren nach Anspruch 1, bei dem der Ausgangsskalierungsfaktor so gewählt ist, dass eine Bildgröße der Bilder der bewegungskompensierten Ausgangsbildfolge (F') einer Bildgröße der Bilder der Eingangsbildfolge (F) entspricht.
Verfahren nach Anspruch 1 oder 2, bei dem der Eingangsskalierungsfaktor eine horizontale Skalierungskomponente für eine Skalierung in einer horizontalen Richtung eines Bildes und eine vertikale Skalierungskomponente für eine Skalierung in einer vertikalen Richtung eines Bildes umfasst.
Verfahren nach Anspruch 3, bei dem die horizontale und die vertikale Skalierungskomponente unterschiedlich sind.
Verfahren nach Anspruch 3 oder 4, bei dem die horizontale und die vertikale Skalierungskomponente des Eingangsskalierungsfaktors jeweils zwischen 1 und 0,2 liegen.
Verfahren nach einem der vorangehenden Ansprüche, bei dem die Bewegungsinformation der Betrag eines längsten Bewegungsvektors des Bewegungsvektorfeldes ist.
Verfahren nach einem der vorangehenden Ansprüche, bei dem die Bewegungsinformation der Mittelwert der Beträge der Bewegungsvektoren einzelner oder aller Bewegungsvektoren des Bewegungsvektorfeldes ist.
Verfahren nach Anspruch 1, das weiterhin aufweist: Erzeugen einer ersten skalierten Bildfolge (F11) aus der Eingangsbildfolge (F) durch Skalieren der Bilder der Eingangsbildfolge mit einem ersten Eingangsskalierungsfaktor; Erzeugen einer zweiten skalierten Bildfolge (F12) aus der Eingangsbildfolge (F), das das Skalieren der Bilder der Eingangsbildfolge mit einem zweiten Eingangsskalierungsfaktor, der kleiner als der erste Eingangsskalierungsfaktor ist, umfasst; wobei die bewegungskompensierte Bildfolge (F40) aus der ersten skalierten Bildfolge (F11) erzeugt wird oder aus der zweiten skalierten Bildfolge erzeugt wird.
Verfahren nach Anspruch 8, das weiterhin umfasst: Erzeugen der bewegungskompensierten Bildfolge (F30) aus der ersten skalierten Bildfolge (F11) und Bereitstellen einer ersten Bewegungsinformation; Ermitteln des zweiten Eingangsskalierungsfaktors (S12) aus der ersten Bewegungsinformation; Erzeugen der zweiten skalierten Bildfolge aus der Eingangsbildfolge unter Verwendung des zweiten Eingangsskalierungsfaktors; und anschließend Erzeugen der bewegungskompensierten skalierten Bildfolge aus der zweiten skalierten Bildfolge.
Verfahren nach Anspruch 9, bei dem die Ausgangsbildfolge mit der Eingangsbildfolge gemischt wird.
Vorrichtung zur Verarbeitung einer Eingangsbildfolge (F), wobei die Vorrichtung aufweist: eine Eingangsskalierungseinheit (10; 11, 12), der die Eingangsbildfolge zugeführt ist und die dazu ausgebildet ist, wenigstens eine skalierte Bildfolge (F11, F12) aus der Videobildfolge (F) zu erzeugen, wobei das Erzeugen der Bilder der wenigstens einen skalierten Bildfolge (F11, F12) die Skalierung der Bilder der Videobildfolge (F) mit wenigstens einem Eingangsskalierungsfaktor (S11, S12) umfasst; eine Speicheranordnung (20; 21, 22), die dazu ausgebildet ist, wenigstens zwei aufeinanderfolgende Bilder der skalierten Bildfolge (F10; F11, F12) zu speichern; eine Bewegungsschätz- und Interpolationseinheit (30), die auf die Speichereinheit (20; 21, 22) zugreift, die dazu ausgebil det ist, ein Bewegungsvektorfeld zu den wenigstens zwei in der Speichereinheit (20; 21, 22) gespeicherten Bildern zu ermitteln, und eine bewegungskompensierte skalierte Bildfolge (F40) derart zu erzeugen, dass sie Bilder aufweist, die abhängig sind von den wenigstens zwei in der Speichereinheit (20; 21, 22) gespeicherten Bildern und dem Bewegungsvektorfeld; eine Ausgangsskalierungseinheit, der die bewegungskompensierte skalierte Bildfolge zugeführt ist und die dazu ausgebildet ist, Bilder der bewegungskompensierten skalierten Bildfolge mit einem Ausgangsskalierungsfaktor zu skalieren und eine Ausgangsbildfolge zu erzeugen; eine Auswerte- und Steuereinheit (60), die dazu ausgebildet ist, eine Bewegungsinformation aus dem Bewegungsvektorfeld zu ermitteln und den Eingangsskalierungsfaktor und den Ausgangsskalierungsfaktor abhängig von einer Bewegungsinformation zu erzeugen, die durch wenigstens ein Bewegungsvektorfeld für zeitlich vorangehende Bilder repräsentiert ist.
Vorrichtung nach Anspruch 11, bei der die Auswerte- und Steuereinheit (60) dazu ausgebildet ist, den Ausgangsskalierungsfaktor so zu erzeugen, dass eine Bildgröße der Bilder der bewegungskompensierten Ausgangsbildfolge einer Bildgröße der Bilder der Eingangsbildfolge entspricht.
Vorrichtung nach Anspruch 11 oder 12, bei der die Auswerte- und Steuereinheit (60) dazu ausgebildet ist den Eingangsskalierungsfaktor so zu erzeugen, dass er eine horizontale Skalierungskomponente für eine Skalierung in einer horizontalen Richtung eines Bildes und eine vertikale Skalierungskomponente für eine Skalierung in einer vertikalen Richtung eines Bildes umfasst.
Vorrichtung nach Anspruch 13, bei der die Auswerte- und Steuereinheit (60) dazu ausgebildet ist, die horizontale und die vertikale Skalierungskomponente unterschiedlich zu erzeugen.
Vorrichtung nach Anspruch 13 oder 14, bei der die Auswerte- und Steuereinheit (60) dazu ausgebildet die horizontale und die vertikale Skalierungskomponente des Eingangsskalierungsfaktors abhängig von der Bewegungsinformation jeweils so zu erzeugen, dass sie zwischen 1 und 0,2 liegen.
Vorrichtung nach einem der Ansprüche 11 bis 15, bei dem die Auswerte- und Steuereinheit (60) dazu ausgebildet ist, den Eingangsskalierungsfaktor abhängig von dem Betrag eines längsten Bewegungsvektors des Bewegungsvektorfeldes zu erzeugen.
Vorrichtung nach einem der Ansprüche 11 bis 15, bei dem die Auswerte- und Steuereinheit (60) dazu ausgebildet ist, den Eingangsskalierungsfaktor abhängig von einem Mittelwert der Bewegungsvektoren des Bewegungsvektorfeldes zu erzeugen.
Vorrichtung nach einem der Ansprüche 11 bis 17, bei der die Eingangsskalierungseinheit aufweist: eine erste Skalierungseinheit (21), die dazu ausgebildet ist, eine erste skalierte Bildfolge (F11) aus der Eingangsbildfolge (F) durch Skalieren der Bilder der Eingangsbildfolge mit einem ersten Eingangsskalierungsfaktor zu erzeugen; eine zweite Skalierungseinheit (22), die dazu ausgebildet ist, eine zweite skalierte Bildfolge (F12) aus der Eingangsbildfolge (F) durch Skalieren der Bilder der Eingangsbildfolge mit einem zweiten Eingangsskalierungsfaktor zu erzeugen; bei der die Speicheranordnung aufweist: eine erste Speichereinheit (21), die dazu ausgebildet ist, wenigstens zwei aufeinanderfolgende Bilder der ersten skalierten Bildfolge (F11) zu speichern; eine zweite Speichereinheit (21), die dazu ausgebildet ist, wenigstens zwei aufeinanderfolgende Bilder der zweiten skalierten Bildfolge (F11) zu speichern; und die weiterhin aufweist: eine Umschalteinheit (30), die zwischen die Speicheranordnung (30) und die Bewegungsschätz- und Interpolationseinheit (40) geschaltet ist und die dazu ausgebildet ist, der Bewegungsschätz- und Interpolationseinheit (40) Zugriff auf eine der ersten und zweiten Speichereinheiten zu ermöglichen.