DE102008034495A1

DE102008034495A1 - Verfahren und Vorrichtung zur Erhöhung der Bildfrequenz einer Bildfolge

Info

Publication number: DE102008034495A1
Application number: DE200810034495
Authority: DE
Inventors: Markus Schu; Marko Hahn
Original assignee: Trident Microsystems Far East Ltd Cayman Islands
Current assignee: Entropic Communications LLC
Priority date: 2008-07-24
Filing date: 2008-07-24
Publication date: 2010-01-28
Anticipated expiration: 2028-07-25
Also published as: DE102008034495B4

Abstract

Beschrieben wird ein Verfahren zur Verarbeitung eines Eingangsvideosignals (Sin), das eine Eingangsbildfolge mit einer Eingangsbildfrequenz repräsentiert, bei dem ein Ausgangsvideosignal (Sout) erzeugt wird, das eine Ausgangsbildfolge mit einer gegenüber der Eingangsbildfrequenz höheren Ausgangsbildfrequenz repräsentiert, wobei das Erzeugen jedes Bildes der Ausgangsbildfolge die Verfahrensschritte aufweist: - Bereitstellen eines ersten Teilbildes (F1), das matrixartig angeordnete Bildpunkte aufweist, denen jeweils wenigstens ein Bildpunktwert zugeordnet ist, durch bewegungskompensierte Interpolation aus wenigstens zwei aufeinanderfolgenden Bildern der Eingangsbildfolge; - Bereitstellen wenigstens eines zweiten Teilbildes (F2), das matrixartig angeordnete Bildpunkte aufweist, denen jeweils wenigstens ein Bildpunktwert zugeordnet ist, durch bewegungskompensierte Interpolation aus wenigstens zwei aufeinanderfolgenden Bildern der Eingangsbildfolge, wobei das erste und das wenigstens eine zweite Teilbild (F1, F2) jeweils größer sind als das 1/i-fache des Bildes der Ausgangsbildfolge, wobei i die Anzahl der Teilbilder ist, so dass ein Überlappungsbereich vorhanden ist, der Bildpunkte aufweist, die in dem ersten und in dem wenigstens einen zweiten Teilbild vorhanden sind; -Erzeugen des Ausgangsbildes aus dem ersten und dem wenigstens einen zweiten Teilbild. Beschrieben wird außerdem eine Vorrichtung zur Durchführung eines solchen Verfahrens.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Videosignalverarbeitungsvorrichtung zur Erhöhung der Bildfrequenz einer Bildfolge, die durch ein Videosignal repräsentiert ist.
In der Videosignalverarbeitung ist es bekannt, aus einem ersten Videosignal, das eine Bildfolge mit einer ersten Frequenz repräsentiert, ein bewegungskompensiertes zweites Videosignal zu erzeugen, das eine zweite Bildfolge mit einer gegenüber der ersten Bildfrequenz höheren zweiten Bildfrequenz repräsentiert. Die zweite Bildfolge enthält hierbei Zwischenbilder, die durch bewegungsrichtige Interpolation von zeitlich benachbarten Bildern der ersten Bildfolge gebildet sind. Unter einer bewegungsrichtigen Interpolation ist hierbei zu verstehen, dass die Interpolation derart erfolgt, dass ein sich bewegendes Objekt, das sich in einem ersten Bild der ersten Bildfolge an einer ersten Position und in einem zweiten Bild der ersten Bildfolge an einer zweiten Position befindet, in dem Zwischenbild an einer Position angeordnet ist, die räumlich zwischen der ersten und zweiten Position liegt und deren räumlicher Abstand zu der ersten und zweiten Position dem zeitlichen Abstand des Zwischenbildes zu dem ersten und zweiten Bild entspricht.
Die durch das zweite Videosignal repräsentierte Bildfolge kann dann auf einem Bildschirm, wie z. B. einem Flüssigkristallbildschirm (LCD), dargestellt werden. Durch eine solche Erhöhung der Bildfrequenz kann bei sich bewegenden Objekten der subjektive Eindruck vermieden werden, dass das Objekt ”ruckelt” oder dass das Bild im Bereich des sich bewegenden Objekts verschwommen ist, was auch als ”Motion Blur” bezeichnet wird.
Das erste Videosignal kann ein Videosignal sein, das eine Bildfolge mit hochauflösenden (High Definition, HD) Bildern repräsentiert, die jeweils 1920 × 1080 Bildpunkte (Pixel) aufweisen, die mit einer Frequenz von 60 Hz vorliegen. Quellen, die solche Videosignale liefern, sind beispielsweise Blue-Ray-Disks oder Festplattenrekorder, z. B. für das Format DivX. Im Sinne einer möglichst guten Darstellung sich bewegender Objekte ist hingegen eine Bildfrequenz von 120 Hz oder gar 240 Hz wünschenswert.
Integrierte Videosignalverarbeitungsschaltungen sind bekannt, die aus einem Videosignal, das eine Folge von Bildern mit 60 Hz repräsentiert, ein bewegungskompensiertes Videosignal erzeugt, das eine Folge von Bildern mit 120 Hz repräsentiert. Eine solcher Signalverarbeitungsschaltung ist beispielsweise beschrieben in Schu et al.: "Frame Rate Conversion IC for Full HD 120 Hz LCD Flat Panel Displays", IMID '07 Digest, Seiten 1089–1092.
Eine kritische Größe, die die Verlustleistung und die damit die abzuführende Wärme aus der integrierten Schaltung bestimmt, ist der sogenannte Pixeltakt. Das ist der Takt, mit dem die Bildpunktwerte einzelner Bildpunkte (Pixel) durch die Signalverarbeitungsschaltung verarbeitet werden. Betrachtet sei beispielsweise eine HD-Bildfolge mit Bildern von 1920 × 1080 Pixeln. Außer den sichtbaren Pixeln sind weitere Pixel zu Synchronisationszwecken zu verarbeiten, was bei einem HD-Bild bedeutet, dass etwa 2200 × 1125 Pixel zu verarbeiten sind. Bei einer Bildfrequenz von 60 Hz bedeutet dies einen Pixeltakt von 148,5 MHz und bei einer Bildfrequenz von 120 Hz einen Pixeltakt von 297 MHz. Steigt der Pixeltakt – und damit die abzuführende Verlustwärme – weiter an, so reicht eine einfache Luftkühlung nicht mehr aus und es sind spezielle Kühlmaßnahmen zu treffen, wie z. B. das Vorsehen spezieller Kühlelemente und/oder eines Lüfters. Solche Maßnahmen sind allerdings aufwändig, und damit teuer.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Erhöhung der Bildfrequenz einer durch ein Videosignal repräsentierten Bildfolge zur Verfügung zu stellen, das einfach und kostengünstig realisierbar ist, und eine Videosignalverarbeitungsvorrichtung, zur Verfügung zu stellen.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 und durch eine Videosignalverarbeitungsvorrichtung nach Anspruch 9 gelöst. Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen.
Bei dem Verfahren zur Verarbeitung eines Eingangsvideosignals, das eine Eingangsbildfolge mit einer Eingangsbildfrequenz repräsentiert, wird ein Ausgangsvideosignal erzeugt, das eine Ausgangsbildfolge mit einer gegenüber der Eingangsbildfrequenz höheren Ausgangsbildfrequenz repräsentiert. Das Erzeugen jedes Bildes der Ausgangsbildfolge umfasst dabei: Bereitstellen eines ersten Teilbildes, das matrixartig angeordnete Bildpunkte aufweist, denen jeweils wenigstens ein Bildpunktwert zugeordnet ist, durch bewegungskompensierte Interpolation aus wenigstens zwei aufeinanderfolgenden Bilder der Eingangsbildfolge; und Bereitstellen wenigstens eines zweiten Teilbildes, das matrixartig angeordnete Bildpunkte aufweist, denen jeweils wenigstens ein Bildpunktwert zugeordnet ist, durch bewegungskompensierte Interpolation aus wenigstens zwei aufeinanderfolgenden Bilder der Eingangsbildfolge, wobei das erste und das wenigstens eine zweite Teilbild jeweils größer sind als das 1/i-fache des Bildes der Ausgangsbildfolge, wobei i die Anzahl der Teilbilder ist, so dass ein Überlappungsbereich vorhanden ist, der Bildpunkte aufweist, die in dem ersten und in dem wenigstens einen zweiten Teilbild vorhanden sind. Aus dem ersten und dem wenigstens einen zweiten Teilbild wird bei diesem Verfahren das Ausgangsbild erzeugt.
Signalverarbeitungen zur Erzeugung der Folge von Teilbildern und der zweiten Folge von Teilbildern können bei diesem Ver fahren mit einem Pixeltakt erfolgen, der geringer ist als ein Pixeltakt, der erforderlich wäre, um das Ausgangsvideosignal unmittelbar aus dem Eingangsvideosignal zu erzeugen. Dieser geringere Pixeltakt ist deshalb möglich, weil mit der ersten Folge von Teilbildern und der zweiten Folge von Teilbildern parallel zueinander zwei bewegungskompensierte Teilbildfolgen erzeugt werden, die erst anschließend zu der Ausgangsbildfolge zusammengeführt werden.
Beträgt die Eingangsbildfrequenz beispielsweise 60 Hz und die Ausgangsbildfrequenz beispielsweise 240 Hz, besitzen die Eingangsbilder beispielsweise 1920 × 1080 Bildpunkte (Pixel) und beträgt die Bildgröße eines Teilbildes beispielsweise zwischen dem 0,55-fachen und dem 0,75-fachen eines Eingangsbildes, so liegt der Pixeltakt, der für die Erzeugung der Teilbildfolgen erforderlich ist, in etwa zwischen dem 0,55-fachen und dem 0,75-fachen des Pixeltaktes, der erforderlich wäre, wenn unmittelbar eine Ausgangsbildfolge mit vollständigen Bildern und einer Bildfrequenz von 240 Hz erzeugt würde. Für das genannte Beispiel beträgt dieser Pixeltakt zwischen dem 2,2-fachen und 3-fachen des eingangs genannten Pixeltakts von 148,5 MHz, im Gegensatz zum 4-fachen dieses Pixeltakts von 148,5 MHz, der sonst erforderlich wäre.
Zur Erzeugung der Folgen mit den ersten und zweiten Teilbildern können herkömmliche Signalverarbeitungsschaltungen verwendet werden, die in der Lage sind, aus einem ersten Videosignal ein bewegungskompensiertes zweites Videosignal mit höherer Bildfrequenz zu erzeugen. Solche Signalverarbeitungsschaltungen sind beispielsweise in Schu et al., a. a. O. beschrieben. Zur Durchführung des erläuterten Verfahrens werden wenigstens zwei solcher Signalverarbeitungsschaltungen parallel geschaltet.
Der Schaltungsaufwand, der erforderlich ist, um parallel zwei Teilbildfolgen mit der Ausgangsbildfrequenz zu erzeugen, ist höher als der Schaltungsaufwand der erforderlich wäre, um die Ausgangsbildfolge durch bewegungskompensierte Interpolation unmittelbar aus der Eingangsbildfolge zu erzeugen. Dieser zusätzliche Schaltungsaufwand – und der zusätzliche Aufwand für das Zusammenfügen der Teilbildfolgen – ist hinsichtlich der Kosten allerdings günstiger, als zusätzliche Kühlmaßnahmen, die dann notwendig wären, wenn eine Interpolationsanordnung verwendet würde, die das Ausgangsvideosignal unmittelbar aus dem Eingangsvideosignal erzeugt und die mit einem höheren Pixeltakt betrieben werden müsste.
Ein Beispiel einer Vorrichtung zur Videosignalverarbeitung umfasst: einen Eingang zur Zuführung eines Eingangsvideosignals, das eine Eingangsbildfolge mit einer Eingangsbildfrequenz repräsentiert, und einen Ausgang zur Bereitstellung eines Ausgangsvideosignals, das eine Ausgangsbildfolge mit einer Ausgangsbildfrequenz repräsentiert, die höher als die Eingangsbildfrequenz ist; eine Interpolationsanordnung, die dazu ausgebildet ist ein bewegungskompensiertes erstes Videosignal aus dem Eingangsvideosignal zu erzeugen, das eine Folge von ersten Teilbildern mit der Ausgangsbildfrequenz repräsentiert, und die dazu ausgebildet ist wenigstens ein bewegungskompensiertes zweites Videosignal aus dem Eingangsvideosignal zu erzeugen, das eine Folge von zweiten Teilbildern mit der Ausgangsbildfrequenz repräsentiert, wobei das erste und das wenigstens eine zweite Teilbild jeweils größer sind als das 1/i-fache eines Bildes der Ausgangsbildfolge, wobei i die Anzahl der Teilbilder ist, so dass ein Überlappungsbereich zwischen den ersten und zweiten Teilbildern vorhanden ist; eine Multiplexeranordnung, der das erste und das wenigstens eine zweite Videosignal zugeführt sind, die das Ausgangsvideosignal bereitstellt und die dazu ausgebildet ist, ein Bild der Ausgangsbildfolge aus einem ersten Teilbild und einem dem ersten Teilbild zugeordneten wenigstens einen zweiten Teilbild zu erzeugen.
Beispiele einer Videosignalverarbeitungsvorrichtung und eines Videosignalverarbeitungsverfahrens werden nachfolgend anhand von Figuren näher erläutert. Die Figuren dienen dabei zu Veranschaulichung des Grundprinzips, wobei in den Figuren nur die zum Verständnis dieses Grundprinzips notwendigen Merkmale dargestellt sind. In den Figuren bezeichnen gleiche Bezugszeichen gleiche Teile und Verfahrensschritte mit gleicher Bedeutung.
1 veranschaulicht anhand eines Blockschaltbilds eine Videosignalverarbeitungsvorrichtung zur Erzeugung eines Ausgangsvideosignals aus einem Eingangsvideosignal.
2 veranschaulicht die Erzeugung erster und zweiter Teilbildfolgen aus einer Eingangsbildfolge.
3 veranschaulicht ein erstes Beispiel für eine Unterteilung eines Ausgangsbildes in Bildbereiche, die aus einem ersten und einem zweiten Teilbild resultieren.
4 veranschaulicht ein zweites Beispiel für eine Unterteilung eines Ausgangsbildes in Bildbereiche, die aus einem ersten und einem zweiten Teilbild resultieren.
5 zeigt ein erstes Beispiel für eine Unterteilung des Ausgangsbildes in Bildbereiche, die aus drei Teilbildern resultieren.
6 zeigt ein zweites Beispiel für eine Unterteilung des Ausgangsbildes in Bildbereiche, die aus drei Teilbildern resultieren.
7 veranschaulicht die Erzeugung von Bildpunktwerten, die Bildpunkten zugeordnet sind, die sich in einem Überlappungsbereich zwischen zwei Teilbildern befinden.
8 veranschaulicht ein Beispiel einer Interpolationsanordnung, die zwei Interpolationseinheiten aufweist.
9 veranschaulicht ein Beispiel einer Interpolationseinheit.
10 zeigt ein erstes Beispiel einer Multiplexeranordnung.
11 zeigt ein zweites Beispiel einer Multiplexeranordndung.
12 veranschaulicht eine Videobildfolge anhand eines zeitlichen Verlaufs der Bewegungsphasen einzelner Bilder (7A) und eine durch Interpolation aus einer solchen Bildfolge erhaltene Zwischenbildfolge (7B).
13 veranschaulicht eine 22-Pulldown-Bildfolge anhand eines zeitlichen Verlaufs der Bewegungsphasen einzelner Bilder (8A) und eine durch Interpolation aus einer solchen Bildfolge erhaltene Zwischenbildfolge (8B).
14 veranschaulicht eine 32-Pulldown-Bildfolge anhand eines zeitlichen Verlaufs der Bewegungsphasen einzelner Bilder (9A) und eine durch Interpolation aus einer solchen Bildfolge erhaltene Zwischenbildfolge (9B).
15 veranschaulicht ein weiteres Beispiel einer Interpolationsanordnung.
1 zeigt ein Blockschaltbild einer Videosignalverarbeitungsvorrichtung, die einen Eingang zur Zuführung eines Ein gangsvideosignals S_in und einen Ausgang zur Bereitstellung eines Ausgangsvideosignals S_out aufweist. Das Eingangsvideosignal S_in repräsentiert eine Eingangsbildfolge mit einer Eingangsbildfrequenz f_in, und das Ausgangsvideosignal S_out repräsentiert eine Ausgangsbildfolge mit einer gegenüber der Eingangsbildfrequenz f_in höheren Ausgangsbildfrequenz f_out. Die Eingangsbildfrequenz f_in liegt beispielsweise zwischen 50 Hz und 60 Hz. Die Ausgangsbildfrequenz f_out beträgt beispielsweise das 4-fache der Eingangsbildfrequenz f_in und liegt für das genannte Beispiel im Bereich zwischen 200 Hz und 240 Hz. Es sei darauf hingewiesen, dass die angegebenen Frequenzwerte für die Eingangsfrequenz und das Verhältnis von Eingangs- zu Ausgangsfrequenz lediglich als Beispiel anzusehen sind.
Die Videosignalverarbeitungsvorrichtung weist eine Interpolationsanordnung 1 auf, der das Eingangsvideosignal S_in zugeführt ist und die dazu ausgebildet ist, wenigstens zwei bewegungskompensierte Videosignale S1, S2 zu erzeugen: Ein erstes bewegungskompensiertes Videosignal S1, das eine Folge von ersten Teilbildern mit der Ausgangsbildfrequenz f_out repräsentiert; und ein zweites bewegungskompensiertes Videosignal S2, das eine Folge von zweiten Teilbildern mit der Ausgangsbildfrequenz f_out repräsentiert.
Die Funktionsweise der Interpolationsanordnung 1 bzw. ein Verfahren zur Erzeugung der ersten und zweiten Videosignale S1, S2 aus den Eingangsvideosignal S_in wird nachfolgend anhand der 2A bis 2C erläutert. In diesen Figuren sind schematisch zeitliche Verläufe der durch das Eingangsvideosignal S_in repräsentierten Eingangsbildfolge F, der durch das erste Videosignal S1 repräsentierten ersten Teilbildfolge F1 und der durch das zweite Videosignal S2 repräsentierten zweiten Teilbildfolge F2 dargestellt. Mit F(.) werden nachfolgend Bilder der Eingangsbildfolge bezeichnet. F1(.) und F2(.) bezeichnen nachfolgend Bilder der ersten und zweiten Bildfolgen.
2A zeigt schematisch einen zeitlichen Ausschnitt der Eingangsbildfolge F, in dem zwei zeitlich aufeinander folgende Bilder vorhanden sind: Ein erstes Eingangsbild F(k – 1) und ein zweites Eingangsbild F(k). Diese Bilder der Eingangsbildfolge F werden nachfolgend auch als Originalbilder bezeichnet. t0 – T und t0 bezeichnen in 2A Zeitpunkte, zu denen diese Bilder F(k – 1), F(k) vorliegen, wobei T allgemein den zeitlichen Abstand zwischen zwei aufeinanderfolgenden Bildern der Eingangsbildfolge F bezeichnet. Dieser zeitliche Abstand T entspricht dem Kehrwert der Eingangsbildfrequenz f_in so dass gilt: T = 1/f_in. k bezeichnet in 1 eine diskrete Zeitvariable.
Jedes der Bilder der Eingangsbildfolge F umfasst eine Anzahl matrixartig angeordneter Bildpunkte, denen jeweils wenigstens ein Bildpunktwert zugeordnet ist. Bei einem Farbbild sind jedem Bildpunkt drei solche Bildwerte zugeordnet, nämlich beispielsweise jeweils ein Helligkeitswert für eine der drei Grundfarben Rot (R), Grün (G) und Blau (B), wenn das Eingangsvideosignal ein RGB-Signal ist. Ist das Eingangsvideosignal S_in ein YUV-Signal, so sind jedem Bildpunkt ein Helligkeitswert (Y-Wert) und zwei Chrominanzwerte (U- und V-Wert) zugeordnet. Diese einzelnen Bildpunktwerte sind beispielsweise zeitlich aufeinanderfolgend (seriell) in dem Eingangsvideosignal S_in enthalten, wobei mehrere Bildpunktwerte, die einem Bildpunkt zugeordnet sind, auch (zeitlich) parallel übertragen werden können. Für die nachfolgende Erläuterung sei angenommen, dass die Zeitpunkte t0 – T und t0 gemäß 2A solche Zeitpunkte bezeichnen, zu denen die Übertragung der Bildpunktwerte für das jeweilige Bild der Eingangsbildfolge F abgeschlossen ist.
Die Bilder der durch das Eingangsvideosignal S_in repräsentierten Bildfolge F liegen beispielsweise mit einer Eingangsbildfrequenz f_in von 50 Hz oder 60 Hz vor. Jedes durch das Eingangsvideosignal S_in repräsentierte Bild ist beispielsweise ein HD-Bild (HD = High Definition) und umfasst eine Bild- Punktmatrix mit 1920 × 180 Bildpunkten (Pixeln). Bei Bildsequenzen mit bewegtem Inhalt kann eine Bildfrequenz von lediglich 50 Hz oder 60 Hz jedoch zu einem verschwommen wahrgenommenen Bild im Bereich des sich bewegenden Objekts (Motion Blur) führen, wenn die Eingangsbildfolge auf einer Anzeigevorrichtung dargestellt würde. Noch ungünstiger ist die Situation dann, wenn die Eingangsbildfolge eine Kinofilmsequenz ist, die lediglich 24 oder 30 unterschiedliche Bewegungsphasen pro Sekunde enthält und die mehrmals aufeinanderfolgend wiedergegeben werden, um eine Bildfrequenz von beispielsweise 50 Hz oder 60 Hz zu erreichen. In diesem Fall kommt zu der Bewegungsunschärfe noch ein Bildruckeln hinzu.
Zur Vermeidung solcher unerwünschter Effekte ist es grundsätzlich bekannt, aus einem Videosignal, das eine Bildfolge mit einer ersten Bildfrequenz repräsentiert, ein bewegungskompensiertes Videosignal zu erzeugen, das eine Bildfolge mit einer gegenüber der ersten Bildfrequenz höheren zweiten Bildfrequenz repräsentiert. Zur Erzeugung eines solchen bewegungskompensierten Videosignals bzw. einer solchen bewegungskompensierten Bildfolge werden Zwischenbilder interpoliert, die zeitlich zwischen zwei Originalbildern der ersten Bildfolge liegen. Die zeitliche Lage dieser Zwischenbilder bezogen auf die zeitlichen Lage der Bilder der ersten Bildfolge wird dabei als Interpolationsphase oder Bewegungsphase α bezeichnet, die zwischen 0 und 1 liegen kann.
Bei dem vorliegenden Verfahren werden mit dem ersten und zweiten Videosignal S1, S2 wenigstens zwei solcher bewegungskompensierte Videosignale aus dem Eingangsvideosignal S_in erzeugt, wobei die Bilder der durch diese Videosignale S1, S2 repräsentierten Bildfolgen F1, F2 nur jeweils einen Teil eines Ausgangsbildes der Ausgangsbildfolge bilden. Die Teilbilder der durch das erste Videosignal S1 repräsentierten ersten Teilbildfolge F1 bilden dabei einen ersten Teil der Ausgangsbilder, und die Teilbilder der durch das zweite Videosignal S2 repräsentierten zweiten Teilbildfolge F2 bilden einen zweiten Teil der Ausgangsbilder. Jedes dieser Teilbilder weist eine Anzahl matrixartig angeordneter Bildpunkte auf, denen entsprechend der Bildpunkte der Eingangsbildfolge F oder der Ausgangsbildfolge F' wenigstens ein Bildpunktwert – bei einem Farbbild: drei Bildpunktwerte – zugeordnet ist.
Die aus den ersten und zweiten Teilbildfolgen F1, F2 erzeugte Ausgangsbildfolge F' ist schematisch in 2D dargestellt. Diese Ausgangsbildfolge F' wird bezugnehmend auf 1 durch eine Multiplexeranordnung 2 aus den Teilbildfolgen F1, F2 erzeugt, die der Interpolatoranordnung nachgeschaltet ist.
Verfahren zur Zwischenbildinterpolation bzw. Verfahren zur Erzeugung einer bewegungskompensierten Bildfolge aus einer gegebenen Eingangsbildfolge sind grundsätzlich bekannt, so dass auf ausführliche Erläuterungen in diesem Zusammenhang verzichtet werden kann. Nachfolgend werden lediglich kurz Grundzüge eines möglichen Verfahrens zur Zwischenbildinterpolation erläutert: Bei einem solchen Verfahren wird zunächst eine Bewegungsschätzung vorgenommen. Hierzu werden zwei aufeinanderfolgende Bilder der Eingangsbilder F jeweils in einzelne Bildblöcke unterteilt, die rasterartig angeordnet sind und die beispielsweise jeweils 8 × 8 oder 16 × 16 Bildpunkte umfassen. Aus Gründen der Übersichtlichkeit ist ein solches Blockraster schematisch lediglich für eines der Bilder der Eingangsbildfolge F in 2A dargestellt. Selbstverständlich ist ein solches Blockraster bei allen Bildern der Eingangsbildfolge F und auch bei allen Teilbildern der Teilbildfolgen F1, F2 vorhanden. Anhand eines Bildvergleichs werden den einzelnen Bildblöcken des ersten von zwei aufeinanderfolgenden Bildern der Eingangsbildfolge F, des zweiten von zwei aufeinander folgenden Bildern oder beiden von zwei aufeinander folgenden Bildern Bewegungsvektoren zugeordnet. Die Bewegungsvektoren geben an, wie sich die Position des Bildinhaltes eines Blockes von dem ersten Bild zu dem zweiten Bild verändert. Unter Verwendung der Bilder der Eingangsbildfolge F und unter Verwendung der so erhaltenen Bewegungsinformatio nen bzw. Bewegungsvektoren lassen sich anschließend die Inhalte der bewegungskompensierten Bildfolgen F1, F2 bewegungsrichtig interpolieren.
Bei dem vorliegenden Verfahren, bei dem aus Bildern der Eingangsbildfolge lediglich Teilbilder interpoliert werden, erfolgt die Bewegungsschätzung und die Interpolation selbstverständlich nur für solche Bildbereiche der Bilder der Eingangsbildfolge F, die in den Teilbildern der jeweiligen Teilbildfolgen vorhanden sind.
Die Teilbilder der ersten und zweiten Teilbildfolgen F1, F2 sind so gewählt, dass sie sich in einem Bereich, der nachfolgend als Überlappungsbereich bezeichnet wird, gegenseitig überlappen. Der Überlappungsbereich umfasst Bildpunkte, die sowohl in den Teilbildern der ersten Teilbildfolge F1 als auch in den Teilbildern F2 der zweiten Teilbildfolge vorhanden sind und zu denen sowohl das erste Videosignal S1 als auch das zweite Videosignal S2 Bildpunktwerte enthält.
Mit durchgezogenen Linien sind in den 2B und 2C die durch das jeweilige Videosignal S1, S2 repräsentierten Teilbilder dargestellt. Die strichpunktierten Linien in den 2B und 2C veranschaulichen den Teil eines Ausgangsbildes, zu dessen Bildpunkten das jeweilige Teilbild keine Bildpunktwerte enthält. In dem dargestellten Beispiel enthält das erste Videosignal S1 Bildpunktwerte zu Bildpunkten, die die linke Bildhälfte eines Ausgangsbildes bilden, und das zweite Videosignal S2 enthält Bildpunktwerte zu Bildpunkten, die den rechten Teil eines Ausgangsbildes bilden. Die strichpunktierten Linien in den 2B und 2C veranschaulichen die Bildmitte. Die ersten Teilbilder F1(.) umfassen in dem dargestellten Beispiel auch Bildpunkte, die rechts dieser Bildmitte liegen, während die zweiten Teilbilder F2(.) auch Bildpunkte umfassen, die links dieser Bildmitte liegen. Überlappungsbereiche, in denen sich die ersten und zweiten Teilbilder überlappen, die also Bildpunkte enthalten, zu denen so wohl das erste, als auch das zweite Videosignal S1, S2 Bildpunktwerte enthalten, sind in 2D schraffiert dargestellt.
In dem dargestellten Beispiel beträgt die Ausgangsbildfrequenz f_out das 4-fache der Eingangsbildfrequenz F_in; für jedes Bild der Eingangsbildfolge umfasst die Ausgangsbildfolge also vier Bilder. Bei einem Beispiel ist vorgesehen, die Bilder der Eingangsbildfolge unverändert in die Ausgangsbildfolge zu übernehmen. In diesem Fall sind zwischen zwei aufeinanderfolgenden Bildern der Eingangsbildfolge F je drei Zwischenbilder zu interpolieren. Die ersten und zweiten Teilbildfolgen F1, F2 und die Ausgangsbildfolge F- enthalten in diesem Fall Bilder mit den Interpolations- bzw. Bewegungsphasen α = 0, α = 0,25, α = 0,5 und α = 0,75, wenn aufeinanderfolgende Teilbilder der Teilbildfolgen F1, F2 bzw. aufeinanderfolgende Bilder der Ausgangsbildfolge F' jeweils gleiche zeitliche Abstände besitzen. Der zeitliche Abstand zwischen zwei aufeinanderfolgenden Teilbildern bzw. Bildern der Ausgangsbildfolge beträgt dabei 0,25·T.
In den 2A bis 2D sind die Teilbilder F1(k – 1), F1(k), F2(k – 1) und F2(k), die eine Interpolationsphase α = 0 besitzen, unmittelbar unter den Eingangsbildern dargestellt. Selbstverständlich besteht jedoch ein zeitlicher Versatz zwischen dem Vorliegen der Eingangsbilder und diesen Teilbildern mit der Interpolationsphase α = 0, was in den 2A bis 2C anhand der unterschiedlichen absoluten zeitlichen Positionen t0 – T und t0 einerseits sowie t1 – T und t andererseits dargestellt ist. In entsprechender Weise besteht ein zeitlicher Versatz zwischen zwei Teilbildern F1(.), F2(.) einerseits und dem aus diesem Teilbild resultierenden Ausgangsbild F'(.) andererseits, was in 2 anhand unterschiedlicher absoluter zeitlicher Positionen der Bilder der Teilbildfolgen einerseits und der Ausgangsbildfolge andererseits dargestellt ist.
Dass es sich bei den Teilbildfolgen F1, F2 bzw. der Ausgangsbildfolge F' um bewegungskompensierte Bildfolgen handelt, ist in den 2A bis 2D anhand eines kreisförmigen Objekts veranschaulicht, das sich in dem ersten Bild (k – 1) der linken unteren Ecke des Bildes, in dem zweiten Bild F(k) in der rechten oberen Ecke des Bildes und in den Zwischenbildern an Positionen zwischen der linken unteren und der rechten oberen Ecke befindet.
Die räumliche Lage der ersten und zweiten Teilbilder bezogen auf ein Bild der Ausgangsbildfolge ist in 3 für das zuvor erläuterte Beispiel, bei dem eines der Teilbilder den rechten Bildteil und das andere der Teilbilder den linken Bildteil des Ausgangsbildes bildet, nochmals im Detail dargestellt. Jedes der Teilbilder F1(.), F2(.) weist in diesem Beispiel eine Bildpunktmatrix mit m × n Bildpunkten auf. Die Ausgangsbilder besitzen jeweils eine Bildpunktmatrix m × q Bildpunkten. m bezeichnet in diesem Fall die Anzahl der Zeilen eines Ausgangsbildes und beträgt beispielsweise 1080. q bezeichnet in 3 die Anzahl der Spalten eines Ausgangsbildes und beträgt beispielsweise 1920 und n bezeichnet die Anzahl der Spalten eines Teilbildes. Da sich die ersten und zweiten Teilbilder F1(.), F2(.) in dem dargestellten Beispiel in horizontaler Richtung des Bildes überlappen gilt: q > n. Die Fläche bzw. die Anzahl der Bildpunkte eines Teilbildes liegt beispielsweise zwischen dem 0,55-fachen und dem 0,75-fachen der Fläche bzw. der Anzahl der Bildpunkte des Ausgangsbildes, so dass in diesem Fall gilt: q = 0,55...0,75 × n.
Bezugnehmend auf 4 können die ersten und zweiten Teilbilder auch so gewählt werden, dass sie sich in vertikaler Richtung überlappen. Jedes der Teilbilder umfasst in diesem Fall eine Bildpunktmatrix mit p × q Bildpunkten, wobei q die Anzahl der Spalten eines Ausgangsbildes bezeichnet. Für p, also die Anzahl der Zeilen eines Teilbildes gilt: p > 0,5 × m, wobei m die Anzahl der Zeilen eines Ausgangsbildes bezeichnet. Für p gilt beispielsweise: p = 0,55...0,75 × m.
Abweichend von der bisherigen Erläuterung besteht auch die Möglichkeit mehr als zwei Teilbildfolgen anhand der Eingangsbildfolge F zu interpolieren. Bei einem Beispiel, das anhand von 5 veranschaulicht ist, ist vorgesehen, drei Teilbildfolgen zu erzeugen. F1(.), F2(.), F3(.) bezeichnet in 5 jeweils Teilbilder dieser drei Teilbildfolgen. Diese drei Teilbilder bilden jeweils Bildbereiche des Ausgangsbildes F(.), die in horizontaler Richtung benachbart zueinander angeordnet sind, wobei sich jeweils zwei benachbarte Teilbilder überlappen. Schraffiert sind in 5 Überlappungsbereiche zweier solcher benachbarter Teilbilder angeordnet.
Das mittlere der drei Teilbilder – in dem Beispiel das Teilbild F2(.) – kann dabei größer sein als die beiden übrigen Teilbilder und beispielsweise eine Bildpunktmatrix mit m × q2 Bildpunkten umfassen, während die beiden anderen Teilbilder F1(.), F3(.) Bildpunktmatrizes mit m × q1 Bildpunkten umfassen können, wobei q2 > q1 gilt. Alle der drei Bildbereiche sind dabei größer als ein Drittel des Ausgangsbildes. Im vorliegenden Fall bedeutet dies: q1, q2 > 1/3 × n, wobei n die Anzahl der Spalten des Ausgangsbildes bezeichnet. Entsprechend dem anhand 4 erläuterten Beispiel können die drei Teilbilder F1(.), F2(.), F3(.) auch in vertikaler Richtung des Bildes benachbart zueinander angeordnet sein und sich gegenseitig überlappen. Für die Größe dieser Teilbilder bezogen auf die Größe des Ausgangsbildes gelten die Ausführungen für die anhand von 5 erläuterten Teilbilder entsprechend.
Ein Beispiel einer Interpolationsanordnung 1, die das erste und zweite Videosignal S1, S2 aus dem Eingangsvideosignal S_in erzeugt, ist in 7 dargestellt. Diese Interpolationsanordnung 1 weist zwei Interpolationseinheiten 11, 12 auf: Eine erste Interpolationseinheit 11, der das Eingangssignal S_in zugeführt ist, und die das erste Videosignal S1 bereitstellt; und eine zweite Interpolationseinheit 12, der das Eingangsvi deosignal S_in zugeführt ist, und die das zweite Videosignal S2 bereitstellt.
8 zeigt ein Blockschaltbild eines Beispiels für eine Realisierung der Interpolationseinheiten 11 bzw. 12. Diese Interpolationseinheit umfasst einen Bildspeicher 13, dem das Eingangsvideosignal S_in zugeführt ist, einen Bewegungsschätzer 14, der auf den Bildspeicher 13 zugreift, sowie einen Interpolator 15. Der Bildspeicher 13 ist beispielsweise dazu ausgebildet, zwei zeitlich aufeinanderfolgende Bilder der durch das Eingangsvideosignal S_in repräsentierten Eingangsbildfolge wenigstens teilweise zu speichern. Der Bildspeicher 13 ist dabei dazu ausgebildet, wenigstens die Bildbereiche der Eingangsbilder zu speichern, die zur Interpolation der durch die jeweilige Interpolationseinheit 11 bzw. 12 ausgegebenen Teilbildfolge erforderlich sind.
Der Bewegungsschätzer 14 greift auf diese abgespeicherten (Teil-)Bilder zur Durchführung der Bewegungsschätzung zu und stellt dem Interpolator 15 die anhand der Bewegungsschätzung erhaltenen Bewegungsinformationen bzw. Bewegungsvektoren zur Verfügung. Der Interpolator 15 nutzt diese Bewegungsinformationen und die in dem Bildspeicher 13 abgespeicherten Bildinformationen der zwei aufeinanderfolgenden Eingangsbilder zur Zwischenbildinterpolation, und damit zur Erzeugung des durch die jeweilige Interpolationseinheit 11 bzw. 12 ausgegebenen Videosignals S1 bzw. S2.
Die Wahl der Teilbilder derart, dass diese sich gegenseitig überlappen ist sinnvoll, um auch im Grenzbereich zwischen den zwei Teilbildern eine zuverlässige Interpolation sich bewegender Objekte zu erhalten. In diesem Zusammenhang sei angemerkt, dass für Bildpunkte des Überlappungsbereichs nicht notwendigerweise Bildpunktwerte für das erste und das zweite Videosignal S1, S2 erzeugt werden müssen. So kann es beispielsweise genügen, lediglich eine Bewegungsschätzung durch beide Interpolationseinheiten für den Überlappungsbereich durchzuführen, Bildpunktwerte jedoch nur für solche Bildpunkte des Überlappungsbereiches zu interpolieren, die in das Ausgangsbild übernommen werden.
Ein Beispiel der Multiplexeranordnung, die das Ausgangsvideosignal S_out aus dem ersten und zweiten Videosignal S1, S2 erzeugt, ist in 9 dargestellt. Diese Multiplexeranordnung 2 umfasst einen Multiplexer 21, dem das erste und zweite Videosignal S1, S2 zugeführt sind und der nach Maßgabe eines Steuersignal S21, das durch eine nicht näher dargestellte Steuerschaltung erzeugt wird, im Zeitmultiplex zwischen dem ersten und zweiten Videosignal S1, S2 umschaltet, um abwechselnd die in dem ersten und zweiten Videosignal S1, S2 enthaltenen Bildpunktwerte auf das Ausgangsvideosignal S_out abzubilden. Das Zeitraster, in dem der Multiplexer 21 zwischen dem ersten und zweiten Videosignal S1, S2 umschaltet, ist abhängig davon, wie die Teilbilder bezogen auf das Ausgangsbild angeordnet sind. In dem ersten und zweiten Videosignal S1, S2 sind beispielsweise die Bildpunktwerte einzelner Zeilen der Teilbilder zeitlich aufeinanderfolgend vorhanden. Sind die Teilbilder entsprechend der Beispiele 3 und 5 in horizontaler Richtung nebeneinander liegend angeordnet, so schaltet der Multiplexer 21 nach jeder Zeile eines Bildbildes zwischen den beiden Videosignalen S1, S2 um. Sind die Teilbilder entsprechend der Beispiele 4 und 6 in vertikaler Richtung übereinander liegend angeordnet, so wird zwischen den beiden Videosignalen S1, S2 erst dann umgeschaltet, wenn ein Teilbild vollständig vorliegt.
Einem der Eingänge des Multiplexers – in dem Beispiel dem Eingang, dem das zweite Videosignal S2 zugeführt ist – kann ein Pufferspeicher 22 vorgeschaltet sein, der die Daten dieses Videosignals so lange zwischenspeichert, bis der Multiplexer 21 diese Daten zum Abbilden auf das Ausgangssignal benötigt.
Die anhand von 9 erläuterte Multiplexeranordnung 2 ist dazu ausgebildet, das Ausgangsvideosignal Sout aus zwei Videosignalen S1, S2 zu erzeugen. Sofern mehr als zwei Videosignale durch bewegungskompensierte Interpolation aus dem Eingangsvideosignal Sin erzeugt werden, ist die Multiplexeranordnung 2 derart abzuwandeln, dass der Multiplexer 21 eine der Anzahl der bewegungskompensierten Videosignale entsprechende Anzahl von Eingängen besitzt.
10 zeigt ein weiteres Beispiel einer Multiplexeranordnung 2. Diese Multiplexeranordnung 2 weist einen Multiplexer 21 auf, der drei Eingänge besitzt: einen ersten Eingang zur Zuführung des ersten Videosignals S1; einen zweiten Eingang zur Zuführung des zweiten Videosignals S2, das gegebenenfalls durch einen Pufferspeicher 22 verzögert ist; und einen dritten Eingang zur Zuführung eines Mischerausgangssignals S12.
Dieses Mischerausgangssignal S12 steht am Ausgang eines Mischers 23 zur Verfügung, dem das erste und zweite Videosignal S1, S2 zugeführt sind. Der Mischer 23 erzeugt Bildpunktwerte für solche Bildpunkte, zu denen sowohl im ersten, als auch im zweiten Videosignal S1, S2 Bildpunktwerte vorhanden sind, also für Bildpunkte des Überlappungsbereichs. Bei einem Beispiel ist vorgesehen, dass der Mischer 23 aus zwei Bildpunktwerten, einem ersten Bildpunktwert, der zu einem Bildpunkt des Überlappungsbereiches in dem ersten Videosignal S1 vorhanden ist, und einem zweiten Bildpunktwert, der zu dem Bildpunkt des Überlappungsbereiches in dem zweiten Videosignal S2 vorhanden ist, den Mittelwert bildet und diesen als Bildpunktwert des Mischsignals ausgibt. Dieser Mittelwert kann ein gewichteter Mittelwert sein, in dem der erste und zweite Bildpunktwert unterschiedlich gewichtet sind. Mit P1 sei nachfolgend ein Bildpunktwert aus dem ersten Videosignal S1 und P2 sei nachfolgend ein Bildpunktwert aus dem zweiten Videosignal S2 bezeichnet. Für einen aus diesen Bildpunktwerten resultierenden Mischwert gilt bei einer gewichteten Mittelwertbildung: P12 = g·P1 + (1 – g)·P2 (1)
P12 bezeichnet dabei den Mischwert, und g bezeichnet den Gewichtungsfaktor, der zwischen 0 und 1 liegen kann.
Bei einem Beispiel ist vorgesehen, diesen Gewichtungsfaktor g abhängig von der Position des Bildpunktes innerhalb des Überlappungsbereiches zu wählen. So ist bei einem Beispiel vorgesehen, den Bildpunktwert eines Teilbildes umso stärker zu gewichten, je näher sich der Bildpunkt an dem Nicht-Überlappungsbereich dieses Teilbildes befindet. Dies ist beispielhaft an 11 veranschaulicht. F1(.) bezeichnet in 11 ein erstes Teilbild, aus dem der erste Bildpunktwert P1 entstammt, und F2(.) bezeichnet ein zweites Teilbild, aus dem der zweite Bildpunktwert P2 entstammt. Der Überlappungsbereich zwischen diesen beiden Teilbildern ist schraffiert dargestellt. Unterhalb dieses Überlappungsbereiches ist der Gewichtungsfaktor g über dem Überlappungsbereich aufgetragen. Bei diesem Verfahren, bei dem der Gewichtungsfaktor g linear vom einen Ende zum anderen Ende des Überlappungsbereichs ansteigt, wird der erste Bildpunktwert P1 umso stärker gewichtet, je näher sich ein betrachteter Bildpunkt an dem dem ersten Teilbild F1(.) zugewandten Ende des Überlappungsbereichs befindet.
Für die bisherige Erläuterung wurde davon ausgegangen, dass die einzelnen Bilder der Eingangsbildfolge F jeweils zu unterschiedlichen Zeitpunkten aufgenommen wurden, dass diese Bilder also unterschiedliche Bewegungsphasen besitzen. Solche Bildfolgen werden beispielsweise durch Videoquellen, wie z. B. eine Blue-Ray-Disk geliefert und werden nachfolgend auch als Videobildfolgen bezeichnet.
Das erläuterte Verfahren funktioniert in entsprechender Weise jedoch auch für Bildfolgen, die anderen Quellen entstammen, wie z. B. eine 22-Pulldown-Bildfolge oder eine 32-Pulldown- Bildfolge. Bei einer 22-Pulldown-Bildfolge sind jeweils zwei aufeinanderfolgende Bilder zum selben Zeitpunkt aufgenommen, besitzen also dieselbe Bewegungsphase, und bei einer 32-Pulldown-Bildfolge sind abwechselnd zwei aufeinanderfolgende und drei aufeinanderfolgende Bilder zum selben Zeitpunkt aufgenommen. Solche 22-Pulldown- und 32-Pulldown-Bildfolgen sind anhand der 8A und 9A veranschaulicht. 7A veranschaulicht zum Vergleich eine anhand von 2A bereits erläuterte Videobildfolge.
Dargestellt ist in diesen 12A, 13A und 14A die Bewegungsphase zeitlich aufeinanderfolgender Bilder der jeweiligen Bildfolge über der Zeit. Die Bewegungsphasen zweier aufeinanderfolgender Bilder enthalten dabei eine Information über den zeitlichen Abstand dieser Bilder. Diese Bewegungsphase ist abhängig von der Zeit t allgemein mit α(t) bezeichnet. Mit t0 – 4·i·T – wobei i eine ganze positive oder negative Zahl einschließlich Null ist – sind in diesen 12A, 13A und 14A die Zeitpunkte bezeichnet, zu denen die einzelnen Bilder der Eingangsbildfolge F vorliegen.
Bei einer Videobildfolge erfolgt die Interpolation der Zwischenbilder in erläuterter Weise anhand von zwei unmittelbar aufeinanderfolgenden Bildern der Eingangsbildfolge F. Bezugnehmend auf 12 sei angenommen, dass die Bewegungsphasen für diese zwei aufeinanderfolgenden Bilder α0 und α1 sind, dass also gilt α(t0 – 4·T0) = α0 und α(t0) = α1, wobei beispielsweise α0 = 0 und α1 = 1 gilt. Um eine Vervierfachung der Bildfrequenz zu erreichen, werden zu jedem Bild der Eingangsbildfolge vier Bilder durch die Interpolationsanordnung 1 erzeugt, wobei die Interpolationsanordnung in erläuterter Weise zwei zeitliche versetzte Teilbildfolgen mit dieser höheren Bildfrequenz erzeugt. 12B veranschaulicht die Bewegungsphasen für diese Teilbildfolgen. Für die Bewegungsphasen von vier aufeinanderfolgenden Bildern dieser interpolierten Teilbildfolgen, die anhand von zwei aufeinanderfolgenden Bildern der Eingangsbildfolge interpoliert werden, gilt allgemein (beginnend mit dem zeitlich frühesten Bild): α = α0; α = α0 + 1/4·(α1 – α0); α = α0 + 2/4·(α1 – α0); und α = α0 + 3/4·(α1 – α0).
Der zeitliche Abstand zweier aufeinanderfolgender Bilder der Zwischenbildfolge beträgt 0,25·T, wenn die einzelnen Teilbilder der Teilbildfolgen jeweils gleiche gegenseitige Abstände besitzen.
Ist die Eingangsbildfolge F eine 22-Pulldown-Bildfolge (vgl. 13A) und soll die Bildfrequenz vervierfacht werden, so werden durch die Interpolationsanordnung 1 zu jedem Eingangsbild der Eingangsbildfolge F ebenfalls die Bilddaten zu vier Bildern. Die Interpolationsanordnung erzeugt dabei zwei Teilbildfolgen F1, F2, die zu jedem Bild der Eingangsbildfolge F vier Teilbilder erzeugen. Die Bewegungsphasen dieser Teilbildfolgen sind in 13B dargestellt.
Für die Interpolation der Bilder je einer Teilbildfolge werden ebenfalls lediglich zwei Bilder der Eingangsbildfolge F verwendet, zu denen die Bewegungsschätzung durchgeführt wird und deren Bildinformationswerte für die Interpolation der Zwischenbilder verwendet werden. Diese zwei Bilder sind allerdings nicht zwei aufeinanderfolgende Bilder der Eingangsbildfolge F sondern beispielsweise die jeweils ersten Bilder oder die jeweils zweiten Bilder der aufeinanderfolgenden Bildpaare mit gleicher Bewegungsphase. Zu Zwecken der Erläuterung sei angenommen, dass jeweils die ersten Bilder der Bildpaare mit gleicher Bewegungsphase für die Interpolation verwendet werden. Für die Bewegungsphasen dieser Bilder gilt in dem dargestellten Beispiel: α(t0 – 2·T) = α0 und α(t0) = α2.
Um eine Vervierfachung der Bildfrequenz zu erreichen, werden anhand von zwei Bildern der 22-Pulldown-Folge, die unterschiedliche Bewegungsphasen besitzen, für jede der Teilbildfolgen acht Teilbilder erzeugt. Für die Bewegungsphasen von acht aufeinanderfolgenden Teilbildern dieser interpolierten Teilbildfolgen, gilt allgemein (beginnend mit dem zeitlich frühesten Bild): α = α0; α = α0 + 1/8·(α2 – α0); α = α0 + 2/8·(α2 – α0); α = α0 + 3/8·(α2 – α0); α = α0 + 4/8·(α2 – α0); α = α0 + 5/8·(α2 – α0); α = α0 + 6/8·(α2 – α0); α = α0 + 7/8·(α2 – α0).
Der zeitliche Abstand zweier aufeinanderfolgender Bilder Teilbildfolge beträgt 0,25·T, wenn die einzelnen Teilbilder der Teilbildfolgen jeweils gleiche gegenseitige Abstände besitzen.
Ist die Eingangsbildfolge F eine 32-Pulldown-Bildfolge (vgl. 14A) und soll die Bildfrequenz vervierfacht werden, so werden durch die Interpolationsanordnung 1 zu jedem Eingangsbild der Eingangsbildfolge F vier Bilder erzeugt, um eine der zwei zeitlich versetzten Zwischenbildfolgen F1, F2 zu erzeugen. Die Interpolationsanordnung 1 erzeugt dabei zwei Teilbildfolgen F1, F2, die zu jedem der Bilder der Eingangsbildfolge F jeweils vier Teilbilder enthalten. Die Bewegungsphasen dieser Teilbildfolgen F1, F2 sind in 14B dargestellt.
Die Interpolation der Bilder einer der Zwischenbildfolgen wird nachfolgend erläutert: Als 32-Sequenz wird zu Zwecken der Erläuterung eine Sequenz von Bilder der Eingangsbildfolge F bezeichnet, die fünf aufeinanderfolgende Bilder aufweist: eine 2-Sequenz mit zwei Bildern, die dieselbe Bewegungsphase besitzen; und eine 3-Sequenz mit drei Bildern, die dieselbe Bewegungsphase besitzen. Lediglich zur Erläuterung sei für das dargestellte Beispiel angenommen, dass in der 32-Sequenz die 3-Sequenz auf die 2-Sequenz folgt. Um eine Vervierfachung der Bildfrequenz zu erreichen, werden anhand der fünf Bilder einer 32-Sequenz 20 Bilder, bzw. zweimal 20 Teilbilder interpoliert: zwei erste Sequenzen von jeweils zehn Teilbildern unter Verwendung des ersten Bildes der 2-Sequenz und des ersten Bildes der 3-Sequenz; und zwei zweite Sequenzen von jeweils zehn Teilbildern unter Verwendung des ersten Bildes der 3-Sequenz und des ersten Bildes der nachfolgenden 2-Sequenz. Für die Bewegungsphasen dieser drei Bilder gilt beispielsweise: α(t0 – 5·T) = α0, α(t0 – 3·T) = α3 und α(t0) = α5. Für die Bewegungsphasen der ersten Sequenzen von zehn Teilbildern gilt dann: α = α0; α = α0 + 1/10·(α3 – α0); α = α0 + 2/10·(α3 – α0); α = α0 + 3/10·(α3 – α0); α = α0 + 4/10·(α3 – α0); α = α0 + 5/10·(α3 – α0); α = α0 + 6/10·(a3 – a0); α = α0 + 7/10·(α3 – α0); α = α0 + 8/10·(α3 – α0); α = α0 + 9/10·(α3 – α0); α = α0 + 10/10·(α3 – α0) = α3.
Entsprechend gilt für die Bewegungsphasen der zweiten Sequenzen von zehn Teilbildern: α = α3; α = α3 + 1/10·(α5 – α3); α = α3 + 2/10·(α5 – α3); α = α3 + 3/10·(α5 – α3); α = α3 + 4/10·(α5 – α3); α = α3 + 5/10·(α5 – α3); α = α3 + 6/10·(α5 – α3); α = α + 7/10·(α5 – α3); α = α3 + 8/10·(α5 – α3); α = α3 + 9/10·(α5 – α3); α = α3 + 10/10·(α5 – α3) = α5.
Der zeitliche Abstand zweier aufeinanderfolgender Bilder der Zwischenbildfolge beträgt 0,25·T.
Die Verfahren zur Verarbeitung der zuvor erläuterten Videobildfolgen, 22- oder 32-Pulldown-Bildfolgen unterscheiden sich hinsichtlich der Anzahl der anhand von zwei Bildern zu interpolierenden Bildern und hinsichtlich der Auswahl der beiden Eingangsbilder, die für die Interpolation verwendet werden sollen. Eine Interpolationsanordnung 1, die in der Lage ist, verschiedene Arten von Eingangsbildfolgen zu verarbeiten, unterscheidet sich von der anhand von 8 erläuterten Interpolationsanordnung 1 im wesentlichen hinsichtlich des Bildspeichers 3. 15 zeigt ein Blockschaltbild eines Beispiels einer der zwei Interpolationseinheiten 11, 12 Interpolationsanordnung 1.
Der Bildspeicher 13 dieser Interpolationseinheit 1 weist eine Speichereinheit 131 auf, die dazu ausgebildet, mehr als zwei aufeinanderfolgende Bilder der Eingangsbildfolge zu speichern, beispielsweise vier aufeinanderfolgende Bilder. An diese Speichereinheit ist eine Auswahleinheit 132 angeschlossen, die die Bilddaten von jeweils zwei dieser gespeicherten Bilder an den Bewegungsschätzer 14 und den Interpolator 15 weitergibt bzw. die dem Bewegungsschätzer und dem Interpolator einen Zugriff auf die abgespeicherten Bilddaten dieser beiden Bilder ermöglicht. Bei einer Videobildfolge sind diese zwei Bilder jeweils zwei unmittelbar aufeinanderfolgende Bilder, bei einer 22-Folge sind dies jeweils die ersten Bilder aufeinanderfolgender 2-Sequenzen, und bei einer 32-Folge sind dies jeweils die ersten Bilder aufeinanderfolgender 2- Sequenzen und 3-Sequenzen. Die Auswahlschaltung 132 ist gesteuert durch eine Eingangssignalerkennungsschaltung 16, die dazu ausgebildet ist, die Art der durch das Eingangssignal Sin repräsentierten Bildfolge zu erkennen. Diese Schaltung 16 greift in dem dargestellten Beispiel zu diesem Zweck auf die Speichereinheit 3 zu, der Schaltung 16 könnte jedoch auch das Eingangssignal Sin unmittelbar zugeführt sein. Schaltungen wie die Eingangssignalerkennungsschaltung 16, die anhand eines Bildvergleichs aufeinanderfolgender Bilder die Art der Bildfolge erkennen, sind bekannt und werden auch als ”Filmhode-Detektor” bezeichnet. Auf weitere Ausführungen zur Funktionsweise dieser Schaltung 16 kann daher verzichtet werden.
Ein Steuersignal S16, über das die Eingangssignalerkennungsschaltung 16 die Auswahl der Bilder steuert, die dem Bewegungsschätzer 14 und dem Interpolator 15 zugeführt sind, ist auch dem Interpolator 15 zugeführt. Der Interpolator 15 ist hierbei dazu ausgebildet, abhängig von diesem Signal S16 die Anzahl der Teilbilder einzustellen, die aus zwei Bildern der Eingangsbildfolge zu interpolieren sind. Bei einer Videobildfolge sind dies in bereits erläuterter Weise vier Bilder, bei einer 22-Folge acht Bilder und bei einer 32-Folge zehn Bilder.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- Schu et al.: ”Frame Rate Conversion IC for Full HD 120 Hz LCD Flat Panel Displays”, IMID '07 Digest, Seiten 1089–1092 [0005]
- Schu et al. [0012]

Claims

Verfahren zur Verarbeitung eines Eingangsvideosignals (Sin), das eine Eingangsbildfolge mit einer Eingangsbildfrequenz repräsentiert, bei dem ein Ausgangsvideosignal (Sout) erzeugt wird, das eine Ausgangsbildfolge mit einer gegenüber der Eingangsbildfrequenz höheren Ausgangsbildfrequenz repräsentiert, wobei das Erzeugen jedes Bildes der Ausgangsbildfolge die Verfahrensschritte aufweist: Bereitstellen eines ersten Teilbildes (F1), das matrixartig angeordnete Bildpunkte aufweist, denen jeweils wenigstens ein Bildpunktwert zugeordnet ist, durch bewegungskompensierte Interpolation aus wenigstens zwei aufeinanderfolgenden Bilder der Eingangsbildfolge, Bereitstellen wenigstens eines zweiten Teilbildes (F2), das matrixartig angeordnete Bildpunkte aufweist, denen jeweils wenigstens ein Bildpunktwert zugeordnet ist, durch bewegungskompensierte Interpolation aus wenigstens zwei aufeinanderfolgenden Bilder der Eingangsbildfolge, wobei das erste und das wenigstens eine zweite Teilbild (F1, F2) jeweils größer sind als das 1/i-fache des Bildes der Ausgangsbildfolge, wobei i die Anzahl der Teilbilder ist, so dass ein Überlappungsbereich vorhanden ist, der Bildpunkte aufweist die in dem ersten und in dem wenigstens einen zweiten Teilbild vorhanden sind, Erzeugen des Ausgangsbildes aus dem ersten und dem wenigstens einen zweiten Teilbild.
Verfahren nach Anspruch 1, bei dem das Ausgangsbild matrixartig angeordnete Bildpunkte aufweist und bei dem das Erzeugen des Ausgangsbildes aus dem ersten und dem wenigstens einen zweiten Teilbild aufweist: Übernehmen der Bildpunktwerte aus dem ersten Teilbild für solchen Bildpunkte des Ausgangsbildes, die nur in dem ersten Teilbild vorhanden sind, Übernehmen der Bildpunktwerte aus dem wenigstens einen zweiten Teilbild für solche Bildpunkte des Ausgangsbildes, die nur in dem zweiten Teilbild vorhanden sind, Übernehmen der Bildpunktwerte aus dem ersten Teilbild oder dem wenigstens einen zweiten Teilbild für solche Bildpunkte die in dem Überlappungsbereich liegen.
Verfahren nach Anspruch 1, bei dem das Ausgangsbild matrixartig angeordnete Bildpunkte aufweist und bei dem das Erzeugen des Ausgangsbildes aus dem ersten und dem wenigstens einen zweiten Teilbild aufweist: Übernehmen der Bildpunktwerte aus dem ersten Teilbild für solche Bildpunkte des Ausgangsbildes, die nur in dem ersten Teilbild vorhanden sind, Übernehmen der Bildpunktwerte aus dem wenigstens einen zweiten Teilbild für solche Bildpunkte des Ausgangsbildes, die nur in dem zweiten Teilbild vorhanden sind, Mischen der Bildpunktwerte aus dem ersten Teilbild und der Bildpunktwerte aus dem wenigstens einen zweiten Teilbild für solche Bildpunkte die in dem Überlappungsbereich liegen.
Verfahren nach Anspruch 1, bei dem das Mischen das Bilden eines Mittelwertes umfasst.
Verfahren nach Anspruch 4, bei dem der Mittelwert ein gewichteter Mittelwert ist.
Verfahren nach Anspruch 5, bei dem ein Gewichtungsfaktor für die Ermittlung des Bildpunktwertes eines Bildpunkts ab hängig ist von einer Position des Bildpunkts innerhalb des Überlappungsbereiches.
Verfahren nach Anspruch 6, bei dem der Bildpunktwert desjenigen Teilbildes umso stärker gewichtet wird, je näher der Bildpunkt an einem Nicht-Überlappungsbereich dieses Teilbildes liegt.
Verfahren nach Anspruch 1, bei dem die Ausgangsbildfrequenz das 4-fache der Eingangsbildfrequenz.
Vorrichtung zur Videosignalverarbeitung, die aufweist: einen Eingang zur Zuführung eines Eingangsvideosignals (Sin), das eine Eingangsbildfolge mit einer Eingangsbildfrequenz repräsentiert, und einen Ausgang zur Bereitstellung eines Ausgangsvideosignals (Sout), das eine Ausgangsbildfolge mit einer Ausgangsbildfrequenz repräsentiert, die höher als die Eingangsbildfrequenz ist; eine Interpolationsanordnung (1), die dazu ausgebildet ist ein bewegungskompensiertes erstes Videosignal (S1) aus dem Eingangsvideosignal (Sin) zu erzeugen, das eine Folge von ersten Teilbildern mit der Ausgangsbildfrequenz repräsentiert, und die dazu ausgebildet ist wenigstens ein bewegungskompensiertes zweites Videosignal (S2) aus dem Eingangsvideosignal (Sin) zu erzeugen, das eine Folge von zweiten Teilbildern mit der Ausgangsbildfrequenz repräsentiert, wobei das erste und das wenigstens eine zweite Teilbild (F1, F2) jeweils größer sind als das 1/i-fache eines Bildes der Ausgangsbildfolge, wobei i die Anzahl der Teilbilder ist, so dass ein Überlappungsbereich zwischen den ersten und zweiten Teilbildern vorhanden ist; eine Multiplexeranordnung (2), der das erste und das wenigstens eine zweite Videosignal (S1, S2) zugeführt sind, die das Ausgangsvideosignal bereitstellt und die dazu ausgebildet ist, ein Bild der Ausgangsbildfolge aus einem ersten Teilbild und einem dem ersten Teilbild zugeordneten wenigstens einen zweiten Teilbild zu erzeugen.