DE60126151T2

DE60126151T2 - Film-in-videoformat-umsetzer für hochauflösendes fernsehen mit hoher qualität und effizienz

Info

Publication number: DE60126151T2
Application number: DE60126151T
Authority: DE
Inventors: R. Nehal DANTWALA; A. Olukayode OJO
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Entropic Communications LLC
Priority date: 2000-12-06
Filing date: 2001-11-23
Publication date: 2007-10-18
Anticipated expiration: 2021-11-24
Also published as: ATE352169T1; EP1356675B1; DE60126151D1; US6847406B2; WO2002047382A3; EP1356675A2; CN1451235A; US20020093588A1; WO2002047382A2; CN1218570C; JP2004515980A; KR100903890B1; KR20020086496A

Description

Die vorliegende Erfindung betrifft im Allgemeinen die Videosignalumwandlung, und genauer die bewegungskompensierte Feldraten-Aufwärtsumsetzung von Filmmaterial für eine Darstellung mit Hochauflösung.
Mit dem Auftreten der Ausstrahlung gemäß digitaler Fernsehstandards (DTV) des Advanced Television Systems Committee (ATSC), insbesondere des hochauflösenden Fernsehens (HDTV), entsteht der Bedarf an einer Darstellung von Filmmaterial an Fernsehempfängern mit Hochauflösung. Die Feldrate – die Anzahl der Vollfeldbilder oder Rahmen pro Sekunde, die in Hertz (Hz) ausgedrückt ist – für hochauflösendes Fernsehen beträgt im Allgemeinen zumindest 50 bis 60 Hz und mehr und bis zu 100 bis 120 Hz. Doch aus historischen elektromechanischen Gründen waren Filmkameras, die bei der Schaffung von Filmmaterial eingesetzt wurden, herkömmlich bei einer Fangrate von 24 Rahmen pro Sekunde tätig. Obwohl moderne Filmkameras verbessert wurden, gibt es viel Filmmaterial, das mit dieser früheren Standardfangrate aufgezeichnet wurde. Überdies stellt Filmmaterial, das mit 24 Hz eingefangen wurde, wenn es in eine Hochauflösung übertragen wurde, eine Qualität bereit, die mit hochauflösenden Kameras vergleichbar ist, was jeglichen Anreiz für Filmgesellschaften, die Verwendung von traditionellen Kameras zugunsten eines Ankaufs von hochauflösenden Kameras einzustellen, beseitigt.
Die Umsetzung von Filmmaterial in höhere Anzeigefeldraten wird im Allgemeinen durch einfache Feldwiederholung unter Verwendung bekannter 3:2-Niederzugs- oder 2:2-Niederzugstechniken durchgeführt. Doch eine derartige Feldraten-Aufwärtsumsetzung durch einfache Feldwiederholung führt dazu, dass jede Bewegt- oder Bewegungsphase (d.h., jeder Rahmen) mehrere Male dargestellt wird, wobei sich bewegende Objekte in den wiederholten Bewegungsphasen geringfügig von ihrer erwarteten Raum-Zeit-Position verschoben erscheinen. Dies führt zu einer Bewegungsunschärfe für eine langsame Objektbewegung und zu einer ruckartigen Bewegung für eine schnelle Objektbewegung.
Um die Bewegungsdarstellung von aufwärtsumgesetztem Filmmaterial zu verbessern, muss die Anzahl der Bewegungsphasen erhöht werden. Für diesen allgemeinen Zweck bei der Aufwärtsumsetzung von Filmmaterial in Fernsehen mit Standardauflösung (SD) wurden bewegungskompensierte Aufwärtsumsetzungstechniken entwickelt. Siehe, z.B., G. de Haan et al., "IC für Motion Compensated De-interlacing, Noise Reduction, and Picture Rate Conversion," International Conference on Consumer Electronics (ICEE) 1999, Seite 212 bis 213, und O. A. Ojo und G. de Haan, "Robust Motion-Compensated Video Up-Conversion", IEEE Tr. on Consumer Electronics, Band 43, Nr. 4, Seite 1045 bis 1056 (November 1997).
Zusätzlich zu höheren Rahmenraten setzt das hochauflösende Fernsehen auch Bildgrößen ein, die vier bis sechs Mal größer als sowohl Film- als auch Fernsehmaterial mit Standardauflösung sind. Daher sind die Speichergrößen- und Speicherbandbreitenanforderungen der Bewegungsschätzung für hochauflösendes Fernsehen aufgrund der höheren Pixelauflösung vier bis sechs Mal größer als entsprechende Anforderungen für Material mit Standardauflösung. Diese Anforderungen stellen ein Machbarkeitsproblemn für Verbraucherlösungen dar.
US 5,929,919 offenbart ein Verfahren zur Verarbeitung von Eingangsfeldern eines Bildsignals, um interpolierte Felder zu erhalten, die sich zeitlich zwischen den Eingangsfeldern befinden, wobei zwischen Eingangsfeldern Bewegungsvektoren bereitgestellt werden, wonach eine Qualität der Bewegungsvektoren bewertet wird. Die Bewegungsvektoren werden in Abhängigkeit von der bewerteten Qualität so angepasst, dass in jeweiligen interpolierten Feldern sowohl verminderte als auch erhöhte Bewegungsvektorlängen auftreten. Die interpolierten Felder werden in Abhängigkeit von den so angepassten Bewegungsvektoren aus den Eingangsfeldern erhalten.
Daher besteht in der Technik ein Bedarf an einer verbesserten Film-in-Videoformat-Bewegungskompensationstechnik zur Aufwärtsumsetzung von Filmmaterial in hochauflösendes Fernsehen.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Umsetzersystem und ein Verfahren zur Umsetzung von Filmmaterial unter Verwendung einer Bewegungskompensation in bewegungskompensierte Videosignale mit Hochauflösung zu schaffen.
Nach einem ersten Gesichtspunkt wird ein Videoformat-Umsetzersystem für die bewegungskompensierte Feldraten-Aufwärtsumsetzung eines Materials mit Hochauflösung in ein Videoformat mit Hochauflösung bereitgestellt, das Folgendes umfasst: eine Abwärtsabtastungseinheit, um empfangene Felder mit Hochauflösungsgröße zu Feldern mit Standardauflösungsgröße abwärtsabzutasten; einen Standardauflösungs-Bewegungsschätzer, um Bewegungsvektoren für die bewegungskompensierte Feldraten-Aufwärtsumsetzung der Felder mit Standardauflösungsgröße zu erzeugen; eine Skalierungseinheit, um die Bewegungsvektoren zur Verwendung bei der Hochauflösungsfeldraten-Aufwärtsumsetzung zu skalieren; und einen Feldratenumsetzer, der die skalierten Bewegungsvektoren zur bewegungskompensierten Feldraten-Aufwärtsumetzung der Felder mit Hochauflösungsgröße einsetzt.
Nach einem anderen Gesichtspunkt wird ein Videoempfänger bereitgestellt, der einen Eingang zum Empfang von Videosignalen und ein wie oben definiertes Videoformat-Umsetzersystem umfasst.
Nach einem dritten Gesichtspunkt wird ein Verfahren zur bewegungskompensierten Feldraten-Aufwärtsumsetzung eines Materials mit Hochauflösung in ein Videoformat mit Hochauflösung bereitgestellt, das Folgendes umfasst: Abwärtsabtasten von empfangenen Feldern mit Hochauflösungsgröße zu Feldern mit Standardauflösungsgröße; Erzeugen von Bewegungsvektoren für die bewegungskompensierte Feldraten-Aufwärtsumsetzung der Felder mit Standardauflösungsgröße; Skalieren der Bewegungsvektoren zur Verwendung bei der Hochauflösungsfeldraten-Aufwärtsumsetzung; und Einsetzen der skalierten Bewegungsvektoren zur bewegungskompensierten Feldraten-Aufwärtsumsetzung der Felder mit Hochauflösungsgröße.
Weitere Gesichtspunkte sind in den beiliegenden Patentansprüchen definiert.
Bevor nachstehend die ausführliche Beschreibung der Erfindung vorgenommen wird, kann es vorteilhaft sein, Definitionen bestimmter Worte oder Phrasen, die über dieses Patentdokument hinweg verwendet werden, bekannt zu machen: Die Ausdrücke "beinhalten" und "umfassen", wie auch Ableitungen davon, bedeuten einen Einschluss ohne Beschränkung; der Ausdruck "oder" ist einschließend und bedeutet "und/oder"; die Phrasen "verbunden mit" und "damit verbunden", wie auch Ableitungen davon, können "beinhalten", "beinhaltet in", "verbinden mit", "enthalten", "enthalten in", "anschließen an oder verbinden mit", "koppeln an oder mit", "verbindbar mit", "zusammenwirken mit", "verschachteln", "nebeneinander stellen", "sich nahe an ... befinden", "an oder mit ... gebunden", "aufweisen", "eine Eigenschaft von ... aufweisen", oder dergleichen bedeuten; und der Ausdruck "Steuerung" bedeutet jede beliebige Einrichtung, jedes beliebige System, oder jeden beliebigen Teil davon, die, das bzw. der zumindest eine Tätigkeit steuert, ob eine derartige Einrichtung nun in Hardware, Firmware, Software oder irgendeiner Kombination von zumindest zweien davon ausgeführt ist. Es sollte bemerkt werden, dass die Funktionalität, die mit jeder beliebigen besonderen Steuerung verbunden ist, zentralisiert oder, entweder lokal oder entfernt, verteilt sein kann. Über dieses Patentdokument hinweg sind Definitionen für bestimmte Worte und Phrasen bereitgestellt, und Durchschnittsfachleute werden verstehen, dass derartige Definitionen in vielen, wenn nicht den meisten Fällen, für frühere wie auch zukünftige Verwendungen dieser definierten Worte und Phrasen gelten.
Für ein vollständigeres Verständnis der vorliegenden Erfindung und ihrer Vorteile wird nun auf die folgenden Beschreibungen Bezug genommen werden, die in Verbindung mit den beiliegenden Zeichnungen vorgenommen wird, wobei gleiche Bezugszeichen gleiche Objekte bezeichnen, und wobei
1 ein Videosystem darstellt, das eine verbesserte Bewegungskompensation von Filmmaterial, welches für eine Fernsehdarstellung mit Hochauflösung aufwärtsumgesetzt wird, nach einer Ausführungsform der vorliegenden Erfindung einsetzt;
2 ein Film-in-Hochaufösungsvideoformat-Umsetzersystem nach einer Ausführungsform der vorliegenden Erfindung ausführlicher darstellt; und
3 eine Bewegungskompensation unter Verwendung der Nachbarkorrelation für ein Film-in-Hochauflösungsvideoformat-Umsetzersystem nach einer Ausführungsform der vorliegenden Erfindung veranschaulicht; und
4 ein höheres Ablaufdiagramm für einen Vorgang der Film-in-Hochauflösungsvideoformat-Umsetzung nach einer Ausführungsform der vorliegenden Erfindung ist.
Die nachstehend besprochenen 1 bis 4, und die verschiedenen Ausführungsformen, die in diesem Patentdokument verwendet werden, um die Grundsätze der vorliegenden Erfindung zu beschreiben, sind nur erläuternd und sollten keineswegs als Beschränkung des Rahmens der Erfindung aufgefasst werden. Fachleute werden verstehen, dass die Grundsätze der vorliegenden Erfindung in jeder beliebigen passend eingerichteten Einrichtung ausgeführt werden können.
1 stellt ein Videosystem dar, das eine verbesserte Bewegungskompensation von Filmmaterial, welches für eine Fernsehdarstellung mit Hochauflösung aufwärts umgesetzt wird, nach einer Ausführungsform der vorliegenden Erfindung einsetzt. Das System 100 beinhaltet einen Videoempfänger 101, der in der beispielhaften Ausführungsform ein Empfänger für hochauflösendes digitales Fernsehen (HDTV) ist, welcher entweder eine terrestrische, eine Satelliten- oder eine Kabelausstrahlung empfängt. Alternativ kann der Empfänger 101 ein Zwischen-Sendeempfänger oder jede andere beliebige Einrichtung sein, die eingesetzt wird, um Videosignale zu empfangen oder zu senden und zu empfangen, wie etwa, zum Beispiel, ein Sendeempfänger, der Videoinformationen für einen Empfang durch hochauflösendes Fernsehen weitersendet. In jedweder Ausführungsform beinhaltet der Empfänger 101 jedoch einen wie nachstehend näher beschriebenen Bewegungskompensationsmechanismus.
Der Empfänger 101 beinhaltet einen Eingang 102 zum Empfang von Videosignalen und kann optional einen Ausgang 103 beinhalten, um Videosignale zu einer anderen Einrichtung zu senden. In der beispielhaften Ausführungsform beinhaltet der Empfänger 101 eine Anzeige 104 für hochauflösendes Fernsehen, an der Bilder, die gemäß der verbesserten Bewegungskompensationstechnik der vorliegenden Erfindung geliefert oder auf andere Weise erzeugt werden, dargestellt werden.
Fachleute werden erkennen, dass 1 nicht ausdrücklich alle Bestandteile im Empfänger für hochauflösendes Fernsehen der beispielhaften Ausführungsform darstellt. Es ist hierin nur so viel des allgemein bekannten Aufbaus und Betriebs eines Empfängers für hochauflösendes Fernsehen und der darin befindlichen Bestandteile gezeigt und beschrieben, wie für die vorliegende Erfindung einzigartig ist und/oder für ein Verständnis der vorliegenden Erfindung nötig ist.
2 stellt ein Film-in-Hochauflösungsvideoformat-Umsetzersystem nach einer Ausführungsform der vorliegenden Erfindung ausführlicher dar. Das Videoformat-Umsetzersystem 200 ist im Videoempfänger 101 ausgeführt und beinhaltet Eingänge 102a und 102b, um Videosignale mit Standardauflösung bzw. mit Hochauflösung zu empfangen. Videosignale mit Hochauflösung, die am Eingang 102b empfangen werden, benötigen trotz des Umstands, dass sie die erhöhte Bildauflösung aufweisen, die für Darstellungen mit Hochauflösung benötigt wird, für eine Darstellung mit Hochauflösung immer noch eine Feldraten-Aufwärtsumsetzung. Das Videoformat-Umsetzersystem 200 beinhaltet auch Ausgänge 103a und 103b mit Standardauflösung bzw. Hochauflösung.
Anstatt eine Bewegungsschätzung an Hochauflösungsbildern mit voller Größe durchzuführen, wird die Bewegungskompensationsverarbeitung bei der vorliegenden Erfindung an herabskalierten Bildern durchgeführt. Dies verringert die Komplexität und die Speicheranforderungen, während der Bewegungsbereich, der unter Verwendung bestehender Bewegungsschätzer für Signale mit Standardauflösung untergebracht werden kann, vergrößert wird.
Ein Multiplexer 201 im Videoformat-Umsetzersystem 200 gestattet, dass, abhängig von der Verfügbarkeit und den Ausgangserfordernissen, von den Eingängen 102a und 102b entweder Videosignale mit Standardauflösung oder mit Hochauflösung zur Verarbeitung gewählt werden. Ein anderer Teil (nicht gezeigt) des Videoempfängers 101 kann eine Aufwärtsumsetzung der räumlichen Auflösung durchführen, um die Felder mit Hochauflösung zu erzeugen. Wenn Videosignale mit Hochauflösung gewählt werden, werden die Rahmen zuerst durch eine Abwärtsumsetzung oder Unterabtastung, die durch die Vorfilterungs- und Abwärtsabtastungseinheit 202 durchgeführt wird, in die Standardauflösung umgesetzt.
Die durch die Einheit 202 durchgeführte Abwärtsabtastung kann einen Abwärtsabtastungsfaktor einsetzen, der für unterschiedliche Hochauflösungsgrößen unterschiedlich ist (z.B. einen Abwärtsabtastungsfaktor von "zwei" sowohl in der vertikalen als auch in der horizontalen Abmessung für ein Bild mit der Größe von 1440 × 1080, und einen Abwärtsabtastungsfaktor entweder von "drei" sowohl in der horizontalen als auch in der vertikalen Abmessung oder von "drei" in der horizontalen Abmessung und von "zwei" in der vertikalen Abmessung für ein Bild mit der Größe von 1920 × 1080). Die Vorfilterung wird in der Einheit 202 vor der Abwärtsabtastung durchgeführt, um Alias-Artefakte zu vermeiden. Die Abwärtsabtastung des vorgefilterten Inhalts um einen Faktor von "2" oder von "3" in beiden Abmessungen kann dann auf Basis der folgenden Gleichungen durchgeführt werden:
Wenn (H_Größe > 1440 und H_Größe <= 2160) oder (V_Größe > 1152 und V_Größe <= 1728): Abwärtsabtastungsfaktor = 3
ansonsten, wenn (H_Größe > 720) oder (V_Größe > 576):
Abwärtsabtastungsfaktor = 2
ansonsten Abwärtsabtastungsfaktor = 1
{keine Abwärtsabtastung benötigt; Bild mit Standardauflösung},
wobei H_Größe die Anzahl der Pixel pro Zeile und V_Größe der Anzahl der Zeilen pro Rahmen ist. Bilder, die größer als 2160 × 1728 sind, benötigen einen Abwärtsabtastungsfaktor von "4" oder höher, was in der vorliegenden Ausführungsform nicht ausgeführt wird.
Ein bestehender Standardauflösungs-Bewegungsschätzer 203, wie etwa der Philips Halbleiter IC SAA4992 (der auch eine bewegungskompensierte Ent-Verschachtelung, eine Rauschverminderung, und eine Bildratenumsetzung für Videosignale mit Standardauflösung bereitstellt), wird dann verwendet, um an den abwärtsabgetasteten Rahmen mit Standardauflösungsgröße Bewegungsvektoren zu erzeugen, vorzugsweise in einer Bewegungsvektor-Überlagerungsbetriebsart, wobei die Bewegungsvektoren als Farbdaten zur Extraktion ohne zusätzliche Funktionalität über das Bild gelegt sind. Die bewegungskompensierte Ent-Verschachtelung, die Rauschverminderung, und die Bildratenumsetzung kann auch durch den Bewegungsschätzer 203 durchgeführt werden.
Die Standardauflösungs-Bewegungsvektoren, die durch den Bewegungsschätzer 203 erzeugt werden, werden dann durch
mvxHD[(Abwärtsabtastungsfaktor) × i, (Abwärtsabtastungsfaktor) × j)]
= (Abwärtsabtastungsfaktor) × mvx (I, j)
mvyHD[(Abwärtsabtastungsfaktor) × i, (Abwärtsabtastungsfaktor) × j)]
= (Abwärtsabtastungsfaktor) × mvy (I, j)
auf Hochauflösungsgeschwindigkeit skaliert.
Es kann festgestellt werden, dass sowohl die Geschwindigkeit (Größe) als auch die Position der Bewegungsvektoren skaliert ist, so dass eine Bewegungsvektoranwendung auf einen Block von 2 × 2 Pixel in einem Bild mit Standardauflösung auf einen Block von (Abwärtsabtastungsfaktor × 2) × (Abwärtsabtastungsfaktor × 2) Pixel anwendbar sein wird. Wenn der Abwärtsabtastungsfaktor "2" ist, sind die Standardauflösung-Bewegungsvektoren für Blöcke von 2 × 2 Pixel daher bei einem Einsatz für Hochauflösungspixel auf das Vierfache der Größe der Bilder mit Standardauflösung skaliert, so dass sich die gleichen Bewegungsvektoren auf 4 × 4 Blöcke von Pixel beziehen.
Das Skalieren führt zu einem Verlust der Genauigkeit der Bewegungsvektoren. Zum Beispiel sind Bewegungsvektoren, die durch den Bewegungsschätzer in Form der integrierten Schaltung SAA4992 erzeugt werden, zu 0,25 Pixel genau. Nach dem Skalieren um einen Faktor von "2" sind die Bewegungsvektoren nominell zu 0,5 Pixel genau, obwohl das Glätten während der Vorfilterung und der Abwärtsabtastung verursacht, dass die wirkliche Genauigkeit weniger genau ist. Die skalierten Bewegungsvektoren sind daher nicht sehr verlässlich, besonders an Rändern.
Die skalierten Bewegungsvektoren werden daher durch die Einheit 204 nachbearbeitet. Die Nachbearbeitung ist nötig, um die skalierten Bewegungsvektoren für eine Hochauflösung geeignet zu machen. Ein großer Quantisierungsfaktor wie etwa der oben beschriebene (Bewegungsvektoren für 2 × 2 Blöcke für 4 × 4 Blöcke eingesetzt) kann störende Artefakte verursachen, insbesondere an Objektgrenzen in den Bildern. Die Nachbearbeitung ist daher für eine Bewegungsglätte nötig, um die globale Geschwindigkeit der Pixel der Standardauflösung im Block auf eine lokale Geschwindigkeit zu verfeinern.
Im Anschluss an die Verfeinerung der skalierten Standardauflösungs-Bewegungsvektoren wird in einer Aufwärtsumsetzungseinheit 205 eine Hochauflösungs-Bewegungskompensation durchgeführt. Ein beliebtes Verfahren der Aufwärtsumsetzung ist das Mitteln, wobei bei einem gegebenen Rahmen, Feld, und den zugehörigen Bewegungsvektoren bewegungskompensierte Pixel vom Rahmen und vom Feld gemittelt werden. Dieses Verfahren ist einfach und leistungsfähig, wenn die Bewegungsvektoren genau sind, so dass bewegungskompensierte Pixelwerte für den Rahmen und das Feld gleich sind. Andernfalls werden Unterschiede zwischen bewegungskompensierten Pixelwerten für den Rahmen und das Feld zu einem Unscharfmachen des Bilds führen, wenn das Mitteln durchgeführt wird.
Das Mitteln ist in Situationen wie etwa Bereichen mit rascher Bewegung nützlich, da das Mitteln dann, wenn eine gute Bewegungskompensation nicht durchgeführt werden kann, den falschen Bewegungsvektor im Bild durch Mitteln der fehlerhaften Kompensation und gleichzeitiges Unscharfmachen des Bilds maskieren wird. Da sich der Subjektbereich schnell bewegt, wird das Auge keinesfalls fähig sein, kleine Einzelheiten wahrzunehmen. Doch dieses Unscharfmachen kann in Bereichen mit langsamer Bewegung unannehmbar werden. Demgemäß wird das Mitteln eingesetzt, wenn das bewegungskompensierte Pixel vom Rahmen dicht am bewegungskompensierten Pixel vom Feld liegt, in welchem Fall die Genauigkeit des Bewegungsvektors angenommen werden kann; oder wenn die Bewegungsvektoren in einem gegebenen Bereich eine hohe Geschwindigkeit aufweisen, wobei sich der bestimmte Bereich schnell über aufeinanderfolgende Rahmen bewegt.
3 veranschaulicht eine Bewegungskompensation unter Verwendung der Nachbarkorrelation für ein Film-in-Hochauflösungsvideoformat-Umsetzersystem nach einer Ausführungsform der vorliegenden Erfindung. Um das Unscharfmachen des Bilds zu vermeiden, ohne eine zusätzliche Bewegungsschätzung zu benötigen, wird für die Bewegungskompensation eine Nachbarkorrelation eingesetzt. Passend skalierte Bewegungsvektoren, die auf Basis der Bilds mit Standardauflösung erzeugt sind, ein (vorhergehender) Rahmen mit Hochauflösung A zur Zeit T, ein (nächstes) Feld mit Hochauflösung B zur Zeit T + 1, und der kausale Bereich des bewegungskompensierten Felds (Pixel A1 bis A5 und die entsprechenden Pixel B1 bis B5) sind alle verfügbar, um bei der Erzeugung eines dazwischenliegenden bewegungskompensierten Felds mit Hochauflösung C zur Zeit T + ½ eine Bewegungskompensation durchzuführen.
Wie vorher erwähnt sind die skalierten Bewegungsvektoren global genau, aber nicht zu 0,5 Pixel oder weniger genau; statt dessen können die skalierten Bewegungsvektoren nur zu ein oder zwei Pixel genau sein, was bedeutet, dass Ränder unscharf werden, wenn eine Bewegungskompensation unter Verwendung des Mittelns durchgeführt wird. Das Unscharfmachen kann jedoch durch Verwenden nur eines aus (a) dem bewegungskompensierten Pixel des Rahmens A, und (b) dem bewegungskompensierten Pixel des Felds B, anstatt beide zu mitteln, vermieden werden.
Man betrachte das Pixel C4 im Feld C und das Problem des Findens eines passenden Werts für dieses Pixel. Pixel A4 im Rahmen A ist das Pixel, das dem bewegungskompensierten Pixel C4 entspricht, und Pixel B4 ist das bewegungskompensierte Pixel im Feld B, das dem Pixel C4 entspricht. Wenn die Pixel. A4 und B4 gemittelt werden ist:
Wenn A4 und B4 sehr unterschiedlich sind, was bedeutet, dass entweder der Bewegungsvektor ungenau ist, oder ein Bereich durch die Bewegung an diesem Pixel verdeckt oder nicht verdeckt ist, sollte das Mitteln vermieden werden und nur eines der beiden Pixel A4 und B4 (anstatt beider) für die Bewegungskompensation eingesetzt werden – das heißt, C4 = A4 oder C4 = B4. Die Wahl von A4 oder B4 erfolgt auf der Basis der Korrelation zwischen Nachbarn des Pixels C4 und entsprechenden Nachbarn der Pixel A4 und B4. Wenn zufällige Nachbarn des Pixels C4 den Gegenstück-Nachbarn des Pixels A entsprechen, wird der Wert des Pixels A4 als der Wert des Pixels C4 gewählt; falls nicht, werden die Nachbarn des Pixels C4 mit den Nachbarn des Pixels B4 verglichen und wird, bei einer Übereinstimmung innerhalb einer bestimmten Grenze, der Wert des Pixels B4 als der Wert des Pixels C4 gewählt:
wenn (A_Korrelation < Schwelle) C4 = A4
andernfalls, wenn (B_Korrelation < Schwelle) C4 = B4
wobei A_Korrelation = |(A1-C1)| + |(A2-C2)| + |(A3-C3| + |(A5-C5)|,
und B_Korrelation = |(B1-C1)| + |(B2-C2)| + |(B3-C3| + |(B5-C5)|.
Die Verwendung benachbarter Pixel von Feld C, die bereits bewegungskompensiert wurden, hilft bei der Bestätigung, dass der Pixelwert vom richtigen Rahmen/Feld verwendet wird. Vieles der Unschärfe, die sich aus dem Mitteln ergibt, wird beseitigt, was ein scharfes bewegungskompensiertes Bild ergibt. Falls Bereiche verdeckt oder nicht verdeckt sind, gestattet dieses Verfahren der Bewegungskompensation, dass der bessere Pixelwert der beiden verfügbaren gewählt wird, wodurch die verdeckten oder nicht verdeckten Bereiche verbessert werden.
4 ist ein höheres Ablaufdiagramm für einen Vorgang der Film-in-Hochauflösungsvideoformat-Umsetzung nach einer Ausführungsform der vorliegenden Erfindung. Der Vorgang 400 beginnt damit, dass ein Videosignal für eine Feldraten-Aufwärtsumsetzung empfangen wird (Schritt 401). Wenn sich das empfangene Videosignal bei einer räumlichen Auflösung oder Größe mit Hochauflösung befindet, wird das empfangene Feld zuerst vorgefiltert und auf eine räumliche Standardauflösung abwärtsabgetastet (Schritt 402).
Dann wird am abwärtsabgetasteten Videofeld mit Standardauflösung eine Bewegungsschätzung gemäß der bekannten Technik durchgeführt (Schritt 403), und werden die sich ergebenden Bewegungsvektoren dann zur Verwendung in der Feldraten-Aufwärtsumsetzung von Hochauflösungs-Videofeldern skaliert und nachbearbeitet (Schritt 404). Die Feldrate für Hochauflösungs-Videofelder wird dann unter Verwendung der skalierten, nachbearbeiteten Bewegungsvektoren mit Bewegungskompensation aufwärtsumgesetzt (Schritt 405). Der Vorgang dauert iterativ an, bis das Videosignal verloren wird oder auf andere Weise beendet wird.
Die vorliegende Erfindung stellt eine kostenwirksame Verbesserung für die Bewegungsdarstellung von Filmmaterial, das für eine Darstellung mit Hochauflösung aufwärtsumgesetzt wird, bereit. Die Verfeinerung von Bewegungsvektoren, die an abwärtsabgetasteten Feldern mit Standardauflösung geschätzt wurden, zur Verwendung bei der Feldraten-Aufwärtsumsetzung von Feldern mit Hochauflösung stellt eine bessere Bildqualität bereit – und bewahrt insbesondere mehr Schärfe – als unter Verwendung traditioneller Verfahren erhalten wird.
Es ist wichtig, zu bemerken, dass Fachleute trotz der Beschreibung der vorliegenden Erfindung im Kontext eines voll funktionsfähigen Videoempfängers verstehen werden, dass zumindest Teile der Mechanismen der vorliegenden Erfindung fähig sind, in der Form eines maschinenverwendbaren Mediums verbreitet zu werden, das Befehle in einer Vielfalt von Formen enthält, und dass die vorliegende Erfindung unabhängig von der besonderen Art des signaltragenden Mediums, das zur tatsächlichen Ausführung der Verteilung benutzt wird, gleichermaßen Anwendung findet. Beispiele für maschinenlesbare Medien beinhalten nichtflüchtige, hartcodierte Medien wie etwa Nurlesespeicher (ROMs) oder löschbare, elektrisch programmierbare Nurlesespeicher (EEPROMs), beschreibbare Medien wie etwa Floppy-Disks, Festplattenlaufwerke und Compact-Disk-Nurlesespeicher (CD-ROMs), oder digitale Videoplatten (DVDs), und Medien vom Übertragungstyp wie etwa digitale und analoge Kommunikationsverbindungen.
Obwohl die vorliegende Erfindung ausführlich beschrieben wurde, werden Fachleute verstehen, dass die verschiedenen Merkmale, die in den verschiedenen Ausführungsformen beschrieben wurden, auf andere Weisen als ausdrücklich offenbart kombiniert werden können. Die Erfindung ist nur durch die beiliegenden Patentansprüche beschränkt.

Fig. 1

Input Video: Eingangsvideo
Receiver: Empfänger
Display: Anzeige
Output Video: Ausgangsvideo

Fig. 2

SD Input: Eingang mit Standardauflösung
HD Input: Eingang mit Hochauflösung
202: Vorfilterungs- und Abwärtsabtastungseinheit
201: Multiplexer
203: Standardauflösungs-Bewegungsschätzer
SD Motion Vectors: Standardauflösungs-Bewegungsvektoren
204: Bewegungsvektor-Nachbearbeitung
HD Motion Vectors: Hochauflösung-Bewegungsvektoren
205: Hochauflösungs-Aufwärtsumsetzung
SD Output: Ausgang mit Standardauflösung
HD Output: Ausgang mit Hochauflösung

Fig. 4

401: Empfang des Videosignals
402: Vorfilterung und Abwärtsabtastung zu Standardauflösung (falls nötig)
403: Schätzung der Bewegungskompensation für Felder mit Standardauflösung
404: Skalierung und Nachbearbeitung der Bewegungsvektoren für Hochauflösung
405: Aufwärtsumsetzung der Feldrate mit Bewegungskompensation

Claims

Videoformat-Umsetzersystem für die bewegungskompensierte Feldraten-Aufwärtsumsetzung eines Materials mit Hochauflösung in ein Videoformat mit Hochauflösung, gekennzeichnet durch: – eine Abwärtsabtastungseinheit (202), um empfangene Felder mit Hochauflösungsgröße zu Feldern mit Standardauflösungsgröße abwärtsabzutasten; – einen Standardauflösungs-Bewegungsschätzer (203), um Bewegungsvektoren für die bewegungskompensierte Feldraten-Aufwärtsumsetzung der Felder mit Standardauflösungsgröße zu erzeugen; – eine Skalierungseinheit (204), um die Bewegungsvektoren zur Verwendung bei der Hochauflösungsfeldraten-Aufwärtsumsetzung zu skalieren; und – einen Feldratenumsetzer (205), der die skalierten Bewegungsvektoren zur bewegungskompensierten Feldraten-Aufwärtsumsetzung der Felder mit Hochauflösungsgröße einsetzt.
Videoformat-Umsetzersystem nach Anspruch 1, wobei die Skalierungseinheit (204) dazu eingerichtet ist, die skalierten Bewegungsvektoren für eine Bewegungsglätte in den feldraten-aufwärtsumgesetzten Feldern mit Hochauflösungsgröße nachzubearbeiten.
Videoformat-Umetzersystem nach Anspruch 1, wobei der Feldratenumsetzer (205) dazu eingerichtet ist, einen vorhergehenden Rahmen (A) und ein nachfolgendes Feld (B) für die Bewegungskompensation eines Zwischenfelds (C) zu mitteln, wenn ein bewegungskompensierter Pixelwert vom vorhergehenden Rahmen (A) innerhalb eines Schwellenunterschieds zu einem bewegungskompensierten Pixelwert vom nachfolgenden Feld (B) liegt.
Videoformat-Umsetzersystem nach Anspruch 1, wobei der Feldratenumsetzer (205) dazu eingerichtet ist, einen vorhergehenden Rahmen (A) und ein nach folgendes Feld (B) für die Bewegungskompensation eines Zwischenfelds (C) zu mitteln, wenn die Bewegungsvektoren eine hohe Geschwindigkeit aufweisen.
Videoformat-Umsetzersystem nach Anspruch 1, wobei der Feldratenumsetzer (205) bei der Durchführung der Bewegungskompensation für ein Zwischenfeld dazu eingerichtet ist, eines aus einem bewegungskompensierten Pixelwert von einem vorhergehenden Rahmen (A) und einem bewegungskompensieren Pixelwert von einem nachfolgenden Feld (B) als einen bewegungskompensierten Pixelwert im Zwischenfeld (C) zu wählen.
Videoformat-Umsetzersystem nach Anspruch 5, wobei der Feldratenumsetzer (205) dazu eingerichtet ist, den bewegungskompensierten Pixelwert vom vorhergehenden Rahmen (A) als den bewegungskompensieren Pixelwert im Zwischenfeld (C) zu wählen, wenn ein Unterschied zwischen dem bewegungskompensierten Pixelwert vom vorhergehenden Rahmen (A) und einem vorläufigen bewegungskompensierten Pixelwert im Zwischenfeld (C) geringer als ein Schwellenausmaß ist.
Videoformat-Umsetzersystem nach Anspruch 5, wobei der Feldratenumsetzer (205) dazu eingerichtet ist, den bewegungskompensierten Pixelwert vom nachfolgenden Feld (B) als den bewegungskompensierten Pixelwert im Zwischenfeld (C) zu wählen, wenn ein Unterschied zwischen dem bewegungskompensieren Pixelwert vom nachfolgenden Feld (B) und einem vorläufigen bewegungskompensierten Pixelwert im Zwischenfeld (C) geringer als ein Schwellenausmaß ist.
Videoempfänger, umfassend einen Eingang (102) zum Empfang von Videosignalen, gekennzeichnet durch: – ein Videoformat-Umsetzersystem (200) nach einem der Ansprüche 1 bis 7.
Videoformat-Umsetzersystem nach einem der Ansprüche 1 bis 7 oder Videoempfänger nach Anspruch 8, wobei das Material mit Hochauflösung Filmmaterial ist.
Verfahren für die bewegungskompensierte Feldraten-Aufwärtsumsetzung eines Materials mit Hochauflösung in ein Videoformat mit Hochauflösung, gekennzeichnet durch: – Abwärtsabtasten von empfangenen Feldern mit Hochauflösungsgröße zu Feldern mit Standardauflösungsgröße; – Erzeugen von Bewegungsvektoren für die bewegungskompensierte Feldraten-Aufwärtsumsetzung der Felder mit Standardauflösungsgröße; – Skalieren der Bewegungsvektoren zur Verwendung bei der Hochauflösungsfeldraten-Aufwärtsumsetzung; und – Einsetzen der skalierten Bewegungsvektoren zur bewegungskompensierten Feldraten-Aufwärtsumsetzung der Felder mit Hochauflösungsgröße.
Verfahren nach Anspruch 10, ferner umfassend: – Nachbearbeiten der skalierten Bewegungsvektoren für eine Bewegungsglätte in den feldraten-aufwärtsumgesetzten Feldern mit Hochauflösungsgröße.
Verfahren nach Anspruch 10, ferner umfassend: – Mitteln eines vorhergehenden Rahmens und eines nachfolgenden Felds für die Bewegungskompensation eines Zwischenfelds, wenn ein bewegungskompensierter Pixelwert von einem vorhergehenden Rahmen innerhalb eines Schwellenunterschieds zu einem bewegungskompensierten Pixelwert von einem nachfolgenden Feld liegt.
Verfahren nach Anspruch 10, ferner umfassend: – Mitteln eines vorhergehenden Rahmens und eines nachfolgenden Felds für die Bewegungskompensation eines Zwischenfelds, wenn die Bewegungsvektoren eine hohe Geschwindigkeit aufweisen.
Verfahren nach Anspruch 10, ferner umfassend: – Wählen eines aus einem bewegungskompensierten Pixelwert von einem vorhergehenden Rahmen und einem bewegungskompensierten Pixelwert von einem nachfolgenden Feld als einen bewegungskompensierten Pixelwert im Zwischenfeld für die Bewegungskompensation für das Zwischenfeld.
Verfahren nach Anspruch 14, ferner umfassend: – Wählen des bewegungskompensierten Pixelwerts vom vorhergehenden Rahmen als den bewegungskompensierten Pixelwert im Zwischenfeld, wenn ein Unterschied zwischen dem bewegungskompensierten Pixelwert vom vorhergehenden Rahmen und einem vorläufigen bewegungskompensierten Pixelwert im Zwischenfeld geringer als ein Schwellenausmaß ist.
Verfahren nach Anspruch 14, ferner umfassend: – Wählen des bewegungskompensierten Pixelwerts vom nachfolgenden Feld als den bewegungskompensierten Pixelwert im Zwischenfeld, wenn ein Unterschied zwischen dem bewegungskompensierten Pixelwert vom nachfolgenden Feld und einem vorläufigen bewegungskompensierten Pixelwert im Zwischenfeld geringer als ein Schwellenausmaß ist.
Verfahren nach einem der Ansprüche 10 bis 16, wobei das Material mit Hochauflösung Filmmaterial ist.