DE60122382T2 - Vorrichtung und verfahren zur bereitstellung einer nützlichkeitsmetrik auf der grundlage der codierung von informationen zur verbesserung von videosignalen - Google Patents

Vorrichtung und verfahren zur bereitstellung einer nützlichkeitsmetrik auf der grundlage der codierung von informationen zur verbesserung von videosignalen Download PDF

Info

Publication number
DE60122382T2
DE60122382T2 DE60122382T DE60122382T DE60122382T2 DE 60122382 T2 DE60122382 T2 DE 60122382T2 DE 60122382 T DE60122382 T DE 60122382T DE 60122382 T DE60122382 T DE 60122382T DE 60122382 T2 DE60122382 T2 DE 60122382T2
Authority
DE
Germany
Prior art keywords
signal
digital video
coding
video signal
previously encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60122382T
Other languages
English (en)
Other versions
DE60122382D1 (de
Inventor
Lilla Boroczky
Johan Janssen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IPG Electronics 503 Ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE60122382D1 publication Critical patent/DE60122382D1/de
Publication of DE60122382T2 publication Critical patent/DE60122382T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Description

  • Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Verbesserung der Qualität eines digitalen Videosignals unter Verwendung von Codierung von Informationen. Die Vorrichtung und das Verfahren der Erfindung verbessern die Schärfe von codiertem oder umcodiertem Digitalvideo ohne Verbesserung von Codierungsbildfehlern gemäß den beigefügten Ansprüchen 1 und 10. Die Erfindung kann in Verbindung mit Schärfeverbesserungsalgorithmen im räumlichen Bereich verwendet werden, die in Multimediageräten verwendet werden.
  • Die Entwicklung von Multimediageräten hoher Qualität, wie beispielsweise Set-Top-Boxen, High-End-Fernseher, Digitalfernseher, Personal Television, Speicherprodukte, persönliche digitale Assistenten (PDA), drahtlose Internetgeräte, usw. führt zu einer Vielzahl von Architekturen und zu mehr Offenheit gegenüber neuen Merkmalen für diese Geräte. Die Entwicklung dieser neuen Produkte und ihrer Fähigkeit, Videodaten in jedem Format anzuzeigen, hat neue Anforderungen und Möglichkeiten in Bezug auf Videoverarbeitung und Algorithmen zur Verbesserung von Videosignalen ergeben. Die meisten dieser Geräte empfangen und/oder speichern Video im MPEG-2-Format. In der Zukunft werden viele dieser Geräte auch Video im MPEG-4-Format empfangen und/oder speichern. Die Bildqualität dieser MPEG-Quellen kann zwischen sehr gut und extrem schlecht variieren.
  • Speichervorrichtungen der nächsten Generation, wie auf Blue Laser basierende Digital-Videorecorder werden zu einem gewissen Grad über Hochauflösungs-Fähigkeit (HD) verfügen. Ein Digital-Videorecorder (DVR) ist ein gutes Beispiel eines Gerätetyps für den ein neues Verfahren der Videobildverbesserung vorteilhaft wäre. Ein HD-Programm wird typischerweise bei zwanzig Millionen Bits pro Sekunde (20 Mb/s) gesendet und gemäß dem MPEG-2-Videostandard codiert. Die Speicherkapazität eines Digital-Videorecorders liegt im Bereich von ungefähr zwanzig bis fünfundzwanzig Gigabytes (20 GB bis 25 GB). Dies stellt pro Video-Disk ungefähr zwei (2) Stunden Aufnahmezeit für HD-Video dar.
  • Um den Betrag an Aufnahmezeit pro Video-Disk zu vergrößern, können Longplay-Modi definiert werden. Zum Beispiel kann in einem Longplay-Modus (LP) eine gesendete Bitrate von zwanzig Millionen Bits pro Sekunde (20 Mb/s) bei einer Speicherbitrate von zehn Millionen Bits pro Sekunde (10 Mb/s) aufgezeichnet werden. Dies wird ungefähr vier (4) Stunden Aufnahmezeit pro Video-Disk bereitstellen. In einem Extended Long Play (ELP) Modus kann eine gesendete Bitrate von zwanzig Millionen Bits pro Sekunde (20 Mb/s) bei einer Speicherbitrate von fünf Millionen Bits pro Sekunde (5 Mb/s) aufgezeichnet werden. Dies wird pro Video-Disk ungefähr acht (8) Stunden Aufnahmezeit bereitstellen.
  • Das Verfahren des Transformierens eines Bitstroms mit einer hohen Bitrate in einen Bitstrom mit einer niedrigeren Bitrate wird als „Bitraten-Umcodierung" bezeichnet. Ein Verfahren zur Umcodierung eines Bitstroms mit einer hohen Bitrate in einen Bitstrom mit einer niedrigen Bitrate beinhaltet die Schritte des Decodierens des Bitstroms mit der hohen Rate mit einem MPEG-2-Decoder und dann das Codieren des resultierenden Bitstroms bei der niedrigeren Bitrate. Ein anderes Verfahren zum Umcodieren eines Bitstroms mit hoher Bitrate umfasst das direkte Umcodieren des Bitstroms in eine niedrigere Bitrate, ohne das Video vollständig zu decodieren und wieder zu codieren. Dieses Verfahren ist als Direct Bitrate Transcoding (DBT) bekannt.
  • Das Verfahren des MPEG-2-Umcodierens kann die Bildqualität (z.B. Schärfe) der Videosequenz aufgrund des Verlusts von Informationen mindern. Es ist indes wünschenswert, dass die Bildqualität nicht zu sehr beeinträchtigt wird. Dies ist insbesondere für den Longplay-Modus (LP) wichtig. Aus diesem Grund spielt die Nachverarbeitung der umcodierten Videosignale eine wichtige Rolle bei der Verbesserung der wahrgenommenen Bildqualität.
  • Die meisten Schärfeverbesserungsalgorithmen des neuesten Standes der Technik wurden für analoge Videoübertragungsstandards, wie NTSC, PAL und SECAM entwickelt und optimiert. Traditionell reduzieren Bildverbesserungsalgorithmen entweder bestimmte unerwünschte Aspekte in einem Bild (z.B. Rauschminderung) oder verbessern bestimmte erwünschte Eigenschaften eines Bildes (z.B. Schärfeverbesserung). Für die neu erscheinenden Digitalspeichergeräte, Digitalfernseher, Set-Top-Boxen, und andere gleichartige Geräte kann die Leistung der herkömmlichen Schärfeverbesserungsalgorithmen auf MPEG-codiertem oder umcodiertem Video aufgrund der unterschiedlichen Eigenschaften dieser Quellen suboptimal sein. In einer geschlossenen Videoverarbeitungskette eines Speichersystems können Informationen, die das Bestimmen chersystems können Informationen, die das Bestimmen der Qualität der codierten Quelle ermöglichen, vom MPEG-Strom abgeleitet werden. Diese Informationen können potentiell verwendet werden, um die Leistung der Algorithmen zur Verbesserung von Videosignalen zu steigern.
  • Da die Bildqualität ein Unterscheidungsfaktor für High-End-Videoprodukte bleiben wird, werden neue Ansätze beim Durchführen von Bildverbesserung, die spezifisch zur Verwendung mit diesen digitalen Quellen angepasst sind, nutzbringend sein. In einem Dokument mit dem Titel „A Compressed Video Enhancement Algorithm" von C. J. Tsai, P. Karunaratne, N. P. Galatsanos und A. K. Katsaggelos, Proc. of IEEE, ICIP '99, Kobe, Japan, 25.–28. Okt. 1999, schlagen die Autoren einen iterativen Algorithmus zum Verbessern von Videosequenzen, die bei niedrigen Bitraten codiert sind, vor. Für MPEG-Quellen, geht die Verschlechterung der Bildqualität hauptsächlich aus der Quantisierungsfunktion hervor. Daher verwendet der iterative Gradientenprojektionsalgorithmus, der durch die Autoren verwendet wird, Codierungsinformationen wie beispielsweise die Quantisierungsschrittweite, Makroblocktypen und Vorwärtsbewegungsvektoren in seiner Kostenfunktion. Der Algorithmus zeigt für Video mit niedriger Bitrate viel versprechende Ergebnisse. Sein Hauptnachteil ist indes seine hohe Rechenkomplexität.
  • In einem Dokument mit dem Titel „Improved Decoding of MPEG-2 Coded Video" von B. Martins und S. Forchammer, Proc. of IBC 2000, S. 109–115, Amsterdam, Niederlande, 7.–12. September 2000 beschreiben die Autoren ein neues Konzept zur Verbesserung der Decodierung von MPEG-2 codiertem Video. Insbesondere wird ein einheitlicher Ansatz für Deinterlacing und Formatkonvertierung, der in das Decodierungsverfahren integriert ist, vorgeschlagen. Die Technik ergibt eine beträchtlich höhere Bildqualität als diejenige, die durch herkömmliches Decodieren erhalten wird. Bis heute verhindert ihre Rechenkomplexität indes ihre Ausführung in Unterhaltungsanwendungen.
  • Beide Dokumente beschreiben Algorithmen zur Verbesserung von Videosignalen unter Verwendung von MPEG-Codierinformationen. Beide dieser Szenarien kombinieren, zusätzlich dazu, dass sie unpraktisch sind, indes die Verbesserung und die Kostenfunktion. Eine Kostenfunktion bestimmt, wie viel Verbesserung und an welchen Orten im Bild angewendet werden kann. Das Problem, das sich aus dieser Kombination von Kosten- und Verbesserungsfunktionen ergibt, ist, dass mit der Kostenfunktion nur ein Algorithmus verwendet werden kann.
  • Die Patenanmeldung WO 00/42778 der Erfinder Scognamiglio et. al offenbart ein Verfahren zur Schärfeverbesserung. Ein Eingangssignal wird gefiltert, um ein gefiltertes Signal zu erhalten, das mit einem steuerbaren Teil multipliziert wird, zu dem das Eingangssignal addiert wird.
  • Die Patentanmeldung WO 01/45389 der Erfinder Shen et al. offenbart ein Verfahren und eine Vorrichtung für selektive Entzerrung von Teilen eines Videosignals. Gemäß der Erfindung kann Entzerrung basierend auf DCT-Koeffizienten des Videosignals durchgeführt werden.
  • In „Pre- and Post-Processing Algorithms for Compressed Video Enhancement", Conference Record of the 34th Asilomar Conference on Signals, Systems and Computers, Pacific Grove, California, 29. Okt.–1. Nov. 2000, S. 1369–1373, 29. Oktober 2000, erläutern die Autoren Segall und Katsaggelos verschiedene Vor- und Nachverarbeitungstechniken für Videokompressions- und Verbesserungsalgorithmen.
  • Es wäre daher wünschenswert, über eine Vorrichtung und ein Verfahren zur Verbesserung von Videosignalen zu verfügen, die in der Lage sind, codierte und umcodierte Videoquellen effektiv zu verbessern.
  • Die vorliegende Erfindung umfasst allgemein eine Vorrichtung und ein Verfahren zum Verbessern der Qualität eines digitalen Videosignals unter Verwendung der Codierung von Informationen. Die Erfindung umfasst eine Nützlichkeitsmetrik, die berechnet, in welchem Maß jeder einzelne Pixel verbessert werden kann, ohne Codierungsbildfehler zu steigern.
  • Die Vorrichtung umfasst einen Nützlichkeitsmetrikgenerator, der in der Lage ist, eine Grenze für das Ausmaß an Schärfeverbesserung eines Bildes zu bestimmen, die auf ein vorhergehend codiertes Digitalvideo angewendet werden kann, das eine Sequenz von Bildern darstellt, ohne Codierbildfehler zu verbessern. Der Nützlichkeitsmetrikgenerator wendet die Nützlichkeitsmetrik auf mindestens einen Schärfeverbesserungsalgorithmus an. Die Nützlichkeitsmetrik und der Schärfeverbesserungsalgorithmus sind getrennt, so dass die Nützlichkeitsmetrik mit einer Vielzahl von Algorithmen zur Verbesserung von Videosignalen verwendet werden kann.
  • Eine primäre Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung und ein Verfahren zu schaffen, die eine Nützlichkeitsmetrik verwenden, um die Anwendung eines Algorithmus zur Verbesserung von Videosignalen auf Digitalvideo zu regeln.
  • Eine weitere Aufgabe der vorliegenden Erfindung ist das Schaffen einer Nützlichkeitsmetrik, die getrennt von einem Algorithmus zur Verbesserung von Videosignalen ist, so dass eine Vielzahl von unterschiedlichen Algorithmen zur Verbesserung von Videosignalen in Verbindung mit der Nützlichkeitsmetrik verwendet werden kann.
  • Eine weitere Aufgabe der vorliegenden Erfindung ist das Schaffen einer Vorrichtung und eines Verfahrens, in dem eine Nützlichkeitsmetrik auf die Einschränkungen der Vorrichtung abgestimmt werden kann, um einen optimalen Kompromiss zwischen Leistung und Komplexität der Vorrichtung zu gewährleisten.
  • Eine weitere Aufgabe der Erfindung ist das Schaffen einer Vorrichtung und eines Verfahrens zur Verbesserung von digitalen Videosignalen, die mit codierten oder umcodierten Videoquellen optimale Leistungen bringen.
  • Vorhergehend wurden die Merkmale und technischen Vorteile der vorliegenden Erfindung recht breit umrissen, derart, dass Fachleute die nachfolgende detaillierte Beschreibung der Erfindung besser verstehen können. Zusätzliche Merkmale und Vorteile der Erfindung, die den Gegenstand der Ansprüche der Erfindung bilden, werden hiernach beschrieben. Fachleute sollten verstehen, dass das Konzept der Erfindung und die spezifische offenbarte Ausführungsform leicht als Basis zur Änderung oder Konstruktion anderer Strukturen verwendet werden können, um die gleichen Zwecke der vorliegenden Erfindung auszuführen. Fachleute sollten auch verstehen, dass solche gleichartige Konstruktionen nicht vom Geist und Anwendungsbereich der Erfindung in ihrer breitesten Form abweichen.
  • Bevor mit der detaillierten Beschreibung der Erfindung begonnen wird, ist es von Vorteil, Definitionen von einigen Wörtern und Ausdrücken, die in dieser Patentschrift durchweg verwendet werden, darzulegen: die Begriffe „beinhalten" und „umfassen" und Ableitungen davon, bedeuten Einschluss ohne Einschränkung; der Begriff „oder" ist einschließend und bedeutet und/oder; die Ausdrücke „in Verbindung mit" oder „damit verbunden" sowie Ableitungen davon, bedeuten, einschließen, darin eingeschlossen sein, verbunden mit, enthalten, darin enthalten sein, verbunden an oder mit, gekoppelt an oder mit, übertragbar auf, zusammenwirkend mit, verschachteln, gegenüberstellen, sich in der Nähe von befinden, an etwas angebunden oder mit etwas verbunden sein, haben, eine Eigenschaft von haben, oder dergleichen; und der Begriff „Controller", „Prozessor" oder „Vorrichtung" bedeutet jede Art von Gerät, System oder Teil davon, das mindestens eine Operation steuert, ein solches Gerät kann in Hardware, Firmware oder Software oder einer Kombination von mindestens zwei derselben ausgeführt werden. Es sollte darauf hingewiesen werden, dass die Funktion, die mit irgendeinem bestimmten Controller verbunden ist, zentralisiert oder dezentral, ob lokal oder entfernt, sein kann. Insbesondere kann ein Controller einen oder mehrere Datenprozessoren und damit verbundene Eingangs-/Ausgangsgeräte und Speicher umfassen, die ein oder mehrere Anwendungsprogramme und/oder ein Betriebssystemprogramm ausführen. Definitionen für bestimmte Begriffe und Ausdrücke werden in dieser Patentschrift durchweg bereitgestellt. Durchschnittsfachleute sollten verstehen, dass viele, wenn nicht sogar die meisten Instanzen solcher Definitionen vorhergehende sowie zukünftige Verwendungen von solchen Begriffen und Ausdrücken betreffen.
  • Für ein vollständigeres Verständnis der vorliegenden Erfindungen und der Vorteile davon wird nun Bezug auf die folgenden Beschreibungen in Verbindung mit den begleitenden Zeichnungen genommen, in denen gleiche Zeichen gleiche Elemente bezeichnen und wobei:
  • 1 ein Blockdiagramm eines Beispiels eines digitalen Fernsehgeräts ist, das die Vorrichtung und das Verfahren der vorliegenden Erfindung umfasst;
  • 2 ein Blockdiagramm ist, das eine vorteilhafte Ausführungsform einer adaptiven Entzerrungseinheit ist, die einen Nützlichkeitsmetrikgenerator und einen Codiergewinn-Steuerblock der vorliegenden Erfindung umfasst;
  • 3 ein Diagramm ist, das ein Schaubild einer Funktion zeigt, die eine Nützlichkeitsmetrik der Erfindung gegen einen Quantisierungsparameter darstellt;
  • 4 ein Blockdiagramm ist, das eine alternative vorteilhafte Ausführungsform einer adaptiven Entzerrungseinheit veranschaulicht, die einen Nützlichkeitsmetrikgenerator und einen Codiergewinn-Steuerblock der vorliegenden Erfindung umfasst;
  • 5 ein Flussdiagramm ist, das eine vorteilhafte Ausführungsform des Betriebsverfahrens der vorliegenden Erfindung veranschaulicht.
  • 1 bis 5, die nachfolgend erörtert werden, und die verschiedenen Ausführungsformen, die in dieser Patentschrift dargelegt werden, um die Grundsätze der Vorrichtung und des Verfahrens der vorliegenden Erfindung zu beschreiben, dienen lediglich der Veranschaulichung und sollten keinesfalls als den Anwendungsbereich der Erfindung einschränkend aufgefasst werden. Die Vorrichtung und das Verfahren der vorliegenden Erfindung werden als eine Vorrichtung und ein Verfahren zur Verbesserung eines Videosignals in einem digitalen Fernsehgerät beschrieben. Es ist wichtig, zu verstehen, dass die Vorrichtung und das Verfahren der vorliegenden Erfindung nicht auf digitale Fernsehgeräte beschränkt sind. Fachleute werden leicht verstehen, dass die Grundsätze der vorliegenden Erfindung auch in irgendeiner Art von digitalem Videosystem, einschließlich aber nicht ausschließlich Fernsehempfängern, Set-Top-Boxen, Speichergeräten, Computervideo-Anzeigesystemen und irgendeiner Art von elektronischer Ausrüstung, die digitale Videosignale verwendet oder verarbeitet, erfolgreich angewandt werden können. Der Begriff „digitales Videosystem" wird verwendet, um diese Typen von Ausrüstung zu bezeichnen. In den nachfolgenden Beschreibungen wird ein digitales Fernsehgerät als eine Veranschaulichung eines digitalen Videosystems verwendet.
  • 1 ist ein Blockdiagramm eines digitalen Fernsehgeräts 100, das die Vorrichtung und das Verfahren der vorliegenden Erfindung verwendet. Das digitale Fernsehgerät 100 umfasst einen Fernsehempfänger 110 und eine Anzeigeeinheit 115. Die Anzeigeeinheit 115 kann eine Kathodenstrahlröhre oder ein Flachbildschirm oder irgendein Typ von Ausrüstung zum Anzeigen von Videobildern sein. Der Fernsehempfänger 110 umfasst die Antenne 105 zum Empfangen von Fernsehsignalen. Die Antenne 105 ist an eine Abstimmvorrichtung 120 gekoppelt. Die Abstimmvorrichtung 120 ist mit dem Zwischenfrequenzprozessor („ZF") 125 gekoppelt. Der ZF-Prozessor 125 ist an den MPEG-Decoder 130 gekoppelt.
  • Wie vollständiger erklärt werden wird, berechnet die vorliegende Erfindung eine Nützlichkeitsmetrik zur Verbesserung (Usefulness Metric for Enhancement – UME) zum Verbessern der Videosignalqualität. Der Ausgang des MPEG-Decoders 130 ist an die Nachverarbeitungsschaltungen 135 gekoppelt. Die Nachverarbeitungsschaltungen 135 umfassen die adaptive Entzerrungseinheit 140, die die Nützlichkeitsmetrik (UME) der vorliegenden Erfindung umfasst. Die adaptive Entzerrungseinheit 140 kann an einem geeigneten Ort innerhalb der Nachverarbeitungsschaltungen 135 untergebracht sein. Der Ausgang der Nachverarbeitungsschaltungen 135 wird in die Anzeigeeinheit 115 eingegeben.
  • Die adaptive Entzerrungseinheit 140 verarbeitet die Videosignale, die sie vom MPEG-Decoder 130 empfängt. Die adaptive Entzerrungseinheit 140 verwendet die Nützlichkeitsmetrik (UME) zum Erzeugen eines Wertes eines Codiergewinns zur Verwendung im adaptiven Entzerrungsverfahren. Das Verfahren der adaptiven Entzerrung ist veranschaulichend und zeigt wie die Nützlichkeitsmetrik (UME) der vorliegenden Erfindung verwendet werden kann. Es versteht sich, dass die Vorrichtung und das Verfahren der vor liegenden Erfindung nicht auf das Verfahren der adaptiven Entzerrung beschränkt sind. Die Nützlichkeitsmetrik (UME) kann mit mehr als einem Typ von Algorithmus zur Verbesserung von Videosignalen verwendet werden.
  • Die adaptive Entzerrungseinheit 140 verarbeitet die Videosignale auf eine Weise, die die codierten Informationen im Videosignal berücksichtigt. Der Ausgang der adaptiven Entzerrungseinheit 140 ist ein verbessertes Luminanzsignal für die Videosignale, die die adaptive Entzerrungseinheit 140 vom MPEG-Decoder 130 empfängt. Das Luminanzsignal, das durch die adaptive Entzerrungseinheit 140 bestimmt wird, stellt ein genaueres und visuell deutlicheres Videobild bereit als dasjenige, das von adaptiven Entzerrungseinheiten des bisherigen Standes der Technik bereitgestellt wird. Die adaptive Entzerrungseinheit 140 überträgt das verbesserte Luminanzsignal an andere Schaltungen innerhalb der Nachverarbeitungsschaltungen 135. Die Nachverarbeitungsschaltungen 135 sind in der Lage, das verbesserte Luminanzsignal zu verwenden, um die Qualität von Videosignalen zu verbessern.
  • Die Nachverarbeitungsschaltungen 135 sind in der Lage, verschiedene unterschiedliche Typen von Videosignalverarbeitung durchzuführen. Zum Beispiel umfassen einige der Videosignal-Verarbeitungsanwendungen (a) rauschpegeladaptive Rauschminderungsalgorithmen, (b) rauschpegeladaptive Schärfeverbesserung, (c) rauschpegeladaptive Luminanz-Chrominanz-Trennung, (d) rauschpegeladaptive Bewegungsdetektion, (e) rauschpegeladaptive Bewegungsschätzung und Kompensation, (f) rauschpegeladaptive Hochkonvertierung, (g) rauschpegeladaptive Merkmalverbesserung, und (h) rauschpegeladaptive objektbasierte Algorithmen.
  • 2 ist ein Blockdiagramm, das die Vorrichtung und das Verfahren der adaptiven Entzerrungseinheit 140 gemäß einer vorteilhaften Ausführungsform der vorliegenden Erfindung veranschaulicht. 2 veranschaulicht, wie die Nützlichkeitsmetrik (UME) der vorliegenden Erfindung auf einen adaptiven Entzerrungsalgorithmus zur Schärfeverbesserung angewendet werden kann. Der adaptive Entzerrungsalgorithmus ist darauf ausgerichtet, die Amplitude des Transienten eines Eingangs-Luminanzsignals 210 zu steigern. Der adaptive Entzerrungsalgorithmus stellt nicht immer eine optimale Videoqualität für eine von vornherein codierte/umcodierte Videoquelle bereit. Dies ist hauptsächlich ein Ergebnis der Tatsache, dass die Eigenschaften der MPEG-Quelle nicht in Betracht gezogen werden.
  • In der vorliegenden Erfindung generiert ein Nützlichkeitsmetrikgenerator 215 eine Nützlichkeitsmetrik (UME). Die Nützlichkeitsmetrik (UME) wird mit dem Bezugszeichen 220 bezeichnet. Die UME 220 berücksichtigt die Eigenschaften der MPEG-Quelle. Der ursprüngliche Algorithmus wird unter Verwendung der UME 220 erweitert, wodurch die Leistung des Algorithmus in beträchtlichem Maße gesteigert wird.
  • Die Grundsätze, die durch adaptive Entzerrungsalgorithmen verwendet werden, sind im bisherigen Stand der Technik gut bekannt. Ein Beispiel eines adaptiven Entzerrungsalgorithmus verwendet vier (4) Steuerblöcke. Wie in 2 gezeigt, sind die vier (4) Steuerblöcke der Kontraststeuerblock 225, der Dynamikbereich-Steuerblock 230, der Clipping-Verhinderungsblock 235 und der adaptive Coringblock 240. Der Kontraststeuerblock 225 erzeugt das Gewinnsignal „g1". Der Dynamikbereich-Steuerblock 230 erzeugt das Gewinnsignal „g2". Der Clipping-Verhinderungsblock 235 erzeugt das Gewinnsignal „g3". Der adaptive Coringblock 240 erzeugt das Gewinnsignal „g4".
  • Diese vier (4) pixelbasierten Steuerblöcke berücksichtigen bestimmte lokale Eigenschaften des Videosignals wie beispielsweise den Kontrast, den Dynamikbereich und den Rauschpegel. Diese vier (4) Steuerblöcke berücksichtigen indes keine Informationen, die die Codierungseigenschaften betreffen.
  • Die Vorrichtung der vorliegenden Erfindung stellt einen Codiergewinnblock 245 bereit. Der Codiergewinnblock 245 verwendet die Nützlichkeitsmetrik (UME) 220, um das zulässige Ausmaß an Entzerrung zu bestimmen. Der Codiergewinnblock 245 erzeugt dass Gewinnsignal „gcoding". Der Dynamikgewinn-Steuerblock 250 wählt das Minimum der fünf (5) Gewinnsignale (g1, g2, g3, g4, gcoding) aus, um ein Endgewinnsignal „g" zu erzeugen. Die Multiplikatorschaltung 255 multipliziert das Endgewinnsignal „g" mit dem Hochpasssignal, das durch den 2D-Entzerrungsfilter 260 gefiltert wurde. Der Addierer 265 addiert das Produkt von der Multiplikatorschaltung 255 zum ursprünglichen Luminanzwert eines durch das Luminanz-Eingangssignal 210 dargestellten Pixels. Auf diese Weise wird das verbesserte Luninanz-Ausgangssignal 270 erzeugt.
  • Die UME 220 berechnet (Pixel per Pixel oder regional), in welchem Maße ein Pixel oder eine Region verbessert werden kann, ohne Codierungsbildfehler zu steigern. Die UME 220 wird von den MPEG-Codierungsinformationen, die im Bitstrom enthalten sind, abgeleitet. Die Codierungsinformationen, die im Bitstrom enthalten sind, können während des Decodierungsverfahrens wiederaufgefunden werden. Das Auswählen der MPEG-Informationen, die mit der UME 220 zu verwenden sind, ist alles andere als trivial. Die UME 220 muss eine Anzeige der räumlich-zeitlichen Eigenschaften oder der Bildqualität des Videos bereitstellen.
  • Die feinste Granularität von MPEG-Informationen, die direkt während des Decodierens erhalten werden kann, basiert entweder (1) auf den Makroblockmengen (MB) oder (2) basierend auf blockbasierten Mengen. Für die Verbesserung von Videosignalen im räumlichen (Pixel) Bereich muss die UME indes für jeden Pixel eines Bildes berechnet werden, um die höchste Bildqualität sicherzustellen.
  • Ein Parameter, der leicht von MPEG-Informationen extrahiert werden kann, ist der Quantisierungsparameter, da er in jedem codierten Makroblock (MB) vorhanden ist. Je höher der Quantisierungsparameter, desto grobkörniger ist die Quantisierung, und aus diesem Grund, der Quantisierungsfehler. Ein hoher Quantisierungsfehler ergibt Codierungsbildfehler und infolgedessen muss die Verbesserung von Pixeln in einem Makroblock (MB) mit einem hohen Quantisierungsparameter stärker unterdrückt werden.
  • Eine weitere nützliche Information ist die Anzahl von Bits, die verwendet wurde, um einen Makroblock (MB) oder einen Block zu codieren. Die Anzahl verwendeter Bits kann mit der durchschnittlichen Anzahl von in einem Makroblock (MB) oder Block in einem bestimmten Bild verwendeten Bits verglichen werden. Diese Anzahl ist indes in hohem Maße abhängig vom Inhalt der Szene, der Bitrate, dem Bildtyp (wie beispielsweise I (intra), P (prädizierte), B (bidirektional prädizierte) Bildtypen), Bewegungsschätzung und Bewegungskompensation.
  • Es ist auch möglich, die Verteilung von bestehenden DCT-Koeffizienten in einem Block zu berücksichtigen. Es ist auch möglich, die Bewegungsvektoren zu verwenden, um Informationen über die zeitlichen Eigenschaften des zu verbessernden Videos zu erhalten. Es ist gut bekannt, dass die Bewegungsvektoren, die für MPEG-Codierung geschätzt und verwendet werden, nicht notwendigerweise echte Bewegung im Video darstellen. Die Bewegungsvektoren können indes dabei helfen, statische Bereiche zu identifizieren und die statischen Bereiche zu verwenden, um die zeitliche Konsistenz der Verbesserung von Rahmen zu Rahmen zu verbessern, wenn die Bewegungsvektoren nicht verlässlich sind.
  • Die Verwendung sowohl des Quantisierungsparameters als auch der Anzahl Bits, die verwendet wurde (um einen Makroblock (MB) oder einen Block zu codieren) sind in den Ratensteuerungsberechnungen von MPEG-Codierung weit verbreitet. Der Quantisie rungsparameter und die Anzahl verwendeter Bits werden allgemein verwendet, um die Codierungskomplexität zu berechnen.
  • Beispiel Eins für UME. Die „Codierungskomplexität" ist als das Produkt des Quantisierungsparameters und der Anzahl von Bits definiert, die verwendet wurde, um einen Makroblock (MB) oder einen Block zu codieren. Die Codierungskomplexität ist aus diesem Grund durch die folgende Gleichung: complMB/block(k, h) = mquant(k, h)·bitsMB/block(k, h) (1)beschrieben, wo "mqant" der Quantisierungsparameter und „bitsMB/block" die Anzahl von Bits der DCT-Koeffizienten ist, die verwendet wurden, um den Makroblock (k, h) oder den Block (k, h) zu codieren. Die zugrunde liegende Annahme ist, dass, je höher die Komplexität eines Makroblocks (MB) oder eines Block in Bezug auf die durchschnittliche Komplexität eines Rahmens ist, desto höher ist die Wahrscheinlichkeit, dass Codierungsbildfehler in diesem Makroblock (MB) oder in diesem Block vorhanden sind. Daher sollte die Verbesserung für die Pixel der Blöcke mit relativ hoher Codierungskomplexität unterdrückt werden.
  • Dementsprechend ist die UME des Pixels (i, j) durch die folgende Gleichung definiert: UME(i, j) = 1 – complpixel(i, j)/2·complAVE (2)wo complpixel(i, j) die Codierungskomplexität des Pixels (i, j) und complAVE die durchschnittliche Codierungskomplexität eines Bildes ist. Der Wert von complAVE kann als:
    Figure 00110001
    geschätzt werden, wo NB die Anzahl von Blöcken ist, die in einem Bild vorhanden sind, und coding_complblock die Codierungskomplexität eines Blocks ist.
  • In der vorliegenden Erfindung wird complpixel(i, j) mittels bilinearer Interpolation von der Makroblock-(MB) oder der Blockkomplexitätskarte geschätzt. Andere Interpolationsverfahren, wie beispielsweise Interpolation höheren Grades sind auch möglich.
  • Die Komplexitätskarte des Makroblocks (MB)/Blocks hat eine übernommene Blockstruktur. Zur Verminderung dieser Eigenschaft der Komplexitätskarte (die für die UME unerwünscht ist), wird ein räumliches Tiefpassfiltern auf die Karte angewandt. Der Filterkern, der für das Tiefpassfiltern verwendet wird, ist:
  • Figure 00110002
  • Andere Arten von Tiefpassfiltern sind auch möglich.
  • In einer vorteilhaften Ausführungsform der Erfindung kann der Wert von UME(i, j) in einem Bereich von einem Wert „null" („0") bis zu einem Wert „eins" („1") liegen. Ein Wert von „null" für UME(i, j) bedeutet, dass keine Schärfeverbesserung für einen bestimmten Pixel erlaubt ist, wohingegen ein Wert „eins" bedeutet, dass der Pixel ohne das Risiko des Verbesserns von Codierungsbildfehlern frei verbessert werden kann.
  • Um eine stärkere Bitratenabhängigkeit einzubeziehen, kann die Gleichung (2) durch Hinzufügen eines direkt mit dem Quantisierungsparameter in Beziehung stehenden Terms erweitert werden. Dies kann insbesondere vorteilhaft für Video sein, das bei einer niedrigen Bitrate codiert wurde.
  • Beispiel Zwei für UME. In diesem Beispiel wird angenommen, dass nur der Quantisierungsparameter in der UME-Berechnung verwendet werden wird. Da ein größerer Quantisierungsparameterwert gewöhnlich vergrößerte Codierungsbildfehler ergibt, sollte die UME invertiert mit dem Quantisierungsparameter, mquant, in Beziehung stehen. Eine mögliche Funktion für die UME für MB(k, h) ist durch die folgende Gleichung gegeben:
    Figure 00120001
    wo die Variablen a, b, c und die Funktion f experimentell bestimmt werden können. Die Funktion für UMEMB(k, h), die in Gleichung (5) dargelegt wird, wird graphisch in 3 veranschaulicht. Die UMEMB(k, h) in Gleichung (5) wird für jeden Makroblock (MB) berechnet, da im Codierungsverfahren ein Quantisierungsparameter einem Makroblock (MB) zugewiesen wird. Aus diesem Grund kann die UMEMB(k, h) für jeden Pixel eines Rahmens durch Interpolieren der UME-Karte des Pegels des Makroblocks (MB) erhalten werden.
  • Der MPEG-2-Videokompressionsstandard ermöglicht das Codieren bestimmter Makroblöcke (MB) und Blöcke in P (prädizierte) und B (bidirektional prädizierte) Bilder ohne Daten. Diese Makroblöcke werden „übersprungene" Makroblöcke genannt. Übersprungene Makroblöcke (MB) können im Decodierungsverfahren unter Verwendung der Referenzbilder und Codierungsinformationen von den letzten kürzlich codierten und nicht übersprungenen Makroblöcken (MB) rekonstruiert werden. Ferner sind für Makroblöcke (MB), die vollständig bewegungskompensiert sind, keine DCT-Daten im Bitstrom vorhanden, oder bestimmte Blöcke in einem Makroblock (MB) sind nicht codiert.
  • Für Makroblöcke (MB) und Blöcke, die übersprungen oder nicht codiert werden, umfasst der codierte Bitstrom nicht die Codierungsinformationen, die nötig sind, um die UME zu berechnen. Um diesen Mangel zu beheben, kann die UME unter Verwendung von einem der beiden folgenden Verfahren geschätzt werden.
  • Ein erstes Verfahren ist die Verwendung von benachbarten nicht übersprungenen oder codierten Makroblöcken (MB), um die UME für die übersprungenen oder nicht codierten Makroblöcke (MB) oder Blöcke zu schätzen. In einer vorteilhaften Ausführungsform, wird ein drei (3) mal drei (3) Schätzfenster verwendet. Das Schätzfenster ist auf dem übersprungenen oder nicht codierten Makroblock (MB) zentriert. Wenn alle Makroblöcke (MB) im Schätzfenster übersprungen werden oder nicht codiert werden, wird die Komplexität des übersprungenen oder nicht codierten Makroblocks (MB) als die Hälfte der durchschnittlichen Komplexität des Rahmens genommen. Dieses Verfahren arbeitet gut, wenn ein Bild relativ geringe Anzahlen von übersprungenen Makroblöcken (MB) hat. Wenn das Bild eine Codierung mit niedriger Bitrate oder statische Szenen hat, ist dieses Schätzverfahren zu grob.
  • Ein zweites Verfahren ist das Zuweisen der gleichen UME zum übersprungenen oder nicht codierten Makroblock (MB) wie er unter Verwendung von Bewegungskompensation dem entsprechenden Makroblock (MB) des vorherigen Rahmens zugewiesen wurde.
  • Da die UME berechnet wird, um Codierungseigenschaften zu erklären, verhindert die UME nur die Verbesserung von Codierungsbildfehlern, wie beispielsweise Blocking und Ringing. Daher wenden sich andere Teile des Schärfeverbesserungsalgorithmus an die Verhinderung oder Verminderung von Bildfehlern, deren Ursprung nicht in der Codierung liegt, die aus der Anwendung von zu viel Verbesserung resultieren könnten.
  • Die UME kann mit irgendeinem Entzerrungsalgorithmus kombiniert werden. Alternativ kann die UME an irgendeinen Schärfeverbesserungsalgorithmus des räumlichen Bereichs angepasst werden. Es ist auch möglich, nur Codierungsinformationen in Verbindung mit einem adaptiven Entzerrungsalgorithmus zu verwenden. Es ist auch möglich, Codierungsinformationen, die mit dem Szeneninhalt in Verbindung stehende Informationen enthalten, in Verbindung mit einem adaptiven Entzerrungsalgorithmus zu verwenden.
  • 4 veranschaulicht eine solche Ausführungsform. In 4 wurden die vier (4) Steuerblöcke 225, 230, 235 und 240 von 1 beseitigt. Nur der Codiergewinnblock 245 bleibt. Informationen über den Szeneninhalt, wie beispielsweise Schärfeinformationen werden in die Berechnung des Codiergewinns einbezogen. Die mit dem Szenenin halt in Verbindung stehenden Informationen gleichen die Unsicherheit der Berechnung der UME 220 aus, die aus den getroffenen Annahmen und Interpolationen, die in der Berechnung der UME 220 angewandt wurden, herrühren.
  • In der in 4 gezeigten Ausführungsform wird der Codiergewinn eines Pixels (i, j) als die Summe von zwei (2) Termen gemäß der folgenden Gleichung bestimmt: gcoding(i, j) = UME(i, j) + gedge(i, j) (6)Der Term UME(i, j) ist vorhergehend definiert und kann von der Gleichung (2) oder der Gleichung (5) berechnet werden. Der Term gedge(i, j) basiert auf mit der Kante verbundenen Pixelinformationen und wird adaptiv basierend auf der Ausgabe der Kantendetektion berechnet. Ein Beispiel eines Verfahrens zur Berechnung von gedge(i, j) umfasst die Annahmen: (1) dass p(i, j) ein Kantenpixel am räumlichen Ort (i, j), und (2) p(i, j) am Kantenzentrum angeordnet ist oder dass p(i, j) der nächste Pixel am Kantenzentrum ist. Dann kann der Term gedge(i, j) als
    Figure 00140001
    berechnet werden, wo der Wert c experimentell bestimmt wird.
  • Es wird darauf hingewiesen, dass, wenn der die Kante betreffende Term in der Berechnung des Codiergewinns verwendet wird, die Kantendetektion Blockgrenzen von Blocking-Bildfehlern sowie falsche Kanten von Ringing, die in Bildsequenzen auftreten können, die bei niedrigen Bitraten codiert werden, ausschließen sollte.
  • Abrupte Wechsel von Rahmen zu Rahmen im Codiergewinn für irgendeinen gegebenen Pixel können temporär inkonsistente Schärfeverbesserung ergeben, was unerwünscht ist. Solche Wechsel können auch zeitweise sichtbare und lästige Bildfehler, wie beispielsweise Moskitorauschen intensivieren.
  • Um diesen Effekt zu beheben, wird temporäres Filtern unter Verwendung des Gewinns des vorhergehenden Rahmens auf den Codiergewinn angewandt. Das temporäre Filtern kann ein einfacher zeitlicher Filter mit unendlicher Impulsantwort (infinite impulse response – IIR) oder ein bewegungskompensierter Filter sein. Ein möglicher IIR-Filter, der keine Bewegungskompensation verwendet, ist durch die folgende Gleichung gegeben: gaincoding(i, j) = k·gaincoding(i, j, t) + (1 – k)·gaincoding(i, j, t – 1) (8)wo t den gegenwärtigen Rahmen darstellt und k der IIR-Filterkoeffizient ist.
  • Die UME kann basierend auf der Kodierungskomplexität von Gleichung (2) berechnet werden. Um die hohe Rechenkomplexität und Speicheranforderungen zu verringern, wird anstatt des Filterns der Gewinnkarte der Makroblock (MB) oder die blockbasierte Komplexitätskarte unter Verwendung eines Filters mit unendlicher Impulsantwort (IIR) temporär gefiltert. Dieses Verfahren wird in der folgenden Gleichung dargestellt: complMB/block(r, s, t) = k·complMB/block(r, s, t) + scal·(1 – k)·complMB/block(r, s, t – 1) (9)wo (r, s) die räumliche Koordinate eines Makroblocks (MB) oder Blocks ist und t das gegenwärtige Bild darstellt, und k der Koeffizient des Filters mit unendlicher Impulsantwort (IIR) ist und "scal" ein Skalierungsterm ist, der die Komplexität unter unterschiedlichen Bildtypen berücksichtigt. Der Skalierungsterm „scal" ist als das Verhältnis der durchschnittlichen MB oder Blockkomplexität der Rahmen „t" und „t – 1" berechnet. Spezifisch:
  • Figure 00150001
  • Der Ausgang des räumlichen Filters wird durch den Addierer 265 zum ursprünglichen Luminanzsignal-Eingangssignal 210 addiert, um ein verbessertes Luminanzausgangssignal 270 zu erzeugen.
  • Die Erfindung kann auch auf Hochauflösungs-(HD) und Standardauflösungssequenzen (SD) angewandt werden, wie sie beispielsweise in einer Videospeicheranwendung vorhanden wäre, die Hochauflösungsfähigkeiten (HD) hat und Longplay-Modus (LP) ermöglicht. Die meisten solcher Videosequenzen werden von MPEG-2-Bitströmen auf eine niedrigere Speicherbitrate umcodiert. Für den Longplay-Modus (LP) dieser Anwendung kann der Formatwechsel auch während des Umcodierens stattfinden. Standardauflösungs-(SD) oder Hochauflösungs-(HD)Videosequenzen werden codiert, decodiert und dann mit den Schärfeverbesserungsalgorithmen gemäß der vorliegenden Erfindung verarbeitet und stellen für von vornherein codierte oder umcodierte Videosequenzen im Vergleich zu Algorithmen, die keine Codierungsinformationen verwenden, höhere Videoqualität bereit.
  • 5 ist ein Flussdiagramm, das eine vorteilhafte Ausführungsform des Verfahrens der vorliegenden Erfindung veranschaulicht. Das Verfahren zum Berechnen des Codiergewinns zum Verarbeiten von einem Rahmen (Rahmen „t") wird allgemein durch die Nummer 500 angezeigt. Als Erstes werden die Codierungsinformationen erhalten (Schritt 505). Dann wird die Komplexitätskarte des Rahmens „t" erhalten (Schritt 510). Als Nächstes wird die Komplexitätsschätzung (gegebenenfalls) für einen übersprungenen oder nicht codierten Makroblock (MB) bestimmt (Schritt 515).
  • Schritt 520 ist der Schritt des Filterns der Komplexitätskarte mit einem Tiefpassfilter unter Verwendung des Filterkerns von Gleichung (4). Schritt 525 ist der Schritt des temporären Filterns der Komplexitätskarte unter Verwendung von Gleichung (9), Gleichung (10), und dann der Komplexitätskarte des vorhergehenden Rahmens (Rahmen „t – 1"). Schritt 550 ist der Schritt des Erhaltens der Komplexitätskarte des vorhergehenden Rahmens (Rahmen „t – 1"). Die Komplexitätskarteninformationen für den Rahmen „t – 1" werden durch den Schritt 525 verwendet. Schritt 530 ist der Schritt des Durchführens bilinearer Interpolation auf dem Signal nach dem temporären Filtern von Schritt 525. Der Codiergewinn pro Pixel wird dann berechnet (Schritt 535).
  • Informationen vom Rahmen „t" werden erhalten (Schritt 560) und werden verwendet, um Ränder im Bild innerhalb des Rahmens „t" (Schritt 555) zu ermitteln. Das Ergebnis des Kantendetektionsverfahrens von Schritt 555 wird für die Berechnung des Codiergewinns pro Pixel in Schritt 535 bereitgestellt.
  • Nachdem der Codiergewinn pro Pixel in Schritt 535 berechnet wurde, wird die Nützlichkeitsmetrik (UME) im adaptiven Entzerrungsverfahren verwendet (Schritt 540). Das adaptive UME-Entzerrungsverfahren von Schritt 540 verwendet auch Informationen, die in Schritt 560 vom Rahmen „t" erhalten wurden. Das Ergebnis des adaptiven UME-Entzerrungsverfahrens von Schritt 540 wird als ein verbesserter Rahmen „t" angezeigt (Schritt 545).
  • Das vorhergehend beschriebene Verfahren kann wie folgt zusammengefasst werden. Das Verfahren nimmt an, dass die Komplexitätskarte auf Makroblock-(MB) oder Blockebene für den Zeitpunkt „t" verfügbar ist. Eine Schätzung der Komplexität von übersprungenen oder nicht codierten Makroblöcken (MB) oder Blöcken wird dann durchgeführt. Um die Blockstruktur der Komplexitätskarte zu reduzieren, wird ein Tiefpassfiltern unter Verwendung des Filterkerns von Gleichung (4) angewandt. Dann folgt das temporäre Filtern der Komplexitätskarte unter Verwendung von Gleichung (9), Gleichung (10) und der Komplexitätskarte des vorhergehenden Rahmens. Der Komplexitätswert von jedem Pixel wird durch bilineare Interpolation von der Makroblock-(MB) oder Blockkomplexi tätskarte geschätzt. Unter Verwendung des Komplexitätswerts für jeden Pixel und des Ergebnisses des Kantendetektionsverfahrens wird ein Codiergewinn für jeden Pixel berechnet. Die adaptive Entzerrung unter Verwendung der UME wird auf jeden Pixel eines Rahmens angewandt, um einen verbesserten Rahmen „t" zu erzeugen.
  • Wenn der Algorithmus auf Interlaced-Videosequenzen anzuwenden ist, können einige der Berechnungen an die Eigenschaften des Interlaced-Videos angepasst werden. Die Komplexitätsberechnung wird aufgrund der Tatsache, dass der MPEG-Strom für Interlaced-Videosequenzen entweder Bilder mit Feldstruktur oder Rahmenstruktur hat, verändert werden. Bei Bildern mit Feldstruktur können die Blöcke Daten von einem Feld enthalten und jeder Block ist feld-DCT-codiert. Aus diesem Grund kann die Komplexitätsberechnung für progressives Video so angewendet werden wie für Bilder mit Feldstruktur.
  • Die Blöcke in Bildern mit Rahmenstruktur können hingegen rahmen- und feld-DCT-codiert sein. Im Fall der Rahmen-DCT besteht ein Block aus Daten von beiden Feldern. Aus diesem Grund kann eine „Feldkomplexität" für einen acht mal acht (8 × 8) Block nur geschätzt werden. Es ist möglich, zwei (2) Blöcke von einem Makroblock (MB) zu verwenden, um die „Feldkomplexität" eines Blocks zu berechnen. Aus diesen Betrachtungen ist ersichtlich, dass bei Interlaced-Video die Komplexitätsberechnung für Blöcke unkomplizierter ist als für Makroblöcke (MB).
  • Obgleich die vorliegende Erfindung detailliert in Bezug auf bestimmte Ausführungsformen davon, die das veranschaulichende Beispiel eines Digitalfernsehers umfasse, beschrieben wurde, ist die Erfindung nicht auf die beschriebenen Ausführungsformen und Änderungen davon beschränkt. Es versteht sich, dass Fachleute verschiedene Änderungen, Ersetzungen, Veränderungen, Umänderungen und Anpassungen der vorliegenden Erfindung vornehmen können, ohne vom Konzept und Anwendungsbereich der Erfindung in ihrer breitesten Form abzuweichen.
  • Legende der Zeichnungen
  • 1
    • Tuner = Abstimmvorrichtung
    • IF processor = ZF-Prozessor
    • MPEG decoder = MPEG-Decoder
    • Post processing circuits = Nachverarbeitungsschaltungen
    • Adaptive peaking unit with UME = adaptive Entzerrungseinheit mit UME
    • Display unit = Anzeigeeinheit
  • 2
    • Luminance in = Luminanz ein
    • 2D peaking filter = 2D-Entzerrungsfilter
    • Contrast control = Kontraststeuerung
    • Dynamic range control = Dynamikbereichsteuerung
    • Clipping prevention = Clipping-Verhinderung
    • Adaptive coring = adaptives Coring
    • Coding gain = Codiergewinn
    • UME generator = UME-Generator
    • Enhanced luminance out = verbesserte Luminanz aus
    • Gain control minimum = Gewinnsteuerung Minimum
    • High pass signal = Hochpasssignal
  • 4
    • Luminance in = Luminanz ein
    • UME generator = UME-Generator
    • Enhanced luminance out = verbesserte Luminanz aus
    • 2D peaking filter = 2D-Entzerrungsfilter
    • Coding gain = Codiergewinn
    • High pass signal = Hochpasssignal
  • 5
    • 505:
    Codierungsinformationen
    510:
    Komplexitätskarte von Rahmen t
    515:
    Komplexitätsschätzung für übersprungenen Makroblock
    520:
    Tiefpassfiltern
    525:
    Zeitliches Filtern
    550:
    Komplexitätskarte von Rahmen (t – 1)
    530:
    Bilineare Interpolation
    535:
    Codiergewinnberechnung pro Pixel
    555:
    Kantendetektion
    540:
    Adaptive UME-Entzerrung
    560:
    Rahmen t
    545:
    Verbesserter Rahmen t

Claims (10)

  1. Vorrichtung (140) zum Verbessern der Bildqualität eines vorhergehend codierten digitalen Videosignals (210) in einem digitalen Videosystem (100), wobei das digitale Videosystem (100) mindestens eine Schärfeverbesserungseinheit umfasst, die in der Lage ist, einen Schärfeverbesserungsalgorithmus auf das vorhergehend codierte digitale Videosignal (210) anzuwenden, um ein verbessertes Ausgangssignal (270) zu bilden, ohne Codierungsbildfehler zu verbessern, wobei die Vorrichtung (140) Folgendes umfasst: – einen Nützlichkeitsmetrikgenerator (215) innerhalb des digitalen Videosystems (100), der in der Lage ist, unter Verwendung von Codierungsinformationen, die das vorhergehend codierte Videosignal (210) betreffen, eine Nützlichkeitsmetrik (220) zu erzeugen; – einen Codiergewinn-Steuerblock (245), der in der Lage ist, basierend auf der Nützlichkeitsmetrik (220) ein Codiergewinnsignal (9coding) zu bestimmen, wobei das Codiergewinnsignal einen zulässigen Betrag von Schärfeverbesserung darstellt.
  2. Vorrichtung (140) nach Anspruch 1, wobei die Vorrichtung (140) ferner Folgendes umfasst: – einen Dynamikgewinn-Steuerblock (250) zum Bestimmen eines Endgewinnsignals, das zu verwenden ist, um das verbesserte Ausgangssignal (270) zu bilden, wobei das verbesserte Ausgangssignal auf dem vorhergehend codierten digitalen Videosignal (210) und dem Endgewinnsignal basiert; wobei das Bestimmen des Endgewinnsignals auf dem Codiergewinnsignal (9coding) und einem oder mehreren von Folgendem basiert: – ein in einem Kontraststeuerblock (225) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes Kontrastgewinnsignal (91); – ein in einem Dynamikbereich-Steuerblock (230) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes Dynamikbereich-Gewinnsignal (92); – ein in einem Clipping-Verhinderungsblock (235) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes Clipping-Verhinderungs-Gewinnsignal (93); – ein in einem adaptiven Coringblock (240) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes adaptives Coring-Gewinnsignal (94).
  3. Vorrichtung (140) nach Anspruch 1 oder 2, wobei die mindestens eine Schärfeverbesserungseinheit eine adaptive Entzerrungseinheit (260) ist.
  4. Vorrichtung 140 nach Anspruch 3, wobei die Nützlichkeitsmetrik (220) auf einer Pixel-per-Pixel-Basis berechnet wird.
  5. Vorrichtung (140) nach Anspruch 4, wobei der Codiergewinn eines Pixels des vorhergehend codierten digitalen Videosignals (210) durch die folgende Gleichung bestimmt ist: gcoding(i, j) = UME(i, j) + gedge(i, j)wobei i und j Koordinaten des Pixels, gcoding der Codiergewinn des Pixels, UME die Nützlichkeitsmetrik (220), und gedge adaptiv basierend auf dem Ausgang der Kantendetektion in dem vorhergehend codierten digitalen Videosignal (210) berechnet wird.
  6. Vorrichtung (140) nach Anspruch 5, wobei ein Wert für gedge(i, j) durch Einstellen des Werts von gedge(i, j) gleich (1) einen experimentell bestimmten Wert c für einen Kantenpixel p(i, j) an einem räumlichen Ort (i, j) und (2) einen Wert von einer Hälfte von c für einen Pixel p(i – 1, j) an einem räumlichen Ort (i – 1, j) und für einen Pixel (i + 1, j) an einem räumlichen Ort (i + 1, j), und (3) einen Wert von einem Viertel von c für einen Pixel p(i – 2,) an einem räumlichen Ort (i – 2, j) und für einen Pixel p(i + 2, j) an einem räumlichen Ort (i + 2, j), und (4) einen Wert von null für alle anderen Pixel berechnet wird.
  7. Vorrichtung (140) nach Anspruch 1, wobei der Nützlichkeitsmetrikgenerator (215) nur Codierungsinformationen verwendet, um die Nützlichkeitsmetrik (220) zu erzeugen.
  8. Vorrichtung (140) nach Anspruch 1, wobei der Nützlichkeitsmetrikgenerator (215) Codierungsinformationen und den Szeneninhalt betreffende Informationen verwendet, um die Nützlichkeitsmetrik (220) zu erzeugen.
  9. Digitales Videosystem (100), das eine Vorrichtung (140) nach Anspruch 1 zum Verbessern der Bildqualität eines vorhergehend codierten digitalen Videosignals in dem digitalen Videosystem (100) umfasst.
  10. Verfahren zum Verbessern der Bildqualität eines vorhergehend codierten digitalen Videosignals (210) in einem digitalen Videosystem (100), wobei das Verfahren die folgenden Schritte umfasst: – Bereitstellen des vorhergehend codierten digitalen Videosignals (210); – Erzeugen einer Nützlichkeitsmetrik (220) basierend auf Codierungsinformationen, die das vorhergehend codierte Videosignal (210) betreffen; – Erzeugen eines Codiergewinnsignals (9coding) basierend auf der Nützlichkeitsmetrik unter Verwendung eines Codiergewinn-Steuerblocks (245); – Erzeugen eines hochpassgefilterten Signals des vorhergehend codierten digitalen Videosignals (210) unter Verwendung eines 2D-Entzerrungsfilters (260); – Bereitstellen eines verbesserten Ausgangssignals (270) durch Bilden eines Produkts eines Endgewinnsignals (210) und des hochpassgefilterten Signals unter Verwendung eines Multiplikators (255) und Addieren des Produkts zu dem vorhergehend codierten digitalen Videosignal (210) unter Verwendung eines Addierers (265); wobei das Endgewinnsignal eines von Folgendem ist: – das Codiergewinnsignal selbst; und – ein Minimum des Codiergewinnsignals (9coding) und einem oder mehreren von Folgendem: – ein in einem Kontraststeuerblock (225) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes Kontrastgewinnsignal (91); – ein in einem Dynamikbereich-Steuerblock (230) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes Dynamikbereich-Gewinnsignal (92); – ein in einem Clipping-Verhinderungsblock (235) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes Clipping-Verhinderungs-Gewinnsignal (93); – ein in einem adaptiven Coringblock (240) basierend auf dem vorhergehend codierten digitalen Videosignal (210) berechnetes adaptives Coring-Gewinnsignal (94).
DE60122382T 2001-01-10 2001-12-13 Vorrichtung und verfahren zur bereitstellung einer nützlichkeitsmetrik auf der grundlage der codierung von informationen zur verbesserung von videosignalen Expired - Lifetime DE60122382T2 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US26084301P 2001-01-10 2001-01-10
US260843P 2001-01-10
US09/976,329 US7161633B2 (en) 2001-01-10 2001-10-12 Apparatus and method for providing a usefulness metric based on coding information for video enhancement
US976329 2001-10-12
PCT/IB2001/002481 WO2002056582A1 (en) 2001-01-10 2001-12-13 Apparatus and method for providing a usefulness metric based on coding information for video enhancement

Publications (2)

Publication Number Publication Date
DE60122382D1 DE60122382D1 (de) 2006-09-28
DE60122382T2 true DE60122382T2 (de) 2007-08-02

Family

ID=26948212

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60122382T Expired - Lifetime DE60122382T2 (de) 2001-01-10 2001-12-13 Vorrichtung und verfahren zur bereitstellung einer nützlichkeitsmetrik auf der grundlage der codierung von informationen zur verbesserung von videosignalen

Country Status (8)

Country Link
US (1) US7161633B2 (de)
EP (1) EP1352515B1 (de)
JP (1) JP2004518337A (de)
KR (1) KR20030005219A (de)
CN (1) CN1248487C (de)
AT (1) ATE336859T1 (de)
DE (1) DE60122382T2 (de)
WO (1) WO2002056582A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1565875A1 (de) * 2002-11-25 2005-08-24 Sarnoff Corporation Verfahren und vorrichtung zur messung der qualität komprimierter videosequenzen ohne referenzen
WO2004054269A1 (en) * 2002-12-10 2004-06-24 Koninklijke Philips Electronics N.V. Joint resolution or sharpness enhancement and artifact reduction for coded digital video
US20070139564A1 (en) * 2004-02-27 2007-06-21 Koninklijke Philips Electronics N.V. System and method for global indication of mpeg impairments in compressed digital video
US20070159556A1 (en) * 2004-03-25 2007-07-12 Koninklijke Philips Electronics N.V. Luminance transient improvemet using video encoding metric for digital video processing
WO2005094085A1 (en) * 2004-03-29 2005-10-06 Koninklijke Philips Electronics N.V. Video quality enhancement and/or artifact reduction using coding information from a compressed bitstream
US20050273657A1 (en) * 2004-04-01 2005-12-08 Hiroshi Ichiki Information processing apparatus and method, and recording medium and program for controlling the same
JP2008500757A (ja) * 2004-05-25 2008-01-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映像信号の鮮鋭度を強調するための方法およびシステム
CN1293745C (zh) * 2004-09-13 2007-01-03 西安交通大学 数字化电视后处理技术的视频图像自适应细节增强方法
US7653257B2 (en) * 2005-07-19 2010-01-26 Intel Corporation Enhancing video sequence sharpness by adaptive peaking
TWI401943B (zh) * 2007-05-14 2013-07-11 Novatek Microelectronics Corp 用於一影像處理系統之影像處理方法及其相關影像處理裝置
EP2301251A4 (de) * 2008-06-25 2012-12-26 Ericsson Telefon Ab L M Zeilenevaluierungs-ratensteuerung
US9113164B1 (en) * 2012-05-15 2015-08-18 Google Inc. Constant bit rate control using implicit quantization values
TW201438458A (zh) * 2013-03-22 2014-10-01 Novatek Microelectronics Corp 影像處理電路及其環狀假影消除方法
US11019349B2 (en) 2017-01-20 2021-05-25 Snap Inc. Content-based client side video transcoding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031042A (en) * 1990-07-09 1991-07-09 Zenith Electronics Corporation Noise coring and peaking circuit
US5161015A (en) * 1990-12-31 1992-11-03 Zenith Electronics Corporation System for peaking a video signal with a control signal representative of the perceptual nature of blocks of video pixels
US5491514A (en) * 1993-01-28 1996-02-13 Matsushita Electric Industrial Co., Ltd. Coding apparatus, decoding apparatus, coding-decoding apparatus for video signals, and optical disks conforming thereto
PT932398E (pt) * 1996-06-28 2006-09-29 Ortho Mcneil Pharm Inc Utilizacao do topiramento ou dos seus derivados para a producao de um medicamento para o tratamento de disturbios bipolares maniaco- depressivos
DE19626985C1 (de) * 1996-07-04 1998-01-02 Siemens Ag Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US6038256A (en) * 1996-12-31 2000-03-14 C-Cube Microsystems Inc. Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics
US6137904A (en) * 1997-04-04 2000-10-24 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6285801B1 (en) * 1998-05-29 2001-09-04 Stmicroelectronics, Inc. Non-linear adaptive image filter for filtering noise such as blocking artifacts
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6847738B1 (en) * 1999-01-15 2005-01-25 Koninklijke Philips Electronics N.V. Sharpness enhancement
CN1197383C (zh) * 1999-09-14 2005-04-13 皇家菲利浦电子有限公司 用于识别数字视频图像中像块伪痕的方法和装置
CN1248486C (zh) 1999-12-17 2006-03-29 皇家菲利浦电子有限公司 用于峰化信号的方法和设备
US6810082B1 (en) * 1999-12-17 2004-10-26 Koninklijke Philips Electronics N.V. Chroma based adaptive signal peaking
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
US6950561B2 (en) * 2001-01-10 2005-09-27 Koninklijke Philips Electronics N.V. Method and system for sharpness enhancement for coded video

Also Published As

Publication number Publication date
CN1248487C (zh) 2006-03-29
CN1416640A (zh) 2003-05-07
EP1352515A1 (de) 2003-10-15
DE60122382D1 (de) 2006-09-28
EP1352515B1 (de) 2006-08-16
JP2004518337A (ja) 2004-06-17
KR20030005219A (ko) 2003-01-17
ATE336859T1 (de) 2006-09-15
WO2002056582A1 (en) 2002-07-18
US20020131512A1 (en) 2002-09-19
US7161633B2 (en) 2007-01-09

Similar Documents

Publication Publication Date Title
DE69525312T2 (de) Verfahren und Vorrichtung zum Dekodieren von Bilddaten
DE60220106T2 (de) Verfahren und Vorrichtung zur Reduzierung von Störungen in dekodierten Bildern mit Nachfilterung
DE69817460T2 (de) Bildsequenzdekodierungsverfahren
DE69915277T2 (de) Verfahren und vorrichtung zur reduzierung von breathing-artefakten in komprimierten videodaten
DE69529323T2 (de) Digitaler Videodekoder zum Dekodieren von digitalen hochauflösenden und/oder standardauflösenden Fernsehsignalen
US8922714B2 (en) System and methods for adjusting settings of a video post-processor
DE69709451T2 (de) Bilddatengeräuschfilterung
DE69323354T2 (de) System zur Kodierung eines hochauflösenden Videosignals mit farbempfindlicher Quantisierung
DE69738494T2 (de) Videokodierungs- und Videodekodierungsvorrichtung
DE69632622T2 (de) Universaler MPEG-Dekoder mit skalierbarer Bildgrösse
DE3704777C1 (de) Verfahren zum UEbertragen und zum Wiedergeben von Fernsehbildsequenzen
DE60122382T2 (de) Vorrichtung und verfahren zur bereitstellung einer nützlichkeitsmetrik auf der grundlage der codierung von informationen zur verbesserung von videosignalen
DE60302456T2 (de) System und verfahren zur verbesserung der schärfe für codierte digitale videosignale
DE60214837T2 (de) Erkennung und genaue skalierung bewegter bereiche mit zeilensprung in mpeg-2 komprimiertem video
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US20040258319A1 (en) Spatial scalable compression scheme using adaptive content filtering
DE10219132A1 (de) System und Verfahren zum Verbessern der Bildqualität bei verarbeiteten Bildern
EP1815690A1 (de) Verfahren zur transcodierung sowie transcodiervorrichtung
DE69915843T2 (de) Teilbandkodierung/-dekodierung
DE102019215911A1 (de) Adaptive inhaltsquantisierung zur videocodierung
US20110249746A1 (en) Method for browsing video streams
DE69719099T2 (de) Verfahren zur kodierung und dekodierung mit niedrigem rauschpegel
DE60303614T2 (de) Verfahren zur bildskalierung
DE19919412A1 (de) Decoder für einen digitalen Fernsehempfänger
DE69709293T2 (de) Verfahren und Vorrichtung zur Kodierung und Dekodierung von Bewegtbildern

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: IPG ELECTRONICS 503 LTD., ST. PETER PORT, GUER, GB

8328 Change in the person/name/address of the agent

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, 12489 BERLIN

R082 Change of representative

Ref document number: 1352515

Country of ref document: EP

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, DE