DE60302456T2 - System und verfahren zur verbesserung der schärfe für codierte digitale videosignale - Google Patents

System und verfahren zur verbesserung der schärfe für codierte digitale videosignale Download PDF

Info

Publication number
DE60302456T2
DE60302456T2 DE60302456T DE60302456T DE60302456T2 DE 60302456 T2 DE60302456 T2 DE 60302456T2 DE 60302456 T DE60302456 T DE 60302456T DE 60302456 T DE60302456 T DE 60302456T DE 60302456 T2 DE60302456 T2 DE 60302456T2
Authority
DE
Germany
Prior art keywords
ume
frame
block
pixel
var
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60302456T
Other languages
English (en)
Other versions
DE60302456D1 (de
Inventor
Yibin Yang
Lilla Boroczky
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE60302456D1 publication Critical patent/DE60302456D1/de
Application granted granted Critical
Publication of DE60302456T2 publication Critical patent/DE60302456T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein System und ein Verfahren zur Verbesserung der Qualität eines digitalen Videosignals unter Verwendung von Codierungsinformation, von örtlichen räumlichen Merkmalen und von Bewegungsinformation. Das System und das Verfahren nach der vorliegenden Erfindung verbessert die Schärfe von codiertem oder transcodiertem digitalem Video ohne Verbesserung von Codierungsartefakten.
  • Die Entwicklung von Multimediageräten hoher Qualität, wie von Set-Top-Boxen, High-End-Fernsehgeräten, digitalen Fernsehgeräten, Persönlichen Fernsehgeräten, Speicherprodukten, PDAs, drahtlosen Internetanordnungen usw. führt zu einer Vielheit von Architekturen und mehr Offenheit in Richtung neuer Merkmale für diese Anordnungen. Weiterhin hat die Entwicklung dieser neuen Produkte und deren Fähigkeit Videodaten in jeder beliebigen Form wiederzugeben, hat zu neuen Anforderungen und Möglichkeiten in Bezug auf Videoverarbeitungs- und Videoverbesserungsalgorithmen geführt.
  • MPEG ("Moving Picture Expert Group") Videokompression wird in vielen aktuellen und neu entstehenden Produkten angewandt. MPEG ist das Herz von digitalen Fernseh-Set-Top-Boxen, DSS, HDTV Decodern, DVD Spielern, Videokonferenzen, Internetvideo und anderen Applikationen. Diese Applikationen profitieren von Videokompression, indem weniger Speicherraum zum Speichern von Videoinformation erforderlich ist, von weniger Bandbreite für die Übertragung der Videoinformation von einer Stelle zu einer anderen, oder von einer Kombination der beiden. Die meisten dieser Anordnungen empfangen und/oder speichern Video in dem MPEG-2 Format. In Zukunft können sie Video in dem MPEG-4 Format empfangen und/oder speichern. Die Bildqualität dieser MPEG Quellen kann stark variieren.
  • Untersuchungen auf dem Gebiet des menschlichen Sehsystems haben gezeigt, dass das Auge empfindlicher ist für Änderungen in der Leuchtdichte und weniger empfindlich für Änderungen in der Farbart. MPEG arbeitet mit einem Farbraum, der auf effektive Weise Vorteile holt aus der verschiedenen Empfindlichkeit des menschlichen Auges für Leuchtdichte- und Farbartinformation. Auf diese Weise benutzt MPEG einen YCbCr Farbraum um die Datenwerte darzustellen statt RGB; wobei Y der Leuchtdichtean teil ist, experimentell als Y = 0,299R + 0,857G + 0,114B, bestimmt, Cb ist der blaue Farbdifferenzanteil, wobei Cb = B – Y, und Cr ist der rote Farbdifferenzanteil, wobei Cr = R – Y.
  • MPEG Video ist vorgesehen in einer Hierarchie von Schichten als Hilfe bei der Fehlerabhandlung, bei der willkürlichen Suche und Editierung, und Synchronisation beispielsweise mit einem Audio-Bitstrom. Die erste Schicht, oder obere Schicht, ist als Videosequenzschicht bekannt und jeder beliebige separate Bitstrom, beispielsweise ein codierter Film, eine Werbung oder ein Komik.
  • Die zweite Schicht, unterhalb der ersten Schicht, ist die Gruppe von Bildern (GOP), die aus einer oder mehreren Gruppen von Intraframes (I) und/oder Nicht-Intrabildern (P oder B) besteht. I Frames werden grundsätzlich intra komprimiert, was zu beliebigen Zugriffsstellen zu dem Video führt. P Frames sind bewegungskompensierte vorwärts prädiktiv codierte Frames, die Interframe komprimiert werden und typischerweise mehr Kompression ergeben als I Frames. B Frames sind bewegungskompensierte bidirektionell prädiktiv codierte Frames, die Interframe komprimiert werden und typischerweise die meiste Kompression ergeben.
  • Die dritte Schicht, unterhalb der zweiten Schicht, ist die Bilderschicht selber. Die vierte Schicht unterhalb der dritten Schicht wird als Sliceschicht bezeichnet. Jeder Slice ist eine zusammenhängende Sequenz von rastergeordneten Makroblöcken, meistens auf einer Reihenbasis in typischen Videoapplikationen. Die Slicestruktur hat die Absicht, eine Decodierung im Beisein von Fehlern zu ermöglichen. Jeder Slice besteht aus Makroblöcken, die eine Größe haben von 16 × 16 Anordnungen von Leuchtdichtepixeln, oder Bilddatenelementen, mit zwei oder mehr 8 × 8 Anordnungen (je nach dem Format) assoziierter Farbartpixeln. Die Makroblöcke können weiterhin in bestimmte 8 × 8 Blöcke aufgeteilt werden, zur Weiterverarbeitung, wie Transformationscodierung. Ein Makoblock kann verschiedenartig dargestellt werden, wenn auf den YCbCr-Farbraum verwiesen wird. Die drei Formate, die üblicherweise angewandt werden, sind als 4:4:4, 4:2:2 und 4:2:0 Video bekannt. 4:2:2 enthält die Hälfte der Farbartinformation von 4:4:4, was eine Voll-Bandbreite YCbCr Video ist, und 4:2:0 enthält ein Viertel der Farbartinformation. Wegen der effizienten Art der Leuchtdichte- und Farbartdarstellung ermöglicht die 4:2:0 Darstellung eine sofortige Datenreduktion von einem 12 Blöcke/Makroblock zu einem 6 Blöcke/Makroblock I Frames schaffen nur eine mäßige Kompression im Vergleich zu den P und B Frames, wobei MPEG die maximale Kompressionseffizienz herleitet. Die Effizienz wird mit Hilfe einer Technik erzielt, die als Bewegungskompensation aus Basis von Prädiktion bezeichnet wird, wobei zeitliche Redundanz angewandt wird. Da Frames eine enge Beziehung zueinander haben, wird vorausgesetzt, dass ein aktuelles Bild als eine Übersetzung des Bildes zu der vorhergehenden Zeit modelliert werden kann. Es ist dann möglich, die Daten eines einzigen Frames auf Basis der Daten eines vorhergehenden Frames genau vorherzusagen. In P Frames, wird jeder 16 × 16 große Makroblock aus den Makroblöcken vorher codierter I oder P Bilder vorhergesagt. Da Frames Schnappschüsse in der Zeit eines sich bewegenden Objektes sind, kann es sein, dass die Makroblöcke in den zwei Frames nicht mit derselben räumlichen Stelle übereinstimmen. Der Codierer würde das vorhergehende Frame suchen (für P Frames, oder die Frames vorher und nachher für B Frames) in Halbpixelschritten für andere Makroblockstellen, die sehr gut passen zu der Information, die in dem aktuellen Makroblock enthalten ist. Die Verlagerungen in der horizontalen und vertikalen Richtung der am besten passenden Makroblöcke von einem an derselben Seite liegenden Makroblock werden als Bewegungsvektoren bezeichnet. Die Differenz zwischen dem aktuellen Makroblock und dem passenden Makroblock und der Bewegungsvektor werden codiert. Die Bewegungsvektoren können auch zur Bewegungsprädiktion im Falle von verstümmelten Daten verwendet werden und aufwendige Decoderalgorithmen können diese Vektoren zur Fehlertarnung verwenden. Für B Frames wird eine auf Bewegungskompensation basierte Prädiktion und eine Interpolation durchgeführt, und zwar unter Verwendung von Bezugsframes an der anderen Seite jedes Frames.
  • Speicheranordnungen der folgenden Generation, wie der auf Blaulaser basierte Digitale Videorecorder (DVR) werden gewissermaßen HD ("High Definition") (ATSC) Fähigkeiten haben und sind ein Beispiel des Anordnungstyps, für den ein neues Verfahren von Bildverbesserung vorteilhaft wäre. Ein HD-Programm wird typischerweise mit 20 Mb/s gesendet und entsprechend der MPEG-2 Videonorm codiert. Wenn die etwa 25 GB Speicherkapazität des DVR berücksichtigt wird, stellt dies eine Aufzeichnungszeit von etwa zwei Stunden HD Video je Platte dar. Um die Aufzeichnungszeit zu steigern können verschiedene Langspielmoden definiert werden, wie Langspiel- (LP) und erweiterte Langspielmoden (ELP).
  • Für die LP-Mode wird die mittlere Speicherbitrate als etwa 10 Mb/s vorausgesetzt, was eine doppelte Aufzeichnungszeit für HD ermöglicht. Als eine Folge davon ist Transcodierung ein integraler Teil der Videoverarbeitungskette, was die Sendebitrate vpn 20 Mb/s auf die Speicherbitrate von 10 Mb/s reduziert. Während der MPEG-2 Transcodierung wird die Bildqualität (beispielsweise die Schärfe) des Videos wahrscheinlich reduziert. Aber insbesondere für die LP Mode soll die Bildqualität nicht zu sehr aufs Spiel gesetzt werden. Deswegen spielt für die LP Mode eine Nachbearbeitung eine wichtige Rolle bei der Verbesserung der empfangenen Bildqualität.
  • Bisher wurden die meisten bekannten, die Schärfe verbessernden Algorithmen für analoge Videoübertragungsnormen wie NTSC, PAL und SECAM entwickelt und optimiert. Auf herkömmliche Weise ist es so, dass Bildverbesserungsalgorithmen entweder bestimmte unerwünschte Aspekte in einem Bild (beispielsweise Rauschreduktion) reduzieren, oder gewünschte Merkmale eines Bildes (beispielsweise Schärfeverbesserung) verbessern. Für diese neu entstehenden Speicheranordnungen können die herkömmlichen Schärfeverbesserungsalgorithmen bei MPEG codiertem oder transcodiertem Video suboptimal funktionieren, und zwar durch die verschiedenen Charakteristiken dieser Quellen. In der geschlossenen Videoverarbeitungskette des Speichersystems kann Information, die eine Ermittlung der Qualität der codierten Quelle von dem MPEG Strom hergeleitet werden. Diese Information kann ggf. verwendet werden zur Steigerung der Leistung von Videoverbesserungsalgorithmen.
  • Weil Bildqualität nach wie vor ein unterscheidender Faktor für High-End-Videoprodukte ist, werden neue Annäherungen zum Durchführen von Videoverbesserung, spezifisch vorgesehen zur Verwendung dieser Quellen, günstig sein. In dem Artikel von C-J Tsai, P. Karunaratne, N.P. Galatsanos und A.K. Katsaggelos mit dem Titel: "A Compressed Video Enhancement Algorithm", Proc. Of IEEE, ICIP'99, Kobe, Japan, vom 25. 28. Oktober 1999 schlagen die Autoren einen iterativen Algorithmus zur Verbesserung von Videosequenzen vor, die mit niedrigen Bitraten codiert sind. Für MPEG Quellen rührt die Beeinträchtigung der Bildqualität meisten von der Quantisierungsfunktion her. Auf diese Weise benutzt der iterative Gradientenprojektionsalgorithmus Codierungsinformation, wie Quantisierungsschrittgröße, Makroblocktypen und Vorwärtsbewegungsvektoren in der Kostenfunktion. Der Algorithmus zeigt Erfolg versprechende Ergebnisse für Video mit einer niedrigen Bitrate, aber das Verfahren wird durch eine hohe rechnerische Komplexität gekennzeichnet.
  • In dem Artikel von B. Martins und S. Forchammer mit dem Titel: "Improved Decoding of MPEG-2 Coded Video" in Proc. of IBC'2000, Amsterdam, Niederlanden, vom 7.–12. September 2000, Seiten 109–115, beschreiben die Autoren ein neues Konzept zur Verbesserung der Decodierung von MPEG-2 codiertem Video. Insbesondere eine vereinte Annäherung zum Entschlüsseln und zur Formatumwandlung, integriert in dem Decodierungsprozess, wird vorgeschlagen. Die Technik führt zu wesentlich höherer Bildqualität als die, welche durch herkömmliche Decodierung erhalten wird. Aber bisher vermeidet die rechnerische Komplexität die Implementierung in Konsumentenapplikationen.
  • Die beiden Veröffentlichungen beschreiben Videoverbesserungsalgorithmen, wobei MPEG Codierungsinformation und eine Kostenfunktion verwendet wird. Aber die beiden Szenarien kombinieren nebst der Tatsache, dass sie unpraktisch sind, die Verbesserung und die Kostenfunktion. Eine Kostenfunktion bestimmt, wie viel und an welchen Stellen in einem Bild eine Verbesserung angewandt werden kann. Das Problem, das aus dieser Kombination von Kosten- und Verbesserungsfunktionen herrührt, ist, dass mit der Kostenfunktion nur ein einziger Algorithmus verwendet werden kann.
  • Weiterhin benutzen vorhergehende Versuche, den Schärfenverbesserungsalgorithmus zu verbessern, nur die Codierungsinformation aus dem MPEG Bitstrom. Die vorhergehenden Schärfeverbesserungsalgorithmen machten keinen Unterschied zwischen verschiedenen Bildtypen, wie I-, P- und B-Frames. Folglich wurde das optimale Schärfeverbesserungsergebnis nicht erreicht, da keinen Unterschied gemacht wurde zwischen Bildteilen mit Codierungsartefakten und den artefaktfreien Teilen. Das Ergebnis kann eine suboptimale Schärfeverbesserung sein.
  • Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, die oben genannten Probleme sowie andere Probleme dadurch zu lösen, dass ein System und ein Verfahren geschaffen wird, das eine Brauchbarkeitsmetrik zur Verbesserung (UME) für jedes Pixel in einem Frame berechnet und die Schärfe verbessert, und zwar unter Anwendung der UME. In einem ersten Aspekt schafft die vorliegende Erfindung ein System zur Verbesserung der Schärfe eines codierten digitalen Videosignals, das repräsentativ ist für ein Frame von blockbasierten Daten, wobei das genannte System Folgendes umfasst: (1) ein System zum Berechnen einer UME jedes Pixels in dem Frame entsprechend einem Frame-Typ, wobei das Berechnungssystem Folgendes umfasst: einen Mechanismus, der örtliche räumliche Merkmale in dem Frame definiert; einen Mechanismus, der blockbasierte Bewegungsschätzung für das Frame analysiert; und einen Mechanismus, der eine Szenenänderung in dem Frame detektiert; und (2) einen Schärfe-Aufwerter, der die Schärfe zu einer decodierten Version des digitalen Videosignals auf Basis der genannten UME verbessert.
  • In einem zweiten Aspekt schafft die vorliegende Erfindung ein Verfahren zur Verbesserung der Schärfe eines codierten digitalen Videosignals, das repräsentativ ist für ein Frame von blockbasierten Daten, wobei das Verfahren Folgendes umfasst: das Schaffen eines Mechanismus, der örtliche räumliche Merkmale in dem Frame definiert; das Schaffen eines Mechanismus, der eine blockbasierte Bewegungsschätzung für das Frame analysiert; das Schaffen eines Mechanismus, der eine Szenenänderung in dem Frame detektiert; das Berechnen einer UME jedes Pixels in dem Frame basiert auf örtlichen räumlichen Merkmalen, blockbasierter Bewegungsschätzung und detektierten Szenenänderungen; und das Verbessern der Schärfe des Frames durch Anwendung der UME, berechnet für jedes Pixel.
  • In einem dritten Aspekt schafft die vorliegende Erfindung ein Programmprodukt, das auf einem aufzeichenbaren Medium gespeichert ist zum Berechnen einer UME für jedes Pixel in einem Frame von Videodaten, wobei das Programmprodukt Folgendes umfasst: Mittel zum Definieren örtlicher räumlicher Merkmale in dem Frame; Mittel zum Analysieren einer blockbasierten Bewegungsschätzung für das Frame; und Mittel zum Detektieren einer Szenenänderung in dem Frame.
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
  • 1 ein Blockschaltbild eines Beispiels eines digitalen Fernsehgeräts mit dem System und dem Verfahren nach der vorliegenden Erfindung,
  • 2 ein Flussdiagramm eines Arbeitsverfahrens nach der vorliegenden Erfindung,
  • 3 ein Blockschaltbild einer adaptiven Einheit mit einem Brauchbarkeitsmetrikgenerator und einem UME Steuerblock nach der vorliegenden Erfindung,
  • 4 ein Blockschaltbild einer alternativen Ausführungsform eines Schärfeverbesserungsalgorithmus nach der vorliegenden Erfindung,
  • 5 ein Blockschaltbild einer alternativen Ausführungsform einer adaptiven Einheit mit einem Brauchbarkeitsmetrikgenerator nach der vorliegenden Erfindung,
  • 6–7 ein Flussdiagramm eines Verfahrens zum Berechnen einer UME für ein I-Frame,
  • 8 ein Flussdiagramm eines Verfahrens zum Berechnen einer UME für ein P-Frame.
  • Nachstehend werden bevorzugte Ausführungsformen der vorliegenden Erfindung detailliert beschrieben, wobei ein Beispiel in der beiliegenden Zeichnung dargestellt ist. Das Verfahren und die entsprechenden Verfahrensschritte nach der vorliegenden Erfindung werden im Zusammenhang mit der detaillierten Beschreibung des Systems beschrieben.
  • I. ÜBERSICHT
  • Die 1 bis 8, die nachstehend beschrieben werden, und die jeweiligen Ausführungsformen, hier zum Beschreiben der Grundlagen des Systems und des Verfahrens nach der vorliegenden Erfindung, sind nur als Beispiel dargestellt und sollen nicht als den Rahmen der vorliegenden Erfindung begrenzend betrachtet werden. Das System und das Verfahren nach der vorliegenden Erfindung werden als ein System für und ein Verfahren zur Verbesserung der Bildqualität eines codierten digitalen Videosignals beschrieben. Es ist wichtig zu erkennen, dass das System und das Verfahren nach der vorliegenden Erfindung sich nicht auf digitale Fernsehgeräte beschränkt. Dem Fachmann dürfte es einleuchten, dass die Grundlagen der vorliegenden Erfindung erfolgreich bei jedem Typ eines digitalen Videosystems, einschließlich, ohne Begrenzung Fernsehempfänger, Set-Top-Boxen, Speicheranordnung, Computer-Videowiedergabesystemen, und jeden beliebigen Typ einer elektronischen Anlage, die digitale Videosignale benutzt oder verarbeitet, angewandt werden können. Der Ausdruck "digitales Videosystem" wird benutzt um diese und andere gleichartige Typen von Anlagen zu bezeichnen, die nun oder in Zukunft verfügbar sind. In einem nachfolgenden Ausführungsbeispiel wird ein digitales Fernsehgerät als eine repräsentative Illustration eines digitalen Videosystems verwendet.
  • Die vorliegende Erfindung kann beispielsweise auf Hochauflösungs- (HD) und Standardauflösungssequenzen (SD), wie diese in einer Videospeicheranordnung mit Hochauflösungsfähigkeiten vorhanden sind und Langspielmode (LP) ermöglichen, angewandt werden. Der Hauptteil derartiger Videosequenzen wird zu einer niedrigeren Speicherbitrate von Sende-MPEG-2 Bitströmen transcodiert. Für die Langspielmode (LP) dieser Applikation kann Formatänderung auch während der Transcodierung stattfinden. Standardauflösungs- (SD) oder Hochauflösungsvideosequenzen (HD), die codiert, decodiert und danach mit dem Schärfeverbesserungsalgorithmus nach der vorliegenden Erfindung verarbeitet werden, liefern eine ausgezeichnete Videoqualität für a priori codierte oder transcodierte Videosequenzen im Vergleich zu Algorithmen, die keine Codierungsinformation verwenden.
  • 1 ist ein Blockschaltbild eines digitalen Fernsehgeräts 100, das das Gerät und das Verfahren nach der vorliegenden Erfindung benutzt. Das digitale Fernsehgerät 100 umfasst den Fernsehempfänger 110 und die Wiedergabeeinheit 115. Die Wiedergabeeinheit 115 kann eine Elektronenstrahlröhre oder eine flache Wiedergabeanordnung oder jeder beliebige Typ einer Anordnung zum Wiedergeben von Videobildern sein. Der Fernsehempfänger 110 umfasst eine Antenne 105 zum Empfangen von Fernsehsignalen. Die Antenne 105 ist mit dem Tuner 120 gekoppelt. Der Tuner 120 ist mit dem Zwischenfrequenzprozessor 125 gekoppelt. Der ZF-Prozessor 125 ist mit einem Decoder 130 gekoppelt. Während die vorliegende Erfindung einen MPEG Decoder darstellt, beschränkt sich die vorliegende Erfindung nicht auf Codierungs/Decodierungsapplikationen von dem MPEG-Typ. Nach anderen Ausführungsformen der vorliegenden Erfindung können beliebige blockbasierte Kompressionsschemen, wie beispielsweise JPEG (noch immer Bildkompressionsnorm), MPEG-1,2,4 (digitale Videonormen), H.261, H.263 (Videokonferenznormen) und andere benutzt werden. In diesen Normen wird eine zweidimensionale (2D) DCT ("Discrete Cosine Transform") auf 8 zu 8 Pixelblöcke in dem Bild, das komprimiert wird, angewandt. Die von der DGT gelieferten 64 (8 × 8 = 64) Koeffizienten werden danach quantisiert um die wirkliche Kompression zu schaffen. Bei typischen Bildern sind die meisten DCT Koeffizienten von einer DCT an einem 8 zu 8 Pixelblock klein und werden nach Quantisierung Null. Diese Eigenschaft der DCT bei Bildern der reellen Welt ist für die Kompressionsschemen wichtig.
  • Nach der vorliegenden Erfindung werden ein Verfahren und ein entsprechendes System zur Verbesserung der Bildqualität eines codierten digitalen Videosignals geschaffen, das repräsentativ ist für wenigstens ein Frame in einem digitalen Videosystem. Das Verfahren umfasst im Allgemeinen, wie nachstehend noch detailliert beschrieben wird, die Verfahrensschritte der Erzeugung einer Brauchbarkeitsmetrik zur Verbesserung (UME), die angewandt wird zur Verbesserung des codierten digitalen Videosignals. Insbesondere umfasst die UME einen Verstärkungswert, im Allgemeinen zwischen Null und Eins, der berechnet und für jedes Pixel in einem Frame angewandt werden kann. Berechnung der UME basiert auf mehreren Kriterien, einschließlich: (1) örtliche räumliche Merkmale in dem Frame; (2) blockbasierte Bewegungsschätzung; (3) Szenenänderungsdetektion; (4) Codierungsinformation; und (5) Frametyp. Wenn einmal berechnet wird die UME auf wenigstens einen Schärfeverbesserungsalgorithmus angewandt um ein verbessertes digitales Videosignal zu erzeugen.
  • 2 ist ein Systemdiagramm, das eine Ausführungsform der vorliegenden Erfindung darstellt. Die Implementierung des in 2 verkörperten Systems wird nachstehend noch detailliert beschrieben. Ein UME Generator 151 zum verarbeiten eines Frames (Frame t) ist vorgesehen. Der UME Generator 151 benutzt Codierungsinformation 150 sowie andere Analysenmechanismen 154, 156 und 158 um eine UME 160 für jedes Pixel in jedem 8 × 8 Block in dem Frame t zu berechnen. Wenn einmal berechnet kann die UME 160 auf wenigstens einen Schärfeverbesserungsalgorithmus 162 angewandt werden um ein verbessertes Frame t' 164 zu erzeugen.
  • In 1 ist der Ausgang des MPEG Decoders 130 zur Anwendung eines Schärfeverbesserungsalgorithmus mit Nachbearbeitungsschaltungen 135 gekoppelt. Die Nachbearbeitungsschaltungen 135 können beispielsweise und nicht begrenzend eine adaptive Einheit 140 aufweisen, die das UME System nach der vorliegenden Erfindung umfasst. Die adaptive Einheit 140 kann an einer geeigneten Stelle innerhalb der Nachbearbeitungsschaltungen 135 vorgesehen sein. Der Ausgang der Nachbearbeitungsschaltungen 135 ist der Eingang für die Wiedergabeeinheit 115.
  • Wie hier zur Illustration verkörpert, verarbeitet die adaptive Einheit 140 die von dem MPEG Decoder 130 empfangenen Videosignale. Die adaptive Einheit 140 benutzt die UME in diesem Beispiel in dem adaptiven "Peaking" Prozess. Es dürfte einleuchten, dass das System und das Verfahren nach der vorliegenden Erfindung sich nicht auf den Prozess des adaptiven "Peaking" begrenzen. Die UME kann bei mehr als nur einem adaptiven Typ eines Videoverbesserungsalgorithmus verwendet werden.
  • Die adaptive Einheit 140 verarbeitet die Videosignale auf eine Art und Weise, welche die Codierungsinformation in dem Videosignal sowie andere Information berücksichtigt, die von dem Analysenmechanismus geliefert wird, d.h. örtliche räumliche Merkmale 154, blockbasierte Bewegungsschätzung 156 und Szenenänderungsdetektion 158 innerhalb des UME Generators 151 (2). Das Ausgangssignal der adaptiven Einheit 140 ist ein verbessertes Leuchtdichtesignal für die Videosignale, welche die adaptive Einheit 140 von dem MPEG Decoder 130 empfängt. Das Leuchtdichtesignal, das von der adaptiven Einheit 140 bestimmt wird, liefert ein genaueres und sichtbar deutliches Videobild als das von bekannten adaptiven Einheiten gelieferte Bild, wie nachstehend noch näher beschrieben wird. Die adaptive Einheit 140 überträgt das verbesserte Leuchtdichtesignal zu anderen Schaltungsanordnungen innerhalb Nachbearbeitungsschaltungen 135. Die Nachbearbeitungsschaltungen 135 sind imstande, die Qualität von Videosignalen zu verbessern.
  • Die Nachbearbeitungsschaltungen 135 sind imstande, verschiedene Typen von Videosignalverarbeitung durchzuführen. So umfassen beispielsweise einige der Videosignalverarbeitungsapplikationen: (a) rauschpegeladaptive Rauschreduktionsalgorithmen, (b) rauschpegeladaptive Schärfeverbesserung, (c) rauschpegeladaptive Leuchtdichte-Farbarttrennung, (d) rauschpegeladaptive Bewegungsdetektion, (e) rauschpegeladaptive Bewegungsschätzung und -kompensation, rauschpegeladaptive Aufwärtsmischung, (g) rauschpegeladaptive Merkmalverbesserung, und (h) rauschpegeladaptive objektbasierte Algorithmen.
  • 3 ist ein Blockschaltbild, das ein System und ein Verfahren der adaptiven Einheit 140 nach einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. 3 zeigt, wie die UME nach der vorliegenden Erfindung auf den adaptiven Algorithmus für Schärfeverbesserung angewandt werden kann. Der adaptive Algorithmus ist auf die Steigerung der Amplitude des Übergangs eines Eingangsleuchtdichtesignals 210 gerichtet. Der adaptive Algorithmus schafft herkömmlicherweise nicht immer optimale Videoqualität für eine "a priori" codierte/transcodierte Videoquelle. Dies ist vorwiegend ein Ergebnis der Tatsache, dass die Kennzeichen der MPEG-Quelle nicht berücksichtigt werden.
  • Die durch den adaptiven Peaking-Algorithmus verwendeten Grundlagen sind durchaus bekannt. Ein Beispiel eines adaptiven Peaking-Algorithmus benutzt vier (4) pixelbasierte Steuerblöcke. Wie in 3 dargestellt, sind die vier (4) Steuerblöcke der Kontraststsuerblock 225, der dynamische Bereichssteuerblock 230, der Clippingvermeidungsblock 235 und der adaptive Coringblock 240. Der Kontraststeuerblock 225 erzeugt ein Verstärkungssignal "g1". Der dynamische Bereichssteuerblock 230 erzeugt ein Verstärkungssignal "g2". Der Clippingvermeidungsblock 235 erzeugt ein Verstärkungssignal "g3". Der adaptive Coringblock 240 erzeugt ein Verstärkungssignal "g4". Diese vier (4) pixelbasierten Steuerblöcke berücksichtigen spezielle örtliche Kennzeichen des Videosignals, wie Kontrast, den dynamischen Bereich und den Rauchpegel. Aber diese vier (4) Steuerblöcke berücksichtigen nicht Information in Bezug auf Codierungseigenschaften des Videosignals, Bewegungsschätzung, und Szenenänderungen.
  • Das System nach der vorliegenden Erfindung schafft ein UME Berechnungssystem 245, das u. a. Codierungsinformation 215 benutzt zum Ermitteln eines bevorzugten Betrags an Peaking, wie nachstehend noch näher beschrieben wird. Das UME Berechnungssystem 245 erzeugt UME Information "gcoding".
  • Der dynamische Verstärkungsregelblock 250 selektiert das Minimale Signal der fünf (5) Verstärkungssignale {(g1, g2, g3, g4, gcoding) zum Erzeugen eines schlussendlichen Verstärkungssignals "g". Die Multiplizierschaltung 255 multipliziert das schlussendliche Verstärkungssignal "g" mit dem Hochpasssignal, das von dem 2D Peakingfilter 260 gefiltert worden ist. Der Addierer 265 addiert das Produkt aus der Multiplizierschaltung 255 zu dem ursprünglichen Leuchtdichtewert eines durch das Leuchtdichteeingangssignal 210 dargestellte Pixels. Auf diese Weise wird das verbesserte Leuchtdichteausgangssignal 270 erzeugt. Jede dieser Funktionen kann durch geeignete durchaus bekannte Elemente durchgeführt werden.
  • Als nicht begrenzendes Beispiel zeigt 4 ein typisches System zur Verbesserung der Schärfe eines codierten digitalen Videos nach der vorliegenden Erfindung. Das System umfasst ein Hochpassfilter 260 zum Filtern des Eingangsvideosignals 210, einen Multiplizierer 255 zum Multiplizieren des hochpassgefilterten Signals mit UME 220, bestimmt durch jedes der Verfahren nach der vorliegenden Erfindung. Die Multiplikation erzeugt ein verstärkungsgeregeltes Signal. Das System umfasst weiterhin einen Addierer 265 zum Addieren des Eingangsvideosignals 210 mit dem verstärkungsgesteuerten Signal und zum Erzeugen des verbesserten Leuchtdichteausgangssignals 270, das im Vergleich zu dem Eingangssignal 210 eine verbesserte Bildqualität hat. In einem Ausführungsbeispiel nach der vorliegenden Erfindung kann das zu verwendende Hochpassfilter Folgendes sein:
    Figure 00110001
    wobei k ein Skalierungsfaktor in dem Bereich zwischen 0 und 1 ist, d.h. (0,1), also ausschließen 0 aber einschließend 1. Der Faktor k ist typischerweise abhängig von der subjektiven Perzeption des Benutzers. Für schärfere Bildes wird k gesteigert.
  • Das Ergebnis des Schärfeverbesserungssystems, wie in 4 dargestellt, ist Folgendes:
    out_pixel = input_pixel + UME·convolution_result, wobei output_pixel der für das Pixel zu verwendende schlussendliche Leuchtdichtewert ist, wobei input_pixel der Leuchtdichtewert des Eingangspixels ist, und wobei convolution_result der Hochpassfilterausgang ist. Eine Signaldarstellung des Ergebnisses des Schärfeverbesserungsalgorithmus wird dann auf bekannte Art und Weise für jedes Pixel in dem Frame erzeugt.
  • Weil die UME berechnet wird um Codierungskennzeichen zu berücksichtigen, vermeidet die UME die Verbesserung der Codierungsartefakte, wie Blocking und Ringing. Auf diese Weise kann die Vermeidung oder Verringerung von Artefakten von Nicht-Codierungsherkunft, die herrühren können von Anwendung von zuviel Verbesserung, von den anderen Teilen des Schärfeverbesserungsalgorithmus angefasst werden.
  • 5 zeigt eine alternative Ausführungsform. In 5 sind die vier (4) Steuerblöcke 225, 230, 235 und 240 nach 3 fortgelassen. Nur das UME Berechnungssystem 245 ist geblieben. Codierungsinformation 215 (geliefert auf Blockbasis oder auf regionaler Basis), die in dem Bitstrom vorhanden ist, kann während der Decodierungsprozedur abgerufen werden. UME 158 wird von der MPEG Codierungsinformation 215 in dem Bitstrom hergeleitet, ebenso wie örtliche räumliche Merkmale, Bewegungsschätzung, und Szenenänderungsdetektionsberechnungen 247. Es wird ermittelt, in wieweit ein Pixel oder ein gebiet verbessert werden kann, ohne dass Codierungsartefakte zunehmen. Nach der vorliegenden Erfindung ist die feinste Körnigkeit der MPEG Information, die unmittelbar während der Decodierung erhalten wird, entweder: (1) basiert auf Makroblockmengen (MB), oder (2) basiert auf blockbasierten Mengen. Aber für eine räumliche (Pixel) Domänenvideoverbesserung wird die UME vorzugsweise für jedes Pixel eines Bildes berechnet, und zwar zur Gewährleistung der höchsten Bildqualität. UME Werte werden unter Benutzung der nachfolgenden Kriterien berechnet.
  • II. UME ANALYSENMECHANISMEN
  • Wie bereits bemerkt, werden mehrere Kriterien oder Analysenmechanismen benutzt zum Berechnen einer UME. Wie in Bezug auf die 6–8 detailliert beschrieben, können verschiedene Analysenmechanismen oder eine Kombination von Analysenmechanismen zum Berechnen der UME verwendet werden. Einige Analysenmechanismen können eine UME für einen Pixelblock in einer einzigen Berechnung berechnen, während andere separat eine UME für jedes Pixel in einem Block berechnen. In einem Ausführungsbeispiel kann der Wert der UME von einem Wert "Null" ("0") bis zu einem Wert "Eins" ("1") reichen. Ein Wert gleich "Null" bedeutet, dass keine Schärfeverbesserung für ein bestimmtes Pixel erlaubt ist, während ein Wert "Eins" bedeutet, dass das Pixel unbehindert verbessert werden kann, ohne Gefahr vor Steigerung von Codierungsartefakten. Die jeweiligen Analysenmechanismen werden nachstehend beschrieben.
  • A. Codierungsinformation
  • Ein auf einfache Weise aus der MPEG Information extrahierter Parameter ist der Quantisierungsparameter (q_scale), wie dieser in jedem codierten Makroblock (MB) vorhanden ist. Je höher der Quantisierungsparameter, umso gröber die Quantisierung und deswegen umso höher der Quantisierungsfehler. Ein hoher Quantisierungsfehler führt zu Codierungsartefakten. Folglich kann eine Verbesserung der Pixel in einem Makroblock (MB) mit einem hohen Quantisierungsparameter mehr unterdrückt werden.
  • Ein anderes nützliches Informationsitem ist die Anzahl Bits (num_bits) zum Codieren eines Makroblocks (MB) oder eines Blocks. Im Allgemeinen gilt, je weniger Bits zum Codieren eines Blocks aufgewendet werden, umso niedriger ist die Qualität des Blocks. Aber diese Menge (num_bits) ist auch stark abhängig von dem Szeneninhalt, der Bitrate, dem Frametyp, wie I (Intra), P (vorhergesagt) und B (bidirektionell vorhergesagt) Frametypen, Bewegungsschätzung und Bewegungskompensation.
  • Es ist ebenfalls möglich, die Verteilung bestehender DCT Koeffizienten in einem Block zu betrachten. Außerdem können Bewegungsvektoren verwendet werden um Information über die zeitlichen Merkmale des zu verbessernden Videos zu erhalten. Es ist durchaus bekannt, dass die geschätzten und zur MPEG Codierung verwendeten Bewegungsvektoren nicht unbedingt eine echte Bewegung in dem Video darstellen. Die Bewegungsvektoren können aber eine Hilfe sein bei der Identifikation von statischen Gebieten und bei der Verwendung der statischen Gebiete zur Verbesserung der zeitlichen Konsistenz der Verbesserung von Frame zu Frame, sogar wenn die Bewegungsvektoren nicht zuverlässig sind.
  • Der Quantisierungsparameter (q_scale) und die Anzahl Bits (num_bits), die aufgewendet wurden zum Codieren eines Makroblocks (MB) oder eines Blocks werden allgemein verwendet bei Ratensteuerberechnungen bei MPEG Codierung.
  • Weil ein größerer Quantisierungsparameterwert meistens zu größeren Codierungsartefakten führt, soll die UME typischerweise umgekehrt proportional zu dem Quantisierungsparameter (q_scale) sein.
  • Nach einer Ausführungsform der vorliegenden Erfindung kann der UME Generator 215 eine UME für jeden 8 × 8 Block entsprechend der nachfolgenden Gleichung berechnen:
    Figure 00140001
    wobei UME_block die Brauchbarkeitsmetrik für einen Block mit Pixeldaten ist, wobei q_scale die Quantisierungsskala für den Makroblock ist, wobei num_bits eine Anzahl Bits ist zum Codieren eines Leuchtdichteblocks (d.h. die Anzahl Bits zum Codieren von AC Koeffizienten eines DCT Blocks des Leuchtdichteblocks), wobei max eine Funktion ist, die einen maximalen Wert für das ganze Frame darstellt, und wobei M und N experimentell bestimmte Skalierungsfaktoren sind. Der N Faktor ist in dem Bereich von q_scale Werten. Der M Faktor ist von der subjektiven Perzeption eines Benutzers abhängig. Für eine stärkere Schärfeverbesserung wird beispielsweise der M Faktor verringert, aber wenn der Benutzer ein weniger scharfes Bild wünscht, kann der M Faktor gesteigert werden. Mögliche M Werte sind 1, 2, 4, 8 usw.
  • B. Örtliche räumliche Merkmale
  • Wie in 5 dargestellt, kann die Berechnung von UME 220 weiterhin abhängig sein von Berechnungen 147. Eine dieser Berechnungen betrifft die Analyse örtlicher räumlicher Merkmale. Ein örtliches räumliches Merkmal kann als eine Varianz des Leuchtdichtewertes für jedes Pixel über ein nxn Fenster, das nxn Pixel bedeckt, definiert werden. Die Varianz wird wie folgt definiert:
    Figure 00140002
    wobei q =(n – 1)/2, pix(i + k, j + m) der Pixelwert an der Stelle (i + k, j + m) ist und mean der mittlere Pixelwert über das genannte nxn Fenster ist. Die Terme i und j sind die ursprünglichen Koordinaten eines Pixels und k und m sind die Verlagerungswerte. Auf alternative Weise kann das örtliche räumliche Merkmal als Gebietskarte (Textur oder flache Gebiete) definiert werden.
  • C. Blockbasierte Bewegungsschätzung
  • Berechnung von UME 220 kann weiterhin basieren auf Bewegungsschätzungsinformation, erhalten von jedem Block unter Verwendung der nachfolgenden Analyse.
  • Ein Block B(X →) ist ein 8 × 8-Blockstart bei
    Figure 00150001
    B(X →) = {x →|(Xh ≤ x ≤ Xh + 7) ∧ (Xv ≤ y ≤ Xv + 7)} (3)
  • Die "Summed Absolute Difference", SAD, wird wie folgt definiert:
    Figure 00150002
    wobei V → ein Vektor
    Figure 00150003
    ist, und n die Framezahl ist.
  • Es werden zwei Blocktypen definiert: "Stille Blöcke", die weniger Bewegungsmerkmale haben, und "Bewegende Blöcke", die größere Bewegungsmerkmale haben. In einem Ausführungsbeispiel wird ein Block B(X →) als ein stiller Block bezeichnet, wenn die nachfolgenden Bedingung erfüllt wird:
    Figure 00150004
  • Wobei
    Figure 00150005
    und STILL_THRED eine vorbestimmte Schwelle ist, beispielsweise 80.
  • Wenn die Bedingung (5) nicht erfüllt wird, wird der Block als bewegender Block bezeichnet. Der Bewegungsvektor V' → für B(X →) ist der Vektor mit der kleinsten SAD innerhalb der Suchfensters:
    Figure 00150006
    ⩝V → ∊ SW, SAD(V' →, x →, n) ≤ SAD(V →, x →, n) (6)
  • D. Szenenänderungsdetektion
  • Das Ziel der Szenenänderungsdetektion ist die Inhaltsänderung aufeinander folgender Frames in einer Videosequenz zu detektieren. Eine genaue Szenenänderungsdetektion kann die Leistung von Videoverarbeitungsalgorithmen verbessern. So kann sie beispielsweise Videoverbesserungsalgorithmen empfehlen um deren Parameter für einen anderen Szeneninhalt anzupassen. Szenenänderungsdetektion wird ebenfalls in Videokompressionsalgorithmen verwendet.
  • Szenenänderungsdetektion kann als weiterer Schritt in die UME Berechnung einverleibt werden, da eine forcierte zeitliche Konsistenz zwischen verschiedenen Szenen zu einer Bildqualitätsabnahme führen kann, insbesondere wenn dramatische Szenenänderungen auftreten.
  • Jede bekannte Szenenänderungsdetektionsmethodologie lann angewandt werden. Ein Ausführungsbeispiel kann die Berechnung einer Differenz zwischen aufeinander folgenden Frames eines Videos umfassen zum Erzeugen einer Anzahl verschiedener Werte. Von den Differenzwerten kann dann ein Histogramm genommen werden. Eine Szenenänderung wird detektiert, wenn ein Hauptteil der Differenzwerte in dem Histogramm einen vorbestimmten Wert übersteigen.
  • III. UME BERECHNUNGEN
  • In den nachfolgenden Ausführungsbeispielen wird die UME verschiedenartig berechnet, und zwar abhängig davon, ob das Frame ein I-Frame, ein P-Frame oder ein B-Frame ist. Insbesondere beschreibt 6 eine I-Frameberechnung. 8 beschreibt P- und B-Frameberechnungen, und 7 enthält eine Subroutine "Box I", die in beiden Fällen verwendet wird.
  • Die 6–7 zeigen ein Flussdiagramm, das die UME Berechnung für ein I-Frame darstellt. In dem ersten Schritt S1 wird ein Ausgangs-UME-Wert berechnet, und zwar entsprechend dem Box I, wie in dem Flussdiagramm in 7 dargestellt. Und Zwar wird in dem Schritt S13 die Bedingung C2 getestet.
  • Die Bedingung C2 ist definiert als
    (var < VAR_THRED)or(num_bits == 0), wobei var entsprechend der oben stehenden Gleichung (2) berechnet wird, und ein Beispielswert für VAR_THRED ist 70. Wenn die Bedingung C2 nicht erfüllt wird, wird die UME in dem Schritt S15 entsprechend der oben stehenden Gleichung (1) für den UME_block berechnet. Im Gegensatz dazu, wenn die Bedingung erfüllt wird, wird die UME in dem Schritt S14 auf Null gesetzt. Dieses letztere bedeutet, dass entweder der var Wert sehr klein ist oder der Block hat nur DC Koeffizienten. Dieser letztere Fall drückt aus, dass die Nachbarschaft zentriert auf das aktuelle Pixel wahrscheinlich ein flaches Gebiet ist, wobei Blockartefakte bestehen können und deswegen soll dabei eine Schärfeverbesserung vermieden werden.
  • Danach wird ermittelt, ob eine Szenenänderung in dem Schritt S2 stattgefunden ist. Sollte eine Szenenänderung aufgetreten sein, so endet der Algorithmus in dem Schritt S4 und der in dem Schritt S1 berechnete Wert ist der schlussendliche UME Wert. Für I Frames kann eine Szenenänderung effektiv nachgelassen werden, wenn eine Szenänderung an einem P- oder B-Frame in der vorhergehenden GOP ("group of pictures") vor dem aktuellen I-Frame auftritt, oder wenn eine Szenenänderung an dem aktuellen I-Frame detektiert wird.
  • Außerdem wird, wenn das aktuelle I Frame das erste oder das zweite I Frame in einer GOP ist, wird der Schritt S1 ausschließlich zum Berechnen der UME verwendet, d.h. es wird eine Szenenänderung vorausgesetzt. Auf diese Weise wird man sich für vorhergehende Frames nicht auf berechnete UME Werte verlassen, und zwar wegen der Tatsache, dass die erste GOP meistens mit vielen Unsicherheiten codiert wird, da die An passung der Vorgabecodierungsparameter an eine spezielle Bildsequenz einige Frames für den Codierer erfordert.
  • Wenn eine Szenenänderung nicht detektiert wird, wird danach in dem Schritt S3 entsprechend der Gleichung (5) ermittelt, ob der aktuelle Block ein stiller Block ist. Sollte dieser Block ein stiller Block sein, so wird die UME derart zurückgestellt, dass sie denselben Wert des Pixels an derselben Stelle hat wie das vorhergehende Frame in dem Schritt S6. Wenn der aktuelle Block nicht ein stiller Block ist (d.h. es ist ein bewegender Block), dann wird in dem Schritt S5 entsprechend der Gleichung (6) der Bewegungsvektor V'= (v', h') gefunden. Daraufhin wird in dem Schritt S7 ermittelt, ob v' und h' gleich Null sind. Wenn einer oder beide nicht gleich Null sind, dass wird die Bedingung C1 in dem Schritt S8 getestet, wobei C1 die Bedingung ist: var ≥ VAR_THRED. Wenn C1 nicht wahr ist, dann wird die UME in dem Schritt S9 auf Null gesetzt. Sollte C1 wahr sein, dass wird in dem Schritt S10 die UME berechnet, und zwar entsprechend der nachfolgenden Gleichung: UME = [0.9·UME] + [0.1·UME_prev(v', h')], wobei UME_prev(v', h') die UME des Pixels ist, auf das durch den Bewegungsvektor (v', h') in dem vorhergehenden Frame gezeigt wurde.
  • Wenn auf alternative Weise in dem Schritt S7 ermittelt wird, dass v' und h' beide gleich Null sind, dann wird in dem Schritt S9A die Bedingung C1 getestet. Wenn die Bedingung C1 nicht wahr ist, dann wird die UME in dem Schritt S12 auf Null gesetzt. Wenn die Bedingung C1 wahr ist, dann wird die UME entsprechend der nachfolgenden Gleichung berechnet: UME = [0.1·UME] + [0.9·UME_prev],wobei UME_pre der UME Wert des Pixels an derselben Stelle in dem vorhergehenden Frame ist.
  • In 8 ist ein Flussdiagramm zur Berechnung einer UME für ein Pixel in einem P oder B Frame vorgesehen. Erstens wird in dem Schritt S20 ermittelt, ob ggf. eine Szenenänderung stattgefunden hast. Wenn eine Szenenänderung aufgetreten ist, dann wird die Bedingung C3 in dem Schritt S21 getestet, wobei C3 die Bedingung ist: Intra-block und num_bits ≠ 0. Wenn C3 wahr ist, dann wird UME in dem Schritt S22 entsprechend dem in 7 (d.h. Box I) beschriebenen Flussdiagramm berechnet. Wenn die Bedingung C3 nicht wahr ist, oder es wird keine Szenenänderung in dem Schritt S20 detektiert, dann wird in dem Schritt S23 ermittelt, ob der aktuelle Block ein stiller Block ist.
  • Wenn der aktuelle Block nicht ein stiller Block ist, dann wird in dem Schritt S25 der Bewegungsvektor (v', h') berechnet. In dem Schritt S26 werden die Bewegungsanteile v' und h' getestet. Wenn einer oder die beiden Anteile nicht Null sind, dann wird die Bedingung C1 in dem Schritt S27 getestet. Wenn C1 nicht wahr ist, dann wird die UME in dem Schritt S29 auf Null gesetzt. Wenn C1 wahr ist, dann wird UME in dem Schritt S30 auf UME_prev(v', h') gesetzt, wobei UME_prev(v', h') die UME des Pixels ist, auf das durch den Bewegungsvektor (v', h') in dem vorhergehenden Frame gezeigt wurde.
  • In dem Schritt S26 wird, wenn die beiden Anteile v' und h' gleich Null sind, die Bedingung C1 in dem Schritt S28 getestet. Wenn C1 nicht wahr ist, dann wird in dem Schritt S32 die UME auf Null gesetzt. Wenn C1 wahr ist, dann wird in dem Schritt S31 die UME auf UME_prev gesetzt, wobei UME_prev der UME Wert des Pixels an derselben Stelle in dem vorhergehenden Frame ist.
  • Zum Schluss wird, wenn ermittelt worden ist (zurück zu dem Schritt S23), dass der aktuelle Block ein stiller Block ist, die UME auf denselben Wert des Blocks an derselben Stelle aus dem vorhergehenden Frame in dem Schritt S24 zurückgesetzt. Danach wird der Schritt S28 auf dieselbe Art und Weise, wie oben beschrieben, wiederholt.
  • Die Verfahren und die Systeme nach der vorliegenden Erfindung, wie oben beschrieben und in der Zeichnung dargestellt, schaffen eine verbesserte Art und Weise, die Qualität eines digital codierten Videosignals zu verbessern, und zwar durch Benutzung eines Schärfeverbesserungsalgorithmus. Es dürfte dem Fachmann einleuchten, dass mehrere Modifikationen und Abwandlungen in dem Verfahren und in dem System nach der vorliegenden Erfindung im Rahmen der vorliegenden Erfindung durchgeführt werden können. Auf diese Weise wird beabsichtigt, dass die vorliegende Erfindung Modifikationen und Abwandlungen umfasst, die im Rahmen der beiliegenden Patentansprüche und deren Äquivalenten liegen.
  • Text in der Zeichnung
  • 1
    • Tuner
    • ZF-Prozessor
    • MPEG-Decoder
    • Nachbearbeitungsschaltungen
    • Adaptive Peakingeinheit mit UME
    • Wiedergabeeinheit
  • 2
    • Codierungsinformation
    • Örtliche räumliche Merkmale
    • Bewegungsschätzung
    • Szenenänderungsdetektion
    • Schärfeverbesserungsalgorithmus
    • Verbessertes Frame T'
  • 3
    • Leuchtdichte EIN
    • Peakingfilter
    • Kontrastregelung
    • Dynamischer Bereichsregelung
    • Clippingvermeidung
    • Adaptive Coring
    • UME Berechnung
    • Codierung
    • Codierungsinformation
    • Verbesserte Leuchtdichte AUS
    • Verstärkungsregelung
    • Hochpasssignal
  • 4
    • Eingangssignal
    • Hochpassfilterung
    • Ausgangssignal
  • 5
    • Leuchtdichte EIN
    • Codierungsinformation
    • Verbessertes Ausgangssignal
    • Peakingfilter
    • UME Berechnung
    • Örtliche räumliche Merkmale
    • Bewegungsschätzung
    • Szenenänderungsdetektion
    • Hochpasssignal
  • 6
    • I Bilder
    • Berechnung der UME
    • Szenenänderung
    • Ende
    • Nein
    • Stiller Block
    • Ja
    • Rückstellung der UME auf denselben Wert des Pixels an derselben Stelle aus dem vorhergehenden Frame
    • Den Bewegungsvektor finden
    • UME_prev ist der UME Wert des Pixels an derselben Stelle in dem vorhergehenden Frame
    • UME_prev (v', h') ist die UME des Pixels, worauf durch den Bewegungsvektor (v', h') in dem vorhergehenden Frame gezeigt wurde.
  • 7
    • Berechne UME unter Verwendung der Gleichung (1)
  • 8
    • P und B Bilder
    • Szenenänderung
    • Ja
    • Nein
    • C3 ist die Bedingung (Intrablock und)
    • Berechnung der UME
    • Stiller Block
    • Ja
    • Nein
    • Rückstellung der UME, derart dass diese denselben Wert hat wie der Block an derselben Stelle aus dem vorhergehenden Frame
    • Den Bewegungsvektor finden
    • UME_prev ist der UME Wert des Pixels an derselben Stelle in dem vorhergehenden Frame
    • UME_prev (v', h') ist die UME des Pixels, worauf durch den Bewegungsvektor (v', h') in dem vorhergehenden Frame gezeigt wurde.

Claims (16)

  1. System [151] zur Verbesserung der Schärfe eines codierten digitalen Videosignals, das repräsentativ ist für ein Frame [163] von blockbasierten Daten, wobei das genannte System Folgendes umfasst: – ein System [245] zum Berechnen einer Brauchbarkeitsmetrik zur Verbesserung (UME) [160, 220, 258] jedes Pixels in dem Frame entsprechend einem Frame-Typ, wobei das Berechnungssystem [245] Folgendes umfasst: – einen Mechanismus, der örtliche räumliche Merkmale [254] in dem Frame [163] definiert; – einen Mechanismus, der blockbasierte Bewegungsschätzung [156] für das Frame [163] analysiert; – einen Mechanismus, der eine Szenenänderung [158] in dem Frame [163] detektiert; und – einen Schärfe-Aufwerter [162], der Schärfe zu einer decodierten Version des digitalen Videosignals auf Basis der genannten UME [160, 220, 258] verbessert.
  2. System nach Anspruch 1, wobei das Berechnungssystem [245] weiterhin einen Mechanismus aufweist, der macroblock- und blockbasierte Information entsprechend der nachfolgenden Formel analysiert:
    Figure 00230001
    wobei UME_block eine Brauchbarkeitsmetrik für einen Block mit Pixeldaten ist, wobei q_scale eine Quantisierungsskala für den Makroblock ist, wobei num_bits eine Anzahl Bits ist zum Codieren eines Leuchtdichteblocks, wobei max eine Funktion ist, die einen maximalen Wert für das Frame [163] darstellt, und wobei M und N Skalierungsfaktoren sind.
  3. System nach Anspruch 2, wobei die örtlichen räumlichen Merkmale [154] als eine Varianz von Pixelleuchtdichtewerten über ein nxn Fenster definiert sind, das nxn
  4. Pixel deckt, wobei die genannte Varianz entsprechend der nachfolgenden Gleichung definiert ist:
    Figure 00240001
    wobei q = (n – 1)/2, pix(i + k, j + m) ein Pixelwert an der Stelle (i + k, j + m) ist und wobei mean ein mittlerer Pixelwert über das genannte nxn Fenster ist.
  5. System nach Anspruch 3, wobei die UME [160, 220, 258] eines Pixels in einem I-Frame unter Verwendung von UME_block berechnet wird, wenn: (var(i, j) ≥ VAR_THRED) and (num_bits ≠ 0); und eine Szenenänderung detektiert wird, wobei VAR_THRED ein vorbestimmter Schwellenwert ist.
  6. System nach Anspruch 3, wobei der Mechanismus, der blockbasierte Bewegungsschätzung [156] für das Frame [163] analysiert, bestimmt, ob der Block ein Standbild-Block ist.
  7. System nach Anspruch 3, wobei der Mechanismus [156], der blockbasierte Bewegungsschätzung für das Frame [163] analysiert, einen Bewegungsvektor (v', h') berechnet, wenn ein aktueller Block kein Standbild-Block ist, wobei der Bewegungsvektor (v', h') ein Bewegungsvektor in einem Block B(X) mit einem kleinsten summierten absoluten Differenz (SAD) in einem Suchfenster ist und wobei die summierte absolute Differenz für einen Vektor V in einem Frame n wie folgt definiert wird:
    Figure 00240002
    wobei f(x, n) ein Pixelwert an der Stelle x ist.
  8. System nach Anspruch 6, wobei, wenn der Block nicht ein Standbild-Block ist, das Berechnungssystem [245] testet um zu ermitteln, ob v' und h' gleich Null sind.
  9. System nach Anspruch 7, wobei, wenn der Block nicht ein Standbild-Block ist, das Berechnungssystem [245] die UME [160, 220, 258] auf Null setzt, wenn var < VAR_THRED ist, wobei VAR_THRED ein vorbestimmter Schwellenwert ist.
  10. System nach Anspruch 8, wobei, wenn der Block nicht ein Standbild-Block ist und v' und h' gleich Null sind, das Berechnungssystem [245] die UME [160, 220, 258] auf UME = [0,1·UME] + [0,9·UME_prev] setzt, wenn var ≥ VAR_THRED ist, wobei UME_prev der UME-Wert eines Pixels an derselben Stelle in einem vorhergehenden Frame ist.
  11. System nach Anspruch 8, wobei, wenn der Block nicht ein Standbild-Block ist und wenn wenigstens eines von v' und h' nicht gleich Null ist, das Berechnungssystem [245] die UME [160, 220, 258] auf UME = [0,9·UME] + [0,1·UME_prev(v', h')] setzt, wenn var ≥ VAR_THRED ist, wobei UME_prev(v', h') der UME-Wert des Pixels ist, der durch den Vektor (v', h') in dem vorhergehenden Frame angegeben wurde.
  12. System nach Anspruch 1, wobei der genannte Schärfenverbesserungsalgorithmus [162] ein Peaking-Algorithmus ist.
  13. System nach Anspruch 1, wobei der genannte Schärfenverbesserungsalgorithmus [162] ein räumliche-Domäne-Algorithmus ist.
  14. System nach Anspruch 1, wobei der angewandte Schärfenverbesserungsalgorithmus [162] wie folgt ist: out_pixel = input_pixel + UME·convolution_result,wobei output_pixel ein schlussendlicher Leuchtdichtewert ist, der für das Pixel verwendet werden soll, wobei input_pixel ein Leuchtdichtewert des Eingangspixels ist, und wobei convolution_result ein Hochpassfilterausgang ist.
  15. Verfahren zur Verbesserung der Schärfe eines codierten digitalen Videosignals, das für ein Frame [163] von blockbasierten Daten repräsentativ ist, wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Definieren örtlicher räumlicher Merkmale [154] in dem Frame [163], – das Analysieren einer blockbasierten Bewegungsschätzung [156] für das Frame [163], – das Detektieren einer Szenenänderung [158] in dem Frame [163]; – das Berechnen einer Brauchbarkeitsmetrik zur Verbesserung (UME) [160, 220, 258] jedes Pixels in dem Frame [163] basiert auf örtlichen räumlichen Merkmalen [154], blockbasierter Bewegungsschätzung und detektierten Szenenänderungen; und – das Verbessern der Schärfe des Frames [163] durch Anwendung der UME [160, 220, 258], berechnet für jedes Pixel.
  16. Programmprodukt, gespeichert auf einem aufzeichenbaren Medium zum Berechnen einer Brauchbarkeitsmetrik zur Verbesserung (UME) [160, 220, 258] für jedes Pixel in einem Frame [163] von Videodaten, wobei das Programmprodukt Folgendes umfasst: – Mittel zum Definieren örtlicher räumlicher Merkmale [154] in dem Frame [163], – Mittel zum Analysieren einer blockbasierten Bewegungsschätzung [156] für das Frame [163], – Mittel zum Detektieren einer Szenenänderung [158] in dem Frame [163]; – Mittel zum Berechnen der UME [160, 220, 258] unter Verwendung der Definitionsmittel, der Analysenmittel und der Detektionsmittel.
DE60302456T 2002-05-06 2003-04-23 System und verfahren zur verbesserung der schärfe für codierte digitale videosignale Expired - Fee Related DE60302456T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/139,175 US7031388B2 (en) 2002-05-06 2002-05-06 System for and method of sharpness enhancement for coded digital video
US139175 2002-05-06
PCT/IB2003/001691 WO2003094111A1 (en) 2002-05-06 2003-04-23 System for and method of sharpness enhancement for coded digital video

Publications (2)

Publication Number Publication Date
DE60302456D1 DE60302456D1 (de) 2005-12-29
DE60302456T2 true DE60302456T2 (de) 2006-08-03

Family

ID=29269522

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60302456T Expired - Fee Related DE60302456T2 (de) 2002-05-06 2003-04-23 System und verfahren zur verbesserung der schärfe für codierte digitale videosignale

Country Status (9)

Country Link
US (1) US7031388B2 (de)
EP (1) EP1506525B1 (de)
JP (1) JP2005525014A (de)
KR (1) KR20040102211A (de)
CN (1) CN100370484C (de)
AT (1) ATE310996T1 (de)
AU (1) AU2003225481A1 (de)
DE (1) DE60302456T2 (de)
WO (1) WO2003094111A1 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135073B2 (en) 2002-12-19 2012-03-13 Trident Microsystems (Far East) Ltd Enhancing video images depending on prior image enhancements
KR20050084311A (ko) * 2002-12-20 2005-08-26 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 비디오 이미지 개선 방법 및 이를 이용한 비디오 디코더,셋탑 박스, 텔레비전
KR20060058703A (ko) * 2003-08-06 2006-05-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 블럭 아티팩트 검출
JP2007515097A (ja) * 2003-11-07 2007-06-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法及び装置
KR100772215B1 (ko) * 2005-12-30 2007-11-01 엘지전자 주식회사 영상표시기기의 영상 제어장치 및 방법
US7852412B1 (en) * 2006-02-27 2010-12-14 Nvidia Corporation Video noise level detection
JP4615508B2 (ja) * 2006-12-27 2011-01-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP2008225241A (ja) * 2007-03-14 2008-09-25 Fujitsu Ltd 映像信号処理装置、映像信号処理方法及び映像信号処理プログラム
JP4922839B2 (ja) * 2007-06-04 2012-04-25 三洋電機株式会社 信号処理装置、映像表示装置及び信号処理方法
JP4279332B2 (ja) * 2007-10-31 2009-06-17 株式会社東芝 順次走査変換装置及び順次走査変換方法
US9407925B2 (en) * 2008-10-30 2016-08-02 Vixs Systems, Inc. Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith
US8953688B2 (en) * 2010-11-08 2015-02-10 Sony Corporation In loop contrast enhancement for improved motion estimation
EP3176729A1 (de) * 2011-09-06 2017-06-07 Intel Corporation Analytikunterstützte codierung
US20150146981A1 (en) * 2013-09-05 2015-05-28 Tp Vision Holding B.V. Apparatus and method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
US9832467B2 (en) * 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
EP3016383B1 (de) * 2014-11-03 2017-06-21 Axis AB Verfahren, Vorrichtung und System zur Vorverarbeitung eines Videostroms zur anschließenden Bewegungserkennungsverarbeitung
KR102601350B1 (ko) * 2016-05-31 2023-11-13 엘지디스플레이 주식회사 데이터 압축 방법 및 이를 이용한 표시 장치
US11019349B2 (en) * 2017-01-20 2021-05-25 Snap Inc. Content-based client side video transcoding
CN106961628B (zh) * 2017-03-24 2020-04-28 北京金山安全软件有限公司 视频播放方法、装置以及电子设备
US20230028736A1 (en) * 2021-07-22 2023-01-26 Qualcomm Incorporated Configurable image enhancement

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0721286A3 (de) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Einrichtung zur Dekodierung von Videosignalen mit Verminderung von Artefakten
US6011864A (en) * 1996-07-03 2000-01-04 Apple Computer, Inc. Digital image coding system having self-adjusting selection criteria for selecting a transform function
EP0945022B1 (de) * 1996-12-18 2003-02-26 Thomson Consumer Electronics, Inc. Effiziente kompression und dekompression von blocks fester länge
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6847738B1 (en) * 1999-01-15 2005-01-25 Koninklijke Philips Electronics N.V. Sharpness enhancement
CN1181690C (zh) * 1999-07-20 2004-12-22 皇家菲利浦电子有限公司 用于压缩视频序列的编码方法
WO2001020912A1 (en) * 1999-09-14 2001-03-22 Koninklijke Philips Electronics N.V. Method and device for identifying block artifacts in digital video pictures
WO2001045389A1 (en) * 1999-12-17 2001-06-21 Koninklijke Philips Electronics N.V. Signal peaking
KR100323678B1 (ko) * 2000-02-28 2002-02-07 구자홍 화면비 변환 장치
US6950561B2 (en) * 2001-01-10 2005-09-27 Koninklijke Philips Electronics N.V. Method and system for sharpness enhancement for coded video
US6862372B2 (en) * 2001-12-27 2005-03-01 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement using coding information and local spatial features
US6873657B2 (en) * 2001-12-27 2005-03-29 Koninklijke Philips Electronics, N.V. Method of and system for improving temporal consistency in sharpness enhancement for a video signal

Also Published As

Publication number Publication date
DE60302456D1 (de) 2005-12-29
EP1506525B1 (de) 2005-11-23
US20030206591A1 (en) 2003-11-06
ATE310996T1 (de) 2005-12-15
CN100370484C (zh) 2008-02-20
US7031388B2 (en) 2006-04-18
KR20040102211A (ko) 2004-12-03
CN1650328A (zh) 2005-08-03
WO2003094111A1 (en) 2003-11-13
EP1506525A1 (de) 2005-02-16
AU2003225481A1 (en) 2003-11-17
JP2005525014A (ja) 2005-08-18

Similar Documents

Publication Publication Date Title
DE60302456T2 (de) System und verfahren zur verbesserung der schärfe für codierte digitale videosignale
DE60215241T2 (de) Verfahren und Vorrichtung zur Reduzierung von Störungen in dekodierten Bildern mit Nachfilterung
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US8139883B2 (en) System and method for image and video encoding artifacts reduction and quality improvement
DE69525312T2 (de) Verfahren und Vorrichtung zum Dekodieren von Bilddaten
DE602004008763T2 (de) Videotranskodierung
DE69911569T2 (de) Verfahren zur Szenenänderungs- und Überblendungensdetektion für Videosequenzindexierung
DE112011103365B4 (de) Tonwertumsetzung von Videosignalen mit hohem Dynamikumfang
DE69839100T2 (de) Verbesserte Videokodierung unter Verwendung von adaptiven Blockparametern für kodierte/unkodierte Blöcke
DE69124536T2 (de) Bildkodiervorrichtung
DE69313692T2 (de) Kodierung und Dekodierung zur Videokompression mit automatischer Halbbild/Bild Bewegungskompensation auf der Subpixelebene
DE69521966T2 (de) Einrichtung zur Kodierung eines Videosignales bei Anwesenheit eines Leuchtdichtegradienten
DE69912084T2 (de) Verfahren zur Erkennung von Szenenüberblendungen zur Indexierung von Videosequenzen
DE69624669T2 (de) Videokodierer und -dekodierersystem und -methoden
US20030123549A1 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
DE60122382T2 (de) Vorrichtung und verfahren zur bereitstellung einer nützlichkeitsmetrik auf der grundlage der codierung von informationen zur verbesserung von videosignalen
AT509759B1 (de) Verfahren zum verarbeiten von sport-videosequenzen
Dumic et al. Comparison of Dirac and H. 264/AVC Coding Quality Using Objective Video Quality Measures
Yang Perceptual quality assessment for compressed video

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee