DE69924102T2 - Skalierung komprimierter bilder - Google Patents

Skalierung komprimierter bilder Download PDF

Info

Publication number
DE69924102T2
DE69924102T2 DE69924102T DE69924102T DE69924102T2 DE 69924102 T2 DE69924102 T2 DE 69924102T2 DE 69924102 T DE69924102 T DE 69924102T DE 69924102 T DE69924102 T DE 69924102T DE 69924102 T2 DE69924102 T2 DE 69924102T2
Authority
DE
Germany
Prior art keywords
format
matrix
image information
blocks
dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69924102T
Other languages
English (en)
Other versions
DE69924102D1 (de
Inventor
Shipeng Li
Keren Hu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sarnoff Corp
Motorola Solutions Inc
Original Assignee
Sarnoff Corp
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sarnoff Corp, Motorola Inc filed Critical Sarnoff Corp
Publication of DE69924102D1 publication Critical patent/DE69924102D1/de
Application granted granted Critical
Publication of DE69924102T2 publication Critical patent/DE69924102T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

  • Die Erfindung bezieht sich allgemein auf Kommunikationssysteme. Insbesondere bezieht sich die Erfindung auf ein Verfahren und eine Vorrichtung, mit der wenigstens die Bildinformation in einem Informationsstromdekoder wie beispielsweise einem MPEG-artigen Videodecoder, in der Größe neu eingestellt bzw. skaliert werden kann.
  • Hintergrund
  • In verschiedenen Kommunikationssystemen werden zu übertragende Daten komprimiert, sodass die verfügbare Bandbreite effizienter genutzt wird. Zum Beispiel hat die "Moving Pictures Experts Group" (MPEG) verschiedene Standards veröffentlicht, welche sich auf digitale Datenliefersysteme beziehen. Der erste, bekannt als MPEG-1, bezieht sich auf die ISO/IEC-Standards 11172, und auf ihn wird ausdrücklich Bezug genommen. Der zweite, bekannt als MPEG-2, bezieht sich auf die ISO/IEC-Standards 13818, und auf ihn wird ausdrücklich Bezug genommen. Ein komprimiertes digitales Videosystem wird umschrieben in dem digitalen Fernsehstandarddokument A/53 des "Advanced Television Systems Committee" (ATSC).
  • Die oben beschriebenen Standards beschreiben Datenverarbeitungs- und -manipulationstechniken die für die Komprimierung und Bereitstellung von Video-, Audio- und sonstigen Informationen unter Verwendung von Codes fester oder variabler Länge in digitalen Kommunikationssystemen. Insbesondere komprimieren die oben beschriebenen Standards und andere "MPEG-artige"-Standards und -Techniken, Videoinformationen unter Benutzung von Intrabild-Kodierungstechniken (wie Lauflängenkodierung, Huffman-Kodierung und dergleichen) und Bild-zu-Bild-Kodierungstechniken (wie Vorwärts- und Rückwärts-Prädiktionskodierung, Bewegungskompensation und dergleichen). Speziell im Fall von Videoverarbeitungssystemen sind MPEG- und MPEG-artige Videoverarbeitungssysteme durch eine prädiktionsbasierte Kompressionskodierung von Videoeinzelbildern mit oder ohne Intrabild- und/oder Bild-zu-Bild-Bewegungskompensationskodierung charakterisiert.
  • Es ist bekannt, die Bitrate eines MPEG-codierten Bitstroms durch Requantisierung der DCT-Koeffizienten zu ändern (Nakajima Y. et. al.: „Rate Conversion of MPEG coded Video by Requantization Process", Proceedings of the International Conference on Image Proceedings, ICIP 1995, Oct. 23–26, 1995, IEEE Computer Society Press, USA, vol. 3, pp. 408–411).
  • Es ist weiterhin ebenso bekannt, Bildinformationen zu komprimieren (d.h. zu reduzieren bzw. eine neue Größe einzustellen), um Speichererfordernisse des Dekoders für die Verankerung von Einzelbildern zu reduzieren oder um Verarbeitungsressourcen des Dekoders in z.B. Fernsehsystemen unter Benutzung von Anzeigevorrichtungen relativ geringer Auflösung zu reduzieren. Solch eine Anwendung liegt vor im Fall eines hochauflösenden Fernseh- (HDTV-) Empfängers, welchem eine Anzeige nach der Standardfernsehdefinition (SDTV) zugeordnet ist, oder bei der Bereitstellung von Videoinformationen für einen konventionellen NTSC-, PAL-, oder SECAM-Fernseher.
  • Eine erste bekannte Technik umfasst die Dekodierung bei der vollen HDTV-Auflösung, das Speichern der resultierenden Bilder mit voller Auflösung und die Durchführung einer Filterung sowie einer Dezimierung von Abtastwerten bei den Bildern voller Auflösung vor ihrer Anzeige. Obwohl dieser Ansatz in Bezug auf unterstützte Auflösungen sehr flexibel ist, sind die Kosten unerschwinglich, da der Speicherplatz für das Ablegen der Einzelbilder die Bilder mit voller Auflösung aufnehmen muss. Selbst wenn das Filtern und die Dezimierung der Abtastwerte vor der Verankerung der Einzelbildspeichers durchgeführt wird, ist der Rechenaufwand derselbe wie für die Dekodierung bei voller Auflösung.
  • Eine zweite bekannte Technik umfasst z.B. im Fall von 8 × 8-Blöcken von DCT-Koeffizienten, die von einem MPEG-artigen Dekoder empfangen werden, nur die Verarbeitung des den unteren (in Bezug auf die horizontale und vertikale Auflösung) 4 × 4-Blocks von DCT-Koeffizienten (d.h. die 4 × 4-Blöcke höherer Ordnung zu kappen). Eine inverse DCT-Operation, durchgeführt mit dem unteren 4 × 4-DCT-Koeffizientenblock, liefert nur einen 4 × 4-Pixelblock. Sowohl der IDCT-Rechenaufwand als auch die Speichererfordernisse für die Einzelbildspeicherung werden in diesem Fall herabgesetzt.
  • Eine dritte Technik wird in dem von Bao et. al. veröffentlichten Artikel (J. Bao, H. Sun und T. Poon: "HDTV Down-Conversion Decoder", IEEE Transactions on Consumer Electronics, Band 42, Nr. 3, August 1996) beschrieben. Speziell verarbeitet die Bao-Technik unter Einsatz einer Frequenzsynthesetechnik vier benachbarte 8 × 8-DCT-Koeffizientenblöcke um einen neuen 8 × 8-DCT-Koeffizientenblock zu erzeugen, welcher dann einer inversen DCT-Verarbeitung unterworfen wird um einen 8 × 8-Pixelblock zu erzeugen. Auf diese Weise wird sowohl der IDCT-Rechenaufwand, als auch die Speichererfordernisse für die Einzelbildspeicherung herabgesetzt, und zwar mit weniger sichtbaren Artefakten als wenn die zweite oben beschriebene Technik eingesetzt worden wäre.
  • Leider benutzen alle drei oben beschriebenen, die Abtastwerte dezimierenden Dekoder beträchtliche Rechenressourcen, um die inverse DCT-Funktion zu implementieren. Daher ist es wünschenswert, einen die Abtastwerte dezimierenden Videobilddekoder bereitzustellen, der wenigstens erheblich reduzierte inverse DCT-Ressourcen gewährleistet.
  • Zusammenfassung der Erfindung
  • Die Erfindung umfasst ein Verfahren und eine Vorrichtung für das Dekodieren z.B. eines MPEG-artigen Videoinformationsstroms, umfassend quantisierte diskrete Kosinustransformations- (DCT-) Koeffizienten, die eine Bildinformation mit relativ hoher Auflösung darstellen, um hierzu korrespondierende Pixelblöcke mit relativ niedriger Bildauflösung zu erzeugen. Das Dekodieren der DCT-Koeffizientenblöcke wird in einer Weise bewirkt, die eine inverse DCT-Verarbeitung vermeidet, wo durch der Rechenaufwand für die Zurückgewinnung der in ihren Abtastwerten dezimierten Bildinformation von einem MPEG-artigen Videoinformationsstroms reduziert wird. Die Erfindung benutzt eine modifizierte Quantisierungsmatrix, um die DCT-Koeffizienten in einer Weise zu dequantisieren, die eine reduzierte Komplexität bei der Transformation der dequantisierten DCT-Koeffizienten in gesubsampelten Bilddomäneninformationen mit sich bringt.
  • Die Erfindung wird durch die beigefügten Ansprüche definiert.
  • Kurze Beschreibung der Figuren
  • Die Lehren der vorliegenden Erfindung können leicht verstanden werden durch Betrachten der nachfolgenden detaillierten Beschreibung in Verbindung mit den begleitenden Zeichnungen, in denen
  • 1 ein Blockdiagramm einer Ausführungsform eines MPEG-artigen Dekoders auf hoher Ebene darstellt,
  • 2 ein Blockdiagramm eines Moduls zum Dezimieren der Abtastwerte und zum Filtern, geeignet zur Benutzung im MPEG-artigen Dekoder der 1, darstellt,
  • 3 ein Flussdiagramm eines Verfahrens zum Verarbeiten von DCT-Koeffizienten, geeignet zur Benutzung im MPEG-artigen Dekoder der 1 und dem Modul zum Dezimieren der Abtastwerte und zum Filtern, darstellt.
  • Um das Verständnis zu erleichtern, wurden identische Bezugszeichen verwendet, soweit möglich, um identische Elemente, die in den Figuren gleich sind, zu bezeichnen.
  • Detaillierte Beschreibung
  • Nach dem Erfassen der folgenden Beschreibung wird der Fachmann klar erkennen, dass die Lehren meiner Erfindung sofort in jedem System angewendet werden können, das einen komprimierten Informationsstrom einschließlich eines Informationssubstroms dekodiert, um eine in den Abtastwerten dezimierte und gefilterte Version des Informations-Substroms zurückzugewinnen. Obwohl die Erfindung primär in Bezug auf einen MPEG-artigen Bildstromdekoder beschrieben wird, der in ihren Abtastwerten dezimierte (d.h. reduzierte Auflösung) Bildinformationen zurückgewinnt, wird der Fachmann die vielen verschiedenen Anwendungen der Erfindung rasch erkennen.
  • 1 stellt eine Ausführungsform eines MPEG-artigen Dekoders 100 dar. Konkret empfängt und dekodiert der Dekoder 100 von 1 einen komprimierten Videoinformationsstrom EINGANG um einen Videoausgangsstrom AUSGANG zu erzeugen. Der Videoausgangsstrom AUSGANG ist für die Kopplung an einen Anzeigetreiberschaltkreis innerhalb einer Darstellungsvorrichtung (nicht gezeigt) geeignet.
  • Der MPEG-artige Dekoder 100 umfasst ein Eingangspufferspeichermodul 111, ein Dekodermodul variabler Länge (VLD), ein Modul 200 zum Dezimieren von Abtastwerten und zum Filtern, einen Summierer 115, ein Bewegungskompensationsmodul 116, ein Ausgabepuffermodul 118, ein Ankereinzelbildspeichermodul 117 und einen Bewegungsvektor- (MV-) Prozessor 130.
  • Das Eingangspufferspeichermodul 111 empfängt den komprimierten Videostrom EINGANG, konkret einen kodierten Bitstrom variabler Länge, der z.B. ein hochauflösendes Fernsehsignal (HDTV) oder ein Fernsehsignal nach Standarddefinition (SDTV) repräsentiert, welches von einem Transport-Demultiplexer/Dekodierschaltkreis (nicht dargestellt) ausgegeben wird. Das Eingangspufferspeichermodul 111 wird benutzt, um den empfangenen komprimierten Videostrom EINGANG vorübergehend zu speichern bis das Dekodermodul 112 variabler Länge bereit ist, die Videodaten für eine Verarbeitung entgegenzunehmen. Das VLD 112 hat einen Ausgang, welcher an den Datenausgang des Eingangspufferspeichermoduls 111 gekoppelt ist, um z.B. die abgespeicherten und kodierten Videodaten variabler Länge als einen Datenstrom EINGANG abzurufen.
  • Das VLD 112 dekodiert die abgerufenen Daten, um einen Bitstrom konstanter Länge zu erzeugen, der quantisierte Prädiktionsfehler-DCT-Koeffizienten, einen Bewegungsvektorstrom MV und einen Blockinformationsstrom DATEN umfasst.
  • Es ist wichtig anzumerken, dass in einem typischen MPEG-artigen Dekoder einem Dekoder variabler Länge (wie bspw. ein VLD 112) ein inverses Quantisierungsmodul und ein inverses DCT-Modul nachgeordnet ist. In solch einem Dekoder würde das IQ-Modul normalerweise eine inverse Quantisierungsoperation unter Einsatz einer Standardquantisierungsmatrix auf den Bitstrom S2 konstanter Länge ausführen, um einen Bitstrom zu erzeugen, der dequantisierte Prädiktionsfehlerkoeffizienten in Standardform umfasst. Das IDCT-Modul würde dann eine inverse diskrete Kosinustransformationsoperation auf die dequantisierten Prädiktionsfehlerkoeffizienten anwenden, um einen Bitstrom S4 zu erzeugen, der Pixel-zu-Pixel-Prädiktionsfehler umfasst. Der MPEG-artige Dekoder 100 von 1 funktioniert nicht auf diese Weise.
  • Das Modul 200 zum Dezimieren der Abtastwerte (Downsampling) und zum Filtern des MPEG-artigen Dekoders 100 von 1 empfängt die quantisierten Prädiktionsfehler-DCT-Koeffizienten innerhalb des Bitstroms S2 konstanter Länge, und erzeugt in Antwort darauf einen Bitstrom S4 mit Pixel-zu-Pixel-Prädiktionsfehlern mit dezimierten Abtastwerten. Konkret empfängt das Modul 200 zum Dezimieren der Abtastwerte und zum Filtern quantisierte DCT-Koeffizientenblöcke, welche Bildinformationen repräsentieren, die mit einem ersten Format (z.B. HDTV) verknüpft sind, und erzeugt in Antwort darauf Pixelblöcke, die Bildinformationen repräsentieren, die mit einem zweiten Format (z.B. SDTV) verknüpft sind, wobei das zweite Format eine geringere Auflösung hat als das erste Format. Zum Beispiel werden in einer Ausführungsform der Erfindung 8 × 8-DCT-Koeffizientenblöcke, die normalerweise verarbeitet würden um 8 × 8-Pixelblöcke zu erzeugen, stattdessen verarbeitet, um 4 × 4-Pixelblöcke zu erzeugen. Diese Verarbeitung erfolgt in der Frequenzdomäne und ohne die Durchführung einer vollen, inversen und diskreten Kosinustransformation. Die Betriebsweise des Moduls 200 zum Dezimieren der Abtastwerte und Filtern wird ausführlicher mit Bezug auf die 2 und 3 erläutert.
  • Der Summierer 115 addiert den in seinen Abtastwerten dezimierten Pixel-zu-Pixel-Prädiktionsfehlerstrom S4 mit einem bewegungskompensierten Prädiktionspixelwertstrom S6, der durch das Bewegungskompensationsmodul 116 erzeugt wird. Daher ist der Ausgang des Summierer 115 in der veranschaulichten Ausführungsform ein Videostrom S5 geminderter Auflösung mit rekonstruierten Pixelwerten. Der vom Summierer 115 erzeugte Videostrom S5 mit reduzierter Auflösung ist mit dem Ausgangspuffermodul 118 und dem Ankereinzelbildspeichermodul 117 verbunden.
  • Das Ankereinzelbildspeichermodul 117 empfängt und speichert Ankereinzelbildinformationen innerhalb des Videostroms S5 mit reduzierter Auflösung. Es ist vorteilhaft, wenn die Größe des Ankereinzelbildspeichermoduls 117 um einen Betrag reduziert werden kann, welcher im wesentlichen mit der Reduktion der Auflösung konsistent ist (d.h. Skalierung oder Komprimierung), die das Modul 200 zum Dezimieren der Abtastwerte und Filtern den Videoinformationen innerhalb des empfangenen Videoeingangsinformationsstroms EINGANG auferlegt.
  • Der Bewegungsvektorreduzierer 130 empfängt den Bewegungsvektorstrom MV und den Blockinformationsstrom DATEN vom VLD 112. Der Bewegungsvektorstrom MV umfasst Bewegungsvektorinformationen, die vom Bewegungskompensationsmodul 116 benutzt werden, um individuelle Makroblöcke vorherzusagen, die auf im Ankereinzelbildspeichermodul gespeicherte Bildinformationen basieren. Da jedoch die im Ankereinzelbildspeichermodul 117 gespeicherte Bildinformation durch das Modul 200 zum Dezimieren der Abtastwerte und zum Filtern, wie oben beschrieben, skaliert wurde, ist es auch notwendig, die Bewegungsvektordaten zu skalieren, um Makroblöcke unter Benutzung der skalierten Pixelinformation zu skalieren. Daher werden die vom VLD-Modul 112 empfangenen Bewegungsvektoren MV skaliert, und werden an das Bewegungskompensationsmodul 116 als skalierte Bewegungsvektoren 116' angekoppelt.
  • Das Bewegungskompensationsmodul 116 greift auf die komprimierten (d.h. skalierten), im Ankereinzelbildspeichermodul 117 gespeicherten Bildinformationen über den Signalpfad S7 und den oder die skalierten Bewegungsvektoren) MV' vom Bewegungsvektorreduzierer 130 zu, um einen skalierten Prädiktionsmakroblock zu erzeugen. Dies bedeutet, dass das Bewegungskompensationsmodul 116 ein oder mehrere gespeicherte Ankereinzelbilder (d.h. die in ihrer Auflösung reduzierten Pixelblöcke, die mit Bezug auf das neueste I-Einzelbild oder P-Einzelbild des Videosignals, welches am Ausgang des Summierers 115 anliegt, erzeugt wurden), und den oder die vom Bewegungsvektorreduzierer 130 empfangenen Bewegungsvektoren) MV benutzt, um die Werte von jeden einer Viel zahl von skalierten Prädiktionsmakroblöcken zu berechnen, welche am Eingang des Addierers 115 als bewegungskompensierter Prädiktionspixelwertstrom S6 anliegen.
  • Das Modul 200 zum Dezimieren der Abtastwerte und zum Filtern des Dekoders 100 von 1 legt den quantisierten Prädiktionsfehler-DCT-Koeffizienten, welche die empfangenen restlichen Videoinformationen innerhalb des Bitstroms S2 konstanter Länge bilden, eine vorbestimmte Skalierung oder einen Kompressionsfaktor auf. Entsprechend legt der Bewegungsvektorreduzierer 130 den Bewegungsvektoren, die den empfangenen restlichen Videoinformationen innerhalb des Bitstroms S2 konstanter Länge zugeordnet sind, im wesentlichen denselben Skalierungs- oder Kompressionsfaktor auf. Auf diese Weise erzeugt der Dekoder 100 am Ausgang einen skalierten bzw. in der Auflösung reduzierten Bildinformationsstrom AUSGANG zur Anzeige auf z.B. einer Anzeigevorrichtung reduzierter Auflösung.
  • 2 zeigt ein Blockdiagramm eines Moduls zum Dezimieren der Abtastwerte und zum Filtern, das in dem MPEG-artigen Dekoder der 1 eingesetzt werden kann. Speziell stellt 2 ein Modul 200 zum Dezimieren der Abtastwerte und zum Filtern dar, der einen Dequantisierer 210 und ein C-Transformationsmodul 220 umfasst. Der Dequantisierer 210 und das C-Transformationsmodul 220 sprechen optional auf ein Kontrollsignal CONTROL an, das von einem Controller (nicht dargestellt) erzeugt wird.
  • Der Dequantisierer 210 empfängt den Bitstrom S2 konstanter Länge, der quantisierte Prädiktionsfehler-DCT-Koeffizienten umfasst, und dequantisiert als Antwort darauf jeden DCT-Koeffizientenblock mit einer modifizierten Quantisierungsmatrix. Dies bedeutet, dass DCT-Koeffizientenblöcke innerhalb des Bitstroms S2 konstanter Länge auf bekannte Weise während eines MPEG-artigen Kodierungsprozesses mit z.B. den MPEG-Parametern quantizer_scale und quantizer_matrix quantisiert wurden. Der Dequantisierer 210 benutzt eine modifizierte (d.h. nicht standardmäßige) Quantisierungsmatrix anstelle von derjenigen Quantisierungsmatrix, die normalerweise mit dem empfangenen DCT-Koeffizientenblock (d.h. die durch syntaktische Normen bestimmte Quantisierungsmatrix) verknüpft ist. Die modifizierten dequantisierten DCT-Koeffizientenblöcke koppeln als Strom S3 an das C-Transformationsmodul 220.
  • Das C-Transformationsmodul 220 empfängt die modifizierten dequantisierten DCT-Koeffizientenblöcke und verarbeitet daraufhin diese Blöcke in der Frequenzdomäne um entsprechend gefilterte und in den Abtastwerten dezimierte Pixelblöcke in der Bilddomäne zu erzeugen. Das C-Transformationsmodul 220 ist kein inverses DCT-Modul. Vielmehr umfasst das C-Transformationsmodul ein Frequenzdomänenverarbeitungsmodul, das dazu ausgebildet ist, mit den dequantisierten DCT-Koeffizientenblöcken in einer Weise zu funktionieren, die komplementär zu der vom Dequantisierer 210 durchgeführten modifizierten Dequantisierung ist.
  • Die komplementäre Natur der Dequantisierungs- und C-Transformationsoperationen wird nun mit Hilfe mehrerer Beispiele ausführlicher erläutert.
  • Während eines bekannten MPEG-artigen Kodierungsprozesses erzeugt jeder (anschaulich) 8 × 8-Block von Pixelwerten ein 8 × 8-Feld von DCT-Koeffizienten. Die jedem der 64 DCT-Koeffizienten zugewiesene relative Genauigkeit wird gemäß seiner relativen Bedeutung bei der visuellen Wahrnehmung durch den Menschen ausgewählt. Die relative Koeffizientenpräzisionsinformation wird von einer Quantisierungsmatrix repräsentiert, die ein 8-mal-8-Feld von Werten ist. Jeder Wert in der Dequantisierungsmatrix repräsentiert die Rauheit der Quantisierung in Bezug auf den zugehörigen DCT-Koeffizienten.
  • Das Modul 200 zum Dezimieren der Abtastwerte und zum Filtern des Dekoders 200 von 1 benutzt einen Filter zum Dezimieren der Abtastwerte in Form der unten aufgeführten Gleichung 1, unter der Annahme, dass 8 × 8-DCT-Koeffizientenblöcke in 4 × 4-Blöcke konvertiert werden:
  • Figure 00070001
  • Eine IDCT-Transformierte T, die für das Verarbeiten von DCT-Koeffizientenblöcken in Pixelblöcke geeignet ist, wird mit Gleichung 2 wie folgt angegeben: T = {tij}8 × 8 (Gleichung 2)
  • Durch eine Multiplikation der Filtermatrix F mit der IDCT-Transformierten T kann eine neue Frequenztransformierte S gewonnen werden, wie es unten mit Bezug auf die Gleichungen 3–6 gezeigt wird:
    Figure 00070002
    Figure 00080001
    S = FT = C·m (Gleichung 6)
  • Jeder der vom Standarddequantisierungsprozess erzeugten dequantisierten DCT-Koeffizientenblöcke A kann durch die nachfolgende Gleichung 7 beschrieben werden, bei der
    • Aij
    anschaulich, eine dequantisierte 8 × 8-DCT-Matrix repräsentiert
    Qij
    die Standardquantisierungsmatrix darstellt,
    q
    der Standardquantisierungsskalierungswert ist,
    Zij
    anschaulich, ein empfangener 8 × 8-DCT-Koeffizientenblock oder -matrix ist,
    Aij = q·Qij·Zij (Gleichung 7)
  • Daher können die verkleinerten 4 × 4-Pixelblöcke Bij der Bilddomäne bzw. des Bildraums durch Gleichung 8 wie folgt definiert werden: B = FT·A(FT)' = C·MA·M'·C' = CYC' (Gleichung 8) bei der C' und M' die Inverse von C bzw. M sind.
  • Es wird darauf hingewiesen, dass Standarddekoder eine unten in Gleichung 9 angegebene Quantisierungsfunktion benutzen, bei der
    • Aij
    anschaulich eine dequantisierte 8 × 8-DCT-Matrix repräsentiert,
    Qij
    die Standardquantisierungsmatrix darstellt,
    q
    der Standardquantisierungsskalierungswert ist,
    Zij
    anschaulich ein empfangener 8 × 8-DCT-Koeffizientenblock oder -matrix ist,
    A = qQij·Zij (Gleichung 9)
  • Dekoder der vorliegenden Erfindung benutzen jedoch einen Dequantisierer wie er nachfolgend mit Gleichung 10 angegeben wird, bei der
    Yij, anschaulich eine dequantisierte 8 × 8-DCT-Matrix repräsentiert,
    Qij die Standardquantisierungsmatrix darstellt,
    q der Standardquantisierungsskalierungswert ist,
    Zij, anschaulich ein empfangener 8 × 8-DCT-Koeffizientenblock oder -matrix ist, und
    mi und mj Faktoren sind, die für jede Zeile und Spalte der Matrix (FT) gleich sind, sodass
    C·m = F·T, wobei C eine Form hat die mit einem geringeren Rechenaufwand verbunden ist. Yij = q(Qijmimj)·Zij (Gleichung 10)
  • Es wird angemerkt, dass der Term Qijmimj vorberechnet und als Term Qij definiert werden kann, wodurch die Zahl der zur Durchführung des Dequantisierungsprozesses nötigen Rechenschritte verkleinert werden kann.
  • Nachfolgend werden mehrere Beispiele zur Durchführung der Erfindung beschrieben. Ein eindimensionales Beispiel wird als erstes kurz beschrieben, um ein vereinfachtes Schema für die Erläuterung zweier nachfolgender zweidimensionaler Beispiele (Non-Interlaced-Video-DCT-Koeffizienten und Interlaced-Video-DCT-Koeffizienten) zu haben.
  • A. Eindimensionales Beispiel
  • Alle linearen Transformationen und Filterungen können in der Form von Matrixmultiplikationen angegeben werden. Der Einfachheit halber wird ein eindimensionaler Fall zuerst betrachtet. Es wird angenommen, dass ein 1 × 8-Bilddomänenvektor x = [x0, ..., x7] eine DCT-Transformierte X = {X0, ..., X7} hat. Die IDCT-Transformierte ist eine als T bezeichnete 8 × 8-Matrix, und der gewünschte, die Abtastwerte dezimierende Filter eine als F bezeichnete 4 × 8-Matrix. Daher kann die gewünschte Filterung in der Bilddomäne durch die nachfolgende Funktion 11 angegeben werden: yT = F·xT = F·T·XT = S·XT (Gleichung 11)wobei y = [y0, ..., y7) die Bilddomänenpixel mit dezimierten Abtastwerten sind. Eine neue Transformierte, umfassend eine 4 × 8-Matrix, wird benutzt, um die Bilddomänenpixel direkt zu erhalten, und wird durch Gleichung 12 angegeben: S = F·T (Gleichung 12)
  • B. Beispiel für eine Non-Interlaced-Einzelbildkodierung
  • Ein Ausführungsbeispiel der vorliegenden Erfindung zur Benutzung in einem MPEG-artigen Dekoder, der Non-Interlaced- bzw. nicht für das Zeilensprungverfahren angelegte Bildinformationen in 8 × 8 einzelbildbasierte DCT-Koeffizienten kodiert um 4 × 4-Pixelblöcke zu erzeugen, wird nun näher erläutert. Für diese Ausführungsform wird ein Filter F benutzt, der die Zahl der Abtastwerte 2:1 dezimiert, wobei der stückweise mittelnde, die Abtastwerte dezimierende Filter von Gleichung 13 benutzt wird.
  • Figure 00100001
  • Daher ist die Reduzierungstransformierte S in dieser Ausführungsform durch die Gleichung 14 wie folgt gegeben:
  • Figure 00100002
  • Wird die 8 × 8-DCT-Matrix mit A bezeichnet wird, dann kann die Filterung und Dezimierung der Ab tastwerte in einen 4 × 4-Bilddomänenpixelblock als B bezeichnet und durch Gleichung 15 angegeben werden: B = SAST = C(M ⊗ A)CT (Gleichung 15)wobei gilt: ⊗ repräsentiert eine elementweise Multiplikation der zwei Matrizen, die Matrix C wird durch die unten aufgeführte Gleichung 16 beschrieben, c ist die Quadratwurzel aus 2 minus 1 (d.h. 0.4142), M ist das Produkt aus mT und m (d.h. M = mT·m), und m = [0.3536 0.4531 0.3266 0.3841 0 0.2566 0.1353 0.0900].
  • Figure 00110001
  • Aus Gleichung 16 lässt sich ablesen, dass nur die Spalten 2, 4, 6 und 8 der Matrix (d.h. die Spalten die „c" enthalten), während der Verarbeitung eine Multiplikationsoperation erfordern, und die anderen Spalten nur Additionsoperationen unterzogen werden. Auf diese Weise können beträchtliche Einsparungen bei der Rechenlast erzielt werden.
  • Bezeichnet man mit Z die quantisierte 8 × 8-DCT-Koeffizientenmatrix, mit Q die Quantisierungsmatrix, und mit q den Quantisierungsskalierungsfaktor, dann ist die dequantisierte DCT-Koeffizientenmatrix A durch nachfolgende Gleichung 17 gegeben: A = q·Q ⊗ Z (Gleichung 17)
  • Wendet man S sowohl auf die horizontalen als auch auf die vertikalen Richtungen von A an um eine in den Abtastwerten dezimierte 4 × 4-Bilddomäne zu erhalten, so erfolgt dies unter Benutzung von Gleichung 18 wie folgt: B = C·(q·(M ⊗ Q) ⊗ Z)·CT = C·(q·P·Z)·CT (Gleichung 18)
  • Es wird angemerkt, dass P = (M ⊗ Q) nicht von den quantisierten Koeffizienten abhängt. Wird daher P von der Vorrichtung gemäß 1 vorberechnet, um Q als Quantisierungsmatrix zu ersetzen, so spart dies vorteilhafterweise Rechenzeit und Ressourcen, wenn S direkt auf die DCT-Koeffizienten angewendet wird.
  • C. Ausführungsform mit Interlaced-Einzelbildmoduskodierung
  • Eine Ausführungsform der Erfindung, die in einem MPEG-artigen Dekoder benutzt werden kann der Interlaced- bzw. für das Zeilensprungverfahren angelegte Bildinformationen in 8 × 8 einzelbildbasierte DCT-Koeffizienten kodiert, um 4 × 4-Pixelblöcke zu erzeugen, wird nun näher erläutert. Für diese Ausführungsform wird ein Filter F benutzt, der die Zahl der Abtastwerte 2:1 dezimiert, wobei der stückweise mittelnde, die Abtastwerte dezimierende Filter von Gleichung 19 benutzt wird. Die oben diskutierten Lehren bezüglich der Ausführungsform mit Non-Interlaced-Einzelbildkodierung finden bei dieser Ausführungsform Anwendung, soweit dies nicht anderweitig angegeben ist.
  • Figure 00120001
  • Daher ist die Reduzierungstranformierte S in dieser Ausführungsform durch die Gleichung 20, und C durch die Gleichung 21 wie folgt gegeben:
    Figure 00120002
    wobei c = 0.1989, c1 = 0.6682, und m gegeben ist durch m = 0.3536 0.3841 0.1351 0.1877 0 0.1877 0.3266 0.3841.
  • Im Falle eines 1920 × 1080-Bildes mit Einzelbildmoduskodierung ermöglicht der Filter F 8 zu 3 eine Dezimierung der Abtastwerte, wie es durch Gleichung 22 angegeben ist:
  • Figure 00130001
  • Daher ist die Reduzierungstranformierte S in dieser Ausführungsform durch die Gleichung 23, und C durch die Gleichung 24 wie folgt gegeben:
    Figure 00130002
    wobei m = [0.3536 0.4092 0.3943 0.0033 0.1768 0.0553 0.0280 0.0363]ist.
  • 3 zeigt ein Flussdiagramm eines Verfahrens zum Verarbeiten von DCT-Koeffizienten das im MPEG-artigen Dekoder der 1 verwendet werden kann, und das Modul zum Dezimieren der Abtastwerte und zum Filtern. Das Verfahren 300 der 3 ist geeignet DCT-Koeffizienten zu verarbeiten, die Bildinformationen relativ hoher Auflösung repräsentieren, um Bilddomänenpixelblöcke relativ niedriger Auflösung zu erzeugen.
  • Das Verfahren 300 beginnt bei Schritt 305 und fährt mit Schritt 310 fort, wo ein 8 × 8-DCT-Koeffizientenblock empfangen wird, z.B. durch einen Dequantisierer 210 des Moduls 200 zum Dezimieren der Abtastwerte und zum Filtern der 2. Das Verfahren fährt dann mit Schritt 315 fort.
  • Bei Schritt 315 wird der empfangene DCT-Koeffizientenblock Zij dequantisiert, um entsprechend einen dequantisierten DCT-Koeffizientenblock Yij unter Verwendung der modifizierten Quantisierungsmatrix Q'ij erzeugen, so wie es oben mit Bezug auf Gleichung 10 erläutert wurde, nämlich: Yij = q(Qijmimj)·Zij, wobei Yij für eine dequantisierte DCT-Matrix steht, die unter Benutzung der modifizierten Quantisierungsmatrix erzeugt wurde. Qij repräsentiert eine Standardquantisierungsmatrix, q einen Standardquantisierungsskalierungsfaktor, und Zij einen empfangenen DCT-Koeffizientenblock. mi und mj sind Faktoren, die für jede Zeile und Spalte der Matrix (FT) gleich sind, sodass C·m = F·T ist.
  • F repräsentiert einen die Abtastwerte dezimierenden Filter bzw. einen Downsampling-Filter, der derart angepasst ist, dass er eine Bildinformation mit dem ersten Format in eine Bildinformation mit dem zweiten Format reduziert, wobei die erste Bildinformation mit dem ersten Format verknüpft ist, wobei die Pixelblöcke die Bildinformation darstellen, die mit einem zweiten Format verknüpft ist, und T eine inverse diskrete Kosinustransformationsfunktion darstellt.
  • Bei Schritt 320 wird jede der dequantisierten DCT-Koeffizientenblöcke Y einer C-Transformierten unterworfen, so wie es oben mit Bezug auf 8 erläutert wurde, nämlich B = CYC', wobei B ein verkleinerter Bilddomänenpixelblock bzw. Bilddomainpixelblock ist. C ist eine neue Transformierte, Y stellt eine dequantisierte DCT-Matrix dar, die unter Benutzung der modifizierten Quantisierungsmatrix erzeugt wurde, und C' repräsentiert die Inverse von C. Das Verfahren 300 fährt dann mit Schritt 325 fort.
  • Bei Schritt 325 wird angefragt, ob mehr DCT-Koeffizienten verarbeitet werden müssen. Wenn dies bejaht wird schreitet das Verfahren 300 mit Schritt 310 fort, wo der nächste Koeffizientenblock empfangen wird. Ist die Antwort nein, so fahrt das Verfahren 300 bis zum Schritt 330 fort, wo es beendet wird.
  • Es wird vom Fachmann erkannt werden, dass die Lehren der obigen Beispiele kombiniert werden können und entweder für DCT horizontaler Dimension oder für DCT vertikaler Dimension angepasst werden können. Zum Beispiel können die Lehren des Beispiels B (Beispiel für eine Non-Interlaced-Einzelbildkodierung) mit Vorteil für die Dekodierung von Interlaced-Bildinformationen in der vertikalen Richtung angewendet werden.
  • D. Reduzierung der Berechnungskomplexität
  • Die folgenden Beispiele einer ein- und zweidimensionalen Berechnungsbelastung eines Prozessors wird die Minderung der Berechnungserfordernisse veranschaulichen, welche durch die Erfindung bewirkt werden. Die Benutzung einer C-Transformierten wie diejenige, die oben mit Bezug auf Gleichung 16 entwickelt und beschrieben wurde (nachfolgend erneut wiedergegeben), setzt voraus, dass ein eindimensionaler IDCT-Vektor Y = [y0 y1 y2 y3 y4 y5 y6 y7]T verarbeitet werden muss, um einen eindimensionalen Domänenvektor B = [b0 b1 b2 b3 b4 b5 b6 b7] zu erzeugen.
  • Figure 00140001
  • Eine Folge mathematischer Manipulationen wird durch einen Prozessor durchgeführt, mit welchen der eindimensionale Bilddomänenvektor gemäß der Gleichung B = C·Y wie folgt berechnet wird:
    x0 = y1 – y7; (Schritt 1)
    x1 = y3 – y5; (Schritt 2)
    x2 = y2 – y6; (Schritt 3)
    z0 = c·x0; (Schritt 4)
    z1 = c·x1; (Schritt 5)
    z3 = y0 + x2; (Schritt 6)
    z4 = y0 – x2; (Schritt 7)
    z5 = x0 + z1; (Schritt 8)
    z6 = z0 – x1; (Schritt 9)
    b0 = z3 + z5; (Schritt 10)
    b1 = z4 + z6; (Schritt 11)
    b2 = z4 – z6; und (Schritt 12)
    b3 = z3 – z5; (Schritt 13)
  • Die obigen 13 Schritte führen im wesentlichen zu einem kombinierten 8-Punkt-IDCT und einer Operation zum Dezimieren der Abtastwerte, die 11 Additionsoperationen und zwei Multiplikationsoperationen benötigt, um den Pixeldomänenvektor B unter Einsatz des erfindungsgemäßen Verfahrens zu berechnen. Im Gegensatz dazu benötigt eine standardmäßige Durchführung eines 8-Punkt-IDCT 11 Multiplikationen und 29 Additionen, wobei eine standardmäßige Pixeldomänenfilterung eine Mittelung umfasst die vier Additionen erfordert. Daher stellt die Erfindung einen erheblichen Vorteil in Bezug auf die Benutzung von Verarbeitungs- und Speicherplatzressourcen (11 Additionen und 2 Multiplikationen gegenüber 33 Additionen und 11 Multiplikationen) dar.
  • Man nehme entsprechend an, dass ein 8 × 8-DCT-Koeffizientenblock gemäß der Erfindung verarbeitet wird, um einen 4 × 4-Pixelblock zu erzeugen. In diesem Beispiel wird der 8 × 8-DCT-Koeffizientenblock dequantisiert und die Matrix gefiltert, um eine 8 × 4-Zwischenmatrix zu erzeugen. Das bedeutet, dass die modifizierte Quantisierungsmatrix, die benutzt wird, um den 8 × 8-DCT-Koeffizientenblock zu dequantisieren, einen dequantisierten und matrixgefilterten 8 × 4-DCT-Koeffizientenblock erzeugt. Diese Zwischenmatrix wird weiter gefiltert, um z.B. die 4 × 4-Bilddomäne oder -Pixelblock zu erzeugen. Jeder der acht Spalten und vier Zeilen der Zwischenmatrix wird mit einer eindimensionalen Filteroperation verarbeitet, so wie die 13 oben beschriebenen Verarbeitungsschritte in Bezug auf das eindimensionale Beispiel. Das heißt, im zweidimensionalen Beispiel (8 × 8-DCT-Domäne bis 4 × 4-Bilddomäne) umfasst die Gesamtzahl der Operationen 24 Multiplikationen (2 × 12) und 132 Additionen (11 × 12) gegenüber der konventionellen Verarbeitungslast von 132 Multiplikationen (11 × 12) und 396 Additionen (33 × 12). Die Erfindung stellt damit eine erhebliche Re duktion in Verarbeitungsoperationen gegenüber konventionellen Verfahren im Fall des Dekodierens von DCT-Koeffizienten relativ hoher Auflösung bereit, um Bildinformationen mit einer relativ niedrigen Auflösung zu erzeugen.
  • Obwohl verschiedene Ausführungsformen, die die Lehren der vorliegenden Erfindung beinhalten, gezeigt und hier im Detail beschrieben wurden, ist der Schutzbereich nur durch die beigefügten Ansprüche beschränkt.

Claims (10)

  1. Verfahren (300), das derart angepaßt ist, daß es einen MPEG-artigen Decoder (100) in die Lage versetzt, DCT-Koeffizientenblöcke (S2) zu verarbeiten, um entsprechende Pixelblöcke (S4) zu erzeugen, wobei die DCT-Koeffizientenblöcke eine Bildinformation darstellen, die mit einem ersten Format verknüpft ist, wobei die Pixelblöcke eine Bildinformation darstellen, die mit einem zweiten Format verknüpft ist, wobei das zweite Format eine geringere Ortsauflösung hat als das erste Format, wobei das Verfahren die Schritte aufweist: Dequantisieren (315) der DCT-Koeffizientenblöcke unter Verwendung einer modifizierten Quantisierungsmatrix, die sich von der Quantisierungsmatrix unterscheidet, die durch die syntaktischen Normen angezeigt wird, die die Quantisierung, die während der Codierung verwendet wurde, reflektieren, um entsprechende dequantisierte DCT-Koeffizientenblöcke zu erzeugen, und Transformieren (320) der dequantisierten Koeffizientenblöcke unter Verwendung einer Downsampling-Transformation in einer Art und Weise, die komplementär zu der modifizierten Dequantisierung ist, um die entsprechenden Pixelblöcke zu erzeugen.
  2. Verfahren nach Anspruch 1, in dem der Schritt der Dequantisierung der DCT-Koeffizienten in Übereinstimmung mit der Gleichung durchgeführt wird: Yij = q(Qijmimj)·Zij wobei Yij eine dequantisierte DCT-Matrix darstellt, Qij eine Standardquantisierungsmatrix darstellt, u einen Standardquantisierungsskalierungswert darstellt, Zij einen empfangenen DCT-Koeffizientenblock darstellt und mi und mj gemeinsame Faktoren für jede Reihe und Zeile der Matrix (FT) gemäß folgender Gleichung sind: C·m = F·Twobei F einen Downsampling-Filter darstellt, der derart angepaßt ist, daß er Bildinformation mit dem ersten Format in Bildinformation mit dem zweiten Format reduziert, wobei die erste Bildinformation mit dem ersten Format verknüpft ist, wobei die Pixelblöcke die Bildinformation darstellen, die mit einem zweiten Format verknüpft ist, und D eine inverse diskrete Kosinustransformationsfunktion darstellt.
  3. Verfahren nach Anspruch 1, in dem der Schritt des Übertragens des dequantisierten Koeffizientenblocks in Übereinstimmung mit der Gleichung durchgeführt wird: B = CYC' wobei B ein in der Größe verkleinerter Bilddomainpixelblock ist, C eine C-Transformationsmatrix darstellt, Y eine dequantisierte DCT-Matrix darstellt und C' die Inverse von C darstellt.
  4. Verfahren nach Anspruch 3, bei dem die DCT-Koeffizientenblöcke 8 × 8-DCT-Koeffizientenblöcke aufweisen, die 8 × 8 nicht verzahnte Framemodus-codierte ursprüngliche Pixelblöcke darstellen, die produzierten Pixelblöcke 4 × 4 Pixelblöcke aufweisen und die Verkleinerungstransformation in Übereinstimmung mit der Gleichung bewirkt wird:
  5. Verfahren nach Anspruch 4, bei dem F, C und m in Übereinstimmung mit den Gleichungen festgelegt werden: und m = [0,3536 0,4531 0,3266 0,3841 0 0,2566 0,1353 0,0900].
  6. Verfahren nach Anspruch 1, bei dem die Quantisierungsmatrix durch einen Faktor m modifiziert wird, wobei der Faktor m mit der Transformationsmatrix in Bezug steht über die Gleichung: S = F·T = C·mwobei F eine Downsamplingfiltermatrix aufweist für das Konvertieren der Bildinformation mit der relativ hohen Auflösung in Bildinformation mit relativ niedriger Auflösung und T eine inverse diskrete Kosinustransformation (IDCT) ist.
  7. Eine MPEG-artige Decodervorrichtung für die Verarbeitung von DCT-Koeffizientenblöcken (S2), um entsprechende Pixelblöcke (S4) zu erzeugen, wobei die DCT-Koeffizientenblöcke eine Bildinformation darstellen, die mit einem ersten Format verknüpft ist, wobei die Pixelblöcke eine Bildinformation darstellen, die mit einem zweiten Format verknüpft ist, wobei das zweite Format eine geringere räumliche Auflösung als das erste Format hat, wobei die Decodervorrichtung aufweist: einen Dequantisierer (210) für das Dequantisieren der DCT-Koeffizientenblöcke unter Verwendung einer modifizierten Quantisierungsmatrix, die sich von der Quantisierungsmatrix unterscheidet, die durch die syntaktischen Normen, die die Quantisierung, die während der Codierung verwendet wurde, reflektieren, angezeigt wird, um entsprechende dequantisierte DCT-Koeffizientenblöcke zu erzeugen, und ein Transformationsmodul (220) für das Transformieren der dequantisierten Koeffizientenblöcke unter Verwendung einer Downsamplingtransformation in einer Art und Weise komplementär zu der modifizierten Dequantisierung, um die entsprechenden Pixelblöcke zu erzeugen.
  8. Vorrichtung nach Anspruch 7, in der der Dequantisierer die DCT-Koeffizienten in Übereinstimmung mit der Gleichung dequantisiert: Yij = q(Qijmimj)·Zij wobei Yij eine dequantisierte DCT-Matrix darstellt, Qij eine Standardquantisierungsmatrix darstellt, q einen Standardquantisierungsskalierungswert darstellt, Zij einen empfangenen DCT-Koeffizientenblock darstellt und mi und mj gemeinsame Faktoren für jede Reihe und Zeile der Matrix (FT) gemäß der Gleichung sind: C·m = F·Twobei F einen Downsamplingfilter darstellt, der derart angepaßt ist, daß er Bildinformation mit dem ersten Format in Bildinformation mit dem zweiten Format reduziert, wobei die erste Bildinformation mit dem ersten Format verknüpft ist, die Pixelblöcke einer Bildinformation darstellen, die mit einem zweiten Format verknüpft ist, und T eine inverse diskrete Kosinustransformationsfunktion darstellt.
  9. Vorrichtung nach Anspruch 8, in der das Transformationsmodul in Übereinstimmung mit der Gleichung arbeitet: B = CYC'wobei B einen in der Größe verkleinerten Bilddomainpixelblock darstellt, C eine C-Transformationsmatrix darstellt, Y eine dequantisierte DCT-Matrix darstellt und C' die Inverse von C darstellt.
  10. Vorrichtung nach Anspruch 9, bei der: die DCT-Koeffizientenblöcke 8 × 8-DCT-Koeffizientenblöcke aufweisen, die 8 × 8 nicht verzahnte Einzelbildmodus-codierte ursprüngliche Pixelblöcke darstellen, wobei die produzierten Pixelblöcke 4 × 4-Pixelblöcke aufweisen und das Transformationsmodul eine Downsamplingtransformation in Übereinstimmung mit der Gleichung bewirkt:
DE69924102T 1998-05-07 1999-05-07 Skalierung komprimierter bilder Expired - Fee Related DE69924102T2 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US8463298P 1998-05-07 1998-05-07
US84632P 1998-05-07
US286972 1999-04-06
US09/286,972 US6222944B1 (en) 1998-05-07 1999-04-06 Down-sampling MPEG image decoder
PCT/US1999/010024 WO1999057684A1 (en) 1998-05-07 1999-05-07 Scaling compressed images

Publications (2)

Publication Number Publication Date
DE69924102D1 DE69924102D1 (de) 2005-04-14
DE69924102T2 true DE69924102T2 (de) 2006-05-04

Family

ID=26771225

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69924102T Expired - Fee Related DE69924102T2 (de) 1998-05-07 1999-05-07 Skalierung komprimierter bilder

Country Status (8)

Country Link
US (1) US6222944B1 (de)
EP (1) EP1076884B1 (de)
JP (1) JP4319352B2 (de)
KR (1) KR100545146B1 (de)
CN (1) CN1302419A (de)
BR (1) BR9910264A (de)
DE (1) DE69924102T2 (de)
WO (1) WO1999057684A1 (de)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1835762A3 (de) * 1996-05-28 2007-10-03 Matsushita Electric Industrial Co., Ltd. Dekodiervorrichtung mit Intravorhersage
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
AU4701999A (en) * 1998-06-19 2000-01-05 Equator Technologies, Inc. Decoding an encoded image having a first resolution directly into a decoded image having a second resolution
US6487249B2 (en) * 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
WO2002054777A1 (en) * 2000-12-28 2002-07-11 Koninklijke Philips Electronics N.V. Mpeg-2 down-sampled video generation
US7082450B2 (en) * 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
KR100450939B1 (ko) * 2001-10-23 2004-10-02 삼성전자주식회사 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법
KR20030053108A (ko) * 2001-12-22 2003-06-28 한국과학기술원 블록 이산코사인변환 영역에서의 영상 크기 변환 방법
WO2003102868A2 (en) * 2002-05-29 2003-12-11 Pixonics, Inc. Classifying image areas of a video signal
US7260265B2 (en) 2002-10-04 2007-08-21 International Business Machines Corporation Enhancing compression while transcoding JPEG images
US7050656B2 (en) 2002-12-11 2006-05-23 Seiko Epson Corporation Image scaling in the compressed domain
TWI225749B (en) 2003-10-30 2004-12-21 Realtek Semiconductor Corp Method of conversion of image from low-resolution into high-resolution
US20050190836A1 (en) * 2004-01-30 2005-09-01 Jiuhuai Lu Process for maximizing the effectiveness of quantization matrices in video codec systems
US7587671B2 (en) * 2005-05-17 2009-09-08 Palm, Inc. Image repositioning, storage and retrieval
US20070122045A1 (en) * 2005-11-29 2007-05-31 Jiun-Yuan Wu System for scaling a picture unit from a first video resolution format to a second video resolution format
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
KR100728921B1 (ko) * 2005-12-26 2007-06-15 삼성전자주식회사 입력 영상에 적응적인 해상도변환장치 및 그의해상도변환방법
US7801223B2 (en) * 2006-07-27 2010-09-21 Lsi Corporation Method for video decoder memory reduction
US9110849B2 (en) 2009-04-15 2015-08-18 Qualcomm Incorporated Computing even-sized discrete cosine transforms
US9069713B2 (en) 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
US8762441B2 (en) 2009-06-05 2014-06-24 Qualcomm Incorporated 4X4 transform for media coding
US9081733B2 (en) 2009-06-24 2015-07-14 Qualcomm Incorporated 16-point transform for media data coding
US9118898B2 (en) 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
US8451904B2 (en) 2009-06-24 2013-05-28 Qualcomm Incorporated 8-point transform for media data coding
US9075757B2 (en) 2009-06-24 2015-07-07 Qualcomm Incorporated 16-point transform for media data coding
US8487929B2 (en) * 2009-09-09 2013-07-16 Advanced Micro Devices, Inc. Resolution enhancement of video stream based on spatial and temporal correlation
US9047531B2 (en) * 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
US9824066B2 (en) 2011-01-10 2017-11-21 Qualcomm Incorporated 32-point transform for media data coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3613343A1 (de) * 1986-04-19 1987-10-22 Philips Patentverwaltung Hybrid-codierer
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5872874A (en) 1995-04-26 1999-02-16 Hewlett-Packard Company Method and apparatus for scaling down images that are provided in a compressed data format
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5777677A (en) * 1996-02-09 1998-07-07 International Business Machines Corporation Approximate MPEG decoder with compressed reference frames
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US5835151A (en) * 1996-05-15 1998-11-10 Mitsubishi Electric Information Technology Center America Method and apparatus for down-converting a digital signal
US5841473A (en) * 1996-07-26 1998-11-24 Software For Image Compression, N.V. Image sequence compression and decompression
US6487249B2 (en) * 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation

Also Published As

Publication number Publication date
KR100545146B1 (ko) 2006-01-24
DE69924102D1 (de) 2005-04-14
WO1999057684A1 (en) 1999-11-11
BR9910264A (pt) 2001-10-02
EP1076884A1 (de) 2001-02-21
KR20010043396A (ko) 2001-05-25
CN1302419A (zh) 2001-07-04
US6222944B1 (en) 2001-04-24
JP4319352B2 (ja) 2009-08-26
JP2002514022A (ja) 2002-05-14
EP1076884B1 (de) 2005-03-09

Similar Documents

Publication Publication Date Title
DE69924102T2 (de) Skalierung komprimierter bilder
DE69830802T2 (de) Zuweisung von rechenleistung in einem informationsstrom-dekoder
DE69738494T2 (de) Videokodierungs- und Videodekodierungsvorrichtung
DE69632622T2 (de) Universaler MPEG-Dekoder mit skalierbarer Bildgrösse
DE69728801T2 (de) Verfahren und Vorrichtung zum Verändern der Auflösung durch direkte DCT Koeffizenten-Umsetzung
DE69722060T2 (de) Inverser Bewegungsausgleich von schneller DCT
DE69735402T2 (de) System und Methode zur Bewegungskompensation mit Hilfe eines Schrägziegelspeicherformats für verbesserte Effizienz
DE69735838T2 (de) Videokodierer mit Transformationskoeffizientenprädiktion
EP0687111B1 (de) Verfahren zur Codierung/Decodierung eines Datenstroms
DE69535228T2 (de) Bildumsetzungsvorrichtung
DE69824554T2 (de) Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung
DE69838729T2 (de) Verfahren und vorrichtung zur verringerung des benötigten speicherplatzes zur speicherung von referenzbildern in einem videodekoder
DE69932429T2 (de) Verfahren und gerät für die inverse quantisierung von mpeg-4 video
DE69909364T2 (de) Vorrichtung und Methode zur Änderung der Grösse eines komprimiertes Bildes
DE69818751T2 (de) Dekompression von interpolierten Bildern
DE102005040026A1 (de) Vorrichtung und Verfahren zur Verarbeitung von Video-/Bilddaten
DE69915843T2 (de) Teilbandkodierung/-dekodierung
EP1472888B1 (de) Kontextsensitive kodierung und dekodierung eines videodatenstroms
DE69736620T2 (de) Videodecoder mit einem horizontalen Polyphasen-Fir-Filter
DE102005051723A1 (de) Vorrichtung und Verfahren zur Bildverarbeitung
DE19907132B4 (de) Videodecoder für einen Digitalfernseher
EP0956703B1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes
DE19919412A1 (de) Decoder für einen digitalen Fernsehempfänger
DE69723325T2 (de) Verfahren und Vorrichtung zur Codierung und Decodierung von Bildern
EP1025704A1 (de) Verfahren zur bewegungskompensierenden prädiktion von bewegtbildfolgen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee