DE60114812T2 - Videoformat konvertierung und transkodierung von mpeg-2 in mpeg-4 - Google Patents

Videoformat konvertierung und transkodierung von mpeg-2 in mpeg-4 Download PDF

Info

Publication number
DE60114812T2
DE60114812T2 DE60114812T DE60114812T DE60114812T2 DE 60114812 T2 DE60114812 T2 DE 60114812T2 DE 60114812 T DE60114812 T DE 60114812T DE 60114812 T DE60114812 T DE 60114812T DE 60114812 T2 DE60114812 T2 DE 60114812T2
Authority
DE
Germany
Prior art keywords
mpeg
dct
decompressed data
format
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60114812T
Other languages
English (en)
Other versions
DE60114812D1 (de
Inventor
Krit Panusopone
Xuemin Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
Arris Technology Inc
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arris Technology Inc, General Instrument Corp filed Critical Arris Technology Inc
Application granted granted Critical
Publication of DE60114812D1 publication Critical patent/DE60114812D1/de
Publication of DE60114812T2 publication Critical patent/DE60114812T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

  • ALLGEMEINER STAND DER TECHNIK
  • Die vorliegende Erfindung betrifft die Komprimierung von Multimediadaten und insbesondere einen Videotranscoder, der es einem generischen MPEG-4-Decoder erlaubt, MPEG-2-Bitströme zu decodieren. Außerdem werden zeitliche und räumliche Größenumwandlung (maßstabgerechte Verkleinerung) bereitgestellt.
  • Der Artikel „Efficient MPEG-4/H/263 video transcoder for interoperability of heterogenous multimedia networks" von S. Dogan et al. in Electronic Letters, Mai 1999, Bd. 35, Nr. 11, S. 863 (XP-000908120) schlägt vor, einen Videotranscoder vorzusehen, um Interoperabilität zwischen den beiden Videostandards MPEG-4 und der H. 263-Bitstromsyntax zu erzielen. Es wird ein entsprechender Transcodierungsalgorithmus bereitgestellt.
  • Der Artikel „Efficient Processing of Compressed Video" von S. J. Wee und J. G. Apostolopoulos in „Conference Record of the 32nd Asilomar Conference on Signals, Systems & Computers", Pacific Grove, Kalifornien, 1.–4.11.1998, Asilomar Conference on Signals, Systems, and Computers, New York, New York, USA (Bd. 1, 1998, Seiten 855 bis 859, XP001032864, ISBN: 0-7803-5149-5) bespricht das Problem des Transcodierens komprimierter Videodaten aus einem Standards entsprechenden Datenstrom in einen anderen. Insbesondere zeigt der Artikel effiziente Algorithmen zum Splicen und rückwärts Abspielen von komprimierten Videoströmen.
  • Der Artikel „Field-to-Frame Transcoding with Spatial and Temporal Downsampling" von S. J. Wee und J. G. Apostolopoulos, Tagungsberichte 1999 International Conference on Image Processing, ICIP'99, Kobe, Japan, 24.–28.10.1999, International Conference on Image Processing, Los Alamitos, Kalifornien, USA (Bd. 4 von 4, 24.10.1999, Seiten 271 bis 275, XP000895525, ISBN: 0-7803-5468-0) bespricht einen Algorithmus zum Transcodieren von hochratigen komprimierten Bitströmen, die halbbildcodierte verschachtelte Videosignale enthalten, in niederratigere komprimierte Bitströme, die vollbildcodierte progressive Videosignale enthalten, zur Transcodierung von MPEG-2 zu H.263.
  • Es werden die folgenden Abkürzungen und Begriffe verwendet:
    • CBP
    – Codiertes Blockmuster
    DCT
    – Diskrete Cosinustransformation
    DTV
    – Digitales Fernsehen
    DVD
    – Digitale Video-Disc
    HDTV
    – Hochauflösendes Fernsehen
    FLC
    – Codierung mit fester Länge
    IP
    – Internet-Protokoll
    MB
    – Makroblock
    ME
    – Bewegungsschätzung
    ML
    – Hauptebene
    MP
    – Hauptprofil
    MPS
    – MPEG-2-Programmstrom
    MTS
    – MPEG-2-Transportstrom
    MV
    – Bewegungsvektor
    QP
    – Quantisierungsparameter
    PMV
    – Prädiktionsbewegungsvektor
    RTP
    – Echtzeit-Transportprotokoll (RFC 1889)
    SDTV
    – Fernsehen mit Standardauflösung
    SIF
    – Normzwischenformat
    SVCD
    – Super Video Compact Disc
    VCL
    – Codierung mit variabler Länge
    VLD
    – Decodierung mit variabler Länge
    VOP
    – Videoobjektebene
  • Der Multimedia-Codierungsstandard MPEG-4 stellt eine reichhaltige Funktionalität bereit, um verschiedene Anwendungen zu unterstützen, darunter Internet-Anwendungen wie zum Beispiel Streaming-Medien, Werbung, interaktive Spiele, virtuelle Reisen usw. Video-Streaming über das Internet (Multicast), wovon erwartet wird, dass es sich um die populärste Anwendung für das Internet handeln wird, eignet sich auch gut für die Verwendung mit dem MPEG-4-Visual-Standard (ISOAEC 14496-2 Final Draft of International Standard (MPEG-4), „Information Technology – Generic coding of audio-visual objects, Part 2: visual", Dez. 1998).
  • MPEG-4 visual behandelt sowohl synthetische als auch natürliche Videosignale und berücksichtigt mehrere visuelle Objekttypen, wie zum Beispiel Video-, Face- und Mesh-Objekte. MPEG-4 visual erlaubt außerdem das Codieren eines beliebig geformten Objekts dergestalt, dass wie von einem Benutzer gewünscht mehrere Objekte in einer Szene gezeigt oder manipuliert werden können. Darüber hinaus ist MPEG-4 visual im Hinblick auf Codierungs- und Anzeigekonfigurationen sehr flexibel, indem erweiterte Merkmale enthalten sind, wie zum Beispiel mehrere Hilfs-(alpha)-Ebenen, variable Vollbildrate und geometrische Transformationen (sprites).
  • Der größte Teil des Videomaterials (z.B. Spielfilme, Sportereignisse, Konzerte und dergleichen) wovon erwartet wird, dass er das Ziel von Streaming-Video sein wird, wird jedoch bereits durch das MPEG-2-System komprimiert und auf Speichermedien wie etwa DVDs, Computerspeichern (z.B. Server-Festplatten) und dergleichen abgespeichert. Die MPEG-2-Systemspezifikation (ISO/IEC 13818-2 International Standard (MPEG-2), „Information Technology – Generic coding of Moving Pictures and Associated Audio: Part 2 – Video", 1995) definiert zwei System-Stream-Formate: MPEG-2 Transport Stream (MTS) und MPEG-2 Program Stream (MPS). MTS ist für die Übermittlung oder Speicherung eines oder mehrerer Programme MPEG-2-komprimierter Daten und außerdem anderer Daten in relativ fehleranfälligen Umgebungen ausgelegt. Eine typische Anwendung von MTS ist DTV. MPS ist für relativ fehlerfreie Umgebungen ausgelegt. Die populären Anwendungen sind zum Beispiel DVD und SVCD.
  • Versuche, dieses Problem zu behandeln, waren bisher nicht zufriedenstellend. Zum Beispiel hat das MPEG-4-Studioprofil (O. Sunohara und Y. Yagasaki, „The draft of MPEG-4 Studio Profile Amendment Working Draft 2.0", ISO/IEC JTC1/SC29/WG11 MPEG99/5135, Okt. 1999) einen Transcoder von MPEG-2 zu MPEG-4 vorgeschlagen, dieser Prozess ist jedoch nicht auf die anderen Profile von MPEG-4 Version 1 anwendbar, darunter die Natural-Visual-Profile (einfach, einfach skalierbar, Kern, Haupt, N-Bit), synthetische visuelle Profile (skalierbare Textur, einfache Face-Animation) und Synthetic/Natura) Hybrid Visual (Hybrid, einfache animierte Textur). Das Studioprofil ist nicht auf das Hauptprofil von MPEG-4 Version 1 anwendbar, da es die Syntax modifiziert, und der Decoderprozess ist nicht mit dem Rest der Profile von MPEG-4 Version 1 kompatibel.
  • Die MPEG-Standards designieren mehrere Mengen eingeschränkter Parameter unter Verwendung einer zweidimensionalen Einstufungsreihenfolge. Eine der Dimensionen, die als die „Profil"-Serie bezeichnet wird, spezifiziert die unterstützten Codierungsmerkmale. Die als „Ebene" bezeichnete andere Dimension spezifiziert die Bildauflösungen, Bitraten usw., die behandelt werden können.
  • Für MPEG-2 unterstützt das Hauptprofil auf der Hauptebene bzw. MP@ML ein Farb-Subsampling-Verhältnis von 4:2:0 und I-, P- und B-Bilder. Das einfache Profil ist dem Hauptprofil ähnlich, besitzt aber keine B-Bilder. Die Hauptebene wird für Videosignale gemäß ITU-R 601 definiert, während die einfache Ebene für SIF-Video definiert ist.
  • Ähnlich enthält für MPEG-4 das einfache Profil progressives SIF-Video (und besitzt keine B-VOPs oder verschachteltes Video). Das Hauptprofil erlaubt B-VOPs und verschachteltes Video.
  • Dementsprechend wäre es wünschenswert, Interoperabilität zwischen verschiedenen Arten von Endsystemen durch Verwendung von Videotranscodierung von MPEG-2-Video zu MPEG-4-Video und/oder Videotranscodierung von MPEG-4-Video zu MPEG-2-Video zu erzielen. Die verschiedenen Arten von Endsystemen, die berücksichtigt werden sollten, beinhalten:
    TIU (Transmitting Interworking Unit): empfängt MPEG-2-Video von einem nativen MTS-(oder MPS-)System und transcodiert zu MPEG-4-Video und verteilt über Paketnetzwerke unter Verwendung einer nativen, auf RTP basierenden Systemschicht (wie zum Beispiel ein Internetzwerk auf IP-Basis). Zu Beispielen gehören ein EchtzeitCoder, eine MTS-Satellitenverbindung zum Internet und ein Videoserver mit MPS-codiertem Quellenmaterial.
    RIU (Receiving Interworking Unit): empfängt MPEG-4-Video in Echtzeit von einem auf RTP basierenden Netzwerk und transcodiert dann in MPEG-2-Video (wenn möglich) und leitet zu einer nativen MTS-(oder MPS-)Umgebung weiter. Zu Beispielen gehören ein Internet-gestützter Videoserver zu einer auf MTS basierenden Kabelverteilungsanlage.
    TIES (Transmitting Internet End-System): sendet MPEG-2- oder MPEG-4-Video, das im Internet-Endsystem selbst erzeugt oder gespeichert oder aus Internet-gestützten Computernetzwerken empfangen wird. Zu Beispielen gehört ein Videoserver.
    RIES (Receiving Internet End-System): empfängt MPEG-2- oder MPEG-4-Video über ein auf RTP basierendes Internet zum Aufbrauch in dem Internet-Endsystem oder zur Weiterleitung zu einem traditionellen Computernetzwerk. Zu Beispielen gehört ein Desktop-PC oder eine Workstation zur Betrachtung eines Trainingsvideos.
  • Es wäre wünschenswert, Ähnlichkeiten und Unterschiede zwischen MPEG-2- und MPEG-4-Systemen zu bestimmen und Transcoderarchitekturen bereitzustellen, die zu einer geringen Komplexität und kleinem Fehler führen.
  • Die Transcoderarchitekturen sollten für Systeme bereitgestellt werden, bei denen B-Vollbilder freigegeben sind (z.B. Hauptprofil), sowie eine vereinfachte Architektur für den Fall, dass B-Vollbilder nicht benutzt werden (einfaches Profil).
  • Es sollte Transcodierung von Format (MPEG-2 zu MPEG-4) und/oder Größe bereitgestellt werden.
  • Außerdem wäre es wünschenswert, eine effiziente Abbildung von der MPEG-2- zu der MPEG-4-Syntax einschließlich einer Abbildung von Kopfteilen bereitzustellen.
  • Das System sollte Größentranscodierung beinhalten, einschließlich räumlicher und zeitlicher Transcodierung.
  • Das System sollte Größenumwandlung am Eingangsbitstom oder Ausgabebitstrom eines Transcoders erlauben.
  • Der Größentranscoder sollte einen Bitstrom von mit MPEG-2 MP@ML codiertem verschachtelten Video gemäß ITU-R 601 in einen MPEG-4-Bitstrom des einfachen Profils, der progressives SIF-Video, das sich z.B. für eine Streaming-Video-Anwendung eignet, enthält, umwandeln.
  • Das System sollte einen Ausgabebitstrom bereitstellen, der in die praktische Bandbreite für eine Streaming-Video-Anwendung (z.B. weniger als 1 Mbps) passen kann.
  • Die vorliegende Erfindung liefert ein System mit den obigen und weiteren Vorteilen.
  • KURZE DARSTELLUNG DER ERFINDUNG
  • Die Erfindung betrifft Formattranscodierung (MPEG-2 zu MPEG-4) und Größentranscodierung (räumlich und zeitlich).
  • Ein vorgeschlagener Transcoder beinhaltet Größenumwandlung, obwohl diese Parameter entweder am Eingangsbitstrom oder am Ausgabebitstrom transcodiert werden können. Es ist jedoch effizienter, alle Arten von Transcodierung in die Produktversion eines Transcoders aufzunehmen, um die Komplexität zu verringern, da sich die Transcoder untereinander Verarbeitungselemente (wie zum Beispiel einen Bitstromleser) teilen.
  • Die Erfindung behandelt die wichtigsten Anforderungen an einen Transcoder, z.B. Komplexität des Systems und durch den Prozess erzeugte Verluste.
  • Bei einer Ausführungsform verringert eine vorgeschlagene Transcoderarchitektur des Typs von vorne nach hinten die Komplexität, weil es nicht notwendig ist, Bewegungskompensation durchzuführen.
  • Bei einer konkreten Ausführungsform kann der Transcoder eine variable 5-Bit-QP-Repräsentation verwenden und macht AC/DC-Prädiktion und den nichtlinearen DC-Skalierer unnötig.
  • Die Erfindung ist alternativ dazu für die Ratensteuerung und Umbemessung nützlich.
  • Ein konkretes Verfahren zur Transcodierung eines vorkomprimierten Eingangsbitstroms, der in einem ersten Videocodierungsformat bereitgestellt wird, beinhaltet die folgenden Schritte: Gewinnen von Kopfinformationen aus dem Eingangsbitstrom; Bereitstellen von entsprechenden Kopfinformationen in einem zweiten, unterschiedlichen Videocodierungsformat; teilweises Dekomprimieren des Eingangsbitstroms, um teilweise dekomprimierte Daten bereitzustellen; und Neukomprimieren der teilweise dekomprimierten Daten gemäß den Kopfinformationen in dem zweiten Format, um den Ausgabebitstrom bereitzustellen.
  • Ein Verfahren zur Durchführung einer maßstabgerechten 2:1-Verkleinerung an Videodaten beinhaltet die folgenden Schritte: Bilden mindestens einer Eingangsmatrix von N × N (z.B. N = 16) Koeffizienten der diskreten Cosinustransformation (DCT) aus den Videodaten durch Kombinieren von vier N/2 × N/2-Halbbildmodus-DCT-Blöcken; Durchführen eines vertikalen Downsampling und Entschachteln in die Eingangsmatrix, um zwei N/2 × N/2-Vollbildmodus-DCT-Blöcke zu erhalten; Bilden einer N × N/2-Eingangsmatrix aus den beiden Vollbildmodus-DCT-Blöcken; und Durchführen eines horizontalen Downsampling in die N × N/2-Matrix, um einen N/2 × N/2-Vollbildmodus-DCT-Block zu erhalten.
  • Vorzugsweise verwenden das vertikale und horizontale Downsampling jeweilige dünn besiedelte Downsampling-Matrizen. Insbesondere kann eine Vertikal-Downsampling-Matrix von 0,5 [I8I8] verwendet werden, wobei I8 eine 8 × 8-Identitätsmatrix ist. Dies ist im Wesentlichen vertikale Pixel-Mittelung. Es kann eine Horizontal-Downsampling-Matrix verwendet werden, die aus ungeraden („O") und geraden („E") Matrizen zusammengesetzt ist.
  • Außerdem werden entsprechende Vorrichtungen vorgestellt.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt einen MPEG-2-Videodecoder.
  • 2 zeigt einen MPEG-4-Videodecoder ohne Skalierbarkeitsmerkmale.
  • 3 zeigt einen Transcoder des Typs von vorne nach hinten mit niedriger Komplexität (mit gesperrten B-Vollbildern) gemäß der Erfindung.
  • 4 zeigt eine Transcoderarchitektur, die Driftfehler (mit freigegebenen B-Vollbildern) minimiert, gemäß der Erfindung.
  • 5 zeigt einen Größentranscoder gemäß der Erfindung.
  • 6 zeigt das Downsampling von vier Halbbildmodus-DCT-Blöcken zu einem Vollbildmodus-DCT-Block gemäß der vorliegenden Erfindung.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
  • Die Erfindung betrifft Formattranscodierung (MPEG-2 zu MPEG-4) und Größentranscodierung (räumlich und zeitlich).
  • Die Erfindung stellt Bitratentranscodierung bereit, um einen vorkomprimierten Bitstrom in einen anderen komprimierten Bitstrom mit einer unterschiedlichen Bitrate umzuwandeln. Bitratentranscodierung ist z.B. für Streaming-Video-Anwendungen wichtig, weil die Netzwerkbandbreite nicht konstant ist und manchmal ein Videoserver die Bitrate reduzieren muss, um mit dem Netzwerkverkehrsbedarf fertig zu werden. Ein auf Kaskaden basierender Transcoder, der MVs aus dem Eingangsbitstrom wiederverwendet und daher Bewegungsschätzung (ME) unnötig macht, gehört zu den effizientesten der Bitratentranscoder. Der auf Kaskaden basierende Transcoder decodiert den Eingangsbitstrom, um den MV zu erhalten und das Bezugsvollbild zu bilden. Dann codiert er diese Informationen mit einem Ratensteuermechanismus, um einen Ausgabebitstrom mit der gewünschten Bitrate zu erzeugen.
  • Die Transcodierung der räumlichen Auflösung wird mit der Koexistenz von HDTV und SDTV in der nahen Zukunft zu einem großen Problem. Außerdem ist sie sehr nützlich für die Streaming-Video-Anwendung, da es wahrscheinlich ist, dass die Internetbandbreite für Video mit Broadcast-Qualität nicht groß genug sein wird. Das Downsampling des Bitstroms mit Broadcast-Qualität zu einem Bitstrom mit einer handhabbaren Auflösung ist daher attraktiv. Die Transcodierung der räumlichen Auflösung arbeitet gewöhnlich in der komprimierten(DCT)-Domäne, da sie die Komplexität des Systems drastisch verringert. Der Prozess des Downsampling in der komprimierten Domäne umfaßt das Verarbeiten zweier Parameter, nämlich DCT-Koeffizienten und MVs. Es wird vorgeschlagen, dass ein Downsampling-Filter und sein schneller Algorithmus das DCT- Koeffizienten-Downsampling durchführen. Es wird MV-Resampling verwendet, um den MV des downgesampelten Video zu finden. In dem realen Produkt sollte zur Vermeidung von Drift der Rest der Bewegungskompensation neu transformiert werden, anstatt die DCT-Koeffizienten aus dem Eingangsbitstrom zu approximieren.
  • 2. Vergleich auf hoher Ebene
  • In Bezug auf Struktur verwenden MPEG-2 und MPEG-4 einen ähnlichen Videokomprimierungsalgorithmus. Grundsätzlich verwenden beide Standards Bewegungsprädiktion zur Ausnutzung zeitlicher Korrelation und Quantisierung in der DCT-Domäne, um räumliche Korrelation in einem Vollbild auszunutzen. Dieser Abschnitt beschreibt die Struktur der MPEG-2- und MPEG-4-Decoder auf hoher Ebene und erwähnt dann Unterschiede zwischen den beiden Standards.
  • 2.1 MPEG-2
  • 1 zeigt den vereinfachten Videodecodierungsprozess von MPEG-2. Im Decoder 100 werden codierte Videodaten einer Decodierungsfunktion 110 variabler Länge zugeführt, um die eindimensionalen Daten QFS[n] bereitzustellen, wobei n ein Koeffizientenindex im Bereich von 0–63 ist. In der Invers-Scan-Funktion 120 wird QFS[n] in ein zweidimensionales Array von Koeffizienten umgewandelt, das als QF[v][u] bezeichnet wird, wobei die Array-Indizes u und v beide im Bereich von 0 bis 7 liegen. Eine Invers-Quantisierungsfunktion 130 wendet die entsprechende Invers-Quantisierungsarithmetik an, um die letztendlichen rekonstruierten Frequenzbereichs-DCT-Koeffizienten F[v][u] zu produzieren. Eine Invers-DCT-Funktion 140 produziert die Pixel-(räumlich)Bereichswerte f[y][x]. Eine Bewegungskompensationsfunktion 150 reagiert auf einen Vollbildspeicher 160 und die Werte f[y][x], um die decodierten Pixel (pels) d[y][x] zu produzieren, wobei y und x kartesische Koordinaten im Pixelbereich sind.
  • MPEG-2 arbeitet auf einer Makroblockebene für Bewegungskompensation, einer Blockebene für die DCT-Transformation und der Koeffizientenebene für die Lauflängen- und verlustlose Codierung. MPEG-2 ermöglicht darüber hinaus drei Arten von Bildern, nämlich I-, P- und B-Bilder. Zulässige Bewegungsprädiktionsmoden (vorwärts, rückwärts, bidirektional) werden für die P- und B-Bilder spezifiziert. MPEG-2 verwendet verschachtelte Codierungswerkzeuge, um verschachtelte Quellen effizienter handzuhaben.
  • 2.2 MPEG-4
  • 2 zeigt den MPEG-4-Videodecodierungsprozess ohne Skalierbarkeitsmerkmale.
  • In dem Decoder 200 werden Daten aus einem Kanal aus einem Demux 210 ausgegeben. Ein codierter Bitstrom von Formdaten wird einem Schalter 215 zusammen mit dem MPEG-4-Term video object_layer_shape (der z.B. angibt, ob das aktuelle Bild rechteckig, nur binär oder graustufig ist) zugeführt. Wenn video_object_layer_shape gleich „00" ist, ist keine Binärformdecodierung erforderlich. Andernfalls wird Binärformdecodierung ausgeführt.
  • Wenn Binärformdecodierung ausgeführt wird, empfängt eine Formdecodierungsfunktion 220 die zuvor rekonstruierte VOP 230 (die in einem Speicher gespeichert sein kann) und führt einer Bewegungskompensationsfunktion 240 eine formdecodierte Ausgabe zu. Die Bewegungskompensationsfunktion 240 empfängt eine Ausgabe von einer Bewegungsdecodierungsfunktion 235, die ihrerseits einen bewegungscodierten Bitstrom aus dem Demux 210 empfängt. Die Bewegungskompensationsfunktion 240 empfängt außerdem die zuvor rekonstruierte VOP 230, um einer VOP-Rekonstruktionsfunktion 245 eine Ausgabe zuzuführen.
  • Die VOP-Rekonstruktionsfunktion 245 empfängt außerdem Daten von einer Texturdecodierungsfunktion 250, die ihrerseits einen texturcodierten Bitstrom aus dem Demux 210 empfängt, zusätzlich zu einer Ausgabe von der Formdecodierungsfunktion 220. Die Texturdecodierungsfunktion 250 beinhaltet eine Funktion der Decodierung mit variabler Länge 255, eine Invers-Scan-Funktion 260, eine Invers-DC- und -AC-Prädiktionsfunktion 270, eine Invers-Quantisierungsfunktion 280 und eine Invers-DCT-(IDCT-)Funktion 290.
  • Im Vergleich zu MPEG-2 werden in MPEG-4 mehrere neue Werkzeuge verwendet, um Merkmale und Interaktivität hinzuzufügen, wie z.B. Sprite-Codierung, Formcodierung, Standbildtexturcodierung, Skalierbarkeit und Fehlernachgiebigkeit. Darüber hinaus werden Bewegungskompensations- und Texturcodierungswerkzeuge in MPEG-4, die der MPEG-2-Videocodierung ähnlich sind, modifiziert, um die Codierungseffizienz zu verbessern, z.B. Codierungswerkzeuge wie etwa Direktmodus-Bewegungskompensation, uneingeschränkte Bewegungskompensation und erweiterte Prädiktion.
  • Insbesondere wird Direktmodus-Bewegungskompensation für B-VOPs verwendet. Genauer gesagt verwendet sie bidirektionale Bewegungskompensation, die durch Verwendung von I- oder P-VOP-Makroblock-MVs und Skalierung dieser abgeleitet wird, um Vorwärts- und Rückwärts-MVs für Makroblöcke in B-VOP abzuleiten. Es ist nur ein Delta-MV pro Makroblock zulässig. Der tatsächliche MV wird aus dem Delta-Vektor berechnet, und der skalierte MV aus seinem zusammenbefindlichen Makroblock.
  • Die uneingeschränkte Bewegungskompensation ermöglicht einen oder vier MVs pro Makroblock. Der 4-MV-Modus ist nur bei B-VOPs mit Verwendung des Direktmodus möglich. Man beachte, dass der MV für einen Chrominanz-Makroblock der Mittelwert von vier MVs aus seinem assoziierten Luminanz-Makroblock ist. Ferner ermöglicht eine uneingeschränkte Bewegungskompensation, dass ein MV aus dem Bezugsvollbild herauszeigt (die Out-Of-Bound-Textur wird aus dem Randpixel gestopft).
  • Erweiterte Prädiktion definiert die Prädiktionsmethode für MV- und DCT-Koeffizienten. Gemäß dem Medianwert der MVs seiner drei Nachbarn wird ein MV-Prädiktor festgelegt. Die Prädiktion von Intra-DCT-Koeffizienten folgt der Intra-AC/DC-Prädiktionsprozedur (Grahamsche Regel).
  • 3. Transcoderarchitektur
  • 3 zeigt einen Transcoder des Typs von vorne nach hinten mit niedriger Komplexität gemäß der Erfindung mit gesperrten B-Vollbildern.
  • Ähnlichkeiten zwischen den Strukturen von MPEG-2 und MPEG-4 ermöglichen einen Transcoder mit niedriger Komplexität (front-to-back). Statt einen MPEG-2-Bitstrom völlig in die räumliche (Pixel-)Domänenebene zu decodieren, verwendet der Front-To-Back-Transcoder 300 DCT-Koeffizienten und MVs, um einen MPEG-4-Bitstrom zu erzeugen, ohne tatsächlich einen Bewegungsschätzprozess auszuführen. Ein Kompromiss besteht darin, dass diese Architektur ein Driften in dem rekonstruierten Vollbild verursachen kann und keine Bitratensteuerung erlaubt. Das Driftproblem ist jedoch gering, da der größte Teil des Unterschieds zwischen den MPEG-2- und MPEG-4-Decodern in dem Teil der verlustlosen Codierung liegt.
  • Der Transcoder 300 umfasst eine Kaskade aus einem MPEG-2-Bitstromleser (Decoder) (310–330) und einem MPEG-4-Kopf- und Texturcoder (Coder) (340–370), zusammen mit einer Kopfdecodierungsfunktion 304, einer Verweistabelle 308 und einem Kommunikationsweg 312. Der Transcoder 300 liest einen Eingangs-MPEG-2-Bitstrom, führt eine Variable-Länge-Decodierung (VLD) in einer Funktion 310 an DCT-Koeffizienten und dem MV-Rest aus und folgt dann der MPEG-2-Logik, um DCT-Koeffizienten und/oder MVs jedes Blocks in dem Vollbild zu finden.
  • Die Kopfdecodierfunktion 304 decodiert die MPEG-2-Kopfteile und führt diese einer Verweistabelle (oder einer analogen Funktion) 308 zu, die mit den nachfolgend aufgeführten Tabellen die entsprechenden MPEG-4-Kopfteile erhält.
  • Mit den Informationen der Kopfteile, den DCT-Koeffizienten und/oder MV codiert der Transcoder 300 diese Informationen in das MPEG-4-Format. Man beachte, dass das Bezugsvollbild in dieser Architektur nicht notwendig ist.
  • Der Transcoder 300 liest den MPEG-4-Kopfteil aus dem Eingangsbitstrom und schreibt den entsprechenden MPEG-4-Kopfteil an seine Stelle in einen Ausgabebitstrom.
  • Nach Verarbeitung in der VLD 310 werden die Daten einer Invers-Scan-Funktion 320 und einer Invers-Quantisierungsfunktion 330 zugeführt. Unter Verwendung der über den Weg 312 zugeführten MPEG-4-Kopfinformationen werden als nächstes die decodierten DCT-Koeffizientendaten in einem MPEG-4-Kopf- und Texturcoder verarbeitet, der eine Quantisierungsfunktion 340 und eine AC/DC-Prädiktionsfunktion 350 zum differenziellen Codieren der quantisierten DCT-Koeffizienten enthält. Insbesondere erzeugt der AC/DC-Prädiktionsprozess einen Rest von DC- und AC-DCT-Koeffizienten in einem Intra-MB durch Subtrahieren des DCT-Koeffizienten und entweder der ersten Zeile oder ersten Spalte der AC-Koeffizienten. Der Prädiktor wird adaptiv ausgewählt. Man beachte, dass die AC/DC-Prädiktionsfunktion 350 die MPEG-4-Kopfinformationen möglicherweise nicht benötigt.
  • Danach ergeben eine Scan-/Lauflängencodierungsfunktion 360 und eine Funktion der Codierung mit variabler Länge 370 den MPEG-4-Bitstrom.
  • 4 zeigt eine Transcoderarchitektur, die Driftfehler gemäß der Erfindung minimiert, wobei B-Vollbilder freigegeben sind.
  • Gleichbezifferte Elemente entsprechen in den Figuren einander.
  • Um den Drift-Problemen im rekonstruierten Vollbild und dem Fehlen der Bitratensteuerung entgegenzuwirken, kann man eine komplexere Architektur verwenden, wie zum Beispiel den Transcoder 400, der eine Erweiterung des Transcoders 300 von 3 ist. Diese Architektur berechnet tatsächlich den DCT-Koeffizienten der Textur-/Restdaten, und daher ist Bewegungskompensation erforderlich. Da der Coder dieses Transcoders einen Decodierungsprozess beinhaltet, kann der Driftfehler minimiert werden.
  • Darüber hinaus kann man mit dem Transcoder 400 Bitströme mit B-Vollbildern transcodieren, da MPEG-4 für B-Vollbilder keinen Intra-Modus erlaubt. Der Transcoder 400 behandelt einen Block im Intra-Modus in einem B-Vollbild (bei MPEG-2) als einen Block mit Null-MV im Inter-Modus (bei MPEG-4). Er kann entweder ein Null-Rest-MV (PMV) oder Null-MV (der einen von Null verschiedenen MV-Code ergeben kann) sein, da der MV im Vergleich zum PMW prädiktiv codiert wird.
  • Insbesondere beinhaltet der Transcoder 400 eine Funktion der Decodierung mit variabler Länge 405, die einem MV-Decoder 425 MV-Restdaten zuführt, und die der Invers-Scan-Funktion 320 DCT-Koeffizientendaten zuführt. Die DCT-Daten werden durch die Invers-Quantisierungsfunktion 330 und eine Invers-DCT-Funktion 420 verarbeitet, um Pixeldomänendaten zu erhalten. Intra-codierte Pixeldaten werden über einen Weg 422 einem Puffer zugeführt, während inter-codierte Pixeldaten über einen Weg 424 einem Addierer 435 zugeführt werden.
  • Die Pixel-(Differenz-)Daten auf dem Weg 424 werden zu Bezugspixeldaten aus einer Bewegungskompensationsfunktion 430 (die auf den MV-Decoder 425 anspricht) addiert, um dem Puffer 450 über einen Weg 448 inter-codierte Daten zuzuführen.
  • Zur Neucodierung, z.B. im MPEG-4-Format, gibt der Puffer 450 entweder die Intra-Pixeldaten direkt an eine DCT-Funktion 455 aus oder gibt die Inter-Pixeldaten an einen Subtrahierer 445 aus, in dem eine Differenz in Bezug auf eine Ausgabe einer Bewegungskompensationsfunktion 440 (die auf den MV-Decoder 425 anspricht) der DCT-Funktion 455 zugeführt wird.
  • Die DCT-Koeffizienten werden von der DCT-Funktion 455 der Quantisierungsfunktion 340 zugeführt, und die quantisierten DCT-Daten werden dann der AC/DC-(DCT-Koeffizienten-)Prädiktionsfunktion 350 zugeführt, in der AC- und DC-Reste des aktuellen MB erzeugt werden. Diese Reste von DCT-Koeffizienten werden entropiecodiert. Die Ausgangsdaten werden der Scan-/Lauflängencodierungsfunktion 360 zugeführt, und deren Ausgabe wird der Funktion 370 der Codierung mit variabler Länge zugeführt, um den MPEG-4-gerechten Bitstrom zu erhalten.
  • Die quantisierten DCT-Koeffizienten werden außerdem von der Quantisierungsfunktion 340 an eine Invers-Quantisierungsfunktion 495 ausgegeben, deren Ausgabe einer Invers-DCT-Funktion 490 zugeführt wird, deren Ausgabe in einem Addierer 485 mit der Ausgabe der Bewegungskompensationsfunktion 440 summiert wird. Die Ausgabe des Addierers 485 wird einem Puffer 480 und danach der Bewegungskompensationsfunktion 440 zugeführt.
  • Die Kopfdecodierungsfunktion 304 und die Verweistabelle 308 und der Weg 312 arbeiten wie in Verbindung mit 3 besprochen, um die Neucodierung in das MPEG-4-Format in den Funktionen 340–370 zu steuern.
  • 4. Implementierung des Formattranscoders
  • Dieser Abschnitt erläutert die Implementierung der Formattranscodierung, z.B. wie in den oben besprochenen 3 und 4 und in der später zu besprechenden 5 implementiert. Geringfügige Implementierungsdetails (z.B. systembezogene Einzelheiten, wie die Verwendung von Zeitstempeln und dergleichen), die nicht spezifisch besprochen werden, sollten Fachleuten offensichtlich sein.
  • Bei einer konkreten Implementierung kann mann mit den Transcodern der vorliegenden Erfindung einen MPEG-2-Bitstrom des Hauptprofils und der Hauptebene (MP@ML) in einen MPEG-4-Bitstrom des Hauptprofils umwandeln. Es wird angenommen, dass der MPEG-2-Bitstrom in Vollbildstruktur mit B-Bild-Codierung (keine Dual-Prime-Prädiktion) codiert wird. Im Allgemeinen sollte derselbe Codierungsmodus behalten werden, der bei der MPEG-2-Codierung verwendet wird. Dieser Modus ist wahrscheinlich bei MPEG-4 optimal und vermeidet daher die Komplexität des Modusentscheidungsprozesses. Das Tranzparenzmuster bei MPEG-4 ist immer 1 (ein rechteckiges Objekt mit derselben Größe der VOP in einer VOP). Das heißt, MPEG-4 erlaubt ein beliebig geformtes Objekt, das durch ein von Null verschiedenes Transparenzmuster definiert wird. Dieses Merkmal existiert in MPEG-2 nicht, so dass man sicher annehmen kann, dass alle Transparenzmuster des Transcodierungsobjekts Eins sind.
  • 4.1 Der MPEG-2-Bitstromleser
  • Ein Transcoder gemäß der Erfindung erhält den Bitstromkopf, DCT-Koeffizienten und MVs aus dem MPEG-2-Bitstrom. Diese Informationen werden in dem Bitstrom miteinander gemischt. Sowohl MPEG-2- als auch MPEG-4-Bitströme verwenden eine hierarchische Struktur, die aus mehreren Schichten besteht. Jede Schicht beginnt mit dem Kopfteil, gefolgt durch ein Vielfaches ihrer Subschicht. Bei dieser Implementierung (siehe Tabelle 1) besitzt die MPEG-2-Schicht eine direkte Übersetzung in die MPEG-4-Schicht, mit der Ausnahme der Slice-Schicht in MPEG-2, die in MPEG-4 nicht benutzt wird. DC-Koeffizienten und vorhergesagte MVs in MPEG-4 werden in den Blöcken, die das Slice starten, zurückgesetzt.
  • Bestimmte MPEG-4-Kopfteile sind jedoch von MPEG-2-Kopfteilen verschieden und umgekehrt. Zum Glück reichen die Beschränkungen in MPEG-2- und MPEG-2-Kopfinformationen aus, um einen MPEG-4-Kopfteil zu spezifizieren. Die Tabellen 2 bis 6 listen MPEG-4-Kopfteile und ihre Beziehung mit einem MPEG-2-Kopfteil bzw. Einschränkung auf jeder Schicht auf.
  • Tabelle 1. Beziehung zwischen MPEG-2- und MPEG-4-Schichten
    Figure 00190001
  • Figure 00200001
  • Tabelle 2. MPEG-4-Kopfteil und seine Ableitung (VOS und VO)
    Figure 00200002
  • Figure 00210001
  • Tabelle 3. MPEG-4-Kopfteil und seine Ableitung (VOL)
    Figure 00210002
  • Figure 00220001
  • Figure 00230001
  • Tabelle 4. MPEG-4-Kopfteil und seine Ableitung (VOP)
    Figure 00230002
  • Figure 00240001
  • Tabelle 5. MPEG-4-Kopfteil und seine Ableitung (Makroblock und MV)
    Figure 00240002
  • Figure 00250001
  • Tabelle 6. MPEG-4-Kopfteil und seine Ableitung (Block und verschachtelte Informationen)
    Figure 00250002
  • Figure 00260001
  • Tabelle 7. Abbildung des Vollbild_raten_code in MPEG-2 auf vop_zeit_inkrement_auflösung und Festes_vop_zeit_inkrement in MPEG-4.
    Figure 00260002
  • MV-Daten werden in der Makroblockschicht gespeichert. Für jeden Makroblock sind bis zu vier MVs möglich. Darüber hinaus kann ein MV entweder den Halbbild- oder den Vollbildtyp aufweisen und kann entweder Vollpixel- oder Halbpixelauflösung aufweisen. Der MPEG-2-MV-Decodierungsprozess wird verwendet, um Bewegungs_code (VLC) und Bewegungs_rest (FLC) und daher Delta zu bestimmen. Kombiniert mit dem prädiktiven MV ergibt delta den Halbbild-/Vollbild-MV. Der MV für übersprungene Makroblöcke wird auf Null gesetzt.
  • DCT-Daten werden in der Blockschicht gespeichert. Sie werden zuerst aus dem Bitstrom (VLC) decodiert, unter Verwendung entweder des Zickzack- oder Wechsel-Scan-Musters invers gescannt und dann invers quantisiert. Der Intra-DC-Koeffizient wird aus dct_dc-differenzial und dem Prädiktor bestimmt (der Prädiktor wird gemäß der MPEG-2-spez. zurückgesetzt). dCT-Koeffizienten in einem übersprungenen Makroblock werden auf Null gesetzt.
  • 4.2 Texturcodierung
  • DCT-Koeffizienten (für Inter-Vollbilder) werden von einem Transcoder gemäß der Erfindung wiederverwendet. Es sollten die folgenden Richtlinien verwendet werden:
    • 1. q_maßstab_typ = 1 (linearer Maßstab) wird bei MPEG-2-Quantisierung verwendet.
    • 2. Die MPEG-Quantisierungsmethode sollte bei der MPEG-4-Quantisierung ausschließlich verwendet werden (nicht H.263), um eine Nichtübereinstimmung zwischen einem rekonstruierten MPEG-2- und MPEG-4-Vollbild (Drift) zu verringern.
    • 3. Ein Differenzialwert von MPEG-2-QP bestimmt dquant bei MPEG-4. dquant wird immer dann auf ±2 gesetzt, wenn der Differenzialwert größer als ±2 ist. dquant ist ein 2-Bit-Code, der eine Änderung in dem Quantisierer (quant) für I- und P-VOPs spezifiziert.
    • 4. Die Quantisierungsmatrix sollte im Anschluss an die Änderung der Matrix in dem MPEG-2-Bitstrom verändert werden.
    • 5. Der Transcoder besitzt die Flexibilität, eine alternative Vertikal-Scan-Methode (für verschachtelte Sequenz) auf der VOL-Ebene freizugeben.
    • 6. Intra-AC/DC-Prädiktion (wobei Skalierung erfolgt, wenn der QP des aktuellen Blocks nicht mit dem des vorhergesagten Blocks übereinstimmt) sollte auf einer Makroblockebene ausgeschaltet werden, um Komplexität und Nichtübereinstimmung bei der AC-Quantisierung zu verringern.
    • 7. Höhere Effizienz lässt sich durch Verwendung von Intra_dc_vlc_thr erreichen, um die richtige VLC-Tabelle (AC/DC) für die Codierung von Intra-DC-Koeffizienten auszuwählen, z.B. als Funktion des Quantisierungsparameters (außer wenn Intra_dc_vlc_thr entweder 0 oder 7 ist – diese Schwellen erzwingen die Verwendung der Intra-DC- oder -AC-Tabelle ungeachtet des QP.
    • 8. Ein übersprungener Makroblock wird als Makroblock des Typs nicht_codiert codiert (alle DCT-Koeffizienten sind 0).
  • 9. Cbpy und cbpc (CBP) werden gemäß Code_block_muster 420 (CBP_420) festgesetzt. Man beachte, dass eine leichte Diskrepanz zwischen CBP bei MPEG-4 und CBP_420 bei MPEG-2 für einen Intra-Makroblock besteht. Genauer gesagt zeigt CBP_420, wenn es gesetzt ist, an, dass mindestens einer der DCT-Koeffizienten in diesem Block nicht null ist. CBP enthält ähnliche Informationen, mit der Ausnahme, dass es nicht einem DC-Koeffizienten in einem Intra-Makroblock entspricht (auch abhängig von intra_dc_vlc_thr). Daher ist es möglich, dass CBP nicht null ist wenn CBP_420 in einem Intra-Makroblock null ist (dieser Fall kann in einer I-VOP und P-VOP, nicht aber einer B-VOP vorkommen).
  • Es gibt drei Quellen von Verlusten bei der Texturcodierung, nämlich QP-Codierung, DC-Prädiktion und nichtlinearer Skalierer für DC-Quantisierung. MPEG-4 verwendet Differenzialcodierung zur Codierung eines QP. MPEG-2 erlaubt alle möglichen 32 QP-Werte auf Kosten von 5 Bit. Der Differenzialwert kann jedoch ±2 (in QP-Wert-Einheiten) aufbrauchen und daher ist ein Differenzialwert von mehr als ±2 Verlust. Dieser Verlust kann durch Begrenzung der QP-Fluktuation zwischen dem Makroblock in dem MPEG-2-Ratensteueralgorithmus minimiert werden. Alle Intra-Makroblöcke führen adaptive DC-Prädiktion durch, die dem vorherigen Makroblock eine unterschiedliche Prädiktion entnehmen kann (MPEG-2-DC-Prädiktion), wodurch ein unterschiedlicher DC-Rest für die Quantisierung verursacht wird. DC-Koeffizienten aller Intra-Makroblöcke bei MPEG-4 werden auch wegen des nichtlinearen Skalierers auf von MPEG-2 unterschiedliche Weise quantisiert. Deshalb sind quantisierte DC-Koeffizienten für MPEG-2- und MPEG-4-Codierung wahrscheinlich für einen Intra-Makroblock unterschiedlich.
  • 4.3 MV-Codierung
  • Der Transcoder codiert MVs zu einem MPEG-4-Format. Bei der Transcodierung eines MV von MPEG-2 zu MPEG-4 tritt jedoch kein Fehler auf, weil MV-Codierung ein verlustloser Prozess ist. Dem MPEG-4-Coder werden die folgenden Beschränkungen auferlegt:
    • 1. Der Modus der uneingeschränkten Bewegungskompensation ist gesperrt, das heißt, kein MV zeigt aus der Grenze des Vollbildes heraus.
    • 2. Es wird der erweiterte Prädiktionsmodus verwendet. In einem MPEG-4-Bitstrom wird ein unterschiedlicher Prädiktor (ein Medianwert) verwendet, ein MV für einen 8 × 8-Pell-Block aber nicht. Das heißt, erweiterter Prädiktionsmodus erlaubt 8 × 8-MV- und nichtlinearen (Median-Filter-)Prädiktor. In dem erfindungsgemäßen Formattranscoder wird nur ein nichtlinearer Prädiktor verwendet (es wird weiter ein 16 × 16-MV behalten).
    • 3. Der Direktmodus wird in einem MPEG-4-Bitstrom nicht erlaubt, das heißt, dass es nur vier MV-Typen für eine B-VOP gibt, d.h. 16 × 16-Vorwärts- und -Rückwärtsvektoren und 16 × 8-Vorwärts- und -Rückwärts-Halbbildvektoren.
    • 4. Halbbildbewegungskompensation wird immer dann angewandt, wenn ein 16 × 8-Halbbildvektor benutzt wird (Modus aufrechterhalten).
    • 5. Ein übersprungener Makroblock wird als ein Makroblock des Typs nicht_codiert codiert (Bewegungskompensation mit null-MV).
    • 6. Bei MPEG-4 ist Einzel-f_code erlaubt. Deshalb wird der größere f_code in MPEG-2 zwischen den beiden Richtungen (vertikal, horizontal) in f_code in MPEG-4 auf der Basis der folgenden Beziehung umgewandelt: f_code (MPEG-4) = f_code (MPEG-2)-1.
    • 7. Es wird kein Stopfprozess verwendet, da die Textur für das gesamte Bezugsvollbild bekannt ist.
    • 8. Halbbildbewegungskompensation wird immer dann verwendet, wenn Dual-Prime-Arithmetik aktiviert ist. Vektorparitäten (Halbbild des Bezugs- und Halbbild des vorhersagenden Vollbildes) werden erhalten. Halbbild-MVs werden gemäß Vektor [0][0][1:0] erzeugt, der in dem MPEG-2-Bitstrom codiert ist. Wenn Prädiktion derselben Parität verwendet wird (z.B. oberes Halbbild zu oberes Halbbild oder unteres Halbbild zu unteres Halbbild), sind beide Halbbild-MVs Vektor [0][0][1:0]. Wenn Prädiktion der ungeraden Parität verwendet wird (z.B. oberes Halbbild zu unteres Halbbild oder unteres Halbbild zu oberes Halbbild) verwendet der MV des oberen Halbbildes Vektor [2][0][1:0] und der MV des unteren Halbbildes verwendet Vektor [3][0][1:0]. Vektor [r][0][0:1] für r = 2,3 kann folgendermaßen berechnet werden:
    • (a) Vektor[r][0][0] = (vektor[0][0][0] × m[parity_ref)[parity_pred]//2) + dmvektor[0].
    • (b) Vektor[r][0][0] = (vektor[0][0][1] × m[parity_ref][parity_pred]//2) + e[parity_ref][parity_pred] + dmvektor[1].
  • Man beachte, dass (m[parity_ref][parity_pred] und e[parity_ref][parity_pred] in Tabelle 7–11 bzw. 7–12 in der MPEG-2-Spezifikation (ISO/IEC 13818-2) definiert sind.
  • Darüber hinaus bedeutet „r" die Ordnung des MV, z.B. erster, zweiter usw. r = 0 bedeutet die erste Menge von MV und r = 1 bedeutet die zweite Menge von MV. Die Dual-Prime-Prädiktion verwendet r = 2 und r = 3, um zwei zusätzliche Mengen von MVs zu identifizieren.
  • „//" bedeutet ganzzahlige Division mit Rundung auf die nächste ganze Zahl.
  • 4.4 Codierung von Intra-MB in B-VOP
  • Beim Codieren eines Intra-MB in einem B-Vollbild eines MPEG-2-Bitstroms (z.B. wie in 4 gezeigt) ist eine zusätzliche Umwandlung notwendig. MPEG-4 ersetzt den Intra-Modus für B-VOP mit Direktmodus und daher muss ein Intra-MB in B-Vollbild in der MPEG-4-Syntax unterschiedlich codiert werden. Es gibt zwei praktische Lösungen für dieses Problem.
  • Die erste Lösung verwendet die Architektur, die dem Front-to-Back- Transcoder von 3 ähnlich ist (kein Puffer für das gesamte Bezugsvollbild). MC wird im Vergleich zu dem vorherigen MB (oder vorherigem MB ohne Kompensation des Texturrestes mit den Kosten zusätzlichen Speichers mit der Größe eines MB) in derselben VOP unter der Annahme durchgeführt, dass dieser MB seinem Bezugs-MB (seiner unkomprimierten Version) nahe genug kommt. Der MV für den Intra-MB ist gleich dem MV des vorherigen MB, verschoben um seine MB-Distanz.
  • Die zweite Lösung verwendet die Architektur, die der in 4 gezeigten ähnlich ist. Sie behält das Bezugsvollbild für alle I- und P-VOPs. Man beachte, dass bei dieser Lösung MC an allen P-VOPs durchgeführt werden muss. Der MV für den Intra-MB ist derselbe wie der vorhergesagte MV (Median seiner drei Nachbarn) und MC wird im Vergleich zu dem Bezugs-MB durchgeführt, den der abgeleitete MV zeigt.
  • 5. Maßstabgerechte Video-Verkleinerung in der komprimierten Domäne
  • Im Allgemeinen bedeutet maßstabgerechte Video-Verkleinerung und Größentranscodierung dasselbe. Downsampling bedeutet Unterabtastung mit einem Anti-Alias-Filter (Tiefpass), aber Unterabtastung und Downsampling werden hier synonym verwendet.
  • Größentranscodierung wird rechnerisch intensiv, wenn ihre Eingabe und Ausgabe in der komprimierten Domäne liegen. Ein Prozess der maßstabgerechten Video-Verkleinerung, der seine Operationen in der komprimierten Domäne beschränkt (und effektiv Decodierungs- und Codierungsprozesse vermeidet) ergibt eine wesentlich verringerte Komplexität. Es entstehen jedoch zwei neue Probleme bei der maßstabgerechten Verkleinerung in der komprimierten Domäne, nämlich. Downsampling von DCT-Koeffizienten und MV-Daten.
  • In letzter Zeit wurden Algorithmen für die maßstabgerechte Video-Verkleinerung in der komprimierten Domäne besprochen, sie behandeln jedoch nicht die vollständige Transcodierung zwischen MPEG-2 und MPEG-4, wozu Entschachtelung von Halbbild zu Vollbild gehört. Die vorliegende Erfindung behandelt dieses Problem.
  • Die Unterabschnitte 5.1 und 5.2 geben Lösungen für zwei neue Probleme in dem Downsampling-Prozess an. Die Implementierung eines vorgeschlagenen Größentranscoders gemäß der Erfindung wird im Abschnitt 6 und in 5 und 6 beschrieben.
  • 5.1 Subsampling eines DCT-Blocks
  • Bei der auf Vollbildern basierenden maßstabgerechten Video-Verkleinerung ist es notwendig, vier 8 × 8-DCT-Blöcke zu einem neuen 8 × 8-DCT-Block zusammenzuführen (spezifische Einzelheiten bei Betrachtung eines Halbbildblocks werden später beschrieben). Darüber hinaus sollte der Ausgangsblock eine Tiefpassversion der Eingangsblöcke sein. Dieser Prozess wird in der räumlichen Domäne ausgeführt, indem die Eingangsmatrix mit einer Subsampling-Matrix (vorzugsweise mit einem Tiefpassfilter) multipliziert wird. Multiplikation mit einer Subsampling-Matrix in der räumlichen Domäne ist wegen der distributiven Eigenschaft der Orthogonal-Transformation einer Multiplikation mit DCT-Koeffizienten einer Subsampling-Matrix in der DCT-Domäne äquivalent. Die Anzahl der Operationen (Berechnungen) in dem Downsampling-Prozess in der DCT-Domäne für bestimmte Downsampling-Filter kann jedoch sogar so hoch wie die Gesamtzahl der Operationen seines Gegenstücks in der räumlichen Domäne sein. Die Lösung dieses Problems besteht darin, eine Downsampling-Matrix zu verwenden, die dünn besiedelt ist (z.B. eine Matrix, die relativ wenige von null verschiedene Werte aufweist, z.B. ungefähr 30% oder weniger).
  • Eine dünn besiedelte Downsampling-Matrix kann auf der orthogonalen Eigenschaft zwischen dem DCT-Basisvektor und der Symmetriestruktur des DCT-Basisvektors basieren. Ein Ansatz, der in R. Dugad und N. Ahuja, „A Fast Scheme For Downsampling And Upsampling In The DCT Domain", International Conference on Image Processing (ICIP) 99, worauf hiermit ausdrücklich Bezug genommen wird, besprochen wird, nimmt die unteren 4 × 4 DCT-Koeffizienten aus vier Verarbeitungsblöcken, wendet auf jeden DCT-Subblock eine 4 × 4-IDCT an, bildet einen neuen 8 × 8-Pixel-Block und wendet eine 8 × 8-DCT an, um einen Ausgangsblock zu erhalten. Die Downsampling-Matrix kann im Voraus berechnet werden, da der Downsampling-Prozess festliegt. Durch Aufteilen der 8 × 8-DCT-Matrix in eine linke und eine rechte Hälfte ist etwa die Hälfte der Downsampling-Matrixwerte aufgrund der Orthogonalität zwischen der Spalte der 4 × 4-IDCT-Matrix und der Zeile sowohl der linken als auch der rechten 8 × 4-DCT-Matrizen null. Diese Operation (eine Dimension) kann mathematisch folgendermaßen geschrieben werden:
    Figure 00340001
    dabei ist b ein räumlicher 8 × 1-Eingangsvektor, B ist sein entsprechender 8 × 1-DCT-Vektor, b1 und b2 sind unterabgetastete 4 × 1-Vektoren, B1 und B2 sind untere 4 × 1-DCT-Vektoren, T ist die 8 × 8-DCT-Transformationsmatrix, T4 ist die 4 × 4-DCT-Transformationsmatrix, TL und TR sind die linke und rechte Hälfte von T. Der Index „t" bedeutet eine Matrixtransponierung. Der Algorithmus von Dugad verwendet auch die Symmetrieeigenschaft des DCT-Basisvektors, um die Komplexität des Downsampling-Prozesses zu verringern. TLT t / 4 und TRT t / 4 sind im Hinblick auf Betrag identisch (TLT t / 4(i, j) = (–1)i+jTRT t / 4((i, j), 0 ≤ i ≤ 7,0 ≤ j ≤ 3), da ungerade Zeilen von T antisymmetrisch und gerade Zeilen von Tsymmetrisch sind. „i" ist ein Matrix-Zeilenindex und „j" ist ein Matrix-Spaltenindex. Daher können sowohl TLT t / 4 als auch TRT t / 4 auf der Basis derselben Komponenten, d.h. eines symmetrischen Teils E (Index mit i + j gerade) und eines antisymmetrischen Teils O (Index mit i + j ungerade) berechnet werden (TLT t / 4 = E + O und TRT t / 4 = E – O). Diese Anordnung verringert effektiv die Anzahl der Multiplikationen um einen Faktor von 2, wenn der Downsampling-Prozess folgendermaßen durchgeführt wird: B = TLTt4 B1 + TRTt4 B2 = (E + O)B1 + (E – O)B2 = E(B1 + B2) + O(B1 – B2)
  • Die Implementierung der Methode von Dugad zur Umwandlung von vier Halbbildblöcken in einen Vollbildblock ist nicht so einfach. Eine Erweiterung des Downsampling jedes Prozesses in diesem Szenario (eine Dimension) kann folgendermaßen geschrieben werden: B = T(SLTt4 BT + SBTt4 BB)dabei sind BT und BB die unteren 4 × 1-Halbbildvektoren, ST und SB sind DCT-Werte einer 8 × 4-Entschachtelungsmatrix entsprechend ihrem oberen (ST) bzw. unteren (SB) Halbbildblock. Für Elemente von ST gilt ST(i, j) = 1 im Fall (j = 2i, 0 ≤ i ≤ 3) und ST(i, j) = 0 andernfalls. Für Elemente von SB gilt SB(i, j) = 1 im Fall (j = 2i + 1, 0 ≤ i ≤ 3) und SB(i, j) = 0 andernfalls.
  • Dies ist eine Modifikation des Algorithmus von Dugad zum Downsampling und Entschachteln gemäß der vorliegenden Erfindung.
  • Die Operationen des Prozesses der maßstabgerechten Verkleinerung und des Entschachtelns sind komplexer, da S und T nicht zueinander orthogonal sind und daher die Downsampling-Matrix nicht dünn besiedelt ist. C. Y im und M. A. Isnardi, „An Efficient Method For DCT-Domain Image Resizing With Mixed Field/Frame-Mode Macroblocks", IEEE Trans. Circ. and Syst. For Video Technol., Bd. 9, S. 696–700, Aug. 1999, worauf hiermit ausdrücklich Bezug genommen wird, schlagen ein effizientes Verfahren zum Downsampling eines Halbbildblocks vor. Ein Tiefpassfilter wird dergestalt in die Entschachtelungsmatrix integriert, dass die Downsampling-Matrix (S = 0,5[I8I8]) dünn besiedelt ist.
  • I8 bedeutet eine 8 × 8-Identitätsmatrix und [I8I8] bedeutet eine 16 × 8-Matrix, die eine Verkettung der beiden Identitätsmatrizen umfasst. Die Identitätsmatrix besitzt natürlich auf der Diagonalen nur Einsen und überall sonst nur Nullen.
  • Das Verfahren beginnt mit vier 8 × 8-IDCT-Halbbildblöcken, wendet dann die Downsampling-Matrix S an und führt eine 8 × 8-DCT durch, um den Ausgangsblock zu erhalten. Man beachte, dass bei diesem Verfahren an Stelle einer 4 × 4-IDCT eine 8 × 8-IDCT verwendet wird. diese Operation kann mathematisch (in einer Dimension) folgendermaßen gezeigt werden:
  • Figure 00360001
  • 5.2 Unterabtastung von MV-Daten
  • ME ist der Engpass des gesamten Videocodierungsprozesses. Es ist daher wünschenswert, einen MV des umbemessenen MB zu schätzen, indem man MVs von vier ursprünglichen MBs benutzt, ohne tatsächlich ME durchzuführen (vorausgesetzt, dass alle MBs im Inter-Modus codiert sind). Man beachte, dass, wenn ein MPEG-2-Bitstrom angenommen wird, die Unterabtastung von MV-Daten MVs von vier MBs nimmt, da jeder MB einen Eingang besitzt (nur ein MPEG-4-Bitstrom kann einen MV für jeden Block aufweisen). Die einfachste Lösung besteht darin, vier MVs miteinander zu mitteln, um den neuen MV zu erhalten, man erhält aber eine schlechte Schätzung, wenn diese vier MVs verschieden sind. B. Shen, I. K. Sethi und B. Vasudev, „Adaptive Motion-Vector Resampling For Compressed Video Downscaling", IEEE Trans. Circ. and Syst. For Video Technol., Bd. 9, S. 929–936, Sep. 1999, zeigen, dass man ein besseres Ergebnis erhalten kann, indem dem schlechtesten vorhergesagten MV mehr Gewicht gegeben wird. Eine Übereinstimmungsgenauigkeit 4 jedes MV wird durch die Anzahl der von Null verschiedenen AC-Koeffizienten in diesem MB angegeben. Durch Verwendung der Technik von Shen et al. kann der neue MV für den maßstabgerecht verkleinerten MB folgendermaßen berechnet werden:
  • Figure 00370001
  • M. R. Hashemi, L. Winger und S. Panchanathan, „Compressed Domain Motion Vector Resampling For Downscaling Of MPEG Video", ICIP 99, schlagen eine nichtlineare Methode zur Schätzung des MV des umbemessenen MB vor. Ähnlich wie bei dem Algorithmus in Shen et al. verwendet die Technik von Hashemi räumliche Aktivität der Verarbeitungs-MBs zur Schätzung des neuen MV. Eine als MAC (Maximum Average Correlation) bezeichnete heuristische Messung wird bei dem Verfahren von Hashemi zur Identifizierung eines der vier ursprünglichen MVs als der Ausgangs-MV verwendet. Durch Verwendung von MAC kann der neue MV für den maßstabgerecht verkleinerten MP folgendermaßen berechnet werden:
    Figure 00370002
    dabei ist p die räumliche Korrelation und wird auf 0,85 gesetzt und di ist die euklidische Distanz zwischen dem i-ten Eingangs-MV (MVi) und dem Ausgangs-MV.
  • 6. Implementierung des Größentranscoders
  • 5 zeigt einen Größentranscoder gemäß der Erfindung. B-Vollbilder können im Eingangsbitstrom vorhanden sein, werden aber vom Transcoder verworfen und erscheinen deshalb nicht im Ausgabebitstrom.
  • In dem Transcoder 500 werden eine MV-Skalierungsfunktion 510, eine DCT-Skalierungsfunktion 520 und eine räumliche Skalierungsfunktion 540 hinzugefügt. Die Schalter 530 und 535 werden so koordiniert, dass in einer ersten Stellung eine Ausgabe der DCT-Funktion 455 zu der Quantisierungsfunktion 340 geroutet wird, und der Schalter 535 wird geschlossen, damit eine Ausgabe der räumlichen Skalierungsfunktion 540 in den Addierer 445 eingegeben werden kann. In einer zweiten Stellung der Schalter 530 und 535 wird eine Ausgabe der DCT-Skalierungsfunktion 520 in die Quantisierungsfunktion 340 geroutet, und der Schalter 535 ist offen.
  • Der Transcoder 500 wandelt einen MPEG-2-Bitstrom in einen MPEG-4-Bitstrom um, der Video mit kleinerer Größe entspricht, z.B. von ITU-R 601 (720 × 400) zu SIF (352 × 240).
  • Um eine Bandbreitenanforderung für den MPEG-4-Bitstrom zu erfüllen, führt der Transcoder 500 eine Unterabtastung des Video sowohl in der horizontalen als auch der vertikalen Richtung (in der räumlichen Skalierungsfunktion 540) um zwei durch und überspringt alle B-Vollbilder (in den zeitlichen Skalierungsfunktionen 545 und 546), wodurch entsprechend die zeitliche Auflösung verringert wird. Man beachte, dass die zeitliche Skalierungsfunktion 546 als Alternative nach der DCT-Skalierungsfunktion 520 vorgesehen werden könnte. Das Überspringen von B-Vollbildern vor der Durchführung der maßstabgerechten Verkleinerung verringert die Komplexität.
  • Darüber hinaus sollte ein Tiefpassfilter (das in der räumlichen Skalierungsfunktion 540 vorgesehen werden kann) vor der Unterabtastung die Bildqualität verbessern.
  • Die Erfindung kann mit geringfügigen Modifikationen erweitert werden, so dass sie andere Downsampling-Faktoren und B-VOPs beinhaltet. Genauer gesagt werden Änderungen an der maßstabgerechten MV-Verkleinerung und der Modusentscheidung vorgenommen. Die maßstabgerechte MV-Verkleinerung für B-VOP ist eine direkte Erweiterung des zur Aufnahme des Rückwärts-MV Besprochenen. Die Modusentscheidung für B-VOP kann auf ähnliche Weise wie bei P-VOP gehandhabt werden (z.B. durch Umwandeln des unidirektionalen MV in einen bidirektionalen MV, wie bei der Umwandlung von Intra-MB in Inter-MB bei einer P-VOP).
  • Nachfolgend werden sechs Probleme besprochen, die der Größentranscoder 500 behandelt. Es wird außerdem angenommen, dass das Eingangsvideo 704 × 480 Pixel Auflösung aufweist und mit einem Coder des Typs MP@ML MPEG-2 codiert ist und die gewünschte Ausgabe ein MPEG-4-Bitstrom des einfachen Profils ist, der progressives SIF-Video (mit einer Vollbildratenreduktion um N) enthält. Die Erfindung kann jedoch auch auf andere Eingangs- und Ausgangsformate erweitert werden.
  • 6.1 Maßstabgerechte MV-Verkleinerung für progressives Video (Luma)
  • Dieses Problem erscheint, wenn alle vier MBs als Inter codiert sind und Vollbildprädiktion verwenden. Jeder MV in diesen MBs wird in jeder Richtung (horizontal und vertikal) maßstabgerecht um zwei verkleinert, um den MV von vier Blöcken in MPEG-4 zu bestimmen (MPEG-4 erlaubt einen MV pro 8 × 8-Block). Die skalierten MVs werden dann (unter Verwendung eines Medianfilters) unter Verwendung der normalen MPEG-4-Prozedur prädiktiv codiert.
  • Man beachte, dass jeder (vier Blöcke umfassende) MB sowohl in MPEG-2 als auch in MPEG-4 im selben Modus codiert sein muss. Bei maßstabgerechter Video-Verkleinerung entspricht der Ausgangs-MB (vier Blöcke) vier Eingangs-MBs.
  • 6.2 Maßstabgerechte MV-Verkleinerung für verschachteltes Video (Luma)
  • Dieses Problem existiert, wenn alle vier MBs als Inter codiert sind und Halbbildprädiktion verwenden. Man muss zwei Halbbild-MVs in jedem MB kombinieren, um einen Vollbild-MV des umbemessenen Blocks zu erhalten. Anstatt den neuen MV auf der Basis der räumlichen Aktivität festzusetzen, sucht der vorgeschlagene Transcoder den neuen MV auf der Basis der MVs seiner Nachbarn aus. Die MVs aller acht umgebenden MBs werden verwendet, um einen Prädiktor zu finden (Halbbild-MVs werden im Fall eines MB mit Halbbildprädiktion gemittelt). Der Medianwert aus diesen acht MVs wird zu einem Prädiktor und der Halbbild-MV des aktuellen MB, der im Hinblick auf euklidische Distanz näher ist, wird in der horizontalen Richtung um zwei skaliert, um zu dem neuen MV zu werden.
  • 6.3 MV-Downsampling (Chroma)
  • Dieses Problem tritt auf, wenn alle vier MBs als Inter codiert sind und entweder Vollbild- oder Halbbildprädiktion verwenden (MPEG-4 behandelt beide Prädiktionsmodi für einen Chroma-Block auf dieselbe Weise). Der Prozess folgt der MPEG-4-Methode, um einen Chroma-MV aus einem Luma-MV zu erhalten, d.h. ein Chroma-MV ist die maßstabgerecht verkleinerte Version des Mittelwerts seiner vier entsprechenden 8 × 8-Luma-MVs.
  • 6.4 DCT-Downsampling (Luma-progressiv, Chroma)
  • Dieses Problem tritt auf, wenn alle vier Luma-MBs als Intra oder Inter codiert sind und Vollbild-MB-Struktur verwenden und ihre acht Chroma-Blöcke (vier für Cr und vier für Cb) entweder Vollbild- oder Halbbildstruktur verwenden). Die Methode von Dugad wird benutzt, um die Luma- und Chroma-DCT-Blöcke in jeder Richtung maßstabgerecht um einen Faktor von zwei zu verkleinern.
  • 6.5 Verschachteltes DCT-Downsampling (Luma)
  • Zu diesem Problem kommt es auf eine von zwei Weisen. Erstens verwendet sein assoziierter MB Halbbildprädiktion und zweitens verwendet sein assoziierter MB Vollbildprädiktion. In jedem Fall will man vier 8 × 8-Halbbild-DCT-Blöcke (zwei für das obere Halbbild und zwei für das untere Halbbild) maßstabgerecht zu einem 8 × 8-Vollbild-DCT-Block verkleinern. Die Lösung für den ersten Fall besteht darin, denselben Halbbild-DCT-Block zu verwenden, wie der, der für MC gewählt wurde. Bei dem zweiten Fall erfolgt Entschachtelung und es wird eine Kombination der oben besprochenen Methoden von Dugad und Yim vorgeschlagen.
  • Auf der Basis des Yim-Algorithmus verkleinert genauer gesagt der Transcoder zunächst vier Halbbildblöcke maßstabsgerecht in der vertikalen Richtung (und führt gleichzeitig Entschachtelung durch), um zwei Vollbildblöcke zu erhalten. Unter Verwendung des Dugad-Algorithmus verkleinert der Transcoder dann diese beiden Vollbildblöcke maßstabgerecht in der horizontalen Richtung, um den Ausgangsblock zu erhalten.
  • Dies ist in 6 dargestellt, wobei bei 600 vier 8 × 8-Koeffizienten-Halbbildmodus-DCT-Blöcke, bei 610 zwei 8 × 8-Vollbildmodus-DCT-Blöcke und bei 620 ein 8 × 8-Vollbildmdus-DCT-Block gezeigt sind.
  • Die Prozedur für das maßstabgerechte DCT-Verkleinern gemäß der Erfindung kann folgendermaßen zusammengefasst werden:
    • 1. Durch Kombinieren von vier Halbbildblöcken miteinander wie bei 600 gezeigt, die 16 × 16-Koeffizienten-Eingangsmatrix bilden.
    • 2. Für vertikale maßstabgerechte Verkleinerung und Filterung gemäß dem Algorithmus von Yim auf jede Zeile der Eingangsmatrix ein Tiefpassfilter (LP) D anwenden. Die LP-Eingangsmatrix beträgt nun 16 × 8 Pixel, wie bei 610 gezeigt.
    • 3. Aus der LP-Matrix ([B1 ⋮ B2]) 8 × 8-Matrizen B1 und B2 bilden.
    • 4. Gemäß dem Algorithmus von Dugad an jeder Spalte von B1 und B2 eine Operation der maßstabgerechten horizontalen Verkleinerung durchführen, um die Ausgangsmatrix (8 × 8) (620) folgendermaßen zu erhalten: B = B1(TLTt4 )t + B2(TRTt4 )t = (B1 + B2)E + (B1 – B2)Owobei E und O wie oben besprochen gerade und ungerade Zeilen bedeuten.
  • Insbesondere kann man (den Skalierungsfaktor ignorierend) eine Horizontal-Downsampling-Matrix verwenden, die folgendermaßen aus ungeraden („O") und geraden („E") Matrizen besteht:
  • Figure 00430001
  • Die Koeffizienten wie folgt können verwendet werden:
    e(0)= 4 o(0) = 2,56915448
    e(1) = 0,831469612 o(1) = –0,149315668
    e(2) = 0,045774654 o(2) = 2
    e(3) = 1,582130167 o(3) = –0,899976223
    e(4) = –0,195090322 o(4) = 1,026559934
    e(5) = 2 o(5) = 0,601344887
    e(6) = –0,704885901 o(6) = 1,536355513
    e(7) = 0,980785280 o(7) = 2
    e(8) = 0,906127446 o(8) = –0,509795579
    e(9) = 1,731445835 o(9) = –0,750660555
  • Im Wesentlichen wird das Produkt einer DCT-Matrix, die dünn besiedelt ist, als die Downsampling-Matrix benutzt.
  • Die Technik kann im Allgemeinen für eine 2:1-Abbemessung eines N × N-Blocks erweitert werden, der vier N/2 × N/2-Koeffizienten-Halbbildmodus-Blöcke umfasst. Es können auch andere Abbemessungsverhältnisse ermöglicht werden.
  • 6.6 Spezialfälle
  • Spezialfälle treten auf, wenn nicht alle vier MBs im selben Modus codiert sind (nicht in einen der fünf vorherigen Fälle fallend). Es wird immer angenommen, dass ein Intra- oder übersprungener MB unter den anderen Inter-MBs mit Null-MV Inter-Modus sind. Halbbild-MVs werden auf der Basis von Abschnitt 6.2 zusammengeführt, um Vollbild-MV zu erhalten und man wendet dann die Techniken des Abschnitts 6.1 an. MC wird empfohlen, um die Textur des Intra-Blocks zu bestimmen, der von dem Transcoder als ein Inter-Block mit Null-MV behandelt wird.
  • 7. Schlussfolgerung
  • Es sollte nun erkennbar sein, dass die vorliegende Erfindung eine Transcoderarchitektur bereitstellt, die die kleinstmögliche Komplexität mit einem kleinen Fehler bereitstellt. Dieser Fehler wird in dem MPEG-4-Texturcodierungsprozess erzeugt (QP-Codierung, DC-Prädiktion, nichtlinearer DC-Skalierer). Diese Prozesse sollten in dem zukünftigen Profil von MPEG-4 entfernt werden, um ein nahezu verlustloses Transcodierungssystem zu erzeugen.
  • Die Erfindung gibt außerdem vollständige Einzelheiten eines Größentranscoders an, um einen Bitstrom verschachtelter Videocodierung gemäß ITU-R 601 mit MPEG-2 MP@ML in einen MPEG-4-Bitstrom des einfachen Profils umzuwandeln, der für eine Streaming-Videoanwendung geeignetes progressives SIF-Video enthält.
  • Zur räumlichen maßstabgerechten Verkleinerung von Halbbildmodus-DCT-Blöcken wird vorgeschlagen, Vertikal- und Horizontal-Techniken der maßstabgerechten Verkleinerung auf neuartige Weise dergestalt zu kombinieren, dass sowohl in der vertikalen als auch in der horizontalen Richtung dünn besiedelte Downsampling-Matrizen verwendet werden, wodurch Berechnungen des Transcoders verringert werden.
  • Für maßstabgerechte MV-Verkleinerung wird darüber hinaus vorgeschlagen, einen Medianwert aus seinen acht benachbarten MV zu benutzen. Dieser Vorschlag funktioniert besser als Algorithmen im Abschnitt 5.2, da der vorliegende vorhergesagte MV mit dem globalen MV zusammengeht. Außerdem funktioniert er gut mit einem verschachtelten MB, der anstelle von vier MVs pro MB nur zwei MVs aufweist.
  • Obwohl die Erfindung in Verbindung mit verschiedenen bevorzugten Ausführungsformen beschrieben wurde, versteht sich, dass verschiedene Modifikationen und Anpassungen daran vorgenommen werden können, ohne von dem in den Ansprüchen dargelegten Schutzumfang der Erfindung abzuweichen.

Claims (26)

  1. Ein Verfahren zum Transcodieren eines vorkomprimierten Eingangsbitstroms, der in einem ersten Videocodierungsformat bereitgestellt wird, in einen komprimierten Ausgabebitstrom, der in einem zweiten Videocodierungsformat bereitgestellt wird, wobei das erste Videocodierungsformat MPEG-2 Main Profile/Main Level beinhaltet und das zweite Videocodierungsformat einen MPEG-4-Bitstrom mit progressivem Video in Normzwischenformat (SIF = Standard Intermediate Format) beinhaltet, wobei das Verfahren die folgenden Schritte beinhaltet: Gewinnen von Kopfinformationen aus dem Eingangsbitstrom; Bereitstellen von entsprechenden Kopfinformationen in dem zweiten, unterschiedlichen Videocodierungsformat; teilweises Dekomprimieren des Eingangsbitstroms, um teilweise dekomprimierte Daten bereitzustellen; und Neukomprimieren der teilweise dekomprimierten Daten gemäß den Kopfinformationen in dem zweiten Format, um den Ausgabebitstrom bereitzustellen.
  2. Verfahren gemäß Anspruch 1, wobei: die teilweise dekomprimierten Daten Bewegungsvektoren und Koeffizienten der diskreten Cosinus-Transformation (DCT) beinhalten; und das zweite Format mindestens eines von einer Neuer-Modus-Entscheidung, AC/DC-Vorhersage (AC/DC-Prediction) und Bewegungskompensation beinhaltet.
  3. Verfahren gemäß einem der Ansprüche 1 und 2, wobei: mindestens eine Verweistabelle verwendet wird, um die entsprechenden Kopfinformationen in dem zweiten Videocodierungsformat bereitzustellen.
  4. Verfahren gemäß einem der Ansprüche 1 bis 3, wobei: an den teilweise dekomprimierten Daten durch Downsampling von DCT-Koeffizienten und Bewegungsvektordaten davon eine maßstabgerechte Verkleinerung durchgeführt wird.
  5. Verfahren gemäß einem der Ansprüche 1 bis 4, wobei: an mindestens einer Gruppe von vier Halbbildmodus-DCT-Blöcken der teilweise dekomprimierten Daten eine maßstabgerechte 2:1-Verkleinerung durchgeführt wird, indem daran ein vertikales Downsampling und Deinterlacing durchgeführt wird, um eine entsprechende Gruppe von zwei Vollbildmodus-DCT-Blöcken zu erhalten, und indem an den zwei Vollbildmodus-DCT-Blöcken ein horizontales Downsampling durchgeführt wird, um einen Vollbildmodus-DCT-Block zu erhalten.
  6. Verfahren gemäß Anspruch 5, wobei: das vertikale Downsampling auch eine Tiefpassfilterung der vier Halbbildmodus-DCT-Blöcke erreicht.
  7. Verfahren gemäß Anspruch 5 oder 6, wobei: das vertikale und das horizontale Downsampling jeweilige dünn besiedelte Matrizen verwenden.
  8. Verfahren gemäß einem der Ansprüche 1 bis 7, wobei: in dem Neukomprimierungsschritt ein Code (DQUANT), der eine Veränderung bei einem Quantisierer spezifiziert, gemäß einem Differenzialwert eines Quantisierungsparameters der teilweise dekomprimierten Daten festgesetzt wird.
  9. Verfahren gemäß einem der Ansprüche 1 bis 8, wobei: zum Neukomprimieren intracodierter Makroblöcke ein codiertes Blockmuster (CBP = Coded Block Pattern) gemäß einem entsprechenden Wert der teilweise dekomprimierten Daten festgesetzt wird.
  10. Verfahren gemäß einem der Ansprüche 1 bis 9, wobei: zum Neukomprimieren nicht intracodierter Makroblöcke übersprungene Makroblöcke in den teilweise dekomprimierten Daten als not_coded-Makroblöcke (nicht_codierte Makroblöcke) codiert werden, bei denen alle Koeffizienten der diskreten Cosinus-Transformation (DCT) einen Nullwert aufweisen.
  11. Verfahren gemäß einem der Ansprüche 1 bis 10, wobei: in dem Neukomprimierungsschritt vorhergesagte Bewegungsvektoren in den teilweise dekomprimierten Daten gemäß dem zweiten Format neu festgesetzt werden.
  12. Verfahren gemäß einem der Ansprüche 1 bis 11, wobei: in dem Neukomprimierungsschritt Dual-Prime-Modus-Makroblöcke der teilweise dekomprimierten Daten in halbbildcodierte Makroblöcke umgewandelt werden.
  13. Verfahren gemäß einem der Ansprüche 1 bis 12, wobei: das zweite Videocodierungsformat einen MPEG-4-Simple-Profile-Bitstrom mit progressivem Video in Normzwischenformat (SIF) beinhaltet.
  14. Eine Vorrichtung zum Transcodieren eines vorkomprimierten Eingangsbitstroms, der in einem ersten Videocodierungsformat bereitgestellt wird, in einen komprimierten Ausgabebitstrom, der in einem zweiten Videocodierungsformat bereitgestellt wird, wobei das erste Videocodierungsformat MPEG-2 Main Profile/Main Level beinhaltet und das zweite Videocodierungsformat einen MPEG-4-Bitstrom mit progressivem Video in Normzwischenformat (SIF) beinhaltet, wobei die Vorrichtung Folgendes beinhaltet: Mittel (304) zum Gewinnen von Kopfinformationen aus dem Eingangsbitstrom; Mittel (308) zum Bereitstellen von entsprechenden Kopfinformationen in dem zweiten, unterschiedlichen Videocodierungsformat; Mittel (310, 320, 330) zum teilweisen Dekomprimieren des Eingangsbitstroms, um teilweise dekomprimierte Daten bereitzustellen; und Mittel (340, 350, 360, 370) zum Neukomprimieren der teilweise dekomprimierten Daten gemäß den Kopfinformationen in dem zweiten Format, um den Ausgabebitstrom bereitzustellen.
  15. Vorrichtung gemäß Anspruch 14, wobei: die teilweise dekomprimierten Daten Bewegungsvektoren und Koeffizienten der diskreten Cosinus-Transformation (DCT) beinhalten; und das zweite Format mindestens eines von einer Neuer-Modus-Entscheidung, AC/DC-Vorhersage (350) und Bewegungskompensation (430) beinhaltet.
  16. Vorrichtung gemäß einem der Ansprüche 14 oder 15, wobei: mindestens eine Verweistabelle (308) verwendet wird, um die entsprechenden Kopfinformationen in dem zweiten Videocodierungsformat bereitzustellen.
  17. Vorrichtung gemäß einem der Ansprüche 14 bis 16, wobei: an den teilweise dekomprimierten Daten durch Downsampling von DCT-Koeffizienten und Bewegungsvektordaten davon eine maßstabgerechte Verkleinerung (520) durchgeführt wird.
  18. Vorrichtung gemäß einem der Ansprüche 14 bis 17, wobei: an mindestens einer Gruppe von vier Halbbildmodus-DCT-Blöcken der teilweise dekomprimierten Daten eine maßstabgerechte 2:1-Verkleinerung (540) durchgeführt wird, indem daran ein vertikales Downsampling und Deinterlacing durchgeführt wird, um eine entsprechende Gruppe von zwei Vollbildmodus-DCT-Blöcken zu erhalten, und indem an den zwei Vollbildmodus-DCT-Blöcken ein horizontales Downsampling durchgeführt wird, um einen Vollbildmodus-DCT-Block zu erhalten.
  19. Vorrichtung gemäß Anspruch 18, wobei: das vertikale Downsampling auch eine Tiefpassfilterung der vier Halbbildmodus-DCT-Blöcke erreicht.
  20. Vorrichtung gemäß Anspruch 18 oder 19, wobei: das vertikale und das horizontale Downsampling jeweilige dünn besiedelte Matrizen verwenden.
  21. Vorrichtung gemäß einem der Ansprüche 14 bis 20, wobei: das Mittel (340) zum Neukomprimieren einen Code (DQUANT), der eine Veränderung bei einem Quantisierer spezifiziert, gemäß einem Differenzialwert eines Quantisierungsparameters der teilweise dekomprimierten Daten festsetzt.
  22. Vorrichtung gemäß einem der Ansprüche 14 bis 21, wobei: zum Neukomprimieren intracodierter Makroblöcke ein codiertes Blockmuster (CBP) gemäß einem entsprechenden Wert der teilweise dekomprimierten Daten festgesetzt wird.
  23. Vorrichtung gemäß einem der Ansprüche 14 bis 22, wobei: zum Neukomprimieren nicht intracodierter Makroblöcke übersprungene Makroblöcke in den teilweise dekomprimierten Daten als not_coded-Makroblöcke codiert werden, bei denen alle Koeffizienten der diskreten Cosinus-Transformation (DCT) einen Nullwert aufweisen.
  24. Vorrichtung gemäß einem der Ansprüche 14 bis 23, wobei: das Mittel (430) zum Neukomprimieren vorhergesagte Bewegungsvektoren in den teilweise dekomprimierten Daten gemäß dem zweiten Format neu festsetzt.
  25. Vorrichtung gemäß einem der Ansprüche 14 bis 24, wobei: das Mittel (370) zum Neukomprimieren Dual-Prime-Modus-Makroblöcke der teilweise dekomprimierten Daten in halbbildcodierte Makroblöcke umwandelt.
  26. Vorrichtung gemäß einem der Ansprüche 14 bis 25, wobei: das zweite Videocodierungsformat einen MPEG-4-Simple-Profile-Bitstrom mit progressivem Video in Normzwischenformat (SIF) beinhaltet.
DE60114812T 2000-06-09 2001-05-25 Videoformat konvertierung und transkodierung von mpeg-2 in mpeg-4 Expired - Lifetime DE60114812T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/590,928 US6647061B1 (en) 2000-06-09 2000-06-09 Video size conversion and transcoding from MPEG-2 to MPEG-4
US590928 2000-06-09
PCT/US2001/040811 WO2001095633A2 (en) 2000-06-09 2001-05-25 Video size conversion and transcoding from mpeg-2 to mpeg-4

Publications (2)

Publication Number Publication Date
DE60114812D1 DE60114812D1 (de) 2005-12-15
DE60114812T2 true DE60114812T2 (de) 2006-08-03

Family

ID=24364310

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60114812T Expired - Lifetime DE60114812T2 (de) 2000-06-09 2001-05-25 Videoformat konvertierung und transkodierung von mpeg-2 in mpeg-4

Country Status (12)

Country Link
US (2) US6647061B1 (de)
EP (2) EP1401209A3 (de)
JP (1) JP2004504739A (de)
KR (1) KR100563608B1 (de)
CN (2) CN1210961C (de)
AT (1) ATE309676T1 (de)
AU (1) AU2001267023A1 (de)
CA (1) CA2410573C (de)
DE (1) DE60114812T2 (de)
MX (1) MXPA02012169A (de)
TW (1) TW527837B (de)
WO (1) WO2001095633A2 (de)

Families Citing this family (253)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
JP3916382B2 (ja) * 2000-07-07 2007-05-16 沖電気工業株式会社 動画像受信装置
US20030058942A1 (en) * 2001-06-01 2003-03-27 Christian Hentschel Method of running an algorithm and a scalable programmable processing device
FR2813742A1 (fr) * 2000-09-05 2002-03-08 Koninkl Philips Electronics Nv Methode de conversion de flux binaires
US8290062B1 (en) * 2000-09-27 2012-10-16 Intel Corporation Method and apparatus for manipulating MPEG video
JP2002112267A (ja) * 2000-09-28 2002-04-12 Nec Corp 可変解像度復号処理装置
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
KR100396892B1 (ko) * 2000-10-05 2003-09-03 삼성전자주식회사 비디오 ｍｐ3 시스템, 축소 비디오데이터 생성장치와생성방법 및 축소 비디오데이터 복원장치 및 복원방법
JP4622077B2 (ja) * 2000-10-11 2011-02-02 ソニー株式会社 画像処理装置及び画像処理方法
JP4517495B2 (ja) * 2000-11-10 2010-08-04 ソニー株式会社 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
EP1354481A2 (de) * 2001-01-12 2003-10-22 Koninklijke Philips Electronics N.V. Verfahren und einrichtung zur skalierbaren video-transcodierung
EP1231793A1 (de) * 2001-02-09 2002-08-14 STMicroelectronics S.r.l. Verfahren, System und Rechnerprogram zur Abänderung der Syntax, der Auflösung und der Datenrate von MPEG Datenströmen
EP1231794A1 (de) * 2001-02-09 2002-08-14 STMicroelectronics S.r.l. Verfahren, System und Rechnerprogram zur Abänderung der Auflösung von MPEG Datenströmen
US20020176507A1 (en) * 2001-03-26 2002-11-28 Mediatek Inc. Method and an apparatus for reordering a decoded picture sequence using virtual picture
US7602847B1 (en) 2001-03-27 2009-10-13 Vixs Systems, Inc. Device and method for compression of a video stream
US8107524B2 (en) 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US7155010B2 (en) * 2001-05-04 2006-12-26 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of encrypted streams
US6898241B2 (en) * 2001-05-11 2005-05-24 Mitsubishi Electric Research Labs, Inc. Video transcoder with up-sampling
US7170932B2 (en) * 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
US7215708B2 (en) * 2001-05-22 2007-05-08 Koninklijke Philips Electronics N.V. Resolution downscaling of video images
WO2002100112A1 (en) * 2001-06-03 2002-12-12 Seelive Ltd. System and method for rapid video compression
US7103102B2 (en) * 2001-06-29 2006-09-05 Equator Technologies, Inc. Bit stream code lookup table for an MPEG-4 code word
US6959348B1 (en) 2001-07-30 2005-10-25 Vixs Systems, Inc. Method and system for accessing data
US7675972B1 (en) 2001-07-30 2010-03-09 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7184101B2 (en) * 2001-07-31 2007-02-27 Micronas Usa, Inc. Address generation for video processing
US7035332B2 (en) * 2001-07-31 2006-04-25 Wis Technologies, Inc. DCT/IDCT with minimum multiplication
US7219173B2 (en) * 2001-07-31 2007-05-15 Micronas Usa, Inc. System for video processing control and scheduling wherein commands are unaffected by signal interrupts and schedule commands are transmitted at precise time
US6981073B2 (en) * 2001-07-31 2005-12-27 Wis Technologies, Inc. Multiple channel data bus control for video processing
US7142251B2 (en) * 2001-07-31 2006-11-28 Micronas Usa, Inc. Video input processor in multi-format video compression system
US20050207663A1 (en) * 2001-07-31 2005-09-22 Weimin Zeng Searching method and system for best matching motion vector
US7085320B2 (en) * 2001-07-31 2006-08-01 Wis Technologies, Inc. Multiple format video compression
US6996702B2 (en) * 2001-07-31 2006-02-07 Wis Technologies, Inc. Processing unit with cross-coupled ALUs/accumulators and input data feedback structure including constant generator and bypass to reduce memory contention
US6970509B2 (en) * 2001-07-31 2005-11-29 Wis Technologies, Inc. Cell array and method of multiresolution motion estimation and compensation
JP4574090B2 (ja) * 2001-09-21 2010-11-04 三菱電機株式会社 動画データ変換装置および動画データ変換プログラム
US6959042B1 (en) * 2001-10-01 2005-10-25 Cisco Technology, Inc. Methods and apparatus for measuring compressed video signals and applications to statistical remultiplexing
JP2003116104A (ja) * 2001-10-02 2003-04-18 Sony Corp 情報処理装置及び情報処理方法
KR100450939B1 (ko) * 2001-10-23 2004-10-02 삼성전자주식회사 이미지 축소를 위한 스케일-다운 기능을 가지는 압축비디오 복호화기 및 방법
US7139330B1 (en) 2001-10-31 2006-11-21 Vixs Systems, Inc. System for signal mixing and method thereof
US7596127B1 (en) 2001-10-31 2009-09-29 Vixs Systems, Inc. System for allocating data in a communications system and method thereof
US7116712B2 (en) * 2001-11-02 2006-10-03 Koninklijke Philips Electronics, N.V. Apparatus and method for parallel multimedia processing
EP1309181A1 (de) * 2001-11-06 2003-05-07 Thomson Licensing S.A. Gerät, Verfahren und System zur Anpassung von Multimediadaten
US7106715B1 (en) 2001-11-16 2006-09-12 Vixs Systems, Inc. System for providing data to multiple devices and method thereof
US7403564B2 (en) 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
US7356079B2 (en) 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
AU2002348898A1 (en) * 2001-11-27 2003-06-10 Koninklijke Philips Electronics N.V. Signal processing method, and corresponding encoding method and device
US7165180B1 (en) 2001-11-27 2007-01-16 Vixs Systems, Inc. Monolithic semiconductor device for preventing external access to an encryption key
US7079190B2 (en) * 2001-12-27 2006-07-18 Zoran Corporation Technique for determining the slope of a field pixel
US7177356B2 (en) * 2002-01-11 2007-02-13 Webtv Networks, Inc. Spatially transcoding a video stream
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US6917945B2 (en) * 2002-02-04 2005-07-12 Microsoft Corporation Encoding and decoding methods and systems
US7596179B2 (en) * 2002-02-27 2009-09-29 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US7202907B2 (en) 2002-04-09 2007-04-10 Zoran Corporation 2:2 and 3:2 pull-down detection techniques
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
US7277587B2 (en) * 2002-04-26 2007-10-02 Sharp Laboratories Of America, Inc. System and method for lossless video coding
US7310679B1 (en) 2002-04-29 2007-12-18 Vixs Systems Inc. Method and system for transmitting video content while preventing other transmissions in a contention-based network
US7120253B2 (en) 2002-05-02 2006-10-10 Vixs Systems, Inc. Method and system for protecting video data
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7469012B2 (en) * 2002-05-14 2008-12-23 Broadcom Corporation System and method for transcoding entropy-coded bitstreams
US7305036B2 (en) * 2002-05-14 2007-12-04 Broadcom Corporation System and method for entropy code preprocessing
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
JP4275358B2 (ja) * 2002-06-11 2009-06-10 株式会社日立製作所 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法
JP4346868B2 (ja) * 2002-06-17 2009-10-21 株式会社日立製作所 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法
US20040057521A1 (en) * 2002-07-17 2004-03-25 Macchina Pty Ltd. Method and apparatus for transcoding between hybrid video CODEC bitstreams
US8311095B2 (en) * 2002-07-17 2012-11-13 Onmobile Global Limited Method and apparatus for transcoding between hybrid video codec bitstreams
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7009655B2 (en) 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
US7379496B2 (en) 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
US7555044B2 (en) * 2002-10-04 2009-06-30 General Instrument Corporation Frequency coefficient scanning paths for coding digital video content
KR100376060B1 (en) * 2002-10-25 2003-03-17 Humax Co Ltd Method and system for re-setting image size using inverse discrete cosine transform
FR2846506B1 (fr) * 2002-10-28 2005-02-11 Philippe Marie Alber Guenebaud Dispositif de trans-compression d'un flux numerique audiovisuel pour l'adapter aux equipements de television existants
US6931061B2 (en) * 2002-11-13 2005-08-16 Sony Corporation Method of real time MPEG-4 texture decoding for a multiprocessor environment
CN100591138C (zh) 2002-11-25 2010-02-17 松下电器产业株式会社 图像编码方法及其装置、图像解码方法及其装置
CN100428791C (zh) * 2002-11-27 2008-10-22 腾研科技股份有限公司 Mpeg数据格式转换方法及使用该方法的解码系统
JP3893350B2 (ja) * 2002-11-29 2007-03-14 キヤノン株式会社 符号化データ変換装置及びその方法
ES2269603T3 (es) * 2002-12-04 2007-04-01 Irdeto Access B.V. Terminal, sistema de distribucion de datos que comprende dicho terminal y metodo de retransmision de datos digitales.
US7408989B2 (en) 2003-01-16 2008-08-05 Vix5 Systems Inc Method of video encoding using windows and system thereof
US7940799B2 (en) * 2003-02-04 2011-05-10 Panasonic Corporation Code conversion method and device thereof
EP1445958A1 (de) * 2003-02-05 2004-08-11 STMicroelectronics S.r.l. Quanitizierungsverfahren und System zum Beispiel für MPEG-Applikationen und Computerprogramm dafür
EP1447976B1 (de) 2003-02-12 2019-06-19 Irdeto B.V. Verfahren zur Steuerung der Entschlüsselung von mehreren Programmströmen, Empfängersystem und trägbares gesichertes Gerät
US7327784B2 (en) * 2003-02-24 2008-02-05 Vixs Systems, Inc. Method and system for transcoding video data
US7133452B1 (en) * 2003-02-24 2006-11-07 Vixs Systems, Inc. Method and system for transcoding video data
US7606305B1 (en) * 2003-02-24 2009-10-20 Vixs Systems, Inc. Method and system for transcoding video data
US7130350B1 (en) 2003-02-28 2006-10-31 Vixs Systems, Inc. Method and system for encoding and decoding data in a video stream
US7382937B2 (en) * 2003-03-07 2008-06-03 Hewlett-Packard Development Company, L.P. Method and apparatus for re-constructing high-resolution images
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7739105B2 (en) 2003-06-13 2010-06-15 Vixs Systems, Inc. System and method for processing audio frames
US9612965B2 (en) * 2003-06-24 2017-04-04 Hewlett-Packard Development Company, L.P. Method and system for servicing streaming media
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
JP4403737B2 (ja) * 2003-08-12 2010-01-27 株式会社日立製作所 信号処理装置及びこれを用いた撮像装置
US7412100B2 (en) * 2003-09-04 2008-08-12 Qualcomm Incorporated Apparatus and method for sub-sampling images in a transform domain
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7577200B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7822123B2 (en) 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
JP2005084321A (ja) * 2003-09-08 2005-03-31 Pioneer Electronic Corp 画像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体。
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
US20050058203A1 (en) * 2003-09-17 2005-03-17 Fernandes Felix C. Transcoders and methods
US7324595B2 (en) * 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US7668396B2 (en) 2003-09-29 2010-02-23 Vixs Systems, Inc. Method and system for noise reduction in an image
US7277101B2 (en) 2003-09-29 2007-10-02 Vixs Systems Inc Method and system for scaling images
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
TWI262660B (en) * 2003-11-19 2006-09-21 Inst Information Industry Video transcoder adaptively reducing frame rate
FI115587B (fi) * 2003-12-03 2005-05-31 Nokia Corp Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
JP4369857B2 (ja) * 2003-12-19 2009-11-25 パナソニック株式会社 画像符号化装置および画像符号化方法
US7391809B2 (en) * 2003-12-30 2008-06-24 Microsoft Corporation Scalable video transcoding
US8165445B2 (en) * 2004-01-08 2012-04-24 Hewlett-Packard Development Company, L.P. System, method, and computer-readable medium for analyzing an MPEG-formatted file
JP2005214309A (ja) * 2004-01-29 2005-08-11 Nsk Warner Kk フリクションプレート
TWI230547B (en) * 2004-02-04 2005-04-01 Ind Tech Res Inst Low-complexity spatial downscaling video transcoder and method thereof
US7406598B2 (en) 2004-02-17 2008-07-29 Vixs Systems Inc. Method and system for secure content distribution
US7649539B2 (en) 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
KR101196429B1 (ko) * 2004-03-12 2012-11-01 삼성전자주식회사 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US20050232497A1 (en) * 2004-04-15 2005-10-20 Microsoft Corporation High-fidelity transcoding
KR100881037B1 (ko) * 2004-05-04 2009-02-05 퀄컴 인코포레이티드 시간적 확장성을 위한 양방향 예측 프레임을 구성하는 방법 및 장치
JP2007537653A (ja) 2004-05-14 2007-12-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インターレース符号化フレームからプログレッシブフレームを生成するためのデバイス
KR100463490B1 (ko) * 2004-06-25 2004-12-30 (주) 포인치 통합 포맷을 가지는 동영상 데이터 생성방법
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US20060012714A1 (en) * 2004-07-16 2006-01-19 Greenforest Consulting, Inc Dual-scaler architecture for reducing video processing requirements
KR100681258B1 (ko) * 2004-10-02 2007-02-09 삼성전자주식회사 트랜스코딩을 위한 움직임벡터 정밀화 기반 출력움직임벡터 추정방법 및 이를 이용한 트랜스코더
US7839933B2 (en) 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US8243820B2 (en) 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
EP1832028B1 (de) * 2004-10-12 2018-01-31 TQ Delta, LLC Aufteilung von ressourcen in einem dsl transceiver
US20060088105A1 (en) * 2004-10-27 2006-04-27 Bo Shen Method and system for generating multiple transcoded outputs based on a single input
US8199825B2 (en) * 2004-12-14 2012-06-12 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
US8780957B2 (en) * 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US7421048B2 (en) 2005-01-20 2008-09-02 Vixs Systems, Inc. System and method for multimedia delivery in a wireless environment
JP2006203682A (ja) * 2005-01-21 2006-08-03 Nec Corp 動画像圧縮符号化ビットストリームシンタックス変換装置及び動画像通信システム
US7609766B2 (en) 2005-02-08 2009-10-27 Vixs Systems, Inc. System of intra-picture complexity preprocessing
WO2006091041A1 (en) * 2005-02-24 2006-08-31 Lg Electronics Inc. Method for up-sampling/down-sampling data of a video block
AR052601A1 (es) * 2005-03-10 2007-03-21 Qualcomm Inc Clasificacion de contenido para procesamiento de multimedia
US8949920B2 (en) 2005-03-17 2015-02-03 Vixs Systems Inc. System and method for storage device emulation in a multimedia processing system
US7400869B2 (en) 2005-03-22 2008-07-15 Vixs Systems Inc. System and method for adaptive DC offset compensation in wireless transmissions
US8391368B2 (en) * 2005-04-08 2013-03-05 Sri International Macro-block based mixed resolution video compression system
CN101273630A (zh) * 2005-04-21 2008-09-24 四次方有限公司 集成的无线多媒体传输系统
CN100336400C (zh) * 2005-04-28 2007-09-05 天津大学 色差信号飘移误差校正型异类标准转换编码器
WO2006124885A2 (en) * 2005-05-12 2006-11-23 Kylintv, Inc. Codec for iptv
EP2309737A1 (de) 2005-05-23 2011-04-13 Thomas S. Gilley Verteilte skalierbare Media-Umgebung
US8141111B2 (en) 2005-05-23 2012-03-20 Open Text S.A. Movie advertising playback techniques
US9648281B2 (en) 2005-05-23 2017-05-09 Open Text Sa Ulc System and method for movie segment bookmarking and sharing
US8145528B2 (en) 2005-05-23 2012-03-27 Open Text S.A. Movie advertising placement optimization based on behavior and content analysis
TW200701764A (en) * 2005-06-22 2007-01-01 Lite On Technology Corp Apparatus for multimedia format conversion
US8155194B2 (en) * 2005-08-05 2012-04-10 Lsi Corporation Method and apparatus for MPEG-2 to H.264 video transcoding
US20070058713A1 (en) * 2005-09-14 2007-03-15 Microsoft Corporation Arbitrary resolution change downsizing decoder
US8447121B2 (en) 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US7707485B2 (en) 2005-09-28 2010-04-27 Vixs Systems, Inc. System and method for dynamic transrating based on content
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) * 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US20070171280A1 (en) * 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8345755B2 (en) * 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
US7549000B2 (en) * 2006-01-09 2009-06-16 Realtek Semiconductor Corp. Apparatus and method for generating bitstream of S/PDIF data in HDMI
US8131995B2 (en) 2006-01-24 2012-03-06 Vixs Systems, Inc. Processing feature revocation and reinvocation
CN101009838B (zh) * 2006-01-25 2010-06-16 松下电器产业株式会社 可抑制漂移误差的比特率转换编码方法,转换编码器,及集成电路
WO2007105362A1 (ja) * 2006-03-07 2007-09-20 Nec Corporation 動画像配信システムおよび変換装置
US8599841B1 (en) 2006-03-28 2013-12-03 Nvidia Corporation Multi-format bitstream decoding engine
US8593469B2 (en) * 2006-03-29 2013-11-26 Nvidia Corporation Method and circuit for efficient caching of reference video data
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
KR101952812B1 (ko) 2006-04-12 2019-02-27 티큐 델타, 엘엘씨 패킷 재전송 및 메모리 공유
US20080201751A1 (en) * 2006-04-18 2008-08-21 Sherjil Ahmed Wireless Media Transmission Systems and Methods
WO2007124491A2 (en) * 2006-04-21 2007-11-01 Dilithium Networks Pty Ltd. Method and system for video encoding and transcoding
US8880571B2 (en) 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US7884742B2 (en) * 2006-06-08 2011-02-08 Nvidia Corporation System and method for efficient compression of digital data
CN101094407B (zh) * 2006-06-23 2011-09-28 美国博通公司 视频电路、视频系统及其视频处理方法
US20080049836A1 (en) * 2006-08-23 2008-02-28 C2 Microsystems Method and System for a Fast Video Transcoder
US8700387B2 (en) * 2006-09-14 2014-04-15 Nvidia Corporation Method and system for efficient transcoding of audio data
CN100544439C (zh) * 2006-11-21 2009-09-23 华为技术有限公司 一种支持多种编码格式的媒体数据的方法及系统
KR100896978B1 (ko) * 2006-11-27 2009-05-14 한양대학교 산학협력단 Ｍｐｅｇ-2에서 ｈ.264/ａｖｃ로의 고속 트랜스코딩에서 움직임 벡터 예측 방법과 모드 예측 방법 및 기록매체
US20080137741A1 (en) * 2006-12-05 2008-06-12 Hari Kalva Video transcoding
US20080205515A1 (en) * 2007-01-25 2008-08-28 Florida Atlantic University Video encoding with reduced complexity
US20080212682A1 (en) * 2007-01-25 2008-09-04 Hari Kalva Reduced resolution video transcoding with greatly reduced complexity
CN100499816C (zh) * 2007-02-12 2009-06-10 清华大学 一种流式视频像素域转码的方法
US8054886B2 (en) 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
US20080205389A1 (en) * 2007-02-26 2008-08-28 Microsoft Corporation Selection of transrate and transcode processes by host computer
US8107571B2 (en) 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
KR101403341B1 (ko) * 2007-03-28 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20080267295A1 (en) * 2007-04-26 2008-10-30 Chih-Ta Star Sung Video decompression, de-interlacing and frame rate conversion with frame buffer compression
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
EP2188979A2 (de) * 2007-09-10 2010-05-26 Nxp B.V. Verfahren und vorrichtung zur bewegungsschätzung bei videobilddaten
US8098732B2 (en) * 2007-10-10 2012-01-17 Sony Corporation System for and method of transcoding video sequences from a first format to a second format
US8457958B2 (en) * 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
KR20100097132A (ko) * 2007-12-11 2010-09-02 톰슨 라이센싱 디스트리뷰션 체인 내에서 트랜스코딩하기 위한 방법 및 시스템
US8208745B2 (en) * 2008-01-31 2012-06-26 Analog Devices, Inc. Spatial domain video enhancement/scaling system and method
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8631454B2 (en) * 2008-09-05 2014-01-14 Motorola Mobility Llc Method and apparatus for constrained distribution of television program material
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8311115B2 (en) 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
WO2010092740A1 (ja) * 2009-02-10 2010-08-19 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
JP5321895B2 (ja) * 2009-05-27 2013-10-23 ソニー株式会社 情報処理装置および方法
US8270473B2 (en) 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US20110070286A1 (en) * 2009-09-24 2011-03-24 Andreas Hugerth Process for the manufacture of nicotine-comprising chewing gum and nicotine-comprising chewing gum manufactured according to said process
US8340191B2 (en) * 2009-09-25 2012-12-25 General Instrument Corporation Transcoder from first MPEG stream to second MPEG stream
US9289257B2 (en) * 2009-11-13 2016-03-22 Minerva Surgical, Inc. Methods and systems for endometrial ablation utilizing radio frequency
US8290038B1 (en) * 2009-11-30 2012-10-16 Google Inc. Video coding complexity estimation
US20110158310A1 (en) * 2009-12-30 2011-06-30 Nvidia Corporation Decoding data using lookup tables
US8885714B2 (en) * 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
EP2568705B1 (de) 2010-05-07 2018-09-26 Nippon Telegraph And Telephone Corporation Verfahren zur steuerung der kodierung bewegter bilder, vorrichtung zur kodierung bewegter bilder und programm zur kodierung bewegter bilder
KR101391661B1 (ko) * 2010-05-12 2014-05-07 니폰덴신뎅와 가부시키가이샤 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
US8744015B2 (en) * 2010-06-04 2014-06-03 Blackberry Limited Message decoding for discretized signal transmissions
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
CN101945265B (zh) * 2010-08-19 2013-05-08 北京市博汇科技有限公司 一种基于带宽占用率的多节目恒码率ts流复用方法
US9014471B2 (en) * 2010-09-17 2015-04-21 I.C.V.T. Ltd. Method of classifying a chroma downsampling error
JP2013541897A (ja) * 2010-09-17 2013-11-14 アイ．シー．ブイ．ティー リミテッド 符号化画像の小型化
US8873884B2 (en) * 2010-10-06 2014-10-28 International Business Machines Corporation Method and system for resizing an image
US8472754B1 (en) 2010-11-11 2013-06-25 Amazon Technologies, Inc. Image artifact prevention
JPWO2012120908A1 (ja) 2011-03-09 2014-07-17 パナソニック株式会社 動画像符号化装置および動画像符号化方法
JP5395307B2 (ja) 2011-03-09 2014-01-22 パナソニック株式会社 動画像復号化装置および動画像復号化方法
CN108391135B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US10277915B2 (en) * 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
EP2813078A4 (de) * 2012-02-06 2015-09-30 Nokia Technologies Oy Verfahren zur kodierung und vorrichtung
TWI481488B (zh) * 2012-04-09 2015-04-21 Intelligence Develop Engineering Aid Ltd 機械手臂操控動作重現方法
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
US9426498B2 (en) * 2012-07-10 2016-08-23 Broadcom Corporation Real-time encoding system of multiple spatially scaled video based on shared video coding information
US9307235B2 (en) * 2012-12-03 2016-04-05 Vixs Systems, Inc. Video encoding system with adaptive hierarchical B-frames and method for use therewith
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
US9998750B2 (en) * 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
TWI512675B (zh) * 2013-10-02 2015-12-11 Mstar Semiconductor Inc 影像處理裝置與方法
CN104581175B (zh) * 2013-10-23 2018-01-12 晨星半导体股份有限公司 影像处理装置与方法
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
FR3016764B1 (fr) * 2014-01-17 2016-02-26 Sagemcom Broadband Sas Procede et dispositif de transcodage de donnees video de h.264 vers h.265
US20160041993A1 (en) * 2014-08-05 2016-02-11 Time Warner Cable Enterprises Llc Apparatus and methods for lightweight transcoding
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
WO2016209125A1 (en) * 2015-06-23 2016-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for transcoding
CN112514383B (zh) * 2018-07-31 2023-12-19 寰发股份有限公司 用于视频编解码的利用运动向量差的合并方法和装置
CN113115037B (zh) * 2021-06-15 2021-09-14 深圳市中鹏教育科技股份有限公司 一种在线教育方法、系统、设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5887115A (en) 1993-01-13 1999-03-23 Hitachi America, Ltd. Method and apparatus for implementing a video tape recorder for recording digital video signals having either a fixed or variable data transmission rate
US5477397A (en) 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
KR950014858B1 (ko) 1993-06-04 1995-12-16 대우전자주식회사 디지탈 영상 기록장치
US5617142A (en) 1994-11-08 1997-04-01 General Instrument Corporation Of Delaware Method and apparatus for changing the compression level of a compressed digital signal
US5619733A (en) 1994-11-10 1997-04-08 International Business Machines Corporation Method and apparatus for synchronizing streaming and non-streaming multimedia devices by controlling the play speed of the non-streaming device in response to a synchronization signal
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5708732A (en) 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
AU2453897A (en) 1996-04-12 1997-11-07 Imedia Corporation Video transcoder
US5933500A (en) 1996-05-31 1999-08-03 Thomson Consumer Electronics, Inc. Adaptive decoding system for processing encrypted and non-encrypted broadcast, cable or satellite video data
US6535530B1 (en) * 1997-07-23 2003-03-18 Matsushita Electric Industrial Co., Ltd. Apparatus and method for demultiplexing multiplexed data
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
US6434197B1 (en) 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
US6625211B1 (en) 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
US6275536B1 (en) 1999-06-23 2001-08-14 General Instrument Corporation Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors
US6441754B1 (en) 1999-08-17 2002-08-27 General Instrument Corporation Apparatus and methods for transcoder-based adaptive quantization
JP2001204026A (ja) * 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4

Also Published As

Publication number Publication date
MXPA02012169A (es) 2003-06-06
EP1401209A3 (de) 2004-11-03
CN100380978C (zh) 2008-04-09
EP1287704A2 (de) 2003-03-05
EP1401209A2 (de) 2004-03-24
US7676106B2 (en) 2010-03-09
WO2001095633A2 (en) 2001-12-13
CA2410573A1 (en) 2001-12-13
CN1681325A (zh) 2005-10-12
AU2001267023A1 (en) 2001-12-17
WO2001095633A3 (en) 2002-08-22
CN1210961C (zh) 2005-07-13
US6647061B1 (en) 2003-11-11
TW527837B (en) 2003-04-11
JP2004504739A (ja) 2004-02-12
ATE309676T1 (de) 2005-11-15
EP1287704B1 (de) 2005-11-09
DE60114812D1 (de) 2005-12-15
US20040013195A1 (en) 2004-01-22
CA2410573C (en) 2007-01-30
CN1435056A (zh) 2003-08-06
KR100563608B1 (ko) 2006-03-23
KR20030014697A (ko) 2003-02-19

Similar Documents

Publication Publication Date Title
DE60114812T2 (de) Videoformat konvertierung und transkodierung von mpeg-2 in mpeg-4
DE69913990T2 (de) System zum editieren komprimierter bildsequenzen
Marpe et al. The H. 264/MPEG4 advanced video coding standard and its applications
Marpe et al. Performance evaluation of Motion-JPEG2000 in comparison with H. 264/AVC operated in pure intracoding mode
Akramullah Digital video concepts, methods, and metrics: quality, compression, performance, and power trade-off analysis
US5691768A (en) Multiple resolution, multi-stream video system using a single standard decoder
US5623308A (en) Multiple resolution, multi-stream video system using a single standard coder
DE69838639T2 (de) Prädiktives kodierungs- und dekodierungsverfahren für dynamische bilder
EP1725042A1 (de) Generierung von Übergangsbildern (Fades) für MPEG-komprimierte Videosignale
JPH10200895A (ja) ビデオの映像コード化およびイントラ・コード化のための固定型または適応型デインターリーブドトランスフォームコード化方法及び装置
KR19990082104A (ko) 진보된 텔레비전의 시간 및 해상도 계층
EP1025708B1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
Ponlatha et al. Comparison of video compression standards
DE69834901T2 (de) Bewegungskompensierte prädiktive bildcodierung und -decodierung
WO2001024532A1 (en) Dct domain conversion of a video signal to a lower definition signal
Sikora MPEG digital video coding standards
Kalva et al. The VC-1 video coding standard
Aramvith et al. MPEG-1 and MPEG-2 video standards
DE10296360T5 (de) Video-Bitstrom-Reiniger
Bayrakeri et al. MPEG-2/ECVQ look-ahead hybrid quantization and spatially scalable coding
Panusopone et al. Coding tools in MPEG-4 for interlaced video
Challapali et al. Video compression for digital television applications
EP0892559A1 (de) Objektrandblöckepadding für Bewegungsschätzung und Transformkodierung in einem objektorientierten Videokodierer
Tosun Video compression: MPEG-4 and Beyond
Cieplinski A review of image and video coding standards

Legal Events

Date Code Title Description
8364 No opposition during term of opposition