DE60124746T2 - Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit - Google Patents

Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit Download PDF

Info

Publication number
DE60124746T2
DE60124746T2 DE60124746T DE60124746T DE60124746T2 DE 60124746 T2 DE60124746 T2 DE 60124746T2 DE 60124746 T DE60124746 T DE 60124746T DE 60124746 T DE60124746 T DE 60124746T DE 60124746 T2 DE60124746 T2 DE 60124746T2
Authority
DE
Germany
Prior art keywords
frame data
bandwidth
temporal
snr
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60124746T
Other languages
English (en)
Other versions
DE60124746D1 (de
Inventor
Mihaela Ossining VAN DER SCHAAR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE60124746D1 publication Critical patent/DE60124746D1/de
Application granted granted Critical
Publication of DE60124746T2 publication Critical patent/DE60124746T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available

Description

  • Die vorliegende Erfindung betrifft die Videocodierung und spezieller ein Verfahren zum Streamen von temporalen und auf Qualität/Rauschabstand (SNR) bezogenen Erweiterungsschicht-Rest-Videorahmendaten über ein Computernetzwerk mit variabler Bandbreite wie etwa das Internet.
  • Die skalierbare Videocodierung wird zum Komprimieren von Videos eingesetzt, die über Computernetzwerke mit variierender Bandbreite, wie etwa das Internet, übertragen werden. Ein solches Videocodierschema ist die freingranular skalierbare (eingebettete) Videocodierung. Die feingranular skalierbare (FGS) Videocodierung wurde im ISOMPEG-4-Standard als das Kern-Videocodierverfahren für das MPEG-4 Streaming Video Profile übernommen.
  • Ein Verfahren zum Übertragen von skalierbaren Videoströmen wurde in dem Artikel „Scalable Internet video using MPEG-4" von H. Rahde et al. beschrieben und in Signal Processing, Image Communication, Elsevier Science Publishers, Amsterdam NL, Bd. 15, Nr. 1–2, September 1999, S. 96 bis 126 (EPA-Referenz XP00418640) veröffentlicht. Dieselben Autoren haben außerdem die PCT-Patentanmeldung Nr. 01/39503 eingereicht, die zum Zeitpunkt des Prioritätsdatums der vorliegenden Erfindung noch nicht veröffentlicht war (auf Basis von US-Aktenzeichen 09/590,825, jetzt US-Patent Nr. 6,639,943).
  • Wie in 1 gezeigt, umfasst das FGS-Videocodierschema eine bewegungskompensierte Basisschicht 10, die mit einem nicht skalierbaren Codec codiert wird, um I-, P- und B-Rahmen mit der Bitrate RBS aufzuweisen, und eine Erweiterungsschicht 11, die mit einem skalierbaren Codec wie etwa FGS codiert wird, um auf Qualität/Rauschabstand (SNR) bezogene I-, P- und B-Restrahmen mit einer maximalen Bitrate Rmax aufzuweisen. Zum Übertragungszeitpunkt wird ein der Bitrate RES entsprechender Anteil der Erweiterungsschicht 11 aus dem FGS-codierten Bitstrom „ausgeschnitten", so dass die verfügbare Bandbreite R = RBS + RES. Wenn zum Beispiel der Erweiterungsschicht-Strom Clients mit Bitraten zwischen 100 KBit/s und 1 MBit/s versorgen muss, wird RBS auf 100 KBit/s und Rmax auf 1 MBit/s gesetzt. Somit werden die I-, P- und B-Basisschicht-Rahmen, die mit 100 KBit/s codiert werden, immer übertragen. Wenn allerdings mehr Bandbreite zur Verfügung steht, wird außerdem mindestens ein Anteil der I-, P- und B-Erweiterungsschicht-Restrahmen übertragen.
  • 2A und 2B zeigen beispielhafte hybride temporale/SNR-bezogene FGS-Videocodierschemata, wie sie von Rahda et al. beschrieben werden. Bei dem Videocodierschema aus 2A wird eine Basisschicht 12 mit einem nicht skalierbaren Codec codiert, um I-, P- und B-Rahmen aufzuweisen, und eine Erweiterungsschicht 13 wird mit einem skalierbaren Codec wie etwa FGS codiert, um B-Restrahmen, d.h., temporale Rahmen (FGST-Rahmen, falls FGS-Codierung eingesetzt wird) sowie auf Qualität/Rauschabstand bezogene I- und P-Restrahmen, d.h. auf Qualität/Rauschabstand (SNR) bezogene Rahmen (FGS-Rahmen, falls FGS-Codierung eingesetzt wird), aufzuweisen. Bei dem Videocodierschema aus 2B wird eine Basisschicht 14 mit einem nicht skalierbaren Codec codiert, um lediglich I- und P-Rahmen aufzuweisen, d.h., in der Basisschicht 14 werden keine B-Rahmen codiert. Eine Erweiterungsschicht 15 wird ähnlich dem Codierschema aus 2A mit einem skalierbaren Codec wie etwa FGS codiert, um B-Restrahmen, d.h. FGST-Rahmen, und SNR-bezogene I- und P-Restrahmen, d.h. FGS-Rahmen, aufzuweisen.
  • Während der Übertragung durch einen Server werden die I-, P- und B-Basisschicht-Rahmen (Codierschema aus 2A) bzw. die I- und P-Basisschicht-Rahmen (Codierschema aus 2B) bis zu RBS codiert und immer übertragen. Falls mehr Bandbreite verfügbar ist, besteht der derzeitige Ansatz zum Übertragen der Erweiterungsschichten 13, 15 in den Codierschemata aus 2A und 2B darin, die Erweiterungsschicht-Bits (RES) unter Verwendung einer Raten-Steuerungsstrategie gleichmäßig zwischen den FGS- und FGST-Rahmen zuzuweisen.
  • Ein mit FGS-Codecs verbundener Nachteil ist ihre reduzierte Codiereffizienz im Vergleich zu den nicht skalierbaren Codecs. Diese Effizienzeinbußen rühren von der ungenügenden temporalen Dekorrelation her, die mit FGS erzielt wird (die temporalen Korrelationen werden nur in der Basisschicht ausgenutzt), nicht von der eingebetteten Codierung der Erweiterungsschichten.
  • Die temporale Korrelation in der Erweiterungsschicht lässt sich reduzieren, indem die temporale Dekorrelation in der Basisschicht verbessert wird. Dies kann verwirklicht werden, indem der Basisschicht eine größere Anzahl von Bits zugewiesen wird. Dies ist aber nicht möglich, da RBS der minimalen Bandbreite entspricht, deren Verfügbarkeit für alle Clients zu jeder Zeit garantiert wird.
  • Würde RBS erhöht, so wären einige dieser Clients zu bestimmten Zeiten nicht in der Lage, die Basisschicht zu decodieren, was dem MPEG-4-Standard entgegensteht.
  • Die vorliegende Erfindung zielt auf das Streamen von Erweiterungsschicht-Videorahmendaten über ein Netzwerk mit variabler Bandbreite ab, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Videorahmendaten aufweisen. Es werden ein Verfahren, ein System, eine Videoraten-Steuereinheit und ein computerlesbares Medium gemäß den unabhängigen Ansprüchen geschaffen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Aus den veranschaulichenden Ausführungsformen, die jetzt anhand der beigefügten Zeichnungen, in welchen gleiche Elemente durchgängig gleiche Bezugszeichen haben, näher beschrieben werden, gehen die Vorteile, das Wesen und diverse zusätzliche Merkmale der Erfindung ausführlicher hervor. Es zeigen:
  • 1 ein aktuelles Videocodierschema mit Erweiterungsschicht,
  • 2A und 2B beispielhafte hybride, temporale und SNR-bezogene FGS-Videocodierschemata, die in der vorliegenden Erfindung benutzt werden,
  • 3 ein Flussdiagramm, das die Schritte des Verfahrens gemäß den Grundsätzen der vorliegenden Erfindung abbildet,
  • 4 eine graphische Veranschaulichung des Verfahrens, wie es in der Struktur aus 2B angewendet wird,
  • 5 ein Ausführungsbeispiel eines Systems, welches das Codierschema mit hybrider Skalierbarkeit der vorliegenden Erfindung nutzt und
  • 6 ein weiteres hybrides, temporales und SNR-bezogenes FGS-Videocodierschema, das in der vorliegenden Erfindung benutzt werden kann.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Es wird nun ein Verfahren gemäß den Grundsätzen der vorliegenden Erfindung zum Streamen von temporalen und auf Qualität/Rauschabstand (SNR) bezogenen Erweiterungsschicht-Rest-Videorahmendaten (FGST- und FGS-Rahmendaten im Falle von FGS-Codierung) über ein Computernetzwerk mit variabler Bandbreite wie etwa das Internet beschrieben. Das Verfahren setzt das hybride, temporale/SNR-bezogene, skalierbare Videocodierschema aus 2B ein, um wesentliche Verbesserungen der temporalen Korrelation in der Erweiterungsschicht zu erzielen. Zwar zeigt das Videocodierschema aus 2B nur einen temporalen Rahmen zwischen den SNR-bezogenen Rahmen, doch können in dem Verfahren auch temporale/SNR-bezogene, skalierbare Videocodierschema mit zwei oder mehr temporalen Rahmen zwischen den SNR-bezogenen Rahmen benutzt werden.
  • 3 ist ein Flussdiagramm, das die Schritte des Verfahrens gemäß den Grundsätzen der vorliegenden Erfindung abbildet. Die Schritte AA bis DD finden auf Seite des Codierers statt, und die Schritte EE bis HH finden auf Seite des Servers statt.
  • In Schritt AA werden die ursprünglichen, nicht codierten Videodaten mit einem nicht skalierbaren Codec codiert, um die Basisschicht 14 zu generieren, welche, wie in 2B abgebildet, nur I- und P-Rahmen aufweist. In der Basisschicht werden keine B-Rahmen codiert. Der Einsatz des Videocodierschemas aus 2B nutzt die Tatsache aus, dass nur die I- und P-Rahmen wesentlich zur temporalen Dekorrelation beitragen. Dementsprechend werden dadurch, dass in der Basisschicht keine B-Rahmen codiert werden, in der Basisschicht höherqualitative I- und P-Rahmen bereitgestellt, da mehr Bits von RBS für das Codieren der I- und P-Rahmen zur Verfügung stehen. Die höherqualitativen I- und P-Basisrahmen verbessern dementsprechend die zeitliche Dekorrelation in der Basisschicht.
  • In Schritt BB werden bewegungskompensierte oder temporale B-Restrahmen vorhergesagt, indem die Differenz zwischen den ursprünglichen Videodaten und I- und P-Referenzrahmen der Basisschicht berechnet wird. Für die Vorhersage jedes temporalen B-Restrahmens werden zwei temporal benachbarte Basisschicht-Referenzrahmen benutzt. Die B-Rahmen profitieren in diesem Codierschema, da sie sich aus I- und P-Basisschicht-Referenzrahmen mit verbesserter Qualität exakter vorhersagen lassen.
  • In Schritt CC werden verbesserte, auf Qualität oder Rauschabstand (SNR) bezogene I- und P-Restrahmen generiert, indem die Differenz zwischen den ursprünglichen Videodaten und den Basisschicht-Referenzrahmen berechnet wird. Die SNR-bezogenen I- und P-Restrahmen profitieren bei diesem Codierschema, weil sie mit reduzierter temporaler Korrelation codiert werden. Dies wiederum führt zu verbesserter Leistung bei der späteren Codierung mit einem skalierbaren Codec.
  • In Schritt DD werden die temporalen Restrahmen und die SNR-bezogenen Restrahmen mit einem geeigneten skalierbaren Codec, wie etwa FGS, codiert, um eine Erweiterungsschicht mit skalierbar codierten, temporalen B-Rahmen und skalierbar codierten, SNR-bezogenen I- und P-Rahmen zu generieren. Bei der in 2B gezeigten Ausführungsform sind die temporalen und SNR-bezogenen Restrahmen mit FGS codiert worden, wodurch temporale B-Erweiterungsschicht-Rahmen, bezeichnet durch FGST-Rahmen, und SNR-bezogene I- und P-Erweiterungsschicht-Rahmen, bezeichnet durch die FGS-Rahmen, erzeugt worden sind.
  • In Schritt EE wird die Bitrate bis zu RBS den höherqualitativen I- und P-Basisschicht-Rahmen zugewiesen, die Bitrate zwischen RBS und RBS + k, wobei k kleiner oder gleich RBS ist, wird den temporalen Erweiterungsschicht-Rahmen zugewiesen, und die Bitrate zwischen RBS + k und Rmax wird gleichmäßig zwischen den temporalen Rahmen und den SNR-bezogenen Rahmen zugewiesen.
  • In Schritt FF werden die I- und P-Basisschicht-Rahmen immer mit der Bandbreite RBS übertragen.
  • In Schritt GG werden mindestens Anteile der temporalen Erweiterungsschicht-Rahmen übertragen, wenn ermittelt wird, dass die verfügbare Bandbreite zwischen RBS und RBS + k liegt, wobei k kleiner oder gleich RBS ist. Dies wird bevorzugt verwirklicht, indem die temporalen Rahmen bzw. die Anteile der temporalen Rahmen einer nach dem anderen allmählich übertragen werden. Die Strategie zum Ermitteln, welche temporalen Rahmenabschnitte zuerst übertragen werden, kann auf Bewegungsaktivität basieren, da diese Informationen bereits während des Codierens vom Codierer bestimmt werden, wobei die temporalen Rahmenabschnitte mit der größten Bewegungsaktivität zuerst übertragen werden. Die Strategie zum Ermitteln, welche temporalen Rahmenabschnitte zuerst übertragen werden, kann auch auf Rauschabstandsspitzen oder anderen Parametern basieren.
  • In Schritt HH werden darüber hinaus verbleibende Anteile der temporalen Erweiterungsschicht-Rahmen und mindestens Anteile der SNR-bezogenen Erweiterungsschicht-Rahmen übertragen, wenn ermittelt wird, dass die verfügbare Bandbreite zwischen RBS + k und Rmax liegt.
  • 4 zeigt eine graphische Veranschaulichung des Verfahrens, wie es in der Struktur aus 2B angewendet wird.
  • Wie zuvor erwähnt wurde, kann das Verfahren unter Verwendung des in 5 gezeigten Systems durchgeführt werden. Am Codierer werden nicht codierte Video daten aus einer Videoquelle 20 sowohl in einen Basisschichtcodierer 21 als auch den hybriden, temporalen und SNR-bezogenen, skalierbaren Videocodierer 22 eingegeben. Der Basisschichtcodierer 21 codiert einen Anteil der originalen Videodaten unter Verwendung eines Standard-Rahmenvorhersage-Codierverfahrens. Der Basisschichtcodierer 21 komprimiert die Videodaten mit einer festgelegten Bitrate RBS. Bevorzugt wird RBS von einem Berechnungsblock 23 auf Basis einer aktuellen Bandbreite des zugehörigen Netzwerks 24 mit variabler Bandbreite bestimmt. Der Berechnungsblock 23 misst eine minimale Bitrate (RM IN), eine maximale Bitrate (RMAX) und eine aktuelle verfügbare Bandbreite (R) des Netzwerks 24. Der Berechnungsblock 23 setzt dann RBS bevorzugt auf RMI N, um sicherzustellen, dass das Netzwerk 24 selbst bei seinen niedrigsten Bandbreiten dazu in der Lage ist, die codierten Videodaten zu befördern.
  • Die ursprünglichen Videodaten aus der Videoquelle 20 und die von dem Basisschichtcodierer 21 bereitgestellten codierten Videodaten (d.h., die Basisschicht) werden sowohl an einen Restbildberechnungsblock 25 als auch an einen Berechnungsblock 26 für bewegungskompensierte Restbilder in dem hybriden Codierer 22 geleitet. Der Restbildberechnungsblock 25 und der Berechnungsblock 26 für bewegungskompensierte Restbilder benutzen die ursprünglichen Videodaten und die codierten Videodaten, um die Restbilder 27 und die bewegungskompensierten Restbilder 28 zu generieren. Spezieller empfängt der Restbildberechnungsblock 25 codierte Videodaten von dem Basisschichtcodierer 21 und decodiert dann diese codierten Videodaten. Danach werden basierend auf einer Differenz zwischen Pixeln in diesen decodieren Videodaten und Pixeln in den ursprünglichen Videodaten Restbilder 27 generiert. Der Berechnungsblock 26 für bewegungskompensierte Restbilder empfängt codierte Videodaten von dem Basisschichtcodierer 21 und decodiert dann diese codierten Videodaten. Danach werden basierend auf einem Bewegungskompensationsansatz aus den decodierten Videodaten die bewegungskompensierten Restbilder 28 generiert. Dieses Bewegungskompensationsbild wird dann von dem entsprechenden ursprünglichen Bild subtrahiert.
  • Der hybride Codierer 22 weist außerdem einen Erweiterungsschicht-Codierer 29 für bewegungskompensierte Restbilder und einen Erweiterungsschicht-Codierer 30 für Restbilder auf, die beide einen skalierbaren Codec wie etwa FGS nutzen. Während des Betriebs codieren der Erweiterungsschicht-Codierer 29 für bewegungskompensierte Restbilder und der Erweiterungsschicht-Codierer 30 für Restbilder unter Verwendung des skalierbaren Codec die bewegungskompensierten Restbilder 22 bzw. die Restbilder 12.
  • Der Erweiterungsschicht-Codierer 29 für bewegungskompensierte Restbilder generiert einen Datenstrom aus komprimierten temporalen Rahmen 31, und der Erweiterungsschicht-Codierer 30 für Restbilder generiert einen Datenstrom aus SNR-bezogenen Rahmen 32. Die Datenströme 31, 32 können kombiniert werden, um einen einzelnen Erweiterungsschicht-Datenstrom zu erzeugen, oder sie können als zwei separate Ströme belassen werden. In beiden Fällen kann der resultierende Strom bzw. können die resultierenden Ströme gespeichert oder in Echtzeit übertragen werden.
  • Serverseitig empfängt eine skalierbare Echtzeit-Videoraten-Steuereinheit 34 den temporalen und den SNR-bezogenen Rahmendatenstrom 31, 32 (zusammen mit dem von dem Basisschichtcodierer 21 generierten Basisschicht-Rahmendatenstrom 33) und führt in Echtzeit die oben beschriebenen Verfahrensschritte EE bis HH aus. Die Raten-Steuereinheit 34 weist typischerweise einen Prozessor auf, der mit einem (nicht abgebildeten) Speicher in Verbindung steht. Bei dem Prozessor kann es sich um einen beliebigen spezialisierten Prozessor oder Allzweckprozessor handeln, der die Verfahrensschritte EE bis HH ausführen kann. Der Prozessor kann Code aufweisen, der, wenn er ausgeführt wird, die Verfahrensschritte EE bis HH ausführt. Der Code kann in dem Speicher enthalten sein.
  • Die Raten-Steuereinheit 34 führt die Schritte EE bis HH des Verfahrens basierend auf Eingaben R, RBS und RMAX aus, die sie von dem Berechnungsblock 23, der FGS-Raten-Steuereinheit 35 und einer optionalen Benutzereingabe 36 erhält. Da die Bitrate bis RBS den I- und P-Basisschicht-Rahmen zugewiesen ist und die Basisschicht-Rahmen immer übertragen werden, bestimmt die Raten-Steuereinheit 34 auf Basis dieser Eingaben die verfügbare Bandbreite, die für die Übertragung der temporalen und der SNR-bezogenen Rahmen verbleibt (R-RBS). Auf Basis dieser Informationen weist die Raten-Steuereinheit 34 gemäß Schritt EE des Verfahrens die Bitrate zwischen den Erweiterungsschicht-Strömen 31, 32 zu.
  • Nach dem Zuweisen der Bitrate unter den Rahmendatenströmen überträgt die Raten-Steuereinheit 34 die Datenströme gemäß den Schritten FF-HH des Verfahrens als ein Basisschichtstrom und ein Erweiterungsschichtstrom über ein Netzwerk 24 mit variabler Bandbreite.
  • Abgesehen von einer besseren temporalen Dekorrelation weist die vorliegende Erfindung den nützlichen Nebeneffekt auf, dass die B-Rahmen immer mit FGST codiert werden und daher nur 1 Rest (der bewegungskompensierte Rest) berechnet werden muss, was zu geringerer Komplexität und besserer Effizienz führt, da das Zeichen nur ein mal codiert werden muss. Weil die Basisschicht außerdem nur I- und P-Rahmen enthält, ist ihre Komplexität nur moderat. Die hinsichtlich Rechenaufwand und Speicherverkehr komplexeren B-Rahmen werden erst in der Erweiterungsschicht eingeführt.
  • Das Verfahren der Erfindung kann außerdem das in 6 gezeigte, hybride, temporale/SNR-bezogene, skalierbare Videocodierschema einsetzen, welches eine Basisschicht 40, die mit I- und P-Rahmen codiert ist, und zwei Erweiterungsschichten, d.h. eine temporale Schicht 41, die mit temporalen B-Rahmen codiert ist, und eine SNR-bezogene Schicht 42, die mit SNR-bezogenen I- und P-Rahmen codiert ist, aufweist.
  • Zwar wurde die vorstehende Erfindung anhand der obigen Ausführungsformen beschrieben, doch können diverse Modifikationen und Veränderungen vorgenommen werden, ohne vom Schutzumfang der beigefügten Ansprüche abzuweichen.
  • Legende der Zeichnungen
  • 1
    • Fine granular scalable Enhancement Layer: Feingranular skalierbare Erweiterungsschicht
    • Prediction-based video Base Layer: Auf Vorhersage basierende Video-Basisschicht
    • Overcoded enhancement picture: Übercodiertes Erweiterungsbild
    • Portion of FGS enhancement sent to the decoder: An den Decodierer gesendeter Anteil der FGS-Erweiterung
    • prior art: Stand der Technik
    • RBL : RBS
    • REL : RES
    • Rmax : Rmax
  • 2A und 2B
    • Enhancement Layer: Erweiterungsschicht
    • Base Layer: Basisschicht
  • 3
    • AA: Basisschicht mit I- und P-Rahmen codieren
    • BB: Temporale B-Restrahmen vorhersagen
    • CC: SNR-bezogene I- und P-Restrahmen generieren
    • DD: Temporale und SNR-bezogene Restrahmen mit skalierbarem Codec generieren, um temporale und SNR-bezogene Erweiterungsschicht-Rahmen zu generieren
    • EE: Bitrate bis zu RBS an Basisschicht-Rahmen, Bitrate zwischen RBS und RBS + k an temporale Erweiterungsschicht-Rahmen und Bitrate zwischen RBS + k und Rmax gleichmäßig zwischen temporalen und SNR-bezogenen Rahmen zuweisen
    • FF: Basisschicht mit RBS übertragen
    • GG: Von RBS bis RBS + k mindestens Anteile der temporalen Erweiterungsschicht-Rahmen übertragen
    • HH: Von RBS + k bis Rmax verbleibende Anteile der temporalen Erweiterungsschicht-Rahmen und mindestens Anteile der SNR-bezogenen Erweiterungsschicht-Rahmen übertragen
  • 4
    • Rmax : Rmax
    • RBL + k : RBS + k
    • RBL : RBS
    • Base Layer: Basisschicht
  • 5
    • Hybrid Temporal/SNR FGS Video Encoder: Hybrider temporaler/SNR-bezogener FGS-Videocodierer
    • MC Residual Images (MCRI): Bewegungskompensierte Restbilder
    • Residual Images: Restbilder
    • Motion Compensated Residual Image computation: Berechnung bewegungskompensierter Restbilder
    • Residual Image (RI) computation: Restbildberechnung
    • FGS MCRI EL Encoder: Erweiterungsschicht-Codierer für bewegungskompensierte Restbilder
    • FGS Residual Images EL Encoder: Erweiterungsschicht-Codierer für Restbilder
    • FGS Rate Controller: FGS-Raten-Steuereinheit
    • Enhancement-layer stream(s) with a total bitrate of (Rmax – RBL): Erweiterungsschicht-Strom/Ströme mit Gesarntbitrate (Rmax – RBS)
    • Real-time scalable video rate controller: skalierbare Echtzeit-Videoraten-Steuereinheit
    • User Input (remote and/or local): Benutzereingabe (entfernt und/oder lokal)
    • Video source: Videoquelle
    • BL Encoder: BS-Codierer
    • RBL : RBS
    • Rmin, Rmax and R calculation: Berechnung von Rmin, Rmax und R
    • BL stream with a bitrate of RBL: BS-Strom mit Bitrate RBS
    • EL stream with a total bitrate of (R – RBL): EL-Strom mit Gesamtbitrate (R – RBS)
    • Variable-bandwidth network: Netzwerk mit variabler Bandbreite
  • 6
    • FGS Layer: FGS-Schicht
    • Temporal Layer: Temporale Schicht
    • Base Layer: Basisschicht

Claims (15)

  1. Verfahren zum Streamen von Erweiterungsschicht-Videorahmendaten zusätzlich zu Basisschicht-Rahmendaten über ein Netzwerk mit variabler Bandbreite, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Videorahmendaten aufweisen, um die Qualität der in den Basisschichtdaten codierten Rahmen zu verbessern, wobei das Verfahren folgende Schritte umfasst: – Codieren (AA) ursprünglicher, nicht codierter Videodaten mit einem nicht skalierbaren Codec, um Basisschicht-Rahmendaten zu generieren, – Generieren (BB, CC) von temporalen und SNR-bezogenen Rest-Videorahmendaten aus den ursprünglichen, nicht codierten Videodaten und den Basisschicht-Rahmendaten, – Codieren (DD) der temporalen und SNR-bezogenen Rest-Videorahmendaten mit einem skalierbaren Codec, um die Erweiterungsschicht-Videorahmendaten mit den skalierbar codierten, temporalen und SNR-bezogenen Rest-Videorahmendaten zu generieren, – Ermitteln einer verfügbaren Bandbreite des Netzwerks mit variabler Bandbreite, – Übertragen (FF) mindestens von Anteilen der skalierbar codierten, temporalen Restrahmendaten und/oder der skalierbar codierten, SNR-bezogenen Videorahmendaten, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, gekennzeichnet durch Zuweisen (EE) eines ersten Bandbreitenbereichs von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten sowie eines zweiten Bandbreitenbereichs von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten.
  2. Verfahren nach Anspruch 1, wobei die minimale Bitrate, die zum Übertragen nur von Basisschicht-Rahmendaten zugewiesen wird, durch Berechnung auf Basis einer aktuellen Bandbreite des zugehörigen Netzwerks mit variabler Bandbreite ermittelt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS) ist, welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Basisschicht-Rahmendaten Daten für nur intracodierte und temporal vorwärts vorhergesagte Rahmen aufweisen.
  5. Verfahren nach Anspruch 4, wobei die skalierbar codierten, temporalen Restrahmendaten Daten nur für temporal bidirektional vorhergesagte Rahmen aufweisen.
  6. Verfahren nach Anspruch 5, wobei die skalierbar codierten, SNR-bezogenen Videorahmendaten nur Daten für die intracodierten und temporal vorwärts vorhergesagten Rahmen aufweisen.
  7. Verfahren nach Anspruch 1, wobei die skalierbar codierten, temporalen Restrahmendaten Daten nur für temporal bidirektional vorhergesagte Rahmen aufweisen.
  8. Verfahren nach Anspruch 1, wobei die skalierbar codierten, SNR-bezogenen Videorahmendaten nur Daten für die intracodierten und temporal vorwärts vorhergesagten Rahmen aufweisen.
  9. System zum Streamen von Erweiterungsschicht-Videorahmendaten zusätzlich zu Basisschicht-Rahmendaten über ein Netzwerk mit variabler Bandbreite, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Video rahmendaten aufweisen, um die Qualität der in den Basisschichtdaten codierten Rahmen zu verbessern, wobei das System Folgendes umfasst: – Mittel (21) zum Codieren ursprünglicher, nicht codierter Videodaten mit einem nicht skalierbaren Codec, um Basisschicht-Rahmendaten zu generieren, – Mittel (27, 28) zum Generieren von temporalen und SNR-bezogenen Rest-Videorahmendaten aus den ursprünglichen, nicht codierten Videodaten und den Basisschicht-Rahmendaten, – Mittel (29, 30) zum Codieren der temporalen und SNR-bezogenen Rest-Videorahmendaten mit einem skalierbaren Codec, um die Erweiterungsschicht-Videorahmendaten mit den skalierbar codierten, temporalen und SNR-bezogenen Rest-Videorahmendaten zu generieren, – Mittel (23) zum Ermitteln einer verfügbaren Bitrate des Netzwerks mit variabler Bandbreite, – Mittel (34) zum Übertragen mindestens von Anteilen der skalierbar codierten, temporalen Restrahmendaten und/oder der skalierbar codierten, SNR-bezogenen Videorahmendaten, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, dadurch gekennzeichnet, dass die Mittel (34) zum Übertragen dazu konfiguriert sind, einen ersten Bandbreitenbereich von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten zuzuweisen sowie einen zweiten Bandbreitenbereich von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten zuzuweisen.
  10. System nach Anspruch 9, welches ferner Mittel zum Setzen einer Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS), welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht, umfasst.
  11. System nach Anspruch 9 oder 10, wobei eine Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS) ist, welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht.
  12. Videoraten-Steuereinheit, umfassend: – Mittel zum Ermitteln einer verfügbaren Bandbreite des Netzwerks mit variabler Bandbreite, – Mittel zum Übertragen von Basisschicht-Rahmendaten, – Mittel zum Übertragen mindestens von Anteilen von skalierbar codierten, temporalen Restrahmendaten und/oder skalierbar codierten, SNR-bezogenen Videorahmendaten zum Verbessern der Qualität von in den Basisschichtdaten codierten Rahmen, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, dadurch gekennzeichnet, dass die Mittel zum Übertragen dazu konfiguriert sind, einen ersten Bandbreitenbereich von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten zuzuweisen sowie einen zweiten Bandbreitenbereich von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten zuzuweisen.
  13. Videoraten-Steuereinheit nach Anspruch 12, welche ferner Mittel zum Setzen einer Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS), welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht, umfasst.
  14. Speichermedium zum Streamen von Erweiterungsschicht-Videorahmendaten zusätzlich zu Basisschicht-Rahmendaten über ein Netzwerk mit variabler Bandbreite, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Videorahmendaten aufweisen, um die Qualität der in den Basisschichtdaten codierten Rahmen zu verbessern, wobei das Speichermedium Folgendes umfasst: – Code zum Codieren ursprünglicher, nicht codierter Videodaten mit einem nicht skalierbaren Codec, um Basisschicht-Rahmendaten zu generieren, – Code zum Generieren von temporalen und SNR-bezogenen Rest-Videorahmendaten aus den ursprünglichen, nicht codierten Videodaten und den Basisschicht-Rahmendaten, – Code zum Codieren der temporalen und SNR-bezogenen Rest-Videorahmendaten mit einem skalierbaren Codec, um die Erweiterungsschicht-Videorahmendaten mit den skalierbar codierten, temporalen und SNR-bezogenen Rest-Videorahmendaten zu generieren, – Code zum Ermitteln einer verfügbaren Bandbreite des Netzwerks mit variabler Bandbreite, – Code zum Übertragen mindestens von Anteilen der skalierbar codierten, temporalen Restrahmendaten und/oder der skalierbar codierten, SNR-bezogenen Videorahmendaten, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, dadurch gekennzeichnet, dass der Code zum Übertragen dazu konfiguriert ist, einen ersten Bandbreitenbereich von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten zuzuweisen sowie einen zweiten Bandbreitenbereich von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten zuzuweisen.
  15. Speichermedium nach Anspruch 14, welches ferner Code umfasst zum Setzen einer Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS), welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht.
DE60124746T 2000-09-22 2001-09-24 Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit Expired - Fee Related DE60124746T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US23460600P 2000-09-22 2000-09-22
US234606P 2000-09-22
PCT/IB2001/002489 WO2002025925A2 (en) 2000-09-22 2001-09-24 Hybrid temporal-snr fine granular scalability video coding

Publications (2)

Publication Number Publication Date
DE60124746D1 DE60124746D1 (de) 2007-01-04
DE60124746T2 true DE60124746T2 (de) 2007-09-13

Family

ID=22882053

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60124746T Expired - Fee Related DE60124746T2 (de) 2000-09-22 2001-09-24 Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit

Country Status (8)

Country Link
US (1) US7020193B2 (de)
EP (1) EP1319309B1 (de)
JP (1) JP2004509574A (de)
KR (1) KR20020064904A (de)
CN (1) CN1258922C (de)
AT (1) ATE346461T1 (de)
DE (1) DE60124746T2 (de)
WO (1) WO2002025925A2 (de)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453355B1 (en) 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
JP4404180B2 (ja) * 2002-04-25 2010-01-27 ソニー株式会社 データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム
AU2003237486A1 (en) * 2002-06-11 2003-12-22 Thomson Licensing S.A. Multimedia server with simple adaptation to dynamic network loss conditions
GB0218961D0 (en) * 2002-08-15 2002-09-25 Koninkl Philips Electronics Nv Transmission method and system
US7480252B2 (en) * 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
WO2005109895A1 (en) * 2004-05-12 2005-11-17 Koninklijke Philips Electronics N.V. Scalable video coding for broadcasting
KR100782343B1 (ko) * 2004-07-07 2007-12-06 한국과학기술원 영상 스트리밍 방법
CN100417226C (zh) * 2004-10-06 2008-09-03 日本电信电话株式会社 可扩缩编码方法和装置
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
FR2880743A1 (fr) 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
AU2006223416A1 (en) 2005-03-10 2006-09-21 Qualcomm Incorporated Content adaptive multimedia processing
US7725799B2 (en) * 2005-03-31 2010-05-25 Qualcomm Incorporated Power savings in hierarchically coded modulation
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
JP2009510952A (ja) * 2005-09-29 2009-03-12 トムソン リサーチ ファンディング コーポレイション 拘束された可変ビットレート（ｖｂｒ）ビデオ・エンコードの方法および装置
KR101329167B1 (ko) 2005-10-12 2013-11-14 톰슨 라이센싱 관심 구역의 ｈ.264 스케일러블 비디오 코딩
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
KR101376666B1 (ko) * 2007-06-27 2014-03-21 톰슨 라이센싱 이미지 품질 강화
US8634467B2 (en) * 2008-05-06 2014-01-21 Choy Sai Foundation L.L.C. Flexible Wyner-Ziv video frame coding
US8539092B2 (en) * 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
WO2010076494A1 (fr) * 2008-12-16 2010-07-08 France Telecom Procede de transmission et procede de reception d'un contenu audiovisuel
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
CN102763408B (zh) * 2010-02-11 2020-01-17 上海诺基亚贝尔股份有限公司 基于svc的e-mbms流传输方法和设备
JP6411069B2 (ja) * 2013-05-24 2018-10-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚データを符号化及びストリーミングする方法及びシステム
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
GB201504403D0 (en) * 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
JP2017045124A (ja) * 2015-08-24 2017-03-02 株式会社日本自動車部品総合研究所 視差検出装置
US10491649B2 (en) * 2016-04-12 2019-11-26 Harmonic, Inc. Statistical multiplexing using a plurality of encoders operating upon different sets of unique and shared digital content
CN106713924B (zh) * 2017-01-24 2019-06-07 西安万像电子科技有限公司 用于文字分层压缩方法和装置
US10979744B2 (en) 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9022326D0 (en) * 1990-10-15 1990-11-28 British Telecomm Signal coding
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1998053613A1 (en) * 1997-05-20 1998-11-26 Motorola Inc. Apparatus, method and computer readable medium for scalable coding of video information
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
SG77650A1 (en) * 1998-09-07 2001-01-16 Victor Company Of Japan A scalable delivery scheme of compressed video
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
CN1435055A (zh) * 1999-12-22 2003-08-06 通用仪器公司 使用空间可调性及同时传送编码的多投射环境的视讯压缩

Also Published As

Publication number Publication date
JP2004509574A (ja) 2004-03-25
CN1436423A (zh) 2003-08-13
WO2002025925A2 (en) 2002-03-28
CN1258922C (zh) 2006-06-07
DE60124746D1 (de) 2007-01-04
US7020193B2 (en) 2006-03-28
US20020037037A1 (en) 2002-03-28
WO2002025925A3 (en) 2002-09-06
EP1319309B1 (de) 2006-11-22
ATE346461T1 (de) 2006-12-15
KR20020064904A (ko) 2002-08-10
EP1319309A2 (de) 2003-06-18

Similar Documents

Publication Publication Date Title
DE60124746T2 (de) Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit
DE60305880T2 (de) Skalierbare gezielte videomehrfachsendung auf basis der bandbreite oder fähigkeit des clients
DE60009159T2 (de) Video kompression für mehrfachsendeverteilungen unter verwendung von räumlicher skalierbarkeit und gleichwellenfunkkodierung
DE69834902T2 (de) Bewegungskompensierte prädiktive bildkodierung und -dekodierung
DE60305181T2 (de) Fgs dekodierung unter kontrolle eines im dekoder kalkulierten bildqualitätsparameters
DE60031230T2 (de) Skalierbares videokodierungssystem und verfahren
DE60217171T2 (de) Verfahren, System und Vorrichtung zur Datenübertragung
DE60023576T2 (de) Verfahren und Vorrichtung zur Bewegtbilddatentranscodierung
EP2198610B1 (de) Verfahren und vorrichtung zum erstellen eines kodierten ausgangsvideostroms aus mindestens zwei kodierten eingangsvideoströmen, sowie verwendung der vorrichtung
DE102016125353A1 (de) Kodierratensteuerung von echtzeitvideos unter verwendung einer dynamischen auflösungsumschaltung
DE69635369T2 (de) Videokodierungsvorrichtung
DE10048735A1 (de) Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu
DE69826703T2 (de) Verfahren, vorrichtungen und system zur rechnerischen fein-degradierung unter verwendung von prioritätsinformation bei mehreren objekten
DE60212401T2 (de) Übertragungssteuerung in einem hybriden zeitlich - snr feingranularskalierbaren videokodierungsverfahren
DE19644510A1 (de) Verfahren zum Festlegen von Codiertyp und Codiermethode zur Objektformcodierung
DE102004056446A1 (de) Verfahren zur Transcodierung sowie Transcodiervorrichtung
DE69828144T2 (de) Verfahren und vorrichtung zur videocodierung und -decodierung
WO2002054779A2 (de) Verfahren zur header-kompression bei einer video-codierung
WO2002054774A2 (de) Optimale snr-skalierbare videocodierung
DE19804564A1 (de) Kommunikationsnetz, Verfahren zum Übertragen eines Signals, Netzverbindungseinheit und Verfahren zum Anpassen der Datenrate eines skalierten Datenstroms
DE10200901B4 (de) Effiziente Codierung von Videosignalen für skalierbare Simul-cast-Speicherung und -Übertragung sowie zugehöriger Codec
EP1815689A1 (de) Codierverfahren und decodierverfahren, sowie codiervorrichtung und decodiervorrichtung
DE10121259C2 (de) Optimale SNR-skalierbare Videocodierung
Lotfallah et al. Adaptive video transmission schemes using MPEG-7 motion intensity descriptor
DE69921643T2 (de) Av-signalübertragung mit variabler bitrate in einem paketnetz

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee