DE60124746T2 - Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit - Google Patents
Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit Download PDFInfo
- Publication number
- DE60124746T2 DE60124746T2 DE60124746T DE60124746T DE60124746T2 DE 60124746 T2 DE60124746 T2 DE 60124746T2 DE 60124746 T DE60124746 T DE 60124746T DE 60124746 T DE60124746 T DE 60124746T DE 60124746 T2 DE60124746 T2 DE 60124746T2
- Authority
- DE
- Germany
- Prior art keywords
- frame data
- bandwidth
- temporal
- snr
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002123 temporal effect Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012546 transfer Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Peptides Or Proteins (AREA)
Description
- Die vorliegende Erfindung betrifft die Videocodierung und spezieller ein Verfahren zum Streamen von temporalen und auf Qualität/Rauschabstand (SNR) bezogenen Erweiterungsschicht-Rest-Videorahmendaten über ein Computernetzwerk mit variabler Bandbreite wie etwa das Internet.
- Die skalierbare Videocodierung wird zum Komprimieren von Videos eingesetzt, die über Computernetzwerke mit variierender Bandbreite, wie etwa das Internet, übertragen werden. Ein solches Videocodierschema ist die freingranular skalierbare (eingebettete) Videocodierung. Die feingranular skalierbare (FGS) Videocodierung wurde im ISOMPEG-4-Standard als das Kern-Videocodierverfahren für das MPEG-4 Streaming Video Profile übernommen.
- Ein Verfahren zum Übertragen von skalierbaren Videoströmen wurde in dem Artikel „Scalable Internet video using MPEG-4" von H. Rahde et al. beschrieben und in Signal Processing, Image Communication, Elsevier Science Publishers, Amsterdam NL, Bd. 15, Nr. 1–2, September 1999, S. 96 bis 126 (EPA-Referenz XP00418640) veröffentlicht. Dieselben Autoren haben außerdem die PCT-Patentanmeldung Nr. 01/39503 eingereicht, die zum Zeitpunkt des Prioritätsdatums der vorliegenden Erfindung noch nicht veröffentlicht war (auf Basis von US-Aktenzeichen 09/590,825, jetzt US-Patent Nr. 6,639,943).
- Wie in
1 gezeigt, umfasst das FGS-Videocodierschema eine bewegungskompensierte Basisschicht10 , die mit einem nicht skalierbaren Codec codiert wird, um I-, P- und B-Rahmen mit der Bitrate RBS aufzuweisen, und eine Erweiterungsschicht11 , die mit einem skalierbaren Codec wie etwa FGS codiert wird, um auf Qualität/Rauschabstand (SNR) bezogene I-, P- und B-Restrahmen mit einer maximalen Bitrate Rmax aufzuweisen. Zum Übertragungszeitpunkt wird ein der Bitrate RES entsprechender Anteil der Erweiterungsschicht11 aus dem FGS-codierten Bitstrom „ausgeschnitten", so dass die verfügbare Bandbreite R = RBS + RES. Wenn zum Beispiel der Erweiterungsschicht-Strom Clients mit Bitraten zwischen 100 KBit/s und 1 MBit/s versorgen muss, wird RBS auf 100 KBit/s und Rmax auf 1 MBit/s gesetzt. Somit werden die I-, P- und B-Basisschicht-Rahmen, die mit 100 KBit/s codiert werden, immer übertragen. Wenn allerdings mehr Bandbreite zur Verfügung steht, wird außerdem mindestens ein Anteil der I-, P- und B-Erweiterungsschicht-Restrahmen übertragen. -
2A und2B zeigen beispielhafte hybride temporale/SNR-bezogene FGS-Videocodierschemata, wie sie von Rahda et al. beschrieben werden. Bei dem Videocodierschema aus2A wird eine Basisschicht12 mit einem nicht skalierbaren Codec codiert, um I-, P- und B-Rahmen aufzuweisen, und eine Erweiterungsschicht13 wird mit einem skalierbaren Codec wie etwa FGS codiert, um B-Restrahmen, d.h., temporale Rahmen (FGST-Rahmen, falls FGS-Codierung eingesetzt wird) sowie auf Qualität/Rauschabstand bezogene I- und P-Restrahmen, d.h. auf Qualität/Rauschabstand (SNR) bezogene Rahmen (FGS-Rahmen, falls FGS-Codierung eingesetzt wird), aufzuweisen. Bei dem Videocodierschema aus2B wird eine Basisschicht14 mit einem nicht skalierbaren Codec codiert, um lediglich I- und P-Rahmen aufzuweisen, d.h., in der Basisschicht14 werden keine B-Rahmen codiert. Eine Erweiterungsschicht15 wird ähnlich dem Codierschema aus2A mit einem skalierbaren Codec wie etwa FGS codiert, um B-Restrahmen, d.h. FGST-Rahmen, und SNR-bezogene I- und P-Restrahmen, d.h. FGS-Rahmen, aufzuweisen. - Während der Übertragung durch einen Server werden die I-, P- und B-Basisschicht-Rahmen (Codierschema aus
2A ) bzw. die I- und P-Basisschicht-Rahmen (Codierschema aus2B ) bis zu RBS codiert und immer übertragen. Falls mehr Bandbreite verfügbar ist, besteht der derzeitige Ansatz zum Übertragen der Erweiterungsschichten13 ,15 in den Codierschemata aus2A und2B darin, die Erweiterungsschicht-Bits (RES) unter Verwendung einer Raten-Steuerungsstrategie gleichmäßig zwischen den FGS- und FGST-Rahmen zuzuweisen. - Ein mit FGS-Codecs verbundener Nachteil ist ihre reduzierte Codiereffizienz im Vergleich zu den nicht skalierbaren Codecs. Diese Effizienzeinbußen rühren von der ungenügenden temporalen Dekorrelation her, die mit FGS erzielt wird (die temporalen Korrelationen werden nur in der Basisschicht ausgenutzt), nicht von der eingebetteten Codierung der Erweiterungsschichten.
- Die temporale Korrelation in der Erweiterungsschicht lässt sich reduzieren, indem die temporale Dekorrelation in der Basisschicht verbessert wird. Dies kann verwirklicht werden, indem der Basisschicht eine größere Anzahl von Bits zugewiesen wird. Dies ist aber nicht möglich, da RBS der minimalen Bandbreite entspricht, deren Verfügbarkeit für alle Clients zu jeder Zeit garantiert wird.
- Würde RBS erhöht, so wären einige dieser Clients zu bestimmten Zeiten nicht in der Lage, die Basisschicht zu decodieren, was dem MPEG-4-Standard entgegensteht.
- Die vorliegende Erfindung zielt auf das Streamen von Erweiterungsschicht-Videorahmendaten über ein Netzwerk mit variabler Bandbreite ab, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Videorahmendaten aufweisen. Es werden ein Verfahren, ein System, eine Videoraten-Steuereinheit und ein computerlesbares Medium gemäß den unabhängigen Ansprüchen geschaffen.
- KURZE BESCHREIBUNG DER ZEICHNUNGEN
- Aus den veranschaulichenden Ausführungsformen, die jetzt anhand der beigefügten Zeichnungen, in welchen gleiche Elemente durchgängig gleiche Bezugszeichen haben, näher beschrieben werden, gehen die Vorteile, das Wesen und diverse zusätzliche Merkmale der Erfindung ausführlicher hervor. Es zeigen:
-
1 ein aktuelles Videocodierschema mit Erweiterungsschicht, -
2A und2B beispielhafte hybride, temporale und SNR-bezogene FGS-Videocodierschemata, die in der vorliegenden Erfindung benutzt werden, -
3 ein Flussdiagramm, das die Schritte des Verfahrens gemäß den Grundsätzen der vorliegenden Erfindung abbildet, -
4 eine graphische Veranschaulichung des Verfahrens, wie es in der Struktur aus2B angewendet wird, -
5 ein Ausführungsbeispiel eines Systems, welches das Codierschema mit hybrider Skalierbarkeit der vorliegenden Erfindung nutzt und -
6 ein weiteres hybrides, temporales und SNR-bezogenes FGS-Videocodierschema, das in der vorliegenden Erfindung benutzt werden kann. - DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
- Es wird nun ein Verfahren gemäß den Grundsätzen der vorliegenden Erfindung zum Streamen von temporalen und auf Qualität/Rauschabstand (SNR) bezogenen Erweiterungsschicht-Rest-Videorahmendaten (FGST- und FGS-Rahmendaten im Falle von FGS-Codierung) über ein Computernetzwerk mit variabler Bandbreite wie etwa das Internet beschrieben. Das Verfahren setzt das hybride, temporale/SNR-bezogene, skalierbare Videocodierschema aus
2B ein, um wesentliche Verbesserungen der temporalen Korrelation in der Erweiterungsschicht zu erzielen. Zwar zeigt das Videocodierschema aus2B nur einen temporalen Rahmen zwischen den SNR-bezogenen Rahmen, doch können in dem Verfahren auch temporale/SNR-bezogene, skalierbare Videocodierschema mit zwei oder mehr temporalen Rahmen zwischen den SNR-bezogenen Rahmen benutzt werden. -
3 ist ein Flussdiagramm, das die Schritte des Verfahrens gemäß den Grundsätzen der vorliegenden Erfindung abbildet. Die Schritte AA bis DD finden auf Seite des Codierers statt, und die Schritte EE bis HH finden auf Seite des Servers statt. - In Schritt AA werden die ursprünglichen, nicht codierten Videodaten mit einem nicht skalierbaren Codec codiert, um die Basisschicht
14 zu generieren, welche, wie in2B abgebildet, nur I- und P-Rahmen aufweist. In der Basisschicht werden keine B-Rahmen codiert. Der Einsatz des Videocodierschemas aus2B nutzt die Tatsache aus, dass nur die I- und P-Rahmen wesentlich zur temporalen Dekorrelation beitragen. Dementsprechend werden dadurch, dass in der Basisschicht keine B-Rahmen codiert werden, in der Basisschicht höherqualitative I- und P-Rahmen bereitgestellt, da mehr Bits von RBS für das Codieren der I- und P-Rahmen zur Verfügung stehen. Die höherqualitativen I- und P-Basisrahmen verbessern dementsprechend die zeitliche Dekorrelation in der Basisschicht. - In Schritt BB werden bewegungskompensierte oder temporale B-Restrahmen vorhergesagt, indem die Differenz zwischen den ursprünglichen Videodaten und I- und P-Referenzrahmen der Basisschicht berechnet wird. Für die Vorhersage jedes temporalen B-Restrahmens werden zwei temporal benachbarte Basisschicht-Referenzrahmen benutzt. Die B-Rahmen profitieren in diesem Codierschema, da sie sich aus I- und P-Basisschicht-Referenzrahmen mit verbesserter Qualität exakter vorhersagen lassen.
- In Schritt CC werden verbesserte, auf Qualität oder Rauschabstand (SNR) bezogene I- und P-Restrahmen generiert, indem die Differenz zwischen den ursprünglichen Videodaten und den Basisschicht-Referenzrahmen berechnet wird. Die SNR-bezogenen I- und P-Restrahmen profitieren bei diesem Codierschema, weil sie mit reduzierter temporaler Korrelation codiert werden. Dies wiederum führt zu verbesserter Leistung bei der späteren Codierung mit einem skalierbaren Codec.
- In Schritt DD werden die temporalen Restrahmen und die SNR-bezogenen Restrahmen mit einem geeigneten skalierbaren Codec, wie etwa FGS, codiert, um eine Erweiterungsschicht mit skalierbar codierten, temporalen B-Rahmen und skalierbar codierten, SNR-bezogenen I- und P-Rahmen zu generieren. Bei der in
2B gezeigten Ausführungsform sind die temporalen und SNR-bezogenen Restrahmen mit FGS codiert worden, wodurch temporale B-Erweiterungsschicht-Rahmen, bezeichnet durch FGST-Rahmen, und SNR-bezogene I- und P-Erweiterungsschicht-Rahmen, bezeichnet durch die FGS-Rahmen, erzeugt worden sind. - In Schritt EE wird die Bitrate bis zu RBS den höherqualitativen I- und P-Basisschicht-Rahmen zugewiesen, die Bitrate zwischen RBS und RBS + k, wobei k kleiner oder gleich RBS ist, wird den temporalen Erweiterungsschicht-Rahmen zugewiesen, und die Bitrate zwischen RBS + k und Rmax wird gleichmäßig zwischen den temporalen Rahmen und den SNR-bezogenen Rahmen zugewiesen.
- In Schritt FF werden die I- und P-Basisschicht-Rahmen immer mit der Bandbreite RBS übertragen.
- In Schritt GG werden mindestens Anteile der temporalen Erweiterungsschicht-Rahmen übertragen, wenn ermittelt wird, dass die verfügbare Bandbreite zwischen RBS und RBS + k liegt, wobei k kleiner oder gleich RBS ist. Dies wird bevorzugt verwirklicht, indem die temporalen Rahmen bzw. die Anteile der temporalen Rahmen einer nach dem anderen allmählich übertragen werden. Die Strategie zum Ermitteln, welche temporalen Rahmenabschnitte zuerst übertragen werden, kann auf Bewegungsaktivität basieren, da diese Informationen bereits während des Codierens vom Codierer bestimmt werden, wobei die temporalen Rahmenabschnitte mit der größten Bewegungsaktivität zuerst übertragen werden. Die Strategie zum Ermitteln, welche temporalen Rahmenabschnitte zuerst übertragen werden, kann auch auf Rauschabstandsspitzen oder anderen Parametern basieren.
- In Schritt HH werden darüber hinaus verbleibende Anteile der temporalen Erweiterungsschicht-Rahmen und mindestens Anteile der SNR-bezogenen Erweiterungsschicht-Rahmen übertragen, wenn ermittelt wird, dass die verfügbare Bandbreite zwischen RBS + k und Rmax liegt.
-
4 zeigt eine graphische Veranschaulichung des Verfahrens, wie es in der Struktur aus2B angewendet wird. - Wie zuvor erwähnt wurde, kann das Verfahren unter Verwendung des in
5 gezeigten Systems durchgeführt werden. Am Codierer werden nicht codierte Video daten aus einer Videoquelle20 sowohl in einen Basisschichtcodierer21 als auch den hybriden, temporalen und SNR-bezogenen, skalierbaren Videocodierer22 eingegeben. Der Basisschichtcodierer21 codiert einen Anteil der originalen Videodaten unter Verwendung eines Standard-Rahmenvorhersage-Codierverfahrens. Der Basisschichtcodierer21 komprimiert die Videodaten mit einer festgelegten Bitrate RBS. Bevorzugt wird RBS von einem Berechnungsblock23 auf Basis einer aktuellen Bandbreite des zugehörigen Netzwerks24 mit variabler Bandbreite bestimmt. Der Berechnungsblock23 misst eine minimale Bitrate (RM IN), eine maximale Bitrate (RMAX) und eine aktuelle verfügbare Bandbreite (R) des Netzwerks24 . Der Berechnungsblock23 setzt dann RBS bevorzugt auf RMI N, um sicherzustellen, dass das Netzwerk24 selbst bei seinen niedrigsten Bandbreiten dazu in der Lage ist, die codierten Videodaten zu befördern. - Die ursprünglichen Videodaten aus der Videoquelle
20 und die von dem Basisschichtcodierer21 bereitgestellten codierten Videodaten (d.h., die Basisschicht) werden sowohl an einen Restbildberechnungsblock25 als auch an einen Berechnungsblock26 für bewegungskompensierte Restbilder in dem hybriden Codierer22 geleitet. Der Restbildberechnungsblock25 und der Berechnungsblock26 für bewegungskompensierte Restbilder benutzen die ursprünglichen Videodaten und die codierten Videodaten, um die Restbilder27 und die bewegungskompensierten Restbilder28 zu generieren. Spezieller empfängt der Restbildberechnungsblock25 codierte Videodaten von dem Basisschichtcodierer21 und decodiert dann diese codierten Videodaten. Danach werden basierend auf einer Differenz zwischen Pixeln in diesen decodieren Videodaten und Pixeln in den ursprünglichen Videodaten Restbilder27 generiert. Der Berechnungsblock26 für bewegungskompensierte Restbilder empfängt codierte Videodaten von dem Basisschichtcodierer21 und decodiert dann diese codierten Videodaten. Danach werden basierend auf einem Bewegungskompensationsansatz aus den decodierten Videodaten die bewegungskompensierten Restbilder28 generiert. Dieses Bewegungskompensationsbild wird dann von dem entsprechenden ursprünglichen Bild subtrahiert. - Der hybride Codierer
22 weist außerdem einen Erweiterungsschicht-Codierer29 für bewegungskompensierte Restbilder und einen Erweiterungsschicht-Codierer30 für Restbilder auf, die beide einen skalierbaren Codec wie etwa FGS nutzen. Während des Betriebs codieren der Erweiterungsschicht-Codierer29 für bewegungskompensierte Restbilder und der Erweiterungsschicht-Codierer30 für Restbilder unter Verwendung des skalierbaren Codec die bewegungskompensierten Restbilder22 bzw. die Restbilder12 . - Der Erweiterungsschicht-Codierer
29 für bewegungskompensierte Restbilder generiert einen Datenstrom aus komprimierten temporalen Rahmen31 , und der Erweiterungsschicht-Codierer30 für Restbilder generiert einen Datenstrom aus SNR-bezogenen Rahmen32 . Die Datenströme31 ,32 können kombiniert werden, um einen einzelnen Erweiterungsschicht-Datenstrom zu erzeugen, oder sie können als zwei separate Ströme belassen werden. In beiden Fällen kann der resultierende Strom bzw. können die resultierenden Ströme gespeichert oder in Echtzeit übertragen werden. - Serverseitig empfängt eine skalierbare Echtzeit-Videoraten-Steuereinheit
34 den temporalen und den SNR-bezogenen Rahmendatenstrom31 ,32 (zusammen mit dem von dem Basisschichtcodierer21 generierten Basisschicht-Rahmendatenstrom33 ) und führt in Echtzeit die oben beschriebenen Verfahrensschritte EE bis HH aus. Die Raten-Steuereinheit34 weist typischerweise einen Prozessor auf, der mit einem (nicht abgebildeten) Speicher in Verbindung steht. Bei dem Prozessor kann es sich um einen beliebigen spezialisierten Prozessor oder Allzweckprozessor handeln, der die Verfahrensschritte EE bis HH ausführen kann. Der Prozessor kann Code aufweisen, der, wenn er ausgeführt wird, die Verfahrensschritte EE bis HH ausführt. Der Code kann in dem Speicher enthalten sein. - Die Raten-Steuereinheit
34 führt die Schritte EE bis HH des Verfahrens basierend auf Eingaben R, RBS und RMAX aus, die sie von dem Berechnungsblock23 , der FGS-Raten-Steuereinheit35 und einer optionalen Benutzereingabe36 erhält. Da die Bitrate bis RBS den I- und P-Basisschicht-Rahmen zugewiesen ist und die Basisschicht-Rahmen immer übertragen werden, bestimmt die Raten-Steuereinheit34 auf Basis dieser Eingaben die verfügbare Bandbreite, die für die Übertragung der temporalen und der SNR-bezogenen Rahmen verbleibt (R-RBS). Auf Basis dieser Informationen weist die Raten-Steuereinheit34 gemäß Schritt EE des Verfahrens die Bitrate zwischen den Erweiterungsschicht-Strömen31 ,32 zu. - Nach dem Zuweisen der Bitrate unter den Rahmendatenströmen überträgt die Raten-Steuereinheit
34 die Datenströme gemäß den Schritten FF-HH des Verfahrens als ein Basisschichtstrom und ein Erweiterungsschichtstrom über ein Netzwerk24 mit variabler Bandbreite. - Abgesehen von einer besseren temporalen Dekorrelation weist die vorliegende Erfindung den nützlichen Nebeneffekt auf, dass die B-Rahmen immer mit FGST codiert werden und daher nur 1 Rest (der bewegungskompensierte Rest) berechnet werden muss, was zu geringerer Komplexität und besserer Effizienz führt, da das Zeichen nur ein mal codiert werden muss. Weil die Basisschicht außerdem nur I- und P-Rahmen enthält, ist ihre Komplexität nur moderat. Die hinsichtlich Rechenaufwand und Speicherverkehr komplexeren B-Rahmen werden erst in der Erweiterungsschicht eingeführt.
- Das Verfahren der Erfindung kann außerdem das in
6 gezeigte, hybride, temporale/SNR-bezogene, skalierbare Videocodierschema einsetzen, welches eine Basisschicht40 , die mit I- und P-Rahmen codiert ist, und zwei Erweiterungsschichten, d.h. eine temporale Schicht41 , die mit temporalen B-Rahmen codiert ist, und eine SNR-bezogene Schicht42 , die mit SNR-bezogenen I- und P-Rahmen codiert ist, aufweist. - Zwar wurde die vorstehende Erfindung anhand der obigen Ausführungsformen beschrieben, doch können diverse Modifikationen und Veränderungen vorgenommen werden, ohne vom Schutzumfang der beigefügten Ansprüche abzuweichen.
- Legende der Zeichnungen
-
1 -
- Fine granular scalable Enhancement Layer: Feingranular skalierbare Erweiterungsschicht
- Prediction-based video Base Layer: Auf Vorhersage basierende Video-Basisschicht
- Overcoded enhancement picture: Übercodiertes Erweiterungsbild
- Portion of FGS enhancement sent to the decoder: An den Decodierer gesendeter Anteil der FGS-Erweiterung
- prior art: Stand der Technik
- RBL : RBS
- REL : RES
- Rmax : Rmax
-
2A und2B -
- Enhancement Layer: Erweiterungsschicht
- Base Layer: Basisschicht
-
3 -
- AA: Basisschicht mit I- und P-Rahmen codieren
- BB: Temporale B-Restrahmen vorhersagen
- CC: SNR-bezogene I- und P-Restrahmen generieren
- DD: Temporale und SNR-bezogene Restrahmen mit skalierbarem Codec generieren, um temporale und SNR-bezogene Erweiterungsschicht-Rahmen zu generieren
- EE: Bitrate bis zu RBS an Basisschicht-Rahmen, Bitrate zwischen RBS und RBS + k an temporale Erweiterungsschicht-Rahmen und Bitrate zwischen RBS + k und Rmax gleichmäßig zwischen temporalen und SNR-bezogenen Rahmen zuweisen
- FF: Basisschicht mit RBS übertragen
- GG: Von RBS bis RBS + k mindestens Anteile der temporalen Erweiterungsschicht-Rahmen übertragen
- HH: Von RBS + k bis Rmax verbleibende Anteile der temporalen Erweiterungsschicht-Rahmen und mindestens Anteile der SNR-bezogenen Erweiterungsschicht-Rahmen übertragen
-
4 -
- Rmax : Rmax
- RBL + k : RBS + k
- RBL : RBS
- Base Layer: Basisschicht
-
5 -
- Hybrid Temporal/SNR FGS Video Encoder: Hybrider temporaler/SNR-bezogener FGS-Videocodierer
- MC Residual Images (MCRI): Bewegungskompensierte Restbilder
- Residual Images: Restbilder
- Motion Compensated Residual Image computation: Berechnung bewegungskompensierter Restbilder
- Residual Image (RI) computation: Restbildberechnung
- FGS MCRI EL Encoder: Erweiterungsschicht-Codierer für bewegungskompensierte Restbilder
- FGS Residual Images EL Encoder: Erweiterungsschicht-Codierer für Restbilder
- FGS Rate Controller: FGS-Raten-Steuereinheit
- Enhancement-layer stream(s) with a total bitrate of (Rmax – RBL): Erweiterungsschicht-Strom/Ströme mit Gesarntbitrate (Rmax – RBS)
- Real-time scalable video rate controller: skalierbare Echtzeit-Videoraten-Steuereinheit
- User Input (remote and/or local): Benutzereingabe (entfernt und/oder lokal)
- Video source: Videoquelle
- BL Encoder: BS-Codierer
- RBL : RBS
- Rmin, Rmax and R calculation: Berechnung von Rmin, Rmax und R
- BL stream with a bitrate of RBL: BS-Strom mit Bitrate RBS
- EL stream with a total bitrate of (R – RBL): EL-Strom mit Gesamtbitrate (R – RBS)
- Variable-bandwidth network: Netzwerk mit variabler Bandbreite
-
6 -
- FGS Layer: FGS-Schicht
- Temporal Layer: Temporale Schicht
- Base Layer: Basisschicht
Claims (15)
- Verfahren zum Streamen von Erweiterungsschicht-Videorahmendaten zusätzlich zu Basisschicht-Rahmendaten über ein Netzwerk mit variabler Bandbreite, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Videorahmendaten aufweisen, um die Qualität der in den Basisschichtdaten codierten Rahmen zu verbessern, wobei das Verfahren folgende Schritte umfasst: – Codieren (AA) ursprünglicher, nicht codierter Videodaten mit einem nicht skalierbaren Codec, um Basisschicht-Rahmendaten zu generieren, – Generieren (BB, CC) von temporalen und SNR-bezogenen Rest-Videorahmendaten aus den ursprünglichen, nicht codierten Videodaten und den Basisschicht-Rahmendaten, – Codieren (DD) der temporalen und SNR-bezogenen Rest-Videorahmendaten mit einem skalierbaren Codec, um die Erweiterungsschicht-Videorahmendaten mit den skalierbar codierten, temporalen und SNR-bezogenen Rest-Videorahmendaten zu generieren, – Ermitteln einer verfügbaren Bandbreite des Netzwerks mit variabler Bandbreite, – Übertragen (FF) mindestens von Anteilen der skalierbar codierten, temporalen Restrahmendaten und/oder der skalierbar codierten, SNR-bezogenen Videorahmendaten, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, gekennzeichnet durch Zuweisen (EE) eines ersten Bandbreitenbereichs von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten sowie eines zweiten Bandbreitenbereichs von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten.
- Verfahren nach Anspruch 1, wobei die minimale Bitrate, die zum Übertragen nur von Basisschicht-Rahmendaten zugewiesen wird, durch Berechnung auf Basis einer aktuellen Bandbreite des zugehörigen Netzwerks mit variabler Bandbreite ermittelt wird.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS) ist, welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei die Basisschicht-Rahmendaten Daten für nur intracodierte und temporal vorwärts vorhergesagte Rahmen aufweisen.
- Verfahren nach Anspruch 4, wobei die skalierbar codierten, temporalen Restrahmendaten Daten nur für temporal bidirektional vorhergesagte Rahmen aufweisen.
- Verfahren nach Anspruch 5, wobei die skalierbar codierten, SNR-bezogenen Videorahmendaten nur Daten für die intracodierten und temporal vorwärts vorhergesagten Rahmen aufweisen.
- Verfahren nach Anspruch 1, wobei die skalierbar codierten, temporalen Restrahmendaten Daten nur für temporal bidirektional vorhergesagte Rahmen aufweisen.
- Verfahren nach Anspruch 1, wobei die skalierbar codierten, SNR-bezogenen Videorahmendaten nur Daten für die intracodierten und temporal vorwärts vorhergesagten Rahmen aufweisen.
- System zum Streamen von Erweiterungsschicht-Videorahmendaten zusätzlich zu Basisschicht-Rahmendaten über ein Netzwerk mit variabler Bandbreite, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Video rahmendaten aufweisen, um die Qualität der in den Basisschichtdaten codierten Rahmen zu verbessern, wobei das System Folgendes umfasst: – Mittel (
21 ) zum Codieren ursprünglicher, nicht codierter Videodaten mit einem nicht skalierbaren Codec, um Basisschicht-Rahmendaten zu generieren, – Mittel (27 ,28 ) zum Generieren von temporalen und SNR-bezogenen Rest-Videorahmendaten aus den ursprünglichen, nicht codierten Videodaten und den Basisschicht-Rahmendaten, – Mittel (29 ,30 ) zum Codieren der temporalen und SNR-bezogenen Rest-Videorahmendaten mit einem skalierbaren Codec, um die Erweiterungsschicht-Videorahmendaten mit den skalierbar codierten, temporalen und SNR-bezogenen Rest-Videorahmendaten zu generieren, – Mittel (23 ) zum Ermitteln einer verfügbaren Bitrate des Netzwerks mit variabler Bandbreite, – Mittel (34 ) zum Übertragen mindestens von Anteilen der skalierbar codierten, temporalen Restrahmendaten und/oder der skalierbar codierten, SNR-bezogenen Videorahmendaten, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, dadurch gekennzeichnet, dass die Mittel (34 ) zum Übertragen dazu konfiguriert sind, einen ersten Bandbreitenbereich von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten zuzuweisen sowie einen zweiten Bandbreitenbereich von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten zuzuweisen. - System nach Anspruch 9, welches ferner Mittel zum Setzen einer Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS), welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht, umfasst.
- System nach Anspruch 9 oder 10, wobei eine Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS) ist, welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht.
- Videoraten-Steuereinheit, umfassend: – Mittel zum Ermitteln einer verfügbaren Bandbreite des Netzwerks mit variabler Bandbreite, – Mittel zum Übertragen von Basisschicht-Rahmendaten, – Mittel zum Übertragen mindestens von Anteilen von skalierbar codierten, temporalen Restrahmendaten und/oder skalierbar codierten, SNR-bezogenen Videorahmendaten zum Verbessern der Qualität von in den Basisschichtdaten codierten Rahmen, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, dadurch gekennzeichnet, dass die Mittel zum Übertragen dazu konfiguriert sind, einen ersten Bandbreitenbereich von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten zuzuweisen sowie einen zweiten Bandbreitenbereich von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten zuzuweisen.
- Videoraten-Steuereinheit nach Anspruch 12, welche ferner Mittel zum Setzen einer Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS), welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht, umfasst.
- Speichermedium zum Streamen von Erweiterungsschicht-Videorahmendaten zusätzlich zu Basisschicht-Rahmendaten über ein Netzwerk mit variabler Bandbreite, wobei die Erweiterungsschicht-Videorahmendaten skalierbar codierte, temporale Rest-Videorahmendaten und skalierbar codierte, auf Qualität/Rauschabstand (SNR) bezogene Rest-Videorahmendaten aufweisen, um die Qualität der in den Basisschichtdaten codierten Rahmen zu verbessern, wobei das Speichermedium Folgendes umfasst: – Code zum Codieren ursprünglicher, nicht codierter Videodaten mit einem nicht skalierbaren Codec, um Basisschicht-Rahmendaten zu generieren, – Code zum Generieren von temporalen und SNR-bezogenen Rest-Videorahmendaten aus den ursprünglichen, nicht codierten Videodaten und den Basisschicht-Rahmendaten, – Code zum Codieren der temporalen und SNR-bezogenen Rest-Videorahmendaten mit einem skalierbaren Codec, um die Erweiterungsschicht-Videorahmendaten mit den skalierbar codierten, temporalen und SNR-bezogenen Rest-Videorahmendaten zu generieren, – Code zum Ermitteln einer verfügbaren Bandbreite des Netzwerks mit variabler Bandbreite, – Code zum Übertragen mindestens von Anteilen der skalierbar codierten, temporalen Restrahmendaten und/oder der skalierbar codierten, SNR-bezogenen Videorahmendaten, wenn die verfügbare Bandbreite eine erste Bandbreite ist, die über einer minimalen Bitrate liegt, welche zum Übertragen lediglich der Basisschicht-Rahmendaten zugewiesen ist, dadurch gekennzeichnet, dass der Code zum Übertragen dazu konfiguriert ist, einen ersten Bandbreitenbereich von der minimalen Bitrate bis zu einer weiteren Bitrate, die unterhalb einer maximalen Bitrate des Netzwerks liegt, an die skalierbar codierten, temporalen Restrahmendaten zuzuweisen sowie einen zweiten Bandbreitenbereich von der weiteren Bitrate bis zur maximalen Bitrate aufgeteilt zwischen den skalierbar codierten, temporalen Restrahmendaten und den skalierbar codierten, SNR-bezogenen Videorahmendaten zuzuweisen.
- Speichermedium nach Anspruch 14, welches ferner Code umfasst zum Setzen einer Bandbreite (k) des ersten Bereichs kleiner oder gleich einer Bandbreite (RBS), welche der minimalen, zum Übertragen nur von Basisschicht-Rahmendaten zugewiesenen Bitrate entspricht.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US23460600P | 2000-09-22 | 2000-09-22 | |
US234606P | 2000-09-22 | ||
PCT/IB2001/002489 WO2002025925A2 (en) | 2000-09-22 | 2001-09-24 | Hybrid temporal-snr fine granular scalability video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
DE60124746D1 DE60124746D1 (de) | 2007-01-04 |
DE60124746T2 true DE60124746T2 (de) | 2007-09-13 |
Family
ID=22882053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE60124746T Expired - Fee Related DE60124746T2 (de) | 2000-09-22 | 2001-09-24 | Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit |
Country Status (8)
Country | Link |
---|---|
US (1) | US7020193B2 (de) |
EP (1) | EP1319309B1 (de) |
JP (1) | JP2004509574A (de) |
KR (1) | KR20020064904A (de) |
CN (1) | CN1258922C (de) |
AT (1) | ATE346461T1 (de) |
DE (1) | DE60124746T2 (de) |
WO (1) | WO2002025925A2 (de) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6453355B1 (en) * | 1998-01-15 | 2002-09-17 | Apple Computer, Inc. | Method and apparatus for media data transmission |
US20020118742A1 (en) * | 2001-02-26 | 2002-08-29 | Philips Electronics North America Corporation. | Prediction structures for enhancement layer in fine granular scalability video coding |
JP4404180B2 (ja) * | 2002-04-25 | 2010-01-27 | ソニー株式会社 | データ配信システム、データ処理装置及びデータ処理方法、並びにコンピュータ・プログラム |
WO2003104935A2 (en) * | 2002-06-11 | 2003-12-18 | Thomson Licensing S.A. | Multimedia server with simple adaptation to dynamic network loss conditions |
GB0218961D0 (en) * | 2002-08-15 | 2002-09-25 | Koninkl Philips Electronics Nv | Transmission method and system |
US7480252B2 (en) * | 2002-10-04 | 2009-01-20 | Koniklijke Philips Electronics N.V. | Method and system for improving transmission efficiency using multiple-description layered encoding |
US7016409B2 (en) * | 2003-11-12 | 2006-03-21 | Sony Corporation | Apparatus and method for use in providing dynamic bit rate encoding |
JP4729563B2 (ja) * | 2004-05-12 | 2011-07-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ブロードキャスト用のスケーラブルビデオコーディング |
KR100782343B1 (ko) * | 2004-07-07 | 2007-12-06 | 한국과학기술원 | 영상 스트리밍 방법 |
WO2006038607A1 (ja) * | 2004-10-06 | 2006-04-13 | Nippon Telegraph And Telephone Corporation | スケーラブル符号化方法および装置,スケーラブル復号方法および装置,それらのプログラムおよびそれらプログラムを記録した記録媒体 |
DE102004059993B4 (de) * | 2004-10-15 | 2006-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium |
KR100679022B1 (ko) * | 2004-10-18 | 2007-02-05 | 삼성전자주식회사 | 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더 |
FR2880743A1 (fr) * | 2005-01-12 | 2006-07-14 | France Telecom | Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
CL2006000541A1 (es) | 2005-03-10 | 2008-01-04 | Qualcomm Inc | Metodo para el procesamiento de datos multimedia que comprende: a) determinar la complejidad de datos multimedia; b) clasificar los datos multimedia en base a la complejidad determinada; y aparato asociado. |
US7725799B2 (en) * | 2005-03-31 | 2010-05-25 | Qualcomm Incorporated | Power savings in hierarchically coded modulation |
US20070022215A1 (en) * | 2005-07-19 | 2007-01-25 | Singer David W | Method and apparatus for media data transmission |
US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
JP2009510952A (ja) * | 2005-09-29 | 2009-03-12 | トムソン リサーチ ファンディング コーポレイション | 拘束された可変ビットレート(vbr)ビデオ・エンコードの方法および装置 |
EP1952638B1 (de) | 2005-10-12 | 2020-05-13 | InterDigital VC Holdings, Inc. | Skalierbare h.264 videokodierung von interessenbereichen |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
WO2009002313A1 (en) * | 2007-06-27 | 2008-12-31 | Thomson Licensing | Enhancing image quality |
US8634467B2 (en) * | 2008-05-06 | 2014-01-21 | Choy Sai Foundation L.L.C. | Flexible Wyner-Ziv video frame coding |
US8539092B2 (en) * | 2008-07-09 | 2013-09-17 | Apple Inc. | Video streaming using multiple channels |
WO2010076494A1 (fr) * | 2008-12-16 | 2010-07-08 | France Telecom | Procede de transmission et procede de reception d'un contenu audiovisuel |
JP4947389B2 (ja) * | 2009-04-03 | 2012-06-06 | ソニー株式会社 | 画像信号復号装置、画像信号復号方法、および画像信号符号化方法 |
US20110157322A1 (en) * | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Controlling a pixel array to support an adaptable light manipulator |
US8823782B2 (en) * | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
US8854531B2 (en) * | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
US9247286B2 (en) * | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
WO2011097755A1 (zh) * | 2010-02-11 | 2011-08-18 | 上海贝尔股份有限公司 | 基于svc的e-mbms流传输方法和设备 |
EP2806353B1 (de) * | 2013-05-24 | 2018-07-18 | Immersion Corporation | Verfahren und haptische Vorrichtung zur Kodierung und Dekodierung haptischer Informationen |
JP6605789B2 (ja) * | 2013-06-18 | 2019-11-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法、受信方法、送信装置、および、受信装置 |
GB201504403D0 (en) * | 2015-03-16 | 2015-04-29 | Microsoft Technology Licensing Llc | Adapting encoded bandwidth |
JP2017045124A (ja) * | 2015-08-24 | 2017-03-02 | 株式会社日本自動車部品総合研究所 | 視差検出装置 |
US10491649B2 (en) * | 2016-04-12 | 2019-11-26 | Harmonic, Inc. | Statistical multiplexing using a plurality of encoders operating upon different sets of unique and shared digital content |
CN106713924B (zh) * | 2017-01-24 | 2019-06-07 | 西安万像电子科技有限公司 | 用于文字分层压缩方法和装置 |
US10979744B2 (en) | 2017-11-03 | 2021-04-13 | Nvidia Corporation | Method and system for low latency high frame rate streaming |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9022326D0 (en) * | 1990-10-15 | 1990-11-28 | British Telecomm | Signal coding |
GB9102220D0 (en) * | 1991-02-01 | 1991-03-20 | British Telecomm | Method and apparatus for decoding video signals |
US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
WO1998053613A1 (en) * | 1997-05-20 | 1998-11-26 | Motorola Inc. | Apparatus, method and computer readable medium for scalable coding of video information |
US6275531B1 (en) * | 1998-07-23 | 2001-08-14 | Optivision, Inc. | Scalable video coding method and apparatus |
SG77650A1 (en) * | 1998-09-07 | 2001-01-16 | Victor Company Of Japan | A scalable delivery scheme of compressed video |
US6639943B1 (en) * | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
EP1249131B1 (de) * | 1999-12-22 | 2004-03-17 | General Instrument Corporation | Video kompression für mehrfachsendeverteilungen unter verwendung von räumlicher skalierbarkeit und gleichwellenfunkkodierung |
-
2001
- 2001-09-24 KR KR1020027006488A patent/KR20020064904A/ko not_active Application Discontinuation
- 2001-09-24 DE DE60124746T patent/DE60124746T2/de not_active Expired - Fee Related
- 2001-09-24 US US09/962,280 patent/US7020193B2/en not_active Expired - Lifetime
- 2001-09-24 CN CNB018037909A patent/CN1258922C/zh not_active Expired - Fee Related
- 2001-09-24 JP JP2002529009A patent/JP2004509574A/ja not_active Withdrawn
- 2001-09-24 WO PCT/IB2001/002489 patent/WO2002025925A2/en active IP Right Grant
- 2001-09-24 EP EP01985314A patent/EP1319309B1/de not_active Expired - Lifetime
- 2001-09-24 AT AT01985314T patent/ATE346461T1/de not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
US20020037037A1 (en) | 2002-03-28 |
KR20020064904A (ko) | 2002-08-10 |
CN1258922C (zh) | 2006-06-07 |
WO2002025925A3 (en) | 2002-09-06 |
US7020193B2 (en) | 2006-03-28 |
DE60124746D1 (de) | 2007-01-04 |
JP2004509574A (ja) | 2004-03-25 |
EP1319309B1 (de) | 2006-11-22 |
ATE346461T1 (de) | 2006-12-15 |
WO2002025925A2 (en) | 2002-03-28 |
CN1436423A (zh) | 2003-08-13 |
EP1319309A2 (de) | 2003-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60124746T2 (de) | Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit | |
DE60305880T2 (de) | Skalierbare gezielte videomehrfachsendung auf basis der bandbreite oder fähigkeit des clients | |
DE69834902T2 (de) | Bewegungskompensierte prädiktive bildkodierung und -dekodierung | |
DE60305181T2 (de) | Fgs dekodierung unter kontrolle eines im dekoder kalkulierten bildqualitätsparameters | |
DE60031230T2 (de) | Skalierbares videokodierungssystem und verfahren | |
DE60217171T2 (de) | Verfahren, System und Vorrichtung zur Datenübertragung | |
EP2198610B1 (de) | Verfahren und vorrichtung zum erstellen eines kodierten ausgangsvideostroms aus mindestens zwei kodierten eingangsvideoströmen, sowie verwendung der vorrichtung | |
DE60114650T2 (de) | Adaptive videobestellung | |
DE60109423T2 (de) | Videokodierung mit prädiktiver bitebenenkodierung und progressiver fein-granularitätsskalierung (pfgs) | |
DE69937664T2 (de) | System zur Netztranskodierung von Multimediendatenfluss | |
DE102016125353A1 (de) | Kodierratensteuerung von echtzeitvideos unter verwendung einer dynamischen auflösungsumschaltung | |
DE69635369T2 (de) | Videokodierungsvorrichtung | |
DE10048735A1 (de) | Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu | |
DE69826703T2 (de) | Verfahren, vorrichtungen und system zur rechnerischen fein-degradierung unter verwendung von prioritätsinformation bei mehreren objekten | |
DE60212401T2 (de) | Übertragungssteuerung in einem hybriden zeitlich - snr feingranularskalierbaren videokodierungsverfahren | |
DE19644510A1 (de) | Verfahren zum Festlegen von Codiertyp und Codiermethode zur Objektformcodierung | |
DE102004056446A1 (de) | Verfahren zur Transcodierung sowie Transcodiervorrichtung | |
DE69828144T2 (de) | Verfahren und vorrichtung zur videocodierung und -decodierung | |
WO2002054779A2 (de) | Verfahren zur header-kompression bei einer video-codierung | |
WO2002054774A2 (de) | Optimale snr-skalierbare videocodierung | |
DE19804564A1 (de) | Kommunikationsnetz, Verfahren zum Übertragen eines Signals, Netzverbindungseinheit und Verfahren zum Anpassen der Datenrate eines skalierten Datenstroms | |
DE10200901B4 (de) | Effiziente Codierung von Videosignalen für skalierbare Simul-cast-Speicherung und -Übertragung sowie zugehöriger Codec | |
WO2006056529A1 (de) | Codierverfahren und decodierverfahren, sowie codiervorrichtung und decodiervorrichtung | |
DE10121259C2 (de) | Optimale SNR-skalierbare Videocodierung | |
Lotfallah et al. | Adaptive video transmission schemes using MPEG-7 motion intensity descriptor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |