DE60305880T2

DE60305880T2 - Skalierbare gezielte videomehrfachsendung auf basis der bandbreite oder fähigkeit des clients

Info

Publication number: DE60305880T2
Application number: DE60305880T
Authority: DE
Inventors: Mihaela Van Der Schaar
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Pendragon Wireless LLC
Priority date: 2002-01-17
Filing date: 2003-01-14
Publication date: 2007-03-01
Anticipated expiration: 2023-01-15
Also published as: WO2003061240A1; US20030135863A1; ATE329444T1; EP1472845B1; CN1618226A; KR20040069360A; DE60305880D1; AU2003201700A1; CN1618226B; EP1472845A1; JP2005515714A

Description

Videostreaming über Internetprotokollnetzwerke (IP) hat ein großes Gebiet von Multimedia-Applikationen ermöglicht. Internet-Videostreaming schafft Echtzeit-Lieferung und Präsentation von kontinuierlichem Mediacontent, während der Mangel an "Quality-of-Service" (QoS) über das Internet kompensiert wird. Durch die Variation und die Unvorhersagbarkeit der Bandbreite und anderer Leistungsparameter (beispielsweise Paketverlustrate) über IP-Netzwerke, basieren im Allgemeinen die meisten vorgeschlagenen Streaming-Lösungen auf einem bestimmten Typ eines geschichteten (oder skalierbaren) Videocodierungsschemas.
Es lässt sich erwarten, dass in dem 21. Jahrhundert Mehrfachsendung von Video über das Internet ein wichtige Technologiegebiet für viele Multimedia-Applikationen wird. Diese Applikationen umfassen die Tatsache, dass Millionen von Zuschauern über die ganze Welt wichtige Fernsehereignisse miterleben. Um diesen Ausbreitungspegel zu erreichen erfordert Mehrfachsendung-Internetvideo die Entwicklung von in der Qualität skalierbaren Videocodierungsalgorithmen.
Es wurden bereits viele Videoskalierbarkeitsannäherungen angestellt durch Videokompressionsstandards, wie MPEG-2, MPEG-4 und H.263. In diesen Standards sind zeitliche, räumliche und Qualitätsskalierbarkeitstypen (SNR) definiert worden. All diese Typen von skalierbarem Video umfassen eine Basisschicht (BL) und eine oder mehrere Verbesserungsschichten (EL). Der BL-Teil des skalierbaren Videostreams stellt im Allgemeinen den minimalen Betrag an Daten dar, die zum Decodieren dieses Streams erforderlich sind. Der EL-Teil des Streams stellt zusätzliche Information dar und verbessert dadurch die Videodarstellung, wenn von dem Empfänger decodiert.
Feinkörnige Skalierbarkeit (FGS) ist ein neuer Videokompressionsrahmen, der neulich von dem MPEG-4 Standard für Streaming-Applikationen angenommen worden ist. FGS ist imstande, einen breiten Bereich von Breitbandvariationsszenarien zu unterstützen, die IP-basierte Netzwerke im Allgemeinen und das Internet insbesondere unterstützen. Mit diesem Typ von Skalierbarkeit codierte Bilder können progressiv decodiert werden. Das heißt, der Decoder kann die Decodierung starten und das Bild nach Empfang einer sehr geringen Anzahl Daten wiedergeben. Je nachdem der Decoder mehr Daten empfängt, wird die Qualität des decodierten Bildes progressiv verbessert, bis die komplette Information empfangen, decodiert und wiedergegeben wird. Unter führenden internationalen Standards ist progressive Bildcodierung eine der Moden, die in JPEG und in dem Standbild, Texturcodierungswerkzeug in MPEG-4 Video unterstützt wird.
Die Konvergenz von Internet mit neuen drahtlosen und mobilen Netzwerken ist dabei, einen völlig neuen Heterogenitätspegel in Multimedia-Kommunikationen zu schaffen. Dieser gesteigerte Heterogenitätspegel betont die Notwendigkeit von skalierbaren und adaptiven Videolösungen, und zwar für Codierungs- sowie Übertragungszwecke. Im Allgemeinen aber gibt es ein inhärentes Kompromiss zwischen dem Skalierbarkeitspegel und der Qualität von skalierbaren Videostreams. Mit anderen Worten, je höher die Bandbreitenvariation, umso niedriger ist die gesamte Videoqualität des skalierbaren Streams, die erforderlich ist um den gewünschten Bandbreitenbereich zu unterstützen.
1 ist ein Blockschaltbild eines Beispiels eines bekannten skalierbaren Codierungssystems. Ein Streamingserver 100 codiert einen Datenstrom mit intracodierten (I) Paketen 108, prädiktiv codierten (P) Paketen und mit bidirektionell codierten (B) Paketen (nicht dargestellt) zum Bilden einer Basisschicht 101 und einer Verbesserungsschicht 102, mit einer Anzahl Verbesserungskanäle 103–107. In diesem bekannten System 100 wird der Content (beispielsweise ein Videosegment) einmal codiert, und zwar für eine Vielzahl von Bitraten unter Anwendung eines skalierbaren Codierungsschemas. Danach kann dieser skalierbare Content mehrfach einem Satz von Empfängern 120, 130, 140 zugesendet werden, die mehrere Bandbreiten oder Fähigkeiten aufweisen, indem die BL 101 und die EL 102 in einen Satz diskreter einzelner Mehrfachsendekanäle 101, 103–107 aufgeteilt werden.
Wie in 1 dargestellt, abonnieren die jeweiligen Kunden 120, 130, 140 eine unterschiedliche Anzahl Kanäle. Der Kunde 120 empfängt die Basisschicht 101 und die ersten drei EL 103–105. Der Kunde 130 empfängt die Basisschicht 101 und nur die erste EL 103. Der Kunde 140 empfängt die Basisschicht 101 und alle fünf EL 103–107. Durch Codierung des Contents 108, 109 mit nur einem einzigen skalierbaren Stream entsteht zwischen der nicht skalierbaren Codec-Leistung und FGS ein großer Codierungseffizienznachteil, und zwar wegen des Mangels an Bewegungskompensation (MC) von FGS.
Auf alternative Weise können die jeweiligen Methoden angewandt werden zum Verbessern der Qualität von FGS, wie MC-FGS-Strukturen, Frequenzgewichtung, selektive Verbesserung und dergleichen. Aber all diese Techniken steigern die Qualität nur um einen selektierten Bitratenbereich.
Weiterhin, wenn ein bestimmter Satz mit Terminals bestimmte Fähigkeiten hat (beispielsweise eine starke MC-Funktion), ermöglicht der Stand der Technik nicht, dass der Streamingserver 100 den Vorteil der Fähigkeiten dieser Empfänger nutzt, weil er einen Datenstrom liefern muss, der von einem Empfängergastgeber decodiert werden kann, der diese Fähigkeiten nicht aufweist.
EPO 901 285 beschreibt ein Videoverteilungssystem, das MPEG Daten überträgt. Das System überwacht die Belastung eines Netzwerkes. Wenn die Belastung groß ist, entfernt das System Frames aus dem MPEG Strom. Dieses Dokument bezieht sich nicht auf Mehrfachübertragung. Die beschriebene Technik eignet sich für "Unicast" sowie für "Broadcast", wenn derselbe Strom zu einer Anzahl Empfänger übertragen wird. Aber in dem letzteren Fall wird kein optimaler Gebrauch gemacht von der verfügbaren Bandbreite und der Fähigkeit aller Empfänger.
Ein verbessertes Verfahren zum Schaffen von Streaming-Datenübertragung ist erwünscht.
Die vorliegende Erfindung ist ein Verfahren und ein System zur Mehrfachübertragung von Videodaten nach den Hauptansprüchen. Es wird eine Identifikation gemacht von entweder: (1) einem Mittelwert oder einem Minimalwert der verfügbaren Bandbreite einer Kopplung, über die ein Datenstrom eines bestimmten Videosegmentes übertragen werden muss oder (2) eine Fähigkeit eines Empfängergastgebers, zu dem der Datenstrom übertragen werden muss. Es wird eine Selektion gemacht von entweder: (1) einem entsprechenden Bereich von einer Anzahl vorbestimmter Bereiche von Bandbreiten, so dass der selektierte Bereich die identifizierte mittlere minimal verfügbare Bandbreite enthält; oder (2) einen entsprechenden Typ einer Anzahl verschiedener Datenstromtypen, so dass die identifizierte Fähigkeit des Empfängergastgebers verwendet wird um Daten von dem selektierten Datenstromtyp zu verarbeiten. Der Datenstrom wird auf eine Art und Weise codiert, die den Vorteil des Bereichs von Bandbreiten oder den Typ des Datenstroms nimmt, der selektiert worden ist oder der selektierten werden soll. Der codierte Datenstrom wird über die Kopplung zu einem Empfänger übertragen.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 ein Blockschaltbild eines herkömmlichen Systems zur Übertragung von streaming Daten über das Internet,
2 ein Blockschaltbild eines Beispiels des Systems nach der vorliegenden Erfindung,
3 ein Flussdiagramm eines ersten Beispiels eines Verfahrens nach der vorliegenden Erfindung, wobei viele Datenströme vor der Selektion eines Typs eines Stromes codiert werden um zu einem Empfänger zu strömen,
4 ein Flussdiagramm eines zweiten Beispiels eines Verfahrens nach der vorliegenden Erfindung, wobei ein Typ eines Stromes, der zu einem Empfänger zu strömen, vor der Codierung des Datenstromes, selektiert wird,
5 eine Darstellung, wie das Kompromiss zwischen der Komplexität und der Effizienz die Wahl des Datenstromtyps für FGS Datenströme beeinflusst.
In den Ausführungsbeispielen der vorliegenden Erfindung ist der Skaliebarkeitsbereich begrenzt, damit die Übertragung/Codierungseffizienz verbessert wird und die Variation in den Komplexitätsanforderungen des Empfängers begrenzt wird.
2 ist ein Blockschaltbild eines Systems zur Übertragung von Videodaten nach der vorliegenden Erfindung. Das System hat einen Streamingserver 200, der codiert und eine Anzahl Streams 210, 220 für denselben Content (beispielsweise Videosegment) speichern kann, um verschiedene Empfängergruppen mit verschiedenen Kopplungsbandbreiten oder verschiedenen Empfangsgastgebergruppenfähigkeiten zu erreichen. Der Server 200 entscheidet, welcher Datenstrom (Darstellung des Contents) einem Satz mit Empfängern auf Basis deren Fähigkeiten oder der verfügbaren "mittleren" Bitrate der Kopplung, die den Empfänger mit dem Server verbindet, mehrfach zugesendet werden soll.
Der Server 200 kann zwei oder mehr verschiedene Datenströme codieren, die denselben Content (beispielsweise Videosegment) darstellen. Obschon nur zwei Datenströme 210 und 220 dargestellt sind, können drei oder mehr Ströme verwendet werden.
Für den Server 200 werden beispielsweise ein Satz mit FGS, progressiven FGS (P-FGS) oder Bewegungskompressions FGS (Mikrocontroller-FGS) Ströme, gezielt bei mehreren Bitratenbereichen (vorzugsweise nicht sehr großen Bereichen) werden entweder im Voraus codiert, und für späteren Gebrauch gespeichert, oder einzeln in Reaktion auf Anträge in Echtzeit codiert. Es können auch mehrere Qualitätsverbesserungswerkzeuge benutzt werden. Denn, wenn ein Kunde 240, 250 oder 260 eine Verbindung herstellen möchte, informiert der Kunde den Server 200 über die Fähigkeit und die mittlere verfügbare Bandbreite. Danach kann der Server 200 entscheiden, in welchem "Bandbreitenbereich" der Kunde 240, 250 oder 260 sich befindet (oder welche Fähigkeiten der Kunde hat) und selektiert für jeden einzelnen Kunden oder jede einzelne Kundengruppe einen Satz mit Kanälen. Die Videodaten werden danach auf diesen Bandbreitenbereich (oder Kundenfähigkeit) gezielt.
Das System ist in der Praxis in Mehrfachsendungsumgebungen nützlich, wobei ein Gleichgewicht zwischen der Unicastmode (die einen Zuschnitt des Datenstroms ermöglicht, damit ein einziger Kunde am besten bedient wird) und Broadcastmode (welche die meist effiziente Codierung in einem streamenden Server ermöglicht durch Codierung eines einzigen Datenstroms für alle Empfängergruppen).
Bei bekannten Systemen ist der Nachteil der Verwendung von nur einem einzigen skalierbaren codierten Strom für einen großen Bitratenbereich der resultierende Qualitätsnachteillücke. Auf vorteilhafte Weise kann das System 200 Bitströme zu den jeweiligen Empfängern 240, 250, 260 senden, welche die Terminalfähigkeiten oder die verfügbare "mittlere" Bitrate für jede Empfängergruppe berücksichtigt. Das System 200 kann einen Strom zu diesen Parametern zielen. Dieses Verfahren berücksichtigt die "mittlere" verfügbare Bandbreite der Kunden/Empfänger oder die Fähigkeiten der Terminals, wenn entschieden wird, welcher Videodatenstrom übertragen und über die vielen Kanäle zugeordnet werden soll, die für jede einzelne Gruppe von Empfängern zugreifbar sind. Das als Beispiel genannte Verfahren führt zu einer höheren Qualität an der Empfängerseite und zu einer effizienteren Benutzung von Mitteln.
Es wird nun beispielsweise vorausgesetzt, wie in 2 dargestellt, dass die Kunden 240 und 260 zu einer Empfängergruppe gehören, die eine hohe mittlere verfügbare Bandbreite hat, und dass der Kunde 250 zu einer Empfängergruppe gehört, die eine niedrige verfügbare Bandbreite hat. Für den Satz mit Empfängern (beispielsweise 250) mit niedriger Bitrate, werden vier Kanäle gesendet, einen Kanal 221 mit Basisschichtdaten 228, 229, einen Kanal 223 mit dem signifikantesten Bit (MSB) der FGS Daten, und die anderen zwei Kanäle 224 und 225 mit FGS Verbesserungsschichtdaten von weniger Signifikanz. Sechs Kanäle werden zu einem anderen Satz von Empfängern 240, 260 mit hohen Bitraten gesendet, von denen ein einziger Kanal 218 Basisschichtdaten enthält, wobei eine Schicht 213 die MSB der FGS EL Daten enthält und die anderen vier Kanäle 214–217 FGS EL Daten von weniger Signifikanz enthält.
Anders als bei bekannten Systemen wird nur ein einziger Datenstrom für das Videosegment in dem System 200 codiert, es ist aber nicht erforderlich, dass die einzelnen Schichten 211, 213, 214, 215 des Datenstroms 210 dieselben sind wie die entsprechenden Schichten 221, 223, 224, 225 des Datenstroms 220, obschon die beiden Datenströme Darstellungen desselben Contents (beispielsweise Videosegmentes) sind. Bei einigen Ausführungsformen der vorliegenden Erfindung verwenden die jeweiligen Ströme alle gemeinsam dieselbe BL, haben aber verschiedene EL. Bei anderen Ausführungsformen können die Ströme verschiedene BL haben. Ein Beispiel mit verschiedenen BL ist der MC-FGS, wenn ein Teil der EL in der BL eines der Ströme für die Vorhersage der BL eingeschlossen ist. In diesem Szenario ist die BL in den zwei Strömen verschieden. So kann beispielsweise der Datenstrom 210 ohne Frequenzgewichtung codiert werden und der Datenstrom 220 kann mit Frequenzgewichtung oder umgekehrt codiert werden. Auf gleiche Weise kann der Datenstrom 220 mit selektiver Verbesserung oder mit jedem anderen beliebigen Qualitätsverbesserungswerkzeug codiert werden, gezielt auf einen bestimmten Bitratenbereich.
Nebst denen aus 2 sind viele andere Variationen möglich und dürften dem Fachmann einfallen. In einem anderen Beispiel kann der niedrige Datenratenstrom 220 zwei Kanäle aufweisen, einen mit Basisschichtdaten, den anderen mit dem MSB der FGS Daten mit Frequenzgewichtung. Der hohe Datenratenstrom 210 kann vier Kanäle enthalten, einen mit den Basisschichtdaten, eine zweite Schicht mit dem MSB der FGS EL Daten (ohne Frequenzgewichtung), und die anderen zwei Kanäle mit FGS EL Daten von weniger Signifikanz. Dies sind nur Beispiele und sind nicht begrenzend.
Für jede bestimmte Mischung von Empfängern in einer Mehrfachsendungsgruppe (MG) wird entsprechend einer Methodologie auf Basis der Mischung von Empfängern Verfahren um zu ermitteln, welche die Datenströme sein sollen. Es wird beispielsweise vorausgesetzt, dass es 1000 Anordnungen gibt, die MG zuhören und dass 10% davon eine Bandbreite niedriger als 100 kbps haben. Die restlichen 90% haben eine Bandbreite zwischen 300 kbps und 1,0 Mbps. Danach soll ein MC-FGS Strom verwendet werden mit einer BL von 100 kbps für den ersten Datenstrom (niedrige Datenratenbenutzer), und für den zweiten Datenstrom soll eine erweiterte BL von 300 kbps verwendet werden (hohe Datenratebenutzer). In einem anderen Beispiel, wenn 30% der Anordnungen oder mehr eine Bandbreite unter 300 kbps haben, ist Übertragung eines FGS Stromes mit einer BL von 100 Kommunikationsbussystem geeigneter. Folglich sollte der Algorithmus zu den jeweiligen skalierbaren Strömen schauen, und entscheiden, welcher strömen soll, und zwar auf Basis der Komplexität oder der Effizienz dieser Ströme.
Das System 200 benutzt mehr Bandbreite als bekannte Systeme, wobei nur ein einziger Strom zu allen Empfängern gesendet wird, aber das System 200 benutzt weniger Bandbreite als in dem Fall einzelner Zuschneidung jedes Datenstroms in einer nicht skalierbar basierten Strömungsumgebung (beispielsweise für Unicast-Übertragung). Auf diese Weise schafft das System 200 ein gutes Kompromiss zwischen der Bandbreitenbenutzung über das Netzwerk und die erreichte Qualität an den Empfängern 240, 250, 260.
3 und 4 zeigen zwei Verfahren zur Anwendung des Systems 200, das vier Schritte umfasst. Diese vier Schritte werden in den 3 und 4 in verschiedenen Reihenfolgen durchgeführt. Der eine Schritt umfasst das Identifizieren einer Bandbreite einer Kopplung oder einer Kapazität eines Empfängergastgebers. Im Fall von Bandbreite wird eine gemittelte oder eine minimal verfügbare Bandbreite einer Kopplung, über die ein Datenstrom eines bestimmten Videosegmentes übertragen werden soll, identifiziert. Auf alternative Weise kann eine Fähigkeit eines Empfängergastgebers, dem der Datenstrom zugeführt werden soll, identifiziert werden.
Ein anderer Schritt umfasst das Selektieren entweder eines Bereichs von Bandbreien oder eines Datenstromtyps. Der Bereich von Bandbreiten kann ein Bereich einer Anzahl vorbestimmter Bereiche von Bandbreiten sein, so dass der selektierte Bereich die identifizierte mittlere oder minimal verfügbare Bandbreite enthält. Der Datenstromtyp kann ein Typ sein aus einer Vielzahl verschiedener Datenstromtypen, so dass die identifizierte Fähigkeit des Empfängergastgebers zum Verarbeiten von Daten vom selektierten Datenstromtyp verwendet wird.
Ein anderer Schritt umfasst die Codierung des Datenstroms auf eine Art und Weise, die den Vorteil des Bereichs von Bandbreiten oder den Typ des Datenstroms, der selektiert worden ist oder selektiert werden soll, bietet. Die Codierung kann vor oder nach der Selektion durchgeführt werden. Wenn der Codierungsschritt dem Selektionsschritt vorhergeht, dann wird die Selektion aus derselben Gruppe von Datenströmen durchgeführt, die vorher codiert worden ist.
Der restliche Schritt umfasst die Übertragung des codierten Datenstroms über die Kopplung zu einem Empfänger.
3 zeigt ein erstes Verfahren, wobei der Codierungsschritt dem Selektionsschritt vorhergeht.
In dem Schritt 300 codiert der Server 200 eine Anzahl Datenströme. Die vielen Datenströme entsprechen jeweils einer anderen Kombination aus einem Bandbreitenbereich und/oder einem Satz von Empfängerfähigkeiten.
In dem Schritt 302 werden die vielen Datenströme innerhalb des Servers 200 gespeichert.
In dem Schritt 304 wird ein Antrag zum Starten einer Streamingsession von einem Empfänger der Videodaten oder einer Benutzergruppe von Empfängern empfangen.
In dem Schritt 306 identifiziert der Empfänger oder die Benutzergruppe von Empfängern die minimale oder mittlere verfügbare Bandbreite und/oder die spezifischen Fähigkeiten des Empfängers bzw. der Empfänger. Dies erfordert Kommunikation zwischen Empfänger und Sender, und zwar in Bezug auf beispielsweise welche Ströme senderseitig verfügbar sind (d.h. welche Optionen für den Empfänger verfügbar sind). Diese Kommunikation/Verhandlung kann über ein Protokoll wie RTSP oder dergleichen durchgeführt werden. Danach kann der Empfänger einen bestimmten Satz von skalierbaren Videospuren abonnieren.
Die Schritte 304 und 306 können angefangen haben, bevor oder nachdem die ersten Schritte 300 und 302 durchgeführt werden. Vorzugsweise werden die Schritte 300 und 302 das erste Mal durchgeführt. Auf jeden Fall wird in der Ausführungsform nach 3 der Schritt 306 (das Identifizieren der Fähigkeiten und der Bandbreite) vor dem Schritt 308 durchgeführt.
In dem Schritt 308 selektiert der Server einen geeigneten Strom, der der bestimmten MG zugeführt werden soll. Die Selektion kann auf die Anwendung einfache Kriterien reduziert werden. Wenn beispielsweise die Datenströme in Zielbandbreitenbereich voneinander abweichen, dann wird der Datenstrom mit dem größten Bandbreitenbereich, der die Datenrate der Kopplung des Benutzers oder der Benutzergruppe nicht übersteigt, selektiert. Wenn die Datenströme in Zielempfängergastgeberfähigkeit voneinander abweichen, dann wird der Datenstrom, der dieser spezifischen Fähigkeit des Benutzers oder der Benutzergruppe entspricht, selektiert. Wenn die Datenströme in Zielbandbreitenbereich sowie in Zielfähigkeit voneinander abweichen, werden die beiden Kriterien angewandt.
In dem Schritt 310 wird der optimal skalierbare Videostrom für den Benutzer oder die Benutzergruppe (d.h. der verfügbare Strom, der am besten die Vorteile der Bandbreite und/oder Fähigkeiten des Empfängers oder der Empfängergruppe bietet) dem Benutzer zugeführt.
Nach dem ersten Mal, dass die Schritte 300–310 zum Streamen von Daten zu zusätzlichen Empfängern durchgeführt werden, werden die Schritte 304–310 wiederholt. Es ist nicht notwendig, die Schritte 300 und 302 zu wiederholen, es sei denn, dass neue Datenströme hinzugefügt werden müssen.
Auf diese Weise können bei dem Verfahren nach 3 die jeweiligen Datenströme, die dasselbe Videosegment darstellen, im Voraus codiert werden. Bei Identifikation der Bandbreite oder der Fähigkeit einer MG wird der geeignete Datenstrom zur unmittelbaren Streaming zu dieser MG verfügbar. Die Empfänger können zusammen in einer MG gruppiert werden, und zwar auf Basis deren Anträge für einen bestimmten skalierbaren Strom.
Ein bestimmtes (aber nicht begrenzendes) Beispiel des Verfahrens nach 3 umfasst: das Codieren einer Anzahl Datenströme unter Anwendung einer feinkörnigen Skalierbarkeitstechnik, wobei jeder Datenstrom der vielen Datenströme einem betreffenden anderen Bereich von Datenraten entspricht, wobei die Datenströme übertragen werden müssen; das Ermitteln einer mittleren oder minimal verfügbaren Bandbreite einer Kopplung, über die einer der Datenströme übertragen werden soll; das Selektieren des einen Bereichs der vielen Bereiche mit einer größten Datenrate unter allen Bereichen der vielen Bereiche, die von einer Datenrate der Kopplung, über die die Videodaten übertragen werden sollen, untergebracht werden kann; und das Streamen des Datenstroms entsprechend dem selektierten Bereich.
4 ist es Flussdiagramm eines zweiten Beispiels eines Verfahrens nach der vorliegenden Erfindung. Bei dem Verfahren nach 4 geht dem Codierungsschritt der Identifikationsschritt vorher. Die Schritte der Identifikation einer Bandbreite oder einer Fähigkeit, der Selektion eines Bandbreitenbereichs oder eines Datenstromtyps, und der Codierung des Datenstroms, der den Vorteil des Bereichs von bandbreiten oder Datenstromtyp bietet, werden in Echtzeit oder in nahezu Echtzeit durchgeführt, und zwar in Reaktion auf einen Antrag für das Videosegment.
Unter Anwendung des Verfahrens nach 4 können der Identifikationsschritt, der Selektionsschritt und der Codierungsschritt in erster und zweiter Wiederholung für dasselbe Videosegment durchgeführt werden, mit einer betreffenden anderen mittleren oder minimal verfügbaren Bandbreite oder Empfängergastgeberfähigkeit, identifiziert während jeder Wiederholung der ersten und zweiten Widerholungen, und es wird ein betreffender anderer codierter Datenstrom für dasselbe Videosegment während jeder der ersten und zweiten Wiederholung vorgesehen. Auf diese Weise ist es dennoch möglich zwei verschiedene skalierbare Datenströme zu codieren, die für die einzelnen Empfänger oder Empfängergruppen zugeschnitten sind.
In dem Schritt 400 beantragt eine Empfängerbenutzer oder eine Gruppe von Empfängern eine Session.
In dem Schritt 402 empfängt der Server 200 (oder ein Proxyserver) von dem Empfängergastgeber eine Identifikation der mittleren oder minimal verfügbaren Bandbreite der Kopplung oder eine Identifikation der Empfängergastgeberfähigkeit, wenn die Kopplung hergestellt wird.
In dem Schritt 404 wird die geeignete Bandbreite und/oder Fähigkeit für diesen Benutzer oder diese Benutzergruppe (d.h. einen einer begrenzten Anzahl vorbestimmter Bandbreite/Fähigkeitskombinationen die am besten Vorteile der Bandbreite und/oder Fähigkeiten des Empfängers oder der Empfängergruppe bieten)selektiert.
In dem Schritt 406 codiert der Server 200 einen Datenstrom für die selektierte Bandbreite und/oder Fähigkeiten des Empfängers bzw. der Empfänger.
In dem Schritt 408 wird der codierte Datenstrom zu dem Benutzer oder zu der Benutzergruppe übertragen. Die Schritte 400 bis 408 werden wiederholt. Jedes Mal kann eine andere Kombination aus Bandbreite und/oder Fähigkeiten aus einem vorbestimmten Satz mit einer begrenzten Anzahl Bandbreiten und/oder Fähigkeiten selektiert werden.
In den 3 und 4 ist die Bandbreite durch die Empfänger angegeben, und zwar auf Basis des Vorzugs (beispielsweise den Betrag an Geld, das sie für einen bestimmten QoS-Pegel bezahlen wollen) oder der empirisch erfahrenen Bandbreite (dies kann durch Kanalschätzungsmechanismen, RTCP-Berichte und dergleichen ermittelt werden).
Das nachfolgende Beispiel ist für einen Fall mit drei verschiedenen Datenströmen (QCIF, CIF und SD), die alle dasselbe Videosegment darstellen.
Für Bilder mit "Quarter common interchange format" (QCIF) Auflösung (d.h. 176 × 144 Pixel)

10kbps FGS
30kbps FGS
10 + 30 MCFGS

Für Bilder mit "common interchange format" (CIF) Auflösung (d.h. 352 × 288 Pixel)

100kbps FGS
300kbps FGS
100 + 300 MCFGS

Für Bild mit "Standard Definition" (SD) Auflösung (d.h. 720 × 480 Pixel)

1Mbps FGS
3Mbps FGS
5Mbps FGS

In dem oben stehenden Beispiel haben die drei Datenströme je verschiedene BLs und je verschiedene ELs. Aber Es können Beispiele bedacht werden, wie das oben stehende über Frequenzgewichtung, wobei der BL in allen Fällen derselbe ist.
5 ist eine Darstellung davon, wie das Kompromiss zwischen Komplexität und Effizienz die Wahl des Datenstromtyps für FGS Datenströme beeinflusst. Ein Beispiel einer Anwendung der Strategie ist wie folgt. Es wird vorausgesetzt, dass es 1000 Anordnungen gibt, die der MG zuhören und dass 90% davon eine Bandbreite zwischen 300 kbps und 1 Mbps haben. Der Rest hat eine Bandbreite unter 100 kbps. Dann soll der MC-FGS Strom mit einem BL von 100 kbps und einem erweiterten BL von 300 kbps verwendet werden. Der erweiterten Basispegel umfasst die normale BL Information plus zusätzlicher Information von einem oder mehreren der ELs. Auf alternative Weise ist, wenn 30% der Anordnungen oder mehr eine Bandbreite unter 300 kbps haben, die Übertragung eines FGS Stromes mit einem BL von 100 kbps geeigneter. Auf diese Weise wird eine Umschaltung zwischen FGS und MC-FGS Strukturen (d.h. die Selektion eines FGS Stromes oder eines MC-FGS Stromes) auf Basis der Bandbreite erwogen.
Folglich soll der Algorithmus die jeweiligen skalierbaren Ströme ansehen, und entscheiden, welcher auf Basis der Komplexität oder der Effizienz dieser Ströme streamen soll.
Ggf. kann die Entscheidung, darüber, welcher Datenstrom zu einem bestimmten Empfänger gesendet wird, innerhalb einer Session "neu gemacht" werden, wenn die für einen Kunden verfügbare Bandbreite stark variiert. Dies kann dadurch durchgeführt werden, dass entschieden wird, dass zu dem betreffenden Kunden ein anderer Strom gesendet wird, beispielsweise durch Umschaltung, Auf alternative Weise kann dieser Kunde mit einer anderen MG mit ähnlicheren Bandbreite/Empfängercharakteristiken verbunden werden. Der Server 200 kann Ströme codieren, die für eine Anzahl verschiedener Empfängerfähigkeiten optimiert werden können einschließlich, aber nicht darauf begrenzt: CPU, Speicher, Coprozessoren (Bewegungskompensation, Framerate-Sendeumsetzer, Nachverarbeitung und dergleichen). Dieselben Fähigkeiten werden bei der Entscheidung betrachtet, welcher Strom zu einer bestimmten Mehrfachsendungsgruppe (MG) gesendet werden soll. Auf diese Weise kann es möglich sein, die FGS Qualität über den ganzen Bitratenbereich zu verbessern.
Obschon das System 200 aus diesem Beispiel Datenströme über das Internet überträgt, wäre dieses Verfahren auch günstig für skalierbares Mediastreaming für drahtlose Kopplungen.
Obschon das oben beschriebene Beispiel FGS umfasst, wird beabsichtigt, dass die vorliegende Erfindung auf andere Skalierbarkeitstypen angewandt werden kann, wie auf kleine Wellen basierte skalierbare Videocodierung (beispielsweise 3D SPIHT ("Set Partitioning Into Hierarchical Trees") und dergleichen, hybride zeitliche SNR räumliche Skalierbarkeitstechniken auf Basis von MPEG-4 und dergleichen. Obschon das System 200 aus diesem Beispiel die jeweiligen Datenströme innerhalb des Servers speichert, können die Datenströme auf alternative Weise in einem Proxyserver gespeichert werden. Der Proxyserver kann Basis-Elektrode ein Router oder ein Gateway sein, oder eine Basisstation eines drahtlosen Netzwerkes. Der Proxyserver kann mehrere Datenströme zu drahtlosen Kundenanordnungen liefern (beispielsweise Handys, Palmtopcomputer, PDAs, drahtlose Modems und dergleichen), wobei jeder Strom auf eine bestimmte andere Kombination aus Bandbreite und/oder Kundenfähigkeiten gezielt wird.
Systeme mit zwei oder drei Strömen bieten ein besseres Video für Empfänger mit einer höheren Bandbreite oder mit zusätzlichen Verarbeitungsfähigkeiten, ohne große Opfer in Bezug auf die Effizienz. Es wird ebenfalls erwogen, dass ein Server vier oder fünf Ströme oder mehr speichern kann.
Es dürfte einleuchten, dass der Empfänger jede beliebige Anordnung einer Anzahl Anordnungen sein kann, einschließlich, aber nicht darauf begrenzt, eines Laptops oder Palmtopcomputers, eines Fernsehers, einer Settopbox, einer Videobildspeicheranordnung wie eines Videorecorders oder eines digitalen Videorecorders, einer TiVO-Anordnung, Kombination der oben stehenden Elemente und dergleichen.
Die vorliegende Erfindung kann in Form von computerimplementierten Prozessoren und Anordnungen zum Durchführen dieser Prozesse verkörpert sein. Die vorliegende Erfindung kann auch in Form eines Computerprogrammcodes, verkörpert in fühlbaren Medien, wie Floppys, ROMs, CD-ROMs, Festplatten, ZIP^TM-Drives oder jedem beliebigen anderen vom Computer auslesbaren Speichermedium verkörpert sein, wobei der Computerprogrammcode in einen Computer geladen und von demselben durchgeführt wird, wobei der Computer dann eine Anordnung zum Durchführen der vorliegenden Erfindung wird. Die vorliegende Erfindung kann in Form eines Computerprogrammcodes verkörpert werden, beispielsweise entweder gespeichert in einem Speichermedium, geladen in einen Computer und von demselben durchgeführt, oder über ein Übertragungsmedium, wie über die elektrische Verdrahtung oder Verkabelung, über Faseroptik, oder über elektromagnetische Strahlung übertragen, wobei der Computerprogrammcode in einen Computer geladen wird, wird der Computer eine Anordnung wird zum Durchführen der vorliegenden Erfindung. Wenn in einem Allzweckprozessor implementiert, konfigurieren die Computerprogrammcodesegmente den Prozessor zum Schaffen spezifischer logischer Schaltungen.
Obschon die vorliegende Erfindung in Termen von Ausführungsbeispielen beschrieben worden ist, beschränkt sie sich nicht darauf. Vielmehr sollen die beiliegenden Patentansprüche breit aufgefasst werden, damit sie andere Varianten und Abwandlungen der vorliegenden Erfindung einschließe, die von dem Fachmann im Rahmen der vorliegenden Erfindung bedacht werden könnten.

3

300: Code Mehrfach Streams für viele Übertragungsszenarios und Empfänger mit mehreren Fähigkeiten
302: Speicherung von mehreren Strömen bei dem Server/Proxy
304: Antrag zum Starten einer Session von einem Empfänger Benutzer/Gruppe von Empfängern
306: Identifizieren von Fähigkeiten und Bandbreite
308: Selektieren des geeigneten Stromes, der übertragen werden soll für eine bestimmte Mehrfachsendungsgruppe
310: Übertragung eines selektierten skalierbaren codierten Videostroms, der für den aktuellen Satz verbundener Empfänger optimal ist

4

400: Antrag zum Starten einer Session von einem Empfänger Benutzer/Gruppe von Empfängern
402: Identifikation der Fähigkeiten und Bandbreite
404: Selektion geeigneter Bandbreite und/oder Fähigkeiten für einen Strom, der übertragen werden soll für eine bestimmte Mehrfachsendungsgruppe
406: Codierung des Stromes mit selektierter Bandbreite und/oder Fähigkeiten bei dem Server/Proxy
408: Übertragung eines selektierten skalierbaren codierten Videostroms, der für den aktuellen Satz verbundener Empfänger optimal ist.

5

: Komplexität
: Effizienz

Claims

Verfahren zur Mehrfachsendung von Videodaten, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: a) das Identifizieren (306, 402) für jede einer Anzahl Gruppen von Empfängergastgebern (240, 250, 260), wobei einer des Satzes besteht aus: einer mittleren oder minimalen verfügbaren Bandbreite einer Kopplung, über die ein Datenstrom eines bestimmten Videosegmentes zu der Gruppe übertragen werden soll; und einer Fähigkeit eines Empfängergastgebers in der Gruppe, zu dem der Datenstrom übertragen werden soll; b) das Selektieren (308, 404) für jede der Anzahl Gruppen einer entsprechenden Gruppe des Satzes, der besteht aus: einem einer Anzahl vorbestimmter Bereiche von Bandbreiten, so dass der selektierte Bereich die identifizierte mittlere oder minimale verfügbare Bandbreite der Gruppe enthält; und einem einer Anzahl verschiedener Datenstromtypen (210, 220), wobei Schichten (211, 213–215, 221, 223–225) betreffender Stromtypen untereinander verschieden sind, so dass die identifizierte Fähigkeit des Empfängergastgebers (24, 250, 260) in der Gruppe verwendet wird zum Verarbeiten von Daten von selektierten Datenstromtyp; c) das Codieren (300, 406) des Datenstroms auf vielerlei Weisen unter Verwendung von einigen der vielen verschiedenen Datenstromtypen (210, 220), die je den Vorteil eines bestimmten Bereichs an Bandbreiten oder eines Datenstromtyps haben, der selektiert worden ist oder der selektiert werden muss; und d) das Übertragen (310, 408) bestimmter Ströme der codierten Datenströme, und zwar gleichzeitig über die Kopplungen, je zu dem Empfängergastgeber (24, 250, 260) in einer der Gruppen.
Verfahren nach Anspruch 1, wobei – der Schritt c) dem Schritt a) vorhergeht, und – der Schritt c) die Codierung von Datenströmen umfasst, die je mit einem betreffenden anderen Bereich der vielen vorbestimmten Bandbreitenbereiche übereinstimmen.
Verfahren nach Anspruch 2, wobei eine skalierbare Codierungstechnik angewandt wird, und zwei Ströme der vielen Datenstromtypen eine gemeinsame Basisschicht und betreffende verschiedene verbesserte Schichten haben.
Verfahren nach Anspruch 3, wobei ein erster Strom der zwei Datenströme eine verbesserte Schicht mit Frequenzgewichtung hat, und der zweite Strom der zwei Datenströme eine Verbesserungsschicht ohne Frequenzgewichtung hat.
Verfahren nach Anspruch 1, wobei: – der Schritt a) dem Schritt c) vorhergeht, und – der Schritt a), b) und c) in Echtzeit in Reaktion auf einen Antrag für das Videosegment durchgeführt wird.
Verfahren nach Anspruch 1, wobei: – der Schritt a) dem Schritt c) vorhergeht, – der Schritt a), b) und c) in einer ersten und einer zweiten Wiederholung für dasselbe Videosegment durchgeführt wird, – eine betreffende verschiedene mittlere oder minimale verfügbare Bandbreite oder Empfängergastgeberfähigkeit in dem Schritt a) während jeder der ersten und zweiten Wiederholung identifiziert wird, – ein betreffender anders codierter Datenstrom für dasselbe Videosegment in dem Schritt c) während jeder der ersten und zweiten Wiederholung geschaffen wird.
Verfahren nach Anspruch 1, wobei der Schritt a) das Empfangen einer mittleren oder minimalen verfügbaren Bandbreite der Kopplung von dem Empfängergastgeber umfasst oder eine Identifikation der Empfängergastgeberfähigkeit, wenn die Kopplung hergestellt ist.
Verfahren nach Anspruch 1, wobei die identifizierte Fähigkeit die Fähigkeit zum Durchführen von Bewegungskompensation ist.
Verfahren nach Anspruch 1, wobei: – der Schritt a) das Ermitteln einer mittleren oder minimalen verfügbaren Bandbreite einer Kopplung umfasst, über die einer der Datenströme übertragen werden soll; – der Schritt b) das Selektieren des einen Bereichs der vielen Bereiche mit einer größten Datenrate von allen der vielen Bereiche, die durch eine Datenrate der Kopplung angepasst werden kann, über welche die Videodaten übertragen werden sollen; und – der Schritt c) das Codieren einer Anzahl Datenströme unter Anwendung einer feinkörnigen Skalierbarkeitstechnik umfasst, wobei jeder der vielen Datenströme mit einem betreffenden anderen Bereich von Datenraten übereinstimmt, mit der die Datenströme übertragen werden sollen.
System zur Mehrwegübertragung von Videodaten, wobei dieses System Folgendes umfasst: a) Mittel zum Identifizieren für jede einer Anzahl Gruppen von Empfängergastgebern (240, 250, 260), wobei einer des Satzes besteht aus: einer mittleren oder minimalen verfügbaren Bandbreite einer Kopplung, über die ein Datenstrom eines bestimmten Videosegmentes zu der Gruppe übertragen werden soll; und einer Fähigkeit eines Empfängergastgebers in der Gruppe, zu dem der Datenstrom übertragen werden soll; b) Mittel zum Selektieren für jede der Anzahl Gruppen einer entsprechenden Gruppe des Satzes, der besteht aus: einem einer Anzahl vorbestimmter Bereiche von Bandbreiten, so dass der selektierte Bereich die identifizierte mittlere oder minimale verfügbare Bandbreite der Gruppe enthält; und einem einer Anzahl verschiedener Datenstromtypen (210, 220), wobei Schichten (211, 213–215, 221, 223–225) betreffender Stromtypen untereinander verschieden sind, so dass die identifizierte Fähigkeit des Empfängergastgebers (24, 250, 260) in der Gruppe verwendet wird zum Verarbeiten von Daten von selektierten Datenstromtyp; c) Mittel zum Codieren des Datenstroms auf vielerlei Weisen unter Verwendung von einigen der vielen verschiedenen Datenstromtypen (210, 220), die je den Vorteil eines bestimmten Bereichs an Bandbreiten oder eines Datenstromtyps haben, der selektiert worden ist oder der selektiert werden muss; und d) Mittel zum Übertragen bestimmter Ströme der codierten Datenströme, und zwar gleichzeitig über die Kopplungen, je zu dem Empfängergastgeber (24, 250, 260) in einer der Gruppen.
Computerlesbares Medium, das einen Computerprogrammcode enthält, wobei, wenn der Computerprogrammcode von einem Prozessor durchgeführt wird, der Prozessor ein Verfahren zum Übertragen von Videodaten durchführt, das die nachfolgenden Verfahrensschritte umfasst: a) das Identifizieren (306, 402) für jede einer Anzahl Gruppen von Empfängergastgebern (240, 250, 260), wobei einer des Satzes besteht aus: einer mittleren oder minimalen verfügbaren Bandbreite einer Kopplung, über die ein Datenstrom eines bestimmten Videosegmentes zu der Gruppe übertragen werden soll; und einer Fähigkeit eines Empfängergastgebers in der Gruppe, zu dem der Datenstrom übertragen werden soll; b) das Selektieren (308, 404) für jede der Anzahl Gruppen einer entsprechenden Gruppe des Satzes, der besteht aus: einem einer Anzahl vorbestimmter Bereiche von Bandbreiten, so dass der selektierte Bereich die identifizierte mittlere oder minimale verfügbare Bandbreite der Gruppe enthält; und einem einer Anzahl verschiedener Datenstromtypen (210, 220), wobei Schichten (211, 213–215, 221, 223–225) betreffender Stromtypen untereinander verschieden sind, so dass die identifizierte Fähigkeit des Empfängergastgebers (24, 250, 260) in der Gruppe verwendet wird zum Verarbeiten von Daten von selektierten Datenstromtyp; c) das Codieren (300, 406) des Datenstroms auf vielerlei Weisen unter Verwendung von einigen der vielen verschiedenen Datenstromtypen (210, 220), die je den Vorteil eines bestimmten Bereichs an Bandbreiten oder eines Datenstromtyps haben, der selektiert worden ist oder der selektiert werden muss; und d) das Übertragen (310, 408) bestimmter Ströme der codierten Datenströme, und zwar gleichzeitig über die Kopplungen, je zu dem Empfängergastgeber (24, 250, 260) in einer der Gruppen.
Signal, das mit Daten codiert ist, die einen Computerprogrammcode darstellen, wobei, wenn der Computerprogrammcode von einem Prozessor durchgeführt wird, der Prozessor ein Verfahren zum Übertragen von Videodaten durchführt, das die nachfolgenden Verfahrensschritte umfasst: a) das Identifizieren (306, 402) für jede einer Anzahl Gruppen von Empfängergastgebern (240, 250, 260), wobei einer des Satzes besteht aus: einer mittleren oder minimalen verfügbaren Bandbreite einer Kopplung, über die ein Datenstrom eines bestimmten Videosegmentes zu der Gruppe übertragen werden soll; und einer Fähigkeit eines Empfängergastgebers in der Gruppe, zu dem der Datenstrom übertragen werden soll; b) das Selektieren (308, 404) für jede der Anzahl Gruppen einer entsprechenden Gruppe des Satzes, der besteht aus: einem einer Anzahl vorbestimmter Bereiche von Bandbreiten, so dass der selektierte Bereich die identifizierte mittlere oder minimale verfügbare Bandbreite der Gruppe enthält; und einem einer Anzahl verschiedener Datenstromtypen (210, 220), wobei Schichten (211, 213–215, 221, 223–225) betreffender Stromtypen untereinander verschieden sind, so dass die identifizierte Fähigkeit des Empfängergastgebers (24, 250, 260) in der Gruppe verwendet wird zum Verarbeiten von Daten von selektierten Datenstromtyp; c) das Codieren (300, 406) des Datenstroms auf vielerlei Weisen unter Verwendung von einigen der vielen verschiedenen Datenstromtypen (210, 220), die je den Vorteil eines bestimmten Bereichs an Bandbreiten oder eines Datenstromtyps haben, der selektiert worden ist oder der selektiert werden muss; und d) das Übertragen (310, 408) bestimmter Ströme der codierten Datenströme, und zwar gleichzeitig über die Kopplungen, je zu dem Empfängergastgeber (24, 250, 260) in einer der Gruppen.