DE60211335T2

DE60211335T2 - Echtzeitpaketisierung und Wiederübertragung in Streaming Anwendungen

Info

Publication number: DE60211335T2
Application number: DE60211335T
Authority: DE
Inventors: Dmitri Loguinov
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-06-04
Filing date: 2002-06-04
Publication date: 2007-05-03
Anticipated expiration: 2022-06-05
Also published as: EP1397899A1; JP2004530388A; DE60211335D1; US20020181506A1; CN1513252A; KR20030020968A; WO2002100067A1; EP1397899B1; ATE326109T1; US7164680B2

Description

Die vorliegende Erfindung bezieht sich auf den Bereich der Übertragung eines Bitstroms über ein Kommunikationsmedium. Insbesondere bezieht sich die vorliegende Erfindung auf die Echtzeitübertragung digitaler Signale in Transportprotokollpakete.
Um codierte digitale Daten von dem einen System über ein Kommunikationsmedium zu einem anderen System zu übertragen ist es erforderlich, dass der Bitstrom als Lastdaten innerhalb des Lastteils der Transportprotokollpakete getragen wird. Dieser Prozess der Einfügung von Daten in ein Paket eines anderen Systems ist als "Einkapselung" bekannt und erfordert "Segmentierung" des Bitstroms an der Quelle in Pakete. Danach werden die segmentierten Bitströme am empfangenden Ende neu gegliedert. Auf diese Weise ermöglicht der Einkapselungsprozess, dass Mediendaten über ein Paketnetzwerk von der einen Stelle zu einer anderen übertragen werden.
Ein Echtzeittransportprotokoll (RTP) wird typischerweise angewandt zum Übertragen von Multimediadaten in einem Netzwerk, wie im Internet. Die Daten werden unter Anwendung einer speziellen Kompressionstechnik komprimiert und der komprimierte Datenstrom wird zur Übertragung über das Kommunikationsmedium in kleinere Pakete zerlegt. Dieser Prozess wird als "Paketierung" bezeichnet und der umgekehrt Prozess, d.h. das Zusammenfügen von Netzwerkpaketen zu einem kontinuierlichen Bytestrom, wird als "Entpaketierung" bezeichnet. Ein signifikantes Hindernis eines zuverlässigen Multimediastromes in Paketdatennetzwerken ist Paketverlust. Paketverlust tritt auf wegen einer begrenzten Pufferung und wegen begrenzter Verarbeitungsfähigkeiten von Netzwerkknoten, und in geringerem Maße, wegen Bitfehler in physikalischen Kopplungen. In 1 benutzen viele Echtzeitapplikationen, die übers Internet angewandt werden, negative Bestätigungsnachrichten, die von dem Kunden gesendet werden um zu ermitteln, ob eine Neuübertragung erforderlich ist. Wie in 1 dargestellt, sendet, wenn Paketverlust während der Übertragung auftritt, der Kunde in einer Streaming-Session eine negative Bestätigung (NACK) in Reaktion auf jedes verloren gegangene Paket. Das NACK Paket enthält die Folgenummer des Pakets, das von dem Server neu übertragen werden soll. Da der Datenstrom typischerweise vor der Übertragung vorpaketiert wird, kann der Server immer das erforderliche Paket aus dem Speicher (d.h. aus der Datei) suchen und dem Kunden abermals zusenden.
Papadopoulos C: "Error control for continuous media and large-scale multicast applications", August 1999 (1999-08), Dissertation, Saint Louis, Missouri (USA), URL: http://siesta.cs.wustl.edu/cs/cs/publications.html. beschreibt Verfahren und Geräte zum Übertragen eines Multimediabitstroms in Echtzeit. Es wird dabei ein Neuübertragungsschema vorgeschlagen, wobei Neuübertragung und Puffer verwendet werden zum Ermöglichen von Neuübertragung um Reisezeiten herum.
2 zeigt eine herkömmliche Struktur eines paketierten Stromes, der zur Neuübertragung verwendet wird. Unter Verwendung statischer Header-Information können der Stromheader sowie Paketdaten von einer Stelle innerhalb der Datei erfasst werden. In dem vorliegenden Fall kann, mit Kenntnissen des Offsets OFF_i des Pakets i innerhalb der entsprechenden Datei FILE_i und der Größe S_i des Pakets, der Server auf einfache Art und Weise das Paket i bei Empfang eines NACKs für das Paket i neu übertragen. Dazu braucht der Server nur die drei Sätze relatierter Information (FILE_i, OFF_i, S_i) über jedes Paket zu kennen, die oft in einer Datei der Session mit der Bezeichnung "meta-file" gespeichert sind.
In dem Fall, dass der Server "Echtzeit" (d.h. "im Flug") Paketierung des Multimediastromes implementiert, wird die Unterstützung für Neuübertragung unter Anwendung dieses Verfahrens schwieriger, da jeder Strömungsheader statisch ist und sich nicht ändert, wenn der Server ihn zum Kunden hin überträgt.
Echtzeitpaketisierung ist beispielsweise notwendig, wenn der Server Daten von einer "live source" (d.h. direkte Fernsehübertragung) überträgt, oder wenn der Server den Strom mitten in einer Übertragung ändern muss (d.h. die Größe jedes Bildes an die verfügbare Bandbreite anpassen muss). Bei Echtzeitpaketisierung entscheidet der Server beliebig die Zusammensetzung jedes Pakets zu dem betreffenden Übertragungszeitpunkt; auf diese Weise kann der Server keineswegs die Headerinformation aus einer Folgenummer in dem von dem Kunden empfangenen NACK rekonstruieren. Auf diese Weise ist, wenn das herkömmliche Verfahren bei der Echtzeitpaketisierung angewandt wird, die Unterstützung für Neuübertragung unerreichbar, da es keine bekannte Kenntnisse über den Headerinhalt jedes gesendeten Pakets gibt. Ein weiterer Nachteil des herkömmlichen Verfahrens ist, dass der Server meistens gezwungen wird, Pakete zu übertragen, deren Größe geringer ist als die in dem betreffenden Protokoll erlaubte maximale Paketgröße. Die Folge ist verschwendete Bandbreite von entfernten Teilen der nicht verwendeten Paketlast.
Auf entsprechende Art und Weise gibt es ein Bedürfnis danach, ein effizienteres Verfahren und effizientere Apparatur zu schaffen zum Schaffen von Echtzeitpaketisierung zum Übertragen von Multimediadatenströmen mit einem niedrigeren Overhead und zum Erlauben der Neuübertragung verloren gegangener Pakete, während Echtzeitpaketisierung unterstützt wird.
Die vorliegende Erfindung bezieht sich auf ein Verfahren und ein System nach den beiliegenden Hauptansprüchen zum Unterstützen von Echtzeitpaketisierung von Multimediainformation und zur Neuübertragung verloren gegangener Multimediapakete über ein Paketnetzwerk nach den beiliegenden Hauptansprüchen.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 Datenströme in der UDP Kommunikationsumgebung,
2 Header vorpaketierter Ströme nach einem herkömmlichen Verfahren,
3 die Beziehung eines Servers und eines Kunden zu einem Paketnetzwerk nach der vorliegenden Erfindung,
4 das Format der Echtzeitpaketisierung nach der vorliegenden Erfindung,
5 die Struktur einer Neuübertragungsliste nach der vorliegenden Erfindung,
6 ein System nach einer Ausführungsform der vorliegenden Erfindung, und
7 ein Flussdiagramm der Verfahrensschritte nach der vorliegenden Erfindung.
In der nachfolgenden Beschreibung sind zur Erläuterung statt zur Begrenzung, bestimmte Einzelheiten beschrieben, wie die bestimmte Architektur, Schnittstellen, Techniken usw. um ein gutes Verständnis der vorliegenden Erfindung zu ermöglichen. Es dürfte aber dem Fachmann einleuchten, dass die vorliegende Erfindung auch in anderen Ausführungsformen, die von diesen spezifischen Einzelheiten abweichen, angewandt werden kann. Weiterhin ist der Deutlichkeit halber auf detaillierte Beschreibungen durchaus bekannter Anordnungen, Schaltungen und Verfahren verzichtet, damit die Beschreibung der vorliegenden Erfindung nicht durch unnötige Einzelheiten getrübt wird.
In 3 wird nach der Ausführungsform der vorliegenden Erfindung eine Multimediadatei in Paketen übertragen, wobei jedes Paket wenigstens einen Header und ein Informationsfeld aufweist, und zwar von einem Server 12 zu einem Kunden 14 über ein Paketnetzwerk 16. Um dies zu erreichen wird Echtzeitpaketisierung durchgeführt, wobei jedes übertragene Paket einen Header hat, der von dem Server 12 zu dem Übertragungszeitpunkt geschaffen wird. Je nach dem betreffenden angewandten Protokoll kann ein Paket eine feste oder eine variable Länge haben. Die Streamingrate von dem Server 12 kann von dem Kunden 14 auf Basis wenigstens eines vorbestimmten Bandbreitenbudgets beim Server 12 und einer geschätzten Informationsverlustrate in dem Paketnetzwerk 16 gesteuert werden.
4 zeigt ein Echtzeitpaket 20, konstruiert von dem Server 12 zu dem Zeitpunkt der Übertragung nach der Ausführungsform der vorliegenden Erfindung. Das Echtzeitpaket 20 umfasst verschiedene Objekte, Objektschichten oder verschiedene Frames als Teil eines einzigen Pakets. Die Zusammensetzung jedes Pakets 20 wird von dem Server zu dem Zeitpunkt der Übertragung dynamisch durchgeführt. Das heißt, der Server 12 entscheidet, wie viele und welche Objekte, Schichten oder Frames er in ein bestimmtes Paket einfügt, sowie, welcher Prozentsatz jedes Frames zu dem Zeitpunkt der Übertragung eingefügt werden soll. Außerdem können Daten von jedem Objekt, von jeder Schicht oder von jedem Frame (kollektiv als "Subpakete" bezeichnet) ihren eigenen Subheader in dem Paket 20 enthalten, und verschiedene Subpakete eines Pakets können zu dem Übertragungszeitpunkt nach der vorliegenden Erfindung von verschiedenen Dateien herrühren. Es sei bemerkt, dass es, obschon Echtzeitpaketisierung die Struktur jedes Pakets komplizierter macht, ermöglicht wird, dass der Server 12 live Ströme überträgt, die Senderate entsprechend einem Stausteuerschema einstellt und jedes Paket bis zur maximalen erlaubten Größe füllt. Dadurch, dass jedes Paket bis maximal gefüllt wird, werden ein niedrigerer Bandbreitenoverhead und eine größere Robustheit der Paketpaarbandbreitenschätzungsverfahren (jede Paketgröße ist gleich) erreicht. Folglich schafft, anders als bei dem bekannten Verfahren, die vorliegende Erfindung eine bessere Bandbreitenbenutzung zu dem Zeitpunkt der Übertragung, da viele Frames in demselben Paket übertragen werden können.
Da Multimediadaten speicherintensiv sind, erfordern derartige Daten große Mengen Speicherraum zur Speicherung und zur Verwendung durch ein Computersystem. Auf diese Weise kann die Speicherung übertragener Daten in dem örtlichen Speicher des Servers teuer sein und kann die Fähigkeit begrenzen, derartige Daten zur Neuübertragung zu schaffen. Zum Reduzierender Speicheranforderungen bei der Arbeit mit dieser Art von Daten ist das Schema nach der vorliegenden Erfindung derart, dass weniger Speicherraum erforderlich ist zum Speichern von Neuübertragungsinformation und eine bessere Benutzung der Bandbreite verwirklicht werden kann. Die Implementierung der von dem Kunden 14 während einer Applikation einer Echtzeitpaketisierung beantragten Neuübertragung wird nachstehend erläutert.
Wie oben bereits erwähnt, wird die Schwierigkeit der Neuübertragung von Paketen, beantragt von dem Kunden 14 in einem Echtzeitpaketierungsprozess verursacht durch die Tatsache, dass der Server 12 keine Möglichkeit hat, die Headerinformation aus einer Folgenummer in einem empfangenen NACK Paket zu rekonstruieren; und diese Information ist auch nicht in der Metadatei gespeichert, da diese Information im Voraus nicht bekannt ist, weil der Server 12 die Zusammensetzung jedes Pakets dynamisch zu dem Zeitpunkt der Übertragung beliebig entscheidet. Nach der vorliegenden Erfindung ist, da der Server 12 die Zusammensetzung jedes Pakets nur dann kennt, wenn das Paket zu dem Kunden 14 übertragen worden ist, der Server 12 mit einem örtlichen Speicher (d.h. RAM) versehen um die dynamischen Werte jedes Pakets eine vorbestimmte Zeitperiode fest zu halten. Folglich ist in dem Fall, dass die Neuübertragung eines Pakets erforderlich ist, kann der Server das erforderliche Paket aus dem örtlichen Speicher erfassen.
Wie in 5 dargestellt, wird nach der Übertragung des Pakets i, der Server 12 die nachfolgende Information in die örtliche gekoppelte Neuübertragungsliste 30 einfügen: (1) die Übertragungszeit T_i, die die Zeit des örtlichen Taktgebers darstellt, wo der Server 12 das Paket i übertrug; (2) die Anzahl Subpakete n(i) in dem Paket i; (3) den ganzen Strömungsheader des Pakets i, als HDR_i bezeichnet; (4) alle Subheader innerhalb des Pakets i (d.h. alle n(i) Subheader SubHdr₁ ... SubHdr_n(i), die zu dem Listenelement 30 hinzugefügt werden; (5) einen einzigartigen Identifizierer der Datei, FILE₁ ... FILE_n(i), für jedes Subpaket, wo das Subpaket gefunden werden kann – dies könnte ein Dateizeiger, eine Dateinummer, eine Objektnummer, eine Objektschichtnummer oder jeder beliebige andere Index sein, der einzigartig die Datei identifiziert, in dem Subpaketdaten gefunden werden können; und (6) den Offset innerhalb der entsprechenden Datei, wo die Daten für jedes Subpaket gefunden werden können, OFF₁ ... OFF_n(i). Alle diese sechs Elemente sind in der gekoppelten Liste 30 vorgesehen und die Elemente werden an das Ende der Liste 30 einge fügt und an der Oberseite der Liste 30 entfernt. Für aufeinander folgende übertragene Pakete kann die Liste 30 konsekutiv sein und Kopien übertragener Paketheader (oder Pakete selber) werden in einem Speicher beim Server 12 gespeichert um eine Neuübertragung zu erleichtern (im Falle einer live Videoquelle, werden ganze Pakete statt Header in der gekoppelten Liste gespeichert). Die Größe des Speichers ist vorbestimmt und ist abhängig von der Reiseverzögerung und der beabsichtigten Anzahl Neuübertragungsversuche.
Nach der vorliegenden Erfindung werden verloren gegangene Pakete dadurch wiederhergestellt, dass das verloren gegangene Paket unter Verwendung der Elemente der gekoppelten Liste und der entsprechenden Diskvideodateien (Diskdateien sind im Falle von live Quellen nicht anwendbar) konstruiert wird. Als Schlüsselteil der vorliegenden Erfindung basieren Neuübertragungsentscheidungen auf der Dauer dynamische Paketinformation die in dem Speicher gespeichert ist. Der Einfachheit halber wird die Lebensdauer (d.h. die maximale Haltezeit) jeder Headerinformation eines Pakets zu dem Zeitpunkt t als MH(t) bezeichnet. In der Ausführungsform der vorliegenden Erfindung wird die Dauer der Beibehaltung dynamischer Pakete beim Server 12 durch den Kunden 14 bestimmt (was nachstehend noch näher erläutert wird) und zwar auf Basis wenigstens des vorbestimmten Verzögerungsbudgets und der geschätzten Reiseverzögerung in dem Paketnetzwerk. Die bestimmte Dauer MH(t) wird danach durch den Kunden 14 zu dem Server 12 zurückbefördert. Ein Schlüsselaspekt der vorliegenden Erfindung ist das Verfahren der Ermittlung, wie lange die Kopien von Paketen, die in dem Server 12 gespeichert sind, für Neuübertragungszwecke beibehalten werden sollen.
Zum Unterstützen der Kommunikation des Wertes von MH von dem Kunden 14 zu dem Server 12 benutzt die vorliegende Erfindung drei Nachrichtentypen, die dem Server 12 von dem Kunden 14 aus zugesendet werden. Der erste Nachrichtentyp (MSG_STREAM) wird angewandt zum Auslösen des Streamings, wobei diese Information in allen Streamingprotokollen vorhanden ist. Der zweite Nachrichtentyp, MSG_NACK, ist ein regelmäßiger NACK Antrag zur Neuübertragung. NACK Nachrichten sind auch in allen NACK basierten Applikationen vorhanden. Der dritte Nachrichtentyp MSG_ALIVE, ist eine Wachhaltungsnachricht, die alle T_a Sekunden dem Server 12 von dem Kunden 14 zugesendet wird um anzugeben, dass der Kunde 14 nicht abgestürzt ist und immer noch Konnektivität mit dem Server hat. Die empfohlenen Werte von T_a liegen zwischen 10 und 60 Sekunden.
In der vorliegenden Erfindung benutzt der Server 12 den jüngsten empfangenen Wert von MH nach dem Empfang des entsprechenden Kundenpakets über jede der oben genannten Nachrichten.
Nachstehend folgt eine detaillierte Beschreibung des Ausführungsbeispiels der vorliegenden Erfindung zum Unterstützen von Echtzeitpaketisierung und Neuübertragung verloren gegangener Pakete.
Eine Ausführungsform der vorliegenden Erfindung kann als Computersoftware in Form eines Computerprogrammcodes implementiert werden, durchgeführt in einem Allzweckcomputer, wie dem Serversystem 12 und dem Kundensystem 14, dargestellt in 6. Diese spezielle Ausführungsform der vorliegenden Erfindung, dargestellt in 6, erzeugt einen codierten Multimediabitstrom und kapselt den codierten Multimediabitstrom in Pakete eines Transportprotokolls ein, überträgt danach die resultierenden Transportprotokollpakete über ein Paketnetzwerk 16. Dazu führt das Serversystem 12 ein Programm durch zum Codieren von Eingangsdatensignalen und Segmenten des codierten Multimediabitstroms in Pakete eines bestimmten Transportprotokolls zur Übertragung. Um dies zu erreichen umfasst das Serversystem 12 einen Paketierer 40, einen Paketpuffer 42, einen Paketsender 44 und einen Neuübertragungsprozessor 46, alle mit einem (nicht dargestellten) bidirektionalen Systembus zusammen mit der (nicht dargestellten) CPU gekoppelt. Das Serversystem 12 schafft eine Zweiwegdatenkommunikationskopplung über ein Paketnetzwerk 16 zu dem Kundensystem 14. Drahtlose Kopplungen sind auch möglich. In jeder derartigen Implementierung sendet und empfängt das Serversystem 12 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme tragen, die mehrere Informationstypen darstellen. Es sei bemerkt, dass die oben beschriebenen Computersysteme nur als Beispiele gegeben sind. Der Einfachheit und der Deutlichkeit halber ist auf durchaus bekannte Anordnungen, Schaltungen und Verfahren in Bezug auf diesen Typ von Systemen verzichtet. Folglich kann die Ausführungsform der vorliegenden Erfindung in jedem beliebigen Computersystem oder in jeder beliebigen Programm- oder Verarbeitungsumgebung implementiert werden.
In 6 paketiert das Serversystem 12 eintreffende Multimediabitströme unter Verwendung des Paketierers 40. Der Paketpuffer 14, d.h. ein Speicher mit beliebigem Zugriff (RAM) oder eine andere dynamische Speicheranordnung, ist betriebsfertig mit dem Ausgang des Paketierers 40 gekoppelt zum Speichern einer Folge von Paketen und Instruk tionen, die von der (nicht dargestellten) CPU des Serversystems 12 durchgeführt werden müssen. Der Paketpuffer 42 kann auch zur Speicherung vorübergehender Variablen oder anderer Zwischeninformation während der Durchführung von Instruktionen durch den Neuübertragungsprozessor 46. Der Neuübertragungsprozessor 46 ist mit dem Paketpuffer wirksam gekoppelt und wird zum Ordnen der Übertragung eines verloren gegangenen Pakets aus dem Paketpuffer 42 benutzt. Der Paketsender 44 überträgt die dynamischen Pakete 20, die in dem Paketpuffer 42 gespeichert sind, zu dem Kunden 14.
In 6 umfasst das Kundensystem einen Paketpuffer 48, einen Entpaketierer 50, einen Paketprozessor/Fehlerdetektor 52, und einen Neuübertragungsverwalter 54. Der Paketsender 44 erfasst Pakete aus dem Paketpuffer 42 in der Folge und überträgt sie zu dem Paketnetzwerk 16 mit derselben Strömungsrate wie die Pakete erzeugt werden. Jedes von dem Serversystem 12 gesendete Paket wird von dem Paketpuffer 48 empfangen, und. Abhängig von dem Codierungstyp stellt der Entpaketierer 50 die eintreffenden Pakete zu einem kontinuierlichen Bytestrom zusammen. Um dies zu bewerkstelligen extrahiert der Paketprozessor 52 die Folgenummer jedes Pakets und ermittelt, ob Pakete ggf. in der Folge eingetroffen sind. Wenn einmal ein Paketverlust detektiert wird, informiert der Paketprozessor 52 den Neuübertragungsverwalter 54 darüber, welches Paket verloren gegangen ist. Der Neuübertragungsverwalter 54, der zum Empfangen der Information über verlorene Pakete mit dem Paketprozessor 52 wirksam gekoppelt ist, sendet daraufhin Steuernachrichten zu dem Neuübertragungsverwalter 46 des Serversystems 12. Ein Typ dieser Steuernachrichten ist ein "Neuübertragungsantrag", der dem Serversystem 12 die Identität des verloren gegangenen Pakets und die Anzahl zur Neuübertragung beantragter Kopien mitteilt. Daraufhin erfasst der Neuübertragungsprozessor 46 das beantragte Paket, das in dem Paketpuffer 42 gespeichert ist, und überträgt es aufs neue.
7 ist ein Flussdiagramm, das die Verfahrensschritte der Verwirklichung von Echtzeitmultimediastreaming und Neuübertragung nach der vorliegenden Erfindung illustriert. In dem Schritt 100 empfängt der Server 12 Multimediadaten und paketiert mehrere Datentypen aus den verschiedenen Schichten zu geeignet bemessenen Einheiten zur Übertragung, wie in 4 dargestellt. In dem Schritt 200 wird, nach der Paketübertragung, der Inhalt jedes Paketheaders und jedes Subheaders in einer gekoppelten Neuübertragungsliste 30 gespeichert und zwar für eine vorbestimmte Periode in einem Speichermedium. Danach erfasst, wenn ein Antrag zur Neuübertragung von dem Kunden 14 empfangen wird, der Server 12 das betreffende Paket auf Basis des gespeicherten Paketheaders und der Subheaderinformation und überträgt das ganze Paket aufs neue zu dem Kunden 14. Inzwischen ermittelt, in dem Schritt 300, der Kunde eine Schwellenzeitperiode, MH(t), die verwendet wird zum Aktualisieren des Inhaltes des Speichers.
In dem Verfahrensschritt 400 wird der Entfernungsprozess wie folgt durchgeführt. Für jedes Element in der gekoppelten Neuübertragungsliste 30 wird das Alter jedes Elementes i untersucht und mit dem Wert der durch den Kunden 14 bestimmten maximalen Haltezeit MH(t) verglichen, wobei t die aktuelle Zeit ist. Wenn das Alter des Elementes i, d.h. (t-T_i), wobei T_i die Zeit ist, wo das Element i in die gekoppelte Liste gebracht wurde, größer ist als MH(t), dann wird Item i aus der gekoppelten Neuübertragungsliste 30 entfern um den Speicher frei zu machen, und der Server fährt zu dem nächsten Element. Sonst wird der Entfernungsprozess beendet. Nachdem jedes Paket übertragen und zu der gekoppelten Neuübertragungsliste 30 hinzugefügt worden ist, geht der Server 12 über die Neuübertragungsliste 30 alle T Sekunden, oder alle N übertragenen Pakete (welches Verfahren der Server 12 anzuwenden auch entscheiden mag) und entfernt die Elemente mit "abgelaufenen" Zeitmarkierungen. In dem vorliegenden Fall liegen empfohlene Werte von T zwischen 100 ms und 10 Sekunden und die empfohlenen Werte von N liegen zwischen 1 und 100. Wenn der Server 12 während der Übertragung von Paketen (wie zwischen den Bursts) auf leere Perioden stößt, kann die Entfernung alter Elemente in der Neuübertragungsliste 30 während derartiger Leerperioden erfolgen.
Die Berechnung von MH(t), durchgeführt von dem Kunden 14, wird nachstehend erläutert. Die gekoppelte Neuübertragungsliste 30 erfordert einen bestimmten Betrag an Serverspeicherraum für jede Session, an der der Server 12 beteiligt ist. Wenn die Neuübertragungsliste 30 zu kurz ist, werden viele NACKs Pakete angeben, die bereits aus der Liste 30 entfernt worden sind und folglich wird der Server 12 die erforderliche Neuübertragung nicht durchführen. Dies wird an sich dann wieder zu einem Unterfluss von Ereignissen und zu einer schlechten Qualität des Multimediainhaltes bei dem Kunden 14 führen. Auf gleiche Weise ist eine Minimierung der Anzahl Elemente in der Neuübertragungsliste 30 während jeder Session höchst unerwünscht. Folglich führt die Tatsache, dass die Neuübertragungsliste 30 zu lang oder zu kurz gemacht wird, zu negativen Folgen.
Nach der vorliegenden Erfindung benutzt der Server 12 immer den jüngsten empfangenen Wert von MH als aktuellen Wert von MH(t) zu jeder Zeit t nach dem Emp fang des entsprechenden Kundenpakets. In dem vorliegenden Fall trägt das MSG_STREAM, das MSG_NACK oder das MSG_ALIVE Paket den Wert MH, der von dem Kunden 14 wie folgt berechnet wird: MH = [∀i : max{GOPi + MDi + Dbudget}] + RTT0 (1)
Typischerweise besteht der Multimediastrom aus mehreren Schichten. Die Schichten können zu verschiedenen Medientypen gehören (Video, Audio, Text usw.) und es kann verschiedene Schichten geben für jeden beliebigen Medientyp. In der Gleichung (1) ist GOP_i die GOP-Länge ("Group of Pictures") (in Zeiteinheiten) der Schicht i (für Medien, die nicht GOPs unterstützen, ist GOP_i die Dauer eines einzigen Frames oder einer Zugriffseinheit). MD_i ist die maximale Decodierungsverzögerung der Schicht i. Dieser Wert wird dadurch ermittelt, dass entweder der bestehende Videostrom analysiert und die maximale Zeit berechnet wird, dass ein einziges Frame in dem Decoderpuffer bleibt, oder durch Einengung eines (möglicherweise Echtzeit-) Codierers auf ein bestimmtes Puffermodell, das gewährleistet, dass die wirkliche Decodierverzögerung den Wert MD_i nicht übersteigen wird. D_budget ust der Wert einer zusätzlichen Startverzögerung, die der Kunde plant um nach der idealen Startverzögerung einzufügen. Bei Videostreaming muss der Kunde 4 eine gewisse Zeit warten, bevor jede Schicht decodiert ist. Diese Zeit wird als ideale Startverzögerung der Schicht bezeichnet.
RTT₀ ist die Ausgangsschätzung der Reiseverzögerung. RTT₀ kann auf der Reaktionszeit des Servers auf das MSG_STREAM Paket oder auf einem festen Wert basieren. In dem letzteren Fall liegen die empfohlenen Werte zwischen 2 und 15 Sekunden. MH soll als der maximale Betrag an Zeit betrachtet werden, die der Kunde 14 braucht um jedes beliebige einzelne verloren gegangene Paket plus der Ausgangsschätzung der Reiseverzögerung. Die Rundreiseverzögerung wird der Formel hinzugefügt, weil die Wiederherstellung eines verloren gegangenen Pakets vom Gesichtspunkt des Servers RTT₀ Zeiteinheiten länger bestehen kann, und zwar wegen der oft auftretenden Einwegverzögerungen.
Derselbe Wert von MH, gegeben durch (1) wird in allen MSG_NACK und MSG_ALIVE Paketen getragen, bis die mit D_budget assoziierte Verzögerung vorüber ist (siehe unten). Wegen eines langen Einwegverzögerungsjitters kann es für den Kunden länger als die D_budget Zeiteinheiten dauern, bis alle notwendigen mit dem Verzögerungsbudget assoziierten Bits empfangen werden. Folglich wird das von dem Kunden für die Schicht i eingeführte wirkliche Verzögerungsbudget als ADB_i bezeichnet und kann länger dauern als der Zielwert von D_budget. Wenn das Verzögerungsbudget vergangen ist (nachstehend näher erläutert) und die Decodierung des Stromes beginnt, tragen alle MSG_NACK und MSG_ALIVE Pakete den nachfolgenden Wert von MH: MH = [∀i : max{GOPi + MDi + ADBi}] + RTTlast (2)wobei RTT_last die jüngste Schätzung der Rundreiseverzögerung ist.
Nachstehend wird die Berechnung von ADB_i erläutert. Es wird nun vorausgesetzt, dass das erste Paket der Schicht i von dem Kunden 14 zu dem Zeitpunkt TF_i empfangen wird. Bei der vorliegenden Erfindung muss der Kunde 14 P_i Bits von der Schicht i empfangen, bevor er die Decodierung des Stromes starten wird: Pi = (ISi + Dbudget)·ri (3)wobei r_i die ideale Videorate der Schicht i ist, und IS_i die ideale Startverzögerung der Schicht i ist. In dem Stand der Technik wartete der Kunde 14 genau IS_i+ D_budget) Zeiteinheiten nach dem Empfang des ersten Pakets von der Schicht i und signalisierte danach die Bereitschaft der i der Schicht. Aber wegen eines langen Netzwerkverzögerungsjitters ist es möglich, dass nicht alle notwendigen Bits während dieser Zeit in dem Decoderpuffer sein werden. Folglich ermöglicht das erfindungsgemäße Verfahren eine größere Variation der Einwegverzögerung und ist nach wie vor robuster, wenn über Netzwerk mit unvorhersagbaren Verzögerungen, wie das Internet angewandt.
Mit der oben stehenden Definition von P_i signalisiert die Schicht i ihre Bereitschaft, wenn alle P_i Bits der Schicht i von dem Kunden empfangen worden sind. Zum Schluss wird vorausgesetzt, dass TE die Zeit ist, wenn alle Schichten Bereitschaft signalisieren. Folglich wird für jede Schicht das wirkliche Verzögerungsbudget wie folgt berechnet: ADBi = TE – TFi – ISi. (4)
Zu dem Zeitpunkt TE, wo die Decodierung des Stromes anfängt, berechnet der Kunde 14 den Wert von MH entsprechend der Formel (2) aufs neue und sendet diesen zu dem Server. Der Kunde 14 aktualisiert den Wert von MH in (2) wenn neue Abtastwerte von RTT verfügbar werden. Folglich tragen alle neuen NACKs und Aktualisierungsnachrichten den jüngsten MH mit dem aktualisierten RTT_last.
Zusammenfassend: die vorliegende Erfindung schafft neue Mechanismen für Echtzeitstreaming einer Multimediadatei, die in einem Fernserver 12 gespeichert ist über ein Paketnetzwerk zu einem Multimedienkunden. Die vorliegende Erfindung erreicht signi fikante Leistungsverbesserungen, wenn in NACK-basierten Protokollen angewandt. Weil auf diese Art und Weise eine bevorzugte Ausführungsform zum Verwalten von Neuübertragung über eine digitale Kommunikationskopplung beschrieben worden ist, dürfte es dem Fachmann einleuchten, dass bestimmte Vorteile des Systems erreicht worden sind. Obenstehendes soll als ein Ausführungsbeispiel der vorliegenden Erfindung betrachtet werden.
Text in der Zeichnung
1

Eintreffzeit
Verloren
Gesendete Bestätigung
Frame 3 hat einen Fehler

2

Neuübertragung unter Verwendung statischer Header vorpaketierter Ströme

3

Speicher
Operationssystem
Zugriffskopplung
Paketnetzwerk
Zugriffskopplung
Kundensystem

4

Echtzeitpaketierung

5

Zeiger zu dem nächsten Element
Ende
Struktur der gekoppelten Neuübertragungsliste

6

Multimediabitstrom
Paketierer
Paketpuffer
Neuübertragungsprozessor
Paketsender
Paketnetzwerk
Neuübertragungsverwalter
Paketprozessor/Fehlerdetektor
Entpaketierer
Paketpuffer
Kunde

7

100 Jedes Paket bis maximal erlaubte Größe füllen und übertragen
200 Nach der Paketübertragung den Inhalt jedes Paketheaders und jedes Subheaders in einem Speicher vorspeichern
300 Den Speicher jede vorbestimmte Periode aktualisieren
400 Die Paketheaderinformation entfernen, wenn die Lebensdauer des Pakets eine Schwelle übersteigt.

Claims

Verfahren zum Übertragen eines Multimediabitstroms in Echtzeit zwischen einem Serversystem (12) und einem Kundensystem (14) über ein Paketnetzwerk (16), wobei das Verfahren die nachfolgenden Verfahrensschritte umfasst: a) Paketisierung des genannten Multimediabitstroms zu einer Anzahl Pakete, bestehend aus Schichten entsprechend einem vorbestimmten Schema, b) Speicherung von Kopien der vielen Pakete während einer vorbestimmten Zeitperiode; und c) Entfernung jeder der Kopien der vielen Pakete, für welche die Lebensdauer der einen Kopie länger ist als die genannte vorbestimmte Zeitperiode, d) Übertragung der genannten gespeicherten Pakete nacheinander zu dem genannten Kundensystem (14); e) Sendung von Neuübertragungsanträgen zu dem genannten Server (12), wobei die genannten Neuübertragungsanträge bei Detektion eines verloren gegangenen Pakets gesendet werden, und f) Neuübertragung von Kopien verloren gegangener Pakete zu dem Kundenserver (14); dadurch gekennzeichnet, dass die genannte vorbestimmte Zeitperiode durch das genannte Kundensystem (14) aktualisiert wird, und zwar auf Basis einer Gleichung der nachfolgenden Form: MH = [∀i : max{GOPi + MDi + ADBi}] + RTTlast wobei MH die vorbestimmte Zeit ist, wobei GOP_i die Schichtlänge i der Gruppe von Bildern ist, wobei MD_i die maximale Decodierungsverzögerung der Schicht i ist, wobei ADB_i eine wirkliche Verzögerung, eingeführt durch das genannte Kundensystem (14) für die Schicht i ist, und wobei RTT_last die letzte Schätzung der Umgangsverzögerung zwischen dem genannten Kundensystem (14) und dem genannten Serversystem (12) ist.
Verfahren nach Anspruch 1, wobei der Schritt der Entfernung von Kopien das Entfernen der vielen genannten Pakete umfasst, wenn die Lebensdauer einer der Kopien der genannten Pakete größer ist als die genannte vorbestimmte Zeitperiode.
Verfahren nach Anspruch 1, wobei die genannte ADB_i berechnet wird, und zwar auf Basis der nachfolgenden Beziehung: ADBi = TEi – TFi – ISi,wobei TE die Zeit ist, wenn alle Schichten Signalbereitschaft haben, wobei TF_i das erste Paket der Schicht i ist, das in dem genannten Kundensystem (14) empfangen worden ist, und wobei IS_i die ideale Aufstartverzögerung der Schicht i ist.
Kundensystem (14) zum Empfangen einer Multimediadatei in Echtzeit von einem Fern-Puffer aus einem Serversystem (12), wobei das genannte Kundensystem (14) und das genannte Serversystem (12) mit einem Paketnetzwerk verbunden sind, wobei das genannte System Folgendes umfasst: – einen Paketpuffer (48), der betriebsfähig gekoppelt ist zum Speichern eintreffender Pakete, bestehend aus Schichten, die von dem genannten Serversystem gesendet worden sind; – einen Zerleger (56) zum Zusammensetzen der genannten eintreffenden Pakete zu einem kontinuierlichen Bitstrom; – einen Paketprozessor (52) betriebsfähig gekoppelt mit dem genannten Zerleger (56) zum Detektieren verloren gegangener Pakete; und – einen Neuübertragungsverwalter (54), der mit dem genannten Paketprozessor (52) betriebsfähig gekoppelt ist, und zwar zum Senden von Neuübertragungsanträgen zu dem genannten Serversystem (12) bei Detektion der genannten verloren gegangenen Pakete, dadurch gekennzeichnet, dass eine maximale Haltezeit für Kopien der genannten eintreffenden von dem genannten Serversystem (12) zu puffernden Pakete dem genannten Serversystem (12) auf Basis der nachfolgenden Beziehung zugesendet wird: MH = [∀i : max{GOPi + MDi + ADBi}] + RTTlast,wobei MH die maximale Haltezeit ist, wobei GOP_i die Schichtlänge i der Gruppe von Bildern ist, wobei MD_i die maximale Decodierungsverzögerung der Schicht i ist, wobei ADB_i eine wirkliche Verzögerung, eingeführt durch das genannte Kundensystem (14) für die Schicht i ist, und wobei RTT_last die letzte Schätzung der Umgangsverzögerung zwischen dem genannten Kundensystem (14) und dem genannten Serversystem (12) ist.
Kundensystem nach Anspruch 4, wobei das System ein Mittel aufweist zum Berechnen der Präsentationszeit für Kopien der genannten eintreffenden Pakete in dem genannten Paketpuffer (48).
Kundensystem (14) nach Anspruch 4, wobei die genannte ADB_i auf Basis der nachfolgenden Beziehung berechnet wird: ADBi = TE – TFi – ISi wobei TE die Zeit ist, wenn alle Schichten Signalbereitschaft haben, wobei TF_i das erste Paket der Schicht i ist, das in dem genannten Kundensystem empfangen worden ist, und wobei IS_i die ideale Aufstartverzögerung der Schicht i ist.
Serversystem (12) zum Übertragen einer Multimediadatei, die in dem genannten Serversystem (12) gespeichert ist zu einem Kundensystem (14), wobei das genannte Kundensystem (14) und das genannte Serversystem (12) mit einem Paketnetzwerk (16) verbunden ist, wobei das genannte Serversystem (12) Folgendes umfasst: – einen Paketierer (40) zum Paketieren eintreffender Multimediabitströme zu einer Anzahl Pakete, bestehend aus Schichten entsprechend einem vorbestimmten Schema, – einen Paketpuffer (42), der betriebsfähig mit dem Paketierer (40) gekoppelt ist, und zwar zum Speichern von Kopien der vielen Pakete während einer vorbestimmten Zeitperiode, – einen Paketsender (44), der betriebsfähig mit dem Paketpuffer (42) gekoppelt ist zum Übertragen der genannten Pakete nacheinander zu dem genannten Kundensystem (14), und – einen Neuübertragungsprozessor (46), der betriebsfähig mit dem genannten Paketpuffer (42) und mit dem genannten Paketsender (44) gekoppelt ist zur Neuübertragung von Kopien verloren gegangener Pakete zu dem genannten Kundensystem (14) bei Empfang eines Neuübertragungsantrags von dem Kundensystem, wobei der genannte Neuübertragungsprozessor (54) jede der Kopien der vielen Pakete entfernt, für welche die Lebensdauer der einen Kopie größer ist als die genannte vorbestimmte Zeitperiode, dadurch gekennzeichnet, dass die genannte vorbestimmte Zeitperiode durch das genannte Kundensystem bestimmt wird, und zwar auf Basis der nachfolgenden Beziehung: MH = [∀i : max{GOPi + MDi + ADBi}] + RTTlast wobei MH die vorbestimmte Zeit ist, wobei GOP_i die Schichtlänge i der Gruppe von Bildern ist, wobei MD_i die maximale Decodierungsverzögerung der Schicht i ist, wobei ADB_i eine wirkliche Verzögerung, eingeführt durch das genannte Kundensystem für die Schicht i ist, und wobei RTT_last die letzte Schätzung der Umgangsverzögerung zwischen dem genannten Kundensystem und dem genannten Serversystem (12) ist.
Serversystem (1) nach Anspruch 7, wobei der genannte Neuübertragungsprozessor (54) Kopien der vielen genannten Pakete entfernt, wenn die Lebensdauer einer der Kopien der genannten Pakete gröber ist als die genannte vorbestimmte Zeitperiode.
Serversystem (12) nach Anspruch 7, wobei ADB_i auf Basis der nachfolgenden Beziehung berechnet wird: ADBi = TE – TFi – ISi wobei TE die Zeit ist, wenn alle Schichten Signalbereitschaft haben, wobei TF_i das erste Paket der Schicht i ist, das in dem genannten Kundensystem empfangen worden ist, und wobei IS_i die ideale Aufstartverzögerung der Schicht i ist.
System zum Streamen von Echtzeit-Multimediainformation von einem Serversystem (12) zu einem Kundensystem über ein Paketnetzwerk (16), das Folgendes umfasst: a) das genannte Serversystem (12) zum Liefern eines Multimediabitstroms durch Streaming der Echtzeit-Multimediainformation und durch Durchführung einer Neuübertragung, wobei das genannte Serversystem (12) Folgendes umfasst: – einen Paketierer (40) zur Umwandlung des genannten Multimediabitstroms zu einer Anzahl Übertragungspakete, bestehend aus Schichten, – einen Paketpuffer (42) zur Speicherung der genannten Übertragungspakete während einer vorbestimmten Zeitperiode, – einen Paketsender (44) zur Übertragung der genannten Übertragungspakete, und – einen Neuübertragungsprozessor (46) zum Auslösen einer Neuübertragung von Kopien der genannten Pakete bei Empfang eines Neuübertragungsantrags von dem genannten Kundensystem (14), wobei der genannte Neuübertragungsprozessor (46) jede der Kopien der vielen Pakete entfernt, für welche die Lebensdauer der einen Kopie größer ist als die genannte vorbestimmte Zeitperiode; b) wobei das genannte Kundensystem (12) Folgendes umfasst: – einen Paketpuffer (42) zur Speicherung der genannten Pakete des genannten Multimedia stromes, der von dem genannten Serversystem (12) empfangen worden ist – einen Zerleger (50) zum Zusammensetzen der genannten Übertragungspakete zu einem kontinuierlichen Bitstrom; – einen Paketprozessor (52), betriebsfähig gekoppelt mit dem genannten Zerleger (50) zum Detektieren verloren gegangener Pakete; und – einen Neuübertragungsverwalter (54), der mit dem genannten Paketprozessor (52) betriebsfähig gekoppelt ist, und zwar zum Senden der genannten Neuübertragungsanträge zu dem genannten Serversystem (12) bei Detektion der genannten verloren gegangenen Pakete, dadurch gekennzeichnet, dass die genannte vorbestimmte Zeitperiode durch das genannte Kundensystem bestimmt wird, und zwar auf Basis der nachfolgenden Beziehung: MH = [∀i : max{GOPi + MDi + ADBi}] + RTTlast,wobei MH die vorbestimmte Zeit ist, wobei GOP_i die Schichtlänge i der Gruppe von Bildern ist, wobei MD_i die maximale Decodierungsverzögerung der Schicht i ist, wobei ADB_i eine wirkliche Verzögerung, eingeführt durch das genannte Kundensystem (14) für die Schicht i ist, und wobei RTT_last die letzte Schätzung der Umgangsverzögerung zwischen dem genannten Kundensystem (14) und dem genannten Serversystem (12) ist.
System nach Anspruch 10, wobei der genannte Neuübertragungsprozessor (46) Kopien der vielen genannten Pakete entfernt, wenn die Lebensdauer eines der genannten Übertragungspakete größer ist als die vorbestimmte Zeitperiode.
System nach Anspruch 10, wobei die genannte ADB_i auf Basis der nachfolgenden Beziehung berechnet wird: ADBi = TE – TFi – ISi wobei TE die Zeit ist, wenn alle Schichten Signalbereitschaft haben, wobei TF_i das erste Paket der Schicht i ist, das in dem genannten Kundensystem empfangen worden ist, und wobei IS_i die ideale Aufstartverzögerung der Schicht i ist.