DE60205968T2 - Vorrichtung und Verfahren zur Packetierung eines Datenstroms - Google Patents

Vorrichtung und Verfahren zur Packetierung eines Datenstroms Download PDF

Info

Publication number
DE60205968T2
DE60205968T2 DE2002605968 DE60205968T DE60205968T2 DE 60205968 T2 DE60205968 T2 DE 60205968T2 DE 2002605968 DE2002605968 DE 2002605968 DE 60205968 T DE60205968 T DE 60205968T DE 60205968 T2 DE60205968 T2 DE 60205968T2
Authority
DE
Germany
Prior art keywords
stream
information
time information
mpeg4
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE2002605968
Other languages
English (en)
Other versions
DE60205968D1 (de
Inventor
Mamoru Kugumiya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of DE60205968D1 publication Critical patent/DE60205968D1/de
Publication of DE60205968T2 publication Critical patent/DE60205968T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28Timers or timing mechanisms used in protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf eine Vorrichtung und Verfahren zum Paketieren von Datenströmen.
  • Es findet viel Forschung für digitalen Rundfunk, bei dem ein MPEG4-Datenstrom verwendet wird, der durch die Moving Picture Experts Group, einer Arbeitsgruppe von ISO, wie ISO/IEC 14496, definiert ist, statt, um eine Alternative zu einem MPEG2-Datenstrom (ISO/IEC 13818) zu finden, der bisher für den digitalen Rundfunk verwendet wird.
  • Die Syntax eines MPEG4-Datenstroms "Visual Object Sequence" definiert als ISO/IEC 14496-2 ist in 1 und 2 gezeigt. Am Kopf der Hierarchie, ist, wie in 1 gezeigt ist, die visuelle Objekt-Sequenz. Die visuelle Objekt-Sequenz umfasst am häufigsten Profil- und Pegel-Indikationen des Datenstroms. Jedes visuelle Objekt, welches in der visuellen Objekt-Sequenz enthalten ist, beschreibt eine Art von Objekten, die auf dem Datenstrom gemultiplext sind. Dies erlaubt somit, dass MPEG4 mehrere visuelle Objekte wie Standbild-Video-Bildobjekte, Flächenobjekte und Videoobjekte definiert.
  • Es wird der Fall, dass die Videoobjekte auf dem Datenstrom gemultiplext sind, beschrieben. Information "visual_object_type (4): 0x01", welche in Visual Object beschrieben ist, zeigt, dass die Art des visuellen Objekts ein Videoobjekt ist. Wenn die Art des visuellen Objekts das Video-Objekt ist und die Video-Objekte gemultiplext sind, umfasst das visuelle Objekt die Video-Objektschicht. Die Video-Objektschicht umfasst eine Art von Video-Objekt, eine Bitrate des Datenstroms, eine Größe eines Puffers auf der Empfängerseite, die Belegung von Daten, die im Puffer der Empfängerseite zu speichern sind bis zu einem Start des Decodierens, und eine Rahmenrate.
  • Hier zeigt die Information von 30 Bits "first_half_bit_rate (15)" und "latter_half_vbv_bit_rate (15)", die in der Video-Objektschicht beschrieben sind, die Bitrate des Datenstroms. Die Information von 18 Bits "first_half_vbv_buffer-size (15)" und "latter_half_vbv_buffer_size (3)", welche in der Video-Objektschicht beschrieben ist, zeigt eine Größe des Puffers der Empfängerseite. Die Information von 22 Bits "first_half_vbv_occupancy (11)" und "latter_half_vbv_occupancy (11)", die in der Video-Objektschicht beschrieben ist, beschreibt die Belegung der Daten, die in der Empfängerseite bis zu einem Start des Decodierens gespeichert sind. Die Information "vop_time_increment_resolution (16)" und "fixed_vop_time_increment(1-16)" enthält Information, um die Rahmenrate zu erlangen. Obwohl die Information von "first_half_bit_rate (15)" bis "latter_half_vbv_occupancy (11)" wie oben beschrieben existiert, wenn "vbv_parameters (1)" auf 0x1 gesetzt sind, existiert diese nicht, wenn sie auf 0x0 eingestellt werden, wo "0x" ein hexadezimales Zeichen zeigt.
  • Die Video-Objektschicht kann eine Video-Objektebenengruppe umfassen. Die Gruppe kann gemäß einem Datenstrom ausgeschlossen werden. Die Gruppe umfasst den Zeitcode. Sie umfasst außerdem die Video-Objektebene (anschließend als VOP bezeichnet) Die VOP entspricht einem Bildrahmen in den Videobildern. Hier umfasst die VOP die Codierart und eine Wiedergabereihenfolge. Die Information "vop_coding_type (2)", welche in der VOP beschrieben wurde, zeigt das I-Bild, das P-Bild oder das B-Bild. Die Information "modulo_time_base", welche in der VOP beschrieben ist, zeigt, wie viel Sekunden man für ein Bild braucht, um nach dem I-Bild zu erscheinen. Die Information "vop_time_increment (1~16)", welche in der VOP beschrieben ist, zeigt, in welcher Reihenfolge das Bild erscheinen sollte, nämlich, die Reihenfolge von dessen Reproduktion. Die VOP umfasst die Bitströme, die jeweils interne Information der VOP im Anschluss an die obige Information zeigen.
  • Es wurden viele Untersuchungen zum Transportieren der Bitströme, die jeweils die obige Syntax haben, im Bezug auf Internet und/oder Rundfunkwellen durchgeführt.
  • Der MPEG4-Strom verfehlt es, den Transportstrom (anschließend als TS bezeichnet) und den paketierten Elementarstrom (anschließend als PES bezeichnet), zu definieren, die bei deren Transport verfügbar sind. Obwohl der Benutzer TS und PES frei einstellen kann, ist es erforderlich, dass er seine Stromstruktur gemäß von dessen Transportprotokoll ändert.
  • Bei ISO 13818-1/FDAM7 (ISO/IEC JTC1/SC29/WG11 N3050) geht die Standardisierung bei Verwendung von MPEG2-TS weiter, wobei das Verfahren, nämlich das Translationsverfahren, dass der MPEG4-Strom in einen paketierten Elementarstrompaket MPEG2 (anschließend als MPEG2-PES bezeichnet) übertragen wird, noch nicht bestimmt ist.
  • Alternativ verfehlt die MPEG4-Visuell-Objekt-Sequenz (ISO(IEC 14496-2) es, Zeitinformation, beispielsweise Elementarstrom-Taktreferenz (anschließend als ESCR bezeichnet), Decodierzeitstempel (anschließend als DTS bezeichnet), Präsentationszeitstempel (anschließend als PTS bezeichnet), die für die Synchronisation in einem Paket notwendig ist, zu multiplexen. Somit ist es notwendig, die MPEG4-Visuell-Objekt-Sequenz zu transportieren, indem die Zeitinformation hinzugefügt wird, um die Synchronisation zu erreichen.
  • Die japanische Patentveröffentlichung JP-H11-98193-A offenbart eine Translation des MPEG4-Datenstroms in ein MPEG3-PES-Paket. Sie offenbart jedoch keinen bestimmten Translationsweg.
  • Ein Verfahren zur Translation eines MPEG1-Systemstroms in einen MPEG2-Transportstrom ist in der US-A 5 801 781 offenbart. Bei dem beschriebenen Verfahren wird der MPEG1-Systemstrom in MPEG2-PES-Pakete als einen Zwischenschritt translatiert. Die Zeitverwaltungsinformation (beispielsweise Präsentationszeitstempel (PTS) und Decodierzeitstempel (DTS)) wird vom MPEG1-Systemstrom extrahiert und in Datenköpfe der MPEG2-PES-Pakete eingefügt.
  • Ein Verfahren zum Demultiplexen von gemultiplexten Daten ist in der EP-A 0 893 926 offenbart, bei dem MPEG4-Daten, die gemäß MPEG2 gemultiplext sind, demultiplext werden.
  • Ein Verfahren zum Multiplexen von Video-, Audio- und Datenströmen gemäß dem MPEG2-Standard ist in der US-B-6 172 988 offenbart. Das beschriebene Verfahren verwendet eine Anzahl von Verfahren, um Probleme, die mit dem MPEG2-Standard identifiziert werden, zu adressieren.
  • Verschiedene entsprechende Gesichtspunkte und Merkmale der Erfindung sind in den angehängten Patentansprüchen definiert. Merkmale von den abhängigen Ansprüchen können mit Merkmalen der unabhängigen Ansprüche kombiniert werden, wenn dies geeignet ist, und müssen nicht explizit in den Ansprüchen herausgestellt werden.
  • Ausführungsformen der Erfindung können eine Vorrichtung und ein Verfahren bereitstellen, die in der Lage sind, ein Paket, welches die Zeitinformation enthält, gemäß dem Transportprotokoll zu erlangen.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung wird die obige Aufgabe durch eine Vorrichtung zum Paketieren codierter Bitströme von Digitaldaten gemäß einem Transportprotokoll gelöst. Die Vorrichtung umfasst eine Zeitinformations-Erzeugungseinheit zum Erzeugen von Zeitinformation gemäß einer Spezifikation des Transportprotokolls, und eine Kopferzeugungseinheit, um einen Kopf zu erzeugen, der die Zeitinformation aufweist, welche durch die Zeitinformations-Erzeugungseinheit erzeugt wurde. Sie weist außerdem eine Paketerzeugungseinheit auf, um ein Paket zu erzeugen, indem der Kopf, der durch die Kopferzeugungseinheit in jeder vorher festgelegten Einheit des Bitstroms erzeugt wird, hinzugefügt wird.
  • Gemäß einer Ausführungsform der Erfindung wird ein Verfahren zum Paketieren eines codierten Bitstroms von Digitaldaten gemäß einem Transportprotokoll gezeigt. Das Verfahren umfasst einen Zeitinformations-Erzeugungsschritt zum Erzeugen von Zeitinformation gemäß einer Spezifikation des Transportprotokolls und einen Kopferzeugungsschritt zum Erzeugen eines Kopfs, der die Zeitinformation aufweist, die während des Zeitinformations-Erzeugungsschritts erzeugt wird. Das Verfahren weist außerdem einen Paketerzeugungsschritt zum Erzeugen eines Pakets auf, indem der Kopf, der während des Kopferzeugungsschritts erzeugt wird, jeder vorher festgelegten Bitstromeinheit hinzugefügt wird.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung wird, wenn der codierte Bitstrom von Digitaldaten gemäß dem Transportprotokoll paketiert wird, beispielsweise das Übertragen des MPEG4-Stroms in das MPEG2-PES-Paket, die Zeitinformation zunächst gemäß der Spezifikation des Transportprotokolls erzeugt.
  • Der Datenkopf wird beispielsweise von dem codierten Bitstrom der Digitaldaten ermittelt. Die Kopfanalysierungseinheit analysiert den somit ermittelten Kopf. Dies erlaubt, dass vorher festgelegte Information davon erhalten wird. Die Verwendung dieser vorher festgelegten Information erlaubt, dass die Zeitinformation gemäß der Spezifikation des Transportprotokolls erzeugt wird.
  • Alternativ wird beispielsweise eine Bitrate des codierten Bitstroms von Digitaldaten ermittelt. Die Zeitinformation gemäß der Spezifikation des Transportprotokolls wird unter Verwendung dieser ermittelten Bitrate erzeugt. Das Verwenden eines vorher festgelegten Bitstroms abweichend vom codierten Bitstrom von Digitaldaten, beispielsweise die Zeitinformation, die in einem Strom der MPEG2-PES-Paketform enthalten ist, erlaubt, dass die Zeitinformation gemäß der Spezifikation des Transportprotokolls erzeugt werden kann.
  • Außerdem wird die Zeitinformation gemäß der Spezifikation des Transportprotokolls unter Verwendung von Information von einem Codierer erzeugt, um den codierten Bitstrom von Digitaldaten zu erzeugen. Die Zeitinformation wird ebenfalls unter Verwendung der maximalen Bitrate des codierten Bitstroms von Digitaldaten erzeugt.
  • Die Vorrichtung umfasst außerdem einen Stromanalysator, um den codierten Bitstrom von Digitaldaten zu analysieren, und eine Recheneinheit, um einen Rechenbetrieb in Bezug auf nämlich das Berechnen der Zeit durchzuführen, bis ein Decoder zum Decodieren des zumindest codierten Bitstroms von Digitaldaten damit beginnt, den Bitstrom auf der Basis eines Ergebnisses der Analyse des Stromanalysators zu decodieren. Gemäß der Vorrichtung wird die Zeitinformation gemäß den Spezifikationen des Transportprotokolls unter Verwendung eines Rechenergebnisses der Recheneinheit erzeugt.
  • Diese erzeugte Zeitinformation gemäß den Spezifikationen des Transportprotokolls ist im Kopf enthalten. Ein Paket wird erzeugt, indem der Kopf zu jeder vorher festge legten Einheit der Bitströme hinzugefügt wird. Somit enthält das Paket die Zeitinformation gemäß der Spezifikation des Transportprotokolls. Daher kann ein Empfänger, der das Paket empfängt, welches die Zeitinformation enthält, die Bitströme unter Verwendung der Zeitinformation synchron reproduzieren.
  • Da das Paket die Zeitinformation enthält, führt der Empfänger das Decodieren ohne Fehler durch und führt die Synchronisation mit einem anderen Strom leicht durch.
  • Gemäß einer weiteren Ausführungsform der Erfindung wird eine Vorrichtung zum Paketieren mehrerer codierter Bitströme von Digitaldaten gemäß entsprechenden Transportprotokollen bereitgestellt. Die Vorrichtung umfasst mehrere Zeitinformations-Erzeugungseinheiten jede zum Erzeugen der Zeitinformation gemäß Spezifikationen von jedem der Transportprotokolle. Die Vorrichtung weist außerdem mehrere Kopferzeugungseinheiten auf, jede zum Erzeugen eines Kopfes einschließlich mehrerer Abschnitte an Zeitinformation, die durch die Zeitinformations-Erzeugungseinheiten erzeugt wird, und mehrere Paketerzeugungseinheiten, jede zum Erzeugen eines Pakets, wobei die Datenköpfe, die durch die Kopferzeugungseinheit erzeugt werden, zu jeder vorher festgelegten Einheit der mehreren Bitströme hinzugefügt wird. Gemäß der Vorrichtung erzeugen die mehreren Zeitinformations-Erzeugungseinheiten entsprechend Zeitinformation gemäß der Spezifikation von jedem der Transportprotokolle unter Verwendung allgemeiner Zeitinformation.
  • Gemäß einer weiteren Ausführungsform der Erfindung wird ein Verfahren zum Paketieren mehrerer codierter Bitströme von Digitaldaten gemäß entsprechenden Transportprotokollen bereitgestellt. Das Verfahren umfasst den Zeitinformations-Erzeugungsschritt zum Erzeugen mehrerer Abschnitte der Zeitinformation gemäß der Spezifikation von jedem der Transportprotokolle. Das Verfahren weist außerdem einen Datenkopferzeugungsschritt zum Erzeugen mehrerer Datenköpfe auf, wobei jeder die mehreren Abschnitte der Zeitinformation aufweist, die während des Zeitinformations-Erzeugungsschritts erzeugt wird. Es umfasst außerdem den Paketerzeugungsschritt zum Erzeugen von mehreren Paketen, wobei die Datenköpfe, die während des Kopferzeugungsschritts erzeugt werden, jeder vorher festgelegten Einheit von mehreren Bitströmen hinzugefügt werden. Während des Zeitinformations-Erzeugungsschritts werden mehrere Abschnitte der Zeitinformation gemäß der Spezifikation eines jeden der Transportprotokolle unter Verwendung gemeinsamer Zeitinformation erzeugt.
  • Gemäß dieser Ausführungsform der Erfindung werden, wenn mehrere codierte Bitströme digitaler Daten gemäß der Spezifikation jedes der Transportprotokolle paketiert werden, beispielsweise mehrere MPEG4-Ströme in jedes der MPEG2-PES-Pakete übertragen werden, mehrere Abschnitte der Zeitinformation zunächst gemäß Spezifikationen jedes der Transportprotokolle erzeugt.
  • In diesem Fall werden mehrere Abschnitte der Zeitinformation gemäß der Spezifikation jedes der Transportprotokolle unter Verwendung gemeinsamer Zeitinformation erzeugt. Damit werden die mehreren Abschnitte der Zeitinformation auf der gleichen Zeitachse erzeugt.
  • Diese mehreren Abschnitte der erzeugten Zeitinformation gemäß der Spezifikation jedes der Transportprotokolle wird in jeden der Köpfe eingefügt. Ein Paket wird erzeugt, wobei die Köpfe jeder vorher festgelegten Einheit der mehreren Ströme hinzugefügt werden. Damit enthält das Paket die Zeitinformation gemäß den Spezifikationen von Transportprotokollen. Daher kann ein Empfänger, der das Paket empfängt, welches diese Zeitinformation enthält, die Bitströme unter Verwendung der Zeitinformation synchron reproduzieren.
  • Da das Paket die Zeitinformation aufweist, führt der Empfänger deren Decodierung ohne Fehler durch und führt die Synchronisation mit einem anderen Datenstrom leicht aus.
  • Gemäß einer noch weiteren anderen Ausführungsform der Erfindung umfasst die Vorrichtung weiter eine Speichereinrichtung, um die codierten Bitströme jede vorher festgelegte Einheit der codierten Bitströme zu speichern. Gemäß dieser Ausführungsform der Erfindung erzeugt die Zeitinformations-Erzeugungseinheit die Zeitinformation, welche für einen synchronen Transport gemäß dem Transportprotokoll erforderlich ist, jede vorher festgelegte Einheit. Die Paketerzeugungseinheit erzeugt ein Paket, indem die Zeitinformation, welche durch die Zeitinformations-Erzeugungseinheit erzeugt wird, jeder der vorher festgelegten Einheit hinzugefügt wird, welche in der Speichereinrichtung gespeichert ist.
  • Gemäß einer noch weiteren Ausführungsform der Erfindung umfasst die Vorrichtung außerdem eine Speichereinrichtung zum Speichern des MPEG4-Stroms jede vorher festgelegte Einheit des MPEG4-Stroms. Gemäß dieser Ausführungsform der Erfindung erzeugt die Zeitinformations-Erzeugungseinheit die Zeitinformation, die erforderlich ist, den Bitstrom gemäß einem MPEG2-PES-Stromprotokoll jede vorher festgelegte Einheit des MPEG4-Stroms zu transportieren. Die Paketerzeugungseinheit erzeugt ein Paket, indem die Zeitinformation, die durch die Zeitinformations-Erzeugungseinheit erzeugt wird, jeder vorher festgelegten Einheit des MPEG4-Stroms, der in der Speichereinrichtung gespeichert ist, hinzugefügt wird.
  • Gemäß einer anderen Ausführungsform der Erfindung umfasst die Vorrichtung außerdem eine Ermittlungseinheit zum Ermitteln- vom MPEG4-Strom – der Information, die erforderlich ist, die Zeitinformation zu erzeugen, die erforderlich ist, wenn der MPEG2-PES-Strom transportiert wird. Sie umfasst außerdem die Zeitinformationserzeugungseinheit, um die Zeitinformation jede vorher festgelegte Einheit des MPEG4-Stroms auf der Basis der Information zu erzeugen, die durch die Ermittlungseinheit ermittelt wird.
  • Die Abschlusseinheit dieser Spezifikation stellt insbesondere heraus und beansprucht deutlich den Hauptgegenstand der vorliegenden Erfindung. Der Fachmann wird jedoch am besten sowohl die Organisation als auch das Betriebsverfahren der Erfindung zusammen mit weiteren Vorteilen und deren Aufgaben verstehen, wenn er den restlichen Teil der Beschreibung im Hinblick auf die beiliegenden Zeichnungen liest, wo gleiche Bezugszeichen gleiche Elemente bezeichnen.
  • Die Erfindung wird nun beispielhaft mit Hilfe der beiliegenden Zeichnungen beschrieben, wobei durchwegs gleiche Teile mit gleichen Bezugszeichen bezeichnet sind, und in denen:
  • 1 ein Diagramm ist, welches eine Struktur des MPEG4-Stroms (Teil 1) zeigt);
  • 2 ein Diagramm ist, welches eine Struktur des MPEG4-Stroms (Teil 2) zeigt;
  • 3 ein Blockdiagramm ist, welches die Konfiguration eines Transportsystems gemäß einer ersten Ausführungsform der Erfindung zeigt;
  • 4 ein Blockdiagramm ist, welches den Aufbau eines Transportsystems gemäß einer zweiten Ausführungsform der Erfindung zeigt;
  • 5 ein Blockdiagramm ist, welches den Aufbau eines Transportsystems gemäß einer dritten Ausführungsform der Erfindung zeigt;
  • 6 ein Blockdiagramm ist, welches den Aufbau eines Transportsystems gemäß einer vierten Ausführungsform der Erfindung zeigt;
  • 7 ein Blockdiagramm ist, welches den Aufbau eines Transportsystems gemäß einer fünften Ausführungsform der Erfindung zeigt;
  • 8 ein Blockdiagramm ist, welches den Aufbau eines Transportsystems gemäß einer sechsten Ausführungsform der Erfindung zeigt;
  • 9 ein Blockdiagramm ist, welches den Aufbau eines Transportsystems gemäß einer siebten Ausführungsform der Erfindung zeigt;
  • 10 ein Blockdiagramm ist, welches den Aufbau eines Transportsystems gemäß einer achten Ausführungsform der Erfindung zeigt;
  • 11 ein Diagramm ist, welches ein Konfigurationsbeispiel eines Computers zum Paketieren eines Datenstroms zeigt;
  • 12 ein Flussdiagramm zur Erläuterung eines Flusses zum Paketieren eines Datenstroms ist; und
  • 13 ein Flussdiagramm zur Erläuterung eines weiteren Flusses zum Paketieren eines Datenstroms ist.
  • 1. Transportsystem
  • (1) Erste Ausführungsform der Erfindung
  • 3 zeigt in einem Blockdiagramm den Aufbau eines Transportsystems 100A als erste Ausführungsform der Erfindung. Das Transportsystem 100A umfasst den Codierer 101 zum Codieren und zum Übertragen des MPEG4-Stroms STM1, einen Paketierer 102A zum Empfangen des MPEG4-Stroms STM1 vom Codierer 101, wobei er diesen in das MPEG2-PES-Paket überträgt und einen Strom STM2 der MPEG2-PES-Paketform weiterleitet, und einen Multiplexer 103 zum Empfangen und zum Multiplexen des MPEG2-PES-Paketstroms STM2 vom Paketierer 102A und zum Transportieren eines Stroms STM3 der MPEG2-TS-Form als Transportausgangssignal.
  • Gemäß dem Transportsystem 100A wird der MPEG4-Strom STM1, der vom Codierer 101 weitergeleitet wird, zum Paketierer 102A geliefert, der diesen in das MPEG2-PES-Paket überträgt. Der Strom STM2 der MPEG2-PES-Paketform, welcher vom Paketierer 102A weitergeleitet wird, wird zum Multiplexer 103 geliefert, der den Strom STM3 der MPEG2-TS-Form als dessen Ausgangssignal transportiert. Der Multiplexer 103 unterteilt die Information, MPEG4-Video descriptor (Videodeskriptor) und multiplext den Strom STM2 und die unterteilte Information MPEG4-Videodescriptor, um anzuzeigen, dass die Daten, welche im Strom STM2 enthalten sind, welche der Multiplexer 103 empfängt, der MPEG4-Strom ist.
  • Der Paketierer 102A umfasst eine Kopfermittlungseinheit 111 zum Empfangen des MPEG4-Stroms STM1 und zum Ermitteln von Datenköpfen vom Strom STM1, eine Kopfpuffereinheit 112 zum Empfangen der Datenköpfe, welche durch die Kopfermittlungseinheit 111 ermittelt werden, welche diese für jeden Kopf speichert, und zum Ermitteln von Information, die erforderlich ist, Zeitinformation zu erzeugen, welche in den Kopf des MPEG2-PES-Paket einzufügen ist, eine Zeitinformations-Erzeugungseinheit 113A zum Erzeugen der Zeitinformation, beispielsweise ESCR, DTS und PTS, wobei die Information, die durch die Kopfpuffereinheit 112 ermittelt wird, und der Anfangswert von ESCR, der von außerhalb geliefert wird, verwendet werden.
  • Der Paketierer 102A umfasst außerdem eine PES-Kopferzeugungseinheit 114 zum Erzeugen eines PES-Datenkopfs unter Verwendung der Zeitinformation, beispielsweise ESCR, DTS und PTS, die durch die Zeitinformations-Erzeugungseinheit 113A erzeugt werden, und der Information Strom_id (Strom-ID), die von außerhalb geliefert wird. Er weist außerdem eine Puffereinheit 115 auf, um den empfangenen MPEG4-Strom STM1 der Reihenfolge nach für jede eine Zugriffseinheit (anschließend als AU bezeichnet) zu speichern, und eine PES-Paketierungseinheit 116, um das MPEG2-PES-Paket zu erzeugen, wobei der PES-Datenkopf, der durch die PES-Kopferzeugungseinheit 114 erzeugt wird, in einen Kopf der Daten einer AU, die in der Puffereinheit 115 gespeichert ist, hingefügt wird. Obwohl die wesentlichen Komponenten des MPEG4-Stroms STM1 von einer AU VOPs sind, umfasst eine erste AU einen Kopfbereich einer oberen Schicht vor einer ersten VOP.
  • Nachfolgend wird die Arbeitsweise des Paketierers 102A ausführlicher beschrieben. Die Kopfermittlungseinheit 111 empfängt den MPEG4-Strom STM1 und ermittelt die Köpfe vom Strom STM1.
  • Die Kopfermittlungseinheit 111 zählt eine Anzahl von AUs unter der Annahme, dass eine AU ermittelt wird, wenn die Einheit 111 die Köpfe von mehr als den VOP-Köpfen ermittelt, welche in der obigen Gruppe der Video-Objektebene enthalten sind, wenn die VOP-Köpfe ermittelt werden, und hält die Zählwerte wie eine Variable (anschließend als AUcnt bezeichnet). Die Kopfermittlungseinheit 111 zählt außerdem die Anzahl von Bytes in jeder AU und hält diese wie eine Variable (anschließend als AU[i] bezeichnet) auf einer AU-Basis, wo "i" eine ganze Zahl ist, welche im Intervall 1 ≤ i ≤ AUcnt enthalten ist und zeigt die ermittelte Reihenfolge der AUs. Die Zeitinformations-Erzeugungseinheit 113A verwendet diese Variablen (AUcnt und AU[i]), wenn die Zeitinformation erzeugt wird, beispielsweise ESCR, DTS und PTS, was anschließend beschrieben wird. Wenn die MPEG4-Daten beendet sind, verarbeitet sie schließlich AU des MPEG4-Stroms STM1, als ob sie eine AU ermitteln könnte.
  • Die Puffereinheit 115 empfängt zugeführte MPEG4-Ströme STM1 und speichert sie der Reihe nach auf einer AU-Basis. Die Kopfpuffereinheit 112 empfängt die ermittelten Köpfe von der Kopfermittlungseinheit 111 und speichert sie nacheinander. Die Kopfpuffereinheit 112 analysiert gespeicherte Datenköpfe und ermittelt die Zeitinformation wie folgt:
    frist_half_bit_rate und latter_half_bit_rate, welche jeweils die Bitrate des MPEG4-Stroms STM1 zeigen, werden vom Datenkopf der Video_Object_Layer ermittelt;
    first_half_vbv_occupancy und latter_half_vbv_occupancy, die jeweils eine Belegung von den Daten zeigen, welche in der Puffereinheit zu speichern sind, bis ein Empfänger mit dem Decodieren beginnt, werden von einem Kopf der Video Object Layer ermittelt;
    vop_time_increment_resolution und fixed_vop_time_increment, die jeweils eine Rahmenrate haben, werden vom einem Kopf der Video_Object_Layer ermittelt; vop_coding_type, die das I-Bild, das P-Bild oder das B-Bild zeigen, werden von einem Kopf der Video_Object_Plane ermittelt; modulo_time_base, die zeigt, wie viele Sekunden man für ein Bild braucht, um zu erscheinen, nachdem das I-Bild ermittelt ist, wird von einem Kopf der Video_Object_Plane ermittelt; und vop_time_increment, welches zeigt, mit welcher Ordnung ein Bild auftreten sollte, nämlich die Reihenfolge der Reproduktion, wird vom Kopf der Video_Object_Plane ermittelt.
  • Die Zeitinformations-Erzeugungseinheit 113A empfängt die obige Information, welche durch die Kopfpuffereinheit 112 ermittelt wurde. Die Einheit 113A erzeugt außerdem die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information, die durch Analysieren der Köpfe erhalten wird, die Variablen (AUcnt und AU[i]), welche in der Kopfermittlungseinheit 111 gespeichert sind, und den Anfangswert ESCR, der von außerhalb zugeführt wird.
  • Es werden Operationen zum Erzeugen der Zeitinformation erläutert. Die Einheit 113A erlangt zu Anfang die Information DTS Offset, welche die Zeit zeigt, bis der Empfänger das Decodieren nach Empfangen der Daten beginnt. Man kann den Wert der Information DTS_Offset berechnen, durch die Datenbelegung, vbv_occupancy, welche in der Puffereinheit gespeichert ist, und den Bitraten, bit_rate, wie folgt:
    Wenn vbv_occupancy = first_half_vbv_occupancy·0x8000 + latter_half_vbv_occupancy und bit_rate = first_half_bit_rate·0x8000 + latter_half_bit_rate, gilt, DTS_Offset[sec] = 64·vbv_occupancy)/bit_rate·400), wobei 0x8000 8000 in hexadezimaler Schreibweise zeigt.
  • Anschließend erlangt die Einheit 113A die Zeit (T), die zu aktualisieren ist, auf einer AU-Basis. Man kann den Wert der Zeit (T) durch die Information berechnen, fixed_vop_time_increment und vop_time_increment_resolution, die schon ermittelt wurden, um die Rahmenrate zu berechnen, wie folgt: T[sec] = fixed_vop_time_incerement/vop_time_increment_resolution.
  • Gemäß diesen berechneten Werten kann man die Decodierzeit DTS für die "i"-te AU wie folgt bekommen: DTS = T·i + DTS_Offset + ESCR_basewobei ESCR_base den Anfangswert von ESCR zeigt.
  • Die Einheit 113A zählt außerdem eine Zahl (m_cnt) von "1 ", die in der Information enthalten ist, modulo_time_base, die Zahl m_cnt, die zeigt, wie viele Sekunden man für eine Bild braucht, damit dies auftritt, nachdem das I-Bild schon ermittelt wurde. Die Informa tion m_cnt zeigt nämlich eine Zahl von "1", die in der Information modulo time_base enthalten ist.
  • Die Einheit 113A bekommt die Information, welche die Wiedergabezeit zeigt (vop_time). Man kann den Wert der Zeit (vop_time) durch die Information berechnen, wobei vop_time_increment eine Reproduktionsreihenfolge zeigt und die obige vop_time_increment_resolution, wie folgt: vop_time = vop_time_increment/vop_time_increment_resolution
  • Gemäß diesen berechneten Werten kann man die Reproduktionszeit PTS für die "i"-te AU bekommen, indem die Information vop_time, m_cnt, DTS_Offset und ESCR_base zusammen miteinander wie folgt gesetzt werden: PTS = vop_time + m_cnt + DTS_Offset + ESCR_base.
  • Daher kann man auch die Referenzzeit ESCR für die "i"-te AU wie folgt bekommen: ESCR = 1/bit_rate·8·(ΣAU[i – 1] + ESCR_Byte) + ESCR_basewobei ESCR_byte die Anzahl von Bytes zeigt, die von einem Kopf des PES-Datenkopfs zu einem ESCR-Feld auftritt, jedes Mal, wenn AU und ΣAU[i – 1] eine Summe der Werte von AU[1] bis AU[i – 1] zeigt.
  • Die PES-Kopfverzögerungseinheit 114 empfängt die Zeitinformation ESCR, DTS, PTS, die durch die Einheit 113A erzeugt wurde. Die Einheit 114 erzeugt den PES-Datenkopf unter Verwendung der Zeitinformation, und die Stromidentifikationsinformation stream-id, die von außerhalb zugeführt wird. Die Einheit 114 erzeugt den PES-Datenkopf auf einer ermittelten AU-Basis.
  • Die Einheit 114 bekommt zunächst Werte im Intervall zwischen 0xE0 und 0xEF der Stromidentifikationsinformation stream_id von außerhalb, wobei "0x" zeigt, dass die nachfolgende Ziffer (Ziffern) hexadezimale Zeichen sind. Wenn PTS gleich DTS ist, bekommt die Einheit 114 dann PTS und ESCR. Wenn dies nicht gleich ist, bekommt sie PTS, DTS und ESCR zusammen mit PTS_DTS_flags und dem ESCR_flag. Sie berechnet außerdem und bekommt die PES_header_data_length gemäß der hinzugefügten Zeitinformation.
  • Eine Ausführungsform der PES-Datenköpfe wird wie folgt dargestellt:
    packet_start_code_prefix = 0x000001; /*24[bit]*/
    stream_id = 0xEX; /*8[bit]*/
    PES_packet_length = 0x0000; /*16[bit]*/
    optional_PES_header = 0x2; /*2[bit]*/
    PES_scrambling_control = 0x00; /*2[bit]*/
    PES_priority = 0x0; /*1[bit]*/
    Data_alignment_indicator = 0x1 /*1[bit]*/
    copyright = 0x0; /*1[bit]*/
    original_or_copy = 0x0; /*1[bit]*/
    PTS_DTS_flags = 0xXX; /*2[bit]*/
    ESCR_flag_= 0x1 /*1[bit]*/
    ES_rate_flag = 0x0; /*1[bit]*/
    DSM_trick_mode_flag = 0x0; /*1[bit]*/
    additional_copy_info_flag = 0x0 /*1[bit]*/
    PES_CRC_flag = 0x0; /*1[bit]*/
    PES_extension_flag = 0x0; and /*1[bit]*/
    PES_header_data_length = 0Xxx /*8[bit]*/
  • Schließlich empfängt die PES-Paketierungseinheit 116 den durch die obige Einheit 114 erzeugten Datenkopf. Die Einheit 116 erzeugt das MPEG2-PES-Paket, wobei sie den PES-Datenkopf, der durch die Einheit 114 erzeugt wird, in einen Kopf der Daten einer AU, welche in der Puffereinheit 115 gespeichert ist, hinzufügt.
  • Obwohl diese Ausführungsform die obigen festen Werte im PES-Datenkopf zeigt, ist ein anderer Wert gemäß einigen Anwendungen verfügbar.
  • Aufgrund der ersten Ausführungsform der Erfindung erlangt der Transportstrom die Zeitinformation, beispielsweise ESCR, DTS und PTS von der Information in Bezug auf den MPEG4-Strom STM1. Es erzeugt den PES-Datenkopf, in welchem die Zeitinformation enthalten ist, und erzeugt das MPEG2-PES-Paket, wobei der PES-Datenkopf in den MPEG4-Strom bei jeder AU hinzugefügt wird, wodurch der MPEG2-TS-Datenstrom STM3 wie dessen Ausgangssignal transportiert wird. Da der PES-Datenkopf des MPEG2-PES-Pakets die Zeitinformation, beispielsweise ESCR, DTS und PTS aufweist, führt die Empfängerseite dessen Decodieren ohne einen Fehler und die Indikationsynchronisation mit einem anderen durch.
  • (2) Zweite Ausführungsform der Erfindung
  • 4 zeigt in einem Blockdiagramm den Aufbau eines Transportsystems 100B als zweite Ausführungsform der Erfindung. Da in 4 gleiche Bezugszeichen sich auf gleiche Elemente von 3 beziehen, wird auf eine ausführliche Erläuterung dieser Elemente verzichtet.
  • Das Transportsystem 100B umfasst den Codierer 101 zum Codieren und zum Übertragen des MPEG4-Stroms STM1, einen Paketierer 102B zum Empfangen des MPEG4-Stroms STM1 vom Codierer 101, wobei er diesen in das MPEG2-PES-Paket überträgt und einen Strom STM2 der MPEG2-PES-Paketform weiterleitet, und einen Multiplexer 103 zum Empfangen und zum Multiplexen des MPEG2-PES-Paketstroms STM2 vom Paketierer 102B und zum Transportieren eines Stroms STM3 der MPEG2-TS-Form als Transportausgangssignal.
  • Gemäß dem Transportsystem 100B wird der MPEG4-Strom STM1, der vom Codierer 101 übertragen wird, dem Paketierer 102 zugeführt, der diesem in das MPEG2-PES-Paket überträgt. Der Strom STM2 des MPEG2-PES-Pakets, welches vom Paketierer 102B übertragen wird, wird zum Multiplizierer 103 geliefert, der den Strom STM3 von der MPEG2-TS-Form als dessen Ausgangssignal transportiert.
  • Der Paketierer 102B empfängt einen weiteren Strom STM4 der MPEG2-PES-Paketform von außerhalb. Der Paketierer 102B ermittelt den PES-Datenkopf vom Strom STM4, erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung von Information, die durch Analyse des PES-Kopfs erlangt wird, und bezieht sie in den PES-Datenkopf ein.
  • Der Multiplexer 103 empfängt außerdem den Strom STM4 und transportiert ihn als Strom STM3 der MPEG2-TS-Form. Er unterteilt außerdem die Information MPEG4-video descriptor und multiplext den STM2 und die Information, den MPEG4-video descriptor, der unterteilt wurde, um zu zeigen, dass die Daten, die in STM2 enthalten sind, welche der Multiplexer 103 empfängt, der MPEG4-Strom ist.
  • Der Paketierer 102B umfasst außerdem eine Datenkopfermittlungseinheit 117 zum Empfangen und zum Ermitteln von PES-Köpfen vom Strom STM4 der MPEG2-PES-Paketform leitet diese dann weiter, eine Kopfanalysierungseinheit 118 zum Empfangen und zum Analysieren des PES-Datenkopfs, der durch die Einheit 117 ermittelt wird und zum Erlangen notwendiger Information daraus, und eine Zeitinformations-Erzeugungseinheit 113B zum Erzeugen der Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information, die durch die Einheiten 112 und 118 geliefert wird. Die verbleibenden Einheiten des Paketierers 102B sind wie diejenigen des Paketierers 102A im Transportsystem 100A, was in 3 gezeigt ist, entsprechend ausgebildet.
  • Der Strom STM4 der MPEG2-PES-Paketform wird der Datenkopfermittlungseinheit 117 zugeführt, der die PES-Datenköpfe ermittelt. Die Einheit 117 ermittelt einen PES-Kopf vom Strom STM4, wenn die Kopfermittlungseinheit 111 einen Kopf vom Strom STM1 der MPEG4-Stromform ermittelt.
  • Die ermittelten PES-Köpfe werden der Datenkopf-Analysierungseinheit 118 zugeführt, welche diese analysiert. Die Einheit 118 ermittelt die Information, die Referenzzeit (ESCR'), die Decodierzeit (DTS'), die Wiedergabezeit (PTS'), eine Anzahl von Bytes (ESCR_byte'), welche die Anzahl von Bytes zeigt, die bis zu einem ESCR'-Feld auftraten, und ES-rate'.
  • Die Zeitinformations-Erzeugungseinheit 113B empfängt die obige Information, welche durch die Kopfanalysierungseinheit 118 ermittelt wurde. Die Einheit 113B bekommt die Zeitinformation, beispielsweise PTS, DTS und ESCR für die "i"-te AU wie folgt: PTS = vop_time + m-cnt + PTS'; DTS = T·1 + DTS;und ESCT = 1/bit_rate·8·(ΣAU[i – 1] + ESCR_byte) + ESCR_basewobei ESCR_base = ESCR'/system_clock_frequency + (0-ESCR_byte')/(ES_rate'·50), die obige Information, system_clock-frequency gemäß dem MPEG2-Standard standardisiert ist, nämlich 90 kHz, und die verbleibenden Werte der obigen Formeln entsprechend die gleichen wie diejenigen sind, die bei der ersten Ausführungsform verwendet werden.
  • Die PES-Kopferzeugungseinheit 114 empfängt die Zeitinformation, beispielsweise PTS, DTS und ESCR, die durch die Zeitinformations-Erzeugungseinheit 113B erzeugt wurde. Sie erzeugt außerdem weitere PES-Köpfe unter Verwendung der Zeitinformation und der Information stream-id, die von außerhalb geliefert wird. Da verbleibende Operationen des Paketierers 102B die gleichen wie die des Paketierers 102A des Transportstroms 100A sind, wie in 3 gezeigt ist, wird auf eine ausführliche Erläuterung dafür verzichtet.
  • Gemäß der zweiten Ausführungsform erlangt das Transportsystem 100B die Zeitinformation, beispielsweise ESCR, DTS und PTS von der Information auf dem MPEG4-Strom STM1 und die Information eines anderen Stroms STM4 der MPEG2-PES-Paketform. Es erzeugt die PES-Köpfe, wobei die Zeitinformation darin enthalten ist, und erzeugt das MPEG2-PES-Paket, wobei der PES-Kopf dem MPEG4-Strom bei jeder AU hinzugefügt wird, wodurch der MPEG2-TS-Strom STM3 als dessen Ausgangssignal transportiert wird. Da der PES-Kopf des MPEG2-PES-Pakets die Zeitinformation aufweist, beispielsweise ESCR, DTS und PTS, führt die Empfängerseite dessen Decodieren ohne Fehler aus und die Indikationssynchronisierung mit einem anderen Datenstrom.
  • Da außerdem nach der zweiten Ausführungsform das Transportsystem 100B die Zeitinformation, beispielsweise ESCR, DTS und PTS, von der Information eines anderen Stroms STM4 der MPEG2-PES-Paketform erlangt, wird der zugeführte MPEG4-Strom in den Strom STM2 der MPEG2-PES-Paketform übertragen, wobei der Strom STM4 mit dem Strom STM2 synchronisiert ist. Daher kann die Empfängerseite den Strom STM2 mit dem Strom STM4 synchron reproduzieren.
  • (3) Dritte Ausführungsform der Erfindung
  • 5 zeigt in einem Blockdiagramm die Konfiguration eines Transportsystems 100C als dritte Ausführungsform der Erfindung. Da in 5 gleiche Bezugszeichen gleiche Elemente von 3 bezeichnen, wird auf eine ausführliche Erläuterung dieser Elemente verzichtet.
  • Das Transportsystem 100C umfasst den Codierer 101 zum Codieren und zum Übertragen des MPEG4-Stroms STM1, einen Paketierer 102C zum Empfangen des MPEG4-Stroms STM1 vom Codierer 101, wobei dieser zum MPEG2-PES-Paket übertragen wird und ein Strom STM2 der MPEG2-PES-Paketform weitergeleitet wird, und einen Multiplexer 103 zum Empfangen und zum Multiplexen des MPEG2-PES-Paketstroms STM2 vom Paketierer 102C und zum Transportieren eines Stroms STM3 der MPEG2-TS-Form als Transportausgangssignal.
  • Gemäß dem Transportsystem 100C wird der MPEG4-Strom STM1, der vom Codierer 101 weitergeleitet wurde, zum Paketierer 102C geliefert, der diesen in das MPEG2-PES-Paket überträgt. Der Strom STM2 der MPEG2-PES-Paketform, der von Paketierer 102C weitergeleitet wurde, wird dem Multiplexer 103 zugeführt, der den Strom STM3 der MPEG2-TS-Form als dessen Ausgangssignal transportiert.
  • Der Paketierer 102C empfängt Information vbv_occupancy, welche die Belegung der Daten, die in der Puffereinheit gespeichert sind, zeigt, bis die Empfängerseite mit dem Codieren von außerhalb beginnt. Der Paketierer 102C erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information vbv_occupancy und weiterer Information bit_rate, die gemäß der Rahmenrate berechnet wurde, welche von der Information erhalten wird, die durch Analysieren der Köpfe erlangt wird, die vom MPEG4-Strom STM1 ermittelt wurden, und der Information vbv_occupancy. Er fügt außerdem die Zeitinformation in den PES-Datenkopf ein.
  • Der Multiplexer 103 empfängt und unterteilt die Information MPEG4-Video_descriptor und multiplext den Strom STM2 und den somit unterteilten MPEG4-Video_descriptor, um zu zeigen, dass Daten, die im Strom STM2 enthalten sind, welche der Multiplexer 103 empfängt, der MPEG4-Strom sind.
  • Der Paketierer 102C umfasst außerdem eine Bitraten-Berechnungseinheit 119 zum Berechnen einer Bitrate des Stroms STM1. Die Einheit 119 empfängt den zugeführten Strom STM1 über die Kopfermittlungseinheit 111. Die Einheit 119 empfängt außerdem die Information, welche durch die Kopfpuffereinheit 112 ermittelt wurde.
  • Die Einheit 119 berechnet eine Rahmenrate gemäß der Information vop_time_increment_resolution und dem fixed_vop_time_increment, welche durch die Kopfpuffereinheit 112 ermittelt wurden, wie folgt: frame rate [Hz] = vop_time_increment_resolution/fixed_vop_time_increment
  • Die Einheit 119 erlaubt außerdem, dass auf eine Anzahl von AUs entsprechend dem Strom STM1, auf den eine Sekunde lang zugriffen werden kann, auf der Basis der Rahmenrate, die berechnet wurde, zugegriffen werden kann. Sie zählt eine Menge der Daten, eine Anzahl von Bytes der zugegriffen AU und erlangt die Information bit_rate, welche eine Bitrate des Stroms STM1 zeigt.
  • Die Zeitinformations-Erzeugungseinheit 113C empfängt die Information bit_rate, die durch die Einheit 119 erlangt wird. Die Einheit 113C empfängt außerdem die Information, welche durch die Kopfpuffereinheit 112 ermittelt wird. Sie empfängt die Information vbv_occupancy und den Anfangswert von ESCR von außerhalb.
  • Die Einheit 113C erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information vbv_occupancy und bit_rate, und der Information, welche durch die Kopfpuffereinheit 112 ermittelt wurde, als die notwendige Information abweichend von einer, beispielsweise der Zeitinformations-Erzeugungseinheit 113A des Transportsystems 100A, welches in 3 gezeigt.
  • Die PES-Kopferzeugungseinheit 114 empfängt die Zeitinformation ESCR, DTS und PTS, welche durch die Einheit 113C erzeugt wurde. Die Einheit 114 erzeugt den PES-Kopf unter Verwendung der Zeitinformation und der Stromidentifikationsinformation stream_id, die von außerhalb geliefert wird. Da die restliche Konfiguration und die Arbeitsweise des Paketierers 102C die gleichen sind wie diejenigen des Paketierers 102A des Transportsystems 100A, welches in 3 gezeigt ist, wird auf eine ausführliche Erläuterung dafür verzichtet.
  • Gemäß der dritten Ausführungsform erlangt das Transportsystem 100C die Zeitinformation, beispielsweise ESCR, DTS und PTS von der Information auf dem MPEG4-Strom STM1, der Information bit_rate, welche durch die Bitraten-Berechnungseinheit 119 berechnet wurde und der Information vbv_occupancy, die von außerhalb zugeführt wird. Es erzeugt den PES-Kopf, wobei die Zeitinformation darin enthalten ist, und erzeugt das MPEG2-PES-Paket, wobei der PES-Kopf dem MPEG4-Strom in jede AU hinzugefügt ist, wodurch der MPEG2-TS-Strom STM3 als Ausgangssignal transportiert wird. Da der PES-Kopf des MPEG2-PES-Pakets die Zeitinformation, beispielsweise ESCR, DTS und PTS enthält, führt die Empfängerseite dessen Decodieren ohne Fehler und die Indikations-Synchronisierung mit einem anderen Strom aus.
  • Außerdem verwendet nach der dritten Ausführungsform das Transportsystem 100C die Information bit_rate, welche durch die Bitraten-Berechnungseinheit 119 berechnet wurde, und die Information vbv_occupancy, die von außerhalb zugeführt wird, wenn es die Zeitinformation, beispielsweise ESCR, DTS und PTS erlangt. Wenn somit es keine Information zum Erlangen der Information bit_rate und vbv_occupancy auf dem Strom STM1 gibt, erzeugt sie geeignet die Zeitinformation.
  • (4) Vierte Ausführungsform der Erfindung
  • 6 zeigt in einem Blockdiagramm den Aufbau eines Transportsystems 100D als vierte Ausführungsform der Erfindung. Da in 6 gleiche Bezugszeichen gleiche Elemente von 3 bezeichnen, wird auf eine ausführliche Erklärung dafür verzichtet.
  • Das Transportsystem 100D umfasst den Codierer 101 zum Codieren und zum Weiterleiten des MPEG4-Stroms STM1, einen Paketierer 102D zum Empfangen des MPEG4-Stroms STM1 vom Codierer 101, wobei dieser zum MPEG2-PES-Paket übertragen wird, und ein Strom STM2 der MPEG3-PES-Paketform weitergeleitet wird, und einen Multiplexer 103 zum Empfangen und zum Multiplexen des MPEG2-PES-Paketstroms STM2 vom Paketierer 102D und zum Transportieren eines Stroms STM3 der MPEG2-TS-Form als Transportausgangssignal.
  • Gemäß dem Transportsystem 100D wird der MPEG4-Strom STM1, der vom Codierer 101 weitergeleitet wurde, dem Paketierer 102D zugeführt, der diesen in das MPEG2-PES-Paket überträgt. Der Strom STM2 der MPEG2-PES-Paketform, der vom Paketierer 102D weitergeleitet wurde, wird dem Multiplexer 103 zugeführt, der den Strom STM3 der MPEG2-TS-Form als dessen Ausgangssignal transportiert.
  • Der Paketierer 102D empfängt die Information vbv_occupancy, welche eine Belegung der in der Puffereinheit zu speichernden Daten zeigt, bis die Empfängerseite mit dem Decodieren beginnt, und die Information bit_rate, welche eine Bitrate des MPEG4-Stroms STM1 zeigt, jeweils entsprechend vom Codierer 101. Der Paketierer 102D erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information vbv_occupancy und bit_rate. Der Paketierer 102D bezieht außerdem die Zeitinformation in den PES-Datenkopf ein.
  • Der Multiplexer 103 empfängt und unterteilt die Information MPEG4-video_descriptor und multiplext den STM2 und den MPEG4-video_descriptor, die unterteilt wurden, um zuzeigen, dass Daten, welche im STM2 enthalten sind, welche der Multiplexer 103 empfängt, der MPEG4-Strom sind.
  • Die Zeitinformations-Erzeugungseinheit 113D empfängt die Information vbv_occupancy und bit_rate vom Codierer 101. Sie empfängt außerdem die Information, welche durch die Datenkopfpuffereinheit 112 ermittelt wurde, und den Anfangswert von ESCR von außerhalb.
  • Die Einheit 113D erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information vbv_occupancy und bit_rate, die vom Codierer 101 zugeführt wird, und der Information, welche von der Kopfpuffereinheit 112 ermittelt wurde, als die notwendige Information abweichend von der obigen, wie die Zeitinformations-Erzeugungseinheit 113A des Transportsystems 100A, wie in 3 gezeigt ist.
  • Die PES-Kopferzeugungseinheit 114 empfängt die Zeitinformation ESCR, DTS, PTS, die durch die Einheit 113D erzeugt wurden. Die Einheit 114 erzeugt den Pes-Kopf unter Verwendung der Zeitinformation und der Stromidentifikationsinformation stream_id, die von außerhalb geliefert wird. Da der verbleibende Aufbau und die Arbeitsweise des Paketierers 102D gleich denen des Paketierers 102A des Transportsystems 100A sind, wie in 3 gezeigt ist, wird auf eine ausführliche Erläuterung dafür verzichtet.
  • Gemäß der vierten Ausführungsform erlangt das Transportsystem 100D die Zeitinformation, beispielsweise ESCR, DTS und PTS von der Information auf dem MPEG4-Strom STM1, und der Information vbv_occupancy und bit_rate, die vom Codierer 101 zugeführt werden. Es erzeugt den PES-Kopf, wobei die Zeitinformation darin enthalten ist, und erzeugt das MPEG2-PES-Paket, wobei der PES-Kopf dem MPEG4-Strom jeder AU hinzugefügt wird, wodurch der MPEG2-TS-Strom STM3 als dessen Ausgangssignal transportiert wird. Da der PES-Kopf des MPEG2-PES-Pakets die Zeitinformation, beispielsweise ESCR, DTS und PTS enthält, führt die Empfängerseite dessen Decodieren ohne einen Fehler und die Indikationssynchronisation mit einem anderen Strom aus.
  • Gemäß der vierten Ausführungsform verwendet das Transportsystem 100D die Information vbv_occupancy und bit_rate, die vom Codierer 101 zugeführt werden, wenn dieses die Zeitinformation erlangt, beispielsweise ESCR, DTS und PTS. Wenn es somit keine Information gibt, um die vbv_occupancy und bit_rate auf dem Strom STM1 zu bekommen, erzeugt dies geeignet die Zeitinformation.
  • (5) Fünfte Ausführungsform der Erfindung
  • 7 zeigt in einem Blockdiagramm den Aufbau eines Transportsystems 100E als fünfte Ausführungsform der Erfindung. Da in 7 gleiche Bezugszeichen gleiche Elemente von 3 bezeichnen, wird auf eine ausführliche Erläuterung dieser Elemente verzichtet.
  • Das Transportsystem 100E umfasst den Codierer 101A zum Codieren und zum Weiterleiten des MPEG4-Stroms STM1a, einen Paketierer 102Ea zum Empfangen des MPEG4-Stroms STM1a vom Codierer 101a, wobei dieser in das MPEG2-PES-Paket übertragen wird, und ein Strom STM2a der MPEG2-PES-Paketform weitergeleitet wird, einen Codierer 101d, zum Codieren und zum Weiterleiten des MPEG4-Stroms STM1b, einen Paketierer 102Eb, um den MPEG4-Strom STM1b vom Codierer 101b zu empfangen, um diesen zu dem MPEG2-PES-Paket zu übertragen und um einen Strom STM2b der MPEG2-PES-Paketform weiterzuleiten, und einen Multiplexer 103, um die MPEG2-PES-Paketströme STM2a und STM2b von den Paketierern 102Ea und 102Eb zu empfangen und zu multiplexen, und einen Strom STM3 der MPEG2-TS-Form als Transportausgangssignal zu transportieren.
  • Gemäß dem Transportsystem 100E wird der MPEG4-Strom STM1a, der vom Codierer 101a weitergeleitet wurde, dem Paketierer 102Ea zugeführt, der diesen in das MPEG2-PES-Paket überträgt. Der MPEG4-Strom STM1b, der vom Codierer 101b weitergeleitet wurde, wird dem Paketierer 102Eb zugeführt, der diesen in das MPEG2-PES-Paket überträgt. Die Ströme STM2a und STM2b der MPEG2-PES-Paketform, welche von den Paketierern 102Ea und 102Eb weitergeleitet wurden, werden dem Multiplexer 103 zugeführt, der den Strom STM3 der MPEG2-TS-Form als dessen Ausgangssignal transportiert.
  • Der Multiplexer 103 empfängt und trennt und Information MPEG4-video_descriptor und multiplext die Ströme STM2a und STM2b und den unterteilten MPEG4-video_descriptor, um zu zeigen, dass die Daten, welche im gemultiplexten MPEG2-PES-Paket sind, MPEG4-Strom sind.
  • Jeder Paketierer 102Ea und 102Eb ist so aufgebaut, so zu sein, wie der Paketierer 102A des Transportsystems 100A, wie in 3 gezeigt ist. Die Zeitinformations-Erzeugungseinheit 113A des Paketierers 102Ea erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information, welche durch die Kopfpuffereinheit 112 ermittelt wurde, und des Anfangswerts ESCR, der von außerhalb zugeführt wird. Die PES-Kopferzeugungseinheit 114 des Paketierers 102Ea erzeugt den PES-Kopf, wobei die Zeitinformation darin enthalten ist.
  • Die Zeitinformations-Erzeugungseinheit 113A des Paketierers 102Eb erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information, welche durch die Kopfpuffereinheit 112 ermittelt wurde, und den Anfangswert ESCR, der von außerhalb zugeführt wird. Die PES-Kopferzeugungseinheit 114 des Paketierers 102Eb erzeugt den PES-Kopf, wobei diese Zeitinformation darin enthalten ist. Der Anfangswert, der der Zeitinformations-Erzeugungseinheit 113A des Paketierers 102Ed zugeführt wird, wird auf den gleichen Wert wie den, der der Informationserzeugungseinheit 113A des Paketierers 102Ea zugeführt wird, eingestellt.
  • Da die verbleibenden Arbeitsweisen der Paketierer 102Ea und 102Eb gleich denen des Paketierers 102A des Transportsystems 100A, wie in 3 gezeigt ist, sind, wird auf eine ausführliche Erläuterung dafür verzichtet.
  • Gemäß der fünften Ausführungsform erlangt das Transportsystem 100E die Zeitinformation, beispielsweise ESCR, DTS und PTS von der Information auf den MPEG4-Strömen STM1a und STM1b. Es erzeugt den PES-Kopf, wobei die Zeitinformation darin enthalten ist, und erzeugt das MPEG2-PES-Paket, wobei der PES-Kopf dem MPEG4-Strom jede AU hinzugefügt wird, wodurch der MPEG2-TS-Strom STM3 als dessen Ausgangssignal transportiert wird. Da der PES-Kopf des MPEG2-PES-Pakets die Zeitinformation, beispielsweise ESCR, DTS und PTS enthält, führt die Empfängerseite dessen Decodieren ohne Fehler und die Indikationssynchronisation mit einem anderen Strom aus.
  • Gemäß der fünften Ausführungsform empfängt jede Zeitinformations-Erzeugungseinheit 113A, 113A der Paketierer 102Ea und 102Eb den gemeinsamen Anfangswert von ESCR, und erzeugt die Zeitinformation ESCR, DTS und PTS, wodurch die Zeitinformation auf der Basis der gleichen Zeitachse erzeugt wird. Daher leiten die Paketierer 102Ea, 102Eb sequentiell MPEG2-PES-Pakete weiter, die jeweils den PES-Kopf haben, der die Zeitinformation aufweist, welche gemäß der gleichen Zeitachse erzeugt wird.
  • (6) Sechste Ausführungsform der Erfindung
  • 8 zeigt in einem Blockdiagramm den Aufbau eines Transportsystems 100F als sechste Ausführungsform der Erfindung. Da in 8 gleiche Bezugszeichen gleiche Elemente von 3 bezeichnen, wird auf eine ausführliche Erläuterung dieser Elemente verzichtet.
  • Das Transportsystem 100'F umfasst den Codierer 101 zum Codieren und zum Weiterleiten des MPEG4-Stroms STM1, einen Paketierer 102F, um den MPEG4-Strom STM1 vom Codierer 101 zu empfangen, um diesen zum MPEG2-PES-Paket zu übertragen, und um einen Strom STM2 der MPEG2-PES-Paketform weiterzuleiten, und einen Multiplexer 103, um die MPEG2-PES-Paketströme STM2 vom Paketierer 102F zu empfangen und zu multiplexen und um einen Strom STM3 der MPEG2-TS-Form als Transportausgangssignal zu transportieren.
  • Gemäß dem Transportsystem 100F wird der MPEG4-Strom STM1, der vom Codierer 101 weitergeleitet wurde, dem Paketierer 102F zugeführt, der diesen in das MPEG2-PES-Paket überträgt. Der Strom STM2 der MPEG2-PES-Paketform, der vom Paketierer 102F weitergeleitet wurde, wird dem Multiplexer 103 zugeführt, der den Strom STM3 der MPEG2-TS-Form als dessen Ausgangssignal transportiert. Der Multiplexer 103 empfängt und teilt die Information MPEG4-video descriptor und multiplext den Strom STM2 und den ausgewählten MPEG4-video descriptor, um zu zeigen, dass die Daten, welche im gemultiplexten MPEG2-PES-Paket enthalten sind, der MPEG4-Strom ist.
  • Der Paketierer 102F umfasst eine Kopfermittlungseinheit 111 zum Empfangen des MPEG4-Stroms STM1 und zum Ermitteln von Datenköpfen vom Strom STM1, eine Kopfpuffereinheit 112 zum Empfangen der Köpfe, welche durch die Kopfermittlungseinheit 111 ermittelt werden, um diese nacheinander zu speichern, und zum Ermiteln von Information, die erforderlich ist, die Zeitinformation zu erzeugen, beispielsweise ESCR, DTS und PTS, die in den Kopf des MPEG2-PES-Pakets einzufügen ist, und eine Zeitinformations-Erzeugungseinheit 113F, um die Zeitinformation unter Verwendung der Information zu erzeugen, welche durch die Kopfpuffereinheit 112 ermittelt wurde, den Anfangswert von ESCR, der von außerhalb geliefert wird, und die maximale Bitrate AURmax, die von außerhalb geliefert wird.
  • Der Paketierer 102F umfasst außerdem eine PES-Kopfverzögerungseinheit 114, um einen PES-Kopf zu erzeugen, wobei die Zeitinformation verwendet wird, beispielsweise ESCR, DTS und PTS, die durch die Zeitinformations-Erzeugungseinheit 113F erzeugt wurde, und die Informations-stream_id, die von außerhalb geliefert wird.
  • Er weist außerdem eine Puffereinheit 115 auf, um den zugeführten MPEG4-Strom STM1 nacheinander auf einer AU-Basis zu speichern, und eine PES-Paketierungseinheit 116, um das MPEG2-PES-Paket zu erzeugen, wobei der PES-Kopf, der durch die PES-Kopferzeugungseinheit 114 erzeugt wurde, dem Kopf der Daten einer AU hinzugefügt wird, welche in der Puffereinheit 115 gespeichert ist. Hier sind die wesentlichen Komponenten des MPEG4-Stroms STM1 von einer AU VOPs, und eine erste AU umfasst einen Kopfbereich einer oberen Schicht vor einer ersten VOP.
  • Im Paketierer 102F wird der MPEG4-Strom STM1, der vom Codierer 101 weitergeleitet wurde, der Kopfermittlungseinheit 111 zugeführt, welche die Köpfe auf dem Strom ermittelt. Die Köpfe, welche durch die Einheit 111 ermittelt werden, werden zur Kopfpuffereinheit 112 geliefert, welche diese nacheinander speichert.
  • Die Kopfermittlungseinheit 111 zählt die Anzahl der AUs, unter der Annahme, dass eine AU ermittelt wird, wenn die Einheit 111 den Kopf abweichend vom VOP-Kopf ermittelt, wenn der VOP-Kopf ermittelt wird, und hält die Zählwerte als Variable (AUcnt). Weiter zählt die Zählwerte von Bytes in jeder AU und hält diese als Variable (AU[i]) bei jeder AU, wo "i" eine Zahl ist, die im Intervall 1 ≤ i ≤ AUcnt enthalten ist, und die ermittelte Reihenfolge der AUs zeigt. Die Zeitinformations-Erzeugungseinheit 113F verwendet diese Variablen (AUcnt und AU[i]), wenn die Zeitinformation erzeugt wird, beispielsweise ESCR, DTS und PTS, wie später beschrieben wird. Wenn die MPEG4-Daten beendet sind, verarbeitet sie die endgültige AU des MPEG4-Stroms STM1, als ob sie eine AU ermitteln könnte.
  • Die Puffereinheit 115 empfängt zugeführte MPEG4-Ströme STM1 und speichert diese nacheinander auf AU-Basis. Der Kopfpuffer 112 analysiert die darin gespeicherten Köpfe und ermittelt die Information wie folgt:
    frist_half_vbv_occupancy, latter_half_vbv_occupancy,
    frist_half_bit_rate, latter_half_bit_rate,
    vop_time_increment_resolution, und fixed_vop_time_increment,
    werden von einem Kopf der Video_Object_Layer ermittelt; und
    vop_coding_type modulo time_base, vop_time_increment werden von einem Kopf Video_Object_Layer ermittelt.
  • Die Zeitinformations-Erzeugungseinheit 113F empfängt die obige Information, welche durch die Kopfpuffereinheit 112 ermittelt wurde. Die Einheit 113F erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information, welche durch Analysieren der Köpfe, der Variablen (AUcnt und AU[i]), welche in der Kopfermittlungseinheit 111 gehalten werden, der maximalen Bitrate, von AURmax, welche von außerhalb zugeführt wird, und des Initialwerts des ESCR, der von außerhalb geliefert wird, erhalten wird.
  • Es werden nun die Operationen zum Erzeugen der Zeitinformation erläutert. Die Einheit 113F berechnet zunächst eine Belegung der Daten vbv_occupancy, welche im Puffer des Empfängers zu speichern ist, bis das Decodieren begonnen wird, nachdem der Empfänger die Daten wie folgt empfängt: vbv_occupancy = frist_half_vbv_occupancy·0x8000 + latter_half_vbv_occupancy
  • Anschließend erlangt die Einheit 113F die Zeit (T), die auf AU-Basis zu aktualisieren ist, durch Berechnung wie folgt: T[sec] = fixed_vop_time_increment/vop_time_increment_resolution
  • Gemäß den folgenden Operationen erlangt die Einheit 113F DTS, PTS und ESCR, jeweils für die "i"-te AU, wobei die Differenzzeit eingestellt wird, wenn eine vorhergehende AU PES-paketiert ist (die Überschusszeit über der Zeit für einen Rahmen) als Si-1[sec].
    • 1. Zeit AUT[i] zum Transportieren von "i"-ter AU (Größe AU[i]) wird wie folgt berechnet: AUT[i] = T – Si-1
    • 2. Transportrate AUR[i], wenn "i"-te AU (Größe AU[i]) transportiert wird, wird wie folgt berechnet: wenn AUT[i] ≤ 0, dann AUR[i] = AURmax; und wenn AUT[i] > 0, dann AUR[i] = AU[i]/AUT[i]
    • 3. Gemäß der berechneten AUR[i] wird die Zeit für Realtransport AUT[i] wie folgt berechnet: AUT[i] = AU[i]/AUR[i]
    • 4. Die Differenzzeit Si, die verwendet wird, wenn "i + 1"-te AU PES-paketiert wird, wird wie folgt berechnet: si = Si-1 + AUT[I] – T
    • 5. Gemäß der berechneten Bitrate AUR[i] wird der DTS_Offset wie folgt berechnet: DTS_Offset = (64·vbv_occupancy)/AUR[i]
    • 6. Gemäß den obigen Ergebnissen wird DTS (Decodierzeit) wie folgt berechnet: DTS = T·i + DTS_Offset + ESCR_basewobei ESCR_base = Anfangswert von ESCR
    • 7. Eine Zahl (m_cnt) von "1" ist in der Information modulo_time_base_enthalten ist, wird gezählt. Die Zahl m_cnt zeigt, wie viele Sekunden man für ein Bild braucht, um nach dem I-Bild aufzutreten. Daher m_cnt = eine Zahl von "1", welche in modulo_time_base enthalten ist
    • 8. Die Information vop_time zum Anzeigen der Wiedergabezeit wird wie folgt berechnet: vop_time = vop_time_increment/vop_time_increment_resolution
    • 9. Gemäß diesen berechneten Werten wird die Wiedergabezeit PTS wie folgt be rechnet: PTS = vop_time + m_cnt + DTS_Offset + ESCR_base
    • 10. Eine Anzahl von Bytes von einem Kopf des PES-Datenkopfs zu einem ESCR-Feld wird auf einer AU-Basis berechnet und wird als ESCR-Byte gesetzt.
    • 11. Gemäß den obigen Ergebnissen wird die Referenzzeit ESCR wie folgt berech net: ESCR = 1/AUR[i]·8·(ΣAU[i – 1] + ESCR_byte) + ESCR_base
  • Die PES-Kopfverzögerungseinheit 114 empfängt die Zeitinformation ESCR, DTS, PTS, die durch die Zeitinformations-Erzeugungseinheit 113F erzeugt wurden. Die Einheit 114 erzeugt den PES-Kopf unter Verwendung dieser Zeitinformation und Stromidentifikationsinformation stream_id, die von außerhalb zugeführt werden. Die Einheit 114 erzeugt den PES-Kopf auf einer AU-Basis.
  • Die PES-Paketierungseinheit 116 empfängt die PES-Köpfe, die durch die obige Einheit 114 erzeugt wurden. Die Einheit 116 erzeugt das MPEG2-PES-Paket, wobei der PES-Kopf, der durch die Einheit 114 erzeugt wurde, in einen Kopf der Daten einer AU hinzugefügt wird, die in der Puffereinheit 115 gespeichert ist.
  • Gemäß der sechsten Ausführungsform erlangt das Transportsystem 100f die Zeitinformation, beispielsweise ESCR, DTS und PTS von der Information auf den MPEG4-Strömen STM1 und der Information von AURmax, die von außerhalb geliefert wird. Es erzeugt den PES-Kopf, wobei die Zeitinformation darin enthalten ist, und erzeugt das MPEG2-PES-Paket, wobei der Kopf dem MPEG4-Strom jede AU hinzugefügt wird, wodurch der MPEG2-TS-Strom STM3 als dessen Ausgangssignal transportiert wird. Da der PES-Kopf des MPEG2-PES-Pakets die Zeitinformation aufweist, beispielsweise ESCR, DTS und PTS, führt die Empfängerseite dessen Decodieren durch, ohne Fehler und die Indikationssynchronisierung mit einem anderen Strom.
  • Gemäß der sechsten Ausführungsform empfängt die Zeitinformations-Erzeugungseinheit 116F die Information AURmax, welche die maximale Bitrate zeigt, von außerhalb, wodurch die Zeitinformation ohne den Maximalwert der Bitrate zu beschränken, erzeugt wird. Daher erlaubt dies, dass die PES-Paketierung bei beliebigen Bitraten durchgeführt werden kann, welche für eine Transportleitung verfügbar sind.
  • (7) Siebte Ausführungsform der Erfindung
  • 9 zeigt in einem Blockdiagramm den Aufbau eines Transportsystems 100G als siebte Ausführungsform der Erfindung. Da in 9 gleiche Bezugszeichen gleiche Elemente von 3 bezeichnen, wird auf eine ausführliche Erläuterung dieser Elemente verzichtet.
  • Das Transportsystem 100G umfasst den Codierer 101 zum Codieren und zum Weiterleiten des MPEG4-Stroms STM1, einen Stromanalysierer 104 zum Empfangen und zum Analysieren des MPEG4-Stroms STM1 vom Codierer 101 und zum Ermitteln vorher festgelegter Information, und eine Recheneinheit 105 zum Durchführen arithmetischer Progression bezüglich der Rahmenrate FR, der Bitrate AUR[i] jede AU, der Transportzeit AUT[i] jede AU und der Wiedergabezeit DTS[i] bei jeder AU gemäß der Information, die durch den Stromanalysator 104 ermittelt wurde. Die Recheneinheit 105 empfängt die maximale Bitrate AURmax, den Schwellenwert des Offsets, die Empfangspuffergröße Bmax und den Anfangswert von ESCR.
  • Das Transportsystem 100G umfasst außerdem einen Paketierer 102G zum Empfangen des MPEG4-Stroms STM1 über den Stromanalysator 104, wobei es diesen in das MPEG2-PES-Paket überträgt und einen Strom STM2 der MPEG2-PES-Paketform weiterleitet, und einen Multiplexer 103 zum Empfangen und zum Multiplexen der MPEG2-PES-Paketströme STM2 vom Paketierer 102G und zum Transportieren eines Stroms STM3 der MPEG2-TS-Form als Transportausgangssignal.
  • Gemäß dem Transportsystem 100G wird der MPEG4-Strom STM1, der vom Codierer 101 weitergeleitet wurde, zum Stromanalysator 104 geliefert. Der Analysator 104 analysiert den Strom STM1, und die folgende Information zu ermitteln:
    Gesamtzahl der AUs in einem Strom AUcnt;
    Größe jeder der AUs, AU[i],
    wobei "i" eine ganze Zahl ist, welche im Intervall zwischen 1 ≤ i ≤ AUcnt enthalten ist, und die "i"-te AU von diesen Kopf zeigt (so dass folgendes gilt):
    vop-time_increment_resolution; und
    fixed_vop_time_increment
  • Der analysierte Strom STM1 im Analysator 104 wird zum Paketierer 102G geliefert, der diesen in das MPEG2-PES-Paket überträgt.
  • Die Recheneinheit 105 empfängt die durch den Analysator 104 ermittelte Information. Die Einheit 105 berechnet die Information, beispielsweise die Rahmenrate FR, die Bitrate AUR[i] für jede AU, die Transportzeit AUT[i] für jede AU und die Wiedergabezeit DTS[i] für jede AU entsprechend der durch den Analysator 104 ermittelten Information.
  • Die entsprechenden Abschnitte der obigen Information werden wie folgt berechnet:
    • (a) Rahmenrate FR = vop-time_increment_resolution/fixed_vop_time_increment;
    • (b) Bitrate für jede AU und Transportzeit für jede AU Es sei angenommen, dass die Differenzzeit nach der Weiterleitung von AU[i – 1] gleich "S" ist. Die Differenzzeit S wird auf das Integral der Differenz zwischen der Transportzeit, wenn AU mit 1/FR transportiert wird, was Zeit bedeutet, um Daten eines Rahmens zu zeigen, und der Realtransportzeit AUT[i] eingestellt. Wenn die Differenzzeit S nicht kleiner als 1/FR ist, wird AUR[i] auf die maximale Bitrate AURmax eingestellt. Dieses AURmax wird von außerhalb zugeführt. Daher gilt S ≥ 1/FR → AUR[i] = AURmaxWenn die Differenzzeit S kleiner als 1/FR ist, wird die Formel AUR[i] = AU[i]/(1/FR – S) verwendet und AUR[i] berechnet. Daher gilt: S < 1/FR → AUR[i] = AU[i]/(1/FR – S)Wenn der berechnete Wert AUR[i] AURmax übersteigt, wird dieser zu AURmax modifiziert. Daher gilt: AUR[i] > AURmax → AUR[i] = AURmaxGemäß dem festen Wert AUR[i] wird ein Formel AUT[i] = AU[i]/AUR[i] verwendet, und die Transportzeit AUT[i] der "i"-ten AU wird auf der Basis der Formel berechnet. Daher gilt: AUT[i] = AU[i]/AUR[i] Die Differenzzeit S wird aktualisiert, in dem eine Formel A = S + AUT[i] – (1/FR) gefolgt wird.
    • (c) Wiedergabezeit jede AU Die Differenz DTS-Offset zwischen dem Anfangswert der ESCR und DTS wird zunächst auf eins [sec] eingestellt. Danach wird die Differenz DTS_ Offset berechnet und moduliert. Als Anfangswert der ESCR wird der, der von außerhalb zugeführt wird, verwendet. Daher gilt: DTS[i] =(1/FR)·i + DTS_Offset + ESCR_baseDie Recheneinheit 105 führt fortgeschrittene Berechnung bezüglich Variationen in der Datenbelegung im Puffer durch, die für eine Empfängerseite fertig ist, um einen Fehler für die Empfängerseite zu vermeiden. Die Erzeugung der Zeitinformation gemäß den berechneten Ergebnissen erlaubt verlässlich, in PES ohne Fehler der Empfängerseite übertragen zu werden.
  • Gemäß den folgenden Operationen erlangt die Recheneinheit 105 die Datenbelegung B_occ[i], die im Puffer der Empfängerseite bis zur Zeit DTS[i] auf einer AU-Basis gespeichert ist.
    • 1. Die Zeit zwischen DTS[i – 1] und DTS[i] wird auf SJ eingestellt; sie wird wie folgt berechnet: SJ = DTS[i] und DTS[i – 1]
    • 2. Betrachtet man eine erste AU, so wird jedoch SJ wie folgt berechnet: SJ = DTS[i] – ESCR_base
    • 3. Wenn die vorhergehende AU decodiert wird, wenn AU[i – 1] zugeführt wird, empfängt der Puffer die verbleibenden Daten SD[i – 1]. Bei einer ersten AU wird SD[i – 1] auf null eingestellt. Daher gilt: SJ > SD[i – 1]/AUR[i – 1] → B_occ[i] = B_occ[i] + SD[i – 1] SJ = SJ – SD[i – 1]/AUR[i – 1]
    • 4. Neue Eingangsdaten von AU, beispielsweise Daten von "j"-ter AU bis zur in der Mitte liegenden "j + 2"-ten AU werden zugeführt. Wenn der Puffer die Daten empfängt, subtrahiert er die Zeit, beispielsweise AUT[j], um die Daten von SJ zu empfangen, und stoppt dann das Empfangen der Daten, wenn SJ auf null abfällt. Die Daten der "j"-ten AU werden zum Puffer geliefert. Daher gilt: SJ > AUT[j] → B_occ[i] = B_occ[i] + AUR[j]·AUT[j] SJ = SJ – AUT[j] Die Daten der "j + 1"-ten AU werden zum Puffer geliefert. Daher gilt: SJ > AUT[j + 1] → B_occ[i] = B_occ[i] + AUS[j + 1]·AUT[i – 1] SJ = SJ – AUT[j + 1]Die Daten der "j + 2"-ten AU werden zum Puffer geliefert. Wenn AU[j + 2] die SJ übersteigt, werden die Daten der SJ zugeführt. Daher gilt: SJ ≤ AUT[j + 2] → B_occ[i] = B_occ[i] + AUR[j + 2]·SJ
    • 5. Die verbleibenden Daten SD[i] von AU[j + 2] werden wie folgt berechnet: SD[i] = AUS[j + 2] – AUR[j + 2]·SJ
    • 6. Eine Anzahl j + 2 der schließlich empfangenen AU wird gespeichert.
    • 7. Der Anfangswert der Datenbelegung des Puffers nach dem Decodieren der Da ten der "i"-ten AU wird berechnet. Die Daten der "i + 1"-ten AU werden auf den berechneten Anfangswert der Datenbelegung des Puffers bis zum Decodieren der Daten der "i + 1"-ten AU ingestellt. Daher gilt: B_occ[i + 1] = B_occ[i] – AU[i]
    • 8. Anschließend läuft das Verfahren zum Schritt 1, um die Datenbelegung des Puffers bis zum Decodieren der Daten der "i + 1"-ten AU zu bekommen. Die obigen Operationen werden bis zum Decodieren der Daten aller AUs wiederholt, so dass die Datenbelegung B_occ[I] des Puffers, wenn entsprechend die Daten der AUs decodiert werden, erhalten werden kann. Es wird "i" ermittelt, welches die maximale Anzahl von berechneter Belegung B_occ[i] hat, und erlangt die Differenz BS zwischen der Puffergröße Bmax, die von außerhalb empfangen wird, und B_occ[i]. Daher gilt: BS = Bmax – B_occ[i]Wenn BS ≤ SD[i], unterteilt sie danach die BS durch die Bitrate AUR[j + 2] der Daten von AU, die zuletzt empfangen wurden, wenn die Belegung B_occ[i] berechnet wird, und erlangt die Zeit Offset zum Weiterleiten der Daten BS. Daher gilt: Wenn Offset-BS/AUR[j + 2] und BS > SD[i], wird der Offset wie folgt berechnet: Offset = SD[i]/AUR[j + 2] + (BS – SD[i]/AUR[j + 3])
  • Gemäß dem berechneten Offsetwert wird die Information DTS_Offset nochmals berechnet. Danach wird DTS[i] auf AU-Basis wieder bekommen. Wenn der Offset-Wert das Intervall zwischen 0 ≤ Offset ≤ einem Schwellenwert des Offsets übersteigt, berechnet sie dann Variationen der Datenbelegung des Puffers auf der Empfängerseite nochmals und erlangt nochmals Werte des Offsets.
  • Die Zeitinformations-Erzeugungseinheit 113G des Paketierers 102G empfängt die obige Information DTS[i] und DTS_Offset jeder AU, die Rahmenrate FR, die Bitrate AUR[i] jeder AU und den Anfangswert von ESCR, die jeweils durch die Recheneinheit 105 berechnet wurden. Die Einheit 113G erzeugt die Zeitinformation, beispielsweise ESCR und PTS unter Verwendung der Information, die von der Recheneinheit 105 zugeführt wird, und der Information, die durch die Kopfpuffereinheit 112 ermittelt wurde, wie die Zeitinformations-Erzeugungseinheit 113F des Transportsystems 100F.
  • Die PES-Kopferzeugungseinheit 114 empfängt die Zeitinformation ESCR, DTS und PTS von der Zeitinformations-Erzeugungseinheit 113G. Die Einheit 114 erzeugt den PES-Kopf unter Verwendung der obigen Zeitinformation und der Stromidentifikationsinformation stream_id, die von außen zugeführt werden. Die Einheit 114 erzeugt den PES-Kopf bezüglich einer ermittelten AU-Basis.
  • Die PES-Paketierungseinheit 116 empfängt den durch die obige PES-Kopferzeugungseinheit 114 erzeugten PES-Kopf. Die Einheit 116 erzeugt das MPEG2-PES-Paket, wobei der durch die Einheit 114 erzeugte PES-Kopf einem Kopf der Daten einer AU hinzugefügt werden, die in der Speichereinheit 115 gespeichert ist.
  • Der Strom STM2 der MPEG2-PES-Paketform, der vom Paketierer 102G weitergeleitet wurde, wird dem Multiplexer 103 zugeführt, der den Strom STM3 der MPEG2-TS-Form als dessen Ausgangssignal transportiert. Der Multiplexer 103 unterteilt die Information MPEG4-video descriptor und multiplext den Strom STM2 und den unterteilten MPEG4-video descriptor, um zu zeigen, dass die Daten, welche in STM2 enthalten sind, welche der Multiplexer 103 empfängt, der MPEG4-Strom sind.
  • Da der übrige Aufbau und die Arbeitsweise des Transportsystems 100G die gleichen wie die des Transportsystems 100A sind, welches in 3 gezeigt ist, wird auf eine ausführliche Erläuterung dafür verzichtet.
  • Gemäß der siebten Ausführungsform erlangt das Transportsystem 100G die Zeitinformation, beispielsweise ESCR, DTS und PTS von der Information auf den MPEG4-Strömen STM1 und der Information, welche von der Recheneinheit 105 zugeführt wird. Sie er zeugt den PES-Kopf, wobei die Zeitinformation darin enthalten ist, und erzeugt das MPEG2-PES-Paket, wobei der PES-Kopf in den MPEG4-Strom jeder AU hinzugefügt wird, wodurch der MPEG2-PES-Strom STM3 als dessen Ausgangssignal transportiert wird. Da der PES-Kopf des MPEG2-PES-Pakets die Zeitinformation aufweist, beispielsweise ESCR, DTS und PTS, führt die Empfängerseite dessen Decodieren ohne Fehler und die Indikationssynchronisation mit einem anderen Strom aus.
  • Gemäß der siebten Ausführungsform berechnet die Recheneinheit 105 außerdem die Information DTS_Offset ohne Verwendung der Information vbv_occupancy bezüglich der Datenbelegung bis zum Start der Decodierung im Puffer der Empfängerseite, wodurch die Zeitinformation, beispielsweise DTS und PTS in der Recheneinheit 105 erzeugt werden und der Zeitinformations-Erzeugungseinheit 113G unter Verwendung des DTS_Offset. Daher wird es dem Transportsystem 100G erlaubt, die Zeitinformation zu erzeugen, die geeignet ist, wenn die Information vbv_occupancy nicht verfügbar ist.
  • (8) Achte Ausführungsform der Erfindung
  • 10 zeigt in einem Blockdiagramm den Aufbau eines Transportsystems 100h als achte Ausführungsform der Erfindung. Da in 10 gleiche Bezugszeichen sich auf gleiche Elemente von 3 beziehen, wird auf eine ausführliche Erläuterung dieser Elemente verzichtet.
  • Das Transportsystem 100H umfasst den Codierer 101 zum Codieren und zum Weiterleiten des MPEG4-Stroms STM1, einen Paketierer 102H zum Empfangen des MPEG4-Stroms STM1 vom Codierer 101, wobei dieser zum MPEG2-PES-Paket übertragen wird, und ein Strom STM2 der MPEG2-PES-Paketform weitergeleitet wird, und einen Multiplexer 103, um die MPEG2-PES-Paketströme STM2 vom Paketierer 102H zu empfangen und zu multiplexen und einen Strom STM3 der MPEG2-TS-Form als Transportausgangssignal zu transportieren.
  • Der Paketierer 102H umfasst einen Stromanalysator 104 zum Empfangen und zum Analysieren des MPEG4-Stroms STM1 vom Codierer 101 und zum Ermitteln vorher festgelegter Information, und eine Recheneinheit 105 zum Durchführen von arithmetischer Progression bezüglich der Rahmenrate FR, der Bitrate AUR[i] jeder AU, der Transportzeit AUT[i] jeder AU und der Wiedergabezeit DTS[i] jeder AU gemäß der Information, die durch den Stromanalysator 104 ermittelt wurde. Die Recheneinheit 105 empfängt die maximale Bitrate AURmax, einen Schwellenwert von Offset, wobei sie die Puffergröße Bmax und den Anfangswert von ESCR von außerhalb empfängt.
  • Der Paketierer 102H umfasst außerdem eine Kopfermittlungseinheit 111 zum Empfangen des MPEG4-Stroms STM1 und zum Ermitteln von Köpfen von der STM1, eine Kopfpuffereinheit 112 zum Empfangen der Köpfe, die durch die Kopfermittlungseinheit 111 ermittelt wurden, wobei diese nacheinander gespeichert werden, und zum Ermitteln von Information, die erforderlich ist, die Zeitinformation zu erzeugen, die in einem Kopf des MPEG2-PES-Pakets enthalten sein soll, eine Zeitinformations-Erzeugungseinheit 113H zum Erzeugen der Zeitinformation, beispielsweise ESCR, DTS und PTS unter Verwendung der Information, die durch die Kopfpuffereinheit 112 ermittelt wurde, und der Information, welche von der Recheneinheit 105 zugeführt wurde.
  • Der Paketierer 102H umfasst außerdem eine PES-Kopferzeugungseinheit 114 zum Erzeugen eines PES-Kopfes unter Verwendung der Zeitinformation, beispielsweise ESCR, DTS und PTS, die durch die Zeitinformations-Erzeugungseinheit 113 erzeugt wurde, und der Information stream-id, die von außerhalb zugeführt wird. Er umfasst außerdem eine Puffereinheit 115 zum Speichern des empfangenen MPEG4-Stroms STM1 der Reihe nach auf AU-Basis, und eine PES-Paketierungseinheit 116 zum Erzeugen des MPEG2-PES-Pakets, wobei der PES-Kopf, der durch die PES-Kopferzeugungseinheit 114 erzeugt wurde, in einen Kopf der Daten einer AU hinzugefügt wird, die in der Puffereinheit 115 gespeichert ist.
  • Das in 10 gezeigte Transportsystem 100H ist das gleiche wie das System 100G, welches in 9 gezeigt ist, mit der Ausnahme, dass der Paketierer 102H die Stromanalysierungseinheit 104 und die Recheneinheit 105 aufweist, während der Paketierer 100G diese ausschließt. Dies erlaubt, dass das System 100H wie das System 100G arbeitet. Das System 100H erlangt den gleichen Effekt wie das System 100G.
  • 2. Paketierungsverfahren
  • Es werden beispielhaft Paketierungsverfahren erläutert, welche der Paketierer beispielsweise der Paketierer 102A des Transportsystems 100A, wie in 3 gezeigt ist, durchführt, mit einem Computer 150, der in 11 gezeigt ist, der diese durchführt.
  • Der Computer 150 enthält die CPU 151, den Nur-Lese-Speicher 152 (anschließend als ROM bezeichnet) zum Speichern des Betriebsprogramms der CPU 151 usw., einen Speicher mit wahlfreiem Zugriff 153 (anschließend als RAM bezeichnet) und einen Speicherträger, beispielsweise eine Festplatte 154 (anschließend als HDD bezeichnet). Alle diese Einheiten, d.h., die CPU 151, der ROM 152, der RAM 153 und die HDD 154 sind mit dem Bus 155 verbunden. Die HDD 154 speichert MPEG4-Ströme STM1 vor der Übertragung und die Ströme STM2 der MPEG2-PES-Paketform, die gemäß den Paketierungsverfahren erhalten werden.
  • (1) Paketierungsverfahren in Bezug auf einen Paketierer 102A des Transportsystems 100A nach der Erfindung, das in 3 gezeigt ist.
  • Dieser Paketierungsprozess wird mit Hilfe eines Flussdiagramms, welches in 12 gezeigt ist, erläutert.
  • Das Verfahren beginnt im Schritt 1. Das Transportsystem bestimmt, ob die MPEF4-Daten, die auf der HDD 154 zugeführte Daten gespeichert sind, vollständig sind (im Schritt ST2). Wenn diese nicht vollständig sind, liest dies neue MPEG4-Daten als Eingangsdaten von der HDD 154 im Schritt ST3.
  • Im Schritt ST4 bestimmt dieses, ob die gelesenen MPEG4-Daten einen Kopf aufweisen. Wenn dieser nicht enthalten ist, speichert der Puffer die Daten im Schritt ST5 im RAM 153 und das Verfahren läuft weiter zum Schritt ST2.
  • Wenn diese enthalten sind, speichert der Kopfpuffer im RAM 153 Daten dieses Kopfes im Schritt ST6 und bestimmt, ob Daten einer AU im Schritt ST7 ermittelt wurden. In diesem Fall, wenn ein Kopf, der den nächsten VOP-Kopf übersteigt, ermittelt wird, wenn der VOP-Kopf ermittelt wird, wird dies als die Daten einer AU eingestellt. Wenn die Daten einer AU ermittelt werden, speichert der Puffer die MPEG4-Daten einer AU im RAM 153.
  • Wenn die Daten einer AU im Schritt ST7 nicht ermittelt werden, speichert der Puffer im RAM 153 die MPEG4-Daten, die im Schritt ST5 gelesen werden und das Verfahren läuft weiter zum Schritt ST2.
  • Wenn die Daten einer AU im Schritt ST7 ermittelt werden, analysiert dieses die Daten des Kopfs, die im Kopfpuffer im RAM 153 gespeichert sind und ermittelt die Information first_half_vbv_occupancy, latter_half_vbv_occupancy, first_half_bit_rate, latter_bit_rate, vop_time_increment_resolution, und fixed_vop_time_increment, von Video_Object_Layer-Kopf und der Information vop_coding_type, modulo_time_base, und vop_time_increment, vom Video_Object_Plane-Datenkopf, wie in der obigen Beschreibung des Transportsystems 100A, welches in 3 gezeigt ist, beschrieben wurde, im Schritt ST8.
  • Es erzeugt die Zeitinformation, beispielsweise ESCR, DTS und PTS im Schritt ST9, wobei die Information verwendet wird, welche im Schritt ST8 ermittelt wurde, und der Anfangswert von ESCR, der vorher im RAM 153 gespeichert wurde. Es erzeugt dann den PES-Kopf, der die Zeitinformation darin enthält, im Schritt ST10.
  • Es erzeugt das MPEG2-PES-Paket im Schritt ST11, wobei der PES-Kopf, der im Schritt ST10 hinzugefügt wurde, in die MPEG4-Daten einer AU hinzugefügt wird, die im Puffer des RAMs 153 gespeichert ist, und diese auf die HDD 154 als Ausgangsdaten schreibt.
  • Das Verfahren läuft weiter zum Schritt ST2 und verschiebt sich zu einem neuen MPEG2-PES-Paketerzeugungsprozess. Das Wiederholen der Verfahren erlaubt es, dass die zugeführten MPEG4-Daten in das MPEG2-PES-Paket der Reihe nach für jede AU übertragen werden.
  • Wenn alternativ die MPEG4-Daten als Eingangsdaten schon im Schritt ST2 vollständig sind, verschiebt sich das Verfahren zur Verarbeitung der MPEG4-Daten der letzten AU, welche im Puffer des RAMs 153 gespeichert ist. Gemäß der Verarbeitung analysiert es die Daten des Kopfs, die im Kopfpuffer des RAMs 153 gespeichert sind, und ermittelt die gleiche Information wie die, welche im Schritt ST8 (im Schritt ST12) ermittelt wurde.
  • Es ermittelt die Zeitinformation, beispielsweise ESCR, DTS und PTS im Schritt ST13 unter Verwendung der Information, welche im Schritt ST12 ermittelt wurde und des Anfangswerts von ESCR. Es erzeugt dann den PES-Kopf, wobei die Zeitinformation darin enthalten ist, im Schritt ST14.
  • Sie erzeugt außerdem das endgültige MPEG2-PES-Paket im Schritt ST15, wobei der PES-Kopf, der im Schritt ST14 erzeugt wurde, in die MPEG4-Daten der letzten AU hinzugefügt werden, die im Puffer des RAMs 153 gespeichert wurde, und schreibt diese auf die HDD 154 als Ausgangsdaten. Das Verfahren endet im Schritt ST16.
  • (2) Paketierungsverfahren bezüglich des Paketierers 102B des Transportsystems 100B nach der Erfindung, wie in 4 gezeigt ist.
  • Dieser Paketierungsprozess wird im Bezug auf ein Flussdiagramm, welches in 13 gezeigt ist, erläutert. In 13 beziehen sich gleiche Schritt-Bezugszeichen auf gleiche Schritt-Bezugszeichen von 12.
  • Das Verfahren beginnt im Schritt ST1 und läuft weiter zum Schritt ST2 oder ST22. Die Verfahren, welche von den Schritten ST2 und ST22 beginnen, werden parallel durchgeführt.
  • Da das Verfahren, welches vom Schritt ST2 beginnt, nämlich ST2 bis ST16, das gleiche ist wie das im Flussdiagramm beschrieben ist, wie in 12 gezeigt ist, mit Ausnahme der Schritte ST9 und ST13, werden nur diese Schritte ST9 und ST13 erläutert.
  • Obwohl diese die Zeitinformation erzeugt, beispielsweise ESCR, DTS und PTS in den Schritten ST9 und ST13 in 12, wobei die Information verwendet wird, welche durch Analysieren der Kopfdaten in MPEG4-Daten ermittelt wird, und der Information, ESCR_base, welche den Anfangswert von ESCR zeigt, der vorher im RAM 153 gespeichert wurde, erzeugt dies die Zeitinformation, beispielsweise ESCR, DTS und PTS in den Schritten ST9 und ST13 in 13 unter Verwendung der Information bezüglich der Referenzzeit (ESC'), der Decodierzeit (DTS'), der Wiedergabezeit (PTS'), einer Anzahl von Bytes bis zum ESCR'-Feld (ESCR_byte'), und der ES_rate', die jeweils durch Analysieren des PES-Kopfs des MPEG2-PES-Pakets ermittelt wurden, und der Information, welche durch Analysieren der Kopfdaten in den MPEG4-Daten ermittelt wird, in den Schritten ST22 oder später, wie oben in der Beschreibung des in 4 gezeigten Transportsystems 100B beschrieben wurde.
  • Das Verfahren, welches vom Schritt ST22 aus beginnt, wird nun erläutert. Das Transportsystem liest Ströme der MPEG2-PES-Paketform abweichend von denjenigen, welche durch Übertragen der MPEG4-Daten erzeugt werden, von der HDD 154 im Schritt ST22. Es bestimmt, ob die gelesenen MPEG2-Daten den PES-Kopf im Schritt ST23 aufweisen. Wenn diese nicht enthalten sind, läuft das Verfahren weiter zum Schritt ST22. Die Schritte S22 und ST23 werden wiederholt, bis dieses herausfindet, dass die gelesenen MPEG2-Daten den PES-Kopf enthalten.
  • Wenn diese im Schritt ST23 enthalten sind, speichert der Kopfpuffer des RAM 153 die Daten des PES-Kopfs im Schritt ST24. Die Daten des PES-Kopfs, welche im Kopfpuffer des RAM 153 gespeichert sind, werden analysiert, und die obige Information, beispielsweise ESCR', DTS', PTS', ESCR_byte' und ES_rate' wird im Schritt ST25 ermittelt.
  • Es wird dann bestimmt, ob die Information, welche im Schritt ST25 ermittelt wurde, im Zeitinformations-Erzeugungsschritt ST9 oder ST13 verwendet wurde (im Schritt ST26). Wenn diese verwendet wurde, läuft das Verfahren weiter zum Schritt ST22 und verschiebt sich auf ein neues Verfahren zum Ermitteln der Information vom nächsten PES-Kopf, der in den MPEG2-Daten enthalten ist, welche die HDD 154 liest. Dies erlaubt, dass der Prozess beginnend vom Schritt ST22 einen PES-Kopf von MPEG2 ermittelt, wenn das Verfahren, welches vom Schritt ST2 beginnt, den MPEG4-Strom einer AU ermittelt.
  • Damit erlaubt das Paketierungsverfahren nach dem in 13 gezeigten Flussdiagramm, dass die zugeführten MPEG4-Daten in das MPEG2-PES-Paket der Reihe nach auf AU-Basis wie das Verfahren gemäß dem Flussdiagramm, welches in 12 gezeigt ist, weitergeleitet werden.
  • Der Computer 150 führt außerdem die Paketierungsverarbeitungen in Bezug auf die Paketierer 102C bis 102H der Transportsysteme 100C über 100H nach der Erfindung durch, wie in 3 bis 8 gezeigt ist, in Abhängigkeit von ihrer Situation und den Fällen. Daher wird auf eine ausführlichere Erläuterung dafür verzichtet.
  • Bei den obigen Ausführungsformen wird der MPEG4-Strom (die MPEG4-Daten) in das MPEG2-PES-Paket übertragen, wobei die Erfindung ebenfalls auf ein anderes Gerät und ein anderes Verfahren zum Paketieren eines codierten Bitstroms von Digitaldaten gemäß von dessen Transportprotokoll angewandt werden kann.
  • Obwohl in der obigen Beschreibung bevorzugte Ausführungsformen der Erfindung beschrieben wurden, wird der Fachmann viele Modifikationen in Bezug auf die bevorzugten Ausführungsformen machen können, ohne den Rahmen der Erfindung in ihrem breiteren Umfang zu verlassen. Die beigefügten Patentansprüche sollen daher dazu dienen, alle diese Modifikationen abzudecken, die innerhalb des Rahmens der Erfindung fallen.
  • In einer nicht einschränkenden Zusammenfassung beziehen sich Ausführungsformen der vorliegenden Erfindung allgemein auf eine Vorrichtung und auf ein Verfahren zum Paketieren eines codierten Bitstroms digitaler Daten gemäß einem Transportprotokoll. Insbesondere beziehen sie sich auf eine Vorrichtung und auf ein Verfahren zum Paketieren der Bitströme, wo die Zeitinformation gemäß einer Spezifikation des Protokolls erzeugt wird, wobei ein Kopf, der die Zeitinformation aufweist, erzeugt wird, und ein Paket, welches die Zeitinformation gemäß dem Protokoll aufweist, erzeugt wird, wobei der Kopf jeder vorher festgelegten Einheit der Bitströme hinzugefügt wird.
  • Insoweit die Ausführungsformen der oben beschriebenen Erfindung zumindest teilweise unter Verwendung von software-gesteuerten Datenverarbeitungsgeräten durchgeführt werden, wird es deutlich, dass ein Computerprogramm, welches diese Software-Steuerung und eine Übertragung, Speicherung oder ein weiteres Medium bereitgestellt, durch die ein Computerprogramm bereitgestellt wird, als Aspekte der vorliegenden Erfindung Beachtung finden sollen.

Claims (14)

  1. Vorrichtung (102A) zum Paketieren eines MPEG4-Stroms gemäß einer Spezifikation eines MPEG2-PES-Stromprotokolls, welche aufweist: eine Speichereinrichtung (115) zum Speichern des MPEG4-Stroms jeder vorher festgelegten Einheit des MPEG4-Stroms; eine Ermittlungseinrichtung (111) zum Ermitteln von Information von dem MPEG4-Strom, wobei die Information erforderlich ist, Zeitinformation zu erzeugen, die erforderlich ist, wenn der MPEG2-PES-Strom transportiert wird; eine Zeitinformations-Erzeugungseinrichtung (113A) zum Erzeugen der Zeitinformation jeder vorher festgelegten Einheit des MPEG4-Stroms auf der Basis der Information, welche durch die Ermittlungseinrichtung (111) ermittelt wird; und eine Paketerzeugungseinrichtung (116) zum Erzeugen eines Pakets, wobei die Paketerzeugungseinrichtung (116) die Zeitinformation, welche durch die Zeitinformations-Erzeugungseinrichtung (113A) erzeugt wird, in jede vorher festgelegte Einheit des MPEG4-Stroms, der in der Speichereinrichtung (115) gespeichert ist, hinzufügt.
  2. Vorrichtung nach Anspruch 1, welche eine Kopferzeugungseinrichtung (114) zum Erzeugen eines Kopfes aufweist, der die Zeitinformation aufweist, die durch die Zeitinformations-Erzeugungseinrichtung (113A) erzeugt wird, und wobei die Paketerzeugungseinrichtung (116) einen Kopf, der durch die Kopferzeugungseinrichtung (114) erzeugt wird, zu jeder vorher festgelegten Einheit des MPEG4-Stroms hinzufügt, der in der Speichereinrichtung (115) gespeichert ist.
  3. Vorrichtung nach Anspruch 1 oder 2, wobei die Ermittlungseinrichtung (111) Information in einem Kopf des MPEG-Stroms ermittelt.
  4. Vorrichtung nach einem der vorhergehenden Ansprüche, die eine Bitraten-Berechnungseinrichtung (119) zum Berechnen einer Bitrate des MPEG4-Stroms aufweist, wobei die Zeitinformations-Erzeugungseinrichtung (113A) die Zeitinformation gemäß der Spezifikation des MPEG2-PES-Stromprotokolls unter Verwendung der Bitrate erzeugt, welche durch die Bitraten-Berechnungseinrichtung (119) berechnet wurde.
  5. Vorrichtung nach einem der vorhergehenden Ansprüche, die einen Codierer (101) zum Erzeugen des MPEG4-Stroms aufweist, wobei die Zeitinformations-Erzeugungseinrichtung (113A) die Zeitinformation gemäß der Spezifikation des MPEG2-PES-Stromprotokolls unter Verwendung von Information vom Codierer (101) erzeugt.
  6. Vorrichtung nach Anspruch 5, die einen Decoder zum Decodieren des MPEG4-Stroms aufweist, der gemäß einem MPEG2-PES-Stromprotokoll paketiert ist, wobei die Information vom Codierer (101) Information ist; die den Decoder betrifft.
  7. Vorrichtung nach Anspruch 5, wobei die Information vom Codierer (101) Information ist, welche den MPEG4-Strom betrifft.
  8. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Zeitinformations-Erzeugungseinrichtung (113A) die Zeitinformation gemäß einer Spezifikation des MPEG2-PES-Stromprotokolls unter Verwendung einer maximalen Bitrate des MPEG4-Stroms erzeugt.
  9. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Ermittlungseinrichtung (111) eine Bitrate des MPEG4-Stroms ermittelt, die Belegung der Daten, die in einem Puffer bis zu einem Start des Decodierens des MPEG2-PES-Stroms zu speichern sind, und eine Rahmenrate in Bezug auf den MPEG4-Strom vom MPEG4-Strom.
  10. Vorrichtung nach Anspruch 9, wobei die Ermittlungseinrichtung (111) Information ermittelt, die eines von einem I-Bild, P-Bild und B-Bild zeigt, wobei die Information zeigt, wie viele Sekunden man vom I-Bild braucht, und die Information eine Wiedergabereihenfolge vom MPEG4-Strom zeigt.
  11. Verfahren zum Paketieren eines MPEG4-Stroms gemäß einer Spezifikation eines MPEG2-PES-Stromprotokolls, welches folgende Schritte aufweist: Speichern des MPEG4-Stroms jeder vorher festgelegten Einheit des MPEG4-Stroms; Ermitteln von Information vom MPEG4-Strom, wobei die Information erforderlich ist, die Zeitinformation zu erzeugen, die erforderlich ist, wenn der MPEG2-PES-Strom transportiert wird; Erzeugen der Zeitinformation jeder vorher festgelegten Einheit des MPEG4-Stroms auf der Basis der Information, welche im Ermittlungsschritt ermittelt wurde; und Erzeugen eines Pakets einschließlich Hinzufügen der Zeitinformation, welche im Zeitinformations-Erzeugungsschritt erzeugt wurde, zu jeder vorher festgelegten Einheit des gespeicherten MPEG4-Stroms.
  12. Computer-Software, die einen Programmcode aufweist, die, wenn sie durch einen Computer ausgeführt wird, veranlasst, dass der Computer ein Verfahren nach Anspruch 11 ausführt.
  13. Computerprogrammprodukt, welches ein Programm aufweist, welches auf einem maschinen-lesbaren Träger gespeichert ist, der, wenn er in einen Computer geladen wird, bewirkt, dass der Computer ein Verfahren nach Anspruch 11 ausführt.
  14. Computer-lesbarer Träger, der einen Programmcode bereitstellt, der, wenn durch einen Computer ausgeführt, bewirkt, dass der Computer ein Verfahren nach Anspruch 11 ausführt.
DE2002605968 2001-02-27 2002-02-27 Vorrichtung und Verfahren zur Packetierung eines Datenstroms Expired - Lifetime DE60205968T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001052611 2001-02-27
JP2001052611A JP4457506B2 (ja) 2001-02-27 2001-02-27 パケット化装置およびパケット化方法

Publications (2)

Publication Number Publication Date
DE60205968D1 DE60205968D1 (de) 2005-10-13
DE60205968T2 true DE60205968T2 (de) 2006-07-06

Family

ID=18913219

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2002605968 Expired - Lifetime DE60205968T2 (de) 2001-02-27 2002-02-27 Vorrichtung und Verfahren zur Packetierung eines Datenstroms

Country Status (4)

Country Link
US (1) US7428246B2 (de)
EP (1) EP1235412B1 (de)
JP (1) JP4457506B2 (de)
DE (1) DE60205968T2 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) * 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
GB2433170A (en) * 2005-12-12 2007-06-13 Amino Holdings Ltd An adapter for converting a TV signal between different formats
KR100989087B1 (ko) * 2006-03-17 2010-10-25 닛본 덴끼 가부시끼가이샤 부호화 스트림 송신 장치 및 부호화 스트림 송신 방법
JP2009038587A (ja) * 2007-08-01 2009-02-19 Panasonic Corp 信号処理装置
US8045836B2 (en) * 2008-01-11 2011-10-25 Texas Instruments Incorporated System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
US8995534B2 (en) 2010-09-20 2015-03-31 Bevara Technologies, Llc Systems and methods for encoding and decoding
US10025787B2 (en) 2011-08-17 2018-07-17 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US10129556B2 (en) 2014-05-16 2018-11-13 Bevara Technologies, Llc Systems and methods for accessing digital data
WO2015176009A1 (en) 2014-05-16 2015-11-19 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US20160234528A1 (en) * 2015-02-09 2016-08-11 Arris Enterprises, Inc. Carriage of video coding for browsers (vcb) video over mpeg-2 transport streams
TWI617187B (zh) * 2016-08-15 2018-03-01 晨星半導體股份有限公司 多媒體處理系統與其控制方法
KR20190065792A (ko) * 2017-12-04 2019-06-12 삼성전자주식회사 전자 장치 및 전자 장치의 영상 데이터 전송 방법
WO2019143808A1 (en) 2018-01-18 2019-07-25 Bevara Technologies, Llc Browser navigation for facilitating data access

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09139937A (ja) 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
US6172988B1 (en) 1996-01-31 2001-01-09 Tiernan Communications, Inc. Method for universal messaging and multiplexing of video, audio, and data streams
US6535530B1 (en) 1997-07-23 2003-03-18 Matsushita Electric Industrial Co., Ltd. Apparatus and method for demultiplexing multiplexed data
US6188703B1 (en) * 1997-08-01 2001-02-13 International Business Machines Corp. Multiplexer for multiple media streams
JP3709721B2 (ja) * 1997-10-03 2005-10-26 ソニー株式会社 符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、符号化ストリーム生成装置及び符号化ストリーム生成方法、並びに情報処理装置及び方法
JP3232052B2 (ja) 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6973258B1 (en) * 1998-10-02 2005-12-06 Lg Electronics Inc. Method and apparatus for recording digital data streams
US6570926B1 (en) * 1999-02-25 2003-05-27 Telcordia Technologies, Inc. Active techniques for video transmission and playback
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
JP2001204026A (ja) * 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
JP4378824B2 (ja) * 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US7039116B1 (en) * 2000-11-07 2006-05-02 Cisco Technology, Inc. Methods and apparatus for embedding and format conversion of compressed video data

Also Published As

Publication number Publication date
US7428246B2 (en) 2008-09-23
EP1235412A1 (de) 2002-08-28
US20030193940A1 (en) 2003-10-16
EP1235412B1 (de) 2005-09-07
JP2002261824A (ja) 2002-09-13
DE60205968D1 (de) 2005-10-13
JP4457506B2 (ja) 2010-04-28

Similar Documents

Publication Publication Date Title
DE60205968T2 (de) Vorrichtung und Verfahren zur Packetierung eines Datenstroms
DE112011103965B4 (de) Verfahren zur Übertragung eines Rundfunkdienstes sowie Verfahren und Vorrichtung zum Empfang eines Rundfunkdienstes
DE69722556T2 (de) Synchronisierung einer stereoskopischen Videosequenz
US6965646B1 (en) MPEG file format optimization for streaming
DE69822377T2 (de) Vorrichtung und Verfahren zum Demultiplexen gemultiplexter Daten
DE69736706T2 (de) Verfahren und gerät zum spleissen komprimierter datenflüsse
DE69535553T2 (de) Videokompression
DE60131993T2 (de) Verfahren und gerät zur bestimmung der übertragungsbitrate in einem statistischen multiplexer
DE69333982T2 (de) Verfahren zum Anordnen komprimierter Videodaten zur Übertragung über einen verrauschten Kanal
KR100665653B1 (ko) 프로그램 입력 스트림 재처리 장치
DE69731865T2 (de) Verfahren zur Verbindung von komprimierten paketierten digitalen Videoströmen
DE602004004096T2 (de) System und verfahren zur bereitstellung von multiplexen und neumultiplexen von mpeg-2-strömen
DE602004000879T2 (de) Bildwiedergabegerät
DE112012002526B4 (de) Medieninhalt-Übertragungsverfahren und Übertragungsvorrichtung unter Verwendung desselben
US8135020B1 (en) Packet schedule timestamp for a compressed bitstream
EP1383333A2 (de) Dekodierungs- und Präsentationszeitstempel verbesserte MPEG-4 Videokodierung
EP2559177B1 (de) Transportstrom-bereitsteller, dab-signal-bereitsteller, transportstrom-analysierer, dab-empfänger, verfahren, computerprogramm und transportstrom-signal
DE112011103963T5 (de) Verfahren zum Übertragen eines Rundfunkdienstes, Verfahren zum Empfangen des Rundfunkdienstes und Vorrichtung zum Empfangen des Rundfunkdienstes
DE202015009982U1 (de) Übertragungsvorrichtung, Empfangsvorrichtung und Anzeigevorrichtung
DE10392598T5 (de) Unterstützung von fortschrittlichen Codierungsformaten in Mediendateien
DE10129635A1 (de) Verfahren und System zur automatischen Überwachung der Servicequalität der Verteilung und des Abspielens von digitalem Videomaterial
CN1411280A (zh) 一种制作和发送及接收广播式准视频点播节目的装置
KR20110098830A (ko) 외부 코프로세서를 포함하는 멀티플렉서에서의 전송 스트림 동기화를 위한 방법
JP7067653B2 (ja) 復号装置
DE602004009560T2 (de) Datenübertragungssynchronisationsschema

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)