JP2002261824A - パケット化装置およびパケット化方法 - Google Patents

パケット化装置およびパケット化方法

Info

Publication number
JP2002261824A
JP2002261824A JP2001052611A JP2001052611A JP2002261824A JP 2002261824 A JP2002261824 A JP 2002261824A JP 2001052611 A JP2001052611 A JP 2001052611A JP 2001052611 A JP2001052611 A JP 2001052611A JP 2002261824 A JP2002261824 A JP 2002261824A
Authority
JP
Japan
Prior art keywords
time information
header
stream
information
digitally encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001052611A
Other languages
English (en)
Other versions
JP4457506B2 (ja
JP2002261824A5 (ja
Inventor
Mamoru Kukumiya
守 久々宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001052611A priority Critical patent/JP4457506B2/ja
Priority to US10/085,647 priority patent/US7428246B2/en
Priority to EP20020251382 priority patent/EP1235412B1/en
Priority to DE2002605968 priority patent/DE60205968T2/de
Publication of JP2002261824A publication Critical patent/JP2002261824A/ja
Publication of JP2002261824A5 publication Critical patent/JP2002261824A5/ja
Application granted granted Critical
Publication of JP4457506B2 publication Critical patent/JP4457506B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28Timers or timing mechanisms used in protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

(57)【要約】 【課題】伝送プロトコルに合わせた時間情報が付加され
たパケットを得る。 【解決手段】符号化器101からのMPEG4ストリームSTM
1をパケット化装置102Aに供給し、MPEG2-PESパケッ
トに変換する。このMPEG2-PESパケットのストリームSTM
2を多重化装置103に供給して、MPEG2-TS形式のスト
リームSTM3で出力する。パケット化装置102では、MP
EG4ストリームSTM1よりヘッダを検出する。そして、そ
のヘッダを解析して、Video_Object_Layerヘッダ、Vide
o_Object_Planeヘッダから所定の情報を検出し、その情
報及び外部からのESCR初期値を使用してESCR,DTS,PTSの
時間情報を生成する。そして、この時間情報を挿入した
PESヘッダを生成する。パケット化装置102では、こ
のように生成されたPESヘッダを、入力されたMPEG4スト
リームSTM1の1AU分毎に付加してMPEG2-PESパケット
を順次構成し、ストリームSTM2を得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、ディジタル符号
化されたビット列を伝送プロトコルに合わせてパケット
化するパケット化装置およびパケット化方法に関する。
詳しくは、伝送プロトコルの仕様に合わせた時間情報を
生成してそれを挿入したヘッダを得、このヘッダをビッ
ト列の所定単位毎に付加してパケットを生成することに
よって、伝送プロトコルに合わせた時間情報が付加され
たパケットを得ることができるようにしたパケット化装
置およびパケット化方法に係るものである。
【0002】
【従来の技術】従来、ディジタル放送において使用され
てきたMPEG2(ISO/IEC13818)に代わ
って、MPEG4(ISO/IEC 14496)のス
トリームを使用したディジタル放送の研究が盛んに行わ
れている。
【0003】MPEG4 Visual Object Sequence(I
SO/IEC 14496−2)ストリームは、図12
および図13に示すような構造を持っており、図12の
Visual Object Sequenceから始まる階層構造となってい
る。Visual Object Sequenceでは、主にストリームのPr
ofileとLevelを示している。次のVisual Objectでは、
主にストリーム上に重畳されているObjectの種類につい
て記してある。MPEG4では、Visual Objectを複数
定義できる。例えば、静止画、フェースオブジェクト、
ビデオ等である。ここではストリーム上にVideo Object
が重畳されている場合について説明する。「visual_obj
ect_type(4):0x01」となっており、これよりVisual Obj
ectがビデオであることがわかる。
【0004】Video Objectが重畳されている場合は、次
にVideo Object Layerがくる。ここでは、Video Object
の種類、ストリームのビットレート、受信側のバッファ
サイズ、受信側でデコード開始までにバッファにためて
おくデータ量、フレームレート等が示されている。
【0005】ここで、「first_half_bit_rate(15)」お
よび「latter_half_bit_rate(15)」の30ビットでスト
リームのビットレートが示される。「first_half_vbv_b
uffer_size(15)」および「latter_half_vbv_buffer_siz
e(3)」の18ビットで受信側のバッファサイズが示され
る。「first_half_vbv_occupancy(11)」および「latter
_half_vbv_occupancy(11)」の22ビットで受信側で復
号開始までにバッファにためておくデータ量が示され
る。「vop_time_increment_resolution(16)」および「f
ixed_vop_time_increment(1〜16)」でフレームレートを
求めることができる。「first_half_bit_rate(15)」か
ら「latter_half_vbv_occupancy(11)」までの情報は、
「vbv_parameters(1)」が0x1であるときは存在するが、
これが0x0であるときは存在しない。“0x”は16進数
であることを示している。
【0006】次にGroup of Video Object Plane がくる
が、ストリームによっては省略されている場合がある。
Group of Video Object PlaneではTime codeが示され
る。さらにVideo Object Plane(VOP)がくる。このV
OPは1枚の絵に対応するものである。ここでは、VO
Pのコーディングタイプや再生順等が示される。「vop_
coding_type(2)」はIピクチャ、Pピクチャ、Bピクチ
ャの区別を示し、「modulo_time_base」はIピクチャか
ら何秒たっているかを示し、「vop_time_increment(1〜
16)は何枚目の絵か、つまり再生順を示している。上述
の情報の後に、各VOPの内部を示すビット列が続く。
このような構造を持ったストリームをインターネットや
放送電波に乗せて伝送する研究が行われている。
【0007】
【発明が解決しようとする課題】MPEG4ストリーム
は、伝送を行う際に使用するプロトコルを定義していな
い。そのため自由に伝送プロトコルを選ぶことが可能だ
が、伝送プロトコルに合わせてストリーム構造を変更す
ることが必要となる。そこで、ISO/IEC1381
8−1/FDAM7(ISO/IEC JTC1/SC
29/WG11N3050)でMPEG2−TSを使用
した場合について規格化されつつあるが、実装方法、す
なわちMPEG2−PES(MPEG2-Packetized Elementa
ry Stream)パケットへの変換方法は決められていない。
【0008】また、MPEG4 Visual Object Sequenc
e(ISO/IEC 14496−2)では、パケット
上に同期を取る際に必要となる時間情報(基準時間(E
SCR:Elementary Stream Clock Reference)、復号時
刻(DTS:Decoding Time Stamp)、再生時刻(PTS:
Presentation Time Stamp))が重畳されていない。その
ため、同期伝送を行うために時間情報を付加し、伝送を
行う必要がある。
【0009】なお、特開平11−98193号公報に
は、MPEG4ストリームをMPEG2−PESパケッ
トに変換することが記載されているが、具体的な変換方
法については何等開示されていない。この発明の目的
は、伝送プロトコルに合わせた時間情報が付加されたパ
ケットを得ることができるパケット化装置およびパケッ
ト化方法を提供することにある。
【0010】
【課題を解決するための手段】この発明に係るパケット
化装置は、ディジタル符号化されたビット列を伝送プロ
トコルに合わせてパケット化するパケット化装置であっ
て、伝送プロトコルの仕様に合わせた時間情報を生成す
る時間情報生成部と、この時間情報生成部で生成された
時間情報を挿入したヘッダを生成するヘッダ生成部と、
ビット列の所定単位毎にヘッダ生成部で生成されたヘッ
ダを付加してパケットを生成するパケット生成部とを備
えるものである。
【0011】また、この発明に係るパケット化方法は、
ディジタル符号化されたビット列を伝送プロトコルに合
わせてパケット化するパケット化方法であって、伝送プ
ロトコルの仕様に合わせた時間情報を生成する第1のス
テップと、この第1のステップで生成された時間情報を
挿入したヘッダを生成する第2のステップと、ビット列
の所定単位毎に第2のステップで生成されたヘッダを付
加してパケットを生成する第3のステップとを備えるも
のである。
【0012】この発明においては、ディジタル符号化さ
れたビット列を伝送プロトコルに合わせてパケット化す
る際、例えばMPEG4ストリームをMPEG2−PE
Sパケットに変換する際に、まず伝送プロトコルの仕様
に合わせた時間情報を生成する。
【0013】例えば、ディジタル符号化されたビット列
よりヘッダを検出し、このヘッダを解析して所定の情報
を得、この所定の情報を使用して伝送プロトコルの仕様
に合わせた時間情報を生成する。
【0014】また例えば、ディジタル符号化されたビッ
ト列のビットレートを求め、このビットレートを使用し
て伝送プロトコルに合わせた時間情報を生成する。また
例えば、ディジタル符号化されたビット列以外の所定ビ
ット列、例えばMPEG2−PESパケットのストリー
ムに含まれる時間情報を使用して伝送プロトコルの仕様
に合わせた伝送プロトコルに合わせた時間情報を生成す
る。
【0015】また例えば、ディジタル符号化されたビッ
ト列を生成する符号化器からの情報を使用して伝送プロ
トコルの仕様に合わせた時間情報を生成する。また例え
ば、ディジタル符号化されたビット列の最大ビットレー
トを使用して伝送プロトコルの仕様に合わせた時間情報
を生成する。
【0016】また例えば、ディジタル符号化されたビッ
ト列を解析するストリーム解析部と、ストリーム解析部
の解析結果に基づいて少なくともディジタル符号化され
たビット列を復号する復号化器で復号を開始するまでの
時間を演算する演算部とをさらに備え、演算部の演算結
果を使用して伝送プロトコルの仕様に合わせた時間情報
を生成するものである。
【0017】そして、このように生成された伝送プロト
コルの仕様に合わせた時間情報を挿入したヘッダを生成
し、このヘッダをビット列の所定単位毎に付加してパケ
ットを生成する。このパケットは伝送プロトコルに合わ
せた時間情報が付加されたものとなる。このように時間
情報が付加されたパケットを受信する受信側では、その
時間情報を使用して同期再生が可能となる。
【0018】また、この発明に係るパケット化装置は、
ディジタル符号化された複数のビット列をそれぞれ伝送
プロトコルに合わせてパケット化するパケット化装置で
あって、伝送プロトコルの仕様に合わせた時間情報をそ
れぞれ生成する複数の時間情報生成部と、この複数の時
間情報生成部で生成された複数の時間情報をそれぞれ挿
入したヘッダを生成する複数のヘッダ生成部と、複数の
ビット列のそれぞれの所定単位毎に、複数のヘッダ生成
部で生成された複数のヘッダをそれぞれ付加してパケッ
トを生成する複数のパケット生成部とを備え、複数の時
間情報生成部は、共通の時間情報を使用してそれぞれ伝
送プロトコルの仕様に合わせた時間情報を生成するもの
である。
【0019】また、この発明に係るパケット化方法は、
ディジタル符号化された複数のビット列をそれぞれ伝送
プロトコルに合わせてパケット化するパケット化方法で
あって、伝送プロトコルの仕様に合わせた複数の時間情
報を生成する第1のステップと、この第1のステップで
生成された複数の時間情報をそれぞれ挿入した複数のヘ
ッダを生成する第2のステップと、複数のビット列のそ
れぞれの所定単位毎に、第2のステップで生成された複
数のヘッダをそれぞれ付加して複数のパケットを生成す
る第3のステップとを備え、第1のステップでは、共通
の時間情報を使用してそれぞれ伝送プロトコルの仕様に
合わせた複数の時間情報を生成するものである。
【0020】この発明においては、ディジタル符号化さ
れた複数のビット列をそれぞれ伝送プロトコルに合わせ
てパケット化する際、例えば複数のMPEG4ストリー
ムをそれぞれMPEG2−PESパケットに変換する際
に、まず伝送プロトコルの仕様に合わせた複数の時間情
報を生成する。この場合、共通の時間情報を使用してそ
れぞれ伝送プロトコルの仕様に合わせた複数の時間情報
を生成する。これにより、複数の時間情報は同じ時間軸
で作成されたものとなる。
【0021】そして、このように生成された伝送プロト
コルの仕様に合わせた複数の時間情報をそれぞれ挿入し
たヘッダを生成し、この複数のヘッダを複数のビット列
のそれぞれ所定単位毎にそれぞれ付加してパケットを生
成する。このパケットは伝送プロトコルに合わせた時間
情報が付加されたものとなる。このように時間情報が付
加されたパケットを受信する受信側では、その時間情報
を使用して同期再生が可能となる。
【0022】
【発明の実施の形態】この発明の第1の実施の形態につ
いて説明する。図1は、第1の実施の形態としての伝送
システム100Aの構成を示している。この伝送システ
ム100Aは、MPEG4ストリームSTM1を得る符
号化器101と、この符号化器101より得られるMP
EG4ストリームSTM1をMPEG2−PESパケッ
トに変換するパケット化装置102Aと、このパケット
化装置102Aより得られるMPEG2−PESパケッ
トのストリームSTM2を入力し、伝送信号としてのM
PEG2−TS(MPEG2-Transport Stream)形式のストリ
ームSTM3で出力する多重化装置103とからなって
いる。
【0023】この伝送システム100Aにおいては、符
号化器101より出力されるMPEG4ストリームST
M1はパケット化装置102Aに供給され、MPEG2
−PESパケットに変換される。そして、このパケット
化装置102Aより出力されるMPEG2−PESパケ
ットのストリームSTM2は多重化装置103に供給さ
れ、MPEG2−TS形式のストリームSTM3で出力
される。なお、多重化装置103では、多重を行ってい
るMPEG2−PESパケットの中身がMPEG4スト
リームであることを示すために、セクション化したMP
EG4 video_Descriptorが併せて多重される。
【0024】次に、パケット化装置102Aについて説
明する。このパケット化装置102Aは、入力されたM
PEG4ストリームSTM1よりヘッダを検出するヘッ
ダ検出部111と、このヘッダ検出部111で検出され
たヘッダを各ヘッダ毎に保存し、MPEG2−PESパ
ケットのヘッダに挿入すべき時間情報を生成するために
必要な情報を検出するヘッダバッファ部112と、この
ヘッダバッファ部112で検出された情報および外部よ
り供給されるESCR初期値を用いて、ESCR,DT
S,PTSの時間情報を生成する時間情報生成部113
Aとを有している。
【0025】また、パケット化装置102Aは、時間情
報生成部113Aで生成されたESCR,DTS,PT
Sの時間情報および外部より供給されるstream_idを用
いて、PESヘッダを生成するPESヘッダ生成部11
4と、入力されたMPEG4ストリームSTM1を1A
U(Access Unit)分ずつ順次蓄積するバッファ部115
と、PESヘッダ生成部114で生成されたPESヘッ
ダを、バッファ部115に蓄積されている1AU分のデ
ータの先頭に付加してMPEG2−PESパケットを生
成するPES化部116とを有している。ここで、MP
EG4ストリームSTM1のAUは基本的にはVOPで
あるが、最初のAUに関しては最初のVOPの前に存在
する上位層のヘッダ部分も含むこととなる。
【0026】パケット化装置102Aの動作の詳細を説
明する。入力されたMPEG4ストリームSTM1はヘ
ッダ検出部111に供給され、ストリーム上のヘッダが
検出される。このヘッダ検出部111で検出されたヘッ
ダはヘッダバッファ部112に供給されて各ヘッダ毎に
保存される。
【0027】なお、ヘッダ検出部111では、VOPヘ
ッダを検出している状態で、VOPヘッダ以上のヘッダ
を検出した時点で1AUを検出したとしてAUの数をカ
ウントし、変数(AUcnt)として保持しておくと共に、
AU毎のByte数もカウントし、AU毎に変数(AU[i])
に保持しておく。iは1≦i≦AUcntの数で、AUの
検出順を示している。これらの変数(AUcnt)および変
数(AU[i])は、後述するように時間情報生成部113
AでESCR,DTS,PTSの時間情報を生成する際
に使用される。また、MPEG4ストリームSTM1の
最後のAUに関しては、MPEG4データの終了時点で
1AUを検出したとして処理する。
【0028】ヘッダバッファ部112に保存されたヘッ
ダは当該ヘッダバッファ部112で解析され、以下の情
報が検出される。また、入力されたMPEG4ストリー
ムSTM1はバッファ部115に供給され、1AU分ず
つ順次蓄積される。 [検出情報} Video_Object_Layerヘッダから検出 first_half_vbv_occupancy ,latter_half_vbv_occupanc
y,first_half_bit_rate,latter_half_bit_rate,vop_tim
e_increment_resolution,fixed_vop_time_increment Video_Object_Planeヘッダから検出 vop_coding_type,modulo_time_base,vop_time_incremen
t
【0029】ヘッダバッファ部112で検出された情報
は、時間情報生成部113Aに供給される。時間情報生
成部113Aでは、ヘッダを解析して得られた情報と、
ヘッダ検出部111に保持されている変数(AUcnt)お
よび変数(AU[i])と、外部より供給されるESCR初
期値を用いて、ESCR,DTS,PTSの時間情報が
生成される。
【0030】この時間情報の生成手順を説明する。ま
ず、受信側でデータを受信したのち復号を開始するまで
の時間(DTS_Offset)を求める。 vbv_occupancy = first_half_vbv_occupancy * 0x800
0+ latter_half_vbv_occupancy bit_rate = first_half_bit_rate * 0x8000+ la
tter_half_bit_rate ※0x8000は16進数の8000を示す DTS_Offset[sec] = (64 * vbv_occupancy)/(bit_ra
te * 400)
【0031】次に、1AU毎に更新する時間(T)を算
出する。 T[sec] = fixed_vop_time_increment/vop_time_increm
ent_resolution これらの結果から、i番目のAUに対するDTS(復号
時刻)を以下の式で求める。 DTS = T * i+DTS_Offset+ESCR_base ※ ESCR_base = ESCR初期値 また、modulo_time_base で″1″が立っている数(m_cn
t)を計測する。この数(m_cnt)はIピクチャからの経過
時間[sec]を示している。 m_cnt = modulo_time_baseの″1″の数
【0032】再生時刻を示す値(vop_time)を以下の式で
算出する。 vop_time = vop_time_increment / vop_time_increment
_resolution これらの結果から、i番目のAUに対するPTS(再生
時刻)を以下の式で求める。 PTS = vop_time + m_cnt + DTS_Offset + ES
CR_base AU毎にPESヘッダの先頭からESCRフィールドま
でのByte数を算出し、ESCR_byteとする。
【0033】この結果から、i番目のAUに対するES
CR(基準時間)を以下の式で求める。この式で、ΣA
U[i-1]は、AU[1]〜AU[i-1]までの加算値である。 ESCR = 1/bit_rate * 8 * (ΣAU[i-1]+ESCR_
byte)+ ESCR_base
【0034】このように時間情報生成部113Aで生成
されたESCR,DTS,PTSの時間情報は、PES
ヘッダ生成部114に供給される。PESヘッダ生成部
114では、これらの時間情報および外部より供給され
るstream_idを用いて、PESヘッダが生成される。P
ESヘッダの生成は1AU検出毎に行われ、作成するP
ESヘッダ部分の例は以下のようになる。ここで、0xは
その後に続く数字が16進数であることを示す。
【0035】まず、stream_idを0xE0〜0xEFの範囲で外
部より与えて、その値を記入する。次に、このヘッダ部
分の後にPTSとDTSが等しかったときにはPTSと
ESCR、PTSとDTSが等しくないときには、PT
S,DTSとESCRを記入し、PTS_DTS_flag
s、ESCR_flagも合わせて記入する。また、付加した
時間情報に合わせてPES_header_data_lengthを計算
し記入する。 packet_start_code_prefix = 0x000001; /*24[bit]*/ stream_id = 0xEX; /* 8[bit]*/ PES_packet_length = 0x0000; /*16[bit]*/ optional_PES_header = 0x2; /* 2[bit]*/ PES_scrambling_control = 0x00; /* 2[bit]*/ PES_priority = 0x0; /* 1[bit]*/ data_alignment_indicator = 0x1; /* 1[bit]*/ copyright = 0x0; /* 1[bit]*/ original_or_copy = 0x0; /* 1[bit]*/ PTS_DTS_flags = 0xXX; /* 2[bit]*/ ESCR_flag = 0x1; /* 1[bit]*/ ES_rate_flag = 0x0; /* 1[bit]*/ DSM_trick_mode_flag = 0x0; /* 1[bit]*/ additional_copy_info_flag = 0x0; /* 1[bit]*/ PES_CRC_flag = 0x0; /* 1[bit]*/ PES_extension_flag = 0x0; /* 1[bit]*/ PES_header_data_length = 0xXX; /* 8[bit]*/
【0036】このように、PESヘッダ生成部114で
生成されたPESヘッダはPES化部116に供給され
る。そして、このPES化部116では、バッファ部1
15に蓄積されている1AU分のデータの先頭に、PE
Sヘッダ生成部114で生成されたPESヘッダが付加
されて、MPEG2−PESパケットが生成される。な
お、上述した例では、PESヘッダ中の値を固定した例
を示したが、運用に合わせ適宜変更してもよい。
【0037】上述した第1の実施の形態においては、M
PEG4ストリームSTM1上の情報からESCR,D
TS,PTSの時間情報を求め、これらの時間情報を挿
入したPESヘッダを生成し、このPESヘッダをMP
EG4ストリームの1AU分毎に付加してMPEG2−
PESパケットを生成し、MPEG2−TSストリーム
STM3として伝送できる。そして、MPEG2−PE
SパケットのPESヘッダにはESCR,DTS,PT
Sの時間情報が挿入されているので、受信側では破綻な
く復号でき、さらに他のストリームと同期した表示を行
うことができる。
【0038】次に、この発明の第2の実施の形態につい
て説明する。図2は、第2の実施の形態としての伝送シ
ステム100Bの構成を示している。この図2におい
て、図1と対応する部分には同一符号を付し、その詳細
説明は省略する。
【0039】この伝送システム100Bは、MPEG4
ストリームSTM1を得る符号化器101と、この符号
化器101より得られるMPEG4ストリームSTM1
をMPEG2−PESパケットに変換するパケット化装
置102Bと、このパケット化装置102Bより得られ
るMPEG2−PESパケットのストリームSTM2を
入力し、伝送信号としてのMPEG2−TS形式のスト
リームSTM3で出力する多重化装置103とからなっ
ている。
【0040】この伝送システム100Bにおいては、符
号化器101より出力されるMPEG4ストリームST
M1はパケット化装置102Bに供給され、MPEG2
−PESパケットに変換される。そして、このパケット
化装置102Bより出力されるMPEG2−PESパケ
ットのストリームSTM2は多重化装置103に供給さ
れ、MPEG2−TS形式のストリームSTM3で出力
される。
【0041】なお、パケット化装置102Bには外部よ
り別のMPEG2−PESパケットのストリームSTM
4が供給される。そして、パケット化装置102Bで
は、当該別のMPEG2−PESパケットよりPESヘ
ッダが検出され、そのPESヘッダを解析して得られた
情報を使用して、ESCR,DTS,PTSの時間情報
が生成されて、PESヘッダに挿入される。
【0042】また、多重化装置103には上述した別の
MPEG2−PESパケットのストリームSTM4も供
給され、このストリームSTM4もMPEG2−TS形
式のストリームSTM3で出力される。さらに、多重化
装置103では、多重を行っているMPEG2−PES
パケットの中身がMPEG4ストリームであることを示
すために、セクション化したMPEG4 video_Descrip
torが併せて多重される。
【0043】次に、パケット化装置102Bについて説
明する。このパケット化装置102Bは、MPEG2−
PESパケットのストリームSTM4よりヘッダを検出
するヘッダ検出部117と、このヘッダ検出部117で
検出されたPESヘッダを解析して必要な情報を取得す
るヘッダ解析部118と、ヘッダバッファ部112およ
びヘッダ解析部118で検出された情報を用いて、ES
CR,DTS,PTSの時間情報を生成する時間情報生
成部113Bとを有している。このパケット化装置10
2Bのその他は、図1に示す伝送システム100Aにお
けるパケット化装置102Aと同様に構成される。
【0044】パケット化装置102Bの動作を説明す
る。MPEG2−PESパケットのストリームSTM4
はヘッダ検出部117に入力されPESヘッダが検出さ
れる。このヘッダ検出部117は、入力されたMPEG
4ストリームSTM1よりヘッダ検出部111でヘッダ
を1つ検出する毎に、MPEG2−PESパケットのス
トリームSTM4よりPESヘッダを1つ検出するよう
に動作する。
【0045】この検出されたPESヘッダはヘッダ解析
部118に供給されて解析される。このヘッダ解析部1
18では、基準時間(ESCR′)、復号時刻(DT
S′)、再生時刻(PTS′)、ESCR′フィールド
までのbyte数(ESCR_byte′)およびES_rate′が検
出される。
【0046】このヘッダ解析部118で検出された情報
は時間情報生成部113Bに供給される。この時間情報
生成部113Bでは、以下の式によって、i番目のAU
に対するPTS,DTSおよびESCRが求められる。
なお、以下の式のそれぞれの値は、上述した第1の実施
の形態と同様のものを使用する。なお、system_clock_f
requency はMPEG2で規格化されている情報であ
り、90kHzである。 ESCR_base = ESCR′/system_clock_frequency
+ (0-ESCR_byte')/(ES_rate'*50) PTS = vop _time + m_cnt + PTS′ DTS = T*i + DTS′ ESCR = 1/bit_rate * 8 * (ΣAU[i-1]+ESCR_
byte)+ ESCR_base
【0047】このように時間情報生成部113Bで生成
されたESCR,DTS,PTSの時間情報は、PES
ヘッダ生成部114に供給される。PESヘッダ生成部
114では、これらの時間情報および外部より供給され
るstream_idを用いて、PESヘッダが生成される。こ
のパケット化装置102Bのその他の動作は、図1に示
す伝送システム100Aにおけるパケット化装置102
Aと同様であるのでその説明は省略する。
【0048】上述した第2の実施の形態においては、M
PEG4ストリームSTM1上の情報および別のMPE
G2−PESパケットのストリームSTM4上の情報か
らESCR,DTS,PTSの時間情報を求め、これら
の時間情報を挿入したPESヘッダを生成し、このPE
SヘッダをMPEG4ストリームの1AU分毎に付加し
てMPEG2−PESパケットを生成し、MPEG2−
TSストリームSTM3として伝送できる。そして、M
PEG2−PESパケットのPESヘッダにはESC
R,DTS,PTSの時間情報が挿入されているので、
受信側では破綻なく復号でき、さらに他のストリームと
同期した表示を行うことができる。
【0049】また、この第2の実施の形態においては、
別のMPEG2−PESパケットのストリームSTM4
上の情報を用いてESCR,DTS,PTSの時間情報
を求めるものであるので、入力されたMPEG4ストリ
ームはMPEG2−PESパケットのストリームSTM
4と同期をとった状態でMPEG2−PESパケットの
ストリームSTM2に変換されることとなり、受信側で
はストリームSTM2,ST4の同期再生が可能とな
る。
【0050】次に、この発明の第3の実施の形態につい
て説明する。図3は、第3の実施の形態としての伝送シ
ステム100Cの構成を示している。この図3におい
て、図1と対応する部分には同一符号を付し、その詳細
説明は省略する。
【0051】この伝送システム100Cは、MPEG4
ストリームSTM1を得る符号化器101と、この符号
化器101より得られるMPEG4ストリームSTM1
をMPEG2−PESパケットに変換するパケット化装
置102Cと、このパケット化装置102Cより得られ
るMPEG2−PESパケットのストリームSTM2を
入力し、伝送信号としてのMPEG2−TS形式のスト
リームSTM3で出力する多重化装置103とからなっ
ている。
【0052】この伝送システム100Cにおいては、符
号化器101より出力されるMPEG4ストリームST
M1はパケット化装置102Cに供給され、MPEG2
−PESパケットに変換される。そして、このパケット
化装置102Cより出力されるMPEG2−PESパケ
ットのストリームSTM2は多重化装置103に供給さ
れ、MPEG2−TS形式のストリームSTM3で出力
される。
【0053】なお、パケット化装置102Cには、外部
より受信側で復号開始までにバッファにためておくデー
タ量を示すvbv_occupancyが供給される。そして、パケ
ット化装置102Cでは、このvbv_occupancyと、MP
EG4ストリームSTM1より検出されたヘッダを解析
して得られた情報により求められたフレームレートをも
とに算出したビットレートbit_rateとを使用して、ES
CR,DTS,PTSの時間情報が生成され、PESヘ
ッダに挿入される。また、多重化装置103では、多重
を行っているMPEG2−PESパケットの中身がMP
EG4ストリームであることを示すために、セクション
化したMPEG4 video_Descriptorが併せて多重され
る。
【0054】次に、パケット化装置102Cについて説
明する。このパケット化装置102Cは、入力されたM
PEG4ストリームSTM1のビットレートbit_rateを
計算するビットレート算出部119を有している。この
ビットレート算出部119には、入力されたMPEG4
ストリームSTM1がヘッダ検出部111を通じて供給
される。また、このビットレート算出部119には、ヘ
ッダバッファ部112で検出された情報が供給される。
【0055】ビットレート算出部119では、ヘッダバ
ッファ部112で検出された情報(vop_time_increment_
resolution,fixed_vop_time_increment)をもとに以下の
ようにフレームレートが計算され、MPEG4ストリー
ムSTM1の1秒分に相当する数のAUが読み込まれ
る。そして、ビットレート算出部119では、読み込ま
れたAUのデータ量(byte数)がカウントされ、MPE
G4ストリームSTM1のビットレートを示すbit_rate
が求められる。 フレームレート[Hz]=vop_time_increment_resolution /
fixed_vop_time_increment
【0056】このようにビットレート算出部119で求
められたbit_rateは時間情報生成部113Cに供給され
る。さらに、時間情報生成部113Cには、ヘッダバッ
ファ部112で検出された情報が供給されると共に、外
部よりvbv_occupancyの情報およびESCR初期値が供
給される。
【0057】この時間情報生成部113Cでは、vbv_oc
cupancy,bit_rateの情報が使用されると共に、これ以
外の必要な情報としてヘッダバッファ部112で検出さ
れた情報が使用されて、図1に示す伝送システム100
Aの時間情報生成部113Aにおけると同様にして、E
SCR,DTS,PTSの時間情報が生成される。
【0058】このように時間情報生成部113Cで生成
されたESCR,DTS,PTSの時間情報は、PES
ヘッダ生成部114に供給される。PESヘッダ生成部
114では、これらの時間情報および外部より供給され
るstream_idを用いて、PESヘッダが生成される。こ
のパケット化装置102Cのその他の構成および動作
は、図1に示す伝送システム100Aにおけるパケット
化装置102Aと同様であるのでその説明は省略する。
【0059】上述した第3の実施の形態においては、M
PEG4ストリームSTM1上の情報、ビットレート算
出部119で算出されたbit_rateおよび外部より供給さ
れたvbv_occupancyの情報からESCR,DTS,PT
Sの時間情報を求め、これらの時間情報を挿入したPE
Sヘッダを生成し、このPESヘッダをMPEG4スト
リームの1AU分毎に付加してMPEG2−PESパケ
ットを生成し、MPEG2−TSストリームSTM3と
して伝送できる。そして、MPEG2−PESパケット
のPESヘッダにはESCR,DTS,PTSの時間情
報が挿入されているので、受信側では破綻なく復号で
き、さらに他のストリームと同期した表示を行うことが
できる。
【0060】また、この第3の実施の形態においては、
時間情報生成部113CでESCR,DTS,PTSの
時間情報を求めるに際し、ビットレート算出部119で
算出されたbit_rateおよび外部より供給されたvbv_occu
pancyの情報を使用するものであって、これらbit_rat
e,vbv_occupancyを求めるための情報がMPEG4スト
リームSTM1上にない場合であっても、ESCR,D
TS,PTSの時間情報を適切に生成することができ
る。
【0061】次に、この発明の第4の実施の形態につい
て説明する。図4は、第4の実施の形態としての伝送シ
ステム100Dの構成を示している。この図4におい
て、図1と対応する部分には同一符号を付し、その詳細
説明は省略する。
【0062】この伝送システム100Dは、MPEG4
ストリームSTM1を得る符号化器101と、この符号
化器101より得られるMPEG4ストリームSTM1
をMPEG2−PESパケットに変換するパケット化装
置102Dと、このパケット化装置102Dより得られ
るMPEG2−PESパケットのストリームSTM2を
入力し、伝送信号としてのMPEG2−TS形式のスト
リームSTM3で出力する多重化装置103とからなっ
ている。
【0063】この伝送システム100Dにおいては、符
号化器101より出力されるMPEG4ストリームST
M1はパケット化装置102Dに供給され、MPEG2
−PESパケットに変換される。そして、このパケット
化装置102Dより出力されるMPEG2−PESパケ
ットのストリームSTM2は多重化装置103に供給さ
れ、MPEG2−TS形式のストリームSTM3で出力
される。
【0064】なお、パケット化装置102Cには、符号
化器101より、受信側で復号開始までにバッファに貯
めておくデータ量を示すvbv_occupancyおよびMPEG
4ストリームSTM1のビットレートを示すbit_rateの
情報が供給される。そして、パケット化装置102Cで
は、これらvbv_occupancy,bit_rateの情報を使用し
て、ESCR,DTS,PTSの時間情報が生成され、
PESヘッダに挿入される。また、多重化装置103で
は、多重を行っているMPEG2−PESパケットの中
身がMPEG4ストリームであることを示すために、セ
クション化したMPEG4 video_Descriptorが併せて
多重される。
【0065】次に、パケット化装置102Dについて説
明する。符号化器101からのvbv_occupancy,bit_rat
eの情報は、時間情報生成部113Dに供給される。さ
らに、この時間情報生成部113Dには、ヘッダバッフ
ァ部112で検出された情報が供給されると共に、外部
よりESCR初期値が供給される。
【0066】この時間情報生成部113Dでは、符号化
器101より供給されるvbv_occupancy,bit_rateの情
報が使用されると共に、これ以外の必要な情報はヘッダ
バッファ部112で検出された情報が使用されて、図1
に示す伝送システム100Aの時間情報生成部113A
におけると同様にして、ESCR,DTS,PTSの時
間情報が生成される。
【0067】このように時間情報生成部113Dで生成
されたESCR,DTS,PTSの時間情報は、PES
ヘッダ生成部114に供給される。PESヘッダ生成部
114では、これらの時間情報および外部より供給され
るstream_idを用いて、PESヘッダが生成される。こ
のパケット化装置102Dのその他の構成および動作
は、図1に示す伝送システム100Aにおけるパケット
化装置102Aと同様であるのでその説明は省略する。
【0068】上述した第4の実施の形態においては、M
PEG4ストリームSTM1上の情報、符号化器101
より供給されたvbv_occupancy,bit_rateの情報からE
SCR,DTS,PTSの時間情報を求め、これらの時
間情報を挿入したPESヘッダを生成し、このPESヘ
ッダをMPEG4ストリームの1AU分毎に付加してM
PEG2−PESパケットを生成し、MPEG2−TS
ストリームSTM3として伝送できる。そして、MPE
G2−PESパケットのPESヘッダにはESCR,D
TS,PTSの時間情報が挿入されているので、受信側
では破綻なく復号でき、さらに他のストリームと同期し
た表示を行うことができる。
【0069】また、この第4の実施の形態においては、
時間情報生成部113CでESCR,DTS,PTSの
時間情報を求めるに際し、符号化器101より供給され
たvbv_occupancy,bit_rateの情報を使用するものであ
って、これらbit_rate,vbv_occupancyを求めるための
情報がMPEG4ストリームSTM1上にない場合であ
っても、ESCR,DTS,PTSの時間情報を適切に
生成することができる。
【0070】次に、この発明の第5の実施の形態につい
て説明する。図5は、第5の実施の形態としての伝送シ
ステム100Eの構成を示している。この図5におい
て、図1と対応する部分には同一符号を付し、その詳細
説明は省略する。
【0071】この伝送システム100Eは、MPEG4
ストリームSTM1aを得る符号化器101aと、この
符号化器101aより得られるMPEG4ストリームS
TM1aをMPEG2−PESパケットに変換するパケ
ット化装置102Eaと、MPEG4ストリームSTM
1bを得る符号化器101bと、この符号化器101b
より得られるMPEG4ストリームSTM1bをMPE
G2−PESパケットに変換するパケット化装置102
Ebと、これらパケット化装置102Ea,102Eb
より得られるMPEG2−PESパケットのストリーム
STM2a,STM2bを入力し、伝送信号としてのM
PEG2−TS形式のストリームSTM3で出力する多
重化装置103とからなっている。
【0072】この伝送システム100Eにおいては、符
号化器101aより出力されるMPEG4ストリームS
TM1aはパケット化装置102Eaに供給され、MP
EG2−PESパケットに変換される。また、符号化器
101bより出力されるMPEG4ストリームSTM1
bはパケット化装置102Ebに供給され、MPEG2
−PESパケットに変換される。そして、これらパケッ
ト化装置102Ea,102Ebより出力されるMPE
G2−PESパケットのストリームSTM2a,STM
2bは多重化装置103に供給され、MPEG2−TS
形式のストリームSTM3で出力される。
【0073】なお、多重化装置103では、多重を行っ
ているMPEG2−PESパケットの中身がMPEG4
ストリームであることを示すために、セクション化した
MPEG4 video_Descriptorが併せて多重される。
【0074】次に、パケット化装置102Ea,102
Ebについて説明する。パケット化装置102Ea,1
02Ebは、それぞれ図1に示す伝送システム100A
におけるパケット化装置102Aと同様に構成される。
パケット化装置102Eaの時間情報生成部113Aで
は、ヘッダバッファ部112で検出された情報と外部よ
り供給されるESCR初期値とを用いて、ESCR,D
TS,PTSの時間情報が生成され、この時間情報がP
ESヘッダ生成部114で生成されるPESヘッダに挿
入される。
【0075】一方、パケット化装置102Ebの時間情
報生成部113Aでは、ヘッダバッファ部112で検出
された情報と外部より供給されるESCR初期値とを用
いて、ESCR,DTS,PTSの時間情報が生成さ
れ、この時間情報がPESヘッダ生成部114で生成さ
れるPESヘッダに挿入される。ここで、パケット化装
置102Ebの時間情報生成部113Aに供給されるE
SCR初期値は、上述したパケット化装置102Eaの
時間情報生成部113Aに供給されるESCR初期値と
同じものとされる。
【0076】これらパケット化装置102Ea,102
Ebのその他の動作は、図1に示す伝送システム100
Aにおけるパケット化装置102Aと同様であるのでそ
の説明は省略する。
【0077】上述した第5の実施の形態においては、M
PEG4ストリームSTM1a,STM1b上の情報か
らESCR,DTS,PTSの時間情報を求め、これら
の時間情報を挿入したPESヘッダを生成し、このPE
SヘッダをMPEG4ストリームの1AU分毎に付加し
てMPEG2−PESパケットを生成し、MPEG2−
TSストリームSTM3として伝送できる。そして、M
PEG2−PESパケットのPESヘッダにはESC
R,DTS,PTSの時間情報が挿入されているので、
受信側では破綻なく復号でき、さらに他のストリームと
同期した表示を行うことができる。
【0078】また、この第5の実施の形態においては、
パケット化装置102Ea,102Ebの時間情報生成
部113A,113Aには、それぞれ共通のESCR初
期値が供給されて、ESCR,DTS,PTSの時間情
報が生成されるものであり、同じ時間軸で時間情報を作
成することができる。したがって、パケット化装置10
2Ea,102Ebからは、同じ時間軸で作成された時
間情報が挿入されたPESヘッダを持つMPEG2−P
ESパケットが順次出力されることとなる。
【0079】次に、この発明の第6の実施の形態につい
て説明する。図6は、第6の実施の形態としての伝送シ
ステム100Fの構成を示している。この図6におい
て、図1と対応する部分には同一符号を付して示してい
る。
【0080】この伝送システム100Fは、MPEG4
ストリームSTM1を得る符号化器101と、この符号
化器101より得られるMPEG4ストリームSTM1
をMPEG2−PESパケットに変換するパケット化装
置102Fと、このパケット化装置102Fより得られ
るMPEG2−PESパケットのストリームSTM2を
入力し、伝送信号としてのMPEG2−TS形式のスト
リームSTM3で出力する多重化装置103とからなっ
ている。
【0081】この伝送システム100Fにおいては、符
号化器101より出力されるMPEG4ストリームST
M1はパケット化装置102Fに供給され、MPEG2
−PESパケットに変換される。そして、このパケット
化装置102Fより出力されるMPEG2−PESパケ
ットのストリームSTM2は多重化装置103に供給さ
れ、MPEG2−TS形式のストリームSTM3で出力
される。なお、多重化装置103では、多重を行ってい
るMPEG2−PESパケットの中身がMPEG4スト
リームであることを示すために、セクション化したMP
EG4 video_Descriptorが併せて多重される。
【0082】次に、パケット化装置102Fについて説
明する。このパケット化装置102Fは、入力されたM
PEG4ストリームSTM1よりヘッダを検出するヘッ
ダ検出部111と、このヘッダ検出部111で検出され
たヘッダを各ヘッダ毎に保存し、MPEG2−PESパ
ケットのヘッダに挿入すべきESCR,DTS,PTS
の時間情報を生成するために必要な情報を検出するヘッ
ダバッファ部112と、このヘッダバッファ部112で
検出された情報、外部より供給されるESCR初期値お
よび最大ビットレートAURmaxを用いて、ESCR,
DTS,PTSの時間情報を生成する時間情報生成部1
13Fとを有している。
【0083】また、パケット化装置102Fは、時間情
報生成部113Fで生成されたESCR,DTS,PT
Sの時間情報および外部より供給されるstream_idを用
いて、PESヘッダを生成するPESヘッダ生成部11
4と、入力されたMPEG4ストリームSTM1を1A
U(Access Unit)分ずつ順次蓄積するバッファ部115
と、PESヘッダ生成部114で生成されたPESヘッ
ダを、バッファ部115に蓄積されている1AU分のデ
ータの先頭に付加してMPEG2−PESパケットを生
成するPES化部116とを有している。ここで、MP
EG4ストリームSTM1のAUは基本的にはVOPで
あるが、最初のAUに関しては最初のVOPの前に存在
する上位層のヘッダ部分も含むこととなる。
【0084】パケット化装置102Fの動作の詳細を説
明する。入力されたMPEG4ストリームSTM1はヘ
ッダ検出部111に供給され、ストリーム上のヘッダが
検出される。このヘッダ検出部111で検出されたヘッ
ダはヘッダバッファ部112に供給されて各ヘッダ毎に
保存される。
【0085】なお、ヘッダ検出部111では、VOPヘ
ッダを検出している状態で、VOPヘッダ以上のヘッダ
を検出した時点で1AUを検出したとしてAUの数をカ
ウントし、変数(AUcnt)として保持しておくと共に、
AU毎のByte数もカウントし、AU毎に変数(AU[i])
に保持しておく。iは1≦i≦AUcntの数で、AUの
検出順を示している。これらの変数(AUcnt)および変
数(AU[i])は、後述するように時間情報生成部113
FでESCR,DTS,PTSの時間情報を生成する際
に使用される。また、MPEG4ストリームSTM1の
最後のAUに関しては、MPEG4データの終了時点で
1AUを検出したとして処理する。
【0086】ヘッダバッファ部112に保存されたヘッ
ダは当該ヘッダバッファ部112で解析され、以下の情
報が検出される。また、入力されたMPEG4ストリー
ムSTM1はバッファ部115に供給され、1AU分ず
つ順次蓄積される。 [検出情報} Video_Object_Layerヘッダから検出 first_half_vbv_occupancy ,latter_half_vbv_occupanc
y,first_half_bit_rate,latter_half_bit_rate,vop_tim
e_increment_resolution,fixed_vop_time_increment Video_Object_Planeヘッダから検出 vop_coding_type,modulo_time_base,vop_time_incremen
t
【0087】ヘッダバッファ部112で検出された情報
は、時間情報生成部113Fに供給される。時間情報生
成部113Fでは、ヘッダを解析して得られた情報と、
ヘッダ検出部111に保持されている変数(AUcnt)お
よび変数(AU[i])と、外部より供給される最大ビット
レートAURmaxおよびESCR初期値とを用いて、E
SCR,DTS,PTSの時間情報が生成される。
【0088】この時間情報の生成手順を説明する。ま
ず、受信側でデータを受信したのち復号を開始するまで
に受信側のバッファに貯めておくべきデータ量(vbv_occ
upancy)を算出する。 vbv_occupancy = first_half_vbv_occupancy * 0x800
0+ latter_half_vbv_occupancy 次に、1AU毎に更新する時間(T)を算出する。 T[sec] = fixed_vop_time_increment/vop_time_increm
ent_resolution
【0089】そして、以下の手順で、i番目のAUに対
するDTS,PTS,ESCRを算出する。ここで、1
つ前のAUをPES化した際の差分時間(1フレーム時
間を超過した時間)をSi-1[sec]とする。 1.i番目のAU(サイズAU[i])を伝送する時間A
UT[i]を算出する。 AUT[i] =T−Si-1 2.i番目のAU(サイズAU[i])を伝送する際の伝
送レートAUR[i]を求める。 AUT[i]≦0のとき:AUR[i]=AURmax AUT[i]>0のとき:AUR[i]=AU[i]/AUT[i] 3.計算したAUR[i]を基に実際に伝送する時間AU
T[i]を求める。 AUT[i]=AU[i]/AUR[i] 4.i+1番目のAUをPES化する際に使用する差分
時間Siを求める。 Si=Si-1+AUT[i]−T 5.求めたビットレートAUR[i]を基にDTS_Offse
tを以下のように求める。 DTS_Offset[sec] = (64 * vbv_occupancy)/AUR
[i]
【0090】6.これらの結果から、DTS(復号時
刻)を以下の式で求める。 DTS=T*i+DTS_Offset + ESCR_base ※ESCR_base =ESCR初期値 7.modulo_time_base で″1″が立っている数(m_cnt)
を計測する。この数(m_cnt)はIピクチャからの経過時
間[sec]を示している。 m_cnt = modulo_time_baseの″1″の数 8.再生時刻を示す値(vop time)を以下の式で算出す
る。 vop_time = vop_time_increment / vop_time_incremen
t_resolution 9.これらの結果から、PTS(再生時刻)を以下の式
で求める。 PTS=vop_time+m_cnt+DTS_offset+ESCR_b
ase 10.AU毎にPESヘッダの先頭からESCRフィール
ドまでのByte数を算出し、ESCR_byteとする。 11.これらの結果から、ESCR(基準時間)を以下の
式で求める。 ESCR = 1/AUR[i] * 8 *(ΣAU[i-1]+ESC
R_byte)+ESCR_base
【0091】このように時間情報生成部113Fで生成
されたESCR,DTS,PTSの時間情報は、PES
ヘッダ生成部114に供給される。PESヘッダ生成部
114では、これらの時間情報および外部より供給され
るstream_idを用いて、PESヘッダが生成される。P
ESヘッダの生成は1AU検出毎に行われる。
【0092】PESヘッダ生成部114で生成されたP
ESヘッダはPES化部116に供給される。そして、
このPES化部116では、バッファ部115に蓄積さ
れている1AU分のデータの先頭に、PESヘッダ生成
部114で生成されたPESヘッダが付加されて、MP
EG2−PESパケットが生成される。
【0093】上述した第6の実施の形態においては、M
PEG4ストリームSTM1上の情報および外部より供
給されたAURmaxの情報からESCR,DTS,PT
Sの時間情報を求め、これらの時間情報を挿入したPE
Sヘッダを生成し、このPESヘッダをMPEG4スト
リームの1AU分毎に付加してMPEG2−PESパケ
ットを生成し、MPEG2−TSストリームSTM3と
して伝送できる。そして、MPEG2−PESパケット
のPESヘッダにはESCR,DTS,PTSの時間情
報が挿入されているので、受信側では破綻なく復号で
き、さらに他のストリームと同期した表示を行うことが
できる。
【0094】また、第6の実施の形態においては、時間
情報生成部113Fには外部より最大ビットレートを示
すAURmaxの情報が供給され、ビットレートの最大値
を制限した状態でESCR,DTS,PTSの時間情報
が生成されるものである。したがって、伝送路に合わせ
たビットレートでPES化を行うことができる。
【0095】次に、この発明の第7の実施の形態につい
て説明する。図7は、第7の実施の形態としての伝送シ
ステム100Gの構成を示している。この図7におい
て、図1と対応する部分には同一符号を付して示してい
る。
【0096】この伝送システム100Gは、MPEG4
ストリームSTM1を得る符号化器101と、この符号
化器101より得られるMPEG4ストリームSTM1
を解析して所定の情報を検出するストリーム解析部10
4と、このストリーム解析部104で検出された情報に
基づいてフレームレートFR、AU毎のビットレートA
UR[i]、AU毎の伝送時間AUT[i]、AU毎の復号時
刻DTS[i]を演算する演算部105とを有している。
ここで、演算部105には、外部より最大ビットレート
AURmax、Offset閾値、受信バッファサイズBmaxお
よびESCR初期値が供給される。
【0097】また、伝送システム100Gは、符号化器
101よりストリーム解析部104を通じて入力される
MPEG4ストリームSTM1をMPEG2−PESパ
ケットに変換するパケット化装置102Gと、このパケ
ット化装置102Gより得られるMPEG2−PESパ
ケットのストリームSTM2を入力し、伝送信号として
のMPEG2−TS形式のストリームSTM3で出力す
る多重化装置103とからなっている。
【0098】この伝送システム100Gにおいて、符号
化器101より出力されるMPEG4ストリームSTM
1はストリーム解析部104に供給される。このストリ
ーム解析部104では、MPEG4ストリームSTM1
が解析され、以下の情報が検出される。 ・ストリームの全AU数:AUcnt ・各AUのサイズ:AU[i](iは1≦i≦AUcntの範
囲の整数であり、先頭からi番目のAUであることを示
す。以下同様) ・vop_time_increment_resolution ・fixed_vop_time_increment このストリーム解析部104で解析されたMPEG4ス
トリームSTM1はパケット化装置102Gに供給され
て、MPEG2−PESパケットに変換される。
【0099】このようにストリーム解析部104で検出
された情報は演算部105に供給される。この演算部1
05では、ストリーム解析部104で検出された情報に
基づいて、以下の情報が算出される。 ・フレームレート:FR ・AU毎のビットレート:AUR[i] ・AU毎の伝送時間:AUT[i] ・AU毎の復号時刻:DTS[i]
【0100】それぞれは以下の式で算出される。 (a)フレームレート FR = vop_time_increment_resolution/fixed_vop_ti
me_increment (b)AU毎のビットレート、AU毎の伝送時間 AU[i-1]転送後の差分時間をSとする。ここで、差分
時間は、AUを(1/FR)の時間で伝送すると仮定し
た場合の伝送時間と実際に伝送される時間AUT[i]と
の差分の積分値である。
【0101】差分時間Sが1フレームの表示時間(1/F
R)以上だった場合、AUR[i]を最大ビットレートAU
Rmaxとする。AURmaxは外部から入力したものを使用
する。 S≧(1/FR)→AUR[i]=AURmax 差分時間Sが1フレームの表示時間(1/FR)未満だっ
た場合、AUR[i]を以下の式で算出する。 S<(1/FR)→AUR[i]=AU[i]/(1/FR−S) 算出したAUR[i]がAURmaxを越えていた場合はAU
Rmaxに修正する。 AUR[i]>AURmax→AUR[i]=AURmax 確定したAUR[i]を基に、i番目のAUの伝送時間A
UT[i]を、以下の式で算出する。 AUT[i]=AU[i]/AUR[i] 差分時間Sを以下の式のように更新し、次のAUでの算
出に使用する。 S=S+AUT[i]−(1/FR)
【0102】(c)AU毎の復号時刻 まず、ESCR初期値とDTSの差分(DTS_Offset)
を1[sec]として算出する。後にDTS_Offsetは再計
算され、変更される。ESCR初期値(ESCR_base)
は外部から入力したものを使用する。 DTS[i] = (1/FR)*i+DTS_Offset+ESCR
_base
【0103】また、演算部105では、受信側で破綻を
起こさないように受信側に用意されるバッファ内のデー
タ占有量の推移が事前に算出される。この算出結果を基
に時間情報を作成することで、確実に受信側で破綻を起
こさないPESに変換できるようになる。
【0104】AU毎のDTS[i]までの時間で受信側の
バッファに貯まるデータ量(B_occ[i])を、以下の手順
で算出する。 1.DTS[i-1]とDTS[i]の間の時間をSJとし、以
下の式で算出する。 SJ=DTS[i]−DTS[i-1] 2.ただし、1番最初のAUの場合は以下の式でSJを
算出する。 SJ=DTS[1]−ESCR_base 3.一つ前のAUを復号したときに入力途中であったA
U[i-1]の残りのデータSD[i-1]をバッファに入力する
(最初のAUの場合はSD[i-1]は0)。 SJ>SD[i-1]/AUR[j-1]→B_occ[i] = B_occ[i]
+SD[i-1] SJ=SJ−SD[i-1]/AUR[j-1]
【0105】4.新しく入力されるAUを入力する(j
番目のAUからj+2番目のAUの途中まで入力した場
合の算出例)。バッファにデータを入力するたびにデー
タ入力にかかる時間(AUT[j]等)をSJから減算
し、SJが0になった時点で入力を終了する。 j番目のAUデータをバッファに入力する。 SJ>AUT[j]→B_occ[i] = B_occ[i]+AUR[j]
*AUT[j] SJ=SJ−AUT[j] j+1番目のAUデータをバッファに入力する。 SJ>AUT[j+1]→B_occ[i] = B _occ[i]+AUS[j
+1]*AUT[j+1] SJ=SJ−AUT[j+1] j+2番目のAUデータをバッファに入力する。AU[j
+2]がSJ以上であった場合は、以下のようにSJ時間
分のデータを入力する。 SJ≦AUT[j+2]→B_occ[i]=B_occ[i]+AUR[j+
2]*SJ
【0106】5.AU[j+2]の残りのデータSD[i]を以
下の式で算出する。 SD[i]=AUS[j+2]−AUR[j+2]*SJ 6.最後に入力したAUの番号(j+2)を保存しておく。 7.i番目のAUを復号した後のバッファ占有量の初期
値を計算する。i+1番目のAUを復号時までのバッフ
ァ占有量算出の初期値とする。 B_occ[i+1]=B_occ[i]−AU[i] 8.続いてi+1番目のAUの復号までのバッファ占有
量を求めるため、1.に戻る。
【0107】全てのAUを復号し終わるまで上記を繰り
返し、AUそれぞれの復号時のバッファ占有量(B_occ
[i])を求める。そして、求めたB_occ[i]の中から最大
値をもつiを検出し、外部から入力した受信バッファサ
イズBmaxとB_occ[i]の差分BSを求める。 BS=Bmax−B_occ[i]
【0108】BS≦SD[i]のとき、BSをB_occ[i]の
算出時に最後に入力したAUのビットレートAUR[j+
2]で割り、BS分のデータを転送する時間(Offset)を
求める。 Offset=BS/AUR[j+2] BS>SD[i]のとき、以下の式でOffsetを求める。 Offset=SD[i]/AUR[j+2]+(BS−SD[i])/AU
R[j+3]
【0109】このようにして算出したOffsetをもと
に、DTS_Offsetを再計算し、AU毎のDTS[i]を
再度求める。Offset値が一定の範囲(0≦Offset≦O
ffset閾値)に収まってなかった場合は、受信側のバッ
ファ占有量の推移を再計算し、Offset値を再度算出す
る。
【0110】このように、演算部105で算出されたA
U毎のDTS[i]とDTS_Offset、フレームレートF
R、AU毎のビットレートAUR[i]およびESCR初
期値はパケット化装置102Gの時間情報生成部113
Gに供給される。時間情報生成部113Gでは、演算部
105より供給される情報およびヘッダバッファ部11
2で検出された情報を使用して、図6に示す伝送システ
ム100Fの時間情報生成部113Fにおけると同様に
して、ESCR,PTSが生成される。
【0111】この時間情報生成部113GよりPESヘ
ッダ生成部114にESCR,DTS,PTSの時間情
報が供給される。そして、PESヘッダ生成部114で
は、これらの時間情報および外部より供給されるstream
_idを用いて、PESヘッダが生成される。PESヘッ
ダの生成は1AU検出毎に行われる。
【0112】このようにPESヘッダ生成部114で生
成されたPESヘッダはPES化部116に供給され
る。そして、このPES化部116では、バッファ部1
15に蓄積されている1AU分のデータの先頭に、PE
Sヘッダ生成部114で生成されたPESヘッダが付加
されて、MPEG2−PESパケットが生成される。
【0113】そして、このパケット化装置102Gより
出力されるMPEG2−PESパケットのストリームS
TM2は多重化装置103に供給され、MPEG2−T
S形式のストリームSTM3で出力される。なお、多重
化装置103では、多重を行っているMPEG2−PE
Sパケットの中身がMPEG4ストリームであることを
示すために、セクション化したMPEG4 video_Descr
iptorが併せて多重される。
【0114】この伝送システム100Gのその他の構成
および動作は、図1に示す伝送システム100Aと同様
であるのでその説明は省略する。
【0115】上述した第7の実施の形態においては、M
PEG4ストリームSTM1上の情報および演算部10
5より供給された情報からESCR,DTS,PTSの
時間情報を求め、これらの時間情報を挿入したPESヘ
ッダを生成し、このPESヘッダをMPEG4ストリー
ムの1AU分毎に付加してMPEG2−PESパケット
を生成し、MPEG2−TSストリームSTM3として
伝送できる。そして、MPEG2−PESパケットのP
ESヘッダにはESCR,DTS,PTSの時間情報が
挿入されているので、受信側では破綻なく復号でき、さ
らに他のストリームと同期した表示を行うことができ
る。
【0116】また、第7の実施の形態においては、演算
部105で、受信バッファで復号開始までに貯めておく
べき容量の情報(vbv_occupancy)を使用せずに、DT
S-Offsetを算出し、それを用いて演算部105や時間
情報生成部113GでDTS,PTSの時間情報を求め
るものであり、vbv_occupancyの情報がない場合でも、
正常に時間情報を生成できる。
【0117】次に、この発明の第8の実施の形態につい
て説明する。図8は、第8の実施の形態としての伝送シ
ステム100Hの構成を示している。この図8におい
て、図7と対応する部分には同一符号を付して示してい
る。
【0118】この伝送システム100Hは、MPEG4
ストリームSTM1を得る符号化器101と、この符号
化器101より得られるMPEG4ストリームSTM1
をMPEG2−PESパケットに変換するパケット化装
置102Hと、このパケット化装置102Hより得られ
るMPEG2−PESパケットのストリームSTM2を
入力し、伝送信号としてのMPEG2−TS形式のスト
リームSTM3で出力する多重化装置103とからなっ
ている。
【0119】パケット化装置102Hは、入力されたM
PEG4ストリームSTM1を解析して所定の情報を検
出するストリーム解析部104と、このストリーム解析
部104で検出された情報に基づいてフレームレートF
R、AU毎のビットレートAUR[i]、AU毎の伝送時
間AUT[i]、AU毎の復号時刻DTS[i]を演算する演
算部105とを有している。ここで、演算部105に
は、外部より最大ビットレートAURmax、Offset閾
値、受信バッファサイズBmaxおよびESCR初期値が
供給される。
【0120】また、パケット化装置102Hは、ストリ
ーム解析部104を通じて入力されるMPEG4ストリ
ームSTM1よりヘッダを検出するヘッダ検出部111
と、このヘッダ検出部111で検出されたヘッダを各ヘ
ッダ毎に保存し、ESCR,PTSの時間情報を生成す
るために必要な情報を検出するヘッダバッファ部112
と、このヘッダバッファ部112で検出された情報およ
び演算部105より供給される情報を用いて、ESC
R,DTS,PTSの時間情報を得る時間情報生成部1
13Hとを有している。
【0121】また、パケット化装置102Hは、時間情
報生成部113Hで生成されたESCR,DTS,PT
Sの時間情報および外部より供給されるstream_idを用
いて、PESヘッダを生成するPESヘッダ生成部11
4と、入力されたMPEG4ストリームSTM1を1A
U(Access Unit)分ずつ順次蓄積するバッファ部115
と、PESヘッダ生成部114で生成されたPESヘッ
ダを、バッファ部115に蓄積されている1AU分のデ
ータの先頭に付加してMPEG2−PESパケットを生
成するPES化部116とを有している。
【0122】図8に示す伝送システム100Hは、図7
の伝送システム100Gにおいてパケット化装置102
Gの外部に配されていたストリーム解析部104および
演算部105が、パケット化装置102H内に含まれて
いることが異なるのみで、その他は図7に示す伝送シス
テム100Gと同様である。したがって、この図8に示
す伝送システム100Hは、図7に示す伝送システム1
00Gと同様に動作し、同様の作用効果を得ることがで
きる。
【0123】次に、図1に示す伝送システム100Aの
パケット化装置102Aにおけるパケット化処理を、図
9に示すようなコンピュータ装置150で実現する場合
について説明する。
【0124】図9に示すコンピュータ装置150につい
て簡単に説明する。このコンピュータ装置150は、C
PU151と、このCPU151の動作プログラム等が
格納されたROM(read only memory)152と、CP
U151の作業領域を構成するRAM(random access
memory)153と、記憶装置としてのHDD(ハードデ
ィスクドライブ)154とを有している。これらCPU
151、ROM152、RAM153およびHDD15
4は、それぞれバス155に接続されている。HDD1
54には、変換前のMPEG4ストリームSTM1が記
憶されていると共に、パケット化処理によって得られた
MPEG2−PESパケットのストリームSTM2も記
憶される。
【0125】図10のフローチャートを参照してパケッ
ト化処理の流れを説明する。まず、ステップST1で、
処理をスタートし、ステップST2で、HDD154に
記憶されている入力データとしてのMPEG4データが
終了しているか否かを判定する。MPEG4データが終
了していない場合には、ステップST3で、HDD15
4よりMPEG4データを入力データとして読み込む。
【0126】次に、ステップST4で、読み込んだMP
EG4データにヘッダが含まれているか否かを判定す
る。ヘッダが含まれていないときは、ステップST5
で、読み込んだMPEG4データをRAM153内のバ
ッファ部に蓄積し、ステップST2に戻る。
【0127】一方、ステップST4で、読み込んだMP
EG4データにヘッダが含まれているときは、ステップ
ST6で、そのヘッダのデータをRAM153のヘッダ
バッファ部に保存し、その後にステップST7で、1A
U(Access Unit)を検出したか否かを判定する。この場
合、VOPヘッダを検出している状態で、その次のVO
Pヘッダ以上のヘッダを検出したとき、1AUを検出し
たと判定する。このように、1AUを検出した時点で
は、RAM153のバッファ部に1AU分のMPEG4
データが蓄積された状態となっている。
【0128】ステップST7で、1AUを検出していな
ときは、ステップST5で、読み込んだMPEG4デー
タをRAM153内のバッファ部に蓄積し、ステップS
T2に戻る。一方、ステップST7で、1AUを検出し
たときは、ステップST8で、RAM153のヘッダバ
ッファ部に保存されているヘッダのデータを解析して、
上述の伝送システム100A(図1)の説明部分で述べ
たように、Video_Object_Layerヘッダから、first_half
_vbv_occupancy ,latter_half_vbv_occupancy,first_ha
lf_bit_rate,latter_half_bit_rate,vop_time_incremen
t_resolution,fixed_vop_time_incrementの情報を検出
し、Video_Object_Planeヘッダから、vop_coding_type,
modulo_time_base,vop_time_incrementの情報を検出す
る。
【0129】次に、ステップST9で、ステップST8
で検出した情報および例えばRAM153に予め記憶さ
れているESCR初期値(ESCR_base)を使用し
て、ESCR,DTS,PTSの時間情報を生成し、さ
らにステップST10で、これらの時間情報を挿入した
PESヘッダを生成する。そして、ステップST11
で、ステップST10で生成したPESヘッダを、RA
M153のバッファ部に蓄積されている1AU分のMP
EG4データに付加してMPEG2−PESパケットを
生成し、これを出力データとしてHDD154に書き込
む。その後、ステップST2に戻り、次のMPEG2−
PESパケットの生成処理に移行する。以上の繰り返し
を行うことで、入力データとしてのMPEG4データ
が、1AU毎に、MPEG2−PESパケットに順次変
換されていくこととなる。
【0130】また、上述のステップST2で、入力デー
タとしてのMPEG4データが終了したときは、RAM
153のバッファ部に蓄積されている最後の1AU分の
MPEG4データに対する処理に移行する。すなわち、
このとき、ステップST12で、RAM153のヘッダ
バッファ部に保存されているヘッダのデータを解析し
て、上述のステップST8におけると同様の情報を検出
する。
【0131】次に、ステップST13で、ステップST
12で検出した情報およびESCR初期値を使用して、
ESCR,DTS,PTSの時間情報を生成し、さらに
ステップST14で、これらの時間情報を挿入したPE
Sヘッダを生成する。そして、ステップST15で、ス
テップST14で生成したPESヘッダを、RAM15
3のバッファ部に蓄積されている最後の1AU分のMP
EG4データに付加して最後のMPEG2−PESパケ
ットを生成し、これを出力データとしてHDD154に
書き込む。そして、ステップST16で、パケット化処
理の動作を終了する。
【0132】次に、図2に示す伝送システム100Bの
パケット化装置102Bにおけるパケット化処理を、図
9に示すようなコンピュータ装置150で実現する場合
について説明する。
【0133】図11のフローチャートを参照してパケッ
ト化処理の流れを説明する。この図11において、図1
0と対応するステップには同一符号を付して示してい
る。まず、ステップST1で、処理をスタートし、ステ
ップST2およびステップST22に進む。これらステ
ップST2からの処理およびステップST22からの処
理を並行して実行する。
【0134】ステップST2からの処理、すなわちステ
ップST2〜ステップST16の処理に関しては、ステ
ップST9、ステップST13の処理を除いて、図10
のフローチャートと同様の処理であるので、ここではス
テップST9、ステップST13の処理のみを説明す
る。
【0135】図10のステップST9、ステップST1
3の処理では、MPEG4データのヘッダデータを解析
して検出した情報および例えばRAM153に予め記憶
されているESCR初期値(ESCR_base)を使用し
て、ESCR,DTS,PTSの時間情報を生成する
が、図11のステップST9、ステップST13の処理
では、後述するステップST22から始まる処理で、M
PEG2−PESパケットのPESヘッダを解析して検
出した、基準時間(ESCR′)、復号時刻(DT
S′)、再生時刻(PTS′)、ESCR′フィールド
までのbyte数(ESCR_byte′)およびES_rate′の情
報およびMPEG4データのヘッダデータを解析して検
出した情報とを使用して、上述の伝送システム100B
(図2)の説明部分で述べたように、ESCR,DT
S,PTSの時間情報を生成する。
【0136】次に、ステップST22から始まる処理を
説明する。ステップST22で、HDD154より、M
PEG4データを変換して生成するMPEG2−PES
パケットとは別のMPEG2−PESパケットのストリ
ームを読み込む。そして、ステップST23で、読み込
んだMPEG2データにPESヘッダが含まれているか
否かを判定する。ヘッダが含まれていないときは、ステ
ップST22に戻り、ステップST22,ステップST
23の処理を、読み込んだMPEG2データにPESヘ
ッダが含まれているまで行う。
【0137】ステップST23で、読み込んだMPEG
2データにPESヘッダが含まれているときは、ステッ
プST24で、そのPESヘッダのデータをRAM15
3のヘッダバッファ部に保存する。そして、ステップS
T25で、RAM153のヘッダバッファ部に保存され
ているPESヘッダのデータを解析し、上述したESC
R′,DTS′,PTS′,ESCR_byte′,ES_ra
te′の情報を検出する。
【0138】次に、ステップST26で、ステップST
25で検出した情報を、上述したステップST9または
ステップST13の時間情報生成ステップで使用したか
否かを判定する。検出情報を使用したとき、ステップS
T22に戻り、HDD154より読み出されるMPEG
2データに含まれる次のPESヘッダより情報を検出す
るための処理に移行する。これにより、ステップST2
から始まる処理でMPEG4ストリームの1AUを検出
する毎に、ステップST22から始まる処理でMPEG
2のPESヘッダを1つ検出するように動作する。
【0139】この図11のフローチャートによるパケッ
ト化処理によっても、図10のフローチャートによるパ
ケット化処理と同様に、入力データとしてのMPEG4
データが、1AU毎に、MPEG2−PESパケットに
順次変換されていくこととなる。
【0140】なお、詳細説明は省略するが、図3から図
8に示す伝送システム100C〜100Hのパケット化
装置における処理も、図9に示すようなコンピュータ装
置150で実現できる。
【0141】また、上述実施の形態においては、MPE
G4ストリーム(MPEG4データ)をMPEG2−P
ESパケットに変換する例を示したが、この発明は、デ
ィジタル符号化されたビット列を伝送プロトコルに合わ
せてパケット化するその他のパケット化装置にも同様に
適用できることは勿論である。
【0142】
【発明の効果】この発明によれば、伝送プロトコルの仕
様に合わせた時間情報を生成してそれを挿入したヘッダ
を得、このヘッダをビット列の所定単位毎に付加してパ
ケットを生成するものであり、伝送プロトコルに合わせ
た時間情報が付加されたパケットを得ることができ、そ
れを伝送することができる。また、生成されるパケット
のヘッダには時間情報が挿入されているので、受信側で
は破綻なく復号でき、さらに他のストリームとの同期が
容易となる。
【図面の簡単な説明】
【図1】第1の実施の形態としての伝送システムの構成
を示すブロック図である。
【図2】第2の実施の形態としての伝送システムの構成
を示すブロック図である。
【図3】第3の実施の形態としての伝送システムの構成
を示すブロック図である。
【図4】第4の実施の形態としての伝送システムの構成
を示すブロック図である。
【図5】第5の実施の形態としての伝送システムの構成
を示すブロック図である。
【図6】第6の実施の形態としての伝送システムの構成
を示すブロック図である。
【図7】第7の実施の形態としての伝送システムの構成
を示すブロック図である。
【図8】第8の実施の形態としての伝送システムの構成
を示すブロック図である。
【図9】パケット化処理をするためのコンピュータ装置
の構成を示すブロック図である。
【図10】パケット化処理の流れを説明するためのフロ
ーチャートである。
【図11】パケット化処理の他の流れを説明するための
フローチャートである。
【図12】MPEG4ストリームの構造(1/2)を示
す図である。
【図13】MPEG4ストリームの構造(2/2)を示
す図である。
【符号の説明】
100A〜100H・・・伝送システム、101,10
1a,101b・・・符号化部、102A〜102H・
・・パケット化装置、103・・・多重化部、104・
・・ストリーム解析部、105・・・演算部、111,
117・・・ヘッダ検出部、112・・・ヘッダバッフ
ァ部、113A〜113H・・・時間情報生成部、11
4・・・PESヘッダ生成部、115・・・バッファ
部、116・・・PES化部、118・・・ヘッダ解析
部、119・・・ビットレート算出部、150・・・コ
ンピュータ装置

Claims (26)

    【特許請求の範囲】
  1. 【請求項1】 ディジタル符号化されたビット列を伝送
    プロトコルに合わせてパケット化するパケット化装置で
    あって、 上記伝送プロトコルの仕様に合わせた時間情報を生成す
    る時間情報生成部と、 上記時間情報生成部で生成された時間情報を挿入したヘ
    ッダを生成するヘッダ生成部と、 上記ビット列の所定単位毎に、上記ヘッダ生成部で生成
    されたヘッダを付加してパケットを生成するパケット生
    成部とを備えることを特徴とするパケット化装置。
  2. 【請求項2】 上記ディジタル符号化されたビット列は
    MPEG4ストリームであり、 上記パケット生成部で生成されるパケットはMPEG2
    −PESパケットであることを特徴とする請求項1に記
    載のパケット化装置。
  3. 【請求項3】 上記ディジタル符号化されたビット列よ
    りヘッダを検出するヘッダ検出部と、 上記ヘッダ検出部で検出したヘッダを解析して所定の情
    報を得るヘッダ解析部とをさらに備え、 上記時間情報生成部は、上記ヘッダ解析部で得られた上
    記所定の情報を使用して上記伝送プロトコルの仕様に合
    わせた時間情報を生成することを特徴とする請求項1に
    記載のパケット化装置。
  4. 【請求項4】 上記ディジタル符号化されたビット列の
    ビットレートを求めるビットレート算出部をさらに備
    え、 上記時間情報生成部は、上記ビットレート算出部で算出
    されたビットレートを使用して上記伝送プロトコルの仕
    様に合わせた時間情報を生成することを特徴とする請求
    項1に記載のパケット化装置。
  5. 【請求項5】 上記時間情報生成部は、 上記ディジタル符号化されたビット列以外の所定ビット
    列に含まれる時間情報を使用して上記伝送プロトコルの
    仕様に合わせた時間情報を生成することを特徴とする請
    求項1に記載のパケット化装置。
  6. 【請求項6】 上記ディジタル符号化されたビット列は
    MPEG4ストリームであり、 上記所定のビット列はMPEG2−PESパケットのス
    トリームであることを特徴とする請求項5に記載のパケ
    ット化装置。
  7. 【請求項7】 上記時間情報生成部は、 上記ディジタル符号化されたビット列を生成する符号化
    器からの情報を使用して上記伝送プロトコルの仕様に合
    わせた時間情報を生成することを特徴とする請求項1に
    記載のパケット化装置。
  8. 【請求項8】 上記符号化器からの情報は、上記ディジ
    タル符号化されたビット列を復号する復号化器に係る情
    報であることを特徴とする請求項7に記載のパケット化
    装置。
  9. 【請求項9】 上記符号化器からの情報は、上記ディジ
    タル符号化されたビット列に係る情報であることを特徴
    とする請求項7に記載のパケット化装置。
  10. 【請求項10】 上記時間情報生成部は、 上記ディジタル符号化されたビット列の最大ビットレー
    トを使用して上記伝送プロトコルの仕様に合わせた時間
    情報を生成することを特徴とする請求項1に記載のパケ
    ット化装置。
  11. 【請求項11】 上記ディジタル符号化されたビット列
    を解析するストリーム解析部と、 上記ストリーム解析部の解析結果に基づいて少なくとも
    上記ディジタル符号化されたビット列を復号する復号化
    器で復号を開始するまでの時間を演算する演算部とをさ
    らに備え、 上記時間情報生成部は、上記演算部の演算結果を使用し
    て上記伝送プロトコルの仕様に合わせた時間情報を生成
    することを特徴とする請求項1に記載のパケット化装
    置。
  12. 【請求項12】 ディジタル符号化された複数のビット
    列をそれぞれ伝送プロトコルに合わせてパケット化する
    パケット化装置であって、 上記伝送プロトコルの仕様に合わせた時間情報をそれぞ
    れ生成する複数の時間情報生成部と、 上記複数の時間情報生成部で生成された複数の時間情報
    をそれぞれ挿入したヘッダを生成する複数のヘッダ生成
    部と、 上記複数のビット列のそれぞれの所定単位毎に、上記複
    数のヘッダ生成部で生成された複数のヘッダをそれぞれ
    付加してパケットを生成する複数のパケット生成部とを
    備え、 上記複数の時間情報生成部は、共通の時間情報を使用し
    てそれぞれ上記伝送プロトコルの仕様に合わせた時間情
    報を生成することを特徴とするパケット化装置。
  13. 【請求項13】 上記ディジタル符号化されたビット列
    はMPEG4ストリームであり、 上記パケット生成部で生成されるパケットはMPEG2
    −PESパケットであることを特徴とする請求項12に
    記載のパケット化装置。
  14. 【請求項14】 ディジタル符号化されたビット列を伝
    送プロトコルに合わせてパケット化するパケット化方法
    であって、 上記伝送プロトコルの仕様に合わせた時間情報を生成す
    る第1のステップと、上記第1のステップで生成された
    時間情報を挿入したヘッダを生成する第2のステップ
    と、 上記ビット列の所定単位毎に、上記第2のステップで生
    成されたヘッダを付加してパケットを生成する第3のス
    テップとを備えることを特徴とするパケット化方法。
  15. 【請求項15】 上記ディジタル符号化されたビット列
    はMPEG4ストリームであり、 上記第3のステップで生成されるパケットはMPEG2
    −PESパケットであることを特徴とする請求項14に
    記載のパケット化方法。
  16. 【請求項16】 上記ディジタル符号化されたビット列
    よりヘッダを検出する第4のステップと、 上記第4のステップで検出されたヘッダを解析して所定
    の情報を得る第5のステップとをさらに備え、 上記第1のステップでは、上記第5のステップで得られ
    た所定の情報を使用して上記伝送プロトコルの仕様に合
    わせた時間情報を生成することを特徴とする請求項14
    に記載のパケット化方法。
  17. 【請求項17】 上記ディジタル符号化されたビット列
    のビットレートを求める第4のステップをさらに備え、 上記第1のステップでは、上記第4のステップで算出さ
    れたビットレートを使用して上記伝送プロトコルの仕様
    に合わせた時間情報を生成することを特徴とする請求項
    14に記載のパケット化方法。
  18. 【請求項18】 上記第1のステップでは、 上記ディジタル符号化されたビット列以外の所定ビット
    列に含まれる時間情報を使用して上記伝送プロトコルの
    仕様に合わせた時間情報を生成することを特徴とする請
    求項14に記載のパケット化方法。
  19. 【請求項19】 上記ディジタル符号化されたビット列
    はMPEG4ストリームであり、 上記所定のビット列はMPEG2−PESパケットのス
    トリームであることを特徴とする請求項18に記載のパ
    ケット化方法。
  20. 【請求項20】 上記第1のステップでは、 上記ディジタル符号化されたビット列を生成する符号器
    からの情報を使用して上記伝送プロトコルの仕様に合わ
    せた時間情報を生成することを特徴とする請求項14に
    記載のパケット化方法。
  21. 【請求項21】 上記符号化器からの情報は、上記ディ
    ジタル符号化されたビット列を復号する復号化器に係る
    情報であることを特徴とする請求項20に記載のパケッ
    ト化方法。
  22. 【請求項22】 上記符号化器からの情報は、上記ディ
    ジタル符号化されたビット列に係る情報であることを特
    徴とする請求項20に記載のパケット化方法。
  23. 【請求項23】 上記第1のステップでは、 上記ディジタル符号化されたビット列の最大ビットレー
    トを使用して上記伝送プロトコルの仕様に合わせた時間
    情報を生成することを特徴とする請求項14に記載のパ
    ケット化方法。
  24. 【請求項24】 上記ディジタル符号化されたビット列
    を解析する第4のステップと、 上記第4のステップの解析結果に基づいて少なくとも上
    記ディジタル符号化されたビット列を復号する復号化器
    で復号を開始するまでの時間を演算する第5のステップ
    とをさらに備え、 上記第1のステップでは、上記第5のステップの演算結
    果を使用して上記伝送プロトコルの仕様に合わせた時間
    情報を生成することを特徴とする請求項14に記載のパ
    ケット化方法。
  25. 【請求項25】 ディジタル符号化された複数のビット
    列をそれぞれ伝送プロトコルに合わせてパケット化する
    パケット化方法であって、 上記伝送プロトコルの仕様に合わせた複数の時間情報を
    生成する第1のステップと、 上記第1のステップで生成された複数の時間情報をそれ
    ぞれ挿入した複数のヘッダを生成する第2のステップ
    と、 上記複数のビット列のそれぞれの所定単位毎に、上記第
    2のステップで生成された複数のヘッダをそれぞれ付加
    して複数のパケットを生成する第3のステップとを備
    え、 上記第1のステップでは、共通の時間情報を使用してそ
    れぞれ上記伝送プロトコルの仕様に合わせた複数の時間
    情報を生成することを特徴とするパケット化方法。
  26. 【請求項26】 上記ディジタル符号化されたビット列
    はMPEG4ストリームであり、 上記第3のステップで生成されるパケットはMPEG2
    −PESストリームであることを特徴とする請求項25
    に記載のパケット化方法。
JP2001052611A 2001-02-27 2001-02-27 パケット化装置およびパケット化方法 Expired - Fee Related JP4457506B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001052611A JP4457506B2 (ja) 2001-02-27 2001-02-27 パケット化装置およびパケット化方法
US10/085,647 US7428246B2 (en) 2001-02-27 2002-02-26 Apparatus and method of packetizing data stream
EP20020251382 EP1235412B1 (en) 2001-02-27 2002-02-27 Apparatus and method of packetizing a data stream
DE2002605968 DE60205968T2 (de) 2001-02-27 2002-02-27 Vorrichtung und Verfahren zur Packetierung eines Datenstroms

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001052611A JP4457506B2 (ja) 2001-02-27 2001-02-27 パケット化装置およびパケット化方法

Publications (3)

Publication Number Publication Date
JP2002261824A true JP2002261824A (ja) 2002-09-13
JP2002261824A5 JP2002261824A5 (ja) 2008-01-31
JP4457506B2 JP4457506B2 (ja) 2010-04-28

Family

ID=18913219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001052611A Expired - Fee Related JP4457506B2 (ja) 2001-02-27 2001-02-27 パケット化装置およびパケット化方法

Country Status (4)

Country Link
US (1) US7428246B2 (ja)
EP (1) EP1235412B1 (ja)
JP (1) JP4457506B2 (ja)
DE (1) DE60205968T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038587A (ja) * 2007-08-01 2009-02-19 Panasonic Corp 信号処理装置
JP4947049B2 (ja) * 2006-03-17 2012-06-06 日本電気株式会社 符号化ストリーム送信装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) * 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
GB2433170A (en) * 2005-12-12 2007-06-13 Amino Holdings Ltd An adapter for converting a TV signal between different formats
US8045836B2 (en) * 2008-01-11 2011-10-25 Texas Instruments Incorporated System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
US9154797B2 (en) * 2010-09-20 2015-10-06 Onecodec, Limited Systems and methods for encoding and decoding
US10025787B2 (en) 2011-08-17 2018-07-17 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US10129556B2 (en) 2014-05-16 2018-11-13 Bevara Technologies, Llc Systems and methods for accessing digital data
WO2015176009A1 (en) 2014-05-16 2015-11-19 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US20160234528A1 (en) * 2015-02-09 2016-08-11 Arris Enterprises, Inc. Carriage of video coding for browsers (vcb) video over mpeg-2 transport streams
TWI617187B (zh) * 2016-08-15 2018-03-01 晨星半導體股份有限公司 多媒體處理系統與其控制方法
KR20190065792A (ko) * 2017-12-04 2019-06-12 삼성전자주식회사 전자 장치 및 전자 장치의 영상 데이터 전송 방법
CA3086546A1 (en) 2018-01-18 2019-07-25 Bevara Technologies, Llc Browser navigation for facilitating data access

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09139937A (ja) 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
US6172988B1 (en) 1996-01-31 2001-01-09 Tiernan Communications, Inc. Method for universal messaging and multiplexing of video, audio, and data streams
US6535530B1 (en) 1997-07-23 2003-03-18 Matsushita Electric Industrial Co., Ltd. Apparatus and method for demultiplexing multiplexed data
US6188703B1 (en) * 1997-08-01 2001-02-13 International Business Machines Corp. Multiplexer for multiple media streams
WO1999018720A1 (en) * 1997-10-03 1999-04-15 Sony Corporation Encoded stream splicing device and method, and an encoded stream generating device and method
JP3232052B2 (ja) 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6973258B1 (en) * 1998-10-02 2005-12-06 Lg Electronics Inc. Method and apparatus for recording digital data streams
US6570926B1 (en) * 1999-02-25 2003-05-27 Telcordia Technologies, Inc. Active techniques for video transmission and playback
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
JP2001204026A (ja) * 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
JP4378824B2 (ja) * 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US7039116B1 (en) * 2000-11-07 2006-05-02 Cisco Technology, Inc. Methods and apparatus for embedding and format conversion of compressed video data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947049B2 (ja) * 2006-03-17 2012-06-06 日本電気株式会社 符号化ストリーム送信装置
US8243826B2 (en) 2006-03-17 2012-08-14 Nec Corporation Encoded stream transmitter
JP2009038587A (ja) * 2007-08-01 2009-02-19 Panasonic Corp 信号処理装置

Also Published As

Publication number Publication date
JP4457506B2 (ja) 2010-04-28
US20030193940A1 (en) 2003-10-16
EP1235412A1 (en) 2002-08-28
US7428246B2 (en) 2008-09-23
DE60205968T2 (de) 2006-07-06
EP1235412B1 (en) 2005-09-07
DE60205968D1 (de) 2005-10-13

Similar Documents

Publication Publication Date Title
JP4668515B2 (ja) マルチメディアコンテンツに同期化されたメタデータ伝送装置及び方法
KR101022894B1 (ko) Rtp 페이로드 포멧
US7349410B2 (en) Data transmission device and data transmission method
JP2002261824A (ja) パケット化装置およびパケット化方法
JP2019216430A (ja) 送信方法、受信方法、送信装置、及び受信装置
JP2019062550A (ja) 送信方法、送信装置及びシステム
JP6667128B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP2019118076A (ja) パケット変換装置
JP4332267B2 (ja) エンコーダ及びデコーダ
KR100439338B1 (ko) 디지털 지상파 데이터 방송을 위한 데이터 부호화 장치 및그 방법
JP2005531960A (ja) 暗号化mpegトランスポートストリームからmpegプログラムストリームを作成する方法
KR20020066260A (ko) 디지털 데이터 방송 서비스를 위한 데이터 스트리밍 장치및 그 방법
JP2009533935A (ja) 伝送フレームを生成する方法及び装置、伝送フレームを処理する方法及び装置
JPH1188856A (ja) 伝送プロトコル変換方式およびプロトコル変換装置を用いたcatvネットワーク接続方式
JP4387064B2 (ja) データ伝送方法およびデータ伝送装置
JP4436573B2 (ja) データ伝送方法およびデータ伝送装置
JP3990813B2 (ja) 符号化装置、符号化方法、ディジタル伝送装置、及びディジタル伝送システム
KR101920051B1 (ko) Mmt 복합 전달 서비스에서 mmt 패킷 스트림 동기화를 위한 타이밍 정보 제공 방법 및 mmt 패킷 스트림 동기화 방법
KR20060089508A (ko) 타이밍정보의 효율적 전송을 위한 전송스트림 생성 장치및 그 방법과, 그를 이용한 디엠비 전송 시스템
US7949052B1 (en) Method and apparatus to deliver a DVB-ASI compressed video transport stream
US20080123732A1 (en) Method and system for configuring decoding based on detecting transport stream input rate
JP4190428B2 (ja) データ伝送方法およびデータ伝送機
JP7034926B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR0138123B1 (ko) 엠피이지-2(mpeg-2) 시스템에서 타임 스템프를 코팅하는 장치
JPH09298748A (ja) Mpegビットストリームにおいてスタッフィングビットの代わりにプライベートデータを送る方法および装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071207

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees