JP2001285234A - データ多重化装置およびデータ多重化方法、並びに記録媒体 - Google Patents

データ多重化装置およびデータ多重化方法、並びに記録媒体

Info

Publication number
JP2001285234A
JP2001285234A JP2000102130A JP2000102130A JP2001285234A JP 2001285234 A JP2001285234 A JP 2001285234A JP 2000102130 A JP2000102130 A JP 2000102130A JP 2000102130 A JP2000102130 A JP 2000102130A JP 2001285234 A JP2001285234 A JP 2001285234A
Authority
JP
Japan
Prior art keywords
multiplexing
data
buffer
stream
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2000102130A
Other languages
English (en)
Inventor
Koji Obata
功史 小幡
Yoshiaki Oishi
義明 大石
Tomoyuki Sato
智之 佐藤
Hajime Nitta
元 新田
Okiyuki Ota
起至 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000102130A priority Critical patent/JP2001285234A/ja
Priority to US09/824,367 priority patent/US7496675B2/en
Priority to KR20010017606A priority patent/KR100786925B1/ko
Priority to CNB011162058A priority patent/CN1146159C/zh
Publication of JP2001285234A publication Critical patent/JP2001285234A/ja
Abandoned legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements

Abstract

(57)【要約】 【課題】 T-STDモデルのシミュレーションの演算量を
減少させる。 【解決手段】 図3(B)は、トランスポートレートR
t、リークレートRXのトランスポートストリームバッ
ファ21に、TSパケットを転送する場合のバッファ占
有量である。バッファ占有量が増加する時間T1、減少
する時間T2は、(Rt−Rx)×T1=Rx×T2
と、T1=(188×8)/Rtとなり、時間Tは、T=
T1+T2=(188×8)/Rxとなり、時間Tは、
図3(C)に示される時間T´と等しくなる。すなわ
ち、時間T´の周期でTSパケットを転送すれば、トラ
ンスポートストリームバッファ21は、オーバーフロー
せず、少なくとも1秒に1回空になるので、T-STDモデ
ルのシミュレーションにおいて、トランスポートストリ
ームバッファ21に関するシミュレーションは不要とな
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、データ多重化装置
およびデータ多重化方法、並びに記録媒体に関し、特
に、TュSTDモデルの仮想的なデータバッファのデータ占
有量のシミュレーションのための演算量を減少し、ISO/
IEC13818ュ1の規定に従った多重化トランスポートストリ
ームを容易に生成することができるようにしたデータ多
重化装置およびデータ多重化方法、並びに記録媒体に関
する。
【0002】
【従来の技術】放送、AVストリーム配信などで広く用
いられているMPEG(Moving Picture Coding Experts Gr
oup/Moving Picture Experts Group)トランスポート
ストリーム方式で映像ストリームと音声ストリームを多
重化する場合、多重化装置は、多重化ストリームを分離
して復号する復号装置が、MPEGシステム規格(ISO/IEC1
3818-1)で規定されている仮想的なデコーダモデルであ
るT-STD(Transport Stream System Target Decoder:シ
ステムターゲット復号器)モデルに基づいて、各ストリ
ームを分離して復号することができるように、188バ
イト単位のトランスポートパケット形式で多重化するこ
とが要求される。
【0003】図1に、T-STDモデルを示す。T-STDモデル
には、トランスポートストリームバッファ、多重バッフ
ァおよびエレメンタリストリームバッファの3段のバッ
ファからなる映像ストリーム用のバッファ、トランスポ
ートストリームバッファおよび主バッファの2段のバッ
ファからなる音声ストリーム用のバッファ、およびシス
テム制御用のバッファの、3種類のバッファが用意され
ている。T-STDモデルでは、各バッファ間の転送レー
ト、各バッファのサイズなども細かく規定されている。
図1では、映像ストリーム用のバッファ、音声ストリー
ム用のバッファ、およびシステム制御用のバッファの、
3種類のバッファをそれぞれ1つずつ図示して説明する
が、映像ストリーム用のバッファ、および音声ストリー
ム用のバッファは、それぞれのエレメンタリストリーム
のチャンネル(ch)の数だけ用意される。
【0004】まず、T-STDに入力された多重化データス
トリームは、そのデータが、映像データ、音声データ、
システム制御データのいずれのデータであるかに基づい
て(各パケットに記述されているデータの属性は、図2
を用いて後述するPID(Packet Identification(パ
ケット識別子))に記述されている)、瞬時にトランス
ポートストリームバッファTB11乃至TBsys3の
うちの対応するバッファに転送され、バッファリングさ
れる。トランスポートストリームバッファTB11乃至
TBsys3は、そのサイズが512バイトに規定され
ている。トランスポートストリームバッファTB11乃
至TBsys3は、オーバーフローしてはならないし、
少なくとも1秒に1回、空にしなければならないと規定
されている。
【0005】映像エレメンタリストリームは、トランス
ポートストリームバッファTB11から多重バッファM
B14へ供給され、バッファリングされる。映像エレメ
ンタリストリームは、その後、エレメンタリストリーム
バッファEB15に供給され、更にバッファリングされ
た後、デコーダD16で復号され、その映像データのフ
レームが表示の順番ではない場合、リオーダリングバッ
ファO17において、フレームが表示の順番に入れ替え
られて出力され、映像データのフレームが表示の順番ど
おりである場合、そのまま出力される。
【0006】音声エレメンタリストリームは、トランス
ポートストリームバッファTBn2から主バッファBn
8へ供給され、バッファリングされて、デコーダDn9
で復号され、出力される。システムデータは、トランス
ポートストリームバッファTBsys3から主バッファ
Bsys10へ供給され、バッファリングされて、デコー
ダDsys11で復号され、出力される。
【0007】映像エレメンタリストリームが、トランス
ポートストリームバッファTB11から多重バッファM
B14へ転送される場合の転送レートRx1は、次の式
(1)で表わされる。 Rx1=1.2×Rmax[profile,level] ・・・(1) ここで、Rmax[profile,level]は、それぞれの映像
エレメンタリストリームのプロファイル、レベルに依存
する転送レートの上限値を示す、ISO/IEC13818-2におい
て規定されたパラメータである。
【0008】多重バッファMB14のサイズMBS1
は、ローレベル、メインレベルについては、次の式
(2)で表わされ、ハイ-1440レベルおよびハイレベル
については、次の式(3)で表わされる。 MBS1=BSmux+BSoh+VBVmax[profile,level] vbv_buff er_size ・・・(2) MBS1=BSmux+BSoh・・・(3) ここで、BSohは、PES(Packetized Elementary
Stream)パケットオーバーヘッドのバッファリングを行
う仮想的なオーバーヘッドバッファSoh(図示せず)
のサイズであり、次の式(4)で定義される。また、B
Smuxは、付加的な多重バッファSmux(図示せ
ず)のサイズであり、次の式(5)で定義される。 BSoh=(1/750)×Rmax[profile,level]・・・(4) BSmux=0.04×Rmax[profile,level]・・・(5) また、VBVmax[profile,level]は、仮想的なVB
V(Video BufferingVerifier)バッファ(図示せず)
のサイズの最大値を示す、ISO/IEC13818-2に定義されて
いるパラメータである。また、vbv_buffer_sizeは、映
像エレメンタリストリームのシーケンスヘッダに含まれ
て伝送される。
【0009】また、ISO/IEC11172-2ビットストリームで
制約されている各パラメータにおける多重バッファMB
nのサイズMBSnは、次の式(6)で表わされる。 MBS1=BSmux+BSoh +vbv_max+vbv_buffer_size ・・・(6) 式(6)のBSohおよびBSmuxは、次の式(7)
および式(8)で表わされる。 BSoh=(1/750)×Rmax・・・(7) BSmux=0.004×Rmax・・・(8) 式(6)のvbv_maxおよび、式(7)、式(8)のRm
axは、それぞれ、ISO/IEC11172-2に規定された最大の
vbv_buffer_sizeおよび最大ビットレートである。
【0010】MBS1に含まれるBSmuxの分量は、
バッファリングによって多重化を行うために配分されて
いる。そして、BSmuxに配分された残りのバッファ
の分量は、BSohに利用することが可能であり、更
に、初期多重化にも利用することが可能である。
【0011】また、映像エレメンタリストリームの多重
バッファMB14からエレメンタリストリームバッファ
EB15への転送方法には、リークメソッド、およびvd
v_delayメソッドの2つの方法がある。
【0012】リークメソッドにおける転送レートRbx
1は、ローレベルまたはメインレベルでは式(9)で表
わされ、ハイ-1440レベルおよびハイレベルでは式(1
0)で表わされ、ISO/IEC11172-2により制約されたパラ
メータビットストリームでは式(11)で表わされる。 Rbx1=Rmax[profile,level]・・・(9) Rbx1=Min{1.05×Res,Rmax[profile,level]} ・・・(10) Rbx1=1.2Rmax・・・(11) ここで、Resはエレメンタリストリームの転送ビットレ
ートであり、RmaxはISO/IEC11172-2により制約され
た、ビットストリームの最大ビットレートである。
【0013】リークメソッドを用いて、多重バッファM
B14からエレメンタリストリームバッファEB15へ
データを転送する場合、多重バッファMB14にPES
パケットペイロードが存在し、かつ、エレメンタリスト
リームバッファEB15が一杯でなければ、PESパケ
ットペイロードは、多重バッファMB14からエレメン
タリストリームバッファEB15へ、Rbx1の伝送レ
ートで転送される。エレメンタリストリームバッファE
B15が一杯ならば、データは多重バッファMB14
から取り除かれない。データバイトが多重バッファMB
14からエレメンタリストリームバッファEB15へ転
送される場合、多重バッファMB14に存在する、その
データバイトの直前にあるすべてのPESパケットヘッ
ダは、瞬時に取り除かれ捨てられる。そして、多重バッ
ファMB14にPESパケットペイロードデータが存在
しない場合、データは多重バッファMB14から取り除
かれない。
【0014】一方、vbv_delayメソッドにおいては、映
像エレメンタリストリーム中に符号化されて含まれてい
るvbv_delayによって、符号化された映像データが多重
バッファMB14からエレメンタリストリームバッファ
EB15へ伝送されるタイミングは、正確に規定されて
いる。vbv_delayメソッドが適用されている場合、画像
jの映像ピクチャスタートコードの最終バイトは、時刻
tdn(j)-vbv_delay(j)に、多重バッファMB1
4からエレメンタリストリームバッファEB15へ転送
される。ここで、tdn(j)は画像jの復号時刻であ
る。また、vbv_delay(j)は、画像jのvbv_delayフィ
ールドに示される秒単位の遅延時間である。
【0015】連続するピクチャスタートコードの最終バ
イト間のデータバイト(2番目のスタートコードの最終
バイトを含む)の、エレメンタリストリームバッファE
B15への転送は、断片的に一定の伝送レートRbx
(j)で行われる。Rbx(j)は各画像jに対して規
定されている。このバッファへの転送レートRbx
(j)は、次の式(12)により与えられる。 Rbx(j)=NB(j)/(vbv_delay(j) vbv_delay(j+1) +tdn(j+1) tdn(j)) ・・・(12) ここで、NB(J)は、PESパケットヘッダバイトを
のぞく画像jおよびJ+1のピクチャスタートコードの
最終バイト間のデータバイト(2番目のスタートコード
の最終バイトを含む)の数である。
【0016】リークメソッドを用いてデータの転送を実
施している場合、多重バッファMB14はオーバーフロ
ーしてはならない。また、多重バッファMB14は、少
なくとも1秒に1回、空にしなければならない。
【0017】vbv_delayメソッドを用いてデータの転送
を実施している場合、多重バッファMB14は、オーバ
ーフローしてはならないし、アンダーフローしてはなら
ない。また、エレメンタリストリームバッファEB15
はオーバーフローしてはならない。
【0018】次に、音声データおよびシステムデータの
転送について説明する。音声データストリームが、トラ
ンスポートストリームバッファTBn2から主バッファ
Bn8へ転送される場合の転送レートRxaは、次の式
(13)で表わされ、システムデータのトランスポート
ストリームバッファTBsys3から主バッファBsys10
への転送レートRxsysは、次の式(14)で表わされ
る。 Rxa=2×106(bps)・・・(13) Rxsys=1×106(bps)・・・(14)
【0019】また、音声データがバッファリングされる
主バッファBn8のバッファサイズBSnは、次の式
(15)で表わされる。 BSn=BSmux+BSdec+BSoh=3584(bytes)・・・(15) ここで、BSdecは、仮想的なアクセスユニット復号バ
ッファ(図示せず)のサイズであり、BSohは、仮想
的なPESパケットオーバーヘッドバッファ(図示せ
ず)のサイズである。これらは、次の式(16)により
条件付けられる。 BSdec+BSoh≦2848(bytes)・・・(16) また、システムデータがバッファリングされる主バッフ
ァBsys10のバッファサイズBSsysは、次の式(1
7)で表わされる。 BSsys=1536(bytes)・・・(17)
【0020】エレメンタリストリームバッファEB15
もしくは主バッファBn8にバッファリングされている
アクセスユニット(映像ではピクチャ、音声ではオーデ
ィオフレームに相当する)のうち、そのバッファにもっ
とも長く存在しているアクセスユニットAn(j)と、
時刻tdn(j)にそのアクセスユニットAn(j)の前
にあるすべてのスタッフィングバイト(スタッフィング
バイトについては、図2を用いて後述する)は、時刻t
dn(j)で即座に取り除かれる。時刻tdn(j)はD
TS(Decoding Time Stamp)またはPTS(Presentat
ion Time Stamp)フィールドで規定されている。
【0021】システムデータの場合、主バッファBsys
10に1バイトでもデータがバッファリングされている
場合、主バッファBsys10のデータは、常に、式(1
8)に示すRbsysの伝送レートで取り除かれる。 Rbsys=max{80000,transport_rate(i)×8/500}・・・(18)
【0022】PES(Packetized Elementary Stream)
パケットは、PESパケットを入力された復号装置が、
以上説明したT-DTSモデルを用いて、入力された多重化
データを分離し、復号できるように、188バイトの固
定長トランスポートパケット(以下TSパケットと称す
る)に分割されて転送される。図2に、TSパケットの
構成を示す。
【0023】TSパケットは、パケットデータの内容を
識別するための情報が記述されている4バイトのヘッダ
ーと、ビデオ、オーディオなどのデータが記述されてい
るペイロードから構成されている。以下、ヘッダーの構
成について説明する。
【0024】同期バイトは、8ビットの同期信号で、復
号装置がTSパケットの先頭を検出するためのデータで
ある。トランスポート誤りインディケータは、このパケ
ット中のビットエラーの有無を表わす1ビットのフラグ
である。ペイロードユニットスタートインディケータ
は、このTSパケットのペイロードに、PESパケット
の先頭部分が含まれているか否かを表わす1ビットのフ
ラグである。
【0025】トランスポート優先度は、同じPID(Pa
cket Identification(パケット識別子))を有する複
数のTSパケットの中での優先度を示している。すなわ
ち、同じPIDを有するパケットで、トランスポート優
先度に“1”が記述されているTSパケットは、トラン
スポート優先度に“0”が記述されているTSパケット
より優先度が高い。
【0026】PIDは、ペイロードに記述されているデ
ータの属性を示す13ビットのストリーム識別情報であ
る。例えば、PIDに0x0000と記述されている場合、ペ
イロードに記述されている情報は、プログラムアソシエ
ーションテーブルである。プログラムアソシエーション
テーブルには、プログラムマップテーブル(プログラム
の識別番号と、ビデオ、オーディオなどの個別ストリー
ムが記述されているTSパケットのPIDリストなどが
記述されている)を記述しているTSパケットのPID
が記述されている。
【0027】トランスポートスクランブリング制御は、
スクランブルに関する情報、すなわち、スクランブルな
し、Even鍵、もしくはOdd鍵のいずれかの情報が記述さ
れている。アダプテーションフィールドコントロール
は、このTSパケットのアダプテーションフィールドお
よびペイロードの有無を示す。連続性カウンタは、同じ
PIDを有するTSパケットが、途中で一部破棄された
か否かを検出するための4ビットのカウント情報であ
る。
【0028】アダプテーションフィールドは、個別情報
に関する付加情報が記述され、TSパケットを固定長に
するためのスタッフィングバイト(無効データバイト)
が付加されている。PESパケットを分割して、固定長
のTSパケットにするためには、必要に応じて、スタッ
フィングバイトを付加しなければいけないため、アダプ
テーションテーブルの長さは、スタッフィングバイトに
よって異なる。
【0029】アダプテーションフィールド長は、アダプ
テーションフィールドの長さを示す8ビットの情報であ
る。不連続インディケータは、次の同じPIDを有する
パケットが、このパケットと連続するか否か、すなわ
ち、システムクロックがリセットされるか否かを示す。
ランダムアクセスインディケータは、ランダムアクセス
のエントリーポイント、すなわち、映像データのシーケ
ンスヘッダ、もしくは音声データのフレームが始まる位
置を示す。エレメンタリストリーム優先度インディケー
タは、このTSパケットが、同じPIDを有するTSパ
ケットの中の最重要の部分(例えば、映像データにおけ
るイントラコーディッドスライス)を有しているか否か
を示す。
【0030】5フラグは、アダプテーションフィールド
が、PCR(Program Clock Reference(番組基準クロ
ック))を含んでいるか否かを示すPCRフラグ(1の
とき、PCR有)、アダプテーションフィールドが、O
PCR(Original Program Clock Reference(オリジナ
ル番組基準クロック))を含んでいるか否かを示すOP
CR(フラグ1のとき、OPCR有)、アダプテーショ
ンフィールドが、スプライスカウントダウン領域を有し
ているか否かを示すスプライシングポイントフラグ(フ
ラグ1のとき、スプライスカウントダウン有)、アダプ
テーションフィールドが、プライベートデータバイトを
含んでいるか否かを示すトランスポート・プライベート
データフラグ(フラグ1のとき、プライベートデータバ
イト有)、アダプテーションフィールドの拡張フィール
ドの有無を示すアダプテーションフィールドエクステン
ションフラグ(フラグ1のとき、拡張フィールド有)の
5つのフラグで構成されている。
【0031】オプショナルテーブルには、5フラグで規
定される情報が記述される。PCRおよびOPCRは、
どちらも、ベースとエクステンションの2つの部分から
構成され、復号装置における時刻基準となるSTC(sy
stem time clock)を、復号装置が意図した値にセッ
ト、もしくは校正するための情報である。スプライスカ
ウントダウンは、スプライスポイント(つなぎ合わせて
編集することが可能な、データの区切りを表わすポイン
ト)までに残っている、同一PIDを有するTSパケッ
トの数を示す。これにより、圧縮ストリームレベルでの
データの差し替え(例えば、番組とCMの差し替え)が
可能となる。トランスポートプライベートデータ長は、
続くトランスポートプライベートデータの長さを示す。
トランスポートプライベートデータは、ISO/IECでは規
定されていないデータである。アダプテーションフィー
ルドエクステンション長は、この領域に続く拡張フィー
ルドの長さを示す。
【0032】3フラグは、拡張フィールドがltw(le
gal time window)オフセット領域を有しているか否か
を示すltwフラグ、拡張フィールドがピースワイズレ
ートを有しているか否かを示すピースワイズレートフラ
グ、拡張フィールドが、スプライスタイプおよびDTS_ne
xt_au(decoding time stamp next access unit)を有
しているかを示すシームレススプライスフラグの3つの
フラグから構成されている。
【0033】拡張フィールドには、3フラグで規定され
る情報が記述されている。ltw_vaildフラグは、後述す
るltw_offsetの値が有効であるか否かを示す1ビットの
フラグである。ltw_offsetは、liw_vaildフラグが1の
ときに定義される値であり、オフセットの値の逆数を示
す。ピースワイズレートは、ピースワイズフラグが1の
とき定義される値であり、このTSパケットに続く、同
一のPIDを有するTSパケットの仮想ビットレートで
ある。スプライスタイプは、spliceのデコードの遅延値
とスプライスレートの最大値を示す4ビットのデータで
ある。DTS_next_auは、スプライシングポイント後の最
初のアクセスユニットのデコーディングタイムを示す値
である。
【0034】
【発明が解決しようとする課題】従来の多重化装置は、
上述のISO/IEC13818-1の規定に従うために、T-STDモデ
ルにおける各バッファのデータ占有量をシミュレート
し、バッファがオーバーフロー(あるいはアンダーフロ
ー)しないように多重化ストリームを作成していた。し
かしながら、T-STDモデルは、図1を用いて説明したよ
うに規定されている項目が多く、バッファも多段になっ
ているため、そのシミュレーションは容易ではない。
【0035】本発明はこのような状況に鑑みてなされた
ものであり、T-STDモデルの各バッファ間のデータ転送
速度から多重化周期を導き出して、その周期を用いてデ
ータを多重化することにより、データの多重化時のT-ST
Dモデルのシミュレーションにおいて、T-STDモデルを、
1つのバッファのみを考慮すればよいモデル、もしく
は、まったくバッファを考慮する必要のないモデルとし
て考えることができるようすることにより、多重化のた
めに必要な演算量を減少し、ISO/IEC13818-1の規定に従
った多重化トランスポートストリームを容易に生成する
ことができるようにするものである。
【0036】
【課題を解決するための手段】本発明のデータ多重化装
置は、多重化処理に必要な情報をビットストリームから
抽出する抽出手段と、抽出手段により抽出された情報に
基づいて、分離装置が所定の方法で多重化データを分離
できるような時分割多重化周期を算出する第1の算出手
段と、第1の算出手段により算出された算出結果に基づ
いて、ビットストリームを時分割多重化する多重化手段
とを備えることを特徴とする。
【0037】また、分離装置の仮想的なデータバッファ
のデータ占有率を算出する第2の算出手段を更に備える
ようにすることができ、前記多重化手段は、第2の算出
手段により算出された仮想的なデータバッファのデータ
占有率に基づいて、ビットストリームの多重化順序を決
定するようにすることができる。
【0038】本発明のデータ多重化方法は、多重化処理
に必要な情報をビットストリームから抽出する抽出ステ
ップと、抽出ステップの処理により抽出された情報に基
づいて、分離装置が所定の方法で多重化データを分離で
きるような時分割多重化周期を算出する算出ステップ
と、算出ステップの処理により算出された算出結果に基
づいて、ビットストリームを時分割多重化する多重化ス
テップとを含むことを特徴とする。
【0039】本発明の記録媒体に記録されているプログ
ラムは、多重化処理に必要な情報をビットストリームか
ら抽出する抽出ステップと、抽出ステップの処理により
抽出された情報に基づいて、分離装置が所定の方法で多
重化データを分離できるような時分割多重化周期を算出
する算出ステップと、算出ステップの処理により算出さ
れた算出結果に基づいて、ビットストリームを時分割多
重化する多重化ステップとを含むことを特徴とする。
【0040】本発明のデータ多重化装置、データ多重化
方法、および記録媒体に記録されているプログラムにお
いては、多重化処理に必要な情報がビットストリームか
ら抽出され、抽出された情報に基づいて、分離装置が所
定の方法で多重化データを分離できるような時分割多重
化周期が算出され、算出された算出結果に基づいて、ビ
ットストリームが時分割多重化される。
【0041】
【発明の実施の形態】以下、図を参照して、本発明の実
施の形態について説明する。
【0042】図3(A)に示すように、トランスポート
ストリームバッファ21(トランスポートストリームバ
ッファ21は、図1に示したトランスポートストリーム
バッファTB11乃至トランスポートストリームバッフ
ァTBsys3のいずれにも対応する)にデータを入力
する場合のトランスポートレートをRt、トランスポー
トストリームバッファ21からデータを転送する場合の
リークレートをRXとする。
【0043】図3(B)は、空のトランスポートストリ
ームバッファ21に対して1個のTSパケットの転送を
行った場合の、トランスポートストリームバッファ21
のバッファ占有量の推移を示したものである。トランス
ポートストリームバッファ21のデータ量が増加する時
間T1、トランスポートストリームバッファ21のデー
タ量が減少する時間T2、トランスポートレートRt、
およびリークレートRxにおいて、次の、式(19)お
よび式(20)の関係が成り立つ。 (Rt−Rx)×T1=Rx×T2・・・(19) T1=(188×8)/Rt・・・(20)
【0044】そして、式(19)および式(20)か
ら、トランスポートストリームバッファ21へのデータ
の入力が始まってから、データのリークがすべて完了す
るまでの時間Tは、次の式(21)で表わされる。 T=T1+T2=(188×8)/Rx ・・・(21) 式(21)から、時間TはトランスポートレートRtに
依存せず、リークレートRxに反比例することが分か
る。
【0045】すなわち、空のトランスポートストリーム
バッファ21に対して1個のTSパケットを転送するの
に必要な時間Tは、図3(C)に示される、188バイ
トのデータをリークレートRxでリークするためにかか
る時間T´と等価と見なすことが可能になる。従って、
時間T´の周期でTSパケットを転送するようにすれ
ば、オーバーフローを防ぎ、かつ、トランスポートスト
リームバッファ21が、少なくとも1秒に1回空になる
ことを保証することができる。従って、T-STDモデルの
シミュレーションにおいて、トランスポートストリーム
バッファ21に関するシミュレーションは不要となり、
トランスポートストリームバッファ21は存在しないも
のと見なすことが出来る。
【0046】次に、各ストリームについて考える。ま
ず、音声エレメンタリストリームにおいては、トランス
ポートストリームバッファTBn2から主バッファBn
8へのリークレートRxaは、式(13)に示したよう
に2×106と規定されている。従って、音声エレメン
タリストリームのデータの多重化周期Caは、式(2
1)にRxa=2×106を代入することにより、次の
式(22)で表わすことができる。 Ca=188×8/(2×106)=752(μsec)・・・(22)
【0047】そして、システムデータにおいては、トラ
ンスポートストリームバッファTBsys3から主バッ
ファBsys10へのリークレートRxsysは、式(14)
に示したように、1×106と規定されるが、主バッフ
ァBsys10からのリークレートRbsysが式(18)の
ように定義されることからRxsys<Rbsysとなる。す
なわち、Rbsysに基づいた周期Csysに従ってTSパケ
ットの多重化を行えば、T-STDモデルのシミュレーショ
ンにおいて、トランスポートストリームバッファTbs
ys3はないものと見なすことができ、更に、主バッフ
ァBsys10への最大入力レートがRxsysであることが
保証されることから、主バッファBsysも、ないものと
見なすことができる。システムデータを多重化する周期
Csysは、式(21)に式(18)を代入することによ
り、次の式(23)で表わすことができる。 Csys=188×8/ max{80000,transport_rate(i)×8/500} ・・・(23)
【0048】映像エレメンタリストリームにおいては、
多重バッファMB14からのリークの方法に二つのメソ
ッドが存在するので、それぞれの場合について考察す
る。
【0049】まず、リークメソッドの場合、多重バッフ
ァMB14からエレメンタリストリームバッファEB1
5への転送レートは、式(9)乃至式(11)によって
規定されるRbx1である。従って、次の式(24)に
示される周期Cvに従ってTSパケットの多重化を行え
ば、エレメンタリストリームバッファEB15への最大
入力レートがRbx1に保証されるため、多重バッファ
MB14とエレメンタリストリームバッファEB15を
単一のバッファとして取り扱うことが可能となる。 Cv=(188×8)/(Rbx1+Roh)・・・(24)
【0050】ここで、Rohは、PESオーバーヘッド
が削除される場合の転送レートである。更に、Roh
は、多重バッファMB14内で吸収されるため(PES
オーバーヘッドはエレメンタリストリームバッファEB
15に転送されず削除される)、多重バッファMB14
は少なくとも1秒に1回、空になることが保証される。
【0051】従って、映像エレメンタリストリームが、
リークメソッドに従って転送される場合のT-STDモデル
は、図4の様に簡略化することができる。図4において
は、映像デコーダバッファDBv31および音声デコー
ダバッファDBa32を、それぞれ1つずつ図示してい
るが、映像デコーダバッファDBv31および音声デコ
ーダバッファDBa32は、それぞれのエレメンタリス
トリームのchの数だけ用意される。
【0052】映像デコーダバッファDBv31および音
声デコーダバッファDBa32のそれぞれのバッファの
サイズDBSvおよびDBSaは、以下の式(25)お
よび式(26)で表わされる。 DBSv=MBS1+EBS1−BSoh・・・(25) DBSa=3584・・・(26)
【0053】一方、vbv_delayメソッドでは、多重バッ
ファMB14からエレメンタリストリームバッファEB
15への転送レートは、ISO/IEC13818-2で規定されるV
BVモデルに準じることが必須であり、転送レートRb
x(j)は、式(12)で与えられる。従って、式(2
7)に示される可変周期Cv(j)で、TSパケットの
多重化を行えばよい。 Cv(j)=(188×8)/(Rbx(j)+Roh)・・・(27) ただし、RohはPESオーバーヘッドを転送するため
の転送レートである。
【0054】周期Cv(j)に従えば、エレメンタリス
トリームバッファEB15へのデータの転送は、VBV
モデルに従って行わる。すなわち、エレメンタリストリ
ームバッファEB1がオーバーフローおよびアンダーフ
ローを起こさないことが保証されるので、T-STDモデル
のシミュレーションを行う場合、エレメンタリストリー
ムバッファEB15については考慮しなくてもよいし、
更に、リークメソッドの場合と同様に、Rohは多重バ
ッファMB14内で吸収されるため、多重バッファMB
14も考慮しなくてもよい。
【0055】図5に、映像エレメンタリストリームがvb
v_delayメソッドに従って転送される場合の簡略化され
たT-STDモデルを示す。すなわち、vbv_delayメソッドの
場合、音声エレメンタリストリームの音声デコーダバッ
ファDBan41についてのシミュレーションを行えば
よい。図5においては、音声デコーダバッファDBan
41を1つだけ図示しているが、音声デコーダバッファ
DBa41は、音声エレメンタリストリームのchの数
だけ用意される。
【0056】図6は、本発明を適応した、データ多重化
装置の第1の実施の形態の構成を示すブロック図であ
る。映像データ符号化部54は、端子51より入力され
た映像入力信号を圧縮符号化し、映像エレメンタリスト
リームを生成して出力する。音声データ符号化部55
は、端子52より入力された音声入力信号を圧縮符号化
し、音声エレメンタリストリームを生成して出力する。
システムデータ符号化部56は、端子53より入力され
たシステムデータを圧縮符号化し、出力する。図6で
は、映像データ符号化部54乃至システムデータ符号化
部56をそれぞれ1つずつ図示しているが、映像データ
符号化部54および音声データ符号化部55は、それぞ
れのデータのch数にあわせて、複数設けられる。
【0057】映像データ符号化部54乃至システムデー
タ符号化部56から出力されたデータは、アクセスユニ
ット情報検出部57およびビットストリーム多重化部5
8に供給される。アクセスユニット情報検出部57は、
供給されたデータから、ピクチャコーディングタイプ、
アクセスユニット長、およびデコード時刻等の、多重化
スケジューリングに必要となるアクセスユニット情報を
抽出して、多重化スケジューラ59に供給する。
【0058】多重化スケジューラ59は、アクセスユニ
ット情報検出部57から供給されたアクセスユニット情
報を用いて、多重化のためのスケジュール情報を生成
し、ビットストリーム多重化部58に出力する。ビット
ストリーム多重化部58は、入力されたスケジュール情
報に従って、供給されたエレメンタリストリームを多重
化ストリームへ変換し、出力端子60に出力する。しか
しながら、ビットストリーム多重化部58から出力され
たデータの処理の状況によっては、多重化スケジュール
情報の入力を受けても、すぐには多重化ストリームを出
力できない場合がある。このような場合、ビットストリ
ーム多重化部58は、図示しない内部バッファに、エレ
メンタリストリームをバッファリングするとともに、多
重化状況を多重化スケジューラ59に出力する。
【0059】更に、ビットストリーム多重化部58は、
図7あるいは図8を用いて後述するT-STDモデルのシミ
ュレーション(バッファ残量の計算)結果を、多重化状
況として、多重化スケジューラ59に出力する。多重化
スケジューラ59は、入力された多重化状況に基づいて
スケジュール情報を生成し、ビットストリーム多重化部
58に出力する。
【0060】ドライブ69は、多重化スケジューラ59
に接続されており、必要に応じて装着される磁気ディス
ク71、光ディスク72、光磁気ディスク73、および
半導体メモリ74などとデータの授受を行う。
【0061】出力端子60は、誤り訂正エンコーダ61
および誤り訂正エンコーダ65に接続されている。誤り
訂正エンコーダ61および誤り訂正エンコーダ65は、
出力端子60から出力された多重化ストリームにエラー
コレクションコードを付加する。誤り訂正エンコーダ6
1は、エラーコレクションコードを付加した多重化スト
リームを変調部62に供給する。変調部62は、供給さ
れた多重化ストリームに、所定の変調処理、例えば、8
−14変調あるいは8−16変調等を施して、記録ヘッ
ド63へ出力し、変調された多重化ストリームを記録媒
体64に記録させる。なお、記録媒体64には、光ディ
スク、ハードディスクまたはフレキシブルディスク等の
磁気ディスク媒体、磁気テープ等のテープ状媒体、IC
カードや各種メモリ素子などの半導体記録媒体等を用い
ることができる。また、光ディスクとしては、物理的に
ピットを形成して記録がなされる光ディスクや光磁気デ
ィスクの他に、相変化型光ディスク、有機色素型光ディ
スク、紫外線レーザ光により記録がなされる光ディス
ク、多層記録膜を有する光ディスクなどの各種ディスク
を用いることが出来る。
【0062】また、誤り訂正エンコーダ65は、エラー
コレクション信号を付加した多重化ストリームを外部イ
ンターフェース66に出力する。外部インターフェース
66は、入力された多重化ストリームを、出力端子67
を介して、ローカルネットワークや電話回線といった伝
送媒体68に出力する。なお、この伝送媒体68には、
通常のケーブルによる有線の伝送経路のみならず、電波
あるいは光による無線の伝送経路も含まれる。
【0063】次に、図7のフローチャートを参照して、
リークメソッドにおけるデータの多重化処理について説
明する。
【0064】ステップS1において、多重化スケジュー
ラ59は、アクセスユニット情報検出部57から供給さ
れるアクセスユニット情報を基に、多重化処理に必要な
バッファ占有量、時間情報等の多重化情報を初期化す
る。
【0065】多重化スケジューラ59は、ステップS2
において、上述した式(23)を用いて、システムデー
タの多重化周期Csysを計算し、ステップS3におい
て、上述した式(22)を用いて、音声エレメンタリス
トリームの多重化周期Caを計算し、ステップS4にお
いて、上述した式(24)を用いて、映像エレメンタリ
ストリームの多重化周期Cvを計算する。
【0066】ステップS5において、多重化スケジュー
ラ59は、システムデータの出力タイミングになったか
否か、すなわち、2回目以降のシステムデータの出力で
ある場合、前回システムデータを出力した後、ステップ
S2において計算された多重化周期Csys以上時間が経
過しているか否かを判断する。また、このシステムデー
タの出力が、初めてのシステムデータの出力である場
合、無条件にシステムデータの出力タイミングであると
判断する。ステップS5において、システムデータの出
力タイミングではないと判断された場合、処理はステッ
プS7に進む。
【0067】ステップS5において、システムデータの
出力タイミングであると判断された場合、ステップS6
において、多重化スケジューラ59は、システムデータ
を多重化させるためのスケジュール情報を生成し、ビッ
トストリーム多重化部58に出力する。ビットストリー
ム多重化部58は、入力されたシステムデータを多重化
して出力端子60に出力し、処理はステップS7に進
む。
【0068】ステップS7において、多重化スケジュー
ラ59は、音声ストリームの出力タイミングになったか
否か、すなわち、2回目以降の音声ストリームの出力の
場合、前回音声ストリームを出力した後、ステップS3
において計算された多重化周期Ca以上時間が経過して
いるか否かを判断する。また、この音声ストリームの出
力が、初めての音声ストリームの出力である場合、無条
件に音声ストリームの出力タイミングであると判断す
る。ステップS7において、システムデータの出力タイ
ミングではないと判断された場合、処理はステップS1
0に進む。
【0069】ステップS7において、音声ストリームの
出力タイミングであると判断された場合、ステップS8
において、多重化スケジューラ59は、図4を用いて説
明した音声デコーダバッファDBa32に、トランスポ
ートストリームを受け入れることが出来るだけの十分な
空きがあるか否かを判断する。すなわち、この音声スト
リームの出力が、初めての音声ストリームの出力である
場合、音声デコーダバッファDBa32は空の状態であ
るから、音声デコーダバッファDBa32に、トランス
ポートストリームを受け入れることが出来るだけの十分
な空きがあると判断され、2回目以降の出力である場
合、後述するステップS13の計算結果に基づいて、音
声デコーダバッファDBa32にトランスポートストリ
ームを受け入れることが出来るだけの十分な空きがある
か否かが判断される。ステップS8において、音声デコ
ーダバッファDBa32に十分な空きがないと判断され
た場合、処理はステップS10に進む。
【0070】ステップS8において、音声デコーダバッ
ファDBa32に十分な空きがあると判断された場合、
ステップS9において、多重化スケジューラ59は、音
声エレメンタリストリームを多重化させるためのスケジ
ュール情報を生成し、ビットストリーム多重化部58に
出力する。ビットストリーム多重化部58は、入力され
た音声エレメンタリストリームを多重化して出力端子6
0に出力し、処理はステップS10に進む。
【0071】ステップS10において、多重化スケジュ
ーラ59は、映像ストリームの出力タイミングになった
か否か、すなわち、この映像ストリームの出力が2回目
以降の出力である場合、最後に映像ストリームが出力さ
れてから、ステップS4において計算された多重化周期
Cvが経過しているか否かを判断する。この映像ストリ
ームの出力が初めての映像ストリームの出力である場
合、無条件に、出力タイミングになったと判断される。
ステップS10において、システムデータの出力タイミ
ングではないと判断された場合、処理はステップS13
に進む。
【0072】ステップS10において、映像ストリーム
の出力タイミングであると判断された場合、ステップS
11において、多重化スケジューラ59は、図4を用い
て説明した映像デコーダバッファDBv31に、トラン
スポートストリームを受け入れることが出来るだけの十
分な空きがあるか否かを判断する。すなわち、この映像
ストリームの出力が、初めての映像ストリームの出力で
ある場合、映像デコーダバッファDBv31は空の状態
であるから、映像デコーダバッファDBv31に、トラ
ンスポートストリームを受け入れることが出来るだけの
十分な空きがあると判断され、2回目以降の出力である
場合、後述するステップS14の計算結果に基づいて、
映像デコーダバッファDBv31にトランスポートスト
リームを受け入れることが出来るだけの十分な空きがあ
るか否かが判断される。ステップS11において、映像
デコーダバッファDBv31に十分な空きがないと判断
された場合、処理はステップS13に進む。
【0073】ステップS11において、映像デコーダバ
ッファDBv31に十分な空きがあると判断された場
合、ステップS12において、多重化スケジューラ59
は、映像エレメンタリストリームを多重化させるための
スケジュール情報を生成し、ビットストリーム多重化部
58に出力する。ビットストリーム多重化部58は、入
力された映像エレメンタリストリームを多重化して出力
端子60に出力し、処理はステップS13に進む。
【0074】ステップS13において、ビットストリー
ム多重化部58は、ステップS9で多重化されて出力さ
れた音声ストリームのデータサイズに基づいて、音声デ
コーダバッファDBa32の残量を計算して、多重化ス
ケジューラ59に出力する。
【0075】ステップS14において、ビットストリー
ム多重化部58は、ステップS12で多重化されて出力
された映像ストリームのデータサイズに基づいて、映像
デコーダバッファDBv31の残量を計算して、多重化
スケジューラ59に出力する。
【0076】ステップS15において、多重化スケジュ
ーラ59は、アクセスユニット情報検出部57から供給
されるアクセスユニット情報に基づいて、データの多重
化が終了したか否かを判断する。ステップS15におい
て、データの多重化が終了していないと判断された場
合、処理は、ステップS5に戻り、それ以降の処理が繰
り返される。ステップS15において、データの多重化
が終了したと判断された場合、処理が終了される。
【0077】次に、図8のフローチャートを参照して、
vbv_delayメソッドにおけるデータの多重化処理につい
て説明する。
【0078】ステップS21乃至ステップS23におい
て、図7のステップS1乃至ステップS3と同様の処理
が実行される。ステップS24において、多重化スケジ
ューラ59は、上述した式(27)を用いて、映像エレ
メンタリストリームの多重化周期Cv(j)を計算す
る。
【0079】ステップS25乃至ステップS29におい
て、図7のステップS5乃至ステップS9と同様の処理
が実行される。
【0080】ステップS30において、多重化スケジュ
ーラは、映像ストリームの出力タイミングになったか否
か、すなわち、この映像ストリームの出力が2回目以降
の出力である場合、最後に映像ストリームが出力されて
から、ステップS24において計算された多重化周期C
v(j)が経過しているか否かを判断する。この映像ス
トリームの出力が初めての映像ストリームの出力である
場合、無条件に、出力タイミングになったと判断され
る。ステップS30において、映像ストリームの出力タ
イミングになっていないと判断された場合、処理は、ス
テップS32に進む。
【0081】ステップS30において、映像ストリーム
の出力タイミングになったと判断された場合、ステップ
S31において、図7のステップS12と同様の処理が
実行される。そして、ステップS32において、図7の
ステップS13と同様の処理が実行される。
【0082】ステップS33において、多重化スケジュ
ーラ59は、アクセスユニット情報検出部57から供給
されるアクセスユニット情報に基づいて、データの多重
化が終了したか否かを判断する。ステップS33におい
て、データの多重化が終了されていないと判断された場
合、処理はステップS24に戻り、それ以降の処理が繰
り返される。ステップS33において、データの多重化
が終了したと判断された場合、処理が終了される。
【0083】すなわち、図8を用いて説明したvbv_dela
yメソッドにおける多重化処理は、図7を用いて説明し
たリークメソッドにおける多重化処理と比較して、映像
ストリームの多重化周期Cv(j)が可変周期のため、
ステップS33において、データの多重化が終了されて
いないと判断された場合、次の映像ストリームの多重化
の前に、ステップS24において、映像ストリームの多
重化周期Cv(j)を再計算する必要があり、映像エレ
メンタリストリームがVBVの規定に従うことが予め分
かっているので、図7のステップS11およびステップ
S14の処理に対応する、映像ストリームのデコーダバ
ッファに関する処理が不必要である。
【0084】なお、図7および図8のフローチャートを
用いて説明したデータ多重化処理においては、出力判定
を行う順序を、システムデータ、音声データ、映像デー
タの順番で固定にしてあるが、より効率よく多重化を行
うために、多重化スケジューラ59において、T-STDモ
デルにおける各バッファの占有率を求め、占有率がもっ
とも小さいエレメンタリストリームから多重化するよう
にしてもよい。
【0085】次に、図9のフローチャートを参照して、
リークメソッドにおいて、映像エレメンタリストリーム
および音声エレメンタリストリームが、それぞれ2ch
ある場合(すなわち、図4を用いて説明した映像デコー
ダバッファDBv31および音声デコーダバッファDV
a32が、それぞれ2つある場合)の出力順序判定処理
について説明する。ここでは、それぞれのデコーダバッ
ファを区別するために、1chの映像デコーダバッファ
DBvを映像デコーダバッファDBv1、2chの映像
デコーダバッファDBvを映像デコーダバッファDBv
2、1chの音声デコーダバッファDVaを音声デコー
ダバッファDVa1、2chの音声デコーダバッファD
Vaを音声デコーダバッファDVa2として説明する。
【0086】多重化スケジューラ59は、ステップS4
1において、映像デコーダバッファDBv1のバッファ
占有率を計算し、ステップS42において、映像デコー
ダバッファDBv2のバッファ占有率を計算する。
【0087】多重化スケジューラ59は、ステップS4
3において、音声デコーダバッファDVa1のバッファ
占有率を計算し、ステップS44において、音声デコー
ダバッファDVa2のバッファ占有率を計算する。
【0088】ステップS45において、多重化スケジュ
ーラ59は、ステップS41乃至ステップS44におい
て計算された各デコーダバッファの占有率に基づいて、
占有率の少ない順番に、そのデコーダバッファに対応す
るエレメンタリストリームを出力させるためのスケジュ
ール情報を生成し、ビットストリーム多重化部58に出
力する。ビットストリーム多重化部58は、入力された
スケジュール情報に従って、バッファ占有率の少ない順
番にエレメンタリストリームを出力し、処理が終了され
る。
【0089】ここでは、リークメソッドにおいて、映像
エレメンタリストリームおよび音声エレメンタリストリ
ームが、それぞれ2chある場合について説明したが、
映像エレメンタリストリームおよび音声エレメンタリス
トリームのchの数が異なる場合や、vbv_delayメソッ
ドを適応したデータ転送を行う場合においても、同様
に、各デコーダバッファの占有率を計算して、その占有
率の小さい順番にデータストリームを出力することによ
り、より効率よく多重化を行うことができる。
【0090】図10は、本発明における多重化装置の第
2の実施の形態を示すブロック図である。なお、図10
の多重化装置において、図6における場合と対応する部
分には同一の符号を付してあり、その説明は適宜省略す
る(以下、同様)。すなわち、図10の多重化装置は、
アクセスユニット情報検出部57が削除され、映像デー
タ符号化部54乃至システムデータ符号化部56に代わ
って、アクセスユニット情報の抽出機能を備えた映像デ
ータ符号化部81乃至システムデータ符号化部83が備
えられているほかは、基本的に、図6における場合と同
様の構成を有している。
【0091】図6のアクセスユニット情報検出部57で
検出される、ピクチャコーディングタイプ、アクセスユ
ニット長、およびデコード時刻等の、多重化スケジュー
リングに必要となるアクセスユニット情報は、映像デー
タ、音声データおよびシステムデータの符号化時にも得
られる。従って、映像データ符号化部81乃至システム
データ符号化部83は、これらのアクセスユニット情報
を抽出して、多重化スケジューラ59に出力する。
【0092】図11は、本発明における多重化装置の第
3の実施の形態を示すブロック図である。図11の多重
化装置は、多重化スケジューラ59およびビットストリ
ーム多重化部58に代わって、ビットストリーム多重化
スケジューラ/多重化部91が備えられ、ドライブ69
が、ビットストリーム多重化スケジューラ/多重化部9
1に接続されている以外は、基本的に図10における場
合と同様の構成を有している。
【0093】ビットストリーム多重化スケジューラ/多
重化部91は、映像データ符号化部81乃至システムデ
ータ符号化部83から供給されるアクセスユニット情報
を用いて、多重化スケジューリングを行い、そのスケジ
ュールに従って、同じく映像データ符号化部81乃至シ
ステムデータ符号化部83から供給される各種のデータ
を多重化し、出力端子60に出力する。
【0094】上述した一連の処理は、ソフトウェアによ
り実行することもできる。そのソフトウェアは、そのソ
フトウェアを構成するプログラムが、専用のハードウェ
アに組み込まれているコンピュータ、または、各種のプ
ログラムをインストールすることで、各種の機能を実行
することが可能な、例えば汎用のパーソナルコンピュー
タなどに、記録媒体からインストールされる。
【0095】この記録媒体は、図6、図10、および図
11に示すように、コンピュータとは別に、ユーザにプ
ログラムを提供するために配布される、プログラムが記
録されている磁気ディスク71(フロッピー(登録商
標)ディスクを含む)、光ディスク72(CD-ROM(Comp
act Disk-Read Only Memory)、DVD(Digital Versatil
e Disk)を含む)、光磁気ディスク73(MD(Mini-Di
sk)を含む)、もしくは半導体メモリ74などよりなる
パッケージメディアなどにより構成される。
【0096】また、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
【0097】
【発明の効果】本発明のデータ多重化装置、データ多重
化方法、および記録媒体に記録されているプログラムに
よれば、多重化処理に必要な情報をビットストリームか
ら抽出し、抽出された情報に基づいて、分離装置が所定
の方法で多重化データを分離できるような時分割多重化
周期を算出し、算出された算出結果に基づいて、ビット
ストリームを時分割多重化するようにしたので、T-STD
モデルの仮想的なデータバッファのデータ占有量のシミ
ュレーションのための演算量を減少し、ISO/IEC13818-1
の規定に従った多重化トランスポートストリームを容易
に生成することができる。
【図面の簡単な説明】
【図1】T-STDモデルについて説明するための図であ
る。
【図2】TSパケットについて説明するための図であ
る。
【図3】トランスポートストリームバッファにおける、
トランスポートレート、リークレート、およびバッファ
占有量の関係を説明するための図である。
【図4】リークメソッドにおける簡略化T-STDモデルを
説明するための図である。
【図5】vbv_delayメソッドにおける簡略化T-STDモデル
を説明するための図である。
【図6】本発明を適応した多重化装置の第1の実施の形
態の構成を示すブロック図である。
【図7】リークメソッドにおける多重化処理を説明する
ためのフローチャートである。
【図8】vbv_delayメソッドにおける多重化処理を説明
するためのフローチャートである。
【図9】出力順序判定処理について説明するためのフロ
ーチャートである。
【図10】本発明を適応した多重化装置の第2の実施の
形態の構成を示すブロック図である。
【図11】本発明を適応した多重化装置の第3の実施の
形態の構成を示すブロック図である。
【符号の説明】
31 映像デコーダバッファDBv, 32,41 音
声デコーダバッファDBa, 54 映像符号化部,
55 音声符号化部, 56 システムデータ符号化
部, 57 アクセスユニット情報検出部, 58 ビ
ットストリーム多重化部, 59 多重化スケジュー
ラ, 81 映像符号化部, 82 音声符号化部,
83 システムデータ符号化部, 91 ビットストリ
ーム多重化スケジューラ/多重化部
【手続補正書】
【提出日】平成12年4月27日(2000.4.2
7)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正内容】
【0001】
【発明の属する技術分野】本発明は、データ多重化装置
およびデータ多重化方法、並びに記録媒体に関し、特
に、T-STDモデルの仮想的なデータバッファのデータ占
有量のシミュレーションのための演算量を減少し、ISO/
IEC13818-1の規定に従った多重化トランスポートストリ
ームを容易に生成することができるようにしたデータ多
重化装置およびデータ多重化方法、並びに記録媒体に関
する。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】変更
【補正内容】
【0018】次に、音声データおよびシステムデータの
転送について説明する。音声データストリームが、トラ
ンスポートストリームバッファTBn2から主バッファ
Bn8へ転送される場合の転送レートRxaは、次の式
(13)で表わされ、システムデータのトランスポート
ストリームバッファTBsys3から主バッファBsys10
への転送レートRxsysは、次の式(14)で表わされ
る。 Rxa=2×106 (bps)・・・(13) Rxsys=1×106 (bps)・・・(14)
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0046
【補正方法】変更
【補正内容】
【0046】次に、各ストリームについて考える。ま
ず、音声エレメンタリストリームにおいては、トランス
ポートストリームバッファTBn2から主バッファBn
8へのリークレートRxaは、式(13)に示したよう
に2×106 と規定されている。従って、音声エレメン
タリストリームのデータの多重化周期Caは、式(2
1)にRxa=2×106 を代入することにより、次の式
(22)で表わすことができる。 Ca=188×8/(2×106 )=752(μsec)・・・(22)
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0047
【補正方法】変更
【補正内容】
【0047】そして、システムデータにおいては、トラ
ンスポートストリームバッファTBsys3から主バッ
ファBsys10へのリークレートRxsysは、式(14)
に示したように、1×106 と規定されるが、主バッフ
ァBsys10からのリークレートRbsysが式(18)の
ように定義されることからRxsys<Rbsysとなる。す
なわち、Rbsysに基づいた周期Csysに従ってTSパケ
ットの多重化を行えば、T-STDモデルのシミュレーショ
ンにおいて、トランスポートストリームバッファTbs
ys3はないものと見なすことができ、更に、主バッフ
ァBsys10への最大入力レートがRxsysであることが
保証されることから、主バッファBsysも、ないものと
見なすことができる。システムデータを多重化する周期
Csysは、式(21)に式(18)を代入することによ
り、次の式(23)で表わすことができる。 Csys=188×8/ max{80000,transport_rate(i)×8/500} ・・・(23)
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0068
【補正方法】変更
【補正内容】
【0068】ステップS7において、多重化スケジュー
ラ59は、音声ストリームの出力タイミングになったか
否か、すなわち、2回目以降の音声ストリームの出力の
場合、前回音声ストリームを出力した後、ステップS3
において計算された多重化周期Ca以上時間が経過して
いるか否かを判断する。また、この音声ストリームの出
力が、初めての音声ストリームの出力である場合、無条
件に音声ストリームの出力タイミングであると判断す
る。ステップS7において、音声ストリームの出力タイ
ミングではないと判断された場合、処理はステップS1
0に進む。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0071
【補正方法】変更
【補正内容】
【0071】ステップS10において、多重化スケジュ
ーラ59は、映像ストリームの出力タイミングになった
か否か、すなわち、この映像ストリームの出力が2回目
以降の出力である場合、最後に映像ストリームが出力さ
れてから、ステップS4において計算された多重化周期
Cvが経過しているか否かを判断する。この映像ストリ
ームの出力が初めての映像ストリームの出力である場
合、無条件に、出力タイミングになったと判断される。
ステップS10において、映像ストリームの出力タイミ
ングではないと判断された場合、処理はステップS13
に進む。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 智之 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 新田 元 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 大田 起至 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK35 MA00 RB02 RB19 RC11 UA02 5C063 AA20 AB03 AC01 AC05 CA16 CA34 CA40 DA13 DB10 5K028 AA01 BB08 EE03 KK01 KK03 KK16 KK32 LL12 MM04 MM08 MM12 RR03 SS04 SS14 SS24

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ビットストリームを時分割多重化するデ
    ータ多重化装置において、 多重化処理に必要な情報を前記ビットストリームから抽
    出する抽出手段と、 前記抽出手段により抽出された前記情報に基づいて、分
    離装置が所定の方法で多重化データを分離できるような
    時分割多重化周期を算出する第1の算出手段と、 前記第1の算出手段により算出された算出結果に基づい
    て、前記ビットストリームを時分割多重化する多重化手
    段とを備えることを特徴とするデータ多重化装置。
  2. 【請求項2】 前記分離装置の仮想的なデータバッファ
    のデータ占有率を算出する第2の算出手段を更に備え、 前記多重化手段は、前記第2の算出手段により算出され
    た前記仮想的なデータバッファのデータ占有率に基づい
    て、前記ビットストリームの多重化順序を決定すること
    を特徴とする請求項1に記載のデータ多重化装置。
  3. 【請求項3】 ビットストリームを時分割多重化するデ
    ータ多重化装置のデータ多重化方法において、 多重化処理に必要な情報を前記ビットストリームから抽
    出する抽出ステップと、 前記抽出ステップの処理により抽出された前記情報に基
    づいて、分離装置が所定の方法で多重化データを分離で
    きるような時分割多重化周期を算出する算出ステップ
    と、 前記算出ステップの処理により算出された算出結果に基
    づいて、前記ビットストリームを時分割多重化する多重
    化ステップとを含むことを特徴とするデータ多重化方
    法。
  4. 【請求項4】 ビットストリームを時分割多重化するデ
    ータ多重化装置用のプログラムであって、 多重化処理に必要な情報を前記ビットストリームから抽
    出する抽出ステップと、 前記抽出ステップの処理により抽出された前記情報に基
    づいて、分離装置が所定の方法で多重化データを分離で
    きるような時分割多重化周期を算出する算出ステップ
    と、 前記算出ステップの処理により算出された算出結果に基
    づいて、前記ビットストリームを時分割多重化する多重
    化ステップとを含むことを特徴とするコンピュータが読
    み取り可能なプログラムが記録されている記録媒体。
JP2000102130A 2000-04-04 2000-04-04 データ多重化装置およびデータ多重化方法、並びに記録媒体 Abandoned JP2001285234A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000102130A JP2001285234A (ja) 2000-04-04 2000-04-04 データ多重化装置およびデータ多重化方法、並びに記録媒体
US09/824,367 US7496675B2 (en) 2000-04-04 2001-04-02 Data multiplexer, data multiplexing method, and recording medium
KR20010017606A KR100786925B1 (ko) 2000-04-04 2001-04-03 데이터 다중화 장치, 데이터 다중화 방법, 및 기록 매체
CNB011162058A CN1146159C (zh) 2000-04-04 2001-04-04 数据多路复用器和数据多路复用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000102130A JP2001285234A (ja) 2000-04-04 2000-04-04 データ多重化装置およびデータ多重化方法、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2001285234A true JP2001285234A (ja) 2001-10-12

Family

ID=18616065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000102130A Abandoned JP2001285234A (ja) 2000-04-04 2000-04-04 データ多重化装置およびデータ多重化方法、並びに記録媒体

Country Status (4)

Country Link
US (1) US7496675B2 (ja)
JP (1) JP2001285234A (ja)
KR (1) KR100786925B1 (ja)
CN (1) CN1146159C (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006115163A1 (ja) * 2005-04-22 2006-11-02 Sony Corporation 多重化装置および多重化方法、プログラム、並びに記録媒体
JP2008085863A (ja) * 2006-09-28 2008-04-10 Nec Personal Products Co Ltd トランスポートストリーム補正装置
WO2017033764A1 (ja) * 2015-08-26 2017-03-02 ソニー株式会社 記録装置、および記録方法、並びにプログラム

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463752B2 (ja) * 2001-07-25 2003-11-05 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法および音響復号化方法
US20050238316A1 (en) * 2002-09-19 2005-10-27 Thomson Licensing S,A, Hybrid video on demand using mpeg2 transport
US7024526B2 (en) * 2002-10-31 2006-04-04 Hitachi, Ltd. Apparatus and method of null data skip remote copy
US8862758B1 (en) * 2003-09-11 2014-10-14 Clearone Communications Hong Kong, Limited System and method for controlling one or more media stream characteristics
JP4872253B2 (ja) * 2004-10-12 2012-02-08 ソニー株式会社 多重化装置、多重化方法、プログラム、および記録媒体
US8369341B2 (en) * 2005-01-18 2013-02-05 Mitsubishi Electric Corporation Multiplexing apparatus and receiving apparatus
JP4678486B2 (ja) * 2005-03-11 2011-04-27 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体
US9065595B2 (en) * 2005-04-07 2015-06-23 Opanga Networks, Inc. System and method for peak flow detection in a communication network
US8909807B2 (en) * 2005-04-07 2014-12-09 Opanga Networks, Inc. System and method for progressive download using surplus network capacity
US8589508B2 (en) * 2005-04-07 2013-11-19 Opanga Networks, Inc. System and method for flow control in an adaptive file delivery system
US7500010B2 (en) * 2005-04-07 2009-03-03 Jeffrey Paul Harrang Adaptive file delivery system and method
US8719399B2 (en) * 2005-04-07 2014-05-06 Opanga Networks, Inc. Adaptive file delivery with link profiling system and method
US11258531B2 (en) 2005-04-07 2022-02-22 Opanga Networks, Inc. System and method for peak flow detection in a communication network
WO2007066722A1 (ja) * 2005-12-07 2007-06-14 Nippon Telegraph And Telephone Corporation 信号分離回路、信号分離方法、信号多重回路および信号多重方法
JP2007282023A (ja) * 2006-04-10 2007-10-25 Nec Electronics Corp 多重化装置及び多重化方法
EP2051421A4 (en) * 2006-10-31 2011-10-26 Panasonic Corp MULTIPLEXING DEVICE, INTEGRATED CIRCUIT, MULTIPLEXING METHOD, MULTIPLEXING PROGRAM, COMPUTER READABLE RECORDING MEDIUM WITH A MULTIPLEXING PROGRAM RECORDED THEREIN AND COMPUTER READABLE RECORDING MEDIUM WITH MULTIPLEXING CURRENTLY RECORDED THEREOF
WO2008089277A1 (en) * 2007-01-16 2008-07-24 Mediacast, Llc Wireless data delivery management system and method
RU2402176C1 (ru) * 2007-02-19 2010-10-20 Кабусики Кайся Тосиба Средство уплотнения/разуплотнения данных
JP5052220B2 (ja) * 2007-06-19 2012-10-17 パナソニック株式会社 動画像符号化装置
JP2009188530A (ja) * 2008-02-04 2009-08-20 Panasonic Corp ストリームデータの多重化装置および多重化方法
WO2010017205A2 (en) * 2008-08-04 2010-02-11 Jeffrey Harrang Systems and methods for video bookmarking
US20100070628A1 (en) * 2008-09-18 2010-03-18 Opanga Networks, Llc Systems and methods for automatic detection and coordinated delivery of burdensome media content
JP2010109529A (ja) * 2008-10-29 2010-05-13 Renesas Technology Corp 多重化制御装置
US9143341B2 (en) 2008-11-07 2015-09-22 Opanga Networks, Inc. Systems and methods for portable data storage devices that automatically initiate data transfers utilizing host devices
US20100131385A1 (en) * 2008-11-25 2010-05-27 Opanga Networks, Llc Systems and methods for distribution of digital media content utilizing viral marketing over social networks
WO2011022104A1 (en) * 2009-08-19 2011-02-24 Opanga Networks, Inc. Optimizing channel resources by coordinating data transfers based on data type and traffic
EP2468067A4 (en) 2009-08-19 2015-09-09 Opanga Networks Inc OPTIMIZING MULTIMEDIA CONTENT DISTRIBUTION BASED ON RESOURCE METRICS DETERMINED BY USER EQUIPMENT
KR101649777B1 (ko) * 2009-08-20 2016-08-19 오팡가 네트웍스, 인크. 잉여 네트워크 용량을 이용한 콘텐츠의 브로드캐스팅
FR2949592B1 (fr) * 2009-08-26 2017-07-21 Schneider Electric Ind Sas Dispositif de multiplexage, installation de surveillance comportant un tel dispositif et methode de surveillance
US8510107B2 (en) * 2009-11-18 2013-08-13 General Instrument Corporation Audio data bit rate detector
US9374231B2 (en) * 2010-03-22 2016-06-21 Alcatel Lucent Controller providing gradual transition of multiple terminals from unicast transmission
US8495196B2 (en) 2010-03-22 2013-07-23 Opanga Networks, Inc. Systems and methods for aligning media content delivery sessions with historical network usage
RU2595562C2 (ru) 2011-06-30 2016-08-27 Телефонактиеболагет Л М Эрикссон (Пабл) Сигнализация опорных изображений
CN103975565B (zh) * 2011-12-08 2017-07-28 富士机械制造株式会社 多路复用通信系统、发送装置、接收装置及处理装置
US9276989B2 (en) 2012-03-30 2016-03-01 Adobe Systems Incorporated Buffering in HTTP streaming client
EP3051824B1 (en) 2012-04-12 2020-02-05 Velos Media International Limited Extension data handling
US11184579B2 (en) * 2016-05-30 2021-11-23 Sony Corporation Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object
EP3777455B1 (en) 2018-04-05 2021-10-27 Telefonaktiebolaget LM Ericsson (publ) Multi-stage sidelink control information

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5177739A (en) * 1990-04-20 1993-01-05 Racal Data Communications, Inc. Multiport - multipoint digital data service
US5561466A (en) * 1993-06-23 1996-10-01 Nec Corporation Video and audio data multiplexing into ATM cells with no dummy cell used and ATM cell demultiplexing
US5452306A (en) * 1993-09-07 1995-09-19 Southwestern Bell Technology Resources, Inc. Out-of-band embedded overhead architecture for a transmission network
US6307868B1 (en) * 1995-08-25 2001-10-23 Terayon Communication Systems, Inc. Apparatus and method for SCDMA digital data transmission using orthogonal codes and a head end modem with no tracking loops
TW303570B (ja) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
EP0784409A3 (en) * 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
US5949832A (en) * 1996-03-26 1999-09-07 Sicom, Inc. Digital receiver with tunable analog filter and method therefor
KR100308704B1 (ko) * 1996-07-04 2001-10-19 모리시타 요이찌 다중화 데이터 생성 장치, 부호화 데이터 재생 장치, 클럭 변환 장치, 다중화 데이터 생성 방법, 부호화 데이터 재생 방법 및 클럭 변환 방법
US6351471B1 (en) * 1998-01-14 2002-02-26 Skystream Networks Inc. Brandwidth optimization of video program bearing transport streams
GB2339119B (en) * 1998-06-30 2003-05-21 Mitel Corp Method and apparatus for event detection in a switching system
JP3923685B2 (ja) * 1999-09-13 2007-06-06 富士通株式会社 復号方法および復号装置
US7006536B1 (en) * 2001-07-12 2006-02-28 Lighthouse Capital Partners Iv, Lp System and method for transporting multiple low-bit-rate signals over a single high-bit-rate medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006115163A1 (ja) * 2005-04-22 2006-11-02 Sony Corporation 多重化装置および多重化方法、プログラム、並びに記録媒体
JP2006301442A (ja) * 2005-04-22 2006-11-02 Sony Corp 多重化装置および多重化方法、プログラム、並びに記録媒体
US7688822B2 (en) 2005-04-22 2010-03-30 Sony Corporation Multiplexing device and multiplexing method, program, recording medium
US7974281B2 (en) 2005-04-22 2011-07-05 Sony Corporation Multiplexer and multiplexing method, program, and recording medium
CN101164103B (zh) * 2005-04-22 2011-12-21 索尼株式会社 复用器和复用方法
JP2008085863A (ja) * 2006-09-28 2008-04-10 Nec Personal Products Co Ltd トランスポートストリーム補正装置
WO2017033764A1 (ja) * 2015-08-26 2017-03-02 ソニー株式会社 記録装置、および記録方法、並びにプログラム
JPWO2017033764A1 (ja) * 2015-08-26 2018-06-07 ソニー株式会社 記録装置、および記録方法、並びにプログラム
US10750233B2 (en) 2015-08-26 2020-08-18 Sony Corporation Recording apparatus, recording method, and program

Also Published As

Publication number Publication date
CN1316838A (zh) 2001-10-10
CN1146159C (zh) 2004-04-14
KR20010095264A (ko) 2001-11-03
US20010055318A1 (en) 2001-12-27
KR100786925B1 (ko) 2007-12-17
US7496675B2 (en) 2009-02-24

Similar Documents

Publication Publication Date Title
JP2001285234A (ja) データ多重化装置およびデータ多重化方法、並びに記録媒体
US8351514B2 (en) Method, protocol, and apparatus for transporting advanced video coding content
US7227899B2 (en) Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times
JP3197766B2 (ja) Mpegオーディオデコーダ、mpegビデオデコーダおよびmpegシステムデコーダ
KR100694164B1 (ko) 재생 방법 및 그 기록매체
US20070211718A1 (en) Method of and apparatus for converting data stream format and method of and apparatus for recording data stream using the method and apparatus
JP4294660B2 (ja) 再生装置、再生方法及びその記録媒体
US7693222B2 (en) Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation
US7729383B2 (en) Multiplexer and multiplexing method
US7428246B2 (en) Apparatus and method of packetizing data stream
JP2008176918A (ja) 再生装置、再生方法及びその記録媒体
US10652608B2 (en) Receiving apparatus and method, and transmitting apparatus and method
JP2001346166A (ja) 圧縮符号化データ再生方法および装置
US8171166B1 (en) Method and a computer program product for modifying or generating a multiple program transport stream
JP2000041218A (ja) 画像データ送信装置および方法、画像データ受信装置および方法、並びに提供媒体
CA2535457C (en) Method and system for re-multiplexing of content-modified mpeg-2 transport streams using pcr interpolation
JPH08186822A (ja) 画像復号装置
Oguz et al. Seamless audio splicing for ISO/IEC 13818 transport streams
JP2004158921A (ja) データ送信装置及びデータ受信装置
EP1392059A1 (en) Medium data transmission system and medium data transmission method
JP2002199356A (ja) Ps多重化システム及びps多重化方法
JP2006252642A (ja) マルチチャンネル情報処理装置、マルチチャンネル情報再生装置、マルチチャンネル情報処理方法並びにマルチチャンネル情報再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090828