JP2010212996A - 情報処理装置および多重化処理方法 - Google Patents

Abstract

【課題】多重化ストリームデータの再生開始時における遅延を低減することを実現する情報処理装置を提供する。
【解決手段】多重化処理部３０は、基準クロック４０から供給される基準クロックを参照しながら、映像エンコーダ１０から供給される映像エレメンタリストリームと音声エンコーダから供給される音声エレメンタリストリームとを含む複数のデータを多重化したTSを生成・出力する。この多重化の開始時に、多重化処理部３０は、出力レートを変更しない範囲で、かつ、当該TSを再生するデコーダのバッファをオーバーフローさせない範囲で、デコーダ側での再生開始時に発生する遅延を軽減させるべく一方のエレメンタリストリームの出力レートを増分する。
【選択図】図１

Description

この発明は、例えばデジタル放送のストリームデータを変換するトランスコーダ等に適用して好適なパケット多重化処理技術に関する。

近年、インターネットや地上波を利用して、映像、音声、属性情報等が多重化されたストリームデータを送受信することが広く行われている。また、無線通信環境が整備されてきたことにより、この種のストリームデータを受信・再生する機能を搭載し、かつ、バッテリ駆動可能なパーソナルコンピュータ等を携行すれば、外出先や移動中においても、例えばデジタル放送を視聴すること等が可能となった。

このような状況に伴い、ストリームデータの送信を、再生側において極力遅延が発生しないように行うための仕組みが種々提案されている（例えば特許文献１等参照）。

特開２００５−２１７５５６号公報

ところで、上記特許文献１をはじめ、従来、再生側で再生開始時に必要なストリームデータ（特に、映像用のデータ）のバッファリングに起因する遅延についてはまったく考慮されていなかった。そのため、これまでに提案された種々の仕組みを適用しても、数秒間程度の遅延を再生開始時に発生させてしまう。

この発明はこのような事情を考慮してなされたものであり、多重化ストリームデータの再生開始時における遅延を低減することを実現する情報処理装置および多重化処理方法を提供することを目的とする。

前述した目的を達成するために、この発明の情報処理装置は、第１の符号化ストリームデータおよび第２の符号化ストリームデータを含む複数の符号化ストリームデータと、前記第１の符号化ストリームデータに対応する第１の符号化パラメータおよび第１のデコード時刻情報ならびに前記第２の符号化ストリームデータに対応する第２の符号化パラメータおよび第２のデコード時刻情報を含む前記複数の符号化ストリームデータそれぞれに対応する複数の符号化パラメータおよび複数のデコード時刻情報とを入力し、前記複数の符号化ストリームデータを多重化した多重化ストリームデータを生成して一定の出力レートで出力する多重化処理手段を具備し、前記多重化処理手段は、前記第１の符号化パラメータおよび前記第１のデコード時刻情報と前記多重化ストリームデータをデコードするデコーダが発生させる前記多重化ストリームデータを入力してからデコードが開始されるまでのデコーダ内遅延時間とから第１の多重化開始時刻を算出すると共に、前記第２の符号化パラメータおよび前記第２のデコード時刻情報と前記デコーダ内遅延時間とから第２の多重化開始時刻を算出する多重化開始時刻算出手段と、前記第１の多重化開始時刻と前記第２の多重化開始時刻とのうちの時間的に前の多重化開始時刻が算出された符号化ストリームデータおよびそのデコード時刻をそれぞれ出力レート調整ストリームデータおよび出力レート調整開始時刻に設定すると共に、前記第１の多重化開始時刻と前記第２の多重化開始時刻とのうちの時間的に後の多重化開始時刻と前記出力レート調整ストリームデータの先頭の符号化データのデコード時刻とのうちの時間的に前の時刻を出力レート調整終了時刻に設定し、前記出力レート調整開始時刻と前記出力レート調整終了時刻との差分区間における前記出力レート調整ストリームの出力データ量をその符号化パラメータから算出して、前記多重化ストリームの出力レートが変更されない範囲で、かつ、前記デコーダのバッファをオーバーフローさせない範囲で、前記出力レート調整ストリームの出力レートを増分する出力レート調整手段と、を有することを特徴とする。

この発明によれば、多重化ストリームデータの再生開始時における遅延を低減することが実現される。

本発明の実施形態に係る情報処理装置の構成の一部を示す図。 同実施形態の情報処理装置が備える多重化処理部の機能ブロック図 デコーダモデルのＴ−ＳＴＤ（Transport-System Target Decoder）を説明するための図。 同実施形態の情報処理装置が備える多重化処理部内の多重化部の機能ブロック図。 同実施形態の情報処理装置が備える多重化処理部内の多重化部が実行する多重化処理の流れを示すフローチャート。 同実施形態の情報処理装置が備える多重化処理部内の多重化部が実行する多重化処理中の多重化開始時刻調整処理の詳細な流れを示すフローチャート。 同実施形態の情報処理装置が備える多重化処理部内の多重化部が実行する多重化処理中の多重化開始時刻の調整を視覚的に示すための概念図。

以下、図面を参照して、この発明の一実施形態を説明する。

図１は、本発明の実施形態に係る情報処理装置の構成の一部を示す図である。この情報処理装置１は、例えば地上デジタル放送のTS（Transport Stream）を変換するトランスコーダとして動作する機能を有する。より具体的には、入力されたTSをデマルチプレクサ（多重化分離装置）により番組情報、映像データ、音声データ等に分離して、目的のデータに所定の変換処理を施し、再び符号化・多重化を行ってTSとして一定の出力レート（トランスポートレート）で出力する。そのために、本情報処理装置１は、図１に示すように、映像エンコーダ１０、音声エンコーダ２０、多重化処理部３０および基準クロック４０を備えている。本実施形態においては、ＩＳＯ／ＩＥＣ１３８１８−１ ＭＰＥＧ−２ Ｓｙｓｔｅｍ規格およびＡＲＩＢ ＴＲ−Ｂ１４の地上デジタルテレビジョン放送運用規定に準拠し、１８８バイト固定長のＴＳパケットから構成されるTSを出力するものと想定する。

映像エンコーダ１０は、例えばＩＴＵＢＴ６５６等の非圧縮映像データを入力し、これを圧縮して映像エレメンタリストリーム（映像ＥＳ）を生成する。当該映像エンコーダ１０によって生成された映像ＥＳは、多重化処理部３０に向けて出力され、多重化処理部３０の後述する映像バッファ３２に蓄積される。一方、音声エンコーダ２０は、例えば非圧縮のＰＣＭ（Pulse Code Modulation）データを入力し、これを圧縮して音声エレメンタリストリーム（音声ＥＳ）を生成する。当該音声エンコーダ２０によって生成された音声ＥＳは、多重化処理部３０に向けて出力され、多重化処理部３０の後述する音声バッファ３３に蓄積される。また、この際、上記各エンコーダ１０，２０は、９０ＫＨｚクロックのデコード時刻ＤＴＳ（Decoding Time Stamp）および表示時刻ＰＴＳ（Presentation Time Stamp）をピクチャ，オーディオフレーム単位で多重化処理部３０に向けて出力する。

そして、多重化処理部３０は、上記映像エンコーダ１０から出力される映像ＥＳと音声エンコーダ２０から出力される音声ＥＳとを含む複数のデータを多重化したTSを生成して出力する。図２は、本情報処理装置１が備える多重化処理部３０の機能ブロック図である。以下、図２を参照しながら、この多重化処理部３０の動作について説明する。なお、基準クロック４０は、多重化処理部３０が多重化処理を行う際の基準とする２７ＭＨｚの基準クロックを発生させる時計モジュールである。この基準クロックは、多重化処理部３０の後述する時刻情報パケット化部３７が（本多重化処理部３０から出力されるTSを再生する）デコーダとの時刻同期用に使用するＰＣＲ（Program Clock Reference）の生成の際にも参照される。

多重化処理部３０は、映像エンコーダ１０および音声エンコーダ２０から符号化パラメータを受け取り、この受け取った符号化パラメータと入力された番組情報とから、（本多重化処理部３０からの）TSの出力レートであるトランスポートレートを決定する。トランスポートレートは、映像・音声の符号化レートにＴＳ，ＰＥＳヘッダのオーバヘッド分を追加したＴＳレート（計算式は後述する）と、ＰＳＩ／ＳＩ，ＰＣＲのＴＳレートとを合算したものである。

多重化処理部３０は、映像・音声とは別途入力される番組情報も多重化してTS内に含める。入力される番組情報は、番組の名称、放送日時、放送内容等の番組に関連する情報や、チャンネル番号、変調方式、ガードインターバル等の送信するネットワークに関する情報等である。これらの情報は、番組情報生成部３１において、それぞれＥＩＴ（Event Information Table）、ＮＩＴ（Network Information Table）として符号化される。また、ＥＩＴ，ＮＩＴのほかに、番組情報生成部３１では、TS内に含まれる番組一覧を示すＰＡＴ（Program Association Table）や、番組内の映像ＥＳ・音声ＥＳのＰＩＤを格納するＰＭＴ（Program Map Table）等を生成する。これらは、ＰＳＩ／ＳＩ（Program Specific Information/Service Information）と称される。これらのＰＳＩ／ＳＩは、番組情報パケット化部３４において、ＡＲＩＢ ＴＲ−Ｂ１４で規定される一定の周期でそれぞれＴＳパケットへとパケット化される。

また、映像パケット化部３５および音声パケット化部３６は、映像バッファ３２・音声バッファ３３に蓄積された映像ＥＳ・音声ＥＳを、Ｎ個（Ｎ＞＝１）のＡＵ（Access Unit）毎にＰＥＳパケット化し、デコード時刻ＤＴＳおよび表示時刻ＰＴＳをヘッダに付加する。ＡＵは再生単位であり、映像であればピクチャ、音声であればオーディオフレームがこれに該当する。なお、ＤＴＳが付加されるのは、デコード時刻が表示時刻と異なる場合であり、具体的にはＨ．２６４等で使用されるＢピクチャである。そして、映像パケット化部３５および音声パケット化部３６は、生成したＰＥＳパケットをＴＳパケットへとパケット化する。また、入力される映像の符号化方式がＨ．２６４である場合、映像パケット化部３５は、映像ＥＳ中のＨＲＤパラメータを除去する処理を併せて実行する。この処理は、後述するＴ−ＳＴＤに関連する処理である。

時刻情報パケット化部３７は、基準クロックを参照して、デコーダ内での遅延を加味してＰＣＲを決定し、ヘッダにＰＣＲを付加したＴＳパケットを生成する。このＰＣＲを付加したＴＳパケットは、例えば１００ｍｓ毎といった一定周期で生成される。

以上のように生成される各種ＴＳパケットは、ＴＳヘッダ中のＰＩＤに基づきデコーダ側のデマルチプレクサによって識別される。

各パケット化部３４，３５，３６，３７によって生成された各種ＴＳパケットは、多重化部３８に供給され、出力するＴＳパケットが適宜に選択される。出力するＴＳパケットの選択は、（１）ＰＳＩ／ＳＩ、ＰＣＲの送信周期を一定に保つこと、（２）映像・音声に関してはデコーダのモデルであるＴ−ＳＴＤ（Transport-System Target Decoder）で規定されるバッファリングモデルに準拠するよう出力レートを制御すること、を制限事項とする。なお、出力するＴＳパケットがない場合、多重化部３８は、ＮＵＬＬパケットを出力する。

ここで、図３を参照して、Ｔ−ＳＴＤについて説明する。

Ｔ−ＳＴＤでは、映像や音声毎に複数のバッファが設けられており、バッファサイズ、バッファからの転送レートおよび禁止事項が規定されている。

Ｄｅｍｕｘ１０１に入力されたTSは、ＰＩＤによりＢｖｉｄ１０２またはＴＢａｕｄ１０６に振り分けられる。ＴＢｖｉｄ１０２に入力されたTSは、ＰＥＳパケット化され、ＲＸｖｉｄの出力レートでＭＢ１０３に出力される。ＭＢ１０３では、ＰＥＳヘッダが取り除かれて、ＥＳとしてＲｂｘの出力レートでＥＢ１０４に入力される。そして、ＤＴＳ，ＰＴＳで指定されたデコード時刻になると、ＥＢ１０４に入力されたＡＵは、即座にデコーダ（Ｄｖｉｄ）１０５に出力されデコードされる。

一方、ＴＢａｕｄ１０６に入力されたTSは、ＰＥＳパケット化され、ＲＸａｕｄの出力レートでＢ１０７に出力される。そして、PTSで指定されたデコード時刻になると、Ｂ１０７に入力されたＡＵは、即座にデコーダ（Ｄａｕｄ）１０８に出力されデコードされる。

この時、映像であれば、ＴＢｖｉｄ１０２，ＭＢ１０３を、音声であれば、Ｔｂａｕｄ１０６をオーバーフローさせない最大入力ＴＳレートを最大デコーダ入力レートと設定する。また、映像では、ＲＸｖｉｄ ＜＝ Ｒｂｘが成り立つので、映像・音声は、それぞれＲＸｖｉｄ，ＲＸａuｄが最大デコーダ入力レートである。この最大デコーダ入力レートをデコーダへの入力の上限とすることで、TBvid102,MB103,TBaud106のバッファ量管理を行う必要がなくなる。

さらに、各バッファ間転送レートを基に、ＴＳパケット単位で計算した伝送遅延、つまり１ＴＳパケットをＤｅｍｕｘ１０１に入力してからデコードされるまでの遅延の最小値をデコーダ内遅延とする。このデコーダ内遅延は、映像に関しては、
１８８×８／ＲＸｖｉｄ＋１８８×８／Ｒｂｘ … 式１
で算出でき、また、音声に関しては、
１８８×８／Ｒｘａｕｄ … 式２
で算出できる。

以上を踏まえて、図４乃至図６を参照して、本情報処理装置１が備える多重化処理部３０による多重化開始時の処理内容について説明する。

図４は、多重化処理部３０内の多重化部３８の機能ブロック図である。

映像・音声パケットバッファ３８１１，３８１２にＴＳパケット化された先頭ＡＵが入力された段階で、多重化開始時刻算出部３８２において多重化開始時刻を計算する。多重化開始時刻は、先頭ＡＵの先頭ＴＳパケットを出力開始する時刻であり、この時刻からエンコーダ１０，２０の符号化レートをもとに算出したTSレートで出力を開始すれば、Ｔ−ＳＴＤを破綻させることなく再生することが可能な最遅時刻である。

図５は、多重化部３８が実行する多重化処理の流れを示すフローチャートである。多重化開始時刻は、図５に示すフローチャート中のステップＡ１〜ステップＡ４において算出される。多重化開始時刻算出部３８２は、まず、データ伝送遅延を算出する（図５ステップＡ１）。データ伝送遅延は、ＴＳパケット化されたＡＵの出力を完了するまでにかかる遅延であり、
（ＴＳパケットサイズ×ＴＳパケット数）／ＴＳレート … 式３
の式３で求められる。

上記式３のＴＳパケット数は、ＡＵをＴＳパケット化した際に生成されたＴＳパケットの数である。また、ＴＳレートは、ＥＳをTS化した際の出力レートであり、１PESパケットに1オーディオフレーム・ピクチャを格納する場合は、
ＴＳレート＝ｃｅｉｌ（符号化レート + PESオーバヘッド + TSオーバヘッド）
… 式４
ceil：切り上げ整数化
の式４で求められる。

また式４中の、PESオーバヘッドは、
PESオーバヘッド＝PESヘッダ長 × 最大フレームレート
… 式５
で、
TSオーバヘッドはTSヘッダ分のオーバヘッドとスタッフィングバイトを足した
TSオーバヘッド＝ceil(平均PESサイズ / TSペイロード長) × TSヘッダ長 × 最大フレームレート + TSペイロード長 × 最大フレームレート … 式６
の式６で求められる。

式６の平均PESサイズは、
平均PESサイズ ＝ 符号化レート/最大フレームレート
＋ＰＥＳヘッダサイズ … 式７
の式７で求められる。

次に、多重化開始時刻算出部３８２は、映像ＥＳの多重化開始時刻を算出する（図５ステップＡ２）。映像の場合、多重化開始時刻は、デコード時刻からＡＵのデータ伝送遅延と初期遅延とデコーダ内遅延とを引いた時刻となる。初期遅延は、エンコーダが指定する符号化パラメータであり、この初期遅延分符号化レートでデコーダ内にバッファリングすればアンダーフローせずに再生できる。

これと並行して、多重化開始時刻算出部３８２は、音声ＥＳの多重化開始時刻を算出する（図５ステップＡ３）。音声の場合は、デコード時刻からＡＵのデータ伝送遅延とデコーダ内遅延とを引いたものである。この多重化開始時刻のうちの最小値が、実際に多重化を開始して先頭ＴＳパケットを出力する時刻となる。この多重化開始時刻とデコード時刻との差が実際にストリームが再生されるまでの遅延となる。

続いて、多重化開始時刻算出部３８２は、多重化開始時刻が最小であるストリームを出力レート調整ストリーム、その多重化開始時刻を出力レート調整開始時刻に設定する（図５ステップＡ４）。一般に、映像ＥＳは、数秒の初期遅延を必要とするため、映像・音声のデコード時刻が揃っている場合では、音声ＥＳよりも数秒早く多重化を開始する必要がある。そして、この多重化開始時刻の差分を、次のステップＡ５における多重化開始時刻調整処理によって縮めることにより、結果として、デコーダ上でTSの入力開始から再生までの遅延を軽減する。図６は、このステップＡ５における多重化開始時刻調整処理の詳細な流れを示すフローチャートである。

まず、遅延短縮区間算出部３８３が、遅延短縮化対象区間および当区間で送出されるＴＳデータ量を算出する（図６ステップＢ１）。出力レート調整開始時刻は、上記図５のステップＡ４で決定している。図７は、多重化開始時刻の調整を視覚的に示すための概念図であり、出力レート調整終了時刻は、出力レート調整ストリームのデコード時刻（図７のａ３）と多重化開始時刻が２番目であるＥＳの多重化開始時刻（図７のａ２）とのうちの時刻が早い方であり、図７ではａ２である。この短縮化対象区間（図７のａ４）に上記計算式（式４）で求めたＴＳレートと短縮化区間とを乗算することにより算出できる。

次に、必要に応じて、ＰＳＩ／ＳＩ出力データ量の調整処理を番組情報出力設定部３８４が実行する。より具体的には、番組情報出力設定部３８４は、デコーダ最大入力レートまで出力レート調整ストリームのＴＳレートを向上可能であるかを確認する（図６ステップＢ２）。これは、短縮化対象区間（図７のａ４）に送出されるＮＵＬＬパケット以外のＴＳデータ量をトランスポートレートから減算した値と比較することで確認できる。

デコーダ最大入力レートで出力できなかった場合（図６ステップＢ２のＮＯ）、番組情報出力設定部３８４は、ＰＳＩ／ＳＩの出力周期を、例えばＡＲＩＢ ＴＲ−Ｂ１４で規定されている周期調整枠の上限である３０％まで延長する（図６ステップＢ３）。これにより、ＰＳＩ／ＳＩの出力ＴＳレートが下がり、出力レート調整ストリームに割り当てられる帯域が増加する。

その後、番組情報出力設定部３８４は、再度、デコーダ最大入力レートまで出力レート調整ストリームのＴＳレートを向上可能であるかを確認する（図６ステップＢ４）。ＴＳレートの向上が不可能な場合（ステップＢ４のＮＯ）、番組情報出力設定部３８４は、さらに、優先度の低いＰＳＩ／ＳＩの多重化開始時間を図７のａ２以降に設定する（図６ステップＢ５）。優先度付けとしては、例えばデコードに必須であるＰＡＴ，ＰＭＴの優先度を高く設定する方法がある。これにより、短縮化対象区間での該当ＰＳＩ／ＳＩの出力ＴＳレートを０ｂｐｓに設定することができる。このように調整されたＰＳＩ／ＳＩの送信周期および多重化開始時刻は出力制御情報格納部３８７に記録され、出力パケット選択部３８８から、出力するパケットを選択する際に参照される。

続いて、出力レート調整部３８５が、一時的に増分した出力レート調整ストリームの出力ＴＳレートを決定する（図６ステップＢ６）。ＰＳＩ／ＳＩの調整処理を行った場合、ＰＳＩ／ＳＩの出力ＴＳレート減少分が出力レート調整ストリームの出力ＴＳレートに加算される。個々で決定した出力ＴＳレートおよび調整終了時刻である出力レート調整終了時刻は出力制御情報格納部３８７に記録され、出力パケット選択部３８８から、出力するパケットを選択する際に参照される。

更に、多重化開始時刻調整部３８６が、多重化開始時刻の再設定を実行する。より具体的には、まず、多重化開始時刻調整部３８６は、出力レート調整ストリームの出力ＴＳレートを増分したことによる短縮時間を、下記の計算式８によって算出する（図６ステップＢ７）。

短縮した時間＝短縮化区間−（出力ＴＳデータ量／出力レート調整ストリームの
出力ＴＳレート） … 式８
そして、多重化開始時刻調整部３８６は、最早ＥＳの多重化開始時刻から上記短縮した時間を減算することにより、多重化開始時刻を再設定する（図６ステップＢ８）。

この図６に詳細な流れが示される、図５ステップＡ５における多重化開始時刻調整処理で再設定された多重化開始時刻は、基準クロック４０に入力され、基準クロック４０の初期時刻として利用されることになる（図５ステップＡ６）。

以上が、本情報処理装置１における多重化開始時の処理である。

また、本情報処理装置１では、この処理のほか、映像がＨ．２６４である際に映像パケット化部３５においてＥＳ中のＨＲＤパラメータを削除する処理も実施する。

上記ＲＸｖｉｄはＥＳ中のＨＲＤパラメータで指定される。ただし、ＡＲＩＢ ＴＲ−Ｂ１４においてＨＲＤパラメータの挿入は任意であり省略することができる。省略した場合は、Ｈ．２６４の符号化パラメータの１つであるＬｅｖｅｌに基いて決まる。この規則を利用して、ＨＲＤパラメータの除去処理を実施することにより、最大デコーダ入力レートを向上することができる。

本情報処理装置１によれば、再生まで一定量のバッファリングが必要な映像メディアにおいて、より高いレートでバッファリングを行うことができるため、利用者にとって好ましくない再生までの遅延を軽減できる。また、この対策は、多重化処理のみで実現できるため、エンコーダ・デコーダに手を加える必要がなく適用範囲の広い技術である。

また、出力ＴＳレートを向上する期間と、その上限値とを上記のように設定することにより、出力レートを上昇している間バッファ量管理を行う必要がなく処理が単純であるというメリットがある。さらに、出力レートの上昇後は各エンコーダの指定する符号化レートで多重化を行えばよく、特殊な処理を行う必要がないというメリットもある。

このように、本情報処理装置１によれば、多重化ストリームデータの再生開始時における遅延を低減することが実現される。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

１…情報処理装置、１０…映像エンコーダ、２０…音声エンコーダ、３０…多重化処理部、３１…番組情報生成部、３２…映像バッファ、３３…音声バッファ、３４…番組情報パケット化部、３５…映像パケット化部、３６…音声パケット化部、３７…時刻情報パケット化部、３８…多重化部、４０…基準クロック、３８１…バッファ部、３８２…多重化開始時刻算出部、３８３…遅延短縮区間算出部、３８４…番組情報出力設定部、３８５…出力レート調整部、３８６…多重化開始時刻調整部、３８７…出力制御情報格納部、３８８…出力パケット選択部、３８９…出力部、３８１１…映像パケットバッファ、３８１２…音声パケットバッファ、３８１３…時刻情報パケットバッファ、３８１４…番組情報パケットバッファ。

Claims (11)

1. 第１の符号化ストリームデータおよび第２の符号化ストリームデータを含む複数の符号化ストリームデータと、前記第１の符号化ストリームデータに対応する第１の符号化パラメータおよび第１のデコード時刻情報ならびに前記第２の符号化ストリームデータに対応する第２の符号化パラメータおよび第２のデコード時刻情報を含む前記複数の符号化ストリームデータそれぞれに対応する複数の符号化パラメータおよび複数のデコード時刻情報とを入力し、前記複数の符号化ストリームデータを多重化した多重化ストリームデータを生成して一定の出力レートで出力する多重化処理手段を具備し、
   前記多重化処理手段は、
   前記第１の符号化パラメータおよび前記第１のデコード時刻情報と前記多重化ストリームデータをデコードするデコーダが発生させる前記多重化ストリームデータを入力してからデコードが開始されるまでのデコーダ内遅延時間とから第１の多重化開始時刻を算出すると共に、前記第２の符号化パラメータおよび前記第２のデコード時刻情報と前記デコーダ内遅延時間とから第２の多重化開始時刻を算出する多重化開始時刻算出手段と、
   前記第１の多重化開始時刻と前記第２の多重化開始時刻とのうちの時間的に前の多重化開始時刻が算出された符号化ストリームデータおよびそのデコード時刻をそれぞれ出力レート調整ストリームデータおよび出力レート調整開始時刻に設定すると共に、前記第１の多重化開始時刻と前記第２の多重化開始時刻とのうちの時間的に後の多重化開始時刻と前記出力レート調整ストリームデータの先頭の符号化データのデコード時刻とのうちの時間的に前の時刻を出力レート調整終了時刻に設定し、前記出力レート調整開始時刻と前記出力レート調整終了時刻との差分区間における前記出力レート調整ストリームの出力データ量をその符号化パラメータから算出して、前記多重化ストリームの出力レートが変更されない範囲で、かつ、前記デコーダのバッファをオーバーフローさせない範囲で、前記出力レート調整ストリームの出力レートを増分する出力レート調整手段と、
   を有することを特徴とする情報処理装置。
2. 前記多重化処理手段は、前記多重化ストリームデータをＭＰＥＧ（Moving Picture Experts Group）−２ ＴＳ形式で出力することを特徴とする請求項１記載の情報処理装置。
3. 前記多重化処理手段は、前記デコーダ内遅延をＴ−ＳＴＤ（Transport-System Target Decoder）に１ＴＳパケットを入力してからデコードが開始されるまでの遅延とし、前記デコーダの最大入力レートをＴ−ＳＴＤにおけるトランスポートバッファからの出力レートをTSデータの転送レートに換算した際の最小値とすることを特徴とする請求項２記載の情報処理装置。
4. 前記多重化処理手段の前記出力レート調整手段は、前記出力レート調整ストリームデータの増分により前記多重化ストリームデータの出力レートが前記一定の出力レートを越える場合、ＰＳＩ／ＳＩ（Program Specific Information/Service Information）の出力周期を調整することを特徴とする請求項２記載の情報処理装置。
5. 前記多重化処理手段の前記出力レート調整手段は、前記ＰＳＩ／ＳＩの出力周期を調整しても出力レートが越える場合に、優先度の低いＰＳＩ／ＳＩの多重化開始時刻を調整することを特徴とする請求項４記載の情報処理装置。
6. 前記多重化処理手段は、ＰＳＩ／ＳＩのうち、ＰＡＴおよびＰＭＴの優先度を高く設定することを特徴とする請求項５記載の情報処理装置。
7. 前記複数の符号化ストリームデータの中には、動画像をＨ．２６４規格に準拠した符号化方式で符号化した符号化ストリームデータが含まれ、
   前記多重化処理手段は、前記多重化ストリームデータとして多重化する前記動画像の符号化ストリームデータ中からＨＲＤパラメータを削除する、
   ことを特徴とする請求項２記載の情報処理装置。
8. 動画像をＨ．２６４規格に準拠した符号化方式で符号化した符号化ストリームデータを含む複数の符号化ストリームデータを入力し、前記複数の符号化ストリームデータを多重化した多重化ストリームデータを生成して出力する多重化処理手段を具備し、
   前記多重化処理手段は、前記多重化ストリームデータとして多重化する前記動画像の符号化ストリームデータ中からＨＲＤパラメータを削除する手段を有する、
   ことを特徴とする情報処理装置。
9. 第１の符号化ストリームデータおよび第２の符号化ストリームデータを含む複数の符号化ストリームデータと、前記第１の符号化ストリームデータに対応する第１の符号化パラメータおよび第１のデコード時刻情報ならびに前記第２の符号化ストリームデータに対応する第２の符号化パラメータおよび第２のデコード時刻情報を含む前記複数の符号化ストリームデータそれぞれに対応する複数の符号化パラメータおよび複数のデコード時刻情報とを入力し、前記複数の符号化ストリームデータを多重化した多重化ストリームデータを生成して一定の出力レートで出力する機能を具備する情報処理装置における多重化処理方法であって、
   前記第１の符号化パラメータおよび前記第１のデコード時刻情報と前記多重化ストリームデータをデコードするデコーダが発生させる前記多重化ストリームデータを入力してからデコードが開始されるまでのデコーダ内遅延時間とから第１の多重化開始時刻を算出すると共に、前記第２の符号化パラメータおよび前記第２のデコード時刻情報と前記デコーダ内遅延時間とから第２の多重化開始時刻を算出し、
   前記第１の多重化開始時刻と前記第２の多重化開始時刻とのうちの時間的に前の多重化開始時刻が算出された符号化ストリームデータおよびそのデコード時刻をそれぞれ出力レート調整ストリームデータおよび出力レート調整開始時刻に設定すると共に、前記第１の多重化開始時刻と前記第２の多重化開始時刻とのうちの時間的に後の多重化開始時刻と前記出力レート調整ストリームデータの先頭の符号化データのデコード時刻とのうちの時間的に前の時刻を出力レート調整終了時刻に設定し、前記出力レート調整開始時刻と前記出力レート調整終了時刻との差分区間における前記出力レート調整ストリームの出力データ量をその符号化パラメータから算出して、前記多重化ストリームの出力レートが変更されない範囲で、かつ、前記デコーダのバッファをオーバーフローさせない範囲で、前記出力レート調整ストリームの出力レートを増分する、
   ことを特徴とする多重化処理方法。
10. 前記多重化ストリームデータをＭＰＥＧ−２ ＴＳ形式で出力し、前記出力レート調整ストリームデータの増分により前記多重化ストリームデータの出力レートが前記一定の出力レートを越える場合、ＰＳＩ／ＳＩの出力周期を調整することを特徴とする請求項９記載の多重化処理方法。
11. 前記ＰＳＩ／ＳＩの出力周期を調整しても出力レートが越える場合に、優先度の低いＰＳＩ／ＳＩの多重化開始時刻を調整することを特徴とする請求項１０記載の多重化処理方法。

Images