JP2000500634A - ビデオプログラムを多重化するための方法および装置 - Google Patents

Abstract

(57)【要約】 数個の符号化プログラム・ストリームをデータ・チャンネル上の送信に適した単一の多重信号に多重化するための方法およびその装置であって、ストリームは代表的にビデオとオーディオとを含む。本発明の１つの実施形態によれば、データ・チャンネルにプログラム・ストリームのデータ・パケットを送出する順序を決定することにより高いデータ・チャンネル利用率が実現される。この実施形態によれば、データ・チャンネルにデータを送出しようとする際に、どのパケットを多重信号に送出または追加するかの決定を行なう。その決定は満杯状態に近付いていないデコーダ・バッファを有するチャンネルを選択することにより行われ、次のパケットが多重信号に追加される。本発明の方法は更に、プログラム・ストリームを復号化できるデコーダのデコーダ・バッファを実質的に平衡化するチャンネルを選択するステップも含む。

Description

【発明の詳細な説明】 ビデオプログラムを多重化するための方法および装置 Ｉ．発明の背景 Ａ．発明の分野 本発明の分野はビデオ圧縮である。 Ｂ．背景 本発明は、圧縮ビデオプログラムの符号化、フォーマット、配信に関する。必 ずではなくとも特に可変ビットレート（ＶＢＲ）符号化として知られる特定のビ デオ圧縮技術に応用することが可能である。ＶＢＲ符号化は、多くのビデオ圧縮 エンコーダで周知の、認識画質が画像の複雑さの関数として変化し易い問題を克 服するために使用できる。代表的には、ビデオプログラムには多様なシーンが含 まれる。これらのシーンの多くは動きまたは細部が欠如したものであるから容易 に圧縮されるが、その他多くのシーンは複雑な細部を含み、これらは一般に、中 でも複雑またはランダムに移動する場合に、圧縮が更に困難である。そのため、 利用可能なバンド幅が非常に高くない限り解凍再構成された画像の認知画質はシ ーン毎に変化する傾向にある。利用可能なバンド幅が減少すると、大抵は僅か数 か所の問題となるシーンの影響で、最終的にビデオ画質が受け入れられなくなる までこの問題が悪化する。 ＶＢＲ符号化では、圧縮困難なシーンに対して多くのビットを割り当て、もっ と簡単に圧縮されるシーンに対して少ないビットを割り当てることでこの問題を 克服している。このようにすると、解凍再構成された画像は終止均一に見せるよ うにできるので、同じ平均圧縮率に調節された一定ビットレートのエンコーダか ら取り出された再構成画像より優れている。その結果、ＶＢＲ符号化技術を用い た場合にはビデオプログラムを一層効率的に圧縮することが可能である。これは バンド幅固定の通信チャンネル上で供給できるプログラムまたはプログラム・ス トリームの個数と種類を増加させるばかりでなく、プログラム・ライブラリを保 持するヘッド・エンドまたはその他のサイトでの記憶容量条件を低減する。 ＶＢＲ符号化技術の欠点は圧縮ビットストリームを操作または編集する際に幾 つかの問題を呈する点である。特に、可変ビットレート・ストリームはある時点 ではチャンネル容量を越えることがあり、また別の時点では利用可能なチャンネ ル容量の一部しか使用しないため、バンド幅固定の通信チャンネルを効率的に使 用するのが困難になる。当業者には明らかなように、チャンネル容量を越える可 能性はＶＢＲ符号化データだけの問題ではなく、非ＶＢＲ符号化データの問題で もある。本発明は非ＶＢＲ符号化データにも応用可能である。 この問題を緩和するために使用される既知の技術の１つとして、可変レート・ ストリームを一定レート・ストリームに変換するために通信チャンネルの送信側 末端で圧縮ビットストリームをバッファリングすることが挙げられる。このよう な場合、再構成されるビデオ画像の正確なタイミングが要求される可変レート・ ストリームを復元するためにチャンネルの他端で受信した信号をバッファリング することも必要である。残念ながら、必要とされるバッファ量は実現できないほ ど高価であり、分散システムの導入は非常に遅れるであろう。更に、既存のビデ オ圧縮標準、たとえば国際標準化機構／国際電子技術委員会（ＩＳＯ／ＩＥＣ） 標準の一組であるＭＰＥＧ標準では適合デコーダで要求されるバッファリングの 量について制限を規定している。従って、このような制限を超えることなく受信 ビットストリームを復元することが重要である。 ＶＢＲ符号化（および非ＶＢＲ符号化）プログラムを固定バンド幅チャンネル 上で送信する際の非効率を低減するために使用できる従来技術の別の技術は複数 のプログラム・ストリームを単一の多重信号(multiplex)に合成することである 。追加プログラム・ストリームの各々は多重化データの総データ・レートを増加 させるが、この多重信号の平均ストリームあたりデータ・レートの変動は、プロ グラム・ストリーム間の独立性の統計的近似を仮定すると、プログラム・ストリ ームの個数と近似的に比例して減少する傾向が見られる。従って、チャンネル で対応できる公称レートが単一のプログラム・ストリームの平均レートより有意 に大きい場合、チャンネル利用率を有意に改善できる。この技術は従来技術で統 計的多重化(statistical multiplexing)として知られている。 バッファリングを使用する場合、バッファのオーバフローが発生しないように 補償する従来技術の方法の１つは、エンコーダ・バッファとエンコーダの間にフ ィードバックを追加することである。バッファが満杯状態に近付くと、バッファ からのバッファ満杯信号をエンコーダに伝えてビットレートを減少させ、バッフ ァがオーバフローしないようにする。バッファに多くの空きができた場合、バッ ファからエンコーダへのフィードバック信号でエンコーダはビットレートを増加 させ、画質を維持することができるようになる。このようなフィードバックは統 計的多重化と組み合わせた場合に特に有効である。このような場合には、単一の エンコーダ・バッファをマルチプレクサの出力に配置し、バッファからのフィー ドバックは多重化するプログラムのエンコーダ全部に向ける。多重化で有効なス トリームあたりのデータ・レート変動を減少できるため、一般に、多重信号を固 定ビットレート・ストリームに変換するのに必要とされるバッファは、個々のエ ンコーダ各々がＶＢＲ対一定ビットレート・バッファを含む場合より少なくなる 。 特にＶＢＲ符号化プログラム・ストリームを固定バンド幅チャンネル上で伝送 するためのフィードバック付き統計的多重化をエンコーダ・バッファリングと組 み合せることは効果的であるが、チャンネル全体を有効的に利用することが重要 な場合には一般に充分ではない。 更に、マルチプレクサの出力バッファと個々のエンコーダの間でフィードバッ クが可能ではないような状況もしばしば見られる。このような状況の１つは、「 すでに符号化されている」データストリームを多重化する場合に発生する。エン コーダがマルチプレクサから物理的に離れた地域に配置されている場合には別の 状況が発生する。これらの状況はどちらも本明細書で遠隔符号化と呼び、符号化 と多重化が時間的、位置的、等で離れていることで、マルチプレクサから多重化 するプログラム・ストリームのエンコーダへのフィードバックが可能でなくなる ことを表わす。 更に、多重信号を送信する効率を制限する要因の１つはデコーダ／デマルチプ レクサでバッファリングに利用できる総メモリ量が有限ということである。統計 的多重化では、全てのプログラム・ストリームが同時に複雑なシーンを有する確 率が小さいため、通常は充分な利益を提供するが、このようなデータ・レートの ピークが発生する有限の可能性が未だ存在している。これ以上バッファ空間がデ コーダで利用できないようなピークの場合、フィル・パケットを送信し、遅延が 発生し、チャンネル利用率（チャンネル効率）が低化する。 以上から、効率的な方法で圧縮され、一貫して均一なビデオプログラムを既存 の通信および配信のインフラストラクチャー上で供給できる技術が必要とされる 。 以上から、リアルタイム符号化と遠隔符号化の両方の状況で応用可能で数個の 符号化ビデオプログラムの多重化ストリームを送信するための技術も必要とされ る。 以上から、デコーダでバッファ・オーバフローが発生する確率を減少させるた めの技術も必要とされる。 以上から、デコーダでバッファ・アンダーフローが発生する確率を減少させる ための技術も必要とされる。 以上から、可能な限りスタッフィング・ビットのフィルパケット送信を回避す ることによりチャンネル効率を最大限に確保する技術も必要とされている。 II．発明の要約 Ａ．発明の目的 本発明の目的は、通信チャンネル上で数個の圧縮ビデオプログラムを効率的に 供給するための方法および装置を提供することにある。 本発明の他の目的は、リアルタイム符号化と遠隔符号化状況の両方に適用可能 で、数個の符号化ビデオプログラムを多重化するための方法および装置を提供す ることにある。 本発明の他の目的は、デコーダでバッファ・オーバフロー状態の発生する確率 を減少するための方法（および装置）を提供することにある。 本発明の他の目的は、デコーダでバッファ・アンダーフロー状態の発生する確 率を減少するための方法（および装置）を提供することにある。 本発明の他の目的は、可能な場合にスタフィング・ビットのフィル・パケット を送信しないことによりチャンネル効率を最大にする方法（および装置）を提供 することにある。 Ｂ．発明の概要 本発明の前述のおよびその他の目的は、データ・チャンネルへプログラム・ス トリームのデータ・パケットを送出する順序を決定することにより高いデータ・ チャンネル利用率を実現する多重化方法（およびその装置）で提供される。１実 施形態によれば、データをデータ・チャンネルへ送出しようとする場合、本方法 では満杯状態に近付いていないデコーダ・バッファを有する次のチャンネルを選 択することにより次に送信すべきパケットを決定する。本方法は更にプログラム ・ストリームを復号化することのできるデコーダのデコーダ・バッファを実質的 に平衡させるチャンネルを選択することを含む。この実施形態の更なる特徴にお いては、デコーダ・バッファの平衡化は各々のデコーダ・バッファにほぼおなじ 持続時間だけ記憶するようにすることを含む。 Ｃ．関連発明 本発明と同時出願しているのは、本出願と同時に受理され本発明で参照に含ま れ、発明の名称が「デジタルビデオ伝送のためのチャンネル利用率を向上させる 方法ならびにその装置」および「チャンネル利用率向上のため符号化デジタルビ デオを変更するための方法ならびにその装置」の米国特許出願である。 III．図面の簡単な説明 図１は符号化システムの一例を示す。 図２は単一の多重信号へ多数の圧縮プログラム・ストリームを結合するための システムを示す。 図３はビデオプログラム・ストリーム、ｎ個の異なるセグメントとマルチプレ クサ出力の詳細を示す。 図４（ａ）は本発明の好適実施形態による多重化方法のフローチャートを示す 。 図４（ｂ）は本発明の好適実施形態による多重化方法でバッファが満杯かどう か決定するステップのフローチャートを示す。 図５は本発明の方法を用いて符号化多重信号を生成することのできるサーバ・ システムの好適実施形態を示す。 IV．好適実施形態の説明 Ａ．序 本発明の好適実施形態は、現在周知となっているサウンドトラックまたはオー ディオ・データを含むビデオ・データの可変ビットレート（ＶＢＲ）符号化およ び復号化の技術を使用し、ビデオ・ストリームを表現するのに必要な総データ量 を減少するために圧縮方法を使用する。しかし本発明は当業者には明らかなよう に、非ＶＢＲ符号化データにも応用できる。好適実施形態ではＭＰＥＧ符号化規 格を使用するが、本発明は当業者には明らかなようにその他多くの符号化方法に 応用できる。 以下の詳細な説明は図１から図１０を参照してなされるものであって、同一の 参照番号は図面全体を通して同一の構成要素を表わしている。 便宜のため、本発明の説明において使用する幾つかの用語については「ビデオ 符号化とＭＰＥＧの手引き」と題する付録に定義してある。付録では本発明の理 解に必要となる多くの符号化の概念とＭＰＥＧについても説明している。付録の 用語集部分の用語の幾つかは従来技術で１つ以上の語義を有することがある点に 注意すべきである。本明細書に適用される意味は当業者には文脈から明らかであ ろう。 Ｂ．好適実施形態のアーキテクチャ全体 本発明はビデオとオーディオの両方を含む「完全な」符号化ストリームを取り 扱う。好適実施形態は単一プログラムのＭＰＥＧストリームを取り扱う。つまり ＭＰＥＧ符号化ビデオ、オーディオ、その他のデータが単一のプログラムのＭＰ ＥＧストリームとして組み合わされる。このようなＭＰＥＧストリームを本明細 書ではプログラム・ストリームとして定義する。 所々で、判定または制限部分としてプログラム・ストリームのビデオ・ストリ ーム成分を取り扱うためだけに本明細書では詳細が提供される。このような場合 には、どのようにして本発明の方法と一貫するように符号化オーディオを処理す るかは当業者には明らかであろう。また、全ての場合で、ＭＰＥＧ以外の方法で 符号化されたストリームについて本発明を実現するのは当業者には明らかであろ う。 ビデオ符号化システムの一例を図１に図示す。エンコーダ１０５に非圧縮ビデ オ１０３を供給するためにはへビデオテープ・レコーダ（ＶＴＲ）等のプログラ ム・ソース１０１またはその他のプログラム・ソースを用いる。エンコーダ１０ ５は非圧縮ビデオ１０３を受信してビデオ圧縮処理を適用する。好適実施形態に おいて、ビデオ圧縮はＭＰＥＧ２標準で既定されている圧縮である。ビデオ圧縮 技術が実質的に均一で一貫した画質の画像を得るように復号化できるビデオスト リームを発生するために使用できるＶＢＲモードを提供するのは、本発明に必須 ではないが好適である。ＭＰＥＧを含む多くの圧縮方法ならびに標準はこのよう なＶＢＲモードを備えている。代表的には、エンコーダ１０５の圧縮出力１０７ は後で再生するため、または直接放送用データ・チャンネルへ送信するか またはその他の転送のためにディスクまたはテープ記憶媒体１０９等のデジタル 記憶媒体（ＤＳＭ）へ書き込まれる。つまりＭＰＥＧ標準の表記では、１０９は ＤＳＭまたはチャンネルである。 本発明の好適実施形態において、多数の圧縮プログラム・ストリームが図２（ ａ）および図２（ｂ）に図示したように単一の多重信号に合成される。マルチプ レクサ２０１は記憶１０９から取り出したか、または何らかの他の供給源たとえ ばエンコーダ２０９および／または衛星受信器２１１から取得したプログラム・ ストリーム２０３の各々を配給システム上ですぐに放送したり、記憶に戻して後 で放送できる単一の多重信号２０５に結合する。結合処理および装置とも呼ばれ る多重化処理およびその装置を使用する１つの利点は、個別のＶＢＲプログラム ・ストリーム２０３の統計的変動と比較してビデオの統計的変動を減少できるこ とである。更に、多重化方式は多重化符号２０５に含まれるプログラム・ストリ ームのいずれかを取り出すまたは観察する選択をビューワに提供する利点を有し ている。 好適実施形態の多重化は複数の圧縮プログラム・ストリームに対してまたは単 一のデータ・ストリームたとえばＶＢＲまたは何らかの圧縮プログラムの数個の セグメントを送信する場合についてのものである。単一のデータ・ストリームの 場合では、第１に図２（ａ）に図示してあるスプリッタ２０７を使用して圧縮プ ログラムを複数セグメントに分割する。たとえば、マルチプレクサ２０１によっ て結合されたプログラム・ストリーム２０３の幾つかまたは全部が同一のビデオ ・プログラムの別のセグメントに対応することがある。繰り返して同じプログラ ム・セグメントの多重信号を連続送信することにより、多重信号の各々の反復中 に異なるプログラム・セグメントを選択復号化することによって受信器は最終的 にプログラム全体を再構成することが可能になる。この技術は同時出願中で本発 明の参照に含めてあり、発明の名称が「ビデオプログラムの多重反復表現を提供 するビデオプログラムを表わすデータの符号化およびフォーマットのための方法 およびその装置」と題し、以下では「ビデオ・オンデマンド発明」と称する１９ ９４年１０月１９日出願の米国特許出願第０８／３２６，５１１号に詳細に開示 されている。ビデオ・オン・デマンド発明の１つの応用がビデオ・オン・デ マンドで、使用者は広範囲な時間間隔のいずれかの間にプログラムの視聴開始を 選択できる。 注意すべきは、また明らかなように、本発明の方法によるマルチプレクサ２０ １の多重化が付録の「オーディオ／ビデオの同期とＭＰＥＧ受信器」と題する§ ＤのＭＰＥＧ標準の状況で説明されているようなＭＰＥＧストリームのパックに 要素ストリームのパケットを多重化することではない点である。同様に、注意す べきは、ＭＰＥＧを使用する場合、本発明の状況でのプログラム・ストリームは 、通常、完全にパックレベルでＭＰＥＧストリームである点である。 プログラム・ストリーム２０３が同一ビデオ・プログラムの別のセグメントに 対応し多重化出力２０５が同一のビデオプログラムのこのように異なるセグメン トの多重信号であるような場合での分割および多重化が図３にさらに詳細に図示 してある。単一のオリジナル・ストリームの場合についての本発明の好適実施形 態において、圧縮プログラム１０７が最初にｎ個のセグメント３０３に分割され る。ここで各セグメント３０３が長さＴ秒の固定時間間隔３０７に対応する。図 ３に図示した実施形態において、長さＴの時間間隔３０７は３００秒（５分）で ある。セグメント３０３がＶＢＲ技術を用いて圧縮される場合、圧縮比を時間経 過に併せて変化させることができ、セグメントごとに違う量の圧縮データを含め ることができる。 図３に図示してあるように、セグメント化した単一ストリームの場合、ｎ個の 異なるセグメント３０３の各々が独立したプログラム・ストリームとなり、次に これらｎ個の独立したプログラム・ストリームの各々が同時に開始するように整 列される。これを本明細書では「スタックアップする」と称する。スタックアッ プしたプログラム・ストリーム２０３はマルチプレクサ２０１を用いて多重化さ れる。 各種の多重化技術が本発明の範囲から逸脱することなくマルチプレクサ２０１ で使用できる。このような多重化技術のうちの２つがビデオ・オンデマンド発明 に含まれている。前述したような第１の方法では、プログラム・ストリーム２０ ３の各々が可変サイズのパケットに分割され、各パケットには一定のピクセル数 に対応する圧縮データが含まれる。プログラム・ストリーム２０３の各々は 持続時間が同じであるから同じ個数のピクセルを表わしていることになり、プロ グラム・ストリーム２０３の各々は分割後に同数のパケットを含むようになる。 従って、Ｎ個のセグメントの各々からのパケットを多重化する場合には固定イン タリーブ化スキームを使用できる。 前述した第２の多重化方法では、プログラム・ストリーム２０３の各々は固定 サイズのパケットに分割され、各ストリームのパケット数は変化できる。マルチ プレクサ２０１は各々のデコーダで復号化しようとするシーケンスに従ってパケ ットを配列する。セット２０３の各ストリームの最後のパケットはパディングす るか切り詰める。 本発明の好適実施形態においては、前述の第２のスキームを使用する。つまり 、オリジナルの圧縮プログラム１０７は最初に固定長パケットに分割され、セグ メント化ストリームの場合にはスプリッタ２０３によりセグメントに分割される 。この方法の利点は、スプリッタ２０３によるプログラムのセグメント分割をピ クセル境界ではなくパケット境界で強制的に発生できる点にある。 多重化の前に単一のストリームをセグメント分割するのではなく数個のビデオ プログラムを多重化する場合にこの方法を修正することは当業者には明らかであ ろう。同様に、１つまたは２つ以上のプログラムのセグメントと１つまたは２つ 以上の独立したビデオプログラムを一緒に多重化するような複合的な場合での修 正も当業者には明らかであろう。 Ｃ．詳細な説明 デコーダ・バッファを平衡化するためのフローチャート 本発明の多重化方法では特定のプログラム・ストリームに「調整」されている 全ての受信器が同じ仮想デコーダを使用するものと仮定している。このようなデ コーダの各々は単一の選択したストリームからのデータを受信するために使用す る単一のバッファを有する。つまり、特定のプログラム・ストリームからのデー タを送出する時にはいつでも、本多重化方法は調整された仮想デコーダを含む特 定の通信チャンネルに沿ってデータが送出されるものと仮定している。本発明の 方法ではこの仮定を使用して、たとえば、仮想デコーダのバッファの満杯状態を 推定する。仮想デーコーダはいずれかのストリーム、すなわち、デコーダを含む 受信器が調整されているいずれかのストリームに対応する。本明細書で使用して いる用語「受信器」はデコーダを含む受信装置を表わす。このような仮想デコー ダについての仮定は本発明の方法を実施するデコーダまたは受信器の種類を必ず しも限定するものではない。むしろ、仮定をマルチプレクサで使用して幾つかの 決定を行なう。デコーダを異なるレベルでモデル化することが本発明の範囲内で 可能である。 本発明の方法の目的の１つは可能な限りスタフィング・ビットのフィル・パケ ット送出を回避することでチャンネル効率を最大限に増加させ、同時に１つのデ コーダ・バッファが他より先に満杯になる確率を最小限に押えることである。フ ィル・パケットを避けると、スタフィング・ビットが受信器で無視されるため効 率が向上する。本方法は可能な限りデコーダ・バッファのいずれかのアンダーフ ローを回避することでエラーを最小限に押える。 本発明の好適実施形態による多重化方法について、図４に図示したフローチャ ートを参照して説明する。プログラム・ストリーム２０３の各々は多重化の前に パケットに分割されていると仮定する。パケットが送出される度に、つまりマル チプレクサによって作成された多重信号の末尾に追加される度に、マルチプレク サは、ｎ個の異なるチャンネルに対応するデコーダ・バッファのいずれかが満杯 状態に近付きつつあるか否かを含む基準を用いて次のパケットを選択する。次の パケットの選択は、これらのバッファのどれも満杯状態に近付いていない場合、 ｎ個の異なるチャンネルに対応するデコーダ・バッファのどれが最初に空になる かを決定する。この場合にこのようなバッファへ次のパケットを送出することで デコーダ・バッファを平衡に保つ。決定ステップの複雑さはマルチプレクサでデ コーダのモデルをどの程度完全に維持するかによって定まる。モデルが完全にな ればなるほど、どのチャンネルに送出するかの決定に関係する計算量は少なくな る。 従って、本発明の１つの実施形態でマルチプレクサは送信しようとするｎ個の ストリームの各々に対応するデコーダ・バッファの満杯状態の現在のレベルの記 録を維持する。同一のチャンネルまたはストリームに対して調節してある全部の 受信器は同一のバッファ満杯レベルを維持するものと仮定し、ｎ個のデコーダ・ バッファまたはバッファ満杯レベルがマルチプレクサで維持または推定される。 図４（ａ）のフローチャートで示した本発明の実施形態において、最初に空にな るデコーダ・バッファに対応するチャンネルは各バッファ内にブロック数の記録 を保持することにより決定される。ここで「ブロック」は一定持続時間の表示(p resentation)に対応するデータのグループである。ブロックのサイズは本発明の 範囲から逸脱することなくあらゆる持続時間に対応するように選択できる。 図４（ａ）のフローチャートを参照すると、ステップ４０１で本発明の方法が 開始する。ステップ４０３では、本方法は全てのデコーダ・バッファが満杯かま たは満杯状態に近付いているかどうかを判定する。通常、これは当てはまらない ので本方法はステップ４０５で次のパケットを送出する次のチャンネルの選択に 進む。デコーダ・バッファを平衡させるには、ステップ４０５で、デコーダ・バ ッファでのブロック数が最も少ないチャンネルを選択する。このチャンネルはデ コーダ・バッファが最初に空になるチャンネルに相当する。その選択したチャン ネルについて、本方法はステップ４０７、対応するデコーダ・バッファが満杯状 態に近付いているか調べる。満杯または満杯状態に近付いている場合、ステップ ４１１で別のチャンネルを選択する。デコーダ・バッファを平衡させるため、デ コーダ・バッファが次に少ないブロック数を有しているチャンネルをステップ４ １１で選択する。本方法は更にステップ４０７で対応するデコーダ・バッファが 満杯状態に近付いているかもう一度調べる。このステップ４０７とステップ４１ １のループは満杯ではないか満杯状態に近付いていないチャンネルが選択される まで継続される。ステップ４０９で、本方法は選択したチャンネルに次のパケッ トを送出する。つまり、本方法は多重信号の最後に次のパケットを追加する。 本発明の方法によって、デコーダ・バッファの各々は単位時間で測定した場合 にほぼおなじ量のデータを各バッファが保持していると言う意味で一般に平衡す るとしても、選択されたデコーダ・バッファが次に利用可能なパケットを受け入 れるには満杯になりすぎていることがステップ４０７で判明することが当業者に 理解されよう。この潜在的なオーバフローの理由は各バッファの（単位時間に対 する）実際のデータ量がその時点で異なる、もとのビデオ・ストリームの相対的 な複雑さに応じて変化するためである。つまり、バッファ内のデータ量はその時 点での対応するストリームの圧縮レベルに応じて変化することがある。従って、 バッファ内で最小時間単位のチャンネルが満杯状態に達する一方で他のバッファ は未だ比較的空に近いことがあり得る。本発明の方法は送出しようとする次に利 用可能なパケットを受け入れるには満杯すぎる全てのバッファへのパケット送出 を回避する。 ステップ４０３では、全てのデコーダ・バッファが満杯になっていることが検 出される。このような場合、本の方法は代替えのパケットを送出する。好適実施 形態において、代替えのパケットはスタフィング・ビットのフィル・パケットで ある。すでに述べたように、フィル・パケットは受信器で無視される。 本発明の方法の他の実施形態においては、ステップ４０３は開始時には明らか に実行されない。逆に、ステップ４０７とステップ４１１の連続的な繰り返しの 後で、満杯状態に近付いていないデコーダ・バッファのチャンネルが見付からな かった場合に、別のパケットたとえばフィル・パケットがステップ４０９におい て送信する次のパケットとして選択される。 マルチプレクサで保持されるデコーダ・モデルの複雑さを低減するため、１実 施形態によれば、最初に空になるデコーダ・バッファのステップ４０５での決定 はデコーダ・バッファでのデータのパケットの復号タイムスタンプを検索するこ とにより行われる。付録で定義しているように、ＭＰＥＧ標準では、復号タイム スタンプ(Decoding Time Stamp，ＤＴＳ)はパケット・ヘッダに存在するデータ で、パケットの第１番目のユニットを復号化しようとする時刻を表わし、ここで ユニットはオーディオ・フレームまたはビデオ・フレームである。システム・ク ロック基準（ＳＣＲ）は特定バイトをいつデコーダに入力すべきかを定義してい るパック・ヘッダのタイムスタンプであるから、時間毎にデコーダの基準クロッ クをセットするために使用できる。図４（ａ）のフローチャートのステップ４０ ５で、最初に空になるデコーダ・バッファはデコーダ・バッファの最後の （即ち最も最近の）パケットについてのＤＴＳの値とデコーダ・モデルの基準ク ロックの現在値との間の差が最も小さいバッファである。この最少差は最小の時 間量即ち最少のブロック数を含むデコーダ・バッファ内のデータで存在する。他 の実施形態においては、デコーダ基準クロックの現在値を使用する代わりに、最 初に空になるデコーダ・バッファはデコーダ・バッファの最後の（即ち最も最近 の）パケットについてのＤＴＳの値とデコーダ・バッファ内の第１番目の（即ち 最も古い）パケットの値との間の差が最も小さいバッファであるとする。 マルチプレクサに保持されるデコーダ・モデルの複雑さを更に減少するために は、１実施形態によると、図４（ｂ）のフローチャートに示した方法では、図４ （ａ）のステップ４０７で、対応するデコーダ・バッファが満杯すぎるか否かを 決定する。決定方法は、特定チャンネルが選択される図４（ａ）のステップ４０ ５の後またはステップ４１１の後のどちらかで開始する。ステップ４２１では、 テンポラリインデックス(temporary index)ｊが選択されたチャンネルｉについ てデコーダ・バッファ内の第１番目の（即ち最も古い）パケットのインデックス にセットされる。このインデックスはＪ０_iと表記する。ステップ４２３で、ｔ ｓ_ij即ちインデックスｊに対応するパケットについての復号タイムスタンプが、 ＳＣＲ_i即ちそのチャンネルへ次に送信しようとするパケットのシステム・クロ ック基準（system clock reference，ＳＣＲ）、またはその時点でＳＣＲが存在 していなければ、デコーダ・モデルの基準クロックと比較される。ステップ４２ ３では、ＤＴＳに基づいて、バッファ内のパケットがすでに除去されているか判 定し、この場合には（１）ステップ４２５でＢ_i即ち現在のバッファの満杯状態 の予測が最も古いパケットのサイズであるｎ_ijだけ減少され、（２）ステップ４ ２７でＪ０_i即ち第１番目の（最も古い）パケットに対応するインデックスがイ ンクリメントされ、（３）手順が開始ステップ４２１へループバックする。もし も最も古いパケットが、ステップ４２３で、まだデコーダ・バッファにあると決 定された場合、次のパケットを送出する影響は、次のパケットのサイズｍ_iを現 在のバッファの満杯状態の予測値Ｂ_iに加算することによってステップ４２９で 決定され、得られたＢ_iはステップ４３１で選択したチャンネルｉについて最大 限許容されるデコーダ・バッファのサイズＢＭＡＸ_iと比較 される。バッファの満杯状態Ｂ_iが最大許容バッファサイズＢＭＡＸ_iより小さい 場合には、（１）ステップ４３３でテンポラリインデックスｊがＪ１_i、このイ ンデックスは選択したチャンネルｉについてデコーダ・バッファの最後の（最も 最近の）パケットに対応するが、Ｊ１_iより１つ多くなるようにセットされて、 （２）インデックスｊに対応するパケットのサイズであるｎ_ijが次のパケットの サイズであるｍ_iにセットされ、（３）インデックスｊに対応するパケットの復 号タイムスタンプｔｓ_ijがチャンネルｉからの次のパケットのＤＴＳであるＤＴ Ｓ_iにセットされて選択したチャンネルｉについてのデコーダ・バッファ内の最 後の（最も最近の）パケットに対応するインデックスがインデックスｊにリセッ トされて、本方法は図４（ａ）のステップ４０９に進み、ここでパケットが選択 されたチャンネルｉへ送信される。ステップ４３１でバッファの満杯状態が最大 許容量より大きいと判定された場合には、ステップ４４１で現在のバッファ満杯 状態の予測値Ｂ_iが次のパケットのサイズｍ_iだけデクリメントされ、本方法は図 ４（ａ）のフローチャートのステップ４１１へ進みここで別のチャンネルを選択 する。 図４（ｂ）のフローチャートにおいて、Ｊ０_iとＪ１_iをインクリメントするス テップは、Ｋを何らかの充分に大きな定数としてモジュロＫを実行しても良い。 以上で、符号化ビデオを多重化し固定バンド幅チャンネルを含むチャンネルへ 送出しつつ、圧縮前の信号の完全な品質を保持するために使用できる方法が開示 された。 サーバ装置の説明 本発明の方法を使用して符号化多重信号２０５を生成することができるサーバ ・システムの好適実施形態が図５に示す。圧縮プログラム用のオンライン記憶が 個別のサーバ・モジュール５０３に与えられる。たとえば、各サーバ・モジュー ルはＶＢＲ（またはその他の）符号化技術を使用して圧縮された１つのプログラ ムを含むのに充分な容量のハードディスクを有する。１つまたは２つ以上 の磁気テープ・ドライブ装置と磁気テープのライブラリで構成されるアーカイブ ・ライブラリ５０５により追加のオフライン記憶を提供することが出来る。この ライブラリに記憶されるプログラムは同じ圧縮フォーマットで存在していても良 い。新しいテープをアーカイブ・ライブラリに追加するか、またはビデオ・テー プレコーダ（ＶＴＲ）などのプログラム・ソース５０７を用いて未圧縮ビデオを エンコーダ５１１に供給することによって、新規のプログラム素材をシステムに 含めることができる。コントローラ５０９はシステムの動作を制御するために使 用される。好適実施形態において、コントローラはコンピュータである。コント ローラ５０９はプログラミング・スケジュールを入力または変更する際のオペレ ータとのインタフェースとして働き、アーカイブ・ライブラリ５０５またはエン コーダ５１１とサーバ・モジュール５０３との間のプログラム転送を制御し、プ ログラムを分析したり、または各プログラムの特徴を記述するファイルを保持し 、本発明に従って多重符号をどのように作成すべきか決定する。コントローラは １つまたは２つ以上の選択されたサーバ・モジュール５０３からの圧縮プログラ ム・データを受け入れるように個々のＭＵＸモジュール５１３に指示する。各Ｍ ＵＸモジュール５１３は出力データ・レートがチャンネル容量以下に低下した場 合にフィル・データを挿入する。ホストから正しく命令された場合、ＭＵＸモジ ュール５１３は更に本発明によりポーズを導入したり、他のサーバ・モジュール ５０３の１つから供給されたメッセージまたはその他のプログラム素材を挿入し たりする。 以上で、多重化ビデオプログラムを配信するチャンネル利用率を改善するため の方法ならびに装置を開示した。 本発明の好適実施形態ならびに代替実施形態についての前述の説明は図示と説 明を目的として提示されている。これは開示された正確な形態に対して本発明を 網羅することまたは制限することを意図したものではない。上記の教示に鑑みて 明らかに修正または変更が可能である。企図される特定の使用方法に適合するよ うに、各種実施形態に各種変更を伴って当業者が本発明を利用できるようにする ために、本発明の原理の最良の図示とその具体的応用を提供するように実施形態 を選択し説明してある。これらの修正および変更は全て、公正、合法的、公平に 譲受される範囲において解釈された場合に添付の請求項に定める通り本発明の範 囲内に含まれるものである。 付録：ビデオ符号化とＭＰＥＧの手引き Ａ．用語 便宜のため、本発明の説明に用いる幾つかの用語をここで定義する。この用語 集部分に列挙した用語に隠れている概念は後続の章で説明してある。用語の幾つ かは従来技術で１つ以上の語義を有することがある点に注意すべきである。説明 部分に適用できる語義は当業者には明らかであろう。 ＭＰＥＧ： ＭＰＥＧ標準、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥ Ｃ）標準。２種類のＭＰＥＧのバリエーションが合意されている：ＭＰＥＧ１は 、ＩＳＯ／ＩＥＣ文書１１１７２（「デジタル記憶媒体用の動画とこれに関連し たオーディオの符号化」）に記載されている。ＭＰＥＧ２は、ＩＳＯ／ＩＥＣ文 書１３８１８（「動画とこれに関連したオーディオ情報の汎用符号化」）に記載 されている。本明細書で用いているように、ＭＰＥＧはＭＰＥＧ１またはＭＰＥ Ｇ２のいずれかを区別せずに表わしている。 遠隔符号化： 物理的に遠隔地であるためか、または他の理由によるかいずれか により、他の何らかのプログラムの符号化とは独立し、符号化ストリームの何ら かの多重化とも独立しているプログラムを符号化すること。 フレーム： オーディオ符号化の基本単位。ＭＰＥＧオーディオ・ビットストリ ームはフレームに分割されている。用語「フレーム」はビデオ・シーケンスの単 位としても共通に使用される。ビデオ・フレームは本明細書ではしばしば「ピク チャ」と称する。 ピクチャ： ビデオ・フレーム、ビデオシーケンスの単位。 ピクセル： ピクチャの「画素」。デジタルビデオおよびビデオ符号化の技術で は、ピクチャは画素の離散２次元アレイと考えられる。 ペル： 画素。ピクセルと同じ。 フィールド： ビデオでは、別々に送信されるピクチャのピクセルのサブセット 。インタレース化では、ピクチャは２つまたは３つ以上のフィールドに分割され る。ＮＴＳＣとＰＡＬでは、各フィールドはピクチャの１本おきの水平走査線の 画素で構成される。 インタレース化： ２つまたは３つ以上のフィールドにピクチャを分割すること 。 イメージ符号化： 画像圧縮技術。 カラー量子化： そのピクセルを表わすのに必要なピクセルでビット数を減少す ること。カラー量子化はピクセルのカラーを表わす数のデジタル化も意味する。 内部符号化： カラー量子化を含むピクチャの空間的冗長性を考慮しているがピ クチャ間の時間的変化を使用しないような画像符号化。 画像間符号化： ビデオシーケンスでピクチャ間の時間的冗長性を利用するよう な画像符号化。 フレーム内符号化： 内部符号化と同じ。 フレーム間符号化： 画像間符号化と同じ。動き予測：ビデオシーケンスでピク チャ間の動きによる空間的移動を計算すること。 動き補償： 動き予測を用いてビデオシーケンスでピクチャ間の動きを補償する こと。 Ｉピクチャ： ＭＰＥＧで、純粋に内部符号化を使用する、即ち他のピクチャと は独立して処理されるピクチャ。 Ｉフレーム： Ｉピクチャと同じ。 フレーム内符号化ピクチャ： Ｉピクチャと同じ。Ｐピクチャ：ＭＰＥＧで、直 前のＩピクチャまたは直前のＰピクチャを用いて符号化されるピクチャ。Ｐピク チャの圧縮は順方向動き予測および補償を用いて先行するＩまたはＰピクチャか らの時間的予測に依存する。 Ｐフレーム： Ｐピクチャと同じ。 予測符号化ピクチャ： Ｐピクチャと同じ。 Ｂピクチャ： ＭＰＥＧで、直前のＩまたはＰピクチャと将来のＩまたはＰピク チャからの双方向動き予測および圧縮により符号化されるピクチャ。 Ｂフレーム： Ｂピクチャと同じ。 双方向符号化ピクチャ： Ｂピクチャと同じ。 アンカー・ピクチャ： ＭＰＥＧでは、Ｐピクチャについて、そのＰピクチャを 予測するために使用されるＩまたはＰピクチャ。Ｂピクチャについて、そのＢピ クチャから時間的に一方が順方向、他方が逆方向で、各々そのＢピクチャを時間 的に逆方向および順方向に予測するために使用される、隣接するＩまたはＰピク チャのどちらか。 基準ピクチャ： アンカー・ピクチャと同じ。 基準フレーム： アンカー・ピクチャと同じ。 可変ビットレート（ＶＢＲ）符号化： 時刻とともにオリジナルのビデオ・シー ンの異なる複雑さを考慮するように出力ビットレートが時間とともに変化する画 像符号化。ＶＢＲ符号化は均一な画質を達成する符号化にしばしば関連する。 ＭＰＥＧストリーム： ＭＰＥＧでは、１つまたは２つ以上のオーディオ・スト リームおよびその他のデータたとえばタイミング情報と多重化された１つまたは ２つ以上のビデオ・ストリームを代表的に含むビット・ストリーム。 プログラム・ストリーム： 通常はビデオ、オーディオ、その他そのプログラム に関係するデータ・ストリームを全て含む単一ビデオ・プログラムについての符 号化ストリーム。一例としてはあるプログラムのＭＰＥＧストリームがある。 要素ストリーム： ＭＰＥＧでは、ビデオ・ストリーム、オーディオ・ストリー ムまたはプライベート・データ・ストリームのこと。 ビデオ・ストリーム： 符号化ビデオ情報のビットストリーム。 オーディオ・ストリーム： 符号化オーディオ情報のビットストリーム。 パケット： ＭＰＥＧでは、要素ストリームの基本単位のこと。パケットはパケ ット・ヘッダとパケット・データとを含む。 パケット・ヘッダ： ＭＰＥＧでは、各パケットのヘッダのこと。パケット・ ヘッダはストリーム識別符号を含み、１つまたは２つ以上のタイムスタンプを含 むことがある。 パック： ＭＰＥＧでは、ＭＰＥＧストリームの基本単位のこと。各パックはパ ック・ヘッダと、１つまたは２つ以上の要素ストリームからのパケットを含む。 パック・ヘッダ： ＭＰＥＧではパックのヘッダで、タイムスタンプを含むこと がある。タイムスタンプ：ＭＰＥＧでは、復号化中の同期とビューワへの提示(p resenteation)のための手段を提供するパックまたはパケット内の情報のこと。 マルチプレクス・ワイド・オペレータ： ＭＰＥＧでは、パックに対して復号化 時に実行され、ＤＳＭまたはチャンネルから取り出す座標、クロックの調節、お よびバッファの管理を含む演算。 ストリーム独自の演算： ＭＰＥＧでは、１つの要素ストリームに対して復号化 時に実行され、デマルチプレクシングと再生同期とを含む演算。 ＤＳＭ： デジタル記憶媒体の一般的用語で、デジタル記憶または伝送装置また はシステムを表わすのに用いられる。符号化の場合、符号化データはＤＳＭまた はデータ・チャンネルへ送出され、復号化の場合には、符号化データはＤＳＭま たはデータ・チャンネルから取得する。 ソースクロック基準（ＳＣＲ）： ＭＰＥＧでは、ローカル・クロックをマスタ ー時刻基準に調節するために使用されパック・ヘッダ内に存在するデータのこと 。 復号タイムスタンプ（ＤＴＳ）： ＭＰＥＧでは、パケット・ヘッダに存在しパ ケット内の最初のユニット（オーディオ・フレームまたはビデオ・フレーム）を 復号化すべき時間を表わすデータ。 プレゼンテーション・タイムスタンプ（ＰＴＳ）： ＭＰＥＧでは、パケット・ ヘッダに存在しパケット内の最初のユニット（オーディオ・フレームまたはビデ オ・フレーム）をビューワに提示すべき時間を表わすデータ。 システム・タイムクロック（ＳＴＣ）： タイムスタンプを作成するために用い る共通の時刻基準。符号化データのタイミング（ＳＣＲ）とデータ提示のタイミ ング（ＰＴＳおよびＤＴＳフィールド）の測定値を均一化するための共通の時刻 基準の使用で正しい同期とバッファ管理を保証する。 システム・ターゲット・デコーダ（ＳＴＤ）： ＭＰＥＧでは、ＭＰＥＧストリ ームを作成するために符号化で使用されるデコーダの仮想モデル。ＳＴＤと同じ アーキテクチャまたはタイミング構造では実際のデコーダを実装しなくとも良い 。 受信器： デコーダを含む装置のこと。一般に、受信器はデコーダ、チューナ、 復調器を含む。 基準クロック： デコーダのローカル・クロック。 チャンネル： 本発明の状況下では、特定のプログラム・ストリームのこと。チ ャンネルという単語は他の意味、たとえば通信チャンネルやデータ・チャンネル 等、デジタルデータを格納または伝送するデジタル媒体の意味も有している。 チャンネル・バッファ： 特定のプログラム・ストリームに合わせて微調整して あるデコーダのバッファ。 ブロック： 本発明の多重化方法では、一定の持続時間の提示に対応するデータ の任意のグループ化。ＭＰＥＧでは、「マクロブロック」は動き補償および適応 量子化の単位であるブロックで、一定量の空間データを表わす。ＭＰＥＧのマク ロブロックは１つまたは２つ以上の輝度ブロックと１つまたはそれ以上の色差ブ ロックを更に含む。 リオーダ・バッファ： ＭＰＥＧでは、ピクチャのシーケンスが提示前にリオー ダされている間にＩまたはＰピクチャを記憶するためにビデオ・デコーダで使用 するバッファのこと。これはＢフレームの存在で必要とされることが多い。スタ フィング・ビット：ＭＰＥＧではストリームのビットレートを増大する目的で圧 縮ビットストリームに挿入される余剰のスタフィング／コードビット。スタフィ ング・ビットは復号化中に破棄される。 スタフィング・バイト： ８スタフィング・ビット。 ＭＰＥＧプロファイル： ＭＰＥＧ２では、画像／ピクチャの解像度。放送品質 で最も共通するプロファイルはメイン・プロファイルである。 メイン・プロファイル（ＭＰ）： ＣＣＩＲ−６０１ビデオのＭＰＥＧ２プロフ ァイル。 ＭＰＥＧレベル： ＭＰＥＧ２では、最小限の仕様のセットとＭＰＥＧ２の特徴 のサブセット。 媒体レベル（ＭＬ）： 共通のＭＰＥＧ２レベル。 ＭＰ＠ＭＬ： ＭＰＥＧ２では、ＭＰとＭＬの適合性。ＭＰ＠ＭＬ適合デコーダ は少なくともデコーダ・バッファ記憶容量を１．８メガビット有する。 Ｂ．デジタルビデオ符号化 ビデオプログラムは代表的に「フレーム」の順序付けたシーケンスとして構成 され、各フレームは時間的に特定の一点のシーンを表わす。用語「フレーム」は オーディオ圧縮技術でも使用され、ＭＰＥＧ標準では圧縮オーディオの基本単位 を表わすことに注意すべきである。そのため、用語「ピクチャ」も本明細書では ビデオ・フレームを示すために使用している。各ビデオ・フレームは画素（ピク セルまたはペルと呼ばれる）のに次元アレイに離散していると考えることができ 、各フィールドがピクチャのピクセルのサブセットで構成されている２つまたは ３つ以上のフィールドに分割することができる。このような分割方法をインタレ ース化と呼ぶ。ＮＴＳＣ（米国および日本）、ＰＡＬやＳＥＣＡＭ（世界中）の テレビジョン放送規格では、たとえば、各ビデオ・フレームは２枚のフィールド から構成され、各フィールドはピクチャの水平走査線１本おきのピクセルで構成 されている。 各ピクセルは色（色相と飽和度）と輝度を再現するための情報を含み、このデ ータは様々な方法で表現できる。１つの方法としては、色と輝度を再現するのに 必要とされる赤、緑、青（ＲＧＢ）の三原色の相対量に対応する赤、緑、青の値 とする。テレビジョン・ディスプレイで共通の陰極線管は、電子銃にかかる電圧 に応答して画面上に赤、緑、青を表現する電子銃を備えている。データは強度デ ータ（たとえばルミナンス）およびカラーデータとして各ピクセルで表現しても 良く、ここでカラーデータはクロミナンス座標、色相と飽和度座標、またはその 他何らかの方法で表現される。ピクセル情報を表現する様々な方法の間で変換す るための技術が公知である。 各ピクセルの情報はデジタル的に表現できる。つまり、ビデオプログラムは各 ビデオ・フレームのピクセル値を記述する順序付けたビットのシーケンスから構 成されるデジタルデータ・ストリームに変換できる。同様に、プログラムに関係 するオーディオをデジタルデータに変換したり、ピクチャ毎にビデオで識別する ことができる。 ビデオ・データを圧縮できることは従来技術では周知となっている。第１に、 個別の各ピクセルを表現するために要求されるビット数をピクセル毎に減少でき る。つまり、いずれか他のピクセルのデータを参照せずに各ピクセルのデータを 処理（低減）する。第２に、フィールドまたはピクチャを表現するに要求される ビット数はフィールドまたはピクチャの空間的冗長性を利用することで減少でき る。たとえば、均一でゆっくりと、またはスムーズに変化する色または輝度の領 域は変化やエッジが多い領域より少ないビット数（即ち少ないデータ）で表現で きる。第３に、ピクチャのシーケンスを表現するために要求されるビット数は時 間的冗長性−−時間的にゆっくり変化するかまたはほとんど全く変化しないシー ケンスのピクチャにある領域−−を利用することで減少できる。画像圧縮技術は 「画像符号化」とも呼ばれる。上述の第１の方法は色量子化と呼ばれ、第２の方 法はフレーム内符号化または内部符号化と呼ばれ、色量子化を含むのが代表的で 、第３の方法はフレーム間符号化または画像間符号化と呼ばれ、必ずではないが 代表的には内部符号化を含む。 Ｃ．ＭＰＥＧビデオ符号化標準 本発明の好適実施形態はＭＰＥＧ標準に従って圧縮してあるビデオストリーム に対するものである。当業者には理解されるように、本発明は他の圧縮方法を用 いて圧縮されているビデオストリームでも使用できる。 ＭＰＥＧ標準のビデオ部分では動き補償予測符号化、ディスクリートコサイン 変換（ＤＣＴ）、および適応量子化を使用し、これらは各々がブロック毎に画像 を処理する。「動き予測」はピクチャ間の空間移動（動きベクトルの形で）を計 算する処理を表わし、ピクチャ毎にピクセルのブロックの動きを測定することで 行なわれるのが普通である。「動き補償」は得られた動きベクトルを用いて動き を補償するものである。ＭＰＥＧでは順方向動き予測（予測は過去を参照して将 来について行なう）と逆方向動き予測（予測は将来を参照して過去について行な う）との両方を使用する。順方向および逆方向動き予測も双方向動き予測を発生 するように組み合わせられる。 圧縮しようとするビデオ・フレームは代表的には輝度をＹで表わす輝度ピクセ ルのアレイと、クロミナンス信号が各々Ｃr とＣb で表わされるクロミナンス・ ピクセルの２アレイでで構成される。 ＭＰＥＧ圧縮方によれば、ビデオ・フレーム（ピクチャ）は３種類のうちの１ つに分類される：Ｉピクチャやフレーム間符号化ピクチャとも呼ばれるＩフレー ム、予測符号化ピクチャとも呼ばれるＰフレームまたはＰピクチャ、双方向符号 化ピクチャとも呼ばれるＢフレームまたはＢピクチャである。これら３種類のビ デオ・フレームは動き予測の使用方法に相違が見られる。 Ｉピクチャは純粋に空間圧縮を使用し他のピクチャとは独立して処理される。 つまりＩピクチャは全くフレーム内演算によって処理され中等度レベルの圧縮の み実現される。その一方で、完全なピクチャがＩピクチャ単独で生成できる。 ＰピクチャとＢピクチャも予測符号化を使用しており、これらも独立したピク チャであると考えることができる。 Ｐピクチャは直前のＩピクチャまたは直前のＰピクチャを使用して符号化され ている。Ｐピクチャの圧縮は動き補償を用いて直前のＩまたはＰピクチャからの 時間的予測に依存している。順方向動き予測／補償だけを時間的予測に使用する 。Ｐピクチャが時間的に予測されるＩまたはＰピクチャはＰピクチャに対する「 アンカー・ピクチャ」と呼ばれる。これはまた基準ピクチャまたは基準フレーム とも呼ばれる。 Ｂピクチャは双方向動き補償予測エンコーダによって逆方向予測では次の「将 来の」ＩまたはＰピクチャまた順方向予測では直前のＩまたはＰピクチャを使用 して符号化される。Ｂピクチャが時間的に予測される２つの隣接したＩまたはＰ ピクチャはＢピクチャの「アンカー・ピクチャ」と呼ばれる。Ｂピクチャの時間 的予測では順方向および／または逆方向に動き補償を使用する。Ｂピクチャは他 のピクチャの予測には絶対に使用されない。２つの隣接するアンカー・ピクチャ に対するＢピクチャの依存から、Ｂピクチャは単独では、認識可能なピクチャを 生成するために充分なデータを含まない。 ＭＰＥＧ標準によれば、ピクチャは順序付けたグループに構成される。標準で はエンコーダにＩピクチャの頻度と位置を選択することを許容している。ピクチ ャのグループはシーケンスへのランダム・アクセスを支援するように 意図しているので、グループで最初に符号化されるピクチャは通常Ｉピクチャで ある。代表的なグループは、一例として第１のピクチャにＩピクチャ、その後３ 枚目毎のピクチャに分散したＰピクチャと、「ＩとＰ」および「ＰとＰ」のシー ケンス全ての間のＢピクチャとを含むような一連のピクチャである。つまりこの 例に一致するピクチャ種別の代表的な表示順序は、１５フレーム毎にＩピクチャ を含み、各々のＩピクチャには２つのＢピクチャが続き、次にＰピクチャとそれ に続く２つのＢピクチャのシーケンスがあり、これがＩピクチャで始まる次のグ ループまで続く。つまり、表示順序はＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰ ＢＢＰＢＢ．．．となる。１５フレーム毎にＩピクチャを含む毎秒３０ピクチャ の環境は１／２秒毎に独立したピクチャを有することに相当する。 ＭＰＥＧ標準によれば、ビデオ信号をデジタル化した後、デジタルデータはマ クロブロックに構成される。マクロブロックは動き補償と適応量子化の単位であ る。多数のマクロブロックに１枚のピクチャが含まれる。各マクロブロックはあ るピクチャの所定の空間領域を定義しており、輝度とクロミナンス情報を含む。 ＭＰＥＧ勧告はマクロブロックのスライス構成を提供している。スライスはマ クロブロックのラスタからの整数個の連続マクロブロックである。スライスはマ クロブロック・パラメータの微分符号化たとえばＤＣＴのＤＣ係数や動きベクト ルが実行される境界を表わす。各スライスはそれ自身のヘッダ情報を有し、他の スライスから独立することができ、各々には少なくとも１つのマクロブロックを 含む。スライスはオーバラップしない。スライスの位置はピクチャ毎に変化する ことがある。第１のスライスはピクチャの第１のマクロブロックから始まり、最 後のスライスはピクチャの最後のマクロブロックで終る。スライスの第１のマク ロブロックにはそのマクロブロック・パラメータ、たとえばＤＣＴのＤＣ係数（ フレーム間符号化の場合）や動きベクトル等を有し一定値から微分符号化されて いる。スライス内で後続の各マクロブロックはスライス内の直前のマクロブロッ クからのオフセットとして測ったマクロブロック・パラメータを有している。そ のため、スライスのサイズはデータの塊を復元して正しく復号化すること のできる最小サイズである。スライスの一部が失われた場合、スライスの残りの 部分に含まれる動きベクトルの差分またはＤＣ係数を復号化できない。 マクロブロックは４つの８×８輝度ブロック（Ｙ₀，Ｙ₁，Ｙ₂，Ｙ₃）と２つの ８×８色差ブロック（Ｃ_rとＣ_b）を含む。４つの輝度ブロック（Ｙ₀，Ｙ₁，Ｙ₂ ，Ｙ₃）と２つの８×８色差ブロック（Ｃ_rとＣ_b）は単一のマクロブロックを構 成し、ピクチャ内の同じ空間領域をカバーする１６×１６画素配列を符号化する ために使用される。前述したように、マクロブロックは動き補償と適応量子化の 最小単位として用いられる。 ＭＰＥＧ標準によれば、動き補償予測符号化はＰピクチャまたはＢピクチャの 全てのマクロブロックについて動きベクトルを計算することで実行する。ＭＰＥ Ｇ圧縮は通常、マクロブロック毎に動きベクトルを符号化するが、これを計算す る技術は指定していない。つまり、ＭＰＥＧ規格に適合する様々な各種動き予測 技術を実現できる。たとえば１つの技術は輝度信号でピクセルのブロックのピク チャ間相関から動きベクトルを計算し、マクロブロックの輝度成分について動き ベクトルを得るものである。 各マクロブロックを符号化する最良のモードが選択される。任意のピクチャ内 部で、各マクロブロックは幾つかの異なるモードの１つに符号化される。フレー ム内符号化モードは空間情報だけが使用されるマクロブロック符号化を表わす。 逆に、（順方向動き、逆方向動き、および双方向動き）フレーム間符号化モード は代表的には動き補償予測符号化での時間的予測について、現在のピクチャ以外 のピクチャからの情報が符号化で使用されるマクロブロック符号化を表わす。Ｉ ピクチャのマクロブロックでは、フレーム内符号化モードだけが利用可能である 。 代表的エンコーダでは、ＭＰＥＧ標準で指定されていないが、Ｐピクチャ・マ クロブロックを最初に調べて動き補償なしのフレーム間符号化が適切かどうか判 定する。この決定は動き補償なしのフレーム間符号化から得られるマクロブロッ クについての順方向予測残余の輝度エネルギーを計算し、これを閾値と比較する ことで行なう。残余エネルギーが閾値以下の場合、マクロブロックは動き補償な しで符号化される。それ以外の場合、順方向動き補償を伴うフレーム間符号化か らの残余マクロブロックを導出して、符号化モード選択の最後のステップとして フレーム間符号化またはフレーム内符号化を使用すべきかどうか決定するために 使用する。 Ｂピクチャ・マクロブロックも同様に処理してフレーム間符号化が適切かどう か判定する。Ｂピクチャは双方向符号化できるので、フレーム間符号化は先行及 び後続のアンカー（即ちＩまたはＰ）ピクチャに基づいて、順方向または逆方向 のどちらかとすることができる。これはまた先行および後続のアンカー・ピクチ ャからのマクロブロックの平均に基づいても良い。動き補償を用いるフレーム間 符号化の場合、順方向、逆方向、双方向の３種類のモードが考えられる。Ｂピク チャ・マクロブロックの符号化モード選択は輝度予測残余エネルギーに基づいて 決定する。 ＰとＢピクチャ・マクロブロック双方で符号化モード選択の最後のステップは フレーム間符号化とフレーム内符号化の間の選択である。一般に、Ｐピクチャと Ｂピクチャはフレーム間符号化を用いて符号化されている。この選択は輝度フレ ーム間（動き補償ありまたはなし）予測残余マクロブロックのエネルギーに対し てオリジナルのマクロブロックの輝度エネルギーを比較することで行なえる。オ リジナルのマクロブロックの方が予測残余マクロブロックよりエネルギーが小さ い場合、フレーム内符号化モードを選択する。 動きベクトルを計算した後、各マクロブロックは変換符号化される。つまり、 マクロブロックはピクセル・ドメインからＤＣＴ係数ドメインへ変換される。各 ピクチャのピクチャ情報（即ちＩピクチャでのピクセル値、またＢとＰピクチャ での予測後残余エラー）がＤＣＴを用いて変換され、次に適応量子化される。Ｄ ＣＴを実行する目的で、ピクチャ（ビデオ・フレーム）をたとえば値のブロック に（即ちＤＣＴ係数のアレイに）分割する。 ＤＣＴ処理ではジグザグ走査フォーマットで（即ち低周波係数に高周波係数が 続く）ＤＣＴ係数のブロックを生成する。このジグザグ走査構成により後続のラ ンレングス符号化処理が容易になる。周波数が両方の次元でゼロになっているＤ ＣＴ係数はＤＣ係数と呼ばれる。 次に、ＤＣＴ係数の各ブロックについて適応量子化を実行する。ＤＣＴ係数に 適応量子化を適用した後、係数は差分符号化、ランレングス符号化、可変長符号 化等周知の技術を用いた圧縮を行なう。その結果、ビデオ圧縮エンコーダ・モジ ュールが可変長コードワードの形で符号化データを作成し、これには選択した符 号化モードと復号化に必要な全ての動きベクトルに関する情報が含まれることに なる。各種ヘッダも符号化ビットストリームに組み込まれて走査線あたり画素数 としてのピクチャサイズやピクセル・アスペクト比等の情報を提供する。ビデオ 圧縮エンコーダ・モジュールは符号化データがどのピクチャを表わすかまた符号 化データがどのマクロブロックとスライスを表わしているかを記述した情報も出 力する。 コードワードは可変長符号化圧縮ビデオストリームの高信頼性供給を提供する のに必要とされる他のＭＰＥＧ特有のデータで更に符号化される。Ｄ．ＭＰＥＧ オーディオ符号化標準 ＭＰＥＧはオーディオ符号化標準も含んでいる。ＭＰＥＧ１オーディオでは、 モノ、ステレオ、２か国語プログラム等で有用な独立した２チャンネルによるデ ュアルモード、およびチャンネル間（左−右）依存も用いてビットレート低減を 計ったジョイント・ステレオと呼ばれるモードをサポートする。ＭＰＥＧ１オー ディオ圧縮の最初の段階では、オーディオ信号をスペクトル・サブバンド成分に 変換し、次に各々のサブバンドを量子化する。音響心理学的モデルを符号化処理 に使用することができる。ＭＰＥＧ２ではデュアルスタンダードとして、ＭＰＥ Ｇ１下位互換符号化と非下位互換符号化の多チャンネルのサポートが追加されて いる。 ＭＰＥＧオーディオ・ビットストリームは「フレーム」と呼ばれる単位に分割 される。ＭＰＥＧ１オーディオ・ストリームは可変長フレームで構成され、各フ レームはＭＰＥＧ１ヘッダで開始し、次にＭＰＥＧ１オーディオ信号、更に補助 データ用に予約されておりＭＰＥＧ１デコーダでは無視される可変長フィールド が続く。 この状況下での用語「フレーム」はビデオ・フレームと混同すべきではない。 そのため、本明細書ではビデオ・フレームを表わすために用語「ピクチャ」を使 用している。 下位互換ＭＰＥＧ２オーディオ・ストリームはＭＰＥＧ１フレームの補助デー タ用フィールドに必要なＭＰＥＧ２多チャンネル拡張信号を含むフレームを有し ている。 本発明ではビデオとオーディオ両方を含む完全なＭＰＥＧストリームを取り扱 っている。本明細書ではビデオストリームの処理についてのみ詳細を提供してい るが、これはたとえば、オーディオ処理の決定または制限部分を本発明の方法と 一致させることが当業者には簡明であるとおもわれるためである。 Ｅ．オーディオ／ビデオ同期とＭＰＥＧ受信器 完全なＭＰＥＧストリームはＭＰＥＧビデオストリームと、ＭＰＥＧオーディ オ・ストリームと、その他のデータたとえばタイミング情報等で構成され、全て が結合多重化されてデジタル伝送または記憶に適した単一のストリームを形成し ている。ＭＰＥＧ標準では同期再生を可能にするシンタックスおよび意味論的規 則を付加している。標準はエンコーダまたはデコーダの正確なアーキテクチャま たは実装を規定してはいないが、ビットストリームの性質、ならびに最小クロッ ク許容範囲等、適合することが必要とされる性能要求を規定している。 用語「プログラム・ストリーム」は本明細書において、ビデオとオーディオと を含む単一のプログラムで、たとえばＭＰＥＧストリーム等の符号化ストリーム を表わすために用いている。つまり、プログラム・ストリームはデジタル化した 動画、デジタル化した地上波、ケーブル、または衛星テレビジョンプログラム、 または同一の動画またはテレビジョン・プログラムの別の時間セグメントのＭＰ ＥＧストリームで構成できる。 ビデオストリームや、オーディオストリーム等は「要素ストリーム」と呼ばれ ている。つまりＭＰＥＧストリームは互いに多重化されている１つまたは２つ以 上の要素ストリームで構成される。各要素ストリームからのデータは、パケット と呼ばれる単位に記憶されており、パケットはそのストリーム内でシリアル化し てあるのが代表的である。パケットは「パケット・ヘッダ」とそれに続くパケッ ト・データで構成される。パケット・ヘッダは開始コードで始まり、パケット・ データが所属するストリームも識別する。パケット・ヘッダにはパケット・デー タで表わされるイベントのタイミングを表わす１つまたは２つ以上の「タイムス タンプ」を含むこともある。パケット・データは１つの要素ストリームたとえば オーディオ、ビデオ、またはその他のデータからの可変数の連続バイトを含む。 パケットは「パック」に組み立てられる。パックは１つ以上の要素ストリーム 、たとえばオーディオとビデオストリーム両方からのパケットを含み、復号化時 の「多重信号全体に対する演算(multiplex-wide operation)」に使用される。こ れはパケットのデータが１つの特定の要素ストリームからのものであることを反 映した「ストリーム独自の演算(stream-specific operation)と呼ばれるパケッ ト・データについての演算と対比される。パックはパック・ヘッダで始まり、こ れに１つまたは２つ以上のパケットが後続する。パック・ヘッダは「ソースクロ ック基準（ＳＣＲ）」と呼ばれるタイムスタンプを含み、ＳＣＲデータバイト（ 従ってバイト相互）がデジタル記憶媒体（ＤＳＭ）またはデータ・チャンネルか らデコーダへ入力される正確な時刻を指定する。このターゲット到着スケジュー ルはクロック訂正および／またはデコーダのバッファ管理の基準として供用され る。全てのストリームで第１のパックは最大データ・レートについてと多重信号 でのチャンネル数についての情報も伝送できる。 つまり、パックで実行される多重信号全体に対する演算はＤＳＭまたはチャン ネルから取り出されたデータの配分、クロック調節、バッファ管理を含む。 ２種類の主要なストリーム特有の演算はデマルチプレクシングおよび多数の要 素ストリーム再生の同期とである。デマルチプレクシングは多重化ストリームか らパケット・ヘッダに含まれるストリーム識別コードを使用して要素ストリーム を再構成する。要素ストリームはオーディオおよびビデオストリーム以外に、プ ライベート、予約、パディング・ストリームを含むことができる。 多数のストリーム間の同期はパケット・ヘッダに存在するタイムスタンプで行 なう。提示タイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）フィ ールドはオーディオとビデオの同期のためにパケット・ヘッダに使用される。Ｐ ＴＳはパケット・データの第１番目のユニット（オーディオ・フレームま たはビデオ・フレーム）をビューワに提示すべき時間であり、ＤＴＳはパケット ・データ内の第１番目のユニット（オーディオ・フレームまたはビデオ・フレー ム）を復号化すべき時間である。パック・ヘッダのタイムスタンプを含む全ての タイムスタンプは、符号化の期間、システム・タイムクロック（ＳＴＣ）と呼ば れるマスター時刻基準に合うよう調節される。共通の時刻基準を用いて符号化デ ータのタイミングの尺度（パック・ヘッダのＳＣＲ）とデータ提示のタイミング （パケット・ヘッダのＰＴＳとＤＴＳフィールド）を一定にすることで正確な同 期とバッファ管理を保証する。ＳＣＲ、ＰＴＳおよび使用しているならＤＴＳフ ィールドは符号化の間に必ずしも等しくはないが何らかの特定の値たとえばＭＰ ＥＧ１で０．７秒を越えない間隔で挿入される。またＭＰＥＧ１ではこれらのタ イムスタンプは９０ｋＨｚの単位にある。 同期デコーダと符号化データ供給源の全部を含む復号化システムは、正確には １つだけの独立した時間マスターを有する必要がある。このことは有限サイズの バッファでオーバフローとアンダーフローを防止し、一方でデータ提示の同期を 維持する必要性からの当然の帰結である。その他全ての同期エンティティは時間 マスターに演算タイミングを従属させる必要がある。デコーダが同時に１つ以上 時間マスターを備えようとする場合、バッファ管理または同期に問題が発生する ことがある。つまり、幾つかのストリームの再生は、１つのストリームの再生が 別のストリームの再生と一致するように調節するのではなく、単一のマスター時 刻基準に全てのストリームの再生を調節することで、同期が取られている。マス ター時刻基準は個々のストリームのデコーダのクロックの１つ、たとえばビデオ ・デコーダまたはオーディオ・デコーダの１つとすることができ、これはＤＳＭ またはチャンネル・クロックでも良く、または独立したＳＴＣたとえば何らかの 外部クロックでも良い。時間マスターはＳＴＣの正確な値について他と通信する 必要がある。時間スレーブは代表的には更新または訂正の間で公称値９０ｋＨｚ （ＭＰＥＧ１の場合）でインクリメントされるローカルＳＴＣを維持することに なる。このようにすると、各々の実体は公称上正確なＳＴＣの連続更新値を有し 、これをタイムスタンプとの比較に使用する。 上記で定義したＭＰＥＧストリーム属性と意味は「システム・ターゲット・ デコーダ（ＳＴＤ）」と呼ばれる仮想デコーダの形で復号化の仮想基準モデルを 使用するＭＰＥＧ標準に詳しく解説してある。ＳＴＤモデルはエンコーダがＭＰ ＥＧストリームを作成するために使用するが、現実のデコーダはＳＴＤと同じア ーキテクチャまたはタイミング構造で実装しなくとも良い。 ＳＴＤモデルはデマルチプレクサと、これに後続し各要素ストリームについて の先入れ先出し（ＦＩＦＯ）バッファと、それに続くデコーダで構成される。モ デルでは、パックまたはパケットのヘッダに存在するがパケット・データの一部 ではないデータ（たとえばＳＣＲ、ＤＴＳ、ＰＴＳ、パケット長、その他）はス トリームバッファのいずれにも供給されないが、システム制御には使用される。 本発明の１つの好適実施形態において、このようなデータを用いてＶＢＲデータ の伝送効率を最適化している。 ＳＴＤモデルでは、バッファのデータ出力が即時復号化されＳＴＤ出力でビュ ーワに提示される前に「リオーダ・バッファ」で遅延される。リオーダ・バッフ ァは提示ピクチャのシーケンスが提示前にリオーダされる間ＩピクチャとＰピク チャを記憶しておくためにビデオ復号化だけが使用される。これはＢフレームの 存在時に必要とされることが多い。 一例として、内部クロックを含むビデオ・ストリーム用のデコーダを考えてみ る。どの時点でもバッファはストリームのパケットを含む。バッファ出力はデコ ーダに接続されている。デコーダは次のパケットをいつ復号化するか知る必要が ある。パケット・ヘッダがＤＴＳを有する場合、ＤＴＳがデコーダ・クロックよ り小さいか等しい時にデコーダがそのパケットを取り出す。パケットがＤＴＳを 含まない場合、直前に復号化したパケットに基づいてデコーダがパケットを想定 する次の時間的瞬間にデコーダがそのパケットを取り出す。 つまり、要素ストリームを含むＭＰＥＧストリームが形成され（ビデオおよび ／またはオーディオ）一緒に多重化される。Ｆ．ＭＰＥＧ２のプロファイルとレ ベル ＭＰＥＧ２標準では画像解像度と音質のクラス（「プロファイル」）およびＭ ＰＥＧ標準の仕様ならびに特徴の最小限のサブセット（「レベル」）を定義して いる。たとえば、「主プロファイル（ＭＰ）」は５２５走査線／６０Ｈｚ システム（ＮＴＳＣ）用と６２５走査線／５０Ｈｚシステム（ＰＡＬおよびＳＥ ＣＡＭ）用に走査線あたり７０４ピクセルの解像度の共通ＣＣＩＲ６０１規格を カバーしている。「ロープロファイル（ＬＰ）」はＣＣＩＲ６０１の半分のＳＩ Ｆ解像度をカバーしておりビデオ会議で共通に使用され、また「ハイプロファイ ル（ＨＰ）」は通常高品位テレビジョン（ＨＤＴＶ）用に予約となっている。低 レベル（ＬＬ）、中間レベル（ＭＬ）、高レベル（ＨＬ）の３種類のレベルが存 在する。ＭＰＥＧ２互換仕様に適合するデコーダはこれらの最小仕様に適合し少 なくともそのレベルのＭＰＥＧ２の特徴のサブセットを提供する必要がある。た とえば、最も共通のデコーダはＭＰ＠ＭＬ適合デコーダである。これはサイズが 少なくとも１．８メガビットのデコーダ・バッファを備える必要がある。ＭＰ＠ ＨＬ適合デコーダは更に大きなデコーダ・バッファを備える必要があり、ＭＰＥ Ｇ２のスケーラブルな特徴の多くを実装可能とする必要がある。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/24 (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ， ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，Ｇ Ｅ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ， ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，Ｐ Ｌ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 トム，アダム，エス. アメリカ合衆国 94109 カリフォルニア 州 サンフランシスコ ジョーンズ スト リート 1717 アパートメント ３

Claims (1)

1. 【特許請求の範囲】 １．ｎ個のプログラム・ストリームのセットを多重化して多重信号(multiplex) を形成するための方法であって、前記セットの各プログラム・ストリームは対応 するチャンネルを有し、前記セットの各プログラム・ストリームは対応するデコ ーダにより復号化でき、対応する各デコーダは対応するデコーダ・バッファを含 み、 （ａ）前記セットの各プログラム・ストリームをパケットに分割するステッ プと、 （ｂ）満杯状態に近付いていないデコーダ・バッファを有するチャンネルを 選択することにより前記多重信号に追加する次のパケットを決定するステップと 、 （ｃ）前記多重信号に前記次のパケットを追加するステップと、 を含むことを特徴とする方法。 ２．前記決定するステップは満杯状態に近付いていないデコーダ・バッファを有 するチャンネルが選択された時点で終了するループを含み、前記ループは、 （ａ）次のチャンネルを選択するステップと、 （ｂ）前記次のチャンネルのデコーダ・バッファが満杯状態に近付いているか 否かを評価するステップと、 を含むことを特徴とする請求項１に記載の方法。 ３．前記次のチャンネルを選択するステップは実質的に前記デコーダ・バッファ を平衡化することを特徴とする請求項２に記載の方法。 ４．前記満杯状態は前記次のチャンネルの送信しようとする次に利用可能なパケ ットに充分な空きを有していない状態であることを特徴とする請求項３に記載の 方法。 ５．全てのデコーダ・バッファが満杯状態に近付いているか決定するステップを 更に含み、全てのバッファが満杯状態に近付いている場合には前記次のパケット に代替パケットを割り当てることを特徴とする請求項４に記載の方法。 ６．前記代替パケットがフィル・パケットであることを特徴とする請求項５に記 載の方法。 ７．前記ループがｎ周回の後に終了していないか前記決定するステップで決定す ることを特徴とする請求項４に記載の方法。 ８．前記評価するステップは前記次のパケットのプログラム・ストリームに対応 する前記デコーダ・バッファの満杯状態のレベルを予測するステップを含むこと を特徴とする請求項４に記載の方法。 ９．実質的平衡で実質的に同じ記憶持続時間が各デコーダ・バッファにおいて維 持することを特徴とする請求項４に記載の方法。 １０．前記評価するステップは前記次のパケットのプログラム・ストリーム中の １つまたは２つ以上のタイムスタンプを使用することを含むことを特徴とする請 求項９に記載の方法。 １１．前記次のチャンネルを選択するステップは前記次のチャンネルのプログラ ム・ストリーム中の１つまたは２つ以上のタイムスタンプを使用することを含む ことを特徴とする請求項１０に記載の方法。 １２．前記パケットは固定長パケットであることを特徴とする請求項４に記載の 方法。 １３．前記プログラム・ストリームは圧縮プログラムのセグメントであることを 特徴とする請求項４に記載の方法。 １４．ｎ個のプログラム・ストリームのセットを多重化して多重信号を形成する ための装置であって、前記セットの各プログラム・ストリームは対応するデコー ダで復号化することができ、前記セットの各プログラムはパケットに分割され、 対応する各デコーダは対応するデコーダ・バッファを含み、 （ａ）前記多重信号に追加すべきパケットの次のパケットを決定するための 手段であって、デコーダ・バッファが満杯状態に近付いているか否かを確認する ための手段を含む前記解決するための手段と、 （ｂ）前記多重信号に追加すべきパケットの次のパケットを決定するための 手段であって、前記デコーダ・バッファを平衡させるための手段を含む前記決定 するための手段と、 （ｃ）前記決定するための手段に結合されて前記多重信号に前記次のパケッ トを追加するための手段と、 を含むことを特徴とする装置。 １５．前記確認するための手段はバッファが空になりつつあるか否かも確認する ことを特徴とする請求項１４に記載の装置。 １６．前記決定する手段は更にタイムスタンプを読み取るための手段を含み、該 読み取り手段は前記確認するための手段に結合されることを特徴とする請求項１ ５に記載の装置。 １７．前記決定する手段は前記デコーダ・バッファを実質的に平衡化するための 手段を含むことを特徴とする請求項１５に記載の装置。 １８．符号化プログラム・ストリームのセットの多重信号を生成するためのサー バ・システムであって、 （ａ）コントローラと、 （ｂ）複数のサーバ・モジュールであって、前記複数のうちの各サーバ・モ ジュールは前記コントローラに結合され、前記複数のうちの各サーバ・モジュー ルはプログラム・ストリームの圧縮データを記憶することが可能であり、該圧縮 データはパケットに分割され、前記複数のうちの各サーバ・モジュールは前記圧 縮データの出力ポートを有する複数のサーバ・モジュールと、 （ｃ）１つまたは２つ以上のＭＵＸモジュールのセットであって、各ＭＵＸ モジュールは前記コントローラに結合され、前記セットの各ＭＵＸモジュールは 多重符号を生成することが可能であり、前記セットの各ＭＵＸモジュールは圧縮 データ入力ポートを有するＭＵＸモジュールのセットと、 （ｄ）前記サーバ・モジュールの出力ポートと前記ＭＵＸモジュールの入力 ポートに結合されたデータ送信手段とを含み、 前記コントローラの制御下にある前記送信手段は１つまたは２つ以上のサー バ・モジュールの出力ポートからの圧縮データの多重信号を、選択されたＭＵＸ により形成させることが可能であり、前記選択されたサブセットの各サーバ・ポ ートからの圧縮データは前記各サーバ・ポートに対応するデコーダによって復号 化することが可能であり、対応する各デコーダは対応するデコーダ・バッファを 含み、 前記コントローラは満杯状態に近付いていないデコーダ・バッファを有す るチャンネルを選択することによって、前記選択されたＭＵＸモジュールが前記 多重信号に追加する次のパケットを決定する ことを特徴とするサーバ・システム。 １９．前記コントローラは前記デコーダ・バッファを実質的に平衡させることに より前記次のパケットを決定することを特徴とする請求項１８に記載のサーバ・ システム。 ２０．前記コントローラはコンピュータを含むことを特徴とする請求項１８に記 載のサーバ・システム。 ２１．前記送信手段はバスを含むことを特徴とする請求項１８に記載のサーバ・ システム。