JP2000500635A

JP2000500635A - チャンネル利用率向上のため符号化デジタル・ビデオを変更するための方法ならびにその装置

Info

Publication number: JP2000500635A
Application number: JP9519774A
Authority: JP
Inventors: シェン，ポール; アラジ，エフレイム; クラウス，エドワード，エイ．; トム，アダム，エス．
Original assignee: イメディアコーポレイション
Priority date: 1995-11-21
Filing date: 1996-11-08
Publication date: 2000-01-18
Also published as: CA2237761C; EP0862835B1; CA2237761A1; WO1997019559A1; EP0862835A1; DE69638042D1; US5956088A; AU7727396A

Abstract

(57)【要約】各々のプログラム・ストリームを対応するデコーダで復号化でき、各々の対応するデコーダは対応するデコーダ・バッファを含み、このデコーダ・バッファは最大限許容されるサイズを備える１つまたは２つ以上の符号化プログラムのセットの多重信号を送信するデータ・チャンネルでチャンネル利用率を向上させるための方法であって、この方法は変更しようとする符号化ピクチャを選択し、この選択ではいずれかのデコーダ・バッファでの何らかのアンダーフローを防止することを含む基準に従うことと、この選択した符号化ピクチャの各々を変更して対応する変更符号化ピクチャを形成し、この変更符号化ピクチャをこの選択した符号化ピクチャより少ないデータを有するようにすることと、この選択した符号化ピクチャの代わりに当該チャンネル経由でこれに対応する変更符号化ピクチャを送信することを含む。

Description

【発明の詳細な説明】チャンネル利用率向上のため符号化デジタル・ビデオを変更するための方法ならびにその装置Ｉ．発明の背景Ａ．発明の分野本発明の分野はビデオ圧縮である。Ｂ．背景本発明は圧縮ビデオ・プログラムの符号化、フォーマット、配信に関する。必ずではなくとも、特に「可変ビット・レート（ＶＢＲ）符号化」として知られる特定のビデオ圧縮技術に応用することが可能である。ＶＢＲ符号化は、多くのビデオ圧縮エンコーダで周知の、認識画質が画像の複雑さの関数として変化し易い問題を克服するために使用できる。代表的には、ビデオ・プログラムには多様なシーンが含まれる。これらのシーンの多くは動き、又は細部が欠如したものであるから容易に圧縮されるが、その他多くのシーンは複雑な細部を含み、これらは一般に、中でも複雑又はランダムに移動する場合に、圧縮が更に困難である。そのため、利用可能なバンド幅が非常に高くない限り展開（decompressed）再構成された画像の認識画質はシーン毎に変化する傾向にある。利用可能なバンド幅が減少すると、大抵は僅か数か所の問題となるシーンの影響で、最終的にビデオ画質が受け入れられなくなるまでこの問題が悪化する。ＶＢＲ符号化では、圧縮困難なシーンに対して多くのビットを割り当て、もっと簡単に圧縮されるシーンに対して少ないビットを割り当てることでこの問題を克服している。このようにすると、展開再構成された画像は終止均一に見せるようにできるので、同じ平均圧縮率に調節された一定ビット・レートのエンコーダから取り出された再構成画像より優れている。その結果、ＶＢＲ符号化技術を用いた場合にはビデオ・プログラムを一層効率的に圧縮することが可能である。これはバンド幅固定の通信チャンネル上で供給できるプログラム又はプログラム・ストリームの個数と種類を増加させるばかりでなく、プログラム・ライブラリを保持するヘッド・エンド又はその他のサイトでの記憶容量要求を低減する。ＶＢＲ符号化技術の欠点は圧縮ビット・ストリームを操作又は編集する際に幾つかの問題を呈する点である。特に、可変ビット・レート・ストリームはある時点ではチャンネル容量を超えることがあり、また別の時点では利用可能なチャンネル容量の一部しか使用しないため、バンド幅固定の通信チャンネルを効率的に使用するのが困難になる。当業者には明らかなように、チャンネル容量を超える可能性があることはＶＢＲ符号化データだけの問題ではない。本発明は非ＶＢＲ符号化データにも応用可能である。この問題を回避するために使用される既知の技術の１つとして、可変レート・ストリームを一定レート・ストリームに変換するために通信チャンネルの送信側末端で圧縮ビット・ストリームをバッファリングすることが挙げられる。このような場合、再構成されるビデオ画像の正確なタイミングで必要とされる可変レート・ストリームを復元するためにチャンネルの他端で受信した信号をバッファリングすることも必要である。残念ながら、必要とされるバッファ量は実現できないほど高価であり分散システムに長い遅延を導入することがある。更に、既存のビデオ圧縮標準、たとえば国際標準化機構／国際電子技術委員会（ＩＳＯ／ＩＥＣ）標準の一組であるＭＰＥＧ標準では適合デコーダで要求されるバッファリングの量について限界を指定している。従って、このような限界を超過することなく受信ビット・ストリームを復元することが重要である。つまり、デコーダのメモリ要求を低減するための方法を見つけ出すことが重要である。ＶＢＲ符号化（および非ＶＢＲ符号化）プログラムを固定バンド幅チャンネル上で送信する際の非効率を低減するために使用できる従来技術の別の技術は複数のプログラム・ストリームを単一の多重信号(multiplex)に合成することである。追加プログラム・ストリームの各々は多重化データの総データ・レートを増加させるが、この多重信号の平均ストリーム当たりデータ・レートの変動は、プログラム・ストリームの独立性の統計的近似を仮定すると、プログラム・ストリームの個数と近似的に比例して減少する傾向が見られる。従って、チャンネルで対応できる公称レートが単一のプログラム・ストリームの平均レートより有意に大きい場合、チャンネル利用率を有意に改善できる。この技術は従来技術で統計的多重化(statistical multiplexing)として知られている。バッファリングを使用する場合、バッファのオーバフローが発生しないように補償する従来技術の方法の１つは、エンコーダ・バッファとエンコーダの間にフィードバックを追加することである。バッファが満杯状態に近付くと、バッファからのバッファ満杯信号をエンコーダに伝えてビット・レートを減少させ、バッファがオーバフローしないようにする。バッファに多くの空きができた場合、バッファからエンコーダへのフィードバック信号でエンコーダはビット・レートを増加させ、画質を維持することができるようになる。このようなフィードバックは統計的多重化と組み合わせた場合に特に有効である。単一のエンコーダ・バッファ又は数個のバッファを使用することができる。単一バッファの場合、マルチプレクサの出力に配置し、バッファからのフィードバックは多重化するプログラムのエンコーダ全部に向ける。多重化で有効なストリーム当たりのデータ・レート変動を減少できるため、一般に、多重信号を固定ビット・レート・ストリームに変換するのに必要とされるメモリは、個々のエンコーダ各々がＶＢＲ対一定ビット・レート・バッファを含む場合より少なくなる。符号化、特にＶＢＲ符号化プログラム・ストリームを固定バンド幅チャンネル上で伝送するためのフィードバック付き統計的多重化は効果的であるが、認識される画像が均一な品位であることが重要とされる場合には一般に充分ではない。更に、マルチプレクサの出力バッファと個々のエンコーダの間でフィードバックが可能ではないような状況もしばしば見られる。このような状況の１つは、「すでに符号化されている」データストリームを多重化する場合に発生する。エンコーダがマルチプレクサから物理的に離れた地域に配置されている場合には別の状況が発生する。これらの状況はどちらも本明細書で「遠隔符号化」と呼び、符号化と多重化が時間的、位置的、等で離れていることで、マルチプレクサから多重化するプログラム・ストリームのエンコーダへのフィードバックが可能でなくなることを表わす。更に、多重化ビット・ストリームを送信する効率を制限する要因の１つはデコーダ／デマルチプレクサでバッファリングに利用できる有限の総メモリ量である。統計的多重化では、全てのプログラム・ストリームが同時に複雑なシーンを有する確率が小さいため、通常は充分な利益を提供するが、このようなデータ・レートのピークが発生する有限の可能性が未だ存在している。これらのピークに対応するには、長い遅延量、したがって大きなバッファをデコーダに設計しておき、符号化する時点でデータ供給にはチャンネル容量が不十分な場合、アンダーフローを防止する必要がある。プログラム全部が簡単に圧縮されるシーンを含む場合にはその逆が起こる。この場合、データの供給が速すぎて、スタッフィング・バイトを含むフィル・パケットをビット・ストリームに挿入しない限りデコーダ・バッファがオーバフローする。これはフィル・パケットが復号化に有用でないためと受信器で破棄されるためチャンネル利用率（チャンネル効率）を減少させる。本出願と同時に受理され本発明で参照に含まれる「チャンネル利用率を改善するためのビデオ・プログラムの多重化の方法およびその装置」と題し、以下では「多重化発明」と称する本発明と同時に出願中の米国特許出願では、どのデコーダバッファでもオーバフローが発生しないように補償する多重信号を形成する順序を決定し、これによって多重信号を送信する効率を向上させるための多重化方法を開示している。多重化発明の方法を用いる場合でも、全てのプログラム・ストリームがこのような複雑なシーンを同時に有し、デコーダ・バッファメモリ要求でのピークがこれ以上デコーダ・バッファ空間が利用できないようなものである有限の可能性が未だ存在している。このようなデータ・レートの変動を減少するための方法が、本発明と同時に受理され本発明で参照に含まれる「デジタル・ビデオ伝送のためのチャンネル利用率を向上させる方法ならびにその装置」と題し、以下では「チャンネル利用率発明」と称する本発明と同時出願中の米国特許出願に開示してある。チャンネル利用率発明の方法は、異なるプログラム・ストリームの多重符号化形成(formation)を変化させてデコーダバッファのメモリ要求を低減することを含み、変化にはプログラム・ストリームの相対的整列の調節を含む。調節の別の実施形態は選択した時間点でポーズ等のプログラム素材を挿入し、選択した時間点でデコーダバッファのアンダーフローを発生させ、選択した時間点での復号化および表示レートを変化させることを含む。多重化発明とチャンネル利用率発明の方法は送信されたピクチャの画質を劣化させない。これらの方法が充分でないか、又は使用できないような状況も未だ存在し得る。このような状況では、チャンネル容量の超過を回避するために選択した時間点でのデータ量を減少することが必要とされる。以上から、従来技術においては符号化ビデオ・プログラム、特にＶＢＲ符号化プログラムを変更して画質に有意に作用することなくこのようなプログラムでのデータ・レート変動を低減させるために使用できる技術が必要とされている。以上から、リアルタイム符号化と遠隔符号化の両方の状況で応用可能で数個の符号化ビデオ・プログラムの多重化ストリームを送信する場合にデータ・レート変動を低減する符号化ビデオ変更のための技術も必要とされている。以上から、デコーダでバッファ・オーバフロー状態が発生する可能性を排除する符号化ビデオ変更のための技術も必要とされている。以上から、チャンネル効率を最大限に拡大する符号化ビデオ変更のための技術も必要とされている。以上から、受信器が改善した画質を供給するために確かに情報を抽出して利用できるような変更により、符号化ビデオから除外される情報を供給するための技術も必要とされている。 II．発明の要約Ａ．発明の目的然るに本発明の目的は、符号化ビデオ・プログラム、特にＶＢＲ符号化プログラムを変更してプログラムの質に有意に影響することなく当該プログラムのデータ・レート変動を減少する方法（及びその装置）を提供することである。本発明の別の目的は、符号化ビデオを変更して、数個の符号化ビデオ・プログラムの多重信号のストリームを送信する場合にデータ・レート変動を減少させ、リアルタイム符号化と遠隔符号化の両方の状況に応用できる方法（及びその装置）を提供することである。本発明の別の目的は、符号化ビデオを変更してデコーダで発生するバッファ・オーバフロー状態発生の可能性を減少するための方法（及びその装置）を提供することである。本発明の別の目的は、符号化ビデオを変更してデコーダで発生するバッファ・アンダーフロー状態発生の可能性を減少するための方法（及びその装置）を提供することである。本発明の別の目的は、符号化ビデオを変更してチャンネル効率を最大にする方法（及びその装置）を提供することである。本発明の別の目的は、追加の記憶容量を備えた幾つかの受信器で復元でき改善された画質を供給するために使用できるような方法で変更することにより除外される情報を送信する方法を提供することである。本発明の別の目的は、第２のデータ・チャンネルにアクセスする幾つかの受信器で復元でき改善された画質を供給するために使用できるような方法で変更することにより除外される情報を送信する方法を提供することである。Ｂ．発明の概要本発明の前述のおよびその他の目的は、各プログラム・ストリームを対応するデコーダで復号化でき、各々対応するデコーダが対応するデコーダ・バッファを含み、デコーダ・バッファが最大限許容可能なサイズを有するような１つまたは２つ以上の符号化プログラム・ストリームのセットの多重信号を送信するデータ・チャンネルでのチャンネル利用率を向上させるための方法（及びその装置）で提供され、この方法は変更しようとする符号化ピクチャを選択し、この選択ではいずれかのデコーダ・バッファでの何らかのアンダーフローを防止することを含む基準に従うことと、この選択した符号化ピクチャの各々を変更して対応する変更符号化ピクチャを形成し、この変更符号化ピクチャをこの選択した符号化ピクチャより少ないデータを有するようにすることと、この選択した符号化ピクチャの代わりに当該チャンネル経由でこれに対応する変更符号化ピクチャを送信することを含む。１つの実施形態例において、変更するステップは各々の選択符号化ピクチャを消去する。符号化プログラム・ストリームが予測符号化ピクチャを含むような別の実施形態において、選択ステップはアンカー・ピクチャではない予測符号化ピクチャを選択し、変更するステップはこの選択符号化ピクチャの各々からの予測エラー・データを消去する。本発明の別の実施形態において、１つまたは２つ以上の追加データ・チャンネルを使用して増分情報を送信する。増分情報はデータ・チャンネルから受信した変更信号を復号化する場合に通常なら発生する欠陥を訂正するために特に装備した受信器で使用できる。本発明の更に別の実施形態において、増分情報は変更ピクチャを送信するのに使用するデータ・チャンネルと同じチャンネルで送信される。この場合、変更によって除去される情報は復号化に必要とされる前でデータ・チャンネルが完全に使用されてない時点で送信される。充分な記憶機構(strag e)を装備している幾つかの受信器は必要になるまで増分情報を受信記憶できる。これ以外に、追加の記憶機構を用いてデータを受信した時刻とデータが復号化される時刻の間に更に遅延を挿入し、次にコンベンショナルな受信器で必要となった後で増分情報を送信することができる。Ｃ．関連発明本発明と同時出願しているのは、本出願と同時に受理され本発明で参照に含まれる「チャンネル利用率を改善するためのビデオ・プログラムの多重化の方法およびその装置」および「デジタル・ビデオ伝送のためのチャンネル利用率を向上させる方法ならびにその装置」と題する米国特許出願である。 III．図面の簡単な説明図１は符号化システムの一例を示す。図２は単一の多重信号へ多数の圧縮プログラム・ストリームを合成するためのシステムを示す。図３はビデオ・プログラム・ストリーム、ｎ個の異なるセグメントとマルチプレクサ出力の詳細を示す。図４（ａ）は変更前のＢピクチャを示す。図４（ｂ）は本発明方法に従って図４（ａ）のＢピクチャを変更した後の代表的なＢピクチャを示す。変更ではＤＣＴ係数を破棄し、図４（ａ）のＢピクチャのスライスのマクロブロックがもっと短いマクロブロックに置換される。図５（ａ）は（ｉ）変更前の代表的なＭＰＥＧ２マクロブロックと、（ii）本発明方法に従ってＤＣＴ係数の除去を含むマクロブロック変更後を示す。図５（ｂ）は、マクロブロックが内部符号化されて「量子化スケール(quantize r_scale)」の推定値が誤っており新しい「量子化スケール」の値を挿入する必要があるような場合に本発明方法に従う変更の前後でのＭＰＥＧ２マクロブロックを示す。図６は本発明のＢピクチャ変更処理を実施するための符号化システムの実施形態を示す。図７は図６のシステムの主チャンネルとオーバフロー・チャンネル両方からデータを受信することができる拡張受信器の実施形態を示す。図８は本発明のＢピクチャ変更処理を実施する別の符号化システムを示す。図９は図８のシステムの主チャンネルとオーバフロー・チャンネル両方からデータを受信することができる拡張受信器の実施形態を示す。図１０は本発明によるＢピクチャの変更をいつ行なうか決定するためにプログラム・ストリームを分析するための方法の実施形態についてのフローチャートを示す。 IV．好適実施形態の説明Ａ．序本発明の好適実施形態は、現在周知となっているサウンドトラック又はオーディオ・データを含むビデオ・データの可変ビット・レート（ＶＢＲ）符号化及び復号化の技術を使用し、ビデオ・ストリームを表現するのに必要な総データ量を減少するために圧縮方法を使用する。しかし本発明は当業者には明らかなように、非ＶＢＲ符号化データにも応用できる。好適実施形態ではＭＰＥＧ符号化規格を使用するが、本発明は当業者には明らかなようにその他多くの符号化方法に応用できる。以下の詳細な説明は図１から図１０を参照してなされるものであって、同一の参照番号は図面全体を通して同一の構成要素を表わしている。利便のため、本発明の説明において使用する幾つかの術語について「ビデオ符号化とＭＰＥＧの手引き」と題する付録に定義してある。付録では本発明の理解に必要となる多くの符号化の概念とＭＰＥＧについても説明している。付録の用語集部分の術語の幾つかは従来技術で１つ以上の語義を有することがある点に注意すべきである。本明細書に適用される意味は当業者には文脈から明らかであろう。Ｂ．好適実施形態の全体アーキテクチャ本発明はビデオとオーディオの両方を含む「完全な(complete)」符号化ストリームを取り扱う。好適実施形態は単一プログラムのＭＰＥＧストリームを取り扱う。つまり、ＭＰＥＧ符号化ビデオ、オーディオ、その他のデータが単一のプログラムのＭＰＥＧストリームとして組み合わされる。このようなＭＰＥＧストリームを本明細書ではプログラム・ストリームとして定義する。所々で、判定又は制限部分としてプログラム・ストリームのビデオ・ストリーム成分を取り扱うためだけに本明細書では詳細が提供される。このような場合には、どのようにして本発明方法と一貫するように符号化オーディオを処理するかは当業者には明解であろう。又、全ての場合で、ＭＰＥＧ以外の方法で符号化されたストリームについて本発明を実現するのは当業者には明解であろう。ビデオ符号化システムの一例が図１に図示してある。エンコーダ１０５に非圧縮ビデオ１０３を供給するためには、ビデオテープ・レコーダ（ＶＴＲ）等のプログラム・ソース１０１又はその他のプログラム・ソースを用いる。エンコーダ１０５は非圧縮ビデオ１０３を受信してビデオ圧縮処理を適用する。好適実施形態において、ビデオ圧縮はＭＰＥＧ２標準で指定されている圧縮である。ビデオ圧縮技術が実質的に均一で一貫した画質の画像を得るように復号化できるビデオ・ストリームを発生するために使用できるＶＢＲモードを提供するのは、本発明に必須ではないが好適である。ＭＰＥＧを含む多くの圧縮方法ならびに標準はこのようなＶＢＲモードを備えている。代表的には、エンコーダ１０５の圧縮出力１０７は後で再生するため、又は直接放送用データ・チャンネルへ送信するか又はその他の転送のためにディスク又はテープ記憶媒体１０９等のデジタル記憶媒体（ＤＳＭ）へ書き込まれる。つまりＭＰＥＧ標準の標記では、１０９はＤＳＭまたはチャンネルである。本発明の好適実施形態において、多数の圧縮プログラム・ストリームが、図２（ａ）及び図２（ｂ）に図示したように単一の多重信号に合成される。マルチプレクサ２０１は記憶機構(strage)１０９から取り出したか、または何らかの他の供給源、たとえばエンコーダ２０９および／または衛星受信器２１１から取得したプログラム・ストリーム２０３の各々を配給システム上ですぐに放送したり、記憶機構に戻して後で放送できる単一の多重信号２０５に合成する。合成処理及び装置とも呼ばれる多重化処理及びその装置を使用する１つの利点は、個別のＶＢＲプログラム・ストリーム２０３の統計的変動と比較してビデオの統計的変動を減少できることである。更に、多重化方式は多重信号２０５に含まれるプログラム・ストリームのいずれかを取り出すか又は観察するかの選択をビューワに提供する利点を有している。好適実施形態の多重化は、複数の圧縮プログラム・ストリームに対するもの、又は単一のデータ・ストリーム、たとえばＶＢＲ又は何らかの圧縮ブログラムの数個のセグメントを送信する場合についてのものである。単一のデータ・ストリームの場合では、初めに図２（ａ）に図示してあるスプリッタ２０７を使用して圧縮プログラムを複数セグメントに分割する。たとえば、マルチプレクサ２０１によって合成されたプログラム・ストリーム２０３の幾つか又は全部が、同一のビデオ・プログラムの別のセグメントに対応することがある。繰り返して同じプログラム・セグメントの多重信号を連続送信することにより、多重信号の各々の反復中に異なるプログラム・セグメントを選択復号化することによって、受信器は最終的にプログラム全体を再構成することが可能になる。この技術は、同時出願中で本発明の参照に含めてあり「ビデオ・プログラムの多重反復表現を提供するビデオ・プログラムを表わすデータの符号化及びフォーマットのための方法及びその装置」と題し、以下では「ビデオ・オン・デマンド発明」と称する１９９４年１０月１９日出願の米国特許出願第０８／３２６，５１１号に詳細に開示されている。「ビデオ・オン・デマンド発明」の１つの応用はビデオ・オン・デマンドであり、使用者は広範囲な時間間隔のいずれかの間にプログラムの視聴開始を選択できる。プログラム・ストリーム２０３が同一ビデオ・プログラムの別のセグメントに対応し、多重化出力２０５が同一のビデオ・プログラムのこのように異なるセグメントの多重信号であるような場合での分割及び多重化が、図３にさらに詳細に図示してある。単一のオリジナル・ストリームの場合についての本発明の好適実施形態において、圧縮プログラム１０７が初めにｎ個のセグメント３０３に分割され、各セグメント３０３が長さＴ秒の固定時間間隔３０７に対応する。図３に図示した実施形態において、Ｔの時間間隔３０７は３００秒（５分）である。セグメント３０３がＶＢＲ技術を用いて圧縮される場合、圧縮比を時間経過に併せて変化させることができ、セグメント毎に違う量の圧縮データを含めることができる。図３に図示してあるように、セグメント化した単一ストリームの場合、ｎ個の異なるセグメント３０３の各々が独立したプログラム・ストリームとなり、次にこれらｎ個の独立したプログラム・ストリームの各々が同時に開始するように整列される。これを本明細書では、「スタックアップする」と称する。スタックアップしたプログラム・ストリーム２０３は、マルチプレクサ２０１を用いて多重化する。多重化の前に単一のストリームをセグメント化するのではなく、数個のビデオ・プログラムを多重化する場合に必要な変更を行なうのは、当業者には明らかであろう。同様に、１つまたは２つ以上のプログラムと１つまたは２つ以上の独立したビデオ・プログラムを併せて多重化する複合的な場合での変更も、当業者には明らかであろう。好適実施形態において、使用する多重化の方法は多重化発明のそれである。この方法では特定のプログラム・ストリームに「同調させてある(tuned)」全ての受信器が同じ仮想デコーダを使用するものと仮定している。このようなデコーダの各々は単一の選択したストリームからのデータを受信する単一のバッファを備える。つまり、特定のプログラム・ストリームからデータを送出する場合、好適実施形態の多重化方法では同調した仮想デコーダを含む特定の通信チャンネルにそってデータを送出するものと実効的に仮定している。多重化発明の方法ではこの仮定を用いて、たとえば、デコーダを含む受信器が同調しているいずれかのストリームに対応する仮想デコーダのバッファの満杯状態を推定する。本明細書で用いている術語「受信器」はデコーダを含む受信装置を表わす。術語「チャンネル・バッファ」は、このデコーダ・バッファを表わす。このような仮想デコーダに関する仮定は、本発明方法が動作するデコーダ又は受信器の種類を必ずしも制限してはいない。むしろ、この仮定をマルチプレクサで用いてある種の決定を行なっている。本発明の範囲内でデコーダをモデル化する別のレベルが可能である。多重化発明では、プログラム・ストリーム２０３の各々は多重化の前にパケットへ細分されたと仮定している。パケットが送出される度に、マルチプレクサはｎ個の異なるチャンネルに対応するデコーダ・バッファのどれが最初に空になるかを決定することによって次のパケットを選択する。この決定ステップの複雑さは、マルチプレクサでどの程度までデコーダのモデルを完全に維持するかに依存する。完全なモデルである程、どのチャンネルに送出するかの判定に係る計算が少なくなる。多重化発明の方法では、データ・チャンネルへ送出するプログラム・ストリームのデータ・パケットの順番を決定する。データが送出される際には、本方法は満杯状態に近付いていないデコーダ・バッファを有する次のチャンネルを選択することにより、次に送出すべきパケットがどれになるかを決定する。本方法は更に、プログラム・ストリームが復元可能なデコーダのデコーダ・バッファを実質的にバランスさせるチャンネルの選択を含む。この実施形態の更なる特徴において、デコーダ・バッファのバランスは各デコーダ・バッファにほぼ同じ持続時間が格納されるようにすることを含む。多重化発明の方法を好適実施形態で使用しているが、本発明がその他全ての多重化方法にも応用可能であり、また単一の（多重化していない）プログラム・ストリームやその他のデジタル・ビデオ・ストリームの送出にも適用可能であることは、当業者に理解されよう。多くの状況で、最適な多重化技術を使用した場合でも得られた多重信号のデータ・レートが送信チャンネルの容量を超過することがある。本発明方法では、画質に僅かな劣化を導入することにより、こうしたデータ・チャンネルに適合するように得られる多重信号を変更する。劣化は通常の観察状態下で検出されることが無いような種類と性質のものである。つまり、本発明方法では一定と認識される画質を維持する。本発明の更なる実施形態において、１つまたは２つ以上の別のデータ・チャンネルを使用して増分情報を送出する。増分情報は第１のデータ・チャンネルから受信した変更信号を復号化する際に通常発生する劣化を訂正するために特に装備した受信器で使用できる。たとえば、衛星通信において、本発明方法を用いて通信衛星で幾つかのプログラム・ストリームを送信できる。各々の衛星はアップリンク側とダウンリンク側のパスの両方に数個のトランスポンダを提供する。本発明方法を使用すると、変更信号は第１のトランスポンダを用いて送信され、変更によって除去された情報は予備の容量を有する第２のトランスポンダを用いて送信される。本発明の更に別の実施形態において、増分情報は変更信号を送信するために使用されるのと同一のデータ・チャンネルを用いて送出する。この場合、変更によって除去される情報は復号化に必要とされる「前に」データ・チャンネルが完全に使用されていない時点で送信される。充分な記憶機構を装備している幾つかの受信器は必要になるまで増分情報を受信記憶できる。これ以外に、追加の記憶機構を用いてデータを受信する時刻とデータを復号化する時刻の間に追加の遅延を挿入し、次にコンベンショナルな受信器で必要になった「後で」送信することができる。拡張受信器のパスで増加した遅延により増分情報を受信する充分な時間ができ、適当な時刻にこれを復号化処理に適用することができる。Ｃ．詳細な説明前述のように、統計的多重化と多重化発明の方法によっても、送信チャンネルの容量を超過するような複雑なシーンが全てのプログラム・ストリームで同時に見られ、デコーダ・バッファがアンダーフローしないように所定時刻にデータを供給できないような有限の可能性が未だ存在する。このような場合にはしばしば、チャンネル利用率発明の方法を用いてこのような大きなデータ・レートの変動を防止しつつ符号化ビデオの完全な品質を保持することができる。本発明方法は、必要な時にはいつでもデータ量を減少してチャンネル容量を超過しないようにすることにより送信される信号の変更を含む。本方法はチャンネル利用率発明の方法との関連で、又は単独で使用できる。データ量の減少は、本発明によれば、幾つかの複雑なシーンの間に圧縮比を選択的に増加させることで行なっており、これにより画質に影響が見られる。適用しようとする特定の圧縮方法によっては、本発明方法はプログラムの特定部分を選択して展開及び再圧縮を行なう。人間の目はアーティファクト、たとえば圧縮アーティファクトに対して、複雑な動き又は高速移動するピクチャの部分で感度が低いことが従来技術で分かっている。これは、動き予測を使用する場合、動き予測法が特に予測において正確でないようなピクチャの部分である。これは従来技術で「マスキング効果」として知られている。本発明方法によれば、プログラムの特定部分を選択して展開及び再圧縮するのにはこのマスキング効果を使用する。本発明の好適実施形態において、ＭＰＥＧを圧縮に用いる。ＭＰＥＧは動き予測を使用し、付録に説明してあるように、ＭＰＥＧでピクチャは３種類に分類される。Ｉピクチャは符号化に空間技術だけを使用する。Ｐピクチャは直前のアンカー・ピクチャ（Ｐ又はＩピクチャ）からの前向き予測を使用し、この後で空間符号化を行なって当該ピクチャと予測ピクチャの間の差を圧縮し、Ｂピクチャは一対のアンカー・ピクチャからの双方向予測を用い、次に空間符号化を行なう。一般に、ＰピクチャはＩピクチャより効率的に圧縮できるが、これは予測エラーがオリジナル画像より少ない情報を含む傾向にあるためである。Ｂピクチャは直前のピクチャ、将来のピクチャ、又は両方に含まれる情報に基づいた予測を使用しているため、通常では最も効率的に圧縮される画像である。双方向で得られる予測は、通常では単方向で得られる予測よりも正確で、Ｂピクチャによる空間圧縮ステップで大きな圧縮比が可能である。だが、時として、細部のシーンが複雑な動きをする間は、双方向予測の利点が減少しＢピクチャはもっと圧縮が困難になる。Ｂピクチャの別の目だった特徴は、シーケンスの他のフレームを予測するのに絶対に使用されない点である。従って、Ｂピクチャを消去又は変更した場合、影響はそのピクチャだけに限定されることになり、これから復号化されるビデオ・シーケンスの他のピクチャにはなんの変更ももたらさない。従って、本発明方法によれば、ピーク・データ・レートの減少を目的とした後処理技術は他のビデオ・フレームの画質に影響しないデータだけに制限される。ＭＰＥＧの場合、このような後処理は好適実施形態においてＢピクチャだけに限定されている。このようにすると、シーケンスに導入された何らかの劣化又はアーティファクトは、単一フレームの時間間隔に相当する非常に短い持続時間に限定される。その結果、このような劣化は視覚的に、特に戦略的に高速、ランダム、又は複雑な動きを特徴とする領域に限定されている場合には検出が困難になる（マスキング効果）。これらは直前のおよび／または将来のフレーム予測を用いて再現するのが困難な領域である。時として、これらの領域の正確な再構成が、予測エラーに基づかない内部符号化又は空間圧縮された情報を送出することにより実現される。つまり、本発明方法によれば、ピークデータ・レートの低減は選択したＢピクチャで予測エラー情報を減少するか又は排除することにより実現される。１つの実施形態において、ある程度の最少時間間隔だけ離れているピクチャを変更するだけで、視覚的マスキング効果が増加する。たとえば、変更したピクチャの枚数を連続１２枚のピクチャの全てのグループで１枚を超えないように制限する。多重信号２０５は多数のプログラム・ストリーム２０３を含むことができるので、本発明方法が公称データ・レートを超過している期間の間はストリームの各々を個別に変更できることを思いおこされたい。本方法の別の利点は、リアルタイムでの実装が比較的簡単なことである。更に、ピクセル・データの再構成が不要である。別の実施形態において、何らかのプログラム・ストリームで、充分に離れているＢピクチャでは、予測エラー情報が初めに圧縮ビット・ストリームを解析して識別される。ＢピクチャはＤＣＴ係数の全てでエネルギーが充分に大きい場合に処理するように選択される。これは複雑なシーンのＢフレームか、又は大きな予測エラーが見られるＢフレームのどちらかに対応する。前述したように、このような状況はマスキング効果が最も強いときである。つまり、エラーはディスプレイ上で簡単に認識されない。つまり、このようなＢピクチャを選択して変更すると、一様に認識される画質の属性が変更されたビット・ストリームに保持される。Ｂピクチャを選択してから、本発明の１つの実施形態では、このように選択されたＢピクチャとともに送出される空間符号化予測エラー・データ（ＤＣＴ係数）が破棄される。当業者には明らかになるように、この予測エラー・データ欠如を表わすために追加のコード・ワードを調節する必要がある。別の実施形態では、選択されたＢピクチャが単純に消去される。好適実施形態によるＭＰＥＧのＢピクチャを変更する処理について、図４及び図５を参照して詳細に説明する。図４（ａ）は変更前のＢピクチャを示す。このピクチャは、ピクチャ・ヘッダ４０３とＮで表わす個数の幾つかのスライスから構成されている。各スライス、たとえば最初のスライス４０５や最後のスライス４０７は、スライス・ヘッダ（最初のスライスの場合にはスライス・ヘッダ４０９）と、これに続くＭ個のマクロブロックを有し、各々のマクロブロックはｉ番目のスライスのｊ番目のマクロブロックについてＭＢ_ijで表わしてある。たとえば最初のスライスでは、スライス・ヘッダ４０９にはＭＢ₁₁で表わされる最初のマクロブロック４１１が続き、これに、ＭＢ_1Mで表わされる最後のマクロブロック４１３まで次のマクロブロックが続く。同様に、最後のスライスでは、スライス・ヘッダ４１５にはＭＢ_N1で表わす最初のマクロブロック４１７が続き、ＭＢ_NM で表わす最後のマクロブロック４１９まで次のマクロブロックが続く。本発明方法による変更では、マクロブロックの幾つかに存在しているＤＣＴ係数を破棄する。図４（ｂ）は変更後の図４（ａ）のＢピクチャを示す。ｉ番目のスは、図４（ａ）のピクチャで対応するマクロブロックＭＢ_ijの短縮バージョンで、オリジナルのマクロブロックの幾つかがＤＣＴ係数を含まず、オリジナルのマクロブロックの幾つかがスキップされ得る点で異なっている。スキップされたマクロブロックは本発明の変更方法によって影響されない。好適実施形態に従ってどのように各マクロブロックを変更したかを、変更前の代表的なＭＰＥＧ２マクロブロック５０１と変更したマクロブロック５０３を示す図５（ａ）を参照して説明する。ＭＰＥＧ２マクロブロック５０１は標準のマクロブロック層シンタックスで定義された幾つかの構成要素を含む。「マクロブロック・アドレス・インクリメント（macroblock_address_increment)」は可変長符号で表わされる整数で、現在のマクロブロックに到着するのに何個のマクロブロックをスキップしたかを表わす。「マクロブロック・エスケープ(macroblock _escape)」構成要素は「マクロブロック・アドレス・インクリメント」と併せて使用されて多数のブロックをスキップした場合の合計を決定する。「マクロブロック・タイプ(macroblock_type)」は、可変長符号を用いてマクロブロックの種類を表わす。好適実施形態では、後述し以下の表Ｉに示してあるように、別の種類を別の方法で変更している。表では利便のため可変長コードを整数で表わしている。「モーション・タイプ(motion_type)」、たとえばＭＰＥＧ２における「フレーム・モーション・タイプ(frame_motion_type)」又は「フィールド・モーション・タイプ(field_motion_type)」は、動き予測の種類を表わす符号である。「ＤＣＴタイプ(DCT_type)」はＤＣＴがフィールド符号化されるのか又はフレーム符号化されるのかを表わす符号である。「量子化スケール(quantizer_scale)」は取り出したＤＣＴ係数の再構成レベルをスケーリングするために使用する整数である。動きベクトル又はベクトル群が動き補償に用いられ、「マクロブロック・タイプ」、「モーション・タイプ」、その他のパラメータによって別の種類となり、代表的には前向き及び後向き予測の双方で垂直及び水平ベクトル成分を含む。「符号化ブロック・パターン(coded_block_pattern)」は、このマクロブロックでどのブロックにＤＣＴ係数が所属するかを定義する。たとえば、「符号化ブロック・パターン」はマクロブロック内で、どのルミナンスおよびクロミナンス・ブロックが非ゼロＤＣＴ係数を含むか定義している。ＤＣＴ係数は、「符号化ブロック・パターン」によって指定されたブロックについて、ビット・ストリームで次に後続し、本発明方法によれば、この後で消去される。「マクロブロック・タイプ」やＭＰＥＧ２ストリームの他の層の他の符号によってはこのデータの幾つかが全てのマクロブロックに存在しないことがある。特に、「マクロブロック・エスケープ」、「モーション・タイプ」、「ＤＣＴタイプ」、「量子化スケール」、動きベクトル又はベクトル群、および／または「符号化ブロック・パターン」は必ずしも存在するわけではない。表Ｉは異なる「マクロブロック・タイプ」コード・ワードの値を有するマクロブロックの幾つかの属性を示している。利便のため、「マクロブロック・タイプ」コード・ワードは可変長コード・ワードではなく数として図示してある。表Ｉでは本発明方法の好適実施形態によって挿入する新規の「マクロブロック・タイプ」コード・ワードを示す。表Ｉは「マクロブロック・タイプ」による異なった符号化の特徴も示す。これらの特徴は、Quantで示し新規の「量子化スケール」送出されていることを表わす「マクロブロック・クワント(macroblock_quanto) 」、Motion_forwardで示し前向き予測を使用することを表わす「マクロブロック・モーション・フォワード(macroblock_motion_forward)」、Motion_backwardで示し後向き予測を使用することを表わす「マクロブロック・モーション・バックワード(macroblock_motion_backward)」、Patternで示し「符号化ブロック・パターン」が送出されていることを表わす「マクロブロック・パターン(macrobloc k_pattern)」、および、Intraで示しデータが内部符号化されることを表わす「マクロブロック・イントラ(macroblock_intra)」である。図５（ａ）はＤＣＴ係数が破棄される場合にＭＰＥＧ２マクロブロック５０１の変更から得られたマクロブロック５０３を表わす。「マクロブロック・エスケープ」と「マクロブロック・アドレス・インクリメント」は変更されず、「マクロブロック・タイプ」は表Ｉに従って変更され、「モーション・タイプ」は変更されず、「ＤＣＴタイプ」と「量子化スケール」はＤＣＴ係数が送出されないので破棄され、動きベクトルは変更されず、「符号化ブロック・パターン」はＤＣＴ係数であるから破棄される。この好適実施形態の変形はＤＣＴ係数に加えて動きベクトルを消去するものである。これで送信するデータ量を更に減少できるが、予測の精度、従って画質が多くの画像の多くの領域で劣化することになる。本発明の好適実施形態において、ＤＣＴ係数は内部符号化マクロブロックの変更中には消去されない、つまり「マクロブロック・タイプ」が７又は１１のマクロブロックでは消去されない。その代わり、内部符号化されたマクロブロックは、最後の内部符号化されたマクロブロックを送出したため「量子化スケール」が変更され、現在の「量子化スケール」がこのような変更を反映しない場合を除く全ての場合に変更しないまま送出される。これは、たとえば内部符号化したマクロブロックの「マクロブロック・タイプ」が７で、「量子化スケール」の変更された値が本発明方法に従って変更された直前のマクロブロックで送信されるべき場合にこのようなことが起こり、このような変更で「量子化スケール」を除去する。こうした場合、図５（ｂ）に図示してあるように、「マクロブロック・タイプ」が７のマクロブロック５０１を「マクロブロック・タイプ」が１１のマクロブロック５０３に置き換え、「量子化スケール」の新規の値がマクロブロック５０３に挿入される。好適実施形態の１つの変形は内部符号化マクロブロックから予測符号化ロマクロブロックへ変換することである。変換を実行する簡単な方法は「マクロブロック・タイプ」を７又は１１から１に置き換えることである。表Ｉに図示してあるように、「マクロブロック・タイプ」が１は動きベクトルが大きさゼロを有すると仮定される双方向予測マクロブロックに対応する。この場合には予測が非常に正確ではないが、得られるアーティファクトは、内部符号化が予測符号化より効率的だとオリジナルのエンコーダが判定したような領域で検出され難くなる。追加の動きベクトル、ＤＣＴ係数、又はその他のコード・ワードはこの種のマクロブロックが指定されている場合には想定していない。Ｂピクチャ変更処理を実施するのに好適なシステムが図６に図示してある。プログラム分析器／変更器６０３は、本方法を単一のプログラムに対してか又は多重信号全体に対して適用するかどうかによって、１つまたは２つ以上の符号化プログラム・ストリームを受信する。この例では、プログラム分析器／変更器６０３は変更しようとするＢピクチャを選択し、前述した好適な方法を用いて変更を行ない、変更したＢピクチャのパケット化データとその他全ての変更しないピクチャのパケット化データを主出力ストリーム６０５に割り当て、各々の選択したＢピクチャに対応するオリジナルの変更しなかったパケットをオーバフロー出力ストリーム６０７に割り当てる。この実施形態では、主ストリームとオーバフロー・ストリームのデータは主変調器６０９とオーバフロー・チャンネル復調器６１１でそれぞれ異なったＲＦチャンネル６１５と６１７へ各々変調され、配給用に合成器６１９で合成される。大規模システムでは、多数の主チャンネルの間で１つまたは２つ以上のオーバフロー・チャンネルを共有することにより、更に柔軟性と効率を得ることができる。図６の出力６１７は、１つだけのＲＦチャンネルを受信できるコンベンショナルな受信器システムと互換性がある。このような受信器は主チャンネルのデータだけを復号化するので、変更したＢピクチャに遭遇した場合画質に何らか、全く認識不可能又はほとんど認識不可能な劣化が見られることになる。主チャンネルとオーバフロー・チャンネルの両方からデータを受信可能な拡張受信器の一例が図７に図示してある。第１のチューナ／復調器７０３は主チャンネルからのデータを復調し、第２のチューナ／復調器７０５はオーバフロー・チャンネルからのデータを復調する。各々のチューナ／復調器の出力はプログラムＤＭＵＸへ提供され、各多重信号から所望のプログラム・ストリームを抽出する。図７において、主チャンネルとオーバフロー・チャンネルのプログラムＤＭＵＸには各々７０７と７０９の参照番号が附記してある。各プログラムＤＭＵＸの出力はタイムスタンプ・コンパレータ７１１へ提供され、付随するタイムスタンプがオーバフロー・ストリームからの次のパケットに相当するタイムスタンプよりも小さい場合には主ストリームからの次のパケットを選択するようにパケットＭＵＸ７１３に指示を出す。このような場合、オーバフロー・ストリームからのパケットは小さなバッファ７１５に保存しておき、主ストリームの後続パケットともう一度比較を行なう。最終的に、対応する次のパケットのタイムスタンプが同一になった場合に、パケットＭＵＸ７１３はオーバフロー・ストリームからの次のパケットを選択するように指示を受け、これに対応する主ストリームのパケットは破棄される。このようにすると、拡張受信器のデコーダは変更されていないピクチャに対応するパケットだけを受信することになるので、オリジナルの符号化信号の完全な画質が保存される。僅かに異なる符号化システムが図８に図示してある。図６のシステムと同様に、このシステムもプログラム分析器／変更器６０３を使用し、主パケット・ストリーム出力６０５とオーバフロー・パケット・ストリーム出力６０７を出力する。この場合、プログラム分析器／変更器６０３からの出力６０５及び６０７は各々のパケット・ストレージ・システム８０９及び８１１に接続される。これらのストレージ・システムは先入れ先出し（ＦＩＦＯ）記憶装置として構成してある。充分な量のデータがオーバフロー・パケット記憶装置８１１に回収されると、各々の記憶装置からのパケットの多重化を開始できる。図８のパケットＭＵＸ８１７は通常はオーバフロー・パケット記憶装置８１１からのパケット８１５を選択し、充分なチャンネル容量が利用できる場合にだけオーバフロー記憶装置８０９からのパケット８１３を挿入する。このようにすると、オーバフロー・パケット８１５が挿入され、またオーバフロー・パケット記憶装置８１１が空にならない限り必要とされなくなったフィル・パケットと同じ方法で使用される。つまりこのシステムでは、フィルパケットを可能な場合には送出しないで済み、そのためチャンネル利用率が向上する。前述のように、図８の符号化システムで発生する出力はビット・ストリームに埋め込まれたオーバフロー・データ・パケットを無視するようなコンベンショナルな受信器と互換性がある。しかし、充分なローカル・ストレージを含む拡張受信器は、主パケットとオーバフロー・パケットの両方を使用してＢピクチャが変更される前に送出された通りのオリジナルの符号化ビット・ストリームを再構成することができる。このような拡張受信器の一例が図９に図示してある。この場合、チャンネル・チューナ／復調器９０３、第１のプログラムＤＭＵＸ９０５は主パケット９０９全部を取り出し、第２のプログラムＤＭＵＸ９０７は同じプログラムに関係するオーバフロー・パケット９１１を全部取り出す。オーバフロー・パケット９１１はＦＩＦＯ記憶装置９１３に転送され、ここで復号化が必要になるまで遅延される。図７のシステムと同様に、タイムスタンプ・コンパレータ７１１が次の主パケットのタイムスタンプとＦＩＦＯ記憶装置９１３からの次のオーバフロー・パケットのタイムスタンプとを比較して、小さいタイムスタンプを伴っている方を選択する。両方のパケットが同じタイムスタンプを有している場合は、ＦＩＦＯ記憶装置９１３からのオーバフロー・パケットを選択し、主パケットを消去する。このようにすると、拡張受信器のデコーダ７１７は変更されていないピクチャに対応するパケットだけを受信することになるため、オリジナルの符号化信号の完全な品質が保存される。プログラム分析器／変更器６０３の動作の特定の実施形態について、ここで図１０を参照して説明する。説明を簡略化するため、パケットとピクチャの間に一対一の対応を仮定する。パケットは一般にピクチャの境界と整列しておらず、平均的なピクチャのサイズより大きいか又は小さいかのいずれかであることは当業者には理解されよう。また、変更Ｂピクチャの小さな部分でも含むこのようなパケットは全てオーバフロー出力ストリームに含めることができ、変更処理の対象となるパケットのＢピクチャ成分で主ストリームを複製できることが当業者には理解されよう。図１０を参照すると、本方法はステップ１００３から始まっており、ここで次のピクチャを選択する。単一のプログラム・ストリームの場合、次のピクチャを選択するのに幾つかの方法を使用できる。好適実施形態において、多重化発明の方法をステップ１００３に用いることができる。読者は、このような方法のフローチャートとして多重化発明についての特許出願の図４（ａ）を参照し、図４（ａ）のフローチャートはビデオ・フレームではなくパケットについてのものであることに注意されたい。ステップ１００３の後、ステップ１００５では選択した次のピクチャに対応するデコーダ・バッファがアンダーフローになるかを判定する。ステップ１００５は、チャンネル利用率発明についての同時出願中の特許出願に記載されている方法と類似の方法で、タイムスタンプを使用して行なう。読者は特に、当該特許出願の図７を参照すべきである。ステップ１００５で対応するデコーダ・バッファがアンダーフローしていないと判定した場合、ピクチャはステップ１０１７で主ストリームに割り当てられ、これが最後のビデオ・フレームだったか否かの決定がステップ１０１９で行なわれる。最後のピクチャだった場合、本方法は終了する。違う場合、本方法はステップ１００３に戻って次のピクチャを選択する。ステップ１００５で次のピクチャが通常はバッファをアンダーフローさせると判定した場合、本発明方法の好適実施形態ではステップ１００３で選択した次のフレームがＢピクチャかどうかをステップ１００７で判定する。ステップ１００７で次のピクチャがＢフレームではないと判定した場合、直前のピクチャをステップ１０１５で選択し、そのピクチャがＢピクチャかどうか調べる。Ｂピクチャが見付かったら、そのピクチャをステップ１００９でオーバフロー・ストリームに割り当て、ステップ１０１１で、Ｂピクチャを変更し、変更したピクチャを主ストリームに割り当て、オーバフロー・ストリームに割り当てたＢピクチャを置き換える。ステップ１０１３で、デコーダ・バッファが変更した主ストリームでアンダーフローするかどうかの判定を行ない、アンダーフローにならない場合には本方法ではステップ１００３に戻って次のピクチャを選択する。アンダーフローが起こる場合には直前のピクチャを選択し、本方法はステップ１００７に戻って次の直前Ｂピクチャを検索して変更する。本発明の別の実施において、ステップ１００７で、全ての考えられるＢピクチャを変更の候補とする代わりに、比較的大量のデータを含む場合にだけ変更するようにＢフレームを選択する。つまり、大きな予測エラーが存在する場合のみである。このようなＢピクチャを変更のために選択することで、マスキング効果により、エラーが簡単に認識されないように保証する。つまり、別の実施形態においては、単なるピクチャの代わりにピクチャのグループを考慮する。この別の実施形態では、各グループは１２枚のピクチャで、即ち毎秒２４フレームの動画の０．５秒で構成される。本明細書で、又は多重化発明及びチャンネル利用率発明の同時出願中の特許出願で開示した方法、又は方法の簡単な変更を用いると、この処理では時間的にどの点でも全てのデコーダ・バッファの状態が分かる。又、時間的にあらゆる点であらゆるプログラム・ストリームについて次のピクチャのグループが分かる。つまり、時間的にあらゆる点で、この処理により全てのプログラム・ストリームについてこれらのピクチャの次のグループ全部を送信するデコーダ・バッファの状態への影響を決定する。特に、プログラムはアンダーフロー状態が発生するかどうかを決定できる。どのデコーダ・バッファでもオーバフロー状態が発生しない場合、本方法では全てのプログラム・ストリームについて次のピクチャ・グループを送出し、全てのチャンネルで次のピクチャ・グループを検索する。オーバフロー状態が発生すると思われる場合、本方法では次のピクチャ・グループの全部のピクチャから最も多くのデータを含むＢフレームを選択する。これはマスキング効果について変更するのに適したフレームである。そのＢピクチャは変更され、変更されなかったＢピクチャは、１）オーバフロー・ストリームに割り当られ、２）主ストリームで変更したピクチャと置き換られる。本方法では次に、アンダーフロー状態を発生せずに全てのピクチャ・グループを送出できるか調べる。可能な場合には送出し、それ以外では次にデータを多く含むＢピクチャを変更対象として選択する。アンダーフロー状態を回避するのに充分な枚数のＢピクチャが変更されるまで、これを反復する。別の実施形態で、別の基準、たとえば単一のプログラム・ストリーム内部で互いに接近しすぎているＢフレームは変更しない等、を追加できる。図１０のフローチャートに説明してある実施形態、又はオーバフロー・ストリームがない場合を取り扱う別の実施形態の方法のいずれかを如何に簡略化するかは、当業者には明らかであろう。図１０のフローチャートを参照すると、リアルタイム実装において、チャンネル容量と適合するのに充分なだけデータ・レートが低減されるまで反復的に直前のピクチャを選択変更するのは現実的とは言えない。このようなリアルタイム実装では、適切なタイミングを維持するのに必要な場合には後戻り処理(backward stepping process)を停止し、チャンネル利用率発明で説明しているアンダーフロー制御技術等の別のデータ・レート低減策に切り換える必要がある。Ｂピクチャを選択的に変更するのは完全な多重信号の形成中に行なえる。これ以外に、ｎ個のプログラム・ストリーム各々について独立してＢピクチャを選択的に変更するように一般化できる。変更はプログラム・ストリーム２０３の各々について独立して行なえるので、本発明方法はデータ・チャンネル経由でデコーダへ単一の符号化ストリームを送信する場合に単一の符号化ストリームで選択したＢピクチャを変更する場合にも応用可能である。図１０のフローチャートで説明した実施形態、又は単一のプログラム・ストリームしかない場合を取り扱う別の実施形態の方法のどちらかを如何に簡略化するかは、当業者には明らかであろう。多重化発明（図５）とチャンネル利用率発明（図１５）の同時出願中の特許出願は、符号化多重信号２０５を生成することのできるサーバ・システムを開示している。チャンネル利用率発明についての出願の図１５を参照すると、本発明による圧縮データの編集は、好適実施形態において、サーバ・システム・コントローラ１５０９等で実行できる。たとえば、特定プログラムの一部に対応する圧縮比を増加させようとする場合、選択した部分を展開するステップと、高い低減比で再圧縮するステップと、結果をデータストリームに挿入するステップとを全部実行できる。これ以外に、データストリームの編集で使用する完全に又は部分的に圧縮したプログラムを、エンコーダ１５１１又はアーカイブ・ライブラリ１５０５経由でシステムに入力することができる。本発明によるＢフレーム編集を行なう際に未編集版のＢフレームも「オーバフロー」チャンネルに送出する場合、独立したサーバ・モジュールはプログラムの編集済みＢフレーム全部を格納しておくことができる。多重信号がＭＵＸモジュール１５１３を用いて形成される際に、チャンネルが完全なＢフレームに対応できる場合はプログラムを保持しているサーバ・モジュールから完全なＢフレームが送出される。それ以外の場合には、編集済みＢフレームを保持するサーバ・モジュールから編集済みＢフレームを取り出す。オプションとして、編集済みＢフレームが送出される際には、独立したＭＵＸモジュールが編集済みＢフレームの完全版を含むストリームを含む独立した多重信号を形成する。以上で、デジタル・ビデオ送信多重化のためにチャンネル利用率を改善する符号化ビデオを変更するための方法及びその装置を開示した。本発明の好適実施形態ならびに代替実施形態についての前述の説明は、図示と説明を目的として提示したものである。これは開示した正確な態様に本発明を網羅すること、又は制限することを意図したものではない。上記の教示に鑑みて、明らかに変更又は変形が可能である。企図される特定の使用方法に適合するように、各種実施形態に各種変更を伴って当業者が本発明を利用できるようにするために、本発明の原理の最良の図示とその具体的応用を提供するように実施形態を選択し、説明してある。これらの変更及び変形は全て、公正、合法的、公平に譲受される範囲において解釈された場合に添付の請求項に定める通り本発明の範囲内に含まれるものである。付録：ビデオ符号化とＭＰＥＧの手引きＡ．用語便宜のため、本発明の説明に用いる幾つかの用語をここで定義する。この用語集部分に列挙した用語に隠れている概念は後続の章で説明してある。用語の幾つかは従来技術で１つ以上の語義を有することがある点に注意すべきである。説明部分に適用できる語義は当業者には明らかであろう。ＭＰＥＧ：ＭＰＥＧ標準、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）標準。２種類のＭＰＥＧのバリエーションが合意されている：ＭＰＥＧ１は、ＩＳＯ／ＩＥＣ文書１１１７２（「デジタル記憶媒体用の動画とこれに関連したオーディオの符号化」）に記載されている。ＭＰＥＧ２は、ＩＳＯ／ＩＥＣ文書１３８１８（「動画とこれに関連したオーディオ情報の汎用符号化」）に記載されている。本明細書で用いているように、ＭＰＥＧはＭＰＥＧ１またはＭＰＥＧ２のいずれかを区別せずに表わしている。遠隔符号化：物理的に遠隔地であるためか、または他の理由によるかいずれかにより、他の何らかのプログラムの符号化とは独立し、符号化ストリームの何らかの多重化とも独立しているプログラムを符号化すること。フレーム：オーディオ符号化の基本単位。ＭＰＥＧオーディオ・ビットストリームはフレームに分割されている。用語「フレーム」はビデオ・シーケンスの単位としても共通に使用される。ビデオ・フレームは本明細書ではしばしば「ピクチャ」と称する。ピクチャ：ビデオ・フレーム、ビデオシーケンスの単位。ピクセル：ピクチャの「画素」。デジタルビデオおよびビデオ符号化の技術では、ピクチャは画素の離散２次元アレイと考えられる。ペル：画素。ピクセルと同じ。フィールド：ビデオでは、別々に送信されるピクチャのピクセルのサブセット。インタレースでは、ピクチャは２つまたは３つ以上のフィールドに分割される。ＮＴＳＣとＰＡＬでは、各フィールドはピクチャの１本おきの水平走査線の画素で構成される。インタレース：２つまたは３つ以上のフィールドにピクチャを分割すること。イメージ符号化：画像圧縮技術。カラー量子化：そのピクセルを表わすのに必要なピクセルでビット数を減少すること。カラー量子化はピクセルのカラーを表わす数のデジタル化も意味する。内部符号化：カラー量子化を含むピクチャの空間的冗長性を考慮しているがピクチャ間の時間的変化を使用しないような画像符号化。画像間符号化：ビデオシーケンスでピクチャ間の時間的冗長性を利用するような画像符号化。フレーム内符号化：内部符号化と同じ。フレーム間符号化：画像間符号化と同じ。動き予測：ビデオシーケンスでピクチャ間の動きによる空間的移動を計算すること。動き補償：動き予測を用いてビデオシーケンスでピクチャ間の動きを補償すること。Ｉピクチャ：ＭＰＥＧで、純粋に内部符号化を使用する、即ち他のピクチャとは独立して処理されるピクチャ。Ｉフレーム：Ｉピクチャと同じ。フレーム内符号化ピクチャ：Ｉピクチャと同じ。Ｐピクチャ：ＭＰＥＧで、直前のＩピクチャまたは直前のＰピクチャを用いて符号化されるピクチャ。Ｐピクチャの圧縮は順方向動き予測および補償を用いて先行するＩまたはＰピクチャからの時間的予測に依存する。Ｐフレーム：Ｐピクチャと同じ。予測符号化ピクチャ：Ｐピクチャと同じ。Ｂピクチャ：ＭＰＥＧで、直前のＩまたはＰピクチャと将来のＩまたはＰピクチャからの双方向動き予測および圧縮により符号化されるピクチャ。Ｂフレーム：Ｂピクチャと同じ。双方向符号化ピクチャ：Ｂピクチャと同じ。アンカー・ピクチャ：ＭＰＥＧでは、Ｐピクチャについて、そのＰピクチャを予測するために使用されるＩまたはＰピクチャ。Ｂピクチャについて、そのＢピクチャから時間的に一方が順方向、他方が逆方向で、各々そのＢピクチャを時間的に逆方向および順方向に予測するために使用される、隣接するＩまたはＰピクチャのどちらか。基準ピクチャ：アンカー・ピクチャと同じ。基準フレーム：アンカー・ピクチャと同じ。可変ビットレート（ＶＢＲ）符号化：時刻とともにオリジナルのビデオ・シーンの異なる複雑さを考慮するように出力ビットレートが時間とともに変化する画像符号化。ＶＢＲ符号化は均一な画質を達成する符号化にしばしば関連する。ＭＰＥＧストリーム：ＭＰＥＧでは、１つまたは２つ以上のオーディオ・ストリームおよびその他のデータたとえばタイミング情報と多重化された１つまたは２つ以上のビデオ・ストリームを代表的に含むビット・ストリーム。プログラム・ストリーム：通常はビデオ、オーディオ、その他そのプログラムに関係するデータ・ストリームを全て含む単一ビデオ・プログラムについての符号化ストリーム。一例としてはあるプログラムのＭＰＥＧストリームがある。要素ストリーム：ＭＰＥＧでは、ビデオ・ストリーム、オーディオ・ストリームまたはプライベート・データ・ストリームのこと。ビデオ・ストリーム：符号化ビデオ情報のビットストリーム。オーディオ・ストリーム：符号化オーディオ情報のビットストリーム。パケット：ＭＰＥＧでは、要素ストリームの基本単位のこと。パケットはパケット・ヘッダとパケット・データとを含む。パケット・ヘッダ：ＭＰＥＧでは、各パケットのヘッダのこと。パケット・ヘッダはストリーム識別符号を含み、１つまたは２つ以上のタイムスタンプを含むことがある。パック：ＭＰＥＧでは、ＭＰＥＧストリームの基本単位のこと。各パックはパック・ヘッダと、１つまたは２つ以上の要素ストリームからのパケットを含む。パック・ヘッダ：ＭＰＥＧではパックのヘッダで、タイムスタンプを含むことがある。タイムスタンプ：ＭＰＥＧでは、復号化中の同期とビューワへの提示 (presenteation)のための手段を提供するパックまたはパケット内の情報のこと。マルチプレクス・ワイド・オペレータ：ＭＰＥＧでは、パックに対して復号化時に実行され、ＤＳＭまたはチャンネルから取り出す座標、クロックの調節、およびバッファの管理を含む演算。ストリーム独自の演算：ＭＰＥＧでは、１つの要素ストリームに対して復号化時に実行され、デマルチプレクシングと再生同期とを含む演算。ＤＳＭ：デジタル記憶媒体の一般的用語で、デジタル記憶または伝送装置またはシステムを表わすのに用いられる。符号化の場合、符号化データはＤＳＭまたはデータ・チャンネルへ送出され、復号化の場合には、符号化データはＤＳＭまたはデータ・チャンネルから取得する。ソースクロック基準（ＳＣＲ）：ＭＰＥＧでは、ローカル・クロックをマスター時刻基準に調節するために使用されパック・ヘッダ内に存在するデータのこと。復号タイムスタンプ（ＤＴＳ）：ＭＰＥＧでは、パケット・ヘッダに存在しパケット内の最初のユニット（オーディオ・フレームまたはビデオ・フレーム）を復号化すべき時間を表わすデータ。プレゼンテーション・タイムスタンプ（ＰＴＳ）：ＭＰＥＧでは、パケット・ヘッダに存在しパケット内の最初のユニット（オーディオ・フレームまたはビデオ・フレーム）をビューワに提示すべき時間を表わすデータ。システム・タイムクロック（ＳＴＣ）：タイムスタンプを作成するために用いる共通の時刻基準。符号化データのタイミング（ＳＣＲ）とデータ提示のタイミング（ＰＴＳおよびＤＴＳフィールド）の測定値を均一化するための共通の時刻基準の使用で正しい同期とバッファ管理を保証する。システム・ターゲット・デコーダ（ＳＴＤ）：ＭＰＥＧでは、ＭＰＥＧストリームを作成するために符号化で使用されるデコーダの仮想モデル。ＳＴＤと同じアーキテクチャまたはタイミング構造では実際のデコーダを実装しなくとも良い。受信器：デコーダを含む装置のこと。一般に、受信器はデコーダ、チューナ、復調器を含む。基準クロック：デコーダのローカル・クロック。チャンネル：本発明の状況下では、特定のプログラム・ストリームのこと。チャンネルという単語は他の意味、たとえば通信チャンネルやデータ・チャンネル等、デジタルデータを格納または伝送するデジタル媒体の意味も有している。チャンネル・バッファ：特定のプログラム・ストリームに合わせて微調整してあるデコーダのバッファ。ブロック：本発明の多重化方法では、一定の持続時間の提示に対応するデータの任意のグループ化。ＭＰＥＧでは、「マクロブロック」は動き補償および適応量子化の単位であるブロックで、一定量の空間データを表わす。ＭＰＥＧのマクロブロックは１つまたは２つ以上の輝度ブロックと１つまたはそれ以上の色差ブロックを更に含む。リオーダ・バッファ：ＭＰＥＧでは、ピクチャのシーケンスが提示前にリオーダされている間にＩまたはＰピクチャを記憶するためにビデオ・デコーダで使用するバッファのこと。これはＢフレームの存在で必要とされることが多い。スタフィング・ビット：ＭＰＥＧではストリームのビットレートを増大する目的で圧縮ビットストリームに挿入される余剰のスタフィング／コードビット。スタフィング・ビットは復号化中に破棄される。スタフィング・バイト：８スタフィング・ビット。ＭＰＥＧプロファイル：ＭＰＥＧ２では、画像／ピクチャの解像度。放送品質で最も共通するプロファイルはメイン・プロファイルである。メイン・プロファイル（ＭＰ）：ＣＣＩＲ−６０１ビデオのＭＰＥＧ２プロファイル。ＭＰＥＧレベル：ＭＰＥＧ２では、最小限の仕様のセットとＭＰＥＧ２の特徴のサブセット。媒体レベル（ＭＬ）：共通のＭＰＥＧ２レベル。ＭＰ＠ＭＬ：ＭＰＥＧ２では、ＭＰとＭＬの適合性。ＭＰ＠ＭＬ適合デコーダは少なくともデコーダ・バッファ記憶容量を１．８メガビット有する。Ｂ．デジタルビデオ符号化ビデオプログラムは代表的に「フレーム」の順序付けたシーケンスとして構成され、各フレームは時間的に特定の一点のシーンを表わす。用語「フレーム」はオーディオ圧縮技術でも使用され、ＭＰＥＧ標準では圧縮オーディオの基本単位を表わすことに注意すべきである。そのため、用語「ピクチャ」も本明細書ではビデオ・フレームを示すために使用している。各ビデオ・フレームは画素（ピクセルまたはペルと呼ばれる）の２次元アレイに離散していると考えることができ、各フィールドがピクチャのピクセルのサブセットで構成されている２つまたは３つ以上のフィールドに分割することができる。このような分割方法をインタレースと呼ぶ。ＮＴＳＣ（米国および日本）、ＰＡＬやＳＥＣＡＭ（世界中）のテレビジョン放送規格では、たとえば、各ビデオ・フレームは２枚のフィールドから構成され、各フィールドはピクチャの水平走査線１本おきのピクセルで構成されている。各ピクセルは色（色相と飽和度）と輝度を再現するための情報を含み、このデータは様々な方法で表現できる。１つの方法としては、色と輝度を再現するのに必要とされる赤、緑、青（ＲＧＢ）の三原色の相対量に対応する赤、緑、青の値とする。テレビジョン・ディスプレイに通常みられる陰極線管は、電子銃に印加する電圧に応答して画面上に赤、緑、青を表現する電子銃を備えている。データはインテンシティ・データ（たとえばルミナンス）およびカラーデータとして各ピクセルで表現しても良く、ここでカラーデータはクロミナンス座標、色相と飽和度座標、またはその他何らかの方法で表現される。ピクセル情報を表現する様々な方法の間で変換するための技術が公知である。各ピクセルの情報はデジタル的に表現できる。つまり、ビデオプログラムは各ビデオ・フレームのピクセル値を記述する順序付けたビットのシーケンスから構成されるデジタルデータ・ストリームに変換できる。同様に、プログラムに関係するオーディオをデジタルデータに変換したり、ピクチャ毎にビデオで識別することができる。ビデオ・データを圧縮できることは従来技術では周知となっている。第１に、個別の各ピクセルを表現するために要求されるビット数をピクセル毎に減少できる。つまり、いずれか他のピクセルのデータを参照せずに各ピクセルのデータを処理（低減）する。第２に、フィールドまたはピクチャを表現するに要求されるビット数はフィールドまたはピクチャの空間的冗長性を利用することで減少できる。たとえば、均一でゆっくりと、またはスムーズに変化する色または輝度の領域は変化やエッジが多い領域より少ないビット数（即ち少ないデータ）で表現できる。第３に、ピクチャのシーケンスを表現するために要求されるビット数は時間的冗長性−−時間的にゆっくり変化するかまたはほとんど全く変化しないシーケンスのピクチャにある領域−−を利用することで減少できる。画像圧縮技術は「画像符号化」とも呼ばれる。上述の第１の方法は色量子化と呼ばれ、第２の方法はフレーム内符号化または内部符号化と呼ばれ、色量子化を含むのが代表的で、第３の方法はフレーム間符号化または画像間符号化と呼ばれ、必ずではないが代表的には内部符号化を含む。Ｃ．ＭＰＥＧビデオ符号化標準本発明の好適実施形態はＭＰＥＧ標準に従って圧縮してあるビデオ・ストリームに対するものである。当業者には理解されるように、本発明は他の圧縮方法を用いて圧縮されているビデオ・ストリームでも使用できる。ＭＰＥＧ標準のビデオ部分では動き補償予測符号化、ディスクリートコサイン変換（ＤＣＴ）、および適応量子化を使用し、これらは各々がブロック毎に画像を処理する。「動き予測」はピクチャ間の空間移動（動きベクトルの形で）を計算する処理を表わし、ピクチャ毎にピクセルのブロックの動きを測定することで行なわれるのが普通である。「動き補償」は得られた動きベクトルを用いて動きを補償するものである。ＭＰＥＧでは順方向動き予測（予測は過去を参照して将来について行なう）と逆方向動き予測（予測は将来を参照して過去について行なう）との両方を使用する。順方向および逆方向動き予測も双方向動き予測を発生するように組み合わせられる。圧縮しようとするビデオ・フレームは代表的には輝度をＹで表わす輝度ピクセルのアレイと、クロミナンス信号が各々ＣrとＣbで表わされるクロミナンス・ピクセルの２アレイで構成される。ＭＰＥＧ圧縮方法によれば、ビデオ・フレーム（ピクチャ）は３種類のうちの１つに分類される：Ｉピクチャやフレーム間符号化ピクチャとも呼ばれるＩフレーム、予測符号化ピクチャとも呼ばれるＰフレームまたはＰピクチャ、双方向符号化ピクチャとも呼ばれるＢフレームまたはＢピクチャである。これら３種類のビデオ・フレームは動き予測の使用方法に相違が見られる。Ｉピクチャは純粋に空間圧縮を使用し、他のピクチャとは独立して処理される。つまりＩピクチャは全くフレーム内演算によって処理され中等度レベルの圧縮のみ実現される。その一方で、完全なピクチャがＩピクチャ単独で生成できる。ＰピクチャとＢピクチャも予測符号化を使用しており、これらも独立したピクチャであると考えることができる。Ｐピクチャは直前のＩピクチャまたは直前のＰピクチャを使用して符号化されている。Ｐピクチャの圧縮は動き補償を用いて直前のＩまたはＰピクチャからの時間的予測に依存している。順方向動き予測／補償だけを時間的予測に使用する。Ｐピクチャが時間的に予測されるＩまたはＰピクチャはＰピクチャに対する「アンカー・ピクチャ」と呼ばれる。これはまた基準ピクチャまたは基準フレームとも呼ばれる。Ｂピクチャは双方向動き補償予測エンコーダによって逆方向予測では次の「将来の」ＩまたはＰピクチャ、また順方向予測では直前のＩまたはＰピクチャを使用して符号化される。Ｂピクチャが時間的に予測される２つの隣接したＩまたはＰピクチャはＢピクチャの「アンカー・ピクチャ」と呼ばれる。Ｂピクチャの時間的予測では順方向および／または逆方向に動き補償を使用する。Ｂピクチャは他のピクチャの予測には絶対に使用されない。２つの隣接するアンカー・ピクチャに対するＢピクチャの依存から、Ｂピクチャは単独では、認識可能なピクチャを生成するために充分なデータを含まない。ＭＰＥＧ標準によれば、ピクチャは順序付けたグループに構成される。標準ではエンコーダにＩピクチャの頻度と位置を選択することを許容している。ピクチャのグループはシーケンスへのランダム・アクセスを支援するように意図しているので、グループで最初に符号化されるピクチャは通常Ｉピクチャである。代表的なグループは、一例として最初のピクチャにＩピクチャ、その後３枚目毎のピクチャに分散したＰピクチャと、「ＩとＰ」および「ＰとＰ」のシーケンス全ての間のＢピクチャとを含むような一連のピクチャである。つまりこの例に一致するピクチャ種別の代表的な表示順序は、１５フレーム毎にＩピクチャを含み、各々のＩピクチャには２つのＢピクチャが続き、次にＰピクチャとそれに続く２つのＢピクチャのシーケンスがあり、これがＩピクチャで始まる次のグループまで続く。つまり、表示順序はＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰＢＢＰＢＢ．．．となる。１５フレーム毎にＩピクチャを含む毎秒３０ピクチャの環境は１／２秒毎に独立したピクチャを有することに相当する。ＭＰＥＧ標準によれば、ビデオ信号をデジタル化した後、デジタルデータはマクロブロックに構成される。マクロブロックは動き補償と適応量子化の単位である。多数のマクロブロックに１枚のピクチャが含まれる。各マクロブロックはあるピクチャの所定の空間領域を定義しており、輝度とクロミナンス情報を含む。ＭＰＥＧ勧告はマクロブロックのスライス構成を提供している。スライスはマクロブロックのラスタからの整数個の連続マクロブロックである。スライスはマクロブロック・パラメータの微分符号化たとえばＤＣＴのＤＣ係数や動きベクトルが実行される境界を表わす。各スライスはそれ自身のヘッダ情報を有し、他のスライスから独立することができ、各々には少なくとも１つのマクロブロックを含む。スライスはオーバラップしない。スライスの位置はピクチャ毎に変化することがある。最初のスライスはピクチャの最初のマクロブロックから始まり、最後のスライスはピクチャの最後のマクロブロックで終る。スライスの最初のマクロブロックにはそのマクロブロック・パラメータ、たとえばＤＣＴのＤＣ係数（フレーム間符号化の場合）や動きベクトル等を有し一定値から微分符号化されている。スライス内で後続の各マクロブロックはスライス内の直前のマクロブロックからのオフセットとして測ったマクロブロック・パラメータを有している。そのため、スライスのサイズはデータの塊を復元して正しく復号化することのできる最小サイズである。スライスの一部が失われた場合、スライスの残りの部分に含まれる動きベクトルの差分またはＤＣ係数を復号化できない。マクロブロックは４つの８×８輝度ブロック（Ｙ₀，Ｙ₁，Ｙ₂，Ｙ₃）と２つの８×８色差ブロック（ＣrとＣb）を含む。４つの輝度ブロック（Ｙ₀，Ｙ₁，Ｙ₂ ，Ｙ₃）と２つの８×８色差ブロック（ＣrとＣb）は単一のマクロブロックを構成し、ピクチャ内の同じ空間領域をカバーする１６×１６画素配列を符号化するために使用される。前述したように、マクロブロックは動き補償と適応量子化の最小単位として用いられる。ＭＰＥＧ標準によれば、動き補償予測符号化はＰピクチャまたはＢピクチャの全てのマクロブロックについて動きベクトルを計算することで実行する。ＭＰＥＧ圧縮は通常、マクロブロック毎に動きベクトルを符号化するが、これを計算する技術は指定していない。つまり、ＭＰＥＧ規格に適合する様々な各種動き予測技術を実現できる。たとえば１つの技術は輝度信号でピクセルのブロックのピクチャ間相関から動きベクトルを計算し、マクロブロックの輝度成分について動きベクトルを得るものである。各マクロブロックを符号化する最良のモードが選択される。任意のピクチャ内部で、各マクロブロックは幾つかの異なるモードの１つに符号化される。フレーム内符号化モードは空間情報だけが使用されるマクロブロック符号化を表わす。逆に、（順方向動き、逆方向動き、および双方向動き）フレーム間符号化モードは代表的には動き補償予測符号化での時間的予測について、現在のピクチャ以外のピクチャからの情報が符号化で使用されるマクロブロック符号化を表わす。Ｉピクチャのマクロブロックでは、フレーム内符号化モードだけが利用可能である。代表的エンコーダでは、ＭＰＥＧ標準で指定されていないが、Ｐピクチャ・マクロブロックを最初に調べて動き補償なしのフレーム間符号化が適切かどうか判定する。この決定は動き補償なしのフレーム間符号化から得られるマクロブロックについての順方向予測残余の輝度エネルギーを計算し、これを閾値と比較することで行なう。残余エネルギーが閾値以下の場合、マクロブロックは動き補償なしで符号化される。それ以外の場合、順方向動き補償を伴うフレーム間符号化からの残余マクロブロックを導出して、符号化モード選択の最後のステップとしてフレーム間符号化またはフレーム内符号化を使用すべきかどうか決定するために使用する。Ｂピクチャ・マクロブロックも同様に処理してフレーム間符号化が適切かどうか判定する。Ｂピクチャは双方向符号化できるので、フレーム間符号化は先行及び後続のアンカー（即ちＩまたはＰ）ピクチャに基づいて、順方向または逆方向のどちらかとすることができる。これはまた先行および後続のアンカー・ピクチャからのマクロブロックの平均に基づいても良い。動き補償を用いるフレーム間符号化の場合、順方向、逆方向、双方向の３種類のモードが考えられる。Ｂピクチャ・マクロブロックの符号化モード選択は輝度予測残余エネルギーに基づいて決定する。ＰとＢピクチャ・マクロブロック双方で符号化モード選択の最後のステップはフレーム間符号化とフレーム内符号化の間の選択である。一般に、ＰピクチャとＢピクチャはフレーム間符号化を用いて符号化されている。この選択は輝度フレーム間（動き補償ありまたはなし）予測残余マクロブロックのエネルギーに対してオリジナルのマクロブロックの輝度エネルギーを比較することで行なえる。オリジナルのマクロブロックの方が予測残余マクロブロックよりエネルギーが小さい場合、フレーム内符号化モードを選択する。動きベクトルを計算した後、各マクロブロックは変換符号化される。つまり、マクロブロックはピクセル・ドメインからＤＣＴ係数ドメインへ変換される。各ピクチャのピクチャ情報（即ちＩピクチャでのピクセル値、またＢとＰピクチャでの予測後残余エラー）がＤＣＴを用いて変換され、次に適応量子化される。ＤＣＴを実行する目的で、ピクチャ（ビデオ・フレーム）をたとえば値のブロックに（即ちＤＣＴ係数のアレイに）分割する。ＤＣＴ処理ではジグザグ走査フォーマットで（即ち低周波係数に高周波係数が続く）ＤＣＴ係数のブロックを生成する。このジグザグ走査構成により後続のランレングス符号化処理が容易になる。周波数が両方の次元でゼロになっているＤＣＴ係数はＤＣ係数と呼ばれる。次に、ＤＣＴ係数の各ブロックについて適応量子化を実行する。ＤＣＴ係数に適応量子化を適用した後、係数は差分符号化、ランレングス符号化、可変長符号化等周知の技術を用いた圧縮を行なう。その結果、ビデオ圧縮エンコーダ・モジュールが可変長コードワードの形で符号化データを作成し、これには選択した符号化モードと復号化に必要な全ての動きベクトルに関する情報が含まれることになる。各種ヘッダも符号化ビットストリームに組み込まれて走査線当たり画素数としてのピクチャサイズやピクセル・アスペクト比等の情報を提供する。ビデオ圧縮エンコーダ・モジュールは符号化データがどのピクチャを表わすかまた符号化データがどのマクロブロックとスライスを表わしているかを記述した情報も出力する。コードワードは可変長符号化圧縮ビデオ・ストリームの高信頼性供給を提供するのに必要とされる他のＭＰＥＧ特有のデータで更に符号化される。Ｄ．ＭＰＥＧオーディオ符号化標準ＭＰＥＧはオーディオ符号化標準も含んでいる。ＭＰＥＧＩオーディオでは、モノ、ステレオ、２か国語プログラム等で有用な独立した２チャンネルによるデュアルモード、およびチャンネル間（左−右）依存も用いてビットレート低減を図ったジョイント・ステレオと呼ばれるモードをサポートする。ＭＰＥＧ１オーディオ圧縮の最初の段階では、オーディオ信号をスペクトル・サブバンド成分に変換し、次に各々のサブバンドを量子化する。音響心理学的モデルを符号化処理に使用することができる。ＭＰＥＧ２ではデュアルスタンダードとして、ＭＰＥＧ１下位互換符号化と非下位互換符号化の多チャンネルのサポートが追加されている。ＭＰＥＧオーディオ・ビットストリームは「フレーム」と呼ばれる単位に分割される。ＭＰＥＧ１オーディオ・ストリームは可変長フレームで構成され、各フレームはＭＰＥＧ１ヘッダで開始し、次にＭＰＥＧ１オーディオ信号、更に補助データ用に予約されておりＭＰＥＧ１デコーダでは無視される可変長フィールドが続く。この状況下での用語「フレーム」はビデオ・フレームと混同すべきではない。そのため、本明細書ではビデオ・フレームを表わすために用語「ピクチャ」を使用している。下位互換ＭＰＥＧ２オーディオ・ストリームはＭＰＥＧ１フレームの補助データ用フィールドに必要なＭＰＥＧ２多チャンネル拡張信号を含むフレームを有している。本発明ではビデオとオーディオ両方を含む完全なＭＰＥＧストリームを取り扱っている。本明細書ではビデオ・ストリームの処理についてのみ詳細を提供しているが、これはたとえば、オーディオ処理の決定または制限部分を本発明の方法と一致させることが当業者には簡明であるとおもわれるためである。Ｅ．オーディオ／ビデオ同期とＭＰＥＧ受信器完全なＭＰＥＧストリームはＭＰＥＧビデオ・ストリームと、ＭＰＥＧオーディオ・ストリームと、その他のデータたとえばタイミング情報等で構成され、全てが結合多重化されてデジタル伝送または記憶に適した単一のストリームを形成している。ＭＰＥＧ標準では同期再生を可能にするシンタックスおよび意味論的規則を付加している。標準はエンコーダまたはデコーダの正確なアーキテクチャまたは実装を規定してはいないが、ビットストリームの性質、ならびに最小クロック許容範囲等、適合することが必要とされる性能要求を規定している。用語「プログラム・ストリーム」は本明細書において、ビデオとオーディオとを含む単一のプログラムで、たとえばＭＰＥＧストリーム等の符号化ストリームを表わすために用いている。つまり、プログラム・ストリームはデジタル化した動画、デジタル化した地上波、ケーブル、または衛星テレビジョンプログラム、または同一の動画またはテレビジョン・プログラムの別の時間セグメントのＭＰＥＧストリームで構成できる。ビデオ・ストリームや、オーディオ・ストリーム等は「要素ストリーム」と呼ばれている。つまりＭＰＥＧストリームは互いに多重化されている１つまたは２つ以上の要素ストリームで構成される。各要素ストリームからのデータは、パケットと呼ばれる単位に記憶されており、パケットはそのストリーム内でシリアル化してあるのが代表的である。パケットは「パケット・ヘッダ」とそれに続くパケット・データで構成される。パケット・ヘッダは開始コードで始まり、パケット・データが所属するストリームも識別する。パケット・ヘッダにはパケット・データで表わされるイベントのタイミングを表わす１つまたは２つ以上の「タイムスタンプ」を含むこともある。パケット・データは１つの要素ストリームたとえばオーディオ、ビデオ、またはその他のデータからの可変数の連続バイトを含む。パケットは「パック」に組み立てられる。パックは１つ以上の要素ストリーム、たとえばオーディオとビデオ・ストリーム両方からのパケットを含み、復号化時の「多重信号全体に対する演算(multiplex-wide operation)」に使用される。これはパケットのデータが１つの特定の要素ストリームからのものであることを反映した「ストリーム独自の演算(stream-specific operation)と呼ばれるパケット・データについての演算と対比される。パックはパック・ヘッダで始まり、これに１つまたは２つ以上のパケットが後続する。パック・ヘッダは「ソースクロック基準（ＳＣＲ）」と呼ばれるタイムスタンプを含み、ＳＣＲデータバイト（従ってバイト相互）がデジタル記憶媒体（ＤＳＭ）またはデータ・チャンネルからデコーダへ入力される正確な時刻を指定する。このターゲット到着スケジュールはクロック訂正および／またはデコーダのバッファ管理の基準として供用される。全てのストリームで最初のパックは最大データ・レートについてと多重信号でのチャンネル数についての情報も伝送できる。つまり、パックで実行される多重信号全体に対する演算はＤＳＭまたはチャンネルから取り出されたデータの配分、クロック調節、バッファ管理を含む。２種類の主要なストリーム特有の演算はデマルチプレクシングおよび多数の要素ストリーム再生の同期とである。デマルチプレクシングは多重化ストリームからパケット・ヘッダに含まれるストリーム識別コードを使用して要素ストリームを再構成する。要素ストリームはオーディオおよびビデオ・ストリーム以外に、プライベート、予約、パディング・ストリームを含むことができる。多数のストリーム間の同期はパケット・ヘッダに存在するタイムスタンプで行なう。提示タイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）フィールドはオーディオとビデオの同期のためにパケット・ヘッダに使用される。ＰＴＳはパケット・データの第１番目のユニット（オーディオ・フレームまたはビデオ・フレーム）をビューワに提示すべき時間であり、ＤＴＳはパケット・データ内の第１番目のユニット（オーディオ・フレームまたはビデオ・フレーム）を復号化すべき時間である。パック・ヘッダのタイムスタンプを含む全てのタイムスタンプは、符号化の期間、システム・タイムクロック（ＳＴＣ）と呼ばれるマスター時刻基準に合うよう調節される。共通の時刻基準を用いて符号化データのタイミングの尺度（パック・ヘッダのＳＣＲ）とデータ提示のタイミング（パケット・ヘッダのＰＴＳとＤＴＳフィールド）を一定にすることで正確な同期とバッファ管理を保証する。ＳＣＲ、ＰＴＳおよび使用しているならＤＴＳフィールドは符号化の間に必ずしも等しくはないが何らかの特定の値たとえばＭＰＥＧ１で０．７秒を超えない間隔で挿入される。またＭＰＥＧ１ではこれらのタイムスタンプは９０ｋＨｚの単位にある。同期デコーダと符号化データ供給源の全部を含む復号化システムは、正確には１つだけの独立した時間マスターを有する必要がある。このことは有限サイズのバッファでオーバフローとアンダーフローを防止し、一方でデータ提示の同期を維持する必要性からの当然の帰結である。その他全ての同期エンティティは時間マスターに演算タイミングを従属させる必要がある。デコーダが同時に１つ以上時間マスターを備えようとする場合、バッファ管理または同期に問題が発生することがある。つまり、幾つかのストリームの再生は、１つのストリームの再生が別のストリームの再生と一致するように調節するのではなく、単一のマスター時刻基準に全てのストリームの再生を調節することで、同期が取られている。マスター時刻基準は個々のストリームのデコーダのクロックの１つ、たとえばビデオ・デコーダまたはオーディオ・デコーダの１つとすることができ、これはＤＳＭまたはチャンネル・クロックでも良く、または独立したＳＴＣたとえば何らかの外部クロックでも良い。時間マスターはＳＴＣの正確な値について他と通信する必要がある。時間スレーブは代表的には更新または訂正の間で公称値９０ｋＨｚ（ＭＰＥＧ１の場合）でインクリメントされるローカルＳＴＣを維持することになる。このようにすると、各々の実体は公称上正確なＳＴＣの連続更新値を有し、これをタイムスタンプとの比較に使用する。上記で定義したＭＰＥＧストリーム属性と意味は「システム・ターゲット・デコーダ（ＳＴＤ）」と呼ばれる仮想デコーダの形で復号化の仮想基準モデルを使用するＭＰＥＧ標準に詳しく解説してある。ＳＴＤモデルはエンコーダがＭＰＥＧストリームを作成するために使用するが、現実のデコーダはＳＴＤと同じアーキテクチャまたはタイミング構造で実装しなくとも良い。ＳＴＤモデルはデマルチプレクサと、これに後続し各要素ストリームについての先入れ先出し（ＦＩＦＯ）バッファと、それに続くデコーダで構成される。モデルでは、パックまたはパケットのヘッダに存在するがパケット・データの一部ではないデータ（たとえばＳＣＲ、ＤＴＳ、ＰＴＳ、パケット長、その他）はストリームバッファのいずれにも供給されないが、システム制御には使用される。本発明の１つの好適実施形態において、このようなデータを用いてＶＢＲデータの伝送効率を最適化している。ＳＴＤモデルでは、バッファのデータ出力が即時復号化されＳＴＤ出力でビューワに提示される前に「リオーダ・バッファ」で遅延される。リオーダ・バッファは提示ピクチャのシーケンスが提示前にリオーダされる間ＩピクチャとＰピクチャを記憶しておくためにビデオ復号化だけが使用される。これはＢフレームの存在時に必要とされることが多い。一例として、内部クロックを含むビデオ・ストリーム用のデコーダを考えてみる。どの時点でもバッファはストリームのパケットを含む。バッファ出力はデコーダに接続されている。デコーダは次のパケットをいつ復号化するか知る必要がある。パケット・ヘッダがＤＴＳを有する場合、ＤＴＳがデコーダ・クロックより小さいか等しい時にデコーダがそのパケットを取り出す。パケットがＤＴＳを含まない場合、直前に復号化したパケットに基づいてデコーダがパケットを想定する次の時間的瞬間にデコーダがそのパケットを取り出す。つまり、要素ストリームを含むＭＰＥＧストリームが形成され（ビデオおよび／またはオーディオ）一緒に多重化される。Ｆ．ＭＰＥＧ２のプロファイルとレベルＭＰＥＧ２標準では画像解像度と音質のクラス（「プロファイル」）およびＭＰＥＧ標準の仕様ならびに特徴の最小限のサブセット（「レベル」）を定義している。たとえば、「主プロファイル（ＭＰ）」は５２５走査線／６０Ｈｚシステム（ＮＴＳＣ）用と６２５走査線／５０Ｈｚシステム（ＰＡＬおよびＳＥＣＡＭ）用に走査線当たり７０４ピクセルの解像度の共通ＣＣＩＲ６０１規格をカバーしている。「ロープロファイル（ＬＰ）」はＣＣＩＲ６０１の半分のＳＩＦ解像度をカバーしておりビデオ会議で共通に使用され、また「ハイプロファイル（ＨＰ）」は通常高品位テレビジョン（ＨＤＴＶ）用に予約となっている。低レベル（ＬＬ）、中間レベル（ＭＬ）、高レベル（ＨＬ）の３種類のレベルが存在する。ＭＰＥＧ２互換仕様に適合するデコーダはこれらの最小仕様に適合し少なくともそのレベルのＭＰＥＧ２の特徴のサブセットを提供する必要がある。たとえば、最も共通のデコーダはＭＰ＠ＭＬ適合デコーダである。これはサイズが少なくとも１．８メガビットのデコーダ・バッファを備える必要がある。ＭＰ＠ＨＬ適合デコーダは更に大きなデコーダ・バッファを備える必要があり、ＭＰＥＧ２のスケーラブルな特徴の多くを実装可能とする必要がある。

【手続補正書】特許法第１８４条の８第１項【提出日】１９９７年１２月１日（１９９７．１２．１）【補正内容】４．前記符号化プログラム・ストリームはＭＰＥＧ符号化プログラム・ストリームであり、前記選択ステップではＢピクチャを選択することを特徴とする請求項３に記載の方法。５．前記選択ステップは第２の基準を含むことを特徴とする請求項３に記載の方法。６．前記第２の基準は基本的に一定と認識される画質を維持することを含むことを特徴とする請求項５に記載の方法。７．（ｄ）前記選択した符号化ピクチャを第２のチャンネルを介して送信するステップを更に含むことを特徴とする請求項１に記載の方法。８．（ｅ）前記第１のチャンネルから前記選択した符号化ピクチャを復号化することが可能かどうかを判定するステップと、（ｆ）可能な場合には、前記対応する変更符号化ピクチャではなく前記選択した符号化ピクチャを復号化するステップとを更に含むことを特徴とする請求項１または７に記載の方法。９．前記符号化プログラム・ストリームは予測符号化ピクチャを含み、前記予測符号化ピクチャの各々は１つまたは２つ以上の対応するアンカー・ピクチャを有し、前記予測符号化ピクチャの各々は予測データと予測エラー・データを有し、前記選択ステップではアンカー・ピクチャではない予測符号化ピクチャを選択し、前記変更ステップでは前記選択した符号化ピクチャの各々から予測エラー・データを消去することを特徴とする請求項８に記載の方法。１０．前記符号化プログラム・ストリームはＭＰＥＧ符号化プログラム・ストリームであり、前記選択ステップではＢピクチャを選択することを特徴とする請求項９に記載の方法。１１．前記決定ステップは、前記選択した符号化ピクチャの１つまたは２つ以上のタイムスタンプと、これに対応する変更符号化ピクチャの１つまたは２つ以上のタイムスタンプとを比較するステップを含むことを特徴とする請求項１０に記載の方法。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者クラウス，エドワード，エイ. アメリカ合衆国 94530 カリフォルニア州エルセリトテラスドライブ 8318 (72)発明者トム，アダム，エス. アメリカ合衆国 94109 カリフォルニア州サンフランシスコジョーンズストリート 1717 アパートメント３

Claims

【特許請求の範囲】１．１つまたは２つ以上の符号化されたプログラム・ストリームのセットの多重信号を送信する第１のチャンネルのチャンネル利用率を向上させるための方法であって、前記セットの各プログラム・ストリームはこれに対応するデコーダで復号化でき、各々の対応するデコーダはこれに対応するデコーダ・バッファを備え、前記デコーダ・バッファは最大限許容されるサイズを有し、前記方法は（ａ）変更しようとする符号化ピクチャを選択し、前記選択は基準に従うステップと、（ｂ）前記選択した符号化ピクチャの各々を変更してこれに対応する変更符号化ピクチャを形成し、前記変更符号化ピクチャが前記選択した符号化ピクチャより少ないデータを有するステップと、（ｃ）前記選択した符号化ピクチャの代わりに前記第１のチャンネルを介して前記対応する変更符号化ピクチャを送信するステップとを含み、前記基準は全てのデコーダ・バッファで何らかのアンダーフローを防止することを含むことを特徴とする方法。２．前記変更ステップでは前記選択した符号化ピクチャの各々を消去し、前記変更符号化ピクチャはデータを含まないことを特徴とする請求項１に記載の方法。３．前記符号化プログラム・ストリームは予測符号化ピクチャを含み、前記予測符号化ピクチャの各々は１つまたは２つ以上の対応するアンカー・ピクチャを有し、前記予測符号化ピクチャの各々は予測データと予測エラー・データを有し、前記選択ステップではアンカー・ピクチャでない予測符号化ピクチャを選択し、前記変更ステップでは前記選択した符号化ピクチャの各々から前記予測エラー・データを消去することを特徴とする請求項１に記載の方法。４．前記符号化プログラム・ストリームはＭＰＥＧ符号化プログラム・ストリームであり、前記選択ステップではＢピクチャを選択することを特徴とする請求項３に記載の方法。５．前記選択ステップは第２の基準を含むことを特徴とする請求項３に記載の方法。６．前記第２の基準は基本的に一定と認識される画質を維持することを含むことを特徴とする請求項５に記載の方法。７．（ｄ）前記選択した符号化ピクチャを送信するステップを更に含むことを特徴とする請求項１に記載の方法。前記送信ステップでは第２のチャンネルを介して送信を行なうことを特徴とする請求項７に記載の方法。９．（ｅ）前記第１のチャンネルから前記選択した符号化ピクチャを復号化することが可能かどうかを判定するステップと、（ｆ）可能な場合には、前記選択した符号化ピクチャを前記対応する変更符号化からではなく復号化するステップとを更に含むことを特徴とする請求項７に記載の方法。１０．前記符号化プログラム・ストリームは予測符号化ピクチャを含み、前記予測符号化ピクチャの各々は１つまたは２つ以上の対応するアンカー・ピクチャを有し、前記予測符号化ピクチャの各々は予測データと予測エラー・データを有し、前記選択ステップではアンカー・ピクチャではない予測符号化ピクチャを選択し、前記変更ステップでは前記選択した符号化ピクチャの各々から予測エラー・データを消去することを特徴とする請求項９に記載の方法。１１．前記符号化プログラム・ストリームはＭＰＥＧ符号化プログラム・ストリームであり、前記選択ステップではＢピクチャを選択することを特徴とする請求項１０に記載の方法。１２．前記決定ステップは、前記選択した符号化ピクチャの１つまたは２つ以上のタイムスタンプと、これに対応する変更符号化ピクチャの１つまたは２つ以上のタイムスタンプとを比較するステップを含むことを特徴とする請求項１１に記載の方法。