JP2005531258A

JP2005531258A - スケーラブルで頑強なビデオ圧縮

Info

Publication number: JP2005531258A
Application number: JP2004517730A
Authority: JP
Inventors: デバーガ・マクハージー
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2002-06-26
Filing date: 2003-06-19
Publication date: 2005-10-13
Also published as: WO2004004358A1; TW200400766A; TWI255652B; US20040001547A1; EP1516494A1; AU2003243705A1

Abstract

【課題】種々の装置に対応するようにスケーラブルであるが、また、輻輳およびフェージング特性が大きく変化するネットワークおよびチャネルによる任意の損失に関して頑強でもある、圧縮フォーマットを提供する。
【解決手段】ビデオシーケンスにおけるフレームを、フレームの圧縮された推定値を生成し（６１８）、推定値を係数α（０＜α＜１）により調整し（６２０）、フレームと調整された推定値との間の残差を計算する（６２０）ことにより圧縮する。残差を、頑強かつスケーラブルな方法で符号化してもよい。

Description

本発明は、スケーラブルで頑強なビデオ圧縮に関する。

［背景］
ビデオ画像を格納するコストを削減するためにデータ圧縮が使用される。
データ圧縮はまた、ビデオ画像を送信する時間を短縮するためにも使用される。

インターネットは、小型のハンドヘルドから強力なワークステーションまでの範囲にわたる装置により、５６Ｋｂｐｓモデムから高速イーサネット（登録商標）リンクまでの範囲にわたる接続を介してアクセスされる。
この環境では、固定解像度および品質でのみ圧縮ビデオ画像を生成する厳格な圧縮フォーマットが、必ずしも適当であるとは限らない。
かかる厳格なフォーマットに基づく配信システムは、ビデオ画像を、ごく一部の装置には順調に配信する。
残りの装置は、まったく何も受信することができないか、またはそれらの処理能力およびそれらのネットワーク接続の能力に対して不十分な品質および解像度の画像を受信する。

さらに、伝送の不確実性は、品質および解像度に対して重大になる場合がある。
伝送の不確実性は、採用される配信戦略のタイプによって決まる可能性がある。
たとえば、インターネットおよび無線チャネルに対し、パケット損失は固有である。
これらの損失は、頑強性を考慮して設計されていない場合に多くの圧縮システムおよび通信システムに対し損害が大きい場合がある。
この問題は、配信時のネットワーク状態が大きく変化することに関する不確実性によって一層悪化する。

種々の装置に対応するようにスケーラブルであるが、また、輻輳およびフェージング特性が大きく変化するネットワークおよびチャネルによる任意の損失に関して頑強でもある、圧縮フォーマットがあることが非常に望ましい。
しかしながら、単一圧縮フォーマットでスケーラビリティおよび頑強性を得ることは単純ではない。
欧州特許出願公開第０５７８４３８号欧州特許出願公開第０９２０２１６号米国特許第５８４４６２８号米国特許第５０８３２０６号米国特許第５４８５２１０号米国特許第４９４３８５５号 Ghanbari M 他,「Efficient H. 261-Based Two-Layer Video Codecs For ATM Networks」, 1995年4月1日, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE INC. NEW YORK US, vol. 5, no. 2, p1051-8215 Li W,「Overview Of Fine Granularity Scalability In MPEG-4 Video Standard」, 2001年3月, IEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE INC. NEW YORK US, vol. 11, no. 3, p301-317 Furukawa T 他,「Hierarchical Sub-Band Coding Of Super High Definition Image With Daptive BLock-Size Multistage VQ」, 1993年12月1日, SIGNAL PROCESSING. IMAGE CAOMMUNICATION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM NL, vol. 5, no. 5/6, p527-538

［概要］
ビデオフレームを、フレームの圧縮された推定値を生成し、推定値を係数α（０＜α＜１）により調整し、フレームと調整された推定値との間の残差を計算することにより圧縮する。
残差を、頑強かつスケーラブルな方法で符号化してもよい。

本発明の他の態様および利点は、本発明の原理を例として示す添付図面を考慮して以下の詳細な説明から明らかとなろう。

［詳細な説明］
図１を参照する。
図１は、エンコーダ１２と、伝送媒体１４と、複数のデコーダ１６と、を有するビデオ配信システムを示す。
エンコーダ１２は、ビデオフレームのシーケンスを圧縮する。
シーケンスにおける各ビデオフレームを、フレームの圧縮された推定値を生成し、その推定値を係数αで調整し、フレームと調整された推定値との間の残差を計算することによって圧縮する。
エンコーダ１０は、残差（Ｒ）をＲ＝Ｉ−αＩ_Ｅとして計算してもよく、Ｉ_Ｅは推定値であり、Ｉは処理されているビデオフレームである。
動き補償を使用して推定値を計算する場合、エンコーダ１０は、動きベクトルと残差とを符号化し、その符号化された動きベクトルと符号化された残差とをビットストリーム（Ｂ）に付加する。
そして、エンコーダ１０は、シーケンスにおける次のビデオフレームを符号化する。

ビットストリーム（Ｂ）は、伝送媒体１４を介してデコーダ１６に送信される。
インターネットまたは無線ネットワーク等の媒体は信頼性が低い場合がある。
パケットが破棄される可能性がある。

デコーダ１６は、伝送媒体１４を介してビットストリーム（Ｂ）を受信し、圧縮されたコンテンツからビデオフレームを復元する。
フレームの復元には、復号された少なくとも１つの先のフレームからフレームの推定値を生成すること、推定値を係数αによって調整すること、残差を復号すること、および復号された残差を調整された推定値に付加することが含まれる。
このように、各フレームは、１つまたは複数の先のフレームから復元される。

ここで、符号化および復号についてより詳細に説明する。
推定値を、いかなる方法で生成してもよい。
しかしながら、ビデオフレームの固有の時間的または時間ベースの冗長性を利用することにより、圧縮効率を上げることができる。
ビデオフレームのシーケンス内の大部分の連続するフレームは、圧縮されているフレームの前と後との両方のフレームに非常に類似する。
フレーム間予測は、ブロックベースの動き補償予測として知られる技法を使用してこの時間的冗長性を利用する。

推定値は、予測フレーム（Ｐフレーム）であってもよい。
Ｐフレームを、ＭＰＥＧ１、２および３等の既知のアルゴリズムまたはＨ．２６３ファミリ（Ｈ２．６１、Ｈ２．６３、Ｈ２．６３＋およびＨ２．６３Ｌ）からのアルゴリズムをわずかに変更して使用することにより生成してもよい。
アルゴリズムを変更するのは、動きが、現フレーム（Ｉ）のブロックと先に調整された推定値のブロックとの間で確定されるためである。
現フレームのブロックを、先の調整された推定値における異なるブロックと比較し、比較毎に動きベクトルを計算する。
最少誤差を有する動きベクトルを、そのブロックの動きベクトルとして選択してもよい。

推定値を係数αで乗算することにより、推定値のピクセル値が低減する。
係数０＜α＜１により、符号化された残差に対する予測の寄与が低減し、それにより復元の予測への依存が小さくなり残差に対する依存が大きくなる。
残差に対しより多くのエネルギーが供給され、それにより圧縮効率が低下するが雑音の多いチャネルに対する頑強性が向上する。
係数αの値が低いほど、エラーに対する回復力が向上するが、圧縮効率は低下する。
係数αにより、復元されたフレームの次のいくつかの復元されたフレームに対する影響が制限される。
すなわち、復元されたフレームは、事実上、いくつかを除くすべての先行する復元されたフレームとは無関係である。
先行する復元されたフレームにエラーがあるか、または復号において解像度が低減することにより何らかの不整合があった場合であっても、あるいは、デコーダ１６が先に復元されたフレームの間違ったバージョンを有する場合であっても、そのエラーは、次の少しの復元されたフレームに対してのみ伝播し、最終的には弱くなり、デコーダ１６は再びエンコーダと同期することができるようになる。

係数αは、好ましくは０．６と０．８との間である。
たとえば、α＝０．７５である場合、エラーの影響は、０．７５^８＝０．１として８フレーム内で１０％まで低減し、初期であっても視覚的に知覚されない。
α＝０．６５である場合、エラーの影響は、０．６５^６＝０．０７５として６フレーム内で７．５％まで低減する。

視覚的に、まずＰフレームのエラーが、現フレームにおいて位置がずれた不整合ブロックとして現れる。
α＝１である場合、連続したフレームにわたって同じエラーが有効であり続ける。
不整合ブロックは、より小さいブロックに分割されフレームからフレームに動きベクトルとともに伝播する可能性があるが、不整合領域におけるピクセルエラーの強度は低下しない。
一方、α＝０．６〜０．８以下である場合、不整合ブロックがより小さいブロックに分割されると同時に、フレームからフレームにエラーの強度は低下し続ける。

係数αを、伝送信頼性に従って調整してもよい。
係数αは、エンコーダ１２とデコーダ１６とがともに予め既知である事前に定義された設計パラメータであってもよい。
代替例では、係数αを、それがビットストリームヘッダに含まれるリアルタイム送信シナリオで送信してもよい。
エンコーダ１６が、利用可能な帯域幅と現パケット損失率とに基づいて係数αの値を実行中に決定してもよい。

エンコーダ１０を、種々の方法で実施してもよい。
たとえば、エンコーダ１０は、符号化を実行する専用プロセッサを有するマシンであってもよく、汎用プロセッサ１１０と、プロセッサ１１０に対し符号化等を実行するよう命令するようにプログラムされたメモリ１１２と、を有するコンピュータであってもよい。

デコーダ１６は、小型ハンドヘルドから強力なワークステーションまでにわたってもよい。
復号機能を、種々の方法で実施してもよい。
たとえば、復号を、専用プロセッサ、または汎用プロセッサ１１６と、汎用プロセッサ１１０に対しメモリにおける符号化されたプログラムの復号等を実行するよう命令するようにプログラムされたメモリ１１８と、によって実行してもよい。

復元されたフレームはいくつかを除くすべての先行する復元されたフレームと視覚的に無関係であるため、残差をスケーラブルな方法で符号化することができる。
スケーラブルなビデオ圧縮は、能力が異なるデコーダ１６が関連するストリーミングビデオの用途に対して有用である。
デコーダ１６は、その処理帯域幅内にあるビットストリームのその部分を使用し、残りを破棄する。
スケーラブルなビデオ圧縮はまた、ビデオが、利用可能な帯域幅とデータ損失特性が広範囲であるネットワークによって送信される場合にも有用である。

ＭＰＥＧおよびＨ．２６３アルゴリズムはＩフレームを生成するが、Ｉフレームは、ビデオ符号化に対し、初期フレームにおいてでさえ必要ではない。
復号は、ビットストリーム（Ｂ）の任意の点で開始することができる。
係数αを使用することにより、第１の数枚の復号されたＰフレームにエラーがあるが、その後１０フレームほどのうちに、デコーダ１６はエンコーダ１２と同期するようになる。

たとえば、エンコーダ１２とデコーダ１６とを、すべてグレーのフレームで初期化してもよい。
エンコーダ１２は、Ｉフレームまたは他の基準フレームを送信する代りに、すべてグレーのフレームから符号化を開始する。
同様に、デコーダ１６は、すべてグレーのフレームから復号を開始する。
すべてグレーのフレームを、規約によって決定してもよい。
このように、エンコーダ１２は、すべてグレーのフレーム、Ｉフレームまたは他の基準フレームをデコーダ１６に送信しなくてもよい。

ここで、スケーラブル符号化をより詳細に説明する図２〜図５を参照する。
ウェーブレット分解は、自然に空間スケーラビリティをもたらすため、従来のＤＣＴベースの符号化の代りに、残差のフレームのウェーブレット符号化を使用する。
各画像が３つの成分、すなわちＹ、Ｃｂ、Ｃｒに分解されるカラー画像を考える。
ここで、Ｙは輝度であり、Ｃｒは赤色差であり、Ｃｂは青色差である。
通常、ＣｂおよびＣｒは、Ｙの解像度の半分である。
かかるフレームを符号化するために、双直交フィルタを用いる第１のウェーブレット分解を実行する。
たとえば、２レベル分解を行う場合、サブバンドは図２に示すように見える。
しかしながら、任意の数の分解レベルを使用してもよい。

サブバンド分解からもたらされる係数を量子化する。
次に、量子化された係数を最低から最高のサブバンド順に走査し符号化して、層毎に１オクターブ増大する徐々に解像度が高くなる復元をもたらす空間解像度層をもたらす。
第１（最低）の空間解像度層は、Ｙ、ＣｂおよびＣｒ成分のサブバンド０に関する情報を含む。
第２の空間解像度層は、Ｙ、ＣｂおよびＣｒ成分のサブバンド１、２および３に関する情報を含む。
第３の空間解像度層は、Ｙ、ＣｂおよびＣｒ成分のサブバンド４、５および６に関する情報を含む。
以下同様である。
走査中に使用される実際の係数符号化方法は、実施形態によって異なっていてもよい。

各空間解像度層における係数を、さらに複数の品質層または複数のＳＮＲ層に編成してもよい（ＳＮＲスケーラブル圧縮は、符号化されたビットストリームのサブセットを復号することにより品質の異なるビデオを復元することができるような方法で、シーケンスを復号化することを言う）。
ビットプレーン単位の符号化または多段ベクトル量子化を使用する逐次リファインメント（refinement)量子化を使用してもよい。
かかる方法では、係数をいくつかのパスで符号化し、各パスにおいて、空間解像度層に属する係数に対するより微細なリファインメントを符号化する。
たとえば、３つ（Ｙ、ＣｂおよびＣｒ）すべての成分のサブバンド０における係数は、複数のリファインメントパスで走査される。
各パスにより、異なるＳＮＲ層が生成される。
第１の空間解像度層は、最下位リファインメントが符号化された後に終了する。
次に、３つすべてのサブバンド１、２および３の３つ（Ｙ、ＣｂおよびＣｒ）すべての成分を複数のリファインメントパスで走査することにより、第２の空間解像度層に対する複数のＳＮＲ層が得られる。

Ｐフレームに対する例示的なビットストリーム編成を図３に示す。
第１の空間解像度層（ＳＲＬ１）がヘッダ（Ｈｄｒ）に続き、第２の空間解像度層（ＳＲＬ２）および後続する空間解像度層が第１の空間解像度層（ＳＲＬ１）に続く。
各空間解像度層は、複数のＳＮＲ層を含む。
第１の空間解像度層の第１のＳＮＲ層に動きベクトル（ＭＶ）情報を付加することにより、動きベクトル情報が確実に最高解像度ですべてのデコーダ１６に送信されるようにする。
代替例では、第１の空間解像度層に動きベクトルの粗い近似を提供してもよく、後続する空間解像度層において漸次動きベクトルが精緻化される。

かかるスケーラブルビットストリームから、種々のデコーダ１６が、それらの利用可能な帯域幅とそれらの表示および処理能力とに相応した完全ではない解像度および品質をもたらす種々のサブセットを受け取ることができる。
より低い空間解像度および／またはより低い品質を得るために、単にビットストリームから層を破棄する。
ＳＮＲ層のすべては受け取らないが空間層はすべて受け取るデコーダ１６は、単純に残差フレームのより低い品質の復元を使用してビデオフレームを復元することができる。
デコーダ１６における基準フレームがエンコーダ１２における基準フレームと異なる場合であっても、係数αによりエラーは構築されない。
空間解像度層のすべては受け取らない（恐らくはＳＮＲ層のすべては使用しない）デコーダ１６は、復号プロセスのすべての段階においてより低い解像度を使用する。
その基準フレームの解像度はより低く、受け取られた動きベクトルデータは、それに一致するように適当にスケールダウンされる。
実施形態によっては、デコーダ１６は、そのより解像度の低い基準フレームに対しサブピクセル動き補償を使用して解像度がより低い予測フレームを得てもよく、あるいは、より高速な実施形態に対し動きベクトルの精度を切り捨ててもよい。
後者の場合、導入されるエラーは前者の場合より多く、したがって、復元される品質はより不十分なものとなるが、いずれの場合も、係数αにより、確実にエラーが急速に減少し伝播しない。
量子化された残差係数データは、所与の解像度までしか復号されず、その後逆量子化と適当なレベルの逆変換とが行われ、それによってより解像度が低い残差フレームがもたらされる。
この解像度がより低い残差フレームが調整された推定値に付加されることにより、解像度がより低い復元フレームがもたらされる。
この解像度がより低い復元フレームが、後に、シーケンスにおける次のビデオフレームを復元するための基準フレームとして使用される。

係数αによりトップダウンのスケーラビリティを組み込むことができる同じ理由から、信頼性の低い伝送媒体１４によるパケット損失に対するより強度な保護も可能になる。
さらに、誤り訂正符号（ＥＣＣ）を使用することにより頑強性を向上させることができる。
しかしながら、すべての符号化ビットを等しく保護することは帯域幅を無駄にしかつ／またはチャネル不整合状態における頑強性を低下させる可能性がある。
チャネル不整合は、チャネルが、設計上エラー保護が耐え得る状態より品質が悪化した場合に発生する。
特に、チャネルエラーはバーストで発生することが多いが、バーストはランダムにしか発生せず、概してそれほど頻繁には発生しない。
最悪の場合のエラーバーストに対してすべてのビットを保護することにより、帯域幅が無駄になる可能性があるが、平均的な場合に対して保護することにより、エラーバーストが発生した場合に完全な配信システム障害がもたらされる可能性がある。

帯域幅を最小限に低減し、頑強性を、各空間解像度層内の重要な情報と重要でない情報とに対する一様でない保護を使用することによって維持する。
情報における任意のエラーが破局的障害をもたらす場合、その情報は重要である（少なくともエンコーダ１２およびデコーダ１６が再び同期するまで）。
たとえば、重要な情報は、次に続くビットの長さを示す。
エラーが品質の劣化をもたらすが同期化の破局的損失をもたらさない場合、情報は重要でない。

最悪の場合のエラーバーストに耐えるために重要な情報を厳しく保護する。
重要な情報はビットストリームのわずかな部分しか形成しないため、帯域幅の浪費は大幅に低減される。
重要でないビットを、これらに対するエラーの影響がいかに重要でないかによってさまざまなレベルの保護により保護してもよい。
激しいパケット損失および／またはビットエラーをもたらすエラーバースト中、重要でない情報において発生するエラーもある。
しかしながら、それらエラーは破局的障害をもたらさない。
品質に穏やかな（graceful）劣化があるが、不適当な係数の復号の結果としてもたらされるいかなる劣化も迅速に回復される。

重要な情報の量を低減することにより、帯域幅浪費の量が低減され、さらに頑強性が保証される。
重要な情報の量を、ベクトル量子化（ＶＱ）を使用することにより低減することができる。
一度に１つの係数を符号化するのではなく、いくつかの係数を合わせてグループ化して１つのベクトルにし、合わせて符号化する。

分類ベクトル量子化（Classified Vector Quantization）を使用してもよい。
各ベクトルをいくつかのクラスのうちの１つに分類し、分類インデックスに基づいていくつかの固定長ベクトル量子化器のうちの１つを使用する。

ベクトルを分類してもよい種々の方法がある。
分類を、符号化されるベクトルの統計に基づいてもよく、それにより、分類されたベクトルは数ビットにより各クラス内で効率的に表される。
分類を、ベクトルノルムに基づいてもよい。

多段ベクトル量子化（ＭＳＶＱ）は、既知のＶＱ技法である。
ベクトルの多段は、ＳＮＲスケーラビリティのみに関する。
各段に対して使用されるビットは、異なるＳＮＲ層の一部となる。
各連続した段は、さらに、ベクトルの復元を精緻化する。
各ベクトル量子化器に対して分類インデックスを生成する。
異なるベクトル量子化器は長さが異なる可能性があるため、分類インデックスを重要な情報の間に含める。
分類インデックスにエラーが発生した場合、その点からの復号動作全体に障害が発生する（同期化が再度確立されるまで）。
それは、続く実際のＶＱインデックスで使用されるビットの数もまたエラーとなるためである。
エラーはベクトルを越えて伝播しないため、各クラスに対するＶＱインデックスは重要ではない。

図４は、かかる準固定長符号化に対する例示的な戦略を示す。
各サブバンドにおける量子化された係数を、２×２または４×４のサイズの小さい独立したブロックにグループ化し、各ブロックに対し分類インデックス（または複合分類インデックス）を伝達するために数ビットを送信する。
所与の分類インデックスに対し、ブロック全体を符号化するために使用される実際のビットは固定になる。
分類インデックスを重要な情報の間に含め、固定長符号化ビットを重要でない情報の間に含める。

ベクトル量子化器のサイズを増大させることにより、より多くの係数を合わせて符号化することができ、より少ない重要な分類ビットを生成することができる。
生成される重要な分類ビットが少なくなる場合、厳しく保護する必要のあるビットの数が少なくなる。
したがって、帯域幅のペナルティが低減される。

図５を参照すると、各Ｐフレームのビットストリームを、各空間解像度層の第１のＳＮＲ層が重要な情報のすべてを含むように編成することができる。
このため、第１の空間解像度層の第１のＳＮＲ層は、動きベクトルと分類データとを含む。
第１の空間解像度層はまた、係数ブロックに対する第１段ＶＱインデックスも含むが、第１段ＶＱインデックスは重要でない情報の間にある。
第２の空間層の第１のＳＮＲ層は、分類データ等の重要な情報と、第１段ＶＱインデックスおよび残差ベクトル等の重要でない情報と、を含む。
各空間解像度の第２のおよび後続するＳＮＲ層では、重要でない情報はさらに、残差ベクトルに対する精緻化データを含む。

重要な情報を厳しく保護してもよく、重要でない情報を緩く保護してもよい。
さらに、高い方のＳＮＲおよび／または空間解像度層に対し、重要な情報と重要でない情報との両方に対する保護を軽減してもよい。
保護を、ブロック符号、重畳符号またはリード・ソロモン符号等の任意の順方向誤り訂正（ＦＥＣ）方式によって提供してもよい。
ＦＥＣの選択は、実際の実施形態によって決まることになる。

図６ａおよび図６ｂは、ビデオ圧縮の第１の例を示す。
エンコーダをすべてグレーのフレームで初期化する（６１２）。
このため、基準フレームはすべてグレーのフレームである。

図６ａを参照すると、ビデオフレームにアクセスし（６１４）、動きベクトルを計算する（６１６）。
予測フレーム

は、基準フレームと計算された動きベクトルとに基づく（６１８）。
動きベクトルをビットストリームに配置する。
残差フレームを

として計算する（６２０）次に、残差フレームＲをスケーラブルな方法、すなわちＲのウェーブレット変換（６２２）、残差フレームＲの係数の量子化（６２４）およびサブバンド単位の準固定長符号化（６２６）により符号化する。
動きベクトルと符号化された残差フレームとをパックして、一様でないエラー保護を用いて複数の空間層とネスト化されたＳＮＲ層とにする（６２８）。
複数のＳＲＬ層をビットストリームに書き込む（６３０）。

別のビデオフレームを圧縮する必要がある場合（６３２）、次のビデオフレームに対して新たな基準フレームを生成する。
図６ｂを参照すると、ビットストリームを読み出し（６５０）、逆量子化を実行し（６５２）、逆変換を適用して復元された残差フレーム（Ｒ^＊）をもたらす（６５４）ことにより、新たな基準フレームを生成してもよい。
ビットストリームと先の基準フレームとから読み出される動きベクトルを使用して、予測フレーム

を復元する（６５６）。
予測フレームを、係数αによって調整する（６５８）。復元された残差フレーム（Ｒ^＊）を調整された予測フレームに付加することにより復元フレーム（Ｉ^＊）をもたらす（６６０）。
このため、

である。
復元フレーム（Ｉ^＊）を新たな基準フレームとして使用し、制御はステップ６１４に戻る。

図６ｂはまた、フレームを復元する方法も示す（６５２〜６６０）。
ビットストリームが生成されている際、それを、フレーム復元を実行するデコーダにストリーミングしてもよい。
第１のフレームを復号するために、デコーダを、すべてグレーの基準フレームに初期化してもよい。
動きベクトルと残差フレームとをスケーラブルな方法で符号化するため、デコーダは、完全なビットストリームからより小さい切り捨てられたバージョンを抽出することにより、より低い空間解像度またはより低い品質の残差フレームおよび動きベクトルを復元することができる。
デコーダにおいてより低い品質および／または解像度の復元を使用することにより、基準フレームにいかなるエラーが発生しても、係数αによりエラーが数枚のフレーム内で指数関数的に減衰するため、それによって与えられる影響は限られている。

図７ａおよび図７ｂは、ビデオ圧縮の第２の例を示す。
この第２の例では、ＰフレームとＢフレームとを使用する。
Ｂフレームを、２つの最も近いＰフレーム、すなわち一方は符号化されているＢフレームの前であり他方は後であるＰフレームを使用して、双方向に予測してもよい。

図７ａを参照すると、圧縮は、基準フレームＦ_ｋ＝０をすべてグレーのフレームとして初期化することにより開始する（７１２）。
２つの連続するＰフレームの間に合計ｎ−１のＢフレームを挿入する。
たとえば、ｎ＝４である場合、２つの連続するＰフレームの間に３つのＢフレームを挿入する。

次のＰフレームにアクセスする（７１４）。
次のＰフレームは、ビデオシーケンスにおけるｋｎ番目のフレームであり、ここでｋｎはインデックスｎとインデックスｋとの積である。
シーケンスにおけるフレームの総数が少なくともｋｎ＋１でない場合、最後のフレームをＰフレームとして処理する。

Ｐフレームを符号化し（７１６〜７２８）ビットストリームに書き込む（７３０）。
別のビデオフレームを処理するべきである場合（７３２）、次の基準フレームを生成する（７３４〜７４４）。
次の基準フレームが生成された後、Ｂフレームを処理する（７４６）。

図７ｂに、Ｂフレーム処理を示す。
Ｂフレームは、インデックスｒ＝ｋｎ−ｎ＋１を使用する（７５２）。
Ｂフレームインデックステスト（ｒ＜０またはｒ≧ｋｎ）が真である場合（７５４）、Ｂフレーム処理を終了する。
初期Ｐフレームの場合、ｋ＝０でありｒ＝−３であり、したがって、いかなるＢフレームも予測しない。
インデックスｋがｋ＝１まで増分すると（図７ａの７４８）、次のＰフレームＩ_４（ｋ＝１およびｎ＝４であるためＩ＝４）を符号化する。
この時、ｒ＝１であり、次のＢフレームＩ_１を処理する（７５６〜７７０）ことにより、複数の空間解像度層を生成する。
インデックスｒをｒ＝２まで増分し（７７４）テストをパスし（７５４）、それによりＢフレームＩ_２を処理する（７５６〜７７０）。
同様に、ＢフレームＩ_３を処理する（７５６〜７７０）。
しかしながら、ｒ＝４の場合、テストは真であり（７５４）、Ｂフレーム処理は停止するため、次のＰフレームを処理する（図７ａ）。
符号化順は、フレームＰ_０Ｐ_１Ｂ_１Ｂ_２Ｂ_３Ｐ_２Ｂ_４Ｂ_５Ｂ_６Ｐ_３…に対応するＩ_０Ｉ_４Ｉ_１Ｉ_２Ｉ_３Ｉ_８Ｉ_５Ｉ_６Ｉ_７Ｉ_１２であるが、時間的順序は、Ｐ_０Ｂ_１Ｂ_２Ｂ_３Ｐ_１Ｂ_４Ｂ_５Ｂ_６Ｐ_３となる。
Ｂフレームにおけるエラーは他のフレームに伝播しないため、Ｂフレームは係数αで調整しない。

各フレームに対するかかるスケーラブルなビットストリームから、異なるデコーダは、それらの利用可能な帯域幅および表示／処理能力に相応する完全ではない解像度および／または品質をもたらす異なるサブセットを受け取ることができる。
ＳＮＲの低いデコーダは、単純に、Ｂフレームの品質の低いバージョンを復号する。
空間解像度の低いデコーダは、その解像度の低い基準フレームに対しサブピクセル動き補償を使用して解像度の低い予測フレームを得てもよく、あるいは、より高速な実施形態の場合動きベクトルの精度を切り捨ててもよい。
品質の低い復号フレームは復号フレームのエンコーダのバージョンと異なり、解像度の低い復号フレームはダウンサンプリングされた完全な解像度の復号フレームとは異なるが、導入されるエラーは、通常現フレームにおいてわずかであり、Ｂフレームであるため、エラーは伝播しない。

Ｂフレームに対するすべてのデータをＰフレームに対するデータから分離する場合、時間スケーラビリティが自動的に得られる。
この場合、時間スケーラビリティは、ビットストリームの第１のレベルのスケーラビリティを構成する。
図８に示すように、第１の時間層は、Ｐフレームデータのみを含み、第２の層はＢフレームのすべてに対するデータを含む。
別法として、Ｂフレームデータをさらに複数のより高い時間層に分離してもよい。
各時間層は、ネスト化された空間層を含み、空間層はネスト化されたＳＮＲ層を含む。
すべての層に対し、一様でないエラー保護を適用してもよい。

符号化および復号は、ＰフレームおよびＢフレームに限定されない。
ＭＰＥＧ１、２および４ならびにＨ．２６１、Ｈ．２６３、Ｈ．２６３＋およびＨ．２６３Ｌ等の符号化方式によって生成されるイントラフレームを使用してもよい。
符号化方式のＭＰＥＧファミリは、ＰフレームまたはＢフレームによって多重化される周期的Ｉフレーム（通常１５の周期）を使用するが、Ｈ．２６３ファミリ（Ｈ．２６１、Ｈ．２６３、Ｈ．２６３＋、Ｈ．２６３Ｌ）では、Ｉフレームは周期的に繰り返さない。
基準フレームとしてイントラフレームを使用してもよい。
それらにより、エンコーダおよびデコーダが同期することができる。

本発明は、上に説明し例示した特定の実施形態に限定されない。
代りに、本発明は、添付の特許請求の範囲に従って解釈される。

本発明の実施形態によるビデオ配信システムの図である。Ｙ−Ｃｂ−Ｃｒカラー画像に対する２レベルサブバンド分解の図である。符号化されたＰフレームの図である。準固定長符号化方式の図である。符号化されたＰフレームを含むビットストリームの一部の図である。本発明の実施形態によるスケーラブルなビデオ圧縮の第１の例のフローチャートである。本発明の実施形態によるスケーラブルなビデオ圧縮の第１の例のフローチャートである。本発明の実施形態によるスケーラブルなビデオ圧縮の第２の例のフローチャートである。本発明の実施形態によるスケーラブルなビデオ圧縮の第２の例のフローチャートである。符号化されたＰフレームと符号化されたＢフレームとを含むビットストリームの一部の図である。

符号の説明

１２・・・エンコーダ，
１４・・・伝送媒体，
１６・・・デコーダ，
１１２・・・プロセッサ，
１１４・・・メモリ，

Claims

ビデオフレームのシーケンスを圧縮する装置（１２）であって、
前記シーケンスにおける各フレームの推定値を生成し、係数α（０＜α＜１）により各推定値を調整し、該調整された推定値に対し残差フレームを計算するプロセッサ（１１２）
を具備する装置。
前記プロセッサ（１１２）は、すべてグレーの基準フレームで初期化される
請求項１に記載の装置。
前記推定値はＰフレームである
請求項１に記載の装置。
追加のフレームが推定され、該推定されるフレームのいくつかはＰフレームであり、他のフレームはＢフレームであり、前記Ｐフレームのみが前記係数αによって調整される
請求項１に記載の装置。
前記係数αは、０．６〜０．８の範囲内にある
請求項１に記載の装置。
前記係数αは、伝送信頼性に従って調整される
請求項１に記載の装置。
前記プロセッサ（１１２）は、前記残差のサブバンド分解を実行し、該分解により、異なる空間解像度層がもたらされる
請求項１に記載の装置。
前記プロセッサ（１１２）は、各空間解像度層を複数のＳＮＲ層に編成する
請求項７に記載の装置。
前記プロセッサ（１１２）は、ベクトル量子化を使用して各空間解像度層の前記複数のＳＮＲ層を形成する
請求項８に記載の装置。
各空間解像度層内の重要な情報と重要でない情報とは非一様に保護され、重要な情報は各空間解像度層の前記第１のＳＮＲ層に含まれ、重要な情報は重要でない情報より強度な保護が提供される
請求項８に記載の装置。