JP2005518163A

JP2005518163A - メモリ−帯域幅が効率的なファイン・グラニュラ・スケーラビリティ（ｆｉｎｅｇｒａｎｕｌａｒｓｃａｌａｂｉｌｉｔｙ：ＦＧＳ）エンコーダ

Info

Publication number: JP2005518163A
Application number: JP2003568899A
Authority: JP
Inventors: ダーシャール，ミハエラヴァン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-02-15
Filing date: 2003-02-05
Publication date: 2005-06-16
Also published as: EP1479246A1; US20030156637A1; CN1633814A; KR20040083450A; AU2003205962A1; WO2003069917A1

Abstract

ファイン・グラニュラ・スケーラビリティ（fine granular scalability）符号化の方法及び装置である。以下の段階は、画像フレーム中の個々の変換ブロックについて繰り返される。夫々の複数の残留係数は、夫々の変換ブロックに対して分解される。夫々の複数のビット平面又は不連続な量子化ステップは、画像フレーム中の次の変換ブロックについての係数を分解する前に夫々の変換ブロックに対して処理される。

Description

本発明は、ファイン・グラニュラ・スケーラビリティ（fine granular scalability：ＦＧＳ）エンコーダの実現に関連する。

インターネット・プロトコル（ＩＰ）網を通じたビデオ・ストリーミングは、広範囲のマルチメディア・アプリケーションを可能としてきた。インターネット・ビデオ・ストリーミングは、インターネットを通じたサービスの質（ＱｏＳ）の不足を補いつつ、連続的なマルチメディアコンテンツのリアルタイムの配送及び提示を行う。ＩＰ網を通じた帯域幅及び他のパフォーマンスパラメータ（例えばパケット損失率）のばらつき及び予測不可能性により、一般的に、提案される殆どのストリーミング解決策は、ある種の階層化された（又はスケーラブルな）ビデオ符号化方法に基づくものである。

このような、ビデオ・スケーラビリティ・アプローチは、ＭＰＥＧ−２、ＭＰＥＧ−４、及びＨ．２６３といったビデオ圧縮基準に採用されてきた。これらの標準では、時間スケーラビリティ、空間スケーラビリティ、及び質（ＳＮＲ）スケーラビリティの種類が定義されてきた。これらの全ての種類のスケーラブルビデオは、ベースレイヤ（ＢＬ）及び１つ又はそれ以上のエンハンスメントレイヤ（ＥＬ）を含む。スケーラブル・ビデオ・ストリームのＢＬ部は、一般的には、当該ストリームを復号化するのに必要なデータの最小量を表わす。ストリームのＥＬ部は、追加的な情報を表わし、従って、受信器によって復号化されたときはビデオ信号表現を向上させる。

ファイン・グラニュラ・スケーラビリティ（fine granular scalability：ＦＧＳ）は、ストリーミング用途のためにＭＰＥＧ−４標準により近年採用された新しいビデオ圧縮の枠組みである。ＦＧＳは、一般的にはＩＰベースのネットワークを、特定的にはインターネットを特徴付ける、広範囲の帯域幅−変動シナリオをサポートすることが可能である。このタイプのスケーラビリティで符号化された画像は、プログレッシブに復号化される。即ち、デコーダは、非常に少量のデータを受信した後に画像の復号化及び表示を開始することができる。デコーダが更にデータを受信すると、復号化された画像の質は、完全な情報が受信され、復号化され、表示されるまで、プログレッシブに向上される。主要な国際標準のうちで、プログレッシブ画像符号化は、ＪＰＥＧと、ＭＰＥＧ−４ビデオにおける静止画像のテクスチャ符号化ツールでサポートされているモードのうちの１つである。

ＥＬは、プログレッシブ（埋込み）コーデックを用いてＳＮＲ及び時間的な残留データを圧縮する。このようにして、ＦＧＳ残留信号は、最上位ビット平面から始めて最下位ビット平面で終わるまでビット平面毎に圧縮される（図１及び図２参照）。

図１は、フレーム全体に亘って、最上位ビット平面（ＭＳＢ）１００から最下位ビット平面（ＬＳＢ）１０２へのプログレッシブ（ビット平面毎）符号化の従来のシーケンスを示す図である。単一の中間ビット平面１０１のみが示されているが、任意の数の中間ビット平面が符号化されうる。

図２は、ＦＧＳエンハンスメント・レイヤ残留ＤＣＴ係数の走査順序を示す図である。走査は、ＭＳＢ１００から始まりＬＳＢ１０２へ向かう。図２中、ビット平面１００及び１０１の代表的な部分のみが示されている。各８×８ビット平面ブロック２００−２０４，２０６，２１０，２１１，２１４が、ブロックの左上の隅から始めて右下の隅で終わるよう従来のジグザグパターンを用いて走査される。本願では「ビット平面ブロック」という用語は、単一ビット平面内の残留データのうちの単一のブロックに対応する部分を示すものとする。

ビット平面ブロックは、左上の隅から始めて時計回りに進むよう４つのグループ（マクロブロック）ごとに走査される。走査は、第１のビット平面から開始する。つないでいる矢印は順序を示す。ブロック２００の右下の隅を走査した後、走査はブロック２０１の左上の隅へ進む。ブロック２０１の右下の隅から、走査はブロック２０２の左上の隅へ進む。ブロック２０２の右下の隅から、走査はブロック２０３の左上の隅へ進む。ブロック２０３の右下の隅から、走査は次のマクロブロックへ進み、ブロック２０４の左上の隅から始める。第１のビット平面全体に対する走査がフレーム全体について完了した後、同じフレームについての第２のビット平面に対する走査が始まる。より一般的には、各ビット平面ｂ＝１，２，．．．ｍに対して、全てのブロックｋ＝１，２，．．．ｎは、次のビット平面ｂ＋１の第１のブロックを始める前にビット平面ｂ中の残留しているものについて走査する。

図３は、ベースレイヤ及びエンハンスメントレイヤに対する従来技術のＦＧＳエンコーダ３００を示す。図３は、ベースレイヤ・エンコーダ３０２及びエンハンスメントレイヤ・エンコーダ３０４についての機能アーキテクチャの一例を示す。図３は、ＤＣＴ変換に基づく符号化動作を示すが、他の変換（例えばウエーブレット）もまた使用されうる。

ベースレイヤ３０２は、ＤＣＴブロック３０６、量子化ブロック３０８、及び元のビデオからＢＬストリームの部分を発生するエントロピー符号化器３１０を含む。更に、ベースエンコーダ３０２はまた、元のビデオから２組の動きベクトルを生成する動き推定ブロック３２０を含む。一組の動きベクトルはベースレイヤピクチャに対応し、他の一組は時間的なエンハンスメントフレームに対応する。マルチプレクサ（図示せず）は、ベースレイヤ動きベクトルをＢＬストリームで多重化するために含まれている。

図３に示すように、ベースレイヤ・エンコーダ３０２はまた、逆量子化ブロック３１２、逆ＤＣＴブロック３１４、動き補償ブロック３１６、及びフレームメモリ３１８を含む。

図３に示すように、ＥＬエンコーダ３０４は、残留画像及びＭＣ残留画像を記憶するＤＣＴ残留画像ブロック３５０を含む。残留画像は、量子化ブロック３０８の入力から主出力を差し引く減算器３５１によって発生される。

ＥＬエンコーダ３０４はまた、残留画像のＤＣＴ係数を１０進形式で含むメモリ３５２と、全てのＦＧＳビット平面をママスク及び走査するマスク及び走査ブロック３５４とを含む。ＦＧＳエントロピー符号化ブロック３５６はまた、ＦＧＳエンハンスメント・ストリームを生成するために残留画像を符号化するよう含まれる。

ＦＧＳエンコーダ３００（図３参照）の従来の実施例では、ＤＣＴ変換３０６の後、ＤＣＴ残留信号は、幾つかのビット平面（ｍｓｂからｌｓｂへ、又は、例えばbp_max等のある所定のビット平面へ）へ分解される。

次に、ビット平面は、ブロック３５４においてビット平面毎に走査され、ブロック３５６においてランレングス及びＶＬＣ符号化される。フレーム全体に対するビット平面の順次走査は、メモリ３５２中の記憶されたＤＣＴ係数への後のアクセスを必要とする。更に、メモリ３５２中のデータは２進形式（即ちビット平面ごとに）ではなく１０進形式で保存されるため、特定のビット平面へのアクセスは、対応するデータを取り出すのみではなく、複雑なマスク操作を用いて所望のビット平面を抽出することも必要とする。

従来のエンコーダ３００では、ＤＣＴ残留係数を記憶するのに１つのメモリ３５２が必要である。更に、このメモリ３５２は、各ビット平面について繰り返しアクセスされる。更に、符号化されるべき所望のビット平面を取得するために、ブロック３５４において幾つかのマスク操作が行われる必要がある。また、以前のビット平面の圧縮に関する状態情報も記憶される必要がある。この処理は、かなりの量のメモリアクセス回数及び計算パワーを必要とする。

ＦＧＳデコーダ３００の従来の実施例は、このように、計算の意味でもメモリアクセス回数（即ち帯域幅）の意味でも非効率的である。

本発明は、ファイン・グラニュラ・スケーラビリティ（fine granular scalability）符号化の方法及び装置である。以下のステップは、画像フレーム中の個々の変換ブロックについて繰り返される。複数の残留係数は夫々、各変換ブロックについて分解される。複数のビット平面又は不連続な量子化ステップは夫々、画像フレーム中の次の変換ブロックのために係数を分解する前に各変換ブロックに対して処理される。

本発明による望ましい方法では、フレーム全体に対するビット平面全体の走査は、もはや、フレーム全体に対して次に有意性の低いビット平面を走査する前には行われない。その代わりに、各ブロックは、フレーム内の続くブロックが処理される前に完全に（最上位ビット平面から最下位ビット平面へ、又は最上位ビット平面から所定のビット平面へ）走査される。

典型的な実施例は、ＦＧＳフレームを、メモリ帯域幅及び計算の複雑性が省かれるよう符号化する他の方法である。

この新規な方法の利点は、
・画像フレームに対して全てのＤＣＴ残留係数を同時に記憶するメモリは必要ないこと、
・様々なビット平面への帯域幅アクセスはかなり減少されること（殆ど無視できるほど小さくなること）、
・マスク処理は、各ビット平面に対して多数回行われるのではなく、係数ごとに一回だけ行われること、
・以前に符号化された（即ち最上位）ビット平面の符号化状態情報を記憶する必要はないこと、
・ＦＧＳの符号化はもはやＦＧＳ符号化のためのフレーム遅延を必要とせず、従って、ベース及びエンハンスメント・レイヤの処理はより密接につながれ、計算の複雑性及びメモリアクセスの両方においてより高い効率をもたらすこと、
である。

この方法を達成するために、ＤＣＴ残留係数は、フレーム全体に対するビット平面を処理するのではなく、ＤＣＴブロック全体に対してすぐに処理される。一般的なアルゴリズムの疑似コードは以下の通りである。

アルゴリズム
For 画像内の各ＤＣＴブロックｋ
対応するビット平面中のＤＣＴ残留係数を直ぐに分解する
ブロックｋに対するmax(|DC-coeff|)=Nmax(k)を計算する
For 各ｂビット平面<Nmax(k)
各ビット平面を処理する。即ち、これをランレングス及びＶＬＣ符号化する
既知の位置から始めて異なる位置に各ビット平面を記憶する
（このブロックが第１のブロックでない場合は、以前のブロックの既に符号化され
たビット平面ｂの後に符号化されたビット平面ｂを加える。）
N=全てのNmax(k)の最大を計算する
様々なビット平面を有意性の順に（ｍｓｂからｌｓｂへ）加えることにより圧縮された
ビットストリームを作成する。

図４は、処理のためのＦＧＳエンハンスメント・レイヤ残留ＤＣＴ係数の走査順序を示す図である。走査順序は、図２に示す従来の走査順序から変更される。（しかしながら、いったん走査が完了すると、伝送順序は、図３に示す従来のエンコーダ３００からの出力信号に対する伝送順序と同じである）。より具体的にいうと、ビット平面ｂ上のビット平面ブロック４００の左上の隅から右下の隅へ走査した後、走査は、ビット平面ｂ＋１のビット平面ブロック４０１の左上の隅へ進む。図４中、２つのビット平面（ｂ及びｂ＋１）のみが示されているが、任意の数のビット平面が存在しうる。ビット平面ブロック４０１の右下の隅へ走査した後、走査は、存在するのであれば第３のビット平面中の第１のビット平面ブロックの左上の隅へ進む。第１のブロックのビット平面ブロック４００、４０１が各ビット平面に亘って走査した後にのみ、走査は第１のビット平面ｂ中の第２の位置のブロックのビット平面ブロック４１０へ進む。より一般的には、任意のブロックｋに対して、全てのビット平面ｂ＝１，２，．．．，ｎ中のビット平面ブロックは、ブロックｋ＋１の第１のビット平面ブロックの走査の前に走査される。

図６は、アルゴリズムを示すフローチャートである。

ステップ６００において、ループが開始する。ステップ６０２乃至６１４は、画像フレーム内の個々の変換ブロック（例えばＤＣＴ）ブロックｋに対して繰り返される。

ステップ６０２において、ブロックｋについての全てのビット平面中の残留ＤＣＴ係数は、直ぐに分解される。即ち、ビット平面全体についての係数がブロックごとに分解されるのではなく、ブロックｋについての様々なビット平面ブロックがビット平面ごとに分解される。

ステップ６０４において、ステップ６０６がブロックｋの各係数に対して繰り返されるループが開始される。ステップ６０６において、量（ＤＣ係数）の絶対値が計算される。

ステップ６０８において、ブロック(k)についてのNMAX(k)は、ブロックｋについての全ての係数のうちのabs（ＤＣ係数）の最大値に設定される。

ステップ６１０において、ブロックｋについて、各ビット平面ｂに対してステップ６１２及び６１４が繰り返されるループが開始される。

ステップ６１２において、ブロックｋの各ビット平面が処理され、即ち、ランレングス及びＶＬＣ符号化される。

ステップ６１４において、ブロックｋの各ビット平面ブロックは、既知の位置から始めて、夫々の異なる位置に記憶される。例えば、現在のブロックｋが最初のブロックでなければ、ブロックｋについての符号化されたビット平面ｂの部分は、以前のブロックｋ−１（図示せず）の既に符号化されたビット平面ｂの後に加えられる。このように、ｉ番目のＤＣＴブロックの各ｂ番目のビット平面は、ｉ−１番目のＤＣＴブロックのｂ番目のビット平面の位置の直ぐ後に続く位置に記憶される（ただし、ｂは整数であり、ｉは１よりも大きい整数である）。ステップ６１２乃至６１４が各ビット平面ｂに対して繰り返された後、各ブロックｋに対してステップ６０２乃至６１４が繰り返される。このように、複数のビット平面からのデータは、最大の大きさのうちの最大のものに対応するビット平面から始めて、圧縮されたビット平面内に配置される。

ステップ６１６において、ビット平面Ｎの総数は、全てのブロックのNMAX(k)の最大値に設定される。

ステップ６１８において、圧縮されたビットストリームは、様々なビット平面を有意性の順序（ＭＳＢからＬＳＢへ）で加えることによって形成される。望ましくは、各ビット平面に対するデータは、圧縮されたビットストリームの中で、図３の従来技術のエンコーダ３００によって発生された圧縮されたビットストリーム中で占めていたのと同じ位置に置かれる。このように、画像フレーム中の全てのＤＣＴブロックに対して夫々の複数のビット平面を含む圧縮されたビットストリームが形成され、圧縮されたビットストリーム中のデータはビット平面で配置される。この圧縮されたビットストリームは、図３の従来のエンコーダ３００からの出力を復号化するのが可能な任意のデコーダによって復号化されうる。

上述のアルゴリズムでは、分解中の後のアクセスのために、ＤＣＴ残留信号をメモリに記憶することは必要でない。更に、様々なビット平面に対する連続的なマスク操作は必要でない。

図５は、ベースレイヤ及びエンハンスメント・レイヤ用の典型的なＦＧＳエンコーダ５００を示す。図５は、ベースレイヤ・エンコーダ５０２及びエンハンスメント・レイヤ・エンコーダ５０４の機能アーキテクチャの一例を示す。図５は、ＤＣＴ変換に基づく符号化操作を示すが、他の変換（例えばウェーブレット）もまた使用されうる。

図５に示すように、ベースレイヤ・エンコーダ５０２は、ＤＣＴブロック５０６、量子化ブロック５０８、及び元のビデオからＢＬストリームの部分を発生するエントロピー符号化器４１０を含む。更に、ベースエンコーダ５０２はまた、元のビデオから２組の動きベクトルを生成する動き推定ブロック５２０を含む。動きベクトルの一方の組はベースレイヤピクチャに対応し、他方の組は時間的なエンハンスメントフレームに対応する。マルチプレクサ（図示せず）は、ベースレイヤ動きベクトルをＢＬストリームと多重化するために含まれる。

図５に示すように、ベースレイヤ・エンコーダ５０２はまた、逆量子化ブロック５１２、逆ＤＣＴブロック５１４、動き補償ブロック５１６、及びフレームメモリ５１８を含む。

ＥＬエンコーダ５０４は、残留画像及びＭＣ残留画像を記憶するＤＣＴ残留画像ブロック５５０を含む。残留画像は、量子化ブロック５０８の入力から出力を差し引く減算器５５１によって発生される。

ＥＬエンコーダ５０４は、従来技術のＥＬエンコーダ３０４中のメモリ３５２の残留記憶機能の役割を果たすメモリを必要としない。更に、ＥＬエンコーダ５０４は、従来技術のＥＬエンコーダ３０４で必要とされるような、全てのＦＧＳビット平面をマスク及び走査するためのマスク及び走査ブロック３５４を必要としない。その代わりに、各ビット平面ブロックについてのビット平面残留ブロックは、ＤＣＴ残留画像ブロック５５０から、ＦＧＳエンハンスメント・ストリームを生成するよう残留画像を符号化するために含まれるＦＧＳ走査及びエントロピー符号化ブロック５５３へ直接与えられる。

ＦＧＳエンコーダ５００の典型的な実施例では、ＤＣＴ変換５０６の後、各ブロック（例えば画像の左上のブロック）に対するＤＣＴ残留信号は、各ビット平面についてのビット平面ブロックが走査されるまで、ビット平面毎に連続的に幾つかのビット平面ブロックへ（ｍｓｂからｌｓｂへ、又は、ある所定のビット平面、例えばbp_maxへ）分解される。

各ブロックは、次に、個々にビット平面毎に走査され、コンパクトな実装のためにブロック５５３においてランレングス及びＶＬＣ符号化される。各ブロックについて、全てのビット平面についての残留画像データは、符号化ブロック５５３のために２進形式で利用可能であり、従って、複雑なマスク操作を行う必要はない。また、符号化ブロック５５３は、フレーム中の各ブロックからの単一のビット平面についてのデータの代わりに、一回に１ブロックについての全てのビット平面データを必要とするだけである。従って、従来技術においてこのために必要とされたような、大容量記憶装置３５２は必要とされない。

ファイン・グラニュラ・スケーラビリティ（fine granular scalability）符号化のための典型的な方法及びシステムは、ＦＧＳエンコーダの実現に必要なメモリ、メモリ帯域幅、及び計算上の複雑性を低減させる。更に、ベースレイヤ・エンコーダとエンハンスメント・レイヤ・エンコーダの間のつながりはより緊密となり、非必要な遅延及び記憶をなくすことにより、ＦＧＳコーデックのより効率的な実現を可能とする。

本願に開示する方法は、ＦＳＧ符号化ツール、即ち選択的エンハンスメント及び周波数重み付けと共に適用されうる。周波数重み付けについては、フレーム全体に対して固定のマトリクスが適用され、従って、シフトはＤＣＴ変換の直後に実行されうる。選択的なエンハンスメントのために、特定のマクロブロックのビット平面のシフトは、ビット平面の実際の走査及びＶＬＣ符号化の直前に、又は、フレーム全体が符号化された後に行われうる。後者の方法は、より多くの柔軟性を与え、インタラクティブな選択的エンハンスメントを可能とするが、より複雑なメモリ及びストリーム管理という不利点を有する。

更に、この機構は、現在のＦＧＳ構造を越えて、ＭＣ−ＦＧＳ（Motion-Compensation Fine Granular Scalability）及びＰ−ＦＧＳ（Progressive Fine Granular Scalability）のような予測枠組みで使用されうる。ＰＦＧＳ及びＭＣＦＧＳに対しては異なる処理が用いられるが、テクスチャ符号化（即ち、ＦＧＳ走査及びエントロピー符号化）は同じである。従って、上述と同じ技術もまた、ＭＣ−ＦＧＳ及びＰ−ＦＧＳに対して使用されうる。

典型的なエンコーダ５００はＤＣＴ変換を用いるが、方法は他の変換にも使用されえ、例えばブロックベースのウェーブレット符号化又はマッチング追跡（matching pursuit）、並びに、他のＳＮＲスケーラビリティ（ビット平面ではなく不連続な量子化ステップを用いる）に使用されうる。

本発明は、コンピュータに実装される方法及びこれらの方法を実装する装置を形で実現されうる。本発明はまた、例えばフレキシブルディスク、読み出し専用メモリ（ＲＯＭ）、ＣＤ−ＲＯＭ、ハードドライブ、高密度（例えば「ＺＩＰ^TM」）リムーバブルディスクドライブ、又は任意の他のコンピュータ読み取り可能な記憶媒体といった有形の媒体中に具現化され、コンピュータにロードされコンピュータによって実行されると、コンピュータが本発明を実施する装置となる、コンピュータプログラムコードの形で実現されうる。本発明はまた、例えば、記憶媒体に記憶されているか、コンピュータの中にロードされ及び／又はコンピュータにより実行されるか、電気配線又はケーブルを通じて、光ファイバを通じて、或いは電磁放射を介してといった何らかの伝送媒体を通じて伝送されるかにかかわらず、コンピュータにロードされコンピュータによって実行されると、コンピュータが本発明を実施する装置となる、コンピュータプログラムコードの形で実現されうる。汎用プロセッサ上で実施されると、コンピュータプログラムコードセグメントは、プロセッサを特定の論理回路を形成するよう設定する。

本発明について、典型的な実施例に関して説明したが、これに限られるものではない。むしろ、特許請求の範囲は、本発明と同等のものの範囲を逸脱することなく当業者によってなされうる本発明の他の変形及び実施例を含むよう、広く解釈されるべきである。

フレーム全体に亘るＭＳＢからＬＳＢへのプログレッシブ（ビット平面ごとの）符号化の従来のシーケンスを示す図である。ＦＧＳエンハンスメント・レイヤ残留ＤＣＴ係数の従来の走査順序を示す図である。従来のＦＧＳエンコーダを示すブロック図である。本発明による典型的なエンコーダ中のＦＧＳエンハンスメント・レイヤ残留ＤＣＴ係数の走査順序を示す図である。本発明による典型的なエンコーダを示すブロック図である。本発明によるＦＧＳエンハンスメント・レイヤ残留ＤＣＴ係数を処理する典型的な方法を示すフローチャートである。

Claims

（ａ）画像フレーム中の各個々の変換ブロックについて、
（i）夫々の変換ブロックに対する夫々の複数の残留係数を分解する段階と、
（ii）前記画像フレーム中の次の変換ブロックについての係数を分解する前に、夫々の変換ブロックについての夫々の複数のビット平面（ｂ，ｂ＋１）又は不連続な量子化ステップを処理する段階と、
を繰り返す段階を含む、
ファイン・グラニュラ・スケーラビリティ（fine granular scalability）符号化方法。
前記変換ブロックは離散コサイン変換（ＤＣＴ）ブロックであり、残留係数はＤＣＴ残留係数である、請求項１記載の方法。
前記段階（ii）は、前記複数のビット平面（ｂ，ｂ＋１）の夫々をランレングス及び可変長符号化することを含む、請求項２記載の方法。
前記段階（ａ）は、更に、
（iii）夫々の異なる位置に各ビット平面（ｂ，ｂ＋１）を記憶する段階を含む、請求項２記載の方法。
前記ＤＣＴブロックのうちのｉ番目のＤＣＴブロックの各ｂ番目のビット平面は、前記ＤＣＴブロックのうちのｉ−１番目のＤＣＴブロックのｂ番目のビット平面の場所の直後の場所に記憶され、ただし、ｂは整数であり、ｉは１よりも大きい整数である、請求項４記載の方法。
（ｂ）前記画像フレーム中の全てのＤＣＴブロックに対して夫々の複数のビット平面（ｂ，ｂ＋１）を含む圧縮されたビットストリームを形成し、前記圧縮されたビットストリーム中のデータはビット平面で配置される段階を更に含む、請求項２記載の方法。
前記段階（ａ）は、夫々のＤＣＴブロックについての任意のＤＣＴ係数の最大の大きさ（ＮＭＡＸ）を決定する段階を更に有し、
前記方法は、前記段階（ｂ）の前に前記最大の大きさのうちの最大のもの（Ｎ）を決定する段階を更に有し、
前記複数のビット平面からのデータは、前記最大の大きさのうちの最大のものに対応するビット平面から始まる圧縮されたビットストリーム中に配置される、
請求項６記載の方法。
前記段階（ａ）及び前記段階（ｂ）は、前記画像フレームについての全てのＤＣＴ残留係数の同時の記憶を必要とすることなく行われる、請求項６記載の方法。
前記複数のビット平面（ｂ，ｂ＋１）は、最上位ビット平面（ｂ）から最下位ビット平面（ｂ＋１）までの各ビット平面を含む、請求項１記載の方法。
前記変換ブロックは、離散コサイン変換、ブロックベースのウェーブレット符号化又はマッチング追跡、並びに、不連続な量子化ステップを用いたＳＮＲスケーラビリティからなる群のうちの１つによって形成される、請求項１記載の方法。
画像フレームの個々の変換ブロックに対する複数の残留係数を分解する手段と、
前記画像フレーム中の次の変換ブロックについての係数を分解する前に、夫々の変換ブロックについての夫々の複数のビット平面（ｂ，ｂ＋１）又は不連続な量子化ステップを処理する走査及び符号化手段とを含む、
ファイン・グラニュラ・スケーラビリティ（fine granular scalability）符号化用の装置。
前記走査及び符号化手段は、第１のシーケンス中のブロックを走査し前記第１のシーケンスとは異なる第２のシーケンス中に符号化されたデータを記憶する手段を含む、請求項１１記載の装置。
前記変換ブロックは、離散コサイン変換（ＤＣＴ）ブロックであり、残留係数はＤＣＴ残留係数であり、
前記ＤＣＴブロックのうちのｉ番目のＤＣＴブロックの各ｂ番目のビット平面は、前記ＤＣＴブロックのうちのｉ−１番目のＤＣＴブロックのｂ番目のビット平面の場所の直後の場所に記憶され、ただし、ｂは整数であり、ｉは１よりも大きい整数である、請求項１２記載の装置。
前記装置は、前記画像フレームについての全てのＤＣＴ残留係数の同時記憶に用いられるメモリを有さない、請求項１１記載の装置。
前記分解手段は、ブロックについての残留係数データを、中間記憶装置に前記残留係数データを記憶することなく前記走査及び符号化手段へ直接与える、請求項１１記載の装置。
前記分解手段は、ブロックについての残留係数データを、前記画像フレーム中の全てのブロックから単一のビット平面（ｂ）についてデータを抽出するために前記残留係数データをマスクすることなく前記走査及び符号化手段へ直接与える、請求項１１記載の装置。
符号化されたコンピュータプログラムコードをその上に有するコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムコードがプロセッサによって実行されると、前記プロセッサは、
（ａ）画像フレーム中の各個々の変換ブロックに対して、
（i）夫々の変換ブロックに対する夫々の複数の残留係数を分解する段階と、
（ii）前記画像フレーム中の次の変換ブロックについての係数を分解する前に、夫々の変換ブロックについての夫々の複数のビット平面（ｂ，ｂ＋１）又は不連続な量子化ステップを処理する段階と、
を繰り返す段階を含む、ファイン・グラニュラ・スケーラビリティ（fine granular scalability）符号化の方法を実行する、コンピュータ読み取り可能な媒体。
前記変換ブロックは離散コサイン変換（ＤＣＴ）ブロックであり、残留係数はＤＣＴ残留係数である、請求項１７記載のコンピュータ読み取り可能な媒体。
前記段階（ii）は、前記複数のビット平面の夫々をランレングス及び可変長符号化することを含む、請求項１８記載のコンピュータ読み取り可能な媒体。
前記段階（ａ）は、更に、夫々の異なる位置に各ビット平面を記憶する段階を有し、
前記ＤＣＴブロックのうちのｉ番目のＤＣＴブロックの各ｂ番目のビット平面は、前記ＤＣＴブロックのうちのｉ−１番目のＤＣＴブロックのｂ番目のビット平面の場所の直後の場所に記憶され、ただし、ｂは整数であり、ｉは１よりも大きい整数である、請求項１８記載のコンピュータ読み取り可能な媒体。