JP2003535496A - 画像シーケンスを符号化する方法または復号する方法および装置 - Google Patents

Abstract

(57)【要約】 課題解決のため画像シーケンス符号化方法において、画像シーケンスに対し基本情報と付加情報とが求められ、これらの基本情報と付加情報とに基づき画像シーケンスが符号化され、付加情報によって符号化品質の漸進的改善が保証される。

Description

【発明の詳細な説明】

【０００１】 本発明は、画像シーケンスを符号化または復号する方法および装置に関する。

【０００２】 文献［１］から、画像圧縮方法ならびにそれに対応した装置が知られている。
公知の方法はＭＰＥＧ規格において符号化方式として用いられ、基本的には動き
補償を伴うハイブリッドＤＣＴ（Discrete Cosine Transformation）である。同
様の方法はｎ×６４ｋｂｉｔ／ｓの画像電話（ＣＣＩＴＴ勧告Ｈ．２６１）、３
４Ｍｂｉｔ／ｓもしくは４５Ｍｂｉｔ／ｓのＴＶコントリビューション（ＣＣＲ
勧告７２３）、さらには１．２Ｍｂｉｔ／ｓのマルチメディアアプリケーション
（ＩＳＯ−ＭＰＥＧ−１）のために利用される。ハイブリッドＤＣＴは、相前後
する画像の類似関係を利用した時間的処理段と１つの画像内の相関を利用した位
置的処理段とから成る。

【０００３】 位置的な処理（イントラフレーム符号化）は、実質的に古典的なＤＣＴ符号化
に対応する。画像が８×８後の画素から成る複数のブロックに分解され、それら
がＤＣＴによりそれぞれ周波数領域に変換される。その結果、８×８個の係数か
ら成るマトリックスが生じ、これは変換された画像ブロックにおける２次元の空
間周波数を反映している。周波数０（直流成分）をもつ係数は画像ブロックの平
均グレー値を表す。

【０００４】 変換後、データ伸長が行われる。とはいえ自然の原画像では直流成分（ＤＣ値
）を中心にエネルギーの集中が起こる一方、最高周波数の係数はたいていほぼゼ
ロである。

【０００５】 次のステップにおいて係数のスペクトル重み付けが行われ、その結果、高周波
の係数の振幅精度が低減されることになる。ここでは人間の目の性質が利用され
、すなわち人間の目の分解能精度は低い空間周波数よりも高い空間周波数の方が
劣る。

【０００６】 データ圧縮の第２のステップは適応量子化のかたちで行われ、これにより係数
の振幅精度がいっそう低減され、もしくは小さい振幅はゼロにセットされる。こ
の場合、量子化のスケールは出力バッファの占有状態に依存する。バッファが空
であれば細かい量子化が行われて多くのデータが生成されるのに対し、バッファ
がいっぱいであれば粗い量子化が行われてデータ量が減少する。

【０００７】 量子化後、ブロックが対角線上で走査され（ジグザグスキャニング "zigzag"-
Scanning）、ついでエントロピー符号化が行われて、これによってさらにデータ
低減が行われる。このために２つの効果が利用される： １）振幅値の統計。高い振幅値は低い振幅値よりもまれにしか発生せず、したが
ってめったにない事象には長い符号語が割り当てられ頻度の高い事象には短い符
号語が割り当てられる（可変長符号化 Variable-Length-Coding VLC）。このよ
うすれば平均的には、固定語長による符号化よりもデータレートが低くなる。つ
いでＶＬＣの可変のレートがバッファメモリ内で平滑化される。

【０００８】 ２）特定の値の後にはたいていのケースでは０だけしか続かない点を利用する。
これらのゼロすべての代わりにＥＯＢ（End Of Block）符号だけが伝送され、こ
のことで画像データ圧縮の際に大きな符号化利得が得られるようになる。この場
合、たとえば５１２ｂｉｔという出力レートの代わりにこのブロックのために４
６ｂｉｔだけを伝送すればよく、このことは１１を超える圧縮係数に対応する。

【０００９】 時間的処理（インターフレーム符号化）によりさらに圧縮利得が得られる。差
分画像の符号化のためには原画よりも僅かなデータレートしか必要とされず、そ
の理由は振幅値がはるかに低いからである。

【００１０】 たしかに画像内の運動が僅かであるときには時間的な差もごく僅かである。こ
れに対して画像内の運動が大きければ差も大きくなり、符号化も難しくなる。こ
の理由で画像間運動が測定され（動き予測）、差分形成前に補償される（動き補
償）。この場合、動き情報が画像情報とともに伝送され、その際、通常はマクロ
ブロック（たとえば４つの８×８画像ブロック）ごとに１つの運動ベクトルだけ
が用いられる。

【００１１】 予測を利用する代わりに動き補償された双方向予測を用いると、さらに小さい
差分画像振幅値が得られる。

【００１２】 動き補償されるハイブリッド符号化器の場合には画像信号自体が変換されるの
ではなく、時間的な差分信号が変換される。この理由で符号化器は時間的な反復
ループも有しており、それというのも予測器は予測値をすでに伝送された（符号
化された）画像の値から計算しなければならないからである。同一の時間的な反
復ループが復号器内に存在しており、それによって符号化器と復号器は完全に同
期合わせされた状態にある。

【００１３】 ＭＰＥＧ−２符号化方式には主として３つの異なる画像処理手法がある： Ｉピクチャ：Ｉピクチャの場合には時間的予測が用いられず、すなわち画像値が
そのまま変換されて符号化される。Ｉピクチャを用いる目的は、時間的に過ぎ去
ったことに関する情報を用いずに復号プロセスを新たに開始できるようにするた
め、もしくは伝送エラー発生時に再同期合わせを実現するためである。

【００１４】 Ｐピクチャ：Ｐピクチャに基づき時間的予測が行われ、時間的予測誤差に対しＤ
ＣＴが適用される。

【００１５】 Ｂピクチャ：Ｂピクチャの場合には時間的な双方向誤差が計算され、ついで変換
される。双方向予測は基本的に適応的に動作し、つまり順方向予測、逆方向予測
あるいは補間が許される。

【００１６】 １つの画像シーケンスはＭＰＥＧ−２符号化ではいわゆるＧＯＰ（Group Of P
ictures）に分けられる。まずはじめＩピクチャのｎ個の画像によってＧＯＰが
形成される。各Ｐピクチャ間の間隔はｍで表され、この場合、各Ｐピクチャ間に
それぞれｍ−１個のＢピクチャが存在する。しかしＭＰＥＧシンタックスによれ
ば、ｍとｎをどのように選定するのかはユーザに委ねられている。ｍ＝１はＢピ
クチャが使用されないことを意味し、ｎ＝１はＩピクチャだけが符号化されるこ
とを意味する。

【００１７】 文献［２］から、ブロックベースの画像符号化方式において動き予測をする方
法が知られている。この場合に前提とするのは、１つのディジタル画像のもつ画
素がたとえば８×８個の画素または１６×１６個の画素から成る画像ブロックに
まとめられていることである。必要に応じて１つの画像ブロックが複数の画像ブ
ロックをもっていてもよい。このための一例は６個の画像ブロックをもつマクロ
ブロックであり、これらの画像ブロックのうち４つの画像ブロックは輝度情報の
ために、２つの画像ブロックは色情報のために設けられている。

【００１８】 画像シーケンスにおいて符号化すべき画像のためにその画像の画像ブロックを
考慮しながら以下の方法が行われる： 動き予測を実行しようとする画像ブロックのために時間的に先行する画像（先
行の画像ブロック）において、その先行画像中の同じ関連位置に存在していた画
像ブロックに基づき誤差量に関する値が求められる。この目的で有利には、画素
に割り当てられた画像ブロックと先行の画像ブロックの符号化情報における差の
絶対値の和が求められる。ここで符号化情報とは輝度情報（ルミナンス値）およ
び／または色情報（クロミナンス値）のことであり、これらはそれぞれ１つの画
素に割り当てられている。

【００１９】 時間的に先行する画像における出発位置を中心とした所定のサイズおよび形状
の探索空間において、それぞれ先行の画像ブロックの同じサイズの領域について
１画素分または半画素分だけずらして誤差量に関する値が求められる。

【００２０】 ｎｘｎ画素のサイズの探索空間においてｎ^２ の（誤差）値が生じる。この場
合、時間的に先行する画像において、誤差量が最小の誤差値になるずらされた先
行の画像ブロックが求められる。この画像ブロックについて、この先行の画像ブ
ロックが動き予測が実行されることになる符号化すべき画像の画像ブロックと最
良に一致するものとする。

【００２１】 動き予測の結果は、符号化すべき画像内の画像ブロックと時間的に先行する画
像内の選択された画像ブロックとの間のずれを表す動きベクトルである。

【００２２】 画像データの圧縮は、動きベクトルと誤差信号の符号化により達成される。

【００２３】 たとえば１つの画像の各ブロックごとに動き予測が実行される。

【００２４】 オブジェクトベースの画像圧縮方法は、任意の境界をもつ複数のオブジェクト
へ画像を分解することに基づく。個々のオブジェクトは様々な「ビデオ・オブジ
ェクト・プラン "Video Object Plans"」で互いに別個に符号化され、伝送され
、受信機（復号器）において再び合成される。上述のように慣用の符号化方式の
場合、画像全体が矩形の画像ブロックに分割される。この方式はオブジェクトベ
ースの画像ブロックにおいても受け継がれ、その際、符号化すべきオブジェクト
が矩形のブロックに分割され、各ブロックごとに別個に動き補償を伴う動き予測
が実行される。

【００２５】 妨害を受けた通信チャネルを介して、たとえば移動（無線）チャネルまたは損
失の伴う有線チャネルを介して、画像シーケンス（画像データ）を伝送する場合
、画像データの一部分が失われてしまう可能性がある。画像データのこのような
損失は、程度の差こそあれ広い画像範囲にわたり激しい品質の落ち込みというか
たちで現れる。上述のように動き補償を伴った動き予測の画像符号化／画像復号
方法を使用する場合、伝送チャネルにより再びエラーのない伝送が保証されても
、画像障害は消滅しない。その理由は、動き予測にあたり１回現れたエラーは次
のフレーム（イントラピクチャ）の伝送まで存続するからである。したがってひ
どく妨害を及ぼすエラーの伝播ないしは蔓延が生じてしまう。

【００２６】 Ｈ．２６１，Ｈ．２６３，ＭＰＥＧー１／２／４という周知の規格によるビデ
オデータ圧縮方式は、動き補償された予測（誤り訂正を伴う動き予測）および変
換ベースの残留誤差符号化（residual error coding）を用いており、その際に
有利には変換符号化として離散コサイン変換が使われる。ＭＰＥＧ−２にはスケ
ーラビリティ符号化（階層符号化）に対する提案が含まれている。これによれば
１つの画像は所定の画像品質をもつ基本情報と付加情報とに分割され、付加情報
は完全な画像品質（十分な画像品質）を形成するために付加的に符号化されて伝
送される。付加情報の領域で伝送エラーが発生しても、個々の画像を基本情報に
より形成された品質で常に確実に再構成できるようになる。

【００２７】 本発明の課題は、エラーに対し許容力のある画像シーケンスの符号化を実現す
ることであり、殊にその際、画像シーケンスの画像品質に関して妨害を受けたチ
ャネルをできるかぎり効率よく利用できるようにすることである。

【００２８】 この課題は独立請求項の特徴部分に記載の構成により解決される。従属請求項
には本発明の有利な実施形態が示されている。

【００２９】 この課題を解決するため画像シーケンス符号化方法において、以下のステップ
に基づき画像シーケンスに対し基本情報と付加情報が求められる。すなわち、 １）情報源符号化方式に基づき基本情報が求められ、その際、情報源符号化にあ
たり画像シーケンスと符号化済みの画像シーケンスとの間で残留誤差情報（resi
dual error information）が生じる。

【００３０】 ２）残留誤差情報を複数の周波数領域に分割して段階的にスケーリングすること
で残留誤差情報を段階的に表すための付加情報が生成される。

【００３１】 そしてこれらの基本情報と付加情報とに基づき画像シーケンスが符号化され、
その際に付加情報によって符号化品質の漸進的改善が保証される。

【００３２】 この場合に殊に有利であるのは、既存の情報源符号化器つまりたとえば変換と
量子化とエントロピー符号化から成るシステムによって、符号化された画像シー
ケンスの所定の基本品質が保証されることである。しかもこのことから有利には
伝送チャネルの残りの帯域幅に依存して付加情報を伝送することができ、それに
よって画像シーケンスを徐々に（漸進的に）品質改善することができるようにな
る。たとえばこの場合、付加情報の伝送にあたり、符号化すべき個々の画像の品
質改善を考慮して付加情報の重要な部分がまず最初に送られる。さらに有利には
、この画像の品質の向上がその画像について均等に行われる。

【００３３】 １つの実施形態によれば、画像シーケンスはビットストリームとして１つのチ
ャネルを介して受信機へ伝送される。たとえばそのチャネルは妨害を受けている
可能性があり、その結果、そのチャネルにおいては妨害発生中、本来利用可能な
帯域幅を使えなくなってしまう。ここで言及しておくと情報源符号化において基
本情報を利用することができ、この基本情報は付加情報に基づき（段階的に）拡
張され、チャネルを介してビットストリームのかたちで受信機へ伝送される。チ
ャネルに関して重要であるのは、それが妨害に依存して場合によっては強く変動
する帯域幅を有していることである。そのような妨害は予測不可能であるかまた
は予測困難であるため、付加情報を使用しなければチャネル帯域幅の急激な落ち
込みにより、受信機において画像シーケンスをもはや識別できなくなってしまう
か、もしくは品質が著しく劣化して識別されることになってしまう。たとえばエ
ラーの加わっているチャネルに対しても形成された基本情報によって、符号化さ
れた画像シーケンスの所定の基本品質が保証されて、その品質が上述の付加情報
に基づき（段階的に）改善される。チャネルで妨害が発生すると付加情報の一部
分が失われるが、その結果、たいていの事例では基本情報により保証される画像
品質に対し段階的な改善が依然として保証されるようになる。この目的で有利に
は付加情報は、実現可能な画像の改善にとって重要な情報がまず最初にチャネル
を介して（ビットストリーム内で）伝送されるよう準備処理される。

【００３４】 考えられる１つの適用形態によれば、安定したつまりほとんど妨害を受けてい
ない伝送チャネルであっても、受信機において画像シーケンスを様々な品質で呼
び出すことができる。品質スケーリングは上述のやり方によって行われる。考え
られる適用分野は「ビデオ・オン・デマンド」アプリケーションであって、これ
が基礎とするのは、ユーザが自身により事前に設定した品質で受信を行う意志を
示し、ユーザはその品質に対してのみ支払いを行うことである。

【００３５】 残留誤差情報を画像領域内または変換領域内の差分画像に基づき求めることが
できる。このような変換領域を成す変換の一例は離散コサイン変換（ＤＣＴ変換
）である。この変換領域内で、目下の変換画像と画像シーケンスにおいて時間的
に先行する逆変換された画像との差を求めることができる。ここで逆変換された
とは、たとえば量子化後に目下の画像の逆量子化が行われることを意味し、それ
によって目下の画像に対し損失の伴う画像が得られ、これは目下の画像とは残留
誤差情報の分だけ相違することになる。逆量子化された画像に対しさらに逆変換
をかけるならば、変換されていない画像領域内における残留誤差の伴う画像を受
け取る（画像領域内の残留誤差情報）。

【００３６】 さらに別の実施形態によれば、情報源符号化方式は標準化された画像符号化方
式である。ここではたとえばＭＰＥＧ規格またはＨ．２６ｘ規格による画像符号
化方式とすることができる。

【００３７】 さらに付加的な実施形態によれば複数の周波数領域への分割が、付加情報が画
像シーケンスの各画像ごとにそれらの重要性に従い伝送されるように実行される
。

【００３８】 本発明のさらに別の実施形態によれば、所定量の値の付加情報に対しそれらの
所定量のすべての値について反復的にそれぞれ最上位ビットがビットストリーム
に送り込まれる。このようにすれば、まずはじめにビットストリームにおいて受
信機へ最上位ビットが伝送されるようになる。したがってビットストリームが途
切れても、個々の画像のために伝送される情報がその画像について可能なかぎり
最高の品質で表示される。上述の反復ループにおいて後続の実行処理が確実にな
って、最上位ビットの次に続くビットが伝送され、その場合にはこのビットがま
だ伝送されていない最も上位のビットとなる。さてここでチャネル内の妨害が発
生した場合、伝送すべき所定量の値についてそれぞれ最も重要な（「最高の」）
ビットは伝送されてしまっている状態とすることができる。このとき、ｎビット
の値の分解能である残りのビットをゼロで埋めることができる。

【００３９】 なお、説明したシナリオの前提となるのは、画像シーケンスが符号化器の側で
符号化され既述のチャネルを介して復号器へ伝送されることである。復号器は基
本情報および可能なかぎり付加情報を復元するために用いられ、たとえば得られ
た画像シーケンスを表示する。

【００４０】 この場合、付加情報を用いてどのように処理すべきであるかについて、つまり
基本情報に基づき得られた画像品質の改善のためどの程度まで付加情報を処理す
べきかについて、受信側で復号器が把握しているようにしなければならない。し
たがって情報源符号化は、結果として基本情報を供給する機能的な基本層を成し
ている。基本層に対し拡張層が設けられており、これによって付加的なサービス
が提供され、つまり付加情報に基づきたとえばブロック符号化された個々の画像
ごとに画像品質の改善がもたらされる。さらにこの拡張層の上に、あるいはその
一部分として、アプリケーション（層）を設けることができ、これによりたとえ
ば上述のビデオ・オン・デマンド・アプリケーションなどにおいて明示的に制御
可能に所定の画像品質が実行される。したがってユーザは復号器の側において、
アプリケーション（層）内でそのユーザに適した予備選択を行うことができる。
この場合、対応する画像品質は基本層および拡張層により、すなわち基本情報お
よび付加情報に基づき提供される。このようにして選択モードおよびそれと結び
つけられたビデオ・オン・デマンド・アプリケーションで使われた帯域幅に対す
る決算モードを提供することができる。顧客は自身の要求された帯域幅に対し支
払いを行う。このシナリオではチャネルはシステムのボトルネックを成さない。

【００４１】 さらに１つの実施形態によれば、付加情報を求める際に基本情報が考慮される
。この場合、殊に有利であるのは、基本情報においてすでに損失の生じがちな画
像符号化が行われており、それが付加情報の決定に効率的に算入可能な特定の結
果を与えることである。

【００４２】 たとえば後処理（"Post-Processing"）の際に付加情報をビットストリームに
挿入することができる。この種の後処理の利点は殊に、付加情報のどの部分がど
のような品質改善に作用するかを識別できることであり、つまりは品質改善にと
って重要な部分をまず最初にビットストリームに挿入できることである。

【００４３】 さらに課題解決のため、既述の方法のいずれか１つにより符号化された画像シ
ーケンスの復号方法が提供される。

【００４４】 また、課題解決のため画像シーケンスの符号化装置が提供され、この装置はプ
ロセッサユニットを有しており、これは以下のように構成されている。すなわち
、 ａ）画像シーケンスに対し基本情報と付加情報を求めるために、 １）情報源符号化方式に基づき基本情報を求め、この情報源符号化により画
像シーケンスと符号化済みの画像シーケンスとの間で残留誤差情報が生成される
ステップと、 ２）残留誤差情報を段階的に表すため、この残留誤差情報を複数の周波数領
域に分割し段階的にスケーリングすることにより付加情報を生成するステップと
、 を実行し、 ｂ）基本情報と付加情報とに基づき画像シーケンスを符号化し、この付加情報に
よって符号化品質の漸進的改善を行う、 ように構成されている。

【００４５】 さらに課題解決のため画像シーケンスの復号方法が提供され、この装置はプロ
セッサユニットを有しており、このプロセッサユニットは、画像シーケンスの各
画像を基本情報と付加情報とに基づき復元可能であるように構成されている。た
とえばこの装置は、基本情報と付加情報を適切に評価する復号器である。さらに
この復号器は所定のサービスを要求することができ、そのサービスとは種々の付
加情報のかたちで表され、たとえば所定の解像度におけるビデオ・オン・デマン
ドであり、これは基本情報と付加情報の組み合わせによってはじめて達成される
。

【００４６】 これらの装置は、本発明の個々の方法あるいはそれらの既述の実施形態の実施
に殊に適している。

【００４７】 次に、図面を参照しながら本発明の実施例について説明する。

【００４８】 図面 図１は、情報源符号化方法を示す図である。

【００４９】 図２は、付加情報を求めるための第１の実施形態を示す図である。

【００５０】 図３は、付加情報を求めるための第２の実施形態を示す図である。

【００５１】 図４は、基本情報と付加情報を１つにビットストリームにまとめチャネルを介
して伝送する様子を示す図である。

【００５２】 図５は、周波数または係数をグループ分けする様子を示す図である。

【００５３】 図６は、ビットプレーンを示す図である。

【００５４】 図７は、画像符号化器と画像復号器を示す図である。

【００５５】 図８は、プロセッサユニットを示す図である。

【００５６】 図１には、情報源符号化方法について示す図が描かれている。第１の有利には
ブロックベースの画像Ｂ１ １０１に対し変換１０２が行われる。この種の変換
の一例は離散コサイン変換（ＤＣＴ変換）である。その結果、ブロック１０３に
おいて変換係数が得られる。量子化部１０４において画像Ｂ１ １０１は損失を
伴ってマッピングされる。エントロピー符号化部１０５により基本情報１１２が
供給される。量子化された損失の伴った画像Ｂ１ １０１は逆量子化され（ブロ
ック（１０６参照）、その結果、対応する変換係数１０７および逆変換１０８に
よって第２の画像Ｂ２ １０９が供給され、これは第１の画像Ｂ１ １０１に対し
残留誤差情報を有しており、すなわち画像品質が低減されている。両方の画像Ｂ
１とＢ２の間の残留誤差は量子化誤差（ブロック１０４参照）に起因するもので
あり、これは意図的に甘受しているものであって、それというのも基本情報内で
データ圧縮を達成し、質的に劣る伝送チャネルに関しても伝送が保証されるよう
基本情報を定めることができるようにするためである。たとえば帯域幅のごく僅
かなベースチャネルがあるので、高いデータ圧縮率は画像シーケンス伝送のため
の前提条件である。

【００５７】 さらに図１には、第１の残留誤差情報ｒｅｓｔ＿１ １１０と第２の残留誤差
情報ｒｅｓｔ＿２ １１１が描かれている。これら２つの残留誤差情報は図２お
よび図３に示されているようにして後続処理され、それぞれ付加情報２０６もし
くは３０６が生成される。原理的には完全な符号化および残留誤差情報の伝送に
より、基本情報と生成すべき付加情報とに基づいて画像Ｂ１の完全な再構成が可
能となる。

【００５８】 図２には、付加情報を求めるための第１の実施形態が示されている。図１で説
明した第１の残留誤差情報ｒｅｓｔ＿１ １１０は、第１の画像Ｂ１と第２の画
像Ｂ２（図１の１０１と１０９を参照）との間の差に基づき得られる。したがっ
てその結果として差分画像Ｂ＿ｄｉｆｆ ２０１が得られる。この差分画像Ｂ＿
ｄｉｆｆ ２０１はサブバンド分解部２０２へ導かれる。サブバンド分解２０２
をたとえばウェーブレット変換もしくはウェーブレットパケット変換によって構
成することができる。その結果、差分画像２０１について別個に、ローパス成分
およびハイパス成分もしくはローパス成分とハイパス成分のミックスされたもの
がそれぞれ得られる。フィルタリングされたこれらの情報はエントロピー符号化
部へ導かれ、これは有利には品質スケーラブルなかたちで実行される（ブロック
２０４参照）。ブロック２０５においてデータに対し後処理が施され、その目的
は基本情報１１２だけから成る符号化された画像Ｂ１の品質をできるかぎり向上
させることにある。このことはたとえば、最初に最大の改善が生じるよう付加情
報を求め、この改善自体が符号化された画像のできるかぎりすべてのブロックに
均等にあてはまるようにすることによって行われる。この目的を達成するための
後処理の特別な可能性については後述する。

【００５９】 図３には、付加情報を求めるための別の実施形態が描かれている。図１に示さ
れているように残留誤差情報ｒｅｓｔ＿２ １１１は、第１の画像Ｂ１と第２の
画像Ｂ２の差からそれぞれ変換空間（図１のブロック１０３および１０７を参照
）内で求められる。その結果、ブロックベースで表された差分画像３０１が変換
空間内で得られ、その際、各ブロックごとに決められた周波数成分がまえもって
与えられている。ＤＣＴ変換の結果として１つの直流成分と多数の交流成分が生
じる。ステップ３０２において、それぞれすべての直流成分もしくは個々の周波
数のすべての交流成分がまとめられるよう、これらの周波数帯域が分類しなおさ
れる。このことはブロック３０３でシンボリックに表されており、これはブロッ
ク３０１と同じ情報をもっているけれども、すべてのブロックに関する個々の周
波数領域もしくは直流成分に対する係数がまとめられている。このような分類の
メカニズムについては図５のところでも説明する。周波数帯域の再分類後、縁と
エントロピー符号化３０４が行われ、これは品質スケーラブルなかたちで実行さ
れる。そのあとで後処理３０５が実行され、それによって付加情報３０６が得ら
れ、これは品質向上に関して重要な成分がまず最初にビットストリームを介して
伝送されるように構成されている。

【００６０】 図４には、既述の基本情報１１２と付加情報（２０６または３０６参照）を１
つのビットストリーム４０１に統合する様子が描かれている。この統合は符号化
器４０４の側で行われる。ビットストリーム４０１はチャネル４０２を介して受
信機もしくは復号器４０３へ伝送される。このチャネルは所定の帯域幅を有して
おり、その帯域は場合によっては何らかの妨害の影響を受けて、帯域幅自体が変
動する可能性がある。そこでチャネルの帯域幅をできるかぎり効率的に利用して
、受信機において画像シーケンスをできるかぎり最良の品質で描くことができる
ようにする目的が生じる。基本情報１１２によりビットストリーム４０１の一部
分として所定の基本品質が保証され、これは基本的にチャネルを介して広範囲に
わたり障害のない状態で受信機に到来し復号可能である。それによって生じる画
像シーケンスの品質は改善の余地がある。この品質改善は付加情報によって達成
される。付加情報はビットストリーム４０１に添えられ、やはりチャネル４０２
を介して受信機または復号器４０３へ伝送される。ビットストリームはビット列
をなしており、この場合、基本的に各画像ごとに１つの特定の時間窓が使われる
。ここでチャネルの帯域幅がこの時間窓内で変動すると、データがすべては受信
機には到来しなくなる可能性があり、したがってどの付加情報をどの順序でビッ
トストリームに組み込むのかを綿密に選定する必要がある。

【００６１】 この理由で上述のように、基本情報の大きな改善に寄与する部分ができるだけ
早めにビットストリームに組み込まれるよう、付加情報が構成されている。さら
に格別有利であるのは、画像の品質改善を受けもつ付加情報が画像全体において
均等に品質改善作用を及ぼすようにすることである。このことは、重要な情報す
なわち大きい改善を可能にする残留誤差情報の部分を符号化された画像のすべて
のブロックに関して均等にビットストリームに組み込むことにより保証され、こ
のようにすることで受信機の側で、どれだけ多くの付加情報を既述の時間窓内で
伝送できたかに応じて、画像のすべてのブロックに対して均等な改善が行われる
ようになる。この目的でたとえば上述の周波数帯域の再分類が用いられる。この
場合、周波数帯域再分類の目的は、まずはじめに画像のすべてのブロックに対し
大きな改善を施し、ついで徐々に品質をいっそう改善していくことである。その
間に付加情報のビットストリームが途切れると、そのときまでに画像のほぼ最適
な改善が達成され、それによって提供された帯域幅が効率的に利用されたことに
なる。

【００６２】 図５には、周波数（係数）の上述のグループ分けもしくは再分類について描か
れている。

【００６３】 部分５０１には、変換された画像（図３の３０３）の一部分が描かれている。
この画像には、有利には８×８または１６×１６個のピクセルをもつ複数の画像
ブロックが含まれており、マクロブロックも含まれている。４×４個のピクセル
サイズここでは変換領域の係数をもつこの種のマイクロブロックが、ブロック５
０２として表されている。ブロック５０２は複数の係数を有しており、これらの
係数の一部分が係数Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１として表されている。マクロ
ブロック５０２と同様に画像５０１内にはそれ以降のマイクロブロックが形成さ
れている。一例として各マクロブロックごとに最初の係数Ａ２〜Ａ９が示されて
いる。有利には第１の係数は直流成分であり、これは画像の改善に重要な役割を
果たす。再分類後、ブロック５０３内に描かれているような構造が生じる。変換
された画像３０１もしくは５０１は、種々の係数の個数と同じ個数のサブブロッ
クが生じるよう分類しなおされる。たとえばブロック５０３には、変換された画
像３０１もしくは５０１のすべてのマクロブロックにおけるすべての直流成分を
有するサブブロック５０４が含まれている。ブロック５０４における直流成分は
係数Ａ１〜Ａ９として表されている。これと同様に、それぞれ同じ種類のすべて
の交流成分Ｂ〜Ｅがまとめられている。

【００６４】 このようにしてきわめて有利なかたちで付加情報内において、すべてのマクロ
ブロックについて均等な改善を達成できるようになる。

【００６５】 さて、付加情報の一部分として少なくとも、画像のすべてのマクロブロックに
対し図５のブロック５０４として描かれている直流成分を受信機へ伝送しなけれ
ばならない。この場合にもやはり、伝送された付加情報に基づきどのようにして
できるかぎり効率的な改善を達成できるか、ということが問題となる。ここで殊
に不利となるのは、最初に係数Ａ１を完全な分解能で伝送し、ついで係数Ａ２を
完全な分解能でただちに伝送することである。そうではなく有利であるのは、係
数Ａ１の重要な成分を伝送した後、係数Ａ２の重要な成分を伝送するという具合
に行うことである。このようにすれば、付加情報を効率的かつ早期にすべての係
数Ａ１〜Ａ９について、つまり考慮の対象となるマクロブロックについて、確実
に改善が達成されるようになり、これによれば改善の分解能自体を段階的にあと
から追加することができる。ここで改善の分解能は各々係数をもつビットの個数
に係わるものである。

【００６６】 図６はこの関係を示す図である。

【００６７】 図６にはビットプレーンが描かれている。ここでは図５のサブブロック５０４
およびそれに付随する説明を参照されたい。既述のように、各係数Ａ１〜Ａ９は
ｎビットの分解能をもっている。図６に示した例ではｎは６である。したがって
各係数ごとに最上位ビット（Most Significant Bit, MSB）が存在する。ビット
ストリームにおける付加情報の効率的な利用に関して有利であるのは、まずはじ
めにすべての係数Ａ１〜Ａ９について最上位ビットを伝送することである。その
後、残りの上位のビットが伝送され、という具合にして伝送が行われる。

【００６８】 ここで留意したいのは、係数Ａ１〜Ａ９は単に一部分を成しているにすぎず、
それによって付加情報の効率的な編成のやり方を示そうというものである。

【００６９】 ビットストリームが伝送すべき付加情報内の特定の個所で途切れた場合には既
述のメカニズムにより、すでに伝送された付加情報が画像を復号器側で効率的に
改善するようになる。

【００７０】 既述のやり方をさらに洗練して、後処理（ブロック２０５および３０５）のと
ころで付加情報の前処理を行うようにし、それらの付加情報の伝送順序に従い最
初に個々の画像ができるかぎり改善されるようにすることもできる。したがって
たとえばＲＤ最適化（"Rate Distortion" 最適化）に関して後処理を行うことが
できる。これによれば付加情報は、できるかぎり大きい改善を生じさせる付加情
報すなわち歪みや残留誤差を最大に低減する付加情報がまずはじめにビットスト
リームにおかれるよう再編成される。

【００７１】 さらに基本情報を効率増大のために使用することができる。つまりたとえばブ
ロックベースの基本層符号化における種々の量子化パラメータを利用して、符号
化時に省くことのできる重要でない領域を推定することができる。

【００７２】 次に後続処理について説明する。

【００７３】 周波数領域（周波数帯域）における残留誤差もしくは残留誤差情報の再分類： 残留誤差の本来の符号化の前に、それぞれ同じ周波数のサブバンドにおいて残
留誤差情報の再分類が行われる。ブロックベースの変換から出発して、ｉ番目の
ブロックの（ｎ，ｍ）変換係数が（ｎ，ｍ）周波数帯域のｉ番目の個所に伝送さ
れる（図５参照）。

【００７４】 ビットプレーン割り当て 残留誤差の表し方として、基本層においてつまり基本情報を供給する情報源符
号化において実現される量子化に依存して、ある係数に対しビットプレーンを明
示的に割り当てることが挙げられる。この場合、基本層の相応の量子化インター
バルが付加情報に対する後続処理のためその周縁とともに再構成される。そして
ビットプレーンは、該当するインターバルを２つの半部に連続的に分解すること
により得られる。正のオリジナル係数が左側もしくは右側の部分インターバルに
存在していれば、目下のビットプレーンにおいて残留誤差に対しゼロもしくは１
が割り当てられる。負の係数については鏡像的に同じことがあてはまる。

【００７５】 その際、インターバル分割の最大数に従ってビットプレーンの最大数がまえも
って与えられ、したがってビットプレーンの個々の数は基本層における個々の量
子化に依存することになる。基本層において粗い量子化の行われた係数には、（
量子化の細かさに応じて）すでに細かい量子化の行われた係数よりも多くのビッ
トプレーンが与えられる。このようにして得られた係数あたりいくつのビットを
送信すべきであるかという情報を、微細化をあとで送信するために利用すること
もできる。

【００７６】 ビットプレーン割り当てのこのようなコンセプトによればブロックベースの変
換を用いるとき、たとえばビットレートコントロールなどにより呼び出されて、
基本層において量子化パラメータをブロックに依存して（位置に依存して）選択
することによって、付加情報生成のための層（拡張層）における不均一性が効率
的に補償されるようになる。個々のマクロブロックのための量子化パラメータが
１つの画像内で強く変動した場合、この変動は拡張層において送信された各ビッ
トプレーンによって低減され、そのようにして（基本情報と付加情報の考慮され
た）均等な量子化が追求され、このことは復号器側での均等な品質の点で反映さ
れる。

【００７７】 係数は拡張層において復号された情報に依存して再構成される。基本層の初期
の量子化インターバルから出発してこのインターバルは、係数のためのビットが
復号される頻度で微細化される。これに続いて、結果として生じたインターバル
内で再構成値の割り当てがたとえばインターバル中心点によって行われる。

【００７８】 既述のビットプレーン割り当て法により残留誤差を表現することの別の利点は
、拡張層において初回に重要になる係数のためだけに極性符号情報が送信される
ことである。

【００７９】 参照残留による残留誤差表現： オリジナルのものと再構成したものとの間で残留を明示的に計算するほか、基
本層の再構成された係数の（仮想の）参照値と対応するオリジナル係数との間の
差分形成も、残留誤差表現の別の可能性を成すものである。この場合、正の（負
の）係数のときに基本層の量子化インターバルの左側（右側）の周縁にセットさ
れる参照値を利用することで、不必要な極性符号情報を送る必要がなくなる。さ
らに各サブバンドごとに、初回にサブバンド係数が重要とされるビットプレーン
を識別して、ゼロプレーンの不必要な符号化を避けるようにする。

【００８０】 拡張層のためのサブバンドベースの符号化技術 １．有意（significance）情報もしくは微細化（refinement）情報 符号化により各係数ごとに２つの状態すなわち有意状態と微細化状態とが区別
される。この場合、１つの係数はそれにとって有意な情報が存在しなくなるまで
、つまり再構成にあたりその係数がゼロにマッピングされることになるまで、有
意状態にある。ここでその有意性の指示が待ち受けられ、その際、係数はｋ番目
のビットプレーンにおいてその振幅ａが ２^ｋ≦｜ａ｜＜２^ｋ＋１ の範囲にあるとき有意になる。第１回目に「１」が送信されると、係数はこの「
１」の符号化後にその状態を変化させ、係数は微細化状態に移行して、すべての
後続のビットが微細化ビットとして表される。

【００８１】 係数の目下の状態はバイナリ値の有意マトリックスによって記述される。これ
は継続的に講師更新される。このマトリックス中の「１」は、係数がすでにその
有意性を指示してしまっており、したがって微細化状態にあることを意味する。
また、０は有意状態に対応し、つまりその係数にとって有意性が待ち受けられて
いる。

【００８２】 有意マトリックスに基づき、目下符号化すべきビットを（フラクタルビットプ
レーン）のどの実行処理においてどのルーチンで処理すべきかが判定される。こ
の場合、有意マトリックスは１つのビットの符号後、ただちに更新される。

【００８３】 拡張層における符号化において残留誤差を対象としているので、符号化のため
基本層からできるかぎり多くの情報を利用するのが重要である。つまりたとえば
、拡張層において符号化の開始にあたり有意マトリックスを基本層からの有意情
報によって初期化するのが有効である。

【００８４】 ２．符号化ツール 係数およびその状態の周囲に依存して目下のビットを符号化するため様々なル
ーチンが用いられる。ここで共通することは、すべてのルーチンはバイナリシン
ボルの適応算術符号化を利用することであり、その際、コンテクスト形成により
ルーチンの効率が適切なやり方でサポートされる。

【００８５】 有意ルーチン（significance routine）： 有意情報の符号化はコンテクスト形成により行われ、これにはそのつど目下符
号化すべき係数のすぐ周囲からの有意状態が算入される。

【００８６】 極性符号ルーチン： 極性符号情報の符号化にあたり、目下符号化すべき係数のすぐ周囲の極性符号
情報から成るコンテクストが利用される。しかしこのルーチンが呼び出されるの
は、係数が初回にその有意性を示したときだけである。

【００８７】 非有意のゼロをまとめるルーチン： あるビットプレーンにおける有意なままのゼロにおいて有意情報を効率的に符
号化するために、ゼロスペース（ゼロツリー）もしくはランレングスを用いるこ
とができる。

【００８８】 微細化ルーチン（refining routine）： 微細化ビットの符号化は上方のビットプレーンにおいて行われ、つまり最初に
有意が現れた後、コンテクスト形成により行われ、これには隣り合う係数の有意
状態が関与する。その下に位置するビットプレーンにおいては１つの適応モデル
だけが用いられる。

【００８９】 ３．フラクタルビットプレーンのコンセプト 慣用のビットプレーン符号化器は、１つの実行処理における適切なルーチンに
より１つのビットプレーンのビットを相前後して符号化する。フラクタルビット
プレーンの着想によれば、複数の実行処理において目下符号化すべきビットプレ
ーンをスキャンし、それらの状態とそれらの周囲に従い１つのフラクタルビット
プレーンにビットを割り当てる。

【００９０】 したがって１つのバンド内の基礎を成すスキャン順序よりも所定の重要性の方
が優先される（場所よりも優先）。ＲＤファンクション（RD = Rate Distortion
）に強く最適に影響を及ぼすことの予期される情報を、まずはじめに送信すべき
である。このコンセプトによってはじめて、１つのビットプレーン内で最適なＲ
Ｄカットオフポイントをみつけることもでき、つまりは細分性を高めることもで
きる。

【００９１】 有利にはビットプレーンごとに少なくとも３つの実行処理がある。１つのビッ
トプレーンにおける最初の実行処理により、係数が有意な周辺に存在していると
いう条件のもとでのみ有意情報が符号化される。２番目の実行処理において細分
化情報そのものが符号化される一方、３つめの処理において、まだ欠けている残
りの有意情報が符号化される。３つの実行処理すべてに上述のような個々の符号
化ルーチンが割り当てられる。

【００９２】 択一的に、最後の２つの実行処理を順序を変えて実行してもよい。

【００９３】 ４．個々のサブバンドもしくは細分の処理順序 後処理２０５または３０５内であとからＲＤ最適化する可能性がないのであれ
ば、個々のバンドもしくは成分の処理順序ひいてはそれらに対応するビットスト
リーム中の配分を定める必要がある。バンド配置に関しては、ジグザグスキャン
が適しているとみなすことができる。

【００９４】 補足的レート／歪み最適化（後処理） 効率を高めるための別のツールはあとから補足的にレート／歪み最適化を行う
ことである。補足的にとはこの事例では、本来の符号化後にビットストリーム中
の個々の符号セグメントを新たに配列しなおすことである。このコンセプトの前
提となるのは、ビットストリームが（独立した符号化により）符号セグメントに
分解可能であり、かつ個々のセグメントのレート／歪み特性に関する情報が存在
することである。この場合、符号セグメントのサイズはスケーラビリティの細か
さに作用を及ぼす。

【００９５】 図７には、ブロックベースのブロック符号化法を実施するための回路が示され
ている。時間的に相前後するディジタル化画像をもつ符号化すべきビデオデータ
ストリームは画像符号化ユニット１２０１へ供給される。ディジタル化画像はマ
クロブロック１２０２に分割され、ここで各マクロブロックは１６×１６個の画
素をもつ。マクロブロック１２０２には４つの画像ブロック１２０３，１２０４
，１２０５，１２０６が含まれており、ここで各画像ブロックは８×８個の画素
をもち、それらの画素にはルミナンス値（輝度値）が割り当てられている。さら
に各マクロブロック１２０２には２つのクロミナンスブロック１２０７，１２０
８が含まれており、それらの画素にはクロミナンス値（色差値）が割り当てられ
ている。

【００９６】 択一的に各画像ブロックに４×４個の画素サイズをもたせてもよい。この場合
にはそれに応じてマクロブロックに１６個の画像ブロックが含まれる。これは有
利にはＨ．２６Ｌテストモデルにおいて使用される。

【００９７】 各画像ブロックは変換符号化ユニット１２０９へ供給される。差分画像符号化
にあたり、時間的に先行する画像の画像ブロックにおける符号化すべき値が目下
符号化すべき画像ブロックから減算され、差分画像情報１２１０だけが変換符号
化ユニット（離散コサイン変換ＤＣＴ）１２０９へ供給される。この目的で接続
ライン１２３４を介して、目下のマクロブロック１２０２が動き予測ユニット１
２２９へ伝送される。変換符号化ユニット１２０９において、符号化すべき画像
ブロックつまり差分画像ブロックのためにスペクトル係数１２１１が形成され、
量子化ユニット１２１２へ供給される。量子化されたスペクトル係数１２１３は
スキャンユニット１２１４へも供給されるし、帰還経路内の逆量子化ユニット１
２１５へも供給される。たとえばジグザグスキャン方式などのスキャン方式が実
行された後、スキャンされたスペクトル拡散係数１２３２に対し、エントロピー
符号化がそのために設けられたエントロピー符号化ユニット１２１６において実
行される。エントロピー符号化されたスペクトル係数は符号化画像データ１２１
７としてチャネルを介して、有利には有線または無線区間を介して、復号器へ伝
送される。

【００９８】 逆量子化ユニット１２１５において、量子化されたスペクトル係数１２１３の
逆量子化が行われる。このようにして得られたスペクトル係数１２１８は逆変換
符号化ユニット１２１９（逆離散コサイン変換ＩＤＣＴ）へ供給される。再構成
された符号化値（差分符号化値とも称する）１２２０は、差分画像モードにおい
て加算器１２２１へ供給される。加算器１２２１はさらに画像ブロックの符号化
値も受け取り、これは時間的に先行する画像から動き補償がすでに実行された後
で得られる。加算器１２２１により再構成された画像ブロック１２２２が形成さ
れ、画像メモリ１２２３内に格納される。

【００９９】 この画像メモリ１２２３から、再構成された画像ブロック１２２２のクロミナ
ンス値１２２４が動き補償ユニット１２２５へ供給される。輝度値１２２６のた
めに補間がそのために設けられた補間ユニット１２２７において行われる。この
補間に基づき個々の画像ブロックに含まれている輝度値の個数が有利には２倍に
される。すべての輝度値１２２８は動き補償ユニット１２２５にも動き予測ユニ
ット１２２９にも供給される。動き予測ユニット１２２９はさらに接続ライン１
２３４を介して、そのつど符号化すべきマクロブロック（１６×１６個の画素）
の画像ブロックを受け取る。動き予測ユニット１２２９において、補間された輝
度値を考慮して動き予測が行われる（「半画素ベースの動き予測」）。有利には
動き予測において、目下符号化すべきマクロブロック１２０２と時間的に先行す
る画像から再構成されたマクロブロックの個々の輝度値における絶対的な差が求
められる。

【０１００】 動き予測の結果として動きベクトル１２３０が得られ、この動きベクトル１２
３０によって、時間的に先行する画像から選択されたマクロブロックと符号化す
べきマクロブロック１２０２との位置的なずれが表される。

【０１０１】 動き予測ユニット１２２９により求められたマクロブロックに関して輝度情報
もクロミナンス情報もこの動きベクトル１２３０の分だけずらされて、マクロブ
ロック１２０２の符号化値から減算される（デー多経路１２３１参照）。

【０１０２】 図８にはプロセッサユニットＰＲＺＥが描かれている。このプロセッサユニッ
トＰＲＺＥはプロセッサＣＰＵとメモリＭＥＭと入出力インタフェースＩＯＳと
を有しており、このインタフェースはインタフェースＩＦＣを介して様々なやり
方で利用される。グラフィックインタフェースを介して出力をモニタＭＯＮで見
たり、および／またはプリンタＰＲＴでプリントアウトされる。入力はマウスＭ
ＡＳまたはキーボードＴＡＳＴによって行われる。さらにプロセッサユニットＰ
ＲＺＥはデータバスＢＵＳを有しており、これによりメモリＭＥＭ、プロセッサ
ＣＰＵおよび入出力インタフェースＩＯＳの接続が保証される。さらにデータバ
スＢＵＳに、付加的なコンポーネントたとえば付加的なメモリ、データ記憶装置
（ハードディスク）あるいはスキャナなどをつなげることができる。

【０１０３】 文献リスト： ［１］ J. De Lameillieure, R. Schaefer: "MPEG-2-Bildcodierung fuer das
digitale Fernsehen", Fernseh- und Kino-Technik, 48. Jahrgang, No. 3/1994
, p. 99-107 ［２］ M. Bierling: "Displacement Estimation by Hierachical Blockmatchi
ng", SPIE, Vol. 1001, Visual Communications and Image Processing '88, p.
942-951, 1988

【図面の簡単な説明】

【図１】 情報源符号化方法を示す図である。

【図２】 付加情報を求めるための第１の実施形態を示す図である。

【図３】 付加情報を求めるための第２の実施形態を示す図である。

【図４】 基本情報と付加情報を１つにビットストリームにまとめチャネルを介して伝送
する様子を示す図である。

【図５】 周波数または係数をグループ分けする様子を示す図である。

【図６】 ビットプレーンを示す図である。

【図７】 画像符号化器を示す図である。

【図８】 プロセッサユニットを示す図である。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA00 MA14 MA24 MA35 MA43 MC11 ME01 UA02 UA05 UA15 5J064 AA01 BA09 BA16 BC11 BC16 BC18

Claims (14)

【特許請求の範囲】
1. 【請求項１】 画像シーケンスの符号化方法において、 ａ）画像シーケンスに対し基本情報と付加情報を求めるために、 １）基本情報を情報源符号化方式に基づき求め、該情報源符号化により前記
   画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成される
   ステップと、 ２）該残留誤差情報を段階的に表すため、該残留誤差情報を複数の周波数領
   域に分割し段階的にスケーリングすることにより付加情報を生成するステップと
   、 を実行し、 ｂ）前記の基本情報と付加情報とに基づき画像シーケンスを符号化し、該付加
   情報によって符号化品質の漸進的改善を行うことを特徴とする、 画像シーケンスの符号化方法。
2. 【請求項２】 前記画像シーケンスをビットストリームとしてチャネルを介
   して受信機へ伝送する、請求項１記載の方法。
3. 【請求項３】 前記チャネルは妨害に晒されている、請求項２記載の方法。
4. 【請求項４】 前記残留誤差情報を画像領域において画像シーケンスの１つ
   の画像と該画像シーケンスの量子化画像とから求める、請求項１から３のいずれ
   か１項記載の方法。
5. 【請求項５】 前記残留誤差情報を変換領域において画像シーケンスの１つ
   の画像と該画像シーケンスの量子化画像とから求める、請求項１から４のいずれ
   か１項記載の方法。
6. 【請求項６】 前記情報源符号化方式は標準化された画像符号化方式である
   、請求項１から５のいずれか１項記載の方法。
7. 【請求項７】 前記標準化された画像符号化方式はＭＰＥＧ規格またはＨ．
   ２６ｘ規格による方式である、請求項６記載の方法。
8. 【請求項８】 複数の周波数領域への前記の分割を、前記付加情報が画像シ
   ーケンスの各画像ごとにそれらの重要性に従い伝送されるように実行する、請求
   項２から７のいずれか１項記載の方法。
9. 【請求項９】 付加情報の所定量の値に関して該所定量のすべての値につい
   て反復的にそれぞれ最上位ビットをビットストリームに送り込む、請求項２から
   ８のいずれか１項記載の方法。
10. 【請求項１０】 前記付加情報として最大の残留誤差情報をまずはじめに伝
    送する、請求項２から９のいずれか１項記載の方法。
11. 【請求項１１】 前記付加情報を求めるときに基本情報を考慮する、請求項
    １から１０のいずれか１項記載の方法。
12. 【請求項１２】 請求項１から１１のいずれか１項記載の方法に従い符号化
    済み画像シーケンスの復号方法において、 画像シーケンスの各画像を前記の基本情報と付加情報とに基づき復元すること
    を特徴とする復号方法。
13. 【請求項１３】 画像シーケンスの符号化装置においてプロセッサユニット
    が設けられており、該プロセッサユニットは、 ａ）画像シーケンスに対し基本情報と付加情報を求めるために、 ３）情報源符号化方式に基づき基本情報を求め、該情報源符号化により前記
    画像シーケンスと符号化済み画像シーケンスとの間で残留誤差情報が生成される
    ステップと、 ４）該残留誤差情報を段階的に表すため、該残留誤差情報を複数の周波数領
    域に分割し段階的にスケーリングすることにより付加情報を生成するステップと
    、 を実行し、 ｂ）前記の基本情報と付加情報とに基づき画像シーケンスを符号化し、該付加
    情報によって符号化品質の漸進的改善を行うことを特徴とする、 画像シーケンスの符号化装置。
14. 【請求項１４】 画像シーケンスの復号装置においてプロセッサユニットが
    設けられており、該プロセッサユニットは、画像シーケンスの各画像を前記の基
    本情報と付加情報とに基づき復元することを特徴とする、 画像シーケンスの復号装置。