JP2004201350A - 画像符号化装置および画像復号化装置 - Google Patents

Abstract

【課題】多階層に解像度や画質を可変可能なスケーラブル符号化に於てドリフトによる画質劣化や符号化効率低下の無い動画像符号化・復号化装置を得る。
【解決手段】Ｎ×Ｎ個（Ｎ：自然数）の変換係数毎に変換係数領域での動き補償予測を用いた動き補償予測＋変換符号化装置において、局部復号された変換係数を低域からｎ×ｎ個（ｎ＝１〜Ｎ）選択することによりＮ階層の変換係数ピラミッドを作成する手段220 と、Ｎ階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、Ｎ階層の再生画像ピラミッドを作成する手段212 と、Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段213 と、上記蓄積手段に蓄積されている画像を参照して、各階層毎に動き補償予測信号を作成する手段214 と、上記動き補償予測信号を各階層毎に変換係数に変換する手段215 と、上記変換係数を統合することにより動き補償予測値を作成する手段230 を有する。
【選択図】 図２

Description

本発明は、画像信号を高能率に符号化し伝送・蓄積に供すると共に、また復号するための画像符号化装置および復号化装置にかかわり、特に、スケーラビリティ機能を有する画像符号化装置および復号化装置に関する。

画像信号は膨大な情報量を持つため、伝送や蓄積に供する場合には圧縮符号化するのが一般的である。画像信号を高能率に符号化するには、フレーム単位の画像を、所要画素数単位でブロック分けし、その各ブロック毎に直交変換して画像の持つ空間周波数を各周波数成分に分離し、変換係数として取得してこれを符号化する。

ところで、画像符号化の機能として、ビットストリームを部分的に復号することで、画質（ＳＮＲ； Signal to Noise Ratio）、空間解像度、時間解像度を段階的に可変とすることを可能にするスケーラビリティの機能が要求されている。

図７は、Ｎ段階に空間解像度を可変にし、Ｍ段階に画質を可変にするようにしたスケーラビリティ機能を有するビットストリームのイメージである。図７における斜線部で示されたビットストリームをデコードすることで、空間解像度がｎ（＝１〜Ｎ）、画質がｍ（＝１〜Ｍ）の再生画像が得られる。

ＩＳＯ／ＩＥＣにおいて標準化されたメディア統合系動画像符号化標準であるＭＰＥＧ２のビデオパート（ＩＳ１３８１８‐２）にも、スケーラビリティの機能が取り入れられている。

このスケーラビリティは、図１５、図１６に示されるような階層的な符号化法により実現される。図１５は、ＳＮＲスケーラビリティの、また、図１６は、空間スケーラビリティの、エンコーダの例とそのデコーダの構成をそれぞれ示したものである。

図１５、図１６において、Ｄは遅延手段であって、ベースレイヤからの予測値が得られるまでの遅延を与えるためのものであり、ＤＣＴは離散コサイン変換（直交変換）を行う手段、Ｑは量子化を行う量子化器、ＩＱは逆量子化を行う逆量子化器、ＩＤＣＴは逆ＤＣＴを行う手段、ＦＭはフレームメモリ、ＭＣは動き補償予測を行う手段、ＶＬＣは可変長符号化を行う手段、ＶＬＤは可変長復号化を行う手段、ＤＳはダウンサンプリングする手段、ＵＳはアップサンプリングを行う手段、ｗは重み付けパラメータ（０，０．５，１）をそれぞれ示している。

図１５の（ａ）は符号化のためのエンコーダを、そして、（ｂ）はデコーダの構成例を示している。エンコーダにおいては、画質の低いレイヤであるベースレイヤと、画質の高いレイヤであるエンハンスレーヤに別れている。

そして、ベースレイヤではＭＰＥＧ１あるいはＭＰＥＧ２で符号化され、エンハンスレーヤでは、ベースレイヤで符号化されたデータを再現し、元のデ−タからこの再現されたものを引き、その結果得られる誤差分だけをベースレイヤの量子化ステップ・サイズよりも小さな量子化ステップ・サイズで量子化して符号化する。すなわち、より細かく量子化して符号化する。そして、ベースレイヤ情報にエンハンスレーヤの情報を加えることで、精細さを向上させることができ、高画質の画像の伝送・蓄積が可能になる。

このように画像をベースレイヤとエンハンスレーヤに分け、ベースレイヤで符号化されたデータを再現し、元のデ−タからこの再現されたものを引き、その結果得られる誤差分だけをベースレイヤの量子化ステップ・サイズよりも小さな量子化ステップ・サイズで量子化して符号化することで、高精細な画像の符号化／復号化できるようにする技術をＳＮＲスケーラビリティという。

図１５の（ａ）のエンコーダでは、入力画像をベースレイヤとエンハンスレーヤにそれぞれ入力し、ベースレイヤではこれを前フレームの画像から得た動き補償予測値との誤差分を得る処理をした後に直交変換し（ＤＣＴ）、その変換係数を量子化して可変長復号化し、ベースレイヤ出力とする。また、量子化出力は、逆量子化した後、逆ＤＣＴし、これに前フレームの動き補償予測値を加えてフレーム画像を得、このフレーム画像から動き補償予測を行い、前フレームの動き補償予測値とする。

一方、エンハンスレーヤでは入力画像を、ベースレイヤからの予測値が得られるまでの遅延を与えたのちに、前フレームの画像から得たエンハンスレイヤでの動き補償予測値との誤差分を得る処理をし、その後に直交変換し（ＤＣＴ）、その変換係数にベースレイヤの逆量子化出力分の補正を加えてからこれを量子化して可変長復号化し、エンハンスレイヤ出力とする。また、量子化出力は、逆量子化した後、ベースレイヤにて得た前フレームの動き補償予測値を加えて逆ＤＣＴし、これにエンハンスレイヤで得た前フレームの動き補償予測値を加えてフレーム画像を得、このフレーム画像から動き補償予測を行い、エンハンスレイヤでの前フレームの動き補償予測値とする。これにより、ＳＮＲスケーラビリティを使用した動画像の符号化を行うことができる。

図１５のＳＮＲスケーラビリティは、図１５では２階層で表現しているが、更に階層数を増やすことで、様々なＳＮＲの再生画像が得られる。

図１５の（ｂ）に示すデコーダでは、それぞれ別個に与えられるエンハンスレイヤとベースレイヤの可変長復号化データを、それぞれ別個に可変長復号化し、逆量子化してから両者を加え、これを逆ＤＣＴした後、前フレームの動き補償予測値を加えて画像信号を復元すると共に、復元した画像信号から得た１フレーム前の画像から動き補償予測を行い、前フレームの動き補償予測値とする。

以上が、ＳＮＲスケーラビリティを採用した符号化と復号化の例である。

一方、空間スケーラビリティは、空間解像度からみたものであり、空間解像度の低いベースレイヤと空間解像度の高いエンハンスレイヤに分けて符号化する。ベースレイヤは通常のＭＰＥＧ２の符号化方法を使用して符号化し、エンハンスレイヤではベースレイヤの画像をアップサンプリング（低解像度画像の画素間に平均値等の画素を付加し、高解像度画像を作成すること）してエンハンスレイヤと同じサイズの画像を作成し、エンハンスレイヤの画像からの動き補償予測と、このアップサンプリングされた画像からの動き補償予測とから適応的に予測をすることで、効率の良い符号化をすることができるようにするものであり、エンコーダの構成例は図１６の（ａ）の如きであり、デコーダの構成例は図１６の（ｂ）の如きで実現できるものである。

図１６の空間スケーラビリティは、例えば、ＭＰＥＧ２のビットストリームの一部を取り出すとＭＰＥＧ１でデコードすることができるという後方互換性を実現するために存在しており、様々な解像度の画像を再生することができるようにする機能ではない（非特許文献１）。

すなわち、ＭＰＥＧ２における動画像の符号化技術においては、高画質の画像の高能率符号化と高画質再生を目指しており、符号化した画像に忠実な画像が再現できるようにしている。

しかしながら、マルチメディアの普及に伴い、再生側のシステムでは、高能率符号化された高画質画像のデータをフルデコードすることができる再生装置の要求の他、携帯用のシステムなどのように、画質はともかくとして画面が再生できれば良いような用途や、システム価格を抑制するために、簡易型とするシステムの要求などがある。

このような要求に応えるためには、例えば、画像を８×８画素のマトリックスにブロック分けし、各ブロック単位でＤＣＴを行った場合に、８×８の変換係数が得られるわけであるから、本来ならば第１低周波項から第８低周波項までの分を復号化しなければならないところを、第１低周波項から第４低周波項までの分を復号化したり、第１低周波項から第６低周波項までの分を復号化したりといった具合に、再生は８×８ではなく、４×４とか、６×６の情報で復元するといったように簡素化することで対応できることになる。

しかし、本来、８×８であるものを４×４とか、６×６の情報で復元すると、動き補償予測値都のミスマッチが生じ、誤差が累積するため、画像が著しく劣化する。このような符号化側と復号化側とのミスマッチを如何に克服するかが大きな課題となる。

なお、標準化はされてはいないが、符号化側と復号化側との空間解像度の違いに対処すべく、空間解像度を変換する方法として直交変換（例えばＤＣＴ（離散コサイン変換））係数の一部を、元の次数よりも小さな次数で逆変換することにより、空間解像度を可変にする方法もある。

しかし、解像度変換された画像で動き補償予測を行う際に、動き補償予測に起因したドリフトと呼ばれる画質劣化が再生画像に発生してしまう（非特許文献３）。従って、符号化側と復号化側とのミスマッチ克服のための技術としては問題がある。

また、動画像の符号化技術として、非特許文献２において、ミッドレベル符号化と呼ばれる範疇に属する画像符号化法が提案されている。

この方式では、図１７の（ａ）のような画像があったとして、これを図１７の（ｂ），（ｃ）のように、背景と被写体（以降、これをオブジェクトと呼ぶ）を分けて符号化している。

そして、この方式では、背景（図１７の（ｃ））やオブジェクト（図１７の（ｂ））を別々に符号化するために、オブジェクトの形状や画面内の位置を表すための情報であるアルファマップ信号（図１７の（ｄ）における白画素がオブジェクトの画素を示す）が必要となる。

なお、背景のアルファマップ信号（図１７の（ｅ））は、オブジェクトのアルファマップ信号から一意に求められる。

このような符号化法では、任意形状の画像を符号化する必要があり、また、解像度の異なる画像を再生するためには解像度変換が可能でなければならない。

任意形状画像の符号化法および解像度変換法の技術としては、本件発明者らが特願平７０９７０７３号にて既に提案した任意形状画像信号の直交変換法なる手法がある。この技術は、背景と被写体とを含む画像に対して、例えば、符号化装置においてオブジェクト（被写体；（コンテント））の位置および形状を表すマップ信号に従って、画像信号のうち、オブジェクトの内部に位置するブロック（内部ブロック）は全画素の信号、オブジェクトの境界部を含むブロック（エッジブロック）はオブジェクトの内部に含まれる画素の信号のみを、それぞれ２次元直交変換して変換係数を符号化すると共に、マップ信号を符号化し、復号化装置においては復号し解像度変換したマップ信号に基づいて、復号した直交変換係数から所望解像度の画像を再生するために必要な直交変換係数を選択し、内部ブロックは全ての係数を、そして、エッジブロックはオブジェクトの内部に含まれる係数のみを、それぞれ２次元逆直交変換して、解像度変換された再生画像信号を得るというものであり、これにより、任意形状のオブジェクトを含むエッジブロックについて解像度変換を行うことができるようにしたものである。

図１８は、当該任意形状画像信号の直交変換法の一例であり、任意形状画像を正方ブロックで等分割した際に、形状の境界部を含むエッジブロックに対する変換と、解像度変換の様子を図示したものである。

図１８は形状の境界部を含むエッジブロックに対する変換の手順を説明する図である。図１８に示すように、[i] 入力されたエッジブロック信号の中で、[ii]まず、斜線で示されるコンテントの内部に含まれる画素を左端に寄せ集める。

[iii] 次に斜線に示される画素を水平方向に１次元ＤＣＴする。[iv]次に、網線で示される変換係数を上端に寄せ集める。[v] 最後に、網線で示される変換係数を垂直方向に１次元ＤＣＴする。

このような手順を踏むことにより、任意形状の２次元変換係数（[v] における黒塗りの部分）が得られる。

図１９は解像度変換手順である。図１９では、[i] 元のアルファマップ信号を、[ii]水平・垂直共に５／８に解像度が変換されたアルファマップ信号にし、[iii] これを図１８（ａ）の変換手順と同様に、水平方向に並べ換えた後、[iv]垂直方向に並べ換えることで、水平・垂直共に５／８の解像度の再生画像を得るのに必要な変換係数の位置を求める。[v] 次に、この位置情報を用いて必要な帯域の係数を選択する（黒塗りの部分）。ここで選択された変換係数を、解像度変換されたアルファマップ信号にしたがって、図１８（ａ）の変換手段と逆の仮定を施すことで、解像度変換された画像を得る。
"特集 ＭＰＥＧ"テレビ誌、Ｖｏｌ．４９，Ｎｏ．４，ｐｐ．４５８−４６３，１９９３． Ｊ．Ｙ．Ａ．Ｗａｎｇ ｅｔ．ａｌ．"Ａｐｐｌｙｉｎｇ Ｍｉｄ−ｌｅｖｅｌ Ｖｉｓｉｏｎ Ｔｅｃｈｎｉｑｕｅｓｆｏｒ Ｖｉｄｅｏ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ Ｍａｎｉｐｕｌａｔｉｏｎ"，Ｍ．Ｉ．Ｔ．ＭｅｄｉａＬａｂ．Ｔｅｃｈ．ＲｅｐｏｒｔＮｏ．２６３，Ｆｅｂ．１９９４． 岩橋他、"スケーラブル・デコーダにおけるドリフト低減のための動き補償"、信学技報ＩＥ９４−９７，１９９４）．

動画像の符号化／復号化を行う場合、利用形態によっては符号化側での解像度より低い解像度で復号化したいという要求がある。しかし、符号化側での解像度と、復号化側での解像度が異なると、ミスマッチによる再生画像の劣化があり、これを抑制できるようにすると共に、符号化側では効率の良い符号化を可能にする技術の開発が必要である。

また、背景とオブジェクトを分離して符号化する符号化技術があるが、このような符号化技術においても、解像度と画質を可変とすることが可能なスケーラブル符号化が必要となる。しかし、これらの要求に応えることのできる技術はまだない。

そこで、この発明の目的とするところは、第１には、符号化側での解像度と、復号化側での解像度が異なる場合においても、ミスマッチが生じることがなく、良質の画像を符号化／復号化できると共に、符号化効率を保つことができるようにした画像符号化／復号化装置を提供することにある。

また、この発明の第２の目的とするところは、背景とオブジェクトを分離して符号化する符号化技術において、ミスマッチが生じることがなく、解像度と画質を可変とすることができるようにした画像符号化／復号化装置を提供することにある。

本発明は、前記第１の目的を達成するため、第１には、Ｎ×Ｎ個（Ｎ：自然数）の変換係数毎に変換係数領域での動き補償予測が用いられる動き補償予測＋変換符号化装置において、局部復号された変換係数を低域からｎ×ｎ個（ｎ＝１〜Ｎ）選択することにより、Ｎ階層の変換係数ピラミッドを作成する手段と、Ｎ階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、Ｎ階層の再生画像ピラミッドを作成する手段と、Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換する手段と、前記変換係数を統合することにより動き補償予測値を作成する手段を有する動画像符号化装置を提供する。

また、本発明は、前記第１の目的を達成するため、第２には、前記第１の構成の符号化装置において符号化された符号化ビットストリームの中から、第ｎ階層（ｎ＝１〜Ｎ）までの符号を取り出す手段と、復号されたｎ×ｎ個の変換係数から、ｎ階層の変換係数ピラミッドを作成する手段と、ｎ階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、ｎ階層の再生画像ピラミッドを作成する手段と、ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換する手段と、前記変換係数を統合することにより動き補償予測値を作成する手段を有し、第ｎ階層の再生画像を再生することを特徴とする動画像復号化装置を提供する。

また、本発明は、前記第１の目的を達成するため、第３には、前記第１の構成の符号化装置を用いた、Ｍ階層（Ｍ：自然数）のＳＮＲスケーラビリティを実現する符号化装置であって、第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階層の予測誤差信号の局部再生値との差分信号を求める手段と、第ｍ階層において、前記差分信号を第ｍ−１階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第ｍ−１階層の予測誤差信号の局部再生値を加算することで、第ｍ階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置を提供する。

また、本発明は、前記第１の目的を達成するため、第４には、前記第３の構成の符号化装置で符号化された符号化ビットストリームの中から、第ｍ階層（ｍ＝１〜Ｍ）までの符号を取り出す手段と、第ｍ階層までの各階層の符号を復号する手段と、前記手段により復号された量子化値を各階層において逆量子化する手段と、第ｍ階層までの逆量子化値を加算する手段を、第２の構成に付加した動画像復号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第５には、Ｎ×Ｎ個の変換係数毎に変換係数領域での動き補償予測が用いられる動き補償予測＋変換符号化装置において、入力画像の背景とオブジェクトを識別するアルファマップ信号があって、アルファマップを符号化する手段と、アルファマップにしたがって任意形状画像を変換係数に変換する手段と、アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段を有することを特徴とした画像符号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第６には、前記第５の構成の動画像符号化装置において、アルファマップ信号を解像度変換してＮ階層のアルファマップ信号ピラミッドを作成する手段と、各階層毎に、アルファマップ信号にしたがって局部復号された変換係数を低域からｎ階層分（ｎ＝１〜Ｎ）選択することにより、Ｎ階層の変換係数ピラミッドを作成する手段と、Ｎ階層の変換係数ピラミッドを各階層毎にアルファマップ信号にしたがって逆変換を施すことにより、Ｎ階層の再生画像ピラミッドを作成する手段と、Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎にアルファマップ信号にしたがって動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎にアルファマップ信号にしたがって変換係数に変換する手段と、アルファマップ信号ピラミッドにしたがって前記変換係数を統合することにより、動き補償予測値を作成する手段を有する動画像符号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第７には、前記第５の構成の符号化装置で符号化された符号化ビットストリームを復号化する動画像復号化装置であって、アルファマップを復号化する手段と、アルファマップにしたがって任意形状画像を変換係数に変換する手段と、アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段を有することを特徴とした画像復号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第８には、前記第６の構成の符号化装置において符号化された符号化ビットストリームの中から、第ｎ階層（ｎ＝１〜Ｎ）までの符号を取り出す手段と、アルファマップ信号を復号する手段と、復号されたアルファマップ信号を解像度変換してＮ階層のアルファマップ信号ピラミッドを作成する手段と、復号された変換係数から、アルファマップ信号ピラミッドにしたがってｎ階層の変換係数ピラミッドを作成する手段と、ｎ階層の変換係数ピラミッドを各階層毎にアルファマップ信号にしたがって逆変換を施すことにより、ｎ階層の再生画像ピラミッドを作成する手段と、ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎にアルファマップ信号にしたがって動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎にアルファマップ信号にしたがって変換係数に変換する手段と、アルファマップ信号ピラミッドにしたがって前記変換係数を統合することにより動き補償予測値を作成する手段を有し、第ｎ階層の再生画像を再生することを特徴とする動画像復号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第９には、前記第５の構成の符号化装置を用いた、Ｍ階層（Ｍ：自然数）のＳＮＲスケーラビリティを実現する符号化装置であって、第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階層の予測誤差信号の局部再生値との差分信号を求める手段と、第ｍ階層において、前記差分信号を第ｍ−１階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第ｍ−１階層の予測誤差信号の局部再生値を加算することで、第ｍ階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第１０には、前記第９の構成の符号化装置で符号化された符号化ビットストリームの中から、第ｍ階層（ｍ＝１〜Ｍ）までの符号を取り出す手段と、第ｍ階層までの各階層の符号を復号する手段と、前記手段により復号された量子化値を各階層において逆量子化する手段と、第ｍ階層までの逆量子化値を加算する手段を、前記第７の構成に付加した構成の動画像復号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第１１には、前記第６の構成の符号化装置を用いた、Ｍ階層（Ｍ：自然数）のＳＮＲスケーラビリティを実現する符号化装置であって、第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階層の予測誤差信号の局部再生値との差分信号を求める手段と、第ｍ階層において、前記差分信号を第ｍ−１階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第ｍ−１階層の予測誤差信号の局部再生値を加算することで、第ｍ階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置を提供する。

また、本発明は、前記第２の目的を達成するため、第１２には、前記第１１の構成の符号化装置で符号化された符号化ビットストリームの中から、第ｍ階層（ｍ＝１〜Ｍ）までの符号を取り出す手段と、第ｍ階層までの各階層の符号を復号する手段と、前記手段により復号された量子化値を各階層において逆量子化する手段と、第ｍ階層までの逆量子化値を加算する手段とを第８の構成に付加したことを特徴とする動画像復号化装置を提供する。

また、本発明は、前記第１の目的を達成するため、第１３には、Ｎ×Ｎ個の変換係数毎に変換係数領域での動き補償予測が用いられる動き補償予測＋変換符号化装置において、Ｍ階層のＳＮＲスケーラビリティを実現する符号化装置であって、第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階層の局部再生値とを変換係数毎に切り換えることで、第ｍ階層の予測値を求める手段と、第ｍ−１階層における、予測誤差信号の量子化値の絶対値がしきい値以下となる変換係数は第ｍ階層の動き補償予測値を、しきい値以上となる変換係数は第ｍ−１階層の局部再生値を出力するセレクタを有することを特徴とする動画像符号化装置を提供する。

また、本発明は、前記第１の目的を達成するため、第１４には、前記第１３の構成の符号化装置で符号化された符号化ビットストリームから、第ｍ階層（ｍ＝２〜Ｍ）までの符号を取り出す手段と、第ｍ階層までの各階層の符号を復号する手段と、前記手段により復号された予測誤差信号の量子化値を各階層において逆量子化する手段と、第ｍ階層の動き補償予測値と第ｍ−１階層の再生値とを変換係数毎に切り換えることで、第ｍ階層の予測値を求める手段と、第ｍ−１階層における、予測誤差信号の量子化値の絶対値がしきい値以下となる変換係数は第ｍ階層の動き補償予測値を、しきい値以上となる変換係数は第ｍ−１階層の再生値を出力するセレクタを有することを特徴とする動画像復号化装置を提供する。

このような構成の本発明によれば、Ｎ×Ｎ個の変換係数毎に変換係数の領域で、動き補償を行う際に、動き補償予測値をＮ階層の解像度毎に求めることでドリフトによる画質劣化を伴わずに、解像度の異なる再生画像を得ることができる。

更に、本発明では、前記符号化装置とＳＮＲスケーラビリティを組み合わせることにより解像度と画質を多階層に分割したスケーラブル符号化が実現される。

また、本発明では前記符号化装置において、アルファマップ信号にしたがって、任意形状直交変換を施すことにより、任意形状画像の解像度と画質を可変とした再生画像が得られる。

本発明によれば、ドリフトの影響や、大幅や符号化効率の低下無しに、任意形状画像の解像度と画質を多段階に可変可能なスケーラブル符号化が実現される。

以下、図面を参照して本発明の具体例を説明する。本発明は、図１の画像伝送システムにおける送受信装置（図１のＡ、Ｂ）内の、画像符号化・復号化装置に関するものである。

（第１の具体例）
図２、図３および図４を用いて、本発明の第１の具体例を説明する。第１の具体例は、エンコード側とデコード側との解像度の違いによるミスマッチ防止をはかり、どのような解像度でもエンコーダと同じ予測値が得られるようにして、ドリフトのない品位の高い画像を復元できるようにするシステムを説明する。

《第１の具体例の符号化装置》
図２（ａ）は本発明を適用した画像符号化／復号化装置のエンコード側のブロック図、図２（ｂ）は、この図２（ａ）の構成において用いる局部復号化回路の具体的構成例を示すブロック図である。

はじめに、画像符号化装置から説明する。図２（ａ）は、本発明が適用される、直交変換係数領域での動き補償予測を用いた動き補償予測＋直交変換符号化装置（変換後差分構成）のブロック図である。

図２（ａ）において、１００は直交変換回路、１１０は差分回路、１２０は量子化回路、１３０は可変長符号化回路、１４０は逆量子化回路、２００は局部復号回路である。

これらのうち、直交変換回路１００は、画像信号を直交変換処理するものであり、線１０を介して供給される画像信号をＮ×Ｎ画素毎にブロック分けし、このブロック単位で例えば、ＤＣＴ（離散コサイン変換）により直交変換して、Ｎ×Ｎ個の変換係数を得るものである。

また、差分回路１１０は、直交変換回路１００より供給される直交変換係数と、局部復号回路２００より線２０を介して供給されるＮ×Ｎ個の変換係数の予測値との予測誤差を計算するものである。量子化回路１２０は、この差分回路１１０の求めた予測誤差を量子化するものであり、可変長符号化回路１３０はこの量子化回路１２０にて量子化された予測誤差信号を可変長符号化するものであり、予測誤差信号の量子化値を可変長符号化して、符号化した画像信号として線３０を介して出力するものである。

逆量子化回路１４０は、量子化回路１２０からの量子化された予測誤差信号を受けてこれを逆量子化して予測誤差信号の再生値を得る回路であり、当該予測誤差信号の再生値を線４０を介して局部復号回路２００に供給する構成としてある。

局部復号回路２００は、逆量子化回路１４０から得た予測誤差信号の再生値と前の画像から得た動き補償予測値とを加算して変換係数の再生値を得、これを逆変換して局部復号信号を得ると共に、この得た局部復号画像信号から動き補償予測値を生成し、この動き補償予測値をＮ×Ｎ画素毎に直交変換して、Ｎ×Ｎ個の変換係数の予測値を得るものである。

局部復号回路２００は、加算回路２０１、逆直交変換回路２０２、フレームメモリ２０３、動き補償予測回路２０４、直交変換回路２０５から構成されている。そして、局部復号回路２００においては、逆量子化回路１４０から得られた予測誤差信号の再生値と線２０を介して供給される予測値とを加算回路２０１にて加算することにより変換係数の再生値を得、逆直交変換回路２０２はこの加算回路２０１にて得た変換係数を逆変換してＮ×Ｎ画素毎の局部復号信号を得、フレームメモリ２０３は、この逆直交変換回路２０２より供給されるＮ×Ｎ画素毎の局部復号信号を蓄積することにより局部復号画像を保持するものである。また、動き補償予測回路２０４は、このフレームメモリ２０３に保持されている局部復号画像の画像信号を用いて動き補償予測値を生成するものであり、直交変換回路２０５は、この動き補償予測回路２０４の生成した動き補償予測値をＮ×Ｎ画素毎に直交変換し、変換係数を線２０を介して出力する構成である。

このような構成の画像符号化装置において、線１０を介して画像信号を供給すると、この画像信号は直交変換回路１００により線Ｎ×Ｎ画素毎に直交変換される。これによりＮ×Ｎ個の変換係数が得られる。この得られた変換係数は差分回路１１０に入力される。

差分回路１１０では、直交変換回路１００より供給される直交変換係数と、局部復号回路２００より線２０を介して供給されるＮ×Ｎ個の変換係数の予測値との予測誤差が計算される。そして、その計算結果は量子化回路１２０に供給される。量子化回路１２０はこの予測誤差値を量子化する。量子化回路１２０にて量子化された予測誤差信号は、可変長符号化回路１３０と逆量子化回路１４０に供給される。

可変長符号化回路１３０では予測誤差信号の量子化値が可変長符号化され、線３０を介して出力される。逆量子化回路１４０では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線４０を介して局部復号回路２００に供給する。

局部復号回路２００では、線４０を介して供給される予測誤差信号の再生値と線２０を介して供給される予測値とを加算回路２０１にて加算することにより変換係数の再生値を得た後、逆直交変換回路２０２に供給する。逆直交変換回路２０２では加算回路２０１より供給された変換係数を逆変換して局部復号信号を出力する。

フレームメモリ２０３では、逆直交変換回路２０２より供給されるＮ×Ｎ画素毎の局部復号信号を蓄積して局部復号画像を得る。動き補償予測回路２０４では、フレームメモリ２０３に蓄積されている局部復号画像信号を用いて動き補償予測値を生成し、直交変換回路２０５に供給する。直交変換回路２０５では、動き補償予測値をＮ×Ｎ画素毎に直交変換し、変換係数を線２０を介して出力する。

このようにして、画像信号を圧縮符号化する場合に、直交変換したのち、局部復号回路２００により局部復号画像信号を用いて動き補償予測値を生成し、これと画像信号を直交変換して得た変換係数との差分を得て、予測誤差を得、この予測誤差を量子化した後、可変長符号化するようにした。

つぎに、局部復号回路２００の具体例を図２（ｂ）に示す。

図２（ｂ）において、２１１は加算回路、２２０は係数選択回路、２１２は逆直交変換回路、２１３はフレームメモリ、２１４は動き補償予測回路、２１５は直交変換回路、２３０は係数統合回路である。

逆直交変換回路２１２、フレームメモリ２１３、動き補償予測回路２１４、直交変換回路２１５各々は、変換係数がＮ×Ｎの構成であるとすれば、変換係数が“１×１”〜“Ｎ×Ｎ”の構成のものをそれぞれ取得できるようにするために、“１×１”用、“２×２”用、〜“Ｎ−１×Ｎ−１”用、“Ｎ×Ｎ”用のそれぞれ独立した系統を用意してあり、合計Ｎ系統分の構成としてある。

図２（ｂ）の局部復号回路２００において、加算回路２１１は、線４０を介して供給される予測誤差信号の再生値と線２０を介して供給される予測値（動き補償予測値）とを加算することにより動き補償済み変換係数の再生値（図３の（Ａ））を得る回路であり、係数選択回路２２０は、この動き補償済み変換係数の再生値である図３（Ａ）のＮ×Ｎの変換係数の中から、低域のｎ×ｎ（ｎ＝１〜Ｎ）の変換係数を選択し、図３（Ｂ）に示す“１×１”〜“Ｎ×Ｎ”のＮ階層のピラミッドを構成し、各々の階層の変換係数を、対応の階層の逆直交変換回路２１２に供給する機能を有するものである。

つまり、図３（Ａ）のＮ×Ｎの変換係数の中から、Ｎ×Ｎの変換係数組、Ｎ−１×Ｎ−１の変換係数組、Ｎ−２×Ｎ−２の変換係数組、〜２×２の変換係数組、１×１の変換係数組、の計Ｎ種の変換係数の組を得、Ｎ系統分ある逆直交変換回路２１２のうち、それぞれの階層別の該当の系統の逆直交変換回路に入力する（なお、変換係数の組はＮ種より少なくとも良い。例えば、“Ｎ×Ｎ”，“３Ｎ／４×３Ｎ／４”，“Ｎ／２×Ｎ／２”，“Ｎ／４×Ｎ／４”，“１×１”の計５種の変換係数の組とするといった具合である）。

これは、図３（Ａ）のＮ×Ｎの変換係数の中から、単純に該当の係数部分を抽出することで足りる。例えば、１×１の変換係数組は、１×１用の系統の逆直交変換回路２１２（ＩＯＴ₁ ）に与えられ、２×２の変換係数組は、２×２用の系統の逆直交変換回路２１２（ＩＯＴ₂ ）に与えられ、Ｎ−１×Ｎ−１の変換係数組は、Ｎ−１×Ｎ−１用の系統の逆直交変換回路２１２（ＩＯＴ_N-1 ）に与えられ、Ｎ×Ｎの変換係数組は、Ｎ×Ｎ用の系統の逆直交変換回路２１２（ＩＯＴ_N）に与えられるといった具合である。

各系統別の逆直交変換回路２１２では、各階層別に係数選択回路２２０より自己に供給された変換係数を逆変換して局部復号信号を得るものであり、各系統別の局部復号信号を示すと図３の（Ｃ）如きである。１乃至Ｎ系統、それぞれで得た局部復号信号は、これらを合わせて局部復号信号ピラミッドと呼ぶことにする。この局部復号信号ピラミッド（図３の（Ｃ））は、直交変換を用いて構成されたガウシアンピラミッドに相当する（ガウシアンピラミッドに関する参考文献：Ｐ．Ｊ．Ｂｕｒｔ ｅｔ．ａｌ“Ｔｈｅ Ｌａｐｌａｃｉａｎ Ｐｙｒａｍｉｄａｓ ａ Ｃｏｍｐａｃｔ Ｉｍａｇｅ Ｃｏｄｅ”，ＩＥＥＥ Ｔｒａｎｓ． ＣＯＭ Ｖｏｌ．３１，Ｎｏ．４，ｐｐ．５３２−５４０，Ａｐｒｉｌ １９８３）。

１乃至Ｎ系統の各系統別フレームメモリ２１３は、逆直交変換回路２１２より供給される該当の系統の局部復号信号を蓄積して自系統の局部復号画像を得るものであり、１乃至Ｎ系統の各フレームメモリ２１３において蓄積して得られた各階層毎の局部復号画像を、合わせて局部復号画像ピラミッドと呼ぶことにする。

これにより、１×１の変換係数組は、１×１用の系統のフレームメモリ２１３（ＦＭ₁ ）に蓄積されて直流成分のみの局部復号信号（第１低周波項の局部復号信号）が得られ、２×２の変換係数組は、２×２用のフレームメモリ２１３（ＦＭ₂ ）に蓄積されて直流成分と交流成分のうちの最も低い周波数成分からなる局部復号信号（第１および第２低周波項からなる局部復号信号）が得られ、Ｎ×Ｎの変換係数組は、Ｎ×Ｎ用のフレームメモリ２１３（ＦＭ_N ）に蓄積されて直流成分とＮ−１次分までの交流成分からなる局部復号信号（第１低周波項乃至第Ｎ低周波項からなる局部復号信号）が得られる。

動き補償予測回路２１４は、フレームメモリ２１３に蓄積されている局部復号画像信号を用いて各階層毎に動き補償予測値を生成するものであって、１乃至Ｎ系統の各系統別動き補償予測回路２１４は、それぞれ自系統のフレームメモリ２１３に蓄積されている局部復号画像信号を用いて自系統対応の階層の動き補償予測値を生成する構成となっている。

直交変換回路２１５は、動き補償予測値を各階層毎に直交変換し、図３の（Ｄ）における網掛け部の変換係数を係数統合回路２３０に供給するものである。すなわち、１乃至Ｎ系統の各系統別直交変換回路２１５は、各系統別動き補償予測回路２１４のうちのそれぞれ対応する系統の生成する動き補償予測値を受けて直交変換するものであり、例えば、第１系統の直交変換回路２１５（ＯＴ₁ ）であれば、直流成分の周波数帯（第１低周波項）の動き補償予測値を、第２系統の直交変換回路２１５（ＯＴ₂ ）であれば、直流成分の次の周波数帯（第２低周波項）の動き補償予測値を、第３系統の直交変換回路２１５（ＯＴ₃ ）であれば、直流成分の次々周波数帯（第３低周波項）の動き補償予測値を、第Ｎ系統の直交変換回路２１５（ＯＴ_N ）であれば、最上位項の周波数帯（第Ｎ周波項）の動き補償予測値を、出力するものである。

係数統合回路２３０は、各直交変換回路２１５から出力された各階層の動き補償予測値の直交変換による変換係数を受けて、帯域毎に統合したＮ×Ｎ個の変換係数予測値（図３の（Ｅ））を線２０を介して出力するものである。

このような構成の局部復号回路２００の作用は、つぎの通りである。線４０を介して供給される予測誤差信号の再生値と線２０を介して供給される予測値（動き補償予測値）とを加算回路２１１にて加算することにより、動き補償済み変換係数の再生値（図３の（Ａ））を得る。この動き補償済み変換係数の再生値は係数選択回路２２０に供給され、係数選択回路２２０では、図３（Ａ）のＮ×Ｎの変換係数の中から、低域のｎ×ｎ（ｎ＝１〜Ｎ）の変換係数を選択し、図３（Ｂ）に示す“１×１”〜“Ｎ×Ｎ”のＮ階層のピラミッドを構成し、各々の階層の変換係数を逆直交変換回路２１２に供給する。

つまり、図３（Ａ）のＮ×Ｎの変換係数の中から、Ｎ×Ｎの変換係数組、Ｎ−１×Ｎ−１の変換係数組、Ｎ−２×Ｎ−２の変換係数組、〜２×２の変換係数組、１×１の変換係数組、の計Ｎ種の変換係数の組を得る。これは図３（Ａ）のＮ×Ｎの変換係数の中から、単純に該当の係数部分を抽出することで足りる。

逆直交変換回路２１２では、各階層毎に係数選択回路２２０より供給された変換係数を逆変換して局部復号信号ピラミッド（図３の（Ｃ））を出力する。

この局部復号信号ピラミッド（図３の（Ｃ））は、直交変換を用いて構成されたガウシアンピラミッドに相当する。

フレームメモリ２１３では、逆直交変換回路２１２より供給される局部復号信号ピラミッドを各階層毎に蓄積して局部復号画像ピラミッドを得る。

動き補償予測回路２１４では、フレームメモリ２１３に蓄積されている局部復号画像信号を用いて各階層毎に動き補償予測値を生成し、直交変換回路２１５に供給する。直交変換回路２１５では、動き補償予測値を各階層毎に直交変換し、図３の（Ｄ）における斜線部の変換係数を係数統合回路２３０に供給する。

係数統合回路２３０では、各階層の変換係数を帯域毎に統合したＮ×Ｎ個の変換係数予測値を線２０を介して出力する。なお、動き補償に用いる動きベクトルは、各階層毎に求めても良いし、第Ｎ階層で求めてきた動きベクトルをｎ／Ｎに縮小して、第ｎ階層に用いてもドリフトは生じない。また、図２（ｂ）中での点Ａ〜Ｅは、各々図３の（Ａ）〜（Ｅ）に対応する。

このようにして、画像信号を圧縮符号化する場合に、直交変換した後、局部復号回路２００により局部復号画像信号を用いて動き補償予測値を生成し、これと画像信号を直交変換して得た変換係数との差分を得て、予測誤差を得、この予測誤差を量子化した後、可変長符号化するようにした。特に、局部復号画像信号は、画像信号をＮ×Ｎ画素でブロック分けして直交変換し、圧縮符号化する場合に、１×１，２×２，３×３，〜Ｎ×Ｎの変換係数からなる各階層毎に、それぞれ変換係数を逆変換して局部復号信号ピラミッドを得、これを各階層別にフレームメモリに蓄積して各階層別局部復号画像を得、これより各階層別にその階層での最大の周波項の成分についての動き補償予測値を求め、これをそれぞれ直交変換して統合することにより、Ｎ×Ｎの変換係数構成の階層における動き補償予測値を求めるようにした。そのため、各階層別に動き補償予測値とｎ×ｎ対応階層に対応する逆直交変換出力が、ミスマッチを伴うことなく再生可能になる（但し、ｎ＝１〜Ｎの自然数）。

《第１の具体例の復号化装置》
図４は、図２の符号化装置は符号化されたビットストリームを復号化して再生画像を得る復号化装置のブロック図である。

図４（ａ）において、１５０は可変長復号化回路、１６０は逆量子化回路、３００は復号回路である。復号回路３００は、加算回路３０１、逆直交変換回路３０２、フレームメモリ３０３、動き補償予測回路３０４、直交変換回路３０５から構成される。

可変長復号化回路１５０は、符号化ビットストリームを予測誤差信号に復号するものであり、逆量子化回路１６０は、この復号された予測誤差信号を逆量子化して予測誤差信号の再生値を得るものであり、復号回路３００は、この予測誤差信号の再生値と前のフレームから得られる予測誤差の予測値とを加算することにより変換係数の再生値を得た後、これを直交変換の逆変換をして得た信号を復号信号として出力するものである。

具体的には、この復号回路３００は、逆量子化回路１６０から与えられる予測誤差信号の再生値と直交変換回路３０５より供給される予測値とを加算回路３０１にて加算することにより変換係数の再生値を得た後、この変換係数再生値を逆直交変換回路３０２において逆変換して得た信号を復号信号として出力すると共に、この復号信号をフレームメモリ３０３に蓄積し、フレームメモリ３０３ではＮ×Ｎ画素毎の復号信号を蓄積することにより復号画像を得、さらに動き補償予測回路３０４において、フレームメモリ３０３に蓄積されている復号画像信号を用いて動き補償予測値を生成し、これを直交変換回路３０５にて、Ｎ×Ｎ画素毎に直交変換し、得られた変換係数を加算回路３０１に供給する。

このような構成において、その作用を説明する。図２の符号化装置にて符号化されたビットストリームが、線５０を介して可変長復号化回路１５０に供給されると、この符号化ビットストリームはこの可変長復号化回路１５０で、予測誤差信号に復号された後、逆量子化回路１６０に供給される。逆量子化回路１６０では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線６０を介して復号回路３００に供給する。復号回路３００では、線６０を介して供給される予測誤差信号の再生値と直交変換回路３０５より供給される予測値とを加算回路３０１にて加算することにより変換係数の再生値を得た後、逆直交変換回路３０２に供給する。

逆直交変換回路３０２では加算回路３０１より供給された変換係数を逆変換して復号信号を線７０を介して出力する。フレームメモリ３０３では、逆直交変換回路３０２より供給されるＮ×Ｎ画素毎の復号信号を蓄積して復号画像を得る。動き補償予測回路３０４では、フレームメモリ３０３に蓄積されている復号画像信号を用いて動き補償予測値を生成し、直交変換回路３０５に供給する。直交変換回路３０５では、動き補償予測値をＮ×Ｎ画素毎に直交変換し、変換係数を加算回路３０１に供給する。

《第１の具体例における復号回路３００の構成例》
図４（ｂ）は、本発明の具体例である局部復号回路２００に対応する復号回路３００の具体例である。本具体例では、Ｎ階層に階層化されたデータのうち、低域からｎ階層分のデータを復号して、水平・垂直共にｎ／Ｎの解像度の再生画像を得る場合について述べる。

図４（ｂ）に示すように、復号回路３００は、加算回路３１１、係数選択回路３２０、逆直交変換回路３１２、フレームメモリ３１３、動き補償予測回路３１４、直交変換回路３１５、係数統合回路３３０より構成される。

この例では、逆直交変換回路３１２、フレームメモリ３１３、動き補償予測回路３１４、直交変換回路３１５各々は、Ｎ階層に階層化されたデータのうち、低域からｎ階層分のデータを復号して、水平・垂直共にｎ／Ｎの解像度の再生画像を得るようにする場合に、変換係数が“１×１”〜“ｎ×ｎ”（但し、ｎ＝１〜Ｎ）の構成のものをそれぞれ取得できるようにするために、“１×１”用、“２×２”用、〜“ｎ−１×ｎ−１”用、“ｎ×ｎ”用のそれぞれ独立した系統を用意してあり、合計ｎ系統分の構成としてある。

加算回路３１１は、逆量子化回路１６０から与えられる予測誤差信号の再生値と、係数統合回路３３０より供給される予測値とを加算することにより、変換係数の再生値を得るものであり、係数選択回路３２０は、加算回路３１１により得られる変換係数の再生値をｎ階層のピラミッドに編成し、各階層別に分配するものであって、本具体例では第１階層からｎ階層までを使用して画像復号することを目指すので、“１×１”〜“ｎ×ｎ”の各階層分を分離分配する構成である。

逆直交変換回路３１２は、変換係数を逆直交変換するものであり、各階層別に設けられていて、係数選択回路３２０により各階層分に分離分配されたもののうち、対応する階層のものを逆直交変換して復号する構成としてある。

すなわち、係数選択回路３２０により“１×１”〜“ｎ×ｎ”の各階層のものが分配されるが、“１×１”の階層のものは、１×１用の系統の逆直交変換回路３１２（ＩＯＴ₁ ）に与えられ、“２×２”の階層のものは、２×２用の系統の逆直交変換回路３１２（ＩＯＴ₂ ）に与えられ、“ｎ−１×ｎ−１”の階層のものは、ｎ−１×ｎ−１用の系統の逆直交変換回路３１２（ＩＯＴ_N-1 ）に与えられ、“ｎ×ｎ”の階層のものは、ｎ×ｎ用の系統の逆直交変換回路３１２（ＩＯＴ_N ）に与えられるといった具合である。

ｎ系統分ある逆直交変換回路３１２では、各階層毎に係数選択回路３２０より供給された変換係数を逆変換して復号信号ピラミッドをフレームメモリ３１３に供給するが、ｎ×ｎ用の系統の逆直交変換回路３１２（ＩＯＴ_N ）の逆変換出力である復号信号は線７０を介して最終的な画像信号出力とする。

ｎ系統分あるフレームメモリ３１３は、対応する系統の逆直交変換回路３１２より供給される復号信号を各階層毎に蓄積して復号画像ピラミッドを得る。

すなわち、“１×１”の階層の復号信号は、１×１用の系統のフレームメモリ３１３（ＦＭ₁ ）に蓄積されて直流成分のみによる画像の復号信号（第１低周波項からなる復号信号）が得られ、“２×２”の階層の復号信号は、２×２用のフレームメモリ３１３（ＦＭ₂ ）に蓄積されて直流成分と交流成分のうちの最も低い周波数成分からなる画像の復号信号（第１および第２低周波項からなる復号信号）が得られ、“ｎ×ｎ”の階層の復号信号は、ｎ×ｎ用の系統のフレームメモリ３１３（ＦＭ_N ）に蓄積されて直流成分から交流成分のうちのｎ−１次分までの成分からなる復号信号（第１低周波項乃至第ｎ低周波項からなる復号信号）が得られる。

動き補償予測回路３１４は、フレームメモリ３１３に蓄積されている復号画像信号を用いて各階層毎に動き補償予測値を生成するものであって、１乃至ｎ系統の各系統別動き補償予測回路３１４は、それぞれ自系統のフレームメモリ３１３に蓄積されている復号画像信号を用いて自系統対応の階層の動き補償予測値を生成する構成となっている。

直交変換回路３１５は、動き補償予測値を各階層毎に直交変換し、図３の（Ｄ）における網掛け表示部の領域の変換係数を係数統合回路３３０に供給するものである。すなわち、１乃至ｎ系統の各系統別直交変換回路３１５は、各系統別動き補償予測回路３１４のうちのそれぞれ対応する系統の生成する動き補償予測値を受けて直交変換するものであり、例えば、第１系統の直交変換回路３１５（ＯＴ₁ ）であれば、直流成分の周波数帯（第１低周波項）の動き補償予測値を、第２系統の直交変換回路３１５（ＯＴ₂ ）であれば、直流成分の次の周波数帯（第２低周波項）の動き補償予測値を、第３系統の直交変換回路３１５（ＯＴ₃ ）であれば、直流成分の次々周波数帯（第３低周波項）の動き補償予測値を、第ｎ系統の直交変換回路３１５（ＯＴ_N ）であれば、ｎ位項の周波数帯（第ｎ低周波項）の動き補償予測値を、出力するものである。

係数統合回路３３０は、各階層の変換係数を帯域毎に統合したｎ×ｎ個の変換係数予測値を加算回路３１１に供給するものである。

このような構成において、加算回路３１１では、線６０を介して供給される予測誤差信号の再生値と、係数統合回路３３０より供給される予測値とを加算することにより、変換係数の再生値を得た後、係数選択回路３２０に供給する。係数選択回路３２０では、“１×１”〜“ｎ×ｎ”のｎ階層のピラミッドを構成し、各々の階層の変換係数を階層別に設けた逆直交変換回路３１２のうちの対応するものに供給する。

逆直交変換回路３１２では、各階層毎に係数選択回路３２０より供給された変換係数を逆変換して復号信号ピラミッドを各階層別に対応するフレームメモリ３１３に供給すると共に、第ｎ階層の復号信号を線７０を介して復元された画像信号として出力する。

各階層別のフレームメモリ３１３では、それぞれ自系統の対応する階層の逆直交変換回路３１２より供給される復号信号を蓄積することにより、階層別の復号画像を得て、復号画像ピラミッドを得る。

各階層別の動き補償予測回路３１４では、自系統の対応するフレームメモリ３１３に蓄積されている復号画像信号を用いてそれぞれ動き補償予測値を生成し、各階層別の動き補償予測値を得る。そして、これを各階層別の直交変換回路３１５のうちの、対応する階層の直交変換回路に供給する。各階層別の直交変換回路３１５では、対応する階層の動き補償予測値を受けてこれを直交変換することにより、図３の（Ｄ）における網掛け表示部の領域の変換係数を得てこれを係数統合回路３３０に供給する。

係数統合回路３３０では、各階層別の変換係数を帯域毎に統合したｎ×ｎ個の変換係数予測値を得て、これを加算回路３１１に供給する。また、図４（ｂ）中での点Ａ〜Ｅは、図２（ｂ）と同様に、各々図３の（Ａ）〜（Ｅ）に対応する。なお、線７０を介して復号回路３００より出力される画像は第ｎ階層の再生画像のみでも良い。

このようにして、画像信号をＮ×Ｎ画素でブロック分けして直交変換し、圧縮符号化した信号のビットストリームを、Ｎ×Ｎより小さいｎ×ｎで復号化する場合に、ビットストリームから得た予測誤差信号の再生値を１×１〜ｎ×ｎの変換係数構成の階層に対応する形態となるように分配し、それぞれ逆直交変換してこれらのうちのｎ×ｎ対応階層に対応する逆直交変換出力を復号信号として用い、画像再生に使用するようにした。

また、各階層対応の変換係数について、それぞれ逆直交変換して得た出力を蓄積して各階層対応のフレーム画像を得、これを各階層別にそれぞれ動き補償予測値を生成し、各階層別の動き補償予測値を得、これを各階層別に直交変換して各階層別にその階層での最大周波項の成分についての動き補償予測値を求め、これをそれぞれ統合することにより、ｎ×ｎの変換係数構成の階層における動き補償予測値を求めるようにした。そして、予測誤差信号の再生値に対して、この動き補償予測値分を補償するようにした。

そのため、各階層別にその階層での最大周波項の成分についての動き補償がなされることと、予測誤差信号の再生値（動き補償済み）をｎ×ｎの変換係数構成の階層に対応する変換係数についてのみ、逆直交変換してその出力を画像再生に使用することで、符号化側と復号化側での解像度の違いによるミスマッチが全くなくなる。すなわち、符号化側と復号化側での使用する直交変換低周波項の次数の違いによる画質劣化を防止できる。

これは符号化側では、画像信号を圧縮符号化する場合に、直交変換したのち、局部復号回路２００により局部復号画像信号を用いて動き補償予測値を生成し、これと画像信号を直交変換して得た変換係数との差分を得て、予測誤差を得、この予測誤差を量子化した後、可変長符号化するようにした。特に、局部復号画像信号は、画像信号をＮ×Ｎ画素でブロック分けして直交変換し、圧縮符号化する場合に、１×１，２×２，３×３，〜Ｎ×Ｎの変換係数からなる各階層毎に、それぞれ変換係数を逆変換して局部復号信号ピラミッドを得、これを各階層別にフレームメモリに蓄積して各階層別局部復号画像を得、これより各階層別にその階層での最大周波項の成分についての動き補償予測値を求め、これをそれぞれ直交変換して統合することにより、Ｎ×Ｎの変換係数構成の階層における動き補償予測値を求めるようにして、各階層別に動き補償予測値とｎ×ｎ対応階層に対応する逆直交変換出力をミスマッチを伴うことなく再生可能にしたことによる（但し、ｎ＝１〜Ｎの自然数）。

（第２の具体例）
図５および図６を用いて、本発明の第２の具体例の説明をする。第２の具体例はＳＮＲスケーラビリティに関するものであり、量子化ステップを初めに粗く、段々細かくすることにより画質を向上させるようにするものである。

図５は、本発明が適用される直交変換係数領域での動き補償予測を用いた動き補償予測＋直交変換符号化装置（変換後差分構成）であり、図６はこの符号化装置で得たビットストリームからＳＮＲスケーラビリティを実現する復号化装置のブロック図である。

図５は、Ｍ階層に分けて量子化を行う符号化装置の例を示しており、図５において、１００は直交変換回路、１２１，１２２，１２３は量子化回路、１３１〜１３３は可変長符号化回路、４２０，４２１は加算回路、２００ａ，２００ｂ，〜２００Ｍは局部復号回路、４００，４０１は遅延回路、１１１，１１２，１１３，４１０，４１１は差分回路、１３２，１４１，１４２，１４３は逆量子化回路である。

局部復号回路２００ａを持つ第１階層Ｌ１の構成要素は、ベースレイヤの符号化信号を得るためのものであり、局部復号回路２００ｂを持つ第２階層Ｌ２の構成要素は、エンハンスレイヤの符号化信号を得るためのものであり、局部復号回路２００Ｍを持つ第Ｍ階層ＬＭの構成要素は、エンハンスレイヤの符号化信号を得るためのものである。

図５の如き構成の符号化装置において、画像信号はまずはじめに直交変換回路１００において直交変換するが、その符号化対象の画像信号は、線１０を介して供給される。この供給される画像信号は直交変換回路１００においてＮ×Ｎ画素毎に直交変換され、Ｎ×Ｎ個の変換係数が得られる。この直交変換係数は各階層Ｌ１〜ＬＭに与えられる。

第１階層Ｌ１においては、直交変換回路１００からの直交変換係数は、差分回路１１１に入力される。そして、この差分回路１１１では、直交変換回路１００より供給される直交変換係数と、局部復号回路２００ａより線２１を介して供給されるＮ×Ｎ個の変換係数の予測値との予測誤差が計算され、量子化回路１２１に供給される。量子化回路１２１にて量子化された予測誤差信号は、可変長符号化回路１３１と逆量子化回路１４１に供給される。

可変長符号化回路１３１では予測誤差信号の量子化値が可変長符号化され、線３１を介して出力される。逆量子化回路１４１では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線４１を介して局部復号回路２００ａと第２階層Ｌ２に供給する。

第２階層Ｌ２において、遅延回路４００では、線４１を介して第１階層Ｌ１における該ブロックの予測誤差信号の再生値が得られるまで、直交変換回路１００より供給された直交変換係数が差分回路１１２に供給されるタイミングを遅延させる。

差分回路１１２では、遅延回路４００より供給される直交変換係数と、局部復号回路２００ｂより線２２を介して供給される変換係数の予測値との予測誤差が計算され、差分回路４１０に供給される。差分回路４１０では、差分回路１１２より供給される第２階層Ｌ２での予測誤差と、線４１を介して供給される第１階層Ｌ１での予測誤差の再生値との差分が計算され、量子化回路１２２に供給され、ここで当該差分は量子化される。

量子化回路１２２にて量子化された予測誤差信号の差分は、可変長符号化回路１３２と逆量子化回路１４２に供給される。可変長符号化回路１３２では予測誤差信号の差分の量子化値が可変長符号化され、線３２を介して出力される。

逆量子化回路１４２では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得た後、加算回路４２０において線４１を介して供給される第１階層Ｌ１の予測誤差信号の再生値を加算して、第２階層Ｌ２の予測誤差信号の再生値を得た後、線４２を介して局部復号回路２００ｂに供給する。

第Ｍ階層ＬＭにおいては、遅延回路４０１では、線４３を介して第Ｍ−１階層ＬM-1 における該ブロックの予測誤差信号の再生値が得られるまで、直交変換回路１００より供給された直交変換係数が差分回路１１３に供給されるタイミングを遅延させる。そして、差分回路１１３では、遅延回路４０１より供給される直交変換係数と、局部復号回路２００Ｍより線２３を介して供給される変換係数の予測値との予測誤差が計算され、差分回路４１１に供給される。

差分回路４１１では、差分回路１１３より供給される第Ｍ階層での予測誤差と、線４３を介して供給される第Ｍ−１階層ＬM-1 での予測誤差の再生値との差分が計算され、量子化回路１２３に供給されてここで量子化される。そして、この量子化回路１２３にて量子化された予測誤差信号の差分は、可変長符号化回路１３３と逆量子化回路１４３に供給される。

可変長符号化回路１３３では予測誤差信号の差分の量子化値が可変長符号化され、線３３を介して出力される。逆量子化回路１４３では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得た後、これに加算回路４２１において線４３を介して供給される第Ｍ−１階層ＬM-1 の予測誤差信号の再生値を加算することで、第Ｍ階層ＬＭの予測誤差信号の再生値を得、これを線４４を介して局部復号回路２００Ｍに供給する。

ここで、第ｍ（ｍ＝１〜Ｍ）階層Ｌｍにおける量子化ステップサイズは、第ｍ−１階層Ｌm-1 よりも小さくする。つまり、前段階層のものよりも量子化ステップサイズを小さくする。しかし、動き補償に用いる動きベクトルは各階層とも同じものを用いた方が良い。なお、可変長符号化回路１３１，１３２，１３３で用いられる可変長符号は、各々同じものでも良いし、各々別のものでも良い。

このようにして、第２階層以上では自己より１段、下位までの各階層の局部復号信号を直交変換回路１００から得られる変換係数から差し引くことで、自己の階層対応の次数の変換係数のうちの最高次の、すなわち、各階層別にその階層での最高次領域の周波項成分についての予測誤差信号値を求め、これを量子化して可変長符号化して出力することで、Ｍ階層に分けられてそれぞれ階層別にその階層での最大の周波項の成分についての予測誤差信号値を符号化したビットストリームを得る。

これら各階層別のビットストリームは、伝送等に供する場合、例えば、多重化して出力するようにする。そして、復号化側では、これを分離化して各階層別のビットストリームに戻して使用する。

図６は、図５の符号化装置でＭ階層に分けられて符号化されたビットストリームの中から、第ｍ階層までのビットストリームを復号化して再生画像を得る復号化装置のブロック図である。

図６において、１５１，１５２，１５３は可変長復号化回路であり、１６１，１６２，１６３は逆量子化回路であり、４３０，４３１は加算回路であり、３００はである。

可変長復号化回路１５１と逆量子化回路１６１で第１階層Ｌ１のビットストリームを復号化し、可変長復号化回路１５２、逆量子化回路１６２で第２階層Ｌ２のビットストリームを復号化し、 可変長復号化回路１５３、逆量子化回路１６３で第ｎ階層Ｌｎのビットストリームを復号化する。

このような構成において、符号化装置で符号化された各階層対応の符号化ビットストリームは、線５１，５２，５３を介して対応する階層用の可変長復号化回路１５１，１５２，１５３に供給される。そして、各々供給された対応階層の符号化ビットストリームは、これら可変長復号化回路１５１，１５２，１５３にてそれぞれ予測誤差信号あるいは予測誤差信号の差分に復号された後、対応する階層の逆量子化回路１６１，１６２，１６３に供給される。

逆量子化回路１６２，１６３では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得る。そして、加算回路４３０において、第ｍ階層から第２階層までの予測誤差の差分の再生値を加算して、加算回路４３１に供給する。また、逆量子化回路１６１では、第１階層の予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、加算回路４３１に供給する。そして、この加算回路４３１で加算回路４３０が求めた第ｍ階層から第２階層までの予測誤差の差分の再生値の加算値と加算されて、ｍ階層分の合計の予測誤差信号の再生値が求められ、これは線６０を介して復号回路３００に供給される。

ここで、局部復号回路２００ａ，２００ｂ，〜２００M-1 および復号回路３００に本発明の第１の具体例を適用したとすると、画質がＭ階層に、そして、解像度がＮ階層に分割されたビットストリームが構成され、その一部をデコードすることで所望の画質ｍと解像度ｎの再生画像が得られるようになる（図７参照）。

（第３の具体例）
図８、図９および図１０を用いて、本発明の第３の具体例の説明をする。第３の具体例は、画像中から注目像の部分の像だけを所望の解像度で符号化することができるようにした技術であって、本具体例では、前記第１の具体例をアルファマップ信号で示された任意形状の画像に適用するものである。

図８（ａ）は任意形状の画像を符号化する符号化装置の構成例であり、図において、１８０はアルファマップ符号化回路、１８１は多重化回路、１０５は直交変換回路、１１５は差分回路、１２５は量子化回路、１３５は可変長復号化回路、１４５は逆量子化回路、５００は局部復号化回路、５０１は加算回路、５０２は逆直交変換回路、５０３はフレームメモリ、５０４は動き補償予測回路、５０５は直交変換回路である。

この具体例では、画像信号の他に、この画像信号の画像に対応するアルファマップ情報（画像の位置を示す情報で例えば、画像を二値化したもの）をも作成して本システムに入力されるものとする。

アルファマップ符号化回路１８０は、前記画像のアルファマップ情報を入力として受け、これを符号化して線８２に出力するものであり、また、符号化したアルファマップ信号を復号する機能を有していてこれによって復号したアルファマップ信号の局部復号信号を線８１を介して出力する機能を有する。

直交変換回路１０５は前記画像信号と、線８１を介して供給されるアルファマップ信号の局部復号信号が入力され、アルファマップ信号の局部復号信号を参照して画像の抽出すべき部分の画像信号について直交変換して出力するものである。

アルファマップは画像の注目部分を示す二値デ−タであり、これを参照することで、画像のどの部分が注目部分であるかがわかる仕組みである。

局部復号回路５００は、直交変換回路１０５で直交変換され、動き補償予測値分を差し引いた差分である予測誤差値の信号（予測誤差信号）を、予測値分補償した画像から、アルファマップの局部復号信号に基づいて動き補償予測値を求めて直交変換し、予測値として出力するものである。

多重化回路１８１はアルファマップ符号化回路１８０から出力される前記画像のアルファマップ情報の符号化信号と、可変長復号化回路１３５の出力する画像誤差信号の符号化信号を多重化して出力するものである。

このような構成おいて、アルファマップ符号化回路１８０では、入力されるアルファマップの情報を符号化する。そして、符号化されたアルファマップ信号を線８２を介して出力し、また、この符号化されたアルファマップ信号を復号化してこれをアルファマップ信号の局部復号信号として線８１を介し、局部復号回路５００と直交変換回路１０５に出力する。

一方、直交変換回路１０５においては、線１０を介して画像信号が入力されるが、この画像信号を、線８１を介して供給されるアルファマップの局部復号信号に基づいて直交変換する。そして、この直交変換されて得られた係数は、差分回路１１５に与えられる。

差分回路１１５では、直交変換回路１０５より供給される直交変換係数と、局部復号回路５００より線２５を介して供給される変換係数の予測値との予測誤差が計算され、量子化回路１２５に供給されて、ここで量子化される。

そして、この量子化回路１２５にて量子化された予測誤差信号は、可変長符号化回路１３５と逆量子化回路１４５に供給される。可変長復号化回路１３５では予測誤差信号の量子化値を可変長符号化する。そして、この可変長符号化した信号は線３５へと出力することになる。

一方、逆量子化回路１４５では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線４５を介して局部復号回路５００に供給する。

局部復号回路５００では、線４５を介して供給される予測誤差信号の再生値と線２５を介して供給される予測値とを加算回路５０１にて加算することにより、変換係数の再生値を得た後、逆直交変換回路５０２に供給する。

逆直交変換回路５０２では、線８１を介して供給されるアルファマップの局部復号信号に基づいて加算回路５０１より供給された変換係数を逆変換し、局部復号信号を出力してフレームメモリ５０３に与える。

そして、フレームメモリ５０３では、この逆直交変換回路５０２より供給される局部復号画像を蓄積する。動き補償予測回路５０４では、フレームメモリ５０３に蓄積されている局部復号画像信号を用い、これより、線８１を介して供給されるアルファマップの局部復号信号に基づいて注目画像部分についてのみの動き補償予測値を生成し、直交変換回路５０５に供給する。直交変換回路５０５では、線８１を介して供給されるアルファマップの局部復号信号に基づいて動き補償予測値を直交変換し、変換係数を線２５を介して出力する。

なお、直交変換回路１０５，５０５、および逆直交変換回路５０２には、例えば、特願平７‐９７０７３号に開示した技術である任意形状画像信号の直交変換法を適用すると良い。

符号化されたアルファマップ信号は線８２を介して、符号化された変換係数は線３５を介して、各々多重化回路１８１に供給されて多重化された後、線８５を介してビットストリームとして出力される。

このようにして、注目画像部分を抽出して可変長符号化したものと、注目画像部分を示す符号化されたアルファマップ信号とを多重化して、ビットストリーム化する。

図８（ｂ）は、注目画像の動き補償予測値を、目的とする解像度で精度良く得ることができるようにする局部復号回路５００の具体例である。ここでは、階層別にそれぞれ誤差信号を得て最後に統合することで精度の良い予測値を得るようにしたものであり、５１１は加算回路、５１２は逆直交変換回路、５１３はフレームメモリ、５１４は動き補償予測回路、５１５は直交変換回路、５２０は係数選択回路、５３０は係数統合回路、５４０は解像度変換回路である。

逆直交変換回路５１２、フレームメモリ５１３、動き補償予測回路５１４各々は、変換係数がＮ×Ｎの構成であるとすれば、変換係数が“１×１”〜“Ｎ×Ｎ”の構成のものをそれぞれ取得できるようにするために、“１×１”用、“２×２”用、〜“Ｎ−１×Ｎ−１”用、“Ｎ×Ｎ”用のそれぞれ独立した系統を用意してあり、合計Ｎ系統分（Ｎ階層分）の構成としてある。

解像度変換回路５４０は線８１を介して与えられるアルファマップの局部復号信号を水平・垂直共にｎ／Ｎ倍（ｎ＝１〜Ｎ）に解像度変換してＮ階層ピラミッドの信号として線８３に出力するものである。

加算回路５１１は線４５を介して供給される予測誤差信号の再生値と線２５を介して供給される予測値とを加算する回路であり、この加算により変換係数の再生値を得るものである。

係数選択回路５２０は、加算回路５１１からの変換係数の再生値を受け、線８３を介して供給されるＮ階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択して第１〜第Ｎ階層各々の相当する変換係数を得ることにより、Ｎ階層ピラミッドを得るものである。

逆直交変換回路５１２は、この各々の階層の変換係数のうち、対応の階層の変換係数を逆直交変換して出力するものであって、各階層別の逆直交変換回路５１２では、各階層毎に線８３を介して供給されるアルファマップ信号ピラミッドにしたがって、係数選択回路５２０より供給された変換係数を逆変換して局部復号信号を得ることにより、局部復号信号ピラミッドを得る。

各々の階層のフレームメモリ５１３は、対応する階層の逆直交変換回路５１２より供給される局部復号信号を蓄積して局部復号画像を得るものである。各々の階層の動き補償予測回路５１４は、対応する階層のフレームメモリ５１３に蓄積されている局部復号画像信号を用い、各階層毎に線８３を介して供給されるアルファマップ信号ピラミッドにしたがって、その階層における動き補償予測値を生成して対応する階層の直交変換回路５１５に供給するものである。

また、各々の階層の直交変換回路５１５は、対応する階層の動き補償予測値を、各階層毎に線８３を介して供給されるアルファマップ信号にしたがって、直交変換するものであり、この直交変換した変換係数のうち、その階層における最大周波項での変換係数を係数統合回路５３０に供給するものである。

係数統合回路５３０は、各階層の直交変換回路５１５から出力された変換係数を統合して線２５に出力するものである。

すなわち、第１乃至第Ｎ階層の各階層別直交変換回路５１５は、各階層別動き補償予測回路５１４のうちのそれぞれ対応する階層の生成する動き補償予測値を受けて直交変換するものであり、例えば、第１階層用の系統の直交変換回路５１５（ＯＴ₁ ）であれば、直流成分の周波数帯（第１低周波項）の動き補償予測値を、第２階層用の系統の直交変換回路５１５（ＯＴ₂ ）であれば、直流成分の次の周波数帯（第２低周波項）の動き補償予測値を、第３階層用の系統の直交変換回路５１５（ＯＴ₃ ）であれば、直流成分の次々周波数帯（第３低周波項）の動き補償予測値を、第Ｎ階層用の系統の直交変換回路５１５（ＯＴ_N ）であれば、最上位項の周波数帯（第Ｎ周波項）の動き補償予測値を、出力するものである。

そして、係数統合回路５３０は、各直交変換回路５１５から出力された各階層の動き補償予測値の直交変換による変換係数を受けて、帯域毎に統合したＮ×Ｎ個の変換係数予測値を線２５を介して出力するものである。

このような構成において、アルファマップ符号化回路１８０より線８１を介して解像度変換回路５４０に供給されたアルファマップの局部復号信号は、この解像度変換回路５４０において解像度変換され、水平・垂直共にｎ／Ｎ倍（ｎ＝１〜Ｎ）に解像度変換されて第１階層から第Ｎ階層までの各階層相当の変換係数を得ることにより、変換係数についてのＮ階層のピラミッドが作成される。

この解像度変換されたＮ階層のピラミッドは、それぞれ階層対応の動き補償予測回路５１４（ＭＣ₁ 〜ＭＣ_N ）に線８３を介して出力される。また、線８３を介して出力されるＮ階層のピラミッドは、係数選択回路５２０，逆直交変換回路５１２，直交変換回路５１５，係数統合回路５３０にも入力される。

一方、逆量子化回路１４５で逆量子化された出力（予測誤差信号の再生値）は、係数統合回路５３０から出力される変換係数予測値（各階層の変換係数を帯域毎に統合した変換係数予測値）と加算回路５１１にて加算されることにより、変換係数の再生値が得られる。そして、このようにして得た変換係数の再生値は、係数選択回路５２０に供給される。

係数選択回路５２０では、線８３を介して供給されるＮ階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択してＮ階層のピラミッドを構成し、各々の階層の変換係数を各階層対応の逆直交変換回路５１２に供給する。各階層の逆直交変換回路５１２では、各階層毎に線８３を介して供給されるアルファマップ信号ピラミッドにしたがって、係数選択回路５２０より供給された変換係数を逆変換して局部復号信号を得ることにより、局部復号信号ピラミッドを得る。

この局部復号信号はそれぞれ対応の階層のフレームメモリ５１３に与えられ、これらフレームメモリ５１３では、対応する階層の逆直交変換回路５１２より供給される局部復号信号を蓄積して局部復号画像を得る。これにより、局部復号信号ピラミッドを各階層毎に蓄積して局部復号画像ピラミッドを得ることができる。

局部復号画像ピラミッドは動き補償予測回路５１４に与えられる。各階層別の動き補償予測回路５１４では、対応する階層のフレームメモリ５１３に蓄積されている局部復号画像信号を用い、各階層毎に線８３を介して供給されるアルファマップ信号ピラミッドにしたがって、動き補償予測値を生成して対応する階層の直交変換回路５１５に供給する。

各階層の直交変換回路５１５では、入力される動き補償予測値をアルファマップ信号にしたがって直交変換することにより、各階層別の変換係数を得る。すなわち、直交変換回路５１５では各階層毎に線８３を介して供給されるアルファマップ信号ピラミッドにしたがって直交変換し、この変換により各階層で得たそれぞれの最高次数の周波数項における変換係数を係数統合回路５３０に供給する。係数統合回路５３０では、これら各階層の変換係数を帯域毎に統合した変換係数予測値を線２５を介して出力する。

なお、直交変換回路５１５、逆直交変換回路５１２、および係数選択回路５２０には、特願平７‐９７０７３号に開示した技術である解像度変換が可能な任意形状画像信号の直交変換法を適用すると良い。

係数統合回路５３０から出力されたこれら各階層の変換係数を、帯域毎に統合した変換係数予測値は局部復号回路５００の出力として線２５を介して図８（ａ）の差分回路１１５に与えることにより、当該差分回路１１５では、直交変換回路１０５より供給される直交変換係数と、局部復号回路５００より線２５を介して供給される変換係数の予測値との予測誤差が計算され、量子化回路１２５に供給されて、ここで量子化される。

そして、この量子化回路１２５にて量子化された予測誤差信号は、可変長符号化回路１３５と逆量子化回路１４５に供給され、可変長復号化回路１３５では予測誤差信号の量子化値が可変長符号化され、線３５を介して出力される。

一方、逆量子化回路１４５では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線４５を介して局部復号回路５００に供給することになり、これを元に局部復号回路５００において、動き補償予測を行って変換係数予測値を求め、差分回路１１５に返されることになる。

このようにして、画像の注目画像部分を抽出して注目画像部分についてのみの動き補償予測値に対する前フレーム画面の当該注目画像部分の動き補償予測値との誤差分を得、これを可変長符号化したものと、注目画像部分を示す符号化されたアルファマップ信号とを多重化して、ビットストリーム化して出力する。

このビットストリーム化したものを再生するには、次のようにする。

図９は、図８の符号化装置で符号化されたビットストリームを復号化して再生画像を得る、復号化装置のブロック図である。

図９（ａ）において、１９０は分離化回路、１９１はアルファマップ復号化回路、１５５は可変長復号化回路、１６５は逆量子化回路、６００は復号回路である。これらのうち、分離化回路１９０はアルファマップに関する符号と、変換係数に関する符号に分離するものであり、アルファマップ復号化回路１９１はこの分離されたアルファマップ信号を再生し、線９２を介して復号回路６００に供給するものである。

可変長復号化回路１５５は、分離化回路１９０にて分離して供給された予測誤差信号に関する符号の符号化ビットストリームを、予測誤差信号に復号するものであり、逆量子化回路１６５はこの復号された予測誤差信号を逆量子化して予測誤差信号の再生値を得るものであり、復号回路６００はこの予測誤差信号の再生値とアルファマップの復号信号に基づいて、再生値を求めて出力するものである。

復号回路６００は、加算回路６０１、逆直交変換回路６０２（ＩＯＴ_N ）、フレームメモリ６０３（ＦＭ_N ）、動き補償予測回路６０４（ＭＣ_N ）、直交変換回路６０５（ＯＴ_N ）とより構成される。

加算回路６０１は線６５を介して与えられる信号と直交変換回路６０５（ＯＴ_N ）の出力を加算する回路であり、逆直交変換回路６０２（ＩＯＴ_N ）は、この加算回路６０１出力を、アルファマップ復号化回路１９１からのアルファマップにしたがって逆直交変換して再生信号を得、これを線７５に出力するものである。

また、フレームメモリ６０３（ＦＭ_N ）は、逆直交変換回路６０２（ＩＯＴ_N）からの信号を蓄積してフレーム画像を得るものであり、動き補償予測回路６０４（ＭＣ_N ）は、このフレーム画像から動き補償予測を行うものであり、直交変換回路６０５（ＯＴ_N ）はこの動き補償予測されて得られた値をアルファマップ信号にしたがって直交変換して変換係数を得、加算回路６０１に与えるものである。

このような構成において、図８の多重化回路１８１からの出力である多重化された符号化ビットストリームは、線９０を介して分離化回路１９０に供給される。

すると分離化回路１９０においてはこの符号化ビットストリームを、アルファマップに関する符号と、変換係数に関する符号に分離する。そして、アルファマップに関する符号は、線９１を介してアルファマップ復号化回路１９１に供給され、また、予測誤差信号に関する符号については線５５を介して可変長復号化回路１５５に供給される。

アルファマップ復号化回路１９１では、アルファマップに関する符号からアルファマップ信号を再生し、線９２を介して復号回路６００に供給する。

一方、線５５を介して可変長復号化回路１５５に供給された符号化ビットストリームは、ここで予測誤差信号に復号されたのち、逆量子化回路１６５に供給される。逆量子化回路１６５では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線６５を介して復号回路６００に供給する。そして、復号回路６００では、線９２を介して供給されるアルファマップの復号信号に基づいて、再生値を求めて線７５を介して出力する。

復号回路６００の具体例を図９（ｂ）に示す。図において、６４０は解像度変換回路、６１０は係数選択回路、６１１は加算回路、６１２は逆直交変換回路、６１３はフレームメモリ、５１４は動き補償予測回路、６１５は直交変換回路、６３０は係数統合回路である。

これらのうち、逆直交変換回路６１２、フレームメモリ６１３、動き補償予測回路５１４、直交変換回路６１５各々は、変換係数が符号化装置側での変換係数がＮ×Ｎの構成であり、復号化はこのうちの所望構成“ｎ×ｎ”（ｎ＝１〜Ｎ；Ｎは自然数）を復元するとして、この場合、変換係数が“１×１”〜“ｎ×ｎ”の構成のものをそれぞれ取得できるようにするために、“１×１”用、“２×２”用、〜“ｎ×ｎ”用のそれぞれ独立した系統を用意してあり、合計Ｎ系統分（Ｎ階層分）の構成としてある。

解像度変換回路６４０は線９２を介して与えられるアルファマップの局部復号信号を水平・垂直共にｎ／Ｎ倍（ｎ＝１〜Ｎ）に解像度変換してｎ階層ピラミッドの信号として逆直交変換回路６１２，直交変換回路６１５に出力するものである。逆直交変換回路６１２，直交変換回路６１５は各階層対応に設けられており、従って、解像度変換された信号はその信号の対応する階層対応のものに入力される構成である。

加算回路６１１は線６５を介して与えられる信号と係数統合回路６３０の出力を加算する回路であり、係数選択回路６１０はこの加算回路６１１からの変換係数の再生値を受け、解像度変換回路６４０より供給されるＮ階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択して第１〜第Ｎ階層各々の相当する変換係数を得ることにより、Ｎ階層ピラミッドを得るものである。

また、階層毎の逆直交変換回路６１２は係数選択回路６１０より与えられる第１〜第Ｎ階層各々の相当する変換係数のうち、対応する階層のものを受けてそれぞれ変換係数を逆変換し、復元して再生信号を得るものであり、本システムではこのうち、目的の解像度に対応する階層の出力を最終的な再生信号として用いる構成である。

各階層のフレームメモリ６１３は、各階層毎の逆直交変換回路６１２のうち、自己対応の階層の逆直交変換回路の出力を得てこれを蓄積し、その階層対応の解像度のフレーム画像を得るものであり、動き補償予測回路５１４は各階層毎のフレームメモリ６１３のうち、自己対応の階層用のフレームメモリからの画像を得てこれよりその階層における画像の動き補償予測値を得るものであり、直交変換回路６１５は各階層別に設けられており、それぞれ対応の階層の動き補償予測値を直交変換すると共に、この直交変換した変換係数のうち、その階層における最大周波項での変換係数を出力するものである。

係数統合回路６３０は、各階層の直交変換回路６１５から出力された変換係数を統合して加算回路６１１に出力するものである。すなわち、第１乃至第Ｎ階層用の各階層別直交変換回路６１５は、各階層別動き補償予測回路６１４のうちのそれぞれ対応する階層の生成する動き補償予測値を受けて直交変換し、その階層での最大周波項の変換係数を出力するものであり、例えば、第１階層用の系統の直交変換回路５１５（ＯＴ₁ ）であれば、直流成分の周波数帯（第１低周波項）の動き補償予測値を、第２階層用の系統の直交変換回路５１５（ＯＴ₂ ）であれば、直流成分の次の周波数帯（第２低周波項）の動き補償予測値を、第３階層用の系統の直交変換回路５１５（ＯＴ₃ ）であれば、直流成分の次々周波数帯（第３低周波項）の動き補償予測値を、第Ｎ階層用の系統の直交変換回路５１５（ＯＴ_N ）であれば、最上位項の周波数帯（第Ｎ周波項）の動き補償予測値を出力する。

そして、係数統合回路６３０は、各直交変換回路５１５から出力された各階層の動き補償予測値の直交変換による変換係数を受けて、帯域毎に統合したｎ×ｎ個の変換係数予測値を加算回路６１１に与えるものである。

このような構成において、解像度変換回路６４０は線９２を介して与えられるアルファマップの局部復号信号を水平・垂直共にｎ／Ｎ倍に解像度変換してｎ階層ピラミッドの信号として逆直交変換回路６１２，直交変換回路６１５に出力する。逆直交変換回路６１２，直交変換回路６１５は各階層対応に設けられており、従って、解像度変換された信号はその信号の対応する階層対応のものに入力される。

一方、加算回路６１１には線６５を介して逆量子化回路１６５から与えられる信号と係数統合回路６３０の出力が与えられ、加算回路６１１は両者を加算して変換係数の再生値を得てこれを係数選択回路６１０に与える。係数選択回路６１０はこの加算回路６１１からの変換係数の再生値を受け、解像度変換回路６４０より供給されるＮ階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択して第１〜第Ｎ階層各々の相当する変換係数を得ることにより、Ｎ階層ピラミッドを得る。このＮ階層ピラミッドは、階層毎の逆直交変換回路６１２のうちの対応する階層のものに入力される。すなわち、階層毎の逆直交変換回路６１２では係数選択回路６１０より与えられる第１〜第Ｎ階層各々の相当する変換係数のうち、対応する階層のものを受けることになり、それぞれ受けた変換係数を逆変換し、再生信号を得る。そして、本システムではこのうち、目的の解像度に対応する階層の出力を最終的な再生信号として用いる。

階層毎の逆直交変換回路６１２の出力は、また、各階層別に設けられたフレームメモリ６１３のうちの対応する階層のものに入力される。これにより各階層別のフレームメモリ６１３は、それぞれ各階層毎の逆直交変換回路６１２のうち、自己対応の階層の逆直交変換回路の出力を得てこれを蓄積し、その階層対応の解像度のフレーム画像を得る。

各階層別の動き補償予測回路５１４は各階層毎のフレームメモリ６１３のうち、自己対応の階層用のフレームメモリからの画像を得てこれよりその階層における画像の動き補償予測値を得る。そして、これを各階層別に設けられた直交変換回路６１５の対応する階層のものに入力する。各階層別の直交変換回路６１５では、それぞれ対応の階層の動き補償予測値を直交変換すると共に、この直交変換した変換係数のうち、その階層における最大周波項での変換係数を係数統合回路６３０に出力する。

そして、係数統合回路６３０は、各階層の直交変換回路６１５から出力された変換係数を統合して加算回路６１１に出力する。

このように、図９（ｂ）の構成に関しては、図８（ｂ）と同様のプロセスで、Ｎ階層ピラミッドのうちの第ｎ階層までの再生画像を求める。そして、所望とする再生画像の解像度が第ｎ階層対応のものであれば、各階層毎の逆直交変換回路６１２の出力のうち、第ｎ階層用の出力を再生信号として用いる。

なお、解像度変換回路５４０，解像度変換回路６４０における縮小・拡大変換に利用できる技術としては、例えば、“尾上編：画像処理ハンドブック、ｐ．６３０，昭晃堂”に記載されている“２値画像の解像度変換法”を用いれば良い。

以上第３の具体例においては、画像中から注目像の部分の像だけを所望の解像度で符号化することができると共に、再生側ではこれと同等もしくはそれ以下の解像度での画像を得ることができるようになる。

（第４の具体例）
次に、図１０を用いて本発明の第４の具体例を説明する。第４の具体例は図５で説明した第２の具体例の技術において、任意形状の画像を符号化することができるようにする技術である。

図１０は、第４の具体例が適用されるＳＮＲスケーラビリティ実現のための符号化回路部の構成を示すブロック図である。図において、１０５は直交変換回路、１８０はアルファマップ符号化回路、１８１は多重化回路、１２６，１２７，１２８は量子化回路、１３６，１３７，１３８は可変長符号化回路、５００ａ，５００ｂ，〜５００Ｍは局部復号回路、４０５〜４０８は遅延回路、１１６，１１７，１１８，４１５，４１６は差分回路、１４６，１４７，１４８は逆量子化回路、４２５，４２６は加算回路である。

アルファマップ符号化回路１８０は、前記画像のアルファマップ情報を入力として受け、これを符号化して線８２に出力するものであり、また、符号化したアルファマップ信号を復号する機能を有していてこれによって復号したアルファマップ信号の局部復号信号を線８１を介して出力する機能を有する。

また、局部復号回路５００ａを持つ第１階層Ｌ１の構成要素は、ベースレイヤの符号化信号を得るためのものであり、局部復号回路５００ｂを持つ第２階層Ｌ２の構成要素は、エンハンスレイヤの符号化信号を得るためのものであり、局部復号回路５００Ｍを持つ第Ｍ階層ＬＭの構成要素は、エンハンスレイヤの符号化信号を得るためのものである。

図１０の直交変換回路１０５には、線１０を介して画像信号が供給され、また、線８１を介してアルファマップの局部復号信号が供給される。そして、直交変換回路１０５は、画像信号をアルファマップの局部復号信号に基づいて直交変換する。

図１０のアルファマップ符号化回路１８０には、線８０を介してアルファマップ符号が入力され、一方、直交変換回路１０５には、線１０を介して画像信号が供給される。そして、アルファマップ符号化回路１８０はこれを符号化して多重化回路１８１に出力すると共に、符号化したアルファマップを復号化し、線８１を介して直交変換回路１０５に与える。

多重化回路１８１では、アルファマップ符号化回路１８０からのアルファマップ符号化出力と、可変長符号化回路１３６からの出力を多重化して出力する。

直交変換回路１０５では、線１０を介して供給された画像信号を、線８１を介してアルファマップの局部復号信号に基づいて直交変換し、この直交変換したことにより得られた直交変換係数を、第１階層Ｌ１の差分回路１１６と第２階層Ｌ２の遅延回路４０５，４０６と 〜第Ｍ階層ＬＭの遅延回路４０７，４０８とに与える。

そして、第１階層Ｌ１における差分回路１１６では、直交変換回路１０５より供給される直交変換係数と、局部復号回路５００ａより線２６を介して供給される変換係数の予測値との予測誤差が計算され、量子化回路１２６に供給される。そして、この量子化回路１２６にて量子化される。量子化された予測誤差信号は、可変長符号化回路１３６と逆量子化回路１４６に供給される。可変長符号化回路１３６では予測誤差信号の量子化値が可変長符号化され、線３６を介して出力される。

また、逆量子化回路１４６では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線４６を介して局部復号回路５００と第２階層Ｌ２に供給する。そして、第２階層においては、まず遅延回路４０６にて、線４６を介して第１階層Ｌ１における該ブロックの予測誤差信号の再生値が得られるまで、直交変換回路１０５より供給された直交変換係数が差分回路１１７に供給されるタイミングを遅延させる。

また、遅延回路４０５では、遅延回路４０６と同様に線８１を介して供給されるアルファマップ信号を遅延させた後、線８６を介して第２階層Ｌ２の局部復号回路５００に供給する。

差分回路１１７では、遅延回路４０６より供給される直交変換係数と、局部復号回路５００ｂより線２７を介して供給される変換係数の予測値との予測誤差が計算され、差分回路４１５に供給される。そして、差分回路４１５では、差分回路１１７より供給される第２階層Ｌ２での予測誤差と、線４６を介して供給される第１階層Ｌ１での予測誤差の再生値との差分が計算され、量子化回路１２７に供給される。そして、量子化回路１２７ではこれを量子化する。

量子化回路１２７にて量子化された予測誤差信号の差分は、可変長符号化回路１３７と逆量子化回路１４７に供給される。可変長符号化回路１３７では予測誤差信号の差分の量子化値が可変長符号化され、線３７を介して第２階層Ｌ２の可変長符号化信号として出力されることになる。

また、予測誤差信号の差分の量子化出力を受けた逆量子化回路１４７では、これを逆量子化し、予測誤差信号の差分の再生値に戻した後、加算回路４２５において線４６を介して供給される第１階層Ｌ１の予測誤差信号の再生値を加算することにより、第２階層の予測誤差信号の再生値を得る。そして、この第２階層の予測誤差信号の再生値を、線４７を介して局部復号回路５００ｂに供給する。

また、第Ｍ階層ＬＭにおいては、直交変換回路１０５の出力は、まず遅延回路４０８において所定の時間、遅延される。すなわち、ここでの遅延量は、線４８を介して第Ｍ−１階層ＬM-1 における該ブロックの予測誤差信号の再生値が得られるまでに相当する遅延時間であり、直交変換回路１０５より供給された直交変換係数が差分回路１１８に供給されるまでのタイミング分が遅延される。

また、遅延回路４０７では、遅延回路４０８と同様に線８１を介して供給されるアルファマップ信号を遅延させた後、線８７を介して第Ｍ階層ＬＭの局部復号回路５００Ｍに供給される。

差分回路１１８では、遅延回路４０８より供給される直交変換係数と、局部復号回路５００Ｍより線２８を介して供給される変換係数の予測値との予測誤差が計算され、差分回路４１６に供給される。そして、差分回路４１６では、差分回路１１８より供給される第Ｍ階層ＬＭでの予測誤差と、線４８を介して供給される第Ｍ−１階層ＬM-1 での予測誤差の再生値との差分が計算され、量子化回路１２８に供給されて、ここで量子化される。

量子化回路１２８にて量子化された予測誤差信号の差分は、可変長符号化回路１３８と逆量子化回路１４８に供給される。可変長符号化回路１３８では予測誤差信号の差分の量子化値が可変長符号化され、第Ｍ階層ＬＭでの可変長符号化信号として線３８を介して出力されることになる。

また、一方、逆量子化回路１４８では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得た後、加算回路４２６において線４８を介して供給される第Ｍ−１階層の予測誤差信号の再生値を加算して、第Ｍ階層ＬＭの予測誤差信号の再生値を得た後、線４９を介して局部復号回路５００Ｍに供給する。
このようにして第２の具体例の技術において、任意形状の画像を符号化することができるようになる。

つぎに、復号化装置を説明する。
図１１は第４の具体例において符号化された信号を復号化する装置の構成図である。図において、１９０は分離化回路、１９１はアルファマップ復号化回路、１５６，１５７，１５８は可変長復号化回路、１６６，１６７，１６８は逆量子化回路、４３５，４３６は加算回路、６００は復号回路である。

分離化回路１９０は多重化回路１８１で多重化された第１階層の符号化信号とアルファマップの符号化信号との多重化信号を分離化して、第１階層の符号化信号とアルファマップの符号化信号に戻すものであり、アルファマップ復号化回路１９１は分離化回路１９０で分離されたアルファマップの符号化信号を復号して元のアルファマップを得るものであり、可変長復号化回路１５６は分離化回路１９０で分離された第１階層の符号化信号を復号化するものであり、逆量子化回路１６６はこの復号化された信号を逆量子化して元の誤差値に戻すものであり、可変長復号化回路１５７は、復号化装置側の第２階層Ｌ２の可変長符号化回路１３７で符号化されたものを復号化するものであり、逆量子化回路１６７はこれを逆量子化して第２階層Ｌ２用の元の誤差値に戻すものであり、可変長復号化回路１５８は、復号化装置側の第ｍ階層Ｌｍの可変長符号化回路１３８で符号化されたものを復号化するものであり、逆量子化回路１６８はこれを逆量子化して第ｍ階層Ｌｍ用の元の誤差値に戻すものである。

また、加算回路４３５は第３階層Ｌ３用の元の誤差値と第２階層Ｌ２用の元の誤差値とを加算するものであり、加算回路４３６は加算回路４３５の出力と第１階層Ｌ１用の元の誤差値とを加算するものである。

復号回路６００は加算回路４３６の出力とアルファマップ復号化回路１９１の出力であるアルファマップとから、注目画像部分の再生信号を復号化して出力するものである。

図１１において、線９０を介して分離化回路１９０に供給された第１階層Ｌ１の符号化ビットストリームは、アルファマップに関する符号と、変換係数に関する符号に分離され、各々線９１と線５６を介して出力される。線５６，５７，５８を介して可変長復号化回路１５６，１５７，１５８に各々供給された符号化ビットストリームは、予測誤差信号あるいは予測誤差信号の差分に復号されたのち逆量子化回路１６６，１６７，１６８に各々供給される。

逆量子化回路１６７，１６８では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得る。そして、加算回路４３５において、第ｍ階層Ｌｍから第２階層Ｌ２までの予測誤差の差分の再生値を加算して、加算回路４３６に供給する。第１階層Ｌ１用の逆量子化回路１６６では、第１階層Ｌ１の予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、加算回路４３６に供給して、ここで第ｍ階層Ｌｍから第２階層Ｌ２までの分の予測誤差信号の再生値を加算する。加算回路４３６で求められた第ｍ階層Ｌｍから第１階層Ｌ１までの分の予測誤差信号の再生値の合計値は線６５を介して復号回路６００に供給される。

そして、復号回路６００はこれらの再生値の合計値とアルファマップとを元に、注目画像部分の画像の再生信号を得る。このようにして、任意形状の画像を符号化すると共に、これを復号化することができるようになる。

（第５の具体例）
図１２、図１３および図１４を用いて、本発明の第５の具体例の説明をする。第５の具体例は第ｍ階層の符号化効率を向上させる技術である。

本具体例は、前記第２の具体例および第４の具体例において、第ｍ階層での予測信号を、第ｍ−１階層の復号信号と第ｍ階層の動き補償予測信号とを適用的に切り換えることにより求めることで、第ｍ階層の符号化効率を向上させるものである。

以下では、ベースレイヤとエンハンスレイヤの２階層にした場合の、本具体例を第２の具体例に適用した例を示す。第４の具体例に付いても同様に適用することができる。

《第５の具体例における符号化装置の構成例》
図１２は、本発明の符号化装置のブロック図である。この符号化装置は直交変換回路１００、局部復号回路２００および７００、遅延回路４０９、差分回路１１０および１１９、量子化回路１２０および１２９、可変長符号化回路１３０および１３９、逆量子化回路１４０および１４９とから構成される。

局部復号回路７００は、加算回路７０１と逆直交変換回路（ＩＯＴ_N ）、フレームメモリ７０３（ＦＭ_N ）、動き補償予測回路７０４（ＭＣ_N ）、直交変換回路７０５（ＯＴ_N ）、セレクタ７０６とより構成される。

直交変換回路１００において、線１０を介して供給される画像信号は、Ｎ×Ｎ画素毎に直交変換され、Ｎ×Ｎ個の変換係数が得られる。ベースレイヤは第１、第３の具体例と同一の構成であり、局部復号信号２００における加算回路２０１の出力信号である該ブロックの変換係数の再生信号と、量子化回路１２０の出力である該ブロックの変換係数の動き補償予測誤差信号の量子化値が、各々線ＢDと線ＰQ を介してエンハンスレイヤに供給される。

エンハンスレイヤにおいては、当該レイヤにおける遅延回路４０９において、線ＢD を介して該ブロックの再生信号が得られるまでの時間分、直交変換回路１００より供給された直交変換係数が差分回路１１９に供給されるタイミングを遅延させる。

差分回路１１９では、直交変換回路１００より供給される直交変換係数と、局部復号回路７００より線２９を介して供給されるＮ×Ｎ個の変換係数の予測値との予測誤差が計算され、量子化回路１２９に供給される。量子化回路１２９にて量子化された予測誤差信号は、可変長符号化回路１３９と逆量子化回路１４９に供給される。

可変長符号化回路１３９では予測誤差信号の量子化値が可変長符号化され、線３９を介して出力される。逆量子化回路１４９では、予測誤差信号を逆量子化することにより得た予測誤差信号の再生値を、局部復号回路７００に供給する。

局部復号回路７００では、逆量子化回路１４９より供給される予測誤差信号の再生値と線２９を介して供給される予測値とを加算回路７０１にて加算することにより、変換係数の再生値を得、これを逆直交変換回路７０２に供給する。

逆直交変換回路７０２では加算回路７０１より供給された変換係数を逆変換して局部復号信号を出力する。そして、フレームメモリ７０３では、逆直交変換回路７０２より供給されるＮ×Ｎ画素毎の局部復号信号を蓄積して局部復号画像を得る。動き補償予測回路７０４では、フレームメモリ７０３に蓄積されている局部復号画像信号を用いて動き補償予測値を生成し、直交変換回路７０５に供給する。

直交変換回路７０５では、動き補償予測値をＮ×Ｎ画素毎に直交変換し、変換係数を線ＥMCを介してセレクタ７０６に出力する。セレクタ７０６では、線ＢDと線ＥMCを介して供給された変換係数を、線ＰQ を介して供給されるベースレイヤでの動き補償予測誤差信号の変換係数の量子化値にしたがって、適応的に切り換える。

図１３は、セレクタ７０６に適用している文献（Ｔ．Ｋ．Ｔａｎ ｅｔ．ａｌ．“Ａ Ｆｒｅｑｕｅｎｃｙ Ｓｃａｌａｂｌｅ Ｃｏｄｉｎｇ ＳｃｈｅｍｅＥｍｐｌｏｙｉｎｇ Ｐｙｒａｍｉｄ ａｎｄ Ｓｕｂｂａｎｄ Ｔｅｃｈｎｉｑｕｅｓ”，ＩＥＥＥ Ｔｒａｎｓ．ＣＡＳ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．４，Ｎｏ．２，Ａｐｒ．１９９４）に記載されている切り換え手段の例である。

図１３において、ＰQ は量子化回路１２０の出力、ＢD は局部復号回路２００における加算回路２０１の出力、ＥMCは局部復号回路７００における直交変換回路７０５の出力であり、量子化回路１２０の出力ＰQ である量子化値の中で、“０”で無い係数（白丸で囲んだもの）は動き補償予測が当たらなかった係数である。ここで、動き補償予測回路７０４においてベースレイヤと同じ動きベクトルを用いて動き補償予測を行っているため、エンハンスレイヤにおいても同じ係数の動き補償予測は当たらない。

一方、エンハンスレイヤを符号化する前にベースレイヤの符号化を終了させておけば、ベースレイヤの再生信号を用いることができる。従って、図１３における出力ＰQ の量子化値の中で、この白丸で囲んである係数は、ベースレイヤの再生信号をセレクタ７０６において選択して線２９を介して出力するようにする。なお、出力ＰQ を用いてセレクタ７０６を係数毎に切り換える点は前記文献と同じである。しかし、本具体例ではベースレイヤの再生を予測値に用いている点が異なる。

《第５の具体例における復号化装置の構成例》
図１４は、図１２の符号化装置で２階層に分けられて符号化されたビットストリームを復号化して再生画像を得るための復号化装置のブロック図である。この復号化装置は、可変長復号回路１５０および１５９、逆量子化回路１６０および１６９、復号回路３００および８００とより構成される。

エンハンスレイヤの復号回路８００は、加算回路８０１、逆直交変換回路８０２、フレームメモリ８０３、動き補償予測回路８０４、直交変換回路８０５、フセレクタ８０６とより構成される。

図１４において、ベースレイヤは第１、第３の具体例と同一の構成であり、加算回路３０１の出力信号である該ブロックの変換係数の再生信号ＢD と、可変長復号回路１５０の出力である該ブロックの変換係数の動き補償予測誤差信号の量子化値ＰQ が、エンハンスレイヤのセレクタ８０６に供給される。

エンハンスレイヤにおいては、線５９を介して可変長復号化回路１５９に供給された符号化ビットストリームは、予測誤差信号に復号された後、逆量子化回路１６９に供給される。逆量子化回路１６９では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線６９を介して復号回路８００に供給する。

復号回路８００では、線６９を介して供給される予測誤差信号の再生値とセレクタ８０６より供給される予測値とを加算回路８０１にて加算することにより変換係数の再生値を得た後、逆直交変換回路８０２に供給する。そして、逆直交変換回路８０２では加算回路８０１より供給された変換係数を逆変換して復号信号を線７９を介して出力する。

フレームメモリ８０３では、逆直交変換回路８０２より供給されるＮ×Ｎ画素毎の復号信号を蓄積して復号画像を得る。動き補償予測回路８０４では、フレームメモリ８０３に蓄積されている復号画像信号を用いて動き補償予測値を生成し、直交変換回路８０５に供給する。

直交変換回路８０５では、動は補償予測値をＮ×Ｎ画素毎に直交変換し、変換係数を線ＥMCを介して出力する。セレクタ８０６では、再生信号ＢD と直交変換回路８０５の出力である変換係数ＥMCを、ベースレイヤでの動き補償予測誤差信号の変換係数の量子化値ＰQ （可変長復号回路１５０の出力）にしたがって、適応的に切り換える。ここで、セレクタ８０６はセレクタ７０６と同じ動作をする。

以上、本具体例は、前記第２の具体例および第４の具体例において、第ｍ階層での予測信号を、第ｍ−１階層の復号信号と第ｍ階層の動き補償予測信号とを適用的に切り換えることにより求めるようにしたものであり、これにより、第ｍ階層の符号化効率を向上させることができるようになる。

上記の具体例では、変換基底がブロック間でオーバラップしていない例を示した。
一方、“文献：如澤他、動き補償フィルタバンク構造を用いた画像符号化、ＰＣＳＪ９２，８−５，１９９２”では、基底がオーバラップしている場合でも変換後差分構成を取ることで符号化効率の低下の少ない動き補償フィルタバンク構造を用いた符号化法を提案している。本発明のように直交変換係数領域での予測符号化装置（変換後差分構成）には、上記文献の考え方が適用できるので、動き補償フィルタバンク構造を、第１〜第５の具体例に適用しても良い。

以上種々の例を説明したが、本発明は、多階層に解像度や画質を可変にすることが可能なスケーラブル符号化法において、ドリフトによる画質劣化や、大幅な符号化効率低下の無い動画像符号化・復号化装置を提供することを目的としたものであり、Ｎ×Ｎ個（Ｎ：自然数）の変換係数毎に変換係数領域での動き補償予測を用いた動き補償予測＋変換符号化において、局部復号された変換係数を低域からｎ×ｎ個（ｎ＝１〜Ｎ）選択することにより、Ｎ階層の変換係数ピラミッドを作成し、このＮ階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、Ｎ階層の再生画像ピラミッドを作成し、このＮ階層の再生画像ピラミッドを各階層別に蓄積してそれぞれフレーム画像を得、この各フレーム画像を参照して、各階層毎に動き補償予測信号を作成し、この動き補償予測信号を各階層毎にそれぞれ変換係数に変換し、それぞれの階層での最高次の変換係数を抽出してこれを統合することにより、動き補償予測値を作成するようにした。そして、これを符号化するようにした。

また、復号化は復号化して得た変換係数のうち、必要な解像度対応の階層における最高次の変換係数を含むそれ以下の低次の変換係数を抽出してこれを逆変換することにより必要な解像度対応の階層における動き補償予測値を得て再生信号とするようにした。

従って、符号化側での分解能より低い任意の分解能で復号化する場合においても、ミスマッチが生じることがなく、多階層に解像度や画質を可変にすることが可能なスケーラブル符号化法において、ドリフトによる画質劣化や、大幅な符号化効率低下の無い動画像符号化・復号化装置が得られることになる。

本発明を説明するための図であって、本発明による画像符号化装置および画像復号化装置が適用される画像伝送システムの一例を示す図。 本発明を説明するための図であって、本発明の第１の具体例における符号化装置の構成例を示すブロック図。 本発明を説明するための図であって、本発明の第１の具体例における局部復号回路を説明するための図。 本発明を説明するための図であって、本発明の第１の具体例における復号化装置の構成例を示すブロック図。 本発明を説明するための図であって、本発明の第２の具体例の構成例を示すブロック図。 図５の符号化装置でＭ階層に分けられて符号化されたビットストリームの中から、第ｍ階層までのビットストリームを復号化して再生画像を得る復号化装置のブロック図。 スケーラビリティを説明する図。 本発明を説明するための図であって、本発明の第３の具体例における符号化装置の構成例を示すブロック図。 本発明を説明するための図であって、本発明の第３の具体例における復号化装置の構成例を示すブロック図。 本発明を説明するための図であって、本発明の第４の具体例における符号化回路部の構成を示すブロック図。 本発明を説明するための図であって、本発明の第４の具体例における復号化回路部の構成例を示すブロック図。 本発明を説明するための図であって、本発明の第５の具体例における符号化装置の構成例を示すブロック図。 本発明を説明するための図であって、本発明の第５の具体例における予測値切り換え法を説明する図。 本発明を説明するための図であって、本発明の第５の具体例における復号化装置の構成例を示すブロック図。 従来技術を説明するための図であって、ＭＰＥＧ２のＳＮＲスケーラビリティのブロック図。 従来技術を説明するための図であって、ＭＰＥＧ２の空間スケーラビリティのブロック図。 アルファマップを説明する図。 先行技術である任意形状画像の直交変換を説明する図。 先行技術である任意形状画像の解像度変換を説明する図。

符号の説明

１００，１０５，２０５，３０５，５０５，６０５，７０５，８０５…直交変換回路
１１０〜１１３，１１５〜１１９，４１０，４１１，４１５，４１６…差分回路
１２０〜１２３，１２５〜１２９…量子化回路
１３０〜１３３，１３５〜１３９…可変長符号化回路
１４０〜１４９，１６０〜１６９…逆量子化回路
１５０〜１５３，１５５〜１５９…可変長復号化回路
１８０…アルファマップ符号化回路
１８１…多重化回路
１９０…分離化回路
１９１…アルファマップ復号化回路
２００，２００ａ〜２００Ｍ，５００，５００ａ〜５００Ｍ，７００…局部復号回路
３００，６００，８００…復号回路
２０１，２１１，３０１，３１１，４２０，４２１，４２５，４２６，４３０，４３１，４３５，４３６，５０１，５１１，６０１，６１１，７０１，８０１…加算回路
２０２，３０２，５０２，６０２，７０２，８０２…逆直交変換回路
２０３，３０３，５０３，６０３，７０３，８０３…フレームメモリ
２０４，３０４，５０４，６０４，７０４，８０４…動き補償予測回路
２１２，３１２，５１２，６１２…逆直交変換回路ピラミッド
２１３，３１３，５１３，６１３…フレームメモリピラミッド
２１４，３１４，５１４，６１４…動き補償予測回路ピラミッド
２１５，３１５，５１５，６１５…直交変換回路ピラミッド
２２０，３２０，５２０，６２０…係数選択回路
２３０，３３０，５３０，６３０…係数統合回路
４００，４０１，４０５，４０６，４０７，４０８…遅延回路。

Claims (8)

1. 画像信号をブロック単位で直交変換して得られる所定数の変換係数毎に変換係数領域での動き補償予測値を用い、該所定数の変換係数に前記動き補償予測値分の補正を加えた予測誤差信号を生成し、該予測誤差信号を符号化してビットストリームを得る動画像の符号化装置において、局部復号された変換係数を低域から所定数×所定数選択することにより、最下位階層から最上位階層までの所定階層のうち、少なくとも２つの変換係数ピラミッドを作成する手段と、前記所定数階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、所定階層の再生画像ピラミッドを作成する手段と、所定階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている各階層毎の画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換すると共に、各階層毎にその階層での最高次領域の変換係数をそれぞれ得る手段と、前記各階層での最高次領域の変換係数を統合することにより前記動き補償予測値を得る手段と、第２階層から最上位階層の１つ階層の予測誤差信号と、最下位階層の予測誤差信号の局部再生値との差分信号を求める手段と、この差分信号を符号化して第２階層から最上位階層の１つ階層の符号化ビットストリームを得る符号化手段と、第２階層において、前記差分信号を最下位階層の量子化ステップサイズより小さいステップサイズで量子化する手段と、前記差分信号と、最下位階層の予測誤差信号の局部再生値を加算することで、第２階層から最上位階層の１つの階層の予測誤差信号の局部再生値を求める加算手段と、この局部再生値を蓄積して画像を得、これより第２階層から最上位階層の１つ階層の動き補償値を求めて第２階層から最上位階層の前記１つの階層用の予測誤差信号を得る局部復号手段とを備えることを特徴とする動画像符号化装置。
2. 直交変換によるＮ×Ｎ個（Ｎ：自然数）の変換係数毎に変換係数領域での動き補償予測値を用い、画像信号を直交変換によるＮ×Ｎ個の変換係数に変換してこれに前記動き補償予測値分の補正を加えた予測誤差信号を得、これを符号化してビットストリームを得る動画像の符号化装置において、局部復号された変換係数を低域からｎ×ｎ個（ｎ＝１〜Ｎ）選択することにより、第１階層から第Ｎ階層までのＮ階層のうち、少なくとも２つの変換係数ピラミッドを作成する手段と、前記Ｎ階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、Ｎ階層の再生画像ピラミッドを作成する手段と、Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている各階層毎の画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換すると共に、各階層毎にその階層での最高次領域の変換係数をそれぞれ得る手段と、前記各階層での最高次領域の変換係数を統合することにより前記動き補償予測値を得る手段と、前記符号化ビットストリームのうち、第１乃至第ｍ階層（ｍ＝１〜Ｍ）までの符号を用い、これらを復号して第ｍ階層までの各階層別の量子化値を得る復号手段と、この復号手段により復号された各階層別の量子化値をそれぞれ逆量子化する逆量子化手段と、この逆量子化手段による第ｍ階層までの逆量子化値を加算して出力する手段と、この加算出力を復号して画像再生に供する復号手段とを備えることを特徴とする動画像復号化装置。
3. 直交変換によるＮ×Ｎ個の変換係数毎に変換係数領域での動き補償予測値を用い、画像信号を直交変換によるＮ×Ｎ個の変換係数に変換してこれに前記動き補償予測値分の補正を加えた予測誤差信号を得、これを符号化してビットストリームを得る動画像符号化を用いる装置において、入力画像の背景とオブジェクトを識別するアルファマップ信号を受けてこれを符号化する手段と、前記入力画像のうち、前記アルファマップにしたがった対応領域の画像について直交変換することにより、任意形状画像を変換係数に変換して出力する手段と、前記アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段と、、第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階層の予測誤差信号の局部再生値との差分信号を求める手段と、第ｍ階層において、前記差分信号を第ｍ−１階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第ｍ−１階層の予測誤差信号の局部再生値を加算することで、第ｍ階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置。
4. 請求項３記載の符号化装置により符号化された符号化ビットストリームを復号する復号化装置において、前記符号化ビットストリームから、第ｍ階層（ｍ＝１〜Ｍ）までの符号を取り出す手段と、この取出した第ｍ階層までの各階層の符号を復号する復号手段と、前記復号手段により復号された量子化値を各階層において逆量子化する手段と、第ｍ階層までの逆量子化値を加算する手段とを有する請求項７の動画像復号化装置。
5. 直交変換によるＮ×Ｎ個の変換係数毎に変換係数領域での動き補償予測値を用い、画像信号を直交変換によるＮ×Ｎ個の変換係数に変換してこれに前記動き補償予測値分の補正を加えた予測誤差信号を得、これを符号化してビットストリームを得る動画像符号化を用いる装置において、入力画像の背景とオブジェクトを識別するアルファマップ信号を受けてこれを符号化する手段と、前記入力画像のうち、前記アルファマップにしたがった対応領域の画像について直交変換することにより、任意形状画像を変換係数に変換して出力する手段と、前記アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段と、符号化されたアルファマップ信号を解像度変換してＮ階層のアルファマップ信号ピラミッドを作成する手段と、各階層毎に、アルファマップ信号にしたがって局部復号された変換係数を低域からｎ階層分（ｎ＝１〜Ｎ）選択することにより、Ｎ階層の変換係数ピラミッドを作成する手段と、このＮ階層の変換係数ピラミッドを各階層毎にアルファマップ信号にしたがって逆変換を施すことにより、Ｎ階層の再生画像ピラミッドを作成する手段と、前記Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照し、各階層毎にアルファマップ信号にしたがって動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎にアルファマップ信号にしたがって変換係数に変換する手段と、アルファマップ信号ピラミッドにしたがって前記変換係数を統合することにより動き補償予測値を作成する手段と、、第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階層の予測誤差信号の局部再生値との差分信号を求める手段と、第ｍ階層において、前記差分信号を第ｍ−１階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第ｍ−１階層の予測誤差信号の局部再生値を加算することで、第ｍ階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置。
6. 請求項５記載の符号化装置により符号化された符号化ビットストリームを復号する復号化装置において、前記符号化ビットストリームからアルファマップ信号を復号する手段と、復号されたアルファマップ信号を解像度変換してＮ階層のアルファマップ信号ピラミッドを作成する手段と、復号された変換係数から、アルファマップ信号ピラミッドにしたがってｎ階層の変換係数ピラミッドを作成する手段と、前記符号化ビットストリームから第ｍ階層（ｍ＝１〜Ｍ）までの符号を取り出す手段と、この取出した第ｍ階層までの各階層の符号をアルファマップ信号ピラミッドのうちの対応する階層のアルファマップ信号にしたがって復号する復号手段と、前記復号手段により復号された量子化値を各階層において逆量子化する逆量子化手段と、この逆量子化手段により逆量子化された第ｍ階層までの逆量子化値を加算する手段と、この加算出力を復号することにより第ｍ階層の再生画像を再生する復号手段とを有する動画像復号化装置。
7. 直交変換によるＮ×Ｎ個の変換係数毎に変換係数領域での動き補償予測を用い、画像信号を直交変換によるＮ×Ｎ個の変換係数に変換してこれに前記動き補償予測値分の補正を加えた予測誤差信号を得、これを符号化してビットストリームを得る動画像の符号化装置において、Ｍ階層のＳＮＲスケーラビリティを実現する符号化装置であって、第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階層の局部再生値とを変換係数毎に切り換えることで、第ｍ階層の予測値を求める手段と、第ｍ−１階層における、予測誤差信号の量子化値の絶対値がしきい値以下となる変換係数は第ｍ階層の動き補償予測値を、しきい値以上となる変換係数は第ｍ−１階層の局部再生値を出力するセレクタを有することを特徴とする動画像符号化装置。
8. 請求項７記載の符号化装置により符号化された符号化ビットストリームを復号する復号化装置において、前記符号化ビットストリームから、第ｍ階層（ｍ＝２〜Ｍ）までの符号を取り出す手段と、この取出された第ｍ階層までの各階層の符号を復号する復号手段と、前記復号手段により復号された予測誤差信号の量子化値を各階層において逆量子化する手段と、第ｍ階層の動き補償予測値と第ｍ−１階層の再生値とを変換係数毎に切り換えることで、第ｍ階層の予測値を求める手段と、第ｍ−１階層における予測誤差信号の量子化値の絶対値がしきい値以下となる変換係数は第ｍ階層の動き補償予測値を、しきい値以上となる変換係数は第ｍ−１階層の再生値を出力するセレクタを有することを特徴とする動画像復号化装置。

Images