JP2006304329A - 符号化方法及び復号化方法及び符号化装置及び復号化装置 - Google Patents

Abstract

【課題】一般的な解像度で復号画像を得ることを可能とする埋め込み型の符号化及び復号化の技術を提供する。
【解決手段】符号化装置が、原画像をＭ個（Ｍは整数であり、かつ、Ｍ＞２）の等帯域に分割し、分割した信号を、埋め込み型のエントロピー符号化方法を用いて符号化する。復号化装置は、前記符号化装置により符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側からＮ個分の信号を取り出してエントロピー復号化方法により復号化し、復号化されたＮ個分の信号を合成し、原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度の復号画像を得る。
【選択図】図１５

Description

本発明は、符号化方法及び復号化方法及び符号化装置及び復号化装置に係り、特に、画像を効率よく伝送、蓄積するための符号化方法及び復号化方法及び符号化装置及び復号化装置に関する。

従来、画像符号化の国際標準規格として、
（１） 動画像を対象としたＭＰＥＧ(Moving Picture Experts Group)（例えば、“映像メディア学会編「ＭＰＥＧ」、オーム社、１９９６年４月”参照）；
（２） 静止画像を対象としたＪＰＥＧ２０００（例えば、“ISO/IEC 15444-1 JPEG2000 PartI:Core coding system, 2000-12-15”参照）；はよく知られている。

ＭＰＥＧは、動き補償とＤＣＴ（離散コサイン変換）を用いた手法で、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。一方、ＪＰＥＧ２０００はウェーブレット変換とＥＢＣＯＴと呼ばれる埋め込み型のエントロピー符号化を用いた手法であり、フレーム間相関を利用してないためＭＰＥＧと比較すると符号化効率は劣るものの、ＭＰＥＧにはない空間・ＳＮＲ（Signal-to-Noise Ratio)スケーラビリティなど様々な有効な機能を持つ。動画像への適用も可能としたMotionＪＰＥＧ２０００も提案されており、ＪＰＥＧ２０００と同様な機能を持つ。
ＪＰＥＧ２０００で用いられるスケーラビリティは、埋め込み型と呼ばれ、符号器は一度符号化するのみで個々の解像度に応じて圧縮データを作りなおす必要がない。単一の圧縮ファイルから、様々な解像度・ＳＮＲの復号画像が得られ、ファイル容量の削減、計算量の軽減にもつながる。図１は、ＪＰＥＧ２０００の解像度スケーラビリティ機能を示す。原画像の解像度がＫ×Ｌの場合、復号器では、Ｋ／２^ｎ×Ｌ／２^ｎの解像度の画像が復元可能となる。

上記のＪＰＥＧ２０００では、原画像よりも小さい解像度の画像が復元可能であるが、その解像度は原画像の１／２^ｎ（ｎは正の整数）に限定される。しかしながら、通常、復号側で必要とされる画像の解像度は、原画像の解像度の１／２^ｎ倍のみにとどまらないという問題がある。
特開２０００−１９７０５２号公報

本発明は、上記の点に鑑みなされたもので、より一般的な解像度で復号画像を得ることを可能とする埋め込み型の符号化及び復号化の技術を提供することを目的とする。

上記の目的は、原画像の符号化を行う符号化方法であって、入力された原画像をＭ個（Ｍは整数であり、かつ、Ｍ＞２）の等帯域に分割する分割ステップと、原画像を等帯域に分割して得られた信号を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化ステップとを有する符号化方法により解決される。

本発明によれば、原画像を等帯域に分割し、埋め込み型のエントロピー符号化方法を用いて符号化するので、復号側で原画像の解像度の１／２^ｎ倍に限られない解像度の画像を得ることができる。

なお、前記符号化ステップにおいて得られる符号化データは、分割された複数の帯域において低周波数帯域側から順に定義された解像度レベルの情報を含む。

また、前記符号化データは、画像の縦方向と横方向のそれぞれについて、解像度レベルの情報を含むようにしてもよい。

また、上記の課題は、原画像の符号化を行う符号化方法であって、入力された原画像を直交変換により複数の係数に変換する変換ステップと、前記複数の係数を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化ステップとを有する符号化方法によっても解決される。

前記符号化ステップにおいて得られる符号化データは、前記複数の係数に対応する周波数成分において低周波数成分側から順に定義された解像度レベルの情報を含む。

また、上記の課題は、原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号するための復号化方法であって、原画像をＭ個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化ステップと、復号化されたＮ個分の信号を合成する帯域合成ステップとを有する復号化方法によっても解決される。

上記の方法において、原画像の解像度と所定の解像度を取得し、当該所定の解像度に適した前記Ｎの値を、原画像の解像度と前記分割数Ｍを用いて算出する算出ステップを更に有してもよい。

また、上記の課題は、原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号するための復号化方法であって、原画像をＭ個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化ステップと、復号化されたＮ個分の信号を合成する合成ステップとを有する復号化方法によっても解決される。

また、本発明によれば、上記の方法における各ステップを実行する手段を備えた装置が提供される。更に、上記の方法における各ステップをコンピュータに実行させるプログラムと、そのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

上記のように、本発明によれば、原画像の解像度の１／２^ｎ倍以外の大きさの解像度を持つ復号画像を得ることができる。

以下、図面と共に本発明の実施の形態について説明する。

最初に、本発明における解像度スケーラビリティ機能について説明する。

図２は、本発明の一実施の形態における解像度スケーラビリティ機能を示す。同図に示す符号化システムでは、解像度がＫ×Ｌの画像を符号化部が符号化し、単一の圧縮データを生成する。復号化部では、この圧縮データの一部のビットストリームを取り出すことで、同図に示すような解像度が原画像の有理数倍すなわちＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の画像を得ることができる。

なお、原画像の有理数倍の画像を得るための符号化コードの一部の抽出の場所について、本例では、復号化部側で行っているが、別の例として、符号化部側で行ってもよい。この別の例の枠組みはＪＰＥＧ２０００と同じである。また、更なる別例として、符号化部と復号化部との間に伝送手段で接続された中継装置において、当該符号化コードの一部の抽出を行ってもよい。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における、任意の有理数倍の空間解像度で復号可能とする圧縮データを生成するスケーラブル符号器の基本構成を示す。

同図に示すスケーラブル符号器は、等帯域分割部１０、量子化部１１、埋め込み型のエントロピー符号化部１２から構成される。図４のフローチャートを参照して、このスケーラブル符号器の動作について説明する。

入力された原画像は、等帯域分割部１０において、Ｍ個の等帯域に分割される（ステップ１）。分割には、フィルタバンク（P.Vaidyanathan, 「マルチレート信号処理とフィルタバンク」, 科学技術出版，２００１年１１月）や直交変換（小野文孝，渡辺裕、「国際標準画像符号化の基礎技術」，コロナ社，１９９８年３月）などを用いる。なお、フィルタバンクと直交変換については、例えば、“阿久津幸恵、小林弘幸、貴家仁志、「直交変換、フィルタバンクおよびウェーブレット変換を用いた解像度変換の一評価法」、信学技報ＤＳＰ９３−２６”にも記載されている。

分割された信号は量子化部１１によって量子化され（ステップ２）、埋め込み型のエントロピー符号化部１２において、ＥＢＣＯＴ（ISO/IEC 15444-1 JPEG2000 Part I: Core coding system, 2000-12-15 ）やＥＺＢＣ（S.T. Hsiang and J.W.Woods, "Embedded video coding using invertible motion compensated 3-D subband/wavelet filter bank," Signal Processing: Image Communication, vol. 16, May 2001, pp.705-724) などの埋め込み型のエントロピー符号方法によって圧縮データを生成する（ステップ３）。

埋め込み型エントロピー符号化部１２は、復号器側においてスケーラブル復号を可能とする符号化データを生成するエントロピー符号器である。

なお、等帯域分割部１０として、フィルタバンクを用いる場合の符号器の詳細を第３の実施の形態で説明し、等帯域分割部１０として、直交変換器を用いる場合の符号器の詳細を第５の実施の形態で説明する。

［第２の実施の形態］
図５は、本発明の第２の実施の形態におけるスケーラブル復号器の基本構成を示す。第２の実施の形態におけるスケーラブル復号器は、第１の実施の形態の符号器で生成した圧縮データを、任意の有理数倍の空間解像度で復号する復号器である。

同図に示すスケーラブル復号器は、埋め込み型エントロピー復号化部２０、逆量子化部２１、帯域合成部２２から構成される。図６のフローチャートを参照して、このスケーラブル復号器の動作について説明する。

埋め込み型エントロピー復号化部２０においては、入力された圧縮データのうち低周波数帯域側からＮ／Ｍ分の帯域のデータを抽出し（ステップ４）、エントロピー復号化を行う（ステップ５）。

逆量子化部２１において、埋め込み型エントロピー復号化部で復号化された信号を逆量子化する（ステップ６）。帯域合成部２２においては、逆量子化部２１で逆量子化された信号を合成し画像を出力する（ステップ７）。

帯域合成部２２としては、符号器側の画像分割方法に応じて、フィルタバンクもしくは逆ＤＣＴ変換（ＩＤＣＴ）などの直交変換器を用いることができる。フィルタバンクを用いる場合の復号器の詳細を第４の実施の形態で説明し、直交変換器を用いる場合の復号器の詳細を第６の実施の形態で説明する。

［第３の実施の形態］
本実施の形態では、等帯域分割部としてフィルタバンクを用い、埋め込み型のエントロピー符号化方法としてＥＢＣＯＴを用いた場合の符号器について説明する。

図７は、本発明の第３の実施の形態における符号器の構成を示す。

同図に示す符号器は、等分割分析フィルタバンクを用いた等帯域分割部３０、量子化部３１、埋め込み型のエントロピー符号化部３２〜３４から構成される。

ＪＰＥＧ２０００においては、帯域分割としてウェーブレット変換を用いている。ウェーブレット変換は、図８に示す「Ｍａｌｌａｔ分割」と呼ばれる分割法により帯域分割を行う。Ｍａｌｌａｔ分割では、１次元の２分割フィルタを用いて低域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。図８の上図（４０）に示すようにＤ回分割することによって、原画像に対して１／２^Ｄの大きさの空間解像度を持つ画像まで分割可能となる。この処理を、水平方向及び垂直方向にそれぞれ施す。復号側では図８の下図（４１）に示すように低域側から順次復号する。Ｕ回復号することによって、原画像に対して２^Ｕ／２^Ｄ＝１／２^ｎ倍の大きさの空間解像度を持つ画像が復元できる。

一方、本発明においては、帯域分割として図９の左部分（５０）に示す等分割分析フィルタバンクを用いる。等分割分析フィルタバンクにおいては、帯域幅が等しいＭ個のフィルタを用いて、原画像をＭ個の等帯域に分割する。それぞれのフィルタの出力を１／Ｍに間引く（ダウンサンプリング）ことによって最終的な出力を得る。なお、比較のため図１０には、ＪＰＥＧ２０００によるＭａｌｌａｔ分割（６０）と、本発明による等帯域分割（６１）を示している。

図７の量子化部３１においては、等帯域分割部３０の出力信号を量子化する。なお、エントロピー符号化部（ＥＢＣＯＴ符号化処理部）３２〜３４を用いることによって、圧縮データ量の制御が量子化を行わなくても可能であるために、量子化は省略可能である。

ＥＢＣＯＴは、埋め込み型のエントロピー符号化方法の一種である。ＥＢＣＯＴによるエントロピー符号化部３２〜３４では、まず、係数ビットモデリング部３２において、画像を、
・コードブロック分割
・ビットプレーン分割
・各ビットブレーンのサブプレーン（３つのパス）への分解
と次々に分割し、算術符号化部３３において、パスを最小単位として算術符号化する。算術符号化されたデータは、パスを最小単位としてビットを切捨てる（ポスト量子化）ことができる。符号量の制御は、このポスト処理だけで可能となる。そして、符号化コードパケット化部３４において、算術符号化により符号化された圧縮データがパケット化され、符号ストリームとして送信される。

空間解像度やＳＮＲスケーラビリティなどの階層符号化は、上記のパス単位にある程度優先度を付け、復号時の時間的優先度を制御することにより実現できる。優先度としては、
・Ｌ：レイヤ（ＳＮＲレベル）
・Ｒ：空間解像度レベル
・Ｐ：位置
・Ｃ：色成分
の４つがある。

レイヤは、ＳＮＲに基づく基準であり、ＪＰＥＧ２０００では符号化されたデータを上位レイヤから下位レイヤに分割することができる。上位レイヤから下位レイヤへ向かって順次復号することによって、画質の品質を段階的に改善する。空間解像度レベルは、空間解像度のスケーラビリティを実現する。図１０のように２レベルにウェーブレット変換が施された場合、空間解像度レベル（７０）は、図１１に示すように、Ｒ_０，Ｒ_１，Ｒ_２の３つのレベルに分解される。この解像度レベルを復号時の優先順位の一つとして使用する。最低周波数帯域から順次解像度を上げる制御が可能となる。また、ＲＧＢ信号をそれぞれ符号化した場合、Ｒ，Ｇ，Ｂをそれぞれどのような順番で復号するかに選択の余地がある。さらに、画像の空間的位置（特定領域の画像）の復号を優先することができる。上記の４つの優先度をどのように並べるかによって、復号時の順序を制御でき、再生画像の品質を制御することができる。ＪＰＥＧ２０００では、４つのパターンが用意されている。

１）ＬＲＣＰ
２）ＲＬＣＰ
３）ＰＣＲＬ
４）ＣＰＲＬ
段階的復号を可能とする空間解像度スケーラビリティは、２）ＲＬＣＰのパターンによって可能となる。そのデータ構造を図１２に示す。図１２に示すように空間解像度スケーラビリティを実現するＲＰＣＬデータ構造は、解像度（８０）、位置（８１）、色（８２）、レイヤ（８３）からなる。Ｒ_０のデータを復号することによって原画像の１／４の大きさ、Ｒ_１のデータまで復号することによって原画像の１／２の大きさ、Ｒ_２のデータまで復号することで原画像と同じ解像度の画像が得られる。

本発明では、原画像に対してＮ／Ｍ倍の解像度で復号を可能とするため、解像度レベル（９０）を図１３のように設定する。このとき、データ構造は、図１４のように、解像度（１０１）、位置（１０２）、色（１０３）、レイヤ（１０４）を設定する。復号器において、Ｒ_０，Ｒ_１，Ｒ_２，Ｒ_３まで順次復号することで原画像の１／４、２／４、３／４及び原画像と同サイズ画像を、順次復号することが可能となる。従って、ＪＰＥＧ２０００では不可能な、原画像のサイズに対して３／４のサイズの画像が得られる。

なお、解像度レベルは図１５に示すように不等間隔に設定してもよい。この場合、復号側において原画像の１／４、３／４および原画像と同サイズ画像を順次復号することが可能となる。

また、画像の縦方向の変換比率と横方向の変換比率を変えることも可能である。その際には、符号器の帯域分割部にて縦方向と横方向の分割数を個別に設定し、それに対応して解像度レベルを決定する。

例として、縦方向の分割数を３、横方向の分割数を４の場合を図１６に示す。まず、等帯域分割部３０によって、画像を縦および横方向にそれぞれ３分割および４分割する。その後、分割された各帯域に対して、図１６に示すように解像度レベルを設定する。この場合、復号側では、例えばＲ_００のみを抽出すると縦１／３倍、横１／４倍の画像を復号できる。また、Ｒ_００、Ｒ_０１、Ｒ_０２、Ｒ_１０、Ｒ_１１、Ｒ_１２を抽出することで、縦方向に２／３倍、横方向に３／４倍といった変換比率が異なった画像を復号することが可能となる。

上述したように、解像度レベルは、図１３に示すように等間隔の場合や、図１５に示すように不等間隔の場合、あるいは図１６に示すように縦方向と横方向で異なる場合など種々のパターンが存在する。いずれの場合にも、復号器で復号可能とするために、図１４等に示したＲＬＣＰのデータ構造におけるヘッダに解像度レベルに関する情報が記述される。

解像度レベルに関してヘッダに記述される情報項目を以下に示す。
（１）ＸＹ：１ ｏｒ ０
（２）Decomposition Level: Ｍ
（３）Number of Resolution Levels: Ｌ_Ｒ
（４）Number of subbands included in Resolution Level i:
Number_R(i)（ｉ＝０，１， ・・・，Ｌ_Ｒ−１）
（１）の情報項目は、縦方向（Ｘ）と横方向（Ｙ）の解像度レベルが同じか異なるかを判断するためのフラッグである。異なる場合は１、同じ場合は０となる。（２）の情報項目は、帯域分割レベルの数である。（３）の情報項目は、解像度レベルの数である。（４）の情報項目は、Ｍ≠Ｌ_Ｒの場合のみに追加されるものであり、解像度レベルＲ（ｉ）に含まれる帯域数を示す。

縦方向と横方向の解像度レベルが異なる場合は、縦方向と横方向のそれぞれに対して、縦方向→横方向の順序で、上記（２）、（３）、（４）の情報を記述する。

例として、解像度レベルがそれぞれ図１３、図１５、図１６（右側）のように与えられたとき、上記ヘッダ情報は以下となる。

[図１３の場合]
（１） ＸＹ ＝ ０
（２） Ｍ ＝ ４
（３） Ｌ_Ｒ ＝ ４
［図１５の場合］
（１） ＸＹ ＝ ０
（２） Ｍ ＝ ４
（３） Ｌ_Ｒ ＝ ３
（４） Number_R(0)＝１, Number_R(1)＝２, Number_R(2)＝１
[図１６の場合]
（１） ＸＹ ＝ １
（２） Ｍ ＝ ３
（３） Ｌ_Ｒ＝ ３
（４） Ｍ ＝ ４
（５） Ｌ_Ｒ＝ ４
［第４の実施の形態］
本実施の形態では、帯域合成部としてフィルタバンクを、また、埋め込み型エントロピー符号化としてＥＢＣＯＴを用いた復号器を説明する。

図１７は、本発明の第４の実施の形態における復号器の構成を示す。この復号器は、前述の第３の実施の形態において符号化した圧縮データを復号化し、復号画像を出力する。

同図に示す復号器は、埋め込み型エントロピー符号化ＥＢＣＯＴの復号部（ＥＢＣＯＴ復号処理部）１１０〜１１２、逆量子化部１１３、等分割合成フィルタバンクによる帯域合成部１１４から構成されている。

復号部は、符号化コード抽出部１１０、算術復号部１１１、係数ビットモデリング復号部１１２を有している。

符号化コード抽出部１１０においては、符号化において優先付けされたデータを復号に必要な量だけ取り出す。図１８には、復号画像の解像度と解像度レベルとの関係（１２０）を示す。原画像の１／４サイズの画像を得るにはＲ_０のみ、２／４のサイズの画像を得るにはＲ_０，Ｒ_１の解像度レベルを、３／４のサイズの画像を得るには、Ｒ_０，Ｒ_１，Ｒ_２の解像度レベルを、原画像と同サイズの画像を得るにはＲ_０，Ｒ_１，Ｒ_２，Ｒ_３のすべての解像度レベルを抽出する。抽出された圧縮データは、算術復号化部１１１で算術復号され、係数ビットモデリング復号部１１２で係数ビットモデリング復号され、逆量子化部１１３で逆量子化された後、帯域合成部１１４へ入力される。

通常、解像度変換を行わない場合には、帯域合成部１１４では、図１９に示すように、帯域分割部と等しい数のフィルタバンクによって画像が復元される。Ｍ倍にアップサンプルされた信号は、それぞれ２π／Ｍの帯域幅を持つ各合成フィルタを通り、加算され出力を得る。この場合、出力画像の空間解像度は原画像の空間解像度に等しい。

原画像に対してＮ／Ｍ倍の解像度の画像を得るためには、合成フィルタバンクを図９の右図（５１）に示す構成にする。即ち、Ｎ／Ｍ倍の解像度変換は、Ｎ分割合成フィルタバンクを用いることによって実現できる。Ｎ倍にアップサンプリングされた信号は、それぞれ２π／Ｎの帯域幅を持つ各合成フィルタを通り、加算され、出力を得る。このとき、原画像のＮ／Ｍ倍の解像度の空間解像度を持つ画像となる。

さて、図１７の符号化コード抽出部１１０において、圧縮データの必要な部分だけを抽出する際に、どの解像度レベルのデータを抽出するかは、復号器に明示的に指定してもよいし、復号側の表示装置の解像度から復号器が自動的に算出するようにしてもよい。以下、自動的に算出する方法について説明する。

必要な解像度レベルを計算するには、ヘッダにおける（１）〜（４）の情報、及び原画像の解像度（Ｋ（縦）×Ｌ（横））が必要となるが、原画像の解像度も（１）〜（４）の情報に加えてヘッダに記述しておくことにより、ヘッダから上記の全ての情報を取得できる。なお、ヘッダを用いる代わりに、上記の情報の送受信を、符号器、復号器を利用するアプリケーション側で行ってもよい。

ここでは、最も一般的な例として、図１３のように縦方向と横方向の分割数が等しく、解像度レベルを等間隔に設定した場合の計算方法を示す。なお、原画像と復号画像のアスペクト比（画像の縦と横の解像度比率）は同じであると仮定する。また、復号側で与えられる表示装置の解像度はＸ（縦）×Ｙ（横）であるとする。

このとき必要な解像度レベルは、図２０のフローチャートに示す手順により計算される。

まず、ステップ１１において、１つの解像度レベルに対応する解像度の大きさを算出する。次に、ステップ１２において、復号画像の解像度とステップ１１で算出した１つの解像度レベルに対応する解像度の大きさとを比較し、復号画像の解像度が１つの解像度レベルに対応する解像度の大きさ以下であれば、必要な解像度レベルをＲ_０として処理を終了する。復号画像の解像度が１つの解像度レベルに対応する解像度の大きさより大きい場合にはステップ１３に進む。

ステップ１３において、必要な最大解像度レベルのインデックスｍａｘＲを算出する。なお、ｒｏｕｎｄ（）は切捨て演算子である。そして、ステップ１４において、必要な解像度レベル＝Ｒ_０，Ｒ_１，・・・，Ｒ_ｍａｘＲを決定し、処理を終了する。

なお、図１６に示すように縦方向と横方向の変換比率が異なる場合には、ステップ１１〜ステップ１３の処理を縦方向ならびに横方向に独立に行う。このとき、縦方向ならびに横方向に関して、必要な最大解像度レベルのインデックスをそれぞれｍａｘＲＸならびにｍａｘＲＹと定義すると、必要な解像度レベルは図２１に示す通りとなる。

なお、圧縮データの抽出を復号器でなく、符号器側で行う場合には、符号器側が復号器側の表示装置画面の解像度を取得し、抽出すべき解像度レベルを算出する。

［第５の実施の形態］
本実施の形態では、画像分割方法としてＤＣＴを用いた場合の符号器について説明する。図２２に、本実施の形態の符号器の構成を示す。

同図に示す符号器は、ＤＣＴによる帯域分割部１５０、量子化部１５１、埋め込み型のエントロピー符号化部（１５２〜１５４）を有している。

本実施の形態の帯域分割部１５０における帯域分割方法を図２３を参照して説明する。ＤＣＴによる帯域分割では、原画像をＭ×Ｍの大きさの小ブロックに分割し、小ブロック単位でＤＣＴ変換を行う。量子化部１５１においては、ＤＣＴ係数を量子化する。なお、第３の実施の形態と同様、符号化方法としてＥＢＣＯＴを用いることによって、圧縮データ量の制御が量子化を行わなくても可能であるために、量子化は省略可能である。埋め込み型のエントロピー符号化部における処理は、第３の実施の形態で説明した処理と基本的に同じである。

ＤＣＴ変換によって帯域分割を行った場合、空間解像度レベルは、図２４のように定義する。各小ブロック（Ｍ×Ｍ次のＤＣＴ変換）単位で、それぞれ解像度レベルの設定を行い、低周波のＤＣＴ係数から高周波のＤＣＴ係数へ向かって、Ｒ_０、Ｒ_１、・・・、Ｒ_Ｍ−１と設定する。

［第６の実施の形態］
本実施の形態では、第５の実施の形態に示す符号器により符号化した圧縮データを復号する復号器について説明する。図２５にその構成を示す。

同図に示す復号器は、ＥＢＣＯＴ復号処理部１６０〜１６２、逆量子化部１６３、ＩＤＣＴ（逆ＤＣＴ変換）による帯域合成部１６４、輝度調整部１６５を有している。

ＥＢＣＯＴ復号処理部の中の符号化コード抽出部１６０においては、第４の実施の形態と同様にして、符号化において優先付けられた圧縮データを復号に必要な量だけ抽出する。抽出された圧縮データは、算術復号、係数ビットモデリング復号され、逆量子化の後、帯域合成部（ＩＤＣＴ）１６４へ入力される。

解像度変換を伴わない通常のＤＣＴ変換→ＩＤＣＴ変換では、符号化と復号化の次数は等しく設定する。すなわち、Ｍ×ＭのＤＣＴ変換の逆変換は、Ｍ×ＭのＩＤＣＴ変換となる。

一方、本発明では、原画像に対してＮ／Ｍ倍の解像度の画像を得るために、図２６に示すように低域側のＮ×Ｎ個のＤＣＴ係数に対して、Ｎ×Ｎ次のＩＤＣＴ変換を行う。なお、Ｎ×Ｎ個以外の係数は破棄する。この処理を各小ブロックごとに行う。最後に輝度調整部１６５で輝度調整を行い、原画像のＮ／Ｍ倍の空間解像度を持つ画像を出力する。

なお、第１〜第６の実施の形態で説明した処理は、論理回路からなるハードウェアを用いて実現することもできるし、プログラムにより実現することもできる。プログラムで実現する場合、各実施の形態で説明した処理内容をプログラム化し、そのプログラムを、ＣＰＵ、メモリ、ハードディスク、通信装置等を備えたコンピュータにインストールし、実行すればよい。また、当該プログラムをＣＤ−ＲＯＭ、メモリ等の記録媒体に記録し、配布することもできる。

［第７の実施の形態］
本実施の形態では、本発明の適用例について説明する。一例として、１９２０×１０８０画素のＨＤＴＶ画像を、本発明の方法で符号化したときに復号可能な解像度について説明する。比較のために、ＪＰＥＧ２０００で符号化した場合の例を図２７に示す。分割レベル数を３とすると、復号可能な解像度は縦横それぞれ原画像の１／２^ｎ（ｎ＝１，２，３）であることから、復号可能な解像度は、
・２４０×１３５
・４８０×２７０
・９６０×５４０
・１９０２×１０８０
となる。このために、広く流通するＳＤＴＶ画像を復号できない。

一方、１９２０×１０８０のＨＤＴＶ画像を、本発明により符号化したときに復号可能な解像度を図２８に示す。復号可能な最小の解像度が上記のＪＰＥＧ２０００とほぼ同じ解像度となるように、横方向の分割数を８レベル、縦方向の分割数を９レベルに設定した。このとき、復号可能な最小の解像度は、２４０×１２０画素となり、一般的に２４０ｍ×１２０ｎ（但し、ｎ，ｍは正の整数、ｎ＝１，２，…，８，ｍ＝１，２，…，９）画素の画像が復号可能となる。この場合、広く流通する
・７２０×３６０（SDTV，上下に黒入れ）
・９６０×４８０（SDTV，左右をカット）
・１４４０×７２０（７２０ｐ，７２０ｉ）
・１９２０×１０８０（HDTV）
の画像が、単一の圧縮ファイルから容易に復号可能となる。

次に、本発明の方法を用いたシミュレーション結果を示す。シミュレーションでは、図２９に示す原画像（ＳＩＤＢＡ標準画像）を、本発明の符号化方法で符号化し、本発明の復号化方法により種々の解像度で復号した。図３０に復号画像を示す。シミュレーションにおける符号化パラメータは、分析フィルタバンクの帯域分割数：４×４、合成フィルタバンクの帯域分割数：１×１、２×２、３×３、タイル数：１、レイヤ数：１、コードブロックの大きさ：６４×６４である。符号器における圧縮レートは１／５であり、圧縮後のコードサイズは１２７０５バイトである。

また、図３１に、シミュレーションにおける復号画像のコードサイズと、各解像度に対応する参照画像と比較したＰＳＮＲ（Peak Signal to Noise Ratio）特性を示す。ここで、参照画像は理想的に画像の解像度変換を行うことにより得られる画像である。なお、かっこ内の値は、１画素あたりに換算したビット数ｂｐｐ（bits per pixel）であり、各解像度画像を復号するのに必要なビット数を各解像度で割った値である。図３１に示すように、良好なＰＳＮＲ特性が得られており、本発明の方法により得られた復号画像は劣化が小さいことがわかる。

上述のように、本発明によれば、効率の良い画像符号化ができ、少ないディスク容量で保存が可能になる。空間解像度スケーラビリティを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。低域から任意の帯域まで復号すると原画像よりも低い空間解像度の画像を再生でき、すべてのデータを復号すると、原画像と同じ解像度の画像が再生される。また、画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生する場合は、必要な帯域までに対応する符号化データの復号のみが必要とされる。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また、符号化ビットストリームを伝送する場合は必要なデータのみを伝送すればよいため、伝送レートも小さくなる。また、原画像の解像度の１／２^ｎ倍以外の大きさの解像度を持つ復号画像を得ることができる。

なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

ＪＰＥＧ２０００解像度スケーラビリティを示す図である。 本発明の一実施の形態における有理数倍の変換が可能な解像度スケーラビリティ機能を示す図である。 本発明の第１の実施の形態におけるスケーラブル符号器の基本構成図である。 第１の実施の形態におけるスケーラブル符号器の動作を説明するためのフローチャートである。 本発明の第２の実施の形態におけるスケーラブル復号器の基本構成図である。 第２の実施の形態におけるスケーラブル復号器の動作を説明するためのフローチャートである。 本発明の第３の実施の形態におけるフィルタバンクとＥＢＣＯＴを用いた符号器の構成図である。 Ｍａｌｌaｔ分割を説明するための図である。 本発明の第３の実施の形態におけるフィルタバンクを用いたＮ／Ｍ倍解像度変換を説明するための図である。 本発明の第３の実施の形態におけるＭａｌｌaｔ分割と等帯域分割を説明するための図である。 本発明の第３の実施の形態のＪＰＥＧ２０００における空間解像度レベルを示す図である。 ＲＰＣＬデータ構造を示す図である。 本発明の第３の実施の形態における空間解像度レベルを示す図である。 本発明の第３の実施の形態における空間解像度スケーラビリティを実現するＲＰＣＬデータ構造を示す図である。 解像度レベルを不等間隔に設定した例を示す図である。 画像の縦方向の変換比率と横方向の変換比率が異なる場合の例を示す図である。 本発明の第４の実施の形態におけるフィルタバンクとＥＢＣＯＴを用いた復号器の構成図である。 本発明の第４の実施の形態における解像度レベルと解像度の関係を示す図である。 解像度変換を行わない場合の一般的な等分割フィルタバンクの構成図である。 自動的に必要な解像度レベルを算出するためのフローチャートである。 縦方向と横方向の変換比率が異なる場合において算出された必要な解像度レベルの例である。 本発明の第５の実施の形態における符号器の構成図である。 第５の実施の形態における帯域分割方法を説明するための図である。 第５の実施の形態における空間解像度レベルの定義方法を示す図である。 本発明の第６の実施の形態における復号器の構成図である。 第６の実施の形態における復号器の帯域合成部における処理を説明するための図である。 ＪＰＥＧ２０００で符号化した場合に復号可能な解像度について説明するための図である。 本発明の第７の実施の形態におけるＨＤＴＶ画像を符号化したときの復号可能な解像度レベルを示す図である。 シミュレーションで使用した原画像である。 シミュレーションでの復号画像である。 シミュレーションにおける復号画像のコードサイズとＰＳＮＲ特性を示す表である。

Claims (22)

1. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号するための復号化方法であって、
   原画像をＭ個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化ステップと、
   復号化されたＮ個分の信号を合成する帯域合成ステップと
   を有することを特徴とする復号化方法。
2. 前記復号化ステップにより得られた信号を逆量子化する逆量子化ステップを更に有し、前記帯域合成ステップにおいて、当該逆量子化ステップにより得られた信号を合成する請求項１に記載の復号化方法。
3. 前記復号化ステップにおけるエントロピー復号化方法として静止画像国際標準ＪＰＥＧ２０００で用いられているＥＢＣＯＴを用い、前記帯域合成ステップにおいて等分割フィルタバンクを用いる請求項１に記載の復号化方法。
4. 原画像の解像度と所定の解像度を取得し、当該所定の解像度に適した前記Ｎの値を、原画像の解像度と前記分割数Ｍを用いて算出する算出ステップを更に有する請求項１に記載の復号化方法。
5. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号するための復号化方法であって、
   原画像をＭ個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化ステップと、
   復号化されたＮ個分の信号を合成する合成ステップと
   を有することを特徴とする復号化方法。
6. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号するための復号化装置であって、
   原画像をＭ個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化手段と、
   復号化されたＮ個分の信号を合成する帯域合成手段と
   を有することを特徴とする復号化装置。
7. 前記復号化手段により得られた信号を逆量子化する逆量子化手段を更に有し、前記帯域合成手段において、当該逆量子化手段により得られた信号を合成する請求項６に記載の復号化装置。
8. 前記復号化手段におけるエントロピー復号化方法として静止画像国際標準ＪＰＥＧ２０００で用いられているＥＢＣＯＴを用い、前記帯域合成手段において等分割フィルタバンクを用いる請求項６に記載の復号化装置。
9. 原画像の解像度と所定の解像度を取得し、当該所定の解像度に適した前記Ｎの値を、原画像の解像度と前記分割数Ｍを用いて算出する算出手段を更に有する請求項６に記載の復号化装置。
10. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号するための復号化装置であって、
    原画像をＭ個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化手段と、
    復号化されたＮ個分の信号を合成する合成手段と
    を有することを特徴とする復号化装置。
11. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムであって、
    原画像をＭ個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化手順と、
    復号化されたＮ個分の信号を合成する帯域合成手順と
    をコンピュータに実行させるプログラム。
12. 前記復号化手順により得られた信号を逆量子化する逆量子化手順を更に有し、前記帯域合成手順において、当該逆量子化手順により得られた信号を合成する請求項１１に記載のプログラム。
13. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムであって、
    原画像をＭ個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化手順と、
    復号化されたＮ個分の信号を合成する合成手順と
    をコンピュータに実行させるプログラム。
14. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    原画像をＭ個の等帯域に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数帯域側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化手順と、
    復号化されたＮ個分の信号を合成する帯域合成手順と
    をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
15. 前記復号化手順により得られた信号を逆量子化する逆量子化手順を更に有し、前記帯域合成手順において、当該逆量子化手順により得られた信号を合成する請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
16. 原画像に対してＮ／Ｍ倍（Ｍ、Ｎは整数であり、かつ、１≦Ｎ≦Ｍ、かつ、Ｍ＞２）の解像度で符号化データを復号する復号化処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    原画像をＭ個の周波数成分の係数に分割して符号化された符号化データを受信し、当該符号化データから、分割された複数の信号のうち低周波数成分側からＮ個分の信号を取り出してエントロピー復号化方法により復号化する復号化手順と、
    復号化されたＮ個分の信号を合成する合成手順と
    をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 原画像の符号化を行う符号化方法であって、
    入力された原画像を直交変換により複数の係数に変換する変換ステップと、
    前記複数の係数を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化ステップと
    を有することを特徴とする符号化方法。
18. 前記符号化ステップにおいて得られる符号化データは、前記複数の係数に対応する周波数成分において低周波数成分側から順に定義された解像度レベルの情報を含む請求項１７に記載の符号化方法。
19. 原画像の符号化を行う符号化装置であって、
    入力された原画像を直交変換により複数の係数に変換する変換手段と、
    前記複数の係数を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化手段と
    を有することを特徴とする符号化装置。
20. 前記符号化手段において得られる符号化データは、前記複数の係数に対応する周波数成分において低周波数成分側から順に定義された解像度レベルの情報を含む請求項１９に記載の符号化装置。
21. 原画像の符号化処理をコンピュータに実行させるプログラムであって、
    入力された原画像を直交変換により複数の係数に変換する変換手順と、
    前記複数の係数を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化手順と
    をコンピュータに実行させるプログラム。
22. 原画像の符号化処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    入力された原画像を直交変換により複数の係数に変換する変換手順と、
    前記複数の係数を、埋め込み型のエントロピー符号化方法を用いて符号化する符号化手順と
    をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。