JP2005110146A - 画像圧縮伸長システム、画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び、情報記録媒体 - Google Patents

Abstract

【課題】画像の非開示・開示を容易確実に管理でき、かつ、量子化テーブルを固定する必要がなく画像の性質に応じた適切な量子化を可能にする。
【解決手段】 画像圧縮装置１００は、画像データに関する１以上の特徴量及び指定された圧縮率に対応した量子化テーブルを前記量子化テーブル群保存装置３００より取得して量子化処理に使用し、該量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルが埋め込まれていない符号列を生成する。画像伸長装置２００は、圧縮された符号列中のヘッダ・データに記述されている情報に基づいて量子化テーブル群保存装置３００より量子化テーブルを取得し逆量子化処理に用いる。
【選択図】図１

Description

本発明は、画像処理装置、方法、コンピュータが実行できるプログラムおよびそれを格納した記録媒体に関する。

国際標準として決められた、あるいは事実上の標準として使われている画像圧縮伸長処理方式は数多いが、多くのユーザに認知されて初めて広く普及するのであるから、いずれの方式も使用者に負担をかけないような仕組が取り入れられている。具体的には、ほぼ全ての画像に対して、ある程度の画像品質を維持しながら、画像の圧縮・伸長を行うことができるように、汎用性の高い量子化テーブルを経験的に見つけ出し、それを共通の量子化テーブルとして使っている。そして、通常、この量子化テーブルは、画像圧縮装置や画像伸長装置に内蔵されるか、画像圧縮装置から出力される符号列の中に埋め込まれる。図１６に、量子化テーブルをヘッダデータとペイロードデータの間に埋め込む例を示す。

しかしながら、このように量子化テーブルを固定すると、次のような問題が生じていた。一つは、情報セキュリティに関わる問題で、開示したくない画像の保護が難しいということである。もう一つは、画像品質に関わる問題で、画像の特性やユーザの嗜好に合わせて画像データを最適に符号化することができないことである。

前者のセキュリティに関する問題については、符号データにスクランブルをかける方法や、認証鍵を設ける方法などが従来から知られているが、処理が煩雑であり、また外部からの侵入を完全に防ぐことは難しい。

後者の画像品質に関わる問題は、「圧縮率」という１つの軸だけを見て、「動き量」「サブバンド符号量分布」といった重要な軸を考慮せずに画像の圧縮が行われているためであり、高精細な画像領域がぼやける、動き量が少ない画像にもかかわらず符号量が多い、といった現象がしばしば生じていることである。

なお、２００１年に国際標準となったＪＰＥＧ２０００が、現在普及している静止画像圧縮方式ＪＰＥＧの後継アルゴリズムとして注目されている。このＪＰＥＧ２０００を利用する画像圧縮装置に関し、ブロック単位で動き情報、テキスチャの詳細度情報を用いてウェーブレット係数の量子化を制御する技術が特許文献１に記載されている。

ここで、本発明の実施の形態の説明の理解のためにＪＰＥＧ２０００の概要について説明する。図１０は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを実現するためのシステムのブロック図である。このシステムは、色空間変換・逆変換部、二次元ウエーブレット変換・逆変換部、量子化・逆量子化部、エントロピー符号化・復号化部、タグ処理部の各機能ブロックにより構成されている。

このシステムが、従来のＪＰＥＧｋアルゴリズムと比較して最も大きく異なる点の一つは周波数変換方法である。ＪＰＥＧでは周波数変換に離散コサイン変換（ＤＣＴ）が用いられている。これに対し、ＪＰＥＧ２０００の階層符号化アルゴリズムでは、周波数変換に離散ウエーブレット変換（ＤＷＴ）が用いられることである。ＤＷＴはＤＣＴに比べて高圧縮領域における画質が良いという長所を持ち、この点が、ＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。

また、他の大きな相違点は、ＪＰＥＧ２０００の階層符号化アルゴリズムでは、システムの最終段に符号形成をおこなうためのタグ処理部という機能ブロックが追加されていることである。このタグ処理部において、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できる。例えば、ブロック・ベースでのＤＷＴのオクターブ分割に対応した任意の階層(デコンポジション・レベル)で圧縮伸長動作を自由に停止させることができる（図１２参照）。

ＪＰＥＧ２０００では、図１０に示すように、原画像の入出力部分に色空間変換部・逆変換部が接続される場合が多い。例えば、原色系のR(赤)／G(緑)／B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)／M(マゼンタ)／C(シアン)の各コンポーネントからなるYMC表色系から、YUV
あるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。

次に、ＪＰＥＧ２０００における圧縮（符号化）処理の流れを説明する。カラー画像は、一般に、図１１に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域によって分割される。この分割された矩形領域はタイルと呼ばれる。図１１の例では、各コンポーネントが縦横4×4、合計16個の矩形のタイルに分割されている。このような個々のタイルが画像データの圧縮伸長プロセスを実行する際の基本単位となり、画像データの圧縮伸長動作はコンポーネントごとに、かつ、タイルごとに、独立に行なわれる。

画像データの符号化時には、各コンポーネントの各タイルのデータは、色空間変換・逆変換部で色空間変換を施された後、二次元ウエーブレット変換・逆変換部で二次元ウエーブレット変換(順変換)が適用されて周波数帯域（サブバンド）に空間分割される。

図１２に、デコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブバンドを示す。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL) (デコンポジション・レベル０)に対して、二次元ウェーブレット変換を施し、デコンポジション・レベル１のサブバンド(1LL,
1HL, 1LH, 1HH)を分離する（ｂ）。そして引き続き、この階層における低周波成分１LLに対して、二次元ウェーブレット変換を施し、デコンポジション・レベル２のサブバンド(2LL,
2HL, 2LH, 2HH)を分離する。同様に、低周波成分2LLに対しても二次元ウェーブレット変換を施し、デコンポジション・レベル３のサブバンド(3LL,
3HL, 3LH, 3HH)を分離する。なお、大きなデコンポジション・レベルは上位階層レベルに、また、小さなデコンポジション・レベルは下位階層レベル」に、各々対応する。

次に、指定した符号化の順番で符号化の対象となるビットが定められ、量子化・逆量子化部で対象ビット周辺のビットからコンテキストが生成される。

量子化・逆量子化部で量子化されたウエーブレット係数は、サブバンドごとに、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図１５に示すように、一つのプレシンクトは、空間的に一致した三つの矩形領域からなっている。個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分割される。これは、エントロピー符号化を行う際の基本単位となる。

エントロピー符号化・復号化部では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部は、エントロピー符号化・復号化部からの全符号化データを、一本の符号列データに結合するとともに、それにタグ及びタグ情報を付加する処理を行うことにより、図１３に示すような構造のコードストリームを生成する。図示のように、コードストリームの先頭と各タイルの符号データ(bit stream)の先頭には、ヘッダ(header)と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、符号列データの終端には、再びタグ(end of codestream)が置かれる。

図１４に、符号化されたウエーブレット係数値の収容されたパケットを、サブバンドごとに表わした時の、コード・ストリーム構造を示す。（ａ）はタイル分割を行わない場合の構造であり、（ｂ）は４タイルに分割した場合の構造である。タイル分割の有無に関わらず、図１４中の最下段に例示するような同様のパケット列構造を持っている。

一方、復号化（伸長）時には、符号化時とは逆に、各コンポーネントの各タイルの符号列データから、画像データを生成する。この場合、タグ処理部は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネントの各タイルの符号列データに分解し、その各コンポーネントの各タイルの符号列データごとに復号化処理が行われる。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部で、このコンテキストと符号列データから確率推定によって復号化を行って対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各サブバンド毎に空間分割されているため、これを二次元ウェーブレット逆変換・逆変換部で二次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部によって元の表色系のデータに変換される。

以上がＪＰＥＧ２０００のアルゴリズムの概要である。なお、静止画像すなわち単フレームに対するＪＰＥＧ２０００アルゴリズムを複数フレームに拡張したものがＭｏｔｉｏｎ−ＪＰＥＧ２０００のアルゴリズムである。

特開２００１−３２６９３６号公報

本発明の目的は、国際標準の画像圧縮伸長方式や事実上の標準として利用されている画像圧縮伸長方式を逸脱することなく、圧縮画像の非開示・開示の容易かつ確実なコントロールと、個々の画像の持つ特質やユーザの嗜好に応じた最適な画像データの圧縮とを可能にすることである。

請求項１の発明は、画像データの圧縮処理を行い符号列を生成する画像圧縮装置と、該画像圧縮装置により生成される符号列の伸長処理を行い画像データを生成する画像伸長装置と、量子化テーブル群を保存している量子化テーブル群保存装置とがネットワークに接続された画像圧縮伸長システムにおいて、
前記画像圧縮装置は、画像データに関する１以上の特徴量及び指定された圧縮率に対応した量子化テーブルを前記量子化テーブル群保存装置より取得し、該量子化テーブルを圧縮処理に含まれる量子化処理に使用し、該使用された量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルを含まない符号列を生成し、
前記画像伸長装置は、前記画像圧縮装置により生成された符号列中のヘッダ・データに記述されている情報に基づいて前記量子化テーブル群保存装置より量子化テーブルを取得し、該量子化テーブルを伸長処理に含まれる逆量子化処理に用いる、ことを特徴とする画像圧縮伸長システムである。

請求項２の発明は、請求項１の発明による画像圧縮伸長システムに利に用可能な画像圧縮装置であって、
画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像データに対し指定された圧縮率の圧縮処理を行い符号列を生成する圧縮処理手段と、
前記画像入力手段により入力された画像データに関する１以上の特徴量を求める解析手段と、
前記解析手段により求められた１以上の特徴量及び前記指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得手段と、
前記圧縮処理手段により生成された符号列を出力する符号列出力手段と、
を有し、
前記圧縮処理手段は、圧縮処理に含まれる量子化処理に前記量子化テーブル取得手段により取得された量子化テーブルを使用し、該量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルを含まない符号列を生成することを特徴とする画像圧縮装置である。

請求項３の発明は、請求項１の発明による画像圧縮伸長システムに利用可能な画像圧縮装置であって、
画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像データに関する１以上の特徴量を求める解析手段と、
前記画像入力手段により入力された画像データを１以上の矩形領域毎に周波数変換して階層的に周波数帯域に分割された周波数変換係数を生成する周波数変換手段と、
前記解析手段により求められた１以上の特徴量及び指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得手段と、
前記量子化テーブル取得手段により取得された量子化テーブルを用いて、前記周波数変換手段により生成された周波数変換係数を量子化する量子化手段と、
前記量子化手段により量子化後の周波数係数を符号化する符号化手段と、
前記符号化手段による符号化データをペイロード・データとし、その先頭に、量子化に用いられた量子化テーブルを識別するための情報が記述されたヘッダ・データを結合してなる符号列を作成する符号列作成手段と、
前記符号列作成手段で作成された符号列を出力する符号列出力手段と、
を有することを特徴とする画像圧縮装置である。

請求項４の発明は、前記解析手段は、前記周波数変換手段により生成された周波数変換係数から動き量と周波数帯域符号量分布を特徴量として求める手段であることを特徴とする請求項３の発明による画像圧縮装置である。

請求項５の発明は、量子化テーブルは動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値を持ち、符号列中のヘッダ・データには、動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値が記述されることを特徴とする請求項４の発明による画像圧縮装置である。

請求項６の発明は、動き量に対応する量子化インデックス値は、相前後するフレーム間における周波数変換係数の相関係数値より求められることを特徴とする請求項５の発明による画像圧縮装置である。

請求項７の発明は、周波数帯域符号量分布に対応する量子化インデックス値は、各周波数帯域又は複数の周波数帯域に含まれる周波数変換係数の符号量和を表すヒストグラムから求められることを特徴とする請求項５の発明による画像圧縮装置である。

請求項８の発明は、周波数変換は離散ウェーブレット変換であることを特徴とする請求項３の発明による画像圧縮装置である。

請求項９の発明は、請求項１の発明による画像圧縮伸長システムに利用可能な画像伸長装置であって、
画像データの圧縮データである符号列を入力する符号列入力手段と、
前記符号列入力手段により入力された符号列の伸長処理を行い画像データを生成する伸長処理手段と、
前記伸長処理手段により生成された画像データを出力する画像出力手段と、
前記符号列入力手段により入力された符号列中のヘッダ・データに記述されている量子化テーブルの識別のための情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得手段と、
を有し、
前記伸長処理手段は、前記伸長処理に含まれる逆量子化処理に、前記量子化テーブル取得手段により取得された量子化テーブルを使用することを特徴とする画像伸長装置である。

請求項１０の発明は、請求項１の発明による画像圧縮伸長システムに利用可能な画像伸長装置であって、
画像データの圧縮データである符号列を入力する符号列入力手段と、
前記符号列入力手段により入力された符号列中のヘッダ・データとペイロード・データを分離し、ヘッダ・データに記述されている情報を解析する構文解析手段と、
前記構文解析手段の解析結果に基づいて、符号列中のペイロード・データを復号化する復号化手段と、
前記構文解析手段により前記ヘッダ・データより抽出された量子化テーブルの識別のたの情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得手段と、
前記復号化手段により復号化された周波数変換係数を、前記量子化テーブル取得手段により取得された量子化テーブルを用いて逆量子化する逆量子化手段と、
前記逆量子化手段により逆量子化された周波数変換係数に対し周波数逆変換を行う周波数逆変換手段と、
前記周波数逆変換手段の周波数逆変換により生成された画像データを出力する画像出力手段と、を有することを特徴とする画像伸長装置である。

請求項１１の発明は、画像データを入力する画像入力ステップと、
前記画像入力ステップにより入力された画像データに対し指定された圧縮率の圧縮処理を行い符号列を生成する圧縮処理ステップと、
前記画像入力ステップにより入力された画像データに関する１以上の特徴量を求める解析ステップと、
前記解析ステップにより求められた１以上の特徴量及び前記指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得ステップと、
前記圧縮処理ステップにより生成された符号列を出力する符号列出力ステップと、
を有し、
前記圧縮処理ステップは、圧縮処理に含まれる量子化処理に前記量子化テーブル取得ステップにより取得された量子化テーブルを使用し、該量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルを含まない符号列を生成することを特徴とする画像圧縮方法である。

請求項１２の発明は、画像データを入力する画像入力ステップと、
前記画像入力ステップにより入力された画像データに関する１以上の特徴量を求める解析ステップと、
前記画像入力ステップにより入力された画像データを１以上の矩形領域毎に周波数変換して階層的に周波数帯域に分割された周波数変換係数を生成する周波数変換ステップと、
前記解析ステップにより求められた１以上の特徴量及び指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得ステップと、
前記量子化テーブル取得ステップにより取得された量子化テーブルを用いて、前記周波数変換ステップにより生成された周波数変換係数を量子化する量子化ステップと、
前記量子化ステップにより量子化後の周波数係数を符号化する符号化ステップと、
前記符号化ステップによる符号化データをペイロード・データとし、その先頭に、量子化に用いられた量子化テーブルを識別するための情報が記述されたヘッダ・データを結合してなる符号列を作成する符号列作成ステップと、
前記符号列作成ステップで作成された符号列を出力する符号列出力ステップと、
を有することを特徴とする画像圧縮方法である。

請求項１３の発明は、前記解析ステップは、前記周波数変換ステップにより生成された周波数変換係数から動き量と周波数帯域符号量分布を特徴量として求めることを特徴とする請求項１２の発明による画像圧縮方法である。

請求項１４の発明は、量子化テーブルは動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値を持ち、符号列中のヘッダ・データには、動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値が記述されることを特徴とする請求項１３の発明による画像圧縮方法である。

請求項１５の発明は、画像データの圧縮データである符号列を入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列の伸長処理を行い画像データを生成する伸長処理ステップと、
前記伸長処理ステップにより生成された画像データを出力する画像出力ステップと、
前記符号列入力ステップにより入力された符号列中のヘッダ・データに記述されている量子化テーブルの識別のための情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得ステップと、
を有し、
前記伸長処理ステップは、前記伸長処理に含まれる逆量子化処理に、前記量子化テーブル取得ステップにより取得された量子化テーブルを使用することを特徴とする画像伸長方法である。

請求項１６の発明は、画像データの圧縮データである符号列を入力する符号列入力ステップと、
前記符号列入力ステップにより入力された符号列中のヘッダ・データとペイロード・データを分離し、ヘッダ・データに記述されている情報を解析する構文解析ステップと、
前記構文解析ステップの解析結果に基づいて、符号列中のペイロード・データを復号化する復号化ステップと、
前記構文解析ステップにより前記ヘッダ・データより抽出された量子化テーブルの識別のたの情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得ステップと、
前記復号化ステップにより復号化された周波数変換係数を、前記量子化テーブル取得ステップにより取得された量子化テーブルを用いて逆量子化する逆量子化ステップと、
前記逆量子化ステップにより逆量子化された周波数変換係数に対し周波数逆変換を行う周波数逆変換ステップと、
前記周波数逆変換ステップの周波数逆変換により生成された画像データを出力する画像出力ステップと、を有することを特徴とする画像伸長方法である。

請求項１７の発明は、請求項１乃至１０のいずれか１項の発明の各手段としてコンピュータを機能させるプログラムである。

請求項１８の発明は、請求項１１乃至１６のいずれか１項の発明の各ステップをコンピュータに実行させるプログラムである。

請求項１９の発明は、請求項１７又は１８の発明のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

本発明によれば、画像圧縮伸長に関する国際標準方式又は事実上の標準方式から逸脱することなく、圧縮画像の非開示・開示を容易かつ確実に管理することができる。また、圧縮に利用する量子化テーブルを固定する必要がないため、画像の領域毎の動き量や周波数帯符号量分布などの特徴量を考慮し、個々の画像の特性に応じた最適な量子化テーブルを用いることができ、画質の良好な圧縮が可能になる、等々の効果を得られる。

図１に、本発明の画像圧縮伸長システムの例を示す。１００は画像データの圧縮処理を行い符号列を出力する本発明の画像圧縮装置、２００は画像データが圧縮された符号列を画像データに伸長する本発明の画像伸長装置、３００は画像圧縮装置１００及び画像伸長装置２００で利用可能な量子化テーブル群を保存している量子化テーブル群保存装置、３０２は圧縮された符号列を記憶するための符号列記憶装置である。これらの装置はネットワーク３０３（例えば、ＬＡＮ、イントラネット、インターネットなど）に接続され、ネットワーク３０３経由で相互に通信可能である。画像圧縮装置１００及び画像伸長装置２００はそれぞれ１台ずつ示されいるが、その台数は任意である。画像伸長装置２００は、圧縮された符号列を画像圧縮装置１００により直接的に取り込むことも、符号列記憶装置３０２から取り込むことも可能である。

画像圧縮装置１００は、画像データを入力する画像入力手段と、入力画像データに対し指定された圧縮率の圧縮処理を行い符号列を生成する圧縮処理手段と、入力画像データに関する１以上の特徴量を求める解析手段と、前記解析手段により求められた１以上の特徴量及び前記指定された圧縮率に対応した量子化テーブルを、ネットワーク３０３を通じて量子化テーブル群保存装置３００より取得する量子化テーブル取得手段と、前記圧縮処理手段により生成された符号列をネットワーク３０３を通じて符号列記憶装置３０２又は画像伸長装置２００へ出力する符号列出力手段とを有し、前記圧縮処理手段は、圧縮処理に含まれる量子化処理に前記量子化テーブル取得手段により取得された量子化テーブルを使用し、該量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルを含まない符号列を生成する構成である。より具体的な構成については後述する。

画像伸長装置２００は、符号列記憶装置３０２又は画像圧縮装置１００よりネットワーク３０３を通じて符号列を入力する符号列入力手段と、入力された符号列の伸長処理を行い画像データを生成する伸長処理手段と、前記伸長処理手段により生成された画像データを出力する画像出力手段と、前記符号列入力手段により入力された符号列中のヘッダ・データに記述されている量子化テーブルの識別のための情報に従って、ネットワーク３０３を通じて量子化テーブル群保存装置３００より量子化テーブルを取得する量子化テーブル取得手段とを有し、前記伸長処理手段は、前記伸長処理に含まれる逆量子化処理に、前記量子化テーブル取得手段により取得された量子化テーブルを使用する構成である。より具体的な構成については後述する。

本発明の画像圧縮装置１００より出力される符号列には、圧縮時の量子化処理に使用された量子化テーブルは埋め込まれていない。その符号列を正常に伸長することができる画像伸長装置は、量子化テーブル群保存装置３００より当該量子化テーブルを取得することができる本発明の画像伸長装置２００だけに限られる。量子化テーブル群保存装置３００にアクセスできない画像伸長装置や、そのアクセスが可能であっても、符号列中のヘッダ・データに記述されている量子化テーブル子識別情報を正しく解釈し当該量子化テーブルを取得する機能のない画像伸長装置は、符号列を正常に伸長することができない。また、圧縮画像を非開示にしたい場合には、ネットワーク上の量子化テーブル群保存装置３００そのものを隠すか、該当する量子化テーブルのアクセスを制限すればよく、この際、符号列に手を加える必要はない。このように、圧縮画像の非開示・開示を容易かつ確実に管理することができる。また、圧縮に利用する量子化テーブルを固定する必要がないため、個々の画像の特性を考慮した最適な量子化を行うことができる。

以下、本発明の画像圧縮装置及び画像伸長装置の実施例について説明する。ここでは、圧縮伸長アルゴリズムとしてＪＰＥＧ２０００のアルゴリズムを利用するものとして説明する。なお、扱う画像はＭｏｔｉｎ静止画像とし、その個々のフレームの静止画像はＪＰＥＧ２０００のアルゴリズムにより独立に圧縮され、また、伸長されるものとする。

図２は本発明の画像圧縮装置１００の一実施例を示すブロック図、図３は図２中の画像解析手段１０７の具体的構成例を示すブロック図である。

図２において、１０１は画像データを入力する画像入力手段である。周波数変換手段１０２は、入力画像データを１以上のタイル（矩形領域）に分割し、各タイル毎に二次元離散ウェーブレット変換を行い、階層的にサブバンド（周波数帯域）に分割されたウェーブレット変換係数（周波数変換係数）を生成する。量子化手段１０３は、量子化テーブル取得手段１０８により取得された量子化テーブルを用いて、各サブバンドの係数を量子化する。量子化後のウェーブレット変換係数は、符号化手段１０４によりサブバンド毎にビットプレーン単位でエントロピー符号化される。符号列作成手段１０５は、符号化手段１０４より出力される符号をペイロード・データとし、その先頭に、量子化手段１０３で使用された量子化テーブルを識別するための情報が記述されたヘッダ・データを結合した、量子化テーブルが埋め込まれていない符号列を作成する。この符号列は符号列出力手段１０６により出力される。

画像解析手段１０７は、入力画像データに関する１以上の特徴量をタイル毎に求める手段である。この実施例においては、画像解析手段１０７は、動き量とサブバンド（周波数帯域）符号量分布を特徴量として求めるもので、図３に示すような構成を有する。図３において、パケット長検出手段１２０は、タイル毎に、周波数変換手段１０２で得られたパケットの長さを検出する。パケット長記憶手段１２２には、検出されたパケット長を一時的に記憶する手段である。差分検出手段１２３は、現フレームのパケット長と、パケット長記憶手段１２２に記憶されている前フレームのパケット長との差分をタイル毎に検出する。このパケット長の差分は、相前後するフレーム間のウェーブレット変換係数の相関係数値であり、これは動き量に対応した量子化インデックス値（動き量インデックス値）として量子化テーブル取得手段１０８へ入力される。サブバンド符号量分布検出手段１２１は、各サブバンド毎又は複数サブバンド毎に、パケット長の和（ウェーブレット変換係数の符号量和）のヒストグラムを求め、サブハンド符号量分布に対応した量子化インデックス値（サブバンド符号量分布インデックス値）を出力する。量子化テーブル取得手段１０８は、ユーザにより指定された圧縮率に対応した量子化インデックス値（圧縮率インデックス値）、動き量インデックス値及びサブバンド符号量インデックス値をネットワーク３０３を通じて量子化テーブル群保存装置３００へ送信し、量子化テーブル群保存装置３００より該当する量子化インデックス値を持つ１以上の量子化テーブルを受信する。受信した量子化テーブルは量子化手段１０３へ与えられ、ウェーブレット変換係数の量子化処理に用いられることは前述の通りである。

なお、この実施例においては、符号列作成手段１０５により作成される符号列中のヘッダ・データに記述される量子化テーブルの識別用情報とし、量子化テーブルの量子化インデックス値（圧縮率インデックス値、動き量インデックス値、サブハンド符号量分布インデックス値）が用いられる。

量子化テーブル群保存装置３００に保存されている量子化テーブル群の模式図を図５に示す。図示のように、量子化テーブルは、動き量、サブバトン符号量分布、圧縮率の各値に対応した量子化インデックス値（圧縮率インデックス値、動き量インデックス値、サブバンド符号量分布インデックス値）を持つ。圧縮率インデックス値は可逆（ロスレス）圧縮の場合も含まれる。従来は、図６に示すように圧縮率という１つの軸のみを考慮した量子化テーブルを用いて量子化を行っていた。これに対し、動き量、サブバンド符号量分布、圧縮率の３つの軸を考慮した量子化テーブルを量子化に利用することにより、画質の良好な画像圧縮が可能となるが、これについては後述する。

なお、以上では、タイル毎の動き量、サブバンド、圧縮率の各量子化インデックス値を量子化テーブル群保存装置３００へ送信し、それら量子化インデックス値を持つ１つ以上の量子化テーブルを取得すると説明した。しかし、量子化テーブル取得手段１０８から例えば圧縮率インデックス値のみ送信することにより、同じ圧縮率インデックス値を持つ量子化テーブル群（例えば図５の下側の図に示す量子化テーブル群）を取得し、この量子化テーブル群の中から、各タイル毎に、動き量インデックス値及びサブバンド符号量インデックス値を持つ量子化テーブルを選択して量子化手段１０３へ与えるようにしてもよいことは当然であり、かかる態様も本発明に包含される。このことは後述する画像伸長装置の場合においても同様である。

図４は、本発明による画像伸長装置２００の一実施例を示すブロック図である。図４において、２０１は画像データの圧縮データである符号列を入力する符号列入力手段である。構文解析手段２０２は、入力された符号列中のヘッダ・データとペイロード・データを分離し、ヘッダ・データに記述されている情報を解析する。復号化手段２０３は、構文解析手段２０２の解析結果に基づいて、符号列中のペイロード・データを復号化しウェーブレット変換係数（周波数変換係数）を生成する。逆量子化手段２０４は、量子化テーブル選択手段２０７により取得された量子化テーブルを用いて、復号化手段２０３により復号化されたウェーブレット変換係数の逆量子化を行う。周波数逆変換手段２０５は、逆量子化手段２０４により逆量子化されたウェーブレット変換係数に二次元離散ウェーブレット逆変換（周波数変換係数）を適用し、画像データに戻す。この画像データは画像出力手段２０６により出力される。

構文解析手段２０２は、前記ヘッダ・データより量子化テーブルの識別のたの情報（ここでは、動き量、サブバンド符号量分布、圧縮率の各インデックス値）を抽出し、それを量子化テーブル取得手段２０７に与える。量子化テーブル取得手段２０７は、画像圧縮装置の量子化テーブル取得手段１０８（図２）と同様の手段であり、ネットワークを通じて量子化テーブル群保存装置３００より該当する１以上の量子化テーブルを取得し、それを逆量子化手段２０４に与える。

ここで、図５に示したような量子化テーブルを用いるメリットについて、図７乃至図９を参照して説明する。

従来、Ｍｏｔｉｏｎ静止画像の圧縮は、フレーム内の静止画像に対して最適化された「量子化」だけに目が向けられ、動画像固有の視覚特性を考慮した「量子化」が行われていなかった。本来、フレーム間の動き量は、画像領域毎に異なるのに、従来は、動き量が全画像領域に渡って均一であると仮定していた。その結果、静止画像の表示時には予想できなかった、全く新たな画像品質の劣化が、動画像表示の時にしばしば現れていた。

図８は、動き量を無視してサブバンド符号を一律に削減する、従来の量子化方法を示している。ここで、縦軸は動き量を表し、現フレームとそれ以前のフレームとの間におけるウェーブレット係数値の差分から求められる相関係数値が使われている。また、横軸は、タイルの単位を表している。なお、タイルにつけられた番号（タイル＃）は図７で定義されたものである。

動き量について見ると、図８の上側の図に見られるように、タイルＡは大きく、タイルＣは小さいというように、タイルごとに異なっている。しかし、従来の方法では、画像全体を一律な動き量に置換えていた。この例では、図８の下側の図に見られるように、全てのタイルの動き量が「無し」として扱われている。したがって、動き量の大小に関わらず唯一の量子化テーブルが参照されていた。

また、フレーム内静止画像の量子化も、圧縮率あるいはビットレートで一義的に定義された唯一の「量子化テーブル」を用いていた。本来、サブバンドの符合量分布は、画像領域毎に異なるはずなのに、従来は、そうしたことを全く考慮していなかった。その結果、高域成分の多い画像、低域成分の多い画像、高域から低域まで広く分布した画像など、原画像の性質によって量子化された画像の画質が大きく変動していた。

図９は、符号量の分布を無視して、サブバンド符号を一律に削減する、従来の量子化方法を示している。縦軸は、最上位階層の(デコンポジシン・レベル数が最大の)低域サブバンド符号量を「１」に規格化した時の相対符号量を表している。また、横軸は、サブバンドを表している。

そして、タイルごとの符号量分布を示す曲線のうち、細線の部分は、符号量の削除対象となるサブバンドを、一方、太線の部分は、符号量がそのまま保存されるサブバンドを、各々表している。(a)は符号量の削減対象となるサブバンドの数が多い場合、(b)はそれが少ない場合で、それぞれ圧縮率の低い場合と高い場合に対応している。タイル番号Ａ，Ｂ，Ｃ，Ｄは図７で定義されているものである。

タイルＡ，Ｄは高域まで符号データを保持している。タイルＢは中域に比較的多くの情報を、タイルＣは低域にほとんどの情報を、それぞれ保有している。このように、タイルごとにサブバンド符号量の異なる場合においても、従来の方法では、符号量分布に関係なく、サブバンド符号データを一律に削減していた。その結果、特に圧縮率の高い場合に、中域から高域のデータ量が相対的に多いタイルＡ，Ｂ，Ｄの画質は、低域にデータが集中しているタイルＣの画質に比較して劣化が顕著であった。

上記の内容を具体的に説明するために、圧縮伸長アルゴリズムにＭｏｔｉｏｎ−ＪＰＥＧ２０００を使用した場合に生ずる現象について、以下に詳しく観察結果を述べる。

図７は、動画像コンテンツから、連続する三つのフレームを抜き出したものである。この例では、動き量の少ない景色を背景にして走る自転車を表している。動き量の大きなダイル、逆に小さなタイル、の区別が比較的し易い画像である。今、四つのタイルに注目する。タイル#=Ａは中心から下に、タイル#=Ｂは左上に、タイル#=Ｃは中心から上に、タイル#=Ｄは右上に、各々位置している。

フレーム間の動き量もサブバンドの符号量分布もを考慮しない、従来の量子化によって符号化されたＭｏｔｉｏｎ静止画像を伸長表示させると、以下に述べるような現象が現れる。

タイル#＝Ａ：
自転車は、撮影点から一番近い距離にあり、構造上の特徴から高域サブバンドの符号量分布が大きい。圧縮率が高くなるに従い高域サブバンドの符号量が減らされるので、フレーム内の静止画像で、車輪のスポーク部分を一本一本判別するのが難しくなる。動く自転車のスポークの判別は、人間の持つ動体視力の限界以上なので、動画像に与える影響はそれ程大きくはない。

タイル#＝Ｂ：
遠景と前景の自転車の中間に位置している樹の動き量は、ほとんど無い。葉の部分は、中域サブバンドの符号量分布が大きい。圧縮率が高くなるに従い、フレーム内静止画像で葉の一枚一枚を区別することが難しくなる。但し、その傾向は、タイル＃＝Ａにおける自転車のスポークほど強くはない。

タイル#＝Ｃ：
遠景には、低域サブバンドの符号量分布が大きいスカイラインが配置されている。圧縮率が高くなっても、符号量削減の影響を比較的受けにくい。但し、動き量がほとんど無いので、低域サブバンドのデータが僅かでも削られると、フレーム内静止画像全体にボケが広がってしまう。動画像で見ると、背景に「モヤモヤとした歪」が生じ、非常に目障りとなる。

タイル#＝Ｄ
画像領域内には樹の輪郭部分が多く存在する。その結果、符号量の分布において、高域側のデータ量がやや多い点が、タイル#=Ｃとは異なる。タイル#=Ｃと画像を比較した時、フレーム内静止画像にはあまり差は現れない。しかし、動画像を表示させた時には、「モヤモヤとした歪」がより顕著に現れる。これは、削られた高域成分の量が多いためであると思われる。

本発明によれば、量子化テーブルは固定されず、画像の特性に応じて、例えば図５に示すような最適な量子化テーブルを量子化に使用することができるため、上に述べたような画質の劣化を効果的に抑制可能であることは、これまでの説明から明らかである。

なお、本発明で使用される周波数変換は離散ウェーブレット変換のみに限られるものではなく、離散コサイン変換（ＤＣＴ）を用いることも可能である。

本発明の画像圧縮伸長システムの構成例を示す図である。 本発明の画像圧縮装置の一実施例を示すブロック図である。 図２中の画像解析手段の構成例を示すブロック図である。 本発明の画像伸長装置の一実施例を示すブロック図である。 本発明で使用される量子化テーブルの説明図である。 圧縮率のみ考慮された量子化テーブルの説明図である。 従来の量子化に関連した画質劣化の説明図である。 図７に示した幾つかのタイルの動き量に関する説明図である。 図７に示した幾つかのタイルについてのサブバンド毎の符号量と一律に量子化することによる問題点の説明図である。、 ＪＰＥＧ２０００のシステムの説明図である。 コンポーネント毎のタイル分割の説明図である。 二次元離散ウェーブレット変換によるオクターブ分割の説明図である。 ＪＰＥＧ２０００のコードストリームの構造の説明図である。 符号化されたウェーブレット係数の収容されたパケットをサブバンド毎に表した、コードストリーム構造の説明図である。。 画像、タイル、プリシンクト、コードブロックの説明図である。 量子化テーブルが埋め込まれた符号列の説明図である。

符号の説明

１００ 画像圧縮装置
１０１ 画像入力手段
１０２ 周波数変換手段
１０３ 量子化手段
１０４ 符号化手段
１０５ 符号列作成手段
１０７ 画像解析手段
１０８ 量子化テーブル取得手段
２００ 画像伸長装置
２０１ 符号列入力手段
２０２ 構文解析手段
２０３ 復号化手段
２０４ 逆量子化手段
２０５ 周波数逆変換手段
２０６ 画像出力手段
２０７ 量子化テーブル取得手段
３００ 量子化テーブル群保存装置
３０２ 符号列記憶装置
３０３ ネットワーク

Claims (19)

1. 画像データの圧縮処理を行い符号列を生成する画像圧縮装置と、該画像圧縮装置により生成される符号列の伸長処理を行い画像データを生成する画像伸長装置と、量子化テーブル群を保存している量子化テーブル群保存装置とがネットワークに接続された画像圧縮伸長システムにおいて、
   前記画像圧縮装置は、画像データに関する１以上の特徴量及び指定された圧縮率に対応した量子化テーブルを前記量子化テーブル群保存装置より取得し、該量子化テーブルを圧縮処理に含まれる量子化処理に使用し、該使用された量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルを含まない符号列を生成し、
   前記画像伸長装置は、前記画像圧縮装置により生成された符号列中のヘッダ・データに記述されている情報に基づいて前記量子化テーブル群保存装置より量子化テーブルを取得し、該量子化テーブルを伸長処理に含まれる逆量子化処理に用いる、ことを特徴とする画像圧縮伸長システム。
2. 請求項１に記載の画像圧縮伸長システムに利用可能な画像圧縮装置であって、
   画像データを入力する画像入力手段と、
   
   前記画像入力手段により入力された画像データに対し指定された圧縮率の圧縮処理を行い符号列を生成する圧縮処理手段と、
   前記画像入力手段により入力された画像データに関する１以上の特徴量を求める解析手段と、
   前記解析手段により求められた１以上の特徴量及び前記指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得手段と、
   前記圧縮処理手段により生成された符号列を出力する符号列出力手段と、
   を有し、
   前記圧縮処理手段は、圧縮処理に含まれる量子化処理に前記量子化テーブル取得手段により取得された量子化テーブルを使用し、該量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルを含まない符号列を生成することを特徴とする画像圧縮装置。
3. 請求項１に記載の画像圧縮伸長システムに利用可能な画像圧縮装置であって、
   画像データを入力する画像入力手段と、
   前記画像入力手段により入力された画像データに関する１以上の特徴量を求める解析手段と、
   前記画像入力手段により入力された画像データを１以上の矩形領域毎に周波数変換して階層的に周波数帯域に分割された周波数変換係数を生成する周波数変換手段と、
   前記解析手段により求められた１以上の特徴量及び指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得手段と、
   前記量子化テーブル取得手段により取得された量子化テーブルを用いて、前記周波数変換手段により生成された周波数変換係数を量子化する量子化手段と、
   前記量子化手段により量子化後の周波数係数を符号化する符号化手段と、
   前記符号化手段による符号化データをペイロード・データとし、その先頭に、量子化に用いられた量子化テーブルを識別するための情報が記述されたヘッダ・データを結合してなる、量子化テーブルが埋め込まれていない符号列を作成する符号列作成手段と、
   前記符号列作成手段で作成された符号列を出力する符号列出力手段と、
   を有することを特徴とする画像圧縮装置。
4. 前記解析手段は、前記周波数変換手段により生成された周波数変換係数から動き量と周波数帯域符号量分布を特徴量として求める手段であることを特徴とする請求項３に記載の画像圧縮装置。
5. 量子化テーブルは動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値を持ち、符号列中のヘッダ・データには、動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値が記述されることを特徴とする請求項４に記載の画像圧縮装置。
6. 動き量に対応する量子化インデックス値は、相前後するフレーム間における周波数変換係数の相関係数値より求められることを特徴とする請求項５に記載の画像圧縮装置。
7. 周波数帯域符号量分布に対応する量子化インデックス値は、各周波数帯域又は複数の周波数帯域に含まれる周波数変換係数の符号量和を表すヒストグラムから求められることを特徴とする請求項５に記載の画像圧縮装置。
8. 周波数変換は離散ウェーブレット変換であることを特徴とする請求項３に記載の画像圧縮装置。
9. 請求項１に記載の画像圧縮伸長システムに利用可能な画像伸長装置であって、
   画像データの圧縮データである符号列を入力する符号列入力手段と、
   前記符号列入力手段により入力された符号列の伸長処理を行い画像データを生成する伸長処理手段と、
   前記伸長処理手段により生成された画像データを出力する画像出力手段と、
   前記符号列入力手段により入力された符号列中のヘッダ・データに記述されている量子化テーブルの識別のための情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得手段と、
   を有し、
   前記伸長処理手段は、前記伸長処理に含まれる逆量子化処理に、前記量子化テーブル取得手段により取得された量子化テーブルを使用することを特徴とする画像伸長装置。
10. 請求項１に記載の画像圧縮伸長システムに利用可能な画像伸長装置であって、
    画像データの圧縮データである符号列を入力する符号列入力手段と、
    前記符号列入力手段により入力された符号列中のヘッダ・データとペイロード・データを分離し、ヘッダ・データに記述されている情報を解析する構文解析手段と、
    前記構文解析手段の解析結果に基づいて、符号列中のペイロード・データを復号化する復号化手段と、
    前記構文解析手段により前記ヘッダ・データより抽出された量子化テーブルの識別のたの情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得手段と、
    前記復号化手段により復号化された周波数変換係数を、前記量子化テーブル取得手段により取得された量子化テーブルを用いて逆量子化する逆量子化手段と、
    前記逆量子化手段により逆量子化された周波数変換係数に対し周波数逆変換を行う周波数逆変換手段と、
    前記周波数逆変換手段の周波数逆変換により生成された画像データを出力する画像出力手段と、を有することを特徴とする画像伸長装置。
11. 画像データを入力する画像入力ステップと、
    前記画像入力ステップにより入力された画像データに対し指定された圧縮率の圧縮処理を行い符号列を生成する圧縮処理ステップと、
    前記画像入力ステップにより入力された画像データに関する１以上の特徴量を求める解析ステップと、
    前記解析ステップにより求められた１以上の特徴量及び前記指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得ステップと、
    前記圧縮処理ステップにより生成された符号列を出力する符号列出力ステップと、
    を有し、
    前記圧縮処理ステップは、圧縮処理に含まれる量子化処理に前記量子化テーブル取得ステップにより取得された量子化テーブルを使用し、該量子化テーブルを識別するための情報が記述されたヘッダ・データを持ち、量子化テーブルを含まない符号列を生成することを特徴とする画像圧縮方法。
12. 画像データを入力する画像入力ステップと、
    前記画像入力ステップにより入力された画像データに関する１以上の特徴量を求める解析ステップと、
    前記画像入力ステップにより入力された画像データを１以上の矩形領域毎に周波数変換して階層的に周波数帯域に分割された周波数変換係数を生成する周波数変換ステップと、
    前記解析ステップにより求められた１以上の特徴量及び指定された圧縮率に対応した量子化テーブルを、ネットワークを通じて量子化テーブル群保存装置より取得する量子化テーブル取得ステップと、
    前記量子化テーブル取得ステップにより取得された量子化テーブルを用いて、前記周波数変換ステップにより生成された周波数変換係数を量子化する量子化ステップと、
    前記量子化ステップにより量子化後の周波数係数を符号化する符号化ステップと、
    前記符号化ステップによる符号化データをペイロード・データとし、その先頭に、量子化に用いられた量子化テーブルを識別するための情報が記述されたヘッダ・データを結合してなる、量子化テーブルが埋め込まれていない符号列を作成する符号列作成ステップと、
    前記符号列作成ステップで作成された符号列を出力する符号列出力ステップと、
    を有することを特徴とする画像圧縮方法。
13. 前記解析ステップは、前記周波数変換ステップにより生成された周波数変換係数から動き量と周波数帯域符号量分布を特徴量として求めることを特徴とする請求項１２に記載の画像圧縮方法。
14. 量子化テーブルは動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値を持ち、符号列中のヘッダ・データには、動き量、周波数帯域符号量分布、圧縮率の各値に対応した量子化インデックス値が記述されることを特徴とする請求項１３に記載の画像圧縮方法。
15. 画像データの圧縮データである符号列を入力する符号列入力ステップと、
    前記符号列入力ステップにより入力された符号列の伸長処理を行い画像データを生成する伸長処理ステップと、
    前記伸長処理ステップにより生成された画像データを出力する画像出力ステップと、
    前記符号列入力ステップにより入力された符号列中のヘッダ・データに記述されている量子化テーブルの識別のための情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得ステップと、
    を有し、
    前記伸長処理ステップは、前記伸長処理に含まれる逆量子化処理に、前記量子化テーブル取得ステップにより取得された量子化テーブルを使用することを特徴とする画像伸長方法。
16. 画像データの圧縮データである符号列を入力する符号列入力ステップと、
    前記符号列入力ステップにより入力された符号列中のヘッダ・データとペイロード・データを分離し、ヘッダ・データに記述されている情報を解析する構文解析ステップと、
    前記構文解析ステップの解析結果に基づいて、符号列中のペイロード・データを復号化する復号化ステップと、
    前記構文解析ステップにより前記ヘッダ・データより抽出された量子化テーブルの識別のたの情報に従って、ネットワークを通じて量子化テーブル群保存装置より量子化テーブルを取得する量子化テーブル取得ステップと、
    前記復号化ステップにより復号化された周波数変換係数を、前記量子化テーブル取得ステップにより取得された量子化テーブルを用いて逆量子化する逆量子化ステップと、
    前記逆量子化ステップにより逆量子化された周波数変換係数に対し周波数逆変換を行う周波数逆変換ステップと、
    前記周波数逆変換ステップの周波数逆変換により生成された画像データを出力する画像出力ステップと、を有することを特徴とする画像伸長方法。
17. 請求項１乃至１０のいずれか１項に記載の各手段としてコンピュータを機能させるプログラム。
18. 請求項１１乃至１６のいずれか１項に記載の各ステップをコンピュータに実行させるプログラム。
19. 請求項１７又は１８に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images