JP2007124619A - 画像処理装置、画像処理方法、プログラム、情報記録媒体 - Google Patents

Abstract

【課題】画像の圧縮処理又は画像の伸長処理を行う画像処理装置の処理速度を柔軟に制御できるようにする。
【解決手段】圧縮処理の各処理工程を実行する手段である色空間変換部１０１、ウェーブレット変換部１０２、量子化部１０３、エントロピー符号化部１０４に、本来の（正規の）処理を実行するための正規処理手段１０１ａ，１０２ａ，１０３ａ，１０４ａと、より高速な簡易化した処理を実行するための簡易処理手段１０１ｂ，１０２ｂ，１０３ｂ，１０４ｂを持たせ、各処理の実行に正規処理手段と簡易処理手段のいずれを用いるかを制御部１０７により選択できるようにする。
【選択図】図１

Description

本発明は、画像の圧縮・伸長を行う画像処理装置及び方法に係り、特に、圧縮・伸長処理の速度を柔軟に制御可能な画像処理装置及び方法に関する。

新しい画像圧縮方式ＪＰＥＧ２０００は、その高機能ゆえに処理負荷が大きいという問題点が指摘されている。この問題点は、動画像のリアルタイム処理の場合に特に深刻である。

特許文献１には、ＪＰＥＧ２０００で圧縮された動画像のリアルタイム復号のための技術が記載されている。この先行技術においては、各フレームにおいて、輝度Ｙの復号処理を実行し、次に色差Ｃｂの復号処理を実行し、最後に色差Ｃｒの復号処理を実行する。その際、各コンポーネントについて処理の経過時間を監視し、制限時間を越えると逆ウェーブレット変換を中止して「簡略化処理」に移行することにより、各フレームの復号を所定時間内に終了させてコマ落ちを防止する。

上記「簡略化処理」として次のような例が示されている。あるサブバンド（例えばＬＨサブバンド）の処理の途中で制限時間を超えた場合、その時点で処理が未完了のサブバンド（例えばＬＨ，ＨＬ，ＨＨサブバンド）の係数を”０”に置き換え（無効化し）、制限時間を超えた時点でＬＬサブバンドさえ処理が未完了のときには、ＬＬサブバンドの下位ビットプレーンの処理をスキップするとともに、ＬＨ，ＨＬ，ＨＨの各サブバンドの係数を無効化する。

特開２００２−３２５２５７号公報

しかし、上記先行技術のような、逆ウェーブレット変換処理段階でのサブバンド係数の無効化や下位ビットプレーンのスキップ（破棄）のみでは、必ずしも十分な処理高速化効果・処理負荷軽減効果を達成できない。また、上記先行技術は、処理経過時間に応じた制御であって、ユーザの意図、画像の特性、ヘッダ情報などに応じて処理速度・処理負荷を制御する目的に適用できない。

以上の点に鑑み、本発明は、画像の圧縮又は伸長のための処理速度・処理負荷をより柔軟に制御可能な画像処理装置及びその方法を提供することを目的とするものである。

請求項１記載の発明は、画像データに対し複数の処理工程からなる圧縮処理を行う画像処理装置であって、前記複数の処理工程に対応した複数の処理手段を有し、
前記複数の処理手段中の２以上の特定処理手段はそれぞれ正規の処理を実行するための正規処理手段と、該正規の処理を簡易化した処理を実行するための簡易処理手段とを含み、かつ、
前記各特定処理手段による処理の実行に、その前記正規処理手段と前記簡易処理手段のいずれを用いるか選択する制御手段を有することを特徴とする画像処理装置である。

請求項２記載の発明は、符号データに対し複数の処理工程からなる伸長処理を行う画像処理装置であって、
前記複数の処理工程に対応した複数の処理手段を有し、
前記複数の処理手段中の２以上の特定処理手段はそれぞれ正規の処理を実行するための正規処理手段と、該正規の処理を簡易化した処理を実行するための簡易処理手段とを含み、かつ、
前記各特定処理手段による処理の実行に、その前記正規処理手段と前記簡易処理手段のいずれを用いるか選択する制御手段を有することを特徴とする画像処理装置である。

請求項３の発明は、画像データに対し圧縮処理を行う画像処理方法であって、
前記圧縮処理のための複数の処理工程を有し、
前記複数の処理工程中の２以上の特定処理工程はそれぞれ正規の処理を実行するための正規処理工程と、該正規の処理を簡易化した処理を実行するための簡易処理工程とを含み、かつ、
前記各特定処理工程で、その前記正規処理工程と前記簡易処理工程のいずれを用いるか選択する制御工程を有することを特徴とする画像処理方法である。

請求項４記載の発明は、符号データに対し伸長処理を行う画像処理方法であって、
前記伸長処理のための複数の処理工程を有し、
前記複数の処理工程中の２以上の特定処理工程はそれぞれ正規の処理を実行するための正規処理工程と、該正規の処理を簡易化した処理を実行するための簡易処理工程とを含み、かつ、
前記各特定処理工程で、その前記正規処理工程と前記簡易処理工程のいずれを用いるか選択する制御工程を有することを特徴とする画像処理方法である。

請求項１，２記載の発明によれば、例えばユーザの意図や、画像の解像度、処理結果の利用目的等に応じて、各特定処理手段の正規処理手段又は簡易処理手段を選択することにより圧縮又は伸長のための処理速度・処理負荷を柔軟に制御可能である。

請求項３，４記載の発明によれば、例えばユーザの意図や、画像の解像度、処理結果の利用目的等に応じて、各特定処理工程の正規処理工程又は簡易処理工程を選択することにより圧縮又は伸長のための処理速度・処理負荷を柔軟に制御可能である。

ここで、ＪＰＥＧ２０００のアルゴリズムの概要を説明する。図３はＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。

まず圧縮処理（符号化処理）について説明する。画像は矩形のタイルに分割されて処理される(分割数≧１)。各タイルは、色空間変換部／逆色空間変換部１の色空間変換部によって輝度Ｙ及び色差Ｃｂ，Ｃｒの各コンポ−ネントへ変換される。ＲＧＢ画像データなどの場合には、色空間変換に先立ってダイナミックレンジの半分を減ずるＤＣレベルシフトが施される。

色空間変換後の各コンポ−ネント（タイルコンポ−ネント）は、ウェーブレット変換部／逆ウェーブレット変換部２のウェーブレット変換部でウェーブレット変換が適用されサブバンドに分割される。

図４にデコンポジションレベル数が３の場合のサブバンド分割の様子を示す。図４において、（ａ）のタイルコンポーネントに対して１回目の２次元ウェーブレット変換が適用されることにより、（ｂ）に示すサブバンド(1LL,1HL,1LH,1HH)に分割される。このデコンポジションレベル１の低周波成分である１LLサブバンドの係数に対して２回目の２次元ウェーブレット変換が適用されることにより、（ｃ）に示すサブバンド(2LL,2HL,2LH,2HH)に分割される。このデコンポジションレベル２の2LLサブバンドの係数に対して３回目の２次元ウェーブレット変換が適用されることにより、（ｄ）に示すデコンポジションレベル３のサブバンド(3LL,3HL,3LH,3HH)に分割される。なお、（ｄ）の各サブバンド内の括弧で囲まれた数字は解像度レベルを示す。

再び図３を参照する。ウェーブレット係数に対し、サブバンド毎に、量子化部／逆量子化部３の量子化部によって線形量子化が施される。ただし、可逆ウェーブレット変換が用いられる場合には、この線形量子化は行われない。

次に、エントロピー符号化部／エントロピー復号化部４のエントロピー符号化部によって、各サブバンド係数のエントロピー符号化が行われる。より詳しくは、図５に例示するように、各サブバンドはプレシンクトと呼ばれる重複しない矩形領域に分割される。同じデコンポジションレベルのＬＨ，ＨＬ，ＨＨサブバンドの空間的に一致した３つの矩形領域が１つのプレシンクトとして扱われる。ただし、ＬＬサブバンドは１つの矩形領域が１つのプレシンクトとして扱われる。プレシンクトは大まかには画像領域の位置を表すものである。プレシンクトをさらに矩形に分割したものがコードブロックであり、エントロピー符号化の単位である。ＪＰＥＧ２０００では、ウェーブレット係数に対し、コードブロック毎にＭＱエンコーダと呼ばれる算術符号化器を用いてビットプレーン符号化を行う。

次に、タグ処理部５において、不要なエントロピー符号を破棄し、必要なエントロピー符号をまとめてパケットを生成する。パケットとは、プレシンクトに含まれる全てのコードブロックの符号の一部を集めたもの（例えばプレシンクト内の全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）に、パケットヘッダを付けたものである。各パケットは独立に扱うことができる符号の単位である。ＪＰＥＧ２０００の符号データは、独立に扱うことが可能な部分符号であるパケットの集合からなる。

パケットは、コンポーネント番号（色成分）、解像度レベル、プレシンクト番号、レイヤー番号の４種類のインデックス（タイル番号を含めれば５種類のインデックス）を有する。ただし、パケットヘッダには当該パケットに含まれる符号に関する情報（後述）が含まれるが、該パケットがどのようなインデックスを持つものであるかはパケットヘッダからは分からない。

さて、レイヤーであるが、全てのプレシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、タイルコンポーネント全域の符号の一部（例えば、タイルコンポーネント全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。

デコンポジションレベル数＝２、プレシンクトのサイズ＝サブバンドのサイズ、としたときのレイヤー分割例を図６の上段に示す。レイヤーに含まれるパケットの例を図６の下段に太枠で囲んで示す。

最後に、タグ処理部５において、生成したパケットを、そのインデックスに従って階層的に配列するとともに必要なタグ又はタグ情報を付加することにより、ＪＰＥＧ２０００の符号データ（コードストリーム）を形成する。このパケットの配列順をプログレッションオーダと呼び、ＪＰＥＧ２０００では５通りのプログレッションオーダが規定されている。

次に伸長処理（復号処理）について説明する。タグ処理部５において符号データのタグ情報を解析し、符号データを各コンポーネントの各タイルのコードストリームに分割し、さらにパケットに分割し、さらにパケットの符号をコードブロック毎に分割する。エントロピー符号化部／エントロピー復号化部４のエントロピー復号化部において、コードブロック毎に符号のエントロピー復号を行う。このエントロピー復号は、ＭＱデコーダと呼ばれる算術復号器を用いたビットプレーン復号である。符号化時に線形量子化が行われた符号データの場合、エントロピー復号によって得られたウェーブレット係数の量子化係数に対し、量子化部／逆量子化部３の逆量子化部によりサブバンド毎に逆線形量子化が施される。次にウェーブレット変換部／逆ウェーブレット変換部２の逆ウェーブレット変換部によってタイル毎に逆ウェーブレット変換が行われ、生成されたタイルコンポーネントに対し色空間変換部／逆色空間変換部１の逆色空間変換部によって逆色空間変換が施される。符号化時にＤＣレベルシフトが行われている場合には逆ＤＣレベルシフトも施される。

以下、本発明の実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置のブロック図である。この画像処理装置１００は、画像データ１０８（ここではＲＧＢデータとする）を入力し、それに対しＪＰＥＧ２０００の圧縮アルゴリズムに従って圧縮処理を施すことにより符号データ１０９を生成するものである。

この圧縮処理は、前述のように色空間変換、ウェーブレット変換、量子化、エントロピー符号化、符号形成の各処理工程からなる。画像処理装置１００は、それら各処理工程のための処理手段として、色空間変換部１０１、ウェーブレット変換部１０２、量子化部１０３、エントロピー符号化部１０４、符号形成部１０５を備える。これら各処理手段は、対応した本来の（正規の）処理を実行するための正規処理手段と、その処理を簡易化した、より高速な処理を実行する簡易処理手段とから構成される。

すなわち、色空間変換部１０１は、正規の（本来の）色空間変換処理を実行するための正規処理手段１０１ａと、より高速の簡易色空間変換処理を実行するための簡易処理手段１０１ｂからなる。ウェーブレット変換部１０２は、正規の（本来の）ウェーブレット変換処理を実行するための正規処理手段１０２ａと、より高速の簡易ウェーブレット変換処理を実行するための簡易処理手段１０２ｂからなる。量子化部１０３は、正規の（本来の）量子化処理を実行するための正規処理手段１０３ａと、より高速の簡易量子化処理を実行するための簡易処理手段１０３ｂからなる。また、エントロピー符号化部１０４は、正規の（本来の）エントロピー符号化処理を実行するための正規処理手段１０４ａと、より高速な簡易エントロピー符号化処理を実行するための簡易処理手段１０４ｂからなる。

画像処理装置１００はさらに、入力された画像データや、その処理の中間データなどを一時的に記憶するための手段であるデータ記憶部１０６と、画像データ１０８の取り込みの制御、データ記憶部１０６と各処理部１０１，１０２，１０３，１０４，１０５との間のデータ転送の制御、各処理部１０１〜１０４内の正規処理手段１０１ａ〜１０４ａ又は簡易処理手段１０１ｂ〜１０４ｂを選択する制御、符号データ１０９の送出の制御などを行う手段である制御部１０７を備える。

制御部１０７による各処理部１０１〜１０４内の正規処理手段１０１ａ〜１０４ａと簡易処理手段１０１ｂ〜１０４ｂの選択制御は、例えば、ユーザからの指示、入力画像データの解像度などの特性、符号データの利用目的等に応じて行わせることができる。さらには、この制御を、各画像データに対する圧縮処理の進行状況に応じて行わせることもできる。

なお、このような画像処理装置１００は、ハードウェアとして実現することも、ＣＰＵやメモリなどから構成されるコンピュータを利用しプログラムによって実現することも可能である。後者のためのプログラム、すなわち各処理部１０１〜１０５、データ記憶部１０６、制御部１０７に対応した手段としてコンピュータを機能させるプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な各種の情報記録媒体も本発明に包含されるものである。

以下、圧縮処理動作について説明する。なお、ＪＰＥＧ２０００の圧縮アルゴリズムは前述した通りであるので、その説明は繰り返さず、ここでは本発明に特有な動作を中心に説明する。

まず、制御部１０７は、画像データ１０８を読み込みデータ記憶部１０６に記憶させる制御を行う。なお、入力画像データ１０８は、静止画像のデータである場合と、動画像の各フレームの画像データである場合とがある。

次に制御部１０７は、色空間変換部１０１内の正規処理手段１０１ａ又は簡易処理手段１０１ｂを選択する制御をし、その選択した処理手段による処理に必要な画像データをデータ記憶部１０６より色空間変換部１０１へ転送する制御を行う。色空間変換部１０１は、正規処理手段１０１ａが選択された場合には正規の色空間変換処理を実行し、簡易処理手段１０１ｂが選択された場合には簡易色空間変換処理を実行し、変換後の画像データ（Ｙ，Ｃｂ，Ｃｒデータ）を出力する。この変換後の画像データは制御部１０７の制御によりデータ記憶部１０６へ転送され記憶される。

次に制御部１０７は、ウェーブレット変換部１０２内の正規処理手段１０２ａ又は簡易処理手段１０２ｂを選択する制御をし、その選択した処理手段による処理に必要な色空間変換後の画像データをデータ記憶部１０６よりウェーブレット変換部１０２へ転送する制御を行う。ウェーブレット変換部１０２は、正規処理手段１０２ａが選択された場合には正規のウェーブレット変換処理を実行し、簡易処理手段１０２ｂが選択された場合には簡易ウェーブレット変換処理を実行し、変換結果であるウェーブレット係数データを出力する。このウェーブレット係数データは制御部１０７の制御によりデータ記憶部１０６へ転送され記憶される。

次に制御部１０７は、量子化部１０３内の正規処理手段１０３ａ又は簡易処理手段１０３ｂを選択する制御をし、その選択した処理手段による処理に必要なウェーブレット係数データをデータ記憶部１０６より量子化部１０３へ転送する制御を行う。量子化部１０３は、正規処理手段１０３ａが選択された場合には正規の量子化処理を実行し、簡易処理手段１０３ｂが選択された場合には簡易量子化処理を実行し、処理後のウェーブレット係数データを出力する。このウェーブレット係数データは制御部１０７の制御によりデータ記憶部１０６へ転送され記憶される。

次に制御部１０７は、エントロピー符号化部１０４内の正規処理手段１０４ａ又は簡易処理手段１０４ｂを選択する制御をし、その選択した処理手段による処理に必要な量子化後のウェーブレット係数データをデータ記憶部１０６よりエントロピー符号化部１０４へ転送する制御を行う。エントロピー符号化部１０４は、正規処理手段１０４ａが選択された場合には正規のエントロピー符号化処理を実行し、簡易処理手段１０４ｂが選択された場合には簡易エントロピー符号化処理を実行し、エントロピー符号を出力する。このエントロピー符号は制御部１０７の制御によりデータ記憶部１０６へ転送され記憶される。

最後に、制御部１０７の制御によりデータ記憶部１０６よりエントロピー符号が符号形成部１０５へ転送される。符号形成部１０５は、エントロピー符号を集めてパケットを生成し、パケットを所定の順に並べるととともに必要なタグ及びタグ情報を付加することによって所定フォーマットの符号データ（コードストリーム）を生成し、それを制御部１０７の制御の下に外部へ出力する。なお、符号データをデータ記憶部１０６に一旦蓄積した後に外部へ出力する構成とすることも可能である。

ここで、正規処理手段１０１ａ〜１０４ａによる処理内容と簡易処理手段１０１ｂ〜１０４ｂによる処理内容について具体例を説明する。

まず、色空間変換部１０１はＲＧＢ成分から輝度成分Ｙ・色差成分（Ｃｂ，Ｃｒ）への色空間変換を行うが、正規処理手段１０１ａでは例えば
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６
Ｃｂ＝−０．１４８Ｒ−０．２９１Ｇ＋０．４８９Ｂ＋１２８
Ｃｒ＝０．４３９Ｒ−０．３６８Ｇ−０．０７１Ｂ＋１２８ ．．．式（１）
による色空間変換処理（正規の色空間変換処理）を実行する。

一方、簡易処理手段１０１ｂは、上記正規色空間変換より高速の簡易化した色空間変換処理を行う。その例を次に示す。

（ａ）有効桁数を省略して上記式（１）の演算を行う。すなわち、Ｒ，Ｇ，Ｂ値の上位８ビットのみ利用して上記（１）式の演算を行い、Ｙ、Ｃｂ、Ｃｒ値も上位８ビットのみをデータ記憶部１０７に書き込む。なお、画質に対する寄与の大小を考慮し、色成分毎に簡略化処理に差をつけてもよい。このような簡易処理とすることにより、ＳＩＭＤ命令などにより複数の計算を同時に実施可能なデータ数が増え、正規処理に比べ高速処理が可能となる。

（ｂ）計算式そのものを簡略化する。例えば次式
Ｙ＝０．２６Ｒ＋０．５０Ｇ＋０．１０Ｂ＋１６
Ｃｂ＝−０．１５Ｒ−０．２９Ｇ＋０．４９Ｂ＋１２８
Ｃｒ＝０．４４Ｒ−０．３７Ｇ−０．０７Ｂ＋１２８ ．．．式（２）
又は次式
Ｙ＝０．２６７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６
Ｃｂ＝０
Ｃｒ＝０ ．．．式（３）
によりＹ，Ｃｂ，Ｃｒを計算する。

ウェーブレット変換部１０２は、Ｙ，Ｃｂ，Ｃｒの各コンポーネント毎に、垂直方向へウェーブレット変換し、次に水平方向へウェーブレット変換することにより２次元ウェーブレット変換を実施する。

正規処理手段１０２ａは、低周波成分の計算式ＦＬ（）、高周波成分の計算式ＦＨ（）
Ｌ（ｎ）＝ＦＬ（ｎ）
＝Ｙ（２ｎ）
−Ｆｌｏｏｒ（（Ｙ（２ｎ−１）＋Y（２ｎ＋１）＋２）／４）
Ｈ（ｎ）＝ＦＨ（ｎ）
＝Ｙ（２ｎ＋１）
＋Ｆｌｏｏｒ（（Ｌ（ｎ）＋Ｌ（ｎ＋１））／２） ．．．式（４）
を用いて２次元のウェーブレット変換処理を行う。この２次元ウェーブレット変換式は
ＬＬ（ｎ） ＝Ｌ（Ｌ（ｎ））
ＨＬ（ｎ） ＝Ｈ（Ｌ（ｎ））
ＬＨ（ｎ） ＝Ｌ（Ｈ（ｎ））
ＨＨ（ｎ） ＝Ｈ（Ｈ（ｎ）） ．．．式（５）
で表される。以上が正規のウェーブレット変換処理である。

一方、簡易処理手段１０２ｂは、上記正規ウェーブレット変換処理を簡易化した処理を実行する。例えば、次式
ＬＬ（ｎ）＝Ｌ（Ｌ（ｎ））
ＨＬ（ｎ）＝０
ＬＨ（ｎ）＝０
ＨＨ（ｎ）＝０ ．．．式（６）
又は次式
ＬＬ（ｎ）＝Ｌ（Ｌ（ｎ））
ＨＬ（ｎ）＝Ｈ（Ｌ（ｎ））
ＬＨ（ｎ）＝０
ＨＨ（ｎ）＝０ ．．．式（７）
の演算を実行する。なお、色変換処理と同様に、各コンポーネントの上位８ビットのみを用いる簡易処理とすることも可能である。

量子化部１０３において、正規処理手段１０３ａは、サブバンド毎に、ウェーブレット係数をサブバンド固有の量子化ステップ数で除算する線形量子化を行う。一方、簡易処理手段１０３ｂは、例えば、ウェーブレット係数の上位８ビットのみ用いた同様の線形量子化を行い、あるいは、特定のサブバンドについては同様の線形量子化を行い、それ以外のサブバンドにつていは一律に量子化値を０にするような処理を行う。

エントロピー符号化部１０４において、正規処理手段１０４ａは、量子化後のウェーブレット係数に対し上位ビットから順にビットプレーン単位でＭＱ符号化と呼ばれる算術符号化を行う。一方、簡易処理手段１０４ｂは、例えば、ウェーブレット係数の上位数ビットのみを対象として同様の符号化を行ったり、下位ビットプレーンの値を全て０として同様の符号化を行ったりする。場合によっては、値を０とした下位ビットプレーンの符号化結果を予め準備しておく方法をとることもできる。

なお、図１中の各処理部１０１〜１０４を圧縮処理の各処理工程、正規処理手段１０１ａ〜１０４ａと簡易処理手段１０１ｂ〜１０４ｂを各処理工程中の正規処理工程と簡易処理工程に置き換えれば、以上の説明は画像データを圧縮処理するための本発明に係る画像処理方法の実施形態の説明でもあることも明らかである。

［第２の実施形態］
図２は、本発明の第２の実施形態に係る画像処理装置のブロック図である。この画像処理装置２００は、ＪＰＥＧ２０００の符号データ２０９を入力し、それに対しＪＰＥＧ２０００のアルゴリズムに従って伸長処理を施すことにより画像データ２０８を生成するものである。

この伸長処理は、前述したように符号解析、エントロピー復号、逆量子化、逆ウェーブレット変換、逆色空間変換の各処理工程からなる。画像処理装置２００は、それら各処理工程のための処理手段として、符号解析部２０５、エントロピー復号部２０４、逆量子化部２０３、逆ウェーブレット変換部２０２、逆色空間変換部２０１を備える。これら各処理手段は、対応した本来の（正規の）処理を実行するための正規処理手段と、その処理を簡易化した、より高速な処理を実行する簡易処理手段とから構成される。

すなわち、逆色空間変換部２０１は、正規の（本来の）逆色空間変換処理を実行するための正規処理手段２０１ａと、より高速の簡易逆色空間変換処理を実行するための簡易処理手段２０１ｂからなる。逆ウェーブレット変換部２０２は、正規の（本来の）逆ウェーブレット変換処理を実行するための正規処理手段２０２ａと、より高速の簡易逆ウェーブレット変換処理を実行するための簡易処理手段２０２ｂからなる。逆量子化部２０３は、正規の（本来の）逆量子化処理を実行するための正規処理手段２０３ａと、より高速の簡易逆量子化処理を実行するための簡易処理手段２０３ｂからなる。また、エントロピー復号部２０４は、正規の（本来の）エントロピー復号処理を実行するための正規処理手段２０４ａと、より高速な簡易エントロピー復号処理を実行するための簡易処理手段２０４ｂからなる。

画像処理装置２００はさらに、符号や中間データ、伸長された画像データを一時的に記憶するための手段であるデータ記憶部２０６と、符号データ２０８の取り込みの制御、データ記憶部２０６と各処理部２０１，２０２，２０３，２０４，２０５との間のデータ転送の制御、各処理部２０１〜２０４内の正規処理手段２０１ａ〜２０４ａ又は簡易処理手段２０１ｂ〜２０４ｂを選択する制御、伸長画像データ２０９の外部出力の制御などを行う手段である制御部２０７を備える。

制御部２０７による各処理部２０１〜２０４内の正規処理手段２０１ａ〜２０４ａと簡易処理手段２０１ｂ〜２０４ｂの選択制御は、例えば、ユーザからの指示、符号データ２０９中のタグ情報（ヘッダ情報）から把握可能な伸長画像データの解像度などの特性、伸長画像データの利用目的等に応じて行わせることができる。さらには、この制御を、各符号データに対する伸長処理の進行状況に応じて行わせることもできる。

なお、このような画像処理装置２００は、ハードウェアとして実現することも、ＣＰＵやメモリなどから構成されるコンピュータを利用しプログラムによって実現することも可能である。後者のためのプログラム、すなわち各処理部２０１〜２０５、データ記憶部２０６、制御部２０７に対応した手段としてコンピュータを機能させるプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な各種の情報記録媒体も本発明に包含されるものである。

以下、伸長処理動作について説明する。なお、ＪＰＥＧ２０００の伸長アルゴリズムは前述した通りであるので、その説明は繰り返さず、ここでは本発明に特有な動作を中心に説明する。

まず、制御部２０７の制御により符号データ２０８が符号解析部２０５に取り込まれる。符号解析部２０５は、符号データ中のタグ情報を解釈し、符号データを各コンポーネント毎のコードストリームに分解してデータ転送部２０６へ転送し、また、タグ情報の解析結果をデータ記憶部２０６へ転送する。このようなエントロピー復号部２０４からデータ記憶部２０６へデータを転送し記憶させる動作は制御部２０７の制御下でなされる。なお、符号データ２０８は、静止画像の符号データである場合と、動画像の各フレーム画像の符号データである場合とがある。
次に、エントロピー復号部２０４で、コンポーネント毎にエントロピー復号処理が実行される。この際、制御部２０７により正規処理手段２０４ａ又は簡易処理手段２０４ｂが予め選択され、その選択された処理手段に必要な符号が制御部２０７の制御によりデータ記憶部２０６よりエントロピー復号部２０４へ転送される。正規処理手段２０４ａが選択された場合には、本来の（正規の）エントロピー復号処理（ＭＱ復号処理）が実行され、簡易処理手段２０４ｂが選択された場合には、より高速な簡易エントロピー復号処理が実行される。復号されたウェーブレット係数データは制御部２０７の制御によりデータ記憶部２０６へ転送されて記憶される。なお、復号対象となるビットの位置はタグ情報に基づく順番で定められ、その対象ビット位置の周辺ビット（既に復号されてデータ記憶部２０６に記憶されている）の状態によってコンテキストが生成されて復号対象ビット位置の復号に用いられる。なお、このコンテキストの生成は、エントロピー復号部２０４で行ってもよいし逆量子化部２０３で行ってもよい。後者の場合、コンテキストは逆量子化部２０３からエントロピー復号部２０４へ直接的に又はデータ記憶部２０６経由で通知されることになる。

次に逆量子化部２０３で、復号されたウェーブレット係数に対する逆量子化処理が実行される。この際、制御部２０７により正規処理手段２０３ａ又は簡易処理手段２０３ｂが予め選択され、その選択された処理手段に必要なウェーブレット係数データが制御部２０７の制御によりデータ記憶部２０６より逆量子化部２０３へ転送される。正規処理手段２０３ａが選択された場合には、本来の（正規の）逆量子化処理が実行され、簡易処理手段２０３ｂが選択された場合には、より高速な簡易逆量子化処理が実行される。逆量子化後のウェーブレット係数データは制御部２０７の制御によりデータ記憶部２０６へ転送されて記憶される。

次に、逆ウェーブレット変換部２０２で、逆量子化後のウェーブレット係数に対する逆ウェーブレット変換処理が実行される。この際、制御部２０７により、正規処理手段２０２ａ又は簡易処理手段２０２ｂが予め選択され、その選択された処理手段に必要なウェーブレット係数データが制御部２０７の制御によりデータ記憶部２０６より逆ウェーブレット変換部２０２へ転送される。正規処理手段２０２ａが選択された場合には、本来の（正規の）逆ウェーブレット変換処理が実行され、簡易処理手段２０２ｂが選択された場合には、より高速な簡易逆ウェーブレット変換処理が実行される。逆ウェーブレット変換により生成された画像データ（Ｙ，Ｃｂ，Ｃｒデータ）は制御部２０７の制御によりデータ記憶部２０６へ転送されて記憶される。

最後に、逆色空間変換部２０１で、逆ウェーブレット変換後の画像データに対する逆色空間変換処理が実行されて元のＲＧＢで表させる画像データに戻される。この際、制御部２０７により正規処理手段２０１ａ又は簡易処理手段２０１ｂが予め選択され、その選択された処理手段に必要な画像データが制御部２０７の制御によりデータ記憶部２０６より逆色空間変換部２０１へ転送される。正規処理手段２０１ａが選択された場合には、本来の（正規の）逆色空間変換処理が実行され、簡易処理手段２０１ｂが選択された場合には、より高速な簡易逆色空間変換処理が実行される。逆色空間変換毎の画像データ（ＲＧＢデータ）は、制御部２０７の制御により、データ記憶部２０６へ転送されて一旦記憶された後に出力データ２０８として外部へ送出される。

なお、処理部２０１〜２０４の処理内容は図１中の対応した処理部１０１〜１０４の処理の逆処理である。したがって、処理部２０１〜２０４における正規処理手段２０１ａ〜２０４ａによる正規な処理と簡易処理手段２０１ｂ〜２０４ｂによる簡易な処理の関係は、図１中の対応した処理部１０１〜１０４における正規処理と簡易処理の関係と同様に考えればよい。

画像処理装置２００の各処理部２０１〜２０４を伸長処理の各処理工程、正規処理手段２０１ａ〜２０４ａと簡易処理手段２０１ｂ〜２０４ｂを各処理工程中の正規処理工程と簡易処理工程に置き換えれば、以上の説明は符号データを伸長処理するための本発明に係る画像処理方法の実施形態の説明でもあることも明らかである。

以上に説明した実施形態においては、ＪＰＥＧ２０００の圧縮／伸長アルゴリズムが用いられたが、他の圧縮／伸長アルゴリズムを用いる実施形態も本発明に包含されることは明らかである。

本発明の第１の実施形態に係る画像処理装置の概略ブロック図である。 本発明の第２の実施形態に係る画像処理装置の概略ブロック図である。 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。 ２次元ウェーブレット変換によるサブバンド分割の例を示す図である。 タイル、プレシンクト、コードブロックの関係を示す図である。 レイヤー分割の例とレイヤーを構成するパケットの例を示す図である。

符号の説明

１００ 画像処理装置
１０１ 色空間変換部
１０２ ウェーブレット変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 符号形成部
１０６ データ記憶部
１０７ 制御部
１０１ａ，１０２ａ，１０３ａ，１０４ａ 正規処理手段
１０１ｂ，１０２ｂ，１０３ｂ，１０４ｂ 簡易処理手段
１０８ 入力画像データ
１０９ 出力符号データ
２００ 画像処理部
２０１ 逆色空間変換部
２０２ 逆ウェーブレット変換部
２０３ 逆量子化部
２０４ エントロピー復号部
２０５ 符号解析部
２０６ データ記憶部
２０７ 制御部
２０１ａ，２０２ａ，２０３ａ，２０４ａ 正規処理手段
２０１ｂ，２０２ｂ，２０３ｂ，２０４ｂ 簡易処理手段
２０８ 出力画像データ
２０９ 入力符号データ

Claims (4)

1. 画像データに対し複数の処理工程からなる圧縮処理を行う画像処理装置であって、
   前記複数の処理工程に対応した複数の処理手段を有し、
   前記複数の処理手段中の２以上の特定処理手段はそれぞれ正規の処理を実行するための正規処理手段と、該正規の処理を簡易化した処理を実行するための簡易処理手段とを含み、かつ、
   前記各特定処理手段による処理の実行に、その前記正規処理手段と前記簡易処理手段のいずれを用いるか選択する制御手段を有することを特徴とする画像処理装置。
2. 符号データに対し複数の処理工程からなる伸長処理を行う画像処理装置であって、
   前記複数の処理工程に対応した複数の処理手段を有し、
   前記複数の処理手段中の２以上の特定処理手段はそれぞれ正規の処理を実行するための正規処理手段と、該正規の処理を簡易化した処理を実行するための簡易処理手段とを含み、かつ、
   前記各特定処理手段による処理の実行に、その前記正規処理手段と前記簡易処理手段のいずれを用いるか選択する制御手段を有することを特徴とする画像処理装置。
3. 画像データに対し圧縮処理を行う画像処理方法であって、
   前記圧縮処理のための複数の処理工程を有し、
   前記複数の処理工程中の２以上の特定処理工程はそれぞれ正規の処理を実行するための正規処理工程と、該正規の処理を簡易化した処理を実行するための簡易処理工程とを含み、かつ、
   前記各特定処理工程で、その前記正規処理工程と前記簡易処理工程のいずれを用いるか選択する制御工程を有することを特徴とする画像処理方法。
4. 符号データに対し伸長処理を行う画像処理方法であって、
   前記伸長処理のための複数の処理工程を有し、
   前記複数の処理工程中の２以上の特定処理工程はそれぞれ正規の処理を実行するための正規処理工程と、該正規の処理を簡易化した処理を実行するための簡易処理工程とを含み、かつ、
   前記各特定処理工程で、その前記正規処理工程と前記簡易処理工程のいずれを用いるか選択する制御工程を有することを特徴とする画像処理方法。

Images