JP2009033367A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 画像データの符号化あるいは復号化におけるビットモデリング処理速度を向上させることができる画像処理装置およびその方法を提供する。
【解決手段】 本画像処理装置は、ビットモデリング部８が、絶対値変換したコードブロックデータのビットプレーン毎にＣＵパス、ＳＰパスおよびＭＲパスのデータに分類処理する手段５３を備え、ビットプレーン毎に各パスのデータの分類処理を繰り返し行うためのループ処理経路Ｓ１３〜Ｓ１７と、あるビットプレーン上の全てのデータがＭＲパスに分類されたことを検出した場合に以降のビットプレーンにおいてデータをＭＲパスに分類する処理のみを繰り返し行うためのループ処理経路Ｓ１８〜Ｓ１９とを有する。
【選択図】 図１２

Description

本発明は、画像データを符号化する画像処理装置およびその方法、ならびに符号化された画像データを復号化する画像処理装置およびその方法に関する。

近年では、従来のテレビ画像のように、アナログ信号が主流である画像データにおいてもディジタル信号処理を施すことでノイズに耐性を持たせて遠隔地に画像データを送信し、受信側の画像出力装置では高品質な画像が表示できるようになってきた。しかしながら、画像情報全てをそのままディジタル化するとデータ容量が膨大となり、そのディジタル画像データを格納するための記憶装置は膨大な容量が必要となってしまう。そこで、その画質を損なうことなく、ディジタル画像データの容量を小さく圧縮する方法および圧縮データを伸張する方法が様々に検討され、標準化されてきた。代表的なディジタル画像圧縮伸張方式としては、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などが広く知られ、利用されている。そしてさらに、ＪＰＥＧやＭＰＥＧよりも高画質を維持しつつ圧縮効率を高めた次世代の画像圧縮国際標準として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１｜ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｔ．８００）が標準化されている。しかしながら、ＪＰＥＧ２０００の圧縮伸張処理はＪＰＥＧに比べその方式が複雑で、演算処理の回数も増大しているため、処理速度が低下するという問題がある。

図１は、ＪＰＥＧ２０００の符号化処理の基本的な構成を示す図である。符号化処理部１は、画像データを入力し、符号データファイルを出力するインタフェースを持つ。また、入力画像データをウェーブレット変換処理可能なデータ形式に変換するための色変換部２、画像データを周波数成分に分割するためのウェーブレット変換部３、周波数成分に分割したデータの精度調整をするための量子化部４、エントロピー符号化を実施するＥＢＣＯＴ部５、符号データ量を調整するためのレート制御部６、符号データの制御情報を付加してパケットを生成し、符号データファイルを形成するためのパケット生成部７で構成される。更に、ＥＢＣＯＴ部５は符号化するためのビットモデルを生成し、符号化処理のための制御情報を生成するビットモデリング部８とデータの符号化を行う算術符号化部９で構成される。これにより画像圧縮符号化が行われる。

図２は、ＪＰＥＧ２０００の復号化処理の基本的な構成を示す図である。復号化処理部１０は、符号データファイルを入力し、画像データを出力するインタフェースを持つ。また、符号データファイル内のファイルヘッダおよびパケットを解析するためのパケット解析部１１、エントロピー復号化を実施する逆ＥＢＣＯＴ部１２、データの精度調整をするための逆量子化部１３、周波数成分データから画像データに復元するためのウェーブレット逆変換部１４、画像データ形式の変換を行う色変換部１５で構成される。更に、逆ＥＢＣＯＴ部１２は符号を復号する算術復号化部１６と復号されたデータをモデル化するビットモデリング部１７で構成される。これにより画像伸張復号化が行われる。

尚、符号化処理部１の色変換部２は入力画像の形式に応じて省略可能であり、復号化処理部１０の色変換部１５は出力画像の形式に応じて省略可能である。また、ビットモデリング部については符号化処理部１と復号化処理部１０のいずれにも組み込まれる。

図３は、ＪＰＥＧ２０００の符号化処理および復号化処理のフローを示す図である。符号化処理部１は原画像データ２０を入力し、色変換部２において、Ｙ成分２１、Ｃｂ成分２２、Ｃｒ成分２３の３成分に変換する。この３成分のデータはそれぞれ個別に符号化処理される。１成分データは２次元離散ウェーブレット変換部３により、周波数成分に分割され、いくつかのサブバンドデータ２４を生成する。このサブバンドデータは２次元離散ウェーブレット変換により発生する四則演算結果の演算精度を保つため、大きなビット幅を持つ。この大きなビット幅は量子化部４によって削減することができる。しかし、大幅な量子化によってデータ圧縮効果を高くすると、画質の低下を招くため、大幅な量子化は行わず、ＥＢＣＯＴ処理によって画質を維持しながらデータ圧縮を行う。

一つのサブバンドデータ２５はビットモデリング部８において、一定のサイズで設定されたコードブロック２６に分割され、処理される。ビットモデリング処理では、係数を絶対値表現に変換し、データのビット幅を３次元の高さ方向に配置する。このとき、上から下へと上位ビットから順に下位ビットまでを配置する。この３次元イメージのコードブロックデータから、同じ高さの平面で切り出したビットサンプルの集合２７をビットプレーンという。このビットプレーン上の各ビットサンプルをＳｉｇｎｉｆｉｃａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ ｐａｓｓ（以降ＳＰパスと表現する）、Ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ（以降ＭＲパスと表現する）、Ｃｌｅａｎ ｕｐ ｐａｓｓ（以降ＣＵパスと表現する）の３つのパスに分類し、それぞれのパスのデータ列を生成する。またビットモデリング処理では３つのパスに分類する際にコンテキストを生成する。ここで、コンテキストとは符号化対象係数の近傍の有意状態に応じて決定する値であり、算術符号化部９で使用される情報である。算術符号化部９ではコンテキストに従い、パス単位のデータ列を圧縮符号化する。得られた符号化データをレート制御部６において、指定のファイルサイズになるようにデータ量を制御しパケット生成部７で、復号化する際に必要となる制御情報を生成して、ＪＰＥＧ２０００形式に形成する。
ＪＰＥＧ２０００の復号化は基本的に符号化の逆の手順で処理することにより、元の画像データを得る。

この種の符号化、復号化に関連する技術として例えば次のものが挙げられる。特開２００３−８７５７１号公報には、無駄なＣＵパス処理を検出し、削減することにより、効率化を図る技術が記載されている。特開２００３−８４４５号公報には、ビットモデリング処理前および処理後のデータを記憶装置に格納し、記憶装置に対するデータ入出力制御を工夫することにより処理の効率化を図る技術が記載されている。特開２００５−１８４５１１号公報には、１データに対してＳＰパスの検索処理後、直ちに同データに対してＭＲパスの検索処理を実施させることにより、無駄な記憶装置からの読み出し処理を削減し、効率化を図る技術が記載されている。特開２００６−３３１７９号公報には、コードブロックをサブブロックに分割し、ＳＰパス処理時にサブブロック内のサンプルデータがＳＰパス、ＭＲパス、ＣＵパスのどのパスに分類されるべきかをあらかじめ判別して、その情報を保持しておき、その後の同一ビットプレーンにおけるＭＲパス処理またはＣＵパス処理時において、ＭＲパス処理またはＣＵパス処理が必要なサブブロックのみ選択して処理することで、効率化を図る技術が記載されている。
特開２００３−８７５７１号公報 特開２００３−８４４５号公報 特開２００５−１８４５１１号公報 特開２００６−３３１７９号公報

ＪＰＥＧ２０００の処理において、特に演算回数が膨大となり、処理速度低下の要因となるのがビットモデリング処理部８である。ビットモデリング処理部ではまず、最上位のビットプレーンから処理を開始し、有意状態のビットが存在する最上位のビットプレーン（以降、最上位の有意ビットプレーンと表現する）を検出する。尚、有意状態とは、図４に示すように、ビットプレーンに分割する前の１サンプルデータに注目し、データを上位側から見て最初にビットが１になった点を含め、当該点より下位のデータが意味を持っているとする状態を指すものである。当該点より上位のデータはすべて０であり、有意ではない状態であると表現する。従って、前述した最上位の有意ビットプレーンとは、ビットプレーン上に有意状態のビットサンプルが少なくとも１つ以上存在する一番上位のビットプレーンのことを示している。また、図５のように最上位の有意ビットプレーンより上位のビットプレーンは全てのデータが０である。この全てのデータが０であるビットプレーンを零ビットプレーンと言い、零ビットプレーンの数を零ビットプレーン情報として、パケット生成のために記憶しておく。これにより、零ビットプレーンをビットモデリング処理から切り捨てることができる。最上位の有意ビットプレーンを含めた下位のビットプレーンデータをビットモデリング処理対象として、それぞれのビットプレーン毎にパス分類処理して算術符号化部９に出力する。

パス分類処理の際、ビットプレーン内のデータの走査順序は図６に示すように、ビットプレーン左上のサンプルから走査を開始し、縦方向に４サンプルまとめた単位で横方向に走査する。横方向の終点まで走査したら、一番左のサンプルに戻り、先ほど走査した４サンプル単位の下のサンプルから走査を再開する。これをビットプレーンの右下のサンプルを走査するまで繰り返す。尚、ビットプレーンの縦方向のサンプル数が４の倍数でないケースがある。この場合には、最下段の係数を４サンプルにまとめることができないが、実在するサンプル数でまとめ、走査する。

パス分類処理は図７に示すように、以下のとおり実施する。まずステップＳ０１において、ビットサンプルの有意状態を記憶した有意情報を初期化する。

パス分類処理を開始するにあたり、ステップＳ０２にて、最上位の有意ビットプレーンのビットサンプルをすべてＣＵパスに分類する。ＣＵパスに分類された全サンプルは、図８に示すように、注目ビットサンプルに連続する４データ３０の有意状態を分析し、その状態に応じてデータ列およびコンテキストを生成する。尚、注目ビットサンプルに連続する４サンプルは、走査境界をまたがない連続する４サンプル３０であり、４サンプル毎の走査境界をまたぐような連続する４サンプル３１は対象とならない。さらに、本パス検索において有意となったサンプルについては該当係数の正負符号情報をＣＵパスのデータ列に加え、正負符号のコンテキストを生成する。また、ここで有意となったサンプルは有意情報に有意となったことを記憶し、次のビットプレーンのパス検索における有意情報として使用する。

こうして、当該ビットプレーン上の全サンプルの処理が終了したら、ステップＳ０３において、全ビットプレーンの処理が終了しているか否かを判定し、全ビットプレーンの処理が終了していれば、当該コードブロックのパス分類処理は終了となるが、まだ処理すべきビットプレーンが存在していれば、次のビットプレーンのパス分類処理を行う。このとき、前のビットプレーンで記憶した有意情報は保持し、次のビットプレーンのパス検索分類処理における有意情報として使用する。従って、上位のビットプレーンのパス検索処理が終了し、その有意情報が得られるまで、その下位のビットプレーンのパス検索処理を行うことはできない。

２番目以降のビットプレーン処理では３つのパスへの分類を行う。ステップＳ０４にて、ＳＰパスに分類されるべきデータを検索する。ＳＰパス処理では、注目ビットサンプルの有意情報が有意でなく、かつ、８近傍の有意情報のいずれかが有意である場合ＳＰパスに分類する。８近傍の有意情報とは図９の８近傍の有意情報４０に示すような注目ビットサンプルの周囲８つの有意情報のことを表す。尚、８近傍にコードブロック外のビットサンプルが含まれるような８近傍の有意情報４２の場合は、コードブロック外に位置する有意情報は有意でないとみなして処理する。

８近傍の有意情報は直前のサンプルビットまでの結果を反映した有意情報を使用する。従って、図９の８近傍の有意情報４１のように、その前の注目ビットサンプルが有意となることにより、ＳＰパスに分類される条件が成立する場合もあり得る。

ＳＰパスに分類された場合、各ビットサンプル毎にコンテキストを生成する。さらに、本検索によって、初めて有意状態になったビットサンプルについては、正負符号情報をＳＰパスのデータ列に加え、正負符号情報のコンテキストを生成し、有意情報に有意となったことを記憶する。

当該ビットプレーンのデータにおいてＳＰパス検索が終了したら、同じビットプレーンのビットサンプルについて、ステップＳ０５でＭＲパスに分類されるべきデータを検索する。ＭＲパス検索では、既に直前のＳＰパス分類処理でＳＰパスに分類されているデータは処理しない。従って、ＳＰパス分類処理が終了していなければ、どのビットサンプルをＭＲパス分類処理すべきか判断できないので、ＭＲパス分類処理は実行できない。ＳＰパスに分類されているデータを除いた上で、注目ビットサンプルが有意であるか否かを判定基準として、有意であればＭＲパスに分類する。また同時に、コンテキストを生成し、ここで初めて有意となったサンプルは有意情報に有意となったことを記憶する。

当該ビットプレーンのデータにおいてＭＲパス検索が終了したら、同じビットプレーンのビットサンプルについて、ステップＳ０６でＣＵパスに分類されるべきデータを検索する。ここでは、上記のＳＰパス検索、ＭＲパス検索によって分類されていない残りのビットサンプルをＣＵパスに分類し、コンテキストを生成する。従って、ＳＰパスおよびＭＲパスの分類処理が終了していなければ、ＣＵパス分類処理は実行できない。本ＣＵパス分類処理は、最上位の有意ビットプレーンで実施したＣＵパス分類処理と同様に、データ列生成および、コンテキストを生成し、ここで有意となったサンプルは有意情報に有意となったことを記憶する。

当該ビットプレーンのデータにおいてＣＵパス検索が終了したら、ステップＳ０３にて１コードブロック内の全ビットプレーンの処理が終了したかどうか判定し、まだ未処理のビットプレーンが残っていれば、残っているビットプレーンに対して、ステップＳ０４〜ステップＳ０６の処理を繰り返す。

このように一つのコードブロックの全てのビットプレーンについてパス分類処理が終了したら、次のコードブロックについて同様に処理し、全サブバンド、全コンポーネントについても同様に処理を行う。

以上のようにビットモデリング処理では、注目ビットサンプル以前のビットサンプル検索分類結果およびその有意状態が、以降のビットサンプルのパス分類処理に影響をおよぼすため、ビットプレーン内のデータ処理は１ビットサンプル毎、逐次的に行う必要がある。また、パス検索処理時における最上位の有意ビットプレーン以外のビットプレーンにおいては、同一ビットサンプルについて３回パス判定、分類処理をする必要がある。つまり、パス判定の結果データ列生成およびコンテキスト生成処理が発生しなくても、ＳＰパスおよびＣＵパス分類のパス判定時にデータを記憶装置から読み出して、ＳＰパスおよびＣＵパスに分類されないということを確認する処理が必要となる。そのため、ウェーブレット変換後の全出力データの全ビットに対して、必ず３回のデータ取得処理が発生し、膨大な処理時間を浪費してしまう。以上の理由から、画像データ全体に対するビットモデリング処理は、ＪＰＥＧ２０００の符号化または復号化において速度向上が困難となっている。

本発明は以上の問題に鑑みて成されたものであり、画像データの符号化あるいは復号化におけるビットモデリング処理速度を向上させることができる画像処理装置およびその方法を提供することを目的とする。

本発明は、画像圧縮符号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置であって、前記ビットモデリング部が、入力されたコードブロックデータを絶対値変換し最上位有意ビットプレーンを検出する手段と、前記最上位有意ビットプレーンを含む前記絶対値変換したコードブロックデータを記憶する手段と、前記コードブロックデータのビットプレーン毎にＣＵパス、ＳＰパスおよびＭＲパスのデータに分類処理する手段と、各データの有意状態および分類状態を表すステータス情報を記憶する手段とを備え、前記分類処理手段が、前記ビットプレーン毎に前記各パスのデータの分類処理を繰り返し行うためのループ処理経路と、あるビットプレーン上の全てのデータがＭＲパスに分類されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてデータをＭＲパスに分類する処理のみを繰り返し行うためのループ処理経路とを有することを特徴とする画像処理装置である。この画像処理装置において、前記ビットプレーンが複数の小ブロックに分割され、前記分類処理手段が、前記小ブロック内の全てのデータがＭＲパスに分類されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの分類処理を省略する経路を備えることができる。

また本発明は、画像伸張復号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置であって、前記ビットモデリング部が、入力されたＣＵパス、ＳＰパスおよびＭＲパスに分類されたデータからコードブロックデータを復元処理する手段と、前記コードブロックデータを復元処理する度に更新するステータス情報を記憶する手段と、前記復元されたコードブロックデータを記憶する手段とを備え、前記復元処理手段が、前記各パスのデータに対して前記コードブロックデータのビットプレーン毎に復元処理を繰り返し行うためのループ処理経路と、あるビットプレーン上の全てのデータがＭＲパスで復元されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてＭＲパスを復元する処理のみを繰り返し行うためのループ処理経路とを有することを特徴とする画像処理装置である。この画像処理装置において、前記ビットプレーンが複数の小ブロックに分割され、前記復元処理手段が、前記小ブロック内の全てのデータがＭＲパスで復元されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの復元処理を省略する経路を備えることができる。

また本発明は、画像圧縮符号化に伴うビットモデリング処理を行うビットモデリング工程を具備する画像処理方法であって、前記ビットモデリング工程が、入力されたコードブロックデータを絶対値変換し最上位有意ビットプレーンを検出する工程と、前記最上位有意ビットプレーンを含む前記絶対値変換したコードブロックデータを記憶する工程と、前記コードブロックデータのビットプレーン毎にＣＵパス、ＳＰパスおよびＭＲパスのデータに分類処理する工程と、各データの有意状態および分類状態を表すステータス情報を記憶する工程とを備え、前記分類処理工程が、前記ビットプレーン毎に前記各パスのデータの分類処理を繰り返し行うためのループ処理工程と、あるビットプレーン上の全てのデータがＭＲパスに分類されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてデータをＭＲパスに分類する処理のみを繰り返し行うためのループ処理工程とを有することを特徴とする画像処理方法である。この画像処理方法において、前記ビットプレーンが複数の小ブロックに分割され、前記分類処理工程が、前記小ブロック内の全てのデータがＭＲパスに分類されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの分類処理を省略することができる。

また本発明は、画像伸張復号化に伴うビットモデリング処理を行うビットモデリング工程を具備する画像処理方法であって、前記ビットモデリング工程が、入力されたＣＵパス、ＳＰパスおよびＭＲパスに分類されたデータからコードブロックデータを復元処理する工程と、前記コードブロックデータを復元処理する度に更新するステータス情報を記憶する工程と、前記復元されたコードブロックデータを記憶する工程とを備え、前記復元処理工程が、前記各パスのデータに対して前記コードブロックデータのビットプレーン毎に復元処理を繰り返し行うためのループ処理工程と、あるビットプレーン上の全てのデータがＭＲパスで復元されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてＭＲパスを復元する処理のみを繰り返し行うためのループ処理工程とを有することを特徴とする画像処理方法である。この画像処理方法において、前記ビットプレーンが複数の小ブロックに分割され、前記復元処理工程が、前記小ブロック内の全てのデータがＭＲパスで復元されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの復元処理を省略することができる。

本発明の画像処理装置では、画像データの符号化、あるいは復号化の際のビットモデリング処理において、一度ＭＲパスに分類されたデータは必ず以降のビットプレーンでＭＲパスに分類される特徴を利用して、出力結果に影響しない冗長なＳＰパスあるいはＣＵパス検索処理を判別する手段を備える。この冗長なパス検索処理を削減することにより、例えばＪＰＥＧ２０００の符号化あるいは復号化の処理時間を、本発明を用いない場合に比べて１／３近くに短縮可能という効果がある。

図１０は、本発明に係る画像圧縮符号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置の一実施例を示す図である。本図は、図１の符号化処理部１のビットモデリング部８の基本構成を示す。量子化部５０からコードブロック分のデータを入力し、絶対値変換および最上位有意ビットプレーン検出部５１において、絶対値変換し、零ビットプレーンを取り除いたデータを正負符号データと共にコードブロックデータ記憶部５２に格納する。パス検索分類処理部５３での処理は最上位有意ビットプレーンから開始する。また、パス検索分類処理部５３では、パス検索分類処理時の各データについて３つのステータス情報を生成し、ステータス情報記憶部５４に格納する。このステータス情報は適宜読み出され、図１２に示す手順に従ってパス検索分類処理を実施し、データ列とコンテキストを生成して、算術符号化部５５に出力する。本ビットモデリング部は、用途に応じてハードウェアでもソフトウェアでも構成可能である。パス検索分類処理の手順を以下に説明する。

コードブロックデータの処理の始めにステップＳ１１において、全てのステータス情報を０にリセット（初期化）する。

次にステップＳ１２において、最上位有意ビットプレーンのビットサンプルを全て、ＣＵパスに分類する。最上位有意ビットプレーン処理の場合は図１３のステップＳ１００において、ステータス情報Ｂおよびステータス情報Ｃは共に未処理の状態であるので、必ずステップＳ１０１に進む。ステップＳ１０１では、データ列とコンテキストを生成する。その後ステップＳ１０２で、注目ビットサンプルが初めて有意となったか否かを判定する。否の場合はステップＳ１０３へ進む。初めて有意になった場合はステップＳ１０５で、正負符号をＣＵパスのデータ列に追加し、コンテキストを生成する。この正負符号の処理を実施したら、ステップＳ１０６でステータス情報Ａに有意であったビットサンプルの位置を記憶し、ステップＳ１０３へ進む。ステップＳ１０３にて全ビットサンプル処理が終了していないときはステップＳ１００へ進み、全ビットサンプル処理が終了したときは符号化ＣＵパス処理終了となる。

最上位有意ビットプレーンの処理後、図１２のステップＳ１３において、当該コードブロックの全てのビットプレーンについて処理が終了していれば、次のコードブロックの処理に移る。まだ処理すべきビットプレーンが残っている場合は次のビットプレーンについて以下のようなパスの分類処理を行う。

ステップＳ１４において、ビットプレーン上のサンプルについてＳＰパスに分類されるサンプルを検索する。図１４のステップＳ１１０では、ステータス情報Ａにおいて注目ビットサンプルが有意でなく、かつ、注目ビットサンプルの８近傍が有意であるかどうかを判定して、このサンプルビットに対してＳＰパス処理を実施するか否かを決定する。尚、８近傍にコードブロック外のビットサンプルが含まれる場合は、コードブロック外に位置するステータス情報Ａは有意でない状態であるとみなす。ステップＳ１１０の判定が真であるならばステップＳ１１２において、その注目ビットサンプルはＳＰパスに分類され、コンテキストが生成される。ステップＳ１１３では、ＳＰパスに分類されたデータをステータス情報Ｂに記憶しておく。その後ステップＳ１１４で、注目ビットサンプルが初めて有意となったか否かを判定する。判定が真の場合はステップＳ１１５で、正負符号をＳＰパスのデータ列に追加し、正負符号のコンテキストを生成する。この正負符号の処理を実施したら、ステップＳ１１６でステータス情報Ａに有意であったビットサンプルの位置を記憶しステップＳ１１１へ進む。このようにビットプレーン内の全てのデータについてＳＰパスに分類されるか否かを順次判定し、判定結果に応じてＳＰパスのデータ列とコンテキストを生成していく。ステップＳ１１０およびＳ１１４で判定が偽の場合はそれぞれステップＳ１１１へ進む。ステップＳ１１１にて全ビットサンプル処理が終了していないときはステップＳ１１０へ進み、全ビットサンプル処理が終了したときは符号化ＳＰパス処理終了となる。

次に、図１２のステップＳ１５において、同じビットプレーン上でＭＲパスに分類されるビットサンプルを検索する。図１５のステップＳ１２０では、ステータス情報Ｂを参照し、既に直前のＳＰパス処理において処理済みのビットサンプルであるか否かの判定をする。その判定が真の場合は検索対象から除き、次のサンプルビットに対してステップＳ１２０を実施する。判定が偽の場合はステップＳ１２１に進む。ここでは、ステータス情報Ｃを参照し、以前のビットプレーン処理において当該サンプルビット位置がＭＲパス処理されたか否かを判定する。判定が真であれば、ステップＳ１２４において、無条件でＭＲパスのデータ列に追加し、コンテキストを生成して、ステップＳ１２３へ進んで次のサンプルビットに処理を移す。ステップＳ１２１の判定において判定が偽の場合は、ステップＳ１２２で注目サンプルビットが有意であるかどうかを判定し、有意であればステップＳ１２５でＭＲパスのデータ列に追加し、コンテキストを生成する。また、ステップＳ１２６でＭＲパスに分類されたビットサンプルの位置をステータス情報Ｃに記憶しステップＳ１２３へ進む。ステップＳ１２０で判定が真およびＳ１２２で判定が偽の場合はそれぞれステップＳ１２３へ進む。ステップＳ１２３にて全ビットサンプル処理が終了していないときはステップＳ１２０へ進み、全ビットサンプル処理が終了したときは符号化ＭＲパス処理終了となる。

当該ビットプレーンのＭＲパス検索終了後、図１２のステップＳ１６においてステータス情報Ｃを参照し、当該ビットプレーン上の全てのデータがＭＲパスに分類されていた場合、以降のビットプレーンについてはすべてＭＲパスの分類であるとみなし、ステップＳ１８に移行し、全ビットプレーンの処理が終了していなければステップＳ１９にて、ＭＲパスに分類されるビットサンプルの検索処理を行う。以降、ステップＳ１８において全ビットプレーンが終了したと判定されるまでステップＳ１９を繰り返す。

ステップＳ１６において、当該ビットプレーン上のデータでＭＲパスに分類されていないビットサンプルが存在する場合は、ステップＳ１７にて、同じビットプレーンに上でＣＵパスに分類されるビットサンプルを検索する。図１３のステップＳ１００でステータス情報Ｂおよびステータス情報Ｃを参照し、ステータス情報Ｂとステータス情報Ｃが共に処理済みになっている（既にＳＰパスあるいはＭＲパスに分類されている）場合は検索対象から除き、ステップＳ１０４にてステータス情報ＢをクリアしてステップＳ１０３へ進み次のサンプルビットを処理する。
ステップＳ１００でステータス情報Ｂとステータス情報Ｃが共に処理済みになっていない場合はＣＵパスに分類する。このＣＵパス処理については最上位有意ビットプレーンのＣＵパス処理と同一である。

以降、最終ビットプレーンまで同様の処理を繰り返すが、図１２のステップＳ１６において毎回ステータス情報Ｃを参照し、ビットプレーン上の全てのビットサンプルがＭＲパスに検索されていればＭＲパス検索処理のループに移行し、１つでもＭＲパスに検索されていないサンプルがあればステップＳ１７のＣＵパス処理に移行する。すなわち、図１２に示すように、ビットプレーン毎に各パスのデータの分類処理を繰り返し行うためのループ処理経路Ｓ１３〜Ｓ１７と、あるビットプレーン上の全てのデータがＭＲパスに分類されたことをステータス情報を用いて検出した場合に以降のビットプレーンにおいてデータをＭＲパスに分類する処理のみを繰り返し行うためのループ処理経路Ｓ１８〜１９とを有するものである。

これによって、一度ＭＲパス検索処理のループ処理へ移行すれば、符号化処理時の無駄なＳＰパスの検索処理（ステップＳ１４）とＣＵパスの検索処理（ステップＳ１７）を削減することができ、パス分類処理を高速化できる。

さらに、図１２で示した制御フローに、以下の制御フローを追加することにより、符号化処理をより高速処理することが可能となる。

図１２の制御フローではステップＳ１６においてビットプレーン上の全てのビットサンプルがＭＲパスに検索されていることを条件に、ＭＲパス検索処理ループに移行し、無駄なＳＰパス処理およびＣＵパス処理を省略することで高速化を図った。ここで、さらにビットプレーンをいくつかの小ブロックに分割し、この小ブロック中のビットサンプルがすべてＭＲパスに検索されているかどうかを判別し、その情報を保持する機能を追加する。そして、図２０に示すように、ＭＲパス検索処理ループに移行する以前のステップＳ１３からステップＳ１７までのループ処理において、ビットプレーンが全てＭＲパス検索されていなくても、当該ビットサンプルを含む小ブロックのサンプルが全てＭＲパス検索されているならば、ステップＳ１４のＳＰパス処理、ステップＳ１７のＣＵパス処理を省略する制御フローをステップＳ３０および／またはステップＳ３１として追加する。すなわち、小ブロック内の全てのデータがＭＲパスに分類されたことを検出した場合に以降のビットプレーンにおいて小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの分類処理を省略する経路を備えるものである。

これによって、ＭＲパス検索処理のループに移行する前の状態でも、無駄な処理を省略することができ、より高速な処理が可能となる。

図１１は、本発明に係る画像伸張復号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置の一実施例を示す図である。本図は、図２の復号化処理部１０のビットモデリング部１７の基本構成を示す。算術復号化部６０から復号化したデータを入力し、コードブロック復元処理部６１において、ステータス情報記憶部６２のステータス情報を更新しながら、入力したデータのパス種別を判別し、ビットプレーン内の該当するビット位置にビットサンプルを復元すると共に、算術復号化のためのコンテキストを生成する。復元されたデータは復号コードブロックデータ記憶部６３に格納され、１コードブロック分のデータが復号されたら、逆量子化に送出される。本ビットモデリング部は、用途に応じてハードウェアでもソフトウェアでも構成可能である。

ビットプレーン形成部の復号化処理は図１６の復号化時のコードブロックデータ処理の手順で処理される。零ビットプレーン復元処理が追加され、符号化処理が復元（復号化処理）に変わったこと以外は符号化処理とほぼ同様の手順である。

コードブロック復元処理の始めにステップＳ２１において、全てのステータス情報を０にリセット（初期化）する。また、パケット解析時に得られる零ビットプレーン情報から、当該コードブロックの零ビットプレーンを復元しておき、算術復号化から入力されたデータは零ビットプレーンの下位に復元する。

最初のパスデータは全て、ステップＳ２２において必ずＣＵパスから復元される。従って最初のパスデータは全て、図１７のステップＳ２００からＳ２０１に進む。ステップＳ２０１では、コンテキストを生成し、算術復号化部からデータを取得する。その後ステップＳ２０２で、注目ビットサンプルが初めて有意となったか否かを判定する。判定が真の場合はステップＳ２０５で、正負符号のコンテキストを生成し、算術復号化部から正負符号データを取得する。この正負符号の処理を実施したら、ステップＳ２０６でステータス情報Ａに有意であったビットサンプルの位置を記憶しステップＳ２０３へ進む。ステップＳ２０２で判定が偽の場合はステップＳ２０３へ進む。ステップＳ２０３にて全ビットサンプル処理が終了していないときはステップＳ２００へ進み、全ビットサンプル処理が終了したときは復号化ＣＵパス復元終了となる。

図１６のステップＳ２３において、最上位ビットプレーンが復元された後まだ復号すべきデータが残っていれば、次のビットプレーンの復元処理を行う。しかし、同一コードブロック内に復号すべきデータが残っていない場合は、当該コードブロックの処理を終了し、次のコードブロックの復元処理を行う。

次のビットプレーンの復元処理においては、まずステップＳ２４においてＳＰパスの復元処理を行う。図１８のステップＳ２１０でステータス情報Ａにおいて注目ビットが有意でなく、かつ、注目ビットサンプルの８近傍が有意であるビット位置であるか否かを判定する。判定が真であれば、ステップＳ２１２において、コンテキストを生成し、算術復号化よりデータを取得し、データ列を復元する。尚、８近傍にコードブロック外のビットサンプルが含まれる場合は、コードブロック外に位置するステータス情報Ａは有意でない状態とみなしてコンテキストを生成する。ステップＳ２１３では、ここで復元されたビットサンプルの位置をステータス情報Ｂに記憶しておく。ステップＳ２１４では、注目ビットが初めて有意となったか否かを判定し、判定が真の場合は、ステップＳ２１５において、続くデータを正負符号として復元し、正負符号のコンテキストを生成する。この正負符号の処理を実施したら、ステップＳ２１６でステータス情報Ａに記憶しステップＳ２１１へ進む。このようにビットプレーン内の、どの位置のデータが復元されるのかをステータス情報から判断し、データ列を復元しつつコンテキストを生成していく。ステップＳ２１０およびＳ２１４で判定が偽の場合はそれぞれステップＳ２１１へ進む。ステップＳ２１１にて全ビットサンプル処理が終了していないときはステップＳ２１０へ進み、全ビットサンプル処理が終了したときは復号化ＳＰパス復元終了となる。

次に、同じビットプレーンについて復元されていないビットサンプルについて、図１６のステップＳ２５でＭＲパス復元処理を実施する。ＭＲパス復元処理ではまず、図１９のステップＳ２２０において、ステータス情報Ｂを参照し、既に処理済みのデータか否かを判定し、判定結果が真の場合は復元対象から除き、ステップＳ２２３へ進む。ステップＳ２２０の判定が偽の場合はステップＳ２２１にてステータス情報Ｃを参照し、以前のビットプレーン復元処理において当該サンプルビット位置がＭＲパスで復元されたか否かを判定する。既にＭＲパス復元済みであれば、ステップＳ２２４において、無条件で復元データ列に追加し、コンテキストを生成して、ステップＳ２２３へ進んで次のサンプルビットに処理を移す。ステップＳ２２１においてステータス情報Ｃが未処理の状態である場合は、ステップＳ２２２で注目サンプルビットが有意であるかどうかを判定し、判定が真であればステップＳ２２５で復元データ列に追加し、コンテキストを生成する。また、ステップＳ２２６でＭＲパスにより復元ビットサンプルの位置をステータス情報Ｃに記憶しステップＳ２２３へ進む。ステップＳ２２２で判定が偽の場合はステップＳ２２３へ進む。ステップＳ２２３にて全ビットサンプル処理が終了していないときはステップＳ２２０へ進み、全ビットサンプル処理が終了したときは復号化ＭＲパス復元終了となる。

次にステップ図１６のＳ２６において、当該ビットプレーンのＭＲパス復元処理終了後ステータス情報Ｃを参照し、当該ビットプレーン上の全てのデータがＭＲパスにおいて復元されていたか否かを判定し、判定が真の場合、以降のビットプレーンについての復元処理はすべてＭＲパスの復元であるとみなし、ステップＳ２８へ移行し、全ビットプレーンが復元されるまでステップＳ２９のＭＲパスの復元処理のみ実施する。

当該ビットプレーン上のビットサンプルにおいて、ＳＰパスおよびＭＲパスで復元されていないビットサンプルが存在する場合は、同じビットプレーンについてＣＵパスで復元されるデータが存在する。この場合ステップＳ２７へ進み、ＣＵパスの復元処理を実施する。
図１７のステップＳ２００でステータス情報Ｂおよびステータス情報Ｃを参照し、ステータス情報Ｂとステータス情報Ｃが共に処理済みになっている（既にＳＰパスあるいはＭＲパスから復元されている）場合は復元対象から除き、ステップＳ２０４にてステータス情報ＢをクリアしてステップＳ２０３へ進み次のサンプルビットを処理する。ステップＳ２００でステータス情報Ｂとステータス情報Ｃが共に処理済みになっていない場合はＣＵパスより復元する。このＣＵパスの復元については最上位有意ビットプレーンのＣＵパスの復元処理と同一である。

以降、最終ビットプレーンまで同様の処理を繰り返すが、図１６のステップＳ２６において毎回ステータス情報Ｃを参照し、ビットプレーン上の全てのビットサンプルがＭＲパスで復元されていればＭＲパスの復元処理ループに移行し、１つでもＭＲパスから復元されていないサンプルがあればステップＳ２７のＣＵパス復元に移行する。すなわち、図１６に示すように、各パスのデータに対してコードブロックデータのビットプレーン毎に復元処理を繰り返し行うためのループ処理経路Ｓ２３〜Ｓ２７と、あるビットプレーン上の全てのデータがＭＲパスで復元されたことをステータス情報を用いて検出した場合に以降のビットプレーンにおいてＭＲパスを復元する処理のみを繰り返し行うためのループ処理経路Ｓ２８〜Ｓ２９とを有するものである。
これによって、一度ＭＲパスの復元処理のループ処理へ移行すれば、復号化処理時の無駄なＳＰパスの復元処理（ステップＳ２４）とＣＵパスの復元処理（ステップＳ２７）を削減することができ、コードブロック復元処理を高速化できる。

さらに、図１６で示した制御フローに、以下の制御フローを追加することにより、復号化処理をより高速処理することが可能となる。

図１６の制御フローではステップＳ２６においてビットプレーン上の全てのビットサンプルがＭＲパスで復元されていることを条件に、ＭＲパス復元処理ループに移行し、無駄なＳＰパス復元およびＣＵパス復元を省略することで高速化を図った。ここで、さらにビットプレーンをいくつかの小ブロックに分割し、この小ブロック中のビットサンプルがすべてＭＲパスで復元されているかどうかを判別し、その情報を保持する機能を追加する。そして、図２１に示すように、ＭＲパス復元処理ループに移行する以前のステップＳ２３からステップＳ２７までのループ処理において、ビットプレーンが全てＭＲパスで復元されていなくても、当該ビットサンプルを含む小ブロックのサンプルが全てＭＲパスで復元されているならば、ステップＳ２４のＳＰパス復元、ステップＳ２７のＣＵパス復元を省略する制御フローをステップＳ４０および／またはステップＳ４１として追加する。すなわち、小ブロック内の全てのデータがＭＲパスで復元されたことを検出した場合に以降のビットプレーンにおいて小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの復元処理を省略する経路を備えるものである。

これによって、ＭＲパス復元処理のループに移行する前の状態でも、無駄な復元処理を省略することができ、より高速な処理が可能となる。

ＪＰＥＧ２０００の符号化処理の基本的な構成を示す図である。 ＪＰＥＧ２０００の復号化処理の基本的な構成を示す図である。 ＪＰＥＧ２０００の符号化処理および復号化処理のフローを示す図である。 データの有意状態を説明するための図である。 コードブロックとビットモデリング対象の関係を示す図である。 ビットプレーン内のデータの走査順序を示す図である。 従来のコードブロック単位のパス分類処理のフローチャートである。 ＣＵパス分類時の注目ビットに連続する４データを示す図である。 ＳＰパス分類時の注目ビットの８近傍データを示す図である。 本発明に係る画像圧縮符号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置の一実施例を示す図である。 本発明に係る画像伸張復号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置の一実施例を示す図である。 本発明に係るコードブロック単位のパス分類処理のフローチャートである。 ＣＵパス分類処理のフローチャートである。 ＳＰパス分類処理のフローチャートである。 ＭＲパス分類処理のフローチャートである。 本発明に係るコードブロック単位のパス復元処理のフローチャートである。 ＣＵパス復元処理のフローチャートである。 ＳＰパス復元処理のフローチャートである。 ＭＲパス復元処理のフローチャートである。 本発明に係る符号化における追加制御フローを示す図である。 本発明に係る復号化における追加制御フローを示す図である。

符号の説明

１ 符号化処理部
２ 色変換部
３ ウェーブレット変換部
４ 量子化部
５ ＥＢＣＯＴ部
６ レート制御部
７ パケット生成部
８ ビットモデリング部
９ 算術符号化部
１０ 復号化処理部
１１ パケット解析部
１２ 逆ＥＢＣＯＴ部
１３ 逆量子化部
１４ ウェーブレット逆変換部
１５ 色変換部
１６ 算術復号化部
１７ ビットモデリング部
２０ 原画像
２１ Ｙ成分
２２ Ｃｂ成分
２３ Ｃｒ成分
２４ ウェーブレット変換結果
２５ 一つのサブバンドデータ
２６ コードブロック
２７ ビットプレーン
３０ ＣＵパス分類時の連続する４データ
３１ ＣＵパス分類時の連続する４データとはならないデータ
４０ ＳＰパス分類時の８近傍データで注目ビットサンプルが有意となるケース
４１ ＳＰパス分類時の８近傍データで前の注目ビットサンプルのみが有意状態であるケース
４２ ＳＰパス分類時の８近傍データがコードブロックの外に出てしまうケース
５０ 量子化部
５１ 絶対値変換最上位有意ビットプレーン検出部
５２ コードブロックデータ記憶部
５３ パス検索分類処理部
５４ ステータス情報記憶部
５５ 算術符号化部
６０ 算術復号化部
６１ コードブロック復元処理部
６２ ステータス情報記憶部
６３ 復号コードブロックデータ記憶部
６４ 逆量子化部

Claims (8)

1. 画像圧縮符号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置であって、前記ビットモデリング部が、入力されたコードブロックデータを絶対値変換し最上位有意ビットプレーンを検出する手段と、前記最上位有意ビットプレーンを含む前記絶対値変換したコードブロックデータを記憶する手段と、前記コードブロックデータのビットプレーン毎にＣＵパス、ＳＰパスおよびＭＲパスのデータに分類処理する手段と、各データの有意状態および分類状態を表すステータス情報を記憶する手段とを備え、前記分類処理手段が、前記ビットプレーン毎に前記各パスのデータの分類処理を繰り返し行うためのループ処理経路と、あるビットプレーン上の全てのデータがＭＲパスに分類されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてデータをＭＲパスに分類する処理のみを繰り返し行うためのループ処理経路とを有することを特徴とする画像処理装置。
2. 前記ビットプレーンが複数の小ブロックに分割され、前記分類処理手段が、前記小ブロック内の全てのデータがＭＲパスに分類されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの分類処理を省略する経路を備えたことを特徴とする請求項１記載の画像処理装置。
3. 画像伸張復号化に伴うビットモデリング処理を行うビットモデリング部を具備する画像処理装置であって、前記ビットモデリング部が、入力されたＣＵパス、ＳＰパスおよびＭＲパスに分類されたデータからコードブロックデータを復元処理する手段と、前記コードブロックデータを復元処理する度に更新するステータス情報を記憶する手段と、前記復元されたコードブロックデータを記憶する手段とを備え、前記復元処理手段が、前記各パスのデータに対して前記コードブロックデータのビットプレーン毎に復元処理を繰り返し行うためのループ処理経路と、あるビットプレーン上の全てのデータがＭＲパスで復元されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてＭＲパスを復元する処理のみを繰り返し行うためのループ処理経路とを有することを特徴とする画像処理装置。
4. 前記ビットプレーンが複数の小ブロックに分割され、前記復元処理手段が、前記小ブロック内の全てのデータがＭＲパスで復元されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの復元処理を省略する経路を備えたことを特徴とする請求項３記載の画像処理装置。
5. 画像圧縮符号化に伴うビットモデリング処理を行うビットモデリング工程を具備する画像処理方法であって、前記ビットモデリング工程が、入力されたコードブロックデータを絶対値変換し最上位有意ビットプレーンを検出する工程と、前記最上位有意ビットプレーンを含む前記絶対値変換したコードブロックデータを記憶する工程と、前記コードブロックデータのビットプレーン毎にＣＵパス、ＳＰパスおよびＭＲパスのデータに分類処理する工程と、各データの有意状態および分類状態を表すステータス情報を記憶する工程とを備え、前記分類処理工程が、前記ビットプレーン毎に前記各パスのデータの分類処理を繰り返し行うためのループ処理工程と、あるビットプレーン上の全てのデータがＭＲパスに分類されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてデータをＭＲパスに分類する処理のみを繰り返し行うためのループ処理工程とを有することを特徴とする画像処理方法。
6. 前記ビットプレーンが複数の小ブロックに分割され、前記分類処理工程が、前記小ブロック内の全てのデータがＭＲパスに分類されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの分類処理を省略することを特徴とする請求項５記載の画像処理方法。
7. 画像伸張復号化に伴うビットモデリング処理を行うビットモデリング工程を具備する画像処理方法であって、前記ビットモデリング工程が、入力されたＣＵパス、ＳＰパスおよびＭＲパスに分類されたデータからコードブロックデータを復元処理する工程と、前記コードブロックデータを復元処理する度に更新するステータス情報を記憶する工程と、前記復元されたコードブロックデータを記憶する工程とを備え、前記復元処理工程が、前記各パスのデータに対して前記コードブロックデータのビットプレーン毎に復元処理を繰り返し行うためのループ処理工程と、あるビットプレーン上の全てのデータがＭＲパスで復元されたことを前記ステータス情報を用いて検出した場合に以降のビットプレーンにおいてＭＲパスを復元する処理のみを繰り返し行うためのループ処理工程とを有することを特徴とする画像処理方法。
8. 前記ビットプレーンが複数の小ブロックに分割され、前記復元処理工程が、前記小ブロック内の全てのデータがＭＲパスで復元されたことを検出した場合に以降のビットプレーンにおいて前記小ブロックのＳＰパスおよびＣＵパスの少なくとも一方のデータの復元処理を省略することを特徴とする請求項７記載の画像処理方法。

Images