JP2006295561A - 符号化処理装置、符号化処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】ポスト量子化とスカラー量子化の量子化処理の二つの量子化方式を具備する符号化方式を用いて、画像属性の特性に適した高精度な量子化制御を行って圧縮率を高めることができる符号化処理装置を提供する。
【解決手段】画像データをマスク画像データ（マスク画像の白黒で前景画像と背景画像のいずれかを選択するようにそれぞれ分離する画像データ）、前景画像データ、背景画像データに分離して、各分離された画像データの特性に適するように、スカラー量子化処理とポスト量子化処理の二つの量子化処理方法を使い分ける。例えば、マスク画像としてテキスト情報を用いる場合に、マスクデータに対しては、スカラー量子化をせずにポスト量子化によって低ビットプレーンのみ削減し、ノイズを除去し、その他の前景及び背景画像については、ポスト量子化をせずにスカラー量子化する。これにより高精度に量子化制御できる。
【選択図】図４

Description

本発明は、符号化処理装置、符号化処理方法、プログラムおよび記録媒体に関し、具体的には、符号化処理における画像領域毎の量子化制御に関し、特にポスト量子化とスカラー量子化の使い分け制御に関する。

近年、画像入力技術及びその出力技術の進歩により、高精細な画像を取り扱う高性能・低価格な画像入出力製品が市場に出回っており、また、ネットワークによって高精細な画像を送受信する機会が急増している。
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくと思われる。

ところで、圧縮符号化され復号されたときには画質が劣化するが、画像に含まれる属性（文字、線画、写真、背景等）ごとの領域の特性によって、画質の劣化が目立つものと目立たないものがある。例えば、文字領域においては画質の劣化が目立つが、写真領域においては、文字領域ほど画質の劣化は目立たない。
このように、特性が異なる領域を一律に圧縮符号化した場合、領域によって圧縮符号化の影響が顕著なものと顕著でないものとが混在するという問題があった。

このような問題点を解決するために、画像を属性毎に分離して、それぞれ別々の圧縮方法で符号化処理するという方法が提案されている。殊に、文字写真混在画像を対象として文字情報（線画像情報）などの二次元情報とそうでない情報を分離して、多値と二値情報それぞれに対して圧縮方法を切り替えて処理することで、圧縮率を高めると同時に画質劣化を少なくおさえるようにしている。

ところが、多値と二値情報の両者が異なる圧縮方式を用いるために全体の符号量制御が複雑であることや、同様なフォーマットで符号列が生成されないために符号列順の制御（プログレッション制御）が容易ではない。また、異なる符号化器を複数持たなければならないということでコスト高であるということが問題であった。

そこで、一つの符号化方式で（画像データ毎に）両者の圧縮方法を切り替えることで同様の符号列フォーマットを持つ符号列を生成することができる。また、両者を独立に同じ圧縮方式を施し生成された符号データを併合（複合）することで、上記問題を解決することが考えられる。
しかし、そのまま、同じ符号化方式を施したのでは、圧縮率を十分高くできないという問題がある。

そこで、画像領域毎に符号化時の量子化パラメータを変更して最適な符号化処理をすることで再生画像の画質を向上するという方式が提案されている。
例えば、特許文献１では、入力された画像データのタイル単位の属性に従ってプログレッシブ順序をスカラー量子化とポスト量子化で切り替えて画像データを符号化している。

ところで、ＪＰＥＧ２０００の符号化方式では、スカラー量子化処理と共に、ポスト量子化処理でトランケート制御する機能を有している。ＪＰＥＧ２０００の規格上、非可逆圧縮を行う場合で、非可逆の９×７ウェーブレット変換フィルタを用いるときには、自動的にスカラー量子化とポスト量子化を併用することが決められている。一方、可逆の５×３ウェーブレット変換フィルタを用いる場合には、スカラー量子化を行わず、ポスト量子化によってのみ、符号量制御が行われる。

スカラー量子化は、効率のよい圧縮を行うために、ウェーブレット変換された係数に対して実行される。スカラー量子化は、画素単位の量子化であり、量子化ステップ幅を指定する係数（≧１）を変更して量子化を行う。
一方、ポスト量子化は、量子化の後に行われる符号化がビットプレーンであることを利用して、完成した符号列の下位ビットプレーンを切り捨てることによって行う量子化である。スカラー量子化では、符号量の制御を行うためには、量子化ステップ幅を適宜変更しながら符号化を行う必要があるが、ポスト量子化では、符号化後の符号列に対して量子化を行うので再度符号化を行う必要がなく、符号量の制御を１パスで実現可能という特徴がある。

対象が文字であるか写真であるかによって行われるスカラー量子化では、量子化ステップ幅を指定する係数（≧１）を変更して量子化する。例えば、文字であれば小さい圧縮率で圧縮するような小さい係数（「１」の近傍の所定値）を用いて量子化する。極端な場合、文字であれば量子化をしない。
一方、写真の場合は、大きい係数を用いて圧縮しても、見た目に及ぼす影響が少ないので、大きい圧縮率で圧縮するような大きい係数を用いて量子化する。

対象が文字であるか写真であるかによって行われるポスト量子化では、切り捨てる下位ビットプレーン数を変更し量子化する。
例えば、写真であれば切り捨てるビットプレーンを少なくして量子化を行う。一般に文字などのエッジ領域の方が絵柄などの非エッジ領域よりも情報量が多いため、一律にビットプレーンを切り捨てるポスト量子化では非エッジ領域がより激しく劣化するからである。極端な場合は、写真であればポスト量子化をしない。
一方、文字であれば切り捨てる下位ビットプレーン数を大きくして量子化を行う。この場合、より多くの情報が切り捨てられるが、文字であることにより見た目に及ぼす影響が少ない。
特開２００３−２３５４４号公報

しかしながら、特許文献１では、カラー量子化とポスト量子化を切り替えて符号化しているが、タイル領域に限定したものである。

本発明は、上述の実情を考慮してなされたものであって、ポスト量子化とスカラー量子化の量子化処理の二つの量子化方式を具備する符号化方式を用いて、画像属性の特性に適した高精度な量子化制御を行って圧縮率を高めることができる符号化処理装置、符号化処理方法、符号処理装置の機能をコンピュータに実現するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

上記の課題を解決するために、請求項１に記載された発明は、ポスト量子化とスカラー量子化をする機能を有する符号化処理装置にあって、１枚の画像データを合成すれば再現可能な複数個の画像データに分割する画像データ分割手段を有し、前記分割された画像データ毎にスカラー量子化をするしないを切換えて符号化する手段を備えることを特徴とする。

請求項２に記載された発明は、請求項１に記載の符号化処理装置において、元画像データを３つの画像データ（マスク画像と前景画像と背景画像）に分離する画像データ分離手段を有し、前記第一の画像データ１（マスク画像）の単位領域の値によって、元画像データの単位領域の値が第二の画像データ２（前景画像）または第三の画像データ３（背景画像）のいずれかの単位領域の値となっていることを特徴とする。

請求項３に記載された発明は、ポスト量子化とスカラー量子化をする機能を有する符号化処理装置にあって、画像データをスカラー量子化する部分とスカラー量子化しない部分とに分割する画像データ分割手段と、前記分割された画像データ毎にポスト量子化をするしないを切換えて符号化する手段を備えることを特徴とする。

請求項４に記載された発明は、ポスト量子化とスカラー量子化をする機能を有する符号化処理装置にあって、スカラー量子化をする場合にポスト量子化をし、または、スカラー量子化をしない場合にポスト量子化をしないことを特徴とする。

請求項５に記載された発明は、請求項１乃至４のいずれかに記載の符号化処理装置において、ウェーブレット変換処理をする機能と、ウェーブレット変換データに対してスカラー量子化をする機能を有し、スカラー量子化をしない場合にウェーブレット変換処理がなされないことを特徴とする。

請求項６に記載された発明は、請求項１乃至５のいずれかに記載の符号化処理装置にあって、画像データ中に混在する画像属性を分離する画像属性分離手段を有し、請求項１乃至４のいずれかに記載の画像データ分割が前記画像データの像域分離情報に基づいてなされていることを特徴とする。

請求項７に記載された発明は、請求項６に記載の像域分離情報には、請求項２に記載の画像データ１（マスク画像）、または、文字属性または線画属性または絵柄属性または写真属性の少なくとも一つの画像属性を含んでいることを特徴とする。

請求項８に記載された発明は、請求項７に記載の符号化処理装置において、請求項２に記載の画像データ１（マスク画像）、または、画像属性が文字属性または線画属性である場合にスカラー量子化をしないことを特徴とする。

請求項９に記載された発明は、請求項８に記載の符号化処理装置において、請求項２に記載の画像データ２（前景画像）または画像データ３（背景画像）、または、画像属性が文字属性または線画属性である場合にポスト量子化をしないことを特徴とする。

請求項１０に記載された発明は、請求項２に記載の画像データ２（前景画像）または画像データ３（背景画像）のどちらかがロスレスで符号化されること、または、どちらかがスカラー量子化もポスト量子化もどちらもなされることを特徴とする。

請求項１１に記載された発明は、請求項１乃至１０のいずれかに記載の符号化処理装置において、前記分割された画像データ毎に別々にスカラー量子化とポスト量子化を制御して符号化する手段を備えることを特徴とする。

請求項１２に記載された発明は、請求項１１に記載の符号化処理装置において、前記分割された画像データ毎に別々にスカラー量子化がなされた符号データが同期してポスト量子化して符号化する手段を備えることを特徴とする。
請求項１３に記載された発明は、請求項１２に記載の符号化処理装置において、前記ポスト量子化において、符号化データの符号列に対して符号順制御することを特徴とする。
請求項１４に記載された発明は、請求項１２に記載の符号化処理装置において、前記ポスト量子化において、符号化データの符号列に対して符号量制御することを特徴とする。
請求項１５に記載された発明は、請求項１乃至１４のいずれかに記載の符号化処理装置において、符号化される符号データがＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づいた符号データであることを特徴とする。

請求項１６に記載された発明は、ポスト量子化とスカラー量子化をする符号化処理方法にあって、１枚の画像データを合成すれば再現可能な複数個の画像データに分割し、前記分割された画像データ毎にスカラー量子化をするしないを切換えて符号化することを特徴とする。
請求項１７に記載された発明は、ポスト量子化とスカラー量子化をする符号化処理方法にあって、画像データをスカラー量子化する部分とスカラー量子化しない部分とに分割し、前記分割された画像データ毎にポスト量子化をするしないを切換えて符号化することを特徴とする。
請求項１８に記載された発明は、ポスト量子化とスカラー量子化をする符号化処理方法にあって、スカラー量子化をする場合にポスト量子化をし、または、スカラー量子化をしない場合にポスト量子化をしないことを特徴とする。
請求項１９に記載された発明は、コンピュータに、請求項１乃至１５のいずれかに記載の符号化処理装置の機能を実現させるためのプログラムである。
請求項２０に記載された発明は、請求項１９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、画像データの特性によりポスト量子化とスカラー量子化を使い分けることで、より高画質な符号化処理が実現できる。
また、効率的な符号順制御および符号量制御が実現できるので、効率的な符号化処理が実現できる。
また、ＪＰＥＧ２０００規格に基づいた標準化されている汎用的な符号化処理で実現できる。

以下、図面を参照して本発明の好適な実施形態について説明する。

（１）本発明の基本構成

図１は、本発明の実施形態について説明するための処理概念図である。本実施形態においては、入力された画像データは、前景情報、背景情報、マスク情報とに分離され、マスク画像の白黒で前景画像と背景画像のいずれかを選択するように分離されている。
マスク画像は、前景か背景かを表す二値データで表され、一方、前景あるいは背景画像は一般に多値データで表される。

したがって、マスク情報は二値データであるため、再現画質においては解像度を保持することが重要となり、ウェーブレット変換を施しスカラー量子化することなくポスト量子化を施す。
一方、前景情報や背景情報は、多値データであるため、階調性を保持することが重要であり、ウェーブレット変換を施しスカラー量子化を施すものの、ポスト量子化を施すことなく符号データを生成する。

ところで、マスク情報として図１に示すような文字情報を選択した場合は、文字は、一般に、一つの文字が同一の色でもって実現していることや、フォントサイズが小さい場合には、文字上の絵柄とかテクスチャについては再現画質の劣化がそれほど目立たない。そのような場合は、前景画像の階調性の保持はそれ程重要でないと言える。図１は、このような思想に基づいて、前景画像は、スカラー量子化もポスト量子化のどちらも実行するような構成になっている。

本発明の構成では、このように、入力画像を画像属性に基づいて前景情報、背景情報、マスク情報とに分離して、それぞれに適した、スカラー量子化あるいはポスト量子化を選択的に施す。図１のように、それぞれの量子化処理（あるいは、その準備のための処理）を施すかどうかを制御するばかりでなく、スカラー量子化とポスト量子化の割合を変更する制御も含まれる。例えば、図１では、背景画像が、エッジ情報が多く含まれた絵柄情報であるような場合は、階調性だけでなく解像度も重要であることから、量子化することなく情報を失わないロスレスで符号化してもかまわない。また、ある領域に含まれる画像の属性の含む割合によって、スカラー量子化とポスト量子化の割合を変更してもよい。

本発明は、次のような手順で処理される。
まず、画像データを読み込んで、その画像の属性を識別する。
この画像属性に基づいて、読み込んだ画像データを、文字領域のマスクデータとその前景画像データおよびその他の背景画像データとに分離する。
分離結果によってそれぞれ次の処理を施す。
（１）文字領域のマスクデータの場合、再現画像の解像度を重視すべく、ウェーブレット変換処理やスカラー量子化することなく符号化を行う。
（２）前景画像データの場合、非重要画像データとして、スカラー量子化もポスト量子化もする通常の符号化を行う。
（３）背景画像データの場合、再現画像の階調を重視すべく、スカラー量子化するがポスト量子化しない符号化を行う。

上述したように、入力画像（文字画像混在文書画像）は、複数の画像データに分割される。例えば、図１のように、入力画像は、前景画像、背景画像、マスクデータに分離される。マスク画像は、二値画像データであり、マスクの値が１の画素領域では、前景画像が再生され、マスクの値が０の画素領域では、背景画像が再生される。
図１においては、マスクデータとしては、テキスト情報データを対象とし、元画像データを、マスクデータとその前景画像データと、背景画像データに分解し、それぞれに適した符号化処理をしている。
続いて、分離された各画像データは、それぞれに適した量子化方法が規定された処理モードが選択され符号化される。後述する図４および図５は、本発明の実現構成について説明するための図である。

本発明の典型的な処理モードとしては、量子化の使用方法によって区別され、例えば、階調性を重視してスカラー量子化のみ行う階調性重視モードと、解像度を重視してポスト量子化のみ行う解像度重視モードと、解像度も階調性も重要でロスレスで実行するロスレスモードと、スカラー量子化とポスト量子化どちらも施す非重要モードがある。処理モードに基づいて、量子化処理が選択的に施される。

文字領域については解像度を重視して文字画像をシャープに出力させる一方、絵柄領域については階調性を重視して絵柄画像をソフトに出力させることができるように、それぞれの領域に適した量子化方法を適用する。

（２）本発明の実施形態

本発明では、図１で説明したように、複数画像データを合成して再生することを想定して入力画像を複数の画像データ（前景画像、背景画像、マスクデータ）に分けてそれぞれの画像データを符号化するということもできるが、入力画像を領域別に分けてそれぞれの画像データを符号化することもできる。
最初に、後者の入力画像を領域別に分けて分割する場合の実施例について説明し、続いて、入力画像を複数の画像データ（前景画像、背景画像、マスクデータ）に分けて分割する場合について説明する。

以下、図２（Ａ）に示すような文字領域１３１と絵柄領域１３２とが混在する単純な原稿１３３による文書画像データを処理対象とする場合の処理例を数例挙げて説明する。
まず、第１の最も単純な例としては、文書画像データ中に占める文字領域１３１と絵柄領域１３２との比率に応じて当該文書画像データ全体に対して解像度重視モード（文字再生用）か階調性重視モード（絵柄再生用）かの何れかのモードを適用するようにセレクタで切換えるように構成することができる。この場合の圧縮符号化処理方式としては、複数のタイルに分割してタイル単位で符号化するタイル方式であっても、ラスタライン毎に分割してラスタライン単位で符号化するラスタ方式であってもよい。

この場合の圧縮符号化は、図３（１）に示すように、圧縮符号化した符号データのメインヘッダ領域中に適用したモードが解像度重視モード（文字再生用）と階調性重視モード（絵柄再生用）との何れであるかの符号化モード情報を記述しておけば、当該符号データの復号時にはこの符号化モード情報を参照することにより間違えることなく復号可能となる。図３（１）の例は、タイル符号化方式であって（図２（Ｂ）参照）、解像度重視モード（文字再生用）を適用して文書画像データ全体をスカラー量子化することなく符号化した例である。

次に、第２のより実際的な例としては、或る小領域単位＝タイル単位で処理モードを動的に切換えるようにしてもよい。例えば、図２（Ａ）に示すような文書画像データを図２（Ｂ）に示すように、複数のタイルＡ１、Ａ２、…、Ｆ３、Ｆ４に分割し、そのタイル単位で圧縮符号化手段による処理内容を解像度重視モード（文字再生用）とするか階調性重視モード（絵柄再生用）とするかを切換えるようにしてもよい。

図３（２）は、この方式により符号化された符号列の例を示し、そのメインヘッダ領域中に適用したモードが解像度重視モード（文字再生用）と階調性重視モード（絵柄再生用）との何れであるかの符号化モード情報をタイル毎に記述しておけば、当該符号データの復号時にはこの符号化モード情報を参照することにより間違えることなく復号可能となる。

もっとも、メインヘッダ領域中に記述する方式に限らず、図３（３）に示すように、圧縮符号化された各タイルの符号データ中（タイルヘッダ部）に個々に適用したモードが解像度重視モード（文字再生用）と階調性重視モード（絵柄再生用）との何れであるかの符号化モード情報を記述しておくようにしてもよい。この方式によっても、当該符号データの復号時にはこの符号化モード情報を参照することにより間違えることなく復号可能となる。

第３のより実際的な例としては、或る小領域単位＝ラスタライン単位で処理モードを動的に切換えるようにしてもよい。例えば、図２（Ａ）に示すような文書画像データを図２（Ｃ）に示すように複数のラスタラインｙ０、ｙ１、…に分割し、そのラスタライン単位で圧縮符号化手段による処理内容を解像度重視モード（文字再生用）とするか階調性重視モード（絵柄再生用）とするかを切換えるようにしてもよい。

図３（４）は、この方式により符号化された符号列の例を示し、そのメインヘッダ領域中に適用したモードが解像度重視モード（文字再生用）とするか階調性重視モード（絵柄再生用）との何れであるかの符号化モード情報を、そのモードが変化するラスタラインによって記述しておけば、当該符号データの復号時にはこの符号化モード情報を参照することにより間違えることなく復号可能となる。この例では、ラスタライン０から解像度重視モード（文字再生用）による処理が行われ、ラスタラインｙ１で階調性重視モード（絵柄再生用）に切換えられ、ラスタラインｙ３で解像度重視モード（文字再生用）に切換えられ、…、ことを示している。

もっとも、メインヘッダ領域中に記述する方式に限らず、図３（５）に示すように、符号化された符号データ中に個々に適用するモードが解像度重視モード（文字再生用）と階調性重視モード（絵柄再生用）とで切換えられるラスタラインに関する情報を符号化モード情報として記述しておくようにしてもよい。この方式によっても、当該符号データの復号時にはこの符号化モード情報を参照することにより間違えることなく復号可能となる。
尚、上記説明中、解像度重視モード（文字再生用）としているが量子化処理を施さないロスレスモードで再生するのであってもかまわない。

図４は、本発明の構成例を示している。この構成例では、文字情報とその他の絵柄情報とに分解し、それぞれ独立に処理モードを変更しながら符号化処理する。
後述するＪＰＥＧ２０００アルゴリズムによる図８中の符号化手段を書き直したものである。図８では、エントロピー符号化部の処理ブロックの中で、ポスト量子化を実行しているが、図４では、ポスト量子化を明示している。

スカラー量子化・逆量子化部では、効率のよい圧縮を行うためにウェーブレット係数のダイナミックレンジを削減する処理を行う。一方ポスト量子化では、後述のエントロピー符号化がビットプレーンであることを利用して、完成した符号列の下位ビットプレーンを切り捨てることにより量子化する。

エントロピー符号化・復号化部は、より詳細には、係数モデリング部及び算術符号化部により構成されている。このうち、係数モデリング部では符号化対象となる多値ウェーブレット係数から二値算術符号化用のビットモデルを作成するものであり、この処理により符号化方法が決定される。算術符号化部における符号化方式には新しい二値画像符号方式であるＭＱ−Ｃｏｄｅｒと称される方式が用いられる。
タグ処理部には符号順序制御部を含んでいる。

図４の構成では、符号化処理モードとして、階調性優先モードと解像度優先モードがあり、階調性優先モードではウェーブレット係数に対してスカラー量子化のみなされ、解像度優先モードではウェーブレット変換とスカラー量子化はなされず、エントロピー符号化されたデータに対してポスト量子化のみなされる。

このようなＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）アルゴリズムに従った符号化処理に加えて、本実施形態では、画像入力部１から処理対象として入力される文書画像データに関して、そのデータ中に混在する文字領域と絵柄領域とを分離して像域分離信号を出力する像域分離手段としての画像領域判別部２と、この画像領域判別部２から出力される画像判別（像域分離）信号に応じて符号化手段による処理内容を切換える処理内容切換え手段としてのセレクタ３が設けられている。

この画像領域判別部２としては、画像の特徴に合った最適な画像処理を行うために文字領域と絵柄領域とを分離するには公知の像域分離に関する技術を利用すればよい。（例えば、特開平９−２３３３２４号公報等参照）。

画像領域判別部２における、文字領域の抽出は、画像データ全体の二値化処理（二値画像生成処理）を行った後、二値化処理結果を分析して文字領域を抽出（文字領域抽出処理）する。
二値画像生成処理では、まず、ブロック単位に入力されたＲＧＢ信号に対して輝度信号であるＹ信号に変換する。ＲＧＢ信号からＹ信号への変換は、種々の方法があり特に限定されないが、最も簡単な変換式の一例としてＪＰＥＧ２０００に採用されている変換式を以下に示す。

Ｙ ＝ （Ｒ＋２×Ｇ＋Ｂ＋２）／４

変換されたＹ信号は、ブロック単位に決定されたしきい値に応じて、二値化が行われる。ここでのしきい値決定処理方法としては、例えば、特開２００２−７７６３号公報にて開示されているようなヒストグラムをとり、平均、分散等の統計的性質を利用した方法や、簡易な方法としてはブロック内全画素の輝度（Ｙ）値の平均値を用いたり、平均値に所定の重みを演算することによって決定する方法等が考えられる。
なお、二値化処理は、以上の計算方法に特定されず、Ｙ信号変換処理をすることなくＲＧＢ信号各々でしきい値を決定し二値化処理を行っても良い。

次に、文字領域抽出処理では、二値画像生成処理によって得られた二値画像データから文字領域を抽出する。これは、ＯＣＲ処理などでは良く行われる技術であり、例えば、特開２００２−７７６３１号公報にて開示されているように二値画像データの黒画素の輪郭線追跡を行い全てをラベリングして縦、横の幅がしきい値以下の黒画素の集まりのみ文字として文字領域を抽出する。
また、三次元表示用領域または二次元表示用領域は、前述のように画像データを解析するという方法によらず使用者が直接領域を指定することにより設定してもかまわない。

別の一例として、例えば、各々文書画像データが入力されるエッジ領域検出回路及び白地領域検出回路と、これらの検出回路の検出結果に応じて文書画像データの処理対象領域が文字領域であるか絵柄領域であるかを判定してセレクタ３に対して画像判別（像域分離）信号を出力する判定回路とにより構成することができる。

セレクタ３は、画像判別（像域分離）信号に応じて処理対象となる文書画像データの符号化処理に対する入力先を切換える。文字領域なる画像判別（像域分離）信号の場合には文字画像に適した解像度重視モード（文字再生用）で圧縮符号化処理を行わせる一方、文字以外の絵柄領域なる画像判別（像域分離）信号の場合には絵柄画像に適した階調性重視モード（絵柄再生用）として処理を行わせるように、処理内容を切換える。
これらの画像領域判別（像域分離）部２やセレクタ３の機能も、プログラムに基づいて処理するようにしてもよい。

一般に、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）アルゴリズムによる圧縮符号化の特徴を考えた場合、その一つとして前述したようなビットプレーン符号化があり、画像としては元々１ビットの情報で表すことができる領域である領域の（文字領域の）マスクデータであっても、複数のビットプレーンの符号化を行う必要があり、結果的に無駄な符号化を行っているのと同じ意味になり、符号化効率が悪く、処理速度も遅くなってしまう不具合がある。

この点、本実施形態の基本的な構成によれば、文書画像データを符号化する上で、文字以外の絵柄領域（背景画像データ）に関しては、スカラー量子化を含む符号化を行うが、二値符号化が適する文字領域のマスクデータに関しては、２次元ウェーブレット変換処理やスカラー量子化処理を行わず、それ以降のエントロピー符号化処理から行わせることで、無駄な処理を省くことができ、処理の高速化、符号化効率を向上させることができる。

（３）ＪＰＭ仕様に基づく実施形態

上述したように、各領域毎に独立なイメージデータとして分解し画像再生するという構成で、ＪＰＭの仕様に基づく符号化で実現することもできる。本発明の典型的な実施形態の一つとして、ＪＰＥＧ２０００ Ｐａｒｔ６に係るＪＰＭ（ＩＳＯ／ＩＥＣ ＦＤＩＳ １５４４４−６）を適用した場合について説明する。

図５は、ＪＰＭの仕様に基づく符号化処理の構成例を示している。
この構成例では、文字情報とその他の絵柄情報とに分解し、その他の絵柄情報は背景情報とし、文字情報はマスクデータと前景情報とに分離し、それぞれ独立に処理モードを変更しながら適用する。

図５は、図４の構成と比較して、文字画像データをマスクデータと前景画像データに分離するマスクデータ抽出部８、処理モード指定に基づいて文字以外の画像データに対してロスレスモードで符号化するか、解像度優先モードで符号化するかを選択するセレクタ２（９）とがさらに設けられている。セレクタ２（９）については、文字以外の画像データに対して処理モードを決めておく場合には必要としない。

図６は、画像領域判別部２において抽出した文字領域情報を使用してマスクデータとその前景データを抽出する方法を説明するための図である。元画像データの文字は、色や模様（グラデーション）をもっており、それが二値データのマスクデータと色や模様（グラデーション）の前景画像データとに分離している。図５のマスクデータ抽出部８では、このように文字領域の領域判別結果に基づいてマスクデータと前景画像に分離する。

分離画像データ生成は、文字領域判別結果によってそれぞれ次のように処理される。
（１）マスクデータの場合、文字だけの二値画像データをマスクデータとして生成する。
（２）背景画像データの場合、文字領域を除いた文字なしの画像データを生成する。
（３）文字前景画像データの場合、文字の色を表す画像データを生成する。

このように、入力画像に対する文字領域の領域判別結果を使用して、マスクデータと前景画像データだけでなく、背景画像データも同時に生成する。

図７は、ＪＰＭによる実現方式について説明するための式である。この式により、画像が再現される。ここで、ＰａｇｅＩｍａｇｅが再現画像を表している。ＪＰＭでの画像データの分解は、背景画像に相当するＢａｓｅＩｍａｇｅデータと、Ｍｍと記載されているマスクデータと、前景画像に相当するＩｍと記載されている（マスク上の）イメージデータに分解する。

また、図７には、本発明をＪＰＭへ適用したときの変換式を示してある。
ＪＰＭの規定によれば、マスクデータ（Ｍｍ）は、イメージデータ（Ｉｍ）の不透明度を表しているが、図１で説明した例では、先に説明したようにマスクデータの値は１か０に限定している。尚、この例においては、ＢａｓｅＩｍａｇｅデータを背景画像データとして、マスクデータ（Ｍｍ）とイメージデータ（Ｉｍ）は１組のデータしかもたない構成に分解している。

別の元画像データの分解例としては、ＢａｓｅＩｍａｇｅデータを透明データとして、背景画像データであるイメージデータ（Ｉ_１）と全て１（全面上書き）であるマスクデータ（Ｍ_１）として、テキストデータを表すマスクデータ（Ｍ_２）と、その前景画像データを表すイメージデータ（Ｉ_２）として表して、分解してもかまわない。

本発明では、いずれの分解方法であったとしても、ＢａｓｅＩｍａｇｅデータ、マスクデータ（Ｍｍ）と、イメージデータ（Ｉｍ）のそれぞれを独立にスカラー量子化とポスト量子化の量子化方法の適用を制御する。スカラー量子化とポスト量子化の量子化方法をそれぞれ独立に適用できるように画像データを分解する。分離されたデータは、図７で示した式に基づいて合成して再生画像を生成する。

（４）ＪＰＥＧ２０００符号化

本実施形態における符号化処理は、スカラー量子化とポスト量子化の二つの量子化方式を有する符号化で実現する。スカラー量子化とポスト量子化の二つの量子化方式を有する典型的な符号化方式がＪＰＥＧ２０００による符号化である。以下にそのＪＰＥＧ２０００の符号化方式について説明する。

ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づく符号化は、以下のような特徴がある。

（１）ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）における符号データ編集部（パーサ）は、符号データ（フレーム）を符号レベルで加工し（符号の構成要素であるパケットのトランケーション処理を行い）、別の符号データを生成する機能をもつ。ＪＰＥＧ２０００規格に基づく符号化においては、コンポーネント、画質（レイヤー）、解像度、領域（プリシンクト）毎に分割されているので、それぞれの性質を変えたフレームデータから構成されるストリームデータを容易に構成できる。

（２）領域（タイル領域）毎に符号化され、それぞれ異なるスカラー量子化やポスト量子化（トランケーション）することができる。
従って、本発明における領域毎の処理が容易に実現できる。ＪＰＥＧ２０００で生成される符号列はプリシンクト領域あるいはコードブロック領域と呼ばれているような領域単位に分割され、タイル領域よりさらに狭い領域であるプリシンクト単位に最適化処理を容易に実施することができる。
一方、静止画像、即ち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」の仕様である。静止画像（フレーム）の集合によって、動画を構成するストリームデータが構成されている。

（３）「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」における符号データ編集部（パーサ）は、さらに、ストリームデータをフレーム単位で加工し、別のストリームデータを生成することができる。

このように、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」によるストリームデータであると、前記ストリームデータを構成するフレームデータが符号列の編集によって、復号再圧縮することなく符号レベルでの符号データの編集によりフレームデータの構成が変更でき、容易にフレームデータが生成できる。即ち、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」によるストリームデータを構成するフレームデータを符号レベルで容易に加工できると共に、フレーム単位でストリームデータの構成を加工する機能がある。

本発明では、ＪＰＥＧ２０００の符号化によるような階層符号に限定するわけではないが、階層符号のように体系的に構成された符号にあっては符号データの編集が容易である。言うまでもなく、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づいて符号化された符号データでなくても、ＪＰＥＧ、ＪＢＩＧ、その他の仕様であってもかまわない。

以下、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の仕様について説明する。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化は、おおよそ以下で説明しているような手順でなされる。なお、これらの処理は、ソフトウェアとして実現してもよいし、ハードウエア回路により実現してもかまわない。ハードウエアで実現することで、処理の高速化が図られる。

＜ＪＰＥＧ２０００アルゴリズム＞
近年、高精細画像を取り扱うのに適した圧縮符号化方法としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格が知られている。また、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生することにより動画表示を行うＭｏｔｉｏｎ ＪＰＥＧ２０００という規格もあり、世界標準の階層符号化方式の一つである。
高精細静止画像の取扱いを容易にする画像符号化伸長アルゴリズムとしては、現在のところ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が最も広く使われている。また、２００１年に国際標準になったＪＰＥＧ２０００は、ＪＰＥＧよりも更に高性能な画像符号化伸長アルゴリズムを持つばかりでなく、同時に大幅な多機能化や、様々なアプリケーションに対する柔軟性と拡張性を備えている。ＪＰＥＧ２０００は、ＪＰＥＧ後継の次世代高精細静止画像符号化伸長フォーマットとして、大いに期待されている。

一般に、カラー画像データの符号化は、前段でカラー画像データを各色成分（コンポーネント）毎に分割し、各コンポーネント毎の符号化処理を行う。一般に画像データの各コンポーネント毎の符号化処理は符号量制御を行い、以下の三つの手順により処理される。

（Ａ）画像データ→周波数領域の係数への変換→周波数毎の係数のスカラー量子化→量子化後の係数のエントロピー符号化。
（Ｂ）画像データ→周波数領域の係数への変換→周波数毎の係数のスカラー量子化→量子化後の係数に関し最終的に必要な部分（例えば、必要なビットプレーンあるいはサブビットプレーン）だけのエントロピー符号化。
（Ｃ）画像データ→周波数領域の係数への変換→周波数毎の係数のスカラー量子化→量子化後の係数のエントロピー符号化→最終的に不要なエントロピー符号の破棄（エントロピー符号のトランケーション）。

上述の（Ａ）をスカラー量子化と呼び、（Ｂ）および（Ｃ）をポスト量子化（トランケーション）と呼んでいる。より厳密には、（Ｂ）は係数状態でのトランケーションであり、（Ｃ）は符号列のトランケーションであり、（Ｃ）はポスト量子化ともいう。

以上は、静止画像の符号化処理であるが、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化処理は、基本的に、上記（Ａ）乃至（Ｃ）の全ての方式により符号量制御が可能な仕様となっている。

次に、ＪＰＥＧ２０００アルゴリズムについて説明する。
図８は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図であり、２次元ウェーブレット変換・逆変換部、（スカラー）量子化・逆量子化部、エントロピー符号化・復号化部、タグ処理部で構成されている。図示していないが、色空間変換部の前にＤＣレベルシフト部があってもよい。

ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。
ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）をそれぞれ用いている。
ＤＷＴは、ＤＣＴに比べて高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。

また、他の大きな相違点は、後者では、最終段に符号形成を行うために、タグ処理部と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコードストリームとして生成され、伸長動作時には伸長に必要なコードストリームの解釈が行われる。そして、コードストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。
例えば、図９に示した様に、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジッションレベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。

なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換または逆の変換を行う部分がこれに相当する。

ＪＰＥＧ２０００の符号化処理においては、カラー画像は、一般に、図１０に示すように、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）によって分割される。そして、個々のタイル、例えば、Ｒ００、Ｒ０１、…、Ｒ１５／Ｇ００、Ｇ０１、…、Ｇ１５／Ｂ００、Ｂ０１、…、Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行われる。

符号化時には、各コンポーネントの各タイルのデータが、図８の色空間変換部に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。より厳密には、色空間変換を施す前に、ＤＣレベルシフトを行う。ＤＣレベルシフト部は入力される画像信号がＲＧＢ信号値のような正の数である場合に所定の変換式を用いて各信号値から信号のダイナミックレンジの１／２を減算するレベルシフト処理を行い、カラー変換部ではＲＧＢ画像を輝度色差系のＹＣｂＣｒ画像に変換することによりカラー画像の圧縮効率を高める処理を行うことができる。

ＤＣレベルシフ卜は、画像信号がＲＧＢ信号値のような正の数（符号なし整数）である場合には、式（１）に示すように順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行う。なお、レベルシフトは画像信号がＹＣｂＣｒ信号におけるＣｂおよびＣｒのような符号付き整数の場合には適用しない。

カラー変換は、カラー画像を効率良く圧縮するために行う。これはＪＰＥＧでもＲＧＢ画像をＹＣｂＣｒ画像に変換後に圧縮を行うと圧縮率が向上し、結果的には再生画質が良くなることと目的は同じである。色変換には、可逆と非可逆の２つの方法が定義されている。

（Ａ）可逆変換（ＲＣＴ）
可逆変換は、ＲＣＴ（Reversible multiple component transformation）と呼ばれ、変換式の係数が整数値であることが特徴である。この変換式を式（２）に示す。
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号において、０＝Ｒ，１＝Ｇ，２＝Ｂとすれば、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。

（Ｂ）非可逆変換（ＩＣＴ）
非可逆変換はＩＣＴ（Irreversible multiple component transformation）と呼ばれ、変換式の係数がＲＣＴとは異なり実数値であることが特徴である。この変換式を式（３）に示す。式中のＩは原信号、Ｙは変換後の信号でＩ信号において、０＝Ｒ，１＝Ｇ，２＝Ｂとすれば、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表され、ＪＰＥＧで使用しているＹＣｂＣｒ変換になる。

色空間変換後施される２次元ウェーブレット変換では、５×３フィルタを施す５×３ウェーブレット変換と、９×７フィルタを施す９×７ウェーブレット変換を選択できる。
５×３ウェーブレット変換とは、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。
同様に、９×７ウェーブレット変換とは、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。主な違いは、フィルタの範囲の違いであり、偶数位置中心にローパスフィルタ、奇数位置中心にハイパスフィルタが施されるのは同様である。９×７フィルタにも同様に当てはまる。

ウェーブレット変換は参照画素数や係数が異なった数多くの変換方法があるが、ＪＰＥＧ２０００では画質と回路構成を考慮して、整数型では５×３フィルタ、実数型では９×７フィルタが採用された。
可逆５×３フィルタの特徴は、変換のために使用される係数が整数であること、変換後の係数を丸め処理によって整数にすることが特徴である。可逆５×３フィルタの変換式を式（４）に示す。

次に、非可逆９×７フィルタの特徴は、可逆５×３フィルタとは反対に、変換のために使用される係数が実数であること、変換後の係数に対しで丸め処理を行わないことが特徴である。この変換式を式（５）に示す。

図９は、デコンポジッションレベル数が３の場合の、各デコンポジッションレベルにおけるサブバンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジッションレベル０）に対して、２次元ウェーブレット変換を施し、デコンポジッションレベル１に示すサブバンド（１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジッションレベル２に示すサブバンド（２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジッションレベル３に示すサブバンド（３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨ）を分離する。
さらに、図９では、各デコンポジッションレベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジッションレベル数を３とした時、グレーで示したサブバンド（３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ、２ＬＨ、２ＨＨ、１ＨＬ、１ＬＨ、１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。

次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図８の（スカラー）量子化部で対象ビット周辺のビットからコンテキストが生成される。量子化処理については後で詳述する。

スカラー量子化の処理が終ったウェーブレット係数は、個々のサブバンド毎に、「プリシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図１１に示した様に、一つのプリシンクトは、空間的に一致した３つの矩形領域からなっている。さらに、個々のプリシンクトは、重複しない矩形の「コードブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。

即ち、プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもの（をＨＬ、ＬＨ、ＨＨの３つのサブバンドについて集めたもの。プリシンクトは３つで１まとまりをなす。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまりである。）で、大まかには画像中の場所（Ｐｏｓｉｔｉｏｎ）を表すものである。プリシンクトはサブバンドと同じサイズにできる。プリシンクトをさらに（ユーザが指定可能なサイズの）矩形に分割したものがコードブロックである。

ウェーブレット変換後の係数値は、そのままスカラー量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコードブロック毎に「ビットプレーン」に順位付けを行うことができる。
ここで、ビットプレーンあるいはビットプレーンのエントロピー符号の破棄によって、圧縮を行うことを、ポスト量子化といい、破棄することをトランケーションというが、これらのことについては、後で詳述する。

エントロピー符号化部の処理の中で、ポスト量子化を実行している。
エントロピー符号化部（図８参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。

最後に、タグ処理部（図８参照）は、エントロピー符号化部からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。図１２に、コードストリームの構造を簡単に示した。コードストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コードストリームの終端には、再びタグが置かれる。

一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。図８を用いて簡単に説明する。この場合、タグ処理部は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆（スカラー）量子化部で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部で、このコンテキストとコードストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは、各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。

（４−１）ＪＰＥＧ２０００におけるスカラー量子化

以上、ＪＰＥＧ２０００における一般的な符号化、復号化方式について説明した。
ＪＰＥＧ２０００においては、スカラー量子化後にエントロピー符号化し、エントロピー符号化後に符号を破棄する（あるいは必要なビットプレーン部分のみ符号化を行う）ポスト量子化する構成になっている。
以下、まず、一般的なＪＰＥＧ２０００のスカラー量子化処理について、より具体的に補足説明する。

ＪＰＥＧ２０００の標準仕様においては、９×７ウェーブレットを施す場合と、５×３ウェーブレットを施す場合とで、両者の量子化処理の方法が異なる。９×７ウェーブレット変換を使用する場合は、スカラー量子化を施す。線形量子化によるスカラー量子化の場合には、ウェーブレット係数に公知の線形量子化を施し、スカラー量子化後の係数で構成されるビットプレーンをエントロピー符号化する。一方、線形量子化をしない場合には、後述するように、ポスト量子化する（不要なビットプレーンの符号を破棄する、あるいは必要なビットプレーンまでを符号化する）構成となる。

一方、５×３ウェーブレット変換を使用する場合は、線形量子化は適用できず、ポスト量子化（トランケーション）のみを行う仕様となっている。
即ち、９×７ウェーブレット変換を使用する場合は、各サブバンドごとに、ウェーブレット係数を線形（スカラー）量子化することができる。この場合、（スカラー）量子化ステップ数は同一のサブバンド内では共通に限られる。一方、５×３ウェーブレット変換を使用する場合には、サブバンドを構成する係数のスカラー量子化は行われない。

ウェーブレット変換には可逆と非可逆があるため、スカラー量子化にも各々に対応したものが定義されている。このうち非可逆変換に対する量子化は式（６）に、量子化ステップサイズ（Δｂ）を式（７）に示す。なお、量子化における指数（εｂ）と仮数（μｂ）はＱＣＤまたはＱＣＣマーカセグメントで規定される。

量子化における指数（εｂ）と仮数（μｂ）は、各decomposition levelにおけるすべてのサブバンドを規定する方式と、最下位のdecomposition levelにおけるＬＬサブバンドのみ規定して、残りのサブバンドはあらかじめ定められている式を用いて規定する方式の２種類がある。前者を明示的な量子化（expounded quantizationもしくはexplicit quantization）、後者を暗黙的な量子化（derived quantizationもしくはimplicit quantization)と称する。暗黙的な量子化の場合、指数と仮数の組（εｂ，μｂ）は式（８）で決定される。

非可逆変換に対する逆量子化の式を（９）に示す。なお、式中のｒは復号器が決定できるパラメータで、画質を考慮して決定される。通常ｒは０以上１未満の数値で、ｒ＝1／2とするのが普通である。

ここで、９×７ウェーブレット変換を使用する場合では、
スカラー量子化ステップ数（線形量子化時の除算の分母）
＝定数×ＰＳＮＲを最大にするための正規化で決まる数
とするのが通常である。各係数が逆周波数変換（ＪＰＥＧ２０００なら逆ウェーブレット変換）されてＲＧＢ値にもどされる場合、各係数に生じた（スカラー）量子化誤差が最終的なＲＧＢ値へ与える影響は周波数帯域毎（ウェーブレット変換ならサブバンド毎）に異なり、その比は逆周波数変換（ＪＰＥＧ２０００なら逆ウェーブレット変換）時の定数（いわゆるサブバンドゲイン）で決まる。

ＰＳＮＲをよくするためには、該影響をサブバンド間で均一にする必要があり、該均一化のためにサブバンドごとに前記ゲインをキャンセルするようなスカラー量子化を行う。
この詳細は、J.Katto and Y.Yasuda, “Performance evaluation of subband coding and optimization of its filter coefficients”, Journal of Visual Communication and Image Representation, vol. 2,pp.303-313、Dec.1991. に記載されており、ある圧縮率において、逆変換後の信号（＝複数の信号値で構成される）に生じた誤差の二乗平均を最小にする（＝ＰＳＮＲを最大にする）ためには、各サブバンドをサブバンドゲインの平方根の逆数（の定数倍の値）で線形量子化するのが一般的である。

（４−２）ＪＰＥＧ２０００におけるポスト量子化

ＪＰＥＧ２０００の標準仕様においては、ポスト量子化によって符号化後の符号を切り捨てて、圧縮率（符号量）を制御することが可能である。これを１パスでの符号量制御と言い、ＪＰＥＧ２０００符号処理の特徴の一つとなっている。これを使用することによってスカラー量子化制御を使用せずに符号量制御を行うことが可能である。

ビットプレーンを単位としたエントロピー符号化（ビットプレーン符号化）がなされ、ＪＰＥＧ２０００においてはサブバンドごとに、係数を上位ビット（ＭＳＢ）から下位ビット（ＬＳＢ）まで、サブビットプレーン単位で符号化することが可能である。（正確には、ビットプレーンは、３つのサブビットプレーンに細分化されて符号化される。）
そして、ＪＰＥＧ２０００においては、１つのビットプレーンを３つのサブビットプレーン（処理パスあるいはコーディングパスとも言う）に分類し、各サブビットプレーン毎に符号化する。

ただし、分類の結果、１つのビットプレーン内で特定のサブビットプレーン（コーディングパス）に属するビットがない場合もあり、その場合には空のサブビットプレーンが生じることになる。また、最上位のビットプレーンは常にクリーンアップパスのみとなる。
サブビットプレーンは上位から下位に向けて符号化されるため、サブビットプレーンの符号が不要であると判断された場合、当該サブビットプレーンのエントロピー符号化自体を省略したり、あるいはエントロピー符号化後当該サブビットプレーンの符号を破棄することができる。この省略や破棄の最小単位はサブビットプレーンであるが、これを簡易に行いたいときには、ビットプレーン単位での省略や破棄を選択することも多い。

ビットプレーン符号化において下位ビットプレーンｎ枚分の符号（や周波数係数）を破棄することは、２のｎ乗で周波数係数を線形量子化するのと同様な効果がある。
ビットプレーン符号化においては、ビットプレーンあるいはビットプレーンのエントロピー符号の破棄によって圧縮することをポスト量子化という。

（４−３）ＪＰＥＧ２０００における符号データ形成後のポスト量子化

このポスト量子化は、１つの符号化プロセス中で行うことも、一度符号化を終了し、時間が経過した後に改めて行うことも可能である。ＪＰＥＧ２０００におけるポスト量子化（符号の破棄）は、ビットプレーンあるいはビットプレーンよりもさらに符号量の小さい単位であるパケット単位で行うこともある。

プリシンクトに含まれる全てのコードブロックから、前記符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号を集めたもの）がパケットである。上記“一部”は“空”でもいいので、パケットの中身が符号的には“空（から）”ということもある。

全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。レイヤーは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がる。レイヤーはいわば画質の単位である。すべてのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。

パケットは、「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はないため、破棄するのが通常である。尚、パケットの並びをプログレッション順序と呼ぶ。
トランケーションによる符号量制御単位は、コードブロック単位（且つサブビットプレーン単位）で可能である。

図１３は、画像全域のビットプレーン符号化例について、サブバンドをプリシンクトとした時の、レイヤーとパケット（太線で囲んである）との関係を示している。この例では、ウェーブレット変換の階層数（デコンポジッションレベル）が２であり、デコンポジッションレベル２のサブバンドは４つのコードブロックに、デコンポジッションレベル１のサブバンドは９個のコードブロックにそれぞれ分割されている。
パケットは、プリシンクトを単位とし、いくつかのプリシンクトにより構成され、図１３の例では、プリシンクトはサブバンドであるので、パケットはいくつかのサブバンド、ＨＬ〜ＨＨサブバンドをまたいだものとなっている。

コードストリームは、プログレッシブ方式で配置され、任意の画像構成要素、任意のレイヤー、および任意の解像度レベルによって表される情報が、コードストリームの連続する部分、すなわちパケットの中に含まれるようになっている。通常、各タイルに対する各構成要素ごとの各解像度レベルでの各レイヤーごとに、符号化画像データを含んでいる１つのパケットが存在する。これらのパケットがインターリーブされる順番が、「プログレッシブ順」と呼ばれる。

従って、３つの画像構成要素、５つの解像度レベル、および５つのレイヤーデータが画像のサイズである例では、通常、７５のパケットが存在する。ＪＰＥＧ２０００のパケット構成の例を示したのが、図１４〜１６である。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号は、図１４〜１６にあるように、パケットを最小単位とする符号データ（コードストリーム）で構成されている。
即ち、パケットは、符号データの最小単位であり、１つのタイルコンポーネント内の１つの解像度レベル（デコンポジッションレベル）における１つのプリシンクト内の１つのレイヤーの符号データからなっている。パケットはパケットヘッダと符号データから構成されている。

パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケットは、あるプログレッシブ順に並べられ、それぞれ、領域、解像度、レイヤー、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質（レイヤー（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プリシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。

・ＬＲＣＰ プログレッション：プリシンクト、コンポーネント、解像度レベル、レイヤーの順序に復号されるため、レイヤーのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤープログレッションとも呼ばれる。
・ＲＬＣＰ プログレッション：プリシンクト、コンポーネント、レイヤー、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・ＲＰＣＬ プログレッション：レイヤー、コンポーネント、プリシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度のプログレッションであるが、特定位置の優先度を高くすることができる。

・ＰＣＲＬ プログレッション：レイヤー、解像度レベル、コンポーネント、プリシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・ＣＰＲＬ プログレッション：レイヤー、解像度レベル、プリシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。

このように、ＪＰＥＧ２０００規格では、画像は領域（タイルまたはプリシンクトといった画像構成要素）、解像度、階層（レイヤー）、色成分に分割され、それぞれが独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コードストリームから識別され抽出され得るところに特徴がある。

ＪＰＥＧ２０００のような画質（レイア）及び解像度に関し、プログレッシブ符号形式をもつ符号化においては、プログレッション形式を調整することで、容易に画質及び解像度レベルの異なる符号データ（フレーム）に加工できる。例えば、画質（レイア）の異なる符号データを生成したい時は、レイア優先のプログレッシブ構成にして、レイヤーの一部を削除して符号データを生成する。レイア優先のプログレッシブ符号形式であることにより、レイヤーの一部を削除することで段階的に画質レベルを上下する符号データを生成することができる。解像度についても同様である。

図１７は、ＪＰＥＧ２０００におけるプログレッシブ順の変更イメージを示している。図１７（Ａ）（Ｂ）とも左上から右下に向かって転送され復号化されることを示している。この例では、階層符号が解像度、画質で構成されている時に、画質順に並んだ階層符号を解像度順に変換する場合を示している。図１７（Ａ）は、ＬＲプログレッション（レイヤープログレッション）に復号する符号順序を表しており、同一レイヤー番号の全ての解像度の復号を行って次段の上位レイヤーの復号を行う。ウェーブレット係数レベルでみれば、係数の上位ｂｉｔから復号を行うことになり、徐々に画質が向上するプログレッションが実現可能となっている。

図１７（Ｂ）は、ＲＬプログレッション（解像度プログレッション）のプログレッシブ順序を模式的に表した図である。同一デコンポジション（解像度）レベルの全てのレイヤーの復号を行って次段のデコンポジション（解像度）レベルの復号を行うことになり、徐々に解像度が向上するプログレッションが実現可能となっている。

図１７（Ａ）のレイヤープログレッションでは、同一レイヤーがまとまっており、図１７（Ｂ）の解像度プログレッションでは、同一解像度（デコンポジション）の符号データがまとまっていることがわかる。このことから、レイヤープログレッションでは、レイヤーの選択が容易であり、画質要求に対して符号化対象とするレイヤーを選択することができる。一方、解像度プログレッションでは、解像度の選択が容易であり、解像度要求に対して符号化対象とする解像度を選択することができる。

（５）デジタル複写機の構成

本発明の典型的な実施形態では、デジタル複写機（いわゆる複合機ＭＦＰであってもよい）で実現する。本実施形態の画像処理装置の一つであるデジタル複写機の構成例について説明する。
図１８は、本実施形態のデジタル複写機を概略的に示す縦断面図である。デジタル複写機１０は、スキャナ（画像読取装置）１１と、スキャナ１１から出力される画像データに基づく画像を用紙等の記録媒体に形成するプリンタ３０とを備えている。
スキャナ１１の本体ケースの上面には、原稿（図示せず）が載置されるコンタクトガラス１２が設けられている。原稿は、原稿面をコンタクトガラス１２に対向させて載置される。コンタクトガラス１２の上側には、コンタクトガラス１２上に載置された原稿を押える原稿圧板１３（いわゆるＡＤＦであってもよい）が設けられている。

コンタクトガラス１２の下方には、光を発光する光源１４及びミラー１５を搭載する第１走行体１６と、２枚のミラー１７，１８を搭載する第２走行体１９と、ミラー１５，１７，１８によって導かれる光を結像レンズ２０を介して受光するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ２１等によって構成される読取光学系２２が設けられている。

ＣＣＤイメージセンサ２１は、ＣＣＤイメージセンサ２１上に結像される原稿からの反射光を光電変換した光電変換データを生成する光電変換素子として機能する。光電変換データは、原稿からの反射光の強弱に応じた大きさを有する電圧値である。第１、第２走行体１６，１９は、コンタクトガラス１２に沿って往復動自在に設けられており、後述する原稿画像の読取り処理に際しては、図示しないモータ等の移動装置によって２：１の速度比で副走査方向にスキャニング走行する。これにより、読取光学系２２による原稿読取り領域の露光走査が行われる。なお、本実施形態では、読取光学系２２側がスキャニング走査を行う原稿固定型で示しているが、読取光学系２２側が位置固定で原稿側が移動する原稿移動型であってもよい。

プリンタ３０は、シート状の用紙等の記録媒体を保持する媒体保持部３１から電子写真方式のプリンタエンジン３２及び定着器３３を経由して排出部３４へ至る媒体経路３５を備えている。
プリンタエンジン３２は、帯電器３６、露光器３７、現像器３８、転写器３９及びクリーナー４０等を用いて電子写真方式で感光体４１の周囲に形成したトナー像を記録材に転写し、転写したトナー像を、定着器３３によって記録材上に定着させる。なお、プリンタエンジン３２は、この例では電子写真方式で画像形成を行うが、これに限定する必要はなく、インクジェット方式、昇華型熱転写方式、直接感熱記録方式など、様々な画像形成方式を用いることができる。

このようなデジタル複写機１０は、複数のマイクロコンピュータで構成される制御系により制御される。図１９は、これらの制御系のうち、画像処理に関わる制御系の電気的な接続を示す概略ブロック図である。この制御系は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３及び操作パネル５４等が、バス５５で接続されている。ＣＰＵ５１は、各種演算を行い、画像処理等の処理を集中的に制御する。ＲＯＭ５２には、このＣＰＵ５１が実行する処理に関わる各種プログラムや固定データが格納されている。ＲＡＭ５３は、ＣＰＵ５１のワークエリアとなる。ＩＰＵ（Image Processing Unit）５６は、各種画像処理に関わるハードウエアを備えている。記録媒体となるＲＯＭ５２は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリを備えていて、ＲＯＭ５２内に格納されているプログラムはＣＰＵ５１の制御により、Ｉ／Ｏポート５７を介して外部装置（図示せず）からダウンロードされるプログラムに書換え可能である。即ち、本実施形態では、ＲＯＭ５２に各種機能を実現するためのプログラムが格納されており、このＲＯＭ５２がプログラムを記憶した記録媒体として機能している。

また、本実施の形態のデジタル複写機１０は、図８を参照して説明したＪＰＥＧ２０００アルゴリズムの各機能ブロックを備え、前述のようなＪＰＥＧ２０００アルゴリズムにより画像データの圧縮符号化を行う。即ち、図８に示したような圧縮符号化手段及び復号化手段の機能は、ＩＰＵ５６によりハードウエアが行う処理により実行しても、ＲＯＭ５２に記憶されているプログラムに基づいてＣＰＵ５１が行う処理により実行してもよい。
これにより、基本的には、スキャナ１１で読取られ、ＩＰＵ５６で白シェーディング補正等の各種画像処理が施された複数枚の画像のデジタル画像データを、ＪＰＥＧ２０００アルゴリズムにより圧縮符号化して、各画像のコードストリームを生成する。即ち、画像を１又は複数の矩形領域（タイル）に分割し、この矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化することを基本とする。

本発明の実施形態について説明するための処理概念図である。 文字領域と絵柄領域とが混在する単純な原稿による文書画像データを処理対象とする場合の処理例を説明するための図である。 本発明が生成する符号データの構成を説明するための図である。 本発明の実現構成を示すブロック図である。 本発明の他の実現構成を示すブロック図である。 ＪＰＭによる実現方式を説明するための図である。 ＪＰＭによる実現方式を説明するための式である。 階層符号化圧縮伸長アルゴリズムの基本を説明するための図である。 デコンポジションレベルとサブバンドを説明するための図である。 タイル分割の基本を説明するための図である。 プリシンクトとコードブロックを説明するための図である。 コードストリームの構造を説明するための図である。 ビットプレーン符号化における、レイヤーとパケットとの関係を説明するための図である。 ＪＰＥＧ２０００のパケットについて説明するための図（その１）である。 ＪＰＥＧ２０００のパケットについて説明するための図（その２）である。 ＪＰＥＧ２０００のパケットについて説明するための図（その３）である。 ＪＰＥＧ２０００におけるプログレッシブ順の変更イメージを示す図である。 本発明の実施形態のデジタル複写機を概略的に示す縦断面図である。 実施形態のデジタル複写機の制御系のうち、画像処理に関わる制御系の電気的な接続を示す概略ブロック図である。

符号の説明

１…画像入力部、２…画像領域判別部、３…セレクタ、４…解像度優先モード処理部、５…階調性優先モード処理部、６…非重要モード処理部、７…ロスレスモード処理部、８…マスクデータ抽出部、９…セレクタ２、１０…デジタル複写機、１１…スキャナ、１２…コンタクトガラス、１３…原稿圧板、１４…光源、１５，１７，１８…ミラー、１６，１９…走行体、２０…結像レンズ、２１…ＣＣＤイメージセンサ、２２…読取光学系、３０…プリンタ、３１…媒体保持部、３２…プリンタエンジン、３３…定着器、３４…排出部、３５…媒体経路、３６…帯電器、３７…露光器、３８…現像器、３９…転写器、４０…クリーナー、４１…感光体、５１…ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…操作パネル、５５…バス、５６…ＩＰＵ、５７…Ｉ／Ｏポート、１３１…文字領域、１３２…絵柄領域、１３３…原稿。

Claims (20)

1. ポスト量子化とスカラー量子化をする機能を有する符号化処理装置にあって、１枚の画像データを合成すれば再現可能な複数個の画像データに分割する画像データ分割手段を有し、前記分割された画像データ毎にスカラー量子化をするしないを切換えて符号化する手段を備えることを特徴とする符号化処理装置。
2. 請求項１に記載の符号化処理装置において、元画像データを３つの画像データ（マスク画像と前景画像と背景画像）に分離する画像データ分離手段を有し、前記第一の画像データ１（マスク画像）の単位領域の値によって、元画像データの単位領域の値が第二の画像データ２（前景画像）または第三の画像データ３（背景画像）のいずれかの単位領域の値となっていることを特徴とする符号化処理装置。
3. ポスト量子化とスカラー量子化をする機能を有する符号化処理装置にあって、画像データをスカラー量子化する部分とスカラー量子化しない部分とに分割する画像データ分割手段と、前記分割された画像データ毎にポスト量子化をするしないを切換えて符号化する手段を備えることを特徴とする符号化処理装置。
4. ポスト量子化とスカラー量子化をする機能を有する符号化処理装置にあって、スカラー量子化をする場合にポスト量子化をし、または、スカラー量子化をしない場合にポスト量子化をしないことを特徴とする符号化処理装置。
5. 請求項１乃至４のいずれかに記載の符号化処理装置において、ウェーブレット変換処理をする機能と、ウェーブレット変換データに対してスカラー量子化をする機能を有し、スカラー量子化をしない場合にウェーブレット変換処理がなされないことを特徴とする符号化処理装置。
6. 請求項１乃至５のいずれかに記載の符号化処理装置にあって、画像データ中に混在する画像属性を分離する画像属性分離手段を有し、請求項１乃至４のいずれかに記載の画像データ分割が前記画像データの像域分離情報に基づいてなされていることを特徴とする符号化処理装置。
7. 請求項６に記載の像域分離情報には、請求項２に記載の画像データ１（マスク画像）、または、文字属性または線画属性または絵柄属性または写真属性の少なくとも一つの画像属性を含んでいることを特徴とする符号化処理装置。
8. 請求項７に記載の符号化処理装置において、請求項２に記載の画像データ１（マスク画像）、または、画像属性が文字属性または線画属性である場合にスカラー量子化をしないことを特徴とする符号化処理装置。
9. 請求項８に記載の符号化処理装置において、請求項２に記載の画像データ２（前景画像）または画像データ３（背景画像）、または、画像属性が文字属性または線画属性である場合にポスト量子化をしないことを特徴とする符号化処理装置。
10. 請求項２に記載の画像データ２（前景画像）または画像データ３（背景画像）のどちらかがロスレスで符号化されること、または、どちらかがスカラー量子化もポスト量子化もどちらもなされることを特徴とする符号化処理装置。
11. 請求項１乃至１０のいずれかに記載の符号化処理装置において、前記分割された画像データ毎に別々にスカラー量子化とポスト量子化を制御して符号化する手段を備えることを特徴とする符号化処理装置。
12. 請求項１１に記載の符号化処理装置において、前記分割された画像データ毎に別々にスカラー量子化がなされた符号データが同期してポスト量子化して符号化する手段を備えることを特徴とする符号化処理装置。
13. 請求項１２に記載の符号化処理装置において、前記ポスト量子化において、符号化データの符号列に対して符号順制御することを特徴とする符号化処理装置。
14. 請求項１２に記載の符号化処理装置において、前記ポスト量子化において、符号化データの符号列に対して符号量制御することを特徴とする符号化処理装置。
15. 請求項１乃至１４のいずれかに記載の符号化処理装置において、符号化される符号データがＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づいた符号データであることを特徴とする符号化処理装置。
16. ポスト量子化とスカラー量子化をする符号化処理方法にあって、１枚の画像データを合成すれば再現可能な複数個の画像データに分割し、前記分割された画像データ毎にスカラー量子化をするしないを切換えて符号化することを特徴とする符号化処理方法。
17. ポスト量子化とスカラー量子化をする符号化処理方法にあって、画像データをスカラー量子化する部分とスカラー量子化しない部分とに分割し、前記分割された画像データ毎にポスト量子化をするしないを切換えて符号化することを特徴とする符号化処理方法。
18. ポスト量子化とスカラー量子化をする符号化処理方法にあって、スカラー量子化をする場合にポスト量子化をし、または、スカラー量子化をしない場合にポスト量子化をしないことを特徴とする符号化処理方法。
19. コンピュータに、請求項１乃至１５に記載の符号化処理装置の機能を実現するためのプログラム。
20. 請求項１９に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。