JP2006352365A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】複数個のＪＰＭで符号化（あるいはＰＤＦタイプで符号化）した符号データ同士を合成して再生する場合であっても、プログレッシブに処理（表示）できる画像処理装置を提供する。
【解決手段】本発明では、符号レベルで合成する場合に、分離した画像データ（Ｂａｓｅ画像、前景画像、マスクデータ（二値画像データ））を符号化した符号データを合成する場合に、それぞれの各層レベル単位で合成し（同一の符号化処理をした符号データ同士を符号レベルで合成し）復号化効率を高めると共に、合成された符号データに対してまとめて符号列順制御あるいは符号量制御することで、優先度処理ができる。ここで、符号データの合成においては、全ての階層の画像データがＪＰＥＧ２０００で符号化されているような場合には、１つの符号データの各タイルとして合成することで容易に実現できる。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、具体的には、ＰＤＦファイル、あるいは、ＪＰＭ符号化のようにレイヤ構成を持つ符号化において、合成画像の効率的な処理に関する。

ＪＰＥＧ２０００ Ｐａｒｔ６ ＪＰＭ（ＩＳＯ／ＩＥＣ ＦＤＩＳ １５４４４−６）規格で符号化（特許文献１参照）するときには、下地画像データとそれに上重ね併合する複数個の上重ねデータにより元画像データを構成し、各上重ね併合データは、マスク画像データを符号化した符号データ（マスク画像の白黒で前景画像と下地画像のいずれかを選択するようにそれぞれ分離する画像データ）と、マスクの前景画像データを符号化した符号データで構成されていて、それぞれの画像データが互いに独立に符号化され、復号した後、分離した画像データを併合するようにしている。また、ＪＰＥＧ２０００の符号化においては、符号レベルの編集処理が簡単に実現できるようになっている。

また、ＪＰＥＧ２０００におけるタイル単位での合成方法としては、特許文献２の技術があり、ここでは、複数のカメラで撮影された画像をＪＰＥＧ２０００で符号化し、タイル単位の符号データとして一つの符号データに合成しているものであるが、符号化データはＪＰＭで符号化されていることを想定したものではない。

画像データを複数の画像データに分解してそれぞれを圧縮する方式としては、上述のＪＰＥＧ２０００ Ｐａｒｔ６ ＪＰＭの他に、ＰＤＦ（Portable Document Format）が知られている。ＰＤＦ関連の先願は多数あるが、画像データを属性により分離して複数の画像データを生成し、それぞれ独立に符号化するものであるが、画像データを後で追加して書き加えて新たな合成画像を生成するというものではない（特許文献３，４，５参照）。
特開２００４−９６３７３号公報 特開２００４−７２６６号公報 特開２００１−７６０９５号公報 特許第３０８３０８４号公報 特許第２８３２０５９号公報

しかしながら、複数個のＪＰＭで符号化（あるいはＰＤＦタイプで符号化）した符号データ同士を合成して再生する場合、領域単位のプログレッシブな処理は可能であっても、画質レベル（解像度）のプログレシッブな処理ができなかった。
また、複数個のＪＰＭで符号化（あるいはＰＤＦタイプで符号化）した符号データ同士を合成して再生する場合、それぞれの符号データは互いに独立に処理されるために、同じ復号化をする符号データはまとめて処理されないために処理が効率的ではなかった。

本発明は、上述の実情を考慮してなされたものであって、複数個のＪＰＭで符号化（あるいはＰＤＦタイプで符号化）した符号データ同士を合成して再生する場合であっても、プログレッシブに処理（表示）できる画像処理装置、画像処理方法、コンピュータに画像処理装置の機能を実現させるためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、第一の画像データであるマスク画像データと、第二の画像データである前景画像データで構成された元画像データを少なくとも二つ以上符号化して合成する場合に、前記各元画像データの前記第一の画像データ（マスク画像）および前記第二の画像データ（前景画像）ごとに互いに独立に符号化しておき、前記各元画像データの第一の画像データを符号化した第一の符号データ同士、あるいは、前記各元画像データの第二の画像データを符号化した第二の符号データ同士を互いに併合する符号データ合成手段を有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記符号データ合成手段は、符号データ同士を併合する場合には、同じ符号化処理を施した符号データを互いに併合することを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の画像処理装置において、前記符号データ合成手段により階層レベル毎に合成された符号データ単位で転送順を制御する転送順制御手段を有することを特徴とする。
請求項４に記載の発明は、請求項１または２に記載の画像処理装置において、前記符号データ合成手段によりマスクレベル毎に合成された符号データ単位で復号順を制御する復号順制御手段を有することを特徴とする。

請求項５に記載の発明は、請求項３または４に記載の画像処理装置において、前記転送順制御手段では第一の符号データ（マスク画像を符号化した符号データ）を先に転送し、または、前記復号順制御手段では第一の符号データ（マスク画像を符号化した符号データ）を先に復号することを特徴とする。
請求項６に記載の発明は、請求項３または４に記載の画像処理装置において、マスクレベル毎の符号データを復号した復号画像データを併合して再生する画像再生手段を有し、前記併合する場合にあって、最上位に併合される復号画像データの符号データが先に転送している、または、先に復号していることを特徴とする。

請求項７に記載の発明は、請求項１乃至６のいずれかに記載の画像処理装置において、前記符号データ合成手段により合成された符号データ（マスクデータ）のレベル単位の重要度に基づいて符号データ（マスクデータ）のレベル単位で符号量を制御する符号量制御手段を有することを特徴とする。
請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記符号量制御手段は、注目領域に対して符号量制御することを特徴とする。
請求項９に記載の発明は、請求項１乃至８のいずれかに記載の画像処理装置において、符号化される符号データがＪＰＥＧ ２０００ Ｐａｒｔ ６ ＪＰＭ（ＩＳＯ／ＩＥＣ ＦＤＩＳ １５４４４−６）規格に基づいた符号データであることを特徴とする。

請求項１０に記載の発明は、第一の画像データであるマスク画像データと、第二の画像データである前景画像データで構成された元画像データを少なくとも二つ以上符号化して合成する場合に、前記各元画像データの前記第一の画像データ（マスク画像）および前記第二の画像データ（前景画像）ごとに互いに独立に符号化しておき、前記各元画像データの第一の画像データを符号化した第一の符号データ同士、あるいは、前記各元画像データの第二の画像データを符号化した第二の符号データ同士を互いに併合することを特徴とする。

請求項１１に記載の発明は、コンピュータに、請求項１乃至９のいずれかに記載の画像処理装置の機能を実現させるためのプログラムである。
請求項１２に記載の発明は、請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、分離した画像データを符号化した符号データ同士をそれぞれまとめて復号化することで効率的に復号化することができる。このとき、同じ符号化処理を施す符号データ同士を併合することで、効率的な復号が可能となる。
また、重要な（基本的な）データから順番に（プログレッシブに）復号化転送して復号化することができる。

以下、図面を参照して本発明の画像処理装置および画像処理方法に係る好適な実施形態について説明する。
（１）基本構成
本発明は、階層レベル別に符号データを併合し、併合した符号データに対して、階層レベル単位で符号量制御したり、階層レベル単位に転送順または復号順を並び替えたりするところに特徴がある。

図１は、本実施形態に係る画像処理装置の構成を示す図である。
画像処理装置は、画像データ入力部１０、画像データ保存部Ａ１１、符号化処理部Ａ１２、符号化処理部Ｂ１３、符号データ保存部Ａ１４、合成符号データ生成部１５、符号データ保存部Ｂ１６、符号データ編集部１７、復号化処理部Ａ１８、復号化処理部Ｂ１９、画像データ保存部Ｂ２０、画像再生部２１を含んで構成される。

画像データ入力部１０で複数の画像データを入力し、それぞれ画像データ保存部Ａ１１に保存する。ここで、各画像データは、第一の画像データであるマスク画像データと、第二の画像データである前景画像データで構成されている。

画像データ保存部Ａ１１に保存された各画像データは、第一の画像データおよび第二の画像データそれぞれごとに符号化処理部１２，１３で符号化して符号データ保存部Ａ１４に保存される。
例えば、画像データ１の第一の画像データは符号化処理部Ａ１２で符号化され、画像データ１の第二の画像データは符号化処理部Ｂ１３で符号化され、画像データ１の符号化データとして符号データ保存部Ａ１４に保存される。
また、画像データ２の第一の画像データは符号化処理部Ａ１２で符号化され、画像データ２の第二の画像データは符号化処理部Ｂ１３で符号化され、画像データ２の符号化データとして符号データ保存部Ａ１４に保存される。

合成符号データ生成部１５では、符号データ保存部Ａ１４にそれぞれ保存された符号化データを、画像データ１の符号データあるいは画像データ２の符号データといった階層レベル別に符号データを併合して、符号データ保存部Ｂ１６に保存する。
ここで、符号データ保存部Ｂ１６に保存された符号化データに対して符号データ編集部１７で、階層レベル単位で符号量制御し、階層レベル単位に転送順または復号順を並び替えるようにしてもよい。

続いて、符号データ保存部Ｂ１６に保存された符号化データを、復号化処理部Ａ１８と復号化処理部Ｂ１９でそれぞれ階層別に復号化し、画像データ保存部Ｂ２０へ保存するとともに、画像再生部２１で各階層の画像データを併合して再生する。
例えば、画像データ１の符号データを併合した符号データは、復号化処理部Ａ１８で復号化され、画像データ２の符号データを併合した符号データは、復号化処理部Ｂ１９で復号化される。

図２は、本発明における典型的な処理を示すフローチャートである。
まず、ＪＰＭで符号化された符号データを複数個読み込む（ステップＳ１）。
ここで、符号化は既になされていることを前提としているが、入力画像から複数個の画像データを符号化する構成であってもかまわない。また、ＪＰＭで符号化しているとしているが、ＰＤＦ構成であってもかまわない。

次に、階層レベル別に符号データを併合する（ステップＳ２）。
図３は、階層レベル別に符号データを併合する場合のメモリ構成を示しており、符号データ１と符号データ２とを合成して、合成後の符号データが生成されることを説明するための図である。このように、特に同じ符号化処理を施した符号データを互いに併合してまとめて処理することで処理効率を上げることができる。例えば、ＪＰＭ符号化では、マスクデータは二値データにより構成されているので、マスクデータ同士を併合することで、効率的な圧縮ができる。

次に、符号データ編集部１７で、階層レベル単位に転送順または復号順を制御して（図４）、階層レベル単位に符号量制御する（図５）（ステップＳ３）。
例えば、マスク画像データに対する優先度を高くして、先行転送あるいは先行復号したり、あるいは、上位階層の符号データほど優先順位を高くする編集を行う。
これにより、形状情報であるマスク情報を先に処理すると、形状が先に認識できるので、画像の概観を把握することができる。例えば、文字（テキスト）情報を先行して把握できる。

次に、階層レベル単位で独立に復号処理し（ステップＳ４）、階層レベル単位の復号画像を併合する（ステップＳ５）。

（２）本発明のＪＰＭ仕様に基づく実施形態
本実施形態の一つとして、ＪＰＥＧ２０００ Ｐａｒｔ６に係るＪＰＭ（ＩＳＯ／ＩＥＣ ＦＤＩＳ １５４４４−６）を適応した場合について説明する。
図６は、ＪＰＭの仕様に基づき３つの画像データに分解された場合の合成方法を示している。図６において、ＢａｓｅＩｍａｇｅは元となる画像データであり、ゼロ（透明）であるとし、ＰａｇｅＩｍａｇｅ_０は合成ページ画像を得るときの初期画像データ、ＰａｇｅＩｍａｇｅ_ｍはｍ番目のレイアウトにおける合成画像データ、ＰａｇｅＩｍａｇｅは最終的な合成画像データを表している。ここで、図６の式中の各変数は次の通りである。

Ｍ_ｍ：ｍ番目のレイアウトオブジェクトにおけるマスクオブジェクトの画素値（マスクデータ）。
Ｉ_ｍ：ｍ番目のレイアウトオブジェクトにおけるイメージオブジェクトの画素値（前景画像に相当する）。
ｃ ：コンポーネント、但し、マスクオブジェクトはシングルコンポーネントである。
ｘ、ｙ：画像の座標。
Ｓ_ｍ：Ｍ_ｍの最大値（２のべき乗値）。
ｎ ：ページに含まれるレイアウトオブジェクトの数。

ＪＰＭでの画像データの分解は、背景画像に相当するＢａｓｅＩｍａｇｅデータと、Ｍ_ｍと記載されているマスクデータと、前景画像に相当するＩ_ｍと記載されている（マスク上の）イメージデータに分解する。ＪＰＭの規定によれば、マスクデータ(Ｍ_ｍ)は、イメージデータ(Ｉ_ｍ)の不透明度を表しているが、マスクデータの値は１か０に限定してもかまわない。
ＪＰＭの仕様で実現する場合には、背景画像データに対しても、マスクデータ(Ｍ_ｍ)と、イメージデータ(Ｉ_ｍ)の１組のデータに分解して構成するものの、背景画像データに対応するマスクデータは全て１であり（全て全面上書きされ）、結果的に、ＰａｇｅＩｍａｇｅ_１は背景画像データになっている。

さらに、元テキストデータに対して、テキストデータを表すマスクデータ（Ｍ_２）と、その前景画像データを表すイメージデータ（Ｉ_２）として表し、合成する。即ち、ＪＰＭの構成では、マスクデータ（Ｍ_ｍ）と、イメージデータ（Ｉ_ｍ）のそれぞれを独立に符号化し、復号化後、それぞれの復号画像データを図６に示した式に基づいて合成する。

本実施形態の構成では、符号化方式や復号化方式を特定するものではなく、それぞれの画像データの特性に合わせて最適な符号化方式が選択されればよいし、あるいは、全て一つの符号化方式であってもかまわない。また、ＪＰＭにおける各画像データの符号化は、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づく符号化された符号データでなくても、ＪＰＥＧ、ＪＢＩＧ、その他の仕様であってもかまわない。殊に、マスクデータは２値データであるため、多値画像データを主要な対象として想定しているＪＰＥＧ２０００で符号化するよりも、むしろ２値画像データを対象としたＭＨ、ＭＲ、ＭＭＲ、ＪＢＩＧやＪＢＩＧ２の方が高圧縮符号化できる。

図７および図８は、本発明のＪＰＭによる実現方式について説明するための図である。２つの独立した画像データが背景画像（ベース画像）とマスクデータと前景画像に分解され、符号化後、各符号データレベルが合成された後、合成画像をベース画像とマスクデータと前景画像のそれぞれのレベルで復号して再生する。
同様に、図８では、選択的に合成して復号される場合である。

図９および図１０は、本実施形態をＪＰＭによって実現する場合を説明するための図である。図９は、上部左側には、入力される複数の画像データの例を示している。各画像データは、それぞれ、Ｂａｓｅ画像、前景画像、マスクデータ（二値画像データ）にＪＰＭの規定に基づいて分解され、符号化された後に、図９下側に示すようにそれぞれ合成されて、複数の画像データを合成した新たな画像データを構成するＢａｓｅ画像、前景画像、マスクデータ（二値画像データ）が生成される。
このように、本実施形態では、データが互いに合成され、復号化処理を一度に効率的に処理することができる。

また、図１０では、入力された複数の画像データそれぞれについて、複数の構成要素に分解する。そして、各構成要素ごとに、Ｂａｓｅ画像、前景画像、マスクデータ（二値画像データ）に符号化する。これらを同種類の符号データ同士を併合させて合成させる。
複数の画像から分解される構成要素の数は、互いに異なる数であるから、基本的には、各画像データが、それぞれ、Ｂａｓｅ画像、前景画像、マスクデータ（二値画像データ）合成されるのであるが、対応する画像がないところは、空白の画像データと合成するようにする。このように符号データを合成することにより、復号化処理を一度に効率的に処理することができる。

（３）本発明のＪＰＥＧ２０００仕様に基づく実施形態
図１１は、本実施形態の符号データ形成概念について説明するための図である。前述したように、本発明の構成では、複数画像データがＪＰＭ規格に基づいて符号化されており、符号レベルでそれぞれの構成要素（Ｂａｓｅ画像、前景画像、マスクデータ（二値画像データ））単位で合成され、復号再生される。この時、全ての階層の画像データがＪＰＥＧ２０００仕様に基づいて符号化されている場合には、符号レベルの合成においては、１つの符号データの各タイルとして合成することで容易に実現できる。

図１２は、その符号データの合成について説明するための図である。同図では、例えば、符号データＡとＢのＢａｓｅ画像データ同士が合成される場合の例を示している。新たに合成された符号データにおいては、それぞれがタイル単位の符号データとして再構成されることを示している。
このように、符号データのそれぞれの構成要素が、ＪＰＥＧ２０００で符号化されていることにより、符号データレベルでの編集が容易に実現できる。

ＪＰＭの各構成要素（Ｂａｓｅ画像、前景画像、マスクデータ（二値画像データ））は、それぞれ独立に符号化されるが、全ての画像データをＪＰＥＧ２０００で符号化することもできる。この時、ＪＰＥＧ２０００の符号化復号化処理は、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づいて一般的に、次のような手順で処理される。

（１）画像データ入力部で各画像データを入力する。
（２）各画像データを符号化処理部で符号化する。
（３）符号データ再構成部で符号列を編集して各構成要素毎の符号データを合成して１つの符号データに再構成する。この時、各構成要素の数だけ符号データが生成される。これにより、符号データを再構成され、転送順、符号列順を制御すると共に、合成後に階層単位で符号量制御や注目領域の符号量制御も容易に実現することができる。
（４）符号データ配信部にて、再構成した符号データを配信する。
各構成要素の数だけ符号データの優先順位づけをして重要な符号データを先に転送する。画像データを構成する各構成要素（Ｂａｓｅ画像、前景画像、マスクデータ（二値画像データ））がそれぞれ、構成要素単位で優先順位をつけて転送するのである。
（５）復号化処理部で符号データを復号する。
（６）復号画像を画像データ出力部で出力する。

以下、ＪＰＥＧ２０００規格の符号化の方式に沿って本発明の実現方式について説明する。ＪＰＥＧ２０００の詳しい説明については、特開平２００３−１６９３３３号公報等に記載されている。

ＪＰＥＧ２０００の符号化処理は、図１３に示すように、色空間変換、２次元ウェーブレット変換、量子化、エントロピー符号化（ビットプレーン符号化）、符号列処理（タグ処理、パケット生成）により構成されている。
ＪＰＥＧ２０００仕様においては、最終段の符号列処理部では、仕様に合った符号列を生成し、符号データをコードストリームとして生成する（図１４参照）。図１の構成では、符号データ生成後に、符号データ再構成部で符号データを再編集する構成としているが、符号データ再構成部では、この符号列形成処理を行って符号データを再構成する。

ＪＰＥＧ２０００の符号化処理は、以下に示すような流れで行われる。
（１）画像データを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換し、各色成分の色データに対して以下の処理をする。
（２）２次元離散ウェーブレット変換を施し、複数のデコンポジションレベルに展開する。
（３）得られるウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施す。
（４）スカラ量子化されたデータに対し、ＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。
全ての色データに対して（２）乃至（４）の処理を施した後、必要であれば、ポスト量子化を施す。
（５）ＪＰＥＧ２０００で規定する符号列を生成する。

上記（２）の２次元離散ウェーブレット変換は、１次元の変換（フィルタ処理）を水平・垂直方向それぞれに適用することによって実現するものである。即ち、先に、画像に対して垂直方向に１次元の離散ウェーブレット変換を適用し、低周波サブバンドＬと高周波サブバンドＨに分解する（図１５参照）。
次に、それぞれのサブバンドに対して水平方向に１次元離散ウェーブレット変換を適用することにより、ＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解する。
続いて、２次元離散ウェーブレット変換によって得られたサブバンドＬＬに対して、さらに繰り返して２次元離散ウェーブレット変換を適用することにより、ＬＬ、１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨの７つのサブバンドに分解する。

例えば、Ｎ個の１次元信号ｘ（ｎ）（ｎ＝０，・・・，Ｎ−１）に対する１次元離散ウェーブレット変換は、次式を用いて行われるものとする。
ｈ（ｎ）＝ｘ（２ｎ＋１）−（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２
ｌ（ｎ）＝ｘ（２ｎ）＋（ｈ（ｎ−１）＋ｈ（ｎ））／４

ここで、ｈ（ｎ）は高周波サブバンドの変換係数、ｌ（ｎ）は低周波サブバンドの変換係数を表す。尚、上式の計算において必要となる１次元信号ｘ（ｎ）の両端ｘ（ｎ）（ｎ＜０及びｎ≧Ｎ）は、公知の手法を用いて１次元信号ｘ（ｎ）（０≦ｎ＜Ｎ）の値から求める。

図１６は、ＪＰＥＧ２０００における、符号化対象である画像データと、符号形成単位となるタイル、サブバンド、プリシンクト、コードブロックの関係を示している。タイルとは、画像を矩形に分割した画像データの単位である。分割数が１の場合は、一つの画像がタイルに相当している。個々のタイルは独立したタイル毎に１つの画像データと見なし、ウェーブレット変換される。タイルを、色空間変換部でＲＧＢからＹＵＶまたはＹＣｂＣｒに変換し、２次元ウェーブレット変換部で色成分ごとにウェーブレット変換した結果として、サブバンドが生成され、サブバンド単位で量子化される。

プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもの（をＨＬ，ＬＨ，ＨＨの３つのサブバンドについて集めたものであり（図１５参照）、プリシンクトは３つで１まとまりをなす。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまり）で、タイル（画像）中の場所（Ｐｏｓｉｔｉｏｎ）を表すものである。

プリシンクトは、タイルの画像データをウェーブレット変換した結果生成され、タイル（画像）中のある領域の符号データからなる。前述したプリシンクトに相当する符号データは、タイル（画像）中のあるプリシンクト領域の符号データなのである。プリシンクトをさらに（ユーザが指定可能なサイズの）矩形に分割したものがコードブロックである。

量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは、３つのサブビットプレーンに分解されて符号化される）。プリシンクトに含まれる全てのコードブロックから、前記符号の一部を取り出して集めたもの（ｅｘ．全てのコードブロックのＭＳＢ（Most Significant Bit）から３枚目までのビットプレーンの符号を集めたもの）がパケットであり、上記「一部」は「空」でもよいので、パケットの中身が符号的には「空（から）」ということもある。

全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（ｅｘ．画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、画像全体のビットプレーンの符号の一部であり、すべてのレイヤを集めると画像全域の全てのビットプレーンの符号になる。

各サブバンドＳの量子化された係数値をビットプレーン符号化してレイヤ構成した後の各レイヤｎに対応する符号列ＣＳ（Ｓ，ｎ）が生成される。例えば、レイヤ数がＮである場合、ＬＬサブバンドの符号データに係る符号列はＣＳ１（１ＬＬ）、ＣＳ２（２ＬＬ）、…、ＣＳＮ（ＮＬＬ）で構成される。

図１７は、ＪＰＥＧ２０００の仕様において、ウェーブレット変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ構成と、それに含まれるパケットの例を示している。この場合は、プリシンクトサイズ＝サブバンドサイズであり、図１６でいうプリシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。

ＪＰＥＧ２０００の仕様においては、パケットは、プリシンクトを単位とするもので、同一解像度に対応するサブバンド間を跨っていてもかまわない。ここでは、プリシンクト＝サブバンドとした場合、ＪＰＥＧ２０００の標準仕様においては、ＨＬ〜ＨＨサブバンドをまたいだものとなっている。図１７中、いくつかのパケットを太線で囲んであるパケットは「コードブロックの符号の一部を取り出して集めたもの」である。

ＪＰＥＧ２０００の標準化仕様においては、ビットプレーン符号化部で符号破棄前の符号を作り、（ポスト量子化部で）ビットトランケーション（コードブロック単位の符号の破棄）と符号量の微調整を行い、パケットの並びを生成し、（算術符号化部で）ＪＰＥＧ２０００の符号フォーマットに符号を形成する。このパケットの並びをプログレッション順序と呼ぶ。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号データはパケットと呼ばれる符号列単位で形成される。（図１８〜２０参照）

ＪＰＥＧ２０００の標準仕様においては、パケットは、同一のデコンポジションレベルの符号列の集まり、すなわち、ＣＳ（Ｓｉ，ｎ）（ｉ＝１，２，…，Ｍ）の部分集合により構成される符号列により再構成される。

ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格のパケットは、プログレシブ順にシーケンス化され、それぞれ、プリシンクト、解像度レベル、およびコンポーネント（色成分）、画質レベル（レイヤ）で配列される。ここで、コンポーネントについては、これまで詳しく述べなかったが、コンポーネントとは色成分を指し、符号化が画像のタイル単位に色成分毎になされることに対応している（図２１参照）。

また、解像度レベルとは、サブバンドの階層（デコンポジションレベル）を指し、先に説明したように、サブバンド毎に求められたウェーブレット係数についてコードブロック単位の算術符号データが生成されているので、サブバンドの階層（デコンポジションレベル）毎に符号データは区別することができる。

また、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プリシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。

・ＬＲＣＰプログレッション：プリシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現できる。レイヤプログレッションとも呼ばれる。
・ＲＬＣＰプログレッション：プリシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現できる。
・ＲＰＣＬプログレッション：レイヤ、コンポーネント、プリシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度レベルのプログレッションであるが、特定位置の優先度を高くすることができる。

・ＰＣＲＬプログレッション：レイヤ、解像度レベル、コンポーネント、プリシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現できる。
・ＣＰＲＬプログレッション：レイヤ、解像度レベル、プリシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現できる。

このようにＪＰＥＧ２０００規格の符号データの符号列順を示すプログレッション順は、符号データのヘッダに記載されるため、符号列のヘッダを解析することで、パケット（符号列）単位で特定のパケット（符号列）をアクセスできる。

本発明では、各構成要素毎に符号化データが生成される。この時、前述したように、各符号データは複数個の符号データを合成し再構成して生成される。例えば、重要度の低い符号データ量を減らす処理を施すように、生成された符号データに対して符号量制御を施す。これにより、符号データが合成され、まとめて符号量制御することで効率的な符号量制御が実現できる。

復号化処理は逆の手順で行われる。
ＪＰＥＧ２０００では、復号化処理の過程で、注目領域以外の符号データを削減して復号化しないことで、ＲＯＩ処理を施すことができる。ＪＰＥＧ２０００の符号化では、先に示したように、プリシンクト単位で符号化されているため、重要でないプリシンクト領域の符号データを削減することで容易に実現できる。
ＪＰＥＧ２０００のＲＯＩ処理についての詳しい説明については、特開２００１−２３０９４７号公報、特開２００４−２９４１８５号公報等に記載されている。

勿論、これらの処理は、ハードウェア回路により実現することによって、処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する符号化処理装置は既に存在している。

本発明の典型的な応用例としては、複写機の次のようなところで利用される。
複写機（ＭＦＰ機）やプリンタなどの複数の画像データの集約画像を再生するときに、集約画像を符号データレベルで合成する場合に、集約するそれぞれの符号データはＪＰＭ符号化（あるいはＰＤＦタイプの符号化）されている時、それぞれの符号データのＪＰＭデータを構成するマスクデータと前景データの対を符号データレベルで併合する。
例えば、複数の地図情報を繋ぎ合わせて（合成して）表示する場合に、同一の性質を持つそれぞれの符号データのＪＰＭデータを構成するマスクデータと前景データの対を符号データレベルで併合する。このように、同一の符号化がなされているもの同士をまとめて処理することで効率的となる。

本発明は、上述した実施形態のみに限定されたものではない。上述した実施形態の画像処理装置を構成する各機能をそれぞれプログラム化して、予め記録媒体に書き込んでおき、この記録媒体に記録されたこれらのプログラムをコンピュータに備えられたメモリあるいは記憶装置に格納し、そのプログラムを実行することによって、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。
また、上記プログラムは、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

なお、上述した実施形態の機能を実現するプログラムは、ディスク系（例えば、磁気ディスク、光ディスク等）、カード系（例えば、メモリカード、光カード等）、半導体メモリ系（例えば、ＲＯＭ、不揮発性メモリ等）、テープ系（例えば、磁気テープ、カセットテープ等）等のいずれの形態の記録媒体で提供されてもよい。あるいは、ネットワークを介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。
このように、上述した実施形態の機能をプログラム化して流通させることによって、コストの低廉化、および可搬性や汎用性を向上させることができる。

本発明の構成について説明する図である。 本発明における処理手順を示すフローチャートである。 本発明の符号データ合成について説明する図である。 本発明の符号順序制御について説明する図である。 本発明の符号量制御について説明する図である。 ＪＰＭによる実現方式について説明する式を示す図である。 ＪＰＭによる実現方式について説明する図である。 ＪＰＭによる実現方式について説明する図である。 本発明のＪＰＭによる実現方式について説明する図である。 本発明のＪＰＭによる実現方式について説明する図である。 本発明の符号データ形成概念について説明する図である。 本発明の符号データ形成概念について説明する図である。 階層符号化圧縮伸長アルゴリズムの基本を説明する図である。 コードストリームの構造を説明する図である。 デコンポジションレベルとサブバンドを説明する図である。 プリシンクトとコードブロックを説明する図である。 レイヤとパケットとの関係を説明する図である。 ＪＰＥＧ２０００のパケットについて説明する図である（その１）。 ＪＰＥＧ２０００のパケットについて説明する図である（その２）。 ＪＰＥＧ２０００のパケットについて説明する図である（その３）。 タイル分割の基本を説明するための図である。

符号の説明

１０…画像データ入力部、１１…画像データ保存部Ａ、１２…符号化処理部Ａ、１３…符号化処理部Ｂ、１４…符号データ保存部Ａ、１５…合成符号データ生成部、１６…符号データ保存部Ｂ、１７…符号データ編集部、１８…復号化処理部Ａ、１９…復号化処理部Ｂ、２０…画像データ保存部Ｂ、２１…画像再生部。

Claims (12)

1. 第一の画像データであるマスク画像データと、第二の画像データである前景画像データで構成された元画像データを少なくとも二つ以上符号化して合成する場合に、前記各元画像データの前記第一の画像データ（マスク画像）および前記第二の画像データ（前景画像）ごとに互いに独立に符号化しておき、前記各元画像データの第一の画像データを符号化した第一の符号データ同士、あるいは、前記各元画像データの第二の画像データを符号化した第二の符号データ同士を互いに併合する符号データ合成手段を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記符号データ合成手段は、符号データ同士を併合する場合には、同じ符号化処理を施した符号データを互いに併合することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、前記符号データ合成手段により階層レベル毎に合成された符号データ単位で転送順を制御する転送順制御手段を有することを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置において、前記符号データ合成手段によりマスクレベル毎に合成された符号データ単位で復号順を制御する復号順制御手段を有することを特徴とする画像処理装置。
5. 請求項３または４に記載の画像処理装置において、前記転送順制御手段では第一の符号データ（マスク画像を符号化した符号データ）を先に転送し、または、前記復号順制御手段では第一の符号データ（マスク画像を符号化した符号データ）を先に復号することを特徴とする画像処理装置。
6. 請求項３または４に記載の画像処理装置において、マスクレベル毎の符号データを復号した復号画像データを併合して再生する画像再生手段を有し、前記併合する場合にあって、最上位に併合される復号画像データの符号データが先に転送している、または、先に復号していることを特徴とする画像処理装置。
7. 請求項１乃至６のいずれかに記載の画像処理装置において、前記符号データ合成手段により合成された符号データ（マスクデータ）のレベル単位の重要度に基づいて符号データ（マスクデータ）のレベル単位で符号量を制御する符号量制御手段を有することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、前記符号量制御手段は、注目領域に対して符号量制御することを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかに記載の画像処理装置において、符号化される符号データがＪＰＥＧ ２０００ Ｐａｒｔ ６ ＪＰＭ（ＩＳＯ／ＩＥＣ ＦＤＩＳ １５４４４−６）規格に基づいた符号データであることを特徴とする画像処理装置。
10. 第一の画像データであるマスク画像データと、第二の画像データである前景画像データで構成された元画像データを少なくとも二つ以上符号化して合成する場合に、前記各元画像データの前記第一の画像データ（マスク画像）および前記第二の画像データ（前景画像）ごとに互いに独立に符号化しておき、前記各元画像データの第一の画像データを符号化した第一の符号データ同士、あるいは、前記各元画像データの第二の画像データを符号化した第二の符号データ同士を互いに併合することを特徴とする画像処理方法。
11. コンピュータに、請求項１乃至９のいずれかに記載の画像処理装置の機能を実現させるためのプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。