JP2006211513A - 符号化処理装置、符号化処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】ローコントラスト・エッジやテクスチャの再現性を向上したＭＲＣ符号を生成する符号化処理装置又は方法。
【解決手段】前景画像生成手段１１１で原画像のテクスチャ成分（又はローコントラスト・エッジ成分）である前景画像を生成し、マスク画像生成手段１１２で原画像のテクスチャ領域（又はローコントラスト・エッジ領域）を示すマスク画像を生成し、背景画像生成手段１１３で原画像の非テクスチャ成分（又は非ローコントラスト・エッジ成分）である背景画像を生成する。生成された各画像は対応した符号化手段１２１，１２２，１２３により別々に符号化される。各画像の符号からＭＲＣ符号形成手段１３０によりＭＲＣ符号が形成される。
【選択図】図１４

Description

本発明は、文字・線画と写真等が混在した文書画像等の符号化処理と、その符号の復号処理に係り、特に、ローコントラストのエッジやテクスチャの再現性の良好な符号化処理と復号処理に関する。

文書には、文字・線画と写真のような画像が混在しているのが一般的となっている。

従来より、こうした混在文書を効率的に符号化するために、文書画像を文字・線画部分と画像部分とに分離し、各々に対して異なる符号化を施すことが提案されている（例えば特許文献１参照）。

また、画像といっても写真等の自然画像とＣＧ画像等の人工画像とでは性質が大きくことなるため、同じ符号化方式で符号化したのでは効率的な圧縮が期待できない。そこで、文書中の自然画像部分と人工画像部分とをラン長分布の違いに着目して分離し、それぞれの部分を適した符号化方式で符号化する発明が特許文献２に記載されている。

また、混在文書の符号化手法としてＭＲＣと呼ばれる手法がある。ＭＲＣでは、図１に模式的に示すように、１ページの文書を文字の色情報（前景）、文字領域情報（マスク）、画像情報（背景）といった３レイヤに分け、レイヤごとに符号化を行う。

ＭＲＣに関しては、例えば特許文献３に、原画像の絵柄部分を表す多値の絵柄画像、原画像の文字・線画部分の色情報を表す多値の文字色画像、原画像の文字・線画の形状を表す２値の選択データをそれぞれＪＰＥＧ、Ｌｅｍｐｅｌ−Ｚｉｖ、ＭＭＲで符号化した符号を取り込み、各画像の符号を伸長し、伸長された絵柄画像データ又は文字色画像データを、伸長された選択データに従って画素毎に選択することにより画像を合成する画像処理装置の発明が記載されている。この発明は、同特許文献の段落（０００３）〜（０００５）等の記載によれば、高圧縮率時の文字・線画の劣化を防止することを主要な目的とするものである。

特開平１１−３０５９５８号公報 特開２００２−１６３６５８号公報 特許第３２７５８０７号公報

本発明の目的は、ＭＲＣ的手法により、ローコントラストのエッジ又はテクスチャの再現性が良好な符号化処理装置又は方法と、この符号化処理装置又は方法により生成された符号からローコントラス・エッジ又はテクスチャの再現性が良好な画像を復元する復号処理装置又は方法を提供することにある。

一般に、変換符号化と呼ばれる画像の符号化は、
原画像のサブバンドへの周波数変換→サブバンドを構成する「周波数領域の係数」の 量子化→量子化後の係数のエントロピー符号化
という手順をとる。

ここで、サブバンドとは周波数帯域ごとに分類された「周波数領域の係数」の集合である。「周波数領域の係数（周波数係数）」とは、前記周波数変換がＤＣＴであればＤＣＴ係数であり、また前記周波数変換がウェーブレット変換であればウェーブレット係数である。

このような変換符号化においては、視覚的に影響の少ない高周波の係数を量子化して圧縮率を上げるのが通常であり、量子化に伴って、まず弱いエッジ成分（値の小さい高周波係数）から順に失われていき、強いエッジ線分は最後に失われる。その結果、圧縮率を上げていくと、強いエッジ成分は残っているが、ローコントラストのエッジやテクスチャが失われた、過度に平滑化されたような画像になることが多い。

しかし、まず原画像からローコントラスト・エッジ成分やテクスチャ成分を前景画像として抽出し、例えばこれをあまり量子化しないで符号化し、一方で背景画像に対して相対的に強い量子化を行えば、相対的に高い圧縮率下で、ローコントラスト・エッジやテクスチャが維持され、かつ、強いエッジも（ある程度）維持された画像を再現することが可能となる。

かかる考察に基づき、請求項１に係る発明は、ローコントラストのエッジの再現性を高めることを目的とするもので、原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成手段と、この画像生成手段により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化手段とを有し、前記第３の画像データは前記原画像データのローコントラストのエッジ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理装置である。

また、請求項２に係る発明は、テクスチャの再現性を高めることを目的とするもので、原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成手段と、前記画像生成手段により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化手段とを有し、前記第３の画像データは前記原画像データのテクスチャ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理装置である。

また、請求項３に係る発明は、ローコントラスト・エッジの再現性を高めることを目的とするもので、請求項１記載の発明に係る符号化処理装置において、前記画像生成手段は、前記原画像データのローコントラストのエッジ成分からなる前記前記第１の画像データを生成し、前記原画像データのローコントラスト・エッジ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする。

また、請求項４に係る発明は、テクスチャの再現性を高めることを目的とするもので、 請求項２記載の発明に係る符号化処理装置において、前記画像生成手段は、前記原画像データのテクスチャ成分からなる前記第１の画像データを生成し、前記原画像データのテクスチャ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする。

さて、ローコントラストのエッジ領域やテクスチャ領域の抽出法であるが、これらの領域は、周波数変換を行うと絶対値の小さい高周波係数に変換されることが多い。例えば、ウェーブレット変換を用いた場合、これらの領域は、主に、デコンポジションレベル２以下の高周波サブバンドにおける、絶対値が８未満の係数に変換される。したがって、こうした絶対値が所定未満の係数のみを抽出して周波数逆変換を行った画像は、前記領域を示したものとなる。

かかる考察に基づき、請求項５に係る発明は、請求項１，２，３又は４記載の発明に係る符号化処理装置において、前記画像生成手段は、前記第３の画像データにおける前記第１と第２の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、絶対値が所定値未満の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする。

また、請求項６に係る発明は、請求項１，２，３又は４記載の符号化処理装置において、前記画像生成手段は、前記第３の画像データにおける前記第１と第２の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、所定の周波数帯域以上の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする。

さて、第１、第２、第３の画像データに符号量を配分する場合、この配分は符号から再現したい画像の画質に応じて決めるべきである。ローコントラストのエッジ成分やテクスチャ成分を第１の画像データとし、これをあまり量子化しないように符号化すれば、それら成分の再現性を上げることができる。

かかる考察に基づき、請求項７に係る発明は、請求項１，２，３，４又は５記載の発明に係る符号化処理装置において、前記符号化手段は、前記第１の画像データ及び前記第２の画像データの符号化において、第１の画像データの量子化の程度を第２の画像データよりも小さくすることを特徴とする。かかる構成によれば、符号量を抑えつつローコントラスト・エッジやテクスチャの高い再現性を得ることができる。

また、上記符号量の配分は、量子化だけでなく、第１、第２、第３の画像データの解像度によって制御することもできる。例えば、ＭＲＣでは、図１に示すように前景、マスク、背景の３つのデータに対して各々異なる解像度を適用できる（原画像の解像度に対し、各々異なった解像度変換を行った後に、量子化・符号化を適用できる）。

ここで、ローコントラスのエッジやテクスチャの位置をマスク画像にする場合、その位置がランダムになりがちであるため符号化効率が落ち、マスクの符号量が占める割合が大きすぎる傾向にある。こうした場合は、マスクの解像度を落とすのが適切である。

かかる考察に基づき、請求項８に係る発明は、請求項１，２，３，４又は５記載の発明に係る符号化処理装置において、前記画像生成手段は、前記第３の画像データを前記第２の画像データよりも低解像度とすることを特徴とする。かかる構成によれば、符号量を抑えつつローコントラスト・エッジ又はテクスチャの高い再現性を得ることができる。

また、ローコントラスのエッジやテクスチャは、輝度や色の二次元的な変化が少ない部分であるから、二次元的な情報、すなわち解像度としては低くて良い場合がある。

かかる考察に基づき、請求項９に係る発明は、請求項１，２，３，４又は５記載の発明に係る符号化処理装置において、前記画像生成手段は、前記第１の画像データを前記第３の画像データより低解像度とし、前記第３の画像データを前記第２の画像データより低解像度とすることを特徴とする。かかる構成により、符号量を抑えつつローコントラストのエッジやテクスチャの高い再現性を得ることができる。

請求項１０，１１，１２に記載の発明は、請求項１乃至９のいずれか１項記載の発明に係る符号化処理装置により生成される符号から画像を生成する復号処理装置に関するものであり、それぞれ出力画像データの合成方法が異なる。

すなわち、請求項１０記載の発明は、請求項１乃至９のいずれか１項記載の発明に係る符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号手段と、前記第３の画像データに基づいて、前記第１の画像データと前記第２の画像データの一方を画素毎に選択して出力画像データを合成する合成手段とを有することを特徴とする復号処理装置であり、原画像データのローコントラストのエッジやテクスチャの再現性の良好な出力画像データを生成できる。

請求項１１記載の発明は、請求項１乃至９のいずれか１項記載の発明に係る符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号手段と、前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加算することにより出力画像データを合成する合成手段とを有することを特徴とする復号処理装置であり、原画像データのローコントラストのエッジやテクスチャの再現性の良好な出力画像データを生成できる。

請求項１２記載の発明は、請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号手段と、前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加重平均をとることにより出力画像データを合成する合成手段とを有することを特徴とする復号処理装置であり、原画像データのローコントラストのエッジやテクスチャの再現性の良好な出力画像データを生成できる。

請求項１３乃至１９に記載の発明は、請求項１乃至７に記載の発明に対応する符号化処理方法又は復号処理方法であり、ローコントラストのエッジやテクスチャの再現性を高めることができる。

すなわち、請求項１３記載の発明は、原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成工程と、この画像生成工程により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化工程とを有し、前記第３の画像データは前記原画像データのローコントラストのエッジ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理方法である。

請求項１４記載の発明は、原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成工程と、この画像生成工程により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化工程とを有し、前記第３の画像データは前記原画像データのテクスチャ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理方法である。

請求項１５記載の発明は、請求項１３記載の発明に係る符号化処理方法において、前記画像生成工程は、前記原画像データのローコントラストのエッジ成分からなる前記第１の画像データを生成し、前記原画像データのローコントラスト・エッジ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする。

請求項１６記載の発明は、請求項１４記載の発明に係る符号化処理方法において、前記画像生成工程は、前記原画像データのテクスチャ成分からなる前記第１の画像データを生成し、前記原画像データのテクスチャ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする。

請求項１７記載の発明は、請求項１乃至９のいずれか１項記載の発明に係る符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号工程と、前記第３の画像データに基づいて、前記第１の画像データと前記第２の画像データの一方を画素毎に選択して出力画像データを合成する合成工程とを有することを特徴とする復号処理方法である。

請求項１８記載の発明は、請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号工程と、前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加算することにより出力画像データを合成する合成工程とを有することを特徴とする復号処理方法である。

請求項１９記載の発明は、請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号工程と、前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加重平均をとることにより出力画像データを合成する合成工程とを有することを特徴とする復号処理方法である。

また、請求項２０記載の発明は、請求項１乃至９のいずれか１項記載の発明に係る画像生成手段及び符号化手段としてコンピュータを機能させるプログラムである。このプログラムを利用すれば、請求項１乃至９に記載の発明に係る符号化処理装置を、コンピュータを利用し容易に実現することができる。

また、請求項２１記載の発明は、請求項１乃至９のいずれか１項記載の発明に係る画像生成手段及び符号化手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。この情報記録媒体よりプログラムをコンピュータに読み取らせることにより、請求項１乃至９に記載の発明に係る符号化処理装置を、コンピュータを利用し容易に実現することができる。

前述したように、請求項１乃至９，１３乃至１９に係る発明によれば、ローコントラストのエッジ又はテクスチャの再現性の高い符号化処理が可能である。特に、請求項７，８，９に係る発明によれば、符号量を抑えつつローコントラスト・エッジやテクスチャの再現性を高めることができる。また、請求項１０，１１，１２，１７，１８，１９に係る発明によれば、ローコントラストのエッジ又はテクスチャの再現性の良い画像を復元できる。また、請求項２０，２１に係る発明によれば、ローコントラストのエッジ又はテクスチャの再現性の高い符号化処理装置を、コンピュータを利用し容易に実現することが可能になる、等々の効果を得られる。

［予備的な説明］
本発明の実施の形態の理解を容易にするため、ＪＰＥＧ後継の画像圧縮伸長方式であるＪＰＥＧ２０００の概要について説明する。ＪＰＥＧ２０００の符号化処理は概ね図２に示すような流れで行われる。

まず、画像は矩形のタイルに分割され（分割数≧１）、各タイルに対しＤＣレベルシフトと輝度・色差のコンポ−ネントへの色変換が施される。５ｘ３ウェーブレット変換が用いられる場合はＲＣＴと呼ばれる可逆の色変換が使用される。その正変換は、
輝度Ｙ＝ｆｌｏｏｒ｛（Ｒ＋２Ｇ＋Ｂ）／４｝
色差Ｃｂ＝Ｂ−Ｇ
色差Ｃｒ＝Ｒ−Ｇ
であり、また、逆変換は、
Ｒ＝Ｇ＋Ｃｒ
Ｇ＝Ｙ−ｆｌｏｏｒ｛（Ｃｒ＋Ｃｂ）／４｝
Ｂ＝Ｃｂ＋Ｇ
となるが、記号ｆｌｏｏｒ｛ｘ｝は、ｘのフロア関数（実数ｘを、ｘを越えず、かつｘに最も近い整数に置換する関数）を示している。

タイル毎に、色変換後のコンポ−ネント（タイルコンポ−ネントと呼ばれる）は、ウェーブレット変換によって、ＬＬ、ＨＬ、ＬＨ、ＨＨと略称される４つのサブバンドに分割される。そしてＬＬサブバンドに対して再帰的にウェーブレット変換（デコンポジション）を繰返すと、最終的に１つのＬＬサブバンドと複数のＨＬ、ＬＨ、ＨＨサブバンドが生成される。ここで、ＪＥＦＧ２０００で採用されている５ｘ３ウェーブレット変換について説明する。

図３から図７は、１６×１６画素のモノクロの画像に対して、５ｘ３ウェーブレット変換を２次元（垂直方向および水平方向）に施す過程の例を示したものである。図３の様にｘｙ座標をとり、あるｘについて、ｙ座標がｙである画素の画素値をＰ（ｙ）（０≦ｙ≦１５）と表す。

ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、ｙ座標が奇数（ｙ＝２ｉ＋１）の画素を中心にハイパスフィルタを施して係数Ｃ（２ｉ＋１）を得、次にｙ座標が偶数（ｙ＝２ｉ）の画素を中心にローパスフィルタを施して係数Ｃ（２ｉ）を得る（これを全てのｘについて行う）。座標の奇偶によってフィルタのハイパス、ローパスを切り替えることは、全ての座標に関してハイパスおよびローパスフィルタをかけた後に、ハイパス係数、ローパス係数を１／２に間引くことと等価である。１／２までなら、間引いた後の係数から逆変換で原画像が再構成可能であるため、これをクリティカルサンプリングという。また、下記式（１）と式（２）から明らかなように、ハイパス係数とローパス係数の間には所定の関係が成立し、これが完全再構成条件である。

ここで、ハイパスフィルタとローパスフィルタはそれぞれ式（１）と式（２）で表される。なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は所謂ミラリングと呼ばれる手法によって適宜画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を上記隣接画素群の値とみなす処理である。
C(2i+1)=P(2i+1)-floor{(P(2i)+P(2i+2))/2} 式（１）
C(2i)=P(2i)+floor{(C(2i-1)+C(2i+1)+2)/4} 式（２）

簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬと表記すれば、前記垂直方向の変換によって図３の画像は図４のようなＬ係数、Ｈ係数の配列へと変換される。

続いて、今度は図４の係数配列に対して、水平方向に、ｘ座標が奇数（ｙ＝２ｉ＋１）の係数を中心にハイパスフィルタを施し、次にｘ座標が偶数（ｘ＝２ｉ）の係数を中心にローパスフィルタを施す。これを全てのｙについて行う。この場合、前記式（１）及び式（２）Ｐ（２ｉ）等は係数値を表すものと読み替える。

簡単のため、
前記Ｌ係数を中心にローパスフィルタを施して得られる係数をＬＬ、
前記Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、
前記Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、
前記Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨ、
と表記すれば、図４の係数配列は、図５の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれる。すなわち、図５の例は４つのサブバンドで構成される。

以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、上記ＬＬ係数だけを集めると（図６の様にサブバンド毎に集め、ＬＬサブバンドだけ取り出すと）、ちょうど原画像の１／２の解像度の“画像”が得られる。このように、サブバンド毎に分類することをデインターリーブと呼び、図３のような状態に配置することをインターリーブと呼ぶ。

２回目のウェーブレット変換は、図６のＬＬサブバンドを原画像と見なして、上記と同様の変換を行えばよく、デインターリーブすると図７のような係数配列が得られる。図６及び図７中の係数の接頭の１や２は、何回のウェーブレット変換で該係数が得られたかを示しており、デコンポジションレベルと呼ばれる。なお、１次元のウェーブレット変換を行う場合には、垂直又は水平方向のいずれか一方についてだけ同様の処理を行うことになる。

一方、ウェーブレット逆変換は、図５の様なインターリーブされた係数の配列に対して、まず水平方向に、ｘ座標が偶数（ｘ＝２ｉ）の係数を中心に逆ローパスフィルタを施し、次にｘ座標が奇数（ｘ＝２ｉ＋１）の係数を中心に逆ハイパスフィルタを施す。これを全てのｙについて行う。ここで、逆ローパスフィルタと逆ハイパスフィルタはそれぞれ式次（３）と式（４）で表される。ウェーブレット変換時の同様、画像の端部においては、中心となる係数に対して隣接係数群が存在しないことがあり、この場合はミラリングによって適宜係数値を補うことになる。
P(2i)=C(2i)-floor{(C(2i-1)+C(2i+1)+2)/4} 式（３）
P(2i+1)=C(2i+1)+floor{(P(2i)+P(2i+2))/2} 式（４）

これにより、図５の係数配列は図４のような係数配列に変換（逆変換）される。続いて同様に、垂直方向に、ｙ座標が偶数（ｙ＝２ｉ）の係数を中心に逆ローパスフィルタを施し、次にｙ座標が奇数（ｙ＝２ｉ＋１）の係数を中心に逆ハイパスフィルタを施せば（これを全てのｘについて行う）、１回のウェーブレット逆変換が終了し、図３の画像に戻る（再構成される）。なお、ウェーブレット変換が複数回施されている場合は、やはり図３をＬＬサブバンドとみなし、ＨＬ等の他の係数を利用して同様の逆変換を繰り返すことになる。

図２に示す圧縮処理手順の説明に戻る。ウェーブレット変換後に、各サブバンドはプリシンクトとよばれる矩形に分割される。図８に示すように、プリシンクトとは、サブバンドを矩形に分割したものもので、ＨＬ、ＬＨ、ＨＨ各サブバンドの対応したプリシンクトは３つで１まとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１まとまりとして扱われる。プリシンクトは、大まかには画像中の場所（Ｐｏｓｉｔｉｏｎ）を表すものである。プリシンクトはサブバンドと同じサイズにできる。図８に示すように、プリシンクトをさらに矩形に分割したものがコードブロックである。よって、物理的な大きさの序列は、画像≧タイル＞サブバンド≧プリシンクト≧コードブロックとなる。デコンポジションレベル（施すウェーブレット変換の回数）と解像度レベルの関係を図９に示す。

以上の分割の後、係数に対しＭＱ符号化と呼ばれるのエントロピー符号化（ビットプレーン符号化）が、コードブロック毎かつビットプレーン順に成される。プリシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部（例えば全てのコードブロックのＭＳＢから３枚目までのビットプレーンの符号）を集めたものにヘッダをつけたものをパケットと呼ぶ。上記“一部”は“空”でもいいので、パケットの中身が符号的には“空（から）”ということもある。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。

そして全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、ＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。レイヤーは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がることになる。すなわち。レイヤーはビット深さ方向に形成された画質の単位である。すべてのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。

図１０に、デコンポジションレベル＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤーと、それに含まれるパケットの例を示す。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドをまたいだものとなる。

さて、以上で生成されたパケットやレイヤの区切りに従い、パケットを並べる作業を符号形成と呼ぶ。以上の様にパケットは
・どのコンポ−ネント（記号Ｃ）に属するか、
・どの解像度レベル（記号Ｒ）に属するか、
・どのプリシンクト（“場所”）（記号Ｐ）に属するか、
・どのレイヤ（記号Ｌ）に属するか、
という４つの属性を有する。パケットの配列とは、どの属性の順に階層的に並べるかを意味する。この配列順をプログレッションオーダとよび、図１１に示す５通りが規定されている。例えば、ＬＲＣＰプログレッションオーダの場合、次のようなｆｏｒループ
ｆｏｒ（レイヤ）｛
ｆｏｒ（解像度）｛
ｆｏｒ（コンポ−ネント）｛
ｆｏｒ（プリシンクト）｛
エンコード時：パケットを配置
デコード時：パケットの属性を解釈
｝
｝
｝
｝
により、パケットの配列（エンコード時）又は属性の解釈（デコード時）がなされる。

各パケットはパケットヘッダを有するが、パケットヘッダには、
・そのパケットが空かどうか、
・そのパケットにどのコードブロックが含まれるか、
・そのパケットに含まれる各コードブロックのゼロビットプレーン数、
・そのパケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）、
・そのパケットに含まれる各コードブロックの符号長、
が記載されているが、レイヤ番号や解像度番号等は一切記載されていない。デコード時に、そのパケットがどのレイヤのどの解像度のものかを判別するには、メインヘッダ中のＣＯＤマーカに記載されたプログレッションオーダから上に述べたようなｆｏｒループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがｆｏｒループ内のどの位置でハンドリングされたかを見ればよい。これは、パケットヘッダ中の符号長さえ読み出せば、エントロピー符号自体をデコードしなくても、次のパケットを検出できること、すなわち任意のパケットにアクセスできることを意味する。

図１２はＬＲＣＰの様な、レイヤがｆｏｒループの最も外側に位置するレイヤープログレッシブ符号の概念図である。

図１３はＭＲＣによる符号構成の説明図である。ＭＲＣによる符号フォーマットは、ＭＲＣ符号であること等を示す全体用のヘッダと、１つの背景符号およびそのヘッダと、それに重ね合わせる１つ若しくは複数の「前景符号とマスク符号のペア」およびそのペア用のヘッダで構成されるのが典型であり、図１３のような符号の構成をとる。

また、ＪＰＭ（JPEG2000 Multi layer）は、背景、前景およびマスクの符号化方式として、ＪＰＥＧ０００を許容したＭＲＣタイプの符号化方式であり（もちろんＪＰＥＧ２０００以外の多くの方式が許容される）、その符号フォーマットも、図１３に示すような、ヘッダとそれに続く符号の列として構成される。

［本発明の実施の形態１］
ここで、請求項１乃至９，請求項１３乃至１６に係る発明の実施の形態について説明する。

図１４は請求項１乃至９に係る発明の一実施形態を説明するためのブロック図である。本実施形態に係る符号化処理装置は、原画像１００のデータを取り込みＭＲＣ符号１４０を出力するもので、機能的に大きく分けると、原画像１００のデータから前景画像、背景画像、マスク画像のデータを生成する画像生成部１１０と、それら各画像のデータを別々に符号化する符号化部１２０と、それら各画像の符号を結合してＭＲＣ符号を形成する符号形成部１３０とから構成される。なお、符号形成部１３０を省き、各画像データの符号を分離した形で出力する態様も本発明に含まれる。

画像生成部１１０は、前景画像のデータを生成する前景画像生成手段１１１、マスク画像のデータを生成するマスク画像生成手段１１２、背景画像のデータを生成する背景画像生成手段１１３からなる。また、符号化部１２０は、前景画像のデータを符号化する前景画像符号化手段１２１、マスク画像のデータを符号化するマスク画像符号化手段１２２、背景画像のデータを符号化する背景画像符号化手段１２３からなる。なお、前景画像と背景画像のデータは特許請求の範囲に記載の第１の画像データと第２の画像データにそれぞれ対応し、マスク画像のデータは特許請求の範囲の選択データに対応する。

この符号化処理装置を構成する前記各手段は、図１４において処理の流れに沿った形で表されている。すなわち、図１４は請求項１３乃至１６に係る発明の一実施形態を表すフローチャートでもあり、その処理手順は画像生成工程（１１０）、画像符号化工程（１２０）及び符号形成工程（１３０）とからなる。そして、画像生成工程（１１０）は前景画像生成工程（１１１）、マスク画像形成工程（１１２）及び背景画像生成工程（１１３）からなり、画像符号化工程（１２０）は前景画像符号化工程（１２１）、マスク画像符号化工程（１２２）及び背景画像符号化工程（１２３）からなる。

本実施形態に係る符号化処理装置（又は符号化処理方法）は専用のハードウェアにより実現することもできるが、パソコンなどの汎用コンピュータや各種機器内蔵のマイクロコンピュータなどのコンピュータを利用し１以上のプログラムにより実現することも可能である。後者の実現形態を図１５により説明する。

図１５は、ＣＰＵ２００、メモリ２０１、ハードディスク装置２０２などをシステムバス２０３により相互接続した一般的なコンピュータを模式的に示している。このようなコンピュータを本実施形態に係る符号化処理装置の各手段として機能させるための（又はコンピュータに符号化処理方法の各工程を実行させるための）１以上のプログラム（アプリケーションプログラムやデバイスドライバなど）は、通常、ハードディスク装置２０２に保存されており、必要に応じてメモリ２０１に読み込まれてＣＰＵ２００に実行される。処理対象の原画像のデータはハードディスク装置２０２に保存されているものとすると、処理の流れは概ね次の通りである。
（１）ハードディスク装置２０２より処理対象となる原画像データが、ＣＰＵ２００からの命令によってメモリ２０１に読み込まれる。
（２）ＣＰＵ２００は、メモリ２０１上の原画像データを読み込み、前景画像、背景画像、マスク画像のデータの生成、符号化、符号形成の各処理を実行する。
（３）ＣＰＵ２００は、形成されたＭＣＲ符号をメモリ２０１上の別の領域に書き込む。（４）ＣＰＵ２００からの命令によって、そのＭＲＣ符号がハードディスク装置２０２に保存される。

以上のようなプログラムは請求項２０に係る発明の一実施形態であり、また、同プログラムが記録された各種の情報記録（記憶）媒体は請求項２１に係る発明の一実施形態である。

なお、本実施形態に係る符号化処理装置又は符号化処理方法により生成された符号の復号処理において、前景と背景を合成する方法として、
（ｉ）前景か背景のいずれかを選択する方法
（ii）前景の値と背景の値を選択して、それらを加算する方法
（iii）前景の値と背景の値を選択し、それらの加重平均をとる方法
が選択可能である。符号化処理装置又は符号化処理方法において、（ｉ）の合成方法の場合、マスク画像は２値とされ、その値が１のときに前景画像を選択し、０のときに背景画像を選択するようなものとされる。（ii）の合成方法の場合、マスク画像は２値とされ、その値が１のときに背景画像と前景画像を選択し、０のときに背景画像のみを選択するようなものとされる。（iii）の合成方法の場合には、マスク画像は８ビットの正の値をとり、次式
合成画像＝（マスク値／２５５）×前景＋｛（２５５―マスク値）／２５５｝×背景
により前景画像と背景画像が加重平均により合成されるようなものとされる。

このような合成方法は、前景画像とマスク画像のペアごとに指定可能であり、各ペア用のヘッダに記載される（図１３参照）。また、各ペア用のヘッダには、前景画像とマスク画像に施すべき解像度変換率に関する情報が記載される。

また、ＭＲＣにおいて、前景画像と背景画像の画素値は、ＪＰＥＧ２０００やＪＰＭと同様に、負の値を持つことが許されている。

以下、本実施形態のいくつかの実施例について説明する。以下の説明において特に断らない限り、原画像はモノクロ画像とする。したがって、JPEG2000による符号化では色変換は行われない。また、JPEG2000による符号化のタイル数を１とする。

本実施例において、前景画像はテクスチャの画像であり、背景画像はテクスチャ以外の画像（絵柄、非ローコントラストの文字又は線画）であり、マスク画像はテクスチャ領域の位置を示す２値の画像である。また、前景画像と背景画像の合成に前記（ii）の加算による合成方法が採用されるものとする。

前景画像生成手段（工程）１１１は、図１６に示す手順により前景画像のデータを生成する。まず、原画像のデータに対しＤＣレベルシフトを施し（ステップ３０１）、次に前記の５×６ウェーブレット変換を施す（ステップ３０２）。生成された１ＨＬ，１ＬＨ，１ＨＨ，２ＨＬ，２ＬＨ，２ＨＨサブバンドの絶対値が８以上の係数の値を０に置換し（ステップ３０３）、それ以外のサブバンドの全ての係数の値を０に置換する（ステップ３０４）。以上の係数値の置換を行った後の全サブバンドの係数に対し、５×３ウェーブレット逆変換を施すことにより原画像中のテクスチャ成分からなる前景画像のデータを生成する（ステップ３０５）。

この処理の内容について説明すれば、前述のように、原画像のデータに対し５ｘ３ウェーブレット変換を行うと、原画像中のテクスチャ成分は、主にデコンポジションレベル２以下の高周波サブバンドにおける絶対値が８未満の係数に変換される。図１９は、原画像（太線）とそのローパス係数の形状（細線）を概念的に示したものであるが、５×３ウェーブレット変換におけるハイパス係数の算出式から明らかなように、ハイパス係数が正とは、その位置で原画像が上に凸であることを示し、ハイパス係数が負とは、その位置が下に凸であることを示している。よって、絶対値の小さい（本実施例では８未満の）ハイパス係数だけをとりだし、ローパス係数を含むそれ以外の係数を０に置換して、それらを５×３ウェーブレット逆変換すれば、ローパス成分が０で、正および負の値（凹凸）をもつ画像が生成される。そして、この生成された画像は、原画像における微小な凹凸、つまり主にテクスチャを近似的に取り出したものになるわけである。

マスク画像生成手段（工程）１１２は、図１７に示す手順によりマスク画像のデータを生成する。まず、図１６のステップ３０５で生成された前景画像（テクスチャ画像）のデータを取り込み（ステップ３１１）、その非０の画素値を１に置換する処理を行い（ステップ３１２）、原画像のテクスチャ領域の画素位置のみ画素値が１となるマスク画像データを生成する（請求項５，６）。ここで、非０の画素値を１に置換するとは、図１９に関連して説明から分かるように、上に凸の位置と下に凸の位置の両方を選択するということである（なお、正の画素値のみを１に置換すれば上に凸の位置だけを選択することになり、負の画素値のみを１に置換すれば下に凸の位置を選択することになる）。

なお、上記選択した位置の全てを必ずしもマスク画像として採用しなくともよく、マスク画像の符号量を少なくしたい場合には、孤立ドット（孤立した選択位置）を除く等、目的に応じて適宜位置を選択してもよい。

これとは逆に、いわゆる視覚のマスキング効果（孤立したドットは目立ちやすいく、他のドットに紛れたドットは目立ちにくい効果）を考慮し、視覚的に目立ちやすい孤立したテクスチャ（孤立したドット）のみを選択したいということであれば、注目係数を中心とするｍ×ｎの周囲（例えば５ｘ５の範囲）の係数の絶対値を調べ、注目係数の絶対値のみが所定値以下である場合のみに、その係数を選択し、その５×３ウェーブレット逆変換画像を得て、この画像に基づいてマスク画像を生成するようにしてもよい。

また、前記選択すべき係数の絶対値は、ユーザが前景画像として残したいテクスチャやローコントラスト・エッジの濃淡の度合い（強度、エッジ度）によって決定され、より薄いテクスチャを残したければ、例示した値以下の値を閾値とすることができ、より濃いテクスチャを残したければ、より大きな値を用いることができる。

本実施例においては、マスク画像の符号量を削減するため、マスク画像生成手段（工程）１１２は、ステップ３１２で生成された画像のデータに対し、周知の最近傍法により解像度を１／２に変換する処理を施し（ステップ３１３）、最終的なマスク画像のデータを得る（請求項８）。

背景画像生成手段（工程）１１３においては図１８に示す手順により背景画像のデータ（係数状態）を生成する。まず、原画像のデータに対しＤＣレベルシフトを施し（ステップ３２１）、次に前記の５×６ウェーブレット変換を施す（ステップ３２２）。なお、ステップ３２１，３２２を前景画像生成のためのステップ３０１，３０２（図１６）と共通化することも可能である。次に、生成された１ＨＬ，１ＬＨ，１ＨＨ，２ＨＬ，２ＬＨ，２ＨＨサブバンドの絶対値が８未満の係数の値を０に置換する（ステップ３２３）。このようにして生成されるデータ（ただし係数状態）は、原画像からテクスチャ成分を除いた画像のデータであることは明らかである。

なお、本実施例で使用する５ｘ３ウェーブレット変換／逆変換は、その変換式のフロア関数部において一部非線形を有するが、概ね線形であるため、前景画像生成手段（工程）１１１で生成された前景（テクスチャ）画像のデータと、背景画像生成手段（工程）１１３で生成された背景（テクスチャ以外）画像のデータを５×３ウェーブレット逆変換した画像のデータとを加算すると、ほぼ原画像データに戻る。

生成された各画像のデータは符号化部（工程）１２０において符号化される。まず、前景画像符号化手段（工程）１２１は、前景（テクスチャ）画像のデータを、―４、０、４の３値に量子化し（正の値は４に、０の値は０に、負の値はー４に、量子化する）、ＪＰＥＧ２０００によって符号する。ただし、本実施例では、ウェーブレット変換は行わず（すなわちデコンポジションレベル＝０）、画素値をそのままビットプレーン化し、ＭＱ符号化する。上記の３値のように、量子化後の絶対値を２のべき乗にした場合、絶対値をビットプレーン化するＪＰＥＧ２０００のような符号化方式をとった場合、ＭＳＢ（３ビット目）に１が存在するだけになるため符号化効率がよい。

マスク画像符号化手段（工程）１２２は、マスク画像のデータを周知のＭＭＲによって符号化する。

また、背景画像符号化手段（工程）１２３は図２０に示す手順で背景（テクスチャ以外）画像のデータをＪＰＥＧ２０００フォーマットで符号化する。すなわち、背景画像のデータ（係数状態）を取り込み（ステップ３３１）、コードブロック毎にビットプレーン符号化し（ステップ３３２）、デコンポジションレベル１の符号は不要な符号として全て破棄し、必要な符号をまとめてパケットを生成し（ステップ３３３）、パケットを所定のプログレッションオーダに並べて符号を形成する（ステップ３３４）。

通常、デコンポジションレベル１の係数は８ビット以上の値を有するため、これらの係数の符号全ての破棄は、デコンポジションレベル１の係数を２の８乗以上の値で量子化されたと等価である。一方、８未満の係数を逆変換した前景画像（テクスチャ画像）は、通常、８周辺の値をとるため、背景画像よりも小さな、２の８乗未満の値で量子化されたことになる（請求項７）。

なお、符号破棄による量子化の場合、コードブロック毎に符号破棄量を変えることができるため、線形量子化に比べて「量子化の程度」を定義しにくいが、本明細書では「全係数におけるビットプレーン破棄数の平均値」と定義する。デコンポジションレベル１の係数は、全係数の３／４を占めるため、それらのビットプレーン破棄数が平均値にしめる割合は大きい。

最後に、ＭＲＣ符号形成部（工程）１３０において前景画像の符号、マスク画像の符号及び背景画像の符号を結合し、図１４のようなＭＲＣフォーマットの符号を形成する。

本実施例においては、前景画像と背景画像の合成に前記（iii）の加重平均による合成方法が採用されるものとする。

本実施例における前景画像生成手段（工程）１１１においては図２１に示す手順により前景画像のデータを生成する。ステップ４０１〜４０５までの処理内容は図１６のステップ３０１〜３０５と同様である。最後のステップ４０５で、５×３ウェーブレット逆変換後の画像データの負の画素値を０に置換することにより、原画像中のテクスチャの一部のみ取り出した前景画像のデータを生成する。

前景画像符号化手段（工程）１２１は、前景（テクスチャ）画像のデータを（０、４の２値ではなく）０、２５５の２値に量子化し（正の値は２５５に量子化される）、ＪＰＥＧ２０００によって符号化する。ただし、本実施例でも、前記実施例１の場合と同様、ウェーブレット変換は行わず（すなわちデコンポジションレベル＝０）、画素値をそのままビットプレーン化してＭＱ符号化する。このように、前景画像のデータを０、２５５の２値に量子化した場合、マスク画像が非０の値を有する位置においては単色の前景になるため、前景は１×１の画像に解像度変換される（請求項９）。なお、単色の画像に対しては、特別に画素値のみを符号として持ち、画像サイズが自動的に１ｘ１として扱われる表現形式（通常はタグやマーカ内の所定ビットをセットする）をとってもよい。

マスク画像生成手段（工程）１１２は、図２２に示すように、前景画像のデータを取り込み（ステップ４１１）、非０の値を持つ画素値を４に置換し（ステップ４１２）、周知の最近傍法によって解像度を１／２に変換し（ステップ４１３）、マスク画像のデータを得る（請求項８）。

マスク画像符号化手段（工程）１２２は、マスク画像のデータを、デコンポジションレベル＝０としてＪＰＥＧ２０００により符号化する。ＭＳＢに１が存在するだけになるため効率的な符号化が可能である。

背景画像生成手段（工程）１１３の処理、背景画像符号化手段（工程）１２３の処理、ＭＲＣ符号形成部（工程）１３０の処理は前記実施例１の場合と同様である。

本実施例では前記（iii）の符号化方法を採用するが、マスク画像データが４の値をとる画素位置では、前景画素値が２５５であるため
合成画像＝（マスク値／２５５）×前景＋｛（２５５―マスク値）／２５５｝×背景
＝（４／２５５）×２５５＋（２５５―４）／２５５×背景
≒４＋背景
となり、加重平均ながら、ほぼ加算に近い結果が得られる。

本実施例において、前景画像としてローコントラスト・エッジの画像が、背景画像としてローコントラスト・エッジ以外の画像が、また、前記（ii）の合成方法のためのマスク画像が生成される。

前景画像生成手段（工程）１１１は、図２３に示すように、原画像のデータに対しＤＣレベルシフトを施し（ステップ５１１）、次に５×３ウェーブレット変換を施す（ステップ５１２）。得られたウェーブレット係数に対し、デコンポジション２の高周波サブバンドである２ＨＬ，２ＬＨ，２ＨＨサブバンドの絶対値が８以上の係数の値を０に置換し（ステップ５１３）、それ以外のサブバンドの全ての係数を０に置換し（ステップ５１４）、最後に５×３ウェーブレット逆変換を行い（ステップ５１５）、前景画像のデータを生成する。

原画像のデータに対し５ｘ３ウェーブレット変換を行うと、原画像中のローコントラスト・エッジ成分は、主に、デコンポジションレベル２（あるいは３）の高周波サブバンドにおける、絶対値が８未満の係数に変換される。ステップ５１３でデコンポジションレベル２の２ＨＬ，２ＬＨ，２ＨＨサブバンドの絶対値が８以上の係数の値を０に置換し、それ以外のサブバンドの全係数を０に置換することにより、デコンポジションレベル１に含まれるノイズ的な成分が除かれ、ローコントラスト・エッジのみをとり出した前景画像データを生成することができる。

マスク画像生成手段（工程）１１２は、図２４に示すように、前景画像のデータを取り込み（ステップ５２１）、その非０の値を有する画素値を１に変換することにより（ステップ５２２）マスク画像のデータを生成する。

背景画像生成手段（工程）１２３は、図２５に示すように、原画像のデータにＤＣレベルシフトと５×３ウェーブレット変換を順次施し（ステップ５３１，５３２）、得られたウェーブレット係数のうちのデコンポジションレベル２の２ＨＬ，２ＬＨ，２ＨＨサブバンドの絶対値が８未満の係数を０に置換する処理を行い（ステップ５３３）、ローコントラスト・エッジ成分が除かれた背景画像のデータ（係数状態）を生成する。なお、ステップ５３１，５３２は図２３のステップ５１１，５１２と共通化してよい。

前景画像及び背景画像のデータは前記実施例１と同様にＪＰＥＧ２０００で符号化され、マスク画像のデータは前記実施例１と同様にＭＭＲで符号化される。ＭＲＣ符号形成処理も前記実施例１と同様である。

本実施例においては、前景画像としてローコントラスト・エッジの画像を、背景画像としてローコントラスト・エッジ以外の画像を生成し、また、前記（ｉ）の合成方法のためのマスク画像を生成する。

前景画像生成手段（工程）１１１は、図２６に示すように、まず原画像のデータの全画素に対し周知のＳｏｂｅｌフィルタを適用する（ステップ６０１）。このＳｏｂｅｌフィルタは、注目画素を中心とした上下左右の９つの画素に対して、図２７に示す第１の重みマトリクスを乗算して、その和ＨＳを算出し、同様に図２８に示す第２のマトリクスを乗算してその和ＶＳを算し、（ＨＳ＾２＋ＶＳ＾２の）平方根をフィルタの出力値とするものである。次に、Ｓｏｂｌｅフィルタの出力値が１０以上３０未満である画素の画素値は維持し、Ｓｏｂｅｌフィルタ出力値がそれ以外の画素の画素値は直前に維持した画素値で置換する（ただし、直前に維持した画素値がない場合には１２８に置換する）処理を行い（ステップ６０２）、ローコントラスト・エッジ成分からなる前景画像のデータを生成する。

マスク画像生成手段（工程）１１２は、図２９に示すように、原画像のデータの全画素に対しＳｏｂｅｌフィルタを適用し（ステップ６１１）、Ｓｏｂｅｌフィルタ出力値が１０以上３０未満の画素の画素値を１に置換し、Ｓｏｂｅｌフィルタ出力値がそれ以外の治である画素の画素値を０に置換する処理を行い（ステップ６１２）、最後に周知の最近傍法により解像度を１／２に変換する処理を行い（ステップ６１３）、マスク画像のデータを生成する。なお、ステップ６１１は図２６のステップ６０１と共通化してよい。

背景画像生成手段（工程）１１３は、図３０に示すように、原画像のデータの全画素に対しＳｏｂｅｌフィルタを適用し（ステップ６２１）、Ｓｏｂｅｌフィルタ出力値が１０未満又は３０以上の画素の画素値を維持し、Ｓｏｂｅｌフィルタ出力値が１０以上３０未満の画素の画素値を直前に維持した画素値で置換する処理を行い（ステップ６２２）、ローコントラスト・エッジ成分の含まれない背景画像のデータを生成する。なお、ステップ６２１は図２６のステップ６０１と共通化してよい。

前景画像と背景画像のデータは前記実施例１と同様にＪＰＥＧ２０００により符号化され、２値のマスク画像のデータは前記実施例１と同様にＭＭＲで符号化される。

前記実施例１〜４はモノクロの原画像を対象としたが、ここではカラーの原画像を対象とした実施例について説明する。本実施例は前景画像と背景画像の合成に前記（ii）の合成方法が用いられる場合である。

本実施例において、前景画像生成手段（工程）１１１は、図３１に示すように、まず原画像のデータに対しＤＣレベルシフト及び色変換を施し（ステップ７０１）、次に輝度コンポーネントにのみ５×６ウェーブレット変換を施す（ステップ７０２）。生成された輝度コンポーネントのウェーブレット係数のうち、１ＨＬ，１ＬＨ，１ＨＨ，２ＨＬ，２ＬＨ，２ＨＨサブバンドの絶対値が８以上の係数の値を０に置換し（ステップ７０３）、それ以外のサブバンドの全ての係数の値を０に置換する（ステップ７０４）。以上の係数値の置換を行った輝度コンポーネントの全サブバンドの係数に対し、５×３ウェーブレット逆変換を施す（ステップ７０５）。かくして、ウェーブレット逆変換後の輝度コンポーネントの画素値データと、ステップ７０１でのＤＣレベルシフト及び色変換により得られたＣｒ，Ｃｂコンポーネントの画素値データとからなる前景画像（テクスチャ画像）のデータが生成される。

マスク画像生成手段（工程）１１２は、図３２に示すように、前景画像（テクスチャ画像）のデータを取り込み（ステップ７１１）、そのＹ，Ｃｒ，Ｃｂの各コンポーネントについて、非０の画素値を１に置換する処理を行う（ステップ７１２）。この処理後の各コンポーネントについて、周知の最近傍法により解像度を１／２に変換する処理を行い（ステップ７１３）、前記（ii）の合成方法のためのマスク画像データを生成する。なお、ステップ７１３の解像度変換はマスク画像の符号量を削減するためであり、この解像度変換を省くこともできる。

背景画像生成手段（工程）１１３は、図３３に示すように、まず、原画像のデータに対しＤＣレベルシフト及び色変換を施し（ステップ７２１）、次にＹ，Ｃｂ，Ｃｒ各コンポーネントに対し５×６ウェーブレット変換を施す（ステップ７２２）。次に、生成された輝度コンポーネントのウェーブレット係数のうち、１ＨＬ，１ＬＨ，１ＨＨ，２ＨＬ，２ＬＨ，２ＨＨサブバンドの絶対値が８未満の係数の値を０に置換する（ステップ７２３）。かくして、この置換処理後の輝度コンポーネントのウェーブレット係数と、ステップ７２２で生成されたＣｒ，Ｃｂコンポーネントのウェーブレット係数とからなる背景画像（テクスチャ以外の画像）のデータ（たたじ係数状態）が生成される。

そして、前記実施例１の場合と同様、前景データ及び背景データはＪＰＥＧ２００で符号化され、マスク画像データはＭＭＲにより符号化される。

ここまでの説明から理解されるように、本実施例は前記実施例１のカラー版ということができる。前記実施例２〜４についても、同様のカラー版が可能であることは明らかである。

［実施の形態２］
次に、請求項１０，１１，１２，１７，１８，１９に係る発明の一実施形態について説明する。本実施形態は、前記実施形態１に係る符号化処理装置又は符号化処理方法により生成されたＭＲＣ符号から原画像に対応する画像のデータを復元する復号処理装置又は復号処理方法に係るものである。この復号処理装置又は復号処理方法は、入力するＭＲＣ符号より、前景画像、背景画像及びマスク画像のデータを復号する手段又は工程と、復号されたデータに必要に応じて解像度変換を施す手段又は工程と、マスク画像データに基づいて前景画像データと背景画像データから出力画像データを合成する処理を行う手段又は工程とから構成される。合成方法として前記（i）〜（iii）の方法を選択できる。なお、解像度変換が不要ならば、そのための手段又は工程は省き得る。

このような復号処理装置又は方法の一実施例について、図３４に示すフローチャートに沿って説明する。まず、ＭＲＣ符号を取り込む（ステップ８０１）。次に、背景画像符号を復号して背景画像データを復元し、それに対し必要に応じて解像度変換を施す（ステップ８０２）。次に、前景画像及びマスク画像用のヘッダ（図１３）から合成方法（前記（ｉ）〜（iii））を判断する（ステップ８０３）。前景画像符号を復号して前景画像データを復元し、それに対し必要に応じて解像度変換を施し（ステップ８０４）、マスク画像符号を復号してマスク画像データを復元し、それに対し必要に応じて解像度変換を施し（ステップ８０５）、ステップ８０３で確認した合成方法により、マスク画像データに基づいて画素毎に前景画像データと背景画像データの一方又は両方を選択して出力画像データの合成を行う（ステップ８０６）。ステップ８０３〜８０６の処理が全ての前景画像データについての合成が済むまで繰り返され、それが済んだと判断されると（ステップ８０７，Ｙｅｓ）、復号処理動作を終了する。なお、各画像の解像度変換倍率は各画像用のヘッダから知ることができる。また、各画像の符号化方式は、各画像の符号中のヘッダから判別される。

図３４において、ステップ８０２，８０４，８０５は復号及び解像度変換の手段に対応し、ステップ８０６は合成の手段に対応する。ステップ８０３，８０７は、それら各手段に関する繰り返し制御のための手段に相当する。

このような復号処理装置又は方法は、例えば図１５に模式的に示したようなコンピュータ上で１以上のプログラムにより実現可能であることは明らかである。このようなプログラムと、同プログラムが記録された各種情報記録（記憶）媒体も本発明に含まれる。

ＭＲＣの概念図である。 ＪＰＥＧ２０００の符号化アルゴリズムの説明のためのブロック図である。 原画像の座標系を示す図である。 垂直方向へのフィルタリングにより得られる係数配列を示す図である。 水平方向へのフィルタリング後の係数配列を示す図である。 デインターリーブ後の係数配列を示す図である。 ２回の変換後のデインターリーブされた係数配列を示す図である。 画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す図である。 デコンポジションレベルと解像度レベルの関係を示す図である。 レイヤーとパケットの例を示す図である。 ＪＰＥＧ２０００の５通りのプログレッションオーダを示す図である。 ＬＲＣＰプログレッション符号のようなレイヤープログレッシブ符号の概要図である。 ＭＲＣの符号フォーマットの説明図である。 本発明に係る符号化処理装置及び方法の実施の形態を説明するためのブロック図である。 プログラムによる実施形態を説明するためのブロック図である。 本発明の実施例１における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例１におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例１における背景画像生成処理を説明するためのフローチャートである。 原画像とローパス係数の関係を説明するための図である。 本発明の実施例１における背景画像の符号化を説明するためのフローチャートである。 本発明の実施例２における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例２におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例３における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例３におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例３における背景画像生成処理を説明するためのフローチャートである。 本発明の実施例４における前景画像生成処理を説明するためのフローチャートである。 Ｓｏｂｅｌオペレータを示す図である。 Ｓｏｂｅｌオペレータを示す図である。 本発明の実施例４におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例４における背景画像生成処理を説明するためのフローチャートである。 本発明の実施例５における前景画像生成処理を説明するためのフローチャートである。 本発明の実施例５におけるマスク画像生成処理を説明するためのフローチャートである。 本発明の実施例５における背景画像生成処理を説明するためのフローチャートである。 本発明に係る復号処理装置及び方法の実施の形態を説明するためのブロック図である。

符号の説明

１１０ 画像生成部（画像生成工程）
１１１ 前景画像生成手段（前景画像生成工程）
１１２ マスク画像生成手段（マスク画像生成工程）
１１３ 背景画像生成手段（背景画像生成工程）
１２０ 符号化部（符号化工程）
１２１ 前景画像符号化手段（前景画像符号化工程）
１２２ マスク画像符号化手段（マスク画像符号化工程）
１２３ 背景画像符号化手段（背景画像符号化工程）
１３０ ＭＲＣ符号形成部（ＭＲＣ符号形成工程）

Claims (21)

1. 原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成手段と、
   前記画像生成手段により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化手段とを有し、
   前記第３の画像データは前記原画像データのローコントラストのエッジ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理装置。
2. 原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成手段と、
   前記画像生成手段により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化手段とを有し、
   前記第３の画像データは前記原画像データのテクスチャ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理装置。
3. 前記画像生成手段は、前記原画像データのローコントラストのエッジ成分からなる前記前記第１の画像データを生成し、前記原画像データのローコントラスト・エッジ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする請求項１記載の符号化処理装置。
4. 前記画像生成手段は、前記原画像データのテクスチャ成分からなる前記第１の画像データを生成し、前記原画像データのテクスチャ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする請求項２記載の符号化処理装置。
5. 前記画像生成手段は、前記第３の画像データにおける前記第１と第２の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、絶対値が所定値未満の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする請求項１，２，３又は４記載の符号化処理装置。
6. 前記画像生成手段は、前記第３の画像データにおける前記第１と第２の画像データの一方又は両方が選択される画素の位置を、前記原画像データを周波数変換した係数のうちの、所定の周波数帯域以上の係数のみを逆変換して得られる画像データに基づいて決定することを特徴とする請求項１，２，３又は４記載の符号化処理装置。
7. 前記符号化手段は、前記第１の画像データ及び前記第２の画像データの符号化において、第１の画像データの量子化の程度を第２の画像データよりも小さくすることを特徴とする請求項１，２，３，４又は５記載の符号化処理装置。
8. 前記画像生成手段は、前記第３の画像データを前記第２の画像データよりも低解像度とすることを特徴とする請求項１，２，３，４又は５記載の符号化処理装置。
9. 前記画像生成手段は、前記第１の画像データを前記第３の画像データより低解像度とし、前記第３の画像データを前記第２の画像データより低解像度とすることを特徴とする請求項１，２，３，４又は５記載の符号化処理装置。
10. 請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号手段と、
    前記第３の画像データに基づいて、前記第１の画像データと前記第２の画像データの一方を画素毎に選択して出力画像データを合成する合成手段とを有することを特徴とする復号処理装置。
11. 請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号手段と、
    前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加算することにより出力画像データを合成する合成手段とを有することを特徴とする復号処理装置。
12. 請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号手段と、
    前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加重平均をとることにより出力画像データを合成する合成手段とを有することを特徴とする復号処理装置。
13. 原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成工程と、
    前記画像生成工程により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化工程とを有し、
    前記第３の画像データは前記原画像データのローコントラストのエッジ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理方法。
14. 原画像データより、前記原画像データに含まれる第１の画像データと、前記原画像データに含まれる前記第１の画像データとは異なる第２の画像データと、前記第１の画像データと前記第２の画像データの一方又は両方を画素毎に選択するための第３の画像データを生成する画像生成工程と、
    前記画像生成工程により生成された前記第１、第２及び第３の画像データを別々に符号化する符号化工程とを有し、
    前記第３の画像データは前記原画像データのテクスチャ領域の画素位置で前記第１の画像データと前記第２の画像データの一方又は両方を選択するものであることを特徴とする符号化処理方法。
15. 前記画像生成工程は、前記原画像データのローコントラストのエッジ成分からなる前記第１の画像データを生成し、前記原画像データのローコントラスト・エッジ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする請求項１３記載の符号化処理方法。
16. 前記画像生成工程は、前記原画像データのテクスチャ成分からなる前記第１の画像データを生成し、前記原画像データのテクスチャ成分が除かれた成分からなる前記第２の画像データを生成することを特徴とする請求項１４記載の符号化処理方法。
17. 請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号工程と、
    前記第３の画像データに基づいて、前記第１の画像データと前記第２の画像データの一方を画素毎に選択して出力画像データを合成する合成工程とを有することを特徴とする復号処理方法。
18. 請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号工程と、
    前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加算することにより出力画像データを合成する合成工程とを有することを特徴とする復号処理方法。
19. 請求項１乃至９のいずれか１項記載の符号化処理装置により生成された符号を復号して第１、第２及び第３の画像データを復元する復号工程と、
    前記第３の画像データに基づいて、前記第１の画像データ及び前記第２の画像データを画素毎に選択して加重平均をとることにより出力画像データを合成する合成工程とを有することを特徴とする復号処理方法。
20. 請求項１乃至９のいずれか１項記載の画像生成手段及び符号化手段としてコンピュータを機能させるプログラム。
21. 請求項１乃至９のいずれか１項記載の画像生成手段及び符号化手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images