JP2009284093A - 画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体 - Google Patents

Abstract

【課題】画質劣化の少ない画像を再生するための符号化データを提供することを可能とする画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体を提供する。
【解決手段】第２層データの使用を示す画素の数を、マスク画像より増加させた基準拡張マスク画像を生成し、第２層データおよび基準拡張マスク画像のデータを使用して、第２層再生用データを生成する。第１層再生用データが示す画質は、第２層再生用データが示す画質より高い。入力画像が再生される場合であって、かつ、第１層再生用データが示す画像の一部と、第２層再生用データが示す画像の一部とが、入力画像内の同じ箇所に対応する場合、第１層再生用データが示す画像および第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより入力画像が再生される。第１層再生用データおよび第２層再生用データを符号化して、符号化データを生成する。
【選択図】図２

Description

本発明は、画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体に関し、特に、複数の層毎に画像を処理する画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体に関する。

近年、文字および写真のような複数の異なる要素が配置された画像のデータの容量を効率よく削減する技術が多く公開されている。以下においては、たとえば、文字、写真等の要素が表示される画像内の領域を像域ともいう。

特開２００４−１８７０００号公報（特許文献１）には、ＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ（Mixed Raster Content）に基づく技術（以下、第１の先行技術ともいう）が開示されている。

ＭＲＣでは、文字、線および写真などを示す複数の異なる像域から成る画像データを、前景プレーン、背景プレーン、マスクプレーンの合計３層のプレーンに分離する。ここで、マスクプレーンとは、前景プレーンおよび背景プレーンのいずれを選択するかを示すプレーンである。そして、ＭＲＣでは、３層のプレーンを、個別に符号化する方式を規定している。

一般に、ＭＲＣを使用する画像符号化装置では、文字および線を表す前景プレーンと、写真などを表す背景プレーンとを選択する情報であるマスクプレーンは、画素単位で構成されている。

また、ＭＲＣを使用する画像符号化装置では、文字および線の高解像度での形状情報の保持はマスクプレーンに委ねて高解像度での可逆符号化を行なう。そして、文字および線の色情報を保持する前景プレーンと、解像度低下による劣化が目立たない写真などの背景プレーンとは、マスクプレーンに比べて低解像度で非可逆符号化される場合が多い。

また、特開２００４−１８７０００号公報（特許文献１）には、前景プレーン中における背景像域のドント・ケア（don't care）画素や、背景プレーン中における前景像域のドント・ケア画素の画素値の算出方法を工夫することにより、前景プレーンおよび背景プレーンの解像度を低解像度化する際に発生する、色濁りなどを低減する技術が開示されている。ここで、ドント・ケア画素とは、データを合成して画像を再生する際に参照されない画素のことである。

第１の先行技術では、文字および線の形状情報の保持をマスクプレーンに委ねている。そのため、マスクプレーンを符号化する場合、高解像度で、かつ、可逆である必要があるため、マスクプレーンの保持に多くのデータ容量が必要となる。また、第１の先行技術では、ドント・ケア画素に起因する色濁りを低減しているが、完全な回避は困難という問題点がある。

特開２００７−１２９４５６号公報（特許文献２）には、上記問題点を解決するための技術（以下、第２の先行技術ともいう）が開示されている。具体的には、所定のブロック画像単位で、処理対象のブロック画像内に、文字または線が存在するか否かを判定し、判定結果に基づいて、所定のブロック画像単位で、非可逆符号化処理を行なう。非可逆符号化処理は、たとえば、ＪＰＥＧ（Joint Photographic Coding Experts Group）による符号化処理である。この処理により、ドント・ケア画素の画素値に起因する色にじみを防ぐことを実現している。

また、第２の先行技術では、処理対象となる入力画像を複数の層で別々に処理する。複数の層は、マスク層、前景層、背景層からなる。前景層では、入力画像または入力画像を縮小した画像に対し、文字、線またはエッジ部分を含む部分のブロック画像を非可逆符号化し、前景画像を生成する。

背景層では、入力画像または入力画像を縮小した画像に対し、文字、線およびエッジ部分のいずれも含まない部分のブロック画像を非可逆符号化し、背景画像を生成する。文字、線またはエッジ部分が含まれる前景画像は、背景画像以上の解像度を有する。この処理により、符号化したデータ容量の大幅な削減を実現している。
特開２００４−１８７０００号公報 特開２００７−１２９４５６号公報

しかしながら、第２の先行技術により符号化されたデータを使用して、周囲の画素値を参照する、画質劣化の少ない拡大方法（以下、周囲参照拡大方法ともいう）により、画像を再生すると、再生画像内の有効な画素とドント・ケア画素との境界の近傍において、ノイズが発生するという問題点がある。ここで、周囲参照拡大方法は、たとえば、バイリニア（Bilinear）法、バイキュービック（Bicubic）法である。周囲参照拡大方法により画像を再生する場合の問題点について、図を用いて簡単に説明する。

図２４は、周囲参照拡大方法により画像を再生する場合の問題点を説明するための図である。図２４には、第２の先行技術により符号化されたデータを復号することによって得られる、前景画像１３１ＧＮ、背景画像１３２ＧＮおよびマスク画像１２０ＭＧが示される。前景画像１３１ＧＮの解像度は、背景画像１３２ＧＮの解像度およびマスク画像１２０ＭＧの解像度よりも高いとする。

マスク画像１２０ＭＧは、“０”および“１”の２値を示す２値画像である。マスク画像１２０ＭＧにおいて、白の画素は“１”をし、黒の画素は“０”を示す。また、マスク画像１２０ＭＧの白の画素は、前景画像１３１ＧＮにおける対応する画素が、前景画像の画素として有効であることと、背景画像１３２ＧＮにおける対応する画素が、背景画像の画素として無効であることとを示す。一方、マスク画像１２０ＭＧの黒の画素は、背景画像１３２ＧＮにおける対応する画素が、背景画像の画素として有効であることを示す。

以下においては、背景画像（たとえば、背景画像１３２ＧＮ）において、背景画像の画素として有効である画素を、背景有効画素ともいう。また、背景画像において、背景画像の画素として無効である画素を、背景無効画素ともいう。

また、以下においては、背景画像において、背景有効画素と、背景無効画素との境界を、前景背景境界ともいう。また、以下においては、背景画像において、前景背景境界に隣接する背景有効画素を、境界隣接背景有効画素ともいう。

第２の先行技術では、画像の再生の際、背景画像の各画素値を、マスク画像１２０ＭＧの白の画素に対応する、前景画像１３１ＧＮ内の画素値で上書きする。そのため、第２の先行技術では、背景画像１３２ＧＮおよびマスク画像１２０ＭＧを、前景画像１３１ＧＮの解像度と等しくなるように拡大する。なお、マスク画像１２０ＭＧは２値画像である。そのため、マスク画像１２０ＭＧは、ニアレストネイバー（Nearest Neighbor）法により拡大されることにより、拡大マスク画像１２０ＭＧＢＡとなる。

一方、背景画像１３２ＧＮは、画質劣化の少ない周囲参照拡大方法により拡大されることにより、拡大背景画像１３２ＧＮＡとなる。周囲参照拡大方法は、前述したように、周囲の画素値を参照して拡大する方法である。周囲参照拡大方法は、たとえば、バイリニア（Bilinear）法、バイキュービック（Bicubic）法である。

そして、拡大背景画像１３２ＧＮＡの各画素値を、拡大マスク画像１２０ＭＧＢＡの白の画素に対応する、前景画像１３１ＧＮ内の画素値で上書きすることにより、合成画像ＣＭＧ１０が得られる。

ここで、背景画像１３２ＧＮが周囲参照拡大方法により拡大される際、背景画像１３２ＧＮにおいて、前景背景境界に隣接する境界隣接背景有効画素が、背景無効画素（背景画像１３２ＧＮの黒の画素）の影響を受ける。そのため、背景画像１３２ＧＮが拡大された拡大背景画像１３２ＧＮＡは、背景画像１３２ＧＮの黒の画素の影響を受けた画像となり、合成画像ＣＭＧ１０には、前景画像と、背景画像との境界を示すようなノイズ（合成画像ＣＭＧ１０が示す黒い線）が発生する。

また、合成画像ＣＭＧ１０を更に拡大して得られる合成画像ＣＭＧ１０Ａは、拡大方法に関わらず、前述のノイズが残ったままとなる。

そこで、背景画像１３２ＧＮを、マスク画像１２０ＭＧと同様にニアレストネイバー（Nearest Neighbor）法により拡大すれば、前述のノイズ（黒い線）の発生を防ぐことができる。しかしながら、ニアレストネイバー法は、画質が大きく劣化する方法であり、背景画像を拡大する方法としては不向きである。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、画質劣化の少ない画像を再生するための符号化データを提供することを可能とする画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体を提供することである。

上述の課題を解決するために、この発明のある局面に従う画像符号化装置は、入力画像内に所定の要素が存在するか否かの判定である像域判定を行なう像域判定手段と、入力画像のデータを使用して、第１層データおよび第２層データを生成する層データ生成手段と、像域判定手段が行なう像域判定の結果に基づいて、第１層データおよび第２層データのいずれかを使用することを示す複数の画素から構成されるマスク画像を生成するマスク生成手段と、マスク画像を構成する複数の画素のうち、第２層データの使用を示す画素の数を、マスク画像より増加させた基準拡張マスク画像を生成する拡張マスク生成手段と、第１層データを使用して、入力画像を再生するための第１層再生用データを生成し、かつ、第２層データおよび基準拡張マスク画像のデータを使用して、入力画像を再生するための第２層再生用データを生成する再生用データ生成手段とを備える。第１層再生用データが示す画像内において入力画像に対応する箇所の画像の画質は、第２層再生用データが示す画像内において入力画像に対応する箇所の画像の画質より高い。第１層再生用データおよび第２層再生用データを使用して入力画像が再生される場合であって、かつ、第１層再生用データが示す画像の一部と、第２層再生用データが示す画像の一部とが、入力画像内の同じ箇所に対応する場合、第１層再生用データが示す画像および第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより入力画像が再生される。画像符号化装置は、第１層再生用データおよび第２層再生用データを符号化する符号化処理を行なうことにより、入力画像を再生するための符号化データを生成する符号化手段をさらに備える。

好ましくは、第１層再生用データが示す画像は、第１層データが示す画像の一部と、所定の色を示す１以上のブロック画像とから構成される画像であり、第２層再生用データが示す画像は、第２層データが示す画像の一部と、所定の色を示す１以上のブロック画像とから構成される画像であり、第１層再生用データが示す画像の解像度は、第２層再生用データが示す画像の解像度より高く、第１層再生用データおよび第２層再生用データを使用して入力画像が再生される場合、第２層再生用データが示す画像は、周囲の画素を参照する拡大方法により、第１層再生用データが示す画像のサイズと同じサイズに拡大される。

好ましくは、所定の色は、透過色であり、所定の色を示す１以上のブロック画像の各々を構成する複数の画素の値は、透過色を示す値である透過色値である。

好ましくは、拡張マスク生成手段は、マスク画像を構成する複数の画素のうち、第１層データの使用を示す画素の数を、マスク画像より増加させた新設拡張マスク画像を生成し、再生用データ生成手段は、第１層データおよび新設拡張マスク画像のデータを使用して、入力画像を再生するための第１層再生用データを生成する。

好ましくは、新設拡張マスク画像を構成する複数の画素の数と、マスク画像を構成する複数の画素の数は同じであり、基準拡張マスク画像を構成する複数の画素の数と、マスク画像を構成する複数の画素の数は同じであり、拡張マスク生成手段は、マスク画像を構成する複数の画素のうち、第１層データの使用を示す画素の近傍の画素を、第１層データの使用を示す画素に設定することにより、新設拡張マスク画像を生成し、かつ、マスク画像を構成する複数の画素のうち、第２層データの使用を示す画素の近傍の画素を、第２層データの使用を示す画素に設定することにより、基準拡張マスク画像を生成する。

好ましくは、新設拡張マスク画像内の第１層データの使用を示す複数の画素は、それぞれ、第１層データが示す画像内の異なる複数のブロック画像を使用することを示し、基準拡張マスク画像内の第２層データの使用を示す複数の画素は、それぞれ、第２層データが示す画像内の異なる複数のブロック画像を使用することを示す。

好ましくは、第１層データは、入力画像を縮小した画像を示し、第２層データは、入力画像を縮小した画像を示し、第１層データが示す画像の解像度は、第２層データが示す画像の解像度より高い。

好ましくは、像域判定手段は、所定のブロック単位で像域判定を行なう。
好ましくは、マスク生成手段は、像域判定手段により所定の要素が存在すると判定された場合、第１層データを使用することを示す画素を示すマスクデータを生成し、像域判定手段により所定の要素が存在しないと判定された場合、第２層データを使用することを示す画素を示すマスクデータを生成する。

好ましくは、所定の要素は、文字または線である。
好ましくは、符号化手段は、第１層再生用データおよび第２層再生用データを、それぞれ、異なる２種類のサイズのブロック単位で符号化処理を行なう。

好ましくは、符号化処理は、非可逆符号化処理である。
この発明の他の局面に従うと、画像符号化装置が実行する画像符号化方法は、入力画像内に所定の要素が存在するか否かの判定である像域判定を行なうステップと、入力画像のデータを使用して、第１層データおよび第２層データを生成するステップと、像域判定の結果に基づいて、第１層データおよび第２層データのいずれかを使用することを示す複数の画素から構成されるマスク画像を生成するステップと、マスク画像を構成する複数の画素のうち、第２層データの使用を示す画素の数を、マスク画像より増加させた基準拡張マスク画像を生成するステップと、第１層データを使用して、入力画像を再生するための第１層再生用データを生成し、かつ、第２層データおよび基準拡張マスク画像のデータを使用して、入力画像を再生するための第２層再生用データを生成するステップとを備える。第１層再生用データが示す画像内において入力画像に対応する箇所の画像の画質は、第２層再生用データが示す画像内において入力画像に対応する箇所の画像の画質より高い。第１層再生用データおよび第２層再生用データを使用して入力画像が再生される場合であって、かつ、第１層再生用データが示す画像の一部と、第２層再生用データが示す画像の一部とが、入力画像内の同じ箇所に対応する場合、第１層再生用データが示す画像および第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより入力画像が再生される。画像符号化方法は、第１層再生用データおよび第２層再生用データを符号化する符号化処理を行なうことにより、入力画像を再生するための符号化データを生成するステップをさらに備える。

この発明のさらに他の局面に従うと、コンピュータが実行する画像符号化プログラムは、入力画像内に所定の要素が存在するか否かの判定である像域判定を行なうステップと、入力画像のデータを使用して、第１層データおよび第２層データを生成するステップと、像域判定の結果に基づいて、第１層データおよび第２層データのいずれかを使用することを示す複数の画素から構成されるマスク画像を生成するステップと、マスク画像を構成する複数の画素のうち、第２層データの使用を示す画素の数を、マスク画像より増加させた基準拡張マスク画像を生成するステップと、第１層データを使用して、入力画像を再生するための第１層再生用データを生成し、かつ、第２層データおよび基準拡張マスク画像のデータを使用して、入力画像を再生するための第２層再生用データを生成するステップとを備える。第１層再生用データが示す画像内において入力画像に対応する箇所の画像の画質は、第２層再生用データが示す画像内において入力画像に対応する箇所の画像の画質より高い。第１層再生用データおよび第２層再生用データを使用して入力画像が再生される場合であって、かつ、第１層再生用データが示す画像の一部と、第２層再生用データが示す画像の一部とが、入力画像内の同じ箇所に対応する場合、第１層再生用データが示す画像および第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより入力画像が再生される。画像符号化プログラムは、第１層再生用データおよび第２層再生用データを符号化する符号化処理を行なうことにより、入力画像を再生するための符号化データを生成するステップをさらに備える。

この発明のさらに他の局面に従うと、記録媒体は、画像符号化プログラムを記録した媒体である。

本発明に係る画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体は、第２層データの使用を示す画素の数を、マスク画像より増加させた基準拡張マスク画像を生成し、第２層データおよび基準拡張マスク画像のデータを使用して、第２層再生用データを生成する。第１層再生用データが示す画像内において入力画像に対応する箇所の画像の画質は、第２層再生用データが示す画像内において入力画像に対応する箇所の画像の画質より高い。入力画像が再生される場合であって、かつ、第１層再生用データが示す画像の一部と、第２層再生用データが示す画像の一部とが、入力画像内の同じ箇所に対応する場合、第１層再生用データが示す画像および第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより入力画像が再生される。第１層再生用データおよび第２層再生用データを符号化して、符号化データを生成する。

したがって、画質劣化の少ない画像を再生するための符号化データを提供することができるという効果を奏する。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１は、第１の実施の形態における画像符号化装置１０００の構成を示すブロック図である。

図１を参照して、画像符号化装置１０００は、画像処理部１００と、データバス５０と、制御部１２０と、一時記憶部１３０と、記憶部１４０と、記録媒体アクセス部１５０と、記録媒体７０とを備える。

データバス５０には、画像処理部１００、制御部１２０、一時記憶部１３０、記憶部１４０および記録媒体アクセス部１５０が接続されている。

記憶部１４０には、画像処理部１００および制御部１２０に後述する処理を行なわせるための画像符号化プログラム７２、入力画像データ、その他各種プログラムおよびデータ等が記憶されている。記憶部１４０は、画像処理部１００および制御部１２０によってデータアクセスされる。

記憶部１４０は、大容量のデータを記憶可能なハードディスクである。なお、記憶部１４０は、ハードディスクに限定されることなく、電源を供給されなくてもデータを不揮発的に保持可能な媒体（たとえば、フラッシュメモリ）であればよい。

画像処理部１００は、詳細は後述するが、記憶部１４０に記憶された画像符号化プログラム７２に従って、後述する画像処理を行なう。

制御部１２０は、記憶部１４０に記憶された画像符号化プログラム７２に従って、画像符号化装置１０００内の各部に対する各種処理や、演算処理等を行なう機能を有する。また、制御部１２０は、画像処理部１００で行なわれている処理を監視する機能を有する。

制御部１２０は、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ（Microprocessor）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、その他の演算機能を有する回路のいずれであってもよい。

一時記憶部１３０は、データを一時的に記憶する機能を有する。一時記憶部１３０は、画像処理部１００および制御部１２０によってデータアクセスされ、ワークメモリとして動作する。一時記憶部１３０は、ＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate SDRAM）、その他、データを揮発的に記憶保持可能な構成を有する回路のいずれであってもよい。

記録媒体７０には、前述した画像符号化プログラム７２が記録されている。
記録媒体アクセス部１５０は、画像符号化プログラム７２が記録された記録媒体７０から、画像符号化プログラム７２を読出す機能を有する。記録媒体７０に記憶されている画像符号化プログラム７２は、制御部１２０のインストール処理により、記録媒体アクセス部１５０から読み出され、記憶部１４０に記憶される。

このインストール処理用プログラムは、予め、記憶部１４０に格納されており、インストール処理は、制御部１２０が、インストール処理用プログラムに基づいて行なう。

なお、記憶部１４０には、画像符号化プログラム７２が記憶されていなくてもよい。この場合、制御部１２０は、記録媒体アクセス部１５０を介して、記録媒体７０に記憶された画像符号化プログラム７２を読み出して、画像符号化プログラム７２に基づいた所定の処理を行なう。

記録媒体７０は、画像符号化装置１０００から着脱可能な媒体である。すなわち、記録媒体７０に記録されている画像符号化プログラム７２は、媒体等に記録されてプログラム製品として流通される。また、記録媒体７０もプログラム製品として流通される。

記録媒体７０は、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、Ｄ
ＶＤ−Ｒ（Digital Versatile Disk Recordable）、ＤＶＤ−ＲＡＭ（Digital Versatile
Disk Random Access Memory）、ＤＶＤ＋ＲＷ（Digital Versatile Disk Re-Writable）、ＤＶＤ−ＲＷ、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＭＯ（Magneto Optical Disk）、ＭＤ（Mini Disc）（登録商標）、フレキシブルディスク、着脱可能なハードディスク、ＣＦ(Compact Flash) カード、ＳＭ（Smart Media（登録商標））、ＭＭＣ（Multi Media Card）、ＳＤ（Secure Digital）メモリーカード、メモリースティック（登録商標）、ｘＤピクチャーカードおよびＵＳＢメモリ、カセットテープ、磁気テープ、ＩＣカード（メモリーカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ、その他不揮発性メモリのいずれであってもよい。

画像処理部１００は、ブロック像域判定部１０１と、第１画像縮小部１０２Ａと、第２画像縮小部１０２Ｂと、マスク生成部１０３と、前景画像生成部１０５と、背景画像生成部１０６とを含む。

ブロック像域判定部１０１は、入力画像のデータ（以下、入力画像データともいう）を受信する。入力画像は、たとえば、図示しないイメージスキャナ等を用いて読み込まれた画像である。入力画像データは、ＲＧＢなどの色空間に従うデジタル画像データである。入力画像データは、記憶部１４０に記憶される。

ブロック像域判定部１０１は、詳細は後述するが、入力画像の像域種別を所定のブロック単位で判定する。ここで、所定のブロック単位とは、入力画像、前景画像および背景画像の各々の解像度と、前景画像符号化部１０８、背景画像符号化部１０９の各々の符号化処理単位に基づいて、システム設計者が予め設定すればよい。また、所定のブロック単位は、処理条件に応じて、予め設定したブロックサイズの中から、自動的に選択されるようにしてもよい。ブロックサイズの具体例については、後述する。

ブロック像域判定部１０１は、マスク生成部１０３と接続される。ブロック像域判定部１０１は、像域種別の判定結果をマスク生成部１０３へ送信する。なお、ブロック像域判定部１０１は、たとえば、専用のＬＳＩによって構成される。

第１画像縮小部１０２Ａは、入力画像データを受信する。第１画像縮小部１０２Ａは、入力画像の解像度を下げることにより、入力画像を縮小する。第１画像縮小部１０２Ａは、前景画像生成部１０５と接続される。第１画像縮小部１０２Ａは、縮小した入力画像（以下、第１縮小画像ともいう）のデータを、前景画像生成部１０５へ送信する。第１縮小画像は、文字、線等を示す像域に対し後述する処理が行なわれる画像である。なお、第１画像縮小部１０２Ａは、たとえば、専用のＬＳＩによって構成される。

第２画像縮小部１０２Ｂは、入力画像データを受信する。第２画像縮小部１０２Ｂは、入力画像の解像度を下げることにより、入力画像を縮小する。第２画像縮小部１０２Ｂは、背景画像生成部１０６と接続される。第２画像縮小部１０２Ｂは、縮小した入力画像（以下、第２縮小画像ともいう）のデータを、背景画像生成部１０６へ送信する。第２縮小画像は、写真等の像域に対し後述する処理が行なわれる画像である。なお、第２画像縮小部１０２Ｂは、たとえば、専用のＬＳＩによって構成される。

ここで、第１縮小画像および第２縮小画像の解像度（サイズ）は、目標とする画質や符号化画像データ容量に応じて決定すればよい。

たとえば、第１縮小画像の縦および横方向の解像度（サイズ）は、入力画像の縦および横方向の解像度（サイズ）をそれぞれ、２のＭ乗の値および２のＭ’乗の値で除した値を有する解像度（サイズ）とすればよい。なお、Ｍ、Ｍ’は、０以上の整数とし、Ｍ＝Ｍ’の関係が成立することが好ましい。また、第２縮小画像の縦および横方向の解像度（サイズ）は、入力画像の縦および横方向の解像度（サイズ）をそれぞれ、２のＮ乗の値および２のＮ’乗の値で除した解像度（サイズ）とすればよい。なお、Ｎ、Ｎ’は、０以上の整数とし、Ｎ＝Ｎ’の関係が成立することが好ましい。

また、写真等の像域に対し後述する処理が行なわれる第２縮小画像の解像度は、文字、線等の像域に対し後述する処理が行なわれる第１縮小画像の解像度よりも、解像度が低いこと（Ｍ＜ＮかつＭ’＜Ｎ’）が好ましい。なぜなら、一般に、文字や線の解像度より、写真や背景色の解像度が低くても、写真や背景色の画質の劣化は目立たないからである。解像度の組み合わせに関する詳細な説明および具体例については、後述する。

第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂにおける、画像の縮小処理には、ニアレストネイバー（Nearest Neighbor）法、バイリニア（Bilinear）法、バイキュービック（Bicubic）法など、画像の解像度変換に一般的に用いられる既存の補間手法が使用される。

マスク生成部１０３は、ブロック像域判定部１０１と接続される。マスク生成部１０３は、ブロック像域判定部１０１で判定された像域種別の判定結果に基づいて、マスクのデータ（以下、マスクデータともいう）を生成する。以下においては、複数のマスクデータから構成されるデータをマスク層データともいう。また、以下においては、マスク層データが示す画像をマスク画像ともいう。

マスクデータは、画像再生時に、処理対象のブロック画像が、前景画像として有効または無効であるかを示す情報である。ここで、ブロック画像とは、ブロック単位の画像のことをいう。また、前景画像として「有効」とは、画像再生時に下層（本実施の形態では背景層）のデータを上書きすることを示す。また、前景画像として「無効」とは、画像再生時に下層（本実施の形態では背景層）のデータをそのまま用いることを示す。

本実施の形態では、画像またはデータが、３層構造で処理される。１つ目の層は、マスク層である。マスク層では、マスク層データ、後述するマスク符号化データが処理される。２つ目の層は、前景層である。前景層では、前景画像が処理される。３つ目の層は、背景層である。背景層では、背景画像が処理される。

画像処理部１００は、さらにマスク拡張部１０４Ａ、マスク拡張部１０４Ｂ、マスク符号化部１０７、前景画像符号化部１０８、背景画像符号化部１０９およびフォーマット部１１０を含む。

マスク生成部１０３は、マスク符号化部１０７と接続される。マスク生成部１０３は、生成したマスクデータをマスク符号化部１０７へ送信する。

また、マスク生成部１０３は、マスク拡張部１０４Ａと接続される。マスク生成部１０３は、生成したマスクデータを一時記憶部１３０に記憶させる。また、マスク生成部１０３は、マスク拡張部１０４Ｂと接続される。マスク生成部１０３は、生成したマスクデータを一時記憶部１３０に記憶させる。なお、マスク生成部１０３は、たとえば、専用のＬＳＩによって構成される。

マスク拡張部１０４Ａは、マスク生成部１０３と、前景画像生成部１０５とに接続される。マスク拡張部１０４Ａは、マスク生成部１０３から受信した複数のマスクデータからなるマスク層データが示すマスク画像内において、前景画像として有効であることを示す領域を画素単位またはブロック単位で拡張する。なお、マスク拡張部１０４Ａが行なう処理の詳細は後述する。

以下においては、マスク拡張部１０４Ａにより処理されたマスクデータを、前景拡張マスクデータともいう。マスク拡張部１０４Ａは、前景拡張マスクデータを、一時記憶部１３０に記憶させる。なお、マスク拡張部１０４Ａは、たとえば、専用のＬＳＩによって構成される。

マスク拡張部１０４Ｂは、マスク生成部１０３と、背景画像生成部１０６とに接続される。マスク拡張部１０４Ｂは、マスク生成部１０３から受信した複数のマスクデータからなるマスク層データが示すマスク画像内において、背景画像として有効であること（前景画像として無効であること）を示す領域を画素単位またはブロック単位で拡張する。なお、マスク拡張部１０４Ｂが行なう処理の詳細は後述する。

以下においては、マスク拡張部１０４Ｂにより処理されたマスクデータを、背景拡張マスクデータともいう。マスク拡張部１０４Ｂは、背景拡張マスクデータを、一時記憶部１３０に記憶させる。なお、マスク拡張部１０４Ｂは、たとえば、専用のＬＳＩによって構成される。

前景画像生成部１０５は、マスク拡張部１０４Ａと、第１画像縮小部１０２Ａとに接続される。前景画像生成部１０５は、一時記憶部１３０から読み出した前景拡張マスクデータに基づいて、第１画像縮小部１０２Ａから受信した第１縮小画像のデータを使用して、前景画像のデータ（以下、前景層データともいう）を生成する。

また、前景画像生成部１０５は、前景画像符号化部１０８と接続される。前景画像生成部１０５は、生成した前景画像のデータを前景画像符号化部１０８へ送信する。なお、前景画像生成部１０５は、たとえば、専用のＬＳＩによって構成される。

背景画像生成部１０６は、マスク拡張部１０４Ｂと、第２画像縮小部１０２Ｂとに接続される。背景画像生成部１０６は、一時記憶部１３０から読み出した背景拡張マスクデータに基づいて、第２画像縮小部１０２Ｂから受信した第２縮小画像のデータを使用して、背景画像のデータ（以下、背景層データともいう）を生成する。

また、背景画像生成部１０６は、背景画像符号化部１０９と接続される。背景画像生成部１０６は、生成した背景画像のデータを背景画像符号化部１０９へ送信する。なお、背景画像生成部１０６は、たとえば、専用のＬＳＩによって構成される。

マスク符号化部１０７は、マスク生成部１０３と接続される。マスク符号化部１０７は、マスク生成部１０３で生成された複数のマスクデータからなるマスク層データを可逆符号化する。マスクデータは、前述したように、対応するブロック画像が、前景画像として有効であるか否かを示すデータである。

可逆符号化では、各画素（または各ブロック）単位における選択のための情報を２値で表現する場合（２値画像データを使用する場合）、２値画像の可逆符号化に適した符号化方式が使用される。当該符号化方式は、ＭＲ（Modified Read）、ＭＭＲ（Modified Modified Read）、ＪＢＩＧ（Joint Bi-level Image Coding Expert Group）等のいずれの符
号化方式であってもよい。

マスク符号化部１０７は、フォーマット部１１０と接続される。マスク符号化部１０７は、符号化したマスク層データ（以下、マスク符号化データともいう）をフォーマット部１１０へ送信する。なお、マスク符号化部１０７は、たとえば、専用のＬＳＩによって構成される。

前景画像符号化部１０８は、前景画像生成部１０５と接続される。前景画像符号化部１０８は、前景画像生成部１０５で生成された前景画像を非可逆符号化する。非可逆符号化を行なう符号化方式は、多値画像の符号化に好適なＪＰＥＧ方式が使用される。なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、他の符号化方式であってもよい。

また、前景画像符号化部１０８は、フォーマット部１１０と接続される。前景画像符号化部１０８は、符号化した前景画像のデータ（以下、前景画像符号化データともいう）をフォーマット部１１０へ送信する。なお、前景画像符号化部１０８は、たとえば、専用のＬＳＩによって構成される。

背景画像符号化部１０９は、背景画像生成部１０６と接続される。背景画像符号化部１０９は、背景画像生成部１０６で生成された背景画像を非可逆符号化する。非可逆符号化を行なう符号化方式は、多値画像の符号化に好適なＪＰＥＧ方式が使用される。なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、他の符号化方式であってもよい。

また、背景画像符号化部１０９は、フォーマット部１１０と接続される。背景画像符号化部１０９は、符号化した背景画像のデータ（以下、背景画像符号化データともいう）をフォーマット部１１０へ送信する。なお、背景画像符号化部１０９は、たとえば、専用のＬＳＩによって構成される。

フォーマット部１１０は、マスク符号化部１０７と、前景画像符号化部１０８と、背景画像符号化部１０９とに接続される。フォーマット部１１０は、マスク符号化部１０７、前景画像符号化部１０８および背景画像符号化部１０９で、それぞれ生成された、マスク符号化データ、前景画像符号化データ、背景画像符号化データを統合的に取り扱うことができるように関係付けたデータ（以下、関係付けデータともいう）を作成する。

フォーマット部１１０は、マスク符号化データ、後述する前景画像符号化データ、後述する背景画像符号化データおよび関係付けデータを、一つの符号化画像データとして、たとえば、一つの汎用的な電子データ（以下、汎用統合データともいう）を生成する。なお、汎用統合データは、図１の圧縮画像データに相当する。フォーマット部１１０が生成する汎用統合データのフォーマットは、たとえば、Ａｄｏｂｅ（登録商標）社のＰＤＦに従うデータフォーマットである。

フォーマット部１１０は、汎用統合データを、データバス５０を介して、一時記憶部１３０または記憶部１４０に記憶させる。また、フォーマット部１１０は、汎用統合データを、ＬＡＮ（Local Area Network）などの通信経路を介して外部機器へ送信してもよい。

なお、前述の説明では、第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂは、それぞれ異なる構成要素として説明した。しかしながら、第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂは、一つの画像縮小部として構成されてもよい。この場合、画像縮小部は、解像度変換時のパラメータを変更して、適宜、第１画像縮小部１０２Ａまたは第２画像縮小部１０２Ｂが行なう処理を行なえばよい。

また、前述の説明では、マスク拡張部１０４Ａおよびマスク拡張部１０４Ｂは、それぞれ異なる構成要素として説明した。しかしながら、マスク拡張部１０４Ａおよびマスク拡張部１０４Ｂは、一つのマスク拡張部として構成されてもよい。この場合、当該一つのマスク拡張部は、受信データまたは送信データの種類（前景画像または背景画像のデータ）に応じてデータが正しく流れるように制御する。

また、前述の説明では、前景画像符号化部１０８および背景画像符号化部１０９は、それぞれ異なる構成要素として説明した。しかしながら、前景画像符号化部１０８および背景画像符号化部１０９のどちらもＪＰＥＧ方式を用いる場合、前景画像符号化部１０８および背景画像符号化部１０９は、一つのＪＰＥＧ符号化ＬＳＩとして構成されてもよい。

また、前述のブロック像域判定部１０１、第１画像縮小部１０２Ａ、第２画像縮小部１０２Ｂ、マスク生成部１０３、マスク拡張部１０４Ａ、マスク拡張部１０４Ｂ、前景画像生成部１０５、背景画像生成部１０６、マスク符号化部１０７、前景画像符号化部１０８、背景画像符号化部１０９およびフォーマット部１１０の各々が行なう処理は、専用のＬＳＩではなく、パーソナルコンピュータなどの一般的なコンピュータのマイクロプロセッサまたは制御部１２０により実行されてもよい。

この場合、たとえば、後述する画像符号化処理をコンピュータまたは制御部１２０に実行させるためのプログラムとして記述してもよい。当該プログラムは、画像符号化プログラム７２であり、記録媒体７０に記録されて流通する。

コンピュータにより、後述する画像符号化処理が実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、コンピュータが備える記録媒体アクセス部により、コンピュータが備える記憶部に読み込まれ、ＣＰＵ（Central Processing Unit）で実行される。

制御部１２０により、後述する画像符号化処理が実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、制御部１２０により実行される。

さらに、画像符号化プログラム７２は、インターネットなどのネットワークを介して他の装置からダウンロードされてもよい。

また、画像処理部１００に含まれる、前述した複数の専用のＬＳＩとコンピュータのマイクロプロセッサとを組み合わせてもよい。また、前述した複数の専用のＬＳＩの一部または全てを一つの専用のＬＳＩとして構成してもよい。

（符号化処理）
次に、第１の実施の形態における画像符号化装置１０００の具体的な処理内容について説明する。画像符号化装置１０００では、以下の画像符号化処理が行なわれる。なお、画像符号化処理が行なわれる前に、記憶部１４０に記憶されている入力画像データは、一時記憶部１３０に記憶されるとする。

図２は、画像符号化処理のフローチャートである。図２を参照して、画像符号化処理では、まず、ステップＳ１０１の処理が行なわれる。

ステップＳ１０１では、画像データ読出し処理が行なわれる。画像データ読出し処理では、画像処理部１００が、一時記憶部１３０に記憶されている入力画像データを、所定のブロック単位で読み出す。

図３は、第１の実施の形態において、画像符号化装置１０００で処理される画像を示す図である。なお、図３に示される各画像の解像度を忠実に図にて表現することは困難である。そのため、図３では、後述する図１０のデータテーブルＴ１００の組合せ番号“１”に対応する解像度と、ブロックサイズの関係を想定して、相対的な関係を例示する。

図３を参照して、入力画像１００Ｇは、入力画像データが示す画像である。入力画像１００Ｇは、文字と、写真とが配置された画像である。なお、写真が表示されている領域内には、文字も配置されている。

ステップＳ１０１の画像データ読出し処理において、読み出される画像は、たとえば、所定のブロックに対応する領域１００Ｒ内の画像である。領域１００Ｒのサイズは、たとえば、横３２画素、縦３２画素のサイズである。ステップＳ１０１の処理が繰り返される毎に、領域１００Ｒの位置は、前回の位置と重ならない位置に移動する。なお、初めてステップＳ１０１の処理が行なわれるときは、領域１００Ｒの位置は、入力画像１００Ｇの左上である。

具体的には、ステップＳ１０１の処理が繰り返される毎に、領域１００Ｒの位置は、右に移動する。そして、領域１００Ｒの位置が入力画像１００Ｇの右端になると、次のステップＳ１０１の処理では、領域１００Ｒの位置は、領域１００Ｒの縦のサイズだけ下の位置であって、入力画像１００Ｇの左端に移動する。上記処理が、繰り返されることにより、最終的に、領域１００Ｒの位置は、入力画像１００Ｇの右下の位置（領域１００ＲＦの位置）まで移動する。

再び、図２を参照して、画像データ読出し処理では、画像処理部１００は、読み出した所定のブロック単位の入力画像データを、ブロック像域判定部１０１へ送信する。以下においては、ブロック単位の画像データを、ブロック画像データともいう。また、前述したように、ブロック単位の画像のことをブロック画像という。また、画像データが入力画像データである場合のブロック画像データを入力ブロック画像データともいう。画像が入力画像である場合のブロック画像を入力ブロック画像ともいう。すなわち、画像データ読出し処理により、入力ブロック画像データが、ブロック像域判定部１０１へ送信される。その後、ステップＳ１１０に進む。

ステップＳ１１０では、像域判定処理が行なわれる。像域判定処理では、ブロック像域判定部１０１が、受信した入力ブロック画像データに対し、後述する処理を行なう。ブロック像域判定部１０１は、領域１００Ｒ内の各画素単位ではなく、所定のブロック画像（たとえば、領域１００Ｒ内の画像）単位で後述する処理を行なう。この点が、本発明の一つの特徴である。像域判定処理は、処理対象の像域（ブロック画像）が、文字または線が存在する像域（ブロック画像）であるか否かを判定する処理である。

図４は、像域判定処理のフローチャートである。図４を参照して、ステップＳ１１２では、ブロック像域判定部１０１が、受信した入力ブロック画像（領域１００Ｒ内の画像）内に、文字または線が存在するか否かを判定する。当該判定は、予め生成した画素単位マスクプレーンに基づいて行なわれる。画素単位マスクプレーンは、たとえば、特開２００４−１８７０００号公報に開示されている画素単位のマスクプレーンである。

画素単位マスクプレーンは、入力画像の各画素が、文字または線画部分に該当する画素であるか否かを示す複数のデータ（以下、文字判定データともいう）から構成される。したがって、画素単位マスクプレーンは、入力画像（たとえば、入力画像１００Ｇ）の全画素数と同じ数の文字判定データから構成される。また、複数の文字判定データは、入力画像の複数の画素（全画素）にそれぞれ対応する。

本実施の形態では、文字判定データが、入力画像の文字または線画部分に該当する画素に対応する場合、文字判定データを“１”とする。また、文字判定データが、入力画像の文字または線画部分に該当しない画素に対応する場合、文字判定データを“０”とする。

ここで、画素単位マスクプレーンは、ブロック単位マスクプレーンと比べて、文字または線画部分に該当するか否かを画素単位で判定する点において異なる。具体的には、ブロック単位マスクプレーンは、プレーン情報から文字または線の形状を精度よく復元することは、ほぼ不可能である。しかしながら、画素単位マスクプレーンは、判定対象画像の解像度に従って文字または線の形状を比較的精度よく表現可能である。

画素単位マスクプレーンの作成は、たとえば、入力画像の各画素の輝度データを用いて、特開平２−１２３４７９号公報または特開平２−１５５０８７号公報に開示されている技術により行なわれる。具体的には、制御部１２０が、一時記憶部１３０に記憶されている入力画像データから、予め用意した尾根画素検出パターンを適用して尾根画素を検出する。そして、制御部１２０が、予め定めた領域単位で計数することより、計数値に基づいて文字または線画部分に該当する画素であるか否かを判定し、複数の文字判定データの各々を“１”または“０”に設定する。制御部１２０は、以上の処理により生成した画素単位マスクプレーンを、一時記憶部１３０に記憶させる。なお、画像符号化装置１０００の外部で、画素単位マスクプレーンを予め生成し、一時記憶部１３０に記憶させてもよい。

なお、画素単位マスクプレーンの生成方法は、特開平２−１２３４７９号公報および特開平２−１５５０８７号公報に開示されているように、公知の技術である。本発明の画素単位マスクプレーンの生成方法は、前述の方法に限定されることなく、他の方法により行なわれてもよい。

次に、受信したブロック画像（領域１００Ｒ内の画像）内に、文字または線が存在するか否かを判定する具体的な処理を説明する。

ブロック像域判定部１０１は、一時記憶部１３０に記憶された画素単位マスクプレーンを参照し、受信したブロック画像（領域１００Ｒ内の画像）内の複数の画素にそれぞれ対応する複数の文字判定データのうち、“１”に設定された文字判定データが１つ以上あるか否かを判定する。“１”に設定された文字判定データが１つ以上あれば、ブロック画像内には、文字または線が存在することになる。

なお、判定の対象となる“１”に設定された文字判定データの数は、１以上に限定されることなく、Ｎ（２以上の自然数）以上であってもよい。以下においては、文字または線が存在するブロック画像を、線分ブロック画像ともいう。また、文字または線が存在しないブロック画像を、非線分ブロック画像ともいう。

なお、ブロック像域判定部１０１は、複数の文字判定データが、全て“１”に設定されている場合、判定対象のブロック画像を、線分ブロック画像と判定してもよい。ブロック像域判定部１０１は、複数の文字判定データのうち、“０”に設定された文字判定データが１つ以上ある場合、判定対象のブロック画像を、非線分ブロック画像と判定してもよい。また、ブロック像域判定部１０１は、複数の文字判定データが全て“０”に設定されている場合、判定対象のブロック画像を、非線分ブロック画像と判定してもよい。

ステップＳ１１２において、ＹＥＳならば、ステップＳ１１４Ａに進む。一方、ステップＳ１１２において、ＮＯならば、ステップＳ１１４Ｂに進む。

なお、ステップＳ１１２では、予め生成した画素単位マスクプレーンを使用しなくても、判定対象のブロック画像が、線分ブロック画像および非線分ブロック画像のいずれであるか判定することが可能である。

次に、画素単位マスクプレーンを使用せず、判定対象のブロック画像内の複数の画素値を用いて、判定対象のブロック画像が、線分ブロック画像および非線分ブロック画像のいずれであるか判定する方法を説明する。

この方法は、特開平５−０１４７０１号公報に開示されている技術を用いる。具体的には、まず、ブロック像域判定部１０１が、判定対象のブロック画像内の複数の画素値から最大濃度レベルと最小濃度レベルの差を求める。次に、ブロック像域判定部１０１は、濃度レベルの差のデータに基づいて閾値（たとえば、中間レベル）を定める。

次に、ブロック像域判定部１０１は、ブロック内の画素を所定の方向に走査した際に濃度レベルが極大および極小となる点を抽出し、極大および極小の画素レベルの差からパルスの高さを求める。次に、ブロック像域判定部１０１は、求めたパルスの高さが、上記の閾値よりも大きい場合について計数する。次に、ブロック像域判定部１０１は、計数値が所定の値よりも小さいか否かで、判定対象のブロック画像が、線分ブロック画像または非線分ブロック画像であると判定することができる。

また、他の方法としては、特開平５−１１４０４５号公報に開示されている技術を用いる。具体的には、まず、ブロック像域判定部１０１が、「判定対象のブロック画像内で所定の閾値以上の画素値（輝度値）を持つ画素の総数」を「判定対象のブロック画像内の画素の総数」で除算した値（以下、黒画素密度ともいう）を算出する。次に、ブロック像域判定部１０１は、黒画素密度の大小に基づいて、判定対象のブロック画像が、線分ブロック画像または非線分ブロック画像であるか判定することができる。すなわち、線分ブロック画像では黒画素密度が比較的小さい傾向にあることを利用する。

また、他の方法としては、文字、線に加え、エッジ部分も判定に利用する。具体的には、まず、ブロック像域判定部１０１が、判定対象のブロック画像について横および縦の各方向にＳｏｂｅｌオペレータなどの微分（または差分）オペレータを適用して、対応する画素単位で適用結果の絶対値を加算して傾きの大きさを算出する。

次に、ブロック像域判定部１０１は、算出した傾きの大きさが閾値より大きい画素を文字・線またはエッジ部分であると判定する。判定対象のブロック画像が、文字・線またはエッジ部分を含む場合、ブロック像域判定部１０１は、判定対象のブロック画像が、文字・線またはエッジ部分を含む線分ブロック画像であると判定することができる。

なお、判定対象のブロック画像が、文字・線またはエッジ部分を含むか否かの判定は、判定対象のブロック画像の画素値および当該ブロック画像の周辺の画素値を用いて行なわれてもよい。

ステップＳ１１４Ａでは、ブロック像域判定部１０１が、線分ブロックデータを“１”に設定する。線分ブロックデータは、処理対象のブロック画像が、線分ブロック画像であるか否かを示すデータである。線分ブロックデータが“１”に設定されている場合は、処理対象のブロック画像が、線分ブロック画像であることを示す。一方、線分ブロックデータが“０”に設定されている場合は、処理対象のブロック画像が、非線分ブロック画像であることを示す。

ブロック像域判定部１０１は、“１”に設定した線分ブロックデータを、マスク生成部１０３へ送信する。また、ブロック像域判定部１０１は、処理対象のブロック画像のデータ（入力ブロック画像データ）と対応づけて、“１”に設定した線分ブロックデータを、一時記憶部１３０に記憶させる。その後、この像域判定処理は終了し、図２の画像符号化処理に戻り、ステップＳ１１０の次のステップＳ１２０に進む。

ステップＳ１１４Ｂでは、ブロック像域判定部１０１が、線分ブロックデータを“０”に設定する。ブロック像域判定部１０１は、“０”に設定した線分ブロックデータを、マスク生成部１０３へ送信する。また、ブロック像域判定部１０１は、処理対象のブロック画像のデータ（入力ブロック画像データ）と対応づけて、“０”に設定した線分ブロックデータを、一時記憶部１３０に記憶させる。その後、この像域判定処理は終了し、図２の画像符号化処理に戻り、ステップＳ１１０の次のステップＳ１２０に進む。

再び、図３を参照して、画像１１０Ｇは、像域判定処理により設定された線分ブロックデータの状態を視覚的に分かりやすく示した画像である。入力画像１００Ｇに対し、ブロック画像単位で前述の像域判定処理を行なった場合、処理対象のブロック画像が、線分ブロック画像と判定されたブロック画像内の全画素は、白（たとえば、画素値“１”）で示される。また、処理対象のブロック画像が、非線分ブロック画像と判定されたブロック画像内の全画素は、黒（たとえば、画素値“０”）で示される。

再び、図２を参照して、ステップＳ１２０では、マスクデータ生成処理が行なわれる。マスクデータ生成処理では、像域判定処理により設定された線分ブロックデータに基づいて、マスクデータが生成される。マスクデータは、処理対象のブロック画像が、前景画像として有効であるか否かを示すデータである。マスクデータは、“０”または“１”のいずれかを示す１ビットのデータである。

マスクデータが“１”に設定された場合、処理対象のブロック画像は、前景画像として有効となる。一方、マスクデータが“０”に設定された場合、処理対象のブロック画像は、前景画像として無効となる。マスクデータは、ステップＳ１１０の像域判定処理で処理される１つのブロック画像に対し、１つの値を示す。なお、マスクデータは、ステップＳ１１０の像域判定処理で処理される１つのブロック画像内の全ての画素に対し、１つの値を示してもよい。

図５は、マスクデータ生成処理のフローチャートである。図５を参照して、ステップＳ１２２では、処理対象のブロック画像が、線分ブロック画像であるか否かが判定される。具体的には、マスク生成部１０３が、受信した線分ブロックデータが“１”に設定されているか否かを判定する。ステップＳ１２２において、ＹＥＳならば、ステップＳ１２４Ａに進む。一方、ステップＳ１２２において、ＮＯならば、ステップＳ１２４Ｂに進む。

ステップＳ１２４Ａでは、マスク生成部１０３が、マスクデータを“１”に設定する。すなわち、処理対象のブロック画像は、前景画像として有効となる。マスク生成部１０３は、処理対象のブロック画像のデータ（入力ブロック画像データ）と対応づけて、“１”に設定したマスクデータを、一時記憶部１３０に記憶させる。その後、このマスクデータ生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１２０の次のステップＳ１３１に進む。

ステップＳ１２４Ｂでは、マスク生成部１０３が、マスクデータを“０”に設定する。すなわち、処理対象のブロック画像は、前景画像として無効となる。マスク生成部１０３は、処理対象のブロック画像のデータ（入力ブロック画像データ）と対応づけて、“０”に設定したマスクデータを、一時記憶部１３０に記憶させる。その後、このマスクデータ生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１２０の次のステップＳ１３１に進む。

再び、図３を参照して、画像１２０ＭＧは、マスクデータ生成処理が繰り返し行なわれることにより設定された複数のマスクデータの状態を視覚的に分かりやすく示した画像（以下、マスク画像ともいう）である。マスクデータ生成処理により、前景画像として有効と判定されたブロック画像は、白（たとえば、画素値“１”）の１画素で示される。また、マスクデータ生成処理により、前景画像として無効と判定されたブロック画像は、黒（たとえば、画素値“０”）の１画素で示される。

なお、マスク画像（たとえば、マスク画像１２０ＭＧ）の白の画素は、後述する層データＡ（第１縮小ブロック画像のデータ）を使用することを示すデータである。マスク画像の黒の画素は、後述する層データＢ（第２縮小ブロック画像のデータ）を使用することを示すデータである。

ここで、マスク画像１２０ＭＧの解像度は、画像１１０Ｇの解像度６００ｄｐｉ（dots per inch）を、ブロック像域判定処理単位の画素数３２画素で除した、１８．７５ｄｐｉとしている。なぜなら、一つのブロック画像に対し、一つの値が設定されているからである。

再び、図２を参照して、ステップＳ１３１では、入力画像全体に対しマスクデータ生成処理が終了したか否かが判定される。具体的には、制御部１２０が、ステップＳ１０１の処理で読み出された入力ブロック画像が、入力画像内の右下のブロック画像（領域１００ＲＦ内の画像）であるか否かを判定する。ステップＳ１３１において、ＹＥＳならば、ステップＳ１４０に進む。一方、ステップＳ１３１において、ＮＯならば、再度、ステップＳ１０１の処理が繰り返される。

ステップＳ１３１において、ＹＥＳと判定された時点では、一時記憶部１３０に、複数のマスクデータが記憶される。前述したように、一時記憶部１３０に記憶される複数のマスクデータから構成されるデータをマスク層データともいう。また、前述したように、マスク層データが示す画像をマスク画像ともいう。一時記憶部１３０に記憶される複数のマスクデータから構成されるデータをマスク層データが示すマスク画像は、たとえば、図３のマスク画像１２０ＭＧである。

ステップＳ１４０では、マスク拡張処理Ａが行なわれる。
図６は、マスク拡張処理Ａのフローチャートである。図６を参照して、マスク拡張処理Ａでは、まず、ステップＳ１４１の処理が行なわれる。

ステップＳ１４１では、マスクデータ読出し処理Ａが行なわれる。マスクデータ読出し処理Ａでは、マスク拡張部１０４Ａが、一時記憶部１３０に記憶されている複数のマスクデータを読み出す。以下においては、マスクデータ読出し処理Ａにより読み出された複数のマスクデータの各々を、読み出しマスクデータＡともいう。また、以下においては、複数の読み出しマスクデータＡにより示される画像を、マスク画像ＭＡともいう。ここで、マスク画像ＭＡは、一例として、以下の図７のマスク画像１２０ＭＧであるとする。

図７は、マスク拡張処理Ａを説明するための図である。図７を参照して、マスク画像１２０ＭＧは、複数の読み出しマスクデータＡにより示される画像（マスク画像ＭＡ）である。マスク画像１２０ＭＧにおいて、点線により示される１つの四角の領域は、１画素を示す。

マスク画像１２０ＭＧの白の画素は、“１”に設定されたマスクデータに対応する画素である。すなわち、マスク画像１２０ＭＧの白の画素は、対応するブロック画像が、前景画像として有効であることを示す画素である。また、マスク画像１２０ＭＧの白の画素は、対応するブロック画像が、背景画像として無効であることを示す画素である。

マスク画像１２０ＭＧの黒の画素は、“０”に設定されたマスクデータに対応する画素である。すなわち、マスク画像１２０ＭＧの黒の画素は、対応するブロック画像が、前景画像として無効であることを示す画素である。また、マスク画像１２０ＭＧの黒の画素は、対応するブロック画像が、背景画像として有効であることを示す画素である。

以下においては、マスク画像において、対応するブロック画像が、前景画像として有効であることを示す画素を、前景有効表示画素ともいう。また、以下においては、マスク画像において、隣接する複数の前景有効表示画素からなる領域を前景有効表示領域ともいう。すなわち、マスク画像１２０ＭＧの白の画素は、前景有効表示画素である。また、マスク画像１２０ＭＧにおいて、隣接する複数の白の画素からなる領域は、前景有効表示領域である。

また、以下においては、マスク画像において、対応するブロック画像が、背景画像として有効であることを示す画素を、背景有効表示画素ともいう。また、以下においては、マスク画像において、隣接する複数の背景有効表示画素からなる領域を背景有効表示領域ともいう。すなわち、マスク画像１２０ＭＧの黒の画素は、背景有効表示画素である。また、マスク画像１２０ＭＧにおいて、隣接する複数の黒の画素からなる領域は、背景有効表示領域である。

再び、図６を参照して、ステップＳ１４１の処理の後、ステップＳ１４２に進む。
ステップＳ１４２では、フィルタ設定処理Ａが行なわれる。フィルタ設定処理Ａでは、マスク拡張部１０４Ａが、マスク画像ＭＡ（たとえば、マスク画像１２０ＭＧ）に含まれる複数の画素のうちの１画素を、フィルタ対象画素に設定する。フィルタ対象画素は、フィルタ処理の対象となる画素である。フィルタ対象画素の設定方法は後述する。

図８は、フィルタ対象画素を説明するための図である。フィルタ対象画素ＦＰＸは、横３画素、縦３画素のサイズのフィルタＦＴの真ん中の画素である。フィルタＦＴは、画素ＰＸ１、ＰＸ２，ＰＸ３，ＰＸ４，ＰＸ５，ＰＸ６，ＰＸ７，ＰＸ８，ＰＸ９を含む。すなわち、フィルタ対象画素ＦＰＸは、画素ＰＸ５である。

ステップＳ１４２の処理が繰り返される毎に、複数の読み出しマスクデータＡが示すマスク画像において、異なる画素が、フィルタ対象画素ＦＰＸに設定される。なお、初めてステップＳ１４２の処理が行なわれる場合、マスク画像ＭＡの左上の画素が、フィルタ対象画素ＦＰＸに設定される。この場合、フィルタＦＴに含まれる画素ＰＸ１、ＰＸ２，ＰＸ３、ＰＸ４，ＰＸ７は、マスク画像ＭＡにおいて対応する画素が存在しない。

具体的には、ステップＳ１４２の処理が繰り返される毎に、マスク画像ＭＡにおいて、前回、フィルタ対象画素ＦＰＸに設定された画素の右の画素が、フィルタ対象画素ＦＰＸに設定される。なお、ステップＳ１４２の処理により、マスク画像ＭＡの右端の画素がフィルタ対象画素ＦＰＸに設定された場合、次のステップＳ１４２の処理では、前回、フィルタ対象画素ＦＰＸに設定された画素の１画素分下の画素であって、かつ、マスク画像ＭＡの左端の画素が、フィルタ対象画素ＦＰＸに設定される。上記処理が、繰り返されることにより、最終的に、マスク画像ＭＡの右下の画素が、フィルタ対象画素ＦＰＸに設定される。

再び、図６を参照して、ステップＳ１４２の処理の後、ステップＳ１４３に進む。
ステップＳ１４３では、前景有効表示領域拡張処理が行なわれる。前景有効表示領域拡張処理は、前述したマスク画像内の前景有効表示領域を拡張するための処理である。前景有効表示領域は、マスク画像ＭＡの白の画素による領域である。

前景有効表示領域拡張処理では、マスク拡張部１０４Ａが、設定されたフィルタ対象画素ＦＰＸを含むフィルタＦＴに含まれる９つの画素（画素ＰＸ１〜ＰＸ９）にそれぞれ対応する、マスク画像ＭＡの９つの画素のうち、“１”を示す画素が１以上あれば、フィルタ対象画素ＦＰＸに対応するマスクデータの値を“１”に設定したデータ（以下、前景拡張マスクデータともいう）を、当該マスクデータに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。

一方、マスク拡張部１０４Ａは、設定されたフィルタ対象画素ＦＰＸを含むフィルタＦＴに含まれる９つの画素にそれぞれ対応する、マスク画像ＭＡの９つの画素のうち、“１”を示す画素がなければ、フィルタ対象画素ＦＰＸに対応するマスクデータの値を“０”に設定したデータ（以下、前景拡張マスクデータともいう）を、当該マスクデータに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。

なお、フィルタＦＴに含まれる９つの画素（画素ＰＸ１〜ＰＸ９）のうち、マスク画像ＭＡにおいて、対応する画素がない場合、対応する画素がないフィルタＦＴに含まれる画素の値を“０”として、前述の前景有効表示領域拡張処理が行なわれる。

たとえば、マスク画像ＭＡとしてのマスク画像１２０ＭＧの左上の画素がフィルタ対象画素ＦＰＸに設定されている場合、フィルタＦＴに含まれる画素ＰＸ１、ＰＸ２，ＰＸ３、ＰＸ４，ＰＸ７の各々は、マスク画像１２０ＭＧにおいて対応する画素が存在しない。この場合、画素ＰＸ１、ＰＸ２，ＰＸ３、ＰＸ４，ＰＸ７の各々の値は“０”として、前述の前景有効表示領域拡張処理が行なわれる。そして、ステップＳ１４４に進む。

ステップＳ１４４では、マスク拡張部１０４Ａが、マスク画像ＭＡに含まれる全ての画素に対し、前景有効表示領域拡張処理が行なわれたか否かを判定する。ステップＳ１４４において、ＹＥＳならば、このマスク拡張処理Ａは終了し、図２の画像符号化処理に戻り、ステップＳ１４０の次のステップＳ１５０に進む。一方、ステップＳ１４４において、ＮＯならば、再度、ステップＳ１４２の処理が行なわれる。

ここで、ステップＳ１４２，Ｓ１４３の処理が繰り返されることにより、マスク画像ＭＡとしてのマスク画像１２０ＭＧに含まれる全ての画素に対し、前景有効表示領域拡張処理が行なわれたとする。この場合、ステップＳ１４４において、ＹＥＳと判定され、このマスク拡張処理Ａは終了し、図２の画像符号化処理に戻り、ステップＳ１４０の次のステップＳ１５０に進む。

ステップＳ１４４でＹＥＳと判定された時点において、一時記憶部１３０に記憶されている複数の前景拡張マスクデータにより示される画像は、一例として、図７の拡張マスク画像１２０ＭＧＡとなる。すなわち、前景有効表示領域拡張処理が、マスク画像１２０ＭＧの全ての画素に対して行なわれることにより、マスク画像１２０ＭＧの白の画素による領域（前景有効表示領域）が拡張される。拡張される方向は、たとえば、上、下、左、右、斜めの８方向である。

すなわち、前景有効表示領域拡張処理により、マスク画像１２０ＭＧから拡張マスク画像１２０ＭＧＡが生成される。この場合、拡張マスク画像１２０ＭＧＡの白の画素の数は、マスク画像１２０ＭＧの白の画素の数よりも多い。すなわち、前景有効表示領域拡張処理により、マスク画像１２０ＭＧの白の画素の数を、マスク画像１２０ＭＧより増加させた拡張マスク画像１２０ＭＧＡが生成される。

なお、拡張マスク画像１２０ＭＧＡは、マスク画像１２０ＭＧを構成する複数の画素のうち、後述する層データＡ（第１縮小ブロック画像のデータ）の使用を示す画素の近傍の画素が、層データＡ（第１縮小ブロック画像のデータ）の使用を示す画素に設定された画像である。また、拡張マスク画像１２０ＭＧＡ内の複数の白の画素は、それぞれ、層データＡが示す第１縮小画像１１１Ｇ内の異なる複数のブロック画像を使用することを示す。

また、図３を参照して、拡張マスク画像１２０ＭＧＡは、ステップＳ１４４でＹＥＳと判定された時点において、一時記憶部１３０に記憶されている複数の前景拡張マスクデータにより示される画像である。拡張マスク画像１２０ＭＧＡ内の白の画素は、当該白の画素に対応する、入力画像１００Ｇ内の入力ブロック画像が、前景画像として有効であることを示す。拡張マスク画像１２０ＭＧＡ内の黒の画素は、当該黒の画素に対応する、入力画像１００Ｇ内の入力ブロック画像が、前景画像として無効であることを示す。

拡張マスク画像１２０ＭＧＡの解像度は、マスク画像１２０ＭＧの解像度と同様に、画像１１０Ｇの解像度６００ｄｐｉを、ブロック像域判定処理単位の画素数３２画素で除した、１８．７５ｄｐｉである。

なお、前景有効表示領域を拡張するための処理は、前述したのと異なる方法により行なわれてもよい。たとえば、フィルタＦＴを、３行３列のフィルタ行列Ｆ＿ＥＸＴとし、フィルタ行列Ｆ＿ＥＸＴの値は、すべて、“１”を示すようにする。また、マスク画像ＭＡを構成する複数の画素を表す行列を、マスク行列Ｍとする。この場合、マスク拡張部１０４Ａは、マスク行列Ｍと、フィルタ行列Ｆ＿ＥＸＴとの畳み込み演算を行なう。マスク拡張部１０４Ａは、畳み込み演算により“０”を示すデータを“０”に設定し、畳み込み演算により“１”〜“９”のいずれかを示すデータを“１”に設定する。以下においては、以上のデータの設定により得られる画像を、前景有効表示領域拡張画像ともいう。

なお、３行３列のフィルタ行列Ｆ＿ＥＸＴを使用して、畳み込み演算を行なう場合、マスク画像ＭＡのサイズ（解像度）と、畳み込み演算により得られる画像（前景有効表示領域拡張画像）のサイズ（解像度）とを同じにするためには、マスク画像ＭＡの周囲に１画素分余分にデータを設定しておく必要がある。たとえば、画素値“１”のデータを１画素分拡張する場合には、マスク画像ＭＡの周囲に画素値“０”のデータを１画素分余分に設定しておけばよい。これにより、本来存在しないマスク画像ＭＡの周囲の画素から、画素値“１”が拡がるという問題を回避することができる。

以上の方法においても、前述のステップＳ１４２〜Ｓ１４４の処理が行なわれることにより得られるデータと同じデータが得られる。

再び、図２を参照して、ステップＳ１５０では、マスク拡張処理Ｂが行なわれる。
図９は、マスク拡張処理Ｂのフローチャートである。図９を参照して、マスク拡張処理Ｂでは、まず、ステップＳ１５１の処理が行なわれる。

ステップＳ１５１では、マスクデータ読出し処理Ｂが行なわれる。マスクデータ読出し処理Ｂでは、マスク拡張部１０４Ｂが、一時記憶部１３０に記憶されている複数のマスクデータを読み出す。以下においては、マスクデータ読出し処理Ｂにより読み出された複数のマスクデータの各々を、読み出しマスクデータＢともいう。また、以下においては、複数の読み出しマスクデータＢにより示される画像を、マスク画像ＭＢともいう。ここで、マスク画像ＭＢは、一例として、図７のマスク画像１２０ＭＧであるとする。そして、ステップＳ１５１Ｎに進む。

ステップＳ１５１Ｎでは、ビット反転処理が行なわれる。ビット反転処理は、ビットの値を反転させるための処理である。具体的には、ビット反転処理では、マスク拡張部１０４Ｂが、読み出しマスクデータＢの値が“１”を示す場合、“０”を示すデータ（以下、反転マスクデータＢともいう）を、当該読み出しマスクデータＢに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。

また、ビット反転処理では、マスク拡張部１０４Ｂが、読み出しマスクデータＢの値が“０”を示す場合、“１”を示すデータ（以下、反転マスクデータＢともいう）を、当該読み出しマスクデータＢに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。ビット反転処理では、上記処理が、全ての読み出しマスクデータＢに対し行なわれる。そして、ステップＳ１５１Ｎの処理は終了する。

以下においては、ステップＳ１５１Ｎのビット反転処理により、一時記憶部１３０に記憶された複数の反転マスクデータＢにより示される画像を、反転マスク画像ともいう。反転マスク画像は、一例として、図７または図３のマスク画像１２０ＭＧにおいて、白の画素を黒の画素に置き換え、かつ、黒の画素を白の画素に置き換えた画像である。

反転マスク画像の白の画素は、対応するブロック画像が、前景画像として有効であることを示す画素である。また、反転マスク画像の白の画素は、対応するブロック画像が、対応するブロック画像が、背景画像として無効であることを示す画素である。反転マスク画像の黒の画素は、対応するブロック画像が、前景画像として無効であることを示す画素である。また、反転マスク画像の黒の画素は、背景画像として有効であることを示す画素である。

以下においては、反転マスク画像において、対応するブロック画像が、背景画像として有効であることを示す画素を、背景有効表示画素ともいう。また、以下においては、反転マスク画像において、隣接する複数の背景有効表示画素からなる領域を背景有効表示領域ともいう。すなわち、反転マスク画像の黒の画素は、背景有効表示画素である。また、反転マスク画像において、隣接する複数の黒の画素からなる領域は、背景有効表示領域である。

本実施の形態では、読み出しマスクデータＢが２値（“０”または“１”）で表現される場合について説明しているため、“０”と“１”とを入れ替える処理を行なっている。しかしながら、読み出しマスクデータＢが“０”〜“２５５”の２５６値（グレースケール）で表現され、かつ、読み出しマスクデータＢが前景画像の有効および無効をそれぞれ“２５５”および“０”により示す場合、ビットの値を反転させる処理の代わりに以下の反転処理Ｂが行なわれてもよい。

反転処理Ｂでは、マスク拡張部１０４Ｂが、読み出しマスクデータＢの値が“２５５”を示す場合、“０”を示すデータ（以下、反転マスクデータＢともいう）を、当該読み出しマスクデータＢに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。また、反転処理Ｂでは、マスク拡張部１０４Ｂが、読み出しマスクデータＢの値が“０”を示す場合、“２５５”を示すデータ（以下、反転マスクデータＢともいう）を、当該読み出しマスクデータＢに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。この場合においても、ビット反転処理と同様の作用を得ることができる。

ステップＳ１５１Ｎ処理の後、ステップＳ１５２に進む。
ステップＳ１５２では、フィルタ設定処理Ｂが行なわれる。フィルタ設定処理Ｂは、ステップＳ１４２のフィルタ設定処理Ａの説明において、ステップＳ１４２、マスク拡張部１０４Ａ、マスク画像ＭＡおよび読み出しマスクデータＡをそれぞれ、ステップＳ１５２、マスク拡張部１０４Ｂ、反転マスク画像および反転マスクデータＢに置き換えた処理と同様な処理が行なわれるので詳細な説明は繰り返さない。そして、ステップＳ１５３に進む。

ステップＳ１５３では、背景有効表示領域拡張処理が行なわれる。背景有効表示領域拡張処理は、前述した反転マスク画像内の背景有効表示領域を拡張するための処理である。背景有効表示領域は、反転マスク画像の黒の画素による領域である。

背景有効表示領域拡張処理では、マスク拡張部１０４Ｂが、設定されたフィルタ対象画素ＦＰＸを含むフィルタＦＴに含まれる９つの画素（画素ＰＸ１〜ＰＸ９）にそれぞれ対応する、反転マスク画像の９つの画素のうち、“１”を示す画素が１以上あれば、フィルタ対象画素ＦＰＸに対応するマスクデータの値を“０”に設定したデータ（以下、背景拡張マスクデータともいう）を、当該マスクデータに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。

一方、マスク拡張部１０４Ｂは、設定されたフィルタ対象画素ＦＰＸを含むフィルタＦＴに含まれる９つの画素にそれぞれ対応する、反転マスク画像の９つの画素のうち、“１”を示す画素がなければ、フィルタ対象画素ＦＰＸに対応するマスクデータの値を“１”に設定したデータ（以下、背景拡張マスクデータともいう）を、当該マスクデータに対応する入力ブロック画像データに対応づけて、一時記憶部１３０に記憶させる。

なお、フィルタＦＴに含まれる９つの画素（画素ＰＸ１〜ＰＸ９）のうち、反転マスク画像において、対応する画素がない場合、対応する画素がないフィルタＦＴに含まれる画素の値を“０”として、前述の背景有効表示領域拡張処理が行なわれる。

たとえば、反転マスク画像の左上の画素がフィルタ対象画素ＦＰＸに設定されている場合、フィルタＦＴに含まれる画素ＰＸ１、ＰＸ２，ＰＸ３、ＰＸ４，ＰＸ７の各々は、反転マスク画像において対応する画素が存在しない。この場合、画素ＰＸ１、ＰＸ２，ＰＸ３、ＰＸ４，ＰＸ７の各々の値は“０”として、前述の背景有効表示領域拡張処理が行なわれる。そして、ステップＳ１５４に進む。

ステップＳ１５４では、マスク拡張部１０４Ｂが、反転マスク画像に含まれる全ての画素に対し、背景有効表示領域拡張処理が行なわれたか否かを判定する。ステップＳ１５４において、ＹＥＳならば、このマスク拡張処理Ｂは終了し、図２の画像符号化処理に戻り、ステップＳ１５０の次のステップＳ１６１に進む。一方、ステップＳ１５４において、ＮＯならば、再度、ステップＳ１５２の処理が行なわれる。

ここで、ステップＳ１５２，Ｓ１５３の処理が繰り返されることにより、反転マスク画像に含まれる全ての画素に対し、背景有効表示領域拡張処理が行なわれたとする。この場合、ステップＳ１５４において、ＹＥＳと判定され、このマスク拡張処理Ｂは終了し、図２の画像符号化処理に戻り、ステップＳ１５０の次のステップＳ１６１に進む。

ステップＳ１５４でＹＥＳと判定された時点において、一時記憶部１３０に記憶されている複数の背景拡張マスクデータにより示される画像は、一例として、図３の拡張マスク画像１２０ＭＧＢとなる。すなわち、背景有効表示領域拡張処理が、反転マスク画像の全ての画素に対して行なわれることにより、マスク画像１２０ＭＧの黒の画素による領域（背景有効表示領域）が拡張される。拡張される方向は、たとえば、上、下、左、右、斜めの８方向である。

すなわち、背景有効表示領域拡張処理により、マスク画像１２０ＭＧを使用して生成された反転マスク画像から拡張マスク画像１２０ＭＧＢが生成される。この場合、拡張マスク画像１２０ＭＧＢの黒の画素の数は、マスク画像１２０ＭＧの黒の画素の数よりも多い。すなわち、背景有効表示領域拡張処理により、マスク画像１２０ＭＧの黒の画素の数を、マスク画像１２０ＭＧより増加させた拡張マスク画像１２０ＭＧＢが生成される。

なお、拡張マスク画像１２０ＭＧＢは、マスク画像１２０ＭＧを構成する複数の画素のうち、後述する層データＢ（第２縮小ブロック画像のデータ）の使用を示す画素の近傍の画素が、層データＢ（第２縮小ブロック画像のデータ）の使用を示す画素に設定された画像である。また、拡張マスク画像１２０ＭＧＢ内の複数の黒の画素は、それぞれ、層データＢが示す第２縮小画像１１２Ｇ内の異なる複数のブロック画像を使用することを示す。

拡張マスク画像１２０ＭＧＢ内の黒の画素は、当該黒の画素に対応する、入力画像１００Ｇ内の入力ブロック画像が、背景画像として有効であることを示す。拡張マスク画像１２０ＭＧＢ内の白の画素は、当該白の画素に対応する、入力画像１００Ｇ内の入力ブロック画像が、背景画像として無効であることを示す。

拡張マスク画像１２０ＭＧＢの解像度は、マスク画像１２０ＭＧの解像度と同様に、画像１１０Ｇの解像度６００ｄｐｉを、ブロック像域判定処理単位の画素数３２画素で除した、１８．７５ｄｐｉである。

なお、背景有効表示領域を拡張するための処理は、前述したのと異なる方法により行なわれてもよい。たとえば、フィルタＦＴを、３行３列のフィルタ行列Ｆ＿ＥＸＴとし、フィルタ行列Ｆ＿ＥＸＴの値は、すべて、“１”を示すようにする。また、反転マスク画像を構成する複数の画素を表す行列を、マスク行列ＭＢとする。この場合、マスク拡張部１０４Ｂは、マスク行列ＭＢと、フィルタ行列Ｆ＿ＥＸＴとの畳み込み演算を行なう。マスク拡張部１０４Ｂは、畳み込み演算により“０”を示すデータを“１”に設定し、畳み込み演算により“１”〜“９”のいずれかを示すデータを“０”に設定する。以下においては、以上のデータの設定により得られる画像を、背景有効表示領域拡張画像ともいう。

なお、３行３列のフィルタ行列Ｆ＿ＥＸＴを使用して、畳み込み演算を行なう場合、反転マスク画像のサイズ（解像度）と、畳み込み演算により得られる画像（背景有効表示領域拡張画像）のサイズ（解像度）とを同じにするためには、反転マスク画像の周囲に１画素分余分にデータを設定しておく必要がある。たとえば、画素値“１”のデータを１画素分拡張する場合には、反転マスク画像の周囲に画素値“０”のデータを１画素分余分に設定しておけばよい。これにより、本来存在しない反転マスク画像の周囲の画素から、画素値“１”が拡がるという問題を回避することができる。

以上の方法においても、前述のステップＳ１５２〜Ｓ１５４の処理が行なわれることにより得られるデータと同じデータが得られる。

再び、図２を参照して、ステップＳ１６１では、画像データ読出し処理Ｎが行なわれる。画像データ読出し処理Ｎは、ステップＳ１０１の画像データ読出し処理と比較して、画像処理部１００が、読み出した入力画像データを、ブロック像域判定部１０１の代わりに第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂに送信する点が異なる。それ以外は、画像データ読出し処理と同様なので詳細な説明は繰り返さない。この処理により、所定のブロック単位で読み出された入力画像データ（以下、入力ブロック画像データともいう）が、第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂへ送信される。そして、ステップＳ１６２に進む。

ステップＳ１６２では、画像縮小処理Ａが行なわれる。画像縮小処理Ａでは、第１画像縮小部１０２Ａが、受信した入力ブロック画像データに基づいて、入力ブロック画像の解像度を下げる。すなわち、入力ブロック画像を縮小する。入力ブロック画像の縮小は、以下に説明するデータテーブルＴ１００に基づいて行なわれる。

図１０は、データテーブルＴ１００を示す図である。データテーブルＴ１００は、画像の解像度とブロックサイズとの関係を示すテーブルである。図１０を参照して、組合せ番号とは、画像の解像度と対応するブロックサイズの組み合わせを特定するための番号である。なお、画像の解像度と対応するブロックサイズの組み合わせは、データテーブルＴ１００に示されるものに限定されることはない。

たとえば、組合せ番号“１”では、入力画像、前景画像および背景画像の解像度を、それぞれ、６００ｄｐｉ、３００ｄｐｉおよび１５０ｄｐｉとする。この場合、前述の像域判定処理は、横３２画素、縦３２画素のサイズのブロック画像を１つの単位として行なわれる。また、前景画像は、横１６画素、縦１６画素のサイズのブロック画像毎に処理される。また、背景画像は、横８画素、縦８画素のサイズのブロック画像毎に処理される。組合せ番号“２”〜“４”も、前述した組合せ番号“１”と同様であるので詳細な説明は繰り返さない。

ここで、ブロックサイズの画素数を決定する際の基準に関して説明する。画像の解像度とブロックサイズの関係を示すデータテーブルＴ１００において、ブロックサイズの横画素数および縦画素数は、８の倍数である。８の倍数が用いられる理由は、前景画像符号化部１０８および背景画像符号化部１０９が、ＪＰＥＧ方式により画像を符号化するためである。

ＪＰＥＧ方式は、公知の通り、８画素×８画素のサイズのブロック画像毎に処理を行なう。ＪＰＥＧ方式において、ブロック画像毎の処理では、まずＤＣＴ（離散コサイン変換）が行なわれ、１個のＤＣ（直流）成分値と、６３個のＡＣ（交流）成分値が算出される。そして、算出された６４個の値を、それぞれの成分に対応する量子化幅を規定した量子化テーブルを用いて、除算することにより量子化する。

さらに、ＤＣ成分値については、一つ前に処理されたブロック画像のＤＣ成分値との差分値を利用してハフマン符号化が行なわれる。ＡＣ成分値については、ブロック画像内の６３個の値をジグザグスキャンしてハフマン符号化が行なわれる。なお、ハフマン符号化は可逆な符号化であり、一般に、ＪＰＥＧ方式における非可逆性は、量子化誤差およびＤＣＴ計算時の誤差に起因するものである。

したがって、ＪＰＥＧ方式を用いて画像を符号化した際に生じる画質の劣化は、基本的に処理単位であるブロック画像（８画素×８画素）内で生じるものである。すなわち、ブロック画像内の画質の劣化は、ブロック画像内で閉じて生じるものである。そのため、ＪＰＥＧの処理対象となるブロック画像は、当該ブロック画像外の画素の値や、周囲のブロック画像により、画質劣化が生じることはない。

そこで、本発明では、画像の解像度とブロック画像のサイズの関係を示すデータテーブルＴ１００に示すように、像域判定、前景画像、背景画像の各処理におけるブロック画像のサイズの横画素数および縦画素数を８の倍数で規定している。これにより、前景画像、背景画像を生成する際、画像再生時に不要なブロックに、ブロック画像単位で任意の画素値を設定することが可能となる。

すなわち、不要なブロック画像内のドント・ケア画素の画素値に起因する色にじみを防ぐことができる。その結果、不要なブロック画像に設定する画素値に関わらず、再生画像を一定の品質に保つことができるという効果を奏する。

なお、像域判定、前景画像、背景画像の各処理におけるブロック画像のサイズについて、最小解像度の画像（本実施の形態では背景画像）の処理単位となるブロック画像の最小のサイズは、８画素×８画素とすることが好ましい。以下においては、画像の処理単位となるブロック画像の最小のサイズを最小ブロック画像サイズともいう。

また、最小解像度以上の画像（本実施の形態では入力画像と前景画像）の処理単位となるブロック画像の横画素数および縦画素数の各々は、以下の式（１）により算出される値とすることが好ましい。
画素数＝８×（処理対象の画像の解像度）／（最小解像度） ・・・（１）
上記のように、最小ブロック画像サイズを８画素×８画素に設定することにより、像域分離精度を最大限に高めることができる。ここで、像域分離精度とは、文字または線が存在する像域（ブロック画像）と、文字または線が存在しない像域（ブロック画像）とを分離する精度である。また、最小ブロック画像サイズを処理単位としない画像には、式（１）で算出される値を用いてブロック画像のサイズを設定する。これにより、入力画像、前景画像および背景画像の間で、一つのブロック画像に対応する画像情報が、相対的に画像中の同じブロック画像部分を指し示すことを可能とする。

具体的には、データテーブルＴ１００の組合せ番号“１”では、式（１）に各値を代入することにより以下のようになる。まず、前述の像域判定処理における処理単位となるブロック画像の横画素数は、８×６００／１５０＝３２となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×３００／１５０＝１６となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

また、データテーブルＴ１００の組合せ番号“２”では、式（１）に各値を代入することにより以下のようになる。まず、前述の像域判定処理における処理単位となるブロック画像の横画素数は、８×６００／３００＝１６となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×６００／３００＝１６となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

また、データテーブルＴ１００の組合せ番号“３”では、式（１）に各値を代入することにより以下のようになる。まず、前述の像域判定処理における処理単位となるブロック画像の横画素数は、８×６００／１５０＝３２となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×６００／１５０＝３２となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

また、データテーブルＴ１００の組合せ番号“４”では、式（１）に各値を代入することにより以下のようになる。まず、前述の像域判定処理における処理単位となるブロック画像の横画素数は、８×３００／１５０＝１６となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×３００／１５０＝１６となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

図１１は、各画像の解像度と、各画像の処理単位となるブロック画像の相対的な大小関係を例示した図である。図１１（Ａ）は、データテーブルＴ１００の組合せ番号“１”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

図１１（Ｂ）は、データテーブルＴ１００の組合せ番号“２”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

図１１（Ｃ）は、データテーブルＴ１００の組合せ番号“３”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

図１１（Ｄ）は、データテーブルＴ１００の組合せ番号“４”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

たとえば、データテーブルＴ１００の組合せ番号“１”では、入力画像、前景画像および背景画像の解像度は、それぞれ、６００ｄｐｉ、３００ｄｐｉおよび１５０ｄｐｉである。

図１１（Ａ）を参照して、ブロック画像１０Ｇは、入力画像の処理単位となるブロック画像である。ブロック画像１０ＧＡは、前景画像の処理単位となるブロック画像である。ブロック画像１０ＧＢは、背景画像の処理単位となるブロック画像である。

ブロック画像１０Ｇ、ブロック画像１０ＧＡおよびブロック画像１０ＧＢのサイズは、それぞれ、３２画素×３２画素、１６画素×１６画素および８画素×８画素とする。これにより、入力画像、前景画像および背景画像の間で、一つのブロック画像に対応する画像情報が、相対的に画像中の同じブロック画像部分を指し示すことになる。なお、データテーブルＴ１００の組合せ番号が“２”〜“４”についても、図１１（Ｂ）、図１１（Ｃ）、図１１（Ｄ）に示すように、前述したデータテーブルＴ１００の組合せ番号“１”の場合と同様であるので詳細な説明は繰り返さない。

再び、図２を参照して、ステップＳ１６２では、第１画像縮小部１０２Ａが、たとえば、データテーブルＴ１００の組合せ番号“１”の各データおよびステップＳ１６１により入力された入力ブロック画像データに基づいて、入力ブロック画像を縮小する。たとえば、ステップＳ１６１により入力された入力ブロック画像のサイズが３２画素×３２画素である場合、１６画素×１６画素のブロック画像に縮小する。縮小処理には、前述したように、ニアレストネイバー法、バイリニア法、バイキュービック法など、画像の解像度変換に一般的に用いられる既存の補間手法が使用される。

再び、図３を参照して、第１縮小画像１１１Ｇは、画像縮小処理Ａにおける第１画像縮小部１０２Ａの処理により、入力画像１００Ｇ内の複数の入力ブロック画像が、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第１縮小画像１１１Ｇの解像度は、入力画像の解像度（６００ｄｐｉ）に対して、半分の解像度（３００ｄｐｉ）となっている。

ステップＳ１６２（画像縮小処理Ａ）では、たとえば、入力画像１００Ｇ内の領域１００Ｒ内の画像が、第１縮小画像１１１Ｇ内の領域１１１Ｒ内の画像に縮小される。以下においては、画像縮小処理Ａにより縮小された画像を第１縮小ブロック画像ともいう。

すなわち、入力画像１００Ｇを構成する複数の入力ブロック画像は、それぞれ、第１縮小画像１１１Ｇ内の複数の第１縮小ブロック画像に対応する。したがって、図３の拡張マスク画像１２０ＭＧＡ内の白の画素は、当該白の画素に対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像が、前景画像として有効であることを示す。拡張マスク画像１２０ＭＧＡ内の黒の画素は、当該黒の画素に対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像が、前景画像として無効であることを示す。

また、以下においては、画像縮小処理Ａにより生成された複数の第１縮小ブロック画像のデータを構成するデータを、層データＡともいう。層データＡは、たとえば、第１縮小画像１１１Ｇを示すデータである。この場合、層データＡは、入力画像１００Ｇのデータを使用して生成されたデータとなる。

再び、図２を参照して、ステップＳ１６２（画像縮小処理Ａ）では、第１画像縮小部１０２Ａが、生成した第１縮小ブロック画像のデータを、前景画像生成部１０５へ送信する。その後、ステップＳ１７０に進む。

ステップＳ１７０では、前景画像生成処理が行なわれる。前景画像生成処理では、入力ブロック画像データに対応する前景拡張マスクデータに基づいて、ステップＳ１６２で生成された第１縮小ブロック画像を使用して、前景画像を生成する。

図１２は、前景画像生成処理のフローチャートである。図１２を参照して、前景画像生成処理では、まず、ステップＳ１７１の処理が行なわれる。

ステップＳ１７１では、前景画像生成部１０５が、第１画像縮小部１０２Ａから受信した第１縮小ブロック画像のデータの生成に使用された入力ブロック画像データに対応する前景拡張マスクデータを、一時記憶部１３０から読み出す。以下においては、読み出された前景拡張マスクデータを、読出し前景拡張マスクデータともいう。そして、ステップＳ１７２に進む。

ステップＳ１７２では、第１画像縮小部１０２Ａから送信された第１縮小ブロック画像が、前景画像として有効であるか否かが判定される。具体的には、読出し前景拡張マスクデータが“１”を示すか否かが、前景画像生成部１０５により判定される。

読出し前景拡張マスクデータが“１”を示す場合、第１縮小ブロック画像は前景画像として有効となる。一方、読出し前景拡張マスクデータが“０”を示す場合、第１縮小ブロック画像は前景画像として無効となる。“１”（白の画素）を示す読出し前景拡張マスクデータは、層データＡ（第１縮小ブロック画像のデータ）を使用することを示すデータである。

ステップＳ１７２において、ＹＥＳならば、ステップＳ１７４Ａに進む。一方、ステップＳ１７２において、ＮＯならば、ステップＳ１７４Ｂに進む。

ステップＳ１７４Ａでは、前景画像生成部１０５が、受信した第１縮小ブロック画像のデータを、前景画像符号化部１０８へ送信する。その後、この前景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１７０の次のステップＳ１８２に進む。

ステップＳ１７４Ｂでは、前景画像生成部１０５が、第１縮小ブロック画像と同じサイズの画像（たとえば、１６×１６のサイズの画像）の全ての画素を黒（画素値“０”）とした画像（以下、黒ブロック画像ともいう）のデータを、前景画像符号化部１０８へ送信する。その後、この前景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１７０の次のステップＳ１８２に進む。

再び、図３を参照して、前景画像１３１Ｇは、前景画像生成部１０５が、前景画像符号化部１０８へ送信する全てのブロック画像のデータから構成される画像である。以下においては、前景画像生成部１０５が、前景画像符号化部１０８へ送信する全てのブロック画像のデータから構成されるデータを、前景層データともいう。すなわち、前景画像生成部１０５は、前景層データを生成する。前景層データは、前景画像（たとえば、前景画像１３１Ｇ）を示すデータである。

前景画像１３１Ｇの解像度は、第１縮小画像１１１Ｇの解像度と同じで、３００ｄｐｉである。前景画像１３１Ｇは、前景画像生成処理により、拡張マスク画像１２０ＭＧＡを示す複数の前景拡張マスクデータと、層データＡが示す第１縮小画像１１１Ｇとを使用して生成される画像である。

拡張マスク画像１２０ＭＧＡ内の白の画素は、“１”を示す前景拡張マスクデータが示す画素である。拡張マスク画像１２０ＭＧＡ内の黒の画素は、“０”を示す前景拡張マスクデータが示す画素である。拡張マスク画像１２０ＭＧＡ内の白の画素は、当該白の画素に対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像が、前景画像として有効であることを示す。すなわち、“１”を示す前景拡張マスクデータに対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像は、前景画像１３１Ｇの一部の画像としてそのまま使用される。

一方、拡張マスク画像１２０ＭＧＡ内の黒の画素は、当該黒の画素に対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像が、前景画像として無効であることを示す。この場合、“０”を示す前景拡張マスクデータに対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像の全ての画素を黒（画素値“０”）としたブロック画像が、前景画像１３１Ｇの一部の画像として使用される。

すなわち、前景画像１３１Ｇは、層データＡが示す第１縮小画像１１１Ｇの一部と、所定の色（黒）を示す１以上のブロック画像とから構成される画像である。

ステップＳ１７４Ａで送信される画像は、たとえば、前景画像１３１Ｇ内の領域１３１Ｒ内の画像である。また、ステップＳ１７４Ｂで送信される画像は、たとえば、前景画像１３１Ｇ内の黒のブロック画像である。

ステップＳ１８２では、画像縮小処理Ｂが行なわれる。画像縮小処理Ｂでは、第２画像縮小部１０２Ｂが、たとえば、図１０のデータテーブルＴ１００の組合せ番号“１”の各データおよび受信した入力ブロック画像データに基づいて、入力ブロック画像を縮小する。第２画像縮小部１０２Ｂは、たとえば、受信した入力ブロック画像のサイズが３２画素×３２画素である場合、８画素×８画素のブロック画像に縮小する。縮小処理には、前述したように、ニアレストネイバー法、バイリニア法、バイキュービック法など、画像の解像度変換に一般的に用いられる既存の補間手法が使用される。

再び、図３を参照して、第２縮小画像１１２Ｇは、画像縮小処理Ｂにおける第２画像縮小部１０２Ｂの処理により、入力画像１００Ｇ内の複数の入力ブロック画像が、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第２画像縮小部１０２Ｂの解像度は、入力画像の解像度（６００ｄｐｉ）に対して、４分の１の解像度（１５０ｄｐｉ）となっている。

ステップＳ１８２（画像縮小処理Ｂ）では、たとえば、入力画像１００Ｇ内の領域１００Ｒ内の画像が、第２縮小画像１１２Ｇ内の領域１１２Ｒ内の画像（たとえば、８画素×８画素のサイズの画像）に縮小される。以下においては、画像縮小処理Ｂにより縮小された画像を第２縮小ブロック画像（たとえば、８画素×８画素のサイズの画像）ともいう。

すなわち、入力画像１００Ｇを構成する複数の入力ブロック画像は、それぞれ、第２縮小画像１１２Ｇ内の複数の第２縮小ブロック画像に対応する。したがって、図３の拡張マスク画像１２０ＭＧＢ内の黒の画素は、当該黒の画素に対応する、第２縮小画像１１２Ｇ内の第２縮小ブロック画像が、背景画像として有効であることを示す。拡張マスク画像１２０ＭＧＢ内の白の画素は、当該白の画素に対応する、第２縮小画像１１２Ｇ内の第２縮小ブロック画像が、背景画像として無効であることを示す。

また、以下においては、画像縮小処理Ｂにより生成された複数の第２縮小ブロック画像のデータを構成するデータを、層データＢともいう。層データＢは、たとえば、第２縮小画像１１２Ｇを示すデータである。この場合、層データＢは、入力画像１００Ｇのデータを使用して生成されたデータとなる。

再び、図２を参照して、ステップＳ１８２（画像縮小処理Ｂ）では、第２画像縮小部１０２Ｂが、生成した第２縮小ブロック画像のデータを、背景画像生成部１０６へ送信する。その後、ステップＳ１９０に進む。

ステップＳ１９０では、背景画像生成処理が行なわれる。背景画像生成処理では、入力ブロック画像データに対応する背景拡張マスクデータに基づいて、ステップＳ１８２で生成された第２縮小ブロック画像を使用して、背景画像を生成する。

図１３は、背景画像生成処理のフローチャートである。図１３を参照して、背景画像生成処理では、まず、ステップＳ１９１の処理が行なわれる。

ステップＳ１９１では、背景画像生成部１０６が、第２画像縮小部１０２Ｂから受信した第２縮小ブロック画像のデータの生成に使用された入力ブロック画像データに対応する背景拡張マスクデータを、一時記憶部１３０から読み出す。以下においては、読み出された背景拡張マスクデータを、読出し背景拡張マスクデータともいう。そして、ステップＳ１９２に進む。

ステップＳ１９２では、第２画像縮小部１０２Ｂから送信された第２縮小ブロック画像が、背景画像として有効であるか否かが判定される。具体的には、読出し背景拡張マスクデータが“０”を示すか否かが、背景画像生成部１０６により判定される。

読出し背景拡張マスクデータが“０”を示す場合、第２縮小ブロック画像は背景画像として有効となる。一方、読出し背景拡張マスクデータが“１”を示す場合、第２縮小ブロック画像は背景画像として無効となる。“０”（黒の画素）を示す読出し背景拡張マスクデータは、層データＢ（第２縮小ブロック画像のデータ）を使用することを示すデータである。

ステップＳ１９２において、ＹＥＳならば、ステップＳ１９４Ａに進む。一方、ステップＳ１９２において、ＮＯならば、ステップＳ１９４Ｂに進む。

ステップＳ１９４Ａでは、背景画像生成部１０６が、受信した第２縮小ブロック画像のデータを、背景画像符号化部１０９へ送信する。その後、この背景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１９０の次のステップＳ２０１に進む。

ステップＳ１９４Ｂでは、背景画像生成部１０６が、第２縮小ブロック画像と同じサイズの画像（たとえば、８×８のサイズの画像）の全ての画素を黒（画素値“０”）とした画像（以下、黒ブロック画像ともいう）のデータを、背景画像符号化部１０９へ送信する。その後、この背景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１９０の次のステップＳ２０１に進む。

再び、図３を参照して、背景画像１３２Ｇは、背景画像生成部１０６が、背景画像符号化部１０９へ送信する全てのブロック画像のデータから構成される画像である。以下においては、背景画像生成部１０６が、背景画像符号化部１０９へ送信する全てのブロック画像のデータを、背景層データともいう。すなわち、背景画像生成部１０６は、背景層データを生成する。背景層データは、背景画像（たとえば、背景画像１３２Ｇ）を示すデータである。

背景画像１３２Ｇの解像度は、第２縮小画像１１２Ｇの解像度と同じで、１５０ｄｐｉである。背景画像１３２Ｇは、背景画像生成処理により、拡張マスク画像１２０ＭＧＢを示す複数の背景拡張マスクデータと、層データＢが示す第２縮小画像１１２Ｇとを使用して生成される画像である。

拡張マスク画像１２０ＭＧＢ内の白の画素は、“１”を示す背景拡張マスクデータが示す画素である。拡張マスク画像１２０ＭＧＢ内の黒の画素は、“０”を示す背景拡張マスクデータが示す画素である。拡張マスク画像１２０ＭＧＢ内の黒の画素は、当該黒の画素に対応する、第２縮小画像１１２Ｇ内の第２縮小ブロック画像が、背景画像として有効であることを示す。すなわち、“０”を示す背景拡張マスクデータに対応する、第２縮小画像１１２Ｇ内の第２縮小ブロック画像は、背景画像１３２Ｇの一部の画像としてそのまま使用される。

一方、拡張マスク画像１２０ＭＧＢ内の白の画素は、当該白の画素に対応する、第２縮小画像１１２Ｇ内の第２縮小ブロック画像が、背景画像として無効であることを示す。この場合、“１”を示す背景拡張マスクデータに対応する、第２縮小画像１１２Ｇ内の第２縮小ブロック画像の全ての画素を黒（画素値“０”）としたブロック画像が、背景画像１３２Ｇの一部の画像として使用される。

すなわち、背景画像１３２Ｇは、層データＢが示す第２縮小画像１１２Ｇの一部と、所定の色（黒）を示す１以上のブロック画像とから構成される画像である。なお、複数の第１縮小ブロック画像のデータが示す前景画像１３１Ｇ内において入力画像１００Ｇに対応する箇所の画像の画質は、複数の第２縮小ブロック画像のデータが示す背景画像１３２Ｇ内において入力画像１００Ｇに対応する箇所の画像の画質より高い。

ステップＳ１９４Ａで送信される画像は、たとえば、背景画像１３２Ｇ内の領域１３２Ｒ内の画像である。また、ステップＳ１９４Ｂで送信される画像は、たとえば、背景画像１３２Ｇ内の黒のブロック画像である。

再び、図２を参照して、ステップＳ２０１では、入力画像全体に対し処理が終了したか否かが判定される。具体的には、制御部１２０が、ステップＳ１６１の処理で読み出された入力ブロック画像が、入力画像内の右下のブロック画像（領域１００ＲＦ内の画像）であるか否かを判定する。ステップＳ２０１において、ＹＥＳならば、ステップＳ２１０に進む。一方、ステップＳ２０１において、ＮＯならば、再度、ステップＳ１６１の処理が繰り返される。

ステップＳ２１０では、マスク符号化処理が行なわれる。マスク符号化処理では、マスク符号化部１０７が、ステップＳ１２０の処理が繰返し行なわれることで生成された、複数のマスクデータ（２値データ）から構成されるマスク層データを、一時記憶部１３０から読み出す。複数のマスクデータは、入力画像内の複数のブロック画像にそれぞれ対応するデータである。そして、マスク符号化部１０７が、複数のマスクデータからなるマスク層データを可逆符号化する。

可逆符号化では、２値画像の可逆符号化に適した符号化方式であるＭＭＲが使用される。なお、可逆符号化は、ＭＭＲに限定されることなく、２値画像の可逆符号化に適した符号化方式（たとえば、前述したＭＲ、ＪＢＩＧ等）であればどの符号化方式であってもよい。マスク符号化部１０７は、符号化した符号化データ（以下、マスク符号化データともいう）を、フォーマット部１１０へ送信する。その後、ステップＳ２２０に進む。

ステップＳ２２０では、前景画像符号化処理が行なわれる。前景画像符号化処理では、前景画像符号化部１０８が、前景画像生成部１０５から受信した複数のブロック画像のデータから構成される前景層データを非可逆符号化する。非可逆符号化を行なう符号化方式は、ブロック単位で処理を行なうＪＰＥＧ方式が使用される。前景画像符号化処理において、非可逆符号化の処理単位となるブロックのサイズは、前景画像生成部１０５から受信した複数のブロック画像の各々のサイズ（たとえば、横１６画素、縦１６画素のサイズ）である。

なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、ブロック単位で処理を行なう他の符号化方式であってもよい。前景画像符号化部１０８は、前景層データを非可逆符号化したデータ（以下、前景画像符号化データともいう）を、フォーマット部１１０へ送信する。その後、ステップＳ２３０に進む。

ステップＳ２３０では、背景画像符号化処理が行なわれる。背景画像符号化処理では、背景画像符号化部１０９が、背景画像生成部１０６から受信した複数のブロック画像のデータから構成される背景層データを、非可逆符号化する。非可逆符号化を行なう符号化方式は、ブロック単位で処理を行なうＪＰＥＧ方式が使用される。

背景画像符号化処理において、非可逆符号化の処理単位となるブロックのサイズは、背景画像生成部１０６から受信した複数のブロック画像の各々のサイズ（たとえば、横８画素、縦８画素のサイズ）である。すなわち、背景画像符号化処理において、非可逆符号化の処理単位となるブロックのサイズは、前景画像符号化処理における非可逆符号化の処理単位となるブロックのサイズより小さい。

なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、ブロック単位で処理を行なう他の符号化方式であってもよい。背景画像符号化部１０９は、背景層データを非可逆符号化したデータ（以下、背景画像符号化データともいう）を、フォーマット部１１０へ送信する。その後、ステップＳ２４０に進む。

ステップＳ２４０では、フォーマット処理が行なわれる。フォーマット処理では、フォーマット部１１０が、受信したマスク符号化データと、受信した前景画像符号化データと、受信した背景画像符号化データとの関連付けを行なう。当該関連付けは、汎用性の高いデータフォーマットを使用して行なわれる。

汎用性の高いデータフォーマットの一例としては、Ａｄｏｂｅ（登録商標）社のＰＤＦフォーマットである。なお、汎用性の高いデータフォーマットは、Ａｄｏｂｅ（登録商標）社のＰＤＦフォーマットに限定されることなく、他のデータフォーマットであってもよい。

たとえば、マスク符号化データがＩＴＵ−Ｔ勧告Ｔ．６に規定されるＭＭＲ形式であり、また、前景画像符号化データおよび背景画像符号化データがＪＰＥＧ形式である場合、フォーマット部１１０は、以下の関連付け処理を行なう。

関連付け処理では、フォーマット部１１０が、Ａｄｏｂｅ（登録商標）社のＰＤＦ形式に基づいて、マスク符号化データ、前景画像符号化データおよび背景画像符号化データを関連付けた関連付けデータを作成する。そして、フォーマット部１１０は、マスク符号化データ、前景画像符号化データ、背景画像符号化データおよび関連付けデータを一つの符号化画像データとして、前述した汎用統合データを生成する。すなわち、生成された汎用統合データは、マスク符号化データ、前景画像符号化データ、背景画像符号化データおよび関連付けデータを含む。そして、フォーマット部１１０は、生成した汎用統合データを、一時記憶部１３０に記憶させる。

汎用統合データを復号する場合は、たとえば、前景画像符号化データをＪＰＥＧにより復号した画像（以下、復号前景画像ともいう）と、背景画像符号化データをＪＰＥＧにより復号した画像（以下、復号背景画像ともいう）と、マスク符号化データを復号することによって得られる複数のマスクデータとを使用して行なわれる。

具体的には、まず、復号前景画像と、復号背景画像とのサイズが異なる場合、復号背景画像を、復号前景画像と同じサイズに拡大する処理が行なわれる。そして、復号背景画像を最下層の画像とし、“１”に設定されたマスクデータに対応する復号前景画像内のブロック画像を、復号背景画像内の対応する位置に上書きする。上記処理を繰返し行なうことにより、汎用統合データを復号して、符号化する前の入力画像を得ることができる。

なお、前述の説明では、ステップＳ１０１〜ステップＳ１２０までの処理を、ブロック画像単位で、一連の処理とし、ステップＳ１４０〜ステップＳ１９０までの処理を、ブロック画像単位で、一連の処理として説明した。しかしながら、本発明の一つの特徴である、ステップＳ１４０のマスク拡張処理Ａ、ステップＳ１５０のマスク拡張処理Ｂが実施されていれば、前述の処理の順に限定されるものではない。

たとえば、ステップＳ１０１〜ステップＳ１２０の一連の処理により画像全体に対する処理が一旦終了した後に、ステップＳ１４０のマスク拡張処理Ａ、ステップＳ１５０のマスク拡張処理Ｂが行なわれるのではなく、以下のような処理が行なわれてもよい。

たとえば、１つのブロック画像から１つのマスクデータが得られる場合、画像符号化装置１０００に、たとえば、画像の３ライン分のＦＩＦＯ（First In First Out）ラインバッファを設ける。そして、マスク拡張処理Ａおよびマスク拡張処理Ｂを行なうのに必要なマスクデータを、必要に応じて、ＦＩＦＯラインバッファに記憶させておく。そして、マスク拡張処理Ａおよびマスク拡張処理Ｂを行なうのに必要なマスクデータが揃い次第（上述の例では２ライン分の遅延にて）、マスク拡張処理Ａおよびマスク拡張処理Ｂを行なう。

また、ステップＳ１６２の画像縮小処理ＡおよびステップＳ１８２の画像縮小処理Ｂの各々において必要な画像データは、たとえば、前述のＦＩＦＯラインバッファに記憶させておく。以上のようにすることにより、ステップＳ１３１の処理、ステップＳ１６１の画像データ読出し処理Ｎは、省略することが可能となる。

また、処理の順序についても前述の処理の順序に限定されるものではなく、本発明の一つの特徴である、ステップＳ１４０のマスク拡張処理Ａ、ステップＳ１５０のマスク拡張処理Ｂが実施されていれば、本発明の主旨を逸脱しない範囲での処理の順序の入れ替えを行なってもよい。

たとえば、ステップＳ１６２の画像縮小処理Ａは、ステップＳ１７０の前景画像生成処理より前に行なわれ、ステップＳ１８２の画像縮小処理Ｂは、ステップＳ１９０の背景画像生成処理より前に行なわれていればよい。そのため、画像縮小処理Ａおよび画像縮小処理Ｂは、ステップＳ１０１と、ステップＳ１３１との間で行なわれるようにしてもよい。

また、たとえば、ステップＳ２１０のマスク符号化処理を、ステップＳ１２０のマスクデータ生成処理の後に行なわれるようにし、ステップＳ２２０の前景画像符号化処理を、ステップＳ１７０の前景画像生成処理の後に行なわれるようにし、ステップＳ２３０の背景画像符号化処理を、ステップＳ１９０の背景画像生成処理の後に行なわれるようにしてもよい。すなわち、マスク符号化処理、前景画像符号化処理および背景画像生成処理は、ブロック画像単位で行なわれてもよい。

また、たとえば、ステップＳ２１０のマスク符号化処理、ステップＳ２２０の前景画像符号化処理およびステップＳ２３０の背景画像符号化処理の各々は、順序を入れ替えてもよいし、並列に行なわれてもよい。

また、ステップＳ２４０のフォーマット処理をブロック画像単位で処理するようにしてもよい。すなわち、ステップＳ２１０〜ステップＳ２４０の処理を、ステップＳ１９０の後で、かつ、ステップＳ２０１の前に行なうようにしてもよい。

また、処理を並列化して同時に複数の処理がなされるようにしてもよい。たとえば、ステップＳ１６２〜Ｓ１７０の処理と、ステップＳ１８２〜Ｓ１９０の処理とを、並列に行なってもよい。

また、ステップＳ１６２の画像縮小処理ＡおよびステップＳ１８２の画像縮小処理Ｂの各々では、ステップＳ１６１で読み出すブロック画像単位ではなく、独立した処理単位で画像を縮小するようにしてもよい。

（マスク拡張処理が行なわれない場合の画像）
次に、図２の画像符号化処理において、本発明の特徴である、マスク拡張処理Ａおよびマスク拡張処理Ｂが行なわれない場合の画像について説明する。

図１４は、画像符号化処理において、マスク拡張処理Ａおよびマスク拡張処理Ｂが行なわれない場合の画像を示す図である。

図１４を参照して、入力画像１００Ｇ、画像１１０Ｇ、マスク画像１２０ＭＧ、第１縮小画像１１１Ｇおよび第２縮小画像１１２Ｇは、それぞれ、図３の入力画像１００Ｇ、画像１１０Ｇ、マスク画像１２０ＭＧ、第１縮小画像１１１Ｇおよび第２縮小画像１１２Ｇと同様なので詳細な説明は繰り返さない。

前景画像１３１ＧＮは、マスク拡張処理Ａおよびマスク拡張処理Ｂが行なわれない場合において、前景画像生成部１０５が、前景画像符号化部１０８へ送信する全てのブロック画像のデータから構成される画像である。

前景画像１３１ＧＮの解像度は、第１縮小画像１１１Ｇの解像度と同じで、３００ｄｐｉである。前景画像１３１ＧＮにおいて、対応するマスクデータが“１”を示す場合、第１縮小画像１１１Ｇ内の当該マスクデータに対応する第１縮小ブロック画像がそのまま使用される。マスクデータが“１”を示す場合、マスク画像１２０ＭＧ内の当該マスクデータに対応する画素は、白で表される。マスク画像１２０ＭＧ内の白の画素は、第１縮小画像１１１Ｇ内の当該前景拡張マスクデータに対応する第１縮小ブロック画像が、前景画像として有効であることを示す。

一方、前景画像１３１ＧＮにおいて、対応するマスクデータが“０”を示す場合、当該マスクデータに対応するブロック画像内の全ての画素が黒（画素値“０”）となる。マスクデータが“０”を示す場合、マスク画像１２０ＭＧ内の当該マスクデータに対応する画素は、黒で表される。マスク画像１２０ＭＧ内の黒の画素は、対応する第１縮小ブロック画像が、前景画像として無効であることを示す。

背景画像１３２ＧＮは、マスク拡張処理Ａおよびマスク拡張処理Ｂが行なわれない場合において、背景画像生成部１０６が、背景画像符号化部１０９へ送信する全てのブロック画像のデータから構成される画像である。

背景画像１３２ＧＮの解像度は、第２縮小画像１１２Ｇの解像度と同じで、１５０ｄｐｉである。背景画像１３２ＧＮにおいて、対応するマスクデータが“０”を示す場合、第２縮小画像１１２Ｇ内の当該マスクデータに対応する第２縮小ブロック画像がそのまま使用される。マスクデータが“０”を示す場合、マスク画像１２０ＭＧ内の当該マスクデータに対応する画素は、黒で表される。マスク画像１２０ＭＧ内の黒の画素は、対応する第１縮小ブロック画像が、前景画像として無効であること、すなわち、対応する第２縮小ブロック画像が、背景画像として有効であることを示す。

一方、背景画像１３２ＧＮにおいて、対応するマスクデータが“１”を示す場合、当該マスクデータに対応するブロック画像内の全ての画素が黒（画素値“０”）となる。マスクデータが“１”を示す場合、マスク画像１２０ＭＧ内の当該マスクデータに対応する画素は、白で表される。マスク画像１２０ＭＧ内の白の画素は、対応する第１縮小ブロック画像が、前景画像として有効であること、すなわち、対応する第２縮小ブロック画像が、背景画像として無効であることを示す。

なお、図２４において説明したように、前景画像１３１ＧＮ、背景画像１３２ＧＮおよびマスク画像１２０ＭＧのデータを使用して、周囲参照拡大方法により画像を再生する場合、合成画像ＣＭＧ１０のように、前景画像と、背景画像との境界を示すようなノイズ（合成画像ＣＭＧ１０が示す黒い線）が発生する。

（マスク拡張処理が行なわれた場合の画像の再生）
次に、図２の画像符号化処理により生成された汎用統合データを使用して画像を再生する方法について説明する。

図１５は、第１の実施の形態の画像符号化処理により生成された汎用統合データを使用した画像の再生過程を説明するための図である。

図１５を参照して、前景画像１３１Ｇおよび背景画像１３２Ｇの解像度は、図１０のデータテーブルＴ１００における組合せ番号“１”が示す解像度であるとする。なお、前景画像１３１Ｇ、マスク画像１２０ＭＧおよび背景画像１３２Ｇの解像度を忠実に図で表現することは困難であるため、図１５は、解像度の大小関係に従って、各画像を図示している。

ここで、一時記憶部１３０には、汎用統合データが記憶されているとする。当該汎用統合データは、マスク符号化データ、前景画像符号化データ、背景画像符号化データおよび関連付けデータを含む。

制御部１２０は、前景画像符号化データを復号することにより、前景画像１３１Ｇを得るとする。また、制御部１２０は、背景画像符号化データを復号することにより、背景画像１３２Ｇを得るとする。また、制御部１２０は、マスク符号化データを復号することにより、マスク画像１２０ＭＧを得るとする。

マスク画像１２０ＭＧの白の画素は、前景画像１３１Ｇにおける対応する画素が、前景画像の画素として有効であることと、背景画像１３２Ｇにおける対応する画素が、背景画像の画素として無効であることとを示す。一方、マスク画像１２０ＭＧの黒の画素は、背景画像１３２Ｇにおける対応する画素が、背景画像の画素として有効であることと、前景画像１３１Ｇにおける対応する画素が、前景画像の画素として無効であることとを示す。

以下においては、背景画像（たとえば、背景画像１３２Ｇ）において、背景画像の画素として有効である画素を、背景有効画素ともいう。また、以下においては、背景画像において、背景画像の画素として無効である画素を、背景無効画素ともいう。また、以下においては、前景画像において、前景画像の画素として無効である画素を、前景無効画素ともいう。

また、以下においては、背景画像において、背景有効画素と、背景無効画素との境界を、前景背景境界ともいう。また、以下においては、背景画像において、前景背景境界に隣接する背景有効画素を、境界隣接背景有効画素ともいう。また、以下においては、背景画像において、複数の背景無効画素からなる領域を、背景無効領域ともいう。また、以下においては、前景画像において、複数の前景無効画素からなる領域を、前景無効領域ともいう。

画像の再生では、制御部１２０が、背景画像の各画素値を、マスク画像の白の画素に対応する前景画像内の画素の値で上書きする。そのため、制御部１２０は、背景画像１３２Ｇおよびマスク画像１２０ＭＧを、前景画像１３１Ｇの解像度と等しくなるように拡大する。

なお、マスク画像１２０ＭＧは２値画像である。そのため、マスク画像１２０ＭＧは、ニアレストネイバー（Nearest Neighbor）法により拡大されることにより、拡大マスク画像１２０ＭＧＢＡとなる。

一方、背景画像１３２Ｇは、画質劣化の少ない前述した周囲参照拡大方法により拡大されることにより、拡大背景画像１３２ＧＡとなる。周囲参照拡大方法は、前述したように、周囲の画素値を参照して拡大する方法である。周囲参照拡大方法は、たとえば、バイリニア（Bilinear）法、バイキュービック（Bicubic）法である。

そして、制御部１２０は、拡大背景画像１３２ＧＡの各画素値を、拡大マスク画像１２０ＭＧＢＡの白の画素に対応する、前景画像１３１Ｇ内の画素の値で上書きすることにより、合成画像ＣＭＧ２０を得る。

すなわち、画像が再生される場合、前景画像１３１Ｇの一部と、拡大背景画像１３２ＧＡの一部とが、同じ箇所に対応する場合、前景画像１３１Ｇの一部の画像が使用されることにより、画像が再生される。

ここで、背景画像１３２Ｇが周囲参照拡大方法により拡大される際、背景画像１３２Ｇにおける境界隣接背景有効画素が、背景無効画素（マスク画像１２０ＭＧの白の画素に対応する、背景画像１３２Ｇ内の画素）の影響を受ける。

しかしながら、本発明では、マスク拡張処理が行なわれずに生成された図２４の背景画像１３２ＧＮを使用する場合と異なり、マスク拡張処理を行なうことにより生成された背景画像１３２Ｇを使用する。すなわち、第１の実施の形態の画像符号化処理により生成された背景画像１３２Ｇは、前景背景境界より、背景無効領域側に拡張して背景画像を保持している。そのため、本発明では、背景画像１３２Ｇの拡大時の補間処理により、隣接する画素の影響を受けても、境界隣接背景有効画素は、背景無効画素（背景画像１３２Ｇ内の黒の画素（“０”を示す画素））の影響が表れにくいのである。なお、背景無効画素は、圧縮効率向上のために使用される画素である。

一方、マスク拡張処理が行なわれずに生成された図２４の背景画像１３２ＧＮを使用して画像を再生する場合は、以下の問題が発生する。すなわち、前述したように、背景画像１３２ＧＮが周囲参照拡大方法により拡大される際、背景画像１３２ＧＮにおいて、前景背景境界に隣接する境界隣接背景有効画素が、背景無効画素（背景画像１３２ＧＮの黒の画素）の影響を受ける。そのため、背景画像１３２ＧＮが拡大された拡大背景画像１３２ＧＮＡは、背景画像１３２ＧＮの黒の画素の影響を受けた画像となり、合成画像ＣＭＧ１０には、前景画像と、背景画像との境界を示すようなノイズ（合成画像ＣＭＧ１０が示す黒い線）が発生する。

さらに、制御部１２０は、合成画像ＣＭＧ２０を更に拡大することにより、合成画像ＣＭＧ２０Ａを得る。合成画像ＣＭＧ２０Ａは、前述した処理により、汎用統合データを使用して再生された画像である。なお、合成画像ＣＭＧ２０Ａは、前景画像１３１Ｇと、背景画像１３２Ｇとの合成後の拡大処理により生成される画像である。合成画像ＣＭＧ２０Ａは、符号化された入力画像を再生した画像である。

したがって、合成後の拡大方法に関わらず、背景無効画素（背景画像１３２Ｇの黒の画素）による、前景画像と、背景画像との境界を示すようなノイズ（たとえば、黒い線）が新たに発生するなどの問題が生じることはない。

また、図示はしないが、前景画像１３１Ｇを、符号化する前の解像度とは異なる解像度に拡大（または縮小）し、前景画像１３１Ｇが拡大（または縮小）された前景画像と解像度が等しくなるように、背景画像１３２Ｇおよびマスク画像１２０ＭＧを拡大する場合も考えられる。

この場合、背景画像１３２Ｇを拡大して得られる背景画像（以下、拡大背景画像ともいう）は、前述したのと同様に、前景背景境界より、背景無効領域側に拡張して背景画像を保持する。そのため、境界を示すようなノイズは生じない。

また、前景画像１３１Ｇを拡大して得られる前景画像（以下、拡大前景画像ともいう）も、前景背景境界より、前景無効領域側に拡張して前景画像を保持する。そのため、境界を示すようなノイズは生じない。

以上説明したように、第１の実施の形態による処理によれば、画像再生時の拡大方法に関わらず、前景背景境界の近傍にノイズを発生しない、入力画像の符号化データを生成することができるという効果を奏する。すなわち、画質劣化の少ない画像を再生するための符号化データを提供することができるという効果を奏する。

また、第１の実施の形態では、処理対象となる入力画像を複数の層で別々に処理する。複数の層は、マスク層、前景層、背景層からなる。前景層では、入力画像または入力画像を縮小した画像に対し、文字、線またはエッジ部分を含む部分のブロック画像を非可逆符号化し、前景画像を生成する。

背景層では、入力画像または入力画像を縮小した画像に対し、文字、線およびエッジ部分のいずれも含まない部分のブロック画像を非可逆符号化し、背景画像を生成する。文字、線またはエッジ部分が含まれる前景画像は、背景画像以上の解像度を有する。

したがって、文字、線またはエッジ部分の画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

また、第１の実施の形態では、複数の層の画像データおよびデータを汎用性の高いフォーマットに従って関連付けし、１つのデータにする。したがって、汎用性の高いデータを作成することができるという効果を奏する。

また、第１の実施の形態では、所定のブロック画像単位で、処理対象のブロック画像が、文字または線が存在するか否かを判定する。また、所定のブロック画像単位で、非可逆符号化処理（たとえば、ＪＰＥＧによる符号化処理）を行なう。当該非可逆符号化処理は、ブロック単位で処理を行なう。

したがって、不要なブロック画像内のドント・ケア画素の画素値に起因する色にじみを防ぐことができる。その結果、不要なブロック画像に設定する画素値に関わらず、再生画像を一定の品質に保つことができるという効果を奏する。

＜第１の実施の形態の変形例＞
次に、マスク画像内の前景有効表示領域を拡張する、第１の実施の形態とは異なる処理について説明する。

第１の実施の形態の変形例における画像符号化装置は、第１の実施の形態における画像符号化装置１０００と同様なので詳細な説明は繰り返さない。

（符号化処理）
次に、第１の実施の形態の変形例における入力画像データを符号化する処理（以下、画像符号化処理Ｎともいう）について説明する。

図１６は、画像符号化処理Ｎのフローチャートである。画像符号化処理Ｎは、図２の画像符号化処理と比較して、ステップＳ１４０の代わりにステップＳ１４０Ｎの処理が行なわれる点が異なる。それ以外の処理は、画像符号化処理と同様である。画像符号化処理Ｎにおいて、画像符号化処理のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ１４０Ｎでは、マスク拡張処理ＡＮが行なわれる。
図１７は、マスク拡張処理ＡＮのフローチャートである。マスク拡張処理ＡＮは、図６のマスク拡張処理Ａと比較して、ステップＳ１４１と、ステップＳ１４２との間に、ステップＳ１４１Ｎの処理が行なわれる点が異なる。それ以外の処理は、画像符号化処理と同様である。マスク拡張処理ＡＮにおいて、マスク拡張処理Ａのステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ１４１Ｎでは、マスク画像拡大処理が行なわれる。マスク画像拡大処理では、マスク拡張部１０４Ａが、ステップＳ１４１の処理により読み出された複数の読み出しマスクデータＡが示すマスク画像ＭＡを、ニアレストネイバー（Nearest Neighbor）法により拡大する。具体的には、マスク拡張部１０４Ａが、マスク画像ＭＡの各画素を、４つの画素として複製することにより、マスク画像ＭＡの縦および横のサイズを２倍にした画像（以下、拡大マスク画像ともいう）を生成する。なお、拡大の倍率は、２倍に限定されることなく、他の倍率（たとえば、４倍）であってもよい。

そして、第１の実施の形態で説明したのと同様に、ステップＳ１４２以降の処理が行なわれる。

図１８は、拡大されたマスク画像内の前景有効表示領域を拡張する処理を説明するための図である。図１８を参照して、マスク画像１２０ＭＧは、複数の読み出しマスクデータＡにより示される画像（マスク画像ＭＡ）である。マスク画像１２０ＭＧにおいて、点線により示される１つの四角の領域は、１画素を示す。マスク画像１２０ＭＧは、図７で説明したので詳細な説明は繰り返さない。

拡大マスク画像２２０ＭＧＡは、ステップＳ１４１Ｎのマスク画像拡大処理によりマスク画像１２０ＭＧが拡大された画像である。すなわち、拡大マスク画像２２０ＭＧＡの１画素は、マスク画像１２０ＭＧの０．５画素と対応する。

第１の実施の形態のマスク拡張処理Ａでは、マスク画像拡大処理が行なわれない。そのため、図７のマスク画像１２０ＭＧに対し、図６のマスク拡張処理Ａが行なわれることにより、図７の拡張マスク画像１２０ＭＧＡが得られる。すなわち、前景有効表示領域拡張処理が、マスク画像１２０ＭＧの全ての画素に対して行なわれることにより、マスク画像１２０ＭＧの白の画素による領域（前景有効表示領域）が１画素分拡張される。拡張される方向は、たとえば、上、下、左、右、斜めの８方向である。

一方、拡大マスク画像２２０ＭＧＡに対し、図１７のマスク拡張処理ＡＮが行なわれることにより、図１８の拡張マスク画像２２２ＭＧが得られる。すなわち、図１７のステップＳ１４３の前景有効表示領域拡張処理が、拡大マスク画像２２０ＭＧＡの全ての画素に対して行なわれることにより、拡張マスク画像２２２ＭＧが得られる。

拡張マスク画像２２２ＭＧの解像度は、マスク画像１２０ＭＧの２倍となっている。ここで、拡張マスク画像１２０ＭＧＡの解像度は、１８．７５ｄｐｉであるとする。この場合、拡張マスク画像２２２ＭＧの解像度は、拡張マスク画像１２０ＭＧＡの解像度の２倍の３７．５ｄｐｉとなる。

また、拡張マスク画像２２２ＭＧは、マスク画像１２０ＭＧに対し、マスク画像１２０ＭＧの白の画素による領域（前景有効表示領域）が０．５画素分拡張された画像となる。拡張される方向は、たとえば、上、下、左、右、斜めの８方向である。

ここで、拡張マスク画像２２２ＭＧの解像度は、図７の拡張マスク画像１２０ＭＧＡの解像度の２倍となっている。しかしながら、前景画像の生成時には、拡張マスク画像２２２ＭＧおよび拡張マスク画像１２０ＭＧＡは、たとえば、図３に示した第１縮小画像１１１Ｇと同じ解像度となるように拡大される（図１８の拡大マスク画像２２２ＭＧＡ、図７の拡大マスク画像１２２ＭＧＡ参照）。そのため、拡張マスク画像２２２ＭＧと、図７の拡張マスク画像１２０ＭＧＡとが同じ解像度である必要はない。

また、圧縮効率を考慮すると、拡張マスク画像１２０ＭＧＡを使用する場合に比べて、拡張マスク画像２２２ＭＧを使用する方が有利である。すなわち、拡大マスク画像２２２ＭＧＡは、図７の拡大マスク画像１２２ＭＧＡより、前景有効表示画素（白の画素）の割合が少なく、前景画像として無効であることを示す画素（黒の画素）の割合が多い。そのため、第１の実施の形態の変形例では、圧縮効率を高めることを可能とする値（たとえば、黒の画素の画素値“０”）で埋められるブロックをより多く保持することができる。

すなわち、図１６のステップＳ２１０の処理により生成されるマスク符号化データの容量を、第１の実施の形態の図２のステップＳ２１０の処理により生成されるマスク符号化データの容量より小さくすることが可能となる。すなわち、第１の実施の形態の変形例では、マスク符号化データを使用して、フォーマット処理により生成される汎用統合データの容量を、第１の実施の形態よりさらに小さくすることができる。

＜第２の実施の形態＞
第２の実施の形態では、マスク符号化データを使用せずに汎用統合データを生成する点が、第１の実施の形態と異なる。マスク符号化データの代わりに、前景画像に透過色を設定することにより、マスク符号化データを使用する必要がなくなる。そのため、第１の実施の形態よりも、汎用統合データのデータ容量を小さくすることができる。

図１９は、第２の実施の形態における画像符号化装置１０００Ａの構成を示すブロック図である。図１９を参照して、画像符号化装置１０００Ａは、図１の画像符号化装置１０００と比較して、画像処理部１００の代わりに画像処理部１００Ａを備える点が異なる。それ以外の構成は、画像符号化装置１０００と同様なので詳細な説明は繰り返さない。

画像処理部１００Ａは、図１の画像処理部１００と比較して、マスク符号化部１０７およびマスク拡張部１０４Ａを含まない点と、透過色設定部１１２をさらに含む点とが異なる。なお、画像処理部１００Ａは、画像処理部１００と同様、記憶部１４０に記憶された画像符号化プログラム７２に従って、後述の処理を行なう。マスク生成部１０３は、前景画像生成部１０５に接続される。

透過色設定部１１２は、前景画像生成部１０５と、背景画像生成部１０６とに接続される。前景画像生成部１０５は、透過色を設定すべきブロック画像の情報を、透過色設定部１１２へ送信する。透過色設定部１１２は、透過色を設定すべきブロック画像の情報を、前景画像生成部１０５から受信する。透過色設定部１１２は、透過色を設定したブロック画像の情報を前景画像生成部１０５および背景画像生成部１０６へ送信する。また、透過色設定部１１２は、透過色に関する情報（以下、透過色情報ともいう）を、背景画像生成部１０６へ送信する。透過色情報は、たとえば、画像の画素値“０”を透過色として使用することを示す情報である。背景画像生成部１０６は、透過色設定部１１２から、透過色情報を受信する。

フォーマット部１１０は、前景画像符号化部１０８から、前景画像符号化データＡを受信する。前景画像符号化データＡは、前述の前景画像符号化データと比較して、透過色を示すデータを含む点が異なる。透過色の表現については、たとえば、透過色に設定する画素の画素値を“０”で表現し、画素値“０”が透過色であることを示すデータを別途設けることによって実現できる。なお、ある画素値が透過色であることを示すことは、たとえば、Ａｄｏｂｅ（登録商標）社のＰＤＦによって表現可能である。上記以外の画像処理部１００Ａの構成は、画像処理部１００と同様なので詳細な説明は繰り返さない。

透過色設定部１１２は、透過色を設定すべきブロック画像中の各画素に対して、透過色の色情報（たとえば、画素値“０”）を設定する。なお、透過色設定部１１２は、たとえば、専用のＬＳＩによって構成される。

また、前述のブロック像域判定部１０１、第１画像縮小部１０２Ａ、第２画像縮小部１０２Ｂ、マスク生成部１０３、マスク拡張部１０４Ｂ、前景画像生成部１０５、背景画像生成部１０６、前景画像符号化部１０８、背景画像符号化部１０９、フォーマット部１１０および透過色設定部１１２の各々が行なう処理は、専用のＬＳＩではなく、パーソナルコンピュータなどの一般的なコンピュータのマイクロプロセッサまたは制御部１２０により実行されてもよい。

この場合、たとえば、後述する画像符号化処理Ａをコンピュータまたは制御部１２０に実行させるためのプログラムとして記述してもよい。当該プログラムは、画像符号化プログラム７２であり、記録媒体７０に記録されて流通する。

コンピュータにより、後述する画像符号化処理Ａが実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、コンピュータが備える記録媒体アクセス部により、コンピュータが備える記憶部に読み込まれ、ＣＰＵで実行される。

制御部１２０により、後述する画像符号化処理Ａが実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、制御部１２０により実行される。

さらに、画像符号化プログラム７２は、インターネットなどのネットワークを介して他の装置からダウンロードされてもよい。

また、画像処理部１００Ａに含まれる、前述した複数の専用のＬＳＩとコンピュータのマイクロプロセッサとを組み合わせてもよい。また、前述した複数の専用のＬＳＩの一部または全てを一つの専用のＬＳＩとして構成してもよい。

（符号化処理）
次に、第２の実施の形態における画像符号化装置１０００Ａの具体的な処理内容について説明する。画像符号化装置１０００Ａでは、以下の画像符号化処理Ａが行なわれる。なお、画像符号化処理Ａが行なわれる前に、記憶部１４０に記憶されている入力画像データは、一時記憶部１３０に記憶されるとする。

図２０は、画像符号化処理Ａのフローチャートを示す。図２０を参照して、画像符号化処理Ａは、図２の画像符号化処理と比較して、ステップＳ１７０の代わりに、ステップＳ１７０Ａの処理が行なわれる点と、ステップＳ２４０の代わりに、ステップＳ２４０Ａの処理が行なわれる点と、ステップＳ１４０，Ｓ２１０の処理が行なわれない点が異なる。以下、異なる部分を主に説明する。

図２０を参照して、ステップＳ１０１では、第１の実施の形態と同様、画像処理部１００Ａが、一時記憶部１３０に記憶されている入力画像データを、所定のブロック単位で読み出す。なお、入力画像データの読出す順序は、前述した図２のステップＳ１０１の処理と同様なので詳細な説明は繰り返さない。

図２１は、第２の実施の形態において、画像符号化装置１０００Ａで処理される画像を示す図である。なお、図２１に示される各画像の解像度を忠実に図にて表現することは困難である。そのため、図２１では、前述した図１０のデータテーブルＴ１００の組合せ番号“１”に対応する解像度と、ブロックサイズの関係を想定して、相対的な関係を例示する。

図２１を参照して、入力画像１００Ｇは、入力画像データに基づく画像である。入力画像１００Ｇについては、前述したので詳細な説明は繰り返さない。

再び、図２０を参照して、画像データ読出し処理では、画像処理部１００は、読み出した所定のブロック単位の入力画像データ（入力ブロック画像データ）を、ブロック像域判定部１０１へ送信する。その後、ステップＳ１１０に進む。

ステップＳ１１０では、第１の実施の形態と同様、像域判定処理が行なわれるので詳細な説明は繰り返さない。

再び、図２１を参照して、画像１１０Ｇは、像域判定処理により設定された線分ブロックデータの状態を視覚的に分かりやすく示した画像である。画像１１０Ｇについては、前述したので詳細な説明は繰り返さない。

再び、図２０を参照して、ステップＳ１１０の処理の後、第１の実施の形態と同様、ステップＳ１２０のマスクデータ生成処理が行なわれるので詳細な説明は繰り返さない。

再び、図２１を参照して、マスク画像１２０ＭＧは、マスクデータ生成処理により設定されたマスクデータの状態を視覚的に分かりやすく示した画像である。マスク画像１２０ＭＧについては、前述したので詳細な説明は繰り返さない。

再び、図２０を参照して、ステップＳ１２０の処理の後、ステップＳ１３１の処理が行なわれる。

ステップＳ１３１では、第１の実施の形態と同様な処理が行なわれるので詳細な説明は繰り返さない。ステップＳ１３１において、ＹＥＳならば、ステップＳ１５０に進む。一方、ステップＳ１３１において、ＮＯならば、再度、ステップＳ１０１の処理が繰り返される。

ステップＳ１３１において、ＹＥＳと判定された時点では、一時記憶部１３０に、複数のマスクデータが記憶される。前述したように、一時記憶部１３０に記憶される複数のマスクデータから構成されるデータをマスク層データともいう。また、前述したように、マスク層データが示す画像をマスク画像ともいう。

ステップＳ１５０では、第１の実施の形態と同様、マスク拡張処理Ｂが行なわれるので詳細な説明は繰り返さない。この処理により、図２１の拡張マスク画像１２０ＭＧＢが得られる。拡張マスク画像１２０ＭＧＢについては、前述した図３の拡張マスク画像１２０ＭＧＢと同様なので詳細な説明は繰り返さない。

再び、図２０を参照して、ステップＳ１５０の処理の後、ステップＳ１６１に進む。
ステップＳ１６１では、第１の実施の形態と同様、画像データ読出し処理Ｎが行なわれるので詳細な説明は繰り返さない。この処理により、所定のブロック単位で読み出された入力画像データ（以下、入力ブロック画像データともいう）が、第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂへ送信される。

ステップＳ１６２では、第１の実施の形態と同様、画像縮小処理Ａが行なわれるので詳細な説明は繰り返さない。この処理により、第１画像縮小部１０２Ａが、生成した第１縮小ブロック画像のデータを、前景画像生成部１０５へ送信する。その後、ステップＳ１７０Ａに進む。

再び、図２１を参照して、第１縮小画像１１１Ｇは、第１画像縮小部１０２Ａにより、全ての入力ブロック画像が、画像縮小処理Ａにより、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第１縮小画像１１１Ｇについては、前述した図３の第１縮小画像１１１Ｇと同様なので詳細な説明は繰り返さない。

再び、図２０を参照して、ステップＳ１７０Ａでは、前景画像生成処理Ａが行なわれる。

図２２は、前景画像生成処理Ａのフローチャートである。前景画像生成処理Ａにおいて、図１２の前景画像生成処理のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行なわれるので詳細な説明は繰り返さない。

ステップＳ１７１Ａでは、前景画像生成部１０５が、第１画像縮小部１０２Ａから受信した第１縮小ブロック画像のデータの生成に使用された入力ブロック画像データに対応するマスクデータを、一時記憶部１３０から読み出す。以下においては、読み出されたマスクデータを、読出しマスクデータともいう。そして、ステップＳ１７２Ａに進む。

ステップＳ１７２Ａでは、第１画像縮小部１０２Ａから送信された第１縮小ブロック画像が、前景画像として有効であるか否かが判定される。具体的には、読出しマスクデータが“１”を示すか否かが、前景画像生成部１０５により判定される。読出しマスクデータが“１” を示す場合、第１縮小ブロック画像は前景画像として有効となる。一方、読出しマスクデータが“０” を示す場合、第１縮小ブロック画像は前景画像として無効となる。“１”（白の画素）を示す読出しマスクデータは、層データＡ（第１縮小ブロック画像のデータ）を使用することを示すデータである。

ステップＳ１７２Ａにおいて、ＹＥＳならば、ステップＳ１７４Ａに進む。一方、ステップＳ１７２Ａにおいて、ＮＯならば、ステップＳ１７４ＢＡに進む。

ステップＳ１７４Ａでは、第１の実施の形態と同様な処理が行なわれるので詳細な説明は繰り返さない。この処理により、前景画像生成部１０５が、受信した第１縮小ブロック画像のデータを、前景画像符号化部１０８へ送信する。その後、この前景画像生成処理Ａは終了し、図２０の画像符号化処理Ａに戻り、ステップＳ１７０Ａの次のステップＳ１８２に進む。

ステップＳ１７４ＢＡでは、前景画像生成部１０５が、第１縮小ブロック画像と同じサイズの画像の全ての画素の値を、透過色を示す値（以下、透過色値ともいう）に設定した画像（以下、透過色ブロック画像ともいう）を生成する。透過色値は、後述する背景画像生成処理で生成される黒ブロック画像の画素値と同一の値（たとえば、“０”）である。また、透過色ブロック画像は、たとえば、横１６画素、縦１６画素のサイズのブロック画像である。そして、前景画像生成部１０５は、生成した透過色ブロック画像のデータを、前景画像符号化部１０８へ送信する。

その後、透過色設定部１１２が、前景画像の画素値“０”が透過色であることを示す情報を、一時記憶部１３０に記憶させる。その後、この前景画像生成処理Ａは終了し、図２０の画像符号化処理Ａに戻り、ステップＳ１７０Ａの次のステップＳ１８２に進む。

再び、図２１を参照して、前景画像３００Ｇは、前景画像生成部１０５が、前景画像符号化部１０８へ送信する全てのブロック画像のデータから構成される画像である。前景画像３００Ｇの解像度は、第１縮小画像１１１Ｇの解像度と同じで、３００ｄｐｉである。前景画像３００Ｇは、前景画像生成処理Ａにより、マスク画像１２０ＭＧを示す複数のマスクデータと、層データＡが示す第１縮小画像１１１Ｇとを使用して生成される画像である。

マスク画像１２０ＭＧ内の白の画素は、“１”を示すマスクデータが示す画素である。マスク画像１２０ＭＧ内の黒の画素は、“０”を示すマスクデータが示す画素である。マスク画像１２０ＭＧ内の白の画素は、当該白の画素に対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像が、前景画像として有効であることを示す。すなわち、“１”を示すマスクデータに対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像は、前景画像３００Ｇの一部の画像としてそのまま使用される。

一方、マスク画像１２０ＭＧ内の黒の画素は、当該黒の画素に対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像が、前景画像として無効であることを示す。この場合、“０”を示すマスクデータに対応する、第１縮小画像１１１Ｇ内の第１縮小ブロック画像の全ての画素を黒（透過色値（たとえば、“０”））としたブロック画像が、前景画像３００Ｇの一部の画像として使用される。

ステップＳ１７４Ａで送信される画像は、たとえば、前景画像３００Ｇ内の透過色（黒色）のブロック画像以外のブロック画像である。また、ステップＳ１７４ＢＡで送信される画像は、たとえば、前景画像３００Ｇ内の透過色（黒色）のブロック画像である。

再び、図２０を参照して、ステップＳ１８２では、第１の実施の形態と同様、画像縮小処理Ｂが行なわれるので詳細な説明は繰り返さない。この処理により、第２画像縮小部１０２Ｂが、生成した第２縮小ブロック画像のデータを、背景画像生成部１０６へ送信する。その後、ステップＳ１９０に進む。

再び、図２１を参照して、第２縮小画像１１２Ｇは、画像縮小処理Ｂにおける第２画像縮小部１０２Ｂの処理により、入力画像１００Ｇ内の複数の入力ブロック画像が、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第２縮小画像１１２Ｇについては、前述した図３の第２縮小画像１１２Ｇと同様なので詳細な説明は繰り返さない。

ステップＳ１９０では、第１の実施の形態と同様、背景画像生成処理が行なわれるので詳細な説明は繰り返さない。

再び、図１２を参照して、背景画像１３２Ｇは、背景画像生成部１０６が、背景画像符号化部１０９へ送信する全てのブロック画像のデータから構成される画像である。背景画像１３２Ｇについては、前述した図３の背景画像１３２Ｇと同様なので詳細な説明は繰り返さない。

再び、図２０を参照して、ステップＳ２０１では、第１の実施の形態と同様な処理が行なわれるので詳細な説明は繰り返さない。ステップＳ２０１において、ＹＥＳならば、ステップＳ２２０に進む。一方、ステップＳ２０１において、ＮＯならば、再度、ステップＳ１６１の処理が繰り返される。

ステップＳ２２０では、第１の実施の形態と同様、前景画像符号化処理が行なわれるので詳細な説明は繰り返さない。この処理により、前景画像符号化部１０８が、前景画像符号化データを、フォーマット部１１０へ送信する。

ステップＳ２３０では、第１の実施の形態と同様、背景画像符号化処理が行なわれるので詳細な説明は繰り返さない。この処理により、背景画像符号化部１０９が、背景画像符号化データを、フォーマット部１１０へ送信する。そして、ステップＳ２４０Ａに進む。

ステップＳ２４０Ａでは、フォーマット処理Ａが行なわれる。フォーマット処理Ａでは、フォーマット部１１０が、受信した前景画像符号化データと、受信した背景画像符号化データとの関連付けを行なう。当該関連付けは、汎用性の高いデータフォーマットを使用して行なわれる。

汎用性の高いデータフォーマットの一例としては、Ａｄｏｂｅ（登録商標）社のＰＤＦである。なお、汎用性の高いデータフォーマットは、Ａｄｏｂｅ（登録商標）社のＰＤＦに限定されることなく、他のデータフォーマットであってもよい。

たとえば、前景画像符号化データおよび背景画像符号化データがＪＰＥＧ形式である場合、フォーマット部１１０は、以下の関連付け処理Ａを行なう。

関連付け処理Ａでは、フォーマット部１１０が、Ａｄｏｂｅ（登録商標）社のＰＤＦ形式に基づいて、前景画像符号化データおよび背景画像符号化データを関連付けた関連付けデータＡを作成する。なお、関連付けデータＡには、透過色情報が含まれる。前述したように、透過色情報は、たとえば、画像の画素値“０”を透過色として使用することを示す情報である。そして、フォーマット部１１０は、前景画像符号化データ、背景画像符号化データおよび関連付けデータＡを一つの符号化画像データとして、汎用統合データＡを生成する。

汎用統合データＡを復号する場合は、たとえば、前景画像符号化データをＪＰＥＧにより復号した復号前景画像と、背景画像符号化データをＪＰＥＧにより復号化した復号背景画像とを使用して行なわれる。

具体的には、まず、復号前景画像と、復号背景画像とのサイズが異なる場合、復号背景画像を、復号前景画像と同じサイズに拡大する処理が行なわれる。そして、復号背景画像を最下層の画像とし、復号前景画像を構成する複数の画素のうち、透過色を示す画素以外の１以上の画素の各々の画素値を、復号背景画像内の対応する位置に上書きする。ここで、透過色を示す画素の画素値は、たとえば“０”である。上記処理を繰返し行なうことにより、汎用統合データＡを復号化して、符号化する前の入力画像を得ることができる。

なお、前述の説明では、図２０のステップＳ１０１〜ステップＳ１２０までの処理を、ブロック画像単位で、一連の処理とし、図２０のステップＳ１５０〜ステップＳ１９０までの処理を、ブロック画像単位で、一連の処理として説明した。しかしながら、本発明の一つの特徴である、ステップＳ１５０のマスク拡張処理Ｂが実施されていれば、前述の処理の順に限定されるものではない。

たとえば、ステップＳ１０１〜ステップＳ１２０の一連の処理により画像全体に対する処理が一旦終了した後に、ステップＳ１５０のマスク拡張処理Ｂが行なわれるのではなく、以下のような処理が行なわれてもよい。

たとえば、１つのブロック画像から１つのマスクデータが得られる場合、画像符号化装置１０００Ａに、たとえば、画像の３ライン分のＦＩＦＯ（First In First Out）ラインバッファを設ける。そして、マスク拡張処理Ｂを行なうのに必要なマスクデータを、必要に応じて、ＦＩＦＯラインバッファに記憶させておく。そして、マスク拡張処理Ｂを行なうのに必要なマスクデータが揃い次第（上述の例では２ライン分の遅延にて）、マスク拡張処理Ｂを行なう。

また、ステップＳ１６２の画像縮小処理ＡおよびステップＳ１８２の画像縮小処理Ｂの各々において必要な画像データは、たとえば、前述のＦＩＦＯラインバッファに記憶させておく。以上のようにすることにより、図２０の画像符号化処理Ａにおいて、ステップＳ１３１の処理、ステップＳ１６１の画像データ読出し処理Ｎは、省略することが可能となる。

また、処理の順序についても前述の処理の順序に限定されるものではなく、本発明の一つの特徴である、ステップＳ１５０のマスク拡張処理Ｂが実施されていれば、本発明の主旨を逸脱しない範囲での処理の順序の入れ替えを行なってもよい。

たとえば、ステップＳ１６２の画像縮小処理Ａは、ステップＳ１７０Ａの前景画像生成処理Ａより前に行なわれ、ステップＳ１８２の画像縮小処理Ｂは、ステップＳ１９０の背景画像生成処理より前に行なわれていればよい。そのため、画像縮小処理Ａおよび画像縮小処理Ｂは、図２０の画像符号化処理Ａにおいて、ステップＳ１０１と、ステップＳ１３１との間で行なわれるようにしてもよい。

また、たとえば、図２０の画像符号化処理Ａにおいて、ステップＳ２２０の前景画像符号化処理を、ステップＳ１７０Ａの前景画像生成処理Ａの後に行なわれるようにし、ステップＳ２３０の背景画像符号化処理を、ステップＳ１９０の背景画像生成処理の後に行なわれるようにしてもよい。すなわち、前景画像符号化処理および背景画像生成処理は、ブロック画像単位で行なわれてもよい。

また、たとえば、ステップＳ２２０の前景画像符号化処理およびステップＳ２３０の背景画像符号化処理の各々は、順序を入れ替えてもよいし、並列に行なわれてもよい。

また、ステップＳ２４０のフォーマット処理をブロック画像単位で処理するようにしてもよい。すなわち、図２０のステップＳ２２０〜ステップＳ２４０Ａの処理を、ステップＳ１９０の後で、かつ、ステップＳ２０１の前に行なうようにしてもよい。

また、処理を並列化して同時に複数の処理がなされるようにしてもよい。たとえば、図２０のステップＳ１６２〜Ｓ１７０Ａの処理と、図２０のステップＳ１８２〜Ｓ１９０の処理とを、並列に行なってもよい。

また、ステップＳ１６２の画像縮小処理ＡおよびステップＳ１８２の画像縮小処理Ｂの各々では、ステップＳ１６１で読み出すブロック画像単位ではなく、独立した処理単位で画像を縮小するようにしてもよい。

（マスク拡張処理が行なわれない場合の画像）
次に、図２０の画像符号化処理Ａにおいて、本発明の特徴である、マスク拡張処理Ｂが行なわれない場合の画像について説明する。

図２３は、画像符号化処理Ａにおいて、マスク拡張処理Ｂが行なわれない場合の画像を示す図である。図２３を参照して、入力画像１００Ｇ、画像１１０Ｇ、マスク画像１２０ＭＧ、第１縮小画像１１１Ｇ、第２縮小画像１１２Ｇおよび前景画像３００Ｇは、それぞれ、図２１の入力画像１００Ｇ、画像１１０Ｇ、マスク画像１２０ＭＧ、第１縮小画像１１１Ｇ、第２縮小画像１１２Ｇおよび前景画像３００Ｇと同様なので詳細な説明は繰り返さない。

背景画像１３２ＧＮは、第１の実施の形態で説明した図１４の背景画像１３２ＧＮと同様なので詳細な説明は繰り返さない。

以上説明したように、第２の実施の形態では、マスク符号化データを使用せずに汎用統合データＡを生成するため、第１の実施の形態の奏する効果に加え、汎用統合データＡのデータ容量をさらに小さくすることができるという効果を奏する。

（画像の色空間）
なお、本発明に従う上述の実施の形態は、入力画像がカラー画像の場合において特に効果を発揮するが、グレースケール（輝度成分のみ）画像などに適用することも可能である。

（無効なブロック内の画素値）
第１の実施の形態においては、無効なブロック（複数のドント・ケア画素から構成されるブロック画像）の画素値について、符号化効率が向上するように任意の値を設定することが可能である。たとえば、ある無効ブロックの画素値は“０”に設定し、他の無効ブロックの画素値は“２５５”に設定することが可能である。

しかしながら、本発明の第２の実施の形態においては、無効なブロック（複数のドント・ケア画素から構成されるブロック画像）の画素値について、以下のような注意が必要である。

すなわち、透過色を、画像の表現に必要な画素値（たとえば、画素値“０”）に割り当てて表現する場合、有効なブロック画像中の画素値“０”についても透過色として扱われる可能性があるため、全ての層（マスク層、前景層、背景層）のデータまたは画像において、無効なブロック画素の画素値として“０”を設定しておくことが好ましい。

なお、透過色を、画像の表現に必要な画素値以外の値で表現することが可能である場合には、無効なブロック画像中の画素値について、符号化効率が向上するような任意の値を設定することが可能である。

第１の実施の形態および第２の実施の形態のいずれにおいても、上述のように無効なブロック画素中の画素値について任意の値を設定する場合、以下のようにすることができる。たとえば、非可逆符号化をＪＰＥＧ方式を用いて行なう場合、全ての無効なブロック画素中の全ての画素について、画素値“０”を設定すれば、複雑な処理を実行することなく、一般的に圧縮効率を高めることが可能である。

（マスク生成基準）
また、上述の説明では、処理対象のブロック画像が、前景画像として有効または無効であるかを示すマスクデータは、像域判定処理により設定された線分ブロックデータに基づいて生成される。線分ブロックデータは、処理対象のブロック画像が、文字・線を含む線分ブロック画像であるか否かを示すデータである。なお、線分ブロック画像は、文字、線に加え、エッジ部分を含む画像であってもよい。すなわち、線分ブロックデータは、処理対象のブロック画像が、文字、線またはエッジ部分を含む線分ブロック画像であるか否かを示すデータであってもよい。このとき、エッジ部分の有無の判定には、たとば、Ｓｏｂｅｌフィルタなどによる公知のエッジ抽出方法を用いればよい。

（画像縮小処理を行なわない場合）
また、上述の説明では、前景画像および背景画像を縮小する場合について説明した。しかしながら、前景画像および背景画像のどちらも縮小しない場合、あるいは前景画像および背景画像のいずれかのみを縮小する場合も考えられる。

すなわち、図２の画像符号化処理および図２０の画像符号化処理Ａにおいて、ステップ Ｓ１６２（画像縮小処理Ａ）およびステップＳ１８２（画像縮小処理Ｂ）のいずれか１つ、または両方の処理を行なわなくてもよい。

たとえば、図１０に示した画像の解像度とブロックサイズとの関係を示すデータテーブルＴ１００に示される、組合せ番号“２”、“３” 、“４”のいずれかに対応するデータで、処理が行なわれる場合、入力画像の解像度と前景画像の解像度は同じとなる。したがって、画像符号化処理および画像符号化処理Ａにおいて、ステップＳ１６２（画像縮小処理Ａ）を省略することができる。

また、本発明は、画像符号化装置１０００および画像符号化装置１０００Ａにおいて、第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂを省略しても実現可能である。この場合、入力画像、前景画像および背景画像の解像度が全て同じとなる。そして、ブロック画像単位の像域情報（線分ブロックデータ）に基づいて前景画像および背景画像を生成する。これにより、像域の特徴に応じた適切な符号化パラメータ（たとえば、ＪＰＥＧ方式における量子化パラメータなど）を用いて符号化することが可能である。

前述の通り、画像符号化装置１０００および画像符号化装置１０００Ａにおいて、第１画像縮小部１０２Ａおよび第２画像縮小部１０２Ｂのいずれか１つまたは両方を省略した場合、画像符号化処理および画像符号化処理Ａにおいて、対応する処理（たとえば、ステップＳ１６２の画像縮小処理Ａなど）は、適宜省略すればよい。

（３層以上の場合）
また、前述の説明では一つの入力画像を、ブロック画像単位で、前景層と背景層の二つの層に分類することを前提としているが、本発明は二つの層に分類する場合のみに留まらず、三つ以上の層に分類する場合においても同様に実施することが可能である。

たとえば、文字または線またはエッジを表現する層（前景画像Ａ）、写真を表現する層（前景画像Ｂ）、その他の成分を表現する層（背景画像）の三つに分類する場合においても、分類する単位がブロック画像単位であれば、本発明の主旨に則って処理することができる。

たとえば、ステップＳ１１０の像域判定処理において、文字、線またはエッジを含む像域、写真の像域、その他の像域の三つの像域に分類して、像域判定結果を示す像域判定データとして三種の値のいずれかを示し得るようにすればよい。たとえば、“０”は文字、線またはエッジ、“１”は写真、“２”はその他を示すようにすればよい。なお、Ｎ種の像域に分類する場合、同様に像域判定結果としてＮ種の値のいずれかを示し得るように構成すればよい。

また、ステップＳ１２０のマスクデータ生成処理において、たとえば、前景画像Ａについては、像域判定データに基づいて、“０”に対応するブロック画像は“前景画像Ａとして有効”、“１”または“２”に対応するブロック画像は“前景画像Ａとして無効”と設定して、前景画像Ａ用のマスク層データを生成すればよい。

さらに、前景画像Ｂについては、像域判定データに基づいて、“１”に対応するブロック画像は“前景画像Ｂとして有効”、“０”または“２”に対応するブロック画像は“前景画像Ｂとして無効”と設定して、前景画像Ｂ用のマスク層データを生成すればよい。なお、Ｎ種類の像域を設定した場合についても同様に、Ｎ−１個のマスク層データを生成すればよい。

また、Ｎ−１個のマスク層データに従うＮ−１個のマスク画像について、ステップＳ１４０のマスク拡張処理ＡまたはステップＳ１５０のマスク拡張処理Ｂを、適宜実行すればよい。すなわち、各マスク画像について、有効であることを示す情報が拡張されるように処理を施せばよい。

また、ステップＳ１７０の前景画像生成処理またはステップＳ１７０Ａの前景画像生成処理Ａでは、たとえば、前景画像Ａの有効無効情報に基づいて、前景画像Ａを生成し、前景画像Ｂの有効無効情報に基づいて、前景画像Ｂを生成すればよい。このとき、前景画像Ａまたは前景画像Ｂを生成する際に用いるマスクデータについては、上述の拡張処理が施されている。なお、Ｎ種類の像域を設定した場合についても同様に、Ｎ−１個の前景画像を生成すればよい。

また、ステップＳ１９０の背景画像生成処理において、処理対象のブロック画像が、たとえば、“前景画像Ａとして無効”で且つ“前景画像Ｂとして無効”であるブロック画像は、背景画像として有効なブロック画像として第２縮小ブロック画像データを設定する。処理対象のブロック画像が、“前景画像Ａとして有効”または“前景画像Ｂとして有効”のどちらか一つでも満たす場合、背景画像として無効なブロック画像として、たとえば、第２縮小ブロック画像と同じサイズの画像の全ての画素値を“０”に設定すればよい。この場合、背景画像を生成する際に用いるマスクデータについては、上述の拡張処理が施されている。

なお、Ｎ種類の像域を設定した場合においても同様に、処理対象のブロック画像が、Ｎ−１個の前景画像全てにおいて無効な場合、背景画像として有効なブロック画像とする。また、Ｎ−１個の前景画像のいずれか一つでも有効であるブロック画像は、背景画像として無効なブロック画像とすればよい。

三つ以上の層に分類する他の実施の形態として、ステップＳ１２０のマスクデータ生成処理において、前景画像の数と同じ数のマスク層のデータを生成する代わりに、一つのマスク層のデータが、２値ではなく、Ｎ種類の値のいずれかを示し得るように構成してもよい。この場合、ステップＳ２１０のマスク符号化処理では、多値画像の可逆符号化に適したＦＬＡＴＥなどの符号化方式を用いればよい。

ただし、この場合、ステップＳ１４０のマスク拡張処理Ａ、ステップＳ１５０のマスク拡張処理Ｂでは、上述の一つのマスク層データに従う一つのマスク画像に基づいて、たとえば、前景画像Ａ用、前景画像Ｂ用、背景画像用などのように、最大でＮ−１個の拡張マスク画像を生成する必要がある。

（入力画像の部分領域の層構造）
また、前述の説明では、層データ（たとえば、前景画像、背景画像、マスク層データ）が、入力画像全体を表現する（解像度のみ異なる）場合について説明した。しかしながら、本発明では、たとえば、背景画像が入力画像全体を表現する領域（解像度は低くてよい）を表現し、前景画像とマスク層データは、入力画像の部分領域を表現するように構成してもよい。

ただし、部分領域を表現するように構成する場合、ステップＳ２４０のフォーマット処理において、前景画像とマスク層データが背景画像上のどの部分領域に対応しているのかを示す情報を関連付けておく必要がある。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、たとえば、複写機や複合機のように画像を電子的に読み込み、データ容量を圧縮して、蓄積または伝送するような装置に適用することができる。

第１の実施の形態における画像符号化装置の構成を示すブロック図である。 画像符号化処理のフローチャートである。 第１の実施の形態において、画像符号化装置処理される画像を示す図である。 像域判定処理のフローチャートである。 マスクデータ生成処理のフローチャートである。 マスク拡張処理Ａのフローチャートである。 マスク拡張処理Ａを説明するための図である。 フィルタ対象画素を説明するための図である。 マスク拡張処理Ｂのフローチャートである。 データテーブルを示す図である。 各画像の解像度と、各画像の処理単位となるブロック画像の相対的な大小関係を例示した図である。 前景画像生成処理のフローチャートである。 背景画像生成処理のフローチャートである。 画像符号化処理において、マスク拡張処理Ａおよびマスク拡張処理Ｂが行なわれない場合の画像を示す図である。 第１の実施の形態の画像符号化処理により生成された汎用統合データを使用した画像の再生過程を説明するための図である。 画像符号化処理Ｎのフローチャートである。 マスク拡張処理ＡＮのフローチャートである。 拡大されたマスク画像内の前景有効表示領域を拡張する処理を説明するための図である。 第２の実施の形態における画像符号化装置の構成を示すブロック図である。 画像符号化処理Ａのフローチャートを示す。 第２の実施の形態において、画像符号化装置で処理される画像を示す図である。 前景画像生成処理Ａのフローチャートである。 画像符号化処理Ａにおいて、マスク拡張処理Ｂが行なわれない場合の画像を示す図である。 周囲参照拡大方法により画像を再生する場合の問題点を説明するための図である。

符号の説明

７０ 記録媒体、１００，１００Ａ 画像処理部、１０１ ブロック像域判定部、１０２Ａ 第１画像縮小部、１０２Ｂ 第２画像縮小部、１０３ マスク生成部、１０５ 前景画像生成部、１０６ 背景画像生成部、１０７ マスク符号化部、１０８ 前景画像符号化部、１０９ 背景画像符号化部、１１０ フォーマット部、１１２ 透過色設定部、１２０ 制御部、１３０ 一時記憶部、１４０ 記憶部、１５０ 記録媒体アクセス部、１０００，１０００Ａ 画像符号化装置。

Claims (15)

1. 入力画像内に所定の要素が存在するか否かの判定である像域判定を行なう像域判定手段と、
   前記入力画像のデータを使用して、第１層データおよび第２層データを生成する層データ生成手段と、
   前記像域判定手段が行なう前記像域判定の結果に基づいて、前記第１層データおよび前記第２層データのいずれかを使用することを示す複数の画素から構成されるマスク画像を生成するマスク生成手段と、
   前記マスク画像を構成する複数の画素のうち、前記第２層データの使用を示す画素の数を、前記マスク画像より増加させた基準拡張マスク画像を生成する拡張マスク生成手段と、
   前記第１層データを使用して、前記入力画像を再生するための第１層再生用データを生成し、かつ、前記第２層データおよび前記基準拡張マスク画像のデータを使用して、前記入力画像を再生するための第２層再生用データを生成する再生用データ生成手段とを備え、
   前記第１層再生用データが示す画像内において前記入力画像に対応する箇所の画像の画質は、前記第２層再生用データが示す画像内において前記入力画像に対応する箇所の画像の画質より高く、
   前記第１層再生用データおよび前記第２層再生用データを使用して前記入力画像が再生される場合であって、かつ、前記第１層再生用データが示す画像の一部と、前記第２層再生用データが示す画像の一部とが、前記入力画像内の同じ箇所に対応する場合、前記第１層再生用データが示す画像および前記第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより前記入力画像が再生され、
   前記第１層再生用データおよび前記第２層再生用データを符号化する符号化処理を行なうことにより、前記入力画像を再生するための符号化データを生成する符号化手段をさらに備える、画像符号化装置。
2. 前記第１層再生用データが示す画像は、前記第１層データが示す画像の一部と、所定の色を示す１以上のブロック画像とから構成される画像であり、
   前記第２層再生用データが示す画像は、前記第２層データが示す画像の一部と、前記所定の色を示す１以上のブロック画像とから構成される画像であり、
   前記第１層再生用データが示す画像の解像度は、前記第２層再生用データが示す画像の解像度より高く、
   前記第１層再生用データおよび前記第２層再生用データを使用して前記入力画像が再生される場合、前記第２層再生用データが示す画像は、周囲の画素を参照する拡大方法により、前記第１層再生用データが示す画像のサイズと同じサイズに拡大される、請求項１に記載の画像符号化装置。
3. 前記所定の色は、透過色であり、
   前記所定の色を示す１以上のブロック画像の各々を構成する複数の画素の値は、透過色を示す値である透過色値である、請求項２に記載の画像符号化装置。
4. 前記拡張マスク生成手段は、前記マスク画像を構成する複数の画素のうち、前記第１層データの使用を示す画素の数を、前記マスク画像より増加させた新設拡張マスク画像を生成し、
   前記再生用データ生成手段は、前記第１層データおよび前記新設拡張マスク画像のデータを使用して、前記入力画像を再生するための前記第１層再生用データを生成する、請求項１または２に記載の画像符号化装置。
5. 前記新設拡張マスク画像を構成する複数の画素の数と、前記マスク画像を構成する複数の画素の数は同じであり、
   前記基準拡張マスク画像を構成する複数の画素の数と、前記マスク画像を構成する複数の画素の数は同じであり、
   前記拡張マスク生成手段は、前記マスク画像を構成する複数の画素のうち、前記第１層データの使用を示す画素の近傍の画素を、前記第１層データの使用を示す画素に設定することにより、前記新設拡張マスク画像を生成し、かつ、前記マスク画像を構成する複数の画素のうち、前記第２層データの使用を示す画素の近傍の画素を、前記第２層データの使用を示す画素に設定することにより、前記基準拡張マスク画像を生成する、請求項４に記載の画像符号化装置。
6. 前記新設拡張マスク画像内の前記第１層データの使用を示す複数の画素は、それぞれ、前記第１層データが示す画像内の異なる複数のブロック画像を使用することを示し、
   前記基準拡張マスク画像内の前記第２層データの使用を示す複数の画素は、それぞれ、前記第２層データが示す画像内の異なる複数のブロック画像を使用することを示す、請求項４または５に記載の画像符号化装置。
7. 前記第１層データは、前記入力画像を縮小した画像を示し、
   前記第２層データは、前記入力画像を縮小した画像を示し、
   前記第１層データが示す画像の解像度は、前記第２層データが示す画像の解像度より高い、請求項１〜６のいずれかに記載の画像符号化装置。
8. 前記像域判定手段は、所定のブロック単位で前記像域判定を行なう、請求項１〜７のいずれかに記載の画像符号化装置。
9. 前記マスク生成手段は、前記像域判定手段により前記所定の要素が存在すると判定された場合、前記第１層データを使用することを示す画素を示すマスクデータを生成し、前記像域判定手段により前記所定の要素が存在しないと判定された場合、前記第２層データを使用することを示す画素を示すマスクデータを生成する、請求項１〜８のいずれかに記載の画像符号化装置。
10. 前記所定の要素は、文字または線である、請求項１〜９のいずれかに記載の画像符号化装置。
11. 前記符号化手段は、前記第１層再生用データおよび前記第２層再生用データを、それぞれ、異なる２種類のサイズのブロック単位で前記符号化処理を行なう、請求項１〜１０のいずれかに記載の画像符号化装置。
12. 前記符号化処理は、非可逆符号化処理である、請求項１〜１１のいずれかに記載の画像符号化装置。
13. 画像符号化装置が実行する画像符号化方法であって、
    入力画像内に所定の要素が存在するか否かの判定である像域判定を行なうステップと、
    前記入力画像のデータを使用して、第１層データおよび第２層データを生成するステップと、
    前記像域判定の結果に基づいて、前記第１層データおよび前記第２層データのいずれかを使用することを示す複数の画素から構成されるマスク画像を生成するステップと、
    前記マスク画像を構成する複数の画素のうち、前記第２層データの使用を示す画素の数を、前記マスク画像より増加させた基準拡張マスク画像を生成するステップと、
    前記第１層データを使用して、前記入力画像を再生するための第１層再生用データを生成し、かつ、前記第２層データおよび前記基準拡張マスク画像のデータを使用して、前記入力画像を再生するための第２層再生用データを生成するステップとを備え、
    前記第１層再生用データが示す画像内において前記入力画像に対応する箇所の画像の画質は、前記第２層再生用データが示す画像内において前記入力画像に対応する箇所の画像の画質より高く、
    前記第１層再生用データおよび前記第２層再生用データを使用して前記入力画像が再生される場合であって、かつ、前記第１層再生用データが示す画像の一部と、前記第２層再生用データが示す画像の一部とが、前記入力画像内の同じ箇所に対応する場合、前記第１層再生用データが示す画像および前記第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより前記入力画像が再生され、
    前記第１層再生用データおよび前記第２層再生用データを符号化する符号化処理を行なうことにより、前記入力画像を再生するための符号化データを生成するステップをさらに備える、画像符号化方法。
14. コンピュータが実行する画像符号化プログラムであって、
    入力画像内に所定の要素が存在するか否かの判定である像域判定を行なうステップと、
    前記入力画像のデータを使用して、第１層データおよび第２層データを生成するステップと、
    前記像域判定の結果に基づいて、前記第１層データおよび前記第２層データのいずれかを使用することを示す複数の画素から構成されるマスク画像を生成するステップと、
    前記マスク画像を構成する複数の画素のうち、前記第２層データの使用を示す画素の数を、前記マスク画像より増加させた基準拡張マスク画像を生成するステップと、
    前記第１層データを使用して、前記入力画像を再生するための第１層再生用データを生成し、かつ、前記第２層データおよび前記基準拡張マスク画像のデータを使用して、前記入力画像を再生するための第２層再生用データを生成するステップとを備え、
    前記第１層再生用データが示す画像内において前記入力画像に対応する箇所の画像の画質は、前記第２層再生用データが示す画像内において前記入力画像に対応する箇所の画像の画質より高く、
    前記第１層再生用データおよび前記第２層再生用データを使用して前記入力画像が再生される場合であって、かつ、前記第１層再生用データが示す画像の一部と、前記第２層再生用データが示す画像の一部とが、前記入力画像内の同じ箇所に対応する場合、前記第１層再生用データが示す画像および前記第２層再生用データが示す画像のうち、画質が高い画像の一部が使用されることにより前記入力画像が再生され、
    前記第１層再生用データおよび前記第２層再生用データを符号化する符号化処理を行なうことにより、前記入力画像を再生するための符号化データを生成するステップをさらに備える、画像符号化プログラム。
15. 請求項１４に記載の画像符号化プログラムを記録した、コンピュータ読取り可能な記録媒体。

Images