JP2007129456A - 画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体 - Google Patents

Abstract

【課題】符号化処理において画質の劣化を最小限に抑えつつ、データ容量を大幅に削減した汎用性の高いデータを作成可能な画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体を提供する。
【解決手段】入力画像を所定のブロック単位で像域判定し、像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成する。そして、生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理する。
【選択図】図２

Description

本発明は、画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体に関し、特に、複数の層毎に画像を処理する画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体に関する。

近年、紙の書類等、あらゆる物が電子化されるようになっている。そのため、電子化されたデータを記録する装置や媒体に、より多くのデータを記憶させるには、データ量の効率的な削減が求められる。

たとえば、文字および写真のような複数の異なる要素が配置された画像のデータを、記録装置または記録媒体に記録する際には、画像データの容量を効率よく削減する技術が重要となる。すなわち、画質劣化が小さく、かつ、データ容量の削減量が大きくなるように、符号化する技術が重要となる。以下においては、たとえば、文字、写真等の要素が表示される画像内の領域を像域ともいう。ここで、記録装置は、たとえば、パーソナルコンピュータ、複写機または複合機などに備えられるハードディスクである。また、記録媒体は、たとえば、ＣＤ−Ｒである。

特開平７−２１２６０１号公報（特許文献１）には、符号化処理で用いるマトリクス（ブロック）単位で像域分離を行ない、像域分離後の結果にマトリクスを使用した符号化を適用する技術（以下、従来技術Ａともいう）が開示されている。

また、特開平７−２１２６０１号公報（特許文献１）には、写真部をマトリクス単位で効率的に分離するための技術（以下、従来技術Ａともいう）が開示されている。従来技術Ａでは、写真部をマトリクス単位で符号化（たとえば、ＪＰＥＧ（Joint Photographic Coding Experts Group）し、文字部（写真以外の部分）を２値化して可逆符号化（たとえば、ランレングス符号化）する。これにより、複数の異なる像域から成る画像データを効率よく符号化することが可能である。

特開２００４−１８７０００号公報（特許文献２）には、ＩＴＵ−Ｔ勧告Ｔ．４４に規定されるＭＲＣ（Mixed Raster Content）に基づく技術（以下、従来技術Ｂともいう）が開示されている。

ＭＲＣでは、文字、線および写真など複数の異なる像域から成る画像データを、前景プレーン、背景プレーン、マスクプレーンの合計３層のプレーンに分離する。ここで、マスクプレーンとは、前景プレーンおよび背景プレーンのいずれを選択するかを示すプレーンである。そして、ＭＲＣでは、３層のプレーンを、個別に符号化する方式を規定している。

一般に、ＭＲＣを使用する画像符号化装置では、文字および線を表す前景プレーンと、写真などを表す背景プレーンとを選択する情報であるマスクプレーンは、画素単位で構成されている。

また、ＭＲＣを使用する画像符号化装置では、文字および線の高解像度での形状情報の保持はマスクプレーンに委ねて高解像度での可逆符号化を行なう。そして、文字および線の色情報を保持する前景プレーンと、解像度低下による劣化が目立たない写真などの背景プレーンとは、マスクプレーンに比べて低解像度で非可逆符号化される場合が多い。

また、特開２００４−１８７０００号公報（特許文献２）には、前景プレーン中における背景像域のドント・ケア（don't care）画素や、背景プレーン中における前景像域のドント・ケア画素の画素値の算出方法を工夫することにより、前景プレーンおよび背景プレーンの解像度を低解像度化する際に発生する、色濁りなどを低減する技術が開示されている。ここで、ドント・ケア画素とは、データを合成して画像を再生する際に参照されない画素のことである。

一方、画像データを電子的に記録する場合、データフォーマット（データ形式）の選択が重要となる。たとえば、一つの装置内で画像データを符号化して、保存し、復号処理も実行する場合は独自のデータフォーマットでもよい。しかしながら、符号化して、記録されたデータを装置間で伝送する場合などは、一般に広く用いられるデータフォーマットに従うことが好ましい。

たとえば、ＪＰＥＧ方式に従うデータフォーマットは、パーソナルコンピュータやデジタルスチルカメラなどで広く利用されている。また、Ａｄｏｂｅ社によって開発されたＰＤＦ（Portable Document Format）も、広く利用されている画像データフォーマットの一つである。
特開平７−２１２６０１号公報 特開２００４−１８７０００号公報

従来技術Ａでは、文字に対しては、２値化して可逆符号化する。したがって、従来技術Ａでは、写真像域中に存在する色文字や色線については、可逆符号化の対象とすることが困難となり、写真像域向けの符号化条件が適用される。

すなわち、従来技術Ａでは、色などの条件によっては、符号化することで文字や線の形状が見た目に劣化するという問題がある。さらに、従来技術Ａでは、広く利用されているデータフォーマットを使用しておらず、汎用性に欠けるという問題点がある。

また、従来技術Ｂでは、文字および線の形状情報の保持をマスクプレーンに委ねている。そのため、マスクプレーンを符号化する場合、高解像度で、かつ、可逆である必要があるため、マスクプレーンの保持に多くのデータ容量が必要となる。

また、従来技術Ｂでは、ドント・ケア画素に起因する色濁りを低減しているが、完全な回避は困難という問題点がある。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、符号化処理において画質の劣化を最小限に抑えつつ、データ容量を大幅に削減した汎用性の高いデータを作成可能な画像符号化装置を提供することである。

本発明の他の目的は、符号化処理において画質の劣化を最小限に抑えつつ、データ容量を大幅に削減した汎用性の高いデータを作成可能な画像符号化方法を提供することである。

本発明のさらに他の目的は、符号化処理において画質の劣化を最小限に抑えつつ、データ容量を大幅に削減した汎用性の高いデータを作成可能な画像符号化プログラムを提供することである。

本発明のさらに他の目的は、符号化処理において画質の劣化を最小限に抑えつつ、データ容量を大幅に削減した汎用性の高いデータを作成可能な画像符号化プログラムを記録した記録媒体を提供することである。

上述の課題を解決するために、この発明のある局面に従う画像符号化装置は、入力画像を所定のブロック単位で像域判定するブロック像域判定手段と、ブロック像域判定手段の像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成する層データ生成手段と、層データ生成手段が生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理する符号化手段とを備える。

この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

好ましくは、符号化手段は、各々が、２以上の層データのそれぞれに適する符号化条件で、２以上の層データのそれぞれに適するブロック単位で、２以上の層データをそれぞれ符号化処理する２以上のデータ符号化手段を含む。

この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

好ましくは、２以上の層データのうち、少なくとも１つの層データは画像データであり、層データ生成手段は、画像データである層データに基づく画像のうち、画像再生時に無効であると規定された１以上のブロック内の各々のブロック画像を構成する複数の画素値を設定し、層データ生成手段により設定された複数の画素値は、入力画像のデータを使用して設定される場合より、符号化手段が画像データの層データを符号化処理した符号化データ容量が小さくなる値である。

この発明に従えば、データ容量の削減量がより大きくなるように、かつ、設定した画素値に起因する色濁りの影響を再生画像に生じさせることなく、画像を符号化することができる。

好ましくは、２以上の層データのうち、少なくとも１つの層データは画像データであり、入力画像の解像度を変換した変換画像を生成する解像度変換手段をさらに備え、層データ生成手段は、画像データである層データに基づく画像のうち、画像再生時に有効であると規定された１以上のブロックにそれぞれ対応する、変換画像内の１以上のブロック画像のデータを設定する。

この発明に従えば、データ容量の削減量がより大きくなるように画像を符号化することができる。

好ましくは、入力画像を画素単位で像域判定する画素像域判定手段をさらに備え、ブロック像域判定手段は、画素像域判定手段の画素単位の像域判定結果に基づいて、ブロック単位の像域判定を行なう。

この発明に従えば、ブロック単位の像域判定をより正確に行なうことができる。
好ましくは、ブロック像域判定手段は、判定対象のブロックが、文字または線を含むか否かを判定し、層データ生成手段が生成した２以上の層データの少なくとも１つの層データは画像データであり、画像データである層データに基づく画像は、文字または線が表示される画像である。

この発明に従えば、高周波成分が比較的大きい文字または線を含むブロックに、適切なパラメータを設定して符号化を行い、文字または線を比較的高精細に保持して符号化することができる。

好ましくは、ブロック像域判定手段は、判定対象のブロックが、文字、線およびエッジ部の少なくとも１つを含むか否かを判定し、層データ生成手段が生成した２以上の層データの少なくとも１つの層データは画像データであり、画像データである層データに基づく画像は、文字、線およびエッジ部の少なくとも１つが表示される画像である。

この発明に従えば、像域の判定をブロック単位で行っているため、エッジに注目して層データを生成することができる。また、高周波成分が比較的大きい文字または線またはエッジを含むブロックに、適切なパラメータを設定して符号化を行い、文字または線またはエッジを比較的高精細に保持して符号化することができる。

好ましくは、２以上の層データのうち、少なくとも１つの層データは画像データであり、２以上の層データのうち、画像データ以外の層データのうち少なくとも１つの層データは、各々が、画像データである層データの画像再生時に所定のブロック単位で有効であるか無効であるかを示す複数のマスクデータから構成されるマスク層データである。

この発明に従えば、画素単位でマスクデータを生成する場合に比べて、複数のマスクデータから構成されるマスク層データの容量を削減することができる。

好ましくは、マスク層データを可逆符号化する可逆符号化手段をさらに備える。
この発明に従えば、マスク層データの容量を更に削減することができる。

好ましくは、２以上の層データのうち、少なくとも２つの層データは画像データであり、層データ生成手段は、画像データである層データに基づく画像のうち、画像再生時に無効であると規定された１以上のブロック内の各々のブロック画像を構成する複数の画素値を、透過色であるか否かを示す透過色値に設定する。

この発明に従えば、マスク層データを独立して保持することなく、複数の層データを重ね合わせて画像を再生することができる。

好ましくは、層データ生成手段は、画像データである少なくとも２つの層データのうち、透過色値が設定されていない、少なくとも１つの層データに基づく画像のうち、画像再生時に無効であると規定された１以上のブロック内の各々のブロック画像を構成する複数の画素値を、透過色値と同一の値に設定する。

この発明に従えば、透過色部分について下層のデータを用いる場合に、より正確に画像を再生することを可能とする。

好ましくは、複数のデータを関連付けた関連付けデータを生成するフォーマット手段をさらに備え、フォーマット手段は、符号化処理された２以上の層データと、可逆符号化されたマスク層データとを関連付ける。

この発明に従えば、汎用性の高いデータフォーマットを用いて表現することができる。
好ましくは、複数のデータを関連付けた関連付けデータを生成するフォーマット手段をさらに備え、フォーマット手段は、符号化処理された２以上の層データを関連付け、２以上の層データのうちの少なくとも１つの層データは、透過色値に設定されたデータを含む。

この発明に従えば、汎用性の高いデータフォーマットを用いて表現することができる。
好ましくは、符号化処理は、非可逆符号化処理である。

この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

好ましくは、非可逆符号化処理は、ＪＰＥＧ方式に従う符号化処理である。
この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

好ましくは、所定のブロックは、横および縦の画素数が等しく、画素数は８に自然数を乗じた値である。

この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

この発明の他の局面に従う画像符号化方法は、入力画像を所定のブロック単位で像域判定する工程と、像域判定する工程の像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成する工程と、２以上の層データを生成する工程が生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理する工程とを含む。

この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

好ましくは、符号化処理は、非可逆符号化処理である。
この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

この発明のさらに他の局面に従うと、コンピュータに画像処理を実行させるための画像符号化プログラムは、入力画像を所定のブロック単位で像域判定するステップと、像域判定するステップの像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成するステップと、２以上の層データを生成するステップが生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理するステップとをコンピュータに実行させる。

この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

好ましくは、符号化処理は、非可逆符号化処理である。
この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

この発明のさらに他の局面に従うと、記録媒体は、画像符号化プログラムを記録した媒体である。

この発明に従えば、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

本発明に係る画像符号化装置は、入力画像を所定のブロック単位で像域判定し、像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成する。そして、生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理する。

したがって、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

本発明に係る画像符号化方法は、入力画像を所定のブロック単位で像域判定し、像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成する。そして、生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理する。

したがって、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

本発明に係る画像符号化プログラムは、入力画像を所定のブロック単位で像域判定し、像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成する。そして、生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理する。

したがって、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

本発明に係る記録媒体は、画像符号化プログラムを記録する。画像符号化プログラムは、入力画像を所定のブロック単位で像域判定し、像域判定結果に基づいて、入力画像のデータを使用して、画像再生時に有効であるか無効であるかを所定のブロック単位で規定された２以上の層データを生成する。そして、生成した２以上の層データの各々に適する符号化条件で、２以上の層データの各々に適するブロック単位で、２以上の層データの各々を符号化処理する。

したがって、画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１は、第１の実施の形態における画像符号化装置１０００の構成を示すブロック図である。図１を参照して、画像符号化装置１０００は、画像処理部１００と、データバス５０と、制御部１２０と、一時記憶部１３０と、記憶部１４０と、記録媒体アクセス部１５０と、記録媒体７０とを備える。

データバス５０には、画像処理部１００、制御部１２０、一時記憶部１３０、記憶部１４０および記録媒体アクセス部１５０が接続されている。

記憶部１４０には、画像処理部１００および制御部１２０に後述する処理を行なわせるための画像符号化プログラム７２、入力画像データ、その他各種プログラムおよびデータ等が記憶されている。記憶部１４０は、画像処理部１００および制御部１２０によってデータアクセスされる。

記憶部１４０は、大容量のデータを記憶可能なハードディスクである。なお、記憶部１４０は、ハードディスクに限定されることなく、電源を供給されなくてもデータを不揮発的に保持可能な媒体（たとえば、フラッシュメモリ）であればよい。

画像処理部１００は、詳細は後述するが、記憶部１４０に記憶された画像符号化プログラム７２に従って、後述する画像処理を行なう。

制御部１２０は、記憶部１４０に記憶された画像符号化プログラム７２に従って、画像符号化装置１０００内の各部に対する各種処理や、演算処理等を行なう機能を有する。また、制御部１２０は、画像処理部１００で行なわれている処理を監視する機能を有する。

制御部１２０は、マイクロプロセッサ（Microprocessor）、プログラミングすることができるＬＳＩ（Large Scale Integration）であるＦＰＧＡ（Field Programmable Gate Array）、特定の用途のために設計、製造される集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）、その他の演算機能を有する回路のいずれであってもよい。

一時記憶部１３０は、データを一時的に記憶する機能を有する。一時記憶部１３０は、画像処理部１００および制御部１２０によってデータアクセスされ、ワークメモリとして動作する。一時記憶部１３０は、ＲＡＭ（Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate SDRAM）、ＲＤＲＡＭ（Rambus Dynamic Random Access Memory）、Ｄｉｒｅｃｔ−ＲＤＲＡＭ（Direct Rambus Dynamic Random Access Memory）、その他、データを揮発的に記憶保持可能な構成を有する回路のいずれであってもよい。

記録媒体７０には、前述した画像符号化プログラム７２が記録されている。
記録媒体アクセス部１５０は、画像符号化プログラム７２が記録された記録媒体７０から、画像符号化プログラム７２を読出す機能を有する。記録媒体７０に記憶されている画像符号化プログラム７２は、制御部１２０のインストール処理により、記録媒体アクセス部１５０から読み出され、記憶部１４０に記憶される。

このインストール処理用プログラムは、予め、記憶部１４０に格納されており、インストール処理は、制御部１２０が、インストール処理用プログラムに基づいて行なう。

なお、記憶部１４０には、画像符号化プログラム７２が記憶されていなくてもよい。この場合、制御部１２０は、記録媒体アクセス部１５０を介して、記録媒体７０に記憶された画像符号化プログラム７２を読み出して、画像符号化プログラム７２に基づいた所定の処理を行なう。

記録媒体７０は、画像符号化装置１０００から着脱可能な媒体である。すなわち、記録媒体７０に記録されている画像符号化プログラム７２は、媒体等に記録されてプログラム製品として流通される。また、記録媒体７０もプログラム製品として流通される。

記録媒体７０は、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＤＶＤ−Ｒ（Digital Versatile Disk Recordable）、ＤＶＤ−ＲＡＭ（Digital Versatile Disk Random Access Memory）、ＤＶＤ＋ＲＷ（Digital Versatile Disk Re-Writable）、ＤＶＤ−ＲＷ、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＭＯ（Magneto Optical Disk）、ＭＤ（Mini Disc）（登録商標）、フロッピー（登録商標）ディスク、着脱可能なハードディスク、ＣＦ(Compact Flash) カード、ＳＭ（Smart Media（登録商標））、ＭＭＣ（Multi Media Card）、ＳＤ（Secure Digital）メモリーカード、メモリースティック（登録商標）、ｘＤピクチャーカードおよびＵＳＢメモリ、カセットテープ、磁気テープ、ＩＣカード（メモリーカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ、その他不揮発性メモリのいずれであってもよい。

画像処理部１００は、ブロック像域判定部１０１と、第１画像縮小部１０２と、第２画像縮小部１０３と、マスク生成部１０４と、前景画像生成部１０５と、背景画像生成部１０６とを含む。

ブロック像域判定部１０１には、入力画像のデータ（以下、入力画像データともいう）が入力される。入力画像は、たとえば、図示しないイメージスキャナ等を用いて読み込まれた画像である。入力画像データは、ＲＧＢなどの色空間に従うデジタル画像データである。入力画像データは、記憶部１４０に記憶される。

ブロック像域判定部１０１は、詳細は後述するが、入力画像の像域種別を所定のブロック単位で判定する。ここで、所定のブロック単位とは、入力画像、前景画像および背景画像の各々の解像度と、前景画像符号化部１０８、背景画像符号化部１０９の各々の符号化処理単位に基づいて、システム設計者が予め設定すればよい。また、所定のブロック単位は、処理条件に応じて、予め設定したブロックサイズの中から、自動的に選択されるようにしてもよい。ブロックサイズの具体例については、後述する。

ブロック像域判定部１０１は、マスク生成部１０４と接続される。ブロック像域判定部１０１は、像域種別の判定結果をマスク生成部１０４へ出力する。なお、ブロック像域判定部１０１は、たとえば、専用のＬＳＩによって構成される。

第１画像縮小部１０２には、入力画像データが入力される。第１画像縮小部１０２は、入力画像の解像度を下げることにより、入力画像を縮小する。第１画像縮小部１０２は、前景画像生成部１０５と接続される。第１画像縮小部１０２は、縮小した入力画像（以下、第１縮小画像ともいう）のデータを、前景画像生成部１０５へ出力する。第１縮小画像は、文字、線等の像域に対し後述する処理が行なわれる画像である。なお、第１画像縮小部１０２は、たとえば、専用のＬＳＩによって構成される。

第２画像縮小部１０３には、入力画像データが入力される。第２画像縮小部１０３は、入力画像の解像度を下げることにより、入力画像を縮小する。第２画像縮小部１０３は、背景画像生成部１０６と接続される。第２画像縮小部１０３は、縮小した入力画像（以下、第２縮小画像ともいう）のデータを、背景画像生成部１０６へ出力する。第２縮小画像は、写真等の像域に対し後述する処理が行なわれる画像である。なお、第２画像縮小部１０３は、たとえば、専用のＬＳＩによって構成される。

ここで、第１縮小画像および第２縮小画像の解像度（サイズ）は、目標とする画質や符号化画像データ容量に応じて決定すればよい。

たとえば、第１縮小画像の縦および横方向の解像度（サイズ）は、入力画像の縦および横方向の解像度（サイズ）をそれぞれ、２のＭ乗の値および２のＭ’乗の値で除した値を有する解像度（サイズ）とすればよい。なお、Ｍ、Ｍ’は、０以上の整数とし、Ｍ＝Ｍ’の関係が成立することが好ましい。また、第２縮小画像の縦および横方向の解像度（サイズ）は、入力画像の縦および横方向の解像度（サイズ）をそれぞれ、２のＮ乗の値および２のＮ’乗の値で除した解像度（サイズ）とすればよい。なお、Ｎ、Ｎ’は、０以上の整数とし、Ｎ＝Ｎ’の関係が成立することが好ましい。

また、写真等の像域に対し後述する処理が行なわれる第２縮小画像の解像度は、文字、線等の像域に対し後述する処理が行なわれる第１縮小画像の解像度よりも、解像度が低いこと（Ｍ＜ＮかつＭ’＜Ｎ’）が好ましい。なぜなら、一般に、文字や線の解像度より、写真や背景色の解像度が低くても、写真や背景色の画質の劣化は目立たないからである。解像度の組み合わせに関する詳細な説明および具体例については、後述する。

第１画像縮小部１０２および第２画像縮小部１０３における、画像の縮小処理には、ニアレストネイバー（Nearest Neighbor）法、バイリニア（Bilinear）法、バイキュービック（Bicubic）法など、画像の解像度変換に一般的に用いられる既存の補間手法が使用される。

マスク生成部１０４は、ブロック像域判定部１０１と接続される。マスク生成部１０４は、ブロック像域判定部１０１で判定された像域種別の判定結果に基づいて、マスク（マスクデータ）を生成する。以下においては、複数のマスクデータから構成されるデータをマスク層データともいう。

マスクデータは、画像再生時に、処理対象のブロック画像が、前景画像として有効または無効であるかを示す情報である。ここで、ブロック画像とは、ブロック単位の画像のことをいう。また、「有効」とは、画像再生時に下層（本実施の形態では背景層）を上書きすることを示す。また、「無効」とは、画像再生時に下層（本実施の形態では背景層）のデータをそのまま用いることを示す。

本実施の形態では、画像またはデータが、３層構造で処理される。１つ目の層は、マスク層である。マスク層では、マスク層データ、後述するマスク符号化データが処理される。２つ目の層は、前景層である。前景層は、前景画像が処理される。３つ目の層は、背景層である。背景層は、背景画像が処理される。

画像処理部１００は、さらに、マスク符号化部１０７と、前景画像符号化部１０８と、背景画像符号化部１０９と、フォーマット部１１０とを含む。

マスク生成部１０４は、マスク符号化部１０７と接続される。マスク生成部１０４は、生成したマスクをマスク符号化部１０７へ出力する。

また、マスク生成部１０４は、前景画像生成部１０５と接続される。マスク生成部１０４は、生成したマスクデータを前景画像生成部１０５へ出力する。また、マスク生成部１０４は、背景画像生成部１０６と接続される。マスク生成部１０４は、生成したマスクデータを背景画像生成部１０６へ出力する。なお、マスク生成部１０４は、たとえば、専用のＬＳＩによって構成される。

前景画像生成部１０５は、マスク生成部１０４と、第１画像縮小部１０２とに接続される。前景画像生成部１０５は、マスク生成部１０４で生成された複数のマスクデータからなるマスク層データに基づいて、第１画像縮小部１０２で縮小された第１縮小画像のデータを使用して、前景画像（前景層データ）を生成する。また、前景画像生成部１０５は、前景画像符号化部１０８と接続される。前景画像生成部１０５は、生成した前景画像のデータを前景画像符号化部１０８へ出力する。なお、前景画像生成部１０５は、たとえば、専用のＬＳＩによって構成される。

背景画像生成部１０６は、マスク生成部１０４と、第２画像縮小部１０３とに接続される。背景画像生成部１０６は、マスク生成部１０４で生成された複数のマスクデータからなるマスク層データに基づいて、第２画像縮小部１０３で縮小された第２縮小画像のデータを使用して、背景画像（背景層データ）を生成する。また、背景画像生成部１０６は、背景画像符号化部１０９と接続される。背景画像生成部１０６は、生成した背景画像のデータを背景画像符号化部１０９へ出力する。なお、背景画像生成部１０６は、たとえば、専用のＬＳＩによって構成される。

マスク符号化部１０７は、マスク生成部１０４と接続される。マスク符号化部１０７は、マスク生成部１０４で生成された複数のマスクデータからなるマスク層データを可逆符号化する。マスクデータは、前述したように、対応するブロック画像が、前景画像として有効であるか否かを示すデータである。

可逆符号化では、各画素（または各ブロック）単位における選択のための情報を２値で表現する場合（２値画像データを使用する場合）、２値画像の可逆符号化に適した符号化方式が使用される。当該符号化方式は、ＭＲ（Modified Read）、ＭＭＲ（Modified Modified Read）、ＪＢＩＧ（Joint Bi-level Image Coding Expert Group）等のいずれの符号化方式であってもよい。

マスク符号化部１０７は、フォーマット部１１０と接続される。マスク符号化部１０７は、符号化したマスクデータをフォーマット部１１０へ出力する。なお、マスク符号化部１０７は、たとえば、専用のＬＳＩによって構成される。

前景画像符号化部１０８は、前景画像生成部１０５と接続される。前景画像符号化部１０８は、前景画像生成部１０５で生成された前景画像を非可逆符号化する。非可逆符号化を行なう符号化方式は、多値画像の符号化に好適なＪＰＥＧ方式が使用される。なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、他の符号化方式であってもよい。

また、前景画像符号化部１０８は、フォーマット部１１０と接続される。前景画像符号化部１０８は、符号化した前景画像のデータをフォーマット部１１０へ出力する。なお、前景画像符号化部１０８は、たとえば、専用のＬＳＩによって構成される。

背景画像符号化部１０９は、背景画像生成部１０６と接続される。背景画像符号化部１０９は、背景画像生成部１０６で生成された背景画像を非可逆符号化する。非可逆符号化を行なう符号化方式は、多値画像の符号化に好適なＪＰＥＧ方式が使用される。なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、他の符号化方式であってもよい。

また、背景画像符号化部１０９は、フォーマット部１１０と接続される。背景画像符号化部１０９は、符号化した背景画像のデータをフォーマット部１１０へ出力する。なお、背景画像符号化部１０９は、たとえば、専用のＬＳＩによって構成される。

フォーマット部１１０は、マスク符号化部１０７、前景画像符号化部１０８および背景画像符号化部１０９と接続される。フォーマット部１１０は、マスク符号化部１０７、前景画像符号化部１０８および背景画像符号化部１０９で、それぞれ生成された、マスク符号化データ、前景符号化データ、背景符号化データを統合的に取り扱うことができるように関係付けたデータ（以下、関係付けデータともいう）を作成する。

フォーマット部１１０は、マスク符号化データ、後述する前景画像符号化データ、後述する背景画像符号化データおよび関係付けデータを一つの符号化画像データとして、たとえば、一つの汎用的な電子データ（以下、汎用統合データともいう）を生成する。なお、汎用統合データは、図１の圧縮画像データに相当する。フォーマット部１１０が生成する汎用統合データのフォーマットは、たとえば、Ａｄｏｂｅ社のＰＤＦに従うデータフォーマットである。

フォーマット部１１０は、汎用統合データを、データバス５０を介して、一時記憶部１３０または記憶部１４０に記憶させる。また、フォーマット部１１０は、汎用統合データを、ＬＡＮ（Local Area Network）などの通信経路を介して外部機器へ出力してもよい。

なお、前述の説明では、第１画像縮小部１０２および第２画像縮小部１０３は、それぞれ異なる構成要素として説明した。しかしながら、第１画像縮小部１０２および第２画像縮小部１０３は、一つの画像縮小部として構成されてもよい。この場合、画像縮小部は、解像度変換時のパラメータを変更して、適宜、第１画像縮小部１０２または第２画像縮小部１０３の機能による処理を行なえばよい。

また、前述の説明では、前景画像符号化部１０８および背景画像符号化部１０９は、それぞれ異なる構成要素として説明した。しかしながら、前景画像符号化部１０８および背景画像符号化部１０９のどちらもＪＰＥＧ方式を用いる場合、前景画像符号化部１０８および背景画像符号化部１０９は、一つのＪＰＥＧ符号化ＬＳＩとして構成されてもよい。

また、前述のブロック像域判定部１０１、第１画像縮小部１０２、第２画像縮小部１０３、マスク生成部１０４、前景画像生成部１０５、背景画像生成部１０６、マスク符号化部１０７、前景画像符号化部１０８、背景画像符号化部１０９およびフォーマット部１１０の各々が行なう処理は、専用のＬＳＩではなく、パーソナルコンピュータなどの一般的なコンピュータのマイクロプロセッサまたは制御部１２０により実行されてもよい。この場合、たとえば、後述する画像符号化処理をコンピュータまたは制御部１２０に実行させるためのプログラムとして記述してもよい。当該プログラムは、画像符号化プログラム７２であり、記録媒体７０に記録されて流通する。

コンピュータにより、後述する画像符号化処理が実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、コンピュータが備える記録媒体アクセス部により、コンピュータが備える記憶部に読み込まれ、ＣＰＵ（Central Processing Unit）で実行される。

制御部１２０により、後述する画像符号化処理が実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、制御部１２０により実行される。

さらに、画像符号化プログラム７２は、インターネットなどのネットワークを介して他の装置からダウンロードされてもよい。

また、画像処理部１００に含まれる、前述した複数の専用のＬＳＩとコンピュータのマイクロプロセッサとを組み合わせてもよい。また、前述した複数の専用のＬＳＩの一部または全てを一つの専用のＬＳＩとして構成してもよい。

次に、第１の実施の形態における画像符号化装置１０００の具体的な処理内容について説明する。

図２は、第１の実施の形態において、画像符号化装置１０００で実行される画像符号化処理のフローチャートを示す。図２を参照して、ステップＳ１０１では、画像データ読出し処理が行なわれる。画像データ読出し処理では、画像処理部１００が、記憶部１４０に記憶されている入力画像データを、所定のブロック単位で読み出す。

図３は、第１の実施の形態において、画像符号化装置１０００で処理される画像を示す図である。なお、図３に示される各画像の解像度を忠実に図にて表現することは困難である。そのため、図３では、後述する図６のデータテーブルＴ１００の組合せ番号“１”に対応する解像度と、ブロックサイズの関係を想定して、相対的な関係を例示する。

図３を参照して、入力画像１００Ｇは、入力画像データに基づく画像である。入力画像１００Ｇは、文字と、写真とが配置された画像である。なお、写真が表示されている領域内には、文字も配置されている。

ステップＳ１０１の画像データ読出し処理において、読み出される画像は、たとえば、所定のブロックに対応する領域１００Ｒ内の画像である。領域１００Ｒのサイズは、たとえば、横３２画素、縦３２画素のサイズである。ステップＳ１０１の処理が繰り返される毎に、領域１００Ｒの位置は、前回の位置と重ならない位置に移動する。なお、初めてステップＳ１０１の処理が行なわれるときは、領域１００Ｒの位置は、入力画像１００Ｇの左上である。

具体的には、ステップＳ１０１の処理が繰り返される毎に、領域１００Ｒの位置は、右に移動する。そして、領域１００Ｒの位置が入力画像１００Ｇの右端になると、次のステップＳ１０１の処理では、領域１００Ｒの位置は、領域１００Ｒの縦のサイズだけ下の位置であって、入力画像１００Ｇの左端に移動する。上記処理が、繰り返されることにより、最終的に、領域１００Ｒの位置は、入力画像１００Ｇの右下の位置（領域１００ＲＦの位置）まで移動する。

再び、図２を参照して、読み出された所定のブロック単位の入力画像データは、ブロック像域判定部１０１、第１画像縮小部１０２および第２画像縮小部１０３へ入力される。以下においては、ブロック単位の画像データを、ブロック画像データともいう。また、前述したように、ブロック単位の画像のことをブロック画像という。また、画像データが入力画像データである場合のブロック画像データを入力ブロック画像データともいう。画像が入力画像である場合のブロック画像を入力ブロック画像ともいう。その後、ステップＳ１１０に進む。

ステップＳ１１０では、像域判定処理が行なわれる。像域判定処理では、ブロック像域判定部１０１が、ステップＳ１０１により入力された入力ブロック画像データに対し、後述する処理を行なう。ブロック像域判定部１０１は、領域１００Ｒ内の各画素単位ではなく、所定のブロック画像（たとえば、領域１００Ｒ内の画像）単位で後述する処理を行なう。この点が、本発明の一つの特徴である。像域判定処理は、処理対象の像域（ブロック画像）が、文字または線が存在する像域（ブロック画像）あるか否かを判定する処理である。

図４は、像域判定処理のフローチャートである。図４を参照して、ステップＳ１１２では、ブロック像域判定部１０１が、入力された入力ブロック画像（領域１００Ｒ内の画像）内に、文字または線が存在するか否かを判定する。当該判定は、予め生成した画素単位マスクプレーンに基づいて行なわれる。

画素単位マスクプレーンは、入力画像の各画素が、文字または線画部分に該当する画素であるか否かを示す複数のデータ（以下、文字判定データともいう）から構成される。したがって、画素単位マスクプレーンは、入力画像（たとえば、入力画像１００Ｇ）の全画素数と同じ数の文字判定データから構成される。また、複数の文字判定データは、入力画像の複数の画素（全画素）にそれぞれ対応する。

本実施の形態では、文字判定データが、入力画像の文字または線画部分に該当する画素に対応する場合、文字判定データを“１”とする。また、文字判定データが、入力画像の文字または線画部分に該当しない画素に対応する場合、文字判定データを“０”とする。

画素単位マスクプレーンの作成は、たとえば、入力画像の各画素の輝度データを用いて、特開平２−１２３４７９号公報または特開平２−１５５０８７号公報に開示されている技術により行なわれる。具体的には、制御部１２０が、記憶部１４０に記憶されている入力画像データから、予め用意した尾根画素検出パターンを適用して尾根画素を検出する。そして、制御部１２０が、予め定めた領域単位で計数することより、計数値に基づいて文字または線画部分に該当する画素であるか否かを判定し、複数の文字判定データの各々を“１”または“０”に設定する。制御部１２０は、以上の処理により生成した画素単位マスクプレーンを、記憶部１４０に記憶させる。なお、画像符号化装置１０００の外部で、画素単位マスクプレーンを予め生成し、記憶部１４０に記憶させてもよい。

次に、入力されたブロック画像（領域１００Ｒ内の画像）内に、文字または線が存在するか否かを判定する具体的な処理を説明する。

ブロック像域判定部１０１は、記憶部１４０に記憶された画素単位マスクプレーンを参照し、入力されたブロック画像（領域１００Ｒ内の画像）内の複数の画素にそれぞれ対応する複数の文字判定データのうち、“１”に設定された文字判定データが１つ以上あるか否かを判定する。“１”に設定された文字判定データが１つ以上あれば、ブロック画像内には、文字または線が存在することになる。なお、判定の対象となる“１”に設定された文字判定データの数は、１以上に限定されることなく、Ｎ（２以上の自然数）以上であってもよい。以下においては、文字または線が存在するブロック画像を、線分ブロック画像ともいう。また、文字または線が存在しないブロック画像を、非線分ブロック画像ともいう。

なお、ブロック像域判定部１０１は、複数の文字判定データが、全て“１”に設定されている場合、判定対象のブロック画像を、線分ブロック画像と判定してもよい。ブロック像域判定部１０１は、複数の文字判定データのうち、“０”に設定された文字判定データが１つ以上ある場合、判定対象のブロック画像を、非線分ブロック画像と判定してもよい。

ステップＳ１１２において、ＹＥＳならば、ステップＳ１１４Ａに進む。一方、ステップＳ１１２において、ＮＯならば、ステップＳ１１４Ｂに進む。

なお、ステップＳ１１２では、予め生成した画素単位マスクプレーンを使用しなくても、判定対象のブロック画像が、線分ブロック画像および非線分ブロック画像のいずれであるか判定することが可能である。

次に、画素単位マスクプレーンを使用せず、判定対象のブロック画像内の複数の画素値を用いて、判定対象のブロック画像が、線分ブロック画像および非線分ブロック画像のいずれであるか判定する方法を説明する。

この方法は、特開平５−０１４７０１号公報に開示されている技術を用いる。具体的には、まず、ブロック像域判定部１０１が、判定対象のブロック画像内の複数の画素値から最大濃度レベルと最小濃度レベルの差を求める。次に、ブロック像域判定部１０１は、濃度レベルの差のデータに基づいて閾値（たとえば、中間レベル）を定める。次に、ブロック像域判定部１０１は、ブロック内の画素を所定の方向に走査した際に濃度レベルが極大および極小となる点を抽出し、極大および極小の画素レベルの差からパルスの高さを求める。次に、ブロック像域判定部１０１は、求めたパルスの高さが、上記の閾値よりも大きい場合について計数する。次に、ブロック像域判定部１０１は、計数値が所定の値よりも小さいか否かで、判定対象のブロック画像が、線分ブロック画像または非線分ブロック画像であると判定することができる。

また、他の方法としては、特開平５−１１４０４５号公報に開示されている技術を用いる。具体的には、まず、ブロック像域判定部１０１が、「判定対象のブロック画像内で所定の閾値以上の濃度（たとえば、閾値以下の輝度値）を持つ画素の総数」を「判定対象のブロック画像内の画素の総数」で除算した値（以下、黒画素密度ともいう）を算出する。次に、ブロック像域判定部１０１は、黒画素密度の大小に基づいて、判定対象のブロック画像が、線分ブロック画像または非線分ブロック画像であるか判定することができる。すなわち、線分ブロック画像では黒画素密度が比較的小さい傾向にあることを利用する。

また、他の方法としては、特開平５−１１４０４５号公報に開示されている技術を用いる。具体的には、まず、ブロック像域判定部１０１が、「判定対象のブロック画像内で所定の閾値以上の画素値（輝度値）を持つ画素の総数」を「判定対象のブロック画像内の画素の総数」で除算した値（以下、黒画素密度ともいう）を算出する。次に、ブロック像域判定部１０１は、黒画素密度の大小に基づいて、判定対象のブロック画像が、線分ブロック画像または非線分ブロック画像であるか判定することができる。すなわち、線分ブロック画像では黒画素密度が比較的小さい傾向にあることを利用する。

また、他の方法としては、文字、線に加え、エッジ部分も判定に利用する。具体的には、まず、ブロック像域判定部１０１が、判定対象のブロック画像について横および縦の各方向にＳｏｂｅｌオペレータなどの微分（または差分）オペレータを適用して、対応する画素単位で適用結果の絶対値を加算して傾きの大きさを算出する。

次に、ブロック像域判定部１０１は、算出した傾きの大きさが閾値より大きい画素を文字・線またはエッジ部分であると判定する。判定対象のブロック画像が、文字・線またはエッジ部分を含む場合、ブロック像域判定部１０１は、判定対象のブロック画像が、文字・線またはエッジ部分を含む線分ブロック画像であると判定することができる。

なお、判定対象のブロック画像が、文字・線またはエッジ部分を含むか否かの判定は、判定対象のブロック画像の画素値および当該ブロック画像の周辺の画素値を用いて行なわれてもよい。

ステップＳ１１４Ａでは、ブロック像域判定部１０１が、線分ブロックデータを“１”に設定する。線分ブロックデータは、処理対象のブロック画像が、線分ブロック画像であるか否かを示すデータである。線分ブロックデータが“１”に設定されている場合は、処理対象のブロック画像が、線分ブロック画像であることを示す。一方、線分ブロックデータが“０”に設定されている場合は、処理対象のブロック画像が、非線分ブロック画像であることを示す。

ブロック像域判定部１０１は、“１”に設定した線分ブロックデータを、マスク生成部１０４へ送信する。また、ブロック像域判定部１０１は、処理対象のブロック画像を特定する情報と対応づけて、“１”に設定した線分ブロックデータを、一時記憶部１３０に記憶させる。その後、この像域判定処理は終了し、図２の画像符号化処理に戻り、ステップＳ１１０の次のステップＳ１２０に進む。

ステップＳ１１４Ｂでは、ブロック像域判定部１０１が、線分ブロックデータを“０”に設定する。ブロック像域判定部１０１は、“０”に設定した線分ブロックデータを、マスク生成部１０４へ送信する。また、ブロック像域判定部１０１は、処理対象のブロック画像を特定する情報と対応づけて、“０”に設定した線分ブロックデータを、一時記憶部１３０に記憶させる。その後、この像域判定処理は終了し、図２の画像符号化処理に戻り、ステップＳ１１０の次のステップＳ１２０に進む。

再び、図３を参照して、画像１１０Ｇは、像域判定処理により設定された線分ブロックデータの状態を視覚的に分かりやすく示した画像である。入力画像１００Ｇに対し、ブロック画像単位で前述の像域判定処理を行なった場合、処理対象のブロック画像が、線分ブロック画像と判定されたブロック画像内の全画素は、白（たとえば、画素値“１”）で示される。また、処理対象のブロック画像が、非線分ブロック画像と判定されたブロック画像内の全画素は、黒（たとえば、画素値“０”）で示される。

再び、図２を参照して、ステップＳ１２０では、マスク生成処理が行なわれる。マスク生成処理では、像域判定処理により設定された線分ブロックデータに基づいて、マスクデータが生成される。マスクデータは、処理対象のブロック画像が、前景画像として有効であるか否かを示すデータである。マスクデータは、“０”または“１”のいずれかを示す１ビットのデータである。

マスクデータが“１”に設定された場合、処理対象のブロック画像は、前景画像として有効となる。一方、マスクデータが“０”に設定された場合、処理対象のブロック画像は、前景画像として無効となる。マスクデータは、ステップＳ１１０の像域判定処理で処理される１つのブロック画像に対し、１つの値を示す。なお、マスクデータは、ステップＳ１１０の像域判定処理で処理される１つのブロック画像内の全ての画素に対し、１つの値を示してもよい。

図５は、マスク生成処理のフローチャートである。図５を参照して、ステップＳ１２２では、処理対象のブロック画像が、線分ブロック画像であるか否かが判定される。具体的には、マスク生成部１０４が、受信した線分ブロックデータが“１”に設定されているか否かを判定する。ステップＳ１２２において、ＹＥＳならば、ステップＳ１２４Ａに進む。一方、ステップＳ１２２において、ＮＯならば、ステップＳ１２４Ｂに進む。

ステップＳ１２４Ａでは、マスク生成部１０４が、マスクデータを“１”に設定する。すなわち、処理対象のブロック画像は、前景画像として有効となる。マスク生成部１０４は、“１”に設定したマスクデータを、マスク符号化部１０７、前景画像生成部１０５および背景画像生成部１０６へ送信する。また、マスク生成部１０４は、処理対象のブロック画像を特定する情報と対応づけて、“１”に設定したマスクデータを、一時記憶部１３０に記憶させる。その後、このマスク生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１２０の次のステップＳ１３２に進む。

ステップＳ１２４Ｂでは、マスク生成部１０４が、マスクデータを“０”に設定する。すなわち、処理対象のブロック画像は、前景画像として無効となる。マスク生成部１０４は、“０”に設定したマスクデータを、マスク符号化部１０７、前景画像生成部１０５および背景画像生成部１０６へ送信する。また、マスク生成部１０４は、処理対象のブロック画像を特定する情報と対応づけて、“０”に設定したマスクデータを、一時記憶部１３０に記憶させる。その後、このマスク生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１２０の次のステップＳ１３２に進む。

再び、図３を参照して、画像１２０Ｇは、マスク生成処理により設定されたマスクデータの状態を視覚的に分かりやすく示した画像である。マスク生成処理により、前景画像として有効と判定されたブロック画像は、白（たとえば、画素値“１”）の１画素で示される。また、マスク生成処理により、前景画像として無効と判定されたブロック画像は、黒（たとえば、画素値“０”）の１画素で示される。ここで、画像１２０Ｇの解像度は、画像１１０Ｇの解像度６００ｄｐｉ（dots per inch）を、ブロック像域判定処理単位の画素数３２画素で除した、１８．７５ｄｐｉとしている。なぜなら、一つのブロック画像に対し、一つの値が設定されているからである。

再び、図２を参照して、ステップＳ１３２では、画像縮小処理Ａが行なわれる。画像縮小処理Ａでは、第１画像縮小部１０２が、ステップＳ１０１により入力された入力ブロック画像データに基づいて、入力ブロック画像の解像度を下げる。すなわち、入力ブロック画像を縮小する。入力ブロック画像の縮小は、以下に説明するデータテーブルＴ１００に基づいて行なわれる。

図６は、データテーブルＴ１００を示す図である。データテーブルＴ１００は、画像の解像度とブロックサイズとの関係を示すテーブルである。図６を参照して、組合せ番号とは、画像の解像度と対応するブロックサイズの組み合わせを特定するための番号である。なお、画像の解像度と対応するブロックサイズの組み合わせは、データテーブルＴ１００に示されるものに限定されることはない。

たとえば、組合せ番号“１”では、入力画像、前景画像および背景画像の解像度を、それぞれ、６００ｄｐｉ、３００ｄｐｉおよび１５０ｄｐｉとする。この場合、像域判定処理は、横３２画素、縦３２画素のサイズのブロック画像を１つの単位として行なわれる。また、前景画像は、横１６画素、縦１６画素のサイズのブロック画像毎に処理される。また、背景画像は、横８画素、縦８画素のサイズのブロック画像毎に処理される。組合せ番号“２”〜“４”も、前述した組合せ番号“１”と同様であるので詳細な説明は繰り返さない。

ここで、ブロックサイズの画素数を決定する際の基準に関して説明する。画像の解像度とブロックサイズの関係を示すデータテーブルＴ１００において、ブロックサイズの横画素数および縦画素数は、８の倍数である。８の倍数が用いられる理由は、前景画像符号化部１０８および背景画像符号化部１０９が、ＪＰＥＧ方式により画像を符号化するためである。

ＪＰＥＧ方式は、公知の通り、８画素×８画素のサイズのブロック画像毎に処理を行なう。ＪＰＥＧ方式において、ブロック画像毎の処理では、まずＤＣＴ（離散コサイン変換）が行なわれ、１個のＤＣ（直流）成分値と、６３個のＡＣ（交流）成分値が算出される。そして、算出された６４個の値を、それぞれの成分に対応する量子化幅を規定した量子化テーブルを用いて、除算することにより量子化する。

さらに、ＤＣ成分値については、一つ前に処理されたブロック画像のＤＣ成分値との差分値を利用してハフマン符号化が行なわれる。ＡＣ成分値については、ブロック画像内の６３個の値をジグザグスキャンしてハフマン符号化が行なわれる。なお、ハフマン符号化は可逆な符号化であり、一般に、ＪＰＥＧ方式における非可逆性は、量子化誤差およびＤＣＴ計算時の誤差に起因するものである。

したがって、ＪＰＥＧ方式を用いて画像を符号化した際に生じる画質の劣化は、基本的に処理単位であるブロック画像（８画素×８画素）内で生じるものである。すなわち、ブロック画像内の画質の劣化は、ブロック画像内で閉じて生じるものである。そのため、ＪＰＥＧの処理対象となるブロック画像は、当該ブロック画像外の画素の値や、周囲のブロック画像により、画質劣化が生じることはない。

そこで、本発明では、画像の解像度とブロック画像のサイズの関係を示すデータテーブルＴ１００に示すように、像域判定、前景画像、背景画像の各処理におけるブロック画像のサイズの横画素数および縦画素数を８の倍数で規定している。これにより、前景画像、背景画像を生成する際、画像再生時に不要なブロックに、ブロック画像単位で任意の画素値を設定することが可能となる。

すなわち、不要なブロック画像内のドント・ケア画素の画素値に起因する色にじみを防ぐことができる。その結果、不要なブロック画像に設定する画素値に関わらず、再生画像を一定の品質に保つことができるという効果を奏する。

なお、像域判定、前景画像、背景画像の各処理におけるブロック画像のサイズについて、最小解像度の画像（本実施の形態では背景画像）の処理単位となるブロック画像の最小のサイズは、８画素×８画素とすることが好ましい。以下においては、画像の処理単位となるブロック画像の最小のサイズを最小ブロック画像サイズともいう。

また、最小解像度以上の画像（本実施の形態では入力画像と前景画像）の処理単位となるブロック画像の横画素数および縦画素数の各々は、以下の式（１）により算出される値とすることが好ましい。
画素数＝８×（処理対象の画像の解像度）／（最小解像度） ・・・（１）
上記のように、最小ブロック画像サイズを８画素×８画素に設定することにより、像域分離精度を最大限に高めることができる。ここで、像域分離精度とは、文字または線が存在する像域（ブロック画像）と、文字または線が存在しない像域（ブロック画像）とを分離する精度である。また、最小ブロック画像サイズを処理単位としない画像には、式（１）で算出される値を用いてブロック画像のサイズを設定する。これにより、入力画像、前景画像および背景画像の間で、一つのブロック画像に対応する画像情報が、相対的に画像中の同じブロック画像部分を指し示すことを可能とする。

具体的には、データテーブルＴ１００の組合せ番号“１”では、式（１）に各値を代入することにより以下のようになる。まず、像域判定処理における処理単位となるブロック画像の横画素数は、８×６００／１５０＝３２となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×３００／１５０＝１６となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

また、データテーブルＴ１００の組合せ番号“２”では、式（１）に各値を代入することにより以下のようになる。まず、像域判定処理における処理単位となるブロック画像の横画素数は、８×６００／３００＝１６となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×６００／３００＝１６となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

また、データテーブルＴ１００の組合せ番号“３”では、式（１）に各値を代入することにより以下のようになる。まず、像域判定処理における処理単位となるブロック画像の横画素数は、８×６００／１５０＝３２となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×６００／１５０＝３２となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

また、データテーブルＴ１００の組合せ番号“４”では、式（１）に各値を代入することにより以下のようになる。まず、像域判定処理における処理単位となるブロック画像の横画素数は、８×３００／１５０＝１６となる。また、前景画像の処理単位となるブロック画像の横画素数は、８×３００／１５０＝１６となる。なお、背景画像の処理単位となるブロック画像の横画素数は、式（１）に関係なく８とする。

図７は、各画像の解像度と、各画像の処理単位となるブロック画像の相対的な大小関係を例示した図である。図７（Ａ）は、データテーブルＴ１００の組合せ番号“１”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

図７（Ｂ）は、データテーブルＴ１００の組合せ番号“２”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

図７（Ｃ）は、データテーブルＴ１００の組合せ番号“３”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

図７（Ｄ）は、データテーブルＴ１００の組合せ番号“４”の各データに対応した、入力画像、前景画像および背景画像の各々の、解像度および処理単位となるブロック画像のサイズの関係を示す。

たとえば、データテーブルＴ１００の組合せ番号“１”では、入力画像、前景画像および背景画像の解像度は、それぞれ、６００ｄｐｉ、３００ｄｐｉおよび１５０ｄｐｉである。

図７（Ａ）を参照して、ブロック画像１０Ｇは、入力画像の処理単位となるブロック画像である。ブロック画像１０ＧＡは、前景画像の処理単位となるブロック画像である。ブロック画像１０ＧＢは、背景画像の処理単位となるブロック画像である。

ブロック画像１０Ｇ、ブロック画像１０ＧＡおよびブロック画像１０ＧＢのサイズは、それぞれ、３２画素×３２画素、１６画素×１６画素および８画素×８画素とする。これにより、入力画像、前景画像および背景画像の間で、一つのブロック画像に対応する画像情報が、相対的に画像中の同じブロック画像部分を指し示すことになる。なお、データテーブルＴ１００の組合せ番号が“２”〜“４”についても、 図７（Ｂ）、図７（Ｃ）、図７（Ｄ）に示すように、前述したデータテーブルＴ１００の組合せ番号“１”の場合と同様であるので詳細な説明は繰り返さない。

再び、図２を参照して、ステップＳ１３２では、第１画像縮小部１０２が、たとえば、データテーブルＴ１００の組合せ番号“１”の各データおよびステップＳ１０１により入力された入力ブロック画像データに基づいて、入力ブロック画像を縮小する。たとえば、ステップＳ１０１により入力された入力ブロック画像のサイズが３２画素×３２画素である場合、１６画素×１６画素のブロック画像に縮小する。縮小処理には、前述したように、ニアレストネイバー法、バイリニア法、バイキュービック法など、画像の解像度変換に一般的に用いられる既存の補間手法が使用される。

再び、図３を参照して、第１縮小画像１１１Ｇは、第１画像縮小部１０２により、全ての入力ブロック画像が、画像縮小処理Ａにより、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第１縮小画像１１１Ｇの解像度は、入力画像の解像度（６００ｄｐｉ）に対して、半分の解像度（３００ｄｐｉ）となっている。

ステップＳ１３２（画像縮小処理Ａ）では、たとえば、入力画像１００Ｇ内の領域１００Ｒ内の画像が、第１縮小画像１１１Ｇ内の領域１１１Ｒ内の画像に縮小される。以下においては、画像縮小処理Ａにより縮小された画像を第１縮小ブロック画像ともいう。

再び、図２を参照して、ステップＳ１３２（画像縮小処理Ａ）では、第１画像縮小部１０２が、生成した第１縮小ブロック画像のデータを、前景画像生成部１０５へ送信する。その後、ステップＳ１４０に進む。

ステップＳ１４０では、前景画像生成処理が行なわれる。前景画像生成処理は、ステップＳ１２０により設定されたマスクデータに基づいて、ステップＳ１３２で生成された第１縮小ブロック画像を使用して、前景画像を生成する。

図８は、前景画像生成処理のフローチャートである。図８を参照して、ステップＳ１４１では、前景画像生成部１０５が、前述のマスク生成処理により、マスク生成部１０４が送信したマスクデータを受信する。その後、ステップＳ１４２に進む。

ステップＳ１４２では、第１画像縮小部１０２から送信された第１縮小ブロック画像が、前景画像として有効であるか否かが判定される。具体的には、受信したマスクデータが“１”であるか否かが、前景画像生成部１０５により判定される。マスクデータが“１”である場合、第１縮小ブロック画像は前景画像として有効となる。一方、マスクデータが“０”である場合、第１縮小ブロック画像は前景画像として無効となる。

ステップＳ１４２において、ＹＥＳならば、ステップＳ１４４Ａに進む。一方、ステップＳ１４２において、ＮＯならば、ステップＳ１４４Ｂに進む。

ステップＳ１４４Ａでは、前景画像生成部１０５が、受信した第１縮小ブロック画像のデータを、前景画像符号化部１０８へ送信する。その後、この前景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１４０の次のステップＳ１５０に進む。

ステップＳ１４４Ｂでは、第１縮小ブロック画像と同じサイズの画像（たとえば、１６×１６のサイズの画像）の全ての画素を黒（画素値“０”）とした画像（以下、黒ブロック画像ともいう）のデータを、前景画像符号化部１０８へ送信する。その後、この前景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１４０の次のステップＳ１５０に進む。

再び、図３を参照して、前景画像１３１Ｇは、前景画像生成部１０５が、前景画像符号化部１０８へ送信する全てのブロック画像のデータから構成される画像である。前景画像１３１Ｇの解像度は、第１縮小画像１１１Ｇの解像度と同じで、３００ｄｐｉである。前景画像生成処理により、前景画像として有効と判定された第１縮小ブロック画像に対応する、前景画像１３１Ｇ内のブロック画像は、当該判定された第１縮小ブロック画像となる。一方、前景画像生成処理により、前景画像として無効と判定された第１縮小ブロック画像に対応する、前景画像１３１Ｇ内のブロック画像は、ブロック画像内の全ての画素が黒（画素値“０”）となる。

ステップＳ１４４Ａで送信される画像は、たとえば、前景画像１３１Ｇ内の領域１３１Ｒ内の画像である。また、ステップＳ１４４Ｂで送信される画像は、たとえば、前景画像１３１Ｇ内の黒のブロック画像である。

再び、図２を参照して、ステップＳ１５０では、前景画像符号化処理が行なわれる。前景画像符号化処理では、前景画像符号化部１０８が、前景画像生成部１０５から受信した画像（たとえば、１６×１６のサイズの画像）を、非可逆符号化する。非可逆符号化を行なう符号化方式は、ブロック単位で処理を行なうＪＰＥＧ方式が使用される。なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、ブロック単位で処理を行なう他の符号化方式であってもよい。前景画像符号化部１０８は、非可逆符号化したデータ（以下、前景画像ブロック符号化データともいう）を、フォーマット部１１０へ送信する。その後、ステップＳ１５２に進む。

ステップＳ１５２では、画像縮小処理Ｂが行なわれる。画像縮小処理Ｂでは、第２画像縮小部１０３が、たとえば、図６のデータテーブルＴ１００の組合せ番号“１”の各データおよびステップＳ１０１により入力された入力ブロック画像データに基づいて、入力ブロック画像を縮小する。たとえば、ステップＳ１０１により入力された入力ブロック画像のサイズが３２画素×３２画素である場合、８画素×８画素のブロック画像に縮小する。縮小処理には、前述したように、ニアレストネイバー法、バイリニア法、バイキュービック法など、画像の解像度変換に一般的に用いられる既存の補間手法が使用される。

再び、図３を参照して、第２縮小画像１１２Ｇは、第２画像縮小部１０３により、全ての入力ブロック画像が、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第２画像縮小部１０３の解像度は、入力画像の解像度（６００ｄｐｉ）に対して、４分の１の解像度（１５０ｄｐｉ）となっている。

ステップＳ１５２（画像縮小処理Ｂ）では、たとえば、入力画像１００Ｇ内の領域１００Ｒ内の画像が、第２縮小画像１１２Ｇ内の領域１１２Ｒ内の画像（たとえば、８画素×８画素のサイズの画像）に縮小される。以下においては、画像縮小処理Ｂにより縮小された画像を第２縮小ブロック画像（たとえば、８画素×８画素のサイズの画像）ともいう。

再び、図２を参照して、ステップＳ１５２（画像縮小処理Ｂ）では、第２画像縮小部１０３が、生成した第２縮小ブロック画像のデータを、背景画像生成部１０６へ送信する。その後、ステップＳ１６０に進む。

ステップＳ１６０では、背景画像生成処理が行なわれる。背景画像生成処理は、ステップＳ１２０により設定されたマスクデータに基づいて、ステップＳ１５２で生成された第２縮小ブロック画像を使用して、背景画像を生成する。

図９は、背景画像生成処理のフローチャートである。図９を参照して、ステップＳ１６１では、背景画像生成部１０６が、前述のマスク生成処理により、マスク生成部１０４が送信したマスクデータを受信する。その後、ステップＳ１６２に進む。

ステップＳ１６２では、第２画像縮小部１０３から送信された第２縮小ブロック画像が、背景画像として有効であるか否かが判定される。具体的には、受信したマスクデータが“０”であるか否かが、背景画像生成部１０６により判定される。マスクデータが“０”である場合、第２縮小ブロック画像は背景画像として有効となる。一方、マスクデータが“１”である場合、第２縮小ブロック画像は背景画像として無効となる。

ステップＳ１６２において、ＹＥＳならば、ステップＳ１６４Ａに進む。一方、ステップＳ１６２において、ＮＯならば、ステップＳ１６４Ｂに進む。

ステップＳ１６４Ａでは、背景画像生成部１０６が、受信した第２縮小ブロック画像のデータを、背景画像符号化部１０９へ送信する。その後、この背景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１６０の次のステップＳ１７０に進む。

ステップＳ１６４Ｂでは、第２縮小ブロック画像と同じサイズの画像（たとえば、８×８のサイズの画像）の全ての画素を黒（画素値“０”）とした画像（以下、黒ブロック画像ともいう）のデータを、背景画像符号化部１０９へ送信する。その後、この背景画像生成処理は終了し、図２の画像符号化処理に戻り、ステップＳ１６０の次のステップＳ１７０に進む。

再び、図３を参照して、背景画像１３２Ｇは、背景画像生成部１０６が、背景画像符号化部１０９へ送信する全てのブロック画像のデータから構成される画像である。
背景画像１３２Ｇの解像度は、第２縮小画像１１２Ｇの解像度と同じで、１５０ｄｐｉである。背景画像生成処理により、前景画像として無効と判定された第２縮小ブロック画像に対応する、背景画像１３２Ｇ内のブロック画像は、当該判定された第２縮小ブロック画像となる。一方、前景画像生成処理により、前景画像として有効と判定された第２縮小ブロック画像に対応する、背景画像１３２Ｇ内のブロック画像は、ブロック画像内の全ての画素が黒（画素値“０”）となる。 ステップＳ１６４Ａで送信される画像は、たとえば、背景画像１３２Ｇ内の領域１３２Ｒ内の画像である。また、ステップＳ１６４Ｂで送信される画像は、たとえば、背景画像１３２Ｇ内の黒のブロック画像である。

再び、図２を参照して、ステップＳ１７０では、背景画像符号化処理が行なわれる。背景画像符号化処理では、背景画像符号化部１０９が、背景画像生成部１０６から受信した画像（たとえば、８×８のサイズの画像）を、非可逆符号化する。非可逆符号化を行なう符号化方式は、ブロック単位で処理を行なうＪＰＥＧ方式が使用される。なお、非可逆符号化を行なう符号化方式は、ＪＰＥＧ方式に限定されることなく、ブロック単位で処理を行なう他の符号化方式であってもよい。背景画像符号化部１０９は、非可逆符号化したデータ（以下、背景画像ブロック符号化データともいう）を、フォーマット部１１０へ送信する。その後、ステップＳ１７２に進む。

ステップＳ１７２では、入力画像全体に対し処理が終了したか否かが判定される。具体的には、制御部１２０が、ステップＳ１０１の処理で読み出された入力ブロック画像が、入力画像内の右下のブロック画像（領域１００ＲＦ内の画像）であるか否かを判定する。

ステップＳ１７２において、ＹＥＳならば、ステップＳ１７４に進む。一方、ステップＳ１７２において、ＮＯならば、再度、ステップＳ１０１の処理が繰り返される。

ステップＳ１７４では、マスク符号化処理が行なわれる。マスク符号化処理では、マスク符号化部１０７が、ステップＳ１２０が繰返し行なわれることで生成された、複数のマスクデータ（２値データ）から構成されるマスク層データを、一時記憶部１３０から読み出す。複数のマスクデータは、入力画像内の複数のブロック画像にそれぞれ対応するデータである。そして、マスク符号化部１０７が、複数のマスクデータからなるマスク層データを可逆符号化する。

可逆符号化では、２値画像の可逆符号化に適した符号化方式であるＭＭＲが使用される。なお、可逆符号化は、ＭＭＲに限定されることなく、２値画像の可逆符号化に適した符号化方式（たとえば、前述したＭＲ、ＪＢＩＧ等）であればどの符号化方式であってもよい。マスク符号化部１０７は、符号化した符号化データ（以下、マスク符号化データともいう）を、フォーマット部１１０へ送信する。その後、ステップＳ１８０に進む。

ステップＳ１８０では、フォーマット処理が行なわれる。フォーマット処理では、フォーマット部１１０が、受信したマスク符号化データと、複数の前景画像ブロック符号化データと、複数の背景画像ブロック符号化データとの関連付けを行なう。当該関連付けは、汎用性の高いデータフォーマットを使用して行なわれる。

ここで、複数の前景画像ブロック符号化データは、ステップＳ１５０の処理が繰返し行なわれることで、前景画像符号化部１０８から受信した複数のデータである。以下においては、複数の前景画像ブロック符号化データから構成されるデータを前景画像符号化データともいう。

また、複数の背景画像ブロック符号化データは、ステップＳ１７０の処理が繰返し行なわれることで、背景画像符号化部１０９から受信した複数のデータである。以下においては、複数の背景画像ブロック符号化データから構成されるデータを背景画像符号化データともいう。

汎用性の高いデータフォーマットの一例としては、Ａｄｏｂｅ社のＰＤＦフォーマットである。なお、汎用性の高いデータフォーマットは、Ａｄｏｂｅ社のＰＤＦフォーマットに限定されることなく、他のデータフォーマットであってもよい。

たとえば、マスク符号化データがＩＴＵ−Ｔ勧告Ｔ．６に規定されるＭＭＲ形式であり、また、前景画像符号化データおよび背景画像符号化データがＪＰＥＧ形式である場合、フォーマット部１１０は、以下の関連付け処理を行なう。

関連付け処理では、フォーマット部１１０が、Ａｄｏｂｅ社のＰＤＦ形式に基づいて、マスク符号化データ、前景画像符号化データ、背景画像符号化データを関連付けた関連付けデータを作成する。そして、フォーマット部１１０は、マスク符号化データ、前景画像符号化データ、背景画像符号化データおよび関連付けデータを一つの符号化画像データとして、前述した汎用統合データを生成する。

汎用統合データを復号化する場合は、たとえば、前景画像符号化データをＪＰＥＧにより復号化した画像（以下、復号化前景画像ともいう）と、背景画像符号化データをＪＰＥＧにより復号化した画像（以下、復号化背景画像ともいう）と、マスク符号化データを復号化することによって得られる複数のマスクデータとを使用して行なわれる。

具体的には、まず、復号化前景画像と、復号化背景画像とのサイズが異なる場合、復号化背景画像を、復号化前景画像と同じサイズに拡大する処理が行なわれる。そして、復号化背景画像を最下層の画像とし、“１”に設定されたマスクデータに対応する復号化前景画像内のブロック画像を、復号化背景画像内の対応する位置に上書きする。上記処理を繰返し行なうことにより、汎用統合データを復号化して、符号化する前の入力画像を得ることができる。

なお、前述の説明では、ステップＳ１０１〜ステップＳ１７０までの処理をブロック画像単位で、一連の処理とすることを前提に説明した。しかしながら、本発明の一つの特徴であるブロック画像単位での像域判定が実施され、マスク層データが可逆符号化、前景画像および背景画像が非可逆符号化されていれば、前述の処理の順に限定されるものではない。

たとえば、入力画像全体について、まず、マスク生成処理、前景画像生成処理、背景画像生成処理を行ない、各処理により得られたデータを、一時記憶部１３０に記憶させる。その後、マスク層データ、前景画像、背景画像を符号化してもよい。すなわち、ステップＳ１５０、Ｓ１７０の処理を、ステップＳ１７２の後で、かつ、ステップＳ１８０の前に行なうようにしてもよい。

また、ステップＳ１８０のフォーマット処理をブロック画像単位で処理するようにしてもよい。すなわち、ステップＳ１８０の処理を、ステップＳ１７０の後で、かつ、ステップＳ１７２の前に行なうようにしてもよい。

また、処理を並列化して同時に複数の処理がなされるようにしてもよい。たとえば、ステップＳ１３２〜Ｓ１５０の処理と、ステップＳ１５２〜Ｓ１７０の処理とを、ステップＳ１２０の後に並列に行なってもよい。

また、ステップＳ１７４を、ステップＳ１２０の後で、かつ、ステップＳ１７２の前に配置し、マスクデータを所定数（たとえば２ライン、すなわち、「入力画像に対応する横方向ブロック数」×２）蓄積して、１ライン分更新が進むごとにステップＳ１７４の処理を実行するようにしてもよい。

また、ステップＳ１３２の画像縮小処理Ａと、ステップＳ１５２の画像縮小処理Ｂとを、ステップＳ１０１で読み出すブロック画像単位ではなく、異なる処理単位で行なってもよい。

以上説明したように、本実施の形態では、処理対象となる入力画像を複数の層で別々に処理する。複数の層は、マスク層、前景層、背景層からなる。前景層では、入力画像または入力画像を縮小した画像に対し、文字、線またはエッジ部分を含む部分のブロック画像を非可逆符号化し、前景画像を生成する。

背景層では、入力画像または入力画像を縮小した画像に対し、文字、線およびエッジ部分のいずれも含まない部分のブロック画像を非可逆符号化し、背景画像を生成する。文字、線またはエッジ部分が含まれる前景画像は、背景画像以上の解像度を有する。

したがって、文字、線またはエッジ部分の画質の劣化を最小限に抑えつつ、データ容量を大幅に削減することができるという効果を奏する。

また、本実施の形態では、複数の層の画像データおよびデータを汎用性の高いフォーマットに従って関連付けし、１つのデータにする。したがって、汎用性の高いデータを作成することができるという効果を奏する。

また、本実施の形態では、所定のブロック画像単位で、処理対象のブロック画像が、文字または線が存在するか否かを判定する。また、所定のブロック画像単位で、非可逆符号化処理（たとえば、ＪＰＥＧによる符号化処理）を行なう。当該非可逆符号化処理は、ブロック単位で処理を行なう。

したがって、不要なブロック画像内のドント・ケア画素の画素値に起因する色にじみを防ぐことができる。その結果、不要なブロック画像に設定する画素値に関わらず、再生画像を一定の品質に保つことができるという効果を奏する。

＜第２の実施の形態＞
第２の実施の形態では、マスク符号化データを使用せずに汎用統合データを生成する点が、第１の実施の形態と異なる。マスク符号化データの代わりに、前景画像に透過色を設定することにより、マスク符号化データを使用する必要がなくなる。そのため、第１の実施の形態よりも、汎用統合データのデータ容量を小さくすることができる。

図１０は、第２の実施の形態における画像符号化装置１０００Ａの構成を示すブロック図である。図１０を参照して、画像符号化装置１０００Ａは、図１の画像符号化装置１０００と比較して、画像処理部１００の代わりに画像処理部１００Ａを備える点が異なる。それ以外の構成は、画像符号化装置１０００と同様なので詳細な説明は繰り返さない。

画像処理部１００Ａは、図１の画像処理部１００と比較して、マスク符号化部１０７を含まない点と、透過色設定部１１２をさらに含む点とが異なる。なお、画像処理部１００Ａは、画像処理部１００と同様、記憶部１４０に記憶された画像符号化プログラム７２に従って、後述の処理を行なう。

透過色設定部１１２は、前景画像生成部１０５と、背景画像生成部１０６とに接続される。前景画像生成部１０５は、透過色を設定すべきブロック画像の情報を、透過色設定部１１２へ送信する。透過色設定部１１２は、透過色を設定すべきブロック画像の情報を、前景画像生成部１０５から受信する。透過色設定部１１２は、透過色を設定したブロック画像の情報を前景画像生成部１０５および背景画像生成部１０６へ送信する。

フォーマット部１１０は、前景画像符号化部１０８から、前景画像ブロック符号化データＡを受信する。前景画像ブロック符号化データＡは、前述の前景画像ブロック符号化データと比較して、透過色を示すデータを含む点が異なる。透過色の表現については、たとえば、透過色に設定する画素の画素値を“０”で表現し、画素値“０”が透過色であることを示すデータを別途設けることによって実現できる。なお、ある画素値が透過色であることを示すことは、たとえば、Ａｄｏｂｅ社のＰＤＦのフォーマットによって表現可能である。上記以外の画像処理部１００Ａの構成は、画像処理部１００と同様なので詳細な説明は繰り返さない。

透過色設定部１１２は、透過色を設定すべきブロック画像中の各画素に対して、透過色の色情報（たとえば、画素値“０”）を設定する。なお、透過色設定部１１２は、たとえば、専用のＬＳＩによって構成される。

また、前述のブロック像域判定部１０１、第１画像縮小部１０２、第２画像縮小部１０３、マスク生成部１０４、前景画像生成部１０５、背景画像生成部１０６、前景画像符号化部１０８、背景画像符号化部１０９、フォーマット部１１０および透過色設定部１１２の各々が行なう処理は、専用のＬＳＩではなく、パーソナルコンピュータなどの一般的なコンピュータのマイクロプロセッサまたは制御部１２０により実行されてもよい。

この場合、たとえば、後述する画像符号化処理Ａをコンピュータまたは制御部１２０に実行させるためのプログラムとして記述してもよい。当該プログラムは、画像符号化プログラム７２であり、記録媒体７０に記録されて流通する。

コンピュータにより、後述する画像符号化処理Ａが実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、コンピュータが備える記録媒体アクセス部により、コンピュータが備える記憶部に読み込まれ、ＣＰＵで実行される。

制御部１２０により、後述する画像符号化処理Ａが実行される場合、画像符号化プログラム７２は、記録媒体７０に記録され、制御部１２０により実行される。

さらに、画像符号化プログラム７２は、インターネットなどのネットワークを介して他の装置からダウンロードされてもよい。

また、画像処理部１００Ａに含まれる、前述した複数の専用のＬＳＩとコンピュータのマイクロプロセッサとを組み合わせてもよい。また、前述した複数の専用のＬＳＩの一部または全てを一つの専用のＬＳＩとして構成してもよい。

次に、第２の実施の形態における画像符号化装置１０００Ａの具体的な処理内容について説明する。

図１１は、第２の実施の形態において、画像符号化装置１０００Ａで実行される画像符号化処理Ａのフローチャートを示す。図１１を参照して、画像符号化処理Ａは、図２の画像符号化処理と比較して、ステップＳ１４０の代わりに、ステップＳ１４０Ａの処理が行なわれる点と、ステップＳ１８０の代わりに、ステップＳ１８０Ａの処理が行なわれる点と、ステップＳ１７４の処理が行なわれない点が異なる。以下、異なる部分を主に説明する。

まず、ステップＳ１０１では、前述したのと同様、画像処理部１００Ａが、記憶部１４０に記憶されている入力画像データを、所定のブロック単位で読み出す。なお、入力画像データの読出す順序は、前述したステップＳ１０１の処理と同様なので詳細な説明は繰り返さない。

図１２は、第２の実施の形態において、画像符号化装置１０００Ａで処理される画像を示す図である。なお、図１２に示される各画像の解像度を忠実に図にて表現することは困難である。そのため、図１２では、前述した図６のデータテーブルＴ１００の組合せ番号“１”に対応する解像度と、ブロックサイズの関係を想定して、相対的な関係を例示する。

図１２を参照して、入力画像１００Ｇは、入力画像データに基づく画像である。入力画像１００Ｇについては、前述したので詳細な説明は繰り返さない。

再び、図１１を参照して、読み出された所定のブロック単位の入力画像データは、ブロック像域判定部１０１、第１画像縮小部１０２および第２画像縮小部１０３へ入力される。その後、ステップＳ１１０に進む。

ステップＳ１１０では、前述したのと同様、像域判定処理が行なわれる。
再び、図１２を参照して、画像１１０Ｇは、像域判定処理により設定された線分ブロックデータの状態を視覚的に分かりやすく示した画像である。画像１１０Ｇについては、前述したので詳細な説明は繰り返さない。

再び、図１１を参照して、ステップＳ１１０の処理の後、ステップＳ１２０の処理が行なわれる。

ステップＳ１２０では、前述したのと同様、マスク生成処理が行なわれる。なお、本実施の形態におけるマスク生成処理では、第１の実施の形態のマスク生成処理のうち、マスク生成部１０４が、マスクデータを、マスク符号化部１０７へ送信する処理は行なわれない。

再び、図１２を参照して、画像１２０Ｇは、マスク生成処理により設定されたマスクデータの状態を視覚的に分かりやすく示した画像である。画像１２０Ｇについては、前述したので詳細な説明は繰り返さない。

再び、図１１を参照して、ステップＳ１２０の処理の後、ステップＳ１３２の処理が行なわれる。

ステップＳ１３２では、前述したのと同様、画像縮小処理Ａが行なわれる。
再び、図１２を参照して、第１縮小画像１１１Ｇは、第１画像縮小部１０２により、全ての入力ブロック画像が、画像縮小処理Ａにより、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第１縮小画像１１１Ｇについては、前述したので詳細な説明は繰り返さない。

再び、図１１を参照して、ステップＳ１３２（画像縮小処理Ａ）では、第１画像縮小部１０２が、生成した第１縮小ブロック画像のデータを、前景画像生成部１０５へ送信する。その後、ステップＳ１４０Ａに進む。

ステップＳ１４０Ａでは、前景画像生成処理Ａが行なわれる。前景画像生成処理Ａは、ステップＳ１２０により設定されたマスクデータに基づいて、ステップＳ１３２で生成された第１縮小ブロック画像を使用して、前景画像を生成する。

図１３は、前景画像生成処理Ａのフローチャートである。図１３を参照して、ステップＳ２４１では、前景画像生成部１０５が、前述のマスク生成処理により、マスク生成部１０４が送信したマスクデータを受信する。その後、ステップＳ２４２に進む。

ステップＳ２４２では、第１画像縮小部１０２から送信された第１縮小ブロック画像が、前景画像として有効であるか否かが判定される。具体的には、受信したマスクデータが“１”であるか否かが、前景画像生成部１０５により判定される。マスクデータが“１”である場合、第１縮小ブロック画像は前景画像として有効となる。一方、マスクデータが“０”である場合、第１縮小ブロック画像は前景画像として無効となる。

ステップＳ２４２において、ＹＥＳならば、ステップＳ２４４Ａに進む。一方、ステップＳ２４２において、ＮＯならば、ステップＳ２４４Ｂに進む。

ステップＳ２４４Ａでは、前景画像生成部１０５が、受信した第１縮小ブロック画像のデータを、前景画像符号化部１０８へ送信する。その後、この前景画像生成処理は終了し、図１１の画像符号化処理Ａに戻り、ステップＳ１４０Ａの次のステップＳ１５０に進む。

ステップＳ２４４Ｂでは、第１縮小ブロック画像と同じサイズの画像（たとえば、１６×１６のサイズの画像）の全ての画素を透過色（画素値 “０”）とした画像（以下、透過色ブロック画像ともいう）のデータを、前景画像符号化部１０８へ送信する。なお、透過色の画素値（以下、透過色値ともいう）は、後述する背景画像生成処理で生成される黒ブロック画像の画素値と同一の値である。

その後、透過色設定部１１２が、前景画像の画素値“０”が透過色であることを示す情報を、一時記憶部１３０に記憶させることにより設定する。その後、この前景画像生成処理Ａは終了し、図１１の画像符号化処理Ａに戻り、ステップＳ１４０Ａの次のステップＳ１５０に進む。

再び、図１２を参照して、前景画像１３１ＧＡは、前景画像生成部１０５が、前景画像符号化部１０８へ送信する全てのブロック画像のデータから構成される画像である。前景画像１３１ＧＡの解像度は、第１縮小画像１１１Ｇの解像度と同じで、３００ｄｐｉである。前景画像生成処理Ａにより、前景画像として有効と判定された第１縮小ブロック画像に対応する、前景画像１３１ＧＡ内のブロック画像は、当該判定された第１縮小ブロック画像となる。一方、前景画像生成処理Ａにより、前景画像として無効と判定された第１縮小ブロック画像に対応する、前景画像１３１ＧＡ内のブロック画像は、ブロック画像内の全ての画素が透過色（画素値“０”）となる。なお、前景画像１３１ＧＡは、透過色を示す画素値“０”に対応する部分を黒色で表現している。

ステップＳ２４４Ａで送信される画像は、たとえば、前景画像１３１ＧＡ内の領域１３１ＲＡ内の画像である。また、ステップＳ２４４Ｂで送信される画像は、たとえば、前景画像１３１ＧＡ内の透過色（黒色）のブロック画像である。

再び、図１１を参照して、ステップＳ１５０では、前述したのと同様、前景画像符号化処理が行なわれる。その後、ステップＳ１５２に進む。

ステップＳ１５２では、前述したのと同様、画像縮小処理Ｂが行なわれる。
再び、図１２を参照して、第２縮小画像１１２Ｇは、第２画像縮小部１０３により、全ての入力ブロック画像が、それぞれ縮小された複数の縮小ブロック画像から構成される画像である。第２縮小画像１１２Ｇについては、前述したので詳細な説明は繰り返さない。

再び、図１１を参照して、ステップＳ１５２（画像縮小処理Ｂ）では、第２画像縮小部１０３が、生成した第２縮小ブロック画像のデータを、背景画像生成部１０６へ送信する。その後、ステップＳ１６０に進む。

ステップＳ１６０では、前述したのと同様、背景画像生成処理が行なわれる。
再び、図１２を参照して、背景画像１３２Ｇは、背景画像生成部１０６が、背景画像符号化部１０９へ送信する全てのブロック画像のデータから構成される画像である。背景画像１３２Ｇの解像度は、第２縮小画像１１２Ｇの解像度と同じで、１５０ｄｐｉである。背景画像生成処理により、前景画像として無効と判定された第２縮小ブロック画像に対応する、背景画像１３２Ｇ内のブロック画像は、当該判定された第２縮小ブロック画像となる。一方、前景画像生成処理により、前景画像として有効と判定された第２縮小ブロック画像に対応する、背景画像１３２Ｇ内のブロック画像（黒ブロック画像）は、ブロック画像内の全ての画素が黒（画素値“０”）となる。

再び、図１１を参照して、ステップＳ１６０の処理の後、ステップＳ１７０に進む。
ステップＳ１７０では、前述したのと同様、背景画像符号化処理が行なわれる。その後、ステップＳ１７２に進む。

ステップＳ１７２では、前述したのと同様、入力画像全体に対し処理が終了したか否かが判定される。ステップＳ１７２において、ＹＥＳならば、ステップＳ１８０Ａに進む。一方、ステップＳ１７２において、ＮＯならば、再度、ステップＳ１０１の処理が繰り返される。

ステップＳ１８０Ａでは、フォーマット処理Ａが行なわれる。フォーマット処理Ａでは、フォーマット部１１０が、複数の前景画像ブロック符号化データと、複数の背景画像ブロック符号化データとの関連付けを行なう。当該関連付けは、汎用性の高いデータフォーマットを使用して行なわれる。

ここで、複数の前景画像ブロック符号化データは、前述したので詳細な説明は繰り返さない。前述したように、複数の前景画像ブロック符号化データから構成されるデータを前景画像符号化データともいう。

また、複数の背景画像ブロック符号化データは、前述したので詳細な説明は繰り返さない。前述したように、複数の背景画像ブロック符号化データから構成されるデータを背景画像符号化データともいう。

汎用性の高いデータフォーマットの一例としては、Ａｄｏｂｅ社のＰＤＦフォーマットである。なお、汎用性の高いデータフォーマットは、Ａｄｏｂｅ社のＰＤＦフォーマットに限定されることなく、他のデータフォーマットであってもよい。

たとえば、前景画像符号化データおよび背景画像符号化データがＪＰＥＧ形式である場合、フォーマット部１１０は、以下の関連付け処理Ａを行なう。

関連付け処理Ａでは、フォーマット部１１０が、Ａｄｏｂｅ社のＰＤＦ形式に基づいて、前景画像符号化データおよび背景画像符号化データを関連付けた関連付けデータＡを作成する。そして、フォーマット部１１０は、前景画像符号化データ、背景画像符号化データおよび関連付けデータＡを一つの符号化画像データとして、汎用統合データＡを生成する。

汎用統合データＡを復号化する場合は、たとえば、前景画像符号化データをＪＰＥＧにより復号化した復号化前景画像と、背景画像符号化データをＪＰＥＧにより復号化した復号化背景画像とを使用して行なわれる。

具体的には、まず、復号化前景画像と、復号化背景画像とのサイズが異なる場合、復号化背景画像を、復号化前景画像と同じサイズに拡大する処理が行なわれる。そして、復号化前景画像に対し、透過色が設定された復号化前景画像内のブロック画像に対応する、復号化背景画像内のブロック画像を、復号化前景画像内の対応する位置に上書きする。上記処理を繰返し行なうことにより、汎用統合データＡを復号化して、符号化する前の入力画像を得ることができる。

なお、前述の説明では、ステップＳ１０１〜ステップＳ１７０までの処理をブロック画像単位で、一連の処理とすることを前提に説明した。しかしながら、本発明の一つの特徴であるブロック画像単位での像域判定が実施され、前景画像および背景画像が非可逆符号化されていれば、前述の処理の順に限定されるものではない。

たとえば、入力画像全体について、まず、前景画像生成処理、背景画像生成処理を行ない、各処理により得られたデータを、一時記憶部１３０に記憶させる。その後、前景画像、背景画像を符号化してもよい。すなわち、Ｓ１５０、Ｓ１７０の処理を、ステップＳ１７２の後で、かつ、ステップＳ１８０Ａの前に行なうようにしてもよい。

また、ステップＳ１８０Ａのフォーマット処理Ａをブロック画像単位で処理するようにしてもよい。すなわち、ステップＳ１８０Ａの処理を、ステップＳ１７０の後で、かつ、ステップＳ１７２の前に行なうようにしてもよい。

また、処理を並列化して同時に複数の処理がなされるようにしてもよい。たとえば、ステップＳ１３２〜Ｓ１５０の処理と、ステップＳ１５２〜Ｓ１７０の処理とを、ステップＳ１２０の後に並列に行なってもよい。

また、ステップＳ１３２の画像縮小処理Ａと、ステップＳ１５２の画像縮小処理Ｂとを、ステップＳ１０１で読み出すブロック画像単位ではなく、異なる処理単位で行なってもよい。

以上説明したように、本実施の形態では、マスク符号化データを使用せずに汎用統合データＡを生成するため、第１の実施の形態の奏する効果に加え、汎用統合データＡのデータ容量をさらに小さくすることができるという効果を奏する。
（画像の色空間）
なお、本発明に従う上述の実施の形態は、入力画像がカラー画像の場合において特に効果を発揮するが、グレースケール（輝度成分のみ）画像などに適用することも可能である。
（無効なブロック内の画素値）
第１の実施の形態においては、無効なブロック（複数のドント・ケア画素から構成されるブロック画像）の画素値について、符号化効率が向上するように任意の値を設定することが可能である。たとえば、ある無効ブロックの画素値は“０”に設定し、他の無効ブロックの画素値は“２５５”に設定することが可能である。

しかしながら、本発明の第２の実施の形態においては、無効なブロック（複数のドント・ケア画素から構成されるブロック画像）の画素値について、以下のような注意が必要である。

すなわち、透過色を、画像の表現に必要な画素値（たとえば、画素値“０”）に割り当てて表現する場合、有効なブロック画像中の画素値“０”についても透過色として扱われる可能性があるため、全ての層（マスク層、前景層、背景層）のデータまたは画像において、無効なブロック画素の画素値として“０”を設定しておくことが好ましい。

なお、透過色を、画像の表現に必要な画素値以外の値で表現することが可能である場合には、無効なブロック画像中の画素値について、符号化効率が向上するような任意の値を設定することが可能である。

第１の実施の形態および第２の実施の形態のいずれにおいても、上述のように無効なブロック画素中の画素値について任意の値を設定する場合、以下のようにすることができる。たとえば、非可逆符号化をＪＰＥＧ方式を用いて行なう場合、全ての無効なブロック画素中の全ての画素について、画素値“０”を設定すれば、複雑な処理を実行することなく、一般的に圧縮効率を高めることが可能である。
（マスク生成基準）
また、上述の説明では、処理対象のブロック画像が、前景画像として有効または無効であるかを示すマスクデータは、像域判定処理により設定された線分ブロックデータに基づいて生成される。線分ブロックデータは、処理対象のブロック画像が、文字・線を含む線分ブロック画像であるか否かを示すデータである。なお、線分ブロック画像は、文字、線に加え、エッジ部分を含む画像であってもよい。すなわち、線分ブロックデータは、処理対象のブロック画像が、文字、線またはエッジ部分を含む線分ブロック画像であるか否かを示すデータであってもよい。このとき、エッジ部分の有無の判定には、たとば、Ｓｏｂｅｌフィルタなどによる公知のエッジ抽出方法を用いればよい。
（画像縮小処理を行なわない場合）
また、上述の説明では、前景画像および背景画像を縮小する場合について説明した。しかしながら、前景画像および背景画像のどちらも縮小しない場合、あるいは前景画像および背景画像のいずれかのみを縮小する場合も考えられる。

すなわち、図２の画像符号化処理および図１１の画像符号化処理Ａにおいて、ステップＳ１３２（画像縮小処理Ａ）およびステップＳ１５２（画像縮小処理Ｂ）のいずれか１つ、または両方の処理を行なわなくてもよい。

たとえば、図６に示した画像の解像度とブロックサイズとの関係を示すデータテーブルＴ１００に示される、組合せ番号“２”、“３” 、“４”のいずれかに対応するデータで、処理が行なわれる場合、入力画像の解像度と前景画像の解像度は同じとなる。したがって、画像符号化処理および画像符号化処理Ａにおいて、ステップＳ１３２（画像縮小処理Ａ）を省略することができる。

また、本発明は、画像符号化装置１０００および画像符号化装置１０００Ａにおいて、第１画像縮小部１０２および第２画像縮小部１０３を省略しても実現可能である。この場合、入力画像、前景画像および背景画像の解像度が全て同じとなる。そして、ブロック画像単位の像域情報（線分ブロックデータ）に基づいて前景画像および背景画像を生成する。これにより、像域の特徴に応じた適切な符号化パラメータ（たとえば、ＪＰＥＧ方式における量子化パラメータなど）を用いて符号化することが可能である。

前述の通り、画像符号化装置１０００および画像符号化装置１０００Ａにおいて、第１画像縮小部１０２および第２画像縮小部１０３のいずれか１つまたは両方を省略した場合、画像符号化処理および画像符号化処理Ａにおいて、対応する処理（たとえば、ステップＳ１３２の画像縮小処理Ａなど）は、適宜省略すればよい。
（３層以上の場合）
また、前述の説明では一つの入力画像を、ブロック画像単位で、前景層と背景層の二つの層に分類することを前提としているが、本発明は二つの層に分類する場合のみに留まらず、三つ以上の層に分類する場合においても同様に実施することが可能である。

たとえば、文字または線またはエッジを表現する層（前景画像Ａ）、写真を表現する層（前景画像Ｂ）、その他の成分を表現する層（背景画像）の三つに分類する場合においても、分類する単位がブロック画像単位であれば、本発明の主旨に則って処理することができる。

たとえば、ステップＳ１１０の像域判定処理において、文字、線またはエッジを含む像域、写真の像域、その他の像域の三つの像域に分類して、像域判定結果を示す像域判定データとして三種の値のいずれかを示し得るようにすればよい。たとえば、“０”は文字、線またはエッジ、“１”は写真、“２”はその他を示すようにすればよい。

また、ステップＳ１２０のマスク生成処理において、たとえば、前景画像Ａについては、像域判定データに基づいて、“０”に対応するブロック画像は“前景画像Ａとして有効”、“１”または“２”に対応するブロック画像は“前景画像Ａとして無効”と設定して、前景画像Ａ用のマスク層データを生成すればよい。

さらに、前景画像Ｂについては、像域判定データに基づいて、“１”に対応するブロック画像は“前景画像Ｂとして有効”、“０”または“２”に対応するブロック画像は“前景画像Ｂとして無効”と設定して、前景画像Ｂ用のマスク層データを生成すればよい。なお、Ｎ種類の像域を設定した場合についても同様に、Ｎ−１個のマスク層データを生成すればよい。

また、ステップＳ１４０の前景画像生成処理またはステップＳ１４０Ａの前景画像生成処理Ａでは、たとえば、前景画像Ａの有効無効情報に基づいて、前景画像Ａを生成し、前景画像Ｂの有効無効情報に基づいて、前景画像Ｂを生成すればよい。なお、Ｎ種類の像域を設定した場合についても同様に、Ｎ−１個の前景画像を生成すればよい。

また、ステップＳ１６０の背景画像生成処理において、処理対象のブロック画像が、たとえば、“前景画像Ａとして無効”で且つ“前景画像Ｂとして無効”であるブロック画像は、背景画像として有効なブロック画像として第２縮小ブロック画像データを設定する。処理対象のブロック画像が、“前景画像Ａとして有効”または“前景画像Ｂとして有効”のどちらか一つでも満たす場合、背景画像として無効なブロック画像として、たとえば、第２縮小ブロック画像と同じサイズの画像の全ての画素値を“０”に設定すればよい。

なお、Ｎ種類の像域を設定した場合においても同様に、処理対象のブロック画像が、Ｎ−１個の前景画像全てにおいて無効な場合、背景画像として有効なブロック画像とする。また、Ｎ−１個の前景画像のいずれか一つでも有効であるブロック画像は、背景画像として無効なブロック画像とすればよい。

三つ以上の層に分類する他の実施の形態として、ステップＳ１２０のマスク生成処理において、前景画像の数と同じ数のマスク層のデータを生成する代わりに、一つのマスク層のデータが、２値ではなく、Ｎ種類の値のいずれかを示し得るように構成してもよい。この場合、ステップＳ１７４のマスク符号化処理では、多値画像の可逆符号化に適したＦＬＡＴＥなどの符号化方式を用いればよい。
（入力画像の部分領域の層構造）
また、前述の説明では、層データ（たとえば、前景画像、背景画像、マスク層データ）が、入力画像全体を表現する（解像度のみ異なる）場合について説明した。しかしながら、本発明では、たとえば、背景画像が入力画像全体を表現する領域（解像度は低くてよい）を表現し、前景画像とマスク層データは、入力画像の部分領域を表現するように構成してもよい。

ただし、部分領域を表現するように構成する場合、ステップＳ１８０のフォーマット処理において、前景画像とマスク層データが背景画像上のどの部分領域に対応しているのかを示す情報を関連付けておく必要がある。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、たとえば、複写機や複合機のように画像を電子的に読み込み、データ容量を圧縮して、蓄積または伝送するような装置に適用することができる。

第１の実施の形態における画像符号化装置の構成を示すブロック図である。 第１の実施の形態において、画像符号化装置で実行される画像符号化処理のフローチャートを示す。 第１の実施の形態において、画像符号化装置で処理される画像を示す図である。 像域判定処理のフローチャートである。 マスク生成処理のフローチャートである。 データテーブルを示す図である。 各画像の解像度と、各画像の処理単位となるブロック画像の相対的な大小関係を例示した図である。 前景画像生成処理のフローチャートである。 背景画像生成処理のフローチャートである。 第２の実施の形態における画像符号化装置の構成を示すブロック図である。 第２の実施の形態において、画像符号化装置で実行される画像符号化処理Ａのフローチャートを示す。 第２の実施の形態において、画像符号化装置で処理される画像を示す図である。 前景画像生成処理Ａのフローチャートである。

符号の説明

７０ 記録媒体、１００，１００Ａ 画像処理部、１０１ ブロック像域判定部、１０２ 第１画像縮小部、１０３ 第２画像縮小部、１０４ マスク生成部、１０５ 前景画像生成部、１０６ 背景画像生成部、１０７ マスク符号化部、１０８ 前景画像符号化部、１０９ 背景画像符号化部、１１０ フォーマット部、１１２ 透過色設定部、１２０ 制御部、１３０ 一時記憶部、１４０ 記憶部、１５０ 記録媒体アクセス部、１０００，１０００Ａ 画像符号化装置。

Claims (21)

1. 入力画像を所定のブロック単位で像域判定するブロック像域判定手段と、
   前記ブロック像域判定手段の像域判定結果に基づいて、前記入力画像のデータを使用して、画像再生時に有効であるか無効であるかを前記所定のブロック単位で規定された２以上の層データを生成する層データ生成手段と、
   前記層データ生成手段が生成した前記２以上の層データの各々に適する符号化条件で、前記２以上の層データの各々に適するブロック単位で、前記２以上の層データの各々を符号化処理する符号化手段とを備える、画像符号化装置。
2. 前記符号化手段は、各々が、前記２以上の層データのそれぞれに適する符号化条件で、前記２以上の層データのそれぞれに適するブロック単位で、前記２以上の層データをそれぞれ符号化処理する２以上のデータ符号化手段を含む、請求項１に記載の画像符号化装置。
3. 前記２以上の層データのうち、少なくとも１つの層データは画像データであり、
   前記層データ生成手段は、前記画像データである層データに基づく画像のうち、前記画像再生時に無効であると規定された１以上のブロック内の各々のブロック画像を構成する複数の画素値を設定し、
   前記層データ生成手段により設定された前記複数の画素値は、前記入力画像のデータを使用して設定される場合より、前記符号化手段が前記画像データの層データを前記符号化処理した符号化データ容量が小さくなる値である、請求項１または請求項２に記載の画像符号化装置。
4. 前記２以上の層データのうち、少なくとも１つの層データは画像データであり、
   前記入力画像の解像度を変換した変換画像を生成する解像度変換手段をさらに備え、
   前記層データ生成手段は、前記画像データである層データに基づく画像のうち、前記画像再生時に有効であると規定された１以上のブロックにそれぞれ対応する、前記変換画像内の１以上のブロック画像のデータを設定する、請求項１〜請求項３のいずれかに記載の画像符号化装置。
5. 前記入力画像を画素単位で像域判定する画素像域判定手段をさらに備え、
   前記ブロック像域判定手段は、前記画素像域判定手段の画素単位の像域判定結果に基づいて、ブロック単位の像域判定を行なう、請求項１〜請求項３のいずれかに記載の画像符号化装置。
6. 前記ブロック像域判定手段は、判定対象のブロックが、文字または線を含むか否かを判定し、
   前記層データ生成手段が生成した前記２以上の層データの少なくとも１つの層データは画像データであり、
   前記画像データである層データに基づく画像は、文字または線が表示される画像である、請求項１〜請求項３のいずれかに記載の画像符号化装置。
7. 前記ブロック像域判定手段は、判定対象のブロックが、文字、線およびエッジ部の少なくとも１つを含むか否かを判定し、
   前記層データ生成手段が生成した前記２以上の層データの少なくとも１つの層データは画像データであり、
   前記画像データである層データに基づく画像は、文字、線およびエッジ部の少なくとも１つが表示される画像である、請求項１〜請求項３のいずれかに記載の画像符号化装置。
8. 前記２以上の層データのうち、少なくとも１つの層データは画像データであり、
   前記２以上の層データのうち、前記画像データ以外の層データのうち少なくとも１つの層データは、各々が、前記画像データである層データの前記画像再生時に前記所定のブロック単位で有効であるか無効であるかを示す複数のマスクデータから構成されるマスク層データである、請求項１〜請求項３のいずれかに記載の画像符号化装置。
9. 前記マスク層データを可逆符号化する可逆符号化手段をさらに備える、請求項８に記載の画像符号化装置。
10. 前記２以上の層データのうち、少なくとも２つの層データは画像データであり、
    前記層データ生成手段は、前記画像データである層データに基づく画像のうち、前記画像再生時に無効であると規定された１以上のブロック内の各々のブロック画像を構成する複数の画素値を、透過色であるか否かを示す透過色値に設定する、請求項１〜請求項３のいずれかに記載の画像符号化装置。
11. 前記層データ生成手段は、前記画像データである少なくとも２つの層データのうち、前記透過色値が設定されていない、少なくとも１つの層データに基づく画像のうち、前記画像再生時に無効であると規定された１以上のブロック内の各々のブロック画像を構成する複数の画素値を、前記透過色値と同一の値に設定する、請求項１０に記載の画像符号化装置。
12. 複数のデータを関連付けた関連付けデータを生成するフォーマット手段をさらに備え、
    前記フォーマット手段は、前記符号化処理された前記２以上の層データと、前記可逆符号化された前記マスク層データとを関連付ける、請求項９に記載の画像符号化装置。
13. 複数のデータを関連付けた関連付けデータを生成するフォーマット手段をさらに備え、
    前記フォーマット手段は、前記符号化処理された前記２以上の層データを関連付け、
    前記２以上の層データのうちの少なくとも１つの層データは、前記透過色値に設定されたデータを含む、請求項１０または請求項１１に記載の画像符号化装置。
14. 前記符号化処理は、非可逆符号化処理である、請求項１〜請求項１３のいずれかに記載の画像符号化装置。
15. 前記非可逆符号化処理は、ＪＰＥＧ方式に従う符号化処理である、請求項１４に記載の画像符号化装置。
16. 前記所定のブロックは、横および縦の画素数が等しく、前記画素数は８に自然数を乗じた値である、請求項１〜請求項１５のいずれかに記載の画像符号化装置。
17. 入力画像を所定のブロック単位で像域判定する工程と、
    前記像域判定する工程の像域判定結果に基づいて、前記入力画像のデータを使用して、画像再生時に有効であるか無効であるかを前記所定のブロック単位で規定された２以上の層データを生成する工程と、
    前記２以上の層データを生成する工程が生成した前記２以上の層データの各々に適する符号化条件で、前記２以上の層データの各々に適するブロック単位で、前記２以上の層データの各々を符号化処理する工程とを含む、画像符号化方法。
18. 前記符号化処理は、非可逆符号化処理である、請求項１７に記載の画像符号化方法。
19. コンピュータに画像処理を実行させるための画像符号化プログラムであって、
    入力画像を所定のブロック単位で像域判定するステップと、
    前記像域判定するステップの像域判定結果に基づいて、前記入力画像のデータを使用して、画像再生時に有効であるか無効であるかを前記所定のブロック単位で規定された２以上の層データを生成するステップと、
    前記２以上の層データを生成するステップが生成した前記２以上の層データの各々に適する符号化条件で、前記２以上の層データの各々に適するブロック単位で、前記２以上の層データの各々を符号化処理するステップとをコンピュータに実行させる、画像符号化プログラム。
20. 前記符号化処理は、非可逆符号化処理である、請求項１９に記載の画像符号化プログラム。
21. 請求項１９または請求項２０に記載の画像符号化プログラムを記録した、記録媒体。

Images