JP2011120180A - 画像符号化装置及びその制御方法 - Google Patents

Abstract

【課題】タイルを単位に符号化し、冗長性の高い画像は可逆符号化を適用、自然画等劣化の目立ちにくい画像は非可逆符号化を適用し圧縮性能を良くする。
【解決手段】符号化方式判定部１０３は、タイルを２×２画素のピースに分割し色数が２以下のピース数Ｃ２が総ピース数の過半数Ｔ１を超えるか否か判定し、Ｃ２＞Ｔ１の場合は可逆符号化とし、Ｃ２≦Ｔ１の場合は非可逆符号化とする。非可逆符号化は非可逆符号化部１０８で非可逆符号化を行い、可逆符号化の場合、解像度圧縮部１０５が着目タイル内の２×２画素で構成されるピース内の定めた位置の１画素をサブサンプリングし縮小タイルを生成し、それから着目タイルの画像を復元する補間データを生成し、可逆符号化部１０７が縮小タイルを符号化する。符号列形成部１１０は、非可逆符号化と判定の場合は非可逆符号化データを出力し、可逆符号化と判定した場合は、可逆符号化データと補間データを出力する。
【選択図】図１

Description

本発明は、画像データの圧縮符号化の技術に関するものである。

従来、画像をタイルに分割し、タイルを可逆符号化する可逆符号化手段と、非可逆符号化手段とを備え、それぞれのタイルについてどちらか一方の符号化結果を最終的な符号化データとして出力する画像符号化技術が提案されている。

このような方法では、比較的画質劣化が目につきにくい自然画領域などでは非可逆符号化方式を選択して適用することにより圧縮性能を高める。反対に画質劣化の目につきやすい文字・線画などには、可逆符号化方式を用いることで、視覚的な画質劣化を抑制することを基本としている。

そのため、従来、入力画像を文字や線画を含む画像を、前景画像データ、前景領域を示すマスクデータ、自然画を含む画像を背景画像に分離して符号化を行う。分離した前景画像データは２値化して可逆符号化を適用し、背景画像データは解像度変換を行ったのちに非可逆圧縮をするような技術が提案されている（特許文献１参照）。

また、画像データの解析結果から、算出した閾値とタイル単位に求めた色数との比較を基に、符号化方式を切り換えるような技術も提案されている。ここで、画像データの解析結果とは、入力画像データの中で、文字線画属性や自然画属性などの領域を抽出し、属性毎の面積を基に符号化方式の切り換えを行うための閾値を設定するものである。この閾値と着目タイル内の色数を比較し、適用する符号化方式を選択し符号化する。更に、符号データ量が目標値を超える場合には、別の符号化方式を適用するような技術も提案されている（特許文献２参照）。

特開２００７−１２９４５６号公報 特開平１０−０５１６４２号公報

画像をタイルに分割し、タイル毎に可逆符号化と非可逆符号化を切り替えて符号化する際、圧縮率を向上させるため、解像度や階調を落として符号化する手法では、画像のオリジナルの解像度を保持することができず、画質的に問題となる。また、高画質に符号化するため、符号化方式の切り替え精度を向上させようと、入力画像全体を解析するような手法では、演算コストが大きくなり、処理速度が遅くなり問題となる。

本発明は上記問題に鑑みなされたものである。そして、本発明は、タイルを単位に符号化する場合、そのタイルが文字や線画のような空間的に冗長性の高い画像に対しては、そのタイルの縮小タイルと補間データを生成すると共に、その縮小タイルについて可逆符号化を適用し、一方、自然画のような劣化の目立ちにくい画像に対しては、非可逆符号化を適用し、圧縮性能良く圧縮する技術を提供する。更に、本発明は、符号化方式の選択を、比較的単純な処理で構成することにより、簡易、高速で、視覚的に良好かつ、高い圧縮性能を実現する画像符号化を行う技術を提供する。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
符号化対象の画像データから、複数の画素で構成されるタイルを単位に入力する入力手段と、
該入力手段により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、予め設定した色数ｉ以下の画素ブロックの出現数Ｃと、予め設定された閾値Ｔｈとを比較し、Ｃ＜Ｔｈの場合に前記着目タイルを非可逆符号化すると決定し、Ｃ≧Ｔｈの場合に前記着目タイルを可逆符号化すると決定する符号化方法決定手段と、
該符号化方法決定手段で非可逆符号化すると決定した場合、前記着目タイルを非可逆符号化し、非可逆符号化データを生成する第１の符号化手段と、
前記符号化方法決定手段で可逆符号化すると決定した場合、前記着目タイルを２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記着目タイルに対する縮小タイルを生成すると共に、前記縮小タイルから前記着目タイルの画像を復元するため、前記着目タイル内の着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮手段と、
該解像度圧縮手段で生成された前記縮小タイルを可逆符号化し、可逆符号化データを生成する第２の符号化手段と、
前記符号化方法決定手段により前記着目タイルを非可逆符号化すると判定した場合、前記第１の符号化手段で生成された符号化データを前記着目タイルの符号化データとして出力し、
前記符号化方法決定手段により前記着目タイルを可逆符号化すると判定した場合、前記第２の符号化手段で生成された符号化データ及び前記補間データを前記着目タイルの符号化データとして出力する符号化データ出力手段とを備える。

本発明によれば、タイルを単位に符号化する場合、そのタイルが文字や線画のような空間的に冗長性の高い画像に対しては、そのタイルの縮小タイルと補間データを生成すると共に、その縮小タイルについて可逆符号化を適用し、一方、自然画のような劣化の目立ちにくい画像に対しては、非可逆符号化を適用し、圧縮性能良く圧縮することができる。また、符号化方式の選択を、比較的単純な処理で構成することにより、簡易、高速で、視覚的に良好かつ、高い圧縮性能を実現する画像符号化を行うことも可能なる。

第１の実施形態に係る画像符号化装置のブロック構成図。 第２の実施形態において処理対象とする画像の例を示す図。 第３と第４の実施形態において処理対象とする画像の例を示す図。 第１の実施形態に係る補間データ生成部のフローチャート。 タイルデータとピースの関係を表す図。 符号化対象画像データとタイルの関係を表す図。 ＪＰＥＧ符号化データの構成を示す図。 第１の実施形態に係るピースの２色の配置パターンの種類を示す図。 第１と第２の実施形態におけるタイルの符号化データの構造を表す図。 第２の実施形態に係る符号化方式判定部のフローチャート。 第３の実施形態に係る画像符号化装置のブロック構成図。 第４の実施形態に係る画像符号化装置のブロック構成図。 実施形態のコンピュータのブロック構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は、本実施形態における、画像符号化装置のブロック図である。本実施形態の画像符号化装置は、可逆符号化部と非可逆符号化部を有する。そして、本装置は、符号化対象となる画像データを外部から入力し、タイル単位に、適用する符号化部を切り換えて符号化を行う。ここで、可逆符号化部が選択された場合には、縮小画像を生成し、元解像度の画像を復元するための解像度補間データと、縮小画像符号化データからなる符号列を生成、出力するものである。なお、画像データの入力源は、画像データをファイルとして格納している記憶媒体とするが、イメージスキャナ等であっても良く、その種類は問わない。

本実施形態に係る画像符号化装置の符号化対象とする画像データは、ＲＧＢカラー画像データであり、各コンポーネント（色成分）８ビットで０〜２５５の範囲の輝度値を表現した画素データにより構成されるものとする。符号化対象の画像データの並びは点順次、即ち、ラスタースキャン順に各画素を並べ、その各画素はＲ，Ｇ，Ｂの順番でデータを並べて構成されるものとする。画像は水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとする。但し、入力画像データはＲＧＢ以外の色空間、例えば、ＹＣｂＣｒやＣＭＹＫでも構わず、その色空間の種類、成分の数は問わない。さらに、１成分のビット数も８ビットに限らず、８ビットを超えるビット数でも構わない。

以下、図１に示す画像符号化装置における符号化処理を説明する。図示の如く、本装置は、第１の符号化部として機能する非可逆符号化部１０８、第２の符号化部として機能する可逆符号化部１０７を有する。

まず、画像入力部１０１から符号化対象となる画像データが順に入力される。画素データの入力順序は先に説明したようにラスタースキャン順である。本実施形態で処理対象とする画像データは、ＰＣの画面をキャプチャして生成したビットマップ画像を対象とする。

タイル分割部１０２は、入力された画像データを、水平方向Ｔｗ画素、垂直方向Ｔｈ画素（ｎ画素＝Ｔｗ×Ｔｈ）で構成される矩形ブロックに分割して、ブロック単位に読み出し、符号化方式判定部１０３へ出力する。説明の便宜上、画像の水平方向画素数ＷはＴｗの整数倍であるとし、矩形ブロックに分割した場合に不完全なブロックが発生しないものとする。この水平方向Ｔｗ画素、垂直方向Ｔｈ画素で構成される矩形ブロックをタイルと呼ぶ。本実施形態では、Ｔｗ＝Ｔｈ＝１２８、すなわち、タイルのサイズは１２８×１２８画素とする。図６に符号化対象の画像データと、タイルの関係を図示する。図のように画像中、水平方向ｉ番目、垂直方向ｊ番目のタイルをＴ（ｉ，ｊ）と記す。

符号化方式判定部１０３は、タイル単位に可逆符号化を適用するか非可逆符号化を適用するかを判定する。詳細な判定方法を以下に説明する。

符号化方式の判定は、Ｔｗ×Ｔｈ画素のタイルデータを入力し、タイル内をｎ×ｍ画素単位（ｎ，ｍは２以上の整数であり、本実施形態ではｎ＝ｍ＝２とする）にラスタースキャン順で処理する。ここで、ｎ×ｍ画素、すなわち、２×２画素を以降、ピース（Ｐｉｅｃｅ）と呼ぶ。図５はタイルデータとピースの関係を現し、その右側に示す図は、１つのピースＢｎに含まれる４つの画素を示している。以下、着目ピースＢｎのＢｎ（１，１）の位置の画素をＸと表現し、Ｂｎ（０，０），Ｂｎ（０，１），Ｂｎ（１，０）の位置の画素をＸａ，Ｘｂ，Ｘｃという表現を用いるものとする。

符号化方式の判定手順は、まず、１つのピースの中で、色数が何色であるかの判定を行う。着目しているピース内の画素を図５の右側に示すＸａ、Ｘｂ、Ｘｃ、Ｘで表現し、Ｘａ，Ｘｂ，Ｘｃ，Ｘそれぞれの画素値が一致するかどうかの判定によって、ピースの色数が決定できる。Ｘａ，Ｘｂ，Ｘｃ，Ｘそれぞれの差分値Ｄａｂ，Ｄａｃ，Ｄａｄ，Ｄｂｃ，Ｄｂｄ，Ｄｃｄを次式（１）により求める。
Ｄａｂ＝Ｘａ−Ｘｂ
Ｄａｃ＝Ｘａ−Ｘｃ
Ｄａｄ＝Ｘａ−Ｘ
Ｄｂｃ＝Ｘｂ−Ｘｃ
Ｄｂｄ＝Ｘｂ−Ｘ
Ｄｃｄ＝Ｘｃ−Ｘ …（１）

そして、差分値Ｄａｂ，Ｄａｃ，Ｄａｄ，Ｄｂｃ，Ｄｂｄ，Ｄｃｄのうち、０となる数Ｆをカウントする。従って、差分値の個数は６つあるので、値Ｆは０乃至６の値を取り得る。ここで、Ｆ＝０の場合、ピース内の４画素Ｘａ，Ｘｂ，Ｘｃ，Ｘは全て違う色であることを意味する。従って、着目ピースに含まれる色数は４であると判定できる。また、Ｆ＝１の場合、４画素中２画素が同じ色となるので、Ｘａ，Ｘｂ，Ｘｃ，Ｘの色数は３となる。同様に、Ｆ＝２の場合には、色数が２であることを示す。そして、Ｆ＝３以上の場合にはＸａ，Ｘｂ，Ｘｃ，Ｘが全て同じ色であることになるので、色数は１である。以上の方法により、タイル中の全てのピースの色数を判定する。タイルに含まれる全てのピースについて色数判定が終了したら、タイルの符号化方式の判定を行う。本実施形態では、タイル内の、色数が１のピースの出現数Ｃ１、２色のピースの出現数Ｃ２、３色のピースの出現数Ｃ３、４色のピースの出現数Ｃ４をカウントしておく。そして、符号化方式判定部１０３は、色数２以下のピース数ＣＰ１（＝Ｃ１＋Ｃ２）と、総ピース数から決まる閾値とを比較し、可逆、非可逆符号化のいずれを適用するかを決める。すなわち、符号化方式判定部１０３は、タイル内の総ピース数６４×６４＝４０９６によって決まる閾値（ここでは総ピース数の５０％）と、１色ピース数Ｃ１と２色ピース数Ｃ２の合計カウント数ＣＰ１とを比較し、ＣＰ１が閾値以上であれば、着目タイルは可逆符号化することと決定し、制御信号“１”を出力する。一方、ＣＰ１が閾値未満である場合には、着目タイルに非可逆符号化方式を適用するよう制御信号“０”を出力する。

解像度圧縮部１０５は、符号化方式判定部１０３から出力される制御信号が“１”である場合に、入力したタイルデータに対して、解像度変換と補間データ生成の処理を行う。このため、解像度圧縮部１０５は、解像度変換部１１２と補間データ生成部１１３を含む。

解像度変換部１１２は、入力されるタイルデータ内の各ピース（２×２画素）から１画素を抽出するサブサンプリングを行い、水平、垂直ともオリジナルのタイルの１／２に縮小した縮小タイル（以下、１／２縮小タイルという）を生成する。図５のように着目するピースＢｎの１つ前のピースをＢｎ−1、Ｂｎの１つ後のピースをＢｎ＋1と表現し、Ｂｎの上のピースをＢｎ−ｂと表す。ｂはタイル内の横方向のピース数であり、タイルの水平方向画素数Ｔｗを用いて表せば、ｂ＝Ｔｗ／２である。本実施形態では、着目ピースＢｎのうち、Ｂｎ（１，１）の位置の画素Ｘを抽出し、１／２縮小タイルの１画素とする。解像度変換部１１２は、タイルデータ中の全てのピースＢ０〜Ｂｍ（ｍ ＝ Ｔw／２ × Ｔｈ／２−１）についてサブサンプリングを行い、水平、垂直方向の１／２の画素数の１／２縮小タイルを生成する。そして、解像度変換部１１２は、生成した１／２縮小タイルを可逆符号化部１０７へ出力する。

補間データ生成部１１３は、縮小画像からオリジナル解像度を復元するために必要な情報を生成する。１つのピース内の１画素が縮小画像の１画素としてサンプリングされたわけであるから、そのピースを復元するためには、残りの非サブサンプリング対象であった３画素Ｘａ，Ｘｂ，Ｘｃを復元できればよい。そこで、本実施形態の補間データ生成部１１３は、ピース単位に、そのピース内の非サブサンプリング対象の３画素ａ，ｂ，ｃがどのような値を持つのか、または、どのようにすれば復元できるのかを示す情報を符号データとして生成する。

図４は、本実施形態における補間データ生成部１１３の処理の流れを示したフローチャートである。以下、図４のフローチャートに従って、本実施形態の補間データ生成部１１３の処理を説明する。

まず、ステップＳ４０１にて、補間データ生成部１１３は処理対象のタイルデータを入力する。以下、タイルに含まれる各ピースについて順次処理を行う。

補間データ生成部１１３は、まず、着目するピースが、縮小タイルデータの画素の単純拡大（画素繰り返し）で表現可能であるかどうかを判定する“フラット判定”を行う（Ｓ４０２）。以下、２×２画素のピースが単純拡大で再現できるピースである場合をフラットピースと呼び、そうでないピースをノンフラットピースと呼ぶこととする。図５の２×２画素のピースＢｎがフラットピースであるとは、即ち、着目ピースＢｎにおいて以下の次式（２）が成り立つ場合である。
Ｂｎ（０，０）＝Ｂｎ（１，０）＝Ｂｎ（０，１）＝Ｂｎ（１，１） …式（２）

着目ピースＢｎが、式（２）の成立するフラットピースである場合（ＹＥＳ）には、図５の画素Ｘａ，Ｘｂ，Ｘｃに位置する画素が、縮小画像中の画素Ｘを単純拡大することによって再現が可能であるとわかる。このとき、ステップＳ４０３へ処理を移し、第１の付加情報としてのフラグ“１”（１ビットで十分である）を出力する。一方、式（２）が成立しない、すなわち、着目ピースがノンフラットピースであれば（ＮＯ）、ステップＳ４０４へ処理を移し、第１の付加情報としてのフラグ“０”を出力する。

続いて、ノンフラットピースＢｎについて、以下の式（３）が成立するピースであるかどうかの判定を行う（ステップＳ４０５）。
Ｂｎ（０，１）＝Ｂｎ−1（１，１）
且つ
Ｂｎ（１，０）＝Ｂｎ−ｂ（１，１）
且つ
Ｂｎ（０，０）＝Ｂｎ−ｂ−1（１，１） …（３）

以下、上記の式（３）が成り立つピースを周囲３画素一致ピースと定義する。上記、式（３）に示すように、ペア｛Ｂｎ（０，１）、Ｂｎ−１（１，１）｝、｛Ｂｎ（１，０）、Ｂｎ−ｂ（１，１）｝、及び、｛Ｂｎ（０，０）とＢｎ−ｂ−１（１，１）｝との一致／不一致を判定するのには、理由がある。一般に、着目画素と、その着目画素の上下左右に位置する画素間の相関度は高いし、そのような画像が多い。そのため、着目画素の画素値を予測する場合には、その上下左右の４近傍画素を予測のための参照画素として使用することが多い。しかし、ステップＳ４０５の判定では、「着目ピース内の４つの画素が互いに等しい」ピースは処理対象としない。そのため、この場合にはペア｛Ｂｎ（０，１）、Ｂｎ−１（１，１）｝、｛Ｂｎ（１，０）、Ｂｎ−ｂ（１，１）｝、及び、｛Ｂｎ（０，０）とＢｎ−ｂ−１（１，１）｝の相関が高くなる可能性が高いことを実験により得られた。ここで、注意したい点は、画素Ｂｎ−1（１，１）、Ｂｎ−ｂ（１，１）、Ｂｎ−ｂ−1（１，１）は、着目ピースに隣接する３つのピースそれぞれのサブサンプリング対象となった画素である点である。

上記特性、すなわち、着目ピース内の非サブサンプリング対象の３画素が、着目ピースに隣接する３つのピース内の３画素と一致する可能性が高い。そこで、そのために補間データとして、短い符号を割り当てることが可能となる。着目ブロックＢｎが、式（３）の成立するブロックである場合には、Ｂｎ（０，０）、Ｂｎ（１，０）、Ｂｎ（０，１）の位置の３画素が、周囲の画素から再現可能であると判断できる。但し、ブロックが画像の右端もしくは、画像の下端に位置する場合には、ブロックの外側の画素を参照することができない。そのため、外側の画素を仮想的に、予め任意の画素値を設定しておき、その画素値との一致／不一致判定を行うこととする。本実施形態では、仮想的に、２５５を設定しておく。しかし、２５５に限らず、符号化側と復号側で同じ値を用いるように定めておけばこれ以外の値でも構わない。

判定の結果、式（３）が成立するピースであれば（ＹＥＳ）、図４の画素Ｘａ、Ｘｂ、Ｘｃに位置する３画素が、すべて周辺画素を参照することによって再現が可能であるとわかる。このとき、ステップＳ４０６へ処理を移し、第２の付加情報としてのフラグ”１”を出力する。式（３）が成立しないピースであれば（ＮＯ）、ステップＳ４０７へ処理を移し、第２の付加情報としてのフラグ”０”を出力する。

ステップＳ４０８に処理が進むと、補間データ生成部１１３は、着目ピースに出現する色数が２色であるかどうかを判定する。２色である場合（ＹＥＳ）は、処理をステップＳ４０９へ処理を移し、第３の付加情報としてのフラグ”１”を出力し、２色の色が、ピース内でどのような配置であるかを示すフラグを出力する（ステップＳ４１０）。２×２画素内の出現する色数が２の場合の色の配置、図８に示す７種類の２値パターン８１乃至８７が存在する。同図において白の画素と斜線で示した画素は異なる値を表す。配置の種類が７種類なので、配置を示すフラグは、３ビットあれば十分に表現できる。例えば、図８のパターンを左から１，２，３，…、７と番号を振ってもそれを特定しても良いし、図５のＸａ，Ｘｂ，Ｘｃに当たる３画素が、Ｘの画素値と一致するか否かの情報を１ビットずつで表しても構わない。例えば、図８の２値パターン８１の場合、画素Ｘａ，Ｘｂ，Ｘｃ全てが、サブサンプリング対象の画素Ｘと異なるので、３ビットとして”０００”、図８の２値パターン８２の場合は、画素Ｘａが画素Ｘと異なり、画素Ｘｂ，Ｘｃは画素Ｘとは同じなので、”０１１”と表す。他の配置に対しても同様な方法により、フラグを付加すればよい。即ち、復号時に配置の種類を特定できれば良く、どのようなフラグでも構わない。色の配置を示す情報を出力したら、ステップＳ４１１へ処理を移す。

ステップＳ４１１に処理は進むと、補間データ生成部１１３は、図５の画素Ｘａ，Ｘｂ，Ｘｃに位置する画素のうち、画素Ｘと違う色（第２色と呼ぶ）を持っている画素と同じ色の画素が、着目ピースに隣接する３つのピース内のサブサンプリング対象となった画素の中にあるか否かを判定する。本実施形態においては、着目ピースがＢｎのとき、周辺画素としてＢｎ−１（１，１）、Ｂｎ−ｂ（１，１）、Ｂｎ−ｂ−１（１，１）の位置の３画素を参照する。そのどれか１画素が、着目ブロックの中の、第２色と一致する場合には、一致する画素の位置を２ビットのフラグで示す。例えば、第２色が、画素Ｂｎ−１（１，１）の色と一致するなら”１１”、Ｂｎ−ｂ（１，１）と一致するなら”０１”、Ｂｎ−ｂ−１（１，１）と一致するなら”１０”を出力する（ステップＳ４１２）。周辺のどの画素も一致しない場合（ＮＯ）には、処理をステップＳ４１３へ移し、２ビットのフラグ”００”を出力し、それに後続して第２色の画素値（Ｒ、Ｇ、Ｂの値）を出力し（ステップＳ４１４）する。そして、着目ピースＢｎに対する処理を終了する。本実施形態では符号化対象画像が、各色８ビットのＲＧＢデータであるからステップＳ４１４においては２４ビットが出力される。

一方、ステップＳ４０８にて、ブロックに出現する色数が２色よりも多い（３色か４色）と判定された場合、処理をステップＳ４１５へ移し、第２の付加情報としてのフラグ”０”を出力する。そして、ステップＳ４１６へ処理を進め、図５の画素Ｘａ，Ｘｂ，Ｘｃに位置する画素の画素値を出力し、着目ピースＢｎの処理を終了する。本実施形態の場合、ステップＳ４１６では２４ビット×３画素＝７２ビットが出力される。

着目ピースＢｎの処理が終了したら、ステップＳ４１７により、着目ピースが、処理対象タイルの最終のピースであるか否かの判定を行う。最終のピースでなければ（ＮＯ）、次のピースの処理に移る（ステップＳ４１８）。次のピースに対しても、ステップＳ４０２からの処理を同様に行う。最終のピースであれば（ＹＥＳ）、補間データ生成の処理を終了する。上記のようにして、補間データ生成部１１３は、生成した補間データを補間データバッファ１０６に出力し、次のタイルの処理を行う。

さて、上記手法により生成された１つのピースに対する補間データの情報は以下の(a)〜（ｅ）の５種類に分類されることになる。
（ａ） フラットピース
（ｂ） ノンフラットピース、かつ、周囲３画素一致ピース
（ｃ） ノンフラットピース、かつ、２色で周辺画素に第２色と同じ色あり
（ｄ） ノンフラットピース、かつ、２色で周辺画素に第２色と同じ色なし
（ｅ） ノンフラットピース、且つ、３色以上

一般に文字、線画、クリップアート画像などではピース（ａ）、（ｂ）、(c)が多く現れ、複雑なＣＧ画像や自然画像などではピース（ｄ）、（ｅ）が多く出現する傾向が見られる。また、文字、線画、クリップアートなどの場合、非可逆符号化してしまうと画質劣化が目に付きやすく、逆に、可逆符号化では高い圧縮性能を得られ、当然、画質劣化は発生しない。一方、複雑なＣＧや自然画像では、逆に非可逆符号化による画質劣化が目に付きにくく、且つ圧縮性能も良い反面、可逆符号化では高い圧縮性能を得られない傾向がある。更には、上記(ａ)、（ｂ）、（ｃ）の場合、縮小画像の画素値を用いて元画像を復元するため、縮小画像に画素変化（劣化）が生じた場合、復号時に元の解像度の画像を復元する際にその劣化を広げる方向に作用する。このため、縮小画像符号化時の画質劣化の影響を受け易い。反対に、（ｄ），（ｅ）の場合には縮小画像に含まれない画素（色）の情報が直接指定されるため、画質劣化の影響が少ない。

補間データ生成部１１３の処理により生成した補間データは、上述したような性質を持つ。そのため、本実施形態では、符号化方式判定部１０３により可逆符号化方式が選択された場合にのみ、補間データ生成部が補間データ生成処理を行うとうにした。

このため、先に説明したように、符号化方式判定部１０３は、入力したタイル中の１色又は２色で構成されるピース数をカウントする。そして、符号化方式判定部１０３は、そのカウント数と予め設定された閾値とを比較し、「カウント数≧閾値」（実施形態ではカウント数の割合が５０％以上）の場合、着目タイルを可逆符号化、それ以外の場合には非可逆符号化するものとして決定し、対応する制御信号を出力する。

可逆符号化部１０７は１／２縮小タイルデータを可逆符号化して符号化データを生成し、符号化データバッファ１０９に格納する。可逆符号化処理としては、様々な可逆符号化手法が適用可能であるが、ここではその一例として、国際標準方式としてＩＳＯとＩＴＵ−Ｔから勧告されるＪＰＥＧ−ＬＳ（ＩＴＵ−Ｔ Ｔ．８７｜ＩＳＯ／ＩＥＣ１４４９５−１）を用いるものとする。ＪＰＥＧ−ＬＳの詳細についても勧告書等に記載されているので、ここでは説明を省略する。また、全タイルで共通となるフレームヘッダや、スキャンヘッダ、各種テーブルなどについては符号化データバッファ１０９に格納せず、符号化データ部分のみを格納することとする。なお、本実施形態では可逆符号化方式を用いるものとしたが、可逆符号化方式に限らず、劣化の視認できないような非可逆符号化を用いても構わない。例えば、ＪＰＥＧ−ＬＳのニアロスレス（準可逆）で±１を設定して符号化する場合や、ＪＰＥＧの量子化ステップ１を設定して符号化する場合のように、誤差の範囲が限られるような符号化方式であればよい。非可逆符号化方式であっても誤差範囲が限られていることで、縮小画像に画素変化（劣化）が生じた場合に、解像度圧縮の復号時に劣化が広がるとしても、画素値が大きく変化していないため、劣化は視認されにくいためである。

一方、非可逆符号化部１０８では、符号化方式判定部１０３から出力される制御信号が“０”である場合に、タイルデータを非可逆符号化方式で符号化して符号化データを生成する。生成された符号化データは、符号化データバッファ１０９に格納される。非可逆符号化部１０８における非可逆符号化処理は、可逆符号化部１０７と同様に、様々な手法が適用可能である。ここでは静止画像符号化の国際標準方式として勧告されているＪＰＥＧ（ＩＴＵ−Ｔ Ｔ．８１｜ＩＳＯ／ＩＥＣ１０９１８−１）のベースライン方式を適用するものとする。ＪＰＥＧについては勧告書等に詳細な説明があるのでここでは説明を省略する。但し、ＪＰＥＧ符号化で用いるハフマンテーブル、量子化テーブルは全てのタイルで同じものを使用することとする。そして全タイルで共通となるフレームヘッダや、スキャンヘッダ、各種テーブルなどについては符号化データバッファ１０９に格納せず、符号化データ部分のみを格納することとする。即ち、図７に示した一般的なＪＰＥＧベースライン符号化データの構成のうち、スキャンヘッダの直後からＥＯＩマーカの直前までのエントロピ符号化データセグメントのみが格納される。なお、ここでは説明簡略化のため、ＤＲＩ、ＲＳＴマーカによるリスタートインターバルの定義や、ＤＮＬマーカによるライン数の定義などは行わないものとする。

符号列形成部１１０は符号化方式選択部１０３から出力される制御信号と補間データバッファ１０６に格納される補間データ、符号化データバッファ１０９に格納されるタイル符号化データを結合させ、そして必要な付加情報（タイツヘッダ）を加えて本画像符号化装置の出力となる符号列を形成する。この符号列形成部１１０の具体的な処理は次の通りである。
・符号化方式選択部１０３からの制御信号が“１”（可逆符号化）の場合：
符号列形成部１１０は、符号化データバッファ１０９に格納された符号化データ（可逆符号化データ）と補間データバッファ１０６に格納された補間データを結合する。そして、タイルヘッダ、着目タイルが可逆符号化されたことを示す１ビット（符号化方式選択信号）、符号化データの順に出力する。
・符号化方式選択部１０３からの制御信号が“０”（非可逆符号化）の場合：
符号列形成部１１０は、タイルヘッダ、非可逆符号化されたことを示す１ビット（符号化方式選択信号）、符号化データバッファ１０９に格納された符号化データ（非可逆符号化データ）の順に出力する。

図９（ａ）は本画像符号化装置の出力符号列の構成を示す図である。出力符号列の先頭には、画像を復号するために必要となる情報、例えば、画像の水平方向画素数、垂直方向画素数、コンポーネント数、各コンポーネントのビット数やタイルの幅、高さなどの付加情報がヘッダとして付けられる。また、このヘッダ部分には、画像データそのものについての情報のみでなく、各テーブル共通に使用するハフマン符号化テーブルや、量子化テーブルなど符号化に関する情報も含まれる。図９（ｂ）は可逆符号化方式が選択された各タイルの出力符号列の構成を示す図である。各タイルの先頭にはタイルの番号や大きさなど、復号に必要な各種情報を含んだタイルヘッダがあり、その後に、符号化方式選択部１０３から出力される符号化方式制御信号が付加される。ここでは説明のためにあえてタイルヘッダとは別に示しているが、符号化方式制御信号はタイルヘッダの中に含めても構わない。可逆符号化方式が選択された場合には、符号化方式選択信号に続いて、１／２縮小タイルの符号化データと補間データを持つ。図９（ｃ）は、非可逆符号化方式が選択された各タイルの出力符号列の構成を示す図である。各タイルの先頭には可逆符号化方式が選択された場合と同様に、タイルの番号や大きさなど、復号に必要な各種情報を含んだタイルヘッダがあり、その後に、符号化方式１０３から出力される制御信号が付加される。非可逆符号化が選択されたタイルの場合には、符号化方式選択信号に続いて、タイルに対する符号化データを持つ。なお、図９には特に示していないが、各タイルの符号列の長さをタイルの先頭や、符号化データの先頭のヘッダ部分に含めるなどして管理することによりタイル単位のランダムアクセスが可能となるようにしても良い。あるいは、符号化データ中に所定の値が発生しないように工夫を加えて特殊なマーカを設定し、各タイルデータの先頭、または末尾にマーカを置くなどしても同様の効果が得られる。

符号化データ出力部１１１は符号列形成部１１０により生成された出力符号列を装置外部へと出力する。

以上のように、本実施形態の画像符号化装置では、複数の画素で構成されるタイル（実施形態では１２８×１２８画素サイズ）を単位に符号化処理を行う。各タイルについて、符号化方式の判定を行い、可逆符号化方式が選択された場合には、縮小画像から元の画像を復元するための補間データを生成し、縮小画像を可逆符号化する。一方、非可逆符号化方式が選択された場合には、入力されたタイルデータをそのまま非可逆符号化する。符号化方式の判定手段で、可逆符号化方式が選択されるような画像の場合には、補間データのデータ量が小さくなる。また、補間データ生成は単純、簡易な処理であり、高度な演算処理を要するビットマップ符号化処理（可逆符号化部１０７）を縮小画像に限定することにより、画像全体をビットマップ符号する場合に比べて、簡易、高速に符号化処理を実現できる。

一般に、非可逆符号化方式が選択されるような画像の場合には、補間データ生成を行うことで、復号時に解像度を元に戻した際に、非可逆符号化で発生した劣化を拡大させてしまう可能性がある。本発明では、非可逆符号化方式の前に解像度圧縮を行わないことで、劣化の拡張を回避できる。このことで、画質よく符号化することができる。

なお、上記実施形態では、着目タイル中の閾値として５０％以上のピースがフラットピースのときに、着目タイルを可逆符号化するものとして説明したが、この５０％という閾値はユーザが適宜設定するようにしても良いので、５０％に限るものではなない。また、実施形態におけるタイルは１２８×１２８画素としたが、そのサイズもこれに限るものではなく、正方である必要もない。ただし、可逆符号化の最小符号化単位は一般に４×４とか８×８画素が多いので、そのような符号化を採用する場合、タイルの水平、垂直方向の画素数もその整数倍にすることが望ましい。

［第１の実施形態の変形例］
上記第１の実施形態と同等の処理を、コンピュータプログラムによって実現する例を第１の実施形態の変形例として以下に説明する。

図１３は、本変形例における情報処理装置（例えばパーソナルコンピュータ）のブロック構成図である。

図中、１３０１はＣＰＵで、ＲＡＭ１３０２やＲＯＭ１３０３に記憶されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する画像符号化処理を実行する。１３０２はＲＡＭで、外部記憶装置１３０７や記憶媒体ドライブ１３０８、若しくはＩ／Ｆ１３０９を介して外部装置からダウンロードされたプログラムやデータを記憶する為のエリアを備える。また、ＲＡＭ１３０２は、ＣＰＵ１３０１が各種の処理を実行する際に使用するワークエリアも備える。１３０３はＲＯＭで、ブートプログラムや本装置の設定プログラムやデータを格納する。１３０４、１３０５は夫々キーボード、マウスで、ＣＰＵ１３０１に対して各種の指示を入力することができる。

１３０６は表示装置で、ＣＲＴや液晶画面などにより構成されており、画像や文字などの情報を表示することができる。１３０７はハードディスクドライブ装置等の大容量の外部記憶装置である。この外部記憶装置１３０７には、ＯＳ（オペレーティングシステム）や後述する画像符号化処理の為のプログラム、符号化対象の画像データなどがファイルとして保存されている。また、ＣＰＵ１３０１は、これらのプログラムやデータをＲＡＭ１３０２上の所定のエリアにロードし、実行することになる。

１３０８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出してＲＡＭ１３０２や外部記憶装置１３０７に出力するものである。なお、この記憶媒体に後述する画像符号化処理の為のプログラム、符号化対象の画像データなどを記録しておいても良い。この場合、記憶媒体ドライブ１３０８は、ＣＰＵ１３０１による制御によって、これらのプログラムやデータをＲＡＭ１３０２上の所定のエリアにロードする。

１３０９はＩ／Ｆで、このＩ／Ｆ１３０９によって外部装置を本装置に接続し、本装置と外部装置との間でデータ通信を可能にするものである。例えは符号化対象の画像データなどを本装置のＲＡＭ１３０２や外部記憶装置１３０７、あるいは記憶媒体ドライブ１３０８に入力することもできる。１４１０は上述の各部を繋ぐバスである。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１３０１はＲＯＭ１３０３のブートプログラムに従って、外部記憶装置１３０７からＯＳをＲＡＭ１３０２にロードする。この結果、キーボード１３０４、マウス１３０５の入力が可能となり、表示装置１３０６にＧＵＩを表示することが可能になる。ユーザが、キーボード１３０４やマウス１３０５を操作し、外部記憶装置１３０７に格納された画像符号化処理用アプリケーションプログラムの起動の指示を行なうと、ＣＰＵ１３０１はそのプログラムをＲＡＭ１３０２にロードし、実行する。これにより、本装置が画像符号化装置として機能することになる。この場合、図１における各バッファメモリはＲＡＭ１３０２や外部記憶装置１３０７に確保され、それ以外の処理部に相当する部分は、ＣＰＵが実行するプログラムの関数、プロシージャ、或いは、サブルーチン等で実現することになる。そして、符号化処理で得られた結果は、１つのファイルとしてハードディスク等の記憶装置に格納したり、外部装置もしくはネットワーク上に転送することになる。

上記の通り、先に説明した第１の実施形態と等価の処理を、コンピュータプログラムでもって実現することが可能である。

［第２の実施形態］
上記第１の実施形態では、符号化方式の先行判定により、可逆符号化方式が選択されたタイルの画像データは、必ず解像度変換（実施形態では水平、垂直とも１／２の画素数に変換）を１度だけ行い、その縮小画像に対して可逆符号化方式により符号化するものであった。

しかしながら、画像によっては、縮小画像生成と補間データ生成を行う回数を変化させた方が、圧縮性能が良くなる場合がある。そこで、本第２の実施形態として、画像によって、縮小画像生成と補間データ生成処理の適用回数判定を行う例を説明する。

なお、本第２の実施形態においても、対象の画像データは、ＲＧＢ各色８ビットで構成される画像データとするが、ＣＭＹＫカラー画像データなど、他の形式の画像データに適用しても良い。また、画像は水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとし、タイルのサイズも第１の実施形態と同じく、Ｔｗ＝Ｔｈ＝１２８画素とする。

本第２の実施形態に係る画像符号化装置のブロック図は、第１の実施形態で説明した図１のブロック図と同じである。異なるのは、符号化方式判定部１０３、解像度圧縮部１０５の処理内容である。従って、以下でも図１の構成に基づいて説明することとし、且つ、第１の実施形態と動作が異なる部分について説明こととする。

上述の第１の実施形態では、符号化方式判定部１０３において、着目タイル中のピースの色数をカウントし、タイル中の総ピースに対する、色数が１のピース（１色ピース）の数Ｃ１と、色数が２のピース（２色ピース）の数Ｃ２との合計数を比較するのみであった。本実施形態においては、カウントした色数の割合を更に詳細に調べて、可逆符号化方式が選択された場合に、解像度圧縮部１０５で、縮小画像生成と補間データ生成の回数の設定も同時に行う。

本実施形態における、符号化方式判定部１０３の処理フローを図１０に示す。以下、図１０のフローチャートに従って、本実施形態の符号化方式判定部１０３の処理フローを説明する。

まず、第１の実施形態と同様に、符号化方式判定部１０３は、処理対象であるタイルを入力し、そのタイル中の１色ピース数Ｃ１と２色ピース数Ｃ２をカウントし、カウント結果を入力する（ステップＳ１００１）。このとき、１色ピースの数をＣ１、２色ピースの数をＣ２と表現し、タイル中の総ピース数を「ＡＰ」とし、その５０％を閾値Ｔ１と表現するものとする。

ステップＳ１００２は、Ｃ１＋Ｃ２≧Ｔ１が成立か否かの判定を行う。Ｃ１＋Ｃ２≧Ｔ１が成立する場合（ＹＥＳ）には、制御信号“１”を出力し（ステップＳ１００４）、処理をステップＳ１００５へ進める。一方、Ｃ１＋Ｃ２＜Ｔ１の場合、制御信号“０”を、非可逆符号化部１０８、解像度圧縮部１０５、及び、符号列形成部１１０に出力し（ステップＳ１００３）、処理を終了する。

ステップＳ１００５では、処理対象タイルの中に、１色ピースの数Ｃ１の割合が十分に高いか否かの判定を行う。具体的な処理としては、閾値Ｔ２を定義し、Ｃ１≧Ｔ２が成立するかどうかの判定を行う。実施形態では、Ｔ２＝ＡＰ×０．８である。Ｃ１≧Ｔ２が成立する場合（ＹＥＳ）は、解像度圧縮の回数を「２回」と設定し（ステップＳ１００６）、処理を終了する。一方、Ｃ１＜Ｔ２の場合は、ステップＳ１００７へ処理を移す。ここで、Ｃ１の割合が高ければ、タイル中に同一色の画素が連続している可能性が高いと判断できる。同一色の画素値が連続している場合には、解像度圧縮を１回行って得られた縮小画像も、同一色の画素値が連続する可能性が高い。そのため、タイルデータの縮小画像データに対して、再度解像度圧縮を行うことで、縮小画像のデータ量が削減できる。例えば、図２（ａ）のような画像の場合には、タイルのほとんどが白地で同一の画素値が連続している。この画像に対して、解像度圧縮を１回行って生成された縮小画像データを、図２（ｄ）に示す。図２（ｄ）に示す画像の中のピースの色数をカウントしても白地の領域が広いため、１色ピースが多く存在する。第１の実施形態で説明したとおり、１色ピースの割合が高い場合には、補間データとして短い符号化が割り当てられるため補間データ生成での圧縮性能が良い。さらに、可逆符号化方式が適用される画像データの画素数は、オリジナル解像度の画像データの画素数の１／１６となるため、符号化処理の負荷が軽減される。

ステップＳ１００７は、処理対象タイルの中に１色ピースの数Ｃ１と２色ピースの数Ｃ２の合計数の割合が高いか否かの判定を行う。具体的な処理としては、閾値Ｔ３を定義し、Ｃ１＋Ｃ２≧Ｔ３が成立するかどうかを判定する。実施形態では、Ｔ３＝ＡＰ×０．７とする。従って、Ｔ１、Ｔ２、Ｔ３の関係はＴ２＞Ｔ３＞Ｔ１となる。Ｃ１＋Ｃ２≧Ｔ３が成立する場合（ＹＥＳ）は、解像度圧縮の回数を「１回」と設定し（ステップＳ１００８）、処理を終了する。一方、Ｃ１＋Ｃ２＜Ｔ３の場合、ステップＳ１００９へ処理を移し、解像度圧縮の回数を「０回」と設定する。

ここで、Ｃ１＋Ｃ２の割合が多ければ、補間データ生成で生成される補間データ量は小さくなる。但し、解像度圧縮を１度行って生成された縮小画像を解析した場合に、１色ピースと２色ピースの数の割合が少ない可能性があるため、解像度圧縮の回数は１回のみとする。例えば、図２（ｂ）のような画像の場合には、タイル中にアンチエリアスのかかっている小ポイント文字が存在しており、１色ピースと２色ピースの数は多い。しかしながら、図２（ｂ）の画像に対して解像度圧縮を１度行い生成された縮小画像を解析した場合には、アンチエリアスがかかっている影響もあり、図２（ｅ）に示すように、１色ピースや２色ピースの割合が少なくなる。１色ピースと２色ピースの割合が少なくなると、補間データ量が多くなってしまうため、２回目の補間データを行うことで圧縮性能が低下する可能性がある。そのため、解像度圧縮の回数を１回と設定する。

可逆符号化方式が選択されたタイルデータであっても、Ｃ１＋Ｃ２の数がＴ１に近い値であれば、補間データ量が多くなってしまう。その場合には、図２（ｃ）の画像のように、文字と自然画が混在している可能性が高い。タイル内が自然画のみであれば、非可逆符号化を適用しても構わないが、文字・線画は非可逆符号化を適用すると、画質劣化が目につくため、可逆符号化方式を適用したい。しかしながら、符号データ量はなるべく小さくしたいため、解像度圧縮の反復回数を０回と設定する。

以上の処理をまとめると、符号化方式判定部１０３は、Ｔ２＞Ｔ３＞Ｔ１の関係を有する閾値と、色出現数Ｃ１、Ｃ２との関係により、以下の処理を行うものとして決定する。条件１：Ｃ１＋Ｃ２≧Ｔ１
条件２：Ｃ１≧Ｔ２
条件３：Ｃ１＋Ｃ２≧Ｔ３
１）条件１を満たさない場合、着目タイルは非可逆符号化する（制御信号“０”）。
２）条件１を満たす場合、着目タイルを可逆符号化する（制御信号“１”）。
更に、可逆符号化する場合については以下の通りとする。
３）条件２を満たす場合には、解像度圧縮の回数「２回」とする。
４）．条件２を満たさず、条件３を満たす場合には、解像度圧縮の回数「１回」とする。５）．条件１、２のいずれも満たさない場合、解像度圧縮の回数「０回」とする。

解像度圧縮部１０５は、符号化方式判定部１０３により判定された結果の制御信号が“１”の場合に、符号化方式判定部１０３を介してタイルデータを入力する。そして、解像度圧縮の反復回数が０回と設定された場合には、縮小画像生成と補間データ生成は行わず、入力したタイルデータをそのまま可逆符号化対象画像として可逆符号化部１０７に出力する。

一方、解像度圧縮の反復回数が１回と設定された場合には、第１の実施形態と同様の処理により、縮小画像データ生成と補間データ生成を１回行い、生成された１／２縮小画像を可逆符号化対象画像として可逆符号化部１０７へ出力し、補間データを補間データバッファ１０６へ出力する。

また、解像度圧縮の反復回数が２回と設定された場合には、第１の実施形態と同様の処理により、縮小画像生成と補間データ生成を１回行う。さらに、１回目の縮小画像生成により生成された１／２縮小画像に対して、２回目の縮小画像生成と補間データ生成を行う。この処理により生成された、１／４縮小画像を可逆符号化対象画像として可逆符号化部１０７へ出力し、２回目に生成した補間データに後続して１回目に生成した補間データを補間データバッファ１０６へ出力する。

図９（ｄ）に符号列形成部１１０により、本実施形態の可逆符号化方式が選択された各タイルの出力符号列の構成を示す。第１の実施形態と同様に、各タイルの先頭にはタイルの番号や大きさなど、復号に必要な各種情報を含んだタイルヘッダがあり、その後に、符号化方式選択部１０３から出力される制御信号が付加される。なお、制御信号が“１”の場合には、その直後に反復回数の信号が付加される。ここでは、説明のためにあえてタイルヘッダとは別に示しているが、制御信号や反復回数はタイルヘッダの中に含めても構わないことは言うまでもない。可逆符号化方式が選択され、かつ解像度圧縮を２回行ったタイル場合には、符号化方式選択信号に続いて、１／４縮小タイルの符号化データを持ち、更に２回目の補間データと１回目の補間データを持つ。可逆符号化方式が選択され、かつ解像度圧縮を１回行ったタイル場合の符号列は図９（ｂ）に示した符号列と同じであり、第１の実施形態で説明したため省略する。可逆符号化方式が選択され、かつ解像度圧縮が０回と設定されたタイル場合には、図９（ｃ）に示すように、符号化方式選択信号に続いて、タイルに対する符号化データを持つ。

以上のように、本第２の実施形態の画像符号化装置では、可逆符号化方式が選択されたタイルデータに対して、解像度圧縮の反復回数を予め設定する。設定された反復回数が０回の場合には、解像度圧縮を行わず、入力タイルを可逆符号化し、反復回数が１回の場合には、第１の実施形態と同様の処理で、１／２縮小画像と補間データを生成し、１／２縮小画像データに対して可逆符号化処理を行う。また、反復回数が２回の場合には、１回目の解像度圧縮で生成された１／２縮小画像データに対して解像度圧縮を行い、生成された１／４縮小画像データに対して、可逆符号化処理を行う。タイル内のピースの色数によって、補間データ量の多くなりそうなタイルデータを予測し、解像度圧縮の反復回数を設定することで、画質を良好に保ちつつも、符号量を抑制することができる。

［第３の実施形態］
上記第２の実施形態では、符号化方式を判定する際に、予め、解像度圧縮の反復回数を設定することで、文字や線画と自然画が混在していて補間データ量が多くなるような画像に対しても圧縮性能の良いように符号化するものであった。しかしながら、先行判定が正しくはない場合、生成される符号量が多くなることも起こり得る。

そこで、本第３の実施形態では、一旦は可逆符号化すると決定して、補間データを生成した後でも、その補間データ量に基づいて非可逆符号化に切り換えることを可能にする例を説明する。つまり、図１における符号化方式判定部１０３が可逆符号化すべきと判定した結果を、仮判定と見なす例である。

より具体的には、符号化方式判定部１０３は、着目タイル内の１色ピースの数と２色ピースの数の合計数と、閾値とを比較し、合計数が閾値未満の場合、着目タイルは非可逆符号化するものとして決定する。これは、第１の実施形態と同じである。一方、合計数が閾値以上の場合の「着目タイルの可逆符号化」は仮決定とし、その後の条件次第では非可逆符号化に切り換えることも可能にする。

なお、本第３の実施形態においても、対象の画像データは、ＲＧＢ各色８ビットで構成される画像データとするが、ＣＭＹＫカラー画像データなど、他の形式の画像データに適用しても良い。また、画像は水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとし、タイルのサイズＴｗ，Ｔｈについても第１の実施形態と同じく１２８であるとする。

図１１に本第３の実施形態に係る画像符号化装置のブロック構成図を示す。第１の実施形態で説明した図１のブロック図と異なる点は、解像度圧縮部１０５の後段に補間データ量判定部１１０１を設けた点である。これ以外は、第１の実施形態と同じであるので、その説明は省略する。従って、以下では、第１の実施形態と動作が異なる部分、すなわち、符号化方式判定部１０３が可逆符号化を行うべきと仮判定した場合について説明する。

解像度圧縮部１０５は、着目タイルについて可逆符号化を行うと仮決定されたので、その着目タイルデータを入力し、解像度変換と補間データ生成処理を行うことになる。補間データ量判定部１１０１は、解像度圧縮部１０５により生成された補間データのデータ量を受け取る。そして、受け取った補間データ量Ｉと、符号化方式の再判定のための閾値Ｔ１を比較して、符号化方式を再判定する。本実施形態では、符号化方式の判定のための閾値Ｔ１は、入力タイルデータ量の１／４とする。本実施形態の場合には、タイルデータが１２８×１２８画素のサイズで、ＲＧＢカラー画像であり、１色成分が１バイトとしているため、閾値Ｔ１＝１２８×１２８×３／４＝１２２８８バイトとなる。補間データ量Ｉと閾値Ｔ１を比較し、その比較結果を示す信号を非可逆符号化部１０８、可逆符号化部１０７、符号列形成部１１０に出力する。具体的には、Ｉ＜Ｔ１が成立する場合には、可逆符号化すると仮判定した結果を維持し、解像度圧縮部１０５により生成された１／２縮小画像を可逆符号化部１０７へ出力し、制御信号“１”を非可逆符号化部１０８、可逆符号化部１０７、及び、符号列形成部１１０に出力する。このとき、補間データバッファ１０６には、該当する補間データが格納されている点に注意されたい。この結果、可逆符号化部１０７は可逆符号化処理を行い、その生成された符号化データ（可逆符号化データ）を符号データバッファ１０９に出力する。

逆に、Ｉ≧Ｔ１の場合、補間データ量判定部１１０１は、可逆符号化すると仮判定した結果は誤りであると判定し、制御信号“０”を非可逆符号化部１０８、可逆符号化部１０７、及び、符号列形成部１１０に出力する。この結果、非可逆符号化部１０８は、入力したオリジナル解像度のタイルデータに対して非可逆符号化を行うことになる。

符号列形成部１１０は、符号化方式判定部１０３からの制御信号が“０”である場合、着目タイルは非可逆符号化されることになるので、符号データバッファ１０９に格納されている非可逆符号化データを、所定形式のデータ構造（タイルヘッダ＋非可逆符号化を示す信号＋非可逆符号化データ）にして出力する。

また、符号列形成部１１０は、符号化方式判定部１０３からの制御信号が“１”である場合、補間データ量判定部１１０１からの制御信号に従った処理を行う。すなわち、補間データ量判定部１１０１からの制御信号が“１”の場合、符号化データバッファ１０９に格納されている可逆符号化部１０７からの可逆符号化データと、補間データバッファ１０６内に格納されている補間データとを結合し、所定形式のデータ構造（タイルヘッダ＋可逆符号化を示す信号＋可逆符号化データ＋補間データ）にして出力する。一方、補間データ量判定部１１０１からの制御信号が“０”の場合、符号化データバッファ１０９に格納されている非可逆符号化データを、着目タイルの所定形式のデータ構造にして出力する。

具体的な画像の例を図３（ａ）に示す。図３（ａ）に示す画像のように、白地と自然画が混在している画像に対して、補間データを生成した場合に、１色ピースと２色ピースがタイルデータの５０％以上を占めているため、可逆符号化方式が選択される。しかしながら、解像度変換により補間データ生成を行った場合には、自然画部分で補間データとして長い符号が割り当てられるため、補間データ量Ｉが閾値Ｔ１よりも多くなる可能性が高い。そのため、補間データ量判定部１１０１において、非可逆符号化方式が選択される。

以上の処理により、補間データ量に基づいて符号化方式を再度判定することで、先行判定で可逆符号化方式が一旦は選択された場合であっても、実際に生成された補間データ量が著しく多い画像データであれば、非可逆符号化方式を適用するため、符号データ量を抑制することができる。

［第４の実施形態］
上記第３の実施形態では、補間データ量に基づいて符号化方式を判定することで、符号データ量を削減するものであった。補間データ量に基づいて符号化方式を選択することで、符号量の抑制は可能であるが、符号量を基にタイル単位に符号化方式を切り換えるだけでは、文字や線画がある部分と自然画とが混在したタイルにおいて、必ずしも画質良く符号化されるとは限らないし、逆に最も圧縮しても構わない状況も発生する。

そこで、本第４の実施形態では、着目タイルデータから補間データが生成された後に、その補間データのデータ量に基づいて、タイルの再分割を行うか否かを判定し、符号化処理を再分割されたタイルに対して施す手法について説明する。

なお、本第４の実施形態においても、対象の画像データは、ＲＧＢ各色８ビットで構成される画像データとするが、ＣＭＹＫカラー画像データなど、他の形式の画像データに適用しても良い。また、画像は水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとし、タイルのサイズＴｗ，Ｔｈについても第１の実施形態と同じく１２８であるとする。また。また、タイル再分割は、オリジナルのタイルを２×２個のサブタイルに分割する例を説明する。

図１２に本第４の実施形態に係る画像符号化装置のブロック図を示す。第１の実施形態で説明した図１のブロック図と異なる点は、解像度圧縮部１０５の後段に補間データ量判定部１１０１とサブタイル符号化方式判定部１２０１を設けた点である。これ以外は、第１の実施形態と同じである。すなわち、符号化方式判定部１０３は、着目タイル内の１色ピースの数と２色ピースの数の合計数と、閾値とを比較し、合計数が閾値未満の場合、着目タイルは非可逆符号化するものとして決定する点は、第１の実施形態と同じである。以下、第４の実施形態の処理について、第１の実施形態と動作が異なる部分について説明する。

非可逆符号化部１０８は、符号化方式判定部１０３が非可逆符号化と判定した場合、着目タイルを非可逆符号化する点は第１の実施形態と同じである。非可逆符号化部１０８は、更に、後述するサブタイル符号化方式判定部１２０１から、サブタイルを特定する情報と非可逆符号化を指示する信号を受信した場合、指示されたサブタイルを非可逆符号化を行う。

また、符号化方式判定部１０３が、着目タイルを可逆符号化すべきと仮判定して、入力したタイルを解像度圧縮部１０５に適用させるた場合、解像度圧縮部１０５から生成された１／２縮小タイルデータと補間データが出力される点、及び、生成された補間データを補間データバッファ１０６に格納する点は第１の実施形態と同じでである。本第４の実施形態の解像度圧縮部１０５は、１／２縮小タイルデータを補間データ量判定部１１０１に出力するとき、着目タイルから生成された補間データのデータ量を示す情報も併せて補間データ量判定部１１０１に出力する。また、解像度圧縮部１０５は、上記のようにして、１／２縮小タイルデータ、補間データを生成した後も、着目タイルの最終的な符号化方式が決定するまで、その着目タイルデータを保持する。そして、解像度圧縮部１０５は、補間データ量判定部１１０１から再分割しない旨の信号を受信した場合、内部に保持した着目タイルデータを破棄し、次のタイルデータの入力を行う。また、解像度圧縮部１０５は、補間データ量判定部１１０１から再分割する旨の信号を受信した場合、内部に記憶されていたタイルデータを、２×２個の４つのサブタイルデータに分割し、各サブタイルデータについて解像度変換と補間データの生成処理を行う。なお、実施形態ではタイルのサイズをＴｗ×Ｔｈとして表わし、Ｔｗ＝Ｔｈ＝１２８としている。したがって、サブタイルのサイズをＳＴｗ×ＳＴＨと表わしたとき、ＳＴｗ＝ＳＴｈ＝６４となる。

上記を踏まえ、本実施形態における補間データ量判定部１１０１を説明する。補間データ量判定部１１０１は、解像度圧縮部１０５から、オリジナルのタイルの解像度変換後の縮小画像データ（６４×６４画素）と補間データ量を示す情報を受信する。そして、補間データ量判定部１１０１は、受け取った補間データ量Ｉと、符号化方式の再判定のための閾値Ｔ１を比較して、サブタイルデータ毎に符号化方式の選択を行うか否かの判定を行う（第１の判定処理）。具体的には、第３の実施形態と同様、符号化方式の再判定のための閾値Ｔ１を、入力タイルデータ量の１／４とする。補間データ量Ｉと閾値Ｔ１を比較し、Ｉ＜Ｔ１が成立する場合には、補間データ量判定部１１０１は入力した１／２縮小画像を可逆符号化部１０７に出力すると共に、着目タイルは再分割無しに可逆圧縮されることを示す信号を、解像度圧縮部１０５、符号列形成部１１０に出力する。可逆符号化部１０７は、与えられた１／２縮小画像を可逆符号化し、その結果を符号データバッファ１０９に格納する。このとき、該当する補間データが補間データバッファ１０６に格納されている点に注意されたい。

一方、Ｉ≧Ｔ１の場合、補間データ量判定部１１０１は、入力タイルデータを２×２個のサブタイルに再分割することと決定する。そのため、補間データ量判定部１１０１は再分割することを示す制御信号を解像度圧縮部１０５、符号列形成部１１０、サブタイル符号化方式判定部１２０１に出力する。この結果、サブタイル符号化方式判定部１２０１は、着目タイルを構成する個々のサブタイルの符号化方式を判定する処理を開始する。

解像度圧縮部１０５は、この再分割することを示す信号を受けとると、先に説明したように、着目タイルを２×２個のサブタイルに分割する。具体例として、解像度圧縮部１０５は、図３（ｂ）に示すタイルデータを同図の（１）、（２）、（３）、（４）の順番にサブタイルを定義し、この順番に、１／２縮小処理及び補間データの生成処理を行う。実施形態では、タイルのサイズは１２８×１２８画素としているので、１つのサブタイルのサイズは６４×６４画素となる。また、１つのサブタイルに対する１／２縮小処理で得られる縮小画像は３２×３２画素となる。また、４つのサブタイルそれぞれから得られた補間データは、補間データバッファ１０６に格納される。このとき、補間データバッファ１０６には、オリジナルの着目タイルから生成された補間データが既に格納されているので、それを破棄した上で各サブタイルから得られた補間データを格納していく（上書で良い）。

また、補間データ量判定部１１０１は、上記の結果、１つのサブタイルの縮小画像とその補間データが生成される度に、その補間データのデータ量をそのままサブタイル符号化方式判定部１２０１に出力する。

サブタイル符号化方式判定部１２０１は、結局のところ、補間データ量判定部１１０１を介して、図３（ｂ）の（１）→（２）→（３）→（４）の順番に、それぞれのサブタイルの補間データ量を入力する。そして、サブタイル符号化方式判定部１２０１は、入力された１つのサブタイルに対応する補間データ量Ｉｓと閾値Ｔ２を比較し、着目しているサブタイルを可逆符号化すべきか、非可逆符号化すべきかを判定する（第２の判定処理）。ここで、閾値Ｔ２は、サブタイルデータの１／４のデータサイズとする。本実施形態では入力されるサブタイルデータのサイズが６４×６４画素で、ＲＧＢカラー画像であるため、Ｔ２＝３０７２バイトである。

サブタイル符号化方式判定部１２０１は、サブタイルデータに対する補間データ量ＩｓとＴ２を比較した結果、Ｉｓ＜Ｔ２が成立した場合には、着目サブタイルに対応する１／２縮小画像データを可逆符号化部１０７へ出力する。また、サブタイル符号化方式判定部１２０１は、着目サブタイルは可逆符号化されることを示す信号を符号列形成部１１０に出力する。

一方、Ｉｓ≧Ｔ２である場合には、サブタイル符号化方式判定部１２０１は、着目サブタイルは非可逆符号化すべきと判断し、そのサブタイルを特定する情報と、非可逆符号化の処理開始の信号を非可逆符号化部１０８に出力する。また、サブタイル符号化方式判定部１２０１は、着目サブタイルは非可逆符号化されることを示す信号を符号列形成部１１０に出力する。

以上の処理について、図３（ｂ）に示す自然画を一部に有する画像の例を使用して、具体的な説明を行う。ここでは、図３（ｂ）のタイルについて、符号化方式判定部１０３は、可逆符号化すべきと仮判定し、且つ、補間データ量判定部１１０１は、解像度圧縮部１０５で生成された補間データのデータ量Ｉと閾値Ｔ１との関係が「Ｉ≧Ｔ１」と判定されたとして説明を続ける。

この場合、着目タイルは図示の如く４つのサブタイルに分割され、サブタイル（１）、（２）、（３）、（４）の順番に解像度圧縮部１０５による１／２縮小画像と補間データの生成処理が実行される。図示の如く、最初のサブタイル（１）は、自然画を多く含むものであるので、当然、そのサブタイルから生成される補間データのデータ量Ｉｓと閾値Ｔ２の関係は「Ｉｓ≧Ｔ２」となるであろう。従って、サブタイル（１）は、非可逆符号化部１０８よって非可逆符号化されることになる。一方、サブタイル（２）乃至（４）は、多くの１色ピース、２色ピースを含むので、それぞれは「Ｉｓ＜Ｔ２」を満たすことになる。従って、これらサブタイル（２）乃至（４）は、可逆符号化部１０７による可逆符号化されることになる。

符号列形成部１１０は、符号化方式判定部１０３、補間データ量判定部１１０１、サブタイル符号化方式判定部１２０１それぞれからの制御信号を受信している。従って、着目タイルは再分割無しに可逆符号化、非可逆符号化されるかを判定できる。また、再分割して、各サブタイルについて可逆符号化されるのか、非可逆符号化されるのかも判定できる。従って、符号列形成部１１０の着目タイルに対する処理は次の通りでよいであろう。
（Ａ）着目タイルが再分割無しに非可逆符号化される場合：
符号列形成部１１０はタイルヘッダ、再分割無に非可逆符号化されることを示す信号、符号データバッファ１０９に格納された非可逆符号化データを、この順番に結合し、着目タイルの符号化データとして出力する。
（Ｂ）着目タイルが再分割無しに非可逆符号化される場合：
符号列形成部１１０はタイルヘッダ、再分割無に可逆符号化されることを示す信号、符号データバッファ１０９に格納された１／２縮小画像の可逆符号化データと補間データバッファ１０６に格納された符号化データを、この順番に結合し出力する。
（Ｃ）着目タイルが再分割する場合：
符号列形成部１１０は先ずタイルヘッダ、再分割することを示す信号を出力する。次いで、着目タイルは４つのサブタイルに分割され、それぞれが可逆、非可逆符号化のいずれかで符号化されているので、サブタイル（１），（２）、（３）、（４）の順番に符号化データを出力する。注意する点は、サブタイル（ｉ）（ｉ＝１乃至４のいずれか）が、非可逆符号化している場合、符号列形成部１１０は、非可逆符号化されていることを示す信号に続いて、符号データバッファ１０９に格納されている非可逆符号化データを出力する。また、この場合、サブタイル（ｉ）に対して生成された補間データは不要なので破棄する。また、サブタイル（ｉ）（ｉ＝１乃至４のいずれか）が、可逆符号化している場合、符号列形成部１１０は、可逆符号化されていることを示す信号に続いて、符号データバッファ１０９に格納されている可逆符号化データと、補間データバッファ１０６に格納されている補間データを出力する。

なお、サブタイルに分割されたか否かを示す信号や、各サブタイルが可逆、非可逆のいずれであるのかを示す信号は、タイルヘッダに含ませても構わない。

以上のように、本第４の実施形態によれば、第１乃至第３の実施形態で説明したタイル単位の符号化に加えて、データ量の多くなるタイルについては適応的に更に細分化したサブタイル単位に可逆、非可逆符号化のいずれかを実行することで、符号量を抑制できるとともに、処理速度の低下を抑えつつ、画質劣化の抑制も可能となる。また、第４の実施形態では、１つのタイルを分割して２×２個のサブタイルを得る例を説明したが、サブタイルの数はこれ以上であっても構わないし、その数で限定されるものではない。

なお、実施形態では、符号化方式判定部１０３での色数の判定する場合、１ピースのサイズを解像度変換部１１２でサブサンプリングする場合の２×２画素と同じとした。しかしながら、或る程度の傾向がわかれば良いので、色数を判定する最小となる画素ブロックサイズは２×２画素ではなく、それ以上であっても良い。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 画像データを符号化する画像符号化装置であって、
   符号化対象の画像データを、複数の画素で構成されるタイルを単位に入力する入力手段と、
   該入力手段により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合に前記着目タイルを可逆符号化すると決定する符号化方式判定手段と、
   該符号化方式判定手段で非可逆符号化すると決定した場合、前記着目タイルを非可逆符号化し、非可逆符号化データを生成する第１の符号化手段と、
   前記符号化方式判定手段で可逆符号化すると決定した場合、前記着目タイルを２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記着目タイルに対する縮小タイルを生成すると共に、前記縮小タイルから前記着目タイルの画像を復元するため、前記着目タイル内の着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮手段と、
   該解像度圧縮手段で生成された前記縮小タイルを可逆符号化し、可逆符号化データを生成する第２の符号化手段と、
   前記符号化方式判定手段により前記着目タイルを非可逆符号化すると判定した場合、前記第１の符号化手段で生成された非可逆符号化データを前記着目タイルの符号化データとして出力し、
   前記符号化方式判定手段により前記着目タイルを可逆符号化すると判定した場合、前記第２の符号化手段で生成された可逆符号化データ及び前記補間データを前記着目タイルの符号化データとして出力する符号化データ出力手段と
   を備えることを特徴とする画像符号化装置。
2. 画像データを符号化する画像符号化装置であって、
   符号化対象の画像データを、複数の画素で構成されるタイルを単位に入力する入力手段と、
   該入力手段により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数が２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合には前記着目タイルを可逆符号化すると決定する符号化方式判定手段と、
   該符号化方式判定手段で非可逆符号化すると決定した場合、前記着目タイルを非可逆符号化し、非可逆符号化データを生成する第１の符号化手段と、
   与えられた画像を、当該画像を２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記画像に対する縮小画像を生成すると共に、当該縮小画像から前記与えられた画像を復元するため、前記与えられた画像における着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮手段と、
   前記符号化方式判定手段で可逆符号化すると決定した場合、前記着目タイル内において、色数が１の画素ブロックの出現数をＣ１、色数が２の画素ブロックの出現数をＣ２、Ｔ２＞Ｔ３＞Ｔ１の関係を有する閾値Ｔ２、Ｔ３に対し、
   条件１：Ｃ１＞Ｔ２
   条件２：Ｃ１＋Ｃ２＞Ｔ３
   を満たすかを判定する判定手段と、
   前記着目タイルの前記解像度圧縮手段に適用する回数として、該判定手段で前記条件１を満たすと判定した場合には２回、前記条件１を満たさず前記条件２を満たすと判定した場合には１回、前記条件１及び条件２のいずれも満たさないと判定した場合には０回として決定する適用回数判定手段と、
   該適用回数判定手段が適用回数を２回と判定した場合、１回目の適用で得られた縮小画像を前記解像度圧縮手段に再び適用し、この再度の適用で得られた縮小画像を可逆符号化対象の画像として出力すると共に、２回目、及び、１回目の適用で得られた補間データを出力し、
   前記適用回数判定手段が適用回数を１回と判定した場合、１回目の適用で得られた縮小画像を可逆符号化対象の画像として出力し、１回目の適用で得られた補間データを出力し、
   前記適用回数判定手段が適用回数を０回と判定した場合、前記着目タイルの画像を可逆符号化対象の画像として出力する制御手段と、
   該制御手段の制御の下で生成された可逆符号化対象の画像を可逆符号化する第２の符号化手段と、
   前記符号化方式判定手段により前記着目タイルを非可逆符号化すると判定した場合、前記第１の符号化手段で生成された非可逆符号化データを前記着目タイルの符号化データとして出力し、
   前記符号化方式判定手段により前記着目タイルを可逆符号化すると判定した場合であって、前記適用回数判定手段で判定した回数が１又は２の場合には、前記第２の符号化手段で生成された可逆符号化データと前記補間データとを前記着目タイルの符号化データとして出力し、前記適用回数判定手段で判定した回数が０回の場合には、前記第２の符号化手段で生成された可逆符号化データを前記着目タイルの符号化データとして出力する符号化データ出力手段と
   を備えることを特徴とする画像符号化装置。
3. 画像データを符号化する画像符号化装置であって、
   符号化対象の画像データから、複数の画素で構成されるタイルを単位に入力する入力手段と、
   該入力手段により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数が２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合には前記着目タイルを可逆符号化すると仮決定する符号化方式判定手段と、
   該符号化方式判定手段で非可逆符号化すると決定した場合、前記着目タイルを非可逆符号化し、非可逆符号化データを生成する第１の符号化手段と、
   前記符号化方式判定手段で可逆符号化すると仮決定した場合、前記着目タイルを２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記着目タイルに対する縮小タイルを生成すると共に、
   前記縮小タイルから前記着目タイルの画像を復元するため、前記着目タイル内の着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮手段と、
   該解像度圧縮手段により生成された補間データのデータ量と予め設定された閾値Ｔ２とを比較し、
   条件：データ量＜Ｔ２
   を満たすか否かを判定する判定手段と、
   該判定手段で前記条件を満たすと判定した場合、前記縮小タイルを可逆符号化する第２の符号化手段と、
   前記判定手段で前記条件を満たさないと判定した場合、前記着目タイルを非可逆符号化すると決定し、前記第１の符号化手段で符号化させる制御手段と、
   前記符号化方式判定手段、又は、前記判定手段により、前記着目タイルを非可逆符号化すると判定した場合、前記第１の符号化手段で生成された非可逆符号化データを前記着目タイルの符号化データとして出力し、
   前記判定手段により前記着目タイルを可逆符号化すると判定した場合、前記第２の符号化手段で生成された可逆符号化データ及び前記解像度圧縮手段で得られた補間データを前記着目タイルの符号化データとして出力する符号化データ出力手段と
   を備えることを特徴とする画像符号化装置。
4. 画像データを符号化する画像符号化装置であって、
   画像を非可逆符号化する第１の符号化手段と、
   画像を可逆符号化する第２の符号化手段と、
   与えられた画像を２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記与えられた画像に対する縮小画像を生成すると共に、当該縮小画像から前記与えられた画像を復元するため、前記与えられた画像における着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮手段と、
   符号化対象の画像データから、複数の画素で構成されるタイルを単位に入力する入力手段と、
   該入力手段により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数が２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合には前記着目タイルを可逆符号化すると仮決定する符号化方式判定手段と、
   前記符号化方式判定手段によって前記着目タイルに対して可逆符号化すると仮決定した場合、前記着目タイルの画像を前記解像度圧縮手段に適用し、当該適用によって前記解像度圧縮手段から得られた、前記着目タイルの前記補間データのデータ量と、予め設定された閾値Ｔ２との関係が、
   条件１：データ量＜Ｔ２
   を満たすか否かを判定する第１の判定手段と、
   該第１の判定手段により前記条件１を満たさないと判定された場合、前記着目タイルを予め設定された個数のサブタイルに分割し、各サブタイルを前記解像度圧縮手段に適用し、当該適用によって前記解像度圧縮手段から得られた補間データのデータ量と予め設定された閾値Ｔ３との関係が、
   条件２：データ量＜Ｔ３
   を満たすか否かを判定する第２の判定手段と、
   前記符号化方式判定手段によって、前記着目タイルを非可逆符号化すると決定された場合、前記着目タイルを前記第１の符号化手段に適用することで得られた非可逆符号化データを、前記着目タイルの符号化データとして出力し、
   前記第１の判定手段によって前記着目タイルが前記条件１を満たすと判定された場合、得られた前記着目タイルの縮小画像を前記第２の符号化手段に適用して可逆符号化データを生成させ、当該可逆符号化データと、前記第１の判定手段の適用により得られた補間データとを前記着目タイルの符号化データとして出力し、
   前記第２の判定手段によって前記着目サブタイルが前記条件２を満たすと判定された場合、得られた前記着目サブタイルの縮小画像を前記第２の符号化手段に適用して可逆符号化データを生成させ、当該可逆符号化データと、前記第２の判定手段の適用により得られた補間データとを前記着目サブタイルの符号化データとして出力し、
   前記第２の判定手段によって前記着目サブタイルが前記条件２を満たさないと判定された場合、前記着目サブタイルを前記第１の符号化手段に適用して非可逆符号化データを生成させ、当該非可逆符号化データを、前記着目サブタイルの符号化データとして出力する符号化データ出力手段と
   を備えることを特徴とする画像符号化装置。
5. 前記符号化方式判定手段は、前記着目タイルを、２×２画素の画素ブロックに分割し、色数２以下の画素ブロックの出現数と、前記閾値Ｔ１とを比較することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. 前記解像度圧縮手段は、
   着目ピースの中のサブサンプリング対象の画素をＸ、着目ピースの中の非サブサンプリング対象の画素をＸａ，Ｘｂ，Ｘｃと表わしたとき、
   条件（ａ）：画素Ｘａ，Ｘｂ，Ｘｃの全てが、前記画素Ｘから復元できるか、
   条件（ｂ）：前記条件（ａ）を満たさず、且つ、前記画素Ｘａ，Ｘｂ，Ｘｃの全てが、前記着目ピースに隣接する３つのピースのサンプリング対象となる画素から復元できるか、
   条件（ｃ）：前記条件（ａ）を満たさず、前記条件（ｂ）を満たさず、且つ、前記着目ピースに現れる色数が２であるか、
   を判定する判定処理手段を含み、
   前記解像度圧縮手段は、
   該判定処理手段によって前記着目ピースが前記条件（ａ）を満たすと判定された場合は、第１の付加情報を前記着目ピースの補間データとして生成し、
   前記判定処理手段によって、前記着目ピースが前記条件（ｂ）を満たすと判定された場合は、前記第１の付加情報とは異なる第２の付加情報を前記着目ピースの補間データとして生成し、
   前記判定処理手段によって、前記着目ピースが前記条件（ｃ）を満たさないと判定された場合は、前記第１、第２の付加情報とは異なる第３の付加情報と、前記画素Ｘａ，Ｘｂ，Ｘｃの画素値とを、前記着目ピースの補間データとして生成し、
   前記判定処理手段によって、前記着目ピースが前記条件（ｃ）を満たすと判定された場合は、
   前記着目ピースにおける２×２画素の、前記サブサンプリング対象の画素の色と、当該サブサンプリング対象の画素の色とは異なる色との関係が、予め定義された７つの２×２の２値パターンのいずれに一致するかを示す３ビットのデータを生成すると共に、
   前記サブサンプリング対象の画素の色とは異なる色が、前記着目ピースに隣接する複数のピースのサブサンプリング対象となった画素のいずれかと同じである場合には、当該同じと判定した画素の位置を特定する２ビットを生成、或いは、
   前記サブサンプリング対象の画素の色とは異なる色が、前記着目ピースに隣接する複数のピースのサブサンプリング対象となった画素のいずれとも不一致である場合には、不一致であることを示す２ビットを生成すると共に、前記異なる色を示す画素値とを生成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
7. 画像データを符号化する画像符号化装置の制御方法であって、
   入力手段が、符号化対象の画像データを、複数の画素で構成されるタイルを単位に入力する入力工程と、
   符号化方式判定手段が、該入力工程により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合に前記着目タイルを可逆符号化すると決定する符号化方式判定工程と、
   第１の符号化手段が、該符号化方式判定工程で非可逆符号化すると決定した場合、前記着目タイルを非可逆符号化し、非可逆符号化データを生成する第１の符号化工程と、
   解像度圧縮手段が、前記符号化方式判定工程で可逆符号化すると決定した場合、前記着目タイルを２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記着目タイルに対する縮小タイルを生成すると共に、前記縮小タイルから前記着目タイルの画像を復元するため、前記着目タイル内の着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮工程と、
   第２の符号化手段が、該解像度圧縮工程で生成された前記縮小タイルを可逆符号化し、可逆符号化データを生成する第２の符号化工程と、
   符号化データ出力手段が、
   前記符号化方式判定工程により前記着目タイルを非可逆符号化すると判定した場合、前記第１の符号化工程で生成された符号化データを前記着目タイルの符号化データとして出力し、
   前記符号化方式判定工程により前記着目タイルを可逆符号化すると判定した場合、前記第２の符号化工程で生成された符号化データ及び前記補間データを前記着目タイルの符号化データとして出力する符号化データ出力工程と
   を備えることを特徴とする画像符号化装置の制御方法。
8. 画像データを符号化する画像符号化装置の制御方法であって、
   入力手段が、符号化対象の画像データを、複数の画素で構成されるタイルを単位に入力する入力工程と、
   符号化方式判定手段が、該入力工程により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数が２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合には前記着目タイルを可逆符号化すると決定する符号化方式判定工程と、
   第１の符号化手段が、該符号化方式判定工程で非可逆符号化すると決定した場合、前記着目タイルを非可逆符号化し、非可逆符号化データを生成する第１の符号化工程と、
   解像度圧縮手段が、与えられた画像を、当該画像を２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記画像に対する縮小画像を生成すると共に、当該縮小画像から前記与えられた画像を復元するため、前記与えられた画像における着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮工程と、
   判定手段が、前記符号化方式判定工程で可逆符号化すると決定した場合、前記着目タイル内において、色数が１の画素ブロックの出現数をＣ１、色数が２の画素ブロックの出現数をＣ２、Ｔ２＞Ｔ３＞Ｔ１の関係を有する閾値Ｔ２、Ｔ３に対し、
   条件１：Ｃ１＞Ｔ２
   条件２：Ｃ１＋Ｃ２＞Ｔ３
   を満たすかを判定する判定工程と、
   適用回数判定手段が、前記着目タイルの前記解像度圧縮工程に適用する回数として、該判定工程で前記条件１を満たすと判定した場合には２回、前記条件１を満たさず前記条件２を満たすと判定した場合には１回、前記条件１及び条件２のいずれも満たさないと判定した場合には０回として決定する適用回数判定工程と、
   符号化データ出力手段が、
   該適用回数判定工程で適用回数が２回と判定された場合、１回目の適用で得られた縮小画像を前記解像度圧縮工程に再び適用し、この再度の適用で得られた縮小画像を可逆符号化対象の画像として出力すると共に、２回目、及び、１回目の適用で得られた補間データを出力し、
   前記適用回数判定工程で適用回数が１回と判定された場合、１回目の適用で得られた縮小画像を可逆符号化対象の画像として出力し、１回目の適用で得られた補間データを出力し、
   前記適用回数判定工程で適用回数が０回と判定された場合、前記着目タイルの画像を可逆符号化対象の画像として出力する制御工程と、
   第２の符号化手段が、該制御工程の制御の下で生成された可逆符号化対象の画像を可逆符号化する第２の符号化工程と、
   前記符号化方式判定工程により前記着目タイルを非可逆符号化すると判定した場合、前記第１の符号化工程で生成された非可逆符号化データを前記着目タイルの符号化データとして出力し、
   前記符号化方式判定工程により前記着目タイルを可逆符号化すると判定した場合であって、前記適用回数判定工程で判定した回数が１又は２の場合には、前記第２の符号化工程で生成された可逆符号化データと前記補間データとを前記着目タイルの符号化データとして出力し、前記適用回数判定工程で判定した回数が０回の場合には、前記第２の符号化工程で生成された可逆符号化データを前記着目タイルの符号化データとして出力する符号化データ出力工程と
   を備えることを特徴とする画像符号化装置の制御方法。
9. 画像データを符号化する画像符号化装置の制御方法であって、
   入力手段が、符号化対象の画像データから、複数の画素で構成されるタイルを単位に入力する入力工程と、
   符号化方式判定手段が、該入力工程により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数が２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合には前記着目タイルを可逆符号化すると仮決定する符号化方式判定工程と、
   第１の符号化手段が、該符号化方式判定工程で非可逆符号化すると決定した場合、前記着目タイルを非可逆符号化し、非可逆符号化データを生成する第１の符号化工程と、
   解像度圧縮手段が、
   前記符号化方式判定工程で可逆符号化すると仮決定した場合、前記着目タイルを２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記着目タイルに対する縮小タイルを生成すると共に、
   前記縮小タイルから前記着目タイルの画像を復元するため、前記着目タイル内の着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮工程と、
   判定手段が、該解像度圧縮工程により生成された補間データのデータ量と予め設定された閾値Ｔ２とを比較し、
   条件：データ量＜Ｔ２
   を満たすか否かを判定する判定工程と、
   第２の符号化手段が、該判定工程で前記条件を満たすと判定した場合、前記縮小タイルを可逆符号化する第２の符号化工程と、
   制御手段が、前記判定工程で前記条件を満たさないと判定した場合、前記着目タイルを非可逆符号化すると決定し、前記第１の符号化工程で符号化させる制御工程と、
   符号化データ出力手段が、
   前記符号化方式判定工程、又は、前記判定工程により、前記着目タイルを非可逆符号化すると判定した場合、前記第１の符号化工程で生成された非可逆符号化データを前記着目タイルの符号化データとして出力し、
   前記判定工程により前記着目タイルを可逆符号化すると判定した場合、前記第２の符号化工程で生成された可逆符号化データ及び前記解像度圧縮工程で得られた補間データを前記着目タイルの符号化データとして出力する符号化データ出力工程と
   を備えることを特徴とする画像符号化装置の制御方法。
10. 画像データを符号化する画像符号化装置の制御方法であって、
    第１の符号化手段が、画像を非可逆符号化する第１の符号化工程と、
    第２の符号化手段が、画像を可逆符号化する第２の符号化工程と、
    解像度圧縮手段が、与えられた画像を２×２画素で構成されるピースに分割し、分割した各ピース内の予め定めた位置の１画素をサブサンプリングすることで、前記与えられた画像に対する縮小画像を生成すると共に、当該縮小画像から前記与えられた画像を復元するため、前記与えられた画像における着目ピースのサブサンプリング対象の画素の画素値、及び、前記着目ピースに隣接する複数のピースそれぞれのサブサンプリング対象の画素の画素値から、前記着目ピースの非サブサンプリング対象となった３画素を復元するための補間データを生成する解像度圧縮工程と、
    入力手段が、符号化対象の画像データから、複数の画素で構成されるタイルを単位に入力する入力工程と、
    符号化方式判定手段が、該入力工程により入力した着目タイルを、ｍ×ｎ画素（ｍ、ｎは２以上の整数）の画素ブロックに分割し、前記着目タイル内において、色数が２以下の画素ブロックの出現数をＣＰ１、予め設定された閾値をＴ１としたとき、ＣＰ１＜Ｔ１の場合に前記着目タイルを非可逆符号化すると決定し、ＣＰ１≧Ｔ１の場合には前記着目タイルを可逆符号化すると仮決定する符号化方式判定工程と、
    第１の判定手段が、前記符号化方式判定工程によって前記着目タイルに対して可逆符号化すると仮決定した場合、前記着目タイルの画像を前記解像度圧縮工程に適用し、当該適用によって前記解像度圧縮工程から得られた、前記着目タイルの前記補間データのデータ量と、予め設定された閾値Ｔ２との関係が、
    条件１：データ量＜Ｔ２
    を満たすか否かを判定する第１の判定工程と、
    第２の判定手段が、該第１の判定工程により前記条件１を満たさないと判定された場合、前記着目タイルを予め設定された個数のサブタイルに分割し、各サブタイルを前記解像度圧縮工程に適用し、当該適用によって前記解像度圧縮工程から得られた補間データのデータ量と予め設定された閾値Ｔ３との関係が、
    条件２：データ量＜Ｔ３
    を満たすか否かを判定する第２の判定工程と、
    符号化データ出力手段が、
    前記符号化方式判定工程によって、前記着目タイルを非可逆符号化すると決定された場合、前記着目タイルを前記第１の符号化工程に適用することで得られた非可逆符号化データを、前記着目タイルの符号化データとして出力し、
    前記第１の判定工程によって前記着目タイルが前記条件１を満たすと判定された場合、得られた前記着目タイルの縮小画像を前記第２の符号化工程に適用して可逆符号化データを生成させ、当該可逆符号化データと、前記第１の判定工程の適用により得られた補間データとを前記着目タイルの符号化データとして出力し、
    前記第２の判定工程によって前記着目サブタイルが前記条件２を満たすと判定された場合、得られた前記着目サブタイルの縮小画像を前記第２の符号化工程に適用して可逆符号化データを生成させ、当該可逆符号化データと、前記第２の判定工程の適用により得られた補間データとを前記着目サブタイルの符号化データとして出力し、
    前記第２の判定工程によって前記着目サブタイルが前記条件２を満たさないと判定された場合、前記着目サブタイルを前記第１の符号化工程に適用して非可逆符号化データを生成させ、当該非可逆符号化データを、前記着目サブタイルの符号化データとして出力する符号化データ出力工程と
    を備えることを特徴とする画像符号化装置の制御方法。
11. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の画像符号化装置として機能させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。