JP2010154485A - 画像符号化装置及び画像復号装置、並びにそれらの制御方法 - Google Patents

Abstract

【課題】１画素を複数ビットで表わす多値画像データから、ｍ×ｎ画素ブロック単位に、ｍ×ｎビット以下の固定長符号化データを生成する。
【解決手段】ブロック化部１０１は１６×１６画素を単位に入力し、２色抽出部１０２は入力データから代表色Ｃ０、Ｃ１を抽出し、識別情報検出部１０３は各画素が色Ｃ０、Ｃ１のいずれかを示す２値のｍ×ｎ個の識別情報を生成し、補間識別データ生成部１０４は削除パターンメモリ１０８の削除パターンに基づき、多く削除される方を補間識別データとして出力する。識別データ置換部１０５は着目画素位置が削除位置にあり、対応する識別データが補間識別データと一致した場合、着目画素位置の近傍の非補間識別データと同じ識別データを補間識別データに置換する。識別データ削減部１０６は削除パターンに従って、識別データを削減する。パック部１０７は、色Ｃ０、Ｃ１、補間識別データ、削減後の識別データを結合し出力する。
【選択図】図１

Description

本発明は、画像データの符号化及び復号技術に関するものである。

従来より、入力画像を所定サイズのブロックに分割し、分割されたブロック画像に対して、直交変換を用いて符号化を行う技術が知られている。直交変換を用いた符号化は自然画像に対しては有効な圧縮方法であるが、他方、文字線画などの含まれる画像に対しては、画像の高周波成分が失われることに起因するモスキートノイズやブロック歪が起こり、良好な結果を得られないという問題点があった。

このような問題を解決するため、文字線画を含む画像など、階調性よりも解像度が重要な画像に関して、ブロック画像内の画素を二色で近似することで解像度を保持しようとするブロック内２色化処理が提案されている。この２色化処理を実行するものとしては知られているのが特許文献１である。この特許文献１に記載の２階調ブロック近似符号化においては、ブロック画像内の画素を２色からなる画像と見なし、各画素がいずれの色であるのかを示す識別情報を生成する。そして、その識別情報と２色の画素値をパッキングすることで符号化処理を行う。例えばブロックサイズが８×８画素とし、そのブロックの画像データを２色化して、符号化を行う場合、識別情報として６４ビット全てのデータを格納し、色データとして８ビットのデータを２色分格納して合計８０ｂｉｔの固定長符号化データを出力する。同様にブロックサイズ１６×１６の場合は、識別情報は２５６ビット、色データが８ビット×２＝１６ビットの合計２７２ビットの固定長符号化データを出力する。
特開平０５−０５６２８２号公報

しかしながら、圧縮されたデータは通常は外部メモリ等に記憶されるが、この外部メモリへのアクセスは、４バイト×Ｎ（Ｎは２のべき乗）である場合が多く、上記従来例では、アクセス効率が悪いという欠点があった。例えば上記８×８のブロックサイズでは６４ビットが望ましく、また、１６×１６のブロックサイズでは２５６ビットで固定長符号化されることが望ましい。

本発明は、１画素が複数ビットで表わされる画像データを符号化するものであって、文字線画等を表す解像情報や色情報を良好に維持しつつ、ｍ×ｎ画素のブロック単位に、ｍ×ｎビット以下の固定長の符号化データを生成、及び、復号する技術を提供しようとするものである。

かかる課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
１画素が複数ビットで表わされる画像データを、ｍ×ｎ画素のブロック単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、固定長Ｌビットの符号化データを生成する画像符号化装置であって、
画像データを前記ブロック単位に入力する入力手段と、
入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出手段と、
前記着目ブロック中の各画素に、当該各画素が前記代表色Ｃ０、Ｃ１のいずれに近似しているかを示す１ビットの識別データを生成する生成手段と、
前記代表色Ｃ０、Ｃ１を特定するために必要なビット数をＮと定義したとき、前記生成手段で生成された１ブロック分の識別データから、｛Ｎ＋１｝個の識別データを削除するための、及び、少なくとも互いに１画素以上の距離を隔てた削除対象の画素位置を特定するためのパターンデータを記憶する記憶手段と、
前記記憶手段に記憶されたパターンデータに従い、前記代表色Ｃ０、Ｃ１のいずれに近似する識別データが多く削除されるかを判定し、当該判定結果を示す１ビットの判定データを生成する判定手段と、
該判定手段の判定結果に従い、削除位置の近傍に位置し、非削除対象の識別データを補正する補正手段と、
前記記憶手段に記憶されたパターンデータを参照して、前記補正手段で補正した後のｍ×ｎ個の識別データから、｛Ｎ＋１｝個の識別データを削除する削減手段と、
前記抽出手段で抽出した代表色Ｃ０、Ｃ１を示すデータ、前記判定手段で生成された前記判定データ、及び、前記削減手段による削除して残った識別データとを結合し、着目ブロックの符号化データとして出力する出力手段とを備える。

本発明によれば、１画素が複数ビットで表わされる多値画像データから、ｍ×ｎ画素のブロック単位に、ｍ×ｎビット以下の固定長の符号化データを生成、及び、復号するだけでなく、文字線画等を表す解像情報や色情報を良好に維持することが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

以下に説明する実施形態の画像符号化装置は、１画素が複数ビットで表わされる多値画像データを、ｍ×ｎ個の画素で構成されるブロックを単位に符号化する。その際に、１ブロックにつき、ｍ×ｎビット以下であって、固定長Ｌビットの符号化データを生成する。更に、Ｌは、ｍ×ｎ以下であり、３２の整数倍の最大値とする。

［第１の実施形態］
図１は本第１の実施形態における画像符号化装置のブロック構成図である。本装置は、ブロック化部１０１、２色抽出部１０２、識別データ生成部１０３、補間データ生成部１０４、識別データ変換部１０５、識別データ削減部、パック部１０７、及び、削除パターンメモリ１０８を有する。なお、実施形態におけるブロック化部１０１が入力する符号化対象となる画像データは、記憶媒体に記憶された無圧縮の画像データとする。しかしながら、イメージスキャナから読み取った画像であっても良いし、通信（例えばネットワーク）によって取得した画像データであっても構わず、その入力源の種類は問わない。

ブロック化部１０１は入力された画像を所定サイズのブロックに分割する。ブロックに分割された画像データは２色抽出部１０２に供給される。２色抽出部１０２は、入力した着目ブロック中の各画素の値を解析し、二つの代表色Ｃ０、Ｃ１を抽出する。そして、２色抽出部１０２は、抽出した代表色Ｃ０、Ｃ１を識別データ生成部１０３、及びパック部１０７に出力する。識別データ生成部１０３はブロック内の各画素が、２つの代表色データＣ０、Ｃ１のいずれに近いかを判定し、画素位置毎に色データＣ０、Ｃ１のいずれに近似するかを識別する識別データを補間識別データ生成部１０４と識別データ置換部１０５に出力する。補間識別データ生成部１０４は、後述する識別データ削減部１０６にて削減される識別データを補間する値を決定し、その補間する値を補間識別データとしてパック部１０７に出力する。識別データ置換部１０５では、削除パターンメモリ１０８を参照して、削除対象画素の周辺の識別データを置換する。識別データ削減部１０６は、削除パターンで特定される複数の識別データを削減し、パック部１０７に出力する。パック部１０７は、２つの色データＣ０、Ｃ１、補間識別データ、及び、削減処理済の識別データをパックして、固定長符号化データとして出力する。以下、各処理部の詳細を説明する。

ブロック化部１０１は、内部にｍライン分のバッファメモリを有し、符号化対象の画像データをラスタースキャン順に入力し、バッファに格納する。そして、ｍライン分の画像データが格納された場合、水平方向ｎ画素、垂直方向ｍ画素の画像データを順に切り出し、それぞれを２色抽出部１０２に出力することを繰り返す。このｎ×ｍ画素の画像データをこれ以降、画素ブロックという。この画素ブロックのサイズ（ｍ，ｎ）に特に制限は無い。しかし、ブロックサイズが大きければ識別データの削減数を増やしても削減による影響は少なくなるが、２色化による影響は大きくなる。逆にブロックサイズが小さければ画像の相関性により入力画像のブロック内に含まれる色数が少なくなるため２色化による誤差が小さくなり、正確な色の保存が容易になるが、識別データの削減による影響は大きくなる。また、ブロックの形状は正方形である必要はなく、長方形でも可能である。本実施形態では、１画素ブロックのサイズを１６×１６画素（ｍ＝ｎ＝１６）として説明する。勿論、このサイズは適宜ユーザが設定しても良い。但し、以下の説明からもわかるように、ｍ×ｎが“３２”の整数倍になることが望ましい。また、実施形態では、簡単なものとするため、１画素が、８ビット（２５６階調）のモノクロ画像である例を説明するが、このビット数や色空間も適宜変更しても構わない。８ビットで表わされる値は、“輝度”として説明する。従って、画素値が小さい程、その画素は暗い（濃度が高い）画素を表わし、画素値が大きいほど、その画素が明るい（濃度が低い）画素を表わすことになる。また、上記の通りなので、代表色Ｃ０、Ｃ１は異なる輝度値を表わすことになる。

さて、ブロック化部１０１は上記の通り、１６×１６画素の画像データ（画素ブロック単位）を２色抽出部１０２に出力する。

２色抽出部１０２では、入力した１画素ブロック中から２つの代表色データＣ０、Ｃ１（共に８ビット）を抽出する。ここで、画素値の小さい方を色データＣ０、大きい方を色データＣ１とする。なお、２色の色データＣ０、Ｃ１を決定（抽出）する方法に特に規定しないが、一例を示すのであれば次の通りである。

先ず、２色抽出部１０２は、１画素ブロック中の全画素の平均値ＡＶＥを算出する。ブロック内の座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）と表現するなら、平均値ＡＶＥは次の通りである。
ＡＶＥ＝ΣΣＰ（ｉ，ｊ）／（１６×１６）
ここでΣΣは、ｉ，ｊ＝０、１、・・・、１５の合算を示している。

次いで、２色抽出部１０２は、この平均値ＡＶＥを用いて、着目画素ブロック内の各画素を第１のグループと第２のグループに分類する。すなわち、その平均値ＡＶＥ以下の画素値を持つ画素群（以下、グループＡという）と、平均値ＡＶＥより大きな画素値を持つ画素群（グループＢ）とに分類する。そして、グループＡに属する画素値の平均値を色データＣ０、グループＢに属する画素値の平均値を色データＣ１として決定する。

識別データ生成部１０３は、入力されたブロック画像内の各画素が、２色の色データＣ０、Ｃ１のうちいずれかに近似するかを判定する。そして、ブロック内の全画素を２つ分類し、その各画素がいずれのグループに属するのかを識別する識別データを出力する。この識別データは、１つの画素が２つグループのいずれに属するのか判れば良いので、１画素当たりの識別データは１ビットで良い。識別データ生成部１０３は次に示すようにして、識別データを生成する。
閾値 ＝ＡＶＥ（ブロック全体の平均値）
識別データ＝１ （画素値＞閾値の時）
識別データ＝０ （画素値≦閾値の時）

尚、閾値は、識別データ生成部１０３が独自に算出しても構わないし、２色抽出部１０２で算出した結果を利用しても構わない。また、閾値を｛Ｃ０＋Ｃ１｝／２としても構わない。

本実施形態では、先に説明したグループＡに属する画素の識別データは“０”、グループＢに属する画素の識別データは“１”とする。

上記は、色データＣ０、Ｃ１との差の絶対値が予め設定された閾値以上の場合の処理である。

着目画素ブロック内の画素値が全て同じである場合、或いは、色データＣ０、Ｃ１の色の差の絶対値が予め設定された閾値以下の場合（色データＣ０、Ｃ１の色空間内での距離が閾値以下の場合）、１つの色データ（例えばＣ０）のみを抽出結果とする。この場合、他方の色データ（Ｃ１）は存在しないが、ダミーとしてその色データ（Ｃ１）を生成する。また、この場合、全識別データを“０”とする。

実施形態では、１ブロックのサイズを１６×１６画素とし、１つの画素の識別データは１ビットとしているので、結局のところ、識別データ生成部１０３は、１６×１６＝２５６ビットの識別データを生成することになる。

補間識別データ生成部１０４は、削除パターンメモリ１０８に格納された削除パターンデータ（単に削除パターンという）を参照し、削除される位置（以降、削除対象位置と呼ぶ）の識別データに関して“０”と“１”の数をカウントする。そして、補間識別データ生成部１０４は、カウントした結果に従い、その多い方を判定する。そして、補間識別データ生成部１０４はその判定結果である判定データを補間識別データとしてパック部１０７、及び、識別データ置換部１０５に出力する。この補間識別データ生成部１０４の処理内容を、より具体的に説明すると次の通りである。

図５は削除パターンメモリ１０８に格納された削除パターンを示している。この削除パターンは１６×１６のサイズであり、符号化単位の画素ブロックのサイズと同じである。また、削除パターンの黒部分が削除位置を示し、その値は“１”である。白部分は非削除位置であり、その値は“０”である。図示の如く、黒部分（削除位置）は全部で１７個存在し、且つ、黒部分は互いに隣接することはないように、１画素以上（実施形態では３画素以上）の距離を隔てて配置されている。なお、ここで、言う距離は、或る画素位置から他方の画素位置まで、水平、又は、垂直方向にたどっていって最短のルート中に存在する画素数を意味する。

補間識別データ生成部１０４は、着目画素ブロック内の、削除パターンの“１”に対応する位置の識別データの“０”の個数Ｉ０、及び、“１”の個数Ｉ１を計数する。そして、次の条件に従って、補間識別データを出力する。
Ｉ０≧Ｉ１の場合、補間識別データとして“０”を出力する。
Ｉ０＜Ｉ１の場合、補間識別データとして“１”を出力する。

上記を平たく説明するのであれば、補間識別データ生成部１０４は、削除対象の１７個の識別データのうち、識別データ“０”、“１”のいずれが多いかを判定し、多い方の識別データの値を補間識別データとして出力していると言える。

次に、識別データ置換部１０５について説明する。

識別データ置換部１０５は、内部に適当なバッファメモリを有する。そして、識別データ置換部１０５は、削除パターンメモリ１０８に格納された削除パターンと、識別データ生成部１０３からの識別データ、及び、補間識別データ生成部１０４からの補間識別データを入力し、バッファメモリに格納する。そして、識別データ置換部１０５は、後段の識別データ削減部１０６による識別データの削減によって、着目画素ブロック内の全体の輝度のロスを低くなるように、且つ、画質劣化を低く抑えるための識別データを補正、具体的には置換を行なう。そして、識別データ置換部１０５は、バッファメモリに格納された、置換後の識別データを識別データ削減部１０６に出力する。以下に、識別データ置換部１０５の具体的な処理例を説明する。

着目画素ブロック内の座標（ｘ，ｙ）の識別データをＩ（ｘ，ｙ）、同様に、削除パターンの値をＤ（ｘ，ｙ）と表わす。Ｉ（ｘ，ｙ）、Ｄ（ｘ，ｙ）は共に０、１のいずれかの値であり、ｘ，ｙは共に０乃至１５の値のいずれかである。また、座標（ｘ，ｙ）の画素位置を、着目画素位置という。

また、説明を簡単なものとするため、補間識別データが“０”である場合について説明する。すなわち、削除される識別データの“０”の個数が、“１”の個数以上の場合である。
・Ｄ（ｘ，ｙ）＝０の場合：
識別データ置換部１０５は、内部バッファの着目画素位置（ｘ，ｙ）の識別データＩ（ｘ，ｙ）を変更（補正）しない。
・Ｄ（ｘ，ｙ）＝１、且つ、Ｉ（ｘ，ｙ）＝０の場合：
識別データ置換部１０５は、内部バッファの着目画素位置（ｘ，ｙ）の識別データＩ（ｘ，ｙ）を変更しない。
・Ｄ（ｘ，ｙ）＝１、且つ、Ｉ（ｘ，ｙ）＝１の場合：
これは、削除対象位置の識別データが“１”である場合である。この場合、後述する画像復号装置では、削除された識別データの値を補間識別データ“０”として復号することになるので、着目画素ブロック内の全体の輝度が変わってしまう。そこで、着目ブロックの輝度の変化を防ぐために以下の処理を行い、削除対象画素位置の近傍の１画素の識別データ“０”を“１”で置換（補正）し、その置換後（補正後）の識別データを出力する。置換対象の画素位置の決定基準は、識別データ“１”の密度の低い位置の画素とする。以下、この詳細を更に詳しく説明する。

図６（ａ）乃至（ｐ）から図１２（ａ）乃至（ｄ）は着目画素ブロック内の削除対象位置とその周辺画素の関係を示した図である。図中、黒で示した画素位置が削除対象位置であり、白色で示された位置は非削除対象位置である。斜線で示した部分は隣接する別の画素ブロックであり、図７（ａ）乃至（ｊ）から図１２（ａ）乃至（ｄ）は削除対象画素がブロック境界に近い場合を示している。ここで、隣接画素ブロックが上や右などに位置している場合は、図７（ａ）乃至（ｊ）から図１２（ａ）乃至（ｄ）に示したパターンを隣接ブロックの位置関係に合致するように適宜回転させる。つまり、ブロックの一番上の行に削除対象画素がある場合は、図７（ａ）乃至（ｊ）のそれぞれの参照領域を時計回りに９０度回転させたものを採用する。

また、太枠で囲まれた部分は識別データの密度を比較する対象となる領域である。太枠の形状は、削除対象画素と隣接している８画素中の１画素と、その１画素と接している連続した２画素（計３画素）を組み合わせた形状としている。このように作成した太枠部分を、図６（ａ）乃至（ｐ）に示すように削除対象画素から放射状に配置させ、各方向の密度を検出し、適切に密度の低い方向へ画素を置換できるようにしている。また、図７（ａ）乃至（ｊ）から図１２（ａ）乃至（ｄ）に示した隣接ブロックのあるパターンについては、図６（ａ）乃至（ｐ）に示したパターンから隣接ブロックがあるため密度を検出できないパターンを除いている。

置換画素を決定する手順は、まず、隣接ブロックの位置関係から、削除対象画素が図６（ａ）乃至（ｐ）から図１２（ａ）乃至（ｄ）のどの図に合致するかを判断する。次に、例えば図７が選ばれたとすると、図中の１０通りの太枠で囲んだ部分について、太枠の領域内の識別データ“１”の数を数え、“１”のカウント数が最も少ない枠（領域）を図７（ａ）乃至（ｊ）の中から選択する。ここで、最も少ない枠が複数あった場合は、その中からランダムに枠を決定する。

次に、決定した枠の中から図１３（ａ）乃至（ｄ）に示すように、着目画素（黒部分）から近い順に識別データを調べていき、最初に識別データが“０”だった箇所を“１”に変更する。ただし、図１３（ａ）乃至（ｄ）に示す周辺画素が全て“１”だった場合は変更しない。

以上の手順を削除パターン中の１７箇所全ての削除対象位置に対して行い、識別データの置換処理を行う。

なお、補間識別データが“１”の場合は、上記の説明の中で“０”と“１”を読み替えるものとする。

代表色Ｃ０、Ｃ１のうち、削除される識別データの多い方の色をＣａ、削除される個数の少ない識別データが示す色をＣｂと定義したとする。補間識別データ生成部１０４は、要するに、着目画素位置の識別データが色Ｃｂを示す場合のみ、当該着目画素位置の近傍に位置し非削除対象の前記色Ｃａを示す１つの識別データが存在する場合には、その識別データを前記色Ｃｂを示す識別データに置換する。

識別データ削減部１０６は、削除パターンメモリ１０８に格納された削除パターンを参照し、１６×１６個の識別データ中の、削除パターンの値が“１”（図５の黒部分）の識別データを削除する。そして、識別データ削減部１０６は、削除後の識別データをパック部１０７に出力する。

識別データ削減部１０６の具体的な削減処理は次の通りである。いま、１６×１６個の置換処理後の識別データを、その座標（ｘ，ｙ）を用いてＩ（ｘ，ｙ）と表わし、削減パターンにおける座標（ｘ，ｙ）の値をＤ（ｘ，ｙ）と表わす。
Ｄ（ｘ，ｙ）＝０の場合、識別データ削減部１０６は、入力したＩ（ｘ，ｙ）をそのまま出力する。
Ｄ（ｘ，ｙ）＝１の場合、識別データ削減部１０６は、入力したＩ（ｘ，ｙ）を破棄し、出力しない。

以上の結果、Ｄ（ｘ，ｙ）＝１の位置における識別データは出力されない。すなわち、１７個（１７ビット）の識別データが削除される。この結果、識別データ削減部１０６からパック部１０７に出力される識別データの個数は２３９ビット（＝２５６−１７）となる。

パック部１０７は、１画素ブロックに対し、固定符号化データ長“２５６”ビットの符号化データを出力する。代表色データＣ０、Ｃ１は共に８ビットであるから、その２つの色データを表わすには１６ビットが必要になる。また、補間識別データとして１ビット必要になる。この理由により、識別データ削減部１０６は、１７画素分の識別データを削除する必要があり、本実施形態では図５に示すように黒部分の個数を１７個とした。

パック部１０７は、まず、２色抽出部１０２から出力された色データＣ０、Ｃ１（８×２ビット）、補間識別データ（１ビット）をその順番に保持し、それに後続して、識別データ削減部１０６からの２３９ビットの識別データを結合する。そして、パック部１０７は、結合後のデータを、１画素ブロックの符号化データとして出力する。

すなわち、パック部１０７が出力する１画素ブロックの符号化データのデータ構造は、次の通りである。
代表色Ｃ０（８ビット）＋Ｃ１（８ビット）＋補間識別データ（１ビット）＋削除後の識別データ（２３９ビット）

説明が前後するが、ここで図５に示した削除パターンについて説明する。本実施形態では、図５に示すように、基本的に、１つの行（ライン）、１つの列（カラム）中には、削減対象箇所が１つになるようにした。但し、１６×１６のサイズから１７個を削減するため、全ライン、全カラム１つというのは不可能であり、図示のように、１つのライン、１つのカラムのいくつかには、削除対象箇所が２つ存在する。また、図６（ａ）乃至（ｐ）から図１２（ａ）乃至（ｄ）からもわかるように、置換対象の画素位置を決める枠内には、他の削除対象画素位置が位置することがないように、削除対象画素位置は互いに或る程度の距離を隔てて配置されている。

次に、上記実施形態で説明した符号化データを復号する画像復号装置について説明する。図２は、本実施形態における画像復号装置のブロック構成図である。本装置は、データ分離部２０１、２色保持部２０２、識別データ補間部２０３、セレクタ２０４、及び削除パターンメモリ２０５を備える。削除パターンメモリ２０５は、先に説明した画像符号化装置が保持する削除パターンデータと同じデータが格納されている。

先に説明したように、１ブロックの符号化データの固定長をＬビットとしたとき、１ブロックの符号化データは、必ず、代表色Ｃ０、Ｃ１を示すＮビット（実施形態ではＮ＝１６）＋１ビットの補間識別データ＋Ｌ−１−Ｎ個（実施形態では２３９ビット）の識別データの順に並ぶようになっている。

従って、データ分離部２０１は、符号化画像データから、１画素ブロック分の固定長の符号化データ（実施形態では２５６ビット）を単位に入力したとき、先頭の１６ビットが、８ビットで表わされる２つの代表色データＣ０、Ｃ１であるものとして、２色保持部２０２に出力する。そして、１画素ブロックの符号化データの先頭から１７ビット目の１ビットのデータを、補間識別データであるものとして識別データ補間部２０３に出力する。また、データ分離部２０１は、符号化データの１８ビット目以降の２３９ビットのデータを削減後の識別データであるものとし、識別データ補間部２０３に出力する。

２色保持部２０２は、８ビットのレジスタを２つ有し、データ分離部２０１から供給された１６ビットから前半の８ビット、後半の８ビットに分離し、これら２つのレジスタに色データＣ０、Ｃ１として保持させる。それぞれのレジスタは、セレクタ２０４に１６×１６画素分の復号処理が完了するまで、色データＣ０，Ｃ１を出力し続ける。

識別データ補間部２０３は、削除パターンメモリ２０５に格納された削除パターンを参照し、非削除の識別データの位置では、入力した識別データをそのまま出力する。そして、削除された識別データの位置では、補間識別データを出力する。この結果、入力した２３９ビットの識別データから、２５６ビットの識別データが生成され、セレクタ２０４に出力されることになる。

セレクタ２０４は、識別データ補間部２０３からの２５６ビットの識別データを１ビット単位に入力し、その値が“０”の場合には、２色保持部２０２からの色データＣ０を復号後の画素データとして選択し、出力する。そして、識別データが“１”の場合には、２色保持部２０２からの色データＣ１を復号後の画素データとして選択し、出力する。このようにして、１６×１６画素で構成される画素ブロックの画像データを復号する。

以上が本第１の実施形態における画像符号化装置及び復号装置の処理内容である。本第１の実施形態によれば１６×１６画素で構成される画像データが、２５６ビットという、３２ビットの整数倍でアクセスに有利なデータサイズで固定長の符号化データを作成することが可能となる。従って、画像復号装置では、例えばユーザが指示した位置の画素ブロックのみを復号することも可能になる。

［第２の実施形態］
上記第１の実施形態では、削除された識別データとして、１つの補間識別データを画像符号化装置及び復号装置が共通して用いる例を示した。第２の実施形態では補間識別データを予め設定された所定値に決めておくことで補間識別データの符号化を不要とし、その分だけ削減する識別データの個数を減らす例を示す。

削除された識別データを補間識別データで補間する場合について考察する。印刷を目的とする画像を復号する場合、本来、ドットが存在しない位置にドットが現れることより、ドットが存在すべき位置にドットが現れない方が画像の品質に影響が少ないと考えられる。例えば、補間データを全て“０”（低輝度側の画素）としてしまうと、白地の部分にドットが生成されてしまい、問題となるが、補間データを全て“１” （高輝度側の画素）とした場合、ベタ部の濃度が若干下がるが、補間画素は分散されているため、ドットゲイン等により画質上は殆ど判別できない。かかる点を考慮すると、本実施形態では、輝度を例にしているので、補間識別データは輝度の高い画素（濃度の低い画素）、すなわち、補間識別データは“１”として扱えば良いことになる。

また、２つの色データＣ０、Ｃ１は第１の実施形態と同じく、共に８ビットとする。従って、２つの色データＣ０、Ｃ１で、計８＋８＝１６ビットが必要になる。符号化データの固定長を２５６ビットとするなら、２５６ビットの識別データ中の１６ビットを削減すればよいことになる。それ故、本第２の実施形態では、図１４にその例を示すように、削除対象位置（黒い部分）が１６個存在する。

本第２の実施形態の画像符号化装置の構成を図３に示す。同図と図１との違いは、補間識別データ生成部３０４には、識別データ生成部１０２からの識別データ、削除パターンメモリ１０８からの削除パターンデータが供給されない点、及び、補間識別データ生成部３０４からの補間識別データがパック部３０７に供給されない点である。また、補間識別データ３０４は、固定の補間識別データ“１”を識別データ置換部１０５に供給される点である。よって、以下では、この部分の処理のみを説明する。

なお、本第２の実施形態の場合、識別データ削減部１０６の処理内容は第１の実施形態と同じであるが、削除パターンメモリ１０８に格納されている削除パターンで示される削除対象の識別データの個数が１６個となるので、識別データ削減部１０６から出力される識別データの個数（ビット数）は２４０個（２４０ビット）となる。

補間識別データ生成部３０４は、第１の実施形態の補間識別データ生成部１０４と異なり、常に“１”の補間識別データを出力しつづける。

パック部３０７は、先ず、２色抽出部１０２から出力された色データＣ０、Ｃ１（８×２ビット）をその順番に保持し、それに後続して、識別データ削減部１０６からの２４０ビットの識別データを結合し、１画素ブロックの符号化データとして出力する。

一方、画像復号装置は図４に示す構成となる。図４に示される構成は図２で示した第１の実施形態の構成と比較して、データ分離部４０１と識別データ補間部４０３との間で、補間識別データの信号線が無くなる点で異なる。また、データ分離部４０１の処理と識別データ補間部４０３の処理が異なる。よって、この２つの部分の処理のみを説明する。

データ分離部４０１は、符号化画像データから、１ブロック分の固定長の符号化データ（実施形態では２５６ビット）を単位に入力し、その先頭の１６ビットは８ビットで表わされる２つの色データＣ０、Ｃ１であるものとして、２色保持部２０２に出力する。また、データ分離部４０１は、１７ビット目以降の２４０ビットのデータを識別データであるものとし、識別データ補間部４０３に出力する。

識別データ補間部４０３は、削除パターンメモリ４０５（図１４の削除パターンを記憶している）を参照し、着目画素位置が削除対象ではない場合には、データ分離部４０１から入力した識別データをそのままセレクタ２０４に出力する。一方、着目画素位置が削除対象であると判定した場合には、予め設定された識別データ“０”をセレクタ２０４に出力する。

以上、説明したように本第２の実施形態によれば、補間識別データを予め決めておくことで、復号装置で復号する識別データの精度を上げることが可能になる。この結果、画像の再現性を更に高めることができる。

［第３の実施形態］
第１および第２の実施形態では、符号化装置で削除対象位置の識別データを周辺の画素と置換することにより画像の輝度を変化させない二色化について説明した。これによって符号化前後で輝度の変化はない、もしくは小さくできる。しかし、今度は識別データの位置が移動することにより文字や線画等のエッジ部分の形状が変化してしまう可能性がある。そこで第３の実施形態では、符号化装置で置換処理を行った識別データを復号装置で元に戻すことで輝度と形状の両方を可能な限り保存する例を説明する。

本第３の実施形態の画像符号化装置の構成を図１６に示す。同図と図１との違いは、識別データ置換部１６０５の動作が識別データ置換部１０５の動作と異なる点のみであり、他の構成要素は全て第１の実施形態と同じである。よって、以下では第３の実施形態における識別データ置換部１６０５のみを説明する。

識別データ置換部１６０５は、識別データ置換部１０５と同様に内部にバッファメモリを有し、削除パターンメモリ１０８に格納された削除パターンと、識別データ生成部１０３からの識別データ、及び、補間識別データ生成部１０４からの補間識別データを入力しバッファメモリに格納する、次に識別データに対して置換処理を行い、バッファメモリに格納された置換後の識別データを識別データ削減部１０６に出力する。以下に、識別データ置換部１６０５の具体的な処理例を説明する。

図１８は、補間識別データを“０”とした時の削除対象位置を中心とした３×３画素の識別データのパターンと置換処理後の識別データのパターンとのペアを示している。なお、図示の入力する３×３画素の識別データのパターン、置換処理後の識別データのパターン、及び、条件の一組を特定するため、図示ではパターン番号“Ｐ＃＃＃（＃は数字）”の形式で示している。

また、置換処理を行うのは、削除対象位置（３×３画素の中心位置）の識別データが“１”なので、中心位置の識別データが“０”のパターンは、図１８には示していない。すなわち、黒い画素は識別データ“１”、白い画素は識別データ“０”を表している。また、回転すると同じになるパターンや、反転すると同じになるパターンはひとつにまとめて記載している。ここで反転とは鏡像にすることを意味しており、識別データの“０”を“１”にするなどの意味ではないことに注意されたい。なお、補間識別データが“１”の場合は、黒い画素が識別データ“０”、白い画素が識別データ“１”を表すものとして読み替えれば良い。

以下、各条件について説明する。図１８中の削除対象位置と隣接する全ての識別データ“０”の画素について、条件番号の小さい順に条件に合致するかを調べていく。条件を満たす画素位置が一つであった場合は、その位置を置換画素位置と決定する。条件を満たす位置が複数残っていて、残った全ての位置が対照的な位置関係でありいずれを選んでも確率的に置換による効果に違いが無い場合は、候補位置の中からいずれを置換画素位置としても構わないものとする。条件を満たす位置が一つも無い場合は、次に条件番号の小さい条件を参照して決定する。

・条件“１”＝識別データ“０”を置換対象位置とする：
符号化による輝度の変化を防ぐことを目的とし、周囲の識別データ“０”を削除対象位置の識別データ“１”に置換するために設けた条件である。例えば図１８のパターンＰ７０２のように識別データ“０”が１個しか存在しない時は、その識別データを置換することが一意に決まる。

また、図１８のパターンＰ６０６を考えると、入力した識別データのパターンの左上と右下の２つの識別データ“０”のいずれを“１”に置換しても確率的には画像に対する効果に違いは無い。このような場合、どちらを選んでも良い。従って、図１８のパターンＰ６０６の場合の置換後のパターンでは、右下隅の位置の識別データを“１”にしているが、“１”にする位置は左上隅であっても問題ない。

ただし、例外として図１８のパターンＰ８０１のように識別データ“０”が０個の時は、識別データは変化しないものとする。

・条件“２”＝削除対象位置に対して上下左右方向のいずれかにする：
この条件“２”は、削除対象位置に対して斜め方向の識別データ“０”よりも上下左右方向の識別データ“０”を優先して“１”へ置換するために設けた条件である。例えば図１８のパターンＰ５０６を考えると、識別データ“０”は３つ存在するが、条件“２”により着目画素の左隣の画素の識別データを“１”に置換することが一意に決まる。

また、図１８のパターンＰ４０３を考えると、識別データ“０”は４つ存在するが、条件“２”により上か左に絞られる。なお、図１８のパターンＰ４０３には、置換対象が削除対象位置の上を選択する様子を示したが、左であっても良い。

・条件“３”＝置換した結果、識別データ“１”が３個以上連続しない：
この条件は置換により、もともと画像に存在しなかった連続性を置換によって新たに生成される事を防ぐために設けた条件である。例えば図１８のパターンＰ４０９を考えると、条件“２”により、削除対象位置の上、下の２つに絞られるが、条件“３”により、削除対象位置の上の識別データ“０”を“１”へ置換することが一意に決まる。

また、図１８のパターンＰ３０９を考えると、識別データ“０”は５つ存在する。条件“２”により、削除対象の上か下、右の２つに絞られる。そして、条件“３”により、上か下の位置が決定する。図１８のパターンＰ３０９の場合には、置換対象位置が着目画素の下である例を示したが、上であっても問題ない。

・条件“４”＝削除対象位置を挟んだ反対側に“１”が存在する位置である：
この条件は入力画像にもともと存在している２連続となっている識別データの連続性を維持するために設けた条件である。例えば図１８のパターンＰ４０４で示される入力パターンを考えると、右から中央へかけて識別データ“１”が２連続を構成している。この場合、削除対象位置の左の識別データ“０”を置換すると、削除対象位置を挟んだ対面の位置に“１”が存在する。従って、削除対象位置の左側はこの条件を満足する。また、右下隅が“１”であるので、削除対象位置の左上の画素位置もこの条件に一致する。しかしそれ以外は条件“４”を満たさない。また、削除対象位置の左側、左上側は、条件“３”も満たす。そして、削除対象位置の左上側は、条件“２”を満たさない。よって、削除対象位置の左側の位置の識別データ“０”を“１”に置換することが一意に決まる。

また、例えば図１８のパターンＰ５０４を考えると、削除対象位置の右側、左側、下側は条件“１”と条件“２”を満たすが、条件“３”を満たす位置は一つも存在しない。この場合は、次に条件番号の小さい条件“４”を参照する。削除対象位置の下側は条件“４”を満たし、削除対象位置の右側と左側は条件“４”を満たさない。よって、削除対象位置の下側の位置の識別データ“０”を“１”に置換することが一意に決まる。

・条件“５”＝識別データ“０”の３連続の構成を妨げない位置である：
この条件は入力画像にもともと存在している３連続となっている識別データ“０”の連続性を維持するために設けた条件である。例えば図１８のパターンＰ３０１を考えると、左列に識別データ“０”の３連続が構成されている。条件“２”乃至条件“４”を満たしている位置として左と上があるが、条件“５”を満たせるのは上のみである。従ってこの場合、上の識別データ“０”を“１”へ置換することが一意に決まる。

また、図１８のパターンＰ１０２を考えると、条件“２”乃至条件“４”を満たす識別データは上下左右の４つ存在するが、条件“５”を満たすものは上と右のみである。この２つは同等性があるため条件１によってどちらを選んでも良いこととなる。従って、図１８のパターンＰ１０２の場合には、削除位置の上を選択する様子を示したが、右であっても問題ない。

以上、図１８に示した置換パターンデータによる置換方法を説明した。具体的には、本第３の実施形態の識別データ置換部１６０５は、図１８に示すような置換パターンデータテーブルを記憶した置換パターン記憶部を有し、これを参照して、置換処理を行なうことになる。

以上の説明からもわかるように、補間識別データが“０”のとき、着目画素の位置が削除位置にあり、且つ着目画素の識別データが“１”（非補間識別データ）である場合、着目識別データの隣接する８画素の識別データのうち値が“０”の識別データの中で最も影響の少ない１つの識別データが“１”に置換される。少なくとも、置換される識別データの位置が、着目画素の隣接する位置であるので、画質に与える影響は少ないと言える。更に、実施形態によれば、隣接する画素のうち、上記の条件に従って、最も影響の少ない位置の識別データと置換するので、更に影響は小さなものすることができる。

なお、上記は補間識別データが“０”の場合であったが、“１”の場合には上記の“０”と“１”を読み替えたものとなる点に注意されたい。

更に、本第３の実施形態では、画像復号装置側でも、更に画質を改善することを可能にするものである。図１７は、本第３の実施形態の画像復号装置のブロック構成図である。

同図と図２との違いは、識別データ補間部１７０３が、識別データ補間部２０３よりも新たな処理が加わった点である。従って、識別データ補間部１７０３は、基本的に、削除された識別データを、補間識別データと見なして出力するのは、第１の実施形態の識別データ補間部２０３と同じである。

識別データ補間部１７０３は、内部にバッファメモリを有する。識別データと補間識別データを入力としてそれらを内部のバッファメモリに格納し、削除パターンメモリ２０５に格納された削除パターンを参照して補間処理を行い、補間後の識別データを出力する。但し、本第３の実施形態では、例外処理を設けた。以下、この例外処理を説明する。

説明を簡単なものとするため、ここでも入力された補間識別データを“０”とする。図１９は、例外処理における入力識別データと出力識別データのペア関係を示している。図１９において左列は入力した３×３画素の識別データのパターンを示し、右列は補間後の識別データのパターンを示している。白い画素は識別データ“０”を、黒い画素は識別データ“１”を表す。また、斜線部分は削除されていることを示している。例外処理は、着目画素位置が削除された場合のものであるので、斜線部分も３×３画素の識別データの中心に位置することになる。

なお、回転や反転をすると図１９に記載した識別データと同じになるパターンはひとつにまとめて記載している。また、入力された補間識別データが“１”の場合は、白い画素を識別データ“１”へ、黒い画素を識別データ“０”へ読み替える。

第１の実施形態に従えば、図示の削除位置の識別データは、補間識別データ“０”として出力される。本第３の実施形態では、着目画素位置が削除されており、補間識別データ“０”となった場合、隣接する画素位置において、補間識別データとはその極性が異なる“１”の値の識別データと置換する。

本第３の実施形態の識別データ補間部１７０３は、次に示す４つの条件を全て満たす識別データ“１”を、補間識別データ（実施形態では“０”）と交換する。
条件１：着目画素位置の“１”の識別データは、削除位置の上下左右のいずれかに位置する。
条件２：着目画素位置の“１”の識別データは、水平、垂直方向に“１”が３連続しているメンバーではない。
条件３：着目画素位置の“１”の識別データを“０”にし、３×３画素の中央位置を補間識別データ“１”で補間した結果、中央位置の識別データが上下左右斜めのいずれかの方向に、“１”が３連続するメンバーとなる。
条件４：着目画素位置の“１”の識別データ以外に、条件１乃至条件３を満たす他の識別データは存在しない。

条件１は符号化装置での置換の対象として上下左右の位置を優先させたために設けた条件である。条件２は符号化装置では３連続となるような置換の優先度は低く、画像がもともと持っている連続性である可能性もあり、その連続性を崩さないために設けた条件である。条件３は連続性のある画像のみを復元させることを目的としているために設けた条件である。条件４は候補が複数存在することによる復元の誤りを防ぐために設けた条件である。

例えば図１９のパターンＰ９０１を考えると、識別データ“１”は削除位置の左上と上と右下の３つである。このうち、条件１を満たすのは上だけである。上の位置の識別データ“１”は上列で３連続を構成していないので、条件２を満たす。上の位置の識別データを削除対象位置へ置換すると斜め方向の３連続を構成するので、条件３を満たす。上の位置の識別データ以外に条件１乃至条件３を満たす識別データ“１”は存在しないので、条件４を満たす。つまり、条件１乃至条件４を全て満たすので、上の位置の識別データは削除対象位置と置換されることとなり、図１９のパターンＰ９０１の右側に示される３×３画素の識別データが得られる。図１９の残りのパターンＰ９０２乃至９１０も同様に得たものである。

以上、本第３の実施形態における復号装置側の補間方法を説明した。

上記第３の実施形態における画像符号化装置と復号装置を使用することによる効果の一例を以下に記す。例えば、図１８のパターンＰ４０６の左列の識別データが入力されたとすると、符号化装置により識別データは図１８のパターンＰ４０６の右列の識別データになって出力される。この識別データを復号化装置が受け取ると、図１９のパターンＰ９０９の左列を上下反転したものに該当するので、復号化装置は図１９のパターンＰ９０９の右列を上下反転した識別データを出力する。このように一連の符号化処理によっても識別データの形状は符号化前と符号化後で変化していない。

以上が本第３の実施形態における画像符号化装置及び復号装置の処理内容である。本第３の実施形態の符号化装置と復号化装置によれば、第１及び第２の実施形態において説明した輝度を変化させない効果に加え、連続性の高い画像に対して画像の形状も保存することが可能となる。従って、より高画質な画像符号化が可能となる。

［第４の実施形態］
先に説明した第１，第２、第３の実施形態で示した画像ブロックから２つの代表色を抽出し、その画素ブロック内の各画素がいずれの代表色と近似するかを示す識別データを削減し、固定長の符号化データを生成する例を説明した。これらの符号化対象は、符号化対象の画像に含まれる色の数が少ない場合、典型的には、文字列（線画を含む）のみで構成される文章画像を符号化する場合に都合が良いものである。しかし、符号化対象のオリジナル画像が、自然画等、グラディエーションのある背景（階調画像）と文字が混在する画像の場合には、復号して得られた画像はオリジナル画像と大きく異なることになる。

そこで、本第４の実施形態では、かかる点を改善する例を説明する。なお、以下に説明する第４の実施形態でも、符号化対象の画像データはモノクロ多値画像データとし、１画素ブロックは１６×１６画素のサイズであるものとして説明する。

図１５は本第４の実施形態における画像符号化装置のブロック構成図である。本装置は、ブロック化部１３０１、２色符号化部１３０２、抽出部１３０３、第１の符号化部１３０４、符号量検出部１３０５、置換部１３０６、第２の符号化部１３０７、符号量制御部１３０８、パック部１３０９、セレクタ１３１０を有する。以下、各処理部の詳細な説明を行う。

ブロック化部１３０１は図１のブロック化部１０１と同じで、入力された画像から１６×１６画素の画素ブロックを抽出し、出力する。

２色符号化部１３０２は第１の実施形態、第２の実施形態、或いは第３の実施形態で説明した符号化装置である。但し、ブロック化部１３０１が、図１５で示されているので、２色符号化部１３０２には、ブロック化部１０１を設ける必要はない。また、第１，第２の実施形態では、１画素ブロック当たり２５６ビットの固定長の符号化データを生成するものとしているが、本実施形態における２色符号化部１３０２は１画素ブロック当たり１ビット少ない２５５ビットの符号化データを生成するものとする。これは、第１，第２、第３の実施形態における削除パターン内の削除対象位置の個数を、１個増やせば良いので説明するまでもないであろう。

抽出部１３０３は、ブロック化部１３０１から入力した画素ブロックの画像データから、高周波成分となる画素があるか否かを判定し、その判定結果と高周波成分の画素の色（抽出色）をパック部１３０９に出力する。また、抽出部１３０３は、着目画素ブロックの各画素毎に、高周波成分となる画素であるか否か、すなわち、抽出色／非抽出色を示す識別データを第１の符号化部１３０４、置換部１３０６に出力する。なお、先に説明した第１、第２、第３の実施形態における識別データと区別するため、本第４の実施形態における抽出部１３０３が生成する識別データを、以降、第２の識別データと表現することとする。この第２の識別データは、画素ブロック内の各画素が、高周波成分の画素であるか否かを識別できれば良いので、１画素について１ビットで良い。すなわち、１画素ブロックには、１６×１６画素が存在するので、１画素ブロックの第２の識別データは計２５６ビットとなる。

この抽出部１３０２における高周波成分の画素があるか否かの求めるアルゴリズムは、第１の実施形態の２色抽出部１０２と同じでも良い。すなわち、着目画素ブロックの各画素の値の平均値を求め、着目画素ブロック内の画素を、その平均値以下の画素群（グループＡ）と、平均値よりも大きな値を持つ画素群（グループＢ）の２つのグループに分類する。そして、グループＡ，Ｂの平均値を更に算出し、グループＢの平均値からグループＡの平均値を減算した値が、予め設定された閾値よりも大きい場合、グループＢに属する画素は高周波成分を持つ画素と判定する（逆でも構わない）。本第４の実施形態では、高周波成分の画素の場合には“１”、非高周波成分の画素の場合には“０”の第２の識別データを生成するものとする。

従って、この抽出部１３０２は、画素ブロックの画像データに、高周波成分となる画素があるか否かを判定し、高周波成分の画素の色を抽出色として抽出する第２の抽出部として機能すると共に、画素ブロックの各画素が、前記抽出色の画素であるか、非抽出色の画素であるかを識別するための第２の識別データを生成する第２の生成部として機能することになる。

第１の符号化部１３０４は入力される２５６ビットの第２の識別データを圧縮し、符号化データを出力する。ここでの符号化方式は、公知のランレングス符号化など、２値データの圧縮に用いられるアルゴリズムで圧縮する。

符号量検出部１３０５は上記第１の符号化部１３０４から出力された符号量を検出し、その検出結果を符号量制御部１３０８、及び、セレクタ１３１０へ出力する。

置換部１３０６は、着目画素ブロックの画像データを、上記第２の識別データを参照して、後段の第２の符号化部１３０７による符号化が効果的に行えるように、変換する。この置換部１３０６の変換処理は次の通りである。

ここで、ブロック化部１３０１から出力される画素値をＰ（ｘ，ｙ）（ｘ，ｙ＝０，１，…１５）とし、抽出部１３０３から出力される第２の識別データをＢ（ｘ，ｙ）とする。

先ず、置換部１３０６は、非高周波成分の画素値の平均値Ｐaveを算出する。
Ｐave＝ΣＰ（ｘ，ｙ）×（１−Ｂ（ｘ，ｙ））／Ｎ
ここで、Ｎは、第２の識別データが“０”の個数を示している。

次いで、置換部１３０６は、非高周波成分と判定された画素値はそのまま、高周波成分の画素値を平均値Ｐaveで置換して、第２の符号化部１３０７に出力する。つまり、平均値Ｐaveは置換色データとして用いる。具体的には、次の通りである。
・Ｂ（ｘ，ｙ）＝０の場合、Ｐ（ｘ，ｙ）を出力する。
・Ｂ（ｘ，ｙ）＝１の場合、ＰaveをＰ（ｘ，ｙ）として出力する。

上記の結果、着目画素ブロックの画像データは高周波成分が存在しない、もしくは高周波成分の画素が少ない状態に変換されることになる。

第２の符号化部１３０７は上記置換された着目画素ブロックの画像データを符号化する。この符号化にはＪＰＥＧのような公知の多値画像の圧縮に有利な方法を利用する。実施形態では、１画素ブロックが１６×１６画素としているので、この画素ブロックをＪＰＥＧにおけるマクロブロックとして符号化すればよい。すなわち、ＪＰＥＧでは、一般に、８×８画素を単位にＤＣＴ、量子化、エントロピー符号化を行なうものであるので、この処理を４回行なう。但し、この第２の符号化部１３０７は、直流成分、交流成分の順に符号化データを出力するものとする。また、第２の符号化部１３０７が符号化する画素ブロックには、上記の通り、高周波成分が無い、もしくは少ない。従って、第２の符号化部１３０７は、十分に高い圧縮率で符号化データを生成することが可能になる。

符号量制御部１３０８は第２の符号化部１３０７から出力された符号化データのデータ量を抑制するデータ量抑制部として機能する。制限する値は、目標符号量（実施形態では２５５ビット）から、抽出色（高周波成分を有すると判定された画素データの値）と第１の符号化部１３０４から出力された符号化データの符号量の２つを減算した値である。

この結果、第２の符号化部１３０７からは、いくつかの符号化データが削除されることになる可能性があるが、直流成分の符号化データは符号化データの先頭に位置するので削除されることはない。

パック部１３０９は抽出色と第２の識別データの符号化データ、及び、第２の符号化部１３０７で生成された多値画像の符号化データを、この順番にパックし、２５５ビットの符号化データを生成し、セレクタ１３１０に出力する。

ここで２色符号化部１３０２から出力された符号化データを第１の出力データ、パック部１３０９から出力された符号化データを第２の出力データとする。

セレクタ１３１０は、符号量検出部１３０５からの第２の識別データの符号化データ量に基づき、第１の出力データ、第２の出力データのいずれか一方を選択出力する。具体的には、符号量検出部１３０５からの第２の識別データの符号量が、予め設定された閾値以上の場合には第１の出力データを選択出力し、第２の識別データの符号量がその閾値未満の場合には第２の出力データを選択出力する。このとき、符号化データが、２色符号化部１３０２、パック部１３０９のいずれからのものであるかを判定できるようにするため、セレクタ１３０１は、符号化データの先頭に１ビットの判別ビットを付加する。この結果、１画素ブロック当たり２５６ビットの符号化データを生成することになる。

以上、説明した第４の実施形態によれば、第１，第２、第３の実施形態に対して、削除パターンによる削除する識別データの個数が１つ増えるものの、自然画等のグラディエーション画像に対しても十分な画質を維持して、固定長の符号化データを生成することが可能になる。

なお、上記実施形態では、符号化対象画像が１色成分のみのモノクロ画像を例にして説明したが、ＲＧＢやＹＭＣ、Ｌａｂ等、１画素が複数色成分で表わされる画像の場合には、各成分につき固定長の符号化データを生成すればよい。

以上本発明に係る実施形態を説明したが、各実施形態で説明した処理を、パーソナルコンピュータ等の情報処理装置が実行するコンピュータプログラムでもって機能させても構わない。この場合、各実施形態で示した処理部に相当する部分は、サブルーチンもしくは関数で機能させ、全体をメインルーチンとして機能させればよい。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ読取り可能な可読記憶媒体に格納されており、それをコンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。それ故、かかるコンピュータ可読記憶媒体も本発明の範疇にあるのは明らかである。

第１の実施形態における画像符号化装置のブロック構成図である。 第１の実施形態における画像復号装置のブロック構成図である。 第２の実施形態における画像符号化装置のブロック構成図である。 第２の実施形態における画像復号装置のブロック構成図である。 第１の実施形態における削除パターンの一例を示す図である。 着目画素の周辺参照画素のパターンを示す図である。 着目画素の周辺参照画素のパターンを示す図である。 着目画素の周辺参照画素のパターンを示す図である。 着目画素の周辺参照画素のパターンを示す図である。 着目画素の周辺参照画素のパターンを示す図である。 着目画素の周辺参照画素のパターンを示す図である。 着目画素の周辺参照画素のパターンを示す図である。 置換する順序を示す図である。 第２の実施形態における削除パターンの一例を示す図である。 第４の実施形態における画像符号化装置のブロック構成図である。 第３の実施形態における画像符号化装置のブロック構成図である。 第３の実施形態における画像復号装置のブロック構成図である。 第３の実施形態における画像符号化装置が利用する置換パターンの例を示す図である。 第３の実施形態における画像復号装置が利用する置換パターンの例を示す図である。

Claims (27)

1. １画素が複数ビットで表わされる画像データを、ｍ×ｎ画素のブロック単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、固定長Ｌビットの符号化データを生成する画像符号化装置であって、
   画像データを前記ブロック単位に入力する入力手段と、
   入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出手段と、
   前記着目ブロック中の各画素に、当該各画素が前記代表色Ｃ０、Ｃ１のいずれに近似しているかを示す１ビットの識別データを生成する生成手段と、
   前記代表色Ｃ０、Ｃ１を特定するために必要なビット数をＮと定義したとき、前記生成手段で生成された１ブロック分の識別データから、｛Ｎ＋１｝個の識別データを削除するための、及び、少なくとも互いに１画素以上の距離を隔てた削除対象の画素位置を特定するためのパターンデータを記憶する記憶手段と、
   前記記憶手段に記憶されたパターンデータに従い、前記代表色Ｃ０、Ｃ１のいずれに近似する識別データが多く削除されるかを判定し、当該判定結果を示す１ビットの判定データを生成する判定手段と、
   該判定手段の判定結果に従い、削除位置の近傍に位置し、非削除対象の識別データを補正する補正手段と、
   前記記憶手段に記憶されたパターンデータを参照して、前記補正手段で補正した後のｍ×ｎ個の識別データから、｛Ｎ＋１｝個の識別データを削除する削減手段と、
   前記抽出手段で抽出した代表色Ｃ０、Ｃ１を示すデータ、前記判定手段で生成された前記判定データ、及び、前記削減手段による削除して残った識別データとを結合し、着目ブロックの符号化データとして出力する出力手段と
   を備えることを特徴とする画像符号化装置。
2. 前記固定長Ｌは、３２の整数倍であることを特徴とする請求項１に記載の画像符号化装置。
3. 前記抽出手段は、
   前記着目ブロックの画素値の平均値ＡＶＥを算出し、
   前記着目ブロック中の画素を、前記平均値ＡＶＥ以下の画素値を持つ画素群で構成される第１のグループと、前記平均値ＡＶＥを超える画素値を持つ画素群で構成され第２のグループに分類し、
   前記第１のグループに属する画素値の平均値、前記第２のグループに属する画素値の平均値を前記代表色Ｃ０、Ｃ１として抽出する
   ことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記補正手段は、
   前記代表色Ｃ０、Ｃ１のうち、前記判定手段が判定した、削除される個数の多い識別データが示す色をＣａ、削除される個数の少ない識別データが示す色をＣｂとしたとき、
   削除対象位置の着目画素位置の識別データが前記色Ｃｂを示す場合のみ、当該着目画素位置の近傍に位置し非削除対象の前記色Ｃａを示す１つの識別データを、前記色Ｃｂを示す識別データに置換することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記補正手段は、
   前記削除位置に隣接している８画素中の１画素と、該１画素と接している連続した２画素を組み合わせた各領域内で前記色Ｃｂを示す識別データをカウントし、カウント数の最も少ない領域内の隣接画素の識別データを、前記色Ｃｂを示す識別データに置換することを特徴とする請求項４に記載の画像符号化装置。
6. 前記補正手段は、
   前記削除位置の近傍に位置する識別データを予め定められた識別データへ変換するための置換パターンデータを記憶する置換パターン記憶手段を有し、
   記憶された前記置換パターンデータを参照して、前記削除位置の近傍の識別データに変換処理を行うことを特徴とする請求項４に記載の画像符号化装置。
7. 前記置換パターンデータは、
   前記削除位置の近傍に位置する画素のうち置換する識別データの位置として、
   （１）前記色Ｃａを示す識別データである位置、
   （２）削除位置の上下左右の位置、
   （３）置換によって上下、左右の方向に前記色Ｃｂを示す識別データが３つ連続しない位置、
   （４）削除位置を挟んだ反対側に前記色Ｃｂが存在する位置、
   （５）置換によって前記色Ｃａを示す識別データが３つ連続していることを妨げない位置、
   を優先して生成されることを特徴とする請求項６に記載の画像符号化装置。
8. ｍ×ｎ画素で構成されるブロックが固定長Ｌビットとして符号化された符号化データを復号する画像復号装置であって、
   前記固定長の符号化データを入力する入力手段と、
   入力した符号化データから、着目ブロックの代表色Ｃ０、Ｃ１を特定するためのＮビットのデータ、前記代表色Ｃ０、Ｃ１のうち削除された代表色の多い方を示す１ビットの判定データ、及び、１画素につき１ビットで示されるＬ−Ｎ−１個の識別データを分離する分離手段と、
   少なくとも互いに１画素以上の距離を隔て、｛Ｎ＋１｝個の削除対象の識別データの画素位置を特定するためのパターンデータを記憶する記憶手段と、
   該記憶手段に記憶されたパターンデータに従い、前記分離手段で分離して得られた識別データ中の削除位置に、前記判定データで示される識別データを補間することで、ｍ×ｎ個の識別データを生成する補間手段と、
   該補間手段で補間された後の識別データのそれぞれに基づき、前記分離手段で得られた代表色Ｃ０、Ｃ１のいずれか一方を復号後の画素データとして選択出力する復号手段と
   を備えることを特徴とする画像復号装置。
9. １画素が複数ビットで表わされる画像データを、ｍ×ｎ画素のブロック単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、固定長Ｌビットの符号化データを生成する画像符号化装置であって、
   画像データを前記ブロック単位に入力する入力手段と、
   入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出手段と、
   前記着目ブロック中の各画素に、当該各画素が前記代表色Ｃ０、Ｃ１のいずれに近似しているかを示す１ビットの識別データを生成する生成手段と、
   前記代表色Ｃ０、Ｃ１を特定するために必要なビット数をＮと定義したとき、前記生成手段で生成された１ブロック分の識別データから、Ｎ個の識別データを削除するための、及び、少なくとも互いに１画素以上の距離を隔てた削除対象の画素位置を特定するためのパターンデータを記憶する記憶手段と、
   削除対象の着目画素位置の識別データが所定値である場合、削除位置の近傍に位置し、非削除対象の識別データを補正する補正手段と、
   前記記憶手段に記憶されたパターンデータを参照して、前記補正手段による補正後のｍ×ｎ個の識別データから、Ｎ個の識別データを削除する削減手段と、
   前記抽出手段で抽出した代表色Ｃ０、Ｃ１を示すデータ、及び、前記削減手段による削除して残った識別データとを結合し、前記着目ブロックの符号化データとして出力する出力手段と
   を備えることを特徴とする画像符号化装置。
10. 前記固定長Ｌは、３２の整数倍であることを特徴とする請求項９に記載の画像符号化装置。
11. 前記抽出手段は、
    前記着目ブロックの画素値の平均値ＡＶＥを算出し、
    前記着目ブロック中の画素を、前記平均値ＡＶＥ以下の画素値を持つ画素群で構成される第１のグループと、前記平均値ＡＶＥを超える画素値を持つ画素群で構成され第２のグループに分類し、
    前記第１のグループに属する画素値の平均値、前記第２のグループに属する画素値の平均値を前記代表色Ｃ０、Ｃ１として抽出する
    ことを特徴とする請求項９又は１０に記載の画像符号化装置。
12. ｍ×ｎ画素で構成されるブロックが固定長Ｌビットとして符号化された符号化データを復号する画像復号装置であって、
    前記固定長の符号化データを入力する入力手段と、
    入力した符号化データから、着目ブロックの代表色Ｃ０、Ｃ１を特定するためのＮビットのデータ、及び、１画素につき１ビットで示されるＬ−Ｎ個の識別データを分離する分離手段と、
    少なくとも互いに１画素以上の距離を隔て、Ｎ個の削除対象の識別データの画素位置を特定するためのパターンデータを記憶する記憶手段と、
    該記憶手段に記憶されたパターンデータに従い、前記分離手段で分離して得られた識別データ中の削除位置に、予め設定された値を持つ識別データを補間することで、ｍ×ｎ個の識別データを生成する補間手段と、
    該補間手段で補間された後の識別データのそれぞれに基づき、前記分離手段で得られた代表色Ｃ０、Ｃ１のいずれか一方を復号後の画素データとして選択出力する復号手段と
    を備えることを特徴とする画像復号装置。
13. 前記補間手段は、
    前記削除位置の近傍に位置する識別データを予め定められた識別データへ変換するための置換パターンデータを記憶する置換パターン記憶手段を有し、
    前記記憶された置換パターンデータを参照して、前記削除位置と削除位置の近傍の識別データに補間処理を行うことを特徴とする請求項１２に記載の画像復号装置。
14. 前記補間手段は、
    前記置換パターンデータに従って、前記削除位置の近傍に位置する識別データの１つを着目した時、
    （１）当該着目画素位置が、削除対象位置の上下左右のいずれかである；
    （２）当該着目画素位置を含む上下、左右の方向に並ぶ３画素の識別データが同じ値ではない、
    （３）削除位置を前記判定データで示される極性と逆の識別データで補間した場合に、補間後の削除位置の識別データを含む上下、左右、斜め方向のいずれかの方向の３画素の識別データが、同じ値になる；
    （４）上記条件（１）乃至（３）を満たす位置が、削除位置に隣接する８画素のうち一つだけ存在する；
    の条件（１）乃至（４）の全てを満たすとき、前記着目画素位置の識別データを、前記削除位置に補間した識別データと置換することを特徴とする請求項１３に記載の画像復号装置。
15. 更に、
    前記入力手段で入力したブロックの画像データに、高周波成分となる画素があるか否かを判定し、高周波成分の画素の色を抽出色として抽出する第２の抽出手段と、
    前記ブロックの各画素が、前記抽出色の画素であるか、非抽出色の画素であるかを識別するための第２の識別データを生成する第２の生成手段と、
    該第２の生成手段で生成された前記第２の識別データを符号化する第１の符号化手段と、
    前記ブロック内の前記非抽出色の画素データに基づき、前記抽出色を持つ画素データを置換するための置換色データを算出する算出手段と、
    前記算出手段で算出した置換色データで、前記抽出色を持つデータを置換する置換手段と、
    前記置換手段で置換して得られたブロックの画像データを符号化する第２の符号化手段と、
    前記第１の符号化手段で生成された符号化データのデータ量を検出する検出手段と、
    該検出手段で検出したデータ量に基づき、前記第２の符号化手段で生成される符号化データのデータ量を抑制する抑制手段と、
    前記抽出色の情報、前記第１の符号化手段で生成された符号化データ、及び、前記データ量抑制手段で得られた符号化データとを結合し、Ｌビットの符号化データを出力する第２の出力手段と、
    前記検出手段の検出結果に基づき、前記出力手段、前記第２の出力手段のいずれか一方からの符号化データを選択すると共に、選択した符号化データの先頭にいずれの符号化データであるかを示す１ビットの判別ビットを付加した、Ｌ＋１ビットの符号化データとして出力する選択手段と
    を備えることを特徴とする請求項１又は９に記載の画像符号化装置。
16. 前記Ｌ＋１は、３２の整数倍であることを特徴とする請求項１５に記載の画像符号化装置。
17. ｍ×ｎのサイズのブロック中の、互いに１画素以上の距離を隔て、Ｎ＋１個の位置を特定するパターンデータを記憶する記憶手段を有し、１画素が複数ビットで表わされる画像データを、前記ｍ×ｎのサイズのブロックを単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、固定長Ｌビットの符号化データを生成する画像符号化装置の制御方法であって、
    画像データを前記ブロック単位に入力する入力工程と、
    入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出工程と、
    前記着目ブロック中の各画素に、当該各画素が前記代表色Ｃ０、Ｃ１のいずれに近似しているかを示す１ビットの識別データを生成する生成工程と、
    前記記憶手段に記憶されたパターンデータに従い、前記代表色Ｃ０、Ｃ１のいずれに近似する識別データが多く削除されるかを判定し、当該判定結果を示す１ビットの判定データを生成する判定工程と、
    該判定工程の判定結果に従い、削除位置の近傍に位置し、非削除対象の識別データを補正する補正工程と、
    前記記憶手段に記憶されたパターンデータを参照して、前記補正工程で補正した後のｍ×ｎ個の識別データから、｛Ｎ＋１｝個の識別データを削除する削減工程と、
    前記抽出工程で抽出した代表色Ｃ０、Ｃ１を示すデータ、前記判定工程で生成された前記判定データ、及び、前記削減工程による削除して残った識別データとを結合し、着目ブロックの符号化データとして出力する出力工程と
    を備えることを特徴とする画像符号化装置の制御方法。
18. 前記補正工程は、
    前記削除位置の近傍に位置する識別データを予め定められた識別データへ変換するための置換パターンデータを記憶する置換パターン記憶手段を有し、
    前記記憶された置換パターンデータを参照して、前記削除位置の近傍の識別データに変換処理を行うことを特徴とする請求項１７に記載の画像符号化装置の制御方法。
19. ｍ×ｎのサイズのブロック中の、互いに１画素以上の距離を隔て、Ｎ＋１個の位置を特定するパターンデータを記憶する記憶手段を有し、前記ｍ×ｎ個の画素で構成されるブロックが固定長Ｌビットとして符号化された符号化データを復号する画像復号装置の制御方法であって、
    前記固定長の符号化データを入力する入力工程と、
    入力した符号化データから、着目ブロックの代表色Ｃ０、Ｃ１を特定するためのＮビットのデータ、前記代表色Ｃ０、Ｃ１のうち削除された代表色の多い方を示す１ビットの判定データ、及び、１画素につき１ビットで示されるＬ−Ｎ−１個の識別データを分離する分離工程と、
    該記憶手段に記憶されたパターンデータに従い、前記分離工程で分離して得られた識別データ中の削除位置に、前記判定データで示される識別データを補間することで、ｍ×ｎ個の識別データを生成する補間工程と、
    該補間工程で補間された後の識別データのそれぞれに基づき、前記分離工程で得られた代表色Ｃ０、Ｃ１のいずれか一方を復号後の画素データとして選択出力する復号工程と
    を備えることを特徴とする画像復号装置の制御方法。
20. 前記補間工程は、
    前記削除位置の近傍に位置する識別データを予め定められた識別データへ変換するための置換パターンデータを記憶する置換パターン記憶手段を有し、
    前記記憶された置換パターンデータを参照して、削除位置への補間処理を行なうと共に削除位置の近傍の識別データを変換することを特徴とする請求項１９に記載の画像復号装置の制御方法。
21. ｍ×ｎのサイズのブロック中の、互いに１画素以上の距離を隔て、Ｎ個の位置を特定するパターンデータを記憶する記憶手段を有し、１画素が複数ビットで表わされる画像データを、前記ｍ×ｎのサイズのブロックを単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、固定長Ｌビットの符号化データを生成する画像符号化装置の制御方法であって、
    画像データを前記ブロック単位に入力する入力工程と、
    入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出工程と、
    前記着目ブロック中の各画素に、当該各画素が前記代表色Ｃ０、Ｃ１のいずれに近似しているかを示す１ビットの識別データを生成する生成工程と、
    削除対象の着目画素位置の識別データが所定値である場合、削除位置の近傍に位置し、非削除対象の識別データを補正する補正工程と、
    前記記憶手段に記憶されたパターンデータを参照して、前記補正工程による補正後のｍ×ｎ個の識別データから、Ｎ個の識別データを削除する削減工程と、
    前記抽出工程で抽出した代表色Ｃ０、Ｃ１を示すデータ、及び、前記削減工程による削除して残った識別データとを結合し、前記着目ブロックの符号化データとして出力する出力工程と
    を備えることを特徴とする画像符号化装置の制御方法。
22. ｍ×ｎのサイズのブロック中の、互いに１画素以上の距離を隔て、Ｎ個の位置を特定するパターンデータを記憶する記憶手段を有し、前記ｍ×ｎ個の画素で構成されるブロックが固定長Ｌビットとして符号化された符号化データを復号する画像復号装置の制御方法であって、
    前記固定長の符号化データを入力する入力工程と、
    入力した符号化データから、着目ブロックの代表色Ｃ０、Ｃ１を特定するためのＮビットのデータ、前記代表色Ｃ０、Ｃ１のうち削除された代表色の多い方を示す１ビットの判定データ、及び、１画素につき１ビットで示されるＬ−Ｎ−１個の識別データを分離する分離工程と、
    該記憶手段に記憶されたパターンデータに従い、前記分離工程で分離して得られた識別データ中の削除位置に、予め設定あれた所定の１ビットのデータを補間することで、ｍ×ｎ個の識別データを生成する補間工程と、
    該補間工程で補間された後の識別データのそれぞれに基づき、前記分離工程で得られた代表色Ｃ０、Ｃ１のいずれか一方を復号後の画素データとして選択出力する復号工程と
    を備えることを特徴とする画像復号装置の制御方法。
23. 更に、
    前記入力工程で入力したブロックの画像データに、高周波成分となる画素があるか否かを判定し、高周波成分の画素の色を抽出色として抽出する第２の抽出工程と、
    前記ブロックの各画素が、前記抽出色の画素であるか、非抽出色の画素であるかを識別するための第２の識別データを生成する第２の生成工程と、
    該第２の生成工程で生成された前記第２の識別データを符号化する第１の符号化工程と、
    前記ブロック内の前記非抽出色の画素データに基づき、前記抽出色を持つ画素データを置換するための置換色データを算出する算出工程と、
    前記算出工程で算出した置換色データで、前記抽出色を持つデータを置換する置換工程と、
    前記置換工程で置換して得られたブロックの画像データを符号化する第２の符号化工程と、
    前記第１の符号化工程で生成された符号化データのデータ量を検出する検出工程と、
    該検出工程で検出したデータ量に基づき、前記第２の符号化工程で生成される符号化データのデータ量を抑制する抑制工程と、
    前記抽出色の情報、前記第１の符号化工程で生成された符号化データ、及び、前記データ量抑制工程で得られた符号化データとを結合し、Ｌビットの符号化データを出力する第２の出力工程と、
    前記検出工程の検出結果に基づき、前記出力工程、前記第２の出力工程のいずれか一方からの符号化データを選択すると共に、選択した符号化データの先頭にいずれの符号化データであるかを示す１ビットの判別ビットを付加した、Ｌ＋１ビットの符号化データとして出力する選択工程と
    を備えることを特徴とする請求項１７又は２１に記載の画像符号化装置の制御方法。
24. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至７、９乃至１１、１５、１６のいずれか１項に記載の画像符号化装置として機能させることを特徴とするコンピュータプログラム。
25. 請求項２４に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
26. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項８、１２乃至１４のいずれか１項に記載の画像復号装置として機能させることを特徴とするコンピュータプログラム。
27. 請求項２６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images