JP2009005017A - 画像符号化装置及び画像復号装置、並びにそれらの制御方法 - Google Patents

Abstract

【課題】 解像情報や色情報を良好に保存しつつ、且つ、ｍ×ｎ画素のブロック単位に、ｍ×ｎビット以下であって３２の整数倍の固定長Ｌの符号化データを生成する。
【解決手段】 ブロック化部１０２はｍ×ｎ画素の画像データを単位に入力する。２色抽出部１０２は、入力したブロックの画像データから代表色Ｃ０、Ｃ１を抽出する。識別情報検出部１０３は、ブロック内の各画素が色Ｃ０、Ｃ１のいずれに近似するかを示すｍ×ｎ個の識別情報を生成する。識別情報削減部１０４は、削除パターンメモリ１０６に格納された削除パターンに基づき、該当する位置の識別情報を削除する。パック部１０５は、色Ｃ０、Ｃ１と削除後の識別情報をパックし、符号化データとして出力する。
【選択図】 図１

Description

本発明は、画像データの符号化及び復号技術に関するものである。

従来より、入力画像を所定サイズのブロックに分割し、分割されたブロック画像に対して、直交変換を用いて符号化を行う技術が知られている。直交変換を用いた符号化は自然画像に対しては有効な圧縮方法であるが、他方、文字線画などの含まれる画像に対しては、画像の高周波成分が失われることに起因するモスキートノイズやブロック歪が起こり、良好な結果を得られないという問題点があった。

このような問題を解決するため、文字線画を含む画像など、階調性よりも解像度が重要な画像に関して、ブロック画像内の画素を二色で近似することで解像度を保持しようとするブロック内２色化処理が提案されている。この２色化処理を実行するものとしては知られてるのが特許文献１である。この特許文献１に記載の２階調ブロック近似符号化においては、ブロック画像内の画素を２色からなる画像と見なし、各画素がいずれの色であるのかを示す識別情報を生成する。そして、その識別情報と２色の画素値をパッキングすることで符号化処理を行う。例えばブロックサイズが８×８画素とし、そのブロックの画像データを２色化して、符号化を行う場合、識別情報として６４ビット全てのデータを格納し、色データとして８ビットのデータを２色分格納して合計８０ｂｉｔの固定長符号化データを出力する。同様にブロックサイズ１６×１６の場合は、識別情報は２５６ビット、色データが８ビット×２＝１６ビットの合計２７２ビットの固定長符号化データを出力する。
特開平０５−０５６２８２号公報

しかしながら、圧縮されたデータは通常は外部メモリ等に記憶されるが、この外部メモリへのアクセスは、４バイト×Ｎ（Ｎは２のべき乗）である場合が多く、上記従来例では、アクセス効率が悪いという欠点があった。例えば上記８×８のブロックサイズでは６４ビットが望ましく、また、１６×１６のブロックサイズでは２５６ビットで固定長符号化されることが望ましい。

本発明は、文字線画等を表わす解像情報や色情報を良好に維持しつつ、ｍ×ｎ画素のブロック単位に、格納及び転送に効率が良く、且つ、ｍ×ｎビット以下で３２の整数倍の固定長符号化データを生成する技術を提供しようとするものである。

かかる課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
１画素が複数ビットで表わされる画像データを、ｍ×ｎ画素のブロック単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、少なくとも３２の整数倍の固定長Ｌの符号化データを生成する画像符号化装置であって、
画像データを前記ブロック単位に入力する入力手段と、
入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出手段と、
着目ブロック中の各画素が、前記代表色Ｃ０、Ｃ１のいずれに近似しているかを識別するための１ビットの識別情報を生成する生成手段と、
少なくとも前記代表色Ｃ０、Ｃ１を特定するために必要なビット数をＮと定義したとき、前記生成手段で生成された１ブロック分の識別情報から、｛ｍ×ｎ−Ｌ＋Ｎ｝個の識別情報を削除するための、及び、少なくとも互いに１画素以上の距離を隔てた削除対象の画素位置を特定するためのパターンデータを記憶する記憶手段と、
前記生成手段で生成されたｍ×ｎビットの識別情報から、前記記憶手段に記憶されたパターンデータを参照して、｛ｍ×ｎ−Ｌ＋Ｎ｝個の識別情報を削除することで、Ｌ−Ｎビットの識別情報を生成する削減手段と、
前記抽出手段で抽出した代表色Ｃ０、Ｃ１を特定する情報を含むＮビットと、前記削減手段による削減後の｛Ｌ−Ｎ｝ビットの識別情報とを結合し、着目ブロックの符号化データとして出力する出力手段とを備える。

本発明によれば、文字線画等を表わす解像情報や色情報を良好に維持しつつ、ｍ×ｎ画素のブロック単位に、格納及び転送に効率が良く、且つ、ｍ×ｎビット以下で３２の整数倍の固定長符号化データを生成することが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

通常、コンピュータ並びに電子機器内部のデータバスは、３２の整数倍のビットを有する。従って、圧縮データをアクセスする場合、その圧縮データのサイズもまた、データバスの整数倍であることが望ましい。本実施形態では、１画素が複数ビットで表わされる画像データから、ｍ×ｎ個の画素で構成されるブロックを単位に符号化する。そして、１ブロック分の画像データから固定長Ｌビットの符号化データを生成する。ここで固定長Ｌは、ｍ×ｎビット以下であって、３２の整数倍である（その最大値が望ましい）。また、１ブロックから２つの代表色を抽出し、その２色を表現するビット数Ｎとしたとき、そのＮビットと、以下に説明するＬ−Ｎビットの識別情報でもって、固定長Ｌの符号化データを生成する。実施形態では、具体例として、１画素が８ビットであり、１ブロックのサイズを１６×１６画素とし、固定長Ｌ＝２５６ビットの符号化データを生成する例を説明する。また、以下の説明からもわかるように、本実施形態における符号化対象の画像は、文字線画の場合に好適である。文字線画の代表的なものとしては、通常の文章で構成される原稿と考えると分かりやすい。

＜第１の実施形態＞
図１は本第１の実施形態における画像符号化装置のブロック構成図である。本装置は、ブロック化部１０１、２色抽出部１０２、識別情報検出部１０３、識別情報削減部１０４、パック部１０５、削除パターンメモリ１０６を有する。なお、ブロック化部１０１が入力する符号化対象となる画像データは、イメージスキャナから読取った画像とする。しかしながら、無圧縮の画像データをファイルとして記憶している記憶媒体であってもよいし、通信（例えばネットワーク）によって取得した画像データであっても構わず、その入力源の種類は問わない。

ブロック化部１０１は入力された画像を所定サイズのブロックに分割する。ブロックに分割された画像データは２色抽出部１０２に供給される。２色抽出部１０２は、入力した着目ブロック中の各画素の値を解析し、２つ代表色（もしくは代表値）Ｃ０、Ｃ１を抽出する。そして、２色抽出部１０２は、抽出した代表色Ｃ０、Ｃ１を識別情報検出部１０３、及び、パック部１０５に出力する。識別情報検出部１０２はブロック内の各画素が、２つの色データＣ０、Ｃ１のいずれに近いかを判定し、各画素位置毎に、色データＣ０、Ｃ１のいずれに近似しているかを識別するための識別情報を識別情報削減部１０４に出力する。

識別情報削減部１０４では、予め設定された位置の識別情報を削減し、パック部１０５に出力する。パック部は、２つの色データＣ０、Ｃ１と削減処理済みの識別情報をパックして、固定長符号化データとして出力する。以下、各処理部の詳細を説明する。

ブロック化部１０１が入力するブロックサイズは特に制限は無い。ブロックサイズが大きければ識別情報の削減数を増やしても削減による影響は少なくなるが、２色化による影響は大きくなる。逆にブロックサイズが小さければ画像の相関性により入力画像のブロック内に含まれる色数が少なくなるため２色化による誤差が小さくなり、正確な色の保存が容易になるが、識別情報の削減による影響は大きくなる。また、ブロックの形状は正方形である必要はなく、長方形でも可能である。本実施形態では、先に説明したように、１ブロックのサイズを１６×１６画素とする例を説明する。勿論、このサイズは適宜ユーザが設定しても良い。また、符号化対象の画像データは、１画素当たり８ビットのモノクロ画像である例を説明するが、このビット数や色空間も適宜変更しても構わない。例えば１画素８ビットとしても、Ｇ成分が４ビット、Ｒ成分が２ビット、Ｂ成分が２ビットで表わされるものでも構わない。

さて、ブロック化部１０１は１６×１６画素の画像データを入力すると、その画像データを２色抽出部１０２に出力する。

２色抽出部１０２では、入力した１ブロック中から２つの代表色データＣ０、Ｃ１を抽出する。ここで、画素値の小さい方を色データＣ０、大きい方を色データＣ１とする。なお、２色の色データＣ０、Ｃ１を決定（抽出）方法に特に制限はないが、一例を示すのであれば次の通りである。

先ず、２色抽出部１０２は、１ブロック中の全画素の平均値ＡＶＥを算出する。ブロック内の座標（ｘ、ｙ）の画素値をＰ（ｘ、ｙ）と表現するなら、平均値ＡＶＥは次の通りである。
ＡＶＥ＝ΣΣＰ（ｉ，ｊ）／（１６×１６）
ここでΣΣは、ｉ，ｊ＝０、１、…、１５の合算を示している。

次いで、２色抽出部１０２は、この平均値ＡＶＥを用いて、着目ブロック内の各画素を第１のグループと第２のグループに分類する。すなわち、その平均値ＡＶＥ以下の画素値を持つ画素群（以下、グループＡという）と、平均値ＡＶＥより大きな画素値を持つ画素群（グループＢ）とに分類する。そして、グループＡに属する画素値の平均値を色データＣ０、グループＢに属する画素値の平均値を色データＣ１として決定する。

識別情報検出部１０３は、入力されたブロック画像内の各画素が、２色の色データＣ０、Ｃ１のうちいずれかに近似するかを判定する。そして、ブロック内の全画素を２つ分類し、その各画素がいずれのグループに属するのかを識別する識別情報を出力する。この識別情報は、１つの画素が２つグループのいずれに属するのか判れば良いので、１画素当たりの識別情報は１ビットで良い。具体的には、識別情報検出部１０３は次に示すようにして、識別情報を生成する。
閾値 ＝ＡＶＥ（ブロック全体の平均値）
識別情報＝１ （画素値＞閾値の時）
識別情報＝０ （画素値≦閾値の時）

尚、閾値は、識別情報検出部１０３が独自に算出しても構わないし、２色抽出部１０２で算出した結果を利用しても構わない。また、閾値を｛Ｃ０＋Ｃ１｝／２としても構わない。

本実施形態では、先に説明したグループＡに属する画素の識別情報は“０”、グループＢに属する画素の識別情報は“１”とする。

また、上記は、色データＣ０、Ｃ１との差の絶対値が予め設定された閾値以上の場合の処理である。着目ブロック内の画素値が全て同じである場合等、色データＣ０、Ｃ１の色の差の絶対値が予め設定された閾値以下の場合（色データＣ０、Ｃ１の色空間内での距離が閾値以下の場合）、１つの色データ（例えばＣ０）のみを抽出結果とする。この場合、他方の色データ（Ｃ１）は存在しないが、ダミーとしてその色データ（Ｃ１）を生成する。そして、識別情報は、全て“０”とする。

実施形態では、１ブロックのサイズを１６×１６画素とし、１つの画素の識別情報は１ビットとしているので、結局のところ、識別情報検出部１０３は、１６×１６＝２５６ビットの識別情報を生成することになる。

識別情報削減部１０４は、削除パターンメモリ１０６に格納された削除パターンデータ（単に削除パターンという）を参照し、上記のようにして生成された２５６ビットの識別情報中の、予め設定された１以上の識別情報を削減する。そして、識別情報削減部１０４は、削減後の識別情報をパック部１０５に出力する。

今、パック部１０５は、１ブロックの固定符号化データ長“２５６”の符号化データを出力するものとする。色データＣ０、Ｃ１は共に８ビットであるから、その２つの色データを表わすには１６ビットが必要になる。従って、識別情報削減部１０４は、１６画素分の識別情報を削除する必要がある。

本実施形態の削除パターンメモリ１０６には、図２に示す１６×１６のサイズ（符号化単位と同サイズ）の削減パターンが格納されている。そして、識別情報削減部１０４は、この削除パターンを用いて、識別情報を削減する。図２では削除パターンは白、黒で場合分けしているが、実際は、“０”、“１”の２値パターンである。ここでは、白部分は“０”とし、黒部分は“１”であるものとして説明する。黒部分（“１”の部分）が削除対象位置を示しており、全部で１６個存在する。従って、１６個の識別情報、すなわち、１６ビットの識別情報が削減される。なお、図２に示す削減パターンの詳細については後述する。

識別情報削減部１０４の具体的な削減処理は次の通りである。いま、１６×１６個の識別情報を、その座標（ｘ、ｙ）を用いてＩ（ｘ，ｙ）と表わし、削減パターンにおける座標（ｘ，ｙ）の値をＤ（ｘ、ｙ）と表わす。

識別情報削減部１０４は、識別情報をラスタースキャン順に入力し、次の条件で識別情報の削除と出力を行なう。
・Ｄ（ｘ，ｙ）＝０の場合、入力したＩ（ｘ，ｙ）をそのまま出力する。
・Ｄ（ｘ，ｙ）＝１の場合、入力したＩ（ｘ，ｙ）を破棄し、出力しない。

以上の結果、Ｄ（ｘ，ｙ）＝１の位置における識別情報は出力されない。すなわち、１６個（１６ビット）の識別情報が削減される。この結果、識別情報削減部１０４からパック部１０５に出力される識別情報は２４０ビットとなる。

パック部１０５は、先ず、２色抽出部１０２から出力された色データＣ０、Ｃ１（８×２ビット）をその順番に保持し、それに後続して、識別情報削減部１０４からの２４０ビットの識別情報を結合し、１ブロックの符号化データとして出力する。

本実施形態では、基本的に、図２に示す削除パターンデータ中の、１つの行（ライン）、１つの列（カラム）中には、削減対象箇所が１つになるようにした。すなわち、ライン方向、カラム方向に削除対象過疎が分散するようにした。但し、後述する補間アルゴリズムを簡略化するため、ブロックの境界に位置するデータは削減しないようにしている。従って、図示のように、幾つかのライン、カラムでは、削除対象箇所が２つの場合が存在する。

ここで、実施形態における削減パターンについて更に詳しく説明する。文字線画の画像の場合、基本的に、背景色と文字線画を構成する画素の色の２種類になる。白地に黒の文字線画の場合がその典型的な例である。但し、白色、黒色といっても、スキャナの精度等の影響で、白画素が必ず“２５５”、黒画素が必ず“０”となるのはむしろ希であり、適当な範囲内にばらついた値になる。かかる点、実施形態によれば、２色抽出部１０２によって、２つの色に近似させるので、スキャナの精度の影響は無視できる。

さて、着目すべき点は、文字線画は、斜め線よりは、水平線、垂直線が発生する確率が遥かに高い点である。従って、１つのライン、又は、１つのカラムについて、識別情報を削減する個数は少なくすることが望まれる。それ故、実施形態では図２に示すように、基本的に、１つの行（ライン）、１つの列（カラム）中には、削減対象箇所が１つになるようにした。なお、ブロックの境界に位置する識別情報を削除しない理由は、以下に説明する復号に関する説明から明らかにする。

次に、実施形態における画像復号装置について説明する。図３は実施形態における画像復号装置のブロック構成図である。本装置は、データ分離部２０１、２色保持部、識別情報保持部２０３、識別情報補間部２０４、セレクタ２０５及び削除パターンメモリ２０６を備える。

データ分離部２０１は、符号化画像データから、１ブロック分の固定長の符号化データ（実施形態では２５６ビット）を単位に入力し、その先頭の１６ビットは、８ビットで表わされる２つの色データＣ０、Ｃ１であるものとして、２色保持部２０２に出力する。また、データ分離部２０１は、１ブロック分の符号化データの１７ビット目以降の２４０ビットのデータを識別情報であるものとし、識別情報保持部２０３に出力する。

２色保持部２０２は、８ビットのレジスタを２つ有し、データ分離部２０１から供給された１６ビットから前半の８ビット、後半の８ビットに分離し、これら２つのレジスタに色データＣ０、Ｃ１として保持させる。それぞれのレジスタは、セレクタ２０５に１６×１６画素分の復号処理が完了するまで、色データＣ０，Ｃ１を出力し続ける。

一方、識別情報保持部２０３は１６×１６ビットの容量の内部メモリを有し、データ分離部２０１から供給された識別情報をその内部メモリに格納する。このとき、削除パターンメモリ２０６内の削減パターン（図２と同じ）の黒部分については、適当なダミーデータ（“０”でも“１”のいずれでも構わない）を内部メモリに格納する。このダミーデータを挿入する理由は、実在する識別情報が正しい画素位置の識別情報を示すようにするためである。

識別情報補間部２０４は、識別情報保持部２０３に格納された識別情報をラスタースキャンし、削除パターンメモリ１０６を参照し、ダミーデータであるか否かを判定する。そして、ダミーデータとして挿入された位置の識別情報を、その近傍の実在する識別情報を参照して補間生成し、出力する。

この識別情報補間部２０４の具体的な処理を説明すると次の通りである。先に説明したように、ここでも、識別情報保持部２０３に保持されている１６×１６の識別情報を、その座標（ｘ、ｙ）を用いてＩ（ｘ，ｙ）と表わす。また、削除パターンメモリ２０６に格納された削減パターン（図２参照）における座標（ｘ，ｙ）の値をＤ（ｘ、ｙ）と表わす。

識別情報補間部２０４は、識別情報保持部２０３に保持された識別情報をラスタースキャン順に入力し、次の条件で識別情報の出力を行なう。
・Ｄ（ｘ，ｙ）＝０の場合、識別情報保持部２０３の識別情報Ｉ（ｘ，ｙ）をそのまま出力する。
・Ｄ（ｘ，ｙ）＝１の場合、識別情報Ｉ（ｘ，ｙ）（ダミーデータである）の周囲の８つの識別情報を参照し、着目位置（ｘ，ｙ）の識別情報Ｉ（ｘ，ｙ）を補間処理を行なって生成し、出力する。この補間処理の例を以下に説明する。

図５は、着目画素位置をＸとしたときの、８つの近傍の画素位置との関係を示している。

本実施形態の識別情報補間部２０４は、着目画素Ｘの位置に対し、図５（ａ）乃至（ｌ）のパターンを用いて、着目画素Ｘの識別情報を補間生成する。

図５の各パターンには、着目画素位置Ｘを挟むように、２つの斜線部分を定義している。そして、２つの斜線部分を、着目画素位置の識別情報を生成する参照位置として用いる。なお、図５の各パターン中の斜線以外の白部分は参照しない。

本実施形態では、図５（ａ）乃至（ｌ）のいずれか１つでも、そのパターン中の２つの参照位置の識別情報が共に“１”であるとき、着目画素位置の識別情報を“１”として決定する。

例えば、着目画素位置の真上と真下の識別情報が“１”である場合の状況は、図５（ａ）のパターンに一致する。従って、着目画素位置の識別情報を“１”として決定する。そして、図５（ａ）乃至（ｌ）のいずれのパターンにも一致しないと判定した場合には、着目画素位置の識別情報は“０”として決定する。

上記を実行するためには、実施形態における識別情報補間部２０４は、図４のマトリクスから、着目画素位置の識別情報Ｘを次の論理演算式を用いて算出すればよい。
Ｘ＝Ｂ*Ｇ+Ｄ*Ｅ+Ｃ*Ｆ+Ａ*Ｈ+Ｂ*Ｈ+Ｂ*Ｆ+Ｅ*Ｆ+Ａ*Ｅ+Ｄ*Ｈ+Ｃ*Ｄ+Ｃ*Ｇ+Ａ*Ｇ
（ここで「*」はビットの論理積を示し、「+」はビットの論理和を示す）
先に、削除パターンの境界に位置する識別情報を削除しない理由は、図４のマトリクスで示されるように、着目画素位置の近傍の８つの識別情報が実在することを前提にしているからである。また、この理由により、削除する位置（図２の黒部分）は１画素以上の距離を隔てて配置されることになる。

さて、上記のようにして識別情報補間部２０４が識別情報をラスタースキャン順に生成し、セレクタ２０５に出力する。

セレクタ２０５は、識別情報補間部２０４からの識別情報が“０”の場合には、２色保持部２０２からの色データＣ０を選択し出力する。そして、識別情報が“１”の場合には、２色保持部２０２からの色データＣ１を選択し出力することになる。

以上が実施形態における画像符号化装置及び復号装置の処理内容である。

文字線画を主体とする画像の場合、識別情報が“０”と“１”がランダムに発生することは希である。この理由は、文字線画を表わす画素は連続する確率が高く、背景を表わす画素も連続することが多いことから容易に理解できよう。

従って、図５（ａ）乃至（ｌ）のパターンを用いて削除した識別情報を補間生成した識別情報は、画像符号化装置（図１）における識別情報検出部１０３で生成した識別情報と同じになる確率は高いと言える。従って、本実施形態のように、１６×１６個の識別情報中の、１６個の識別情報を削除したとしても、全体に与える影響は小さくでき、尚且つ、２５６ビット（３２の整数倍）というアクセスに有利で、固定長の符号化データを生成することが可能になる。

なお、実施形態では、復号装置における識別情報保持部２０３が、ダミーデータを挿入するものとして説明したが、必ずしもそのダミーデータを挿入することを必須とするものではない。ダミーデータを挿入しない場合、識別情報補間部２０４は、削除位置に到達する度に、削除パターンから論理演算によって参照する画素位置を変更して、その論理演算を行なえば良いからである。

また、実施形態における復号装置は、図５（ａ）乃至（ｌ）のパターンを用いて補間したが、以下に説明するアルゴリズムに従って補間演算することで、更に精度を高めることができる。以下、そのアルゴリズムを説明する。

先ず、着目画素位置が補間対象位置であるとしたとき、その近傍の８つの識別情報中の“１”、“０”の個数を算出する。そして、少ない方に着目する。

図１２及び図１３は、着目画素位置Ｘとその近傍の８つの識別情報を示している。図中の斜線部の画素は、８つの識別情報のうち、少ない方の画素を示している。例えば、８つの識別情報中、識別情報“１”の個数が３つ、“０”の個数が５つであった場合、斜線部は識別情報“１”を示し、空白部は“０”を示す。また、識別情報“１”の個数が５つ、“０”の個数が３つであった場合、斜線部は識別情報が“０”を示し、空白部は“１”を示すことになる。なお、識別情報“１”の数が４つで、識別情報“０”の数が４つとなり、互いに同数となることもあり得る。この場合、識別情報が“１”が斜線部、識別情報“０”が空白部を示すものとする。

従って、着目画素の近傍の８画素の識別情報の少ない方の個数は、０乃至４となる。そこで、この数について以下のようにして着目画素Ｘの識別情報を決定する。
・近傍８画素の斜線部の個数が０又は１の場合：
着目画素Ｘの識別情報は、空白部で示される識別情報とする。
・近傍８画素の斜線部の個数が２の場合：
図５（ａ）乃至（ｌ）のいずれかのパターンに一致していれば、着目画素Ｘの識別情報を、斜線画素の識別情報とする。
・近傍８画素の斜線部の個数が３の場合：
図１２に示すパターン１２０１乃至１２２０のいずれかのパターンに一致しているとき、着目画素Ｘの識別情報は、斜線部の識別情報とする。また、図１２のパターン１２０１乃至１２２０のいずれとも一致しない場合、着目画素Ｘの識別情報は、空白部の識別情報とする。
・近傍８画素の斜線部の個数が４の場合：
図１３に示すパターン１３０１乃至１３３５のいずれかのパターンに一致しているとき、着目画素Ｘの識別情報は、斜線部の識別情報とする。また、図１３のパターン１３０１乃至１３３５のいずれとも一致しない場合、着目画素Ｘの識別情報は、空白部の識別情報とする。

なお、図１２、図１３に示すこれらの補間パターンはテーブルを用いて参照する構成にしても良いし、論理演算を用いた関数として算出しても良い。

＜第１の実施形態の変形例＞
上記第１の実施形態をパーソナルコンピュータ等の汎用の情報処理装置が実行するコンピュータプログラムでもって実現する例を以下に説明する。このパーソナルコンピュータ等の情報処理装置のＣＰＵ、ＲＯＭ、ＲＡＭ、キーボード、マウス、ハードディスク、表示装置（表示制御部を含む）で構成される一般的なものでよいので、その説明については省略する。ただし、その情報処理装置には、イメージスキャナ等の画像入力装置が接続されているものとする。また、以下に説明するアプリケーションプログラムや削除パターン（図２）はハードディスクに記憶されており、ＣＰＵがＲＡＭに読込み実行するものとする。

図１０は、情報処理装置が、符号化アプリケーションを実行することで、画像符号化装置として機能する場合のＣＰＵが実行する処理手順を示すフローチャートである。なお、以下の説明では、符号化後のデータの出力先をハードディスク、即ち、圧縮ファイルとして格納する例を説明する。

先ず、ステップＳ１において、１６×１６画素で構成される１ブロック分の画像データを入力する。そして、その画像データから２つの代表色Ｃ０、Ｃ１を抽出する。この代表色Ｃ０、Ｃ１の抽出するアルゴリズムは先に説明した通りで良い。次いで、ステップＳ３に進み、着目ブロック内の各画素が、色Ｃ０、Ｃ１のいずれに近似するかを示す識別情報を生成する。そして、ステップＳ４に進み、図２の削除パターンを参照し、削除対象の位置、及び、個数の識別情報を削除し、２５６ビットの識別情報を２４０ビットに削減する。この後、処理はステップＳ５に進み、抽出した色Ｃ０、Ｃ１（共に８ビット）と、削減処理後の２４０ビットの識別情報を１つの結合し、それを着目ブロックの固定長（２５６ビット）の符号化データとして出力する。この後、ステップＳ６に進み、全ブロックについて符号化処理を終えたか否かを判断し、否の場合にはステップＳ１以降の処理を繰り返す。また、全ブロックの符号化処理を終えたと判断した場合には、本符号化処理を終了する。なお、イメージスキャナから画像データを読込む際、その原稿サイズと読取り解像度から、幾つのブロックが存在するか一義的に決まる。ステップＳ６では、このブロック数に基づき判定することになる。

次に、図１１のフローチャートに従って、復号アプリケーションを実行手順を説明する。この復号アプリケーションでは、ユーザがマウス等のポインティングデバイスを用いて、ハードディスクに保存された符号化ファイルが既に指定され、その結果を表示装置（ビデオメモリ）に出力するものとして説明する。

先ず、ステップＳ１１では、指定された符号化データファイルから固定長（２５６ビット）の符号化データを入力する。そして、ステップＳ１２では、その符号化データの先頭の１６ビットが、代表色Ｃ０、Ｃ１（共に８ビット）であるものとして抽出する。そして、ステップＳ１３に進み、予めハードディスクに格納された削除パターン（図２参照）を参照して、２つの代表色のデータに後続する２４０ビットの識別情報中の、削除された各識別情報を、図５（ａ）乃至（ｌ）のパターンを用いて補間する。この結果、２５６（１６×１６）ビットの識別情報が生成される。ステップＳ１４では、生成された識別情報が“０”で示される位置の画素値をＣ０、識別情報が“１”で示される位置の画素値をＣ１とする処理を行ない、１６×１６画素の画像データを生成する。この後、ステップＳ１５に進み、生成した１ブロック分の画像データをビデオメモリに出力する。この後、ステップＳ１６に進み、全ブロックについて復号処理を終えたか否かを判断し、否の場合にはステップＳ１１以降の処理を繰り返す。また、全ブロックの復号処理を終えたと判断した場合には、本復号処理を終了する。

以上説明したように、本変形例の如く、先に説明した第１の実施形態と同等の処理をコンピュータプログラムでもって実現でき、同様の作用効果を奏することができる。

＜第２の実施形態＞
上記第１の実施形態及びその変形例では、図２に示した１つの削除パターンを画像符号化装置及び復号装置が共通して用いる例を示した。本来、図３の識別情報補間部２０４が補間生成する識別情報と、図１の識別情報検出部１０３が生成する識別情報との相違する個数は少なければ少ないほど良い。

そこで、本第２の実施形態では、複数の削除パターンを用い、その最適な削除パターンを用いて符号化する例を説明する。

説明を簡単なものとするため、本第２の実施形態における削除パターンは、図６（ａ）乃至（ｄ）に示す４種類のパターン（図示ではパターン０乃至３）が予め削除パターンメモリ１０６に格納されているものとする。最終的に利用する削除パターンは１つであるので、どの削除パターンを用いたのかを特定する情報（削除パターン特定情報）が２ビット必要になる。この２ビットで表わされる値０乃至３を、図６（ａ）乃至（ｄ）のパターン０乃至３と対応づける。

また、２つの色データＣ０、Ｃ１は共に８ビットとする。従って、削除パターン特定情報と２つの色データＣ０、Ｃ１で、計２＋８＋８＝１８ビットが必要になる。符号化データの固定長を２５６ビットとするなら、２５６ビットの識別情報中の１８ビットを削減すればよいことになる。それ故、図６（ａ）乃至（ｄ）では、黒部分がそれぞれ１８個存在する。

本第２の実施形態の装置構成は、図１の構成と同じであるが、識別情報削減部１０４の処理と、パック部１０５の処理が異なる。

識別情報削減部１０４は、図６（ａ）の削除パターン０を用い、１８個（１８ビット）の識別情報を削除し、その削除した識別情報から図５（ａ）乃至（ｌ）のパターンを用いて補間後の識別情報を生成する。つまり、第１の実施形態で説明した復号装置における識別情報補間部２０４と同様の処理を行なう。

ここで、識別情報検出部１０３で生成された位置情報中の、図６（ａ）の削除パターン０で示される削除対象位置（黒部分）の、削除前の位置情報を仮にＩ（０）乃至Ｉ（１７）と表現する。そして、図５（ａ）乃至（ｌ）のパターンを用いて、補間して得られた１８個の位置情報をＩ’（０）乃至Ｉ’（１７）と表わす。

識別情報削減部１０４は、Ｉ（ｉ）＝Ｉ’（ｉ）（ｉ＝０乃至１７）となった個数をカウントする。このカウント値は、復号装置にて、１８個中の幾つの識別情報を正しく復元できるかを示す割合、もしくは、指標値と言える。

そして、識別情報削減部１０４は、この指標値の算出を、図６（ｂ）乃至（ｄ）の削除パターン１、２、３についても同様にして求める。そして、その４つの削除パターン０乃至３のうち、指標値が最大となる削除パターンを決定する。そして、決定した削除パターンを特定する削除パターン特定情報（２ビット）と、その決定した削除パターンを用いて削除処理後の識別情報（２３８ビット）を、パック部１０５に出力する。

パック部１０５は、識別情報削減部１０４から通知された削除パターン特定情報（２ビット）と、色データＣ０、Ｃ１（８×２ビット）、そして削除後の識別情報（２３８ビット）を、この順番にパックにして、着目ブロックの符号化データとして出力する。

一方、復号装置は、次のような処理となる。構成は図３と同じであるものとして説明する。但し、削除パターンメモリ２０６には図６（ａ）乃至（ｄ）の４つのパターンが選択可能に格納されているものとする。

先ず、データ分離部２０１は、１ブロック分の符号化データの先頭２ビットが０乃至３のいずれであるか判定する。そして、データ分離部２０１は、その判定結果、すなわち、削除パターンメモリ２０６に格納された４つの削除パターンのうち、いずれを用いるかを示す選択信号を、識別情報保持部２０３、及び、識別情報補間部２０４を出力する。また、先頭から３ビット目から１６ビット分のデータは代表色Ｃ０、Ｃ１として２色保持部に格納させる。

識別情報保持部２０３、識別情報補間部２０４は、削除パターンメモリ２０６中の、この選択信号に従った一の削除パターンを用いた処理を行なえば良い。これらの処理は、第１の実施形態と同様であるので、説明するまでもないであろう。また、画像を復元する処理もまた第１の実施形態と同様である。

以上説明したように本第２の実施形態によれば、複数の削除パターンを用いることで、復号装置で復号する識別情報の精度を上げることが可能になる。この結果、文字線画等の画像の再現性を更に高めることができる。

＜第３の実施形態＞
本第３の実施形態では、複数の補間方法を用意し、その中から元の識別情報と補間後の識別情報の変化が最も少ない補間方法を選択する。例えば補間方法の種類が４種類とした場合、補間方法の区別に２ビット必要である。識別情報の削減パターンを１つとすると、２つの色データと合わせて２＋８＋８＝１８ビットが、補間方法の特定情報と色データで使用される。すなわち、１６×１６個の識別情報中、１８個の識別情報を削除することになる。

本第３の削減パターンの例を図７に示す。図示では、削減位置は境界部に設けていないが、後述する補間アルゴリズムからもわかるように、最下行に削除対象が配置されても構わない。

次に、本第３の実施形態における削除後の識別情報の補間方法について説明する。図８は複数の補間方法に応じて、削減された識別情報が補間のために参照する位置を示す図である。図示の０乃至３は、削除された着目識別情報Ｘを、その近傍の４つのいずれを用いるかを示しており、補間方法０乃至３に対応する。

例えば、補間方法０が指定された場合、着目画素位の削除された識別情報として、その左隣の識別情報を選択し、出力する。また、補間方法１が指定された場合には、着目画素位の削除された識別情報として、その真上の識別情報を選択し、出力する。また、補間方法２が指定された場合、着目画素位の削除された識別情報として、その左上の識別情報を選択し、出力する。そして、補間方法３が指定された場合、着目画素位の削除された識別情報として、その右上の識別情報を選択し、出力する。このように、着目画素位置よりも下側の識別情報は参照しないので、先に説明したように、削除対象が１６×１６個の識別情報の最下行にあっても構わないことになる。

本第３の実施形態では、１つのブロックの１６×１６個の識別情報中の、図７の黒部分で示される１８箇所の識別情報を削除する。

ここで、識別情報検出部１０３で生成された位置情報中の、図７の削除パターンで示される削除対象位置（黒部分）の、削除前の位置情報を仮にＩ（０）乃至Ｉ（１７）と表現する。そして、削除後の識別情報中の、補間方法０で補間して得られた１８個の位置情報をＩ’（０）乃至Ｉ’（１７）と表わす。

識別情報削減部１０４は、Ｉ（ｉ）＝Ｉ’（ｉ）（ｉ＝０乃至１７）となった個数をカウントする。このカウント値は、復号装置にて、１８個中の幾つの識別情報を正しく復元できるかを示す指標値と言える。

そして、識別情報削減部１０４は、この指標値の算出処理を、他の補間方法１、２、３についても同様にして求める。そして、識別情報削減部１０４は、その４つの補間方法のうち、算出した指標値が最大となる一の補間方法を決定し、その決定された補間方法の特定情報（２ビット）と、削減処理を行なった後の識別情報（２３８ビット）を、パック部１０５に出力する。

パック部１０５は、識別情報削減部１０４から通知された補間方法特定情報（２ビット）と、色データＣ０、Ｃ１（８×２ビット）、そして削除後の識別情報（２３８ビット）を、この順番にパックにして、着目ブロックの符号化データとして出力する。

一方、復号装置は、次のような処理となる。構成は図３と同じであるものとして説明する。

先ず、データ分離部２０１は、１ブロック分の符号化データの先頭２ビットが０乃至３のいずれであるか判定する。そして、データ分離部２０１は、その判定結果、すなわち、補間方法を識別情報補間部２０４を出力する。また、後続する１６ビットは２つの代表色Ｃ０、Ｃ１として２色保持部に格納させる。識別情報補間部２０４は、識別情報保持部２０３中の削除された識別情報については、指定された補間方向にある識別情報を、着目画素位置の識別情報として補間出力する。

以上説明したとように本第３の実施形態によれば、第２の実施形態と同様の作用効果を奏することが可能になる。

＜第４の実施形態＞
本第４の実施形態は、先に説明した第２の実施形態を基本とし、識別情報の削減量を減らす例を説明する。第２の実施形態では、１ブロック分の２５６ビットの識別情報中、１８ビット（１８個）の識別情報を削減するものであったが、本第４の実施形態では２ビット少ない、１６ビットを削減対象とする例を説明する。

そのため、本第４の実施形態では、色データＣ０、Ｃ１を８ビットから７ビットに減らす。すなわち、色データＣ０、Ｃ１と、削減パターン特定情報で７＋７＋２＝１６ビットにする。色データを８ビットから７ビットにする場合、再現する色に与える影響を少なくするため、そのＬＳＢを削除する。

図９（ａ）乃至（ｄ）は、本第４の実施形態における削除パターンを示している。図６（ａ）乃至（ｄ）では削除する識別情報の個数が１８個であったのに対し、図９では２個少ない１６個となっている。

いずれの削除パターンを用いるのかを決定するアルゴリズムは第２の実施形態と同様であるので、その詳述は省略する。

一方、画像復号装置のデータ分離部２０１は、１ブロック分の符号化データの先頭の１６ビットから、２つの色データＣ０’、Ｃ１’（共に７ビット）、及び削除パターン特定情報を抽出する。そして色データＣ０’、Ｃ１’を８ビットに復元し、２色保持部２０２に出力する。７ビットのデータを８ビットにするためには、Ｃ０’、Ｃ１を１ビット左にシフトし、最下位には適当な値（ＭＳＢの値が望ましい）を格納すればよい。これ以外については、第２の実施形態と同様であるので、その説明は省略する。

以上説明したように本第４の実施形態によれば、２色Ｃ０、Ｃ１の精度が若干下がるものの、削除する識別情報の個数が第２の実施形態よりも少なくできるので、文字線画の再現性をより高めることが可能になる。

以上本発明にかかる各実施形態を説明した。先に説明した第１の実施形態の変形例と同様、第２の実施形態に対応する処理を、コンピュータが読込み実行するコンピュータプログラムによって実現できることが明らかである。この場合、各処理部に相当する処理は、コンピュータプログラムの関数、サブルーチンとして実現させれば良いことになる。

また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それをコンピュータ読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。それ故、かかるコンピュータ可読記憶媒体も本発明の範疇にあるのは明らかである。

実施形態における画像符号化装置のブロック構成図である 第１の実施形態における削除パターンの一例を示す図である。 実施形態における画像復号装置のブロック構成図である。 画像復号装置が識別情報を補間する際の着目画素Ｘとその近傍画素Ａ乃至Ｈとの相対位置を示す図である。 画像復号装置が復号する際に用いる参照パターンを示す図である。 第２の実施形態における４つの削除パターンの例を示す図である。 第３の実施形態における削除パターンの例を示す図である。 第３の実施形態における補間処理の種類別の参照画素位置を示す図である。 第４の実施形態における４つの削除パターンの例を示す図である。 第１の実施形態の符号化処理をコンピュータプログラムで実現する場合の符号化処理手順を示すフローチャートである。 第１の実施形態の復号処理をコンピュータプログラムで実現する場合の符号化処理手順を示すフローチャートである。 画像復号装置が復号する際に用いる参照パターンを示す図である。 画像復号装置が復号する際に用いる参照パターンを示す図である。

Claims (15)

1. １画素が複数ビットで表わされる画像データを、ｍ×ｎ画素のブロック単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、少なくとも３２の整数倍の固定長Ｌの符号化データを生成する画像符号化装置であって、
   画像データを前記ブロック単位に入力する入力手段と、
   入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出手段と、
   着目ブロック中の各画素が、前記代表色Ｃ０、Ｃ１のいずれに近似しているかを識別するための１ビットの識別情報を生成する生成手段と、
   少なくとも前記代表色Ｃ０、Ｃ１を特定するために必要なビット数をＮと定義したとき、前記生成手段で生成された１ブロック分の識別情報から、｛ｍ×ｎ−Ｌ＋Ｎ｝個の識別情報を削除するための、及び、少なくとも互いに１画素以上の距離を隔てた削除対象の画素位置を特定するためのパターンデータを記憶する記憶手段と、
   前記生成手段で生成されたｍ×ｎビットの識別情報から、前記記憶手段に記憶されたパターンデータを参照して、｛ｍ×ｎ−Ｌ＋Ｎ｝個の識別情報を削除することで、Ｌ−Ｎビットの識別情報を生成する削減手段と、
   前記抽出手段で抽出した代表色Ｃ０、Ｃ１を特定する情報を含むＮビットと、前記削減手段による削減後の｛Ｌ−Ｎ｝ビットの識別情報とを結合し、着目ブロックの符号化データとして出力する出力手段と
   を備えることを特徴とする画像符号化装置。
2. 前記抽出手段は、
   ブロックの画素値の平均値ＡＶＥを算出し、
   前記ブロック中の画素を、前記平均値ＡＶＥ以下の画素値を持つ画素で構成される第１のグループと、前記平均値ＡＶＥを超える画素値を持つ画素で構成され第２のグループに分類し、
   前記第１のグループに属する画素値の平均値、前記第２のグループに属する画素値の平均値を前記代表色Ｃ０、Ｃ１として抽出する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記生成手段は、前記代表色Ｃ０、Ｃ１との差の絶対値が予め定められた閾値以下の場合、ブロック中の全画素が代表色Ｃ０に属することを示す識別情報を生成することを特徴とする請求項２に記載の画像符号化装置。
4. 前記記憶手段は、複数の、互いに異なるパターンデータを記憶し、
   前記削減手段は、それぞれのパターンデータを用いて、前記識別情報を削除し、
   前記符号化装置は、更に、
   削除した識別情報を補間した結果と、削除前の該当する位置の識別情報との一致する割合を示す指標値を、パターンデータごとに算出し、一致する割合が最大となった一のパターンデータを決定する決定手段と、
   前記代表色Ｃ０、Ｃ１を特定するために必要なビット数Ｎに、前記決定手段で決定したパターンデータを特定する情報を格納する格納手段と
   を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 更に、削除した識別情報を補間し生成する複数のアルゴリズムそれぞれに従って、削除された識別情報と削除前の識別情報の一致する割合を求め、一致する割合が最大となる一のアルゴリズムを決定する決定手段と、
   前記代表色Ｃ０、Ｃ１を特定するために必要なビット数Ｎに、前記決定手段で決定したアルゴリズムを特定する情報を格納する格納手段と
   を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
6. 前記パターンデータの削除対象の識別情報の各位置は、ライン方向及びカラム方向に分散していることを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
7. １画素が複数ビットで表わされる画像データを、ｍ×ｎ画素のブロック単位に符号化し、１ブロックにつき、ｍ×ｎビット以下であって、少なくとも３２の整数倍の固定長Ｌの符号化データを生成する画像符号化装置の制御方法であって、
   画像データを前記ブロック単位に入力する入力工程と、
   入力した着目ブロックの画像データから代表色Ｃ０、Ｃ１を抽出する抽出工程と、
   着目ブロック中の各画素が、前記代表色Ｃ０、Ｃ１のいずれに近似しているかを識別するための１ビットの識別情報を生成する生成工程と、
   少なくとも前記代表色Ｃ０、Ｃ１を特定するために必要なビット数をＮと定義したとき、前記生成工程で生成された１ブロック分の識別情報から、｛ｍ×ｎ−Ｌ＋Ｎ｝個の識別情報を削除するための、及び、少なくとも互いに１画素以上の距離を隔てた削除対象の画素位置を特定するためのパターンデータを記憶する記憶工程と、
   前記生成工程で生成されたｍ×ｎビットの識別情報から、前記記憶工程に記憶されたパターンデータを参照して、｛ｍ×ｎ−Ｌ＋Ｎ｝個の識別情報を削除することで、Ｌ−Ｎビットの識別情報を生成する削減工程と、
   前記抽出工程で抽出した代表色Ｃ０、Ｃ１を特定する情報を含むＮビットと、前記削減工程による削減後の｛Ｌ−Ｎ｝ビットの識別情報とを結合し、着目ブロックの符号化データとして出力する出力工程と
   を備えることを特徴とする画像符号化装置の制御方法。
8. コンピュータが読込み実行することで、前記コンピュータに請求項１乃至６のいずれか１項に記載の画像符号化装置として機能させることを特徴とするコンピュータプログラム。
9. ｍ×ｎ画素のブロックが、ｍ×ｎビット以下であって、少なくとも３２の整数倍の固定長のＬビットの符号化データとして符号化された符号化画像データを復号する画像復号装置であって、
   １ブロック中の、互いに１画素以上の距離を隔てた、｛ｍ×ｎ−Ｌ＋Ｎ｝個の画素位置を特定するパターンデータを記憶する記憶手段と、
   １ブロック分のＬビットの符号化データを入力する入力手段と、
   入力した符号化データの、先頭のＮビットから、ブロックの代表色Ｃ０、Ｃ１を抽出する抽出手段と、
   前記Ｎビットに後続するＬ−Ｎビットを画素の識別情報として入力し、前記記憶手段に記憶されたパターンデータを参照し、当該パターンデータで示される｛ｍ×ｎ−Ｌ＋Ｎ｝個の各画素位置の識別情報を補間することで、ｍ×ｎビットの識別情報を生成する生成手段と、
   生成されたｍ×ｎビットの識別情報の各ビットの値に応じて、前記代表色Ｃ０、Ｃ１のいずれか一方を選択し出力することで、ｍ×ｎ個の画素で構成される画像データを復号する復号手段と
   を備えることを特徴とする画像復号装置。
10. 前記記憶手段は、複数の、互いに異なるパターンデータを記憶し、
    前記抽出手段は、前記先頭のＮビットから、一のパターンデータを特定する特定情報を更に抽出し、
    前記生成手段は、前記抽出手段で抽出した特定情報で特定されるパターンデータを参照して、識別情報を補間することを特徴とする請求項９に記載の画像復号装置。
11. 前記生成手段は、補間すべき着目画素の近傍の画素の識別情報のうち、少ない方の識別情報の数に応じて決定される補間演算に従い、着目画素の識別情報を補間することを特徴とする請求項９又は１０に記載の画像復号装置。
12. 前記抽出手段は、前記先頭のＮビットから、前記生成手段が識別情報を補間する一のアルゴリズムを特定する特定情報を更に抽出し、
    前記生成手段は、前記抽出手段で抽出した特定情報で特定されるアルゴリズムに従って、識別情報を補間することを特徴とする請求項９に記載の画像復号装置。
13. ｍ×ｎ画素のブロックが、ｍ×ｎビット以下であって、少なくとも３２の整数倍の固定長のＬビットの符号化データとして符号化された符号化画像データを復号する画像復号装置の制御方法であって、
    １ブロック分のＬビットの符号化データを入力する入力工程と、
    入力した符号化データの、先頭のＮビットから、ブロックの代表色Ｃ０、Ｃ１を抽出する抽出工程と、
    記憶手段に格納された、１ブロック中の、互いに１画素以上の距離を隔てた、｛ｍ×ｎ−Ｌ＋Ｎ｝個の画素位置を特定するパターンデータを参照し、前記Ｎビットに後続するＬ−Ｎビットの識別情報における、｛ｍ×ｎ−Ｌ＋Ｎ｝個の各画素位置の削除された識別情報を補間生成することで、ｍ×ｎビットの識別情報を生成する生成工程と、
    生成されたｍ×ｎビットの識別情報の各ビットの値に応じて、前記代表色Ｃ０、Ｃ１のいずれか一方を選択し出力することで、ｍ×ｎ個の画素で構成される画像データを復号する復号工程と
    を備えることを特徴とする画像復号装置の制御方法。
14. コンピュータが読込み実行することで、前記コンピュータに請求項９乃至１２のいずれか１項に記載の画像復号装置として機能させることを特徴とするコンピュータプログラム。
15. 請求項８又は１４に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images