JP2009077177A - 画像符号化装置及びその制御方法 - Google Patents

Abstract

【課題】 文字線画等の高周波成分を持つ画像については解像度を維持し、且つ、自然画等の階調画像については画質劣化を抑制しつつ、より高い圧縮効率で符号化する。
【解決手段】 抽出部１０２は、入力した画像データ内の高周波成分の画素の色を抽出色として決定すると共に、画像データ内の各画素毎に抽出色／非抽出色のいずれであるかを示す識別情報を生成する。置換部１０４は、非抽出色の平均値で、抽出色の画素値を置換する。縮小部１０５は、置換後の画像データ内を２×２画素サイズのウインドウを用いて、２×２画素から１画素を生成することで、水平、垂直共に１／２に縮小する。このときウインドウ内に非抽出画素が１つでも存在する場合には、そのウインドウ内の非抽出色の平均値を縮小画像の画素値として決定する。そして、パック部１０７は、抽出色、識別情報の可逆符号化結果、及び、縮小画像の非可逆符号化データを結合し、入力した画像データの符号化データとして出力する。
【選択図】 図１

Description

本発明は、画像データの符号化技術に関するものである。

従来、文字や線画と自然画が混在した多値画像を圧縮する技術として、次のような符号化方法がある。入力多値画像からブロック単位の画像を入力し、予め指定された色もしくは濃度の文字線画の画素であるか否かを示す識別情報を抽出する。そして、抽出した識別情報に対してはエントロピー符号化を行う。一方、非文字線画の多値画像に対しては直交変換等を用いて符号化する。

かかる技術の１つとして、特許文献１が挙げられる。この文献によると、入力画像を符号化の際の直交変換の単位となるブロックに分割した後、ブロック内で最も出現確率の高い最頻値を文字線画であると仮定する。そして、その最頻値の色情報もしくは濃度情報を抽出色とする。そして、そのブロック内の各画素毎に、その抽出色に属する画素であるか、非抽出色の画素であるかを識別するための２値の識別情報を生成する。そして、生成された識別情報については、ランレングス符号化等の可逆符号化処理を行なう。また、抽出色を持つ画素の値を、非抽出色の画素の平均値で置換する。そして、置換後の多値画像をＪＰＥＧ等の非可逆符号化する。こうして、２つの符号化データと、抽出色を合わせて１ブロックの符号化データを生成する。
特開平０４-３２６６６９号公報

ところで、文字線画の属性を持つ画像の場合には、そのエッジが保持されることが望ましい。言い替えれば、文字線画の属性を持つ画像は解像度が保持されるようにすることが望まれる。

一方、自然画の属性を持つ画像は、解像度よりもむしろ階調性が重視される。つまり、自然画の場合、解像度を多少下げたとしても、画質劣化は目立たない。

かかる点で、先に示した特許文献１を考察すると、文字線画については、その解像度を維持することができるものの、自然画については未だ改善の余地があると言える。

本発明はかかる課題に鑑みなされたものであり、文字線画、自然画等の異なる属性を持つ画像が混在しても、それぞれの属性に応じて符号化することで、画質劣化を抑制しつつ、より高い圧縮効率で符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
画像データを入力する入力手段と、
入力した画像データから、高周波成分を構成する画素の色を抽出色として抽出する抽出手段と、
前記画像データの各画素が前記抽出色の画素であるか、非抽出色の画素であるかを識別するための識別情報を生成する生成手段と、
前記生成手段で生成した識別情報を可逆符号化する第１の符号化手段と、
前記画像データ内の非抽出色の画素の平均値を算出し、算出した平均値で前記抽出色の画素の値を置換する置換手段と、
前記置換手段で置換した画像データ内を、ｐ×ｑ（ｐ，ｑは正の整数であり、少なくとも一方は２以上）画素サイズのウインドウを単位にスキャンし、着目ウインドウから１つの画素値を導出することで、縮小画像データを生成する縮小手段と、
前記縮小手段で生成された縮小画像データを非可逆符号化する第２の符号化手段と、
前記抽出手段で得られた抽出色、前記第１の符号化手段で得られた符号化データ、及び、前記第２の符号化手段で得られた符号化データを結合し、前記画像データの符号化データとして出力する出力手段とを備え、
前記縮小手段は、
前記識別情報に基づき、前記ウインドウ内の前記非抽出色と判定された画素数をカウントするカウント手段と、
前記カウント手段でカウントした値が“０”の場合には、前記ウインドウ内の前記置換手段で置換した置換色を縮小後の１つの画素の値として選択し、
前記カウント手段でカウントした値が“１”以上の場合には、前記ウインドウ内の前記非抽出色と判定された画素の平均値を縮小後の１つの画素の値として選択する選択手段とを含むことを特徴とする。

本発明によれば、文字線画等の高周波成分を持つ画像については解像度を維持し、且つ、自然画等の階調画像については画質劣化を抑制しつつ、より高い圧縮効率で符号化することが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
本実施形態における画像符号化装置は、１画素が８ビット（２５６階調）の濃度値を有するモノクロ多値画像データを符号化する例を説明する。但し、カラー画像の場合、複数の成分で１つの画素を表現する。従って、各成分毎に以下に示す処理を行なえば良いので、本発明がモノクロ画像に限定されるものではない。

図１は第１の実施形態における画像符号化装置のブロック構成図である。本装置は、ブロック化部１０１、抽出部１０２、第１の符号化部１０３、置換部１０４、縮小部１０５、第２の符号化部１０６、及びパック部１０７を有する。なお、各処理部の間には、互いに処理を同期するための適当なバッファメモリが存在するが、図示では示していない。

ブロック化部１０１は、符号化対象の多値画像データからｍ×ｎ画素のサイズのブロック単位に画像データ（以下、ブロックデータという）を入力し、抽出部１０２、置換部１０４に出力する。実施形態では、説明を分かりやすくするため、ｍ＝ｎ＝１６であるものとする。

抽出部１０２は、入力したブロックデータから、抽出色情報、識別情報を抽出し、抽出色情報をパック部１０７に出力し、抽出した識別情報を第１の符号化部１０３、置換部１０４、及び縮小部１０５に出力する。

ここで抽出部１０２の具体的な処理の例を示すと次の通りである。

先ず、抽出部１０２は、入力したブロックデータ内の全画素の平均値ＡＶＥを算出する。そして、平均値ＡＶＥ以下の画素値を持つ第１グループ、平均値ＡＶＥを超える画素値を持つ第２グループに分類する。そして、第１グループに属する画素の平均値Ｃ１、第２グループに属する画素の平均値Ｃ２を算出する。そして、それらの差分Ｄ（＝Ｃ２−Ｃ１）が予め設定された閾値Ｔｈ以上であるとき、平均値Ｃ２（濃度の高い画素）を着目ブロックデータの抽出色として決定し、パック部１０７に出力する。

また、抽出部１０２は、差分Ｄ≧Ｔｈの条件を満たしている場合、先に示した平均値ＡＶＥと、ブロックデータ内の各画素とを比較し、各画素が、先に示した第１、第２グループのいずれ属するのか識別するための２値（１ビット）の識別情報を生成する。識別情報が“１”の場合、該当する画素は抽出色を持つ画素であることを示し、“０”の場合には該当する画素は非抽出色を持つ画素であることを示す。実施形態では、１ブロックが１６×１６画素としているので、１ブロック分の識別情報は１６×１６ビットとなる。

なお、差分値Ｄが閾値Ｔｈ未満となることも当然に起こり得る。例えば、着目ブロック内に文字線画等の高周波成分が含まれない場合、極端には、ブロック内の全画素が同一色の場合である。この場合、抽出部１０２は、抽出色として例えば“２５５”を決定し、全画素の識別情報を“０”（非抽出色）する。逆に、抽出色を平均値ＡＶＥとし、全識別情報を“１”（抽出色）としても良い。本実施形態では前者を採用するものとする。

以上、実施形態における抽出部１０２の処理内容を説明した。

第１の符号化部１０３は、抽出部１０２から出力された識別情報（１６×１６ビット）を可逆符号化し、その符号化データをパック部１０７に出力する。実施形態では、可逆符号化として、ランレングス符号化を用いるものとするが、可逆であればその種類は問わない。

次に、置換部１０４について説明する。置換部１０４は、着目ブロック中の抽出色を持つ画素値を、非抽出色に属する画素値の平均値で置換する。具体的には次の処理を行なう。

ブロック化部１０１から出力される着目ブロック中の座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）と表わし、抽出部１０２からの識別情報をＩ（ｘ、ｙ）と表わすこととする。ここで、Ｉ（ｘ，ｙ）＝０の場合、画素Ｐ（ｘ，ｙ）は、非抽出色の画素を示している。

非抽出画素の個数Ｎは、１６×１６から抽出色の個数を減じれば良いから、次式で得られる。なお、先に説明した理由によって、着目ブロック内の全画素が抽出色を持つことはありえず、着目ブロック内の非抽出色の画素数Ｎは必ず１以上である。
Ｎ＝１６×１６−ΣＩ（ｘ，ｙ）
非抽出色の平均値Ｃaveは次式で求めることができる。
Ｃave＝Σ｛Ｐ（ｘ，ｙ）×（１−Ｉ（ｘ，ｙ））｝／Ｎ
従って、置換部１０４は、着目ブロック内をラスタースキャン中に、次の処理を行なう。
・Ｉ（ｘ，ｙ）＝０の場合、Ｐ（ｘ、ｙ）を出力する。
・Ｉ（ｘ，ｙ）＝１の場合、Ｃaveを出力する。

以上の結果、置換部１０４は、着目ブロック中の抽出色を持つ画素値を、非抽出色に属する画素値の平均値で置換することができる。上記説明から容易に理解できるように、この置換部１０４は、入力するブロックデータから高周波成分を除去する処理を行なっていると言える。

実施形態における第２の符号化部１０６は、自然画に適した非可逆のＪＰＥＧ符号化を行なうものである。ＪＰＥＧ符号化は、ＤＣＴ変換、量子化、エントロピー符号化の３つの処理を行なうことが知られている。ＤＣＴ変換は周波数変換である。それ故、置換部１０４で置換処理した後のブロックデータをＤＣＴ変換して得られる交流（ＡＣ）成分は、必然的に小さな値となる。また、量子化処理を行なうことで、その交流成分は“０”か、それに近似される値に変換されるので、符号化効率が高い。ただし、一般に、ＪＰＥＧは８×８画素単位の符号化である。実施形態のように１ブロックが１６×１６画素の場合、１ブロックについて８×８画素の符号化処理を４回行なうことになる。本実施形態では、上記のように高周波成分を除去したことに鑑み、更に解像度を落とし、更なる圧縮効率を上げる。このため、置換部１０４と第２の符号化部１０６の間に、ブロックデータを、水平、垂直方向共に、１／２に縮小する縮小部１０５を介在させた。

以下、この縮小部１０５を説明する。図２は縮小部１０５のブロック構成図である。

本実施形態における縮小部１０５は、ウインドウ部２０１、２０２、カウント部２０３、累積部２０５、レジスタ２０６、スケーラ２０７、及びセレクタ２０９を有する。

ウインドウ部２０１は、抽出部１０２からの１６×１６ビットの識別情報内を、２×２のサイズのウインドウを単位にスキャンする。そして、スキャンによって着目ウインドウの位置を更新する度に、着目ウインドウ内の２×２個の識別情報（４ビット）をカウント部２０３、及び、累積部２０５、レジスタ２０６に出力する。

もう一方のウインドウ部２０２は、置換部１０４で置換処理した後のブロックデータ内（１６×１６画素で構成される画像データ内）を、２×２のサイズのウインドウを単位にスキャンする。そして、そのスキャンによって着目ウインドウ（２×２画素）の位置を更新する度に、ウインドウ内のデータを累積部２０５、レジスタ２０６に出力する。なお、ウインドウ部２０１と２０２は互いに同期して処理する。

カウント部２０３は、ウインドウ部２０１からの２×２個の識別情報を入力する度に、その中の“０”の個数（非抽出色の画素の個数）をカウントし、カウント結果をセレクタ２０９、スケーラ２０７に出力する。カウント部２０３が出力するカウント値は０乃至４のいずれかである。

図３（ａ）乃至（ｅ）は、２×２画素サイズのウインドウと、その中の識別情報（０又は１）の組み合わせを示している。同図（ａ）は抽出色無しを示し、同図（ｂ）は抽出色の個数が１つの例を示している。また、同図（ｃ）は抽出色の個数が２つ、同図（ｄ）は抽出色の個数が３つ、そして、同図（ｅ）は抽出色の個数が４つの例である。カウント部２０３は、図示の組み合わせからもわかるように、簡単には４ビット入力のルックアップテーブルで構成することができる。

セレクタ２０９は、カウント部２０３からのカウント値が“１”以上である場合、すなわち、２×２画素のウインドウ中に少なくとも１つの非抽出色の画素が存在する場合、スケーラ２０７からの値を選択し、出力する。また、セレクタ２０９は、カウント値が“０”の場合、すなわち、２×２画素の全画素が、置換された画素値である場合には、レジスタ２０６からの画素値を選択し、出力する。従って、先に示したカウント部２０３は、実際には、入力したウインドウの識別情報が、図３（ｅ）のパターンであるか否かを判定し、その判定結果を出力するルックアップテーブルで構築できる。

累積部２０５は、２×２個の画素データ中、識別情報が“０”の画素値を累積加算する。つまり、累積部２０５は、２×２画素中の非抽出色の画素値を累積加算することになる。スケーラ２０７は、カウント部２０３から出力された累積画素値を、カウント部２０３から出力された値で除算することで、ウインドウ内の非抽出色の平均値を算出し、セレクタ２０９に出力する。但し、スケーラ２０７は、カウント部２０３からのカウント値が“０”であった場合には、除算処理は行なわない、或いは、どんな値を出力しても構わない。カウント値が“０”の場合、セレクタ２０９はスケーラ２０７からの画素値を選択しないからである。

一方、レジスタ２０６は、識別情報が“１”であった場合に、ウインドウ部２０２から出力された画素値を保持し、その値をセレクタ２０９に出力する。なお、２×２個の識別情報が全て“０”の場合、すなわち、カウント部２０３からカウント値が“４”の場合、レジスタ２０６は、前回の保持した値を保持したままになるが、問題は発生しない。理由は、この場合には、セレクタ２０９はスケーラ２０７からの画素値を選択するからである。

以上であるが、上記の処理の結果、２×２画素のウインドウ単位に、セレクタ２０９は１つの画素値を出力する。この結果、入力した１ブロック（１６×１６画素の画像データ）から、水平、垂直方向とも１／２の８×８画素の画像データを生成することが可能になる。

ここで、実施形態における縮小部１０５について更に考察する。

先に説明したように、置換部１０４は、ブロックデータ（１６×１６画素）中の抽出色の画素を、非抽出色の画素の平均値（以下、置換色という）を有する画素で置換する。従って、置換後のブロックデータには、先に説明したように高周波成分は少なくなっている。しかしながら、置換色は、ブロック全体の非抽出色の平均値であり、ウインドウ（２×２画素）の平均値ではない。従って、２×２画素のウインドウ内に、非抽出色の画素と、置換色が混在した場合、それらの間には無視できない差が生じる可能性がある。もし、単純に２×２画素の平均値を縮小処理後の１画素の値としてしまうと、復号時の２×２画素は、置換色の影響を受けた値になってしまう。

詳細は後述するが、置換色の画素は、復号装置において、抽出色の画素で再び置き換えられるので、置換色の画素は重要ではない。むしろ、上記のように、非抽出色の画素値が、置換色の画素値の影響を受けることを避けることが重要である。そこで、先に説明したように、ウインドウ内に１つでも非抽出色の画素が存在する場合には、置換色を除く、平均値をそのウインドウから派生する１画素の画素値とするようにした。この結果、縮小後の画像が、画質劣化してしまうことを抑制することが可能になる。

以上、実施形態における縮小部１０５を説明した。

図１に戻って、第２の符号化部１０６は、縮小部１０５から出力された８×８画素を単位に、非可逆符号化であるＪＰＥＧ符号化を行なう。ＪＰＥＧ符号化そのものは公知の通り、ＤＣＴ変換、量子化、エントロピー符号化を行なうものであるので、その説明は不要であろう。

パック部１０７は、抽出部１０２で抽出した高周波成分画素の色（抽出色）、第１の符号化部１０３で生成された識別情報（２値）の可逆符号化データ、及び、第２の符号化部１０６で生成された多値画像の非可逆符号化データを、この順番に連結し、出力する。

以上実施形態における画像符号化装置の構成とその処理内容を説明した。次に、上記の画像符号化装置で生成された符号化データを復号する画像復号装置を説明する。

図４は本実施形態における画像復号装置のブロック構成図である。本装置は、アンパック部３０１、レジスタ３０２、第１の復号部３０３、第２の復号部３０４、スケーラ３０５、及び、セレクタ３０６を有する。なお、各処理部の間には、互いに処理を同期させるための適当なバッファが存在するが、図示では示していない。以下、１ブロックデータの符号化データを復号する場合の各処理部を説明する。

アンパック部３０１は、符号化データを入力し、その符号化データが、
「抽出色＋識別情報の可逆符号化データ＋多値画像の非可逆符号化データ」
の構造を持つものとし、抽出色をレジスタ３０２に一時的に格納する。また、アンパック部３０１は、識別情報の符号化データを第１の復号部３０３に出力し、多値画像の非可逆符号かデータを第２の復号部３０４に出力する。

第１の復号部３０３は、図１の第１の符号化部１０３とちょうど逆の、ランレングス復号処理を行ない、１６×１６個の識別情報を復元する。

第２の復号部３０４は、図１の第２の符号化部１０６とちょうど逆の、ＪＰＥＧ復号処理を行ない、８×８画素の多値画像データ１６×１６個の識別情報を復元する。スケーラ３０５は、第２の復号部３０４で復元された８×８画素の画像データを、水平、垂直方向とも２倍にし、１６×１６画素の画像データを生成する。スケーラ３０５は、入力した１画素につき、その画素値を、２×２回だけ繰り返し出力することを行なう。この結果、復号した識別情報と同数の１６×１６画素の多値の画像が復元できる。なお、スケーラ３０５は、バイリニア補間処理を行なうことで、８×８画素から１６×１６画素の画像データを生成するようにしても良い。

セレクタ３０６は、復号した識別情報、及び、復号した多値画像をラスタースキャン順に入力する。そして、セレクタ３０６は、識別情報が“１”の場合には、レジスタ３０２に保持された画素値（抽出色）を選択して出力し、識別情報が“０”の場合には、スケーラ３０５からの画素値をを選択して出力する。

以上説明した本実施形態の画像符号化装置の処理をまとめると次の通りである。

ｍ×ｎ画素（実施形態ではｍ＝ｎ＝１６）のブロックデータ中に、文字線画に代表される高周波成分が存在した場合に、その文字線画の色を抽出色として決定する。そして、ブロックデータ中の各画素が抽出色の画素であるか、非抽出色の画素であるかを示すｍ×ｎ個（ビット）の識別情報を生成し、その識別情報に対し可逆符号化を行なう。また、非抽出色の画素の平均値を置換色として、抽出色の画素値を置き換え、高周波成分の少ないｍ×ｎ画素で構成される置換画像を得る。更に、この置換画像中を、ｐ×ｑ画素サイズ（ｐ，ｑは２以上の整数で、実施形態ではｐ＝ｑ＝２）のウインドウから１画素の値を導出することで、｛ｍ／ｐ｝×｛ｎ／ｑ｝画素で構成される縮小画像データを得る。この際、その縮小画像データ中のウインドウ内に１つでも非抽出画素が存在する場合には、そのウインドウ内の非抽出画素の平均値を縮小後の１画素の値とする。これにより、置換色の影響を最小限にした縮小画像データを得る。そして、この縮小画像データに対し非可逆符号化を行なう。こうして、得られた抽出色、非可逆符号化データ、可逆符号化データを結合し、１ブロックに対する符号化データとして出力する。

以上の結果、文字線画と自然画混在した画像を符号化する場合、文字線画等の解像度は維持しつつ、自然画については文字線画の影響を抑制して高い品位を維持しながらも、圧縮率が高い符号化データを生成することができる。

なお、実施形態におけるブロック化部１０１は、１６×１６画素のサイズの画像データを入力するものとして説明したが、このサイズに本発明は限定されない。ブロック化部１０１がＪＰＥＧ符号化を行なう場合には、１ブロックのサイズは水平、垂直とも８の倍数の８ｍ×８ｎ（ｍ，ｎは正の整数であり、少なくとも一方は２以上）にすればよい。

また、縮小部１０５が、水平、垂直方向とも１／２に縮小するものとして説明したが、これも本発明を限定するものではない。例えば、１ブロックのサイズを２４×２４とし、縮小処理のためのウインドウサイズを３×３画素サイズとしても構わない。

また、ブロック化部１０１を排除しても構わない。すなわち、グラディエーション画像中に１色の文字線画が存在するような画像、例えば、文字列のみを有する通常の文書の場合には、符号化対象の画像全体をブロックとして扱っても良い。なお、符号化対象の画像の水平、垂直方向の画素数が、ＪＰＥＧの符号化の単位の８の整数倍である必要もない。この場合、ダミーデータを画像の端に付加して８の整数倍になるようにし、復号時にはそのダミーデータを排除すればよいからである。

また、実施形態では、第１の符号化部１０３をランレングス符号化、第２の符号化部をＪＰＥＧ符号化であるものとして説明した。第１の符号化部１０３は、２値データを可逆符号化するものであればその種類は問わない。また、第２の符号化部も、周波数変換処理、量子化処理、エントロピー符号化処理を行なうものであればその種類は問わない。周波数変換処理として代表的なものとしては、上記ＤＣＴ変換以外にも、ウェーブレット変換が挙げられる。

＜第１の実施形態の変形例＞
上記第１の実施形態と同様の処理を、汎用情報処理装置（パーソナルコンピュータがその代表である）が実行するコンピュータプログラムによって実現しても構わない。

図７は、そのコンピュータプログラムにおける符号化処理手順を示すフローチャートである。なお、同図に係る処理手順のコンピュータプログラムは、ハードディスクに格納されており、制御部として機能するＣＰＵがＲＡＭに読込み実行するものである。

ステップＳ１では、符号化対象の画像データから１ブロックのサイズの画像データ（１６×１６画素）を入力する。入力源はイメージスキャナでもよいし、無圧縮の画像データをファイルとして記憶している記憶装置でも構わない。

ステップＳ２では、入力したブロックデータから抽出色を決定し、決定した抽出色の情報をＲＡＭに一時的に保持する。次いで、ステップＳ３に進み、ブロック内の各画素が抽出色の画素であるか、非抽出色の画素であるかを識別する識別情報（１６×１６ビット）を生成する。抽出色の決定、及び、識別情報の生成にかかるアルゴリズムは第１の実施形態と同様である。

ステップＳ４では、識別情報を可逆符号化し、その結果を一時的にＲＡＭに保持する。

ステップＳ５では、非抽出色の画素の平均値を算出し、抽出色の画素値をその平均値で置換する処理を行なう。この後、ステップＳ６にて、置換後のブロックデータを水平、垂直とも１／２に縮小する。この縮小処理も第１の実施形態と同様にして行なう。

ステップＳ７では、縮小後の画像データを非可逆符号化する。この非可逆符号化は第１の実施形態と同様にＪＰＥＧ符号化を用いればよい。

ステップＳ８では、一時的に保持した抽出色、可逆符号化データ、非可逆符号化データを連結し、ハードディスク装置等の記憶装置に出力する。
そして、ステップＳ９にて、全ブロックについて符号化を行なったか否かを判定し、否の場合にはステップＳ１以降の処理を繰り返す。

以上説明したように、第１の実施形態をコンピュータプログラムでもって実現することが可能である。

＜第２の実施形態＞
上記第１の実施形態のセレクタ２０９（図２参照）は、２×２画素サイズのウインドウ内の全画素が置換色を持つ画素であった場合、その置換色を縮小処理後の１画素の画素値として出力した。従って、縮小処理で得られた８×８画素内に非抽出色の画素、置換色で示される画素が混在すると、ＪＰＥＧ符号化のＤＣＴ変換、量子化により、非抽出画素の値が、置換色の影響を受ける可能性がある。

そこで、本第２の実施形態では、かかる点を更に改善する例を説明する。

本第２の実施形態における画像符号化装置の構成は図１と同じであり、異なる点は縮小部１０５の構成である。

図５は、本第２の実施形態における縮小部１０５のブロック構成図である。図２と同じ機能を持つ処理部は、同符号を付し、その説明は省略する。図２と異なる点は、図５におけるセレクタ２０９’の処理が多少異なる点と、置換部２１０を設けた点である。

以下、セレクタ２０９’、置換部２１０の処理を説明する。

セレクタ２０９’は、カウント部２０３からのカウント値に従って、スケーラ２０７、レジスタ２０６のいずれからの画素値を選択する点は、図２のセレクタ２０９と同じである。ただし、本第２の実施形態におけるセレクタ２０９’は、カウント部２０３からのカウント値と、選択した画素値とを対にして出力する点が異なる。

置換部２１０は、セレクタ２０９’からの８×８個の｛カウント値、画素値｝を入力する。カウント値が“０”の画素は、その画素が置換色であることを示している。また、カウント値が“１”以上の場合、その画素値は、非抽出色の画素の平均値であることを示し、カウント値が大きいほど、その画素値は多くの非抽出画素から計算された平均値であることを示す。

置換色の画素値は、先に説明したように、復号時に抽出色の画素値で置き換わるので、その画素値はさほど重要ではない。むしろ、置換色は、ＪＰＥＧ符号化の際に他の非抽出色の画素値に影響を与えず、符号化効率を高くする値であることが望ましい、と言える。

それ故、置換部２１０は、縮小画像中をスキャンし、カウント値が“０”の画素（着目画素）を発見したとき、その着目画素の近傍の８個の中で、最大となるカウント値の画素値を再置換色として決定し、その再置換色で着目画素値を再置換する。

この例を図６を用いて説明する。図６は、縮小画像中の着目画素を中心とし、その近傍画素を含む３×３の領域を示している。各マス目の値は、｛カウント値、画素値｝（図示では画素値をＰ１乃至Ｐ９）である。着目画素は、置換色を想定しているので、図示の如く、カウント値は“０”である。

さて、図６の場合、着目画素の近傍画素内に、カウント値が“１”以上の画素は、７つ存在する（着目画素の右隣の画素はカウント値が“０”であるので除外）。この中で、カウント値が最大のものは、カウント値として“４”の画素値Ｐ８、Ｐ９である。本実施形態では、最大カウント値となるものが複数存在する場合、ラスタースキャン順に沿って優先する位置の画素値を、着目画素の置換画素値とするようにした。従って、図示の場合、着目画素値Ｐ５は、画素値Ｐ８で置き換えられる。

以上の結果、第２の符号化部１０６（図１参照）は、第１の実施形態と比較して、高周波成分が更に少ない画像を符号化することになり、圧縮効率を高めることができる。しかも、置換色の画素値を近傍の非抽出色の画素値で更に置き換えることで、非抽出色の画素値が維持される確率を高め、画質劣化を抑制できる。

＜第３の実施形態＞
上記第２の実施形態の置換部２１０の処理を以下のようにしても構わない。

着目画素が置換色であるとき、その近傍のカウント値が“１”以上の画素値の平均値で置き換えるのである。図６の場合、着目画素の置換後の画素値をＰ５’とするなら、このＰ５’は次式で算出する。
Ｐ５＝｛Ｐ１＋Ｐ２＋Ｐ３＋Ｐ４＋Ｐ７＋Ｐ８＋Ｐ９｝／７
以上の第３の実施形態によっても、第２の実施形態と同様の作用効果を奏することが可能である。

＜第４の実施形態＞
上記第１の実施形態の変形例でしめしたように、第２，第３の実施形態と同様の処理をパーソナルコンピュータ等の汎用情報処理装置上で実行されるアプリケーションプログラムでもって実現しても構わない。

また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを読取り装置（ＣＤ−ＲＯＭドライブ）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあるのは明らかである。

実施形態における画像符号化装置のブロック構成図である。 図１における縮小部のブロック構成図である。 縮小部におけるカウント部が計数する値とウインドウ内の識別情報との対応関係を示す図である。 実施形態における画像復号装置のブロック構成図である。 第２の実施形態における縮小部のブロック構成図である。 第２の実施形態における縮小画像内の置換処理を説明するための図である。 第１の実施形態の変形例であるコンピュータプログラムによる処理手順を示すフローチャートである。

Claims (9)

1. 画像データを符号化する画像符号化装置であって、
   画像データを入力する入力手段と、
   入力した画像データから、高周波成分を構成する画素の色を抽出色として抽出する抽出手段と、
   前記画像データの各画素が前記抽出色の画素であるか、非抽出色の画素であるかを識別するための識別情報を生成する生成手段と、
   前記生成手段で生成した識別情報を可逆符号化する第１の符号化手段と、
   前記画像データ内の非抽出色の画素の平均値を算出し、算出した平均値で前記抽出色の画素の値を置換する置換手段と、
   前記置換手段で置換した画像データ内を、ｐ×ｑ（ｐ，ｑは正の整数であり、少なくとも一方は２以上）画素サイズのウインドウを単位にスキャンし、着目ウインドウから１つの画素値を導出することで、縮小画像データを生成する縮小手段と、
   前記縮小手段で生成された縮小画像データを非可逆符号化する第２の符号化手段と、
   前記抽出手段で得られた抽出色、前記第１の符号化手段で得られた符号化データ、及び、前記第２の符号化手段で得られた符号化データを結合し、前記画像データの符号化データとして出力する出力手段とを備え、
   前記縮小手段は、
   前記識別情報に基づき、前記ウインドウ内の前記非抽出色と判定された画素数をカウントするカウント手段と、
   前記カウント手段でカウントした値が“０”の場合には、前記ウインドウ内の前記置換手段で置換した置換色を縮小後の１つの画素の値として選択し、
   前記カウント手段でカウントした値が“１”以上の場合には、前記ウインドウ内の前記非抽出色と判定された画素の平均値を縮小後の１つの画素の値として選択する選択手段と
   を含むことを特徴とする画像符号化装置。
2. 前記縮小手段は、更に、
   前記選択手段で選択した画素で構成される縮小画像データ中の各画素が、前記置換色の画素であるか、前記非抽出色の画素の平均値であるかを判定する判定手段と、
   前記判定手段によって、前記縮小画像データ中の着目画素が前記置換色の画素であると判定された場合、前記着目画素の近傍に位置し、前記非抽出色の平均値を持つ画素に基づいて再置換色を決定し、決定した再置換色で再置換する再置換手段と
   を備えることを特徴とする請求項１に記載の画像符号化装置。
3. 前記再置換手段は、前記着目画素の近傍の前記非抽出色の平均値を持つ画素の中で、前記カウント手段でカウントした値が最大であった平均値を前記再置換色として決定することを特徴とする請求項２に記載の画像符号化装置。
4. 前記再置換手段は、前記着目画素の近傍の前記非抽出色の平均値を持つ画素の平均値を前記再置換色として決定することを特徴とする請求項２に記載の画像符号化装置。
5. 前記入力手段は、ｍ×ｎ画素（ｍ、ｎはｍ≧ｐ、ｎ≧ｑを満たす正の整数であって、少なくともｍ、ｎのいずれか一方はｍ＞ｐ又はｎ＞ｑを満たす）を単位に画像データを入力することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. 前記第１の符号化手段はランレングス符号化であり、前記第２の符号化手段は周波数変換処理、量子化処理、エントロピー符号化処理を含む符号化であることを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
7. 画像データを符号化する画像符号化装置の制御方法であって、
   画像データを入力する入力工程と、
   入力した画像データから、高周波成分を構成する画素の色を抽出色として抽出する抽出工程と、
   前記画像データの各画素が前記抽出色の画素であるか、非抽出色の画素であるかを識別するための識別情報を生成する生成工程と、
   前記生成工程で生成した識別情報を可逆符号化する第１の符号化工程と、
   前記画像データ内の非抽出色の画素の平均値を算出し、算出した平均値で前記抽出色の画素の値を置換する置換工程と、
   前記置換工程で置換した画像データ内を、ｐ×ｑ（ｐ，ｑは正の整数であり、少なくとも一方は２以上）画素サイズのウインドウを単位にスキャンし、着目ウインドウから１つの画素値を導出することで、縮小画像データを生成する縮小工程と、
   前記縮小工程で生成された縮小画像データを非可逆符号化する第２の符号化工程と、
   前記抽出工程で得られた抽出色、前記第１の符号化工程で得られた符号化データ、及び、前記第２の符号化工程で得られた符号化データを結合し、前記画像データの符号化データとして出力する出力工程とを備え、
   前記縮小工程は、
   前記識別情報に基づき、前記ウインドウ内の前記非抽出色と判定された画素数をカウントするカウント工程と、
   前記カウント工程でカウントした値が“０”の場合には、前記ウインドウ内の前記置換工程で置換した置換色を縮小後の１つの画素の値として選択し、
   前記カウント工程でカウントした値が“１”以上の場合には、前記ウインドウ内の前記非抽出色と判定された画素の平均値を縮小後の１つの画素の値として選択する選択工程と
   を含むことを特徴とする画像符号化装置の制御方法。
8. コンピュータが読込み実行することで、前記コンピュータを請求項１乃至６のいずれか１項に記載の画像符号化装置として機能させることを特徴とするコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images