JP2008109478A - 画像符号化装置及び方法及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】 可逆符号化と非可逆符号化を画素ブロック単位に適宜切り換えて、再現した際の画質の劣化を抑制しつつ、画像全体を高い圧縮率で符号化することが可能になる。
【解決手段】 入力した画像データはブロック分割部１０２で所定サイズのタイルに分割される。有効レベル数カウント部１０４は、注目タイル中の各色成分の出現する輝度レベルの数（有効レベル数）を計数する。また、入力されたタイルは、タイルデータ可逆符号化部１０８、及びタイルデータ非可逆符号化部１１４でそれぞれ符号化される。セレクタ１１５は、注目タイルの全色成分の有効レベル数が所定条件を満たすか否かに応じた重み係数を生成し、その重み係数を用いて、可逆符号化データ量と非可逆符号化データ量とを比較し、少ない符号化データ量を選択し、出力する。
【選択図】 図１

Description

本発明は画像データの符号化に関するものである。

一般に、画像の圧縮符号化する場合には、画像を適当なサイズのタイルに分割し、このタイル単位に符号化を行う。自然画の場合には、復号結果で画質劣化が目立たないＪＰＥＧ（非可逆符号化）で圧縮符号化し、文字／線画は、ＪＰＥＧでは逆に劣化を抑えることが難しいので、可逆符号化方式を用いることが望ましい。

このようなタイル単位に適応的に符号化方式を選択する技術では、各タイルを符号化するに先立ち、各タイルが自然画タイルであるか、文字／線画等のタイルであるかについて、判断することが多い（特許文献１参照）。
特開平８−１６７０３０号公報

しかしながら、上記文献に開示されている技術においては、各タイルに対して、属性が正しく判断されることを前提にしており、その判断は実のところは難しいという問題がある。現実には、適応的に符号化方式が選択されているとは限らず、文字／線画の領域中に可逆符号化が適用された可逆タイルと、非可逆符号化が適用された非可逆タイルが混在することがあり、大きな画質劣化を招いていた。具体的には、図２２に示したように、文字領域が非常に少ないタイル等は非可逆符号化が適用されてしまい、文字が劣化してしまう問題があった。

本発明はかかる問題点に鑑みなされたものであり、特に文字／線画の属性を有するような画像データを符号化した場合であっても、画質劣化の発生を抑制し、高い画質の画像を復号することを可能ならしめる技術を提供しようとするものである。

上記課題を解決するために本発明の画像符号化装置によれば、画像データを入力し、符号化する画像符号化装置であって、画像データを所定サイズのブロックに分割する分割手段と、分割されたブロックに関して、画素単位に文字／線画、写真の属性を判定し、文字／線画画素の有無を基に文字／線画属性を有する否かを判定する判定手段と、分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化手段と、分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化手段と、前記判定手段によって、注目ブロックが文字／線画画像の属性を有する場合、前記可逆符号化手段で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判断した場合には、前記可逆符号化手段及び前記非可逆符号化手段それぞれで生成された符号化データ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択手段と、前記選択手段で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力手段とを備えることを特徴とする。

本発明によれば、網点属性を有する領域については、２つの符号化手段の符号量とは無関係に、可逆符号化が行われることにより、可逆、非可逆が混在することによる画質劣化を防ぐことが可能になる。また、網点領域以外では、重み付け比較により符号量の少ない符号化データが選択されることにより、１ページ分の総符号化データも少ないものとすることができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は本実施形態に係る画像処理装置のブロック構成図である。

図１に示すように、本実施形態に係る画像処理装置は、ストライプバッファ１０１、ブロック分割部１０２、タイルバッファ１０３、有効レベル数カウント部１０４、インデックステーブル用メモリ１０５、インデックス変換部１０６、セレクタ１０７、タイルデータ可逆符号化部１０８、可逆符号列形成部１０９、インデックステーブル生成部１１３、タイルデータ非可逆符号化部１１４、セレクタ１１５、符号列形成部１１６、タイル属性判定部１１７とを備える。また、符号１１０、１１１、１１２は信号線（バス）を示している。

本実施形態に係る画像処理装置の符号化対象とする画像データは、ＲＧＢカラー画像データであり、各コンポーネント（色）は８ビットで、それぞれ０〜２５５の範囲の輝度値を表現した画素データにより構成されるものとする。符号化対象の画像データの並びは点順次、即ち、ラスタースキャン順に各画素を並べ、その各画素はＲ，Ｇ，Ｂの順番でデータを並べて構成されるものとする。信号線１１０より入力される符号化対象の画像データは水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとする。

以下、図１を参照して、本実施形態に係る画像処理装置が行う画像符号化処理について説明する。

符号化対象画像データは信号線１１０から、ラスタースキャン順に入力される。

ストライプバッファ１０１は画像データを所定のライン数（Ｔｈ）分格納する領域を持ち、信号線１１０から入力される画像データを順次格納していく。

以降、符号化対象画像データをＴｈラインの幅で分割した部分的な画像データをストライプデータもしくは単にストライプと呼ぶ。ストライプバッファ１０１に必要とされる容量、即ち１ストライプのデータ量はＷ×Ｔｈ×３（ＲＧＢ分）バイトである。説明の便宜上、垂直方向画素数ＨはＴｈの整数倍であるとし、画像の末尾で不完全なストライプが発生しないものとする。

ストライプバッファ１０１に１ストライプの画像データ、即ち、Ｔｈライン分の画像データが格納されるとブロック分割部１０２はストライプバッファ１０１に格納されるＴｈライン分の画像データを水平方向Ｔｗ画素、垂直方向Ｔｈ画素で構成される矩形ブロックに分割して、ブロック単位に読み出してタイルバッファ１０３へと格納する。説明の便宜上、画像の水平方向に並ぶ画素数ＷはＴｗの整数倍であるとし、矩形ブロックに分割した場合に不完全なブロックが発生しないものとする。この水平方向Ｔｗ画素、垂直方向Ｔｈ画素で構成される矩形ブロックを以降ではタイルデータもしくは単にタイルと呼ぶ。

タイルバッファ１０３は、１タイル分の画素データを格納する領域を持ち、ブロック分割部１０２から出力されるタイルデータを順次格納していく。よってタイルバッファ１０３に必要とされる最低容量はＴｗ×Ｔｈ×３（ＲＧＢ分）バイトである。タイルバッファ１０３に格納される１タイル分の画素データの水平方向画素位置ｘ、垂直方向画素位置ｙにある画素のコンポーネントｃの輝度値をＰ（ｘ、ｙ、ｃ）と定義する。ｘは０からＴｗ−１まで、ｙは０からＴｈ−１まで、ｃはＲ，Ｇ，Ｂのいずれかである。

有効レベル数カウント部１０４は、タイルバッファ１０３に格納される１タイルの画素データについて、コンポーネント毎に、そこで使用されている輝度レベル数（言い換えると、何種類の輝度レベルが使われているか）をカウントする。

以降、タイル内にて使用されている輝度レベルを有効レベルと呼び、その個数を有効レベル数と呼び、Ｒ、Ｇ、Ｂの各コンポーネントの有効レベル数をそれぞれＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）として表す。

有効レベル数カウント部１０４はその内部に図５に示すようなフラグの配列Ｆ（ｃ，ｉ）を保持する。ｃはコンポーネントを表し、Ｒ，Ｇ，Ｂのいずれかである。ｉは輝度値を表し、０〜２５５のいずれかの値である。フラグＦ（ｃ，ｉ）＝０は着目するタイルのコンポーネントｃにおいて輝度値ｉが出現しないことを意味し、フラグＦ（ｃ、ｉ）＝１はタイルのコンポーネントｃにおいて輝度値ｉが出現することを意味する。

図６は有効レベル数カウント部１０４の処理の流れを示すフローチャートである。以下、図６に示したフローチャートを参照して、有効レベル数カウント部１０４の行う処理について説明する。

まず、有効レベル数カウント部１０４の内部に保持するフラグ配列Ｆ（ｃ，ｉ）を全て０に初期化する（ステップＳ６０１）。

次に、タイル内垂直方向画素位置を示す変数ｙを０に設定する（ステップＳ６０２）。

同様にタイル内水平方向画素位置を示す変数ｘを０に設定する（ステップＳ６０３）。

タイルバッファ１０３に格納されるＰ（ｘ，ｙ，Ｒ）、Ｐ（ｘ，ｙ，Ｇ）、Ｐ（ｘ，ｙ，Ｂ）を参照し、フラグ配列Ｆ（Ｒ，Ｐ（ｘ，ｙ，Ｒ））、Ｆ（Ｇ，Ｐ（ｘ，ｙ，Ｇ））、Ｆ（Ｂ，Ｐ（ｘ，ｙ，Ｂ））に１を設定する（ステップＳ６０４）。

例えば、タイル内の位置ｘ、ｙのＲ、Ｇ、Ｂの値がそれぞれ１０、２０、３０である場合、
Ｆ（Ｒ、１０）←１
Ｆ（Ｇ、２０）←１
Ｆ（Ｂ、３０）←１
とし、Ｒ成分の有効レベル“１０”が存在したことを示す情報をセットする。Ｇ、Ｂ成分についても同様である。

次に、タイル内垂直方向画素位置を示す変数ｘに“１”を加算する（ステップＳ６０５）。そして、変数ｘとタイルの水平方向画素数Ｔｗを比較し、ｘ＜Ｔｗの場合（ＹＥＳ）にはステップＳ６０４に処理を移して右隣の画素について処理を行い、そうでない場合（ＮＯ）にはステップＳ６０７へと処理を移す。

ステップＳ６０７ではタイル内垂直方向画素位置を示す変数ｙに“1”を加算する（ステップＳ６０７）。

変数ｙとタイルの垂直方向画素数Ｔｈを比較し、ｙ＜Ｔｈの場合（ＹＥＳ）にはステップＳ６０３に処理を戻し、上記処理を繰り返す。

以上の処理を、タイルの全画素について処理すると、そのタイル内に出現した各色成分の有効レベルが判明する。したがって、ステップＳ６０９では、各色成分毎の有効レベル数ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）は次のようにして求めることができる。

ＮＬＶ（Ｒ）＝ΣＦ（Ｒ，ｉ）
ＮＬＶ（Ｇ）＝ΣＦ（Ｇ，ｉ）
ＮＬＶ（Ｂ）＝ΣＦ（Ｂ，ｉ）
ここで『Σ』はｉ＝０〜２５５までの累積加算を示すものである。

以上の処理により各コンポーネントの有効レベル数ＮＬＶ（ｃ）（ｃはＲ、Ｇ、Ｂのいずれか）を生成し、出力する。

インデックステーブル用メモリ１０５には図７に示すようなインデックス変換テーブルＩＤＸ（ｃ、ｉ）を保持する。

ここでも、ｃはコンポーネントを表し、Ｒ，Ｇ，Ｂのいずれかであり、ｉは輝度値を表し、０〜２５５のいずれかの値である。このインデックス変換テーブルＩＤＸ（ｃ、ｉ）は後述するインデックス変換部１０６において輝度値をインデックス値に変換する際に参照される。

インデックステーブル生成部１１３は有効レベル数カウント部１０４に保持されているフラグ配列Ｆ（ｃ，ｉ）を参照して、インデックステーブル用メモリ１０５にインデックス変換テーブルＩＤＸ（ｃ、ｉ）を生成する。同時に符号列に付加情報として含めて伝送するための変換テーブル情報を可逆符号列形成部１０９へと出力する。

図８はインデックステーブル生成部１１３の処理の流れを示すフローチャートである。この処理は、各コンポーネント毎の、出現した有効レベル（Ｆ（ｃ，ｉ）＝１となっている輝度）に０、１、２とインデックス番号を割り当てるものである。

以下、図８に示したフローチャートを参照して、インデックステーブル生成部１１３の行う処理について説明する。インデックステーブル生成部１１３によるインデックステーブル生成の処理はコンポーネント毎に行われるが、各コンポーネント毎の処理は同一であるので、ここではコンポーネントをｃとして処理を説明する。

まず、インデックステーブル用メモリ１０５の内部に保持するインデックス変換テーブルＩＤＸ（ｃ，ｉ）を全て−１等のインデックスとしてあり得ない値で初期化する（ステップＳ８０１）。

次に、輝度値を示す変数ｉに０を初期設定し（ステップＳ８０２）、インデックス値を表す変数ｉｄｘ（ｃ）を０に初期化する（ステップＳ８０３）。

次いで、有効レベル数カウント部１０４に保持されているフラグ配列Ｆ（ｃ，ｉ）を参照し、着目する輝度値ｉについてＦ（ｃ，ｉ）＝１かどうかを判断する（ステップＳ８０４）。

Ｆ（ｃ，ｉ）＝１である場合（ＹＥＳ）はステップＳ８０５へ、そうでない場合（ＮＯ）はステップＳ８０７へと処理を移す。

Ｆ（ｃ，ｉ）＝１である場合、コンポーネントｃの輝度値ｉが注目タイル内に存在したことを示すことを意味するので、ステップＳ８０５にて、ＩＤＸ（ｃ，ｉ）にｉｄｘ（ｃ）を設定するとともに、ｉｄｘ（ｃ）を可逆符号列形成部１０９へ出力する（ステップＳ８０５）。

続いてｉｄｘ（ｃ）に１を加えて値を更新する（ステップＳ８０６）。

ステップＳ８０７では輝度値を示す変数ｉに１を加えて更新し（ステップＳ８０７）、変数ｉと２５６と比較し、ｉ＜２５６である場合（ＹＥＳ）にはステップＳ８０４に処理を戻して次の輝度値について処理を継続し、それ以外の場合（ＮＯ）にはステップＳ８０９へと処理を移す。

ステップＳ８０９では１つのコンポーネントについての付加情報の終了コードとして値−１を可逆符号列形成部１０９へと出力する。

以上の処理をＲ，Ｇ，Ｂ各コンポーネントについて順番に行い、インデックステーブル用メモリ１０５内部にインデックステーブル用メモリを生成する。

着目するタイルについて、有効レベル数カウント部１０４による有効レベル数カウント処理と、インデックステーブル生成部１１３によるインデックステーブル生成処理が終了すると、インデックス変換部１０６、セレクタ１０７、タイルデータ予測符号化部１０８により、タイルバッファ１０３に格納されるタイルデータの符号化処理を開始する。

本実施形態の画像符号化装置では、タイルの符号化データをコンポーネント順に読み出して符号化する。即ち、まず、タイルのＲコンポーネントを先ず符号化し、続いてＧコンポーネント、Ｂコンポーネントの順に符号化していく。各コンポーネントについてはタイル内をラスタースキャン順にデータを読み出して符号化処理を行う。各コンポーネントの符号化処理は共通であるので、以下、コンポーネントをｃとして符号化処理を説明する。

インデックス変換部１０６はインデックステーブル用メモリ１０５に格納されるインデックス変換テーブルＩＤＸ（ｃ，ｉ）を参照して、タイルバッファ１０３からコンポーネント順、ラスタースキャン順に読み出される輝度値Ｐ（ｘ，ｙ，ｃ）をインデックス値ＩＤＸ（ｃ、Ｐ（ｘ、ｙ、ｃ））に置き換えて出力する。

セレクタ１０７はタイルバッファ１０３から順次読み出される画素値Ｐ（ｘ，ｙ，ｃ）とインデックス変換部１０６から出力されるインデックス値ＩＤＸ（ｃ、Ｐ（ｘ，ｙ，ｃ））を受け取り、そのいずれか一方を選択して出力する。セレクタ１０７内部には所定の閾値ＭＬ（タイルサイズに依存して決定されることが望ましい）を保持しておき、有効レベル数カウント部１０４から出力される有効レベルＮＬＶ（ｃ）と閾値ＭＬを比較し、ＮＬＶ（ｃ）＜ＭＬである場合にはインデックス変換された値、即ちインデックス変換部１０６からの入力値を選択して出力し、ＮＬＶ（ｃ）≧ＭＬである場合にはインデックス変換されていない値Ｐ（ｘ，ｙ，ｃ）を選択して出力する。

タイルデータ可逆符号化部１０８は、信号線１１１から入力される画素値、またはインデックス値を可逆符号化して符号列を信号線１１２を介して可逆符号列形成部１０９へと出力する。

タイルデータ可逆符号化部１０８の内部は可逆符号化方式であれば適用可能であり、例えば、連続階調静止画像の可逆及び準可逆圧縮の国際標準として勧告されるＪＰＥＧ−ＬＳ（ＩＳＯ／ＩＥＣ１４４９５−１および２）などを適用することができる。ここでは、図２に示すブロック構成図で示される構成になっているものとする。

同図に於いて２０１はバッファ、２０２は予測器、２０３は減算器、２０４はメモリ、２０５はハフマン符号化器である。図２は、画像データを予測誤差に変換する系列変換の処理に周辺画素を用いた予測変換を用い、符号化処理にはハフマン符号化を用いる画像圧縮方式の例である。

同図において、実際の符号化が行われる前に、予め幾つかの画像を示す画像データを系列変換して得られた予測誤差の頻度分布を調べ、これに応じてハフマンテーブルを作成し、メモリ２０４に格納される。

予測誤差の頻度分布の一般的性質として予測誤差０を中心として出現頻度が高く、予測誤差の絶対値が大きくなるにつれて出現頻度が下がっていく傾向にあるため、メモリ２０４に格納されるハフマン符号では予測誤差０近辺に短い符号語が割り当てられ、予測誤差の絶対値が大きい部分には長い符号語が割り当てられる。

最初に信号線１１１からタイルデータが順に入力される。バッファ２０１は信号線１１１から入力されるタイルデータを２ライン分格納する。予測器２０２はバッファ２０１から符号化対象画素の直前の画素ａと、１ライン前の同じ水平位置の画素ｂのタイルデータ（図３参照）を取り出し、ｐ＝（ａ＋ｂ）／２の演算を行う事により予測値ｐを生成する。

減算器２０３は符号化対象画素のタイルデータｘと予測値ｐとの差分値ｅとして出力する。ハフマン符号器２０５は、予めメモリ２０４に格納されるハフマンテーブルを参照して、差分値ｅに対応する符号化データを信号線１１２から出力する。

メモリ２０４には予め幾つかのサンプル画像を予測符号化した際の予測誤差の特性に基づいて作成されたハフマンテーブルを格納しておく。図４はメモリ２０４に格納されるハフマンテーブルの一例である。

可逆符号列形成部１０９は、インデックステーブル生成部１１３から出力される付加情報と、タイルデータ予測符号化部１０８から出力される符号化データを結合させて、予測符号化方式の出力となる符号列を形成して出力する。

図１０（ａ）、（ｂ）は１つのタイルの可逆符号列のデータフォーマットを示す図である。また、同図（ｃ）はタイルデータ非可逆符号化部１１４により出力される非可逆符号列のデータフォーマット示している。

各データの先頭の１バイトの最上位ビットＭＳＢ（＝ビット７）は、可逆、非可逆を区別するデータを格納する。実施形態の場合、ＭＳＢが“０”を可逆符号化を示す情報にアサインし、“1”の場合には非可逆符号化を示す情報にアサインした。また、下位３ビットのビット２、１、０は、コンポーネントＲ，Ｇ，Ｂに対応し、それぞれ閾値ＭＬ（セレクタ１０７の保持する閾値に同じ）以上か以下かを表す情報を割り当てた。

つまり、ビット２にはＮＬＶ（Ｒ）＜ＭＬであるかどうかを表し、ＮＬＶ（Ｒ）＜ＭＬである場合には“1”、それ以外の場合には“０”を設定する。ビット１にはＮＬＶ（Ｇ）＜ＭＬであるかどうかを表し、ＮＬＶ（Ｇ）＜ＭＬである場合には“1”、それ以外の場合には“０”を設定する。ビット０にはＮＬＶ（Ｂ）＜ＭＬであるかどうかを表し、ＮＬＶ（Ｂ）＜ＭＬである場合には“1”、それ以外の場合には“０”を設定する。また、ビット６からビット３については常に０を設定する。

ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）のいずれかが所定の閾値ＭＬ以下である場合、即ち、先頭バイトのＭＳＢが“０”で、下位７ビットの値が０でない場合にはタイルの符号列の先頭バイトに続き、変換テーブル情報が付随する。

インデックステーブル生成部１１３から変換テーブル情報が出力されるが、有効レベル数カウント部１０４から出力される有効レベル数ＮＬＶ（ｃ）を所定の閾値ＭＬと比較して、ＮＬＶ（ｃ）＜ＭＬであるコンポーネントについてのみ変換テーブル情報を符号列に付加する。

例えば、或るタイルについてインデックステーブル生成部から出力される変換テーブル情報が、
０、１，２，３，４，...，２５４、２５５，−１，０，１２８，２５５，−１，０，６４，１２８，１９２，２５５
であるとき、ＮＬＶ（Ｒ）＝２５５、ＮＬＶ（Ｇ）＝３、ＮＬＶ（Ｂ）＝５となる。

ここで、閾値ＭＬを“３２”と仮定する。この場合、コンポーネントＲの有効レベル数「２５５」は閾値“３２”より大きいので、注目タイルの符号化データ列の先頭１バイトのビット２は“０”となる。また、コンポーネントＧ、Ｂそれぞれの有効レベル数は閾値“３２”未満であるので、符号化データ列の先頭１バイトのビット１、０は共に“1”となる。

注目タイルは、可逆符号化であるのでＭＳＢは“０”、ビット３乃至６も“０”としているわけであるから、上記の場合、先頭の１バイトは“３”という値になる。

また、符号化データ列中の「変換テーブル情報」を生成する際、−１をコンポーネントの変換テーブル情報の区切りとして識別し、コンポーネントＧとコンポーネントＢについての変換テーブル情報を生成する。

上述の例では「変換テーブル情報」は、次のようになる。

０，１２８，２５５，０，０，６４，１２８，１９２，２５５
変換テーブル情報の区切りを表す−１は０に置き換えられ、最後の０は削除される。復号する際には、先頭の１バイトのＭＳＢが“０”であり、下位３ビットを調べれば、どの色成分についての変換テーブルが存在するかが判明するので、変換テーブル情報を左から右に順番に見て、隣の値よりも小さくなるか等しい部分は区切り情報であると判断してインデックス値から輝度値に変換する情報を取得すれば良いことになる。

タイル毎に独立に符号化を行い、必要な変換テーブル情報を各タイルの符号化データに含むことにより、復号時にはタイルデータを独立に復号することが可能となる。

図１０の出力符号列の構成には示していないが、符号化データ中に所定の値が発生しないように工夫を加えて特殊なマーカを設定し、各タイルデータの先頭、または末尾にマーカを置く、あるいは、各タイルの符号列の長さを別途管理することでタイル単位のランダムアクセスを可能とすることができる。

タイルデータ可逆符号化部１０８で可逆符号化を行うと同時に、タイルデータ非可逆符号化部１１４はブロックに分割されたデータの画素値を受け取り、非可逆符号化を行う。非可逆符号化には、多値自然画像を対象とした非可逆圧縮の国際標準として勧告されたＪＰＥＧ（ＩＴＵＴ−Ｔ．８１｜ＩＳＯ／ＩＥＣ ＩＳ１０９１８）などを適用することができる。ＪＰＥＧについての詳細は規格書などあるためここでは説明は省略するが、図１０（ｃ）に示すように、先頭１バイトのＭＳＢを“1”にした符号化列を生成する。これは、該当するタイルが可逆、非可逆符号化のいずれで符号化されているかを識別するためである。

以上のようにして、セレクタ１１５には、２つの符号化データが入力されることになる。セレクタ１１５は、有効レベル数カウント部１０４並びに分散算出部１１７からの信号に基づき、この２つの符号化データのいずれか一方を注目タイルの符号化データとして符号列形成部１１６に出力することになる。

有効レベル数カウント部部１０４については既に説明したので、以下では、分散算出部１１７について説明し、その上で、セレクタ１１５の処理について説明する。

タイル属性判定部１１７では、タイル内の画素毎に文字／線画，写真のいずれの属性であるか判定し、文字／線画属性の画素が１画素でもあれば、注目タイルを文字／線画属性と判定し、全ての画素が写真属性であれば、注目タイルを写真属性と判定する。なお判定方法については、文字／線画の特徴として、同一色の複数画素が縦横斜め方向のいずれかで接していることが多いことがあり、この特徴を活かした方法を用いる。

図１７のフローチャートを用いて、タイル属性判定部１１７における処理フローを詳細に説明する。

タイルバッファ１０３に蓄積されている注目タイルにおける左上の画素（座標で(0,0)の画素）へ、ポインタを移動させ（ステップ１７０１）、図１１に示したa,b,c,dの位置にある４画素の中に、同一色の画素があるかどうか判定する（ステップ１７０２）。ここで同一色とは、Ｒ，Ｇ，Ｂの各色に関して同値であることをいう。もし、同一色が存在する場合には（１７０２でＹｅｓ）、注目画素が文字／線画である可能性が高く、文字／線画属性と判定する。本実施の形態では、１画素でも文字／線画属性の画素が存在する場合には、注目タイルを文字／線画属性と判定するため、文字／線画属性を示すビット“1”をセレクタ１１５へ出力し（ステップ１７０３）、処理を終える。一方、同一色が存在しない場合（ステップ１７０２でＮｏ）には、全画素に関して属性判定が終了したかどうか判断し（ステップ１７０４）、終了していなければ（ステップ１７０４でＮｏ）、ポインタを右隣の画素へずらす（ステップ１７０５）。全画素に関する属性判定が終了したならば（ステップ１７０４でＹｅｓ）、注目タイルは写真属性であると判定して、写真属性を示すビット“０”をセレクタ１１５へ出力する。

次に、実施形態におけるセレクタ１１５の処理について説明する。このセレクタ１１５は、可逆符号化データ、非可逆符号化データのいずれか一方をタイル単位に選択し、それを注目タイルの符号化データとして出力するものである。

実施形態におけるセレクタ１１５の選択条件は次の通りである。なお、以下の説明で、ＣＬＫとは注目タイルの可逆符号化データ量（符号長）を示し、ＣＬＨとは注目タイルの非可逆符号化データ量を示すものとする。

条件１：注目タイルが文字／線画属性であると判定された場合、つまりタイル属性判定部１１７から信号“1”を受信した場合、有効レベル数カウント部１０４からの信号とは無関係に、可逆符号化データを選択し、出力する。

条件２：注目タイルが写真属性であり、つまりタイル属性判定部１１７から信号“1”を受信した場合であり、ＣＬＨ＜ＣＬＫの関係を満たす場合、非可逆符号化データを選択し、出力する。

条件３：注目タイルが写真属性であり、つまりタイル属性判定部１１７から信号“1”を受信した場合であり、ＣＬＨ≧ＣＬＫの関係を満たす場合、可逆符号化データを選択し、出力する。

条件４：上記条件２、３において、注目タイルの全コンポーネントの有効レベル数ＮＬＶ（ｃ）が、閾値ＭＬより小さい場合、注目タイルの符号化データとして可逆符号化データが選択され易いようにするため、ＣＬＨに所定の正の値を加算する。

次に、実施形態における符号列形成部１１６を説明する。符号列形成部１１６は、セレクタ１１５から出力されるタイルごとの符号化データを結合させて受け取り、入力画像全体に対応する符号列を形成して出力する。そのため、符号化データの先頭には、図９に示すように、画像を復号するために必要となる情報、例えば、画像の水平方向画素数、垂直方向画素数（タイルサイズは固定とするので、タイル数を示す情報でもある）、コンポーネント数、各コンポーネントのビット数などの付加情報がヘッダとして付けられる。

以上説明したように本実施形態によれば、部分的に文字／線画画素を含むタイルを可逆符号化により処理できるため、文字／線画の品位を向上させることが可能となる。

また、実施形態で説明したように、可逆符号化の場合、入力された各色成分値をそのまま利用した可逆符号化と、インデックス値による可逆符号化の２つが存在することにより、文字・線画領域では、そのほとんどがインデックス値に基づく符号化が採用されることになり、更に高い圧縮率が期待できる。

上記実施形態におけるセレクタ１１５の選択条件は、条件１乃至４に限るものではない。例えば、１タイルの許容符号化データ量ＭＰＲを定義し、可逆符号化データ量ＣＬＫとの関係が「ＣＬＫ＜ＭＰＲ」を満たしていれば、符号量としては満足することが約束されているので、可逆符号化データを選択するようにしても良い。

なお、実施形態における復号装置は、上記の符号化装置の説明から明らかであるが、例えば図１２の構成で実現できよう。以下、同図に従って説明する。

タイルヘッダ解析部１２０１はタイル単位に符号化データを入力し、各タイルのヘッダを解析する。そして、そのタイルの符号化データが可逆であると判断した場合には、可逆復号部１２０２に入力した符号化データを出力する。一方、非可逆符号化データであると判断した場合には、非可逆復号部１２０３に出力する。

この結果、いずれかの復号部でタイル画像にまで復号されるが、タイルヘッダ解析部１２０１は、復号処理を行わせた復号部からのデータを選択させる信号をセレクタ１２０４に出力する。セレクタ１２０４は、この選択信号に従って、復号データを選択し、それをタイルバッファ１２０５に出力する。ブロック合成部１２０６は、タイルバッファ１２０５に格納されたタイル画像を読出し、ストライプバッファ１２０７の該当する位置に書き込む。そして１ストライプ分の復号画像が得られたところで、ストライプバッファ１２０７を復号結果の出力先、例えば、プリンタ等に出力することを繰り返す。

ここで可逆復号部１２０２は、例えば図１３の構成で良いであろう。インデックス判定部は、符号化データのヘッダを解析し、インデックスの変換テーブル（図１０（ｂ）参照）があるか否かを判定し、変換テーブルが存在する場合には、その変換テーブル（符号化されている）を、インデックス復号部１２０２ｂに出力する。インデックス復号部１２０２ｂは、変換テーブルを復号し、インデックス値から画素値（実施形態では輝度値）への逆変換テーブルを生成し、それを逆インデックステーブルメモリ１２０２ｃに書き込む。この後、インデックス判定部１２０１は、各コンポーネントの符号化データを可逆復号部１２０２ｅに出力し、復号を行わせる。復号結果は、画素値、もしくは、インデックス値のいずれかとなる。逆インデックス変換部１２０２ｄは、復号されたデータをインデックス値であるものとし、逆インデックステーブル１２０２ｃを参照して画素値に変換する。インデックス判定部１２０２ａは、各コンポーネントがインデックス値、画素値のいずれで符号化されているかについて判定済みであるので、その判定結果をセレクタ１２０２ｆに出力することで、注目タイルの注目コンポーネントの画素値を復号することが可能になる。

＜変形例の説明＞
上記実施形態では図１の構成に基づく説明であったが、パーソナルコンピュータ等の汎用の情報処理装置（以下、ＰＣ）上で実行するコンピュータプログラムでもっても実現する例を以下に説明する。

図１４はＰＣのブロック構成図である。図示において、１４０１は装置全体を制御するＣＰＵであり、１４０２はメインメモリとなるＲＡＭである。１４０３はＢＩＯＳやブートプログラムを格納しているＲＯＭである。１４０４はキーボード、１４０５はマウス（登録商標）等のポインティングデバイス（ＰＤ）である。１４０６はＣＲＴや液晶等の表示装置である。

１４０７はハードディスク装置等の外部記憶装置であり、ここにＯＳをはじめ、画像圧縮に関するプログラムが格納されている。また、各種データファイルもここに格納される。１４０８はフロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭドライブ等の記憶媒体ドライブであり、１４０９はスキャナ装置等の外部装置と接続するためのインタフェースである。そして、１４１０は上記構成を電気的に接続するためのバスである。

上記構成において、本装置の電源をＯＮにすると、ＣＰＵ１４０１はＲＯＭ１４０３に格納されたＯＳをＲＡＭ１４０２にロードし、起動することになる。ＯＳ起動後、本変形例における画像符号化アプリケーションプログラムをＯＳを介して外部記憶装置１４０７からＲＡＭ１４０２にロードし、実行する。

ここでは説明を簡単なものとするため、インタフェース１４０９にイメージスキャナが接続されていて、原稿を読取り、その画像を符号化し、外部記憶装置１４０７にファイルとして格納する例を説明する。説明を簡単なものとするため、入力画像は上記の実施形態と同じ、Ｒ、Ｇ、Ｂ各８ビットで表わされているものとする。

図１５、図１６は本変形例における符号化処理を示すフローチャートである。

先ず、ステップＳ１２０１では、原稿画像を読取り、ＲＡＭ１４０２に確保されたバッファーに１ストライプ分の画像データを格納する。

そして、ステップＳ１２０２にて、１タイル分の画像データをバッファより読み出す。そして、ステップＳ１２５０で、フラグＦＬＡＧを“０”に初期化し、ステップＳ１２０２で、そのタイル内の画素毎に属性を判定し、１画素でも文字／線画属性の画素が存在したら、そのタイルを文字／線画属性と判定し、ステップＳ１２５１でフラグＦＬＡＧを“1”にセットし、ステップＳ１２０３を行わず、ステップＳ１２０４に進む。

一方、文字／線画領域以外であると判断した場合には、ステップＳ１２０３で非可逆符号化を行う（この非可逆符号化処理で得られた符号化データ量をＣＬＨとする）。

つまり、文字／線画領域である場合には、この時点で注目タイルについては、可逆符号化を行うことが約束されるわけであるから、ステップＳ１２０３の処理をスキップしたことをフラグＦＬＡＧに記憶させることになる。従って、文字／線画領域にある場合には、非可逆符号化処理が行われないことになるので、処理速度を早めることが可能になる。

さて、処理がステップＳ１２０４に進むと、可逆符号化の前段階である、読出した１タイル中のＲ、Ｇ、Ｂの有効レベル数ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）を算出する。この処理は、図６に示すフローチャートにしたがえば良いであろう。

そして、ステップＳ１２０５にて、Ｒ成分の有効レベル数ＮＬＶ（Ｒ）と閾値ＭＬとを比較し、「ＮＬＶ（Ｒ）≧ＭＬ」の関係を満たす場合には、ステップＳ１２０６に進んで、入力したタイルのＲ成分値をそのまま利用して可逆符号化を行う。

また、「ＮＬＶ（Ｒ）＜ＭＬ」の関係にあると判断した場合には、ステップＳ１２０７にてインデックス化し、ステップＳ１２０８にてインデックス値を可逆符号化する。

上記はＲ成分についての可逆符号化処理であるが、上記と同様の処理を、Ｇ、Ｂ成分についても行う。これを示すのがステップＳ１２０９、Ｓ１２１０である。それぞれの処理内容は、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）と置換えれば良いので説明するまでもないであろう。

１つのタイルに対するＲ、Ｇ、Ｂの全コンポーネントの可逆符号化処理が完了する（生成される符号化データ量をＣＬＫとする）と、ステップＳ１２５２にて、フラグＦＬＡＧが“1”であるか否かを判断する。“1”である場合には、注目タイルについては可逆符号化データを出力されることになっているので、ステップＳ１２１５（後述）に処理を進む。

また、フラグＦＬＡＧが“1”ではなく“０”であると判断した場合には、ステップＳ１２１１にて、全有効レベル数ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）が閾値ＭＬ未満であるか否かを判断する。もしこの条件を満たすと判断した場合には、ステップＳ１２１２にて重み付け係数αに正の所定値（実施形態では仮に“１００”）を設定する。また、１つの色成分の有効レベル数が閾値ＭＬ以上になった場合には、重み付け係数αには“０”を設定する。

こうして、重み付け係数αの設定処理を終えると、処理はステップＳ１２１４に進み、「ＣＬＫ＜ＣＬＨ＋α」を満足するか否かを判定する。

「ＣＬＫ＜ＣＬＨ＋α」を満たすと判断した場合、或いは、ステップＳ１２５２でＹｅｓと判定された場合、先のステップＳ１２０５乃至Ｓ１２１０で得られた可逆符号化データを、注目タイルの符号化データとしてＲＡＭ１４０２に確保された出力バッファに出力する。この際、データフォーマットは図１０（ａ）もしくは図１０（ｂ）の形式である。

また、「ＣＬＫ≧ＣＬＨ＋α」と判断した場合には、先のステップＳ１２０３の処理で得られた非可逆符号化データを、注目タイルの符号化データとして出力バッファに出力する。

ステップＳ１２１７は、注目タイルが注目ストライプの最後のタイルであるか否かを判断する。否の場合には、ステップＳ１２０２以降の処理を繰り返す。

また、注目タイルが注目ストライプの最後のタイルであると判断した場合には、ステップＳ１２１８に進み、注目ストライプが画像データの最終ストライプであるか否かを判断し、否の場合にはステップＳ１２０１以降の処理を繰り返す。

最終ストライプの最終タイルであった場合、画像全体の符号化が完了したことを意味するので、ステップＳ１２１９に進み、ヘッダ情報を付加し、出力バッファに格納された符号化データをファイルとして外部記憶装置１４０７に書き込み保存し、本処理を終了することになる。

以上説明したように、先に説明した第１の実施形態と同様の処理を、ＰＣ等の汎用の情報処理装置上で実行するアプリケーションプログラムとしても実現できることになり、同様の作用効果を奏することが可能になる。

なお、復号処理であるが、復号処理は基本的に符号化処理とは逆の手順にしたがって行えばよいのは、自明のことであろうから、ここでの説明については省略する。

また、実施形態では、符号化対象の画像データはＲ、Ｇ、Ｂ成分で表現され、各８ビットであるものとして説明したが、これに限られるものではなく、他の色空間、他のビット数でも構わない。これは以下に説明する例でも同様である。

［第２の実施形態］
第１の実施の形態に示した方法を用いることで、図２０に示したような縦横方向のグラデーションや、左上から右下へ濃度が変化するグラデーションが一部存在するタイルを確実に可逆符号化することができる。

しかしながら、図２１に示した、右上から左下へ濃度が変化するグラデーションについては、非可逆符号化することになり、画質の劣化が目立つ。本実施の形態においては、図２１で示したようなグラデーション（以下、第１のグラデーションと呼ぶ）を含むタイルに関して、確実に可逆符号化できる方法を示す。

図１９に本実施の形態における画像符号化装置を示す。同図において、第１の実施の形態の画像符号化装置におけるタイル判定部１１７を、タイル判定部１９０１へ置き換えたものである。以下の説明では、タイル判定部１９０１における処理に注力する。

第１のグラデーション領域において、図１１の位置にある４画素a,b,c,dは、少なくとも一つのコンポーネントに関して、値がPa(C)<Pc(C)<Pb(C)<Pd(C)もしくはPa(C)>Pc(C)>Pb(C)>Pd(C)（ただし、C=0,1,2）のような関係にある（以下、一様増加／減少関係と呼ぶ）。

タイル判定部１９０１は、この特徴を利用して第１のグラデーションの有無を判定する。以下、図１８のフローチャートを用いて、タイル属性判定部１１７における処理フローを詳細に説明する。なお、同図のフローチャートは第１の実施の形態におけるタイル判定部１１７のフローチャート（図１７）に、ステップ１８０１を追加したものであり、当ステップに限定して処理フローを説明する。

ステップＳ１７０２で周囲４画素に同一画素が存在しない場合、周囲４画素の間で、一つ以上のコンポーネントに関して一様増加／減少関係があるかどうか判定する（ステップ１８０１）。もし一様増加／減少関係がある場合（ステップ１８０１でＹｅｓ）、セレクタ１１５へビット“1”を出力し（ステップ１７０３）、そうでない場合、処理をステップ１７０４へ進める。

以上が画像符号化装置の説明である。

本実施の形態における画像復号装置に関しては、第１の実施の形態における画像復号装置と同様な処理を行うため、説明を割愛する。

以上説明したように本実施形態によれば、部分的にグラデーションを含むタイルを可逆符号化により処理できるため、グラデーションの品位を向上させることが可能となる。

［他の実施形態］
第１の実施の形態において、周囲４画素間における同一色画素の有無を基に画素属性を判定したが、画素属性の判定方法はこれに限られない。例えば、周囲４画素の中に注目画素と同色の画素が存在する場合、注目画素を文字／線画画素と判定してもよい。

また、通常、コンピュータプログラムは、それを格納したＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体を、コンピュータにセットし、システムにコピーもしくはインストールすることで実行可能になるわけであるから、当然、このようなコンピュータ可読記憶媒体も本願発明の範疇にあることも明らかである。

第１の実施形態に係る画像処理装置のブロック構成図 可逆符号化部の構成を示す図 注目画素と近傍画素との関係を示す図 メモリ２０４に格納されるハフマンテーブルの例を示す図 フラグ配列Ｆ（ｃ，ｉ）のデータフォーマットを示す図 有効レベル数カウント部１０４の処理のフローチャート インデックス変換テーブルＩＤＸ（ｃ、i ）の内容の一例を示す図 インデックステーブル生成部１１３の処理を示すフローチャート 本画像処理装置の出力符号列のデータフォーマットを示す図 １つのタイルの符号列のデータフォーマットを示す図 注目画素と周囲画素を示す図 第１の実施形態における復号装置のブロック構成図 図１２における可逆復号部のブロック構成図 第１の実施形態の変形例を実現する情報処理装置の構成図 第１の実施形態の変形例の処理手順を示すフローチャート 第１の実施形態の変形例の処理手順を示すフローチャート タイル属性判定部１１７におけるフローチャート タイル属性判定部１９０１におけるフローチャート 第２の実施形態に係る画像処理装置の構成図 グラデーションの説明図 グラデーションの説明図 文字劣化が生じるタイルの説明図

符号の説明

１０１ ストライプバッファ
１０２ ブロック分割部
１０３ タイルバッファ
１０４ 有効レベル数カウント部
１０５ インデックステーブル用メモリ
１０６ インデックス変換部
１０８ タイルデータ可逆符号化部
１０９ 可逆符号列形成部
１１３ インデックステーブル生成部
１１４ タイルデータ非可逆符号化部
１１６ 符号列形成部
１１７ タイル属性判定部

Claims (8)

1. 画像データを入力し、符号化する画像符号化装置であって、
   画像データを所定サイズのブロックに分割する分割手段と、
   分割されたブロックに関して、画素単位に文字／線画、写真の属性を判定し、文字／線画画素の有無を基に文字／線画属性を有する否かを判定する判定手段と、
   分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化手段と、
   分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化手段と、
   前記判定手段によって、注目ブロックが文字／線画画像の属性を有する場合、前記可逆符号化手段で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判断した場合には、前記可逆符号化手段及び前記非可逆符号化手段それぞれで生成された符号化データ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択手段と、
   前記選択手段で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力手段と
   を備えることを特徴とする画像符号化装置。
2. 前記可逆符号化手段は、
   前記分割手段で分割されたブロック中の各色成分の取り得る成分値範囲で、幾つの成分値が存在したか示す出現数を計数する計数手段と、
   ブロック内の各色成分値をインデックス値に変換する変換手段と、
   該計数手段で得られた各色成分の出現数と所定の閾値とを比較する比較手段と、
   該比較手段で出現数が前記閾値未満の場合には、前記変換手段で変換されたインデックス値を可逆符号化し、閾値以上の場合には成分値を可逆符号化する手段と
   を備えることを特徴とする請求項１に記載の画像符号化装置。
3. 前記選択手段における重み付け比較は、可逆符号化手段で得られた符号量をＣＬＫ、非可逆符号化手段で得られた符号量をＣＬＨ、注目ブロックの全色成分の前記出現数が所定以下の場合には正の所定値となり、それ以外では０となる重み付け係数αを定義した場合、
   条件：ＣＬＫ＜ＣＬＨ＋α
   を満足する場合には、可逆符号化手段で得られた可逆符号化データを選択し、前記条件を満たさない場合には非可逆符号化手段で得られた非可逆符号化データを選択することを特徴とする請求項２に記載の画像符号化装置。
4. 前記判定手段は、注目画素並びに周囲画素の状態を基に判定することを特徴とする請求項１に記載の画像符号化装置。
5. 文字／線画だけでなくグラデーションの有無も判定できる画像符号化装置であって、画素単位のグラデーション属性を判定する際、注目画素の周囲画素に関して、所定の大小関係がある場合、注目画素はグラデーション属性を保有すると判定することを特徴とする請求項１に記載の画像符号化装置。
6. 画像データを入力し、符号化する画像符号化方法であって、
   画像データを所定サイズのブロックに分割する分割工程と、
   分割されたブロックが網点画像の属性を有する否かを判定する判定工程と、
   分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化工程と、
   分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化工程と、
   前記判定工程によって、注目ブロックが網点画像の属性を有する場合、前記可逆符号化工程で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判断した場合には、前記可逆符号化工程及び前記非可逆符号化工程それぞれで生成された符号化データ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択工程と、
   前記選択工程で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力工程と
   を備えることを特徴とする画像符号化方法。
7. コンピュータが読み込み実行することで、入力した画像データを符号化する画像符号化装置として機能するコンピュータプログラムであって、
   画像データを所定サイズのブロックに分割する分割手段と、
   分割されたブロックが網点画像の属性を有する否かを判定する判定手段と、
   分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化手段と、
   分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化手段と、
   前記判定手段によって、注目ブロックが網点画像の属性を有する場合、前記可逆符号化手段で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判断した場合には、前記可逆符号化手段及び前記非可逆符号化手段それぞれで生成された符号化データ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択手段と、
   前記選択手段で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力手段
   として機能することを特徴とするコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images