JP2008042681A - 画像処理方法及び装置、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】複数画素で構成されるブロック単位に適応的に可逆、非可逆符号化を行ない、可逆、非可逆符号化データの混在を許容し、復号時ブロック境界のノイズ発生を抑制する。又、画像符号化データ量の増加も抑え、更にハード、ソフトウェアの時の規模の増大を極力抑える。
【解決手段】第１の符号化部は、解像度変換部で、より低い解像度に変換されたタイルの画像を非可逆符号化し、第２の符号化部は、入力したタイルの画像データを可逆符号化する。特定画像判定部は、注目タイルの画像が、解像度変換前後の差が大きい画像に属すか否か判定する。注目タイルの画像が特定画像パターンに属する場合、符号化データ選択部は可逆、非可逆符号化データのうち、予め設定された種類の符号化データを選択出力する。又、注目タイルの画像が特定画像パターンに属さない場合、符号化データ選択部は、符号量の少ない方を注目タイルの画像の符号化データとして選択出力する。
【選択図】図１

Description

本発明は、画像データを効率よく、かつ、画質劣化を抑えながら、一定符号量以内に圧縮符号化する機能を有する画像処理装置及び方法に関するものである。

従来、静止画像の圧縮方式には、離散コサイン変換を利用したＪＰＥＧ方式や、Ｗａｖｅｌｅｔ変換を利用した方式が多く使われている。この種の符号化方式は、可変長符号化方式であるので、符号化対象の画像毎に符号量が変化するものである。

国際標準化方式であるＪＰＥＧ方式では、画像に対して１組の量子化マトリクスしか定義できないので、プリスキャン無しには、符号量の調整が行えない。従って、限られた容量のメモリに符号化データを記憶するシステムで使用する場合においては、メモリオーバーを起こす危険性がある。

これを防止する方法として、例えば、プリ圧縮したデータを内部バッファメモリに入れ、これを伸長し、圧縮パラメータを変え、本圧縮し、記憶する方式が知られている。このとき、本圧縮は、プリ圧縮よりも圧縮率を高めにする必要がある。

また、リアルタイムに圧縮を行う方法として、圧縮パラメータを変更できる第１の圧縮手段と、圧縮パラメータを変更でき、かつ、第１の圧縮手段で圧縮して得られた符号化データを復号して再圧縮する第２の圧縮手段とを備える装置であって、第１の圧縮手段で圧縮中の符号化データの量が所定量になった場合には、第１、第２の圧縮手段に圧縮率を高く設定しなおし、第２の圧縮手段によって第１の圧縮手段で既に生成された符号データを再符号化させ、再符号化された符号化データを第１の圧縮手段のパラメータ変更後の符号化データとして保存し、パラメータ変更後の第１の圧縮手段で生成された符号化データを、後ろに続く符号化データとして保存する技術が知られている（特許文献１）。
特開２００３−８９０３号公報

しかしながら、特許文献１のような従来技術の符号化は、非可逆処理が用いられており、全ての画像について画質が満足するかどうかは保証されていない。さらには、符号化データ量が所定サイズに収まらなかった場合には、画像全体にわたり一律に高い圧縮率となるようにする。従って、画像全体が自然画の場合には問題はないものの、自然画と文字線画が混在しているページを符号化するとき、文字線画の画質劣化を防ぐことはできない。

つまり、この文献に開示された符号化技術は、生成される符号量は目標符号量以下にすることはできても、自然画、非自然画などの属性の異なる領域が混在した画像については画質と符号化効率の両方を満足することに至っていず、改善の余地がある。

本発明は上記従来例に鑑みて成されたものであり、複数画素で構成されるブロック単位に、適応的に可逆、非可逆符号化を行ない、可逆、非可逆符号化データの混在を許容しつつ、復号時のブロック境界のノイズの発生を抑制でき、且つ、画像符号化データ量の増加を抑えることができ、更には、ハード、ソフトウェアにしたときの規模の増大を極力抑える技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理方法は以下の構成を備える。すなわち、
画像データを圧縮符号化する画像処理方法であって、
符号化対象の画像データを、複数画素で構成されるタイルサイズに分割し、タイル単位に画像データを入力する入力工程と、
符号化対象の画像データが有する解像度よりも低い解像度に、入力したタイルの画像データを変換する解像度変換工程と、
該解像度変換工程で変換して得られた画像データを非可逆符号化し、非可逆符号化データを生成する第１の符号化工程と、
前記入力工程で入力したタイルの画像データを可逆符号化し、可逆符号化データを生成する第２の符号化工程と、
注目タイルの画像が、前記解像度変換の前後間の画像の差が予め設定された閾値を超える性質を持つ特定画像パターンに属するか否かを判定する判定工程と、
該判定工程で、注目タイルの画像が前記特定画像パターンに属すると判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、予め設定された種類の符号化データを注目タイルの画像の符号化データとして出力し、
該判定工程で、注目タイルの画像が前記特定画像パターンに属しないと判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、符号量の少ない方を注目タイルの画像の符号化データとして出力する出力工程とを備える。

本発明によれば、複数画素で構成されるブロック単位に、適応的に可逆、非可逆符号化を行ない、可逆、非可逆符号化データの混在を許容しつつ、復号時のブロック境界のノイズの発生を抑制できる。また、画像符号化データ量の増加を抑えることもでき、更には、ハード、ソフトウェアにしたときの規模の増大を極力抑えることも可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
図１は、本実施形態における画像処理装置１００のブロック構成図である。

実施形態における画像処理装置１００は、ページ記述言語のデータをレンダリングするレンダラ（不図示）により生成した画像データを符号化する例を説明する。入力部１０１は、画像データ中のタイル（実施形態では１タイル＝１６×１６画素とするが、これに限らない）単位に入力するものとする。なお、入力部１０１の入力対象はレンダラからの画像データに限らず、イメージスキャナからの画像データでもよいし、記憶媒体に格納された画像ファイルでも構わない。また、ネットワークより受信した画像データをその対象としても構わず、入力源の種類は問わない。

解像度変換部１０２は、入力されたタイルの画像データの解像度変換を行う。なお、解像度変換処理としては、例えば、水平２画素、垂直２画素の４画素から１画素を抜き出す間引き（二アレストネイバー法）、あるいは、２×２画素の平均値を１出力画素とする変換方法を採用しても構わない。実施形態では、１タイルのサイズが１６×１６画素としているので、解像度変換後の画像データは８×８画素となる。

差分算出部１０３は、入力したタイルの画像データと、解像度変換後の画像データからどれだけ変化したかを示す差分情報の算出を行う。この差分算出の例に関しては、後述する。

第１の符号化部１０４は、入力された画像データの符号化を行う。なお、符号化方式は公知の非可逆符号化技術の１つであるＪＰＥＧ符号化方式を用いた。従って、第１の符号化部１０４は解像度変換後の８×８画素の画素ブロックで示される画像データを直交変換し、量子化ステップを用いた量子化、ハフマン符号化処理を行うことになる。なお、第１の符号化部１０４は、生成された符号化データの先頭に、非可逆符号化であること、換言すれば、第１の符号化部１０４で符号化されたことを示す識別ビットを付加し、符号化データ選択部１０４に出力する。

第２の符号化部１０５は、入力されたタイルの画像データ（多値）の可逆符号化を行う。可逆符号化方式には、ＪＰＥＧ−ＬＳ、ＰＮＧ、ＪＰＥＧ２０００等が知られているが、本実施形態ではＪＰＥＧ−ＬＳを採用するものとして説明する。なお、第２の符号化部１０５は、生成された符号化データの先頭に、可逆符号化であること、換言すれば、第２の符号化部１０５で符号化されたことを示す識別ビットを付加し、符号化データ選択部１０４に出力する。

制御部１５０は、装置全体の制御を司るものであり、特に不図示の操作パネルからの指示に従って符号化データ選択部１０７に対し、制御信号を出力する（詳細後述）。

特定画像判定部１０６は、タイル単位に、解像度変換処理を行なうと画質的に劣化が大きいか否かを判定し、その判定結果を符号化データ選択部１０７に選択信号として出力する。この特定画像判定部１０６は、差分算出部１０３で算出され出力される差分値と、第２の符号化部１０５の符号化処理中の各種情報を入力し、上記の判定を行なう（詳細後述）。

符号化データ選択部１０７は、特定画像判定部１０６及び制御部１５０それぞれからの信号、並びに、第１の符号化部１０４、第２の符号化部１０５から出力された符号化データ量に基づき、何れか一方の符号化データを選択し、メモリ１０８に出力する。この選択の原理についての詳細については後述する。

図２は、実施形態におけるメモリ１０８に出力される符号化データのデータ構造を示している。

図示に示すように、符号化データの先頭にはヘッダが設けられる。このヘッダには、原画像の水平、垂直方向の画素数、並びに、色空間を特定する情報、コンポーネントの数、各コンポーネントのビット数等、復号時に必要な各種情報が格納される。このヘッダに後続して、各タイルの符号化データが配置される。タイルの符号化データの先頭には、その符号化データが可逆符号化データであるか、非可逆符号化データであるかを示す識別ビットが格納される。

次に、実施形態における解像度変換部１０２、及び、差分算出部１０３の処理の詳細について説明する。

解像度変換部１０２は、図３に示すように、入力したタイル（実施形態では１６×１６画素）の画像データ中の２×２画素から１画素の値を次式（１）に従った処理を行なうことで得る。
Ｖ(i,j)=｛Ｖ'(2i,2j)+Ｖ'(2i,2j+1)+Ｖ'(2i+1,2j)+Ｖ'(2i+1,2j+1)｝／４ …（１）
ここで、Ｖ’（）は解像度変換前のタイル内の画素値、Ｖ（）は解像度変換後の画素値、ｉは水平方向の座標、ｊは垂直方向の座標を示している。実施形態では、１タイルに対する解像度変換後の画像データは８×８画素であるので、ｉ，ｊ＝０、１、２、…７となる。なお、実際は、カラー画像の色成分毎に式（１）を求めることになる。入力する画像データの各画素がＲＧＢの３つのコンポーネントで表わされる場合には、式（１）を各色成分毎に求めることになる。

次に、差分演算部１０３について説明する。この差分演算部１０３は、解像度変換後の画像データと、解像度変換前のタイルの画像データの差分情報Ｄを求める。具体的例は、次の通りである。
Ｄ＝Σ|Ｖ(i,j)-Ｖ'(2i,2j)|+|Ｖ(i,j)-Ｖ'(2i,2j+1)|+|Ｖ(i,j)-Ｖ'(2i+1,2j)|+|Ｖ(i,j)-Ｖ'(2i+1,2j+1)| …（２）
（ここで、Σは、i,j=0,1,2…7の合算を示す）。

実際は、上記式（２）を各コンポーネント毎に算出する。コンポーネントがＲ、Ｇ、Ｂであるとするなら、差分演算部１０３は式（２）に従って各コンポーネント毎のＤ（Ｒ）、Ｄ（Ｇ）、Ｄ（Ｂ）を求める。そして、それらの加算結果Ｄ（Ｒ）＋Ｄ（Ｇ）＋Ｄ（Ｂ）を差分情報Ｄｔとして特定画像判定部１０６に出力する。

次に、実施形態における第２の符号化部１０５と特定画像判定部１０６について説明する。

先に説明したように本実施形態における第２の符号化部１０５は可逆符号化方式であり、ＪＰＥＧ−ＬＳを利用するものとしている。

ＪＰＥＧ−ＬＳは公知の技術であるので、詳細は割愛するが、簡単に説明すると次の通りである。なお、以下の説明では、ＪＰＥＧ−ＬＳによる符号化対象をタイル（実施形態では１６×１６画素）としている点は、本実施形態特有のものであることに注意されたい。

第２の符号化部１０５は、タイル内をラスタースキャンする（左上の画素から右方向にスキャンし、ライン後端に達した場合には次ラインの左端から再び右方向にスキャンすることを繰り返す）。このスキャン中、図４に示すように、注目画素ｘの画素値を、その周囲の符号化済み位置の画素ａ，ｂ，ｃ，ｄを参照して、符号化する。より具体的には、ＪＰＥＧ−ＬＳでは、着目画素ｘの周囲４画素ａ，ｂ，ｃ，ｄを参照し、周囲４画素が全て同じ色の場合には、注目画素ｘとその直前の画素ａとが同じとなるランの計測を開始する。そして、着目画素ｘがライン終端になった場合、或いは、着目画素ｘの色とその直前の画素ａの色が異なった場合、計測したラン（同じ色が連続した個数）を符号化する。また、着目画素ｘの周囲４画素ａ，ｂ，ｃ，ｄが同一色ではない場合には、周囲画素ａ，ｂ，ｃ，ｄの少なくとも１つに基づき予測値を求め、注目画素ｘを予測符号化する。

本実施形態の特定画像判定部１０６は、第２の符号化部１０５が、注目画素ｘとその周囲画素ａ，ｂ，ｃ，ｄを参照することを利用し、スキャン中のそれら画素値を取得することで、以下に示す２色率Ｃｒ、ラン率Ｒｒを求める。そして、特定画像判定部１０６は、求めた２色率Ｃｒ、ラン率Ｒｒ、更には、差分算出部１０３からの差分情報Ｄｔに基づき、注目タイルが特定画像の性質を持つか否かを判定し、その判定結果を符号化データ選択部１０７に出力する。

まず、２色率Ｃｒについて説明する。図４に示すように、着目画素ｘに対して参照する周囲画素はａ，ｂ，ｃ，ｄの４つある。この４つの周囲画素に含まれる色数は、必ず、１乃至４のいずれかである。例えば、周囲４画素の色が全て互いに異なる場合、その周囲画素に含まれる色数は「４」となる。また、ａ＝ｂ≠ｃ＝ｄやａ＝ｃ＝ｄ≠ｂの場合には、その色数は“２”となる。本実施形態では、１タイルをスキャン中、周囲４画素に含まれる色数が「２」となる回数Ｆを求め、１タイルの画素数（１６×１６＝２５６）の比率を２色率Ｃｒとして求めた。

なお、着目画素ｘがタイルの境界にあるとき、周囲画素ａ，ｂ，ｃ，ｄの幾つかが境界外になる。このような境界外になる画素は適当な値（例えば、Ｒ＝Ｇ＝Ｂ＝０）を持つものとして２色率Ｃｒを算出する。

次に、ラン率Ｒｒについて説明する。このラン率Ｒｒは、着目タイル内のランレングス符号化対象となった画素数と、１タイルの画素数（１６×１６＝２５６）の比率である。換言すれば、ラン率Ｒｒは、着目画素ｘとその直前の周囲画素ａとが同じと判定された回数と、タイル内の画素数の比である。

さて、実施形態での特定画像判定部１０６は、上記のようにして求めた２色率Ｃｒ、ラン率Ｒｒ、及び、差分算出部１０３からの差分情報Ｄｔに基づき、注目タイルの画像が特定の画像の性質を有するか否かを判定する。そして、特定画像判定部１０６は、その判定結果を符号化データ選択部１０７に制御信号として出力する。

本実施形態での特定の画像とは、図５に示すように、２つの色の画素（典型的には白と黒の画素）が頻繁に、しかも交互に発生する画像をいう。このような性質を持つ画像であるか否かを、次の条件を満足するか否かで判定した。
条件： Ｄｔ＞Ｔｈ１、且つ、Ｃｒ＞Ｔｈ２、且つ、Ｒｒ＜Ｔｈ３
ここで、Ｔｈ１、Ｔｈ２、Ｔｈ３は予め設定された閾値であるが、利用する環境に併せて適宜変更可能とする（例えば、操作パネルに、Ｔｈ１乃至Ｔｈ３に係る組み合わせ候補を表示し、ユーザに選択させれば良い）。

Ｒ、Ｇ、Ｂがそれぞれ８ビット（２５６階調）で表わされるとき、図５に示す画像は黒画素（Ｒ＝Ｇ＝Ｂ≒０）と白画素（Ｒ＝Ｇ＝Ｂ≒２５５）が交互に並んでいる画像と言える。この画像を水平垂直とも１／２に解像度変換するため、タイル内の２×２画素の平均値を解像度変換後の画素としたとする。この場合、変換後の画素のＲ、Ｇ、Ｂの値はそれぞれ１２８近傍の値となる。従って、このような画像の場合には、差分情報Ｄｔは大きな値となることがわかる。また、２色率Ｃｒは１００％に近い値になり、ラン率Ｒｒは０％に近い値になることも容易に理解できよう。

逆に、自然画の場合、隣接する画素の色は、多少異なるものの、その差は小さいので、必然的に差分情報Ｄｔは小さくなり、２色率Ｃｒ、ラン率Ｒｒはそれぞれ適当な範囲内で変動するので、上記の条件は満足しない。

このような黒と白の画素が交互に並んだ画像が、もし濃淡を表現する目的で生成されているとするなら、解像度変換後の符号化データを選択したとしてもさほど問題にはならない。しかし、その一方で、比較的小さい文字画像が並ぶ文書画像や単位面積当たりに描画される線数が多い線画の場合、図５に近い状態に成り得る。このような文字／線画を解像度変換してしまうと文字や線画の境界の濃度が中間的な濃度になってしまい、画像のエッジがボケた状態になってしまい、可読性が悪くなり、望ましくない。

そこで、本実施形態では、操作パネル（不図示）から、可逆／非可逆のいずれを優先するかを設定でき、その設定内容に従って制御部１５０が符号化データ選択部１０７に優先する種類の符号化データを指定することにした。

以上、差分算出部１０３、特定画像判定部１０６について説明した。次に、実施形態における符号化データ選択部１０７について説明する。

本実施形態の符号化データ選択部１０７は、上記のように、第１の符号化部１０４からの非可逆符号化データ、第２の符号化部１０５からの可逆符号化データ、特定画像判定部１０６からの判定結果である制御信号、及び、制御部１５０からの制御信号を入力する。これらの各情報に基づき、符号化データ選択部１０７は、可逆、非可逆符号化データのいずれか一方を選択し、メモリ１０８に出力する。具体的には、次の様にして選択する符号化種別を決定する。
（１）．特定画像判定部１０６からの判定結果の信号が、注目タイルの画像データが特定画像の性質を有しないことを示している場合、符号化データ選択部１０７は、第１の符号化部１０４、第２の符号化部１０５それぞれから出力された符号化データ量に基づき、少ない符号量（符号長）のデータを選択し、メモリ１０８に出力する。

なお、一方に重みづけを行なった比較しても良い。例えば、注目タイルから得られた可逆符号化データ量をＭＫ、非可逆符号化データ量をＭＨと定義する。そして、適当な正の値αを設け、『ＭＫ≦ＭＨ＋α』を満足するときは可逆符号化データを選択し、満足しない場合には非可逆符号化データを選択する、といった具体である。また、比「ＭＫ／ＭＨ」と適当な閾値βとの大小関係で、選択対象を決定しても良いであろう。
（２）．特定画像判定部１０６からの判定結果の信号が、注目タイルの画像データが特定画像の性質を有することを示している場合、符号化データ選択部１０７は、制御部１５０によって予め優先する種類の符号化データを無条件に選択する。この選択は、１ページの画像の符号化が完了するまで固定である。例えば、不図示の操作パネルで、ユーザが可逆符号化を優先することを指定したとする。この場合、１ページの符号化処理中、注目タイルの画像が特定画像の性質を有することを示していると判定されると、符号化データ選択部１０７は、符号量の比較を行なわず、無条件に可逆符号化データを選択し、メモリ１０８に出力する。

上記について考察する。特定画像判定部１０６は、先に説明したように解像度変換を行なうと、その解像度変換後の画像データがオリジナルのタイルの画像データに対して差が大きいか否かを判定していると考えてよい。また、網点状態か否かを判定してるとも言える。

従って、解像度変換後の画像データと変換前の画像の差が少ない場合には、可逆、非可逆符号化データのうち、符号量の少ない方を選択することで、画質の劣化を防ぎつつ、画像全体の圧縮率を高くすることが可能になる。

一方、解像度変換後の画像データと変換前の画像データとの差が大きいと判定された場合に、設定された種類の符号化データを選択する。この結果、符号化対象の画像データ中の特定画像の性質を持つ領域については、１種類の符号化データのみが選択され、異なる種類の符号化データが混在することを抑制するが可能になる。隣接するタイルに対する符号化の種類が異なると、復号画像のタイル境界には不自然なノイズが現れ易い。本実施形態では、特定画像の性質を持つと判定された場合には、１種類の符号化データのみが選択されるので、このようなノイズ発生を抑制できる。特に、可逆符号化データを優先的に選択するように設定した場合には、タイル内の画像データは可逆符号化データであるので、タイル内の画質劣化も発生することはない。

以上実施形態における画像符号化処理を説明した。次に、上記のようにして生成された符号化データを復号する装置を説明する。

図６は上記のようにして生成された符号化データを入力し、復号する画像処理装置のブロック構成図である。

入力部６０１は、例えば、記憶媒体に格納された符号化データファイルから符号化データを入力する。判定部６０２は、入力した各タイル毎の符号化データの先頭ビットを調べることで、その符号化データが可逆符号化データであるか、非可逆符号化データであるかを判定し、その判定結果をスイッチ６０３の制御信号として出力する。

スイッチ６０３は、判定部６０２から注目タイルが非可逆符号化データであることを示す信号を受信した場合、入力した符号化データを第１の復号部６０４に出力する。また、判定部６０２から注目タイルが可逆符号化データであることを示す信号を受信した場合には、入力した符号化データを第２の復号部６０５に出力する。

ここで第１の復号部６０４は、図１の第１の符号化部１０４に対応するもので、非可逆符号化データであるＪＰＥＧ符号化データを復号する。第２の復号部６０５は、図１の第２の符号化部１０５に対応するもので、ＪＰＥＧ−ＬＳ可逆符号化データを復号する。

第１の復号部６０４より得られた画像データは８×８画素サイズであるので、このままではオリジナルのタイルサイズの大きさにはならない。そこで、解像度変換部６０６は、第１の復号部６０４より得られた８×８画素の画像データを、１６×１６画素のタイルサイズにリサイズする。この解像度変換部６０６は、公知の線形補間技術を用いて、リサイズ後の画像データを生成するものとした。

復号画像選択部６０７は、判定部６０２からの判定結果に従い、解像度変換部６０６、第２の復号部６０５の一方からの１６×１６画素のタイルデータを選択し、メモリ６０８に出力する。

以上の結果、先に説明した符号化処理で生成された符号化データを復号することが可能になる。

＜第１の実施形態の変形例＞
上記実施形態をコンピュータプログラムによって実現する例を以下に説明する。

図７はパーソナルコンピュータ等の情報処理装置のブロック構成図である。図中、１は装置全体の制御を司るＣＰＵ、２はＢＩＯＳやブートプログラムを記憶しているＲＯＭ、３はＣＰＵ１のワークエリアとして使用するＲＡＭである。４はハードディスク装置（ＨＤＤ）であり、ＯＳ（オペレーティングシステム）、及び、画像符号化・復号処理に係るアプリケーションが格納されている。５はキーボード、６はマウス等のポインティングデバイスである。７は表示制御部であって、内部には、表示する画像を描画するためのビデオメモリ、及び、ＣＰＵ１の制御下でビデオメモリへの描画したり、ビデオメモリから画像を読出しビデオ信号として表示装置８に出力するビデオコントローラを備えている。表示装置８はＣＲＴや液晶表示装置である。９はイメージスキャナ１１を接続するためのスキャナインタフェースであり、代表的なものとしてはＳＣＳＩインタフェース、ＵＳＢインタフェースである。１０はネットワークインタフェースである。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１はＲＯＭ２のブートプログラムに従って、ＨＤＤ４よりＯＳをＲＡＭ３にロードする。この結果、本装置は、ユーザからキーボード５やマウス６からの入力、及び、表示制御部７に対するＧＵＩを描画する処理を行ない、インタラクティブは装置として機能する。また、ユーザがアプリケーションの起動を指示すると、ＨＤＤ４からアプリケーションプログラムはＲＡＭ３にロードされ、ＣＰＵ１により実行されることで、本装置が画像符号化装置（或いは、画像復号装置）として機能することになる。

画像の符号化と復号の処理は、互いに表裏の関係にある。ここではアプリケーションが実行され、そのアプリケーション上でユーザが画像の符号化の指示を入力した場合のＣＰＵ１の処理手順を図９のフローチャートに従って説明することとする。復号処理は、第１の実施形態の記載内容、並びに、以下の説明から容易に理解できるであろうから、その説明は省略する。

なお、以下の説明に先立ち、ＲＡＭ３には、イメージスキャナ１１より読取った画像データを一時的に記憶するバッファメモリが確保されているものとする。また、イメージスキャナで原稿を読込む際、原稿サイズと読取り解像度が不図示のＧＵＩにて設定するものとする。従って、符号化対象の画像のサイズは、原稿サイズと読み取りサイズから求められるので、画像ブロックの個数は既知である。

まず、ステップＳ１では、可逆／非可逆符号化のいずれを優先するかを選択するメニューを表示し、ユーザにいずれかを選択させる。

次いで、ステップＳ２では、ＲＡＭ３のバッファメモリより、イメージスキャナで読取った画像中の１タイル分の画像データ（１６×１６画素の画像データ）を入力する。

ステップＳ３では、入力したタイル内をスキャンすることで可逆符号化処理を行なう。このとき、可逆符号化する際に、着目画素ｘと、その周囲画素ａ，ｂ，ｃ，ｄを読取るので、その情報を取得して２色率Ｃｒ、ラン率Ｒｒを算出するために備える（ステップＳ４）。

このステップＳ３、Ｓ４の処理を、ステップＳ５にて、注目タイルについて可逆符号化処理が完了しと判定されるまで繰り返す。なお、１タイルの可逆符号化処理が終了すると、その先頭の可逆符号化データであることを識別するための１ビットの識別情報を付加する処理を行ない、ＲＡＭ３に適当な領域に一時的に格納する。

さて、ステップＳ５にて、注目タイルの可逆符号化が終了したと判定した場合、処理はステップＳ６に進んで、先のステップＳ４で取得した情報に基づき、２色率Ｃｒ、ラン率Ｒｒを算出する。

次いで、ステップＳ７に進み、入力したタイルの画像データを水平、垂直とも１／２のサイズに解像度変換を行なう。そして、ステップＳ８にて、解像度変換後の画像データに対して非可逆符号化処理を行なう。非可逆符号化データの先頭には、非可逆であることを識別するための１ビットの識別情報を付加する処理を行ない、ＲＡＭ３の適当な領域に一時的に格納する。

ステップＳ９では、解像度変換後の画像データと解像度変換前のタイルの画像データとの差分情報Ｄｔを算出する。

こうして、差分情報Ｄｔ、２色率Ｃｒ、及び、ラン率Ｒｒが揃うと、ステップＳ１０にて、先に説明した条件を満足するか否かを判定する。すなわち、注目タイルが特定画像の性質を有するか否かを判定する。注目タイルの画像が特定画像の性質を有すると判断した場合、処理はステップＳ１１に進んで、先のステップＳ１で選択した種類の一方の符号化データを、ＲＡＭから読出し、ＨＤＤ４にファイルの一部として出力する。このとき、選択されなかった符号化データは、ＲＡＭから削除する。

一方、ステップＳ１０にて、注目タイルが特定画像の性質を有さないと判定した場合、処理はステップＳ１２に進む。このステップＳ１２では、ＲＡＭ３に一時的に格納された可逆符号化データと非可逆符号化データそれぞれのデータ量を比較し、少ない方をＨＤＤ４にファイルの一部として出力する。ここでも、選択されなかった符号化データについては、ＲＡＭ３から削除する。なお、この比較では、先に説明したように重みづけを行なってから比較しても構わない。

そして、ステップＳ１５では、上記処理を、符号化対象の画像中の全タイルについて行なったか否かをと判断し、否の場合には、ステップＳ２以降の処理を繰り返す。また、全タイルに対する符号化処理が完了したと判断した場合には、ＨＤＤ４に確保された書き込み用ファイルをクローズし、本処理を終了する。

以上説明したように、コンピュータプログラムによっても第１の実施形態と等価の処理を行なうことが可能となる。

＜第２の実施形態＞
上記第１の実施形態及びその変形例では、非可逆符号化を行なう第１の符号化部１０４は解像度変換後の画像データをその符号化対象とした。

しかし、入力する符号化対象の画像データが持つ解像度が十分に高い場合には上記第１の実施形態に従った処理で構わないが、符号化対象の画像データが元々低い解像度の場合、更に解像度を下げてしまうと画質的に問題が発生する可能性が高い。

そこで、本第２の実施形態では、符号化対象の画像データの解像度が閾値（本第２の実施形態では６００ｄｐｉとする）以上である場合に、第１の実施形態と同じ処理を行なう。そして、符号化対象の画像データの解像度が閾値未満の場合には、解像度変換をしないで非可逆符号化を行なう。

図９は本第２の実施形態の符号化側の画像処理装置のブロック構成図である。図１と異なる点は、制御部１５０は符号化対象の画像データの解像度が閾値以上であるか否かを判定し、その結果を、解像度変換部１０２、第１の符号化部１０４に出力する。判定結果の信号は、解像度変換部１０２に対しては解像度変換するか否かの指示信号として機能し、第１の符号化部１０４に対しては８×８画素データ、１６×１６画素（つまりタイル）のいずれで非可逆符号化を行なうのか示す指示信号として機能する。

符号化対象の画像データの解像度は、例えば、イメージスキャナを利用する場合には、ユーザが設定した読取り解像度を用いる。また、符号化対象の画像データがファイルとして記憶されている場合には、そのヘッダ中に格納された解像度情報を取得する。また、印刷データに基づきレンダリングを行なう場合には、印刷データ中に含まれる解像度指定コマンドを利用すればよい。

本第２の実施形態における解像度変換部１０２は、制御部１５０より解像度変換無を指示する情報を入力しているとき、第１の符号化部１０４には、入力部１０１から入力した１タイルの画像データをそのまま出力する。ただし、第１の符号化部１０４は、差分算出部１０３に対しては、入力部１０１から入力した１タイルの画像データの解像度変換を行なった結果を出力する。

解像度変換部１０２から出力される画像データが１６×１６画素の画像データである場合、その中に８×８画素データの画素ブロックが４つある。第１の符号化部１０４は、それぞれ画素ブロックについてＪＰＥＧ符号化（ＤＣＴ、量子化、エントロピー符号化）を行ない、符号化データとして出力する。また、解像度変換部１０２から出力される画像データが８×８画素の画像データである場合には、その１つの画素ブロックについてＪＰＥＧ符号化する。

ただし、本第２の実施形態の第１の符号化部１０４は、図１０に示すように、符号化データの先頭に非可逆符号化データであることを示す符号化種別を示す１ビットと、解像度変換後の画像データについて符号化したのか、解像度変換無しの画像データについて符号化したのかを識別する１ビットの計２ビットの識別情報を付加する。

なお、可逆符号化処理を行なう第２の符号化部１０６は、符号化データの先頭には可逆であることを示す１ビットのみの識別情報を付加すればよい。なぜなら、可逆符号化符号化データは、解像度変換をしていないので、この１ビットだけで、２ビット目以降が符号化データであると一義的に判定できるからである。

復号装置は、符号化データの先頭の１ビットが非可逆符号化データを示し、２ビット目が解像度変換有りを示している場合には、復号した８×８画素の画像データを線形補間処理等を利用して１６×１６画素データに変換する。また、符号化データの先頭の１ビットが非可逆符号化データを示し、２ビット目が解像度変換無しを示している場合には、４つの８×８画素の符号化データを復号し、１６×１６画素の画像データを生成し、出力すればよい。

また、本第２の実施形態に相当する処理をコンピュータプログラムによって実現できるのは、これまでの説明から明らかであろうから、その説明は省略する。

以上説明したように本第２の実施形態によれば、符号化対象の画像の解像度が閾値より高い場合、非可逆符号化処理を行なう第１の符号化部１０４は実質的にその１／４の負担で非可逆符号化データを生成すれば良い。従って、第１の符号化部１０４にかかる負担を軽減させることができる。また、符号化対象の画像の解像度が閾値未満の場合、符号化対象の画像データの画素数がそれに応じて少ないと考えてよいので、第１の符号化部１０４にかかる負担が増大することなく、且つ、画質的に劣化を抑えた非可逆符号化データを生成することが可能になる。

＜第３の実施形態＞
本第３の実施形態では、画像全体の符号化データを格納するメモリのサイズが決まっており、そのメモリにデータ量が収まらない場合、再度符号化を行って一定のデータ量に制御する例を説明する。

説明を簡単にするため、ここでは第１の実施形態を基礎にする例を説明する。なお、第２の実施形態を基礎にする例について後述することとする。

図１１は、本第３の実施形態の画像処理装置のブロック構成図である。図１と異なる点は、入力部１０１、第１の符号化部１０４が、制御部１５０からの指示に従った処理を行なう点、並びに、カウンタ１５１を設けた点にある。

入力部１０１は、制御部１５０から所定の指示があった場合、たとえ１ページの画像の符号化途中であっても、再度ページの先頭のタイルから画像データを入力するようにした。

また、第１の符号化部１０４は、第１の実施形態と同様、ＪＰＥＧ符号化を行なうものであるが、ＤＣＴ変換後の変換係数について量子化する際、制御部１５０より指定された量子化マトリクスＱｉを用いて量子化し、エントロピー符号化する点である。つまり、本第３の実施形態における第１の符号化部１０４は、符号化処理で利用する量子化マトリクスを制御部１５０にからの指示に応じて適宜変更可能とする。なお、量子化マトリクスＱｉには８×８個の量子化ステップ値が格納されており、その値は概ねＱ０＜Ｑ１＜Ｑ２の関係にある。１ページの画像を最初に符号化する際に用いる量子化マトリクスはＱ０である。

カウンタ１５１は、１ページの符号化開始時（再符号化開始時も含む）にリセットされ、符号化データ選択部１０７がメモリ１０８に出力する１タイル分の符号化データを出力する度に、その符号化データ量を累積加算していく。つまり、このカウンタ１５１は、１ページの画像の符号化処理中にメモリ１０８に格納されつつある符号化データ量を記憶保持することを意味する。

本第３の実施形態における制御部１５０は、例えばイメージスキャナにセットされる原稿サイズ、及び、読み取り解像度に基づき、目標符号量を決定する。そして、その原稿画像をイメージスキャナにより読取って符号化処理中、カウンタ１５１が記憶保持する符号量が目標符号量を超えたと判断した場合、入力部１０１に対して、原稿画像の先頭から再度読取るように指示すると共に、圧縮率を高く設定し再符号化を開始するものである。

以下、本第３の実施形態における制御部１５０の処理手順を図１２のフローチャートに従って説明する。

まず、ステップＳ２１において、可逆／非可逆符号化のいずれを優先するかを選択するメニューを表示し、ユーザにいずれかを選択させる。次いで、ステップＳ２２では、変数ｉを“０”で初期化する。この変数ｉは第１の符号化部１０４が利用する量子化マトリクスを決定するものである。

次いで、ステップＳ２３に進み、現在の変数ｉで特定される量子化マトリクスＱiを用いて符号化するよう、第１の符号化部１０４に設定する。また、カウンタ１５１をゼロクリアする。

この後、ステップＳ２４で符号化処理を行なう。このステップＳ２４の処理内容は、第１の実施形態と同じである。ちょうど、図８のステップＳ２乃至Ｓ１４の処理が、このステップＳ２４の処理であるので、その説明は省略する。ただし、１タイルの符号化データをメモリ１０８に出力する度に、カウンタ１５１が符号化データ選択部１０７が選択出力した符号化データ量を累積加算する処理が行われる。

ステップＳ２５では、カウンタ１５１が記憶保持する符号量が目標符号量を超えたか否かを判定する。符号量が目標符号量を超えていないと判断した場合には、ステップＳ２６にすすで、全タイルの符号化処理が完了したか否かを判断する。否の場合には、ステップＳ２４に戻り、次のタイルの符号化処理を行なう。

さて、１ページの画像の符号化中に、生成される符号量が目標符号量を超えると判断した場合、それ以上の符号化を中止する。そして、ステップＳ２７に進んで、現在の優先符号化種別が可逆符号化であるか、非可逆符号化であるかを判断する。このステップＳ２７に最初に処理が移った場合には、ステップＳ１１で選択した符号化種別が可逆であるか非可逆であるかを判断することと等価である。

もし、現在の優先する符号化の種類が可逆であると判断した場合、多数のタイルが特定画像の性質を持ち、メモリ１０８に格納された大多数の符号化データが可逆符号化データである可能性が高い。従って、第１の符号化部１０４に設定する量子化マトリクスをＱiからＱi+1に変更し、画像を再符号化しても、符号量を少なくできる可能性が低いと言わざるを得ない。そこで、現在の優先符号化の種類が可逆であると判断した場合には、処理はステップＳ２８に進んで、非可逆符号化を優先するように変更する。つまり、特定画像の性質を持っていると判断した場合に、第１の符号化部１０４からの符号化データを選択するように変更する。この後、ステップＳ３０に進んで、画像の先頭から再入力するよう入力部１０１に対して設定し、ステップＳ２３に戻って、再符号化を開始する。

また、ステップＳ２７にて、現在の優先する符号化の種類が非可逆であると判断した場合、ステップＳ２９に進み、変数ｉを“１”だけ増加させ、第１の符号化部１０４に対して１段階高い、量子化マトリクスを選択させる準備を行なう。そして、ステップＳ３０に進んで、画像の先頭から再入力するよう入力部１０１に対して設定し、ステップＳ２３に戻って、再符号化を開始する。なお、ステップＳ３０の処理では、カウンタ１５１はゼロクリアする。また、メモリ１０８に格納された符号化データは破棄する（もしくは、書き込み開始アドレスを初期値に戻す）処理も行なうものとする。なお、符号量が目標符号量を超える回数が２回め以降では、必ず、ステップＳ２７はＮｏと判断されることになることに注意されたい。

以上の結果、本第３の実施形態によれば、第１の実施形態と同様の作用効果を奏し、更に、生成される符号量を目標符号量以内にすることも可能になる。

なお、第３の実施形態では、第１の符号化部１０４がＪＰＥＧ符号化を行なうことを前提にして、量子化マトリクスを変更する例を説明した。設定するパラメータに従って圧縮率を変更可能な符号化技術であれば、その種類は問わないので、上記実施形態で本発明が限定されるものではない。

また、本第３の実施形態を、第１、第２の実施形態と同様に、コンピュータプログラムによっても実現できることも明らかである。

以上本発明に係る実施形態を説明したが、実施形態では符号化対象の画像データはＲＧＢであり、各８ビットであることを前提にして説明したが、色空間がＲＧＢに限定されるものではなく、各各コンポーネントも８ビットに限定されるものではない。また、非可逆符号化処理を行なう第１の符号化部１０４がＪＰＥＧを利用する場合、タイルのサイズは８Ｍ×８Ｎ（Ｍ、Ｎは２以上の整数）に制約されるものの、必ずしも１６×１６に限定されるものではない。

また、非可逆符号化、可逆符号化の種類も、上記実施形態に限らず、如何なる方式を採用しても構わない。

更に、上記各実施形態では、コンピュータプログラムによっても実施形態の作用効果を奏することを説明した。通常、コンピュータプログラムはＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータが有するリーダ（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。したがって、本発明はかかるコンピュータ可読記憶媒体をもその範疇とすることも明らかである。

第１の実施形態における画像処理装置のブロック構成図である。 第１の実施形態で生成される符号化データのデータ構造を示す図である。 実施形態における解像度変換部の処理、及び、差分算出部の処理を説明するための図である。 実施形態における第２の符号化部の処理を説明するための図である。 実施形態における特定画像の典型的な例を示す図である。 第１の実施形態における復号装置のブロック構成図である。 第１の実施形態の変形例であるコンピュータのブロック構成図である。 コンピュータの処理手順を示すフローチャートである。 第２の実施形態における画像処理装置のブロック構成図である。 第２の実施形態で生成される符号化データのデータ構造を示す図である。 第３の実施形態における画像処理装置のブロック構成図である。 第３の実施形態における処理手順を示すフローチャートである。

Claims (9)

1. 画像データを圧縮符号化する画像処理方法であって、
   符号化対象の画像データを、複数画素で構成されるタイルサイズに分割し、タイル単位に画像データを入力する入力工程と、
   符号化対象の画像データが有する解像度よりも低い解像度に、入力したタイルの画像データを変換する解像度変換工程と、
   該解像度変換工程で変換して得られた画像データを非可逆符号化し、非可逆符号化データを生成する第１の符号化工程と、
   前記入力工程で入力したタイルの画像データを可逆符号化し、可逆符号化データを生成する第２の符号化工程と、
   注目タイルの画像が、前記解像度変換の前後間の画像の差が予め設定された閾値を超える性質を持つ特定画像パターンに属するか否かを判定する判定工程と、
   該判定工程で、注目タイルの画像が前記特定画像パターンに属すると判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、予め設定された種類の符号化データを注目タイルの画像の符号化データとして出力し、
   該判定工程で、注目タイルの画像が前記特定画像パターンに属しないと判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、符号量の少ない方を注目タイルの画像の符号化データとして出力する出力工程と
   を備えることを特徴とする画像処理方法。
2. 画像データを圧縮符号化する画像処理方法であって、
   符号化対象の画像データの解像度が予め設定された閾値以上であるか否かを判定する解像度判定工程と、
   符号化対象の画像データを、複数画素で構成されるタイルサイズに分割し、タイル単位に画像データを入力する入力工程と、
   前記解像度判定工程によって前記符号化対象の画像データの解像度が予め設定された閾値以上であると判定した場合には、符号化対象の画像データが有する解像度よりも低い解像度に、入力したタイルの画像データを変換して出力し、
   前記解像度判定工程によって前記符号化対象の画像データの解像度が予め設定された閾値未満であると判定した場合には、入力したタイルの画像データのまま出力する解像度変換処理工程と、
   該解像度変換処理工程より出力された画像データを非可逆符号化し、非可逆符号化データを生成する第１の符号化工程と、
   前記入力工程で入力したタイルの画像データを可逆符号化し、可逆符号化データを生成する第２の符号化工程と、
   注目タイルの画像が、前記解像度変換の前後間の画像の差が予め設定された閾値を超える性質を持つ特定画像パターンに属するか否かを判定する判定工程と、
   該判定工程で、注目タイルの画像が前記特定画像パターンに属すると判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、予め設定された種類の符号化データを注目タイルの画像の符号化データとして出力し、
   該判定工程で、注目タイルの画像が前記特定画像パターンに属しないと判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、符号量の少ない方を注目タイルの画像の符号化データとして出力する出力工程と
   を備えることを特徴とする画像処理方法。
3. 前記判定工程は、符号化対象の画像が持つ解像度よりも低い解像度に変換した後の画像データと変換前の画像データとの差分を算出する差分算出工程とを備え、
   差分算出工程で算出された差分が第１の閾値以上の場合、注目タイルの画像が前記特定画像パターンに属すると判定することを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記判定工程は、更に、
   前記注目タイル内をスキャンし、当該スキャン中に、着目画素の周囲に存在する複数の周囲画素が持つ色数が２となる回数と、注目タイル内の画素数との割合を算出する第１の算出工程と、
   前記スキャン中に注目画素とその直前の画素が同じとなる個数と、注目タイルの画素数との割合を算出する第２の算出工程とを備え、
   前記第１の算出工程で得られた割合が第２の閾値以上であり、前記第２の算出工程で得られた割合が第３の閾値以下となる場合に、前記注目タイルが前記特待画像パターンに属すると判定することを特徴とする請求項２に記載の画像処理方法。
5. 更に、前記判定工程で、注目タイルの画像が前記特定画像パターンに属すると判定された場合の、選択すべき符号化データの種類を設定する設定工程を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記第１の符号化工程は、符号化パラメータに従って発生する符号量を変更可能な符号化方法を利用していて、
   前記画像処理方法は、更に、
   前記出力工程で出力する符号化データ量を累積加算し、総符号化データ量が予め設定された目標符号量を超えたか否かを監視する監視工程と、
   該監視工程によって、前記設定工程で設定された符号化種類が可逆符号化データであるか否かを判定する符号化種類判定工程と、
   該符号化種類判定工程で、可逆符号化データが設定されていると判定した場合、非可逆符号化データが設定されているとして変更する設定変更工程と、
   前記符号化種類判定工程で、非可逆符号化データが設定されていると判定した場合、前記第１の符号化工程に対して、従前よりも高い圧縮率となる符号化パラメータを設定する符号化パラメータ設定工程と、
   前記設定変更工程、又は、符号化パラメータ設定工程の処理を行なったとき、画像データの先頭から再符号化を開始する制御工程と、
   を備えることを特徴とする画像処理方法。
7. 画像データを圧縮符号化する画像処理装置であって、
   符号化対象の画像データを、複数画素で構成されるタイルサイズに分割し、タイル単位に画像データを入力する入力手段と、
   符号化対象の画像データが有する解像度よりも低い解像度に、入力したタイルの画像データを変換する解像度変換手段と、
   該解像度変換手段で変換して得られた画像データを非可逆符号化し、非可逆符号化データを生成する第１の符号化手段と、
   前記入力手段で入力したタイルの画像データを可逆符号化し、可逆符号化データを生成する第２の符号化手段と、
   注目タイルの画像が、前記解像度変換の前後間の画像の差が予め設定された閾値を超える性質を持つ特定画像パターンに属するか否かを判定する判定手段と、
   該判定手段で、注目タイルの画像が前記特定画像パターンに属すると判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、予め設定された種類の符号化データを注目タイルの画像の符号化データとして出力し、
   該判定手段で、注目タイルの画像が前記特定画像パターンに属しないと判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、符号量の少ない方を注目タイルの画像の符号化データとして出力する出力手段と
   を備えることを特徴とする画像処理装置。
8. コンピュータが読み込み実行することで、画像データを圧縮符号化する画像処理装置として機能するコンピュータプログラムであって、
   符号化対象の画像データを、複数画素で構成されるタイルサイズに分割し、タイル単位に画像データを入力する入力手段と、
   符号化対象の画像データが有する解像度よりも低い解像度に、入力したタイルの画像データを変換する解像度変換手段と、
   該解像度変換手段で変換して得られた画像データを非可逆符号化し、非可逆符号化データを生成する第１の符号化手段と、
   前記入力手段で入力したタイルの画像データを可逆符号化し、可逆符号化データを生成する第２の符号化手段と、
   注目タイルの画像が、前記解像度変換の前後間の画像の差が予め設定された閾値を超える性質を持つ特定画像パターンに属するか否かを判定する判定手段と、
   該判定手段で、注目タイルの画像が前記特定画像パターンに属すると判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、予め設定された種類の符号化データを注目タイルの画像の符号化データとして出力し、
   該判定手段で、注目タイルの画像が前記特定画像パターンに属しないと判定された場合、前記可逆符号化データ、前記非可逆符号化データのうち、符号量の少ない方を注目タイルの画像の符号化データとして出力する出力手段
   としてコンピュータに機能させることを特徴とするコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images