JP2006345047A - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】 文字領域と非文字領域を分離することなく、原画像および圧縮画像に応じて圧縮画像のノイズ抑制に最適な階調補正フィルタを自動的に生成する画像処理装置、画像処理システムおよび画像処理方法を提供する。
【解決手段】 原画像入力手段３０１は、入力された原画像データ１を原画像メモリ４１に格納する。復号画像入力手段３０２は、入力された復号画像データ２を復号画像メモリ４２に格納する。画像比較手段３０３は、原画像メモリ４１および復号画像メモリ４２を参照して、復号画像における画素値が所定の画素値となる画素数を数え、復号画像における画素値が所定の画素値となる全画素について、原画像上の同一座標の画素値を累積し、頻度表メモリ４３に記憶する。パレット生成手段３０４は、画素値の比較統計結果を頻度表メモリ４３から読み出し、パレットテーブルをパレットメモリ４４内に生成する。
【選択図】 図１

Description

本発明は、圧縮符号化されたデジタル画像の雑音を抑制する画像処理装置、画像処理システムおよび画像処理方法に関する。

近年、デジタル画像を記録・伝送する際の情報量を削減するために、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）やＤＷＴ（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）などを利用した画像圧縮符号化方式が提案され、広く採用されている。

しかし、ＤＣＴやＤＷＴを用いる圧縮伸張方式は、いずれも、高圧縮になるに従って、エッジ近辺での雑音や歪み（モスキートノイズ）が大きくなり、視覚的品質が低下するという問題がある。このため、こうしたノイズを抑制する手法が考案されている。

従来の画像処理システムの一例が、特許文献１および特許文献２に記載されている。

特許文献１に記載の方式は、画像中の文字領域を入力する手段と、文字領域の階調補正を行う手段を備えており、復号後の画像に対して、文字領域のコントラストを強調するような階調補正が加えられる。文字領域で発生するモスキートノイズは、たとえば白地に黒文字が描かれている場合には、背景の白地領域に、中濃度のグレーの画素となって現れる場合が多い。そこで、文字領域周辺のコントラストを上げるよう階調補正を行うことで、背景が完全な白地となって、視覚的品質が向上する。

また、特許文献２に記載の方式は、圧縮クオリティ算出手段と、階調カーブ決定手段を備えている。特許文献１に記載の方式では、圧縮品質によらず階調補正が行われるが、圧縮品質が高い場合は、そもそもモスキートノイズがほとんど発生せず、階調補正が不要な場合もある。これに対して、特許文献２に記載の方式では、圧縮品質が低い場合と高い場合とにおいて、異なった階調補正カーブを適用することができる。

特開平５−２９４０１８号公報（段落００１２−００１３） 特開２００４−３２２８１号公報（段落００３４−００３５）

従来の画像処理システムの第１の問題点は、文字領域と非文字領域の分離処理にコストがかかることである。こうした分離処理は、現在も数多く研究が行われている分野であり、一般的な入力画像に対して完全な自動分離を実現するのは未だ困難である。また、高精度な自動分離になるほど、プロセッサ能力や必要記憶領域、処理時間等のコストも大きくなる。

従来の画像処理システムの第２の問題点は、文字領域と非文字領域がとを分離できない場合に、画像ごとに最適な階調補正カーブが得られないことである。例えば、文字領域が多くを占める画像と非文字領域が多くを占める画像とを比べた場合、画像全体に適用すべき階調補正カーブは、それぞれ異なったものとなる。具体的には、文字領域が多い画像でノイズを除去するには、コントラストを大きく上げる必要があるのに対して、文字領域がほとんどない画像では、文字画像ほどの大きな階調補正は不要である。

また、文字領域のみで構成される画像であっても、文字と背景が白黒２値のみで表される場合には、２値化の階調補正を行うことが望ましいのに対して、文字境界がアンチエリアス処理によって多値となっている場合などは、単純にコントラストを上げる階調補正を行うことが望ましい。

以上のように、従来の方式では、文字領域と非文字領域の自動分離が難しく、また、画像ごとに最適な階調補正を行うことができないという課題がある。

本発明は、文字領域と非文字領域を分離することなく、圧縮画像のノイズを抑制するための階調補正フィルタを自動的に生成することができる画像処理装置、画像処理システムおよび画像処理方法を提供することを目的とする。また、原画像および圧縮画像に応じて、その圧縮画像のノイズ抑制に最適な階調補正フィルタを自動的に生成することができる画像処理装置、画像処理システムおよび画像処理方法を提供することを目的とする。

本発明による画像処理装置は、原画像とその原画像よりも画質の劣化した劣化画像との画素値の誤差を最小化するために階調補正を行う画像処理装置であって、単一の原画像と一つ以上の劣化画像について同一座標の画素値を順次抽出し、それらの画素値を比較して、各座標における画素値の比較結果を記憶領域に記憶する画像比較手段と、記憶領域に記憶した各座標の比較結果にもとづいて、劣化画像における各画素値について、一または複数の画素が劣化画像における所定の画素値になっている場合において原画像における一または複数の画素と同一座標の画素値の平均値を求め、劣化画像における各画素値と平均値とを対応付けた階調補正テーブルを生成する階調補正テーブル生成手段と、階調補正テーブルにもとづいて、劣化画像における各画素値を、当該各画素値に対応付けられた平均値に補正する階調補正手段とを備えたことを特徴とする。

本発明による画像処理システムは、原画像を符号化して符号情報を作成する第１の通信端末と、符号情報を復号して復号画像を作成する第２の通信端末とが通信路を介して通信する画像処理システムであって、第１の通信端末は、第２の通信端末からの要求にもとづいて原画像を符号化した符号データを送信する符号送信手段と、単一の原画像と一つ以上の劣化画像について同一座標の画素値を順次抽出し、それらの画素値を比較して、各座標における画素値の比較結果を記憶領域に記憶する画像比較手段と、記憶領域に記憶した各座標の比較結果にもとづいて、劣化画像における各画素値について、一または複数の画素が劣化画像における所定の画素値になっている場合において原画像における一または複数の画素と同一座標の画素値の平均値を求め、劣化画像における各画素値と平均値とを対応付けた階調補正テーブルを生成する階調補正テーブル生成手段と、第２の通信端末に階調補正テーブルを送信する階調補正テーブル送信手段とを備えたことを特徴とする。

本発明による画像処理方法は、原画像とその原画像よりも画質の劣化した劣化画像との画素値の誤差を最小化するためにＣＰＵが記憶手段に記憶されたプログラムに従って階調補正を行う画像処理方法であって、単一の原画像と一つ以上の劣化画像について同一座標の画素値を順次抽出し、それらの画素値を比較して、各座標における画素値の比較結果を記憶領域に記憶する画像比較ステップと、記憶領域に記憶した各座標の比較結果にもとづいて、劣化画像における各画素値について、一または複数の画素が劣化画像における所定の画素値になっている場合において原画像における一または複数の画素と同一座標の画素値の平均値を求め、劣化画像における各画素値と平均値とを対応付けた階調補正テーブルを生成する階調補正テーブル生成ステップと、階調補正テーブルにもとづいて、劣化画像における各画素値を、当該各画素値に対応付けられた平均値に補正する階調補正ステップとを備えたことを特徴とする。

本発明による画像処理システムの好ましい一態様は、例えば、画像比較手段およびパレット生成手段を備え、圧縮前の原画像と、圧縮後の復号画像とを画素ごとに比較することによって、その平均誤差を最小化するようなパレットテーブルを生成するよう動作する。

このような構成を採用し、画像復号時にこのパレットテーブルを適用することによって、最適な階調補正が行われ、結果として、本発明の目的を達成することができる。

本発明の第１の効果は、画像ごとに最適化された階調補正カーブを、高速かつ自動的に生成できることにある。その第１の理由は、文字・非文字領域の分散処理が不要となり、処理コストが低く抑えられるためである。第２の理由は、圧縮前の画像と圧縮後の画像とを比較することによって、それらの平均誤差を最小化するような階調補正カーブが生成されるためである。

本発明の第２の効果は、任意の画像圧縮方式および任意の圧縮パラメータに対しても、最適な階調補正カーブを生成できることにある。その理由は、階調補正カーブの生成に必要な情報を、圧縮前の画像と圧縮後の画像のみから得られるためである。

実施の形態１．
次に、本発明の第１の実施の形態について図面を参照して説明する。図１のブロック図に示すように、本発明の第１の実施の形態は、プログラム制御により動作するデータ処理装置３Ａと、データ記憶装置４Ａと、データ出力装置５Ａとを備える。

データ処理装置３Ａは、原画像入力手段３０１と、復号画像入力手段３０２と、画像比較手段３０３と、パレット生成手段３０４とを含む。データ記憶装置４Ａは、原画像メモリ４１と、復号画像メモリ４２と、頻度表メモリ４３と、パレットメモリ４４とを含む。

また、本発明の第１の実施の形態の入力データとして、原画像データ１と、復号画像データ２が与えられる。原画像データ１および復号画像データ２は、データ処理装置３Ａに入力される。

これらの手段は、それぞれ次のように動作する。

原画像入力手段３０１は、入力された原画像データ１を原画像メモリ４１に格納する。復号画像入力手段３０２は、入力された復号画像データ２を復号画像メモリ４２に格納する。

画像比較手段３０３は、原画像における各座標での画素値と、復号画像における同一座標の画素値とを、それぞれ原画像メモリ４１および復号画像メモリ４２から読み出し、それらの画素値を比較する。そして、各座標における画素値の比較統計結果を頻度法メモリ４３に格納する。

パレット生成手段３０４は、画像比較手段３０３が得た画素値の比較統計結果を頻度表メモリ４３から読み出し、それらの平均誤差を最小化するパレットテーブルをパレットメモリ４４内に生成する。生成されたパレットデータは、データ出力装置５Ａへ出力される。

次に、図１のブロック図及び図２のフローチャートを参照して本発明の第１の実施の形態の全体の動作について説明する。

まず、原画像入力手段３０１は、原画像データ１を読み込み、原画像メモリ４１に格納する（ステップＳ１０１）。

次に、復号画像入力手段３０２は、復号画像データ２を読み込み、復号画像メモリ４２に格納する（ステップＳ１０２）。

次に、画像比較手段３０３は、原画像における各座標での画素値と、復号画像における同一座標の画素値を、それぞれ原画像メモリ４１および復号画像メモリ４２から読み出し、それらの画素値を比較する（ステップＳ１０３〜Ｓ１１０）。比較統計結果は頻度表メモリ４３に出力される。

さらに、パレット生成手段３０４は、画像比較手段３０３が得た画素値の比較統計結果を頻度表メモリ４３から読み出し、平均誤差を最小化するパレットをパレットメモリ４４内に生成する（ステップＳ１１１〜Ｓ１１６）。以上の処理で生成されたパレットデータが、最終的に、データ出力装置５Ａへ出力される。

以下、画像比較手段３０３の動作（ステップＳ１０３〜Ｓ１１０）について説明する。

まず、画像比較手段３０３は、画素値の入力座標（ｘ，ｙ）を原点（０，０）に初期化する（ステップＳ１０３）。また、頻度表メモリ４３（ここでは、画素累積値配列Ｖａｃｃおよび画素値出現数配列Ｖｃｎｔとする）を全て０に初期化する（ステップＳ１０４）。

画像比較手段３０３は、原画像メモリ４１から、座標（ｘ，ｙ）における原画像の画素値Ｖｉ（ｘ，ｙ）を読み出す（ステップＳ１０５）。また、復号画像メモリ４２から、座標（ｘ，ｙ）における復号画像の画素値Ｖｏ（ｘ，ｙ）を読み出す（ステップＳ１０６）。

画像比較手段３０３は、画素値出現数配列Ｖｃｎｔの、Ｖｏ（ｘ，ｙ）番目の要素に１を加える（ステップＳ１０７）。また、画素累積値配列Ｖａｃｃの、Ｖｏ（ｘ，ｙ）番目の要素にＶｉ（ｘ，ｙ）を加える（ステップＳ１０８）。

以上の処理が終了すると、画像比較手段３０３は、全画素について処理が終了したかどうかを判定し（ステップＳ１０９）、終了していれば、パレット生成処理（ステップＳ１１１以降）へ進む。終了していなければ、（ｘ，ｙ）を次の座標値にシフトし、ステップＳ１０５に戻る。

以下、パレット生成手段３０４の動作（ステップＳ１１１〜Ｓ１１６）について説明する。

まず、パレット生成手段３０４は、出力パレット番号ｉを０に初期化する（ステップＳ１１１）。

次に、画素値出現数Ｖｃｎｔのｉ番目の要素が非０であるかどうかを判定し（ステップＳ１１２）、非０であれば、Ｖａｃｃのｉ番目の要素をＶｃｎｔのｉ番目の要素で除することにより、パレット値を算出する（ステップＳ１１３）。

以上の処理が全パレットについて終了したかどうかを判定し（ステップＳ１１４）、未終了であればパレット番号ｉをシフトしてステップＳ１１２に戻る。

なお、全パレットについて処理が終了した段階で、画素値出現数Ｖｃｎｔが０であったパレット番号については、パレット値が未確定のまま残ることになる。こうした場合には、未確定パレット値を、その前後のパレット値から補間して求める処理（ステップＳ１１６）を加えてもよい。補間処理には、線形補間や、スプライン補間などを利用することができる。

次に、本発明の第１の実施の形態の効果について説明する。本発明の第１の実施の形態では、原画像と復号画像とにおいて、同一座標の画素値を比較することにより、復号画像で画素値ｉ（一般的な８ｂｉｔグレースケール画像では０≦ｉ≦２５５）をとる全画素について、原画像での画素値の平均値が求められる。

このため、復号画像と原画像の平均誤差を最小化する、最適な階調補正カーブを得ることができ、デジタル非可逆圧縮画像でのエッジ近辺での雑音や歪み（モスキートノイズなど）を抑制することができる。

また、本発明の第１の実施の形態では、原画像と復号画像のみから階調補正カーブを導出することができ、文字画や自然画といった画像特性や、符号化時の画質劣化モデルを必要としない。従って、原画像の特性によらず、どのような符号化方式に対しても適用することができる。

さらに、本発明の第１の実施の形態の動作では、原画像と復号画像をそれぞれ１回スキャンするだけでパレットテーブルの元となる頻度表を生成することができる。従って、画素数をｎとした場合、０（ｎ）のオーダーでの処理が可能である。また、文字領域と画像領域を分離するといった複雑な処理も不要であるため、単純な装置で高速に処理可能である。

さらに、本発明の第１の実施の形態の動作におけるステップＳ１１６（パレットテーブルの補間処理）を加えた場合には、縮小時の画質も改善することができる。

一般に、画像ビューアにおいて、バイリニア補間縮小などを行って表示すると、原寸の復号画像には存在しなかった画素値が、補間処理によって発生する場合がある。たとえば、原寸の画像が２値（０と２５５）のみで構成されていたとしても、補間処理によって画素値１２８をとる画素が発生する場合がある。パレットテーブルの補間処理を行うことにより、このような画素値においても、適切なパレット値を与えることができるようになる。

なお、以上の説明では、単一の色成分を持つグレースケール画像を前提に説明したが、複数の色成分を持った画像では、各色成分ごとに同様の処理を行い、各色成分ごとの階調補正カーブを生成することによって、ノイズ抑制が可能となる。また、輝度および色差によって構成される画像では、特にノイズが多く知覚される輝度成分についてのみ、上記処理を行うことによって、処理を高速化しつつノイズ抑制効果を得ることが可能である。

また、以上の説明では、原画像と復号画像の２枚の画像を比較する方法を示したが、圧縮率などが異なる複数の復号画像を、原画像と比較するようにしてもよい。

なお、以上の説明では、特に復号画像を対象として説明を行ったが、本発明の第１の実施の形態は、非可逆符号化による以外の雑音が加わった劣化画像についても適用可能である。

実施の形態２．
次に、本発明の第２の実施の形態について、図面を参照して説明する。

本発明の第２の実施の形態は、図３のブロック図に示す符号化装置と、図５のブロック図に示す復号装置とを備える。

図３を参照すると、本発明の第２の実施の形態による符号化装置は、データ処理装置３Ｂと、データ記憶装置４Ｂと、データ出力装置５Ｂとを含む。

データ処理装置３Ｂは、原画像入力手段３０１と、原画像符号化手段３０５と、画像復号手段３０６と、画像比較手段３０３と、パレット生成手段３０４と、データ結合手段３０７とを有する。データ記憶装置４Ｂは、原画像メモリ４１と、符号メモリ４５と、復号画像メモリ４２と、頻度表メモリ４３と、パレットメモリ４４とを有する。

データ処理装置３Ｂは、復号画像入力手段３０２を備えず、原画像符号化手段３０５、画像復号手段３０６およびデータ結合手段３０７を備える点において、データ処理装置３Ａと異なる。なお、その他の構成は、データ処理装置３Ａ（図１参照。）と同様であるため、説明を省略する。

データ記憶装置４Ｂは、符号メモリ４５を備える点において、データ記憶装置４Ａと異なる。なお、その他の構成は、データ記憶装置４Ａ（図１参照。）と同様であるため、説明を省略する。

また、本発明の第２の実施の形態の符号化装置の入力データとして、原画像データ１が与えられる。原画像データ１は、データ処理装置３Ｂに入力される。

これらの手段は、それぞれ次のように動作する。

原画像符号化手段３０５は、原画像入力手段３０１によって原画像メモリ４１に格納されたデータを読み出し、画像を符号化し、符号メモリ４５に格納する。

画像復号手段３０６は、符号メモリ４５から符号データを読み出し、復号結果を復号画像メモリ４２に格納する。

データ結合手段３０７は、パレットメモリ４４に格納されたパレットテーブルと、符号メモリ４５に格納された符号データとを結合し、単一のデータファイルとしてデータ出力装置５Ｂに出力する。

次に、図３のブロック図及び図４のフローチャートを参照して本発明の第２の実施の形態の符号化の動作について説明する。

まず、原画像入力手段３０１は、入力された原画像データ１を原画像メモリ４１に格納する（ステップＳ２０１）。

続いて、原画像符号化手段３０５は、原画像メモリ４１に格納されたデータを読み出し、画像を符号化し、符号メモリ４５に格納する（ステップＳ２０２）。

さらに、画像復号手段３０６は、符号メモリ４５から符号データを読み出し、復号結果を復号画像メモリ４２に格納する（ステップＳ２０３）。

画像比較手段３０３およびパレット生成手段３０４は、第１の実施の形態の動作（ステップＳ１０３〜Ｓ１１６）と同様にして、パレットメモリ４４にパレットテーブルを格納する（ステップＳ２０４〜Ｓ２０５）。

最後に、データ結合手段３０７は、パレットメモリ４４からパレットテーブルを読み出すとともに、符号メモリ４５から符号データを読み出し、それらを結合して、データ出力装置５Ｂへ出力する（ステップＳ２０６）。

次に、図５を参照して、本発明の第２の実施の形態による復号装置の構成について説明する。

図５を参照すると、本発明の第２の実施の形態による復号装置は、プログラム制御により動作するデータ処理装置３Ｃと、データ記憶装置４Ｃと、画像出力装置７Ｃとを備える。

データ処理装置３Ｃは、データ分離手段３０８と、画像復号手段３０６と、パレット適用手段３０９とを含む。データ記憶装置４Ｃは、符号メモリ４５と、パレットメモリ４４と、復号画像メモリ４２とを含む。

本発明の第２の実施の形態の復号装置の入力データとして、符号データ６が与えられる。符号データ６は、データ処理装置３Ｃに入力される。

これらの手段は、それぞれつぎのように動作する。

データ分離手段３０８は、入力された符号データ６を、画像符号部分と、パレットテーブル部分に分離し、画像符号部分を符号メモリ４５に、パレットテーブル部分をパレットメモリ４４に、それぞれ格納する。

画像復号手段３０６は、符号メモリ４５から、画像符号データを読み出し、復号結果を復号画像メモリ４２に格納する。

パレット適用手段３０９は、復号画像メモリ４２から読み出した画像に対して、パレットメモリ４４から読み出したパレットテーブルを適用して、結果を画像出力装置７Ｃへ出力する。

次に、図５のブロック図及び図６のフローチャートを参照して本発明の第２の実施の形態の復号の動作について説明する。

データ分離手段３０８は、符号データ６からデータを取得し（ステップＳ３０１）、画像符号部分と、パレットテーブル部分に分離する。分離された画像符号部分は符号メモリ４５に、パレットテーブル部分はパレットメモリ４４に、それぞれ格納される（ステップＳ３０２）。

続いて、画像復号手段３０６は、符号メモリ４５から、画像符号データを読み出し、復号結果を復号画像メモリ４２に格納する（ステップＳ３０３）。

最後に、パレット適用手段３０９は、復号画像メモリ４２から読み出した画像に対して、パレットメモリ４４から読み出したパレットテーブルを適用し（ステップＳ３０４）、結果を画像出力装置７Ｃへ出力する（ステップＳ３０５）。

次に、本発明の第１の実施の形態の効果について説明する。本発明の第１の実施の形態では、第１の実施の形態の効果に加え、ＪＰＥＧ２０００のように、符号にパレットを付加するための仕様が規定されている画像フォーマットにおいて、仕様に従って画像符号とパレット情報を結合することで、標準に準拠した単一ファイルとして扱うことができる。

また、こうして結合したファイルを、パレット未対応のデコーダで展開した場合には、元となった画像符号データのみ展開され、パレット無しの場合と同一画質となる。従って、パレット対応デコーダにおいて画質が向上するだけでなく、パレット未対応デコーダで展開しても、元データと同じ画質を保証することができる。

実施の形態３．
次に、本発明の第３の実施の形態について、図面を参照して説明する。

本発明の第３の実施の形態は、図７のブロック図に示す符号化装置と、図９のブロック図に示す復号装置とを備える。

図７を参照すると、本発明の第３の実施の形態による符号化装置は、データ処理装置３Ｄと、データ記憶装置４Ｄと、データ出力装置５Ｄとを含む。

データ処理装置３Ｄは、原画像入力手段３０１と、原画像符号化手段３０５と、原画像縮小手段３１０と、縮小画像復号手段３１１と、画像比較手段３０３と、パレット生成手段３０４と、データ結合手段３０７とを有する。データ記憶装置４Ｄは、原画像メモリ４１と、符号メモリ４５と、頻度表メモリ４３と、パレットメモリ４４と、縮小原画像メモリ４６と、縮小復号画像メモリ４７とを有する。

データ処理装置３Ｄは、画像復号手段３０６を備えず、原画像縮小手段３１０と縮小画像復号手段３１１とを備える点において、データ処理装置３Ｂと異なる。なお、その他の構成は、データ処理装置３Ｂ（図３参照。）と同様であるため、説明を省略する。

データ記憶装置４Ｄは、復号画像メモリ４２を備えず、縮小原画像メモリ４６および縮小復号画像メモリ４７を備える点において、データ記憶装置４Ｂと異なる。なお、その他の構成は、データ記憶装置４Ｂ（図３参照。）と同様であるため、説明を省略する。

また、本発明の第３の実施の形態の符号化装置の入力データとしては、原画像データ１および縮小解像度指定データ８が与えられる。原画像データ１および縮小解像度指定データ８は、データ処理装置３Ｄに入力される。

これらの手段は、それぞれ次のように動作する。

原画像縮小手段３１０は、原画像メモリ４１から画像データを読み出し、縮小解像度指定データ８によって指示された解像度まで縮小し、縮小原画像メモリ４６に格納する。

縮小画像復号手段３１１は、符号メモリ４５から符号を読み出して、縮小解像度指定データ８によって指示された解像度で画像を復号し、結果を縮小復号画像メモリ４７に格納する。

なお、縮小画像の復号は、ＪＰＥＧ２０００のような解像度スケーラブル符号の場合には中間解像度まで復号する方法が利用できる。逆に、中間解像度までの復号が不可能な符号フォーマットの場合は、原寸で復号した後に補間縮小処理を施してもよい。

画像比較手段３０３は、縮小原画像メモリ４６から読み出した画像データと、縮小復号画像メモリ４７から読み出した画像データとの比較を行って、第１の実施の形態と同様の方法にて頻度表を生成する。

その他の、原画像入力手段３０１、原画像符号化手段３０５、パレット生成手段３０４、データ結合手段３０７の動作は、第２の実施形態の符号化装置の動作と同様であるため、説明を省略する。

次に、図７のブロック図及び図８のフローチャートを参照して本発明の第３の実施の形態の符号化の動作について説明する。

まず、原画像入力手段３０１および原画像符号化手段３０５が、第２の実施形態の符号化装置と同様に動作し、原画像メモリ４１に原画像データが、符号メモリ４５に符号データが格納される（ステップＳ４０１〜Ｓ４０２）。

次に、原画像縮小手段３１０が、原画像メモリ４１から画像データを読み出し、縮小解像度指定データ８によって指示された解像度まで縮小し、縮小原画像メモリ４６に格納する（ステップＳ４０４）。

さらに、縮小画像復号手段３１１が、符号メモリ４５から符号を読み出して、縮小解像度指定データ８によって指示された解像度で画像を復号し、結果を縮小復号画像メモリ４７に格納する（ステップＳ４０５）。

続いて、画像比較手段３０３が、縮小原画像メモリ４６から読み出した画像データと、縮小復号画像メモリ４７から読み出した画像データとの比較を行って、第１の実施形態と同様の方法にて頻度表を生成する（ステップＳ４０６）。

最後に、パレット生成手段３０４、データ結合手段３０７が第２の実施形態の符号化装置と同様に動作し、結合されたデータファイルがデータ出力装置５Ｄへ出力される（ステップＳ４０７〜Ｓ４０８）。

次に、図９を参照して、本発明の第３の実施の形態による復号装置の構成について説明する。

図９を参照すると、本発明の第３の実施の形態による復号装置は、データ処理装置３Ｅと、データ記憶装置４Ｅと、画像出力装置７Ｅとを含む。

データ処理装置３Ｅは、データ分離手段３０８と、解像度指定画像復号手段３１２と、パレット適用判定手段３１３と、パレット適用手段３０９とを有する。データ記憶装置４Ｅは、符号メモリ４５と、パレットメモリ４４と、復号画像メモリ４２と、復号解像度メモリ４８と、パレット適用解像度メモリ４９とを有する。

データ処理装置３Ｅは、画像復号手段３０６を備えず、解像度指定画像復号手段３１２およびパレット適用判定手段３１３を備える点において、データ処理装置３Ｃと異なる。なお、その他の構成は、データ処理装置３Ｃ（図５参照。）と同様であるため、説明を省略する。

データ記憶装置４Ｅは、復号解像度メモリ４８とパレット適用解像度メモリ４９を備える点において、データ記憶装置４Ｃと異なる。なお、その他の構成は、データ記憶装置４Ｃ（図５参照。）と同様であるため、説明を省略する。

本発明の第３の実施の形態の復号装置の入力データとして、符号データ６および復号解像度指定データ９が与えられる。符号データ６および復号解像度指定データ９は、データ処理装置３Ｅに入力される。

また、パレット適用解像度メモリ４９には、各指定解像度においてパレットを適用すべきか否かを示す情報が予め格納されている。

これらの手段は、それぞれ次のように動作する。

データ分離手段３０８は、入力された符号データ６を、画像符号部分と、パレットテーブル部分に分離し、画像符号部分を符号メモリ４５に、パレットテーブル部分をパレットメモリ４４に、それぞれ格納する。

解像度指定画像復号手段３１２は、復号解像度指定データ９を読み込んで復号解像度メモリ４８に格納するとともに、符号メモリ４５から画像符号データを読み出し、復号解像度メモリ４８で指定された解像度で画像を復号する。復号結果は復号画像メモリ４２に格納される。

パレット適用判定手段３１３は、復号解像度メモリ４８から読み出した解像度指定データと、パレット適用解像度メモリ４９から読み出したデータとを比較し、パレットを適用するか否かを判定する。パレットを適用しない場合は、復号画像メモリの内容を、そのまま画像出力装置７Ｅへ出力する。

パレット適用判定手段３１３によって、パレット適用の実行が判定されると、パレット適用手段３０９は、復号画像メモリ４２から読み出した画像に対して、パレットメモリ４４から読み出したパレットテーブルを適用して、結果を画像出力装置７Ｅへ出力する。

次に、図９のブロック図及び図１０のフローチャートを参照して本発明の第３の実施の形態の復号の動作について説明する。

データ分離手段３０８は、符号データ６からデータを取得し（ステップＳ５０１）、画像符号部分と、パレットテーブル部分に分離する。分離された画像符号部分は符号メモリ４５に、パレットテーブル部分はパレットメモリ４４に、それぞれ格納される（ステップＳ５０２）。

続いて、解像度指定画像復号手段３１２は、復号解像度指定データ９を読み込んで復号解像度メモリ４８に格納するとともに、符号メモリ４５から画像符号データを読み出し、復号解像度メモリ４８で指定された解像度で画像を復号する（ステップＳ５０３）。復号結果は復号画像メモリ４２に格納される。

さらに、パレット適用判定手段３１３は、復号解像度メモリ４８から読み出した解像度指定データと、パレット適用解像度メモリ４９から読み出したデータを比較し、パレットを適用するか否かを判定する（ステップＳ５０４）。パレットを適用しない場合は、ステップＳ５０６へ進む。

パレットを適用する場合は、パレット適用手段３０９が、復号画像メモリ４２から読み出した画像に対して、パレットメモリ４４から読み出したパレットテーブルを適用する（ステップＳ５０５）。

以上の動作によって得られた画像が、画像出力装置７Ｅへ出力される（ステップＳ５０６）。

次に、本発明の第３の実施の形態の効果について説明する。本発明の第３の実施の形態の符号化方法によれば、第１の実施の形態の効果に加え、ユーザが最も頻繁に閲覧すると思われる解像度を指定して最適なパレットを導出することができる。たとえば、６００ｄｐｉの画像データであっても、主として１５０ｄｐｉでの閲覧が想定される場合には、１５０ｄｐｉにおける最適なパレットを導出することができる。このため、第２の実施の形態の符号化装置よりも、閲覧解像度での視覚的品質を向上させることができる。

たとえば、原画像が６００ｄｐｉで（０，２５５）の２値を取る場合、第２の実施の形態の符号化装置では、最終的な階調補正カーブは、（０，２５５）への２値化するようなものとなる。しかしながら、この階調補正カーブを、主な閲覧解像度（たとえば、１５０ｄｐｉ）において適用すると、本来、補間縮小で得られたはずの中間調までが２値化されるために、ジャギーが強調され、視覚的品質が劣化してしまう。

これに対して、本実施の形態の符号化方法では、１５０ｄｐｉへ補間縮小された原画像と、１５０ｄｐｉへ補間縮小された復号画像とを元にしてパレットを生成するため、ジャギーが不要に強調されることなく、ノイズの除去が行える。

また、原画像が高解像度（６００ｄｐｉ）であっても、閲覧解像度（１５０ｄｐｉ）で処理することによって画像比較手段における処理画素数を少なくすることができ、処理速度が向上するという効果もある。

また、本発明の第３の実施の形態の復号方法によれば、特定解像度、あるいは特定解像度以上で復号された場合にだけ、パレットを適用することができる。

一般に、高解像度で符号化されたデータを低解像度に縮小して閲覧した場合、高周波成分が削減されるため、ノイズは知覚しにくくなる。たとえば、６００ｄｐｉのデータを７５ｄｐｉで閲覧する場合には、パレット未適用の状態であっても、モスキートノイズなどの雑音は知覚されにくくなる。

本発明の第３の実施の形態の復号方法では、こうした場合にパレットの適用を省略することができ、復号時の処理負荷を抑えることができる。

実施の形態４．
次に、本発明の第４の実施の形態について、図面を参照して説明する。

図１１のブロック図を参照すると、本発明の第４の実施の形態は、サーバＳＶ１０と、クライアントＣＬ１０とを備える。サーバＳＶ１０は、プログラム制御により動作するデータ処理装置ＳＶ１と、データ記憶装置ＳＶ２とを含む。また、クライアントＣＬ１０は、プログラム制御により動作するデータ処理装置ＣＬ１と、データ記憶装置ＣＬ２とを含む。

サーバＳＶ１０のデータ処理装置ＳＶ１は、データ取得要求受付手段ＳＶ１１と、符号送信手段ＳＶ１２と、パレット送信手段ＳＶ１３とを有する。サーバのデータ記憶装置ＳＶ２は、パレットメモリＳＶ２０と、解像度ｎ符号メモリＳＶ２ｎ（ｎ＝１〜Ｎ）とを有する。

クライアントＣＬ１０のデータ処理装置ＣＬ１は、出力解像度指定手段ＣＬ１１と、符号受信手段ＣＬ１２と、画像復号手段ＣＬ１３と、パレット適用判定手段ＣＬ１４と、パレット受信手段ＣＬ１５と、パレット適用手段ＣＬ１６と、画像出力手段ＣＬ１７とを有する。クライアントＣＬ１０のデータ記憶装置ＣＬ２は、パレットメモリＣＬ２０と、解像度ｎ符号メモリＣＬ２ｎ（ｎ＝１〜Ｎ）と、復号画像メモリＣＬ２００とを有する。

サーバＳＶ１０の解像度ｎ符号メモリＳＶ２ｎ（ｎ＝１〜Ｎ）には、各解像度の画像を復元するために必要な符号データが、予め格納されている。

また、サーバＳＶ１０のパレットメモリＳＶ２０には、本発明の実施の形態１〜３によって生成されたパレットテーブルが予め格納されている。

また、サーバＳＶ１０とクライアントＣＬ１０とは通信路を介して接続されている。

これらの手段は、それぞれ次のように動作する。

データ取得要求受付手段ＳＶ１１は、クライアントＣＬ１０からデータの取得要求を受け付け、要求されたデータを解像度ｎ符号メモリＳＶ２ｎまたはパレットメモリＳＶ２０から読み出す。

符号送信手段ＳＶ１２は、解像度ｎ符号メモリＳＶ２ｎから読み出された符号データをクライアントＣＬ１０へ送信する。

パレット送信手段ＳＶ１３は、パレットメモリＳＶ２０から読み出されたパレットデータをクライアントＣＬ１０へ送信する。

出力解像度指定手段ＣＬ１１は、クライアント側で表示する画像解像度に基づいて、必要な符号データをサーバ側に要求する。

符号受信手段ＣＬ１２は、サーバから解像度ｎの符号を受信し、解像度ｎ符号メモリＣＬ２ｎに格納する。画像復号手段は、必要な解像度まで解像度ｎ符号メモリの内容を読み出して復号を行い、結果を復号画像メモリＣＬ２００に格納する。

パレット適用判定手段ＣＬ１４は、指定された出力解像度に基づいて、パレットを適用すべきか否かを判定し、パレット適用が必要な場合は、パレットデータをサーバＳＶ１０に要求する。

パレット受信手段ＣＬ１５は、サーバＳＶ１０からパレットデータを受信し、パレットメモリＣＬ２０に格納する。パレット適用手段ＣＬ１６は、パレットメモリＣＬ２０に格納されたパレットテーブルを読み出し、復号画像メモリＣＬ２００の画像に対して適用する。

最終的に得られた画像は、画像出力手段ＣＬ１７によって出力される。

次に、図１１のブロック図及び図１２のフローチャートを参照して本発明の第４の実施の形態の動作について説明する。

まず、クライアントＣＬ１０の出力解像度指定手段ＣＬ１１が、クライアント側で表示する画像解像度に基づいて、必要な符号データを判定し（ステップＳ６０１）、サーバ側に要求を行う（ステップＳ６０２）。

サーバ側のデータ取得要求受付手段ＳＶ１１がこの要求を受け付けると（ステップＳ６０３）、要求された解像度ｎ符号データが送信される（Ｓ６０４）。

続いて、クライアントＣＬ１０の符号受信手段ＣＬ１２が、サーバＳＶ１０から送信された符号データを受信し（ステップＳ６０５）、指定解像度での画像復号を行う（ステップＳ６０６）。

クライアントＣＬ１０のパレット適用判定手段ＣＬ１４は、出力指定解像度に基づいて、パレットを適用すべきか否かを判定し（ステップＳ６０７）、パレット適用が必要な場合は、パレットデータをサーバＳＶ１０に要求する（ステップＳ６０８）。

サーバ側のデータ取得要求受付手段ＳＶ１１がこの要求を受け付けると（ステップＳ６０９）、要求されたパレットデータが送信される（Ｓ６１０）。

続いて、クライアントＣＬ１０のパレット受信手段ＣＬ１５が、サーバＳＶ１０から送信されたパレットデータを受信し（ステップＳ６１１）、パレットを適用する（ステップＳ６１２）。

最後に、得られた画像がクライアントＣＬ１０の画像出力手段ＣＬ１７によって出力される（ステップＳ６１３）。

次に、本発明の第４の実施の形態の効果について説明する。本発明の第４の実施の形態では、第１の実施の形態の効果に加え、パレットテーブルを適用すべき解像度でのみ、パレットデータが配信されるため、パレットテーブルが不要な解像度での通信量を削減することができる。

以下、図１３を参照して、本発明の第１の実施の形態の具体的な実施例について説明する。

図１３は、本発明の第１の実施の形態による符号化動作を模式的に示した図である。本実施例では、データ処理装置３Ａとしてパーソナルコンピュータを、データ記憶装置４Ａとして半導体メモリ（パーソナルコンピュータに含まれる）を、データ出力装置５Ａとして磁気ディスク装置を備えているものとする。

また、原画像データ１および復号画像データ２は、磁気ディスク装置上のファイルとして与えられるものとする。図１３（Ａ）に、原画像データ１および復号画像データ２として、原画像Ｚ１０１および復号画像Ｚ１０２が与えられる場合を例示して説明する。

まず、磁気ディスク装置から、原画像Ｚ１０１および復号画像Ｚ１０２が読み込まれ、それぞれ原画像メモリ４１および復号画像メモリ４２に格納される。

図１３（Ｂ）に、画素累積値テーブルＺ１０３、画素値出現数テーブルＺ１０４およびパレットテーブルＺ１０５を例示する。画像比較手段３０３は、画素累積値テーブルＺ１０３、画素値出現数テーブルＺ１０４および画素値入力座標を０に初期化した後、原画像メモリ４１および復号画像メモリ４２から、各座標の画素値を順次抽出する。

今、ある座標において、原画像Ｚ１０１の画素値Ｖｉが２３２であり、復号画像Ｚ１０２の画素値Ｖｏが２１１であるとする（図１３（Ａ）参照）。

このとき、画素累積値テーブルＺ１０３の２１１番目の要素に対して２３２が加えられ、画素値出現数テーブルＺ１０４の２１１番目の要素に対して１が加えられる。

以上の処理が全座標に対して終了すると、パレット生成手段３０４は、画素累積値テーブルＺ１０３の各要素値を、画素値出現数テーブルＺ１０４の各要素値で除することによって、基本となるパレットテーブルＺ１０５を生成する。

たとえば、画素累積値テーブルＺ１０３の２１１番目の要素値が９００で、画素値出現数テーブルＺ１０４の２１１番目の要素値が４の場合、画素値２１１に対するパレット値は２２５となる（図１３（Ｂ）参照）。

以上のようにして生成されたパレットテーブルＺ１０５は、図３（Ｃ）のグラフＺ１０６に示すように、離散的な値をとる。なお、グラフＺ１０６において、横軸が入力画素値、縦軸がパレット適用後の画素値を示している。

最後に、パレット生成手段３０４は、基本となる離散的なパレットテーブルＺ１０５に対応するグラフＺ１０６に対して補間処理を行うことによって、グラフＺ１０７のような連続的な階調補正カーブを生成し、磁気ディスク装置へ出力する。

次に、図１４を参照して、本発明の第２の実施の形態における符号化の実施例について説明する。

図１４は、本発明の第２の実施の形態による符号化動作を模式的に示した図である。本実施例では、データ処理装置３Ｂとしてパーソナルコンピュータを、データ記憶装置４Ｂとして半導体メモリ（パーソナルコンピュータに含まれる）を、データ出力装置５Ｂとして磁気ディスク装置を備えているものとする。

また、原画像データ１は、磁気ディスク装置上のファイルとして与えられるものとする。図１４に、原画像データ１として、原画像データＺ２０１が与えられる場合を例示して説明する。

まず、原画像データＺ２０１が与えられると、原画像符号化手段３０５によって符号化データＺ２０２が生成され、さらに、画像復号手段３０６によって、符号化データＺ２０２から復号画像Ｚ２０３が生成される。

さらに、実施例１に示した方法によって、画像比較手段が原画像Ｚ２０１と復号画像Ｚ２０３とを比較し、パレット生成手段がパレットテーブルＺ２０４を生成する。

最後に、データ結合手段３０７によって、画像符号データＺ２０２とパレットテーブルＺ２０４が結合され、単一のデータファイルＺ２０５として磁気ディスク装置に出力される。

次に、図１５を参照して、本発明の第２の実施の形態における復号の実施例について説明する。

図１５は、本発明の第２の実施の形態による復号動作を模式的に示した図である。本実施例では、データ処理装置３Ｃとしてパーソナルコンピュータを、データ記憶装置４Ｃとして半導体メモリ（パーソナルコンピュータに含まれる）を、画像出力装置７Ｃとして液晶ディスプレイを備えているものとする。

また、符号データ６は、磁気ディスク装置上のファイルとして与えられるものとする。図１５に、符号データ６として、符号データＺ２０６が与えられる場合を例示して説明する。

まず、符号データＺ２０６が与えられると、データ分離手段３０８によって、画像符号データＺ２０７と、パレットテーブルＺ２０８に分離される。

画像復号手段３０６は、画像符号データＺ２０７を復号し、画像Ｚ２０９を生成する。

最後に、パレット適用手段３０９が画像Ｚ２０９に対してパレットテーブルＺ２０８を適用し、最終出力画像Ｚ２１０を液晶ディスプレイに表示する。

次に、図１６を参照して、本発明の第３の実施の形態における符号化の実施例について説明する。

図１６は、本発明の第３の実施の形態による符号化動作を模式的に示した図である。本実施例では、データ処理装置３Ｄとしてパーソナルコンピュータを、データ記憶装置４Ｄとして半導体メモリ（パーソナルコンピュータに含まれる）を、データ出力装置５Ｄとして磁気ディスク装置を備えているものとする。

また、原画像データ１は、磁気ディスク装置上のファイルとして与えられ、縮小解像度は、プログラム実行時の引数として指定されるものとする。以下では、縮小解像度として、原画像の２分の１の解像度が指定された場合について説明する。図１６に、原画像データ１として、原画像データＺ３０１が与えられる場合を例示して説明する。

原画像符号化手段３０５および縮小画像復号手段３１１は、画像形式としてＪＰＥＧ２０００を指定可能であって、そのデータは、復号パラメータとして解像度を与えることによって、中間解像度までの復号が可能な形式とする。

まず、原画像データＺ３０１が与えられると、原画像符号化手段３０５によってＪＰＥＧ２０００コードストリームＺ３０２が生成される。

次に、原画像縮小手段３１０によって、原画像を２分の１に縮小した、縮小原画像Ｚ３０３が生成される。

さらに、縮小画像復号手段３１１によって、ＪＰＥＧ２０００コードストリームＺ３０２を２分の１解像度で復号した縮小復号画像Ｚ３０４が生成される。

さらに、実施例１に示した方法によって、画像比較手段３０３が縮小原画像Ｚ３０３と縮小復号画像Ｚ３０４とを比較し、パレット生成手段３０４がパレットテーブルＺ３０５を生成する。

最後に、データ結合手段によって、ＪＰＥＧ２０００コードストリームＺ３０２と、パレットテーブルＺ３０５とが、ＪＰＥＧ２０００ファイルフォーマット仕様に基づいて結合され、ＪＰＥＧ２０００ファイルＺ３０６として磁気ディスク装置に出力される。

次に、図１７を参照して、本発明の第３の実施形態における復号の実施例について説明する。

図１７は、本発明の第３の実施の形態による復号動作を模式的に示した図である。本実施例では、データ処理装置３Ｅとしてパーソナルコンピュータを、データ記憶装置４Ｅとして半導体メモリ（パーソナルコンピュータに含まれる）を、画像出力装置７Ｅとして液晶ディスプレイを備えているものとする。

また、符号データ６は、磁気ディスク装置上のＪＰＥＧ２０００ファイルとして与えられ、復号解像度は、プログラム実行時の引数として指定されるものとする。以下では、縮小解像度として、原画像の２分の１の解像度が指定された場合について説明する。図１７に、符号データ６として、符号データＺ３０７が与えられる場合を例示して説明する。

また、パレット適用解像度メモリ４９は、原寸復号時のみパレットを適用するような設定が書き込まれているものとする。

まず、符号データＺ３０７が与えられると、データ分離手段３０８によって、ＪＰＥＧ２０００コードストリームＺ３０８と、パレットテーブルＺ３０９に分離される。

画像復号手段は、設定された復号解像度Ｚ３１０（ここでは２分の１）に基づいて、ＪＰＥＧ２０００コードストリームＺ３０８を２分の１の解像度まで復号し、画像Ｚ３１１を生成する。

ここで、パレット適用判定手段３１３によって、復号解像度Ｚ３１０が、パレット適用の条件を満たしているか否か判定される。

いま、復号解像度Ｚ３１０は２分の１であり、パレット適用解像度メモリ４９の設定は、原寸復号時のみパレットを適用する設定となっていることから、パレット適用の条件は満たしていない。

従って、Ｚ３１１の画像がそのままＺ３１２として液晶ディスプレイに表示される。

次に、図１８を参照して、本発明の第４の実施の形態における実施例について説明する。

図１８は、本発明の第４の実施の形態による動作を模式的に示した図である。

本実施例では、サーバのデータ処理装置ＳＶ１としてワークステーションＺ４０１を、サーバのデータ記憶装置として磁気ディスク装置Ｚ４０２（解像度ｎ符号メモリを含む）、および磁気ディスク装置Ｚ４０３（パレットメモリを含む）を備えている。

また、クライアントのデータ処理装置ＣＬ１としてパーソナルコンピュータを、クライアントのデータ記憶装置ＣＬ２として磁気ディスク装置Ｚ４０５、Ｚ４０６、Ｚ４０８、Ｚ４０９を備えている。また、パーソナルコンピュータの表示装置として、液晶ディスプレイＺ４０４、Ｚ４０７を備えている。

また、磁気ディスク装置Ｚ４０２にはＪＰＥＧ２０００画像の各解像度のコードストリームデータが格納されるとともに、磁気ディスク装置Ｚ４０３には、実施の形態１ないし３に示した方法で画像から生成されたパレットテーブルのデータが、それぞれあらかじめ格納されているものとする。

また、ユーザはクライアントＰＣ上の画像ブラウザを操作して、画像の拡大・縮小・スクロール、ページ遷移などの操作を行うものとする。図１８においては、液晶ディスプレイＺ４０４の画面が、画像を縮小表示している状態を示しており、液晶ディスプレイＺ４０７の画面は、拡大表示している状態を示している。

ユーザの操作によって、画像を４分の１縮小表示する場合、これらの構成は以下のように動作する。

まず、クライアントＰＣにおいて、出力解像度指定手段ＣＬ１１が、画像を４分の１縮小表示するために必要となるＪＰＥＧ２０００コードストリームデータを、サーバＺ４０１に要求する。

サーバＺ４０１のデータ取得要求受付手段ＳＶ１１は、この要求を受け付け、４分の１縮小表示に必要となるコードストリームデータを磁気ディスクＺ４０２から読み出し、符号送信手段ＳＶ１２によってクライアントへ送信する。

クライアントＰＣの符号受信手段ＣＬ１２は、コードストリームデータを受信して磁気ディスクＺ４０５に格納するとともに、コードストリームから画像を復号する。

さらに、パレット適用判定手段ＣＬ１４によって、パレットを適用すべき解像度か否かを判定する。パレットの適用が不要と判定されると、復号された画像がそのままディスプレイＺ４０４に表示される。

次に、ユーザの操作によって、画像を原寸表示する場合、これらの構成は以下のように動作する。

まず、クライアントＰＣにおいて、出力解像度指定手段ＣＬ１１が、画像を原寸表示するために必要となるＪＰＥＧ２０００コードストリームデータを、サーバＺ４０１に要求する。

サーバＺ４０１のデータ取得要求受付手段ＳＶ１１は、この要求を受け付け、原寸表示に必要となるコードストリームデータを磁気ディスクＺ４０２から読み出し、符号送信手段ＳＶ１２によってクライアントへ送信する。

クライアントＰＣの符号受信手段ＣＬ１２は、コードストリームデータを受信して磁気ディスクＺ４０８に格納するとともに、コードストリームから画像を復号する。

さらに、パレット適用判定手段ＣＬ１４は、パレットを適用すべき解像度か否かを判定する。パレットを適用すべき解像度と判定されると、サーバＺ４０１にパレットデータを要求する。

サーバＺ４０１のデータ取得要求受付手段ＳＶ１１は、この要求を受け付け、パレットテーブルを磁気ディスクＺ４０３から読み出し、パレット送信手段ＳＶ１３によってクライアントＰＣへ送信する。

クライアントＰＣは、パレット受信手段ＣＬ１５によってこのパレットテーブルを受信し、パレットメモリＺ４０９に格納する。

最後に、クライアントＰＣは、パレット適用手段ＣＬ１６によって画像にパレットを適用し、ディスプレイＺ４０７に表示する。

本発明によれば、高速・高画質な画像配信サービスといった用途に適用できる。また、ネットワークスキャナやファクシミリ複合機などで蓄積した文書画像を、遠隔から高画質かつ高速に閲覧する、といった用途にも適用可能である。

本発明の第１の実施形態の概略的構成を示すブロック図である。 本発明の第１の実施形態の動作を示すフローチャートである。 本発明の第２の実施形態による符号化装置の概略的構成を示すブロック図である。 本発明の第２の実施形態による符号化装置の動作を示すフローチャートである。 本発明の第２の実施形態による復号装置の概略的構成を示すブロック図である。 本発明の第２の実施形態による復号装置の動作を示すフローチャートである。 本発明の第３の実施形態による符号化装置の概略的構成を示すブロック図である。 本発明の第３の実施形態による符号化装置の動作を示すフローチャートである。 本発明の第３の実施形態による復号装置の概略的構成を示すブロック図である。 本発明の第３の実施形態による復号装置の動作を示すフローチャートである。 本発明の第４の実施形態の概略的構成を示すブロック図である。 本発明の第４の実施形態の動作を示すフローチャートである。 本発明の第１の実施形態の動作を模式的に示す図である。 本発明の第２の実施形態による符号化装置の動作を模式的に示す図である。 本発明の第２の実施形態による復号装置の動作を模式的に示す図である。 本発明の第３の実施形態による符号化装置の動作を模式的に示す図である。 本発明の第３の実施形態による復号装置の動作を模式的に示す図である。 本発明の第４の実施形態の概略的構成を示すブロック図である。

符号の説明

１ 原画像データ
２ 復号画像データ
３Ａ データ処理装置
３０１ 原画像入力手段
３０２ 復号画像入力手段
３０３ 画像比較手段
３０４ パレット生成手段
４Ａ データ記憶装置
４１ 原画像メモリ
４２ 復号画像メモリ
４３ 頻度表メモリ
４４ パレットメモリ

Claims (28)

1. 原画像とその原画像よりも画質の劣化した劣化画像との画素値の誤差を最小化するために階調補正を行う画像処理装置であって、
   単一の原画像と一つ以上の劣化画像について同一座標の画素値を順次抽出し、それらの画素値を比較して、各座標における画素値の比較結果を記憶領域に記憶する画像比較手段と、
   前記記憶領域に記憶した各座標の比較結果にもとづいて、劣化画像における各画素値について、一または複数の画素が劣化画像における所定の画素値になっている場合において原画像における前記一または複数の画素と同一座標の画素値の平均値を求め、劣化画像における各画素値と前記平均値とを対応付けた階調補正テーブルを生成する階調補正テーブル生成手段と、
   前記階調補正テーブルにもとづいて、劣化画像における各画素値を、当該各画素値に対応付けられた前記平均値に補正する階調補正手段と
   を備えたことを特徴とする画像処理装置。
2. 画像比較手段は、
   画素値の取り得る範囲が０からＮである場合に、劣化画像における画素値が０からＮの範囲内の所定の画素値となる画素数を数える画素値出現数カウント手段と、
   劣化画像における画素値が前記所定の画素値となる全画素について、原画像上の前記全画素と同一座標の画素値を累積する画素値累積手段とを含み、
   階調補正テーブル生成手段は、
   前記画素値累積手段によって取得された劣化画像における各画素値での累積値を、前記画素値出現数カウント手段によって取得された劣化画像における各画素値での画素値出現数で除算することにより、劣化画像における各画素値に対応付けられる平均値を算出する
   請求項１記載の画像処理装置。
3. 階調補正テーブル生成手段は、画素値出現数が０である画素値を、画素値出現数が０でない前後の画素値に対応付けられた平均値から補間する画素値補間手段を含み、
   階調補正手段は、前記画素値補間手段によって補間された階調補正テーブルを用いて階調補正する
   請求項２記載の画像処理装置。
4. 画素値補間手段は、画素値出現数が０である画素値を、線形補間またはスプライン補間によって補間する
   請求項３記載の画像処理装置。
5. 画素値が複数の色成分の階調によって表される場合に、
   画像比較手段は、
   原画像と劣化画像における同一座標の画素の画素値として、いずれかまたは全ての色成分ごとの階調を抽出して記憶し、
   階調補正テーブル生成手段は、
   画像比較手段が記憶する原画像および劣化画像の画素値にもとづいて、いずれかまたは全ての色成分ごとの階調補正テーブルを生成する
   請求項１から請求項４のうちいずれかに記載の画像処理装置。
6. 画素値が輝度および色差によって表される場合に、
   画像比較手段は、
   原画像と劣化画像における同一座標の画素の画素値として、輝度を抽出して記憶し、
   階調補正テーブル生成手段は、
   画像比較手段が記憶する原画像および劣化画像の画素値にもとづいて、輝度の階調補正テーブルを生成する
   請求項１から請求項４のうちいずれかに記載の画像処理装置。
7. 原画像を符号化して符号情報を作成する原画像符号化手段と、
   符号情報を復号して劣化画像を作成する画像復号手段とを備えた
   請求項１から請求項６のうちいずれかに記載の画像処理装置。
8. 符号情報と階調補正テーブルを結合するデータ結合手段と、
   前記データ結合手段によって結合されたデータを、符号情報と階調補正テーブルとに分離するデータ分離手段とを備えた
   請求項７に記載の画像処理装置。
9. 画像復号手段によって作成された劣化画像に階調補正テーブルを用いて階調補正する階調補正テーブル生成手段とを備えた
   請求項７または請求項８記載の画像処理装置。
10. あらかじめ定められた解像度に縮小された原画像を作成する原画像縮小手段と、
    符号情報を復号し、あらかじめ定められた解像度に縮小された劣化画像を作成する劣化画像縮小手段とを備え、
    画像比較手段は、
    縮小された原画像および劣化画像における同一座標の画素の画素値を抽出して記憶し、
    階調補正テーブル生成手段は、
    画像比較手段が記憶する縮小された原画像および劣化画像の画素値にもとづいて、階調補正テーブルを生成する
    請求項７から請求項９のうちいずれかに記載の画像処理装置。
11. 符号情報が解像度スケーラブル画像符号である場合に、
    劣化画像縮小手段は、
    符号情報を直接復号して、あらかじめ定められた解像度に縮小された劣化画像を作成する
    請求項１０に記載の画像処理装置。
12. 符号情報を復号し、利用者によって指定された解像度に縮小された劣化画像を作成する解像度指定画像復号手段と、
    指定された解像度があらかじめ定められた判定基準を満たすか否かを判定し、判定基準を満たす場合に、縮小された劣化画像に階調補正テーブルを適用し、満たさない場合に、縮小された劣化画像をそのまま出力させる階調補正テーブル適用判定手段とを備えた
    請求項７から請求項１１のうちいずれかに記載の画像処理装置。
13. 階調補正テーブル適用判定手段は、
    指定された解像度が特定の解像度以上である場合に、縮小された劣化画像に階調補正テーブルを用いて階調補正する
    請求項１２に記載の画像処理装置。
14. 原画像を符号化して符号情報を作成する第１の通信端末と、符号情報を復号して復号画像を作成する第２の通信端末とが通信路を介して通信する画像処理システムにおいて、
    第１の通信端末は、
    第２の通信端末からの要求にもとづいて原画像を符号化した符号データを送信する符号送信手段と、
    単一の原画像と一つ以上の劣化画像について同一座標の画素値を順次抽出し、それらの画素値を比較して、各座標における画素値の比較結果を記憶領域に記憶する画像比較手段と、
    前記記憶領域に記憶した各座標の比較結果にもとづいて、劣化画像における各画素値について、一または複数の画素が劣化画像における所定の画素値になっている場合において原画像における前記一または複数の画素と同一座標の画素値の平均値を求め、劣化画像における各画素値と前記平均値とを対応付けた階調補正テーブルを生成する階調補正テーブル生成手段と、
    第２の通信端末に階調補正テーブルを送信する階調補正テーブル送信手段と
    を備えたことを特徴とする画像処理システム。
15. 第２の通信端末は、
    指定された解像度の符号データを第１の通信端末に要求して受信する符号受信手段と、
    指定された解像度があらかじめ定められた判定基準を満たすか否かを判定し、判定基準を満たす場合に、縮小された劣化画像に階調補正テーブルを用いて階調補正する階調補正テーブル適用判定手段と、
    階調補正テーブルを第１の通信端末から受信する階調補正テーブル受信手段と、
    復号画像に階調補正テーブルを適用する階調補正テーブル適用手段とを備えた
    請求項１４に記載の画像処理システム。
16. 原画像とその原画像よりも画質の劣化した劣化画像との画素値の誤差を最小化するためにＣＰＵが記憶手段に記憶されたプログラムに従って階調補正を行う画像処理方法であって、
    単一の原画像と一つ以上の劣化画像について同一座標の画素値を順次抽出し、それらの画素値を比較して、各座標における画素値の比較結果を記憶領域に記憶する画像比較ステップと、
    前記記憶領域に記憶した各座標の比較結果にもとづいて、劣化画像における各画素値について、一または複数の画素が劣化画像における所定の画素値になっている場合において原画像における前記一または複数の画素と同一座標の画素値の平均値を求め、劣化画像における各画素値と前記平均値とを対応付けた階調補正テーブルを生成する階調補正テーブル生成ステップと、
    前記階調補正テーブルにもとづいて、劣化画像における各画素値を、当該各画素値に対応付けられた前記平均値に補正する階調補正ステップと
    を備えたことを特徴とする画像処理方法。
17. 画像比較ステップは、
    画素値の取り得る範囲が０からＮである場合に、劣化画像における画素値が０からＮの範囲内の所定の画素値となる画素数を数える画素値出現数カウントステップと、
    劣化画像における画素値が前記所定の画素値となる全画素について、原画像上の前記全画素と同一座標の画素値を累積する画素値累積ステップとを含み、
    階調補正テーブル生成ステップは、
    前記画素値累積ステップによって取得された劣化画像における各画素値での累積値を、前記画素値出現数カウントステップによって取得された劣化画像における各画素値での画素値出現数で除算することにより、劣化画像における各画素値に対応付けられる平均値を算出する
    請求項１６記載の画像処理方法。
18. 階調補正テーブル生成ステップは、画素値出現数が０である画素値を、画素値出現数が０でない前後の画素値に対応付けられた平均値から補間する画素値補間ステップを含み、
    階調補正ステップは、前記画素値補間ステップによって補間された階調補正テーブルを用いて階調補正する
    請求項１７記載の画像処理方法。
19. 画素値補間ステップは、画素値出現数が０である画素値を、線形補間またはスプライン補間によって補間する
    請求項１８記載の画像処理方法。
20. 画素値が複数の色成分の階調によって表される場合に、
    画像比較ステップは、
    原画像と劣化画像における同一座標の画素の画素値として、いずれかまたは全ての色成分ごとの階調を抽出して記憶し、
    階調補正テーブル生成ステップは、
    画像比較ステップが記憶する原画像および劣化画像の画素値にもとづいて、いずれかまたは全ての色成分ごとの階調補正テーブルを生成する
    請求項１６から請求項１９のうちいずれかに記載の画像処理方法。
21. 画素値が輝度および色差によって表される場合に、
    画像比較ステップは、
    原画像と劣化画像における同一座標の画素の画素値として、輝度を抽出して記憶し、
    階調補正テーブル生成ステップは、
    画像比較ステップが記憶する原画像および劣化画像の画素値にもとづいて、輝度の階調補正テーブルを生成する
    請求項１６から請求項１９のうちいずれかに記載の画像処理方法。
22. 原画像を符号化して符号情報を作成する原画像符号化ステップと、
    符号情報を復号して劣化画像を作成する画像復号ステップとを備えた
    請求項１６から請求項２１のうちいずれかに記載の画像処理方法。
23. 符号情報と階調補正テーブルを結合するデータ結合ステップと、
    前記データ結合ステップによって結合されたデータを、符号情報と階調補正テーブルとに分離するデータ分離ステップとを備えた
    請求項２２に記載の画像処理方法。
24. 画像復号ステップによって作成された劣化画像に階調補正テーブルを用いて階調補正する階調補正テーブル生成ステップとを備えた
    請求項２２または請求項２３記載の画像処理方法。
25. あらかじめ定められた解像度に縮小された原画像を作成する原画像縮小ステップと、
    符号情報を復号し、あらかじめ定められた解像度に縮小された劣化画像を作成する劣化画像縮小ステップとを備え、
    画像比較ステップは、
    縮小された原画像および劣化画像における同一座標の画素の画素値を抽出して記憶し、
    階調補正テーブル生成ステップは、
    画像比較ステップが記憶する縮小された原画像および劣化画像の画素値にもとづいて、階調補正テーブルを生成する
    請求項２２から請求項２４のうちいずれかに記載の画像処理方法。
26. 符号情報が解像度スケーラブル画像符号である場合に、
    劣化画像縮小ステップは、
    符号情報を直接復号して、あらかじめ定められた解像度に縮小された劣化画像を作成する
    請求項２５に記載の画像処理方法。
27. 符号情報を復号し、利用者によって指定された解像度に縮小された劣化画像を作成する解像度指定画像復号ステップと、
    指定された解像度があらかじめ定められた判定基準を満たすか否かを判定し、判定基準を満たす場合に、縮小された劣化画像に階調補正テーブルを適用し、満たさない場合に、縮小された劣化画像をそのまま出力させる階調補正テーブル適用判定ステップとを備えた
    請求項２２から請求項２６のうちいずれかに記載の画像処理方法。
28. 階調補正テーブル適用判定ステップは、
    指定された解像度が特定の解像度以上である場合に、縮小された劣化画像に階調補正テーブルを用いて階調補正する
    請求項２７に記載の画像処理方法。

Images