JP2008005531A - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】符号化された画像の表示条件補正処理に際し、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することができる画像処理装置を提供する。
【解決手段】圧縮符号データ（符号化された画像）を伸長し、該伸長された画像に対して画像の表示条件を補正する表示条件補正処理を施し、該表示条件補正処理された画像を再圧縮する一連の処理を、タイル単位で実行する（ステップＳ１６〜Ｓ１９）。これにより、タイル単位で画像をメモリに展開すれば良いことから、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することができ、各種の制約を受けることがなくなる。
【選択図】 図２２

Description

本発明は、画像の圧縮／伸長を行う画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、５００万画素の製品も間近である。そして、この画素数の増加傾向は、なおしばらくは続くと言われている。

一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。

こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。

これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。

そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。

ところで、従来においては、符号化された画像の補正については、一旦全体の符号化データを伸長した画像に対し、スキュー補正、色補正などの画像補正処理を施し、再度全体の圧縮を行い符号化データにする、という方法が用いられている。

しかしながら、この方法では画像の全体をメモリに展開するため、特に実装メモリ量が少ない装置やシステムにおいてはメモリ不足となり、各種の制約を受けることがある。

本発明の目的は、特に符号化された画像の表示条件を補正する処理に際し、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することができる画像処理装置、画像処理方法、プログラム及び記憶媒体を提供することである。

請求項１記載の発明は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換、量子化及び符号化という手順で圧縮して圧縮符号データを生成する手段と、圧縮符号データを前記手順の逆の手順で伸長して画像を生成する手段とを有する画像処理装置において、圧縮符号データを伸長し、該伸長された画像に対して画像の表示条件を補正する表示条件補正処理を施し、該表示条件補正処理された画像を再圧縮する一連の処理を、タイル単位で実行することを特徴とする。

したがって、画像の表示条件を補正する表示条件補正を圧縮された画像データに基づいて実行する場合に、伸長した画像に対する表示条件補正処理がタイル単位で実行される。これにより、タイル単位で画像をメモリに展開すれば良いことから、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することが可能になり、各種の制約を受けることがなくなる。ここで、画像の表示条件とは、画像に対する各種の補正パラメータ（色補正、γ補正、エッジ強調等）である。

請求項２記載の発明は、請求項１記載の画像処理装置において、前記表示条件補正処理は、一のタイルを伸長した画像に基づいて画像の表示条件を取得する表示条件取得手段と、この表示条件取得手段により取得された画像の表示条件に従って各タイルの表示条件を順次変更する表示条件変更手段と、によって実行される。

したがって、一のタイルを伸長した画像に基づいて取得された画像の表示条件に従って各タイルの表示条件が順次変更される。これにより、迅速、かつ、確実に画像の表示条件を変更することが可能になる。

請求項３記載の発明は、請求項１または２記載の画像処理装置において、画像を所定のフレームレートで連続して表示する動画像については、最初のフレームにおけるタイル単位で伸長された画像に基づいて表示条件補正処理に係る補正条件を求め、他のフレームについては当該補正条件を適用することを特徴とする。

したがって、補正条件の検出時間を短縮することが可能になる。

請求項４記載の発明のプログラムは、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換、量子化及び符号化という手順で圧縮して圧縮符号データを生成する機能と、圧縮符号データを前記手順の逆の手順で伸長して画像を生成する機能とをコンピュータに実行させるプログラムであって、前記コンピュータに、圧縮符号データを伸長し、該伸長された画像に対して画像の表示条件を補正する表示条件補正処理を施し、該表示条件補正処理された画像を再圧縮する一連の処理を、タイル単位で実行させることを特徴とする。

したがって、画像の表示条件を補正する表示条件補正を圧縮された画像データに基づいて実行する場合には、伸長した画像に対する表示条件補正処理がタイル単位で実行される。これにより、タイル単位で画像をメモリに展開すれば良いことから、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することが可能になり、各種の制約を受けることがなくなる。

請求項５記載の発明の記憶媒体は、請求項４記載のプログラムを記憶していることを特徴とする。

したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項４記載の発明と同様の作用を得ることが可能になる。

請求項６記載の発明は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換、量子化及び符号化という手順で圧縮して圧縮符号データを生成する過程と、圧縮符号データを前記手順の逆の手順で伸長して画像を生成する過程とを有する画像処理方法において、圧縮符号データを伸長し、該伸長された画像に対して画像の表示条件を補正する表示条件補正処理を施し、該表示条件補正処理された画像を再圧縮する一連の処理を、タイル単位で実行することを特徴とする。

請求項７記載の発明は、請求項６記載の画像処理方法において、前記表示条件補正処理は、一のタイルを伸長した画像に基づいて画像の表示条件を取得する表示条件取得過程と、この表示条件取得過程により取得された画像の表示条件に従って各タイルの表示条件を順次変更する表示条件変更過程とによって行われることを特徴とする。

請求項８記載の発明は、請求項６または７記載の画像処理方法において、画像を所定のフレームレートで連続して表示する動画像については、最初のフレームにおけるタイル単位で伸長された画像に基づいて前記表示条件補正処理に係る補正条件を求め、他のフレームについては当該補正条件を適用することを特徴とする。

従って、請求項６ないし８記載の発明では、請求項１ないし３記載の発明と同様な作用を奏する。

請求項１記載の発明の画像処理装置によれば、画像の表示条件を補正する表示条件補正を圧縮された画像データに基づいて実行する場合には、伸長した画像に対する表示条件補正処理をタイル単位で実行することにより、タイル単位で画像をメモリに展開すれば良いことから、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することができ、各種の制約を受けることがなくなる。

請求項２記載の発明によれば、請求項１記載の画像処理装置において、一のタイルを伸長した画像に基づいて取得された画像の表示条件に従って各タイルの表示条件を順次変更することにより、迅速、かつ、確実に画像の表示条件を変更することができる。

請求項３記載の発明によれば、請求項１または２記載の画像処理装置において、画像を所定のフレームレートで連続して表示する動画像については、最初のフレームにおけるタイル単位で伸長された画像に基づいて表示条件補正処理に係る補正条件を求め、他のフレームについては当該補正条件を適用することにより、補正条件の検出時間を短縮することができる。

請求項４記載の発明のプログラムによれば、画像の表示条件を補正する表示条件補正を圧縮された画像データに基づいて実行する場合には、伸長した画像に対する表示条件補正処理をタイル単位で実行することにより、タイル単位で画像をメモリに展開すれば良いことから、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することができ、各種の制約を受けることがなくなる。

請求項５記載の発明の記憶媒体によれば、請求項４記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項４記載の発明と同様の作用効果を得ることができる。

請求項６ないし８記載の発明の画像処理方法によれば、請求項１ないし３記載の発明の画像処理装置と同様な作用効果を得ることができる。

最初に、本発明の実施の形態の前提となる「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」の概要について説明する。

図１は、ＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。

このシステムが従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いているのに対し、この階層符号化アルゴリズムでは、２次ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。

また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。また、一つのファイルから低解像度画像（縮小画像）を取り出したり、画像の一部（タイリング画像）を取り出すことができるようになる。

原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。

次に、ＪＰＥＧ２０００アルゴリズムについて説明する。

カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、ＪＰＥＧ２０００では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。

画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。

図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。

次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。

この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。

ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。

ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。

また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。

レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。

図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。

図６には、この符号列データの概略構成を示している。この符号列データの先頭と各タイルの符号データ（ｂｉｔ ｓｔｒｅａｍ）の先頭にはヘッダ（メインヘッダ（Ｍａｉｎ ｈｅａｄｅｒ）、タイル境界位置情報等であるタイルパートヘッダ（ｔｉｌｅ ｐａｒｔ ｈｅａｄｅｒ））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ ｈｅａｄｅｒ）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ ｏｆ ｃｏｄｅｓｔｒｅａｍ）が置かれる。

一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。

以上が、「ＪＰＥＧ２０００アルゴリズム」の概要である。

以下、第一の実施の形態について説明する。

図７は、本発明が適用される画像処理装置１を含むシステムを示すシステム構成図である。図７に示すように、本発明が適用される画像処理装置１は、例えばパーソナルコンピュータであり、インターネットであるネットワーク５を介して各種画像データを記憶保持するサーバコンピュータＳに接続可能とされている。

本実施の形態においては、サーバコンピュータＳに記憶保持されている画像データは、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号である。より具体的には、圧縮符号は、図８に示すような矩形領域（タイル）に分割された分割画像を圧縮符号化して一次元に並べることにより、図９に示すような構成になる。図９において、ＳＯＣは、コードストリームの開始を示すマーカセグメントである。また、ＭＨは、メインヘッダであり、コードストリーム全体に共通する値を格納している。コードストリーム全体に共通する値としては、例えばタイル横量、タイル縦量、画像横量、画像縦量などが記録されている。ＭＨに続くデータは、各タイルを符号化したデータであり、図９では図８に示すタイルの番号に従って主走査方向／副走査方向に各タイルを圧縮したデータが並べられている。圧縮符号の最後にあるＥＯＣマーカは、圧縮符号の最後であることを示すマーカセグメントである。

また、図１０は「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号の解像度モデルを示す説明図である。図１０に示すように、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号においては、一つの画像ファイル内で低解像度データと高解像度データとが分かれた状態になっている。なお、図１０では２種類の解像度だけを示しているが、実際には、全てのデータを１とすると、ＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）に応じて、１／２，１／４，１／８，１／１６と複数の低解像度画像に係る圧縮符号を抽出することが可能である。

図１１は、画像処理装置１のハードウェア構成を概略的に示すブロック図である。図１１に示すように、画像処理装置１は、情報処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、情報を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８等の一次記憶装置、ネットワーク５を介してサーバコンピュータＳからダウンロードした圧縮符号（図９参照）を記憶する記憶部であるＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ１２、ネットワーク５を介して外部の他のコンピュータと通信により情報を伝達するための通信制御装置１３、処理経過や結果等を操作者に表示するＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置１５、並びに操作者がＣＰＵ６に命令や情報等を入力するためのキーボードやマウス等の入力装置１４等から構成されており、これらの各部間で送受信されるデータをバスコントローラ９が調停して動作する。

ＲＡＭ８は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ６の作業エリアとして機能し、例えば後述する画像補正処理におけるバッファメモリ等の役割を果たす。

このような画像処理装置１では、ユーザが電源を投入するとＣＰＵ６がＲＯＭ７内のローダーというプログラムを起動させ、ＨＤＤ１０よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ８に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。

ここで、画像処理装置１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ１０に記憶している。この意味で、ＨＤＤ１０は、画像処理プログラムを記憶する記憶媒体として機能する。

また、一般的には、画像処理装置１のＨＤＤ１０にインストールされる動作プログラムは、ＣＤ−ＲＯＭ１１やＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１０にインストールされる。このため、ＣＤ−ＲＯＭ１１等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えば通信制御装置１３を介して外部から取り込まれ、ＨＤＤ１０にインストールされても良い。

画像処理装置１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ６が各種の演算処理を実行して各部を集中的に制御する。画像処理装置１のＣＰＵ６が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。

図１２は、画像処理プログラムに従いＣＰＵ６によって実行される画像補正処理の流れを示すフローチャートである。ここでは、画像補正処理として、画像入力の際に傾いた（スキューした）画像を補正するためのスキュー補正処理を主体に説明する。

本実施の形態の画像補正処理においては、図１２に示すように、まず、低解像度画像に係る圧縮符号を復号化して低解像度画像を取得した後（ステップＳ１）、この低解像度画像に対して二値化処理を実行する（ステップＳ２）。前述したように、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号に基づいて低解像度画像のみを取り出すことができることから、本実施の形態においては、メモリ領域が不足するのを解消すべく、低解像度画像に対して二値化処理を実行するようにしたものである。なお、カラー多値画像の場合における二値化処理は、例えばＲＧＢ成分やＹＣｂＣｒ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。このように、スキュー補正角の検出に画像ファイルの持つ色空間のうち、一つを利用することにより、スキュー補正角検出時間の短縮とＲＡＭ８における使用メモリを減少させることが可能になる。

なお、圧縮符号の「ＪＰＥＧ２０００アルゴリズム」に従った伸長処理（復号化処理）については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において説明したので、ここでの説明は省略する（以降においても同様）。このように、「ＪＰＥＧ２０００アルゴリズム」に従って符号化・復号化された画像に基づいて後述するスキュー補正角を検出することにより、「ＪＰＥＧ２０００アルゴリズム」に従って符号化・復号化された画像の欠損は非常に少ないことから（例えば、罫線、表線の途切れがなくなる）、スキュー角検出の精度を高めることが可能になる。

続くステップＳ３では、二値化処理が実行された低解像度画像に基づいてスキュー補正角を検出する。

ここで、スキュー補正角の検出処理について詳細に説明する。スキュー補正角の検出処理は、例えば、図１３に示すようなタイミングマークの検出に基づいて行われる。タイミングマークは、画像が傾いたり（スキューしたり）、画像がずれたり、伸縮したりするのを補正するために使用される基準点である。より具体的には、一原稿にタイミングマークが３点（左上、右上、左下または右下）設けられている。左上と右上の２点のタイミングマークは、入力された画像がどの程度傾いているのか（スキューしているのか）、Ｘ方向にどの程度ずれ、伸縮しているのかを検出することができ、残るもう１点のタイミングマークを利用することによって、Ｙ方向にどの程度ずれ、伸縮しているのかを検出することができる。すなわち、ここでは、このようなタイミングマークが印刷されている原稿を読み取った画像についてのスキュー補正角の検出処理を説明するものである。

図１４は、タイミングマーク検出処理の流れを示すフローチャートである。まず、二値化処理が実行された低解像度画像について、予め設定されているタイミングマークの位置（つまり、スキューなどがないタイミングマークの位置）を基に、タイミングマークの検索範囲を求める（ステップＳ１０１）。検索範囲は、スキュー、ずれ等をどの程度許容するかによって決まる。すなわち、図１５に示すように、予め設定されたタイミングマークの位置に許容量（±α）を加減算した座標値が、タイミングマークの検索範囲になり、この検索範囲にタイミングマークが含まれるように範囲を決めればよい。また、この範囲は自
動的かつ動的に決めてもよいし、またユーザが画像を入力する度に範囲を指定するようにしてもよい。したがって、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号に基づいて画像の一部（タイリング画像）を取り出すことができることから、タイミングマークが含まれている可能性が高いタイルのみ（例えば、スキューが生じていない場合にタイミングマークを有するタイルが存在する位置にあるタイル及びその周辺のタイルのみ）を復号化するようにすれば、処理の高速化、省メモリ化を図ることが可能になる。

また、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域が指定されている場合には、このＲＯＩ領域内のタイミングマークが含まれている可能性が高いタイルのみ（例えば、スキューが生じていない場合にタイミングマークを有するタイルが存在する位置にあるタイル及びその周辺のタイルのみ）を復号化するようにすれば、更に処理の高速化、省メモリ化を図ることが可能になる。なお、ＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。

タイミングマークの検索範囲が決定されると（ステップＳ１０１）、次に、タイミングマークの検索範囲内で矩形（外接矩形）を抽出する（ステップＳ１０２）。この矩形抽出方法としては、黒画素の連結成分を抽出する周知の方法を用いる。矩形の抽出処理によって、通常、複数の矩形が抽出される。すなわち、タイミングマークの検出範囲には、検出すべきタイミングマークだけではなく、文字矩形やノイズ矩形等が含まれる可能性があり、複数の矩形とは、これらの矩形をいう。

ただし、図１５に示すように、検索範囲に接する矩形は、ノイズとして削除（無視）する。また、矩形抽出処理が終了した時点で、矩形が抽出されなかったときは（ステップＳ１０３のＮ）、タイミングマークの検出が不可能となる（ステップＳ１０９）。

次いで、複数の矩形が抽出されると（ステップＳ１０３のＹ）、各矩形から特徴量を抽出する特徴抽出処理を行う（ステップＳ１０４）。各矩形の特徴量を求めた後、予め設定されているタイミングマークの特徴量と、各矩形の特徴量との距離を算出し、タイミングマークの候補を求める（ステップＳ１０５、Ｓ１０６）。ここで、距離とは、例えば特徴量の差分をとる相違度であり、距離が小さいほど相違度が小さく、タイミングマークの候補順位が上位になる。

このようにして距離演算を行い、タイミングマークの候補順位として、第１候補から第ｎ侯補まで決まると（ステップＳ１０６のＹ）、算出された第１侯補の距離が、予め設定されている閾値を満足するか否かを判定し、閾値以下のとき（ステップＳ１０７のＹ）、第１侯補をタイミングマークとして出力する（ステップＳ１０８）。このように閾値との比較処理を行うことによって、文字等の部分をタイミングマークとして誤って抽出することが防止される。つまり、距離演算された第１侯補をそのままタイミングマークとして出力した場合には、タイミングマークがない画像を処理したときに、文字等の部分を誤ってタイミングマークとして抽出することになる。したがって、タイミングマークの検出は、タイミングマークがあるときには精度よく検出し、タイミングマークがないときは（ステップＳ１０７のＮ）、「ない（検出不可能）」と結果を出力する（ステップＳ１０９）。

タイミングマーク検出処理が終了すると、検出されたタイミングマークに従ってスキュー補正角が検出される。スキュー補正角の検出については、既知の手法がいろいろあるが、例えば、事前に設定されたタイミングマークの座標値と検出されたタイミングマークの座標値との差からスキュー補正角を検出する手法がある。

したがって、ステップＳ１〜Ｓ３において、スキュー補正角検出手段の機能が実行される。

以上のようにしてスキュー補正角が検出されると、タイル（図９に示す各タイルの符号化データ）を順次取り出してＲＡＭ８において伸長し、検出したスキュー補正角に従って回転処理を実行した後、圧縮処理を行って図９に示す符号列データに書き戻すことにより、画像全体のスキュー補正を行う（ステップＳ４〜Ｓ７：画像回転手段）。

スキュー補正角に従った回転処理について説明する。図１６（ａ）はタイルの左上を起点として回転させた状態を示し、図１６（ｂ）はタイルの中央を起点として回転させた状態を示すものである。図１６（ａ）に示すように、タイルの左上を起点としてスキュー補正角だけ回転させた場合には、回転により補正される領域（有効領域）とともに、各タイルで回転により捨てられる領域（無効領域）が発生する。そして、このような無効領域には白画素が補完される。一方、図１６（ｂ）に示すように、タイルの中央を起点としてスキュー補正角だけ回転させた場合にも、同様に、回転により補正される領域（有効領域）とともに、各タイルで回転により捨てられる領域（無効領域）が発生する。そして、このような無効領域には白画素が補完される。したがって、各タイルで回転により発生する無効領域に対して簡易な手法で画素を補完することが可能になる。

しかしながら、上述したように、タイルを一つ一つ回転させると少ないメモリ量でもスキュー補正処理を実行することができるというメリットがあるが、それぞれのタイルで無効領域が生じ、画像が歯抜け状態（隙間が生じた状態）になるという問題がある。

そこで、このように画像が歯抜け状態（隙間が生じた状態）になってしまった場合には、この隙間にローパスフィルタ処理を施すことにより、隙間を目立たなくすることが可能である。ローパスフィルタ処理については周知であるので、その説明は省略する。なお、タイルの伸長処理（ステップＳ５）の際に、タイルの境界が不連続となるという問題を解決すべく、タイル境界の近傍のみにローパスフィルタ処理を施すことによりタイル境界を目立たなくしている場合には、隙間にローパスフィルタ処理を施す必要はない。

また、図１７（ａ）に示すように、所望のタイルと当該タイルの一角で隣接する３個の周辺タイルとによりタイル群を形成し、このタイル群の一の角を起点としてタイル群をスキュー補正角だけ回転させることで、回転により生じる無効領域を補完するようにしても良い。ここで、目的のタイルと一緒に回転させる３個の周辺タイルは、タイル群の左上が起点で左回転（時計周り）の場合には、目的のタイルの左、左下、下に位置するタイルである。また、タイル群の左上が起点で右回転（反時計周り）の場合には、目的のタイルの右、右上、上に位置するタイルである。一方、図１７（ｂ）に示すように、所望のタイルと当該タイルの右、左、上、下に隣接する４個の周辺タイルとによりタイル群を形成し、目的のタイルの中央を起点としてタイル群をスキュー補正角だけ回転させることで、回転により生じる無効領域を補完するようにしても良い。

さらに、スキュー補正角に従った回転処理の変形例について説明する。図１８は画像の一ヶ所を起点としてタイルを回転させた状態を示すものである。図１８に示すように、全てのタイルについてのスキュー補正角に応じた回転の起点を画像の一ヶ所に設定し、このスキュー補正角に従って全てのタイルを回転させた場合には、タイルが回転の中心から離れるほど移動距離が大きくなるが回転誤差を解消することができる。より詳細には、図１９の▲１▼〜▲２▼に示すように、回転対象のタイルを周辺タイルとともに伸長して回転させる（図１７（ａ）や図１７（ｂ）参照）。また、図１９の▲３▼に示すように、元画像とは別に原稿１枚分のワークメモリをＲＡＭ８に確保する。そして、図１９の▲４▼に示すように、回転した結果をＲＡＭ８のワークメモリにコピーする。このとき、コピーする位置は、回転の中心（左上）からの距離に基づいて決定される。すなわち、コピーする位置は、回転の中心（左上）からの距離により異なることになる。これにより、各タイルの回転誤差を解消することができる。

なお、ＪＰＥＧ２０００のようにビットプレーンごとのデータ取得が可能なフォーマットにおいては、本実施の形態のようにスキュー補正のために全てのビットプレーンを使わずに、上位プレーンのみを取り出したビットプレーンが少ない画像を用いてスキュー補正角を検出するようにしても良い。これにより、更なるスキュー補正角検出時間の短縮及びＲＡＭ８における使用メモリの減少を実現することが可能になる。

また、図２０に示すような補正モード指定ダイアログＸを表示装置１５に表示し、ユーザに速度優先か画質優先かを指定させるようにしても良い（モード選択手段）。この場合、速度優先モードが指定された場合は、解像度を低くし、または、特定の色空間あるいは一部のビットプレーンを使用するようにすれば良い（モード切替手段）。また、画質優先モードが指定された場合は、解像度を高くし、または、全ての色空間あるいは全てのビットプレーンを表示するようにすれば良い（モード切替手段）。

ここに、画像の傾きを補正するスキュー補正を圧縮された画像データに基づいて実行する場合には、伸長した画像に対するスキュー補正処理をタイル単位で実行する。これにより、タイル単位で画像をメモリ（ＲＡＭ８）に展開すれば良いことから、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することができ、各種の制約を受けることがなくなる。

なお、本実施の形態においては、タイミングマークに基づいてスキュー補正角を検出するようにしたが、これに限るものではない。例えば、図２１に示すように、原画像Ｉを表示装置１５に表示する際にグリッド線Ｇを併せて表示する。これにより、原画像Ｉに傾き（スキュー）が発生している場合にはグリッド線Ｇと原画像Ｉの罫線等がずれて表示されるので、ユーザに原画像Ｉの傾き（スキュー）を視覚的に確認させることが可能になる。そして、回転ボタンＢ（右回転ボタンＢ１、左回転ボタンＢ２）をユーザに操作させることにより原画像Ｉを実際に回転させ、実際に回転させた角度をスキュー補正角として検出することが可能になる。これにより、ユーザはスキュー補正角を視覚的に確認することが可能になり、かつ、スキュー補正角が簡易な方法で検出される。このようにしてスキュー補正角が検出されると、スキュー補正ボタンＡのユーザによる操作を条件として前述したステップＳ４〜Ｓ７の処理を実行することで、スキュー補正角に従った画像全体のスキュー補正が実行される。

次に、本発明に係る画像の表示条件を補正する第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。

図２２は、画像処理プログラムに従いＣＰＵ６によって実行される画像補正処理の流れを示すフローチャートである。ここでは、画像補正処理として、画像の表示条件を補正（色補正、γ補正、エッジ強調等）するための表示条件補正処理を主体に説明する。

本実施の形態の画像補正処理においては、図２２に示すように、まず、低解像度画像に係る圧縮符号を復号化して低解像度画像を取得した後（ステップＳ１１）、この低解像度画像を表示デバイスである表示装置１５に表示する（ステップＳ１２）。なお、この場合の解像度は、表示装置１５の解像度に合わせる。

続いて、画像に対する補正パラメータ（色補正、γ補正、エッジ強調等）を確定させる（ステップＳ１３〜Ｓ１５）。ここでは、ユーザからの補正パラメータの受け付け（ステップＳ１３）と、確認のために補正結果画像の表示装置１５への表示（ステップＳ１４）とを、補正パラメータが確定するまで（ステップＳ１５のＹ）、繰り返す。

したがって、ステップＳ１１〜Ｓ１５において、表示条件取得手段の機能が実行される。

補正パラメータ（色補正、γ補正、エッジ強調等）が確定すると（ステップＳ１５のＹ）、タイル（図９に示す各タイルの符号化データ）を順次取り出してＲＡＭ８において伸長し、補正パラメータを用いて補正処理を実行した後、圧縮処理を行って図９に示す符号列データに書き戻すことにより、画像全体の表示条件補正を行う（ステップＳ１６〜Ｓ１９：表示条件変更手段）。

ここに、画像の表示条件を補正する表示条件補正を圧縮された画像データに基づいて実行する場合には、伸長した画像に対する表示条件補正処理をタイル単位で実行する。これにより、タイル単位で画像をメモリ（ＲＡＭ８）に展開すれば良いことから、実装メモリ量が少ない装置やシステムであってもメモリ不足を回避することができ、各種の制約を受けることがなくなる。

なお、各実施の形態においては、静止画像について説明したが、動画像にも応用可能である。各実施の形態において説明したような静止画像、すなわち単フレームに対する方式を複数フレームに拡張して動画像にするものが、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズム」である。すなわち、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」は、図２３に示すように、１フレームのＪＰＥＧ２０００画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にしたものである。したがって、このような動画像については、最初のフレームに基づいて補正条件（スキュー補正角や補正パラメータ）を求め、他のフレームについては当該補正条件（スキュー補正角や補正パラメータ）を適用するようにすれば良い。これは、全てのフレームについて同一の補正が必要と考えられるからである。これにより、補正条件（スキュー補正角や補正パラメータ）の検出時間を短縮することが可能になる。

本発明の実施の形態の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。 原画像の各コンポーネントの分割された矩形領域を示す説明図である。 デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。 プレシンクトを示す説明図である。 ビットプレーンに順位付けする手順の一例を示す説明図である。 符号列データの１フレーム分の概略構成を示す説明図である。 第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。 二次元に分割された分割画像の一例を示す説明図である。 その分割画像に基づいて「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号を示す説明図である。 「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号の解像度モデルを示す説明図である。 画像処理装置のハードウェア構成を概略的に示すブロック図である。 画像補正処理の流れを示すフローチャートである。 タイミングマークを示す説明図である。 タイミングマーク検出処理の流れを示すフローチャートである。 タイミングマークの検索範囲を示す説明図である。 （ａ）はタイルの左上を起点として回転させた状態を示し、（ｂ）はタイルの中央を起点として回転させた状態を示す説明図である。 （ａ）は所望のタイルと当該タイルの一角で隣接する３個の周辺タイルとによりタイル群を形成し、このタイル群の一の角を起点としてタイル群を回転させる場合を示し、（ｂ）は所望のタイルと当該タイルの右、左、上、下に隣接する４個の周辺タイルとによりタイル群を形成し、所望のタイルの中央を起点としてタイル群を回転させる場合を示す説明図である。 画像の一ヶ所を起点としてタイルを回転させた状態を示す説明図である。 その詳細な説明図である。 表示装置に表示される補正モード指定ダイアログを示す正面図である。 表示装置に原画像とともに表示されるグリッド線を示す正面図である。 本発明に係る第二の実施の形態の画像補正処理の流れを示すフローチャートである。 Ｍｏｔｉｏｎ ＪＰＥＧ２０００の概念を示す説明図である。

符号の説明

１ 画像処理装置
１０，１１ 記憶媒体

Claims (8)

1. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換、量子化及び符号化という手順で圧縮して圧縮符号データを生成する手段と、圧縮符号データを前記手順の逆の手順で伸長して画像を生成する手段とを有する画像処理装置において、
   圧縮符号データを伸長し、該伸長された画像に対して画像の表示条件を補正する表示条件補正処理を施し、該表示条件補正処理された画像を再圧縮する一連の処理を、タイル単位で実行することを特徴とする画像処理装置。
2. 前記表示条件補正処理は、
   一のタイルを伸長した画像に基づいて画像の表示条件を取得する表示条件取得手段と、
   この表示条件取得手段により取得された画像の表示条件に従って各タイルの表示条件を順次変更する表示条件変更手段と、
   によって実行されることを特徴とする請求項１記載の画像処理装置。
3. 画像を所定のフレームレートで連続して表示する動画像については、最初のフレームにおけるタイル単位で伸長された画像に基づいて前記表示条件補正処理に係る補正条件を求め、他のフレームについては当該補正条件を適用することを特徴とする請求項１または２記載の画像処理装置。
4. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換、量子化及び符号化という手順で圧縮して圧縮符号データを生成する機能と、圧縮符号データを前記手順の逆の手順で伸長して画像を生成する機能とをコンピュータに実行させるプログラムであって、前記コンピュータに、
   圧縮符号データを伸長し、該伸長された画像に対して画像の表示条件を補正する表示条件補正処理を施し、該表示条件補正処理された画像を再圧縮する一連の処理を、タイル単位で実行させることを特徴とするプログラム。
5. 請求項４記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
6. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換、量子化及び符号化という手順で圧縮して圧縮符号データを生成する過程と、圧縮符号データを前記手順の逆の手順で伸長して画像を生成する過程とを有する画像処理方法において、
   圧縮符号データを伸長し、該伸長された画像に対して画像の表示条件を補正する表示条件補正処理を施し、該表示条件補正処理された画像を再圧縮する一連の処理を、タイル単位で実行することを特徴とする画像処理方法。
7. 前記表示条件補正処理は、
   一のタイルを伸長した画像に基づいて画像の表示条件を取得する表示条件取得過程と、
   この表示条件取得過程により取得された画像の表示条件に従って各タイルの表示条件を順次変更する表示条件変更過程と、
   によって行われることを特徴とする請求項６記載の画像処理方法。
8. 画像を所定のフレームレートで連続して表示する動画像については、最初のフレームにおけるタイル単位で伸長された画像に基づいて前記表示条件補正処理に係る補正条件を求め、他のフレームについては当該補正条件を適用することを特徴とする請求項６または７記載の画像処理方法。

Images