JP2007088686A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】 入力された画像データに対して、好適な縮小処理を行うことができる画像処理装置を提供する。
【解決手段】 画像処理装置２は、入力された画像データの中で連続的に配列された正方形パターンを探索することにより、最近傍法で拡大された画像データであるか否かを判定し、最近傍法で拡大された画像データに対しては、最近傍法による画像縮小方式を用いて縮小し、最近傍法以外の補間法で拡大された画像データに対しては、線形補間法又はキュービック補間法による画像縮小方式を用いて縮小する。このように、拡大処理法における補間法と、縮小処理における補間法とのミスマッチを防止することにより、画質劣化の少ない縮小画像を生成することができる。
【選択図】図３

Description

本発明は、画像の縮小処理又は低解像度化処理を行う画像処理装置に関する。

例えば、非特許文献１は、画像を３レイヤ構造で記述するＭＲＣ（ミクストラスタコンテント）方式を開示する。ＭＲＣ方式では、レイヤ毎に解像度を異ならせることができる。
http://www.itu.int/itudoc/itu-t/com8/contr/021.html

本発明は、上述した背景からなされたものであり、入力された画像データに対して、好適な縮小処理を行うことができる画像処理装置を提供することを目的とする。

［画像処理装置］
上記目的を達成するために、本発明にかかる画像処理装置は、入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を決定する縮小方式決定手段と、前記縮小方式決定手段により決定された画像縮小方式を用いて、入力された画像データを縮小する画像縮小手段とを有する。

好適には、入力された画像データに基づいて、適用された画像拡大方式を判定する拡大方式判定手段をさらに有し、前記縮小方式決定手段は、前記拡大方式判定手段による判定結果に応じて、適用すべき画像縮小方式を決定する。

好適には、前記拡大方式判定手段は、適用された画像拡大方式が最近傍法であるか否かを判定し、前記縮小方式決定手段は、適用された画像拡大方式が最近傍法であるか否かに応じて、適用すべき縮小方式を決定する。

好適には、前記縮小方式決定手段は、適用された画像拡大方式が最近傍法である場合に、適用すべき縮小方式として、最近傍法を選択する。

好適には、前記拡大方式判定手段は、既定の画像パターンに基づいて、適用された画像拡大方式が最近傍法であるか否かを判定する。

好適には、入力される画像データは、複数のレイヤからなり、前記縮小方式決定手段は、一部のレイヤについて、適用すべき画像縮小方式を決定し、前記画像縮小手段は、一部のレイヤに含まれている画像を、前記縮小方式決定手段により決定された画像縮小方式を用いて縮小する。

［画像処理方法］
また、本発明にかかる画像処理方法は、入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を決定し、決定された画像縮小方式を用いて、入力された画像データを縮小する。

［プログラム］
また、本発明にかかるプログラムは、入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を決定するステップと、決定された画像縮小方式を用いて、入力された画像データを縮小するステップとをコンピュータに実行させる。

本発明の画像処理装置によれば、画質劣化の少ない縮小画像を生成することができる。

まず、本発明の理解を助けるために、その背景を説明する。
画像をレイヤ構造で管理する方法が提案されている。例えば、ＭＲＣ（Mixed Raster Content）方式は、多値の画像要素が割り当てられる２つの画像要素レイヤ、及び、これらの画像要素レイヤから画像領域毎に出力させる画像要素を選択する選択レイヤで画像データを構成する。ここで、画像要素レイヤ及び選択レイヤなどのレイヤは、互いに重なりあうことにより１つの画像を構成するものであり、複数のレイヤ間で予め相対的な位置関係（重なる位置など）が規定されている。

図１は、ＭＲＣ方式のレイヤ構造を説明する図である。
ＭＲＣ方式の画像データ８００は、図１（Ａ）に例示するように、画像要素レイヤして第１レイヤ８１０及び第２レイヤ８２０を有し、これらのレイヤから画像要素を選択する選択レイヤ８３０をさらに有する。
第１レイヤ８１０は、例えば、簡単なＣＧ画像又は文字画像などの低階調画像（本例では、文字画像「ＡＢＣ」）が割り当てられている。なお、第１レイヤ８１０は、ＣＧ画像又は文字画像に含まれる複数の色情報及び中間調情報を有する。
第２レイヤ８２０は、第１レイヤ８１０よりも階調数（色数）が多い連続階調画像（写真画像など）などが割り当てられる。
選択レイヤ８３０は、画像領域毎に（例えば画素毎に）第１レイヤ８１０及び第２レイヤ８２０のいずれの画像要素を出力させるかを示すニ値データで構成され、この２値データによるパターン像が形成される。本例における選択レイヤ８３０のハッチング部分は、第１レイヤ８１０の画像要素を選択するパターン像であり、白色の部分は、第２レイヤ８２０の画像要素を選択するパターン像である。
この画像データ８００が出力される場合には、第１レイヤ８１０及び第２レイヤ８２０に含まれる画像要素から、選択レイヤ８３０に含まれるニ値パターンに応じて選択された画像要素が表示又は印刷されて、図１（Ｂ）に例示するような出力画像となる。
この出力画像は、第１レイヤ８１０に割り当てられた画像要素と、第２レイヤ８２０に割り当てられた画像要素とを合成したものである。

上記のようなレイヤ構造の画像データでは、レイヤ毎に解像度を異ならせることができる。例えば、図１（Ａ）に例示した第１レイヤ８１０及び第２レイヤ８２０をそれぞれ縮小（又は解像度変換）して、図１（Ｃ）に例示する、縮小された第１レイヤ８１２及び第２レイヤ８２２を生成してもよい。なお、画像の縮小処理と、画像の解像度を小さくする解像度変換処理とは、実質的に同一であるため、以下、縮小処理と総称する。
このように、一部のレイヤを画像縮小することにより、画像データ８０２のデータ量を小さくすることができる。

しかしながら、レイヤに含まれる画像には、拡大された画像が含まれる場合がある。例えば、プリンタ出力のために、６００ｄｐｉの画像を圧縮する場合、その画像に含まれている写真は、デジタルカメラなどで撮影されたより低い解像度のソースデータが埋め込まれていることが多い。

拡大画像が埋め込まれたレイヤを縮小する場合には、適用された拡大処理と、適用される縮小処理との相性が重要になる。すなわち、拡大処理と縮小処理との相性によって、画質劣化の度合いが異なる。
拡大処理と縮小処理とは、元の画像データから画素値を生成する一種の補間処理を用いる点で共通する。例えば、最も単純な最近傍法（ニアレストネイバー法）は、サンプリングしようとする（論理的な）画素に最も近い（物理的な）画素値を、そのまま適用するという補間処理を用いている。また、線形補間法による拡大処理及び縮小処理は、画素値が線形に変化しているという仮定して、周辺画素の画素値に基づいて補間処理を行う。
このように、拡大処理と縮小処理とは補間処理を用いる点で共通しており、この補間処理の相性がよいほど、画質劣化が少ないものと期待される。

しかしながら、低い解像度の画像データを拡大する方法は、アプリケーションに依存していろいろ異なる。従って、レイヤに含まれる画像を縮小する場合に適切な縮小方法も、ソースデータによって異なることになる。
一方で、レイヤの縮小処理は固定的に設計されている場合が多く、縮小処理と拡大処理との不適合により、縮小処理に伴う画質劣化が無視できない場合もある。

そこで、本実施形態における画像処理装置２は、入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を選択し、選択された画像縮小方式を用いて、入力されたこの画像データを縮小する。
なお、上記説明では、レイヤ構造で構成された画像データの一部を縮小する場合について説明したが、これに限定されるものではなく、他のデータ構造の画像データを縮小する場合にも本発明を適用することができる。

次に、本実施形態における画像処理装置２の構成を説明する。
図２は、本発明にかかる画像処理装置２のハードウェア構成を例示する図である。
図２に示すように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２３、並びに、ＨＤＤ・ＣＤ装置などの記録装置２４などから構成される。
例えば、画像処理装置２は、汎用コンピュータ又はプリンタ装置などである。

［画像処理プログラム］
図３は、制御装置２０（図２）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の構成を例示する図である。
図３に示すように、画像処理プログラム５は、データ取得部５００、拡大方式判定部５１０、縮小方式決定部５２０、第１縮小部５３０、第２縮小部５４０、及び画像出力部５５０を有する。
画像処理プログラム５は、例えば、記録媒体２４０（図２）又はネットワークを介して制御装置２０に供給され、メモリ２０４にロードされて実行される。

画像処理プログラム５において、データ取得部５００は、通信装置２２（図２）又は記録装置２４を介して、処理対象となる画像データを取得する。
本例のデータ取得部５００は、ＭＲＣ方式の画像データ８００（図１（Ａ））を取得し、取得された画像データ８００を拡大方式判定部５１０及び縮小方式決定部５２０に出力する。

拡大方式判定部５１０は、入力された画像データに対して適用された画像拡大方式を判定し、判定結果を縮小方式決定部５２０に出力する。画像拡大方式とは、画像拡大処理の方式であり、例えば、最近傍法による拡大方式、線形補間法による拡大方式、又は、キュービック補間法による拡大方式などである。
例えば、拡大方式判定部５１０は、入力された画像データに基づいて、適用された画像拡大方式を判定する。また、拡大方式判定部５１０は、適用された画像拡大方式の識別情報が画像データ又はジョブに付加されている場合には、付加されている識別情報に基づいて、適用された画像拡大方式を判定する。
本例の拡大方式判定部５１０は、入力された画像データに既定の画像パターンが含まれているか否かに基づいて、最近傍法による画像拡大方式が適用されたか否かを判定し、判定結果を縮小方式決定部５２０に出力する。
なお、本例の拡大方式判定部５１０は、図１（Ａ）に例示する第１レイヤ８１０及び第２レイヤ８２０それぞれについて、最近傍法による画像拡大方式が適用されたか否かを判定する。

縮小方式決定部５２０は、入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を決定する。
例えば、縮小方式決定部５２０は、拡大方式判定部５１０から入力された判定結果に応じて、適用すべき画像縮小方式を選択する。より具体的には、縮小方式決定部５２０は、最近傍法による画像拡大方式が入力画像に適用されている場合には、最近傍法による画像縮小方式を、適用すべき画像拡大方式として選択し、線形補間法による画像縮小方式が入力画像に適用されている場合には、線形補間法による画像拡大方式を選択し、キュービック補間法による画像拡大方式が適用されている場合には、キュービック補間法による画像縮小方式を選択する。
本例の縮小方式決定部５２０は、最近傍法による画像拡大方式が入力画像に適用されている場合には、最近傍法による画像縮小方式を選択して、入力画像を第１縮小部５３０（最近傍法を用いる画像縮小手段）に出力し、最近傍による画像拡大方式が適用されていない場合には、キュービック補間法（又は線形補間法）による画像縮小方式を選択して、入力画像を第２縮小部５４０（キュービック補間法を用いる画像縮小手段）に出力する。
なお、本例の縮小方式決定部５２０は、図１（Ａ）に例示する第１レイヤ８１０及び第２レイヤ８２０それぞれについて、適用すべき画像縮小方式を選択する。

第１縮小部５３０は、最近傍法による画像縮小方式を用いて、縮小方式決定部５２０から入力された画像データを縮小する。すなわち、第１縮小部５３０は、縮小方式決定部５２０により最近傍法による画像縮小方式が選択された場合に、最近傍法による画像縮小方式を用いて、入力された画像データを縮小する。
本例の第１縮小部５３０は、最近傍法による画像縮小方式を用いて、縮小方式決定部５２０から入力されたレイヤ（第１レイヤ８１０及び第２レイヤ８２０又はこれらのいずれか）の画像データを縮小し、縮小されたレイヤの画像データを画像出力部５５０に出力する。

第２縮小部５４０は、第１縮小部５３０とは異なる画像縮小方式を用いて、縮小方式決定部５２０から入力された画像データを縮小する。より具体的には、第２縮小部５４０は、縮小方式決定部５２０により線形補間法又はキュービック補間法による画像縮小方式が選択された場合に、線形補間法又はキュービック補間法による画像縮小方式を用いて、入力された画像データを縮小する。
本例の第２縮小部５４０は、キュービック補間法による画像縮小方式を用いて、縮小方式決定部５２０から入力されたレイヤ（第１レイヤ８１０及び第２レイヤ８２０又はこれらのいずれか）の画像データを縮小し、縮小されたレイヤの画像データを画像出力部５５０に出力する。

なお、本例の第１縮小部５３０及び第２縮小部５４０の組合せは、本発明にかかる画像縮小手段の一例であるが、これに限定されるものではなく、例えば、３以上の画像縮小方式それぞれに対応する縮小部を組み合わせてもよい。

画像出力部５５０は、第１縮小部５３０及び第２縮小部５４０又はこれらのいずれかから入力された画像データ（第１レイヤ８１２及び第２レイヤ８２２）と、縮小方式決定部５２０から入力された選択レイヤ８３０の画像データとをまとめて、図１（Ｃ）に例示する画像データ８０２を生成し、生成された画像データ８０２を外部（例えば、記録装置２４（図２）など）に出力する。

図４は、最近傍法による画像拡大処理の判定方法を説明する図であり、図４（Ａ）は、拡大される前の画像を例示し、図４（Ｂ）は、図４（Ａ）に例示する画像が最近傍法により２倍に拡大された拡大画像を例示する。なお、本図において、Ａ〜Ｆは、各画素の画素値（すなわち、色）に相当する。
図４に例示するように、最近傍法により画像を拡大すると、同一の色で塗り潰された矩形領域が格子状に配列される。例えば、拡大前の画素値Ａ（図４（Ａ））は、最近傍法により２倍に拡大されると、図４（Ｂ）に例示するように、２×２の矩形領域（画素値Ａ）になる。
そこで、本例の拡大方式判定部５１０は、Ｎ×Ｎの正方形パターン（Ｎは２以上の整数）を画像データ内で探索することにより、最近傍法による画像拡大処理が適用された画像データであるか否かを判定する。すなわち、拡大方式判定部５１０は、種々のサイズの正方形パターンを画像データ内で探索し、いずれかのサイズの正方形パターンが検出された場合に、このサイズの正方形パターンが連続して配列されているか否かを判定し、正方形パターンが連続して配列されている場合には、最近傍法による画像拡大方式が適用されたものと判定し、これ以外の場合に、最近傍による画像拡大方式が適用されていないものと判定する。なお、図４（Ｂ）に例示する画素値Ｂ及び画素値Ｃのように、同一の画素値からなる正方形パターンが２つ連続する場合もある。

なお、本例では、主走査方向及び副走査方向に等倍で拡大される場合のみを対象としているが、主走査方向と副走査方向とで拡大倍率が異なる場合も対象とする場合には、拡大方式判定部５１０は、Ｍ×Ｎ（Ｍ及びＮはいずれも整数であり、いずれか一方が２以上）の長方形パターンの探索を行うことにより、最近傍法による画像拡大方式が適用されたか否かを判定する。
また、もし拡大倍率が小さいと正方形パターンを見過ごしがちになるだろうが、そのような場合には、縮小処理と拡大処理とのミスマッチの影響も小さいと考えられる。従って、正方形パターンの検出は、高速化のために精度を多少犠牲にしてもよく、つまり画質とのトレードオフで設計するのが好ましい。

次に、画像処理装置２の全体的な動作を説明する。
図５は、画像処理装置２（画像処理プログラム５）の動作（Ｓ１０）を示すフローチャートである。
図５に示すように、ステップ１００（Ｓ１００）において、データ取得部５００（図３）は、通信装置２２（図２）又は記録装置２４（図２）を介して、処理対象となる画像データ８００（図１（Ａ））を取得し、取得された画像データのうち、１つのレイヤ（本例では、第１レイヤ８１０）の画像データを拡大方式判定部５１０及び縮小方式決定部５２０に出力する。

ステップ１１０（Ｓ１１０）において、拡大方式判定部５１０は、データ取得部５００から入力された画像データの中から、正方形パターンを検出し、検出された正方形パターンが互いに隣接して連続的に配列されているか否かを判定する。
拡大方式判定部５１０は、正方形パターンが連続的に配列されている場合には、最近傍法で拡大された画像データであると判定し、これ以外の場合には、最近傍法以外の補間処理で拡大されたものと判定する。
判定結果は、縮小方式決定部５２０に入力される。

ステップ１２０（Ｓ１２０）において、画像処理プログラム５（図３）は、処理対象が最近傍法で拡大された画像データである場合に、Ｓ１３０の処理に移行し、処理対象が最近傍法以外の補間処理で拡大された画像データである場合に、Ｓ１４０の処理に移行する。

ステップ１３０（Ｓ１３０）において、縮小方式決定部５２０は、拡大方式判定部５１０による判定結果に応じて、最近傍法による画像縮小方式を選択し、第１縮小部５３０にこのレイヤの画像データを出力する。
第１縮小部５３０は、最近傍法により、入力された画像データを縮小し、縮小された画像データを画像出力部５５０に出力する。

ステップ１４０（Ｓ１４０）において、縮小方式決定部５２０は、拡大方式判定部５１０による判定結果に応じて、キュービック補間法による画像縮小方式を選択し、第２縮小部５４０にこのレイヤの画像データを出力する。
第２縮小部５４０は、キュービック補間法により、入力された画像データを縮小し、縮小された画像データを画像出力部５５０に出力する。

ステップ１５０（Ｓ１５０）において、画像処理プログラム５は、第１レイヤ８１０及び第２レイヤ８２０の両方を処理したか否かを判定し、いずれのレイヤも処理した場合には、Ｓ１６０の処理に移行し、いずれかのレイヤが未処理である場合に、このレイヤの画像データをデータ取得部５００に出力させて、Ｓ１１０の処理に戻る。

ステップ１６０（Ｓ１６０）において、画像出力部５５０は、縮小方式決定部５２０から選択レイヤ８３０（図１（Ａ））の画像データを取得し、取得された選択レイヤ８３０と、第１縮小部５３０又は第２縮小部５４０により縮小された第１レイヤ８１２及び第２レイヤ８２２とをまとめて、図１（Ｃ）に例示する画像データ８０２を生成し、通信装置２２（図２）又は記録装置２４（図２）に出力する。

図６は、拡大処理と縮小処理との相性を説明する図である。
図６では、３種類の画像拡大方式（最近傍法、線形補間法及びキュービック補間法）で拡大された画像を、最近傍法で縮小した場合、及び、キュービック補間法で縮小した場合の画質劣化指数が棒グラフで示されている。なお、縦軸は画質劣化の指数となるＭＳＥ（Mean Square Error）であり、小さいほど高画質ということができる。また、ＭＳＥは、拡大前の画像と、拡大後さらに元の大きさに縮小した縮小画像とを比較して算出されたものである。
一般には、キュービック補間法を用いた方が、最近傍法や線形補間法を用いる場合よりも画質がよいといわれているが、図６に示すように、最近傍法で拡大された画像を最近傍法で縮小すると、元の画像と全く同じ縮小画像が得られて、ＭＳＥの値が０となっている。
また、図６に示すように、画像拡大方式と画像縮小方式のミスマッチは、最近傍法とそれ以外の補間方式（線形補間法及びキュービック補間法）との差が大きく、線形補間法とキュービック補間法のミスマッチは比較的影響が小さい。つまり、最近傍法さえ見分けることができれば、それ以外の方式（線形補間法及びキュービック補間法）を見分けられなくても実質上の影響は小さい。従って、本例の拡大方式判定部５１０は、最近傍法による画像拡大処理が適用されたか否かのみを判定している。

以上説明したように、本実施形態における画像処理装置２は、適用された画像拡大方式に対応する画像縮小方式を用いて、画像データを縮小することにより、補間処理のミスマッチによる画質劣化を抑制することができる。
特に、最近傍法と他の補間法（線形補間法又はキュービック補間法）との相性が悪いため、本画像処理装置２は、最近傍法による拡大された画像データであるか否かを判定し、最近傍法により拡大された画像データに対して、最近傍法による画像縮小処理を施し、最近傍法以外の補間法により拡大された画像データに対して、線形補間法又はキュービック補間法による画像縮小処理を施す。
また、本画像処理装置２は、レイヤ構造の画像データのうち、一部のレイヤの画像データを、画像拡大方式に対応する画像縮小方式を用いて縮小することにより、画質劣化を抑制しつつ、画像データのデータサイズを小さくすることができる。

ＭＲＣ方式のレイヤ構造を説明する図である。 本発明にかかる画像処理装置２のハードウェア構成を例示する図である。 制御装置２０（図２）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の構成を例示する図である。 最近傍法による画像拡大処理の判定方法を説明する図であり、（Ａ）は、拡大される前の画像を例示し、（Ｂ）は、（Ａ）に例示する画像が最近傍法により２倍に拡大された拡大画像を例示する。 画像処理装置２（画像処理プログラム５）の動作（Ｓ１０）を示すフローチャートである。 拡大処理と縮小処理との相性を説明する図である。

符号の説明

２・・・画像処理装置
５・・・画像処理プログラム
５００・・・データ取得部
５１０・・・拡大方式判定部
５２０・・・縮小方式決定部
５３０・・・第１縮小部
５４０・・・第２縮小部
５５０・・・画像出力部

Claims (8)

1. 入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を決定する縮小方式決定手段と、
   前記縮小方式決定手段により決定された画像縮小方式を用いて、入力された画像データを縮小する画像縮小手段と
   を有する画像処理装置。
2. 入力された画像データに基づいて、適用された画像拡大方式を判定する拡大方式判定手段
   をさらに有し、
   前記縮小方式決定手段は、前記拡大方式判定手段による判定結果に応じて、適用すべき画像縮小方式を決定する
   請求項１に記載の画像処理装置。
3. 前記拡大方式判定手段は、適用された画像拡大方式が最近傍法であるか否かを判定し、
   前記縮小方式決定手段は、適用された画像拡大方式が最近傍法であるか否かに応じて、適用すべき縮小方式を決定する
   請求項２に記載の画像処理装置。
4. 前記縮小方式決定手段は、適用された画像拡大方式が最近傍法である場合に、適用すべき縮小方式として、最近傍法を選択する
   請求項３に記載の画像処理装置。
5. 前記拡大方式判定手段は、既定の画像パターンに基づいて、適用された画像拡大方式が最近傍法であるか否かを判定する
   請求項３に記載の画像処理装置。
6. 入力される画像データは、複数のレイヤからなり、
   前記縮小方式決定手段は、一部のレイヤについて、適用すべき画像縮小方式を決定し、
   前記画像縮小手段は、一部のレイヤに含まれている画像を、前記縮小方式決定手段により決定された画像縮小方式を用いて縮小する
   請求項１に記載の画像処理装置。
7. 入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を決定し、
   決定された画像縮小方式を用いて、入力された画像データを縮小する
   画像処理方法。
8. 入力された画像データに適用された画像拡大方式に応じて、適用すべき画像縮小方式を決定するステップと、
   決定された画像縮小方式を用いて、入力された画像データを縮小するステップと
   をコンピュータに実行させるプログラム。

Images