JP2014099046A - 画像処理装置及び画像処理プログラム、画像調整装置及び画像調整プログラム - Google Patents

Abstract

【課題】画像が表すシーンに応じて処理する帯域及び再現強度を設定することができる画像処理装置を提供する。
【解決手段】輝度画像生成部１１は、与えられた原画像から輝度成分を抽出する。帯域分解部１２は、原画像の輝度成分を複数の帯域に分解して複数の帯域画像を生成する。帯域度算出部１３は、帯域画像のそれぞれに対して、例えば各帯域画像の画素の積分値をもとに、帯域の度合いを示す帯域度を算出する。再現情報決定部１４は、各帯域の帯域度と設定された帯域基準値との差をもとに帯域選択情報と帯域強度情報を決定し、あるいは各帯域の帯域度と設定された帯域基準値との差をもとに帯域選択情報を決定し、その帯域選択情報が示す帯域における帯域基準値と帯域度の差に応じて帯域強度情報を決定する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムと、画像調整装置及び画像調整プログラムに関するものである。

画像を調整する技術には、すでに周知の方法が数多く存在する。基本的な方法としては、画素信号のヒストグラムの解析によるカラーバランス補正や、彩度強調等を行うものがある。また、写真画像における被写体の輪郭やエッジを強調する場合は、アンシャープマスキングなどの周波数強調処理を行うのが一般的である。周波数強調処理は、被写体の輪郭やエッジを明確にし、形状を明確にする効果がある。Ｇａｕｓｓ関数系のフィルタリング処理や、アンシャープマスキングなどを用い、強調する帯域と強度（ゲイン）を調整しながら行っている。

帯域強調は係数を制御すれば強調される度合い（再現強度）が調整される。再現強度の調整は画像に応じて行うため、前処理として画像の解析が必要になる。帯域強調は、一般に、高周波成分（エッジ）の強調が行われる。画像の輝度成分からエッジの度合いを算出し、度合いに見合った係数で帯域強調を行い、画像に見合った再現がなされている。特許文献１、特許文献２、特許文献３などに、エッジの度合いを算出する例が記載されている。

画像中に高周波成分がどの程度含まれているかを算出し、高周波成分が含まれている度合いに見合った再現強度を設定することは、上記の手法で実施されている。例えば、特許文献１では画像の鮮鋭度に応じて強調のための係数を算出している。また、特許文献２では画像中のエッジ量をもとに強調度を決定している。さらに、特許文献３では微分信号のヒストグラムをもとにシャープネス処理の処理係数を決定している。

すべての画像についてエッジなどの高周波成分を強調すればよいわけではなく、低周波と中周波、中周波よりの高周波など、画像が表すシーンにより調整の対象とする帯域は異なり、その帯域での再現強度も異なることになる。従って、それぞれの画像により帯域の選択とその帯域における再現強度の調整が必要である。

特開平０６−０６８２５２号公報 特開平１１−０５５５２６号公報 特開２００６−０２４０９７号公報

本発明は、画像が表すシーンに応じて処理する帯域及び再現強度を設定することができる画像処理装置及び画像処理プログラムと、そのような帯域及び再現強度の設定に従って画像の調整を行うことができる画像調整装置と画像調整プログラムを提供することを目的とするものである。

本願請求項１に記載の発明は、与えられた原画像の輝度成分を複数の帯域に分解して複数の帯域画像を生成する分解手段と、前記帯域画像のそれぞれに対して帯域の度合いを示す帯域度を算出する帯域度算出手段と、各帯域の前記帯域度をもとに強調する帯域を表す帯域選択情報と画像の強調度合いを制御する帯域強度情報を決定する決定手段を有することを特徴とする画像処理装置である。

本願請求項２に記載の発明は、本願請求項１に記載の発明における前記分解手段が、低周波から高周波までの複数の段階で帯域を設定し、少なくとも１つの帯域は、ゼロ周波数を含まない低周波側の帯域を設定することを特徴とする画像処理装置である。

本願請求項３に記載の発明は、本願請求項１または請求項２に記載の発明における前記帯域度算出手段が、各帯域画像の画素の積分値をもとに前記帯域度を算出することを特徴とする画像処理装置である。

本願請求項４に記載の発明は、本願請求項１から請求項３のいずれか１項に記載の発明における前記決定手段が、各帯域の帯域度と設定された帯域基準値との差をもとに前記帯域選択情報と前記帯域強度情報を決定することを特徴とする画像処理装置である。

本願請求項５に記載の発明は、本願請求項１から請求項３のいずれか１項に記載の発明における前記決定手段が、各帯域の帯域度と設定された帯域基準値との差をもとに前記帯域選択情報を決定し、前記帯域選択情報が示す帯域における前記帯域基準値と前記帯域度の差に応じて前記帯域強度情報を決定することを特徴とする画像処理装置である。

本願請求項６に記載の発明は、本願請求項１から請求項３のいずれか１項に記載の発明の構成に、さらに、それぞれの前記帯域画像中の対応する周波数帯域の領域を表す帯域領域画像を生成する帯域領域画像生成手段と、前記帯域領域画像から対応する周波数帯域の領域の面積を表す面積度を算出する面積度算出手段を有し、前記帯域度算出手段は、前記帯域画像とともに前記帯域領域画像を用いて前記帯域度を算出し、前記決定手段は、前記帯域度とともに前記面積度をもとに前記帯域選択情報及び前記帯域強度情報を決定することを特徴とする画像処理装置である。

本願請求項７に記載の発明は、本願請求項６に記載の発明における前記帯域領域画像生成手段が、前記帯域画像を２値化して前記帯域領域画像を生成することを特徴とする画像処理装置である。

本願請求項８に記載の発明は、本願請求項６または請求項７に記載の発明における前記決定手段が、各帯域の帯域度と設定された帯域基準値との差または各帯域の面積度あるいはその両方をもとに前記帯域選択情報と前記帯域強度情報を決定することを特徴とする画像処理装置である。

本願請求項９に記載の発明は、本願請求項６または請求項７に記載の発明における前記決定手段が、各帯域の帯域度と設定された帯域基準値との差または各帯域の面積度あるいはその両方をもとに帯域選択情報を決定し、前記帯域選択情報が示す帯域における帯域基準値と前記帯域度の差に応じて前記帯域強度情報を決定することを特徴とする画像処理装置である。

本願請求項１０に記載の発明は、与えられた原画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整された原画像を輝度色度画像に変換する変換手段と、前記輝度色度画像のうちの輝度画像から請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域選択情報が示す帯域の帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用い請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域強度情報に従って帯域を強調した帯域強調画像を得る強調手段を有することを特徴とする画像調整装置である。

本願請求項１１に記載の発明は、与えられた原画像から輝度画像を生成する輝度画像生成手段と、前記輝度画像から請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域選択情報が示す帯域の帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用い請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域強度情報に従って帯域を強調した帯域強調画像を得る強調手段と、前記原画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整されたカラー画像を輝度色度画像に変換する変換手段を有することを特徴とする画像調整装置である。

本願請求項１２に記載の発明は、コンピュータに、請求項１から請求項９のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。

本願請求項１３に記載の発明は、コンピュータに、請求項１０または請求項１１に記載の画像調整装置の機能を実行させるものであることを特徴とする画像調整プログラムである。

本願請求項１に記載の発明によれば、画像が表すシーンに応じて強調する帯域を表す帯域選択情報と画像の強調度合いを制御する帯域強度情報を決定することができるという効果がある。

本願請求項２に記載の発明によれば、強調する帯域を低周波の帯域から特定することができる。

本願請求項３に記載の発明によれば、画像に含まれている周波数成分を帯域ごとに定量化することができる。

本願請求項４に記載の発明によれば、シーンに応じて設定された帯域基準値に応じた帯域選択情報及び帯域強度情報を決定することができる。

本願請求項５に記載の発明によれば、各帯域の帯域度を設定された強度基準値に破綻無く近づけた調整を行う帯域選択情報及び帯域強度情報を決定することができる。

本願請求項６に記載の発明によれば、画像の特徴を表す帯域を、本構成を有しない場合に比べて的確に選択して、帯域選択情報及び帯域強度情報を決定することができる。

本願請求項７に記載の発明によれば、本構成を有しない場合に比べて簡単に帯域領域画像を生成することができる。

本願請求項８に記載の発明によれば、本構成を有しない場合に比べて精度よく、帯域選択情報と帯域強度情報を決定することができる。

本願請求項９に記載の発明によれば、本構成を有しない場合に比べて精度よく、各帯域の帯域度を設定された強度基準値に破綻無く近づけた調整を行う帯域選択情報及び帯域強度情報を決定することができる。

本願請求項１０及び請求項１１に記載の発明によれば、画像が表すシーンに応じた帯域及び強調度合いで画像の調整を行うことができる。

本願請求項１２に記載の発明によれば、本願請求項１から請求項９のいずれか１項に記載の発明の効果を得ることができる。

本願請求項１３に記載の発明によれば、本願請求項１０または請求項１１に記載の発明の効果を得ることができる。

本発明の画像処理装置の第一の実施の形態を示す構成図である。 本発明の画像処理装置の第一の実施の形態における動作の一例を示す流れ図である。 帯域画像の一例の説明図である。 ＤＯＧ関数の一例の説明図である。 ＤＯＧ関数の制御係数と特性の関係の一例の説明図である。 低周波での周波数帯域及び帯域画像の一例の説明図である。 帯域度の一例の説明図である。 帯域選択情報と帯域強度情報の決定の一例の説明図である。 帯域選択情報と帯域強度情報の決定の別の例の説明図である。 本発明の画像処理装置の第二の実施の形態を示す構成図である。 本発明の画像処理装置の第二の実施の形態における動作の一例を示す流れ図である。 帯域領域画像を生成する処理の一例の説明図である。 正規化された帯域度の一例の説明図である。 面積度を用いた帯域基準値の設定の一例の説明図である。 本発明の画像調整装置の実施の一形態を示す構成図である。 本発明の画像調整装置の実施の一形態の変形例を示す構成図である。 本発明の画像処理装置の各実施の形態及び画像調整装置の実施の一形態とその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。

図１は、本発明の画像処理装置の第一の実施の形態を示す構成図である。図中、１１は輝度画像生成部、１２は帯域分解部、１３は帯域度算出部、１４は再現情報決定部である。輝度画像生成部１１は、与えられた原画像から輝度成分を抽出する。与えられた原画像が輝度を成分としない色空間の画像である場合には輝度を成分として含む色空間に変換し、輝度成分の画像を生成する。なお、与えられた画像が輝度を成分とする色空間の画像である場合は、そのまま輝度成分を抽出すればよいし、モノクロ画像の場合には、そのまま輝度成分の画像となる。そのような場合には、この輝度画像生成部１１を設けずに構成してもよい。

帯域分解部１２は、原画像の輝度成分を複数の帯域に分解して複数の帯域画像を生成する。分解の際には、低周波から高周波までの複数の段階で帯域を設定し、少なくとも１つの帯域は、ゼロ周波数を含まない低周波側の帯域を設定する。それぞれの帯域は連続していても離れていてもよく、部分的に重複する周波数が存在していてもよい。

帯域度算出部１３は、帯域画像のそれぞれに対して、帯域の度合いを示す帯域度を算出する。例えば、各帯域画像の画素の積分値をもとに帯域度を算出するとよい。

再現情報決定部１４は、各帯域の帯域度をもとに、強調する帯域を表す帯域選択情報と、画像の強調度合いを制御する帯域強度情報を決定する。例えば、各帯域の帯域度と設定された帯域基準値との差をもとに帯域選択情報と帯域強度情報を決定し、あるいは各帯域の帯域度と設定された帯域基準値との差をもとに帯域選択情報を決定し、その帯域選択情報が示す帯域における帯域基準値と帯域度の差に応じて帯域強度情報を決定するとよい。

以下、上述の構成について、具体例を用いながら動作の一例を説明する。図２は、本発明の画像処理装置の第一の実施の形態における動作の一例を示す流れ図である。Ｓ７１において、輝度画像生成部１１は、与えられた原画像から輝度成分を抽出する。例えば写真などの自然画像はＲＧＢ色空間やｓＲＧＢ色空間の画像である場合があり、与えられた原画像がｓＲＧＢ色空間の画像であれば、ｓＲＧＢ→ｓＹＣｂＣｒ、または、ｓＲＧＢ→Ｌ^* ａ^* ｂ^* など、輝度を成分とする色空間へ変換すればよい。ｓＹＣｂＣｒ色空間に変換した場合はＹ成分、ＣＩＥＬＡＢ色空間に変換した場合はＬ^* 成分が輝度成分である。なお、与えられた画像が例えばｓＹＣｂＣｒ色空間やＣＩＥＬＡＢ色空間の画像である場合など、輝度を成分とする色空間の画像である場合には、そのまま輝度成分を抽出すればよい。

Ｓ７２において、帯域分解部１２では、輝度画像生成部１１で得られた輝度成分の画像を帯域ごとに分解し、複数の帯域画像を生成する。図３は、帯域画像の一例の説明図である。図３（Ａ）は原画像の輝度成分を示しており、周波数帯域毎に分解した周波数成分画像を、この例では図３（Ｂ）、（Ｃ）、（Ｄ）に示している。周波数帯域ごとの帯域画像に分解する方法としては、ウェーブレット解析や、ＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ ｔｗｏ Ｇａｕｓｓｉａｎ）関数を用いた方法など、公知の手法を使用すればよい。

図４は、ＤＯＧ関数の一例の説明図である。ＤＯＧ関数は以下の数式１で表される。
Ｇ_DOG （ｘ，ｙ）＝（１／２πσ_e ²）ｅ^te−Ａ・（１／２πσ_i ²）ｅ^ti （数式１）
ｔｅ＝−（ｘ²＋ｙ²）／２σ_e ²
ｔｉ＝−（ｘ²＋ｙ²）／２σ_i ²
ここで、σ_e、σ_i、Ａは制御係数である。

このＤＯＧ関数は、人間の脳内における視覚特性の数学的モデルとして知られており、例えば図４に形状の一例を示している。制御係数を変更することで、周波数帯域やその周波数帯域に対する反応の強さなどが制御される。数式１の関数をフィルタとし、制御係数を調整して輝度成分の画像をフィルタリングすれば、設定されている係数に応じた帯域画像が得られる。制御係数を変更して複数の帯域画像を生成すればよい。フィルタリングは実空間でも周波数空間でもどちらでもよい。周波数空間で行う場合は、数式１をフーリエ変換して用いればよい。

図５は、ＤＯＧ関数の制御係数と特性の関係の一例の説明図である。数式１の制御係数σ_e、σ_i、Ａを制御することにより変化する周波数帯域を表している。縦軸の反応値は、輝度成分の画像がフィルタリングによって反応する値である。反応値が大きいほど当該周波数帯域への反応が強いことを意味する。図５に示すように、数式１の制御係数を制御して周波数帯域を変えてフィルタリングを行い、それぞれの周波数帯域の帯域画像を得ればよい。

図６は、低周波での周波数帯域及び帯域画像の一例の説明図である。図５に示したように、低周波から高周波までの複数の段階で帯域を設定して、それぞれの帯域の帯域画像を生成するが、少なくとも１つの帯域は、ゼロ周波数を含まない低周波側の帯域を設定する。低周波の画像としては、原画像にボカシをかけた画像を指す場合があるが、この例における帯域画像への分解では、ゼロ周波数を含まない低周波側の帯域を設定し、その帯域での帯域画像を得ている。

ゼロ周波数は、輝度成分の画像では平均の輝度を示す。ボカシをかけた画像では平均の輝度をそのまま有しており、ゼロ周波数を含む。この場合の周波数帯域は、図６（Ａ）にｂやｃとして示した周波数帯域となり、周波数が０の成分を含むことになる。画像の一例を図６（Ｂ）に示している。

図６（Ａ）にａとして示した周波数帯域では、周波数が０の成分（ゼロ周波数）を含んでいない。この場合の画像の一例を図６（Ｃ）に示している。帯域分解部１２では、このようにゼロ周波数を含まない低周波側の帯域を設定し、この帯域での帯域画像を得ている。図６（Ｂ）と図６（Ｃ）に示す画像を比較すると、図６（Ｃ）に示すゼロ周波数を含まない低周波側の帯域画像では、被写体のエッジというよりは、形状（太い輪郭）が検出されている。これに対して図６（Ｂ）に示すゼロ周波数を含む低周波の画像は、輪郭成分が失われており、原画像に比べて輝度の平均値に近づく。この点で、ゼロ周波数を含まない低周波側の帯域画像と異なっている。なお、ゼロ周波数を含む帯域の画像も、数式１の制御係数を調整すれば得られる。

上述のゼロ周波数を含まない低周波帯域を含め、周波数帯域により得られる特徴が異なり、高周波帯域ではエッジが、中周波帯域では形状が、ゼロ周波数を含まない低周波帯域ではおおまかな形状が、それぞれ得られ、ゼロ周波数を含む低周波帯域ではボカシの画像が得られることになる。帯域強調を行って質感を向上させる際に、原画像のどの帯域を強調すればよいかは画像によって異なる。よって、帯域分解部１２では、ゼロ周波数を含まない複数段階の帯域を設定し、原画像の素性の解析に利用する。もちろん、ゼロ周波数を含む帯域を含めて帯域画像を得て、原画像の素性の解析に利用してもよい。

なお、帯域分解部１２で帯域画像への分解を行う方法として、数式１を用いた方法に限られないことは言うまでもない。例えばウェーブレット変換や画像縮小拡大、ガウス関数で原画像をぼかしながら、ぼかす前との差を取ることで帯域を限定してもよい。ぼかした画像をさらにぼかして、ぼかす前との差分をとれば、中・低周波の帯域の帯域画像が得られる。

図２に戻り、Ｓ７３において、帯域度算出部１３では、帯域画像のそれぞれに対して、帯域の度合いを示す帯域度を算出する。図７は、帯域度の一例の説明図である。帯域度としては、例えば各帯域画像で得られた画素値の積分値とすればよい。得られた帯域度は、画像中に当該帯域の成分がどれほど存在するかを示すことになる。積分値は画像の大きさをもとに正規化してもよい。図７に示す例では、６つの帯域において得られた帯域画像から帯域度を算出し、周波数の順に並べたものである。

なお、帯域度としては、上述の帯域画像の画素値の積分値に限られるものではなく、画像中にそれぞれの帯域の成分がどれほど存在するかを示す値であればよい。

図２のＳ７４において、再現情報決定部１４では、各帯域の帯域度をもとに、強調する帯域を表す帯域選択情報と、画像の強調度合いを制御する帯域強度情報を決定する。図８は、帯域選択情報と帯域強度情報の決定の一例の説明図である。ここでは、予め設定されている帯域基準値を用い、各帯域の帯域度と帯域基準値との差をもとに、帯域選択情報と帯域強度情報を決定する。

帯域基準値は、それぞれの帯域における帯域度の目標を示す値である。帯域度の目標は、どのように帯域強調を行うかに応じて設計すればよい。例えば、被写体が静止物や食材などであるのか、ガラス細工や毛、羽毛などであるのか、スプーンやカンなどのメタリックのものであるのかなど、どのような対象に対して帯域強調を行うかによって予め設定しておけばよい。いくつかの帯域基準値を用意しておき、画像に合わせて１つが選ばれるようにしてもよい。例えばどのような対象に合わせた帯域強調を行うかを予め設定しておいて、対応する帯域基準値を選択するようにしてもよい。あるいは、各帯域の帯域度の傾向から帯域基準値を選択してもよい。または、帯域基準値を調整する指示を受け付け、その指示に従った帯域基準値を設定してもよい。

図８に示した例では、帯域基準値として高周波側が強調される設定を行っている。一方、帯域度の状態は、中高周波の成分の帯域度が帯域基準値に比べて不足している。従って、中・高周波の帯域を選択し、帯域度が帯域基準値に近づくような帯域強調を行えばよい。

原画像の輝度成分の画素値をＹｏ、ある帯域の帯域画像の画素値をＹｂ、強調後の画像の画素をＹｅとして、
Ｙｅ＝α・Ｙｂ＋Ｙｏ
により強調すればよい。ここで、αは強調係数である。図８に示す例では中・高周波の帯域の帯域画像を使用して強調係数αを求めればよい。その際の中・高周波の帯域を示す情報が帯域選択情報であり、強調係数αが帯域度を帯域基準値に近づける帯域強度情報となる。なお、帯域選択情報としては、どの帯域を選択したかが分かる情報であればどのようなものでもよく、例えば、帯域画像を生成する際に用いた数式１の制御情報σ_e、σ_iを帯域選択情報としてもよい。この場合の帯域画像を分離する方法についても数式１を用いた方法に限らないので、方法に応じた係数を帯域選択情報とすればよい。その他にも、予め決めておいた帯域番号や周波数そのもの、単に低、中、高などの選択肢のいずれかなど、種々の帯域選択情報であってよい。また、帯域強度情報についても、使用する強調の処理の方法に応じた強調の度合いを示す情報とすればよい。

このように、帯域基準値と帯域度の関係がわかれば、どの帯域をどのくらい強調するかが決定され、強調する帯域を帯域選択情報として、また強調する度合いを帯域強度情報として決定すればよい。

図９は、帯域選択情報と帯域強度情報の決定の別の例の説明図である。この例では、帯域基準値と帯域度との差をもとに帯域を選択し、その帯域における帯域度と帯域基準値との差に応じて強調する度合いを決める場合を示している。図８に示す帯域度と帯域基準値の関係にある場合に、例えば帯域度と帯域基準値との差が最大となる帯域を選択して、その帯域の情報を帯域選択情報とする。また、その際の帯域度と帯域基準値との差（最大値）をもとにした強調の度合いを帯域強度情報とすればよい。

帯域強度情報を決定する際に、基本的には、選択された帯域における帯域度を帯域基準値へ近づけるようにするが、無理な強調は逆効果となる場合がある。このような場合を防ぐように、例えば図９（Ｂ）に示す関係に従って帯域強度情報を決定するとよい。すなわち、帯域度と帯域基準値との差がある値以下であれば、選択された帯域における帯域度を帯域基準値へ近づける強調の度合いとするが、ある値を超える場合には、差が大きくなるに従って強調の度合いを弱くする。このような関係により、帯域度と帯域基準値との差がある値を超える場合に、無理に帯域基準値に近づけず、ほどよい強調がなされるように帯域強度情報が決定されることになる。

図１０は、本発明の画像処理装置の第二の実施の形態を示す構成図である。図中、２１は帯域領域画像生成部、２２は面積度算出部である。第一の実施の形態と異なる点について主に説明してゆく。

帯域領域画像生成部２１は、帯域分解部１２で生成されたそれぞれの帯域画像について、その帯域画像中の対応する周波数帯域の領域を表す帯域領域画像を生成する。帯域領域画像を生成する方法の一例としては、帯域画像を２値化すればよい。もちろん、このほかの方法により帯域領域画像を生成してもよい。

面積度算出部２２は、帯域領域画像生成部２１で生成した帯域領域画像から、対応する周波数帯域の領域の面積を表す面積度を算出する。例えば、帯域領域画像に対応する周波数帯域の領域とされた画素数を算出すればよい。

帯域度算出部１３では、帯域分解部１２で生成された帯域画像とともに、帯域領域画像生成部２１で生成された帯域領域画像を用いて帯域度を算出するとよい。例えば、帯域領域画像において当該帯域領域画像に対応する周波数帯域の領域とされた画素について、帯域画像の画素値を積分して帯域度を算出すればよい。

帯域度算出部１３は、さらに、面積度算出部２２で算出した面積度を用い、帯域度を正規化してもよい。高周波数帯域の面積度よりも低周波数帯域の面積どの方が面積度が大きくなる傾向にあり、このような周波数帯域による傾向を除去した帯域度が得られる。

再現情報決定部１４では、各帯域の帯域度とともに、面積度算出部２２で算出した面積度をもとに、強調する帯域を表す帯域選択情報と、画像の強調度合いを制御する帯域強度情報を決定するとよい。面積度も用いる場合、例えば、各帯域の面積度をもとに、あるいは各帯域の帯域度と設定された帯域基準値との差と各帯域の面積度をもとに、帯域選択情報と帯域強度情報を決定すればよい。または、各帯域の面積度をもとに、あるいは各帯域の帯域度と設定された帯域基準値との差と各帯域の面積度をもとに、帯域選択情報を決定し、その帯域選択情報が示す帯域における帯域基準値と帯域度の差に応じて帯域強度情報を決定するとよい。

以下、上述の構成について、具体例を用いながら動作の一例を説明する。図１１は、本発明の画像処理装置の第二の実施の形態における動作の一例を示す流れ図である。図２で説明した第一の実施の形態における動作の一例と異なる動作について主に説明してゆく。Ｓ７１、Ｓ７２の処理は第一の実施の形態で説明したとおりであり、Ｓ７１において輝度画像生成部１１は与えられた原画像から輝度成分を抽出し、Ｓ７２において帯域分解部１２は輝度画像生成部１１で得られた輝度成分の画像を帯域ごとに分解し、複数の帯域画像を生成する。

Ｓ８１において、帯域領域画像生成部２１は、Ｓ７２で帯域分解部１２により生成されたそれぞれの帯域画像について、その帯域画像中の対応する周波数帯域の領域を表す帯域領域画像を生成する。図１２は、帯域領域画像を生成する処理の一例の説明図である。図１２では、ある周波数帯域の帯域画像について、横軸に画素値の位置をとり、縦軸を各位置の画素値としている。帯域分解部１２で得られた帯域画像の各画素における画素値の変化を見ると、一例として図１２（Ａ）に示すように変化する。この帯域画像の画素値が他の画素より小さい位置では、他の帯域の成分が当該帯域画像の帯域よりも大きいことになる。例えば、ある線幅よりも太い線からなる絵柄の領域では、当該線幅よりも細い線からなる絵柄の領域よりも高周波成分を抽出した帯域画像の画素値は小さくなる。画素値が他の画素よりも小さくても、帯域画像全体で散在している場合、帯域度算出部１３が帯域画像の画素値を積分した場合には影響が出る。

帯域領域画像生成部２１では、図１２（Ｂ）に示すように、予め閾値を設定しておき、その閾値以上はその帯域の領域とし、閾値より小さければその帯域の領域とみなさないこととして、帯域領域画像を生成する。この処理は、閾値による２値化の処理に相当する。図１２（Ｂ）において、黒い太線で示した領域がその帯域の領域とされた画素の領域を示している。この領域を２値のうちの一方の値とし、黒い太線で示されていない領域の画素を２値のうちの他方の値として、帯域領域画像を生成すればよい。なお、閾値は各帯域に応じて予め設定しておけばよく、帯域ごとに異なっていてもよい。

Ｓ８２において、面積度算出部２２は、Ｓ８１で帯域領域画像生成部２１により生成されたそれぞれの帯域の帯域領域画像から、対応する周波数帯域の領域の面積を表す面積度を算出する。例えば、図１２（Ｂ）で黒い太線で示した領域の画素数を計数すればよい。得られた面積度は、各帯域画像で閾値以上の画素値となった画素が絵柄中にどれだけ存在するかを示している。

Ｓ８３において、帯域度算出部１３では、帯域画像のそれぞれに対して、帯域の度合いを示す帯域度を算出する。この処理は図２においてＳ７３で説明した処理を行えばよいが、帯域度として各帯域画像で得られた画素値の積分値を求める際に、帯域領域画像で当該帯域の領域とされた画素について、積分の対象とする。例えば図１２（Ｂ）に黒い太線で示した領域の画素について、帯域画像の画素値を積分してゆけばよい。

帯域画像では画素値が大きいほど、その周波数帯域の成分が強く存在していることを示すが、画素値が他よりも小さく、当該周波数帯域の成分としては他よりも弱くても、広い範囲に存在していれば、積分値である帯域度では大きな値となってしまう。すると、当該周波数帯域の成分としては他よりも弱い画素により帯域度が算出されてしまう場合が生じる。この例では、当該帯域の成分としては他よりも弱い画素を除外して、当該帯域の成分として寄与している画素について帯域画像の画素値を積分し、帯域度を求めるようにしている。

帯域度算出部１３では、さらに、得られた帯域度をＳ８２で面積度算出部２２が算出した面積度により正規化してもよい。正規化すると、それぞれの周波数帯域の領域の面積によらずに、それぞれの周波数帯域での平均帯域度が得られる。面積度による正規化を行わない場合は、帯域度は、画像全体で見た場合に、どの帯域の成分をどの程度含んでいるかを示すことになる。図１３は、正規化された帯域度の一例の説明図である。第一の実施の形態において図７に示した帯域度の例について、正規化した帯域度の例を図１３に示している。

Ｓ８４において、再現情報決定部１４では、Ｓ８３で得た各帯域の帯域度をもとに、強調する帯域を表す帯域選択情報と、画像の強調度合いを制御する帯域強度情報を決定する。この処理は図２におけるＳ７４として説明した処理を行えばよい。その際の帯域基準値は、正規化した帯域度に応じて設定することになる。さらに、Ｓ８２で面積度算出部２２により算出した面積度を考慮して変更してもよい。例えば、面積度に応じて帯域基準値の設定を変更し、その帯域基準値と各帯域度との差をもとに帯域選択情報及び帯域強度情報を決定すればよい。

図１４は、面積度を用いた帯域基準値の設定の一例の説明図である。この例では、高周波帯域の面積度に応じて帯域基準値の設定を変更している。より具体的には、高周波帯域の面積度が小さくなるほど高周波成分での帯域基準値を下げ、高周波帯域の面積度が大きくなるほど高周波成分での帯域基準値を上げている。高周波帯域の面積度が大きいほど、高周波帯域の画素が原画像中に含まれていることを示しており、高周波帯域の画像領域を強調している。例えば面積度と予め決めておいた値とを比較して、いくつかの帯域基準値の選択肢の中から選択するように構成してもよい。もちろん、使用する面積度は高周波帯域に限られないことは言うまでもなく、設定される帯域基準値も図示の例に限られるものではなく、面積度を考慮した帯域基準値であれば、どのようなものでもよい。

このようにして決定された帯域基準値を用い、第一の実施の形態においてＳ７４で説明した処理により帯域選択情報及び帯域強度情報を決定すればよい。

図１５は、本発明の画像調整装置の実施の一形態を示す構成図である。図中、３１は色特性調整部、３２は色変換部、３３は帯域画像生成部、３４は帯域強調部、３５は色逆変換部である。上述した画像処理装置の各実施の形態で決定した帯域選択情報及び帯域強度情報を用いて画像の調整を行う画像調整装置の一例を示している。この例では、与えられた原画像及び処理後の特性強調画像をカラー画像とし、その色空間をＲＧＢ色空間とした。しかしこれに限らず、他の色空間の画像でもよいし、原画像と特性強調画像とで色空間が異なっていてもよい。また、処理の途中で使用する輝度色度色空間をＹＣｂＣｒ色空間としているが、例えば輝度がＬ^* 、色度がａ^* ｂ^* であるＣＩＥＬＡＢ色空間や、ＨＳＶ色空間など、輝度を１つの軸として表される色空間であれば、どのような色空間であってもよい。

色特性調整部３１は、予め設定された色度強弱係数に従い、与えられたカラーの原画像に対して色特性の調整を行う。この例では、色特性の調整を原画像の色空間の信号（ＲＧＢ色信号）を用いて行っている。色特性の調整方法については、種々の方法により行えばよい。なお、色特性の調整を行わない場合には、この色特性調整部３１を設けずに構成してもよい。

色変換部３２は、色特性調整部３１で色特性が調整されたカラー画像である色特性調整画像を輝度色度画像に変換する色空間の変換処理を行う。この色空間の変換処理は、後述する帯域画像生成部３３が用いる輝度画像を生成する機能と、後述する帯域強調部３４から得られた帯域強調画像と色特性調整部３１で得られた色特性調整画像との色空間を合わせる機能を併せ持つ。色特性調整部３１で色度の強弱を調整して得られた色特性調整画像の画素値ＲｓＧｓＢｓでは、要素として輝度成分を有していないので、輝度成分を有する色空間、例えばここではＹＣｂＣｒ色空間に変換し、Ｙ成分により表現される画像を輝度画像とすればよい。また、この色空間の変換により、後述する帯域強調部３４の強調処理で得られた帯域強調画像の輝度信号Ｙｅと共通する色空間の色信号となる。なお、輝度成分を有する色空間としてＣＩＥＬＡＢ色空間やＨＳＶ色空間などの他の色空間への変換でもよく、ＣＩＥＬＡＢ色空間であればＬ^* 成分を、ＨＳＶ色空間であればＶ成分を用いて輝度画像を得ればよい。なお、この色変換部で得た輝度画像を、上述の画像処理装置の各実施の形態における帯域分解部１２で用いる輝度成分の画像としてもよい。

帯域画像生成部３３は、色変換部３２で変換された輝度色度画像ＹｓＣｂｓＣｒｓのうち、輝度成分であるＹ成分により表現される画像を輝度画像として受け取り、その輝度画像から、上述の画像処理装置の各実施の形態で決定された帯域選択情報が示す帯域の帯域画像を生成する。新たに帯域画像を生成する場合には、上述の画像処理装置の第一の実施の形態で説明したＤＯＧフィルタなどのフィルタリング処理を行えばよい。もちろん、ＦＦＴ（高速フーリエ変換）を用いる方法、２次元Ｇａｕｓｓフィルタを用いる方法、画像の縮小拡大を用いる方法など、種々の公知の方法を用いてもよい。例えば２次元Ｇａｕｓｓフィルタは次の式で表される。
Ｇ（ｘ，ｙ）＝（１／２πσ² ）・ｅｘｐ（−（ｘ² ＋ｙ² ）／２σ² ）
ここで、σは帯域を制御する係数であり、値が大きいほど低周波側の帯域が含まれることになる。

帯域強調部３４は、上述の画像処理装置の各実施の形態で決定された帯域の強調の度合いを示す帯域強度情報に従い、輝度画像と帯域画像を用いて帯域を強調した帯域強調画像を得る。帯域画像生成部３３で帯域選択情報に従って帯域画像を生成しているので、当該帯域が強調されることになる。強調処理の方法は特定の方法に限られるものではなく、公知の種々の方法を用いてよい。

色逆変換部３５は、帯域強調部３４で強調された帯域強調画像と、色変換部３２で変換された輝度色度画像のうちの色度成分の画像を組み合わせて、カラー画像の色空間の画像に逆変換する。言い換えると、色変換部３２で変換された輝度色度画像のうちの輝度成分を、輝度成分で構成される帯域強調画像の画素値に入れ替えることになる。色変換部３２で輝度色度色空間への変換を行い、帯域画像生成部３３及び帯域強調部３４では色空間を変更していないので、共通した色空間における成分の組み合わせとなり、このような輝度成分の値を変更してもかまわない。なお、特性強調画像として輝度色度画像を得ようとする場合には、帯域強調画像と輝度色度画像のうちの色度成分を組み合わせた後に、色空間の変換を行わずに出力してもよい。

帯域画像生成部３３には上述の画像処理装置の各実施の形態で得た帯域選択情報が、また帯域強調部３４には上述の画像処理装置の各実施の形態で得た帯域強度情報が、それぞれ渡されている。帯域選択情報及び帯域強度情報は原画像に応じて上述の画像処理装置の各実施の形態で求められており、出力される特性強調画像では原画像に応じた強調処理が施されていることになる。

図１６は、本発明の画像調整装置の実施の一形態の変形例を示す構成図である。図中、３６は輝度画像生成部である。上述の例では、帯域の強調を色特性の調整後に行っているが、この変形例では、帯域の強調の処理を色特性の調整とは独立して、与えられたカラーの原画像に対して行う例を示している。以下、図１５に示した構成と異なる点について主に説明してゆく。

輝度画像生成部３６は、与えられたカラーの原画像から輝度画像を生成する。輝度画像を得るには、原画像の信号を輝度色度の信号へ変換して輝度の信号を抽出すればよい。この例では輝度色度の色空間としてＹＣｂＣｒ色空間を用いているので、原画像のＲＧＢ色空間の信号をＹＣｂＣｒ色空間の信号に変換し、Ｙ成分を抽出すれば輝度画像が得られる。なお、輝度色度の色空間がＣＩＥＬＡＢ色空間であればＬ^* 成分を、ＨＳＶ色空間であればＶ成分を用いて輝度画像を得ればよい。

帯域画像生成部３３は、輝度画像生成部３６で生成した輝度画像から、予め設定された帯域を表す帯域画像を生成する。これにより、帯域の強調処理が与えられた原画像から得た輝度画像に対して行われることになる。このほかの帯域画像生成部３３の処理及びその他の構成については、図１５に示した画像調整装置の実施の一形態として説明したとおりである。

なお、上述の画像処理装置の各実施の形態で帯域選択情報及び帯域強度情報を得る際に輝度画像生成部１１で輝度成分の画像を生成し、帯域分解部１２で帯域画像への分解を行っており、これを用いる場合には輝度画像生成部３６を設けずに構成してもよく、さらに帯域画像生成部３３では帯域分解部１２で生成した帯域画像のうちから、帯域選択情報が示す帯域の帯域画像を選択するように構成してもよい。

上述の画像調整装置の実施の一形態及びその変形例ではカラー画像を原画像として色調整も行う場合を示しているが、色調整を行わない場合には色特性調整部３１を設けずに構成してもよい。また、モノクロの画像を原画像とする場合には帯域画像生成部３３及び帯域強調部３４で構成すればよい。

図１７は、本発明の画像処理装置の各実施の形態及び画像調整装置の実施の一形態とその変形例で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、４１はプログラム、４２はコンピュータ、５１は光磁気ディスク、５２は光ディスク、５３は磁気ディスク、５４はメモリ、６１はＣＰＵ、６２は内部メモリ、６３は読取部、６４はハードディスク、６５はインタフェース、６６は通信部である。

上述の本発明の画像処理装置の各実施の形態及び画像調整装置の実施の一形態とその変形例として説明した各部の機能の全部または部分的に、コンピュータが実行するプログラム４１によって実現してもよい。その場合、そのプログラム４１およびそのプログラムが用いるデータなどは、コンピュータによって読み取られる記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部６３に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部６３にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク５１，光ディスク５２（ＣＤやＤＶＤなどを含む）、磁気ディスク５３，メモリ５４（ＩＣカード、メモリカード、フラッシュメモリなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム４１を格納しておき、例えばコンピュータ４２の読取部６３あるいはインタフェース６５にこれらの記憶媒体を装着して、コンピュータからプログラム４１を読み出し、内部メモリ６２またはハードディスク６４（磁気ディスクやシリコンディスクなどを含む）に記憶し、ＣＰＵ６１によってプログラム４１を実行し、上述の本発明の画像処理装置の各実施の形態として説明した機能や画像調整装置の実施の一形態とその変形例として説明した機能が全部又は部分的に実現される。あるいは、通信路を介してプログラム４１をコンピュータ４２に転送し、コンピュータ４２では通信部６６でプログラム４１を受信して内部メモリ６２またはハードディスク６４に記憶し、ＣＰＵ６１によってプログラム４１を実行して実現してもよい。

コンピュータ４２には、このほかインタフェース６５を介して様々な装置を接続してもよい。例えば情報を表示する表示手段が接続され、原画像や特性強調画像が表示されてもよい。また、利用者からの情報を受け付ける受付手段が接続され、帯域基準値の選択を行うようにしてもよい。もちろん、その他の装置が接続されていてもよい。なお、各構成が１台のコンピュータにおいて動作する必要はなく、処理段階に応じて別のコンピュータにより処理が実行されてもよい。例えば本発明の画像処理装置の各実施の形態として説明した機能と、本発明の画像調整装置の実施の一形態とその変形例として説明した機能とが、１台のコンピュータにより処理が実行されてもよいし、別々のコンピュータで処理が実行されてもよく、さらにそれらが複数台のコンピュータで実行されてもよい。

１１…輝度画像生成部、１２…帯域分解部、１３…帯域度算出部、１４…再現情報決定部、２１…帯域領域画像生成部、２２…面積度算出部、３１…色特性調整部、３２…色変換部、３３…帯域画像生成部、３４…帯域強調部、３５…色逆変換部、３６…輝度画像生成部、４１…プログラム、４２…コンピュータ、５１…光磁気ディスク、５２…光ディスク、５３…磁気ディスク、５４…メモリ、６１…ＣＰＵ、６２…内部メモリ、６３…読取部、６４…ハードディスク、６５…インタフェース、６６…通信部。

Claims (13)

1. 与えられた原画像の輝度成分を複数の帯域に分解して複数の帯域画像を生成する分解手段と、前記帯域画像のそれぞれに対して帯域の度合いを示す帯域度を算出する帯域度算出手段と、各帯域の前記帯域度をもとに強調する帯域を表す帯域選択情報と画像の強調度合いを制御する帯域強度情報を決定する決定手段を有することを特徴とする画像処理装置。
2. 前記分解手段は、低周波から高周波までの複数の段階で帯域を設定し、少なくとも１つの帯域は、ゼロ周波数を含まない低周波側の帯域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記帯域度算出手段は、各帯域画像の画素の積分値をもとに前記帯域度を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記決定手段は、各帯域の帯域度と設定された帯域基準値との差をもとに前記帯域選択情報と前記帯域強度情報を決定することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、各帯域の帯域度と設定された帯域基準値との差をもとに前記帯域選択情報を決定し、前記帯域選択情報が示す帯域における前記帯域基準値と前記帯域度の差に応じて前記帯域強度情報を決定することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
6. さらに、それぞれの前記帯域画像中の対応する周波数帯域の領域を表す帯域領域画像を生成する帯域領域画像生成手段と、前記帯域領域画像から対応する周波数帯域の領域の面積を表す面積度を算出する面積度算出手段を有し、前記帯域度算出手段は、前記帯域画像とともに前記帯域領域画像を用いて前記帯域度を算出し、前記決定手段は、前記帯域度とともに前記面積度をもとに前記帯域選択情報及び前記帯域強度情報を決定することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
7. 前記帯域領域画像生成手段は、前記帯域画像を２値化して前記帯域領域画像を生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、各帯域の帯域度と設定された帯域基準値との差または各帯域の面積度あるいはその両方をもとに前記帯域選択情報と前記帯域強度情報を決定することを特徴とする請求項６または請求項７に記載の画像処理装置。
9. 前記決定手段は、各帯域の帯域度と設定された帯域基準値との差または各帯域の面積度あるいはその両方をもとに帯域選択情報を決定し、前記帯域選択情報が示す帯域における帯域基準値と前記帯域度の差に応じて前記帯域強度情報を決定することを特徴とする請求項６または請求項７に記載の画像処理装置。
10. 与えられた原画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整された原画像を輝度色度画像に変換する変換手段と、前記輝度色度画像のうちの輝度画像から請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域選択情報が示す帯域の帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用い請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域強度情報に従って帯域を強調した帯域強調画像を得る強調手段を有することを特徴とする画像調整装置。
11. 与えられた原画像から輝度画像を生成する輝度画像生成手段と、前記輝度画像から請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域選択情報が示す帯域の帯域画像を生成する帯域画像生成手段と、前記輝度画像と前記帯域画像を用い請求項１から請求項９のいずれか１項に記載の画像処理装置により決定された前記帯域強度情報に従って帯域を強調した帯域強調画像を得る強調手段と、前記原画像に対して色特性の調整を行う調整手段と、前記調整手段で色特性が調整されたカラー画像を輝度色度画像に変換する変換手段を有することを特徴とする画像調整装置。
12. コンピュータに、請求項１から請求項９のいずれか１項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。
13. コンピュータに、請求項１０または請求項１１に記載の画像調整装置の機能を実行させるものであることを特徴とする画像調整プログラム。

Images