JP2007158446A - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】 暗部のノイズを増幅せず良質な画像を取得可能な、覆い焼きに相当する画像処理を行う技術を提供する。
【解決手段】 本発明によれば、複数の画素情報からなる画像データに対して、輝度及び彩度の調整を含む画像処理を行う画像処理装置であって、処理対象の前記画素情報から輝度成分を抽出する輝度抽出手段と、前記処理対象の画素情報から抽出された前記輝度成分と、前記処理対象の画素における輝度成分の低周波成分値と、輝度調整パラメータとに基づいて、前記輝度成分の調整比率を算出する輝度調整比率算出手段と、前記処理対象の画素情報の彩度成分の調整比率を、前記輝度成分の調整比率と、前記輝度抽出手段において抽出された前記輝度成分と、に基づいて算出する彩度調整比率算出手段と、算出された前記輝度成分の調整比率、前記彩度成分の調整比率に基づいて、前記処理対象の画素情報を調整する調整手段と、を備える画像処理装置。
【選択図】 図５

Description

本発明は画像処理技術に関し、特に、画像の明るさの分布を改善する技術に関する。

従来、適正な明るさの写真を撮影する技術として、撮影するシーンの平均的な輝度を測定し、カメラのシャッター速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けして平均的な輝度を求め、適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。

しかしながら、撮影する主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンにおいては、撮影した画像においてどうしても主被写体部分が暗くなってしまう。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影時にあらかじめ平均的な写真よりも明るめに撮影されるようにカメラの露出を設定しておく必要があった。しかし、このような露出補正の操作はわずらわしいばかりでなく、カメラの設定を適正に行うための熟練を要する。また、主被写体に対して適切に露出補正を行ったとしても、逆に背景部分が明るくなりすぎてしまう。

従来より、このような画像の明るさを適切に決定するのが困難な逆光等のシーンにおいても、適切な明るさの画像を得ることを目的とした技術が知られている。このような目的を達成するために、アナログ写真技術においては、暗室内でいわゆる覆い焼き処理を行うことで適切な明るさのプリントを得ることができる。このような覆い焼き処理を容易に実現するためには、デジタル画像処理において、覆い焼きに相当する処理を実現することが望ましい。

デジタル画像処理における覆い焼きに相当する処理の実現を目的とした技術が非特許文献１に開示されている。当該文献に開示された構成においては、デジタル画像を対数変換した成分とその対数変換成分の低周波成分との差分に基づいて所定の処理を行う。そして、デジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理する。これにより、画像の改善を行おうとしている。

また、非特許文献２においても、デジタル画像の輝度成分とその低周波成分の情報を用いることにより、デジタル画像処理において覆い焼きのような効果を得る技術が開示されている。

尚、画像補正の要求は静止画像に限るものではなく、動画像についても同様に存在する。動画像は時間軸方向に連続した一連の静止画像の集合とみなすことができるので、上記のような画像補正を動画像などにも容易に適用できる。

画像の明るさの調整は、補正対象の画像データを必要に応じて輝度成分を有する色空間に変換し、その色空間において輝度に相当するパラメータを操作することにより行うことができる。ここで、色空間の概要について簡単に説明する。

画像データを規定する色空間には様々なものがある。例えば、ＲＧＢ、ＲＧＢに対して線形変換を施して得られるＹＣbＣr、或いは、ＣＩＥ１９３１ＸＹＺ、ＣＩＥ Ｌ*ａ*ｂ*などの色空間が知られている。ＲＧＢには、例えば、ＩＥＣ６１９６６−２−１に記載のsＲＧＢ等がある。また、sＲＧＢに対してＲＧＢ-ＹＣＣ変換を施したものはsＹＣＣと呼ばれている。これらの色空間のうち、ＲＧＢ（sＲＧＢを含む）以外のものについては、明るさを表す尺度、すなわち輝度に相当する軸が存在する。具体的にはＹＣbＣr色空間のＹ、ＣＩＥ１９３１ＸＹＺ色空間のＹ、ＣＩＥ Ｌ*ａ*ｂ*色空間のＬ*が輝度を示すパラメータに相当する。また、残りのパラメータ、すなわちＹＣbＣr色空間のＣbとＣr、ＣＩＥ１９３１ＸＹＺのＸとＺ、ＣＩＥ Ｌ*ａ*ｂ*色空間のａ*とｂ*は色味を表す軸である。なお、これら色味を表すパラメータを極座標表現に変換して、極座標空間における原点からの距離を「彩度」と呼ぶ場合もある。

これらの色空間において、輝度に相当する値のみを操作すると、画像の見た目の鮮やかさが失われてしまう。 そこで、輝度を操作する場合に、輝度と同じ比率で彩度を伸張する方法が考えられる。しかし輝度と同じ比率で彩度を伸張すると、見た目の鮮やかさが過剰に増してしまう。

特許文献１には、複数の色空間における信号処理結果を合成する構成が開示されている。即ち、好ましくはＲＧＢ色空間でＲ,Ｇ,Ｂの各信号値に対して同一の変換関数を施して得られる補正結果と、ＹＣbＣr色空間でＹの信号値に前述の変換関数を施して得られる補正結果を合成する構成が開示されている。この構成によれば、より改善された補正結果を得ることができる。
Jobson et al., "A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes," IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.6, NO.7, JULY 1997. Reinhard et al., "Photographic Tone Reproduction for Digital Images," ACM Transactions on Graphics, JULY 2002, Vol.21, No.3. 特開２００５−２５２３９２号公報

しかしながら、逆光の程度が強いなどの理由から、補正の程度を強くして暗い部分を明るく補正すると、補正前では暗くて人に感知されなかった暗部のノイズも明るく補正されて強調されてしまう。特許文献１に開示された構成においても、補正により元の信号値が持っていた色味を強調し、この結果、暗部に彩度が高いノイズが見られるようになってしまう。

本発明は上記問題に鑑みなされたものであり、暗部のノイズを増幅せず良質な画像を取得可能な、覆い焼きに相当する画像処理を行う技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
複数の画素情報からなる画像データに対して、輝度及び彩度の調整を含む画像処理を行う画像処理装置であって、
処理対象の前記画素情報から輝度成分を抽出する輝度抽出手段と、
前記処理対象の画素情報から抽出された前記輝度成分と、前記処理対象の画素における輝度成分の低周波成分値と、輝度調整パラメータとに基づいて、前記輝度成分の調整比率を算出する輝度調整比率算出手段と、
前記処理対象の画素情報の彩度成分の調整比率を、前記輝度成分の調整比率と、前記輝度抽出手段において抽出された前記輝度成分と、に基づいて算出する彩度調整比率算出手段と、
算出された前記輝度成分の調整比率、前記彩度成分の調整比率に基づいて、前記処理対象の画素情報を調整する調整手段と、を備える。

本発明によれば、暗部のノイズを増幅せず良質な画像を取得可能な、覆い焼きに相当する画像処理を行う技術を提供することができる。

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜＜第１実施形態＞＞
本実施形態に係る画像処理においては、入力された画像に対して、まず輝度分布を調べ、その結果として各画素に輝度値成分のみを有する輝度画像を生成する。次に、この輝度画像に対して、２次元的なフィルタ処理を施して低周波成分を抽出し、低周波輝度画像を生成する。そして、この低周波輝度画像と原画像を参照し、画像の色調整を行う。色調整では、輝度と彩度の調整を行うが、本実施形態に係る構成においては、彩度の調整の調整比率を、輝度の調整比率だけでなく、原画像における対応する画素の輝度にも基づいて決定する。これにより、本実施形態に係る構成によれば、暗部のノイズを増幅せず良質な画像を取得可能な、覆い焼きに相当する画像処理を行うことができる。

（画像処理装置の構成）
図１は、本実施形態に係る画像処理装置の一構成例を示したブロック図である。

図１において、入力部１０１は、ユーザからの指示やデータを入力する装置であり、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が含まれる。あるいは、本実施形態に係る構成を例えばデジタルカメラ装置に適用した場合において、ボタンやモードダイヤル等で構成してもよい。また、キーボードをソフトウェアで構成（例えば、ソフトウェアキーボード等によって）し、ボタンやモードダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力するように構成してもよい。

データ保存部１０２は画像データを保持する記憶装置である。データ保存部１０２は、例えば、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲやＤＶＤ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等で実現される。データ保存部１０２に画像データの他にも、プログラムやその他のデータを保存することも可能である。あるいは、以後説明する中間的な画像（輝度成分画像）等を格納するのに十分な記憶容量がＲＡＭ１０６で確保できるのであれば、データ保存部１０２を含まない構成としてもよい。

通信部１０７は、機器間の通信を行うためのＩ／Ｆ（interface）である。通信部１０７は、有線、或いは、無線の通信方式によって実現される。有線の通信方式には、例えば、イーサネット（登録商標）、ＵＳＢ、IEEE1284、IEEE1394、電話回線などが含まれる。無線の通信方式には、例えば、赤外線(IrDA)、IEEE802.11a, IEEE802.11b, IEEE802.11g, Bluetooth, ＵＷＢ(Ultra Wide Band)等が含まれる。

表示部１０３は、画像処理前、画像処理後の画像を表示、あるいはＧＵＩ等の画像を表示する表示装置であり、一般的にはＣＲＴや液晶ディスプレイ等によって実現される。あるいは、ケーブル等のネットワークで外部に接続されたディスプレイ装置を使用する構成であっても構わない。

１０４はＣＰＵであり、上述した各構成の処理を制御する。ＲＯＭ１０５とＲＡＭ１０６は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０４に提供する。また、後述する処理に必要な制御プログラムは、データ保存部１０２に格納されているか、ＲＯＭ１０５に格納されている場合は、ＣＰＵ１０４の制御に基づいて一旦ＲＡＭ１０６に読み込まれてから実行される。

なお、図１は入力部１０１、データ保存部１０２、表示部１０３が全て１つの装置内に含まれるような図を示しているが、システム構成については、上記以外にも様々な構成が考えられ、用途や目的に応じて自由に設計することができる。例えば、入力部１０１、データ保存部１０２、表示部１０３等の構成要素が公知の通信方式による通信路で接続されており、全体としてこのような構成となっているようにしてもよい。

（輝度信号抽出処理の概要）
以下、前提となる処理として、輝度信号抽出処理、輝度変換処理、色調整処理の概要について説明する。

まず、入力された画像から輝度成分（輝度信号）を抽出する処理について説明する。輝度成分の抽出は、例えば、色調整対象の画像がＩＥＣ６１９６６−２−１に記載されているsＲＧＢ色空間で表現されている場合、ガンマ変換と３行３列のマトリクス演算により、ＣＩＥ１９３１ＸＹＺに変換する。この処理は、例えば、ＩＥＣ６１９６６-２-１に記載されている方式に基づいて行う。ここで、位置が(x,y)の画素値(Ｒ(x,y),Ｇ(x,y),Ｂ(x,y))について上記変換された後のＸＹＺのデータをそれぞれＸ(x,y)、Ｙ(x,y)、Ｚ(x,y)とする。この場合、Ｙ(x,y)が抽出する輝度成分、Ｘ(x,y)、Ｚ(x,y)が色成分である。この輝度抽出をハードウェアで構成する場合には、例えば、ルックアップテーブル（Look Up Table、以下ＬＵＴとも称する）によるテーブル参照回路（ガンマ変換の部分）、マトリクス演算回路によって実現できる。

なお、輝度成分の抽出は、前述の処理を簡略化し、ガンマ変換を省略してマトリクス演算のみで行うようにしてもよい。また、ＣＩＥ１９３１ＸＹＺの代わりに次のようなパラメータを用いてもよい。
・ＹＣｂＣr色空間のＹ値を輝度成分、Ｃb，Ｃr値を色成分とする。
・Ｌ*ａ*ｂ*色空間のＬ*値を輝度成分、ａ*，ｂ*値を色成分とする。
・ＨＳＶ色空間のＶ値を輝度成分、Ｈ，Ｓ値を色成分とする。
・ＨＳＬ色空間のＬ値を輝度成分、Ｈ，Ｓ値を色成分とする。
その場合、それぞれ対応する色空間変換を用いる。

色空間変換は所定の規格等で規定されたものに基づいて行うことが好ましいが、処理の簡略化のために或いは近似計算を用いてもよい。一例をあげると、ＲＧＢからＹＣbＣr色空間のＹ値への変換は、次の変換式（数式１）であらわされる。
［数式１］
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
この式の代わりに、次のような近似式（数式２）を用いてもよい。
［数式２］
Ｙ＝（３×Ｒ＋６×Ｇ＋Ｂ）／１０
また、輝度成分の近似値としてＲＧＢ信号値のＧを用いたり、ＲＧＢ各信号値の平均や最大値を輝度として用いてもよい。

また、上記では、入力画像がsＲＧＢ色空間で表現されているとして説明を行ったが、sＲＧＢ以外のＲＧＢ（例えばAdobe RGB、RIMM/ROMM RGBなど）であってもよい。この場合、それぞれの色空間の定義に応じてＣＩＥ１９３１ＸＹＺ（あるいは先に挙げた他の色空間）への変換を行えばよい。

また、色空間の変換は、各色空間の定義や変換式に従い行ってもよいが、或いは、ＩＣＣプロファイルなどを用いて行ってもよい。これは、例えば、ＲＧＢが機器依存のＲＧＢ値（デバイスＲＧＢ値）で、単純な変換式で表現できない場合に特に有効である。

また、入力画像がＲＧＢではなく例えばsＹＣＣで表現されていても、同様にsＹＣＣからＣＩＥ１９３１ＸＹＺ（あるいは先に挙げた他の色空間）への色空間変換式、もしくはＩＣＣプロファイルによる変換などを用いて色空間変換を行うことができる。

ただし、元画像がsＹＣＣで表現されており、また輝度としてＹＣbＣrのＹを用いるというように、元画像が直接輝度値を取得できる色空間で記述されている場合には、単に元画像sＹＣＣ信号のＹ値を取り出せばよく、色空間を変換する処理は不要である。

（輝度変換処理の概要）
次に、輝度変換処理の概要について説明する。色調整処理の一例として、輝度成分とスケール変換した輝度成分の分布のそれぞれを対数変換し、その差分を出力する。さらに、異なる尺度（異なる解像度）での差分出力の重み付き平均を改善された輝度成分とする。しかしながら、この手法では、画像に応じて改善の度合いを調整できない。このため、本実施形態に係る構成においては、スケール変換した輝度成分の対数変換出力に係数を乗じて輝度変換を行う。この係数は改善の度合いを調整するパラメータとなる。このような処理に基づく改善された輝度成分の出力は以下に示す数式３のようになる。
［数式３］

但し、Ｙ'(x，y)は座標(x，y)における改善された輝度成分の出力、Ｆ_n(x，y)は座標（x，y）におけるガウシアン関数である。また、ｗ_nは尺度間の重み、ｎは尺度を表すパラメータ、γ₀は改善の度合いを表すパラメータ０、γ₁は改善の度合いを表すパラメータ１である。また、＊は積和演算を表す。後述するように、パラメータ０、パラメータ１は、予め設定された値や、ユーザの指示入力に基づいて決定された値を用いることができる。

なお、尺度間の重みｗ_nは尺度の標準偏差を調整することで省略可能、即ち、単純な平均に置き換えられることが知られている。また、数式３のように対数変換された値よりも、逆変換（exp演算）により元の輝度単位に戻した値の方が、改善された画像データの画質として好ましいことが分かっている。従って、以下の数式４に示した出力を改善された輝度成分として使用することがより好適である。
［数式４］

但し、Avgは平均値演算を表す。
なお、数式４に代えて、以下に示す数式５を使用してもよい。
［数式５］

なお、複数尺度でのスケール変換出力の平均値演算を行い、複数尺度でのスケール変換出力の平均値をスケール変換された輝度成分の分布としてもよい。あるいは、この数式と類した効果を得るために次のような数式６を用いてもよい。
［数式６］

この輝度変換をハードウェアで構成する場合には、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換の部分）、除算回路によって構成できる。なお、平均値演算回路は低周波輝度信号抽出を実現する部分に設けてもよい。

（色調整処理の概要）
次に、色調整処理の概要について説明する。色調整処理では、処理後の画像データの色味ができるだけ変化しないように、色成分を輝度成分の変更に応じて修正する。好ましくは、例えば、色成分Ｘ(x，y)、Ｚ(x，y)にそれぞれ輝度成分の変更前後の比Ｙ'(x，y)／Ｙ(x，y)を乗算することにより色調整を行う。あるいは、例えば、Ｙ(x，y)のみ数式５もしくは数式６によるＹ'(x，y)に変更し、色成分Ｘ(x，y)、Ｚ(x，y)に対しては処理を行わないといったような、処理を簡略化した構成にしてもよい。このような構成の選択は処理の用途や目的に応じて自由に行うことができる。

そして、修正後のＸ，Ｙ，Ｚのデータを色空間変換してsＲＧＢのデータを求める。ここでの処理は上述の色空間変換処理の逆変換に相当する。即ち、３行３列のマトリクス演算および逆ガンマ変換の処理を行う。出力は、例えば、sＲＧＢ各８ビットとする。この処理をハードウェアで構成する場合には、例えば、乗算および除算回路、マトリクス演算回路、ルックアップテーブルによるテーブル参照回路（逆ガンマ変換の部分）によって構成できる。あるいは、上記方式により、輝度成分の変更前後の比Ｙ'(x，y)／Ｙ(x，y)を算出し、それに基づいてＲＧＢ信号を調整してもよい。

図４は、色調整処理と各データの関係を示した概念図である。図４において、４０１は色調整前の原画像、４０２は原画像４０１を輝度成分に変換した輝度成分画像、４０３は輝度成分画像４０２に対して低周波成分抽出処理を行って得られた、輝度低周波成分画像を示している。低周波成分抽出は、公知のローパスフィルタ処理を用いることにより実現できる。また、４０４は原画像４０１に対して色調整を行った結果の補正画像である。

また、４１１は、原画像４０１のある画素を表しており、４１２は画素４１１に対応する輝度画素で、数式４〜数式６のＹ(x，y)に対応する。４１３は画像４１１に対応する輝度低周波成分画素であり、数式４〜数式６のＦ_n(x，y)*Ｙ(x，y)に対応する。また、４１４は画素４１１に対応する色処理結果の補正画素である。

また、４０５は色調整パラメータ（輝度調整パラメータ）であり、数式４〜数式６のγ₀、γ₁等に相当する。これらの色調整パラメータは、例えば表示部１０３にリストボックス、テキストボックス、スライダー、ボタンなどのＧＵＩを構成して表示し、当該ＧＵＩ、入力部１０１をユーザが操作することにより指定された値を用いるように構成することができる。あるいは、予め色調整パラメータを設定しておき、それを適用するようにしてもよい。また、あるいは、予め複数の色調整パラメータを登録しておき、それらのパラメータセッティングの選択肢をユーザが識別可能な形（例えば、「強」、「中」、「弱」など）で表示部１０３に提示してユーザに選択させるのであってもよい。

図４に示すように、ある画素４１１の色調整を行う場合、輝度画素４１２と輝度低周波成分画素４１３と色調整パラメータ４０５より調整比率を算出する。この調整比率は、数式４〜数式６にしたがって算出したＹ'(x，y)／Ｙ(x，y)である。さらに、この調整比率と画素４１１の画素値を用いて色調整を行い、補正画素４１４を得る。色調整の処理の詳細は後述する。

なお、図４では、原画像４０１と輝度成分画像４０２、輝度低周波成分画像４０３は同じ大きさのように描いてあるが、これらの画像の大きさは一致しなくてもよい。画像の大きさが一致しない場合、輝度成分画像４０２、輝度低周波成分画像４０３を公知の変倍方式により原画像４０１と同じ大きさに変倍して処理するようにすればよい。また、輝度成分画像４０２は、輝度低周波成分画像４０３を生成するための中間的な画像データとし、色調整時にはあらためて原画像４０１より輝度成分を抽出するようにしてもよい。

（画像処理の流れ）
次に、本実施形態に係る画像処理の流れについて図２を参照して説明する。図２は、本実施形態に係る画像処理装置が実行する画像処理の流れを表すフローチャート（流れ図）である。

本実施形態では、説明の便宜上、入力画像の画素値および色調整後の出力画像の画素値はsＲＧＢ色空間で規定されており、輝度と色味については、sＲＧＢを変換したsＹＣＣ色空間で規定されているとして説明を行う。また、色調整に用いる輝度低周波成分画像は１種類であるとして説明を行う。なお、複数種類の輝度低周波成分画像に基づいて色調整を行う場合については後述する実施形態において述べる。

図２のフローチャートによる色調整処理の対象となる画像は、図１のＲＡＭ１０６やデータ保存部１０２等の記憶装置に格納されている。色調整対象の画像の指定は、例えばＲＡＭ１０６、あるいはデータ保存部１０２に格納されている画像の一覧を表示部１０３に表示し、ユーザによる入力部１０１の操作を介して行うように構成することができる。

あるいは、図１の構成に、さらに公知のＣＣＤ装置等の画像入力装置（不図示）を設け、ユーザによる入力部１０１の操作をトリガとして画像入力装置から画像入力を行うことで、画像データを取得するようにしてもよい。また、あるいは、通信部１０７を介して外部装置（不図示）と通信を行い、該外部装置から画像データを受け取るように構成してもよい。この場合、例えば、画像データの受信をトリガとして以下で説明する処理を行うようにしてもよい。

まず、ステップＳ２０１において、本実施形態に係る画像処理装置は色調整の対象となる画像を読み込み、ＲＡＭ１０５、或いは、データ保存部１０２に展開する。画像の読み込みは画像を格納するフォーマットに適合する方式に従って行う。

画像の読み込み時において、例えば公知のＪＰＥＧのように画像に画像圧縮処理が施されている場合には、それを伸張して展開し、ＲＡＭ１０５もしくはデータ保存部１０２に展開する。

あるいは、読み込まれる画像が、例えば公知の撮像素子により被写体光学像を光電変換した後Ａ／Ｄ変換されたデータを含む、いわゆるＲＡＷ(あるいはＣＣＤ−ＲＡＷ)形式画像である場合には、以下のような画像処理を行う。即ち、ＲＡＷ形式で規定されたフォーマットに従ってＲＡＭ１０５等の記憶装置に読み込んだ後に、必要に応じて画素補間処理やγ、ホワイトバランスといった画像処理を施す。このγやホワイトバランス等の画像処理に係るパラメータは予め設定された値を利用してもよいが、好適には、ＲＡＷ形式画像フォーマットに、撮影時の情報やその撮影時の状況に応じた画像処理パラメータが格納されている場合には、その値を利用する。画像処理パラメータが画像に格納されていない場合において、撮像装置の機種の識別子や撮影時のセッティング情報等が画像に含まれている場合は、それらの情報を利用して画像処理を行うことができる。例えば、撮像装置の機種の識別子や撮影時のセッティング情報等に対応する画像処理パラメータをＲＯＭ１０５やデータ保存部１０２にデータベースとして予め格納しておく。そして、撮像機種の識別子等の情報に対応する画像処理パラメータを特定し、それに基づいて画像処理を行うことができる。

次に、ステップＳ２０２において、本実施形態に係る画像処理装置は輝度信号抽出処理を行う。これは、ステップＳ２０１で読み込んだ画像の各画素から輝度成分を抽出し、輝度成分からなる輝度成分画像を生成するものである。本実施形態の場合、画像の画素値がsＲＧＢ色空間で規定されており、輝度についてはsＹＣＣ色空間で規定されているので、前述の数式１の変換式を用いて輝度成分を算出する。ここで作成した輝度成分画像はＲＡＭ１０６やデータ保存部１０２等の記憶装置に格納される。

先にも述べたように、原画像と輝度成分画像の大きさは一致する必要はないので、このステップＳ２０２の輝度成分抽出の処理において、縮小処理を合わせて実行するように構成してもよい。縮小処理は公知の任意の方式により実現可能であるが、例えば間引き処理、最近傍法などでを利用することができる。縮小処理を行う場合における色調整処理の詳細は後述する実施形態で述べる。

次に、ステップＳ２０３において、本実施形態に係る画像処理装置は、ステップＳ２０２で作成された輝度成分画像から低周波成分を抽出し、輝度低周波成分画像を生成する。低周波成分の抽出は公知の任意のローパスフィルタの方式を利用して実現することができる。

次に、ステップＳ２０４において、本実施形態に係る画像処理装置は、ステップＳ２０１で読み込まれた画像の画素値、ステップＳ２０２で作成された輝度成分画像、ステップＳ２０３で作成された輝度低周波成分画像を用いて色調整処理を行う。色調整処理の詳細は後述する。

次に、ステップＳ２０５において、本実施形態に係る画像処理装置は、ステップＳ２０４で色調整された画像を出力する。そして、処理を終了する。

（色調整処理の流れ）
次に、ステップＳ２０４で実行する色調整処理について、図５を参照して説明する。図５は、ステップＳ２０４の色調整処理の処理の流れを示したフローチャートである。図５のように、色調整処理では、ステップＳ５０２〜Ｓ５０８の処理を各画素について行う。

まず、ステップＳ５０１において、本実施形態に係る画像処理装置は、補正対象画素を画像の先頭の画素で初期化する。即ち、先頭の画素を補正対象の画素に設定する。

次に、ステップＳ５０２では、補正対象画素を輝度と色味を規定する色空間に変換する（第１の色空間変換処理）。本実施形態の場合、画像データを規定する色空間はsＲＧＢであり、輝度と色味を規定する色空間はsＹＣＣであるので、sＲＧＢである画素値をsＹＣＣに変換する。この変換は次の数式７により行う。
［数式７］

なお、この逆変換、すなわち、sＹＣＣからsＲＧＢへの変換は、次の数式８で表される。
［数式８］

ここで、数式７を用いて算出されたＣb,Ｃrはいずれも画素の色味を表す値である。Ｃb,Ｃrは直交座標の座標値であるが、これを数式９により極座標に変換したＣ、Ｈをそれぞれ彩度、色相と呼ぶ。
［数式９］

色相Ｈの計算で、Ｃr/Ｃbを用いているのは、元の直交座標系でのＣb軸正方向の軸を０度としたからである。したがって、基準となる軸をＣr軸にする場合、色相ＨはＣb/Ｃrの関数となる。しかし、これらは単にどの色相方向を色相角０度として基準とするかを意味するだけなので、どちらを用いても構わない。

数式９から明らかなように、色相Ｈを保持したまま彩度Ｃをｘ倍するのは、Ｃb、Ｃrをそれぞれ

倍することと等価である。これは言い換えると、Ｃb、Ｃrをｘ倍すると、彩度Ｃは

倍になるということである。したがって、色相Ｈを一定に保ったまま彩度Ｃを調整することは、ＣbとＣrに同一の値（調整比率）を乗じてＣb、Ｃrを調整する操作となる。ただしその場合、彩度ＣはＣb,Ｃrに乗じた値の

倍になる。これは、彩度Ｃに対する調整の比率はＣb,Ｃrに対する調整の比率の

倍になるということを意味する。

なお、ここでＲＧＢ-ＹＣＣ変換を行ったのは、本実施形態では入力画像データを規定する色空間はsＲＧＢであり、輝度と色味を規定する色空間はsＹＣＣであるためである。このため、これらの色空間が別の色空間である場合には、それに適した変換を行うように構成する。

また、この色変換をプロファイルを用いたカラーマッチング処理を用いたり、あるいはルックアップテーブルを用いても、同様の作用・効果がもたらされる。

また、入力画像を規定する色空間と輝度と色味を規定する色空間が同一である場合には、ステップＳ５０２では事実上何も行わないことになる。そのような場合は、ステップＳ５０２を省略するように構成してもよい。

次に、ステップＳ５０３では、補正対象画素に対応する輝度成分画像の画素値、輝度低周波成分画像の画素値、色調整パラメータ（γ₀，γ₁）を用いて、補正後の画素の輝度値（輝度補正値）Ｙ'を算出する。輝度補正値Ｙ’の算出は、数式４〜数式６のいずれかに基づいて行う。

なお、Ｙ'を算出するためには、色調整パラメータγ₀，γ₁が本ステップの処理を実行するまでに定まっている必要がある。例えば、予めシステムで色調整パラメータを定めておき、それを適用するように構成することができる。

あるいは、ステップＳ５０３の処理を行うまでのいずれかのタイミングでユーザから色調整パラメータ指定を受け取るように構成し、指定された色調整パラメータを用いるようにすることもできる。例えば、表示部１０３にリストボックス、テキストボックス、スライダー、ボタンなどのＧＵＩを構成して表示し、ユーザが入力部１０１を操作して色調整パラメータの値を指定するように構成することができる。この時、ユーザに色調整パラメータ値を直接テキストボックスやスライダを用いて指定させるのでもよいし、あるいは複数の色調整パラメータの選択肢をシステムに定めておき、選択肢の中からユーザに選択させるように構成してもよい。例えば、色調整パラメータの選択肢を「強」、「標準」、「弱」などの形でユーザに識別可能なように提示し、それを選択させるように構成してもよい。この場合、ユーザの選択に対応づけられた色調整パラメータを適用して処理を行う。

また、あるいは、画像データの特徴量より色調整パラメータを自動決定し、ステップＳ５０３では、自動決定された色調整パラメータを使用するように構成してもよい。

また、この時、補正対象画像と輝度成分画像、輝度低周波成分画像の大きさが異なる場合には、補正対象画像と同じ大きさになるように変倍処理を行う。そして、変倍後の輝度成分画像の輝度画素の画素値、あるいは変倍後の輝度低周波成分画像の輝度低周波成分画素値を参照して処理を行う。変倍処理は公知の変倍方式、例えば、最近傍法、バイリニア補間等を適用して行うことができる。

次に、ステップＳ５０４では輝度調整比率を算出する。即ち、ステップＳ５０３で算出したＹ'と、補正前の補正対象画素に対する輝度成分画像の輝度画素の画素値Ｙから変倍率Ｙ_ratio＝Ｙ'／Ｙを算出する。

次に、ステップＳ５０５、Ｓ５０６において、ステップＳ５０４で算出した輝度調整比率に基づいて彩度の調整比率を算出する。ステップＳ５０５では、第１の彩度調整比率Ｓ_ratio1の算出を行う。これは、輝度値の変動と彩度の変動との関係を予め定めておき、この関係に基づいて第１の調整比率Ｓ_ratio1を算出する処理である。

例えば、輝度と彩度を同一比率で伸縮する場合には、次のようにすることができる。例えば、第１の彩度調整比率Ｓ_ratio1は、Ｓ_ratio1＝Ｙ_ratioとすることができる。ただし、先に述べたように、Ｓ_ratio1＝Ｙ_ratioとするとやや画像の見た目の鮮やかさが不自然になる場合がある。このため、例えば予め調整係数α（０≦α≦１.０）を定めておき、第１の彩度調整比率Ｓ_ratio1＝α×Ｙ_ratioとして算出してもよい。これにより、画像の鮮やかさが不自然になることを抑制することができる。

あるいは、ＲＧＢ色空間とＹＣＣ色空間における補正処理を合成するような場合には、第１の彩度調整比率を、例えば、輝度成分の調整比率を所定の係数βに基づいて内分する値として算出するようにしてもよい。即ち、予め合成係数β（０≦β≦１.０）を定めておき、第１の彩度調整比率Ｓ_ratio1＝β×Ｙ_ratio＋(１−β)としてもよい。βはＲＧＢ色空間とＹＣＣ色空間による補正結果の合成の際の重み付け係数であって、βが１.０に近いほどＲＧＢ色空間の補正結果の重みが増すことになる。

またあるいは、第１の彩度調整比率Ｓ_ratio1＝１.０とする構成も適用可能である。これは数式４〜数式６による色調整を輝度成分にのみ反映させて行う場合を意味する。

次に、ステップＳ５０６では、第２の彩度調整比率Ｓ_ratio2を算出する。第２の彩度調整比率Ｓ_ratio2は、ステップＳ５０５で算出された第１の彩度調整比率Ｓ_ratio1を、補正前の画素の輝度値に基づいて修正して算出される。即ち、第２の彩度調整比率Ｓ_ratio2は、第１の彩度調整比率Ｓ_ratio1に対して、補正前の画素の輝度値に基づいて決定される比率（以下、調整係数と称す）を乗算して算出される。

これは、元々輝度が低かった部分にはノイズ信号が含まれていることが多いので、そのような画素値に対して色調整を行った結果、ノイズの色味が強調されるのを防ぐための処理である。従って、ここで用いる調整係数は、補正前の画素の輝度値が大きくなるほど大きい値が設定される。

図６は、この補正前の輝度値Ｙと調整係数Ａ(Ｙ)の対応関係を例示した図である。図６のように、調整係数Ａ(Ｙ)は、補正前の画素の輝度値Ｙが大きくなるほど大きい値が設定される。即ち、補正前の輝度値Ｙ₁、Ｙ₂について、Ｙ₁＜Ｙ₂ならば、調整係数Ａ(Ｙ₁)≦Ａ(Ｙ₂)となる。

図６で示した調整係数と補正前の輝度値の対応関係は一例であって、補正前の画素の輝度値が大きいほど調整係数が大きくなる対応関係であればどのようなものであってもよい。

輝度値Ｙと調整係数Ａ(Ｙ)の対応関係は、例えば、多数の実験画像について補正の実験を行い、良好な補正結果を取得可能とするものを経験的に求めることにより決定することができる。

この対応関係は、例えば、予めＬＵＴ化してＲＯＭ１０５やデータ保存部１０２、あるいは本実施形態に係るプログラムコード内部に保持しておくように構成することができる。この場合、ステップＳ５０６では、補正前の輝度値をキーとしてこのＬＵＴを参照し、調整係数を得る。或いは、上記条件を満たすような関数式を予め設定しておき、ステップＳ５０６でその関数式に補正前の画素の輝度値を代入し、調整係数Ａ(Ｙ)を算出して取得するように構成してもよい。

続いて調整係数Ａ(Ｙ)を用いて、第２の彩度調整比率Ｓ_ratio2を以下の数式１０により得る。
［数式１０］

次に、ステップＳ５０７は、ステップＳ５０６で算出した第２の彩度調整比率Ｓ_ratio2を用いて、補正対象画素の色味値Ｃb,Ｃr値を修正する。これは先に述べたように、第２の彩度調整比率Ｓ_ratio2を色味値Ｃb,Ｃrに乗じて、補正済みの色味値Ｃb',Ｃr'を得る。すなわち、
［数式１１］

により補正済みの値Ｃb',Ｃr'を算出する。

次に、ステップＳ５０８では、ステップＳ５０３で得た補正後の輝度値Ｙ'と、ステップＳ５０７で得た補正後の色味値Ｃb'とＣr'に基づいて、出力画像を規定する色空間であるsＲＧＢに色変換する（第２の色空間変換）。この色変換は、先に述べた数式８に従って、Ｙ'、Ｃb',Ｃr'から補正後のＲＧＢ画素値Ｒ',Ｇ',Ｂ'を算出することにより行われる。

ここで、ＹＣＣ−ＲＧＢ変換を行ったのは、本実施形態では輝度と色味を規定する色空間はsＹＣＣで、補正後の出力画像データを規定する色空間がsＲＧＢであるためである。従って、これらの色空間が別の色空間である場合には、それに適した変換を行うよう構成する。

また、この色変換を公知のプロファイルを用いたカラーマッチング処理を用いたり、あるいはＬＵＴを用いても、同様の作用・効果がもたらされる。

また、出力画像を規定する色空間と輝度と色味を規定する色空間が同一である場合には、ステップＳ５０８では事実上何も処理を行わないことになる。そのような場合については、ステップＳ５０８を省略するように構成してもよい。

次に、ステップＳ５０９では全ての画素について処理が完了したか否かを判定する。全ての画素について処理が済んでいる場合（ステップＳ５０９でＹＥＳ）は色調整処理を終了し、図２のステップＳ２０５へ進む。処理が済んでいない場合（ステップＳ５０９でＮＯ）はステップＳ５１０へ進む。

ステップＳ５１０では、ステップＳ５０２乃至Ｓ５０９において処理を実行した画素の次の画素を補正対象画素として設定する。そして、ステップＳ５０２に戻る。

なお、本実施形態では、輝度補正値を算出してから輝度調整比率を算出しているが、予め数式４〜数式６による色調整式に従い、Ｙ'／Ｙを算出し、それに補正前の画素の輝度値を乗じて補正後の輝度値を得るように構成してもよい。つまり、ステップＳ５０３とステップＳ５０４の順序が逆になるように構成してもよい。

図５を参照して説明した処理の結果生成される色調整結果は、ＲＡＭ１０６やあるいはデータ保存部１０２に所定の画像フォーマットにしたがって格納される。あるいは通信手段１０７を介して、外部の画像処理装置（不図示）に送信するように構成してもよい。

以上説明したように、本実施形態に係る構成によれば、覆い焼きに相当する画像処理を行う際に、元の画像の輝度値に応じて彩度の色調整を行う。補正前の画素の輝度値が高い部分には彩度の調整比率を大きく、補正前の画素の輝度値が低い部分には彩度の調整比率を小さくなるように設定して、色調整処理を行う。このため、暗部の色ノイズの強調を抑制し、良好な画像補正結果を得ることができる。

なお、本実施形態では第２の彩度調比率を補正前の画像の輝度値に基づいて算出していたが、補正前の輝度値ではなく他のパラメータの値を用いて算出するようにしてもよい。例えば、補正前の輝度値ではなく補正前の輝度低周波成分の値を用いる構成としてもよい。このような構成にすることで、目的や用途に応じてより適切な画像処理を行うことができる。

＜＜第２実施形態＞＞
第１実施形態では、１つの輝度低周波成分画像に基づいて画像処理を行う構成について説明したが、本実施形態では周波数帯域の異なる複数の輝度低周波成分画像に基づいて画像処理を行う構成について説明する。本実施形態に係る構成の大部分は第１実施形態に係る構成と同様であるため、本実施形態では第１実施形態に係る構成と異なる部分についてのみ説明を行う。

図７は、本実施形態に係る画像処理装置が実行する画像処理の流れを表すフローチャート（流れ図）である。図７において、第１実施形態の図２と同じ処理を行う部分（ステップ）については図２と同じ番号を付与し説明を省略する。

本実施形態では、ステップＳ２０２の輝度信号抽出処理に続いて、互いに抽出する低周波成分帯域が異なる２つの輝度低周波成分抽出処理を行う。即ち、ステップＳ７０１で第１の輝度低周波成分抽出処理、ステップＳ７０２で第２の輝度低周波成分抽出処理を行う。ステップＳ７０１での処理とステップＳ７０２での処理は、抽出する低周波成分帯域が異なるだけで、処理内容は同様である。つまり、ローパスフィルタのフィルタサイズ等が異なるだけで、処理は第１実施形態における図２のステップＳ２０３の内容と同様である。ステップＳ７０２が終了するとステップＳ２０４へ進み、色調整処理を行う。

次に、色調整処理について説明する。第１実施形態に係る構成では、図４のように、原画像４０１の補正を１つの輝度低周波成分画像４０３に基づいて行っているが、本実施形態に係る構成では周波数特性の異なる複数の輝度低周波成分画像に基づいて行う。

画像の色調整処理を複数の輝度低周波成分画像に基づいて行う具体的な構成は、多様な設計が可能である。

例えば、複数の周波数帯域の異なる輝度低周波成分画像を合成して、合成輝度低周波成分画像を生成し、第１実施形態の輝度低周波成分画素値のかわりに、合成輝度低周波成分画像の画素値（合成輝度低周波成分画素値）に基づいて補正を行う。合成は、例えば、各解像度の輝度低周波成分画像に対して重み付け平均処理を施すことによって行うことができる。

また、或いは、次のように構成することもできる。即ち、まず、周波数帯域が互いに異なる複数の輝度低周波成分画像のそれぞれについて、第１実施形態に係る構成と同様に、輝度低周波成分画像と輝度成分画像４０２、色処理パラメータ４０５に基づいて、輝度低周波成画像に対応する調整比率を算出する。そして、算出された複数の調整比率を合成し、合成された調整比率に基づいて色調整を行う。ただし、調整比率の合成は、例えば、各調整比率に対して重み付け平均処理を施すことによって行うことができる。

また、或いは、次のように構成することもできる。即ち、まず、周波数帯域が互いに異なる複数の輝度低周波成分画像のそれぞれについて、第１実施形態に係る構成と同様に、輝度低周波成分画像と輝度成分画像４０２、色処理パラメータ４０５に基づいて、輝度低周波成画像に対応する調整比率を算出する。次に、算出された複数の調整比率のそれぞれに基づいて、元画像４０１の色調整を行う。次に、複数の調整比率のそれぞれについて得られた複数の色調整結果の補正画像（補正画素）の画素値を合成し、最終的な補正画像を得る。ただし、補正画像の合成は、例えば各補正画像の対応する画素の画素値に対して重み付け平均処理を施すようにして行うことができる。

なお、本実施形態では周波数帯域の異なる輝度低周波成分画像を２つ用いる例を示したが、この種類の数を２つに限る必要はなく、３つ以上設けてもよい。その場合、図７の流れ図において、ステップＳ７０１、Ｓ７０２の後に、必要数だけ周波数帯域の異なる低周波成分抽出処理を追加すればよい。

以上説明したように、本実施形態では周波数帯域の異なる複数の輝度低周波成分画像を用いる構成例を示した。第１実施形態に係る構成のように１つの輝度低周波成分画像に基づいて画像処理を行う場合、原画像の内容、特性に応じて低周波成分抽出を抽出する周波数帯域、つまりローパスフィルタの特性を調整する必要がある。これに対して、本実施形態に係る構成では複数の帯域での処理結果を合成する。これにより安定した色調整結果を得ることができる。

＜＜第３実施形態＞＞
第２実施形態では、周波数帯域の異なる複数の輝度低周波成分画像に基づいて画像処理を行う構成について説明したが、本実施形態では解像度の異なる複数の輝度低周波成分画像に基づいて画像処理を行う構成について説明する。本実施形態に係る構成の大部分は第１、第２実施形態に係る構成と同様であるため、本実施形態では第１実施形態に係る構成と異なる部分についてのみ説明を行う。

図３は、本実施形態に係る画像処理装置が実行する画像処理の流れを表すフローチャート（流れ図）である。図７において、第１実施形態の図２と同じ処理を行う部分（ステップ）については図２と同じ番号を付与し説明を省略する。

本実施形態では、ステップＳ２０３の輝度低周波成分抽出処理に続いて、ステップＳ３０１で輝度信号画像変倍処理を行う。これは、ステップＳ２０２で作成された輝度成分画像を入力として変倍処理（縮小処理）を行い、変倍輝度成分画像を得る処理である。変倍方法は公知の変倍方式を適用することができる。

続くステップＳ３０２ではステップＳ３０１で生成された変倍輝度画像を入力として、ステップＳ２０３の低周波成分抽出と同様に、低周波成分を抽出する処理を行い、１以上の変倍輝度低周波成分画像を得る。ここで、低周波成分の周波数帯域をステップＳ２０３と同一、すなわちローパスフィルタのフィルタサイズをステップＳ２０３と同一に構成することができる。ステップＳ３０２の処理が終了するとステップＳ２０４へ進み、色調整処理を行う。

次に色調整処理について説明する。本実施形態における色調整処理は、複数の低周波成分画像に基づいて行われる点は第２実施形態と同じであるが、本実施形態では各低周波成分画像の解像度が同一でない点が異なる。即ち、本実施形態に係る構成においては、同一の周波数帯域から抽出された、解像度の異なる複数の低周波成分画像に基づいて色調整処理を行う。

本実施形態に係る構成においては、色調整の前に解像度の低い低周波成分画像について拡大処理を行い、全ての低周波成分画像を共通の大きさに変換する。そして、第２実施形態で述べたのと同様に処理を行う。拡大の方式は公知の変倍方式を適用することができる。

以上説明したように、本実施形態では解像度の異なる複数の輝度低周波成分画像を用いる構成例を示した。本実施形態に係る構成によれば第２実施形態に係る構成と同様に安定した色調整結果を得ることができる。さらに、周波数帯域の異なる輝度低周波成分画像を得るために、ローパスフィルタの構成を変えるのではなく、低周波成分抽出対象の輝度画像の解像度を変更するので、構成の簡略化、また処理の簡易化が図ることができる。

＜＜第４実施形態＞＞
第１、第２、第３実施形態では、sＲＧＢ色空間で規定された画像データをsＹＣＣ色空間に変換し、sＹＣＣ色空間において所定の色調整処理を行い、sＲＧＢ色空間に戻して出力する構成について述べた。本実施形態では、色調整処理を行う際に色空間の変換を行わず、入力された色空間において色調整処理を行う構成について述べる。以下、そのような構成の一例として、入出力画像データを規定する色空間がＲＧＢであり、色調整処理を規定する色空間、即ち、輝度と色味を規定する色空間がＹＣbＣr色空間の場合に、ＹＣbＣr色空間への変換を行わずに処理を行う構成を説明する。尚、本実施形態に係る構成の大部分は第１、第２、第３実施形態に係る構成と同様であるため、本実施形態では第１実施形態に係る構成と異なる部分についてのみ説明を行う。

まず、ＹＣbＣr色空間におけるＹの変化（操作）と、それに対応するＲＧＢの変化について説明を行う。あるＲＧＢデータ、（Ｒ，Ｇ，Ｂ）＝（ｒ1，ｇ1，ｂ1）をＹＣbＣrに変換して（ｙ1，ｃb1，ｃr1）を得て、ｙ1をｙ2に修正した後にＲＧＢに逆変換して（ｒ2，ｇ2，ｂ2）を得る処理を考える。ｙ2−ｙ1をdＹとおくと、ｙ2＝ｙ1＋dＹである。したがって、数式８に（Ｒ，Ｇ，Ｂ）＝（ｒ2，ｇ2，ｂ2)とｙ2＝ｙ2＋dＹを代入して整理すると、次の数式１２の結果が得られる。
［数式１２］

これより、ＹＣbＣr空間において輝度をdＹ増加させることは、ＲＧＢ空間における各成分をdＹ増加させることに対応することがわかる。つまり、ＲＧＢ色空間の画素データをＹＣbＣr色空間に変換してＹの値を変更し再びＲＧＢ色空間に戻す処理は、Ｙの変分を計算し、それを元のＲＧＢの各成分に足すことと等価である。

次に、あるＲＧＢデータ、（Ｒ，Ｇ，Ｂ）＝（ｒ3，ｇ3，ｂ3）をＹＣbＣrに変換して（ｙ3，ｃb3，ｃr3）を得て、ｃb3，ｃr3に係数ｋを乗じてｃb4，ｃr4に修正した後にＲＧＢに戻して（ｒ4，ｇ4，ｂ4）を得る処理を考える。これらの値と数式７、数式８から次の数式１３が成り立つ。
［数式１３］
ｒ4＝ｙ3＋ｋ・(ｒ3−ｙ3)
ｇ4＝ｙ3＋ｋ・(ｇ3−ｙ3)
ｂ4＝ｙ3＋ｋ・(ｂ3−ｙ3)。

これより、彩度に対して係数ｋを乗じた結果を、ＹＣbＣr色空間に変換せずＲＧＢ空間における計算により取得するには、対応する輝度を算出して上記の演算を行えばよいことがわかる。つまり、色調整処理のためにＲＧＢの画素値をＹＣbＣrに変換する必要はなく、画素の輝度値を算出するだけで、ＲＧＢデータのまま色調整処理を行うことができる。本実施形態に係る構成においては、このような原理に基づいてＲＧＢデータのまま色調整処理を行う。

なお、ＲＧＢデータからの輝度値の算出は、例えば、数式１又は数式２に基づいて行うことができる。尚、数式１、数式２は、ＬＵＴ化して予め所定の記憶装置に格納しておき、必要な場合に該ＬＵＴを参照するような形で利用してもよい。

図８は本実施形態における色調整処理の流れを示すフローチャート（流れ図）である。第１実施形態の図５と同じ処理内容の部分については同じ番号を付与して説明を省略する。図８の流れ図は、図５の流れ図と比較して、ステップＳ５０２の第１の色空間変換処理、ステップＳ５０８の第２の色空間変換処理がない点、またステップＳ５０７の代わりにステップＳ８０１が設けられている点が異なる。

ステップＳ８０１では、元画像のＲＧＢ画素値、対応する輝度画像の輝度値、ステップＳ５０３における色調整後の輝度値Ｙ'、ステップＳ５０６で算出された第２の彩度調整値を用いて、数式１２、数式１３に従い、輝度の色調整、彩度の色調整処理を行う。

以上説明したように、本実施形態では、入出力画像データを規定する色空間と、輝度と色味を規定する色空間が線形変換によって相互に変換可能である場合に、輝度と色味を規定する色空間への変換を行わずに処理を行う構成例を示した。本実施形態に係る構成においては、色空間変換の処理が省かれているため、処理の高速化、構成を簡略化を図ることができる。また、各画素について、色空間変換を順方向、逆方向の合計２回省略することができるので、処理演算の精度向上を図ることができる。

なお、本実施形態では、入出力画像データを規定する色空間がＲＧＢであり、色調整処理を規定する色空間、すなわち輝度と色味を規定する色空間がＹＣｂＣr色空間の場合について説明を行った。しかし、入出力画像を規定する色空間と、輝度と色味を規定する色空間が線形変換によって相互に変換可能であれば他の色空間であってもよいことは明らかである。

＜＜第５実施形態＞＞
第１乃至第４実施形態では、ステップＳ２０４の色調整処理において、逐次的に輝度補正値、輝度調整比率、第１の彩度調整値、第２の彩度調整値を算出する構成について説明した。しかし、画素値、輝度値、輝度低周波成分値が有限の離散値で表される場合は、算出値の全ての組み合わせを予め計算し、ＬＵＴ化して所定の記憶装置に保持しておき、色調整時にはそのＬＵＴを参照して計算結果を得るように構成することができる。例えば、有限の離散値には、例えば、８bit符号なし整数(０以上、２５５以下)が含まれる。

例えば、数式４〜数式６による演算について、画素の輝度値Ｙ(x,y)、輝度低周波成分値Ｆ_n(x,y)*Ｙ(x,y)がそれぞれ８bit符号なし整数で表される場合を考える。この場合、画素の輝度値Ｙ(x,y)と輝度低周波成分値Ｆ_n(x,y)*Ｙ(x,y)との組合せは、２５６通り×２５６通り＝６５５３６通りである。従って、各場合について予め計算結果を算出しておけばよい。また、第１の彩度調整値、第２の彩度調整値の算出についても対応するＬＵＴを設定しておき、算出時には当該ＬＵＴを参照して行うように構成することができる。

このような構成にすることで、色調整処理に係る演算のコストを低減することができる。例えば、入力画像の大きさがＶＧＡ(６４０×４８０画素)の場合、画素数が約３１万もあり、各画素における演算量を削減することは全体の演算コストの削減に大きく寄与することになる。入力画像がさらに大きい場合には、この演算量の削減の効果は更に増大することは言うまでもない。

また、輝度調整比率、第１の彩度調整比率、第２の彩度調整比率は、一般的には実数で表現されるが、これも予め定めた、十分に絶対値の大きな整数Ｋと掛け合わせて小数部分を丸めることで整数化できる。この整数Ｋの例としては、１０００や１０２４などがあげられるが、この他の値であっても構わない。この場合、整数化した比率係数を画素値に乗じた後に、整数Ｋで除算する。好ましくはＫを２のべき乗とすれば、整数Ｋの除算はシフト処理で実現可能である。

また、ＬＵＴは第１乃至第４実施形態で説明した処理と一対一に対応していなければならない理由はなく、幾つかの処理を経た結果をＬＵＴに格納するように構成してもよい。

これらのＬＵＴは色調整パラメータによって決定されるので、第１実施形態で述べたようにユーザが色調整パラメータを決定した後にＬＵＴ生成する工程を設けるように構成する。このＬＵＴはＲＡＭ１０６やデータ保存部１０２に保持し、画像調整処理ではこれらのＬＵＴを参照して色調整結果を得る。

あるいは、予めシステムが定めた色調整パラメータを用いる場合には、このＬＵＴを予め色調整パラメータに従って生成して、ＲＯＭ１０５やデータ保存部１０２に保存しておき、画像調整処理ではこれらのＬＵＴを参照して色調整結果を得る。

あるいは、複数の代表的な色調整パラメータを選択肢として何通りか用意しておき、それらのパラメータセッティングの選択肢の中からユーザに選択させる場合は、例えば、次のように構成することができる。即ち、各色調整パラメータの選択肢に対応するＬＵＴを予め生成しておいてＲＯＭ１０５やデータ保存部１０２に保存しておく。そして、ユーザの選択に応じて、選択された色調整パラメータに対応するＬＵＴを選択する。画像処理では選択されたＬＵＴを参照して演算結果を得る。なお、色調整パラメータの選択肢をユーザに選択させるインタフェースは、例えば、各選択肢を示す情報をユーザが識別可能な形（例えば、「強」、「中」、「弱」など）で表示部１０３に表示し、ユーザに選択させるという構成が考えられる。

以上説明したように、本実施形態では色調整処理における演算処理をＬＵＴ化する方式について説明した。本実施形態によれば、第１乃至第４実施形態に係る構成に比べ、演算量の削減ができるので、処理高速化が図ることができる。

＜＜その他の実施形態＞＞
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

尚、本発明は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等が含まれる。

その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをＨＤ等の記録媒体にダウンロードする形態も考えられる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいても前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

画像処理装置の一構成例を示したブロック図である。 第１実施形態に係る画像処理装置が実行する画像処理の流れを表すフローチャートである。 第３実施形態に係る画像処理装置が実行する画像処理の流れを表すフローチャートである。 色調整処理と各データの関係を示した概念図である。 色調整処理の処理の流れを示したフローチャートである。 補正前の輝度値Ｙと調整係数Ａ(Ｙ)の対応関係を例示した図である。 第２実施形態に係る画像処理装置が実行する画像処理の流れを表すフローチャートである。 第４実施形態における色調整処理の流れを示すフローチャートである。

Claims (13)

1. 複数の画素情報からなる画像データに対して、輝度及び彩度の調整を含む画像処理を行う画像処理装置であって、
   処理対象の前記画素情報から輝度成分を抽出する輝度抽出手段と、
   前記処理対象の画素情報から抽出された前記輝度成分と、前記処理対象の画素における輝度成分の低周波成分値と、輝度調整パラメータとに基づいて、前記輝度成分の調整比率を算出する輝度調整比率算出手段と、
   前記処理対象の画素情報の彩度成分の調整比率を、前記輝度成分の調整比率と、前記輝度抽出手段において抽出された前記輝度成分と、に基づいて算出する彩度調整比率算出手段と、
   算出された前記輝度成分の調整比率、前記彩度成分の調整比率に基づいて、前記処理対象の画素情報を調整する調整手段と、を備える画像処理装置。
2. 前記彩度調整比率算出手段は、
   前記輝度成分の調整比率に基づいて第１の彩度調整比率を算出する第１算出手段と、
   前記輝度抽出手段において抽出された前記輝度成分の大きさに基づいて第２の彩度調整比率を算出する第２算出手段とを備え、
   前記彩度成分の調整比率は、前記第１の彩度調整比率と前記第２の彩度調整比率の積であり、
   前記第２の彩度調整比率は、前記輝度成分が大きくなるほど大きい値が算出されることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の彩度調整比率は、前記輝度成分の調整比率、１．０、前記輝度成分の調整比率に予め定められた係数を乗じた値、前記輝度成分の調整比率を予め定められた係数に基づいて内分する値、のいずれかと等しいことを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出された前記輝度成分と、前記輝度成分の低周波成分値と、前記輝度調整パラメータとに基づいて前記輝度成分の調整比率を導出するための第１のルックアップテーブルと、前記輝度成分の調整比率と、前記抽出された前記輝度成分とに基づいて前記彩度成分の調整比率を導出するための第２のルックアップテーブルとの少なくともいずれかを記憶する記憶手段を更に備え、
   前記輝度調整比率算出手段は、前記記憶手段に前記第１のルックアップテーブルが記憶されている場合は、該第１のルックアップテーブルの参照に基づいて前記算出を行い、
   前記彩度調整比率算出手段は、前記記憶手段に前記第２のルックアップテーブルが記憶されている場合は、該第２のルックアップテーブルの参照に基づいて前記算出を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記輝度調整パラメータは、予め設定されている、又は、ユーザからの指示入力に基づいて決定されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記低周波成分値は、複数の周波数帯域にそれぞれ対応する複数の低周波成分値であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記低周波成分値は、互いに解像度が異なる複数の変倍画像の低周波成分値であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記彩度調整比率算出手段は、前記輝度抽出手段において抽出された前記輝度成分に代えて、該輝度成分の低周波成分値に基づいて、前記算出を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記輝度及び彩度を規定する色空間は、ＹＣbＣr色空間であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記輝度調整比率算出手段、前記彩度調整比率算出手段、及び、前記調整手段における色処理は、ＲＧＢ色空間において行われることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 複数の画素情報からなる画像データに対して、輝度及び彩度の調整を含む画像処理を行う画像処理方法であって、
    処理対象の前記画素情報から輝度成分を抽出する輝度抽出工程と、
    前記処理対象の画素情報から抽出された前記輝度成分と、前記処理対象の画素における輝度成分の低周波成分値と、輝度調整パラメータとに基づいて、前記輝度成分の調整比率を算出する輝度調整比率算出工程と、
    前記処理対象の画素情報の彩度成分の調整比率を、前記輝度成分の調整比率と、前記輝度抽出工程において抽出された前記輝度成分と、に基づいて算出する彩度調整比率算出工程と、
    算出された前記輝度成分の調整比率、前記彩度成分の調整比率に基づいて、前記処理対象の画素情報を調整する調整工程と、を備える画像処理方法。
12. コンピュータを請求項１乃至１０のいずれかに記載の画像処理装置として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを格納したコンピュータで読み取り可能な記憶媒体。

Images