JP2008072604A

JP2008072604A - 画像処理方式、装置、メディア、プログラム

Info

Publication number: JP2008072604A
Application number: JP2006251199A
Authority: JP
Inventors: Yasuo Fukuda; 康男福田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-15
Filing date: 2006-09-15
Publication date: 2008-03-27

Abstract

【課題】覆い焼き処理による補正で、シャドウ部が浮いてしまうのを抑える。
【解決手段】入力画像のシャドウポイントを求めておき、そのシャドウポイントが覆い焼き処理によって概略どのくらいのレベルになるかを、幾つかの近似を用いて算出し、シャドウポイントを元に戻すようなＬＵＴを作成し、覆い焼き処理後に適用する。
【選択図】図１

Description

本発明はデジタル画像処理、特にデジタル画像の明るさの分布を改善する方法、およびこれに関連したシステム、装置に関する。

従来、適正な明るさの写真を撮影する方法として、撮影するシーンの平均的な輝度を測定し、カメラのシャッター速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けして平均的な輝度を求めて適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。

しかしながら、撮影する主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンにおいては、撮影した画像においてどうしても主被写体部分が暗くなってしまう。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影時にあらかじめ平均的な写真よりも明るめに撮影されるようにカメラの露出を設定しておく必要があった。しかし、このような露出補正の操作はわずらわしいばかりでなく、カメラの設定を適正に行うための熟練を要する。また、主被写体に対して適切に露出補正を行ったとしても、逆に背景部分が明るくなりすぎてしまう。

本発明の目的は、このような適切に画像の明るさを決定するのが困難な逆光等のシーンにおいても、適切な明るさの画像を得ることである。

本発明の目的を達成するために、アナログ写真技術においては、暗室内でいわゆる覆い焼き処理を行うことで適切な明るさのプリントを得ることができる。このような覆い焼き処理を容易に実現するためには、デジタル画像処理において、覆い焼き処理を実現することが望ましい。

このような処理を実現する方法として、例えば、非特許文献１がある。これは、デジタル画像を対数変換した成分とその対数変換成分の低周波成分との差分処理を行うことによって、デジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るく処理することにより、画像の改善を行おうとするものである。

また、非特許文献２においても、デジタル画像の輝度成分とその低周波成分とを用いることにより、デジタル画像処理において覆い焼きのような効果を得る方法が提案されている。

また、画像補正の要求は静止画像に限るものではなく、動画像においても同様である。動画像は時間軸方向に連続した一連の静止画像の集合とみなすことができるので、上記のような画像補正を動画像などにも容易に適用できる。

画像データを規定する色空間には様々なものがある。例えばRGB、特にIEC 61966-2-1に記載のsRGBや、RGBに対して、線形変換を施して得たYCbCr（特に前述のsRGBに対してRGB-YCC変換を施したものはsYCCと呼ぶ）、あるいは、CIE 1931XYZ、CIE L^*a^*b^*などがその例となろう。ここで挙げた色空間のうち、RGB以外のものについては、明るさを表す尺度、すなわち輝度に相当する軸が存在する。具体的にはYCbCr色空間のY、CIE 1931XYZ色空間のY、CIE L^*a^*b^*色空間のL^*がそうである。また、残りの値、すなわちYCbCr色空間のCbとCr、CIE 1931XYZのXとZ、CIE L^*a*b^*色空間のa^*とb^*は色味を表す軸である。あるいは、これら色味を表す値を局座標表現に変換して、原点からの距離を「彩度」と呼ぶ場合もある。

明るさを調整するためには、補正対象の画像データをこれらの色空間に（必要に応じて）変換し、その色空間で輝度に相当する値を操作すればよい。
特登録03233114号公報特開平09-331469号公報特開2005-039455号公報 IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.6, NO.7, JULY 1997、"A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes" acm Transactions on Graphics, JULY 2002, Vol.21, No.3 、"Photographic Tone Reproduction for Digital Images"

しかしながら、前述のデジタル覆い焼きを実現する画像処理方式において、画像の暗い部分を明るく補正する効果の一方で、元々極暗部であった部分（シャドウ部）も明るくなるため、その部分が浮いてしまう、いわゆる白浮きの状態になるという課題がある。

特登録03233114は、デジタル覆い焼き処理に類した処理に関する発案であるが、同件ではこの白浮きに関する課題についての言及はない。また、特開平09-331469は白浮きに関する言及はあるが、1次元のルックアップテーブルによるヒストグラム等化処理に関するものであって、例えば本発案が用いるデジタル覆い焼き処理、あるいはそれに類する特登録03233114のような処理にはそのまま適用することができない。

また、特開2005-039455には、本発案と同様な画像処理に関する白浮きの防止方式に関する言及があるが、同件は画像処理後に画像を解析する必要があるので、処理が多段になることになる。したがって、中間状態の画像を一時的に保持するバッファが必要であったり、あるいは一旦中間状態の画像を作成して解析する必要があるので、バッファ用のメモリが必要であったり、処理時間がかかるという課題があった。

上記問題点を解決するために、本発明の画像処理方式は、以下の構成を持つ。すなわち、
画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の低周波成分信号を抽出する輝度低周波成分抽出工程と、
前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、
前記輝度低周波成分を用いて前記色調整工程によって色調整結果を得る画像処理方式であって、
原画像のシャドウポイントレベルを算出する工程と、
前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を算出する工程と、
入力が前記補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、
前記色調整結果に対し、前記補正曲線による変換を適用することを特徴とする。

あるいは、
画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の複数の低周波成分信号を抽出する輝度低周波成分抽出工程と、
前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、
前記複数の輝度低周波成分を用いて前記色調整工程によって複数の色調整結果を得て、前記複数の色調整結果を合成する調整結果合成工程を持つ画像処理方式であって、
原画像のシャドウポイントレベルを算出する工程と、
前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を、前記複数の低周波成分信号各々について算出し、
各補正後シャドウポイント予測値を合成して一つの合成補正後シャドウポイント予測値を算出する工程と、
入力が前記合成補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、
前記色調整結果に対し、前記補正曲線による変換を適用することを特徴とする。

以上説明したように、本発明によれば、画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の低周波成分信号を抽出する輝度低周波成分抽出工程と、前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、前記輝度低周波成分を用いて前記色調整工程によって色調整結果を得る画像処理方式であって、原画像のシャドウポイントレベルを算出する工程と、前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を算出する工程と、入力が前記補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、前記色調整結果に対し、前記補正曲線による変換を適用する。

あるいは、画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の複数の低周波成分信号を抽出する輝度低周波成分抽出工程と、前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、前記複数の輝度低周波成分を用いて前記色調整工程によって複数の色調整結果を得て、前記複数の色調整結果を合成する調整結果合成工程を持つ画像処理方式であって、原画像のシャドウポイントレベルを算出する工程と、前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を、前記複数の低周波成分信号各々について算出し、各補正後シャドウポイント予測値を合成して一つの合成補正後シャドウポイント予測値を算出する工程と、入力が前記合成補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、前記色調整結果に対し、前記補正曲線による変換を適用することにより、画像を明るく補正する際に、原画像の暗部の白浮きを抑え、良好な補正処理結果を得ることができる。

（実施例１）
以下、本発明による一実施形態を、図面を参照して詳細に説明する。

図1は、本発明による画像処理方式を実現可能な画像処理装置の一構成例を示すブロック図である。

図1の入力部101は、ユーザからの指示や、データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が挙げられる。あるいは、本例を例えば公知のデジタルカメラ装置に適用した場合には、ボタンやモードダイヤル等で構成されるのであっても良い。また、キーボードをソフトウェアで構成（ソフトウェアキーボード）し、ボタンやモードダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力するように構成するのであっても良い。

データ保存部102は、画像データを保持する部分で、通常はハードディスク、フレキシブルディスク、CD-ROM、CD-RやDVD、メモリーカード、USBメモリ等で構成される。データ保存部102に画像データの他にも、プログラムやその他のデータを保存することも可能である。あるいは、以後説明する中間的な画像（輝度成分画像）等を格納するのに十分な記憶容量がRAM106で確保できるのであれば、データ保存部102を省略するように構成してもよい。

通信部107は、機器間の通信を行うためのI/Fである。これは例えば、公知のLAN、USB、IEEE1284、IEEE1394、電話回線などの有線による通信方式であってもよいし、あるいは赤外線(IrDA)、IEEE802.11a, IEEE802.11b, IEEE802.11g, Bluetooth, UWB（Ultra Wide Band）等の無線通信方式であっても良い。

表示部103は、画像処理前、画像処理後の画像を表示、あるいはGUI等の画像を表示する装置で、一般的にはCRTや液晶ディスプレイなどが用いられる。あるいは、ケーブル等で接続された装置外部のディスプレイ装置であっても構わない。

104はCPUであり、上述した各構成の処理の全てに関わる。ROM105とRAM106は、その処理に必要なプログラム、データ、作業領域などをCPU104に提供する。また、後述する処理に必要な制御プログラムは、データ保存部102に格納されているか、ROM105に格納されている場合は、一旦RAM106に読み込まれてから実行される。

なお、図1では入力部101、データ保存部102、表示部103が全て1つの装置内に含まれるような図を示しているが、あるいはこれらの部分が公知の通信方式による通信路で接続されており、全体としてこのような構成となっているのであっても構わない。

なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。

本発明が改善を目指す画像の色調整処理においては、入力される画像に対して、まず輝度分布を調べ、その結果として輝度画像を生成する。さらにこの輝度画像に対して、2次元的なフィルタ処理を施して低周波成分を抽出し、低周波輝度画像を生成する。また、この輝度画像生成および低周波輝度画像生成処理を複数の解像度で行う。この複数解像度の低周波輝度画像と原画像を参照し、画像の色調整を行う。

色調整を行うために、まず入力画像より輝度成分を抽出する。

輝度成分の抽出は、例えば、色調整対象の画像がIEC 61966-2-1に記載されているsRGB色空間で表現されている場合、IEC 61966-2-1に記載されている方法に従い、ガンマ変換と３行3列のマトリクス演算により、CIE 1931XYZに変換する。ここで、位置が(x, y)の画素値(R(x, y), G(x, y), B(x, y))を上記変換による変換後のXYZのデータをそれぞれX(x, y)、Y(x, y)、Z(x, y)とすると、Ｙ(x, y)が抽出する輝度成分、X(x, y)、Z(x, y)が色成分である。この輝度抽出をハードウェアで構成する場合には、例えば、ルックアップテーブルによるテーブル参照回路（ガンマ変換の部分）、マトリクス演算回路によって構成できる。

なお、輝度成分を抽出する方法としては、前述の処理を簡略化し、ガンマ変換を省略してマトリクス演算のみで抽出するようにしてもよい。また、CIE1931XYZの変わりに
・ YCｂCr色空間のY値を輝度成分、Cb, Cr値を色成分
・ L^*a^*b^*色空間のL^*値を輝度成分、a^*, b^*値を色成分
・ HSV色空間のV値を輝度成分、H, S値を色成分
・ HSL色空間のL値を輝度成分、H, S値を色成分
とするように変形しても良い。その場合、それぞれ対応する色空間変換を用いる。

色空間変換は規格などで規定されたものを用いるのが好ましいが、あるいは近似計算を用いるのであっても良い。一例をあげると、RGBからYCbCr色空間のY値への変換は、次の式 1による変換式であらわされるが、
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ式 1
これに対し、次の式 2のような近似式を用いるのであっても良い。

さらには、輝度成分の近似値としてRGB信号値のGを用いたり、RGB各信号値の平均や最大値を輝度として用いるのであっても良い。

また、本例では、入力画像がsRGB色空間で表現されているとして説明を行ったが、sRGB以外のRGB（例えばAdobe RGB、RIMM/ROMM RGBなど）であっても、それぞれの色空間の定義に応じてCIE1931XYZ（あるいは先に挙げた他の色空間）への変換を行えば良い。

色空間の変換は各色空間の定義や変換式に従い変換を行うのであっても良いし、あるいは公知のICCプロファイルなどを使って変換を行うのであっても良い。これは例えばRGBが機器依存のRGB値（デバイスRGB値）で、単純な変換式で表現できない場合に特に有効である。

また、入力画像がRGBではなく例えばsYCCで表現されていても、同様にsYCCからCIE1931XYZ（あるいは先に挙げた他の色空間）への色空間変換式、もしくはICCプロファイルによる変換などで色空間変換を行えば良い。

ただし、元画像がsYCCで表現されており、また輝度としてYCbCrのYを用いる、というように元々の色空間と輝度値の色空間が一致している場合には単に元画像sYCC信号のY値を取り出せば良く、色空間変換処理は不要である。

色調整処理の一例として従来技術１に基づく方法によれば、輝度成分とスケール変換した輝度成分の分布それぞれを対数変換し、その差分を出力する。さらに、異なる尺度（異なる解像度）での差分出力の重み付き平均を改善された輝度成分とする。しかしながら、この方法では、画像に応じて改善の度合いを調整できないので、スケール変換した輝度成分の対数変換出力に係数を乗ずるようにする。この係数が改善の度合いを調整するパラメータである。以上説明した処理に基づく改善された輝度成分の出力は以下に示す式 3のようになる。

但し、Y'(x, y)、F_n(x, y)、w_n、n、γ₀、γ₁はそれぞれ、座標値が(x, y)の改善された輝度成分の出力、座標 (x, y)におけるガウシアン関数、尺度間の重み、尺度を表すパラメータ、改善の度合いを表すパラメータ0、改善の度合いを表すパラメータ1である。また、＊は積和演算を表す。

なお、尺度間の重みは尺度の標準偏差を調整することで省略可能（単純な平均に置き換わる）であること、また、式 3のように対数変換された値を出力するよりも、逆変換（exp演算）により元の輝度単位に戻した方が、改善された画像データの画質として好ましいことが分かっている。従って、以下の式 4に示した出力を改善された輝度成分とすることがより好ましい。

但し、Avgは平均値演算を表す。

式 4の代わりに、以下に示す式 5としてもよい。

なお、複数尺度でのスケール変換出力の平均値演算をS203の低周波輝度信号抽出で行い、複数尺度でのスケール変換出力の平均値をスケール変換された輝度成分の分布としてもよい。

あるいは、この式と類した効果を得るものとして、次のような式 6を用いるのであっても良い。

この輝度変換をハードウェアで構成する場合には、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換の部分）、除算回路によって構成できる。なお、平均値演算回路は低周波輝度信号抽出を実現する部分に設けてもよい。

色調整処理では、処理後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。好ましくは例えば、色成分X(x, y)、Z(x, y)にそれぞれ輝度成分の変更前後の比Y'(x, y) / Y(x, y)を乗算するが、あるいは、Y(x, y)のみ式 5もしくは式 6によるY'(x, y)に変更し、色成分X(x, y)、Z(x, y)に対しては処理を行わないような、処理の簡略化は容易である。

そして、修正後のX, Y, Zのデータを色空間変換しsRGBのデータを求める。ここでの処理は入力信号値をXYZに変換した色空間変換処理の逆変換である。したがって、３行３列のマトリクス演算および逆ガンマ変換の処理を行い、sRGB各8ビット出力とする。この画像データの再構成をハードウェアで構成する場合には、例えば、乗算および除算回路、マトリクス演算回路、ルックアップテーブルによるテーブル参照回路（逆ガンマ変換の部分）によって構成できる。

あるいは、上記方式により、輝度成分の変更前後の比Y'(x, y) / Y(x, y)を算出し、それをRGB信号にそれぞれ適用するのであっても良い。

図4は、色調整処理と各データの関係を示す概念図である。

図４の401は色調整前の原画像、402は原画像401を輝度成分に変換した輝度成分画像、403は輝度成分画像402に対して低周波成分抽出処理を行って得た、輝度低周波成分画像である。低周波成分抽出は、公知のローパスフィルタ処理を用いることにより実現できる。また、404は原画像401に対して色調整を行った結果の補正画像である。

また、411は、原画像401のある画素を表しており、412は画素411に対応する輝度画素で、式 4〜式 6のY (x,y)に対応する、413は画像411に対応する輝度低周波成分画素であり、式 4〜式 6のF_n(x, y)^*Y(x,y)に対応する。また、414は画素411の色処理結果の補正画素である。

また、405は色調整パラメータであり、式 4〜式 6のγ₀、γ₁などに相当する。これらの色調整パラメータは例えば表示部103にリストボックス、テキストボックス、スライダー、ボタンなどのGUIを構成して表示し、ユーザが入力部101を操作して値を指定すれば良い。あるいは、システムで予め色調整パラメータを定めておきそれを適用するのであっても良い。またあるいは、この予め定めておく色調整パラメータを何通りか用意しておき、それらのパラメータセッティングの選択肢をユーザが識別可能な形（例えば、「強」、「中」、「弱」など）で表示部103に提示してユーザに選択させるのであっても良い。

図４にあるように、ある画素411の色調整を行う場合、輝度画素412と輝度低周波成分画素413と色調整パラメータ405より調整比率を算出する。この調整比率は、式 4〜式 6にしたがって算出したY'(x,y)/Y(x,y)である。さらに、この調整比率と画素411の画素値を用いて色調整を行い、補正画素414を得る。

なお、図４では、原画像401と輝度成分画像402、あるいは輝度低周波成分画像403は同じ大きさであるように書いてあるが、これらの画像の大きさは一致しなくても良い。その場合、輝度成分画像402、輝度低周波成分画像403を公知の変倍方式により原画像401と同じ大きさに変倍すれば良い。また、輝度成分画像402は、輝度低周波成分画像403を生成するための中間的な画像データとし、色調整時にはあらためて原画像401より輝度成分を抽出するようにしても良い。

図2は、本発明による画像処理方式の処理の流れを表す流れ図である。

本実施例では、入力画像の画素値および色調整後の出力画像の画素値はsRGB色空間で規定されており、輝度と色味については、sRGBを変換したsYCC色空間で規定するとして説明を行う。本発明では、周波数帯域の異なる2つ以上の輝度低周波成分を色調整に用いるが、まず説明の簡単化のため図２を用いて１つの輝度低周波成分を色調整に用いる場合を説明し、その後に周波数帯域の異なる2つ以上の輝度低周波成分を用いる場合を説明する。

図２の流れ図による色調整処理の対象となる画像は、図１のRAM106やデータ保存部102に格納されている。色調整対象の画像の指定は、例えばRAM106、あるいはデータ保存部102に格納されている画像の一覧を表示部103に表示し、ユーザが入力部101を操作して指定すればよい。

あるいは、図１による構成に、さらに公知のCCD装置などの画像入力手段（不図示）を設け、ユーザが入力部101を操作するのをトリガとして画像入力手段から画像入力を行い、RAM106やデータ保存部102に画像データを格納し、以下で説明する処理を行うようにしても良い。

また、あるいは、通信部107を介して他の画像処理（不図示）と通信を行い、画像データを受け取るような変形であっても、本発明の意図するところと同じである。この場合、画像データの受信をトリガとして以下で説明する処理を行うよう構成すれば良い。

まず、ステップS201では色調整の対象となる画像を読み込み、RAM105、もしくはデータ保存部102に展開する。画像の読み込みは画像を格納するフォーマットに従って画像データを読み込む。

この時、例えば公知のJPEGのように画像圧縮処理が施されている場合には、それを伸張して展開し、RAM105もしくはデータ保存部102に展開する。

あるいは、例えば公知の撮像素子により被写体光学像を光電変換した後A/D変換したデータを格納する、いわゆるRAW(あるいはCCD-RAW)形式画像である場合には、RAW形式が規定するフォーマットに従ってRAM105に読み込んだ後に、必要に応じて画素補間処理やγ、ホワイトバランスといった画像処理を施す。このγやホワイトバランスの画像処理のパラメータは予め決まった値を適用するのであっても良いが、好適には、RAW形式画像フォーマットに撮影時の情報、もしくはその撮影時の状況に応じた画像処理パラメータが格納されている場合には、それを読み込んで適用する。画像処理パラメータが直接格納されているのではなくても、撮像機種の識別子と撮影時のセッティング情報が含まれていれば、それに応じたパラメータを予めROM105やデータ保存部102にデータベースとして格納しておき、撮像機種の識別子と撮影時のセッティング情報から画像処理パラメータを特定し、それを適用するようにすれば良い。

続くステップS202では、輝度信号抽出処理を行う。これは、ステップS201で読み込んだ画像の各画素に対して、輝度成分を抽出して輝度成分画像を生成する。本実施例の場合、画像の画素値がsRGB色空間で規定されており、輝度についてはsYCC色空間で規定しているので、先述の式 1の変換式やあるいは式 2の近似式を用いて輝度成分を算出する。ここで作成した輝度成分画像はRAM106やデータ保存部102に格納される。

先にも述べたように、原画像と輝度成分画像の大きさは一致する必要はないので、このステップS202の輝度成分抽出の処理において、縮小処理を施すように構成しても良い。縮小処理は公知の任意の方式で良いが、例えば間引き処理、最近傍法、平均値法などで容易に実現できる。

続くステップS203ではステップS202で作成した輝度成分画像より低周波成分抽出を行い、輝度低周波成分画像を生成する。低周波成分抽出は公知の任意のローパスフィルタ処理で良い。

ステップS204では、補正曲線の作成処理を行う。この処理については、後ほど説明する。

ステップS205では、ステップS201で読み込んだ画像の画素値、ステップS202で作成した輝度成分画像、ステップS203で作成した輝度低周波成分画像、またステップS204で作成した補正曲線を用いて色調整処理を行う。この色調整の処理については、後で詳細に説明する。

ステップS206では、ステップS205で得た色調整結果画像を、RAM106やあるいはデータ保存部102に所定の画像フォーマットにしたがって格納する。あるいは通信手段107を介して、図1不図示の他の画像処理装置に送信するように構成しても良い。

以上は、低周波輝度成分を1つ用いる場合だが、これを周波数帯域の異なる複数の低周波輝度成分を用いるように構成することもできる。

図３は周波数帯域の異なる複数の低周波輝度成分を用いる場合の処理の流れを示す流れ図である。図３においては、図２と処理が同じであるものについては図２と同じ番号を付与し、説明を省略する。

図３による処理では、ステップS202の輝度信号抽出処理に続いて、ステップS301で第一の輝度低周波成分抽出処理、ステップS302で第二の輝度低周波成分抽出処理を行う。これは、ステップS301とステップS302では抽出する低周波成分帯域が異なる、すなわちローパスフィルタのフィルタサイズ等が異なるだけで、図２のステップS203と同じである。

次に、色調整処理について説明する。先に図4では、原画像401に対して1つの輝度低周波成分画像403を用いているものを説明したが、図３による処理では、周波数帯域の異なる複数の輝度低周波成分画像を用いる部分が異なる。

この場合、複数の周波数帯域の異なる輝度低周波成分画像を予め合成して、合成輝度低周波成分画像を生成し、図２の例の輝度低周波成分画素値のかわりに、合成輝度低周波成分画像の画素値（合成輝度低周波成分画素値）を用いる。合成は例えば各解像度の輝度低周波成分画像に対して重み付け加算処理を施せば良い。

またあるいは、各周波数帯域の異なる輝度低周波成画像と輝度成分画像402、色処理パラメータ405より各周波数帯域の異なる輝度低周波成画像（あるいは輝度低周波成分画素）に応じた調整比率をそれぞれについて算出し、各調整比率を合成して適用するのであっても良い。合成は、例えば各調整比率に対して重み付け加算処理を施せば良い。

さらには、各周波数帯域の異なる輝度低周波成分画像と輝度成分画像402、色処理パラメータ405より各周波数帯域の異なる輝度低周波成分画像（あるいは輝度低周波成分画素）に応じた調整比率をそれぞれ算出して、さらに原画像401と各調整比率を用いて、各周波数帯域の異なる輝度低周波成分画像に応じた色調整結果の補正画像（補正画素）をそれぞれについて得て、各補正結果の画素値を合成するのであっても良い。合成は、例えば各補正画像の対応する画素の画素値に対して重み付け加算処理を施せば良い。

なお、図３では周波数帯域の異なる輝度低周波成分画像を2つ用いる場合の処理であるが、この種類の数を2つに限る必要はなく、3つ以上設けるのであっても良い。その場合、図３の流れ図において、ステップS301、S302の後に、必要数だけ周波数帯域の異なる低周波成分抽出処理を追加すれば良い。

また、あるいは、図９のように構成することも可能である。

図３による処理では、周波数帯域の異なる複数の輝度低周波成分画像を用いたが、図９による処理では解像度の異なる複数の輝度低周波成分画像を用いる点が異なる。

図９でも、図２と同じ部分については図2と同じ番号を付与し説明を省略する。

図９による処理では、ステップS203の輝度低周波成分抽出処理に続いて、ステップS901で輝度信号画像変倍処理を行う。これは、ステップS202で作成した輝度成分画像を入力として変倍処理（縮小処理）を行い、変倍輝度成分画像を得る処理である。変倍方法は公知の変倍方式で良い。

続くステップS902ではステップS901で生成した変倍輝度画像を入力として、ステップS203の低周波成分抽出と同じ処理を行い、変倍輝度低周波成分画像を得る。この時、低周波成分の周波数帯域はステップS203と同一、すなわちローパスフィルタのフィルタサイズは同一である。

次に色調整処理について説明する。色調整処理について、複数の低周波成分画像を持つ点は図３による処理と同じであるが、図９による処理では各低周波成分画像の解像度が画一でない点が異なる。この場合、色調整の前に低い解像度の低周波成分画像を拡大してから、図３による処理の説明で述べたのと同様に処理を行えば良い。拡大の方式は公知の変倍方式で良い。また、拡大処理は、色調整処理に先立って行っておき、拡大画像をRAM106に格納しておくようにしても良い。

なお、図９では解像度の異なる輝度低周波成分画像を2つ用いる場合の処理であるが、この種類の数を2つに限る必要はなく、3つ以上設けるのであっても良い。その場合、図９の流れ図において、ステップS901、S902の後に、必要数だけ解像度の異なる低周波成分抽出処理を追加すれば良い。

以上が、本発明が用いる画像処理の概略であるが、続いて、補正曲線作成処理および、それを適用する色調整処理の詳細について説明する。

まず、図２、図３、図９のステップS204による補正曲線作成処理について説明を行う。

図６は、このステップS204による補正曲線作成処理の処理の流れを示す流れ図である。

まず、ステップS601では、輝度ヒストグラムを作成する。この輝度ヒストグラムは原画像における極暗部（シャドウポイント）のレベルを得るためのもので、本実施例では、ステップS202で作成した輝度画像の輝度値についてヒストグラムを作成する。

なお、図９のように複数解像度の輝度画像を得る場合には、それらのうちのいずれかの解像度の輝度画像を用いてヒストグラムを作成するように構成しても良い。

また、本実施例では原画像の輝度信号、もしくはその変倍画像の輝度信号を用いるように構成しているが、これをステップS203、S301、S302、S902で作成した輝度低周波成分信号について行うような変形であっても本発明の意図するところである。

続くステップS602では、シャドウポイントのレベルを算出する。これはステップS601で算出したヒストグラムを用いて算出する。シャドウポイントの算出方法として様々な方法が考えられるが、本実施例では、ヒストグラムで暗部側から累積度数が1%である画素が属するレベルをシャドウポイントのレベルとする。この1%は実験から求めた値であって、これを0.5%など他の値にする変形は容易に実施可能である。

図８は、輝度ヒストグラムとシャドウポイントレベルの例を示す図である。図８では暗部側から累積度数が1%の画素が属するレベルをシャドウポイントレベル（以下、SDとも略記する）としている
続いてステップS603では、画像の平均輝度を算出する。これは、ステップS601で求めた輝度ヒストグラムから容易に算出可能である。以後平均輝度をAveとも略記する。

なお、本実施例では好適な例として、ステップS603で平均輝度を算出する構成を例として説明を行っているが、これはあるいは解析対象の輝度画像を作成した時に作成するように変形しても本発明の意図するところである。その場合、このステップS603は省略しても構わない。

続くステップS604では処理後のシャドウポイントレベル予測値を算出する。

なお、以後説明のため、本実施例では、周波数帯域の異なる３つの輝度低周波成分を用いる場合について説明する。また、これらの複数の輝度低周波成分による補正後の画素値を算出し、それらを重み付け加算して最終的な補正画像を得る場合について説明を行う。

先に図４を用いて説明したように、図４の411は、原画像401のある画素を表しており、412は画素411に対応する輝度画素で、式 4〜式 6のY (x,y)に対応する、413は画像411に対応する輝度低周波成分画素であり、式 4〜式 6のF_n(x, y)^*Y(x,y)に対応する。

この輝度低周波成分画素F_n(x, y)^*Y(x,y)を以後、L_n(x, y)として説明する。また、本実施例では輝度低周波成分画像として3つの輝度低周波成分画像を用いるとして説明を行う。そのうち、最も高周波成分のものをL_H(x, y)、最も低周波成分のものをL_L(x, y)、残りの中間的な周波数成分のものをL_M(x, y)として説明する。

式 4〜式 6から明らかなように、本発明が用いる画像処理は注目画素の輝度値Y (x,y)だけでなく、その輝度低周波成分L_H(x, y)、L_M(x, y)、L_L(x, y)があって初めて補正後の画素値が決定する。

しかしながら、先に求めたシャドウポイントレベル（SD）とY (x,y)が一致する画素は画像内に複数存在し、一般にはそれらの画素の輝度低周波成分は各画素によって異なっており、一意には決定しない。したがって、本発明による方式では幾つかの近似を用いて、シャドウポイントレベルの画素（以下、Y(SD)と略記）が式 4〜式 6による補正によって概略どのレベルになるかの予測値Y'（SD）を求める。

本実施例の場合、Y'（SD）は、比較的高い周波成分による補正後のシャドウポイントレベル（以下、Y'_H(SD)）、比較的低い周波数成分による補正後のシャドウポイントレベル（以下、Y'_H(SD)）の他、中間的な周波数成分による補正後のシャドウポイントY'_M(SD)から求められる。

これらの値を予測するため、以下のような近似を行い予測値を求める。

・シャドウポイントレベルの画素に関し、輝度低周波成分のうち比較的高い周波数成分（以下、L_H(SD)と略記）ついては、近似値としてシャドウポイントレベルを用いて、式 4〜式 6より補正後の予測値Y'_H(SD)を求める。（近似１）
・シャドウポイントレベルの画素に関し、輝度低周波成分のうち比較的低い周波数成分（以下、L_L(SD)と略記）については、近似値として画像の平均輝度を用いて、式 4〜式 6より補正後の予測値Y'_L(SD)を求める。（近似２）
・シャドウポイントレベルの画素に関し、輝度低周波成分のうち中間的な周波数成分（以下、L_M(SD)と略記）による補正後の予測値Y'_M(SD)は、Y'_H(SD)とY'_L(SD)の中間程度とする。（近似３）
Y'_M(SD)は、本実施例ではY'_H(SD)とY'_L(SD)の平均によって求める。

あるいは、これを重み付け平均するような変形は容易である。一例として、重み付け平均の重みは、L_M(SD)として抽出する周波数成分の、L_H(SD)とL_L(SD)との近さに応じて設定するように構成できる。この近さは、一例としてはフィルタ半径の大きさに応じて設定するようにすれば良い。また、このL_H(SD) 、L_M(SD)、L_L(SD)の周波数成分は予め定まっているならば、この重み付け係数も予め定めておき、それを適用するように構成すれば良い。

続くステップステップS607では、このY(SD)とY'(SD)から補正曲線を決定する。図７は本実施例における補正曲線の例を示す図である。図7においては、輝度レベルの両端(０と最大値)と、入力がY'(SD)、出力がY(SD)である点をそれぞれ直線で結ぶような補正曲線を示している。

この補正曲線は、原画像のシャドウポイントレベルであるY(SD)の輝度値を持つ画素は、概略予測値Y'(SD)近辺に補正されるので、それをだいたい元のシャドウポイントレベルY(SD)近辺に戻すための曲線である。

なお、本実施例では、輝度レベルの両端(０と最大値)と、入力がY'(SD)、出力がY(SD)である点をそれぞれ直線で結ぶような例を示したが、これらの点間を公知の補間方式で滑らかに結ぶようにするよう、変形することも可能である。

本実施例ではこのステップS607で、決定した補正曲線は、ルックアップテーブル（LUT）の形でRAM106などに格納され、後述する色調整処理内部で参照されるように構成する。

あるいは、ステップS607では補正曲線の制御点のみを決定して格納し、色調整処理実行時に補間して補正曲線値を求めるように構成することも可能である。これは、本発明をハードウェアによる構成で実施する場合にメモリの削減などに有効である。

続いて、以上説明した処理による補正処理を、図５の流れ図を用いて説明する。図５による処理は、先に説明した図２、図６、図７の色調整処理ステップS204の処理の詳細である。なお、本説明では、周波数帯域の異なる２つの輝度低周波成分を用いる場合について説明を行う。

ステップS501では、まず、補正対象画素を画像の先頭の画素に初期化する。

ステップS502では、補正対象画素の輝度信号値を得る。これは、先のステップS202で作成した輝度成分画像より、現在の補正対象画素と空間的に一致する輝度信号値を取り出せば良いが、現在の補正対象画素から、先述の式 1の変換式やあるいは式 2の近似式を用いて輝度成分を算出するように構成するのでも良い。

続くステップS503では、補正対象画素に対応する輝度成分画像の輝度画素の画素値と、図２のステップS203（あるいは図６のステップS601、S602、図７のステップS203、S702）で得た、現在の補正対象の画素と空間的に対応する輝度低周波成分画像の輝度低周波成分画像の画素値と、色調整パラメータ（γ₀, γ₁）を用いて、補正後の画素の輝度値Y'を算出し、最終的に調整比率Y'/Yを算出する。これは式 4〜式 6の式に従い、Y'を算出する。

また、本実施例では、周波数帯域の異なる2つ以上の輝度低周波成分を色調整に用いるので、それぞれについて調整比率を算出する。

Y'を算出するためには、色調整パラメータγ₀, γ₁が必要だが、これは本ステップ以前に定まっていれば良く、例えば、予めシステムで色調整パラメータを定めておき、それを適用すれば良い。

あるいは、ステップS503までのいずれかのタイミングでユーザから色調整パラメータ指定を受け取る工程を設けそれを用いるように構成しても良い。色調整パラメータ指定は、例えば表示部103にリストボックス、テキストボックス、スライダー、ボタンなどのGUIを構成して表示し、ユーザが入力部101を操作して値を指定する。あるいは何通りかの色調整パラメータをシステムで定めておき、それを例えば「強」、「標準」、「弱」などの形でユーザに識別可能なように提示し、それを選択させるように構成しても良い。この場合、ユーザの選択に対応づけられた色調整パラメータを適用して処理を行う。

また、あるいは、画像データの特徴量より色調整パラメータを自動決定する方式を用い、ステップS503より前のいずれかのタイミングで色調整パラメータを自動決定する工程を設けるのであっても良い。

このステップS503におけるY'あるいはY'/Y算出の演算を、予め考えられる入力信号の組み合わせについて算出しておいてルックアップテーブル化しておき、本ステップではそれを参照するようにように構成しても良い。ルックアップテーブルの作成ステップは、色調整パラメータが決定した後、ステップS503の前の任意のタイミングに設ければ良い。

また、この時、補正対象画像と輝度成分画像、輝度低周波成分画像の大きさが異なる場合には、補正対象画像と同じ大きさになるように変倍処理を行い、変倍後の輝度成分画像の輝度画素の画素値、あるいは変倍後の輝度低周波成分画像の輝度低周波成分画素値を参照して処理を行う。変倍処理は公知の任意の変倍方式で良く、例えば最近傍法、バイリニア補間などで良い。

続くステップS504では、ステップS503で求めた調整比率を用いて画素を修正する。

本実施例では、RGBそれぞれに調整比率を適用して調整結果の画素値を得る。これを、各輝度低周波成分毎に調整結果を得て、それらを合成して最終的な調整結果を得る。

調整結果の合成には様々な方法が考えられるが、本実施例では各輝度低周波成分毎に得た調整結果を重み付け加算して調整結果を得るものとする。最も簡単な方法としては、各輝度低周波成分毎の調整結果を平均して合成すれば良い。

なお、本実施例では、調整比率をRGBそれぞれに適用して調整結果を得るように構成しているが、RGB色空間とYCC色空間における補正処理を合成するように構成することも可能である。

ステップS505では、ステップS504で調整した画素値に対して、図６の流れ図で説明した処理によって作成した補正曲線を適用する。本実施例では、ステップS504で調整した画素値に対して、ステップS202他で用いた輝度を規定する色空間（例えばYCbCrや、XYZ、あるいはL^*a^*b^*など）に変換してから図７で示した補正曲線を適用し、再びRGB色空間に戻す。

特に輝度を規定する色空間がYCC色空間である場合、この処理は、RGB信号から輝度Yを算出し、先の補正曲線で出力値Y'を求め、出力値と入力値の差ΔY＝Y'−Yを求め、このΔYをRGB信号に加算するように構成することができる。

続くステップS506では、全ての画素について処理が終了したかどうかの判定を行う。全ての画素について処理が終了した（判定結果が真）の場合、処理は終了する。終了していない（判定結果が偽）の場合は、処理はステップS507に流れ、次の画素を注目画素（補正対象画素）として、処理はステップS502に戻る。

なお、本実施例では説明の簡単化のため、ステップS503による調整比率の算出、またその調整比率による画素修正のステップS504と、補正曲線の適用処理であるステップS505とを別々のステップとして説明したが、これらの処理をルックアップテーブル化して一括して変換するように変形することも可能である。

以上説明したように、本実施例によれば、複数の周波数帯域のことなる低周波輝度成分を用いて画像を明るく補正する際に、原画像におけるシャドウポイントレベルを算出し、またそのシャドウポイントレベルが補正処理によりどのレベルに補正されるかの予測値を算出し、それに基づいて補正曲線を決定し、各輝度低周波成分による画素補正結果に対してその補正曲線を適用することにより、暗部がしまった良好な画像補正結果を得ることができる。

（実施例２）
本実施例では第一の実施例と異なる部分についてのみ説明を行う。

第一の実施例では、色調整に用いる輝度低周波成分を３種類としたが、本発明による画像処理方式はこれを３種類に制限するものではない。

例えば、色調整に用いる輝度低周波成分が１種類の場合、それが比較的高い周波数成分である場合には、実施例１の近似１を用いればよいし、比較的低い周波数成分である場合には実施例１の近似２を、いずれでもない場合には実施例１の近似３のみを用いるようにする。用いる輝度低周波成分が高いか低いかは予め定まっているので、それに応じてどの近似を用いるかを予め定めておけば良い。

また、輝度低周波成分が2種類の場合、実施例１の近似１〜３のうち２つを用いれば良い。どれを用いるかは、先述の１種類の場合と同じで予め定めておけば良い。

また輝度低周波成分が４種類以上の場合、実施例１の近似３と同様に考え、それぞれの輝度低周波成分による予測値を、Y'_H(SD)とY'_L(SD)から算出するように構成する。この場合、中間的な周波数成分については比較的高い周波数成分と、比較的低い周波数成分のいずれに近いかに応じて予め重み付け係数を定めておけば良い。

以上説明したように、本実施例によれば用いる輝度低周波成分が3種類である以外の場合においても本発明による画像処理を適用可能であることがわかる。

本発明による画像処理方式を実現可能な画像処理装置の一構成例を示すブロック図本発明による画像処理方式の処理の流れを表す流れ図である。周波数帯域の異なる複数の低周波輝度成分を用いる場合の処理の流れを示す流れ図である。色調整処理と各データの関係を示す概念図である。周波数帯域の異なる２つの輝度低周波成分を用いる場合の処理の流れを示す流れ図である。補正曲線作成処理の処理の流れを示す流れ図である。本実施例における補正曲線の例を示す図である。輝度ヒストグラムとシャドウポイントレベルの例を示す図である。解像度の異なる複数の輝度低周波成分画像を用いる場合の処理の流れを示す流れ図である。

Claims

画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の低周波成分信号を抽出する輝度低周波成分抽出工程と、
前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、
前記輝度低周波成分を用いて前記色調整工程によって色調整結果を得る画像処理方式であって、
原画像のシャドウポイントレベルを算出する工程と、
前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を算出する工程と、
入力が前記補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、
前記色調整結果に対し、前記補正曲線による変換を適用することを特徴とする画像処理方式。
画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の複数の低周波成分信号を抽出する輝度低周波成分抽出工程と、
前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、
前記複数の輝度低周波成分を用いて前記色調整工程によって複数の色調整結果を得て、前記複数の色調整結果を合成する調整結果合成工程を持つ画像処理方式であって、
原画像のシャドウポイントレベルを算出する工程と、
前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を、前記複数の低周波成分信号各々について算出し、
各補正後シャドウポイント予測値を合成して一つの合成補正後シャドウポイント予測値を算出する工程と、
入力が前記合成補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、
前記色調整結果に対し、前記補正曲線による変換を適用することを特徴とする画像処理方式。
前記補正後シャドウポイントレベル予測値を算出する工程において、前記輝度低周波成分抽出工程が抽出する低周波成分が比較的高い周波数成分である場合については、前記シャドウポイントレベルに対応する低周波輝度成分として、前記シャドウポイントレベルを近似値として用いて前記補正後シャドウポイントレベル予測値を算出することを特徴とする請求項１もしくは２記載の画像処理方式。
前記補正後シャドウポイントレベル予測値を算出する工程において、前記輝度低周波成分抽出工程が抽出する低周波成分が比較的低い周波数成分である場合については、前記シャドウポイントレベルに対応する低周波輝度成分として、入力画像の平均輝度を近似値として用いて前記補正後シャドウポイントレベル予測値を算出することを特徴とする請求項１もしくは２記載の画像処理方式。
前記補正後シャドウポイントレベル予測値を算出する工程において、前記輝度低周波成分抽出工程が抽出する低周波成分が中間的な周波数成分である場合については、前記シャドウポイントレベルに対応する低周波輝度成分として、前記シャドウポイントレベルを近似値として用いて得た第一の補正後シャドウポイント予測値と、前記シャドウポイントレベルに対応する低周波輝度成分として、入力画像の平均輝度を近似値として用いて得た第二の補正後シャドウポイント予測値を得て、前記第一、第二の補正後シャドウポイント予測値を合成して第三の補正後シャドウポイント予測値を算出することを特徴とする請求項１もしくは２記載の画像処理方式。
画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の低周波成分信号を抽出する輝度低周波成分抽出工程と、
前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、
前記輝度低周波成分を用いて前記色調整工程によって色調整結果を得る画像処理装置であって、
原画像のシャドウポイントレベルを算出する工程と、
前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を算出する工程と、
入力が前記補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、
前記色調整結果に対し、前記補正曲線による変換を適用することを特徴とする画像処理装置。
画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の複数の低周波成分信号を抽出する輝度低周波成分抽出工程と、
前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、
前記複数の輝度低周波成分を用いて前記色調整工程によって複数の色調整結果を得て、前記複数の色調整結果を合成する調整結果合成工程を持つ画像処理装置であって、
原画像のシャドウポイントレベルを算出する工程と、
前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を、前記複数の低周波成分信号各々について算出し、
各補正後シャドウポイント予測値を合成して一つの合成補正後シャドウポイント予測値を算出する工程と、
入力が前記合成補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、
前記色調整結果に対し、前記補正曲線による変換を適用することを特徴とする画像処理装置。
前記補正後シャドウポイントレベル予測値を算出する工程において、前記輝度低周波成分抽出工程が抽出する低周波成分が比較的高い周波数成分である場合については、前記シャドウポイントレベルに対応する低周波輝度成分として、前記シャドウポイントレベルを近似値として用いて前記補正後シャドウポイントレベル予測値を算出することを特徴とする請求項６もしくは７記載の画像処理装置。
前記補正後シャドウポイントレベル予測値を算出する工程において、前記輝度低周波成分抽出工程が抽出する低周波成分が比較的低い周波数成分である場合については、前記シャドウポイントレベルに対応する低周波輝度成分として、入力画像の平均輝度を近似値として用いて前記補正後シャドウポイントレベル予測値を算出することを特徴とする請求項６もしくは７記載の画像処理装置。
前記補正後シャドウポイントレベル予測値を算出する工程において、前記輝度低周波成分抽出工程が抽出する低周波成分が中間的な周波数成分である場合については、前記シャドウポイントレベルに対応する低周波輝度成分として、前記シャドウポイントレベルを近似値として用いて得た第一の補正後シャドウポイント予測値と、前記シャドウポイントレベルに対応する低周波輝度成分として、入力画像の平均輝度を近似値として用いて得た第二の補正後シャドウポイント予測値を得て、前記第一、第二の補正後シャドウポイント予測値を合成して第三の補正後シャドウポイント予測値を算出することを特徴とする請求項６もしくは７記載の画像処理装置。
画像データから輝度成分を抽出する輝度抽出工程と、前記輝度成分の低周波成分信号を抽出する輝度低周波成分抽出工程と、
前記画像データもしくは前記画像データの前記輝度成分と前記低周波輝度成分とを用いて前記画像データの色調整を行う色調整工程と、
前記輝度低周波成分を用いて前記色調整工程によって色調整結果を得るプログラムであって、
原画像のシャドウポイントレベルを算出する工程と、
前記原画像のシャドウポイントレベルの信号が、前記画像処理による補正後の補正後シャドウポイントレベル予測値を算出する工程と、
入力が前記補正後シャドウポイントレベル予測値の場合に出力が前記シャドウポイントレベルとなる補正曲線を決定する補正曲線決定工程と、
前記色調整結果に対し、前記補正曲線による変換を実行することを特徴とするプログラム。
請求項１１に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。