JP2004200808A - Image processing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To realize a correction process which obtains a more sufficient effect. <P>SOLUTION: Whether or not an image was taken against the sun is decided (step S1701). If taken against the sun, a correction parameter is calculated (step S1703), based on the outline shape of a calculated brightness histogram (divided into a mountainous region and an even region). Based on the correction parameter, a correction curve such as γ curve, etc. is obtained (step S1704). Based on the correction curve, a correction process is made (step S1705). <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【００３９】
ただし、integer(x)はxを整数化する処理（関数）で、小数点以下の数値の切り上げ、切り捨てもしくは四捨五入である。また、Ａは係数で、本実施形態では実験値より10,000を用いた。
【００４０】
図４は、正規化ヒストグラムH_N(i)の例を表す図である。
【００４１】
次に、ステップＳ３０３で、ステップＳ３０２で得た正規化ヒストグラムH_N(i)に対して平滑化処理を施す。図４では模式的にヒストグラムを書いているが、実際のヒストグラムは隣接するレベル間で度数にばらつきがあり、かなりギザギザしているため、以後の解析処理における前処理として平滑化処理を行い、ヒストグラムの概略形状の解析を行い易くするために実行する。
【００４２】
本実施形態では、注目するレベルに対して上下４レベルと注目するレベルの合計９レベルのヒストグラム度数値を平均化することで平滑化を行う。すなわち、前後９点による移動平均法による平均化を行う。この場合、レベルが３以下、あるいは252以上の場合上下のいずれかに４レベル全ては存在しないが、その場合にはそれを存在するものだけを用いて平均化を行う。次式はこの移動平均処理を表す式である。
【００４３】

【００４４】
図５は式（４）による平滑化後の平滑化ヒストグラムH_S(i)を表す図である。
図４の平滑化前のヒストグラムに比べ、凹凸が減少していることがわかる。なお、この式（４）の平均化による平滑化処理は実験によって決定したものであるが、この平均化を行うレベル範囲を４以外としても、あるいは他の平滑化処理を用いてもよい。
【００４５】
次に、ステップＳ３０４で、平滑化ヒストグラム数列H_S(i)より差数列D(i)を得る差数列算出処理を行う。この差数列算出処理は、次の小変位除去処理ステップＳ３０５のための処理で、具体的には次式により差数列D(i)を算出する。
【００４６】
D(i)＝H_S(i+1)-H_S(i) (０≦i≦254） （５）
【００４７】
続くステップＳ３０５の小変位除去処理では、ヒストグラムの小変位を除去する。これは整数化による丸め処理による変位を除去するための処理である。これは例えば式（３）、（４）の整数化処理integer(x)が小数点以下の数値に対する四捨五入の場合を例にして説明すると、あるレベルの整数化前の度数値が1.4で、それに隣接するレベルの整数化前の度数値が1.5であった場合、整数化処理integer(x)により前者は１となり後者は２となってしまうのを同一視するための処理である。
【００４８】
図１０、図１１はこの小変位除去処理を説明する図である。
【００４９】
図１０における部分ヒストグラム１００１は、あるヒストグラムの一部分を拡大して描いたものである。図１０、図１１において、横軸方向の破線の間隔は、平滑化ヒストグラムH_S(i)における値１である。
【００５０】
図１０における、ａ〜ｂ間は、その前後のレベルより凹型にくぼんでおり、またｃ〜ｄ間は凸型に突き出ているが、ヒストグラム全体の概形からするとａ〜ｄ間は比較的なだらかに変移しているのであって、この局所的な凹凸はむしろ整数化による量子化誤差によって発生していると考えられる。そこで、ステップＳ３０５ではこの局所的な凹凸を除去し、図１１に示すような小変位除去後の部分ヒストグラム１１０１を生成する。
【００５１】
この小変位除去は例えば図１２のフローチャートに示す処理によって実現される。小変位除去処理では、ステップＳ３０４で算出した差数列D(i)を用いて処理を行う。
【００５２】
まず、ステップＳ１２０１で、変数ＩおよびEndPointの初期化を行う。変数Ｉは、除去候補領域の開始位置を表す変数であり、ステップＳ１２０１では０に初期化される。変数EndPointはD(i)でのiの最大値を表す。本実施形態の場合、レベルの最大値は255なので、その差数列D(i)でのiの最大値は254なので、254で初期化する。
【００５３】
ステップＳ１２０２は終了条件の判定で、EndPointすなわち全てのD(i)について調査が終わった場合に真となり処理は終了し、そうでない場合は処理はステップＳ１２０３に流れる。
【００５４】
ステップＳ１２０３は、D(i)が除去候補領域の開始位置となるかどうかを判定している。これまで説明した通り、小変位除去処理では度数が±1の範囲の凹凸を除去するので、差数列D(i)が±１の場合はステップＳ１２０３での判定は真となり処理はステップＳ１２０５に流れる。これは、Ｉが除去候補領域の開始位置となったことを表す。そうでない場合は処理はステップＳ１２０４に流れ、ステップＳ１２０４ではＩを１増加してステップＳ１２０２の判定に戻る。
【００５５】
ステップＳ１２０５では、変数Ｊの初期化を行う。変数Ｊは、除去候補領域の終了位置を表す変数であり、Ｉ＋１で初期化される。
【００５６】
続くステップＳ１２０６は終了条件の判定で、EndPointすなわち全てのD(i)について調査が終わった場合に真となり処理は終了し、そうでない場合は処理はステップＳ１２０７に流れる。
【００５７】
ステップＳ１２０７では、D(J)が０かどうかを判定している。D(J)が0であるということは、元の平滑化ヒストグラムH_S(J)、H_S(J+1)間が平坦であることに対応する。平坦である、すなわちD(J)が０である場合には、ステップＳ１２０７での判定は真となり処理はＳ１２０８に流れＪを１増加してステップＳ１２０６の判定に戻る。そうでない場合には、処理はステップＳ１２０９の判定処理に流れる。
【００５８】
ステップＳ１２０９での判定処理では、D(I)〜D(J)、すなわち平滑化ヒストグラムH_S(I)〜H_S(J+1)間が小ピ-クであるかどうかの判定を行う。凹型もしくは凸型の場合、D(I)とD(J)は符号が異なる必要がある。したがって、凹型もしくは凸型の場合にはD(I)×D(J)は負の値となる。またステップＳ１２０９での判定ではさらにJ-IをThと比較しているが、これは凹部もしくは凸部のヒストグラムグラフにおける横方向の長さに対する閾値処理である。つまり、どのくらい広いレベル範囲(J-I+1)までの変化を小変位とみなして除去するか、あるいはみなさずに除去しないかという本処理の動作を制御する閾値である。
【００５９】
実験ではThが４〜５といった値で良好な結果を得たが、もちろん他の値であっても構わない。あるいは、もう一つ閾値Th2を設けて、J-IがTh以上Th2以下であれば小変位とみなす等の変形は容易に考えられる。
【００６０】
ステップＳ１２０９での判定が偽であった場合、D(I)〜D(J)があらわす区間、すなわちH_S(I)〜H_S(J+1)間は小変位でないと判断され、処理はステップＳ１２１０に流れ、次の調査開始点としてＩをＪで初期化して処理はステップＳ１２０２に戻る。ステップＳ１２０９での判定が真の場合には、処理はステップＳ１２１１に流れる。
【００６１】
ステップＳ１２１１は実際に小ピークを除去する処理である。具体的には、小変位領域の終了点であるD(J)にD(I)の値を加え、さらにD(I)の値を０とすることで実現される。
【００６２】
続くステップＳ１２１２では、次の調査開始点として、IをJ+1で初期化し、さらに処理はステップＳ１２０２に戻る。
【００６３】
図６は、この小変位除去処理により更新された差分数列D(i)に対応するヒストグラムの形状を表す図である。図５の平滑化ヒストグラムでは区間Ａ〜Ｂに小変位の凸部があったのが、小変位除去処理後に対応する図６ヒストグラムのヒストグラムの区間Ａ〜Ｂでは小変位の凸部が除去されていることに注目されたい。
【００６４】
説明を図３のフローチャートに戻す。
【００６５】
上記ステップＳ３０１〜Ｓ３０５による処理に続いて、ステップＳ３０６では小変位除去後のD(i)を用いて粗分割処理を行う。
【００６６】
粗分割処理は、レベルを０から１ずつ増加して255まで変化させながらヒストグラムを順次調べ、
・度数が単調増加の領域
・度数が単調減少の領域
を探し、上記単調増加の領域と単調減少の領域をあわせた領域を仮のヒストグラムの山領域とする処理である。
【００６７】
本実施形態では、ヒストグラムを直接参照するのではなく、小変位除去後の差数列D(i)を用いて粗分割処理を行う。図１３はこのステップＳ３０６による粗分割処理の処理の流れを示す流れ図である。
【００６８】
まず、ステップＳ１３０１で各変数を初期化する。変数Ｋはインデックス値で、０で初期化される。変数EndPointはD(i)でのiの最大値を表す。本実施形態の場合、レベルの最大値は255で、その差数列D(i)でのiの最大値は254なので、254で初期化する。変数mは粗分割処理の結果検出した領域の数を表す変数で、０で初期化される。
【００６９】
続くステップＳ１３０２では、D(K)が０であるかどうかを調べる。D(K)が０の場合は、ステップＳ１３０３に処理は流れる。
【００７０】
ステップＳ１３０３は、差数列の全てを調べ終わったかどうかの判定であり、条件が偽の場合には差数列全てを調べ終わったので、処理は終了する。ステップＳ１３０３での条件判定が偽となるのは、D(i)の全ての値が０の場合である。条件が真の場合は、ステップＳ１３０４でＫの値を１増やし処理はＳ１３０２に戻る。
【００７１】
このステップＳ１３０２〜Ｓ１３０４の処理はすなわち、D(K)をK=0,1,2,...の順に調べ、最初にD(K)が非０となる位置(K)を求める処理である。
【００７２】
ステップＳ１３０５では、Ｋが０かどうかを判定している。Ｋが０である場合、処理はＳ１３０６に流れる。非０の場合には、処理はステップＳ１３０９に流れる。
【００７３】
ステップＳ１３０６では、D(K)が正であるかどうかを判定する。ステップＳ１３０６に処理が流れてくるということは、差数列D(0), D(1), ...,D(K)は、D(0)からD(K-1)の値が０で、D(K)が非０であるということである。さらにここで判定しているように、D(K)の値が正である場合、ヒストグラムの形状としてはH(0)〜H(K)で平坦で、H(K+1)で度数が増加していることになる。この場合、すなわちステップＳ１３０６での判定が真の場合には、図１３中にＡで示されている処理を行う。処理Ａは先に述べた度数が単調増加の領域を探す処理である。処理Ａの詳細については後述する。
【００７４】
一方、ステップＳ１３０６の判定が偽の場合には、ヒストグラムの形状としてはH(0)〜H(K)で平坦であって、H(K+1)で度数が減少していることになる。この場合は、処理はステップＳ１３１５に流れ、後述する処理Ａの出力値を保持する変数StartPos、PeakPosをそれぞれ０およびＫで初期化した後、さらに処理Ａをスキップする形で図１３中にＢで示される処理を行う。処理Ｂは先に述べた度数が単調減少の領域を探す処理である。処理Ｂの詳細については後述する。
【００７５】
ステップＳ１３１５では領域の開始位置として０を変数StartPosに、処理Ｂの検索開始位置としてPeakPosにＫを代入して、処理Ｂに移る。StartPos、PeakPosは後述する処理Ａの出力値を保持する変数であり、またEndPosは後述する処理Ｂの出力値を保持する変数である。
【００７６】
ステップＳ１３０７では、差数列D(i)の全てについて調べ終わったかどうかを判定する。この判定が真の場合、処理はステップＳ１３１３に流れ、EndPosに処理Ａにて検出したPeakPosの値を代入する。続くステップＳ１３１４では、StartPos、EndPos、PeakPosの値をそれぞれSP(m), EP(m), PP(m)に格納するとともに、ｍを１増加させて終了する。
【００７７】
一方、ステップＳ１３０７の判定が偽の場合には、後述する処理Ｂを実行し、その後、処理はステップＳ１３０８に流れ、StartPos、EndPos、PeakPosの値をそれぞれSP(m), EP(m), PP(m)に格納するとともに、ｍを１増加させ、ステップＳ１３１０に進む。
【００７８】
ステップＳ１３０９ではD(0)の値が正か負かを判定している。条件が偽、すなわちD(0)が負であるということは、ヒストグラム概形の左端が減少しているということに対応する。この場合は、処理はステップＳ１３１５に流れる。一方、条件が真の場合には、処理はステップＳ１３１０に流れる。
【００７９】
ステップＳ１３１０は、差数列の全てを調べ終わったかどうかの判定であり、条件が真の場合には差数列全てを調べ終わったので処理は終了する。偽の場合は図１３中にＡで示される処理を行い、さらに処理はステップＳ１３１１に流れる。
【００８０】
ステップＳ１３１１は、差数列の全てを調べ終わったかどうかの判定であり、条件が真の場合には差数列全てを調べ終わったことになる。この場合、処理Ａで検出した領域を領域情報として出力するために処理はＳ１３１４に流れる。偽の場合は図１３中にＢで示される処理を行い、さらに処理はステップＳ１３１２に流れる。
【００８１】
ステップＳ１３１２は処理Ａと処理Ｂによって検出した領域を領域情報として出力するステップＳ１３１４と同じ処理に加えて、ＫをEndPos+1に更新し、その後処理はステップＳ１３１０に戻る。
【００８２】
図１４は図１３中の処理Ａを示すフローチャートである。
【００８３】
ステップＳ１４０１は変数の初期化を行う。変数Ｘはインデックス変数で、Ｋで初期化する。また、領域の開始位置を表すStartPos変数にＫを代入する。
【００８４】
続くステップＳ１４０２は、差数列D(i)の全てを調べ終わったかどうかの判定で、判定が真の場合には処理はＳ１４０６に流れ、PeakPosにEndLevelを代入して処理Ａは終了する。判定が偽の場合には、処理はステップＳ１４０２に流れる。
【００８５】
ステップＳ１４０２はD(X)の値を調べる。処理Ａは単調増加の領域を検出する処理なので、D(X)が負となった場合処理はＳ１４０５に流れ終了する。D(X)が０もしくは正の場合には、ステップＳ１４０３でＸの値を１増し、ステップＳ１４０２に戻る。
【００８６】
ステップＳ１４０５はD(X)＜０となるＸを検出した場合に行われる処理で、PeakPosにX-1を代入し、処理Ａは終了する。
【００８７】
図１５は図１３中の処理Ｂを示すフローチャートである。
【００８８】
ステップＳ１５０１は変数の初期化を行う。変数Ｘはインデックス変数で、PeakPos+1で初期化する。
【００８９】
続くステップＳ１５０２は、差数列D(i)の全てを調べ終わったかどうかの判定で、判定が真の場合には処理はステップＳ１５０６に流れ、EndPosにEndLevelを代入して処理Ｂは終了する。判定が偽の場合には、処理はステップＳ１５０３に流れる。
【００９０】
ステップＳ１５０３はD(X)の値を調べる。処理Ｂは単調減少の領域を検出する処理なので、D(X)が正となった場合処理はＳ１５０５に流れ、D(X)が０もしくは負の場合には、ステップＳ１５０３でＸの値を１増し、ステップＳ１５０２に戻る。
【００９１】
ステップＳ１５０５はD(X)＞０となるＸを検出した場合に行われる処理で、EndPosにX-1を代入し、処理Ｂは終了する。
【００９２】
以上、図１３、１４、１５を用いて説明したような処理により、図３のステップＳ３０６の粗分割処理が実現される。
【００９３】
以上のようにこの粗分割処理は、平滑処理後のヒストグラムを、単調増加領域から単調減少領域までの区間を山部領域として粗分割する。
【００９４】
図７はステップＳ３０６の粗分割処理による分割結果の例を示す図である。この例では、図６に示したヒストグラムが、粗分割処理により０〜Ｐ、Ｐ〜Ｑ、Ｑ〜２５５の３つの領域に分割されたことを示している。
【００９５】
ステップＳ３０６の粗分割処理に続いて、ステップＳ３０７の平坦部分割処理を行う。
【００９６】
図７の場合を例に説明する。図７のようにステップＳ３０６の粗分割処理によってヒストグラムが０〜Ｐ、Ｐ〜Ｑ、Ｑ〜２５５の領域に分割されたとする。この場合、図１３のフローチャートで説明した仮領域の数ｍ、領域の開始点および終了点を表す変数列SP(j)、EP(j)（０≦ｊ＜ｍ）はそれぞれ、
m＝3、
SP(0)＝0, EP(0)＝P-1, PP(0)＝u, (0＜u＜P-1)
SP(1)＝P, EP(1)＝Q-1, PP(1)＝v (0＜v＜Q-1)
SP(2)＝Q, EP(2)＝254, PP(2)＝254
となっている。この３つの領域のそれぞれについて、各領域の左右側からそれぞれ平坦な部分があるかどうか判定し、ある場合にはそれを平坦部として仮領域から切り分ける。また隣接する平坦部を１つの領域に併合する。
【００９７】
これも差数列D(i)から算出することが可能である。実験では、探査開始位置から度数が＋３以下、レベル範囲が５以上の領域を平坦部とすることにより良好な結果が得られた。
【００９８】
このように本実施形態では、先に決定した仮領域の左右から比較的平坦な部分を検出することで平坦部を切り出すようにしたが、別の方法、例えば、ヒストグラム形状を近似する曲線を算出して変曲点を算出する、等の処理であってもよい。
【００９９】
図８は、図７で例示したヒストグラムおよび粗分割結果に対して、平坦部分割処理を施した後の状態を表す図である。図７に比べて、図７の領域０〜Ｐが平坦部０〜Ｒと山部Ｒ〜Ｐに、領域Ｐ〜Ｑが山部Ｐ〜Ｓと平坦部Ｓ〜Ｑに分割されていることがわかる。
【０１００】
続くステップＳ３０８の山部統合処理は、隣接する山部を調べ、必要に応じてそれらを統合する処理である。
【０１０１】
図１６はこの山部統合処理を説明するための図である。図８で先に示したような分割状態で、今隣接する山部Ｒ〜Ｐと山部Ｐ〜Ｓの統合を判定するものとする。本実施形態では、山部Ｒ〜Ｐで度数が最大となるレベルp₁、山部Ｐ〜Ｓで度数が最大となるレベルp₂をヒストグラムを参照して算出する。本実施形態では原ヒストグラムH(i)の区間Ｒ〜Ｐ、Ｐ〜Ｓに対して各レベルの度数を調べるように構成した。また、H(p₁)とH(p₂)のうち大きな方をｆとする（図１６の場合、ｆ＝H(p₁)）。このとき、次式（６）に従い値S₁, S₂を算出する。
【０１０２】

【０１０３】
さらに、S₂/S₁を算出し、予め定めておいた閾値S_thと比較し、S₂/S₁が閾値S_thより大きい場合には、隣接する山部を統合し一つの山部領域とする。逆に、S₂/S₁が閾値S_th以下の場合には、2つの山部は独立した山部であるとして統合を行わないとすることにより統合判定を実現した。実験では、閾値S_thを0.7程度にすることで良好な結果が得られた。
【０１０４】
これは、図１６の四角形１６０１における部分ヒストグラム１６０２の面積が占める割合が閾値を超えるか否かによって判別していることに相当する。つまりこの処理は、隣接する２つの山部領域それぞれの最大度数となる輝度レベルで挟まれる区間における度数がすべて、それら２つの最大度数のうち大きい方の最大度数であるとしたときのヒストグラム面積における、当該区間における実際のヒストグラム面積が占める割合に基づいて、当該２つの山部領域を１つの山部領域に統合する処理であるといえる。
【０１０５】
ここで閾値との比較でS₂/S₁が閾値S_thと一致した場合には領域統合を行わないようにしたが、等号成立の場合どちらにするかということは本質的な問題ではない。また、閾値の値もこれの他の値であっても構わない。また、四角形1601ではなく、レベルp₁、p₂とH(p₁)、H(p₂)が決定する台形と部分波形1602との比を、閾値と比較することによって決定するような変形も容易に可能である。
【０１０６】
また、本実施形態では原ヒストグラムH(i)を用いたが、正規化後のヒストグラムH_N(i)や平滑化後のH_S(i)、差数列D(i)あるいは小変位除去処理後の差数列D(i)より再構成したヒストグラムを用いるように構成することも可能である。
【０１０７】
図９は、図１６の例で山部Ｒ〜Ｐと山部Ｐ〜Ｓを上記判定により領域統合したようすを示している。
【０１０８】
以上説明したような解析処理の結果、ヒストグラムの形状に基づいて詳細なレベル領域分割が行われ、図９の例の場合、
・平坦部０〜Ｒ
・山部Ｒ〜Ｓ
・平坦部Ｓ〜Ｑ
・山部Ｑ〜２５５
の各領域を得ることができる。
【０１０９】
次に、ステップＳ２０４で行われる画像補正処理について詳細に説明する。
【０１１０】
図１７は、ステップＳ２０４の画像補正処理を示すフローチャートである。
【０１１１】
まず、ステップＳ１７０１で逆光かどうかの判定を行う。逆光で撮影された画像の場合、その画像の明るさに関するヒストグラム（例えば輝度）ではその最大レベルにヒストグラムの山があるとともに、それに比べ暗いレベルに１つ以上山がある。また、最大レベルの山と暗いレベルの山の間のレベル範囲では比較的小数度数のヒストグラムの平坦部がある。多くの場合、画像の主被写体は暗いレベルの山に含まれる。逆に最大レベルの山は撮影時の逆光の光源、あるいはその周辺に相当する画素からなり、画像としては情報がほとんどない。したがって、この暗いレベルの山を明るい方向に移動するような補正を行えば良好な画像が得られることになる。
【０１１２】
そこで本実施形態では、画像解析処理で得られた領域分割結果において、
・２つ以上の山部領域がある
・最も明るい山部領域は、最大レベルを含む領域である
・２番目に明るい山部領域と、最も明るい山部領域の間に平坦部がある
という条件が全て成立した場合、その画像を逆光画像であるとするものとする。これは画像解析処理で得られた各領域情報の範囲と種類（山部／平坦部）を参照することで容易に判定することができる。
【０１１３】
あるいは、さらに最も明るい側の山部の大きさ（ヒストグラムグラフ上での面積）に対して閾値処理を施し、その結果を逆光画像か否かの判断基準の１つとしてもよい。
【０１１４】
ステップＳ１７０２は、ステップＳ１７０１での判定結果による処理分岐で、逆光でないと判定された場合は処理は終了する。一方、逆光であると判定された場合、処理はステップＳ１７０３に流れる。
【０１１５】
ステップＳ１７０３では補正パラメータの算出を行う。本実施形態では、後述する補正処理に応じて、２番目に明るい山部領域の最大レベルを算出する。これは図９の例の場合、高輝度側から２番目の山部の領域である山部Ｒ〜Ｓの最大レベルとしてＳを得る。
【０１１６】
続くＳ１７０４では補正量を算出する。本実施形態ではγ曲線による画像補正（γ補正）を行うものとして、ステップＳ１７０４では補正に用いるγ曲線を決定して算出する。γ補正の式は次のとおりである。
【０１１７】
ｙ＝ｘ^{1/ γ} （７）
ただし、ｘは補正前の入力信号、ｙは補正後の出力信号である。
【０１１８】
本実施形態では、γ補正のγ値を決定するために図１８で示すような方法により算出する。
【０１１９】
図１８で１８０１は図９の解析結果を表す図と同一のものである。ステップＳ１７０３で２番目に明るい山部領域の最大レベルＳを得た。このレベルＳの入力信号が目標レベルＴとなるようにγ曲線１８０２のγ値を算出する。このγ値の算出は、式（６）を変形した式（７）のｘ，ｙにそれぞれＳ，Ｔを代入することによって算出される。
【０１２０】
γ＝logｘ/logｙ （８）
【０１２１】
目標レベルＴの決定は本実施形態では、次の式（９）により行う。
【０１２２】
Ｔ＝Ｓ＋(255−Ｓ）×c₁ （９）
【０１２３】
c₁は補正強度を制御するパラメータで、実験では0.33〜0.5程度の値で良好な結果が得られた。もちろん、実験結果やチューニングによっては他の値を用いることも考えられる。この補正により、主被写体が写っているレベル範囲０〜Ｓを明るくするような補正曲線を算出することができる。補正曲線は予め０〜255の入力各レベルに対して出力値を計算し、ルックアップテーブル（ＬＵＴ）の形でＲＡＭ１０６などに記憶される。
【０１２４】
このように、Ｓ〜255の間に目標レベルＴを設定し、レベルＳとレベルＴを用いてγ値が適応的に決定される。
【０１２５】
そして、ステップＳ１７０５で、画像を１画素ずつ読み込み、各画素に対してステップＳ１７０４で算出したＬＵＴを適用する。本実施形態では、入力画像の各画素に対して、次の式（10）で示す行列演算を施し、入力ＲＧＢ信号をＹＣｂＣｒ信号に変換し、Ｙ信号に対してＬＵＴによる補正を適用した後に、式（11）で示す行列演算で出力Ｒ’Ｇ’Ｂ’信号にし、逆光補正画像を得る。
【０１２６】

【０１２７】
補正後のＲＧＢ信号が負の値や255を超える場合があるが、その場合はそれぞれ０、255にする（クリップ処理）ようにすれば良い。あるいは出力システムによっては、負の値や255を超える値を扱える場合があるが、その場合には特にクリップ処理は必要ない。
【０１２８】
また、出力システムによってはＹＣｂＣｒ信号を直接扱える場合があるが、その場合には特にＹＣｂＣｒからＲＧＢへの変換は必要ない。
【０１２９】
本実施形態では、各画素のＲＧＢ信号をＹＣｂＣｒ信号に変換してＹ信号に対してＬＵＴによる補正を施してＲＧＢ信号に戻したが、各画素のＲＧＢ値にそれぞれステップＳ１７０４で算出したＬＵＴを適用して逆光補正画像を得るようにしてもよい。
【０１３０】
以上説明したように、本発明によれば画像の輝度ヒストグラムを詳細に解析し、逆光判定を行い、さらに判定結果として逆光画像と判定された場合に、その画像明るさの分布の状態にあわせて好適に逆光補正を行うことが可能となる。
【０１３１】
（実施形態２）
上述した実施形態１では、２番目に明るい山部の最大レベルＳを用いてγ値を決定したが、本実施形態ではレベルＳ〜２５５のヒストグラム面積（すなわち、その範囲の画素数）に応じてγ値を決定する。
【０１３２】
図１７のステップＳ１７０３による補正パラメータ算出でＳを算出した後に、レベル範囲Ｓ〜２５５におけるヒストグラム面積を得る。ヒストグラム面積S_Hは次の式（12）で求められる。
【０１３３】

【０１３４】
ここで、ヒストグラムH(i)のかわりに、正規化ヒストグラムH_N(i)を用いてもよい。
【０１３５】
本実施形態では、ヒストグラム面積S_Hが小さいほど、Ｔ〜255間を狭くするように次の式（13）によってＴを決定する。
【０１３６】
Ｔ＝255−(255−Ｓ）×S_H （13）
【０１３７】
このように、Ｓ〜255の間のヒストグラム面積S_Hに応じて目標レベルＴを設定して、レベルＳとレベルＴを用いてγ値が適応的に決定される。
【０１３８】
実施形態２によれば、高輝度側の画素数に応じて適応的に階調特性を補正することができる。
【０１３９】
（実施形態３）
上述した実施形態１，２では単純なγ曲線による補正について説明したが、ここでは複数の補正曲線の合成による補正方式を用いる実施形態について説明する。
【０１４０】
図１７のステップＳ１７０３において、実施形態１または２で説明した処理に加え、２番目に明るい山部の参照レベルを算出する。参照レベルは、続く補正量決定処理で用いるもので、２番目に明るい山部Ｒ〜Ｓを代表するレベル値である。本実施形態では参照レベル値として、原ヒストグラムの山部Ｒ〜Ｓのレベル範囲の平均値ａｖｅを用いるものとする。この他にも山部Ｒ〜Ｓの中央値や度数が最大のレベル値などを用いてもよい。
【０１４１】
続くステップＳ１７０４では、以下に説明する方法で補正量を決定する。
【０１４２】
図１９、図２０は補正曲線の例を表す図である。
【０１４３】
まず、図１９の１９０１で表される曲線を決定する。これは、座標（０，０）と（Ｓ，Ｔ）とを結ぶ直線と、（Ｓ，Ｔ）と（255，255）とを結ぶ直線で構成される。Ｔの算出は、実施形態１で用いた式（９）に従うものとする。
【０１４４】
続いて、図２０の２００１で表される曲線を決定する。曲線２００１は実施形態１、２で説明したγ曲線であるが、次式で算出される値Ｔ_２とａｖｅを用い、式（８）のｘにａｖｅを、ｙにＴ_１を代入して算出する。
【０１４５】
Ｔ_２＝ａｖｅ＋（Ｔｇｔ−ａｖｅ）×ｃ_２ （14）
ただし、Ｔｇｔは主被写体が写っていると推測される２番目に明るい山部の補正後の明るさの目標値である。
【０１４６】
主被写体が人物、特に顔であるとすると、レベル最大値（255）の６０％〜８０％程度が好ましいので、その範囲で予め定めておく。実験では７０％程度の値を用いて良好な結果が得られた。
【０１４７】
画像の主被写体が人物であるかどうかは必ずしも必要な判定ではなく本発明の主眼ではないが、必要であれば公知の顔検出技術を予め適用しておくことで判定可能である。あるいは、入力画像が公知のＥｘｉｆフォーマットによる画像である場合にはＥｘｉｆのタグ（Ｔａｇ）に格納されている情報（例えば撮影シーンタイプ等）や、カメラのメーカ固有情報（メーカーノート）を参照して、撮影時カメラのセッティングが人物撮影用セッティングであったか等判定することも考えられる。
【０１４８】
Ｃ_２は補正強度を制御するパラメータであり、実験では０．３３〜０．５程度で良好な結果を得た。式（14）は目標に対して明るさを近づけるようにγ曲線を決定する式である。直接目標値を使っていないのは、あまりγ値を大きくすると画像全体の階調性が損なわれてしまうためである。Ｃ_２の値は実験結果やチューニングによっては他の値を用いてもよい。
【０１４９】
補正曲線は１９０１、２００１はそれぞれ予め０〜２５５の入力各レベルに対して出力値を計算し、ルックアップテーブル（ＬＵＴ）の形でＲＡＭ１０６などに記憶される。
【０１５０】
続くＳ１７０５では、画像の各画素に対して補正曲線１９０１、２００１を順次適用して補正結果を得る。
【０１５１】
本実施形態によれば、実施形態１，２に比べ、主被写体が人物である逆光画像に対して良好な補正結果が得られるという特徴がある。
【０１５２】
（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用してもよい。
【０１５３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、その形態はプログラムである必要はない。
【０１５４】
従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。
つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１５６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１５７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【０１５８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１６０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１６１】
本発明は、以上説明した実施態様に従えば以下の構成を特徴とする。
【０１６２】
（実施態様１） 実施態様１は、入力した画像から算出した輝度ヒストグラムに基づいてその画像の補正を行う画像処理方法であって、
前記算出した輝度ヒストグラムの概略形状を解析する解析ステップと、
前記輝度ヒストグラムの解析結果に基づいて、前記画像の補正量を算出する補正量算出ステップと、
算出した補正量に基づいて前記画像の補正を行う補正ステップと、
を有することを特徴とする。
（実施態様２） 実施態様１において、前記解析ステップは、
前記輝度ヒストグラムを平滑化する平滑化ステップと、
平滑化した輝度ヒストグラムを、山部領域と平坦部領域とに分割する分割ステップと、
を含むことを特徴とする。
（実施態様３） 実施態様２において、前記平滑化ステップは、
前記輝度ヒストグラムを正規化する正規化ステップと、
正規化された輝度ヒストグラムを移動平均法により平均化する平均化ステップと、
平均化された輝度ヒストグラムの小変位を除去する小変位除去ステップと、
を含むことを特徴とする。
（実施態様４） 実施態様２において、前記分割ステップは、
前記平滑化ステップで平滑化された輝度ヒストグラムを、単調増加領域から単調減少領域までの区間を山部領域として粗分割する粗分割ステップと、
前記粗分割ステップで得られた各山部領域における平坦部領域を更に分割する平坦部分割ステップと、
隣接する２つの山部領域それぞれの最大度数となる輝度レベルで挟まれる区間における度数がすべて、それら２つの最大度数のうち大きい方の最大度数であるとしたときのヒストグラム面積における、当該区間における実際のヒストグラム面積が占める割合に基づいて、当該２つの山部領域を１つの山部領域に統合する統合ステップと、
を含むことを特徴とする。
（実施態様５） 実施態様２において、前記分割ステップでの分割結果に基づいて前記画像が逆光か否かを判定する判定ステップを更に有し、
前記判定ステップで逆光と判定されたときに、前記補正量算出ステップおよび補正ステップを実行することを特徴とする。
（実施態様６） 実施態様５において、前記判定ステップは、前記分割ステップによる分割の結果、山部領域が２つ以上あり、かつ、輝度の最も明るい側にある第１の山部領域が最大輝度レベルＭを含み、かつ、輝度の明るい側から２つ目にある第２の山部領域と前記第１の山部領域との間に平坦部領域があるときに、前記画像が逆光であると判定することを特徴とする。
（実施態様７） 実施態様６において、前記補正量算出ステップは、前記第２の山部領域における最大輝度レベルＳと前記最大輝度レベルＭとの間に目標レベルＴを設定し、入力レベルが前記第２の山部領域における最大輝度レベルＳであるときの出力レベルが前記目標レベルＴとなるγ曲線を算出することを特徴とする。
（実施態様８） 実施態様７において、前記目標レベルＴを、前記第２の山部領域における最大輝度レベルＳと前記最大輝度レベルＭとの２分値に設定することを特徴とする。
（実施態様９） 実施態様８において、前記目標レベルＴを、前記第２の山部領域における最大輝度レベルＳ以上におけるヒストグラム面積に基づいて設定することを特徴とする。
（実施態様１０） 実施態様６において、前記補正量算出ステップは、
前記第２の山部領域に係る所定の参照レベルを算出するステップと、
入力が最小輝度レベルから前記第２の山部領域における最大輝度レベルＳまでの範囲では、出力が最小輝度レベルから前記目標レベルＴの範囲の値をとり、入力が前記第２の山部領域における最大輝度レベルＳより大きい範囲では、出力が前記目標レベルＴから前記最大輝度レベルまでの範囲の値をとる、第１の補正曲線を算出するステップと、
前記参照レベルと所定の目標レベルＴ’とに基づいて第２の補正曲線を算出するステップと、
を有することを特徴とする。
（実施態様１１） 実施態様１０において、前記第２の補正曲線は、入力レベルが前記参照レベルであるときの出力レベルが前記目標レベルＴ’となるγ曲線であることを特徴とする。
（実施態様１２） 入力した画像から算出した輝度ヒストグラムに基づいてその画像の補正を行う画像処理装置であって、
前記算出した輝度ヒストグラムの概略形状を解析する解析手段と、
前記輝度ヒストグラムの解析結果に基づいて、前記画像の補正量を算出する補正量算出手段と、
算出した補正量に基づいて前記画像の補正を行う補正手段と、
を有することを特徴とする画像処理装置。
（実施態様１３） 実施態様１３のプログラムは、コンピュータに、
入力した画像から輝度ヒストグラムを算出するステップ、
前記算出した輝度ヒストグラムの概略形状を解析する解析ステップ、
前記輝度ヒストグラムの解析結果に基づいて、前記画像の補正量を算出する補正量算出ステップ、
算出した補正量に基づいて前記画像の補正を行う補正ステップ、
を実行させる。
【０１６３】
【発明の効果】
本発明によれば、より十分な効果が得られる補正処理を実現することができる。
【図面の簡単な説明】
【図１】実施形態における画像処理装置の構成を示すブロック図である。
【図２】実施形態における画像処理を示すフローチャートである。
【図３】実施形態における画像解析処理を示すフローチャートである。
【図４】実施形態における正規化ヒストグラムの一例を示す図である。
【図５】実施形態における平滑化処理後のヒストグラムの一例を示す図である。
【図６】実施形態における小変位除去処理後のヒストグラムの一例を示す図である。
【図７】実施形態における粗分割処理の結果を示す図である。
【図８】実施形態における平坦部分割処理の結果を示す図である。
【図９】実施形態における山部統合処理の結果を示す図である。
【図１０】実施形態における小変位除去処理を説明する図である。
【図１１】実施形態における小変位除去処理を説明する図である。
【図１２】実施形態における小変位除去処理を示すフローチャートである。
【図１３】実施形態における粗分割処理を示すフローチャートである。
【図１４】実施形態における粗分割処理を示すフローチャートである。
【図１５】実施形態における粗分割処理を示すフローチャートである。
【図１６】実施形態における山部統合処理を説明するための図である。
【図１７】実施形態における画像補正処理を示すフローチャートである。
【図１８】実施形態における補正曲線を求める方法を説明する図である。
【図１９】実施形態における補正曲線を求める方法を説明する図である。
【図２０】実施形態における補正曲線を求める方法を説明する図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing technique for correcting an input image.
[0002]
[Prior art]
2. Description of the Related Art Various image processes such as adjustment of saturation, color tone, contrast, and gradation have been performed on digital images. Conventionally, these types of image processing are preferably performed by an operator who has specialized knowledge about images, using specialized software, making full use of empirical knowledge, and performing trial and error while checking on a computer monitor. It was common to obtain a perfect image.
[0003]
2. Description of the Related Art In recent years, digital cameras have been widely spread as driven by the spread of the Internet. This is a digital camera shooting result is a data file format that is easy for a computer to read, for example, images captured by a digital camera are saved on a WWW (World Wide Web) server and disclosed to others. This is because such operations can be easily performed.
[0004]
However, it is thought that there are many users who are familiar with computers but do not have enough knowledge about cameras, rather than users who use conventional silver halide cameras freely with digital cameras. Therefore, the captured images are not necessarily all images captured under suitable conditions.
[0005]
Even if an image is taken under unfavorable conditions, it cannot always be discarded if the contents are important to the photographer. In such a case, appropriate image correction is desired.
[0006]
In addition, as described above, this image correction is preferably performed automatically or semi-automatically, because not only users who are familiar with cameras and images are not necessarily used.
[0007]
As a technique for correcting an image, a technique for correcting an image based on a histogram calculated from the image has been conventionally disclosed (for example, see Patent Documents 1, 2, and 3).
[0008]
[Patent Document 1]
JP 2002-10073 A
[Patent Document 2]
JP-A-2002-92607
[Patent Document 3]
JP-A-11-167633
[0009]
[Problems to be solved by the invention]
However, the effect of the conventional correction processing as described above may not be sufficient.
[0010]
Therefore, an object of the present invention is to realize a correction process that can obtain a more sufficient effect.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, an image processing method according to the present invention has the following configuration. That is, an image processing method for correcting an image based on a luminance histogram calculated from an input image, comprising: an analysis step of analyzing a schematic shape of the calculated luminance histogram; A correction amount calculating step of calculating a correction amount of the image; and a correction step of correcting the image based on the calculated correction amount.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
[0013]
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of the image processing apparatus according to the present embodiment.
[0014]
The input unit 101 in FIG. 1 is a device for inputting instructions and data from a user, and includes a keyboard and a pointing device. Note that examples of the pointing device include a mouse, a trackball, a trackpad, and a tablet.
[0015]
The data storage unit 102 stores image data, and is usually composed of a hard disk, floppy disk, CD-ROM or CD-R, memory card, CF card, smart media, SD card, memory stick, or the like. Further, it is also possible to store programs and other data in the data storage unit 102.
[0016]
The communication unit 107 is a serial or parallel interface (I / F) for performing communication between devices. This may be a known wired communication method such as Ethernet (registered trademark), USB, IEEE1284, or IEEE1394, or may be a wireless communication method such as infrared, IEEE802.11b, or Bluetooth.
[0017]
The display unit 103 is a device that displays an image before or after image processing or displays an image such as a GUI, and generally uses a CRT, a liquid crystal display, or the like. Alternatively, a display device outside the device connected by a cable or the like may be used.
[0018]
Reference numeral 104 denotes a CPU, which comprehensively controls the processing of each of the components described above. The ROM 105 and the RAM 106 provide programs, data, a work area, and the like necessary for the processing to the CPU 104. Further, the ROM 105 stores a control program for performing processing described later.
[0019]
Although not shown, an image input unit such as a known CCD may be further provided so that the input image can be stored in the data storage unit 102.
[0020]
FIG. 2 is a flowchart illustrating image processing performed in the image processing apparatus according to the present embodiment. A program corresponding to this flowchart is included in a control program stored in the ROM 105, loaded into the RAM 106, and executed by the CPU 104.
[0021]
First, an image is input to the image processing apparatus (step S201). There are several methods for inputting an image. When the data storage unit 102 is configured by a removable device (for example, a memory card or a floppy disk), an image can be input by attaching a medium storing the image to the data storage unit 102. Further, the image processing apparatus is connected to an image input device such as a scanner via the communication unit 107, and the user operates the input unit 101 or the image input device to instruct image input to read an image, and stores the image in the RAM 106 or the data storage unit 102. Images can also be input by saving. Alternatively, an image may be input by connecting to another device via a network via the communication unit 107, detecting image transmission from the other device, and storing the transmitted image in the RAM 106 or the data storage unit 102. Can be. Further, when an image input means such as a CCD (not shown) is provided in FIG. 1, an image is read from the CCD device by a user operating the input unit 101 as a trigger, and the image is stored in the RAM 106 or the data storage unit 102. It is also possible to input images. In the following description, it is assumed that an image is input by attaching a memory card (data storage unit 102) to the apparatus.
[0022]
Subsequently, an image to be subjected to image processing is selected (step S202). There are several methods for selecting an image. In the present embodiment, a list of images in the data storage unit 102 is displayed on the display unit 103, and a description will be given assuming that the user selects an image using the input unit 101. It is also possible to select an image first. Even if there are a plurality of input images, the order of the images may be determined according to the input order, the file identifier order, and the like, and the processing described below may be sequentially applied to the ordered images.
[0023]
Next, the selected image data is analyzed (step S203). In the analysis processing, the selected image is referred to, and the feature amount data and the like of the image are extracted. The details of this analysis processing will be described later.
[0024]
In a succeeding step S204, an image correction parameter is determined based on the analysis result in the step S203, that is, based on feature amount data of the extracted image data, and further, image correction processing is performed on actual image data. Details regarding this correction processing will be described later.
[0025]
Finally, the image data corrected in step S204 is output (step S205), and the process ends. Various forms of “output” can be considered here, but in the present embodiment, image data is stored in the data storage unit 102. In addition, when a known printer device is connected via the communication unit 107, an image may be transmitted to the printer and printed. Further, in a case where the communication apparatus 107 is connected to another device via a network via the communication unit 107 and receives image transmission from the other device, the image may be returned to the transmission source device.
[0026]
When a plurality of output methods are possible, a message is displayed to the user via the display unit 103 in the image selection processing S202 or step S204 to prompt the user to make a selection, or a setting screen by a GUI is provided. It is also possible for the user to select and determine the output method via the input unit 101.
[0027]
Next, the image analysis processing performed in step S203 will be described in detail with reference to the flowchart in FIG.
[0028]
First, the image data selected in step S202 is read, and a luminance histogram of the image data is calculated (step S301). This is for examining the image capturing situation, and collects statistical information on the brightness of the image and its bias. Specifically, for example, when the RGB signals of the pixels of the input image are each 8 bits (0 to 255), a histogram is created for Y (luminance) obtained by the following equation with respect to the RGB signals.
[0029]
Y = 0.2990R + 0.5870G + 0.1140B (1)
[0030]
According to equation (1), when the input signal is 8 bits for each of RGB, Y also takes a value of 0 or more and 255 or less. In the present embodiment, the Y signal is obtained by Expression (1), but an approximate expression such as Expression (2) below may be used for speeding up and the like.
[0031]
Y = (3R + 6G + B) / 10 (2)
[0032]
Alternatively, the minimum value of the RGB G signal (green component) or the RGB3 signal may be used as an approximate value of Y. Further, instead of Y, L * in CIE L * a * b * may be used.
[0033]
Further, the luminance may not be calculated for all the pixels of the input image by the equation (1), but may be calculated for the pixels appropriately sampled by the thinning process. Alternatively, an appropriate reduction process may be performed on the input image, and the luminance may be calculated by applying Expression (1) to all the pixels of the reduced image.
[0034]
Hereinafter, in the present embodiment, the input image signal takes an integer value of 0 to 255 for each of 8 bits of RGB, and in the histogram calculation step S301, the Y signal is converted from the RGB signal by the equation (1) for all the pixels of the input image. The description will be made on the assumption that the histogram of the Y signal is obtained.
[0035]
The Y signal calculated by the equation (1) is a real value in the equation (1), but is converted to an integer value from 0 to 255 by rounding up or down the decimal point and rounding down or rounding off. .
[0036]
In step S301, an integer Y signal value (hereinafter, referred to as "luminance level" or simply "level") of each pixel is calculated, and the number of pixels at each level is counted, thereby obtaining an original histogram H (i). (0 ≦ i ≦ 255) is obtained.
[0037]
In a succeeding step S302, a normalization process is performed on the original histogram H (i) calculated in the step S301. This normalization processing is to eliminate the influence of the number of pixels or the number of samplings of the image data._N(i) is specifically calculated by the following equation (3).
[0038]

[0039]
However, integer (x) is a process (function) for converting x into an integer, and rounds up, down, or rounds a number below the decimal point. A is a coefficient, and in this embodiment, 10,000 is used from an experimental value.
[0040]
FIG. 4 shows the normalized histogram H_NIt is a figure showing the example of (i).
[0041]
Next, in step S303, the normalized histogram H obtained in step S302_N(i) is subjected to a smoothing process. Although a histogram is schematically depicted in FIG. 4, the frequency of an actual histogram varies between adjacent levels and is considerably jagged. This is performed to make it easy to analyze the schematic shape of.
[0042]
In the present embodiment, smoothing is performed by averaging a total of 9 levels of histogram frequency values of the upper and lower levels and the level of interest with respect to the level of interest. That is, averaging by the moving average method using nine points before and after is performed. In this case, when the level is 3 or less, or when the level is 252 or more, all four levels do not exist above or below, but in that case, averaging is performed using only the existing one. The following equation is an equation representing this moving average processing.
[0043]

[0044]
FIG. 5 shows a smoothed histogram H after smoothing according to equation (4)._SIt is a figure showing (i).
It can be seen that the unevenness is reduced compared to the histogram before smoothing in FIG. The smoothing process by averaging in the equation (4) is determined by experiment. However, the level range for performing the averaging may be other than 4, or another smoothing process may be used.
[0045]
Next, in step S304, the smoothed histogram sequence H_SA difference sequence calculation process for obtaining the difference sequence D (i) from (i) is performed. This difference sequence calculation process is a process for the next small displacement removal process step S305, and specifically calculates the difference sequence D (i) by the following equation.
[0046]
D (i) = H_S(i + 1) -H_S(i) (0 ≦ i ≦ 254) (5)
[0047]
In the subsequent small displacement removal processing in step S305, the small displacement of the histogram is removed. This is a process for removing displacement due to rounding processing by integer conversion. This is explained by taking as an example a case where the integer conversion process integer (x) in Expressions (3) and (4) rounds off a value below the decimal point. If the frequency value of the level to be converted is 1.5 before the integer conversion, the former is 1 and the latter is 2 by the integer conversion integer (x).
[0048]
10 and 11 are diagrams for explaining the small displacement removal processing.
[0049]
A partial histogram 1001 in FIG. 10 is an enlarged drawing of a part of a certain histogram. 10 and 11, the interval between the broken lines in the horizontal axis direction is the smoothed histogram H_SIt is the value 1 in (i).
[0050]
In FIG. 10, the area between a and b is concavely recessed from the level before and after that, and the area between c and d is protruded in a convex form. However, from the outline of the entire histogram, the area between a and d is relatively gentle. It is considered that this local unevenness is rather caused by a quantization error due to integer conversion. Thus, in step S305, the local unevenness is removed, and a partial histogram 1101 after small displacement removal as shown in FIG. 11 is generated.
[0051]
This small displacement removal is realized, for example, by the processing shown in the flowchart of FIG. In the small displacement removal processing, processing is performed using the difference sequence D (i) calculated in step S304.
[0052]
First, in step S1201, variables I and EndPoint are initialized. The variable I is a variable indicating the start position of the removal candidate area, and is initialized to 0 in step S1201. The variable EndPoint represents the maximum value of i in D (i). In the case of the present embodiment, since the maximum value of the level is 255, the maximum value of i in the difference sequence D (i) is 254.
[0053]
In step S1202, the end condition is determined. When the investigation is completed for EndPoint, that is, for all D (i), the result is true, and the process ends. Otherwise, the process proceeds to step S1203.
[0054]
In step S1203, it is determined whether or not D (i) is the start position of the removal candidate area. As described above, in the small displacement removal processing, the unevenness in the range of the frequency ± 1 is removed. Therefore, when the difference sequence D (i) is ± 1, the determination in step S1203 is true, and the processing flows to step S1205. . This indicates that I has become the start position of the removal candidate area. Otherwise, the process proceeds to step S1204, where I is incremented by 1 and the process returns to the determination in step S1202.
[0055]
In step S1205, the variable J is initialized. The variable J is a variable indicating the end position of the removal candidate area, and is initialized by I + 1.
[0056]
Subsequent step S1206 is a determination of an end condition. When the investigation is completed for EndPoint, that is, for all D (i), the result is true, and the process ends. Otherwise, the process proceeds to step S1207.
[0057]
In step S1207, it is determined whether D (J) is 0. The fact that D (J) is 0 means that the original smoothed histogram H_S(J), H_SThis corresponds to the flatness between (J + 1). If it is flat, that is, if D (J) is 0, the determination in step S1207 is true, and the process proceeds to step S1208, increments J by 1, and returns to the determination in step S1206. Otherwise, the process flows to the determination process in step S1209.
[0058]
In the determination processing in step S1209, D (I) to D (J), that is, the smoothed histogram H_S(I) -H_SIt is determined whether there is a small peak between (J + 1). In the case of a concave type or a convex type, D (I) and D (J) need to have different signs. Therefore, in the case of the concave or convex type, D (I) × D (J) is a negative value. In the determination in step S1209, J-I is further compared with Th. This is a threshold process for the horizontal length in the histogram graph of the concave portion or the convex portion. In other words, it is a threshold value that controls the operation of this processing to determine whether a change up to how wide the level range (J-I + 1) is to be regarded as a small displacement and removed or not removed.
[0059]
In the experiment, good results were obtained when Th was a value of 4 to 5, but other values may of course be used. Alternatively, another threshold value Th2 is provided, and if J-I is equal to or greater than Th and equal to or less than Th2, deformation such as a small displacement is easily considered.
[0060]
If the determination in step S1209 is false, the interval represented by D (I) to D (J), that is, H_S(I) -H_SIt is determined that there is no small displacement during (J + 1), and the process proceeds to step S1210, where I is initialized to J as the next investigation start point, and the process returns to step S1202. If the determination in step S1209 is true, the process flows to step S1211.
[0061]
Step S1211 is processing for actually removing small peaks. Specifically, this is realized by adding the value of D (I) to D (J), which is the end point of the small displacement area, and setting the value of D (I) to 0.
[0062]
In a succeeding step S1212, I is initialized to J + 1 as a next investigation start point, and the process returns to the step S1202.
[0063]
FIG. 6 is a diagram illustrating a histogram shape corresponding to the difference sequence D (i) updated by the small displacement removal processing. In the smoothed histogram of FIG. 5, small displacement convex portions were present in the sections A and B. However, in the corresponding histogram sections A and B of the histogram of FIG. 6 after the small displacement removal processing, the small displacement convex portions were removed. Note that
[0064]
The description returns to the flowchart of FIG.
[0065]
Subsequent to the processing in steps S301 to S305, in step S306, coarse division processing is performed using D (i) after the removal of the small displacement.
[0066]
In the coarse division process, the histogram is sequentially examined while increasing the level from 0 to 1 and changing it to 255,
・ Area where frequency is monotonically increasing
・ Area where the frequency decreases monotonically
And a region in which the monotonically increasing region and the monotonically decreasing region are combined is used as a temporary histogram peak region.
[0067]
In the present embodiment, a coarse division process is performed using the difference sequence D (i) after small displacement removal, instead of directly referring to the histogram. FIG. 13 is a flowchart showing the flow of the rough division processing in step S306.
[0068]
First, in step S1301, each variable is initialized. The variable K is an index value and is initialized with 0. The variable EndPoint represents the maximum value of i in D (i). In the case of the present embodiment, the maximum value of the level is 255, and the maximum value of i in the difference sequence D (i) is 254. A variable m is a variable representing the number of areas detected as a result of the coarse division processing, and is initialized to 0.
[0069]
In a succeeding step S1302, it is determined whether or not D (K) is 0. If D (K) is 0, the process flows to step S1303.
[0070]
Step S1303 is for judging whether or not all of the difference sequence has been checked. If the condition is false, the entire process has been completed since all of the difference sequence have been checked. The condition determination in step S1303 is false when all the values of D (i) are 0. If the condition is true, the value of K is incremented by 1 in step S1304, and the process returns to S1302.
[0071]
In other words, the process of steps S1302 to S1304 is a process of examining D (K) in the order of K = 0, 1, 2,... And obtaining a position (K) where D (K) becomes non-zero first. .
[0072]
In step S1305, it is determined whether K is 0. If K is 0, the process proceeds to S1306. If it is not 0, the process goes to step S1309.
[0073]
In step S1306, it is determined whether D (K) is positive. The fact that the process flows to step S1306 means that the difference sequences D (0), D (1),..., D (K) have values of D (0) to D (K−1) of 0. , D (K) is non-zero. Further, as determined here, when the value of D (K) is positive, the histogram shape is flat from H (0) to H (K), and the frequency increases with H (K + 1). You will be doing. In this case, that is, when the determination in step S1306 is true, the processing indicated by A in FIG. 13 is performed. The process A is a process for searching for an area where the frequency monotonically increases as described above. Details of the process A will be described later.
[0074]
On the other hand, if the determination in step S1306 is false, the histogram shape is flat from H (0) to H (K), and the frequency decreases at H (K + 1). In this case, the process flows to step S1315, in which variables StartPos and PeakPos holding output values of process A described later are initialized to 0 and K, respectively, and then process A is skipped in FIG. Perform the indicated process. The process B is a process for searching for an area where the frequency monotonically decreases as described above. Details of the process B will be described later.
[0075]
In step S1315, 0 is assigned to the variable StartPos as the start position of the area, and K is assigned to PeakPos as the search start position of the process B, and the process proceeds to process B. StartPos and PeakPos are variables holding an output value of process A described later, and EndPos is a variable holding an output value of process B described later.
[0076]
In step S1307, it is determined whether all the difference sequence D (i) has been checked. If this determination is true, the process proceeds to step S1313, and the value of PeakPos detected in process A is substituted for EndPos. In the following step S1314, the values of StartPos, EndPos, and PeakPos are stored in SP (m), EP (m), and PP (m), respectively, and m is incremented by one, and the process ends.
[0077]
On the other hand, if the determination in step S1307 is false, process B described below is executed, and then the process flows to step S1308, and the values of StartPos, EndPos, and PeakPos are respectively set to SP (m), EP (m), PP (m), and increments m by 1, and proceeds to step S1310.
[0078]
In step S1309, it is determined whether the value of D (0) is positive or negative. When the condition is false, that is, when D (0) is negative, it corresponds to a decrease in the left end of the histogram outline. In this case, the process flows to step S1315. On the other hand, if the condition is true, the process flows to step S1310.
[0079]
Step S1310 is for judging whether or not all of the difference sequence has been checked. If the condition is true, the process ends because all of the difference sequence has been checked. If false, the process indicated by A in FIG. 13 is performed, and the process further flows to step S1311.
[0080]
Step S1311 is for determining whether or not all of the difference sequence has been checked. If the condition is true, it means that all of the difference sequence has been checked. In this case, the process flows to S1314 to output the region detected in the process A as the region information. If false, the process indicated by B in FIG. 13 is performed, and the process further flows to step S1312.
[0081]
Step S1312 updates K to EndPos + 1 in addition to the same processing as step S1314 of outputting the area detected by processing A and processing B as the area information, and then returns to step S1310.
[0082]
FIG. 14 is a flowchart showing the process A in FIG.
[0083]
In step S1401, variables are initialized. The variable X is an index variable and is initialized with K. Further, K is substituted for a StartPos variable indicating the start position of the area.
[0084]
In the following step S1402, it is determined whether or not all of the difference sequence D (i) has been checked. If the determination is true, the process proceeds to S1406, where EndLevel is substituted for PeakPos, and the process A ends. If the determination is false, the process flows to step S1402.
[0085]
A step S1402 checks the value of D (X). Since the process A is a process of detecting a monotonically increasing region, if D (X) becomes negative, the process flows to S1405 and ends. If D (X) is 0 or positive, the value of X is increased by 1 in step S1403, and the process returns to step S1402.
[0086]
Step S1405 is a process performed when an X satisfying D (X) <0 is detected. X-1 is substituted for PeakPos, and the process A ends.
[0087]
FIG. 15 is a flowchart showing the process B in FIG.
[0088]
In step S1501, variables are initialized. The variable X is an index variable and is initialized by PeakPos + 1.
[0089]
In the following step S1502, it is determined whether or not all of the difference sequence D (i) has been checked. If the determination is true, the process proceeds to step S1506, where EndLevel is substituted for EndPos, and the process B ends. If the determination is false, the process flows to step S1503.
[0090]
A step S1503 checks the value of D (X). Since the process B is a process for detecting a monotonically decreasing area, the process proceeds to S1505 when D (X) is positive, and when D (X) is 0 or negative, the value of X is set to 1 in step S1503. And returns to step S1502.
[0091]
Step S1505 is a process performed when an X satisfying D (X)> 0 is detected. X-1 is substituted for EndPos, and the process B ends.
[0092]
As described above, the coarse division processing in step S306 in FIG. 3 is realized by the processing described with reference to FIGS.
[0093]
As described above, in the coarse division process, the histogram after the smoothing process is roughly divided using a section from a monotonically increasing area to a monotonically decreasing area as a mountain area.
[0094]
FIG. 7 is a diagram illustrating an example of a division result by the coarse division processing in step S306. This example shows that the histogram shown in FIG. 6 is divided into three areas 0 to P, P to Q, and Q to 255 by the coarse division processing.
[0095]
Subsequent to the rough division processing in step S306, flat part division processing in step S307 is performed.
[0096]
The case of FIG. 7 will be described as an example. It is assumed that the histogram is divided into areas 0 to P, P to Q, and Q to 255 by the coarse division processing in step S306 as shown in FIG. In this case, the number m of temporary areas and the variable strings SP (j) and EP (j) (0 ≦ j <m) representing the start point and end point of the area described in the flowchart of FIG.
m = 3,
SP (0) = 0, EP (0) = P-1, PP (0) = u, (0 <u <P-1)
SP (1) = P, EP (1) = Q-1, PP (1) = v (0 <v <Q-1)
SP (2) = Q, EP (2) = 254, PP (2) = 254
It has become. For each of these three regions, it is determined whether or not there is a flat portion from the left and right sides of each region, and if so, it is cut from the temporary region as a flat portion. Also, adjacent flat portions are merged into one region.
[0097]
This can also be calculated from the difference sequence D (i). In the experiment, good results were obtained by setting the region where the frequency was +3 or less and the level range was 5 or more from the search start position as a flat portion.
[0098]
As described above, in the present embodiment, a flat portion is cut out by detecting a relatively flat portion from the left and right of the previously determined temporary region. However, another method, for example, a curve approximating a histogram shape is calculated. To calculate an inflection point.
[0099]
FIG. 8 is a diagram illustrating a state after the flat part division processing is performed on the histogram and the coarse division result illustrated in FIG. 7. Compared to FIG. 7, regions 0 to P in FIG. 7 are divided into flat portions 0 to R and peak portions R to P, and regions P to Q are divided into peak portions PS and flat portions S to Q. Understand.
[0100]
The crest integration processing of the subsequent step S308 is processing for examining adjacent crests and integrating them as necessary.
[0101]
FIG. 16 is a diagram for explaining this peak integration processing. In the divided state as shown in FIG. 8, it is assumed that the integration of the immediately adjacent peaks R to P and peaks PS is determined. In the present embodiment, the level p at which the frequency is maximum at the peaks R to P₁, The level p at which the frequency is highest in the peaks PS_TwoIs calculated with reference to the histogram. In this embodiment, the frequency of each level is checked for the sections R to P and P to S of the original histogram H (i). Also, H (p₁) And H (p_Two) Is defined as f (in the case of FIG. 16, f = H (p₁)). At this time, the value S is calculated according to the following equation (6).₁, S_TwoIs calculated.
[0102]

[0103]
Furthermore, S_Two/ S₁, And a predetermined threshold S_thCompared to S_Two/ S₁Is the threshold S_thIf it is larger, adjacent peaks are integrated into one peak region. Conversely, S_Two/ S₁Is the threshold S_thIn the following case, the integration judgment is realized by not performing the integration assuming that the two mountain parts are independent mountain parts. In the experiment, the threshold S_thWas set to about 0.7, good results were obtained.
[0104]
This corresponds to the determination based on whether or not the ratio of the area of the partial histogram 1602 in the square 1601 in FIG. 16 exceeds the threshold. That is, this processing is performed in the histogram area when all frequencies in a section sandwiched by the luminance levels that are the maximum frequencies of the two adjacent mountain regions are the largest of the two maximum frequencies. In other words, it can be said that the two peak areas are integrated into one peak area based on the ratio of the actual histogram area in the section.
[0105]
Here, in comparison with the threshold, S_Two/ S₁Is the threshold S_thAlthough the region integration is not performed when the values match, it is not an essential matter which method is used when the equal sign is satisfied. Also, the threshold value may be another value. Also, instead of square 1601, level p₁, P_TwoAnd H (p₁), H (p_Two) Can easily be modified by comparing the ratio between the trapezoid and the partial waveform 1602 determined by the threshold value to the threshold value.
[0106]
Although the original histogram H (i) is used in the present embodiment, the normalized histogram H (i) is used._N(i) and H after smoothing_S(i) It is also possible to use a histogram reconstructed from the difference sequence D (i) or the difference sequence D (i) after the small displacement removal processing.
[0107]
FIG. 9 illustrates a state in which the peaks R to P and the peaks PS are integrated by the above determination in the example of FIG.
[0108]
As a result of the analysis processing as described above, detailed level area division is performed based on the shape of the histogram. In the case of the example of FIG.
・ Flat part 0-R
・ Yamabe RS
・ Flat parts S to Q
・ Yamabe Q ~ 255
Can be obtained.
[0109]
Next, the image correction processing performed in step S204 will be described in detail.
[0110]
FIG. 17 is a flowchart showing the image correction processing in step S204.
[0111]
First, in step S1701, it is determined whether the subject is backlit. In the case of an image captured in backlight, a histogram (eg, luminance) relating to the brightness of the image has a peak of the histogram at its maximum level and one or more peaks at a level darker than that. Further, in the level range between the peak of the maximum level and the peak of the dark level, there is a flat portion of the histogram having a relatively small frequency. In many cases, the main subject of an image is included in a dark level mountain. Conversely, the peak at the maximum level is composed of pixels corresponding to the light source of the backlight at the time of photographing or its surroundings, and there is almost no information as an image. Therefore, a good image can be obtained by performing correction such that the dark level mountain moves in the bright direction.
[0112]
Therefore, in the present embodiment, in the area division result obtained by the image analysis processing,
.There are two or more mountain areas
・ The brightest mountain area is the area containing the maximum level
・ There is a flat part between the second brightest mountain area and the brightest mountain area
Is satisfied, it is assumed that the image is a backlight image. This can be easily determined by referring to the range and type (mountain / flat portion) of each area information obtained by the image analysis processing.
[0113]
Alternatively, threshold processing may be performed on the size of the peak portion on the brightest side (the area on the histogram graph), and the result may be used as one of the criteria for determining whether or not the image is a backlight image.
[0114]
Step S1702 is a process branch based on the determination result in step S1701, and the process ends if it is determined that the subject is not backlit. On the other hand, if it is determined that the subject is backlit, the process proceeds to step S1703.
[0115]
In step S1703, a correction parameter is calculated. In the present embodiment, the maximum level of the second brightest mountain area is calculated according to a correction process described later. In the case of the example of FIG. 9, S is obtained as the maximum level of the peaks R to S, which is the second peak area from the high luminance side.
[0116]
In S1704, a correction amount is calculated. In the present embodiment, assuming that image correction (γ correction) using a γ curve is performed, a γ curve used for correction is determined and calculated in step S1704. The equation for gamma correction is as follows.
[0117]
y = x^{1 / γ}            (7)
Here, x is an input signal before correction, and y is an output signal after correction.
[0118]
In the present embodiment, in order to determine the γ value of the γ correction, the γ value is calculated by a method as shown in FIG.
[0119]
In FIG. 18, reference numeral 1801 is the same as the diagram showing the analysis result of FIG. In step S1703, the maximum level S of the second brightest mountain area was obtained. The γ value of the γ curve 1802 is calculated so that the level S input signal becomes the target level T. The calculation of the γ value is performed by substituting S and T for x and y in equation (7) obtained by modifying equation (6).
[0120]
γ = logx / logy (8)
[0121]
In the present embodiment, the target level T is determined by the following equation (9).
[0122]
T = S + (255−S) × c₁            (9)
[0123]
c₁Is a parameter for controlling the correction strength. In the experiment, good results were obtained at a value of about 0.33 to 0.5. Of course, other values may be used depending on experimental results and tuning. With this correction, it is possible to calculate a correction curve that brightens the level ranges 0 to S in which the main subject is captured. The output value of the correction curve is calculated in advance for each input level from 0 to 255, and is stored in the form of a look-up table (LUT) in the RAM 106 or the like.
[0124]
As described above, the target level T is set between S and 255, and the γ value is adaptively determined using the level S and the level T.
[0125]
In step S1705, the image is read pixel by pixel, and the LUT calculated in step S1704 is applied to each pixel. In the present embodiment, a matrix operation represented by the following equation (10) is performed on each pixel of the input image, the input RGB signal is converted into a YCbCr signal, and the Y signal is corrected by an LUT. An output R′G′B ′ signal is obtained by a matrix operation represented by Expression (11), and a backlight corrected image is obtained.
[0126]

[0127]
In some cases, the corrected RGB signal may have a negative value or exceed 255. In such a case, the RGB signal may be set to 0 or 255 (clip processing). Alternatively, depending on the output system, a negative value or a value exceeding 255 may be handled, but in such a case, clipping is not particularly necessary.
[0128]
Also, depending on the output system, there is a case where the YCbCr signal can be directly handled, but in that case, conversion from YCbCr to RGB is not particularly necessary.
[0129]
In the present embodiment, the RGB signal of each pixel is converted into a YCbCr signal, and the Y signal is corrected by the LUT to return to the RGB signal. However, the LUT calculated in step S1704 is applied to the RGB value of each pixel. Alternatively, a backlight correction image may be obtained.
[0130]
As described above, according to the present invention, the luminance histogram of an image is analyzed in detail, a backlight determination is performed, and when the image is determined to be a backlight image as a determination result, according to the state of the image brightness distribution. It is possible to suitably perform backlight correction.
[0131]
(Embodiment 2)
In the first embodiment described above, the γ value is determined using the maximum level S of the second brightest mountain part. In the present embodiment, the γ value is determined according to the histogram area of the levels S to 255 (that is, the number of pixels in the range). Determine the γ value.
[0132]
After calculating S by the correction parameter calculation in step S1703 in FIG. 17, the histogram area in the level range S to 255 is obtained. Histogram area S_HIs obtained by the following equation (12).
[0133]

[0134]
Here, instead of the histogram H (i), the normalized histogram H_N(i) may be used.
[0135]
In the present embodiment, the histogram area S_HT is determined by the following equation (13) so that the interval between T and 255 becomes narrower as is smaller.
[0136]
T = 255− (255−S) × S_H        (13)
[0137]
Thus, the histogram area S between S and 255_HThe target level T is set according to the equation (1), and the γ value is adaptively determined using the level S and the level T.
[0138]
According to the second embodiment, the gradation characteristics can be adaptively corrected according to the number of pixels on the high luminance side.
[0139]
(Embodiment 3)
In Embodiments 1 and 2 described above, correction using a simple γ curve has been described. Here, an embodiment using a correction method by combining a plurality of correction curves will be described.
[0140]
In step S1703 of FIG. 17, in addition to the processing described in the first or second embodiment, the reference level of the second brightest mountain is calculated. The reference level is used in the subsequent correction amount determination processing, and is a level value representing the second brightest peaks R to S. In the present embodiment, the average value ave of the level range of the peaks R to S of the original histogram is used as the reference level value. In addition, a median value of the peaks R to S or a level value having the maximum frequency may be used.
[0141]
In a succeeding step S1704, a correction amount is determined by a method described below.
[0142]
19 and 20 are diagrams illustrating examples of the correction curve.
[0143]
First, a curve represented by 1901 in FIG. 19 is determined. This is composed of a straight line connecting the coordinates (0, 0) and (S, T) and a straight line connecting (S, T) and (255, 255). The calculation of T is based on the equation (9) used in the first embodiment.
[0144]
Subsequently, a curve represented by 2001 in FIG. 20 is determined. The curve 2001 is the γ curve described in Embodiments 1 and 2, but the value T calculated by the following equation is used.₂And ave, and in equation (8) x is ave and y is T₁Is calculated.
[0145]
T₂= Ave + (Tgt-ave) × c₂        (14)
Here, Tgt is a corrected brightness target value of the second brightest mountain, which is presumed to include the main subject.
[0146]
If the main subject is a person, especially a face, it is preferably about 60% to 80% of the maximum level (255), so that the level is determined in advance. Good results were obtained in experiments with values of around 70%.
[0147]
Whether the main subject of the image is a person is not always necessary and not the main subject of the present invention. However, if necessary, it can be determined by applying a known face detection technique in advance. Alternatively, when the input image is an image in a known Exif format, information (for example, a shooting scene type) stored in an Exif tag (Tag) and camera manufacturer-specific information (maker note) are referred to. It is also conceivable to determine whether the setting of the camera at the time of shooting is a setting for shooting a person.
[0148]
C₂Is a parameter for controlling the correction intensity. In the experiment, good results were obtained at about 0.33 to 0.5. Equation (14) is an equation for determining the γ curve so that the brightness approaches the target. The reason why the target value is not used directly is that if the γ value is too large, the gradation of the entire image is impaired. C₂As the value of, another value may be used depending on experimental results and tuning.
[0149]
For the correction curves 1901 and 2001, output values are calculated in advance for each input level of 0 to 255, and stored in the RAM 106 or the like in the form of a look-up table (LUT).
[0150]
In subsequent S1705, the correction results are obtained by sequentially applying the correction curves 1901 and 2001 to each pixel of the image.
[0151]
The present embodiment is characterized in that a better correction result is obtained for a backlight image in which the main subject is a person than in the first and second embodiments.
[0152]
(Other embodiments)
As described above, the embodiments of the present invention have been described in detail. However, the present invention may be applied to a system including a plurality of devices, or may be applied to an apparatus including a single device.
[0153]
According to the present invention, a software program for realizing the functions of the above-described embodiments is directly or remotely supplied to a system or an apparatus, and a computer of the system or apparatus reads and executes the supplied program code. Including the case where this is also achieved. In this case, the form does not need to be a program as long as it has the function of the program.
[0154]
Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention.
That is, the claims of the present invention also include the computer program itself for realizing the functional processing of the present invention.
[0155]
In this case, any form of the program, such as an object code, a program executed by an interpreter, and script data to be supplied to the OS, may be used as long as the program has a function.
[0156]
As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R).
[0157]
Other methods of supplying the program include connecting to a homepage on the Internet using a browser of a client computer, and downloading the computer program itself of the present invention or a compressed file including an automatic installation function to a recording medium such as a hard disk from the homepage. Can also be supplied. Further, the present invention can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. In other words, a WWW server that allows a plurality of users to download a program file for implementing the functional processing of the present invention on a computer is also included in the claims of the present invention.
[0158]
In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and downloaded to a user who satisfies predetermined conditions from a homepage via the Internet to download key information for decryption. It is also possible to execute the encrypted program by using the key information and install the program on a computer to realize the program.
[0159]
The functions of the above-described embodiments are implemented when the computer executes the read program, and an OS or the like running on the computer executes a part of the actual processing based on the instructions of the program. Alternatively, the functions of the above-described embodiments can be realized by performing the entire process.
[0160]
Further, after the program read from the recording medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion board or the A CPU or the like provided in the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
[0161]
The present invention is characterized by the following configuration according to the embodiment described above.
[0162]
(Embodiment 1) Embodiment 1 is an image processing method for correcting an image based on a luminance histogram calculated from an input image,
An analyzing step of analyzing a schematic shape of the calculated luminance histogram,
A correction amount calculating step of calculating a correction amount of the image based on the analysis result of the luminance histogram;
A correction step of correcting the image based on the calculated correction amount,
It is characterized by having.
(Embodiment 2) In Embodiment 1, the analysis step includes:
A smoothing step of smoothing the brightness histogram,
A dividing step of dividing the smoothed luminance histogram into a mountain region and a flat region,
It is characterized by including.
(Embodiment 3) In Embodiment 2, the smoothing step includes:
A normalization step of normalizing the luminance histogram,
An averaging step of averaging the normalized luminance histogram by a moving average method;
A small displacement removing step of removing a small displacement of the averaged luminance histogram;
It is characterized by including.
(Embodiment 4) In Embodiment 2, the dividing step includes:
A coarse division step of coarsely dividing the luminance histogram smoothed in the smoothing step from a monotonically increasing area to a monotonically decreasing area as a mountain area;
A flat portion dividing step of further dividing the flat portion region in each mountain region obtained in the coarse dividing step,
In the histogram area when all frequencies in the section sandwiched by the luminance levels that are the maximum frequencies of the two adjacent mountain regions are the larger maximum frequency of those two maximum frequencies, An integration step of integrating the two crest regions into one crest region based on a ratio occupied by the histogram area of
It is characterized by including.
(Embodiment 5) In Embodiment 2, further comprising a determination step of determining whether or not the image is backlit based on a division result in the division step,
When the backlight is determined in the determining step, the correction amount calculating step and the correcting step are performed.
(Embodiment 6) In the embodiment 5, as for the determination step, as a result of the division by the division step, the first peak region having two or more peak regions and the first peak region on the brightest side is the maximum luminance. When there is a flat region between the second mountain region and the first mountain region that are at the second level from the brighter side and include the level M, the image is backlight. It is characterized by determining.
(Embodiment 7) In Embodiment 6, in the correction amount calculating step, a target level T is set between the maximum luminance level S and the maximum luminance level M in the second mountain region, and the input level is set to the target level T. A γ curve in which the output level at the maximum luminance level S in the second mountain region becomes the target level T is calculated.
(Eighth Embodiment) In the seventh embodiment, the target level T is set to a binary value of the maximum luminance level S and the maximum luminance level M in the second mountain region.
(Embodiment 9) In Embodiment 8, the target level T is set based on a histogram area at or above the maximum luminance level S in the second mountain region.
(Embodiment 10) In Embodiment 6, the correction amount calculating step includes:
Calculating a predetermined reference level for the second peak area;
When the input is in the range from the minimum luminance level to the maximum luminance level S in the second peak area, the output takes a value in the range from the minimum luminance level to the target level T, and the input is in the second peak area. Calculating a first correction curve whose output takes a value in a range from the target level T to the maximum luminance level in a range larger than the maximum luminance level S;
Calculating a second correction curve based on the reference level and a predetermined target level T ';
It is characterized by having.
(Embodiment 11) In Embodiment 10, the second correction curve is a γ curve in which the output level when the input level is the reference level is the target level T '.
(Embodiment 12) An image processing apparatus for correcting an image based on a luminance histogram calculated from the input image,
Analysis means for analyzing a schematic shape of the calculated luminance histogram,
Correction amount calculation means for calculating a correction amount of the image based on the analysis result of the luminance histogram,
Correction means for correcting the image based on the calculated correction amount,
An image processing apparatus comprising:
(Thirteenth Embodiment) A program according to a thirteenth embodiment is stored in a computer.
Calculating a luminance histogram from the input image;
An analyzing step of analyzing a schematic shape of the calculated luminance histogram;
A correction amount calculating step of calculating a correction amount of the image based on the analysis result of the luminance histogram;
A correction step of correcting the image based on the calculated correction amount,
Is executed.
[0163]
【The invention's effect】
According to the present invention, it is possible to realize a correction process that can obtain a more sufficient effect.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment.
FIG. 2 is a flowchart illustrating image processing according to the embodiment.
FIG. 3 is a flowchart illustrating an image analysis process according to the embodiment.
FIG. 4 is a diagram illustrating an example of a normalized histogram according to the embodiment.
FIG. 5 is a diagram illustrating an example of a histogram after a smoothing process according to the embodiment.
FIG. 6 is a diagram illustrating an example of a histogram after a small displacement removal process according to the embodiment.
FIG. 7 is a diagram illustrating a result of a coarse division process in the embodiment.
FIG. 8 is a diagram illustrating a result of flat portion division processing according to the embodiment.
FIG. 9 is a diagram illustrating a result of a mountain integration process according to the embodiment;
FIG. 10 is a diagram illustrating a small displacement removal process according to the embodiment.
FIG. 11 is a diagram illustrating a small displacement removal process according to the embodiment.
FIG. 12 is a flowchart illustrating a small displacement removal process according to the embodiment.
FIG. 13 is a flowchart illustrating a coarse division process according to the embodiment.
FIG. 14 is a flowchart illustrating a coarse division process according to the embodiment.
FIG. 15 is a flowchart illustrating a coarse division process according to the embodiment.
FIG. 16 is a diagram illustrating a mountain part integration process according to the embodiment.
FIG. 17 is a flowchart illustrating an image correction process according to the embodiment.
FIG. 18 is a diagram illustrating a method for obtaining a correction curve according to the embodiment.
FIG. 19 is a diagram illustrating a method for obtaining a correction curve according to the embodiment.
FIG. 20 is a diagram illustrating a method for obtaining a correction curve according to the embodiment.

Claims (1)

An image processing method for correcting an image based on a luminance histogram calculated from an input image,
An analyzing step of analyzing a schematic shape of the calculated luminance histogram,
A correction amount calculating step of calculating a correction amount of the image based on the analysis result of the luminance histogram;
A correction step of correcting the image based on the calculated correction amount,
An image processing method comprising:

Images