JP2007329902A - 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路 - Google Patents

Abstract

【課題】簡易にかつ既存デバイスを利用して２Ｄ映像の奥行き感向上を実現する色補正を行うことを目的とする。
【解決手段】入力画像データは、色情報算出部１１で所定の色情報に変換される。入力された奥行き情報に応じて補正量制御部１０が色情報の補正ゲイン値を決定する。色情報補正部１２は、対象画素の色情報をその周辺領域の代表色情報との対比による補正量と補正量制御部の補正ゲイン値とに基づいて色情報補正を行う。出力部１３は、所定の画像フォーマットへ変換・出力を行う。このように、近景・遠景等の奥行き情報に合わせて対比効果による色情報を補正することで、簡易に２Ｄ画像の奥行き感向上をすることができる。さらに、色補正する際に、色対比効果を奥行き情報で制御することで、人間の感じる奥行き感をより簡易に与えることが可能となる。
【選択図】図１

Description

本発明は、２次元画像内の近景領域・遠景領域に応じて画像の奥行き感や立体感を強調する画像処理方法、画像処理装置、プログラム、記録媒体および集積回路に関するものである。

大画面ＦＰＤ（フラット・パネル・ディスプレイ）装置等の画面に表示される映像をより自然な映像として表示させるために、表示映像において「奥行き感」や「立体感」を向上させる技術が、ユーザから強く求められている。これに対して、人間の両眼視差を利用した３次元テレビ等が提案されているが、特殊な専用眼鏡を必要とする場合が多いという課題、画像依存性が大きいという課題、あるいは、特殊なデバイスを必要とするため高コストになるというような課題が指摘されている。現状では、大画面ディスプレイ装置でのセールスポイントとして、大画面ディスプレイ装置の表示画像内での階調特性や色特性を滑らかにすることで、表示画像（映像）の立体感を実現させる技術がアピールされることが多い。
人間は、両眼視差のみならず、色情報、彩度、明暗、（色情報や明るさ情報の）コントラスト、陰影、肌理の勾配、相対的大きさ等の単眼情報を利用して、２次元画像に奥行き感や立体感を知覚することが明らかとなっている。

このような単眼情報を利用した従来技術１として、輪郭成分の強い部分と他の部分との差を明確にすることで物体と周囲の背景との差を視覚的に大きくして、画像に奥行き感を持たせる手法がある（例えば、特許文献１参照）。
図７２は、従来技術による立体的表現回路９０００の構成を示すブロック図である。図７２に示すように、立体的表現回路９００は、入力デジタル映像信号の輝度信号からなる入力データについて、着目画素とその近傍画素とから輪郭成分を抽出する輪郭抽出部５００２と、この輪郭抽出部５００２の出力と、この出力にタイミングを合わせた入力データ（端子５０００において入力されているデータ）とを加算して出力データＢ（図７２のＢ点の信号（データ）に相当。）を演算する加算回路５００４とからなる輪郭強調処理部５０１１を備える。また、立体的表現回路９００は、入力データの着目画素とその近傍画素とから平均化データＡ（図７２のＡ点の信号（データ）に相当。）を演算する平均回路５００５と、輪郭抽出部５００２の出力である輪郭成分と任意に設定された閾値とを比較する閾値処理部５００９と、この閾値処理部５００９の出力の大小に応じて平均化回路５００５の平均化データＡと輪郭強調処理部５０１１の出力データＢとを選択的に出力するセレクタとを備える。

この装置（立体的表現回路９００）では、もともと輪郭成分の強い（エッジ量が大きい）部分では、入力データに対して輪郭強調したデータを出力し、もともと輪郭成分の弱い（エッジ量が小さく平坦である）部分では入力データを平均化したデータを出力するので、輪郭成分の強い部分と他の部分との差が明確になり、立体的表現回路９００により処理された出力データにより形成される画像は、立体的に見える画像となる。
また、別の従来技術２として、画像信号が形成する画像において、画像信号の１次微分信号、あるいは２次微分信号の信号レベルの大きな領域を画像の近景領域として検出し、当該信号レベルの小さな領域を画像の遠景領域として検出し、検出した領域の属性（遠景領域か近景領域かという属性）に従い、輪郭強調の強度を変えることで遠近感を付加する手法がある（例えば、特許文献２参照）。

図７３は、従来技術による遠近感強調回路９１００の構成を示すブロック図である。
遠近感強調回路９１００は、画像信号（遠近感強調回路９１００に入力される画像信号）が輝度信号で、画像信号が形成する画像においてエッジ付加輪郭強調により輪郭強調を行うものであり、入力される画像信号（入力画像信号）に対して１次微分および２次微分を行う微分回路６００１と、微分回路６００１により算出された１次微分値および２次微分値より、画像の遠近領域の検出を行う遠近検出部６００２と、遠近検出部６００２の検出結果に応じて２次微分信号に係数値を乗算する係数加重部６００３と、タイミングを調整するため遅延部６００４により遅延された入力画像信号と係数加重部６００３からの出力信号とを加算する加算部６００５と、を備える。
遠近検出部６００２は、１次微分信号ＤＹ１を量子化した信号Ｓ３の信号レベルと、２次微分信号ＤＹ２を量子化した信号Ｓ５の信号レベルとで、対象画素（入力画像信号に対応する画素）が近景領域に属する画素か遠景領域に属する画素かの判定を行う。遠近検出部６００２は、Ｓ３信号の信号レベルとその画素が輪郭部領域に属するか否かを判定する設定値とを比較し、Ｓ３信号の信号レベルがその設定値以上の場合、Ｓ４信号を「１」に、それ以外の場合、Ｓ４信号を「０」に設定する。遠近検出部６００２は、このＳ４信号が「１」の領域では、輪郭部にある画素に対して、Ｓ５信号（２次微分信号ＤＹ２の絶対値を量子化して取得された信号）の信号レベルが閾値ＴＨを超えるか否かで近景か遠景かの判定を行う。遠近検出部６００２は、ＴＨの値よりもＳ５信号の信号レベルが大きい場合には、対象画素が近景領域に属すると判定する。そして、遠近検出部６００２は、２次微分信号ＤＹ２に乗算する係数ＫＭをデフォルト値ＫＳより大きな値であるＫ１を指定し、指定した値を係数加重部６００３へ出力する。一方、遠近検出部６００２は、ＴＨがＳ５よりも小さい場合には、遠景領域に対象画素が属すると判定する。そして、遠近検出部６００２は、２次微分信号に乗算する係数ＫＭをデフォルトＫＳより小さい値であるＫ２を指定し、指定した値を係数加重部６００３へ出力する。

このように、遠近感強調回路９１００では、輪郭部に存在すると思われる画素の２次微分信号ＤＹ２のしきい値判定により、その画素が近景領域に含まれるか、あるいは遠景領域に含まれるかを判定している。そして、遠近感強調回路９１００では、その判定結果に応じて、２次微分信号ＤＹ２に係数加重する係数を近景の場合は大きく、遠景の場合は小さくして輪郭部の強調処理を実施することで、輪郭部付近での遠近感を向上させる。
特開平１０−１２６７０８号公報 特開２００４−１５９１４８号公報

上記従来例１の画像処理手法では、予め設定された閾値信号Ｙと、輪郭抽出して得られた輪郭成分の値Ｘを比較して、輪郭強調したデータを出力するか平均化データを出力するかを決定する。そのため、閾値判定精度の影響を受けやすい。また、この従来例１では、輪郭成分の弱い部分では、平均化データが出力されるため、その部分でのぼかし（ぼける現象）が発生することとなる。元々、画像データが高解像度であった場合、このぼかしによる解像度低下は、画質に大きな影響を与える。特に、ＨＤ化が進みつつある大画面テレビの場合、ユーザや放送関係の要望よりノイズを強調しないように輪郭強調を強めに実施することが好まれており、このような状況では、輪郭の弱い平坦部であっても平均化のようなぼかし処理を行うことは受け入れにくい状況である。
さらに、上記従来２の画像処理手法では、ある程度大きな微分値をもつ輪郭部に対してのみ、近景か遠景かの判定が実施されるため、テクスチャパターンのような弱い輪郭部や周囲外光等の撮影条件により適切に抽出できなかった輪郭部に対しては、近景・遠景の判定が行われない。つまり、１次微分信号による輪郭部抽出には、その閾値判定精度の影響を受ける可能性が高い。さらに、輪郭部と思われる画素の２次微分信号に対して、さらに閾値処理を行い、近景か遠景かの判定が行われるため、奥行き情報判定の際にも閾値判定精度の影響を受けやすい。よって、例えば、同じ物体の輪郭部であり同じ距離にある物体であっても、エッジ強調が強くかかる部分と弱くかかる部分が発生する危険性や、輪郭部では強いエッジ強調と弱いエッジ強調しか実施されないことのよる輝度の不連続な部分が発生する危険性がある。

また、輝度の２次微分信号が小さいのは、画像の撮影条件（焦点ずれや動き）によるぼけや低解像度画像を高解像度へ単純変換した際の補間によるものなのか、本当にその画素が遠景領域にあるかどうかの判断まで行うことができない。そのため、例えば、非可逆方式符号化方法で符号化された画像を復号し、その復号画像内の歪みをローパスフィルタ等で除去した場合、２次微分信号の閾値判定値の設定によっては画像全面が遠景と判断されてしまい、本来のエッジ強調処理が適切に行われない危険性も考えられる。
本発明は、従来例１の課題を解決して画像の奥行き感・立体感向上を実現するものであり、従来例１のような輪郭強調データやその平均化データを使い分けることなく、奥行き情報に応じて色補正を行うことで奥行き感向上を実現するものである。特に、人間の視覚特性の１つである色対比効果を、奥行き情報による効果と連動させて補正することで、人間の関心の高い色の奥行き感をより強めることができる画像処理装置、画像処理方法、画像処理装置、プログラム、記録媒体および集積回路を実現することを目的とする。

また、人間の視覚特性の１つである色対比特性や明るさ対比特性を用いることで、たとえ、画像上にぼけ部分があったとしても、周囲より対象部分（処理対象としている画像上での部分）の色や明るさが大きいかどうかを判断することは可能である。さらに、そのような部分（周囲より対象部分の色や明るさが大きい部分）は、人間に注目される傾向が高いことも指摘されており、この人間が注目しやすい部分を近景と見なすことで、画像内の奥行き情報を簡易に推定することができる。
本発明は、また、従来例２の奥行き情報推定に関する課題を解決するもので、従来例２のような微分信号による輪郭抽出を用いることなく、色対比特性や明るさ対比特性に基づき、推定した奥行き情報を使うことで、人間にとって関心の高い色をより強め、人間にとって関心度の低い色を弱めることで、奥行き感を向上された画像を取得する画像処理装置、画像処理方法、画像処理装置、プログラム、記録媒体および集積回路を実現することを目的とする。

第１の発明は、画素からなる画像を形成することができる画像信号から、画像信号の色情報を算出する色情報算出部と、入力された奥行き情報に基づいて画像信号の色情報を補正するための補正ゲインを求める補正量制御部と、補正ゲインに基づいて、色情報を補正する色情報補正部と、色情報補正部により補正された色情報を所定の形式により出力させる出力部と、を備える画像処理装置である。
この画像処理装置では、色情報算出部により、画像信号から、画像信号の色情報が算出され、補正量制御部により、入力された奥行き情報に基づいて画像信号の色情報を補正するための補正ゲインが求められ、色情報補正部により、補正ゲインに基づいて、色情報が補正される。そして、出力部により、色情報補正部で補正された色情報が所定の形式により出力される。

これにより、輪郭強調データやその平均化データを用いることなく、奥行き情報に応じて色補正を行うことで、この画像処理装置により処理される画像において、奥行き感向上を実現させることができる。
ここで、「奥行き情報」とは、画像信号において処理対象とされている画素である注目画素画素（または複数の画素からなる注目ブロック）が近景（または遠景）であることを示す度合いを示す情報をいい、例えば、注目画素が属する２次元画像を取得した撮影点（仮想の撮影点でもよく、必ずしも実際に撮影した点である必要はない。）から注目画素に対応する３次元空間における点までの３次元距離に相関する情報がこれに該当する。
また、「所定の形式」とは、表示装置に表示させるための画像に関する形式のことをいい、例えば、画像（映像）フォーマット形式（例えば、ＪＰＥＧ画像形式、ＢＭＰ画像形式、ＭＰＥＧ形式、ＮＴＳＣ方式の映像形式）等がこれに該当する。

第２の発明は、第１の発明であって、補正量制御部は、画像信号において処理対象とされている画素である注目画素についての奥行き情報が近景であることを示す度合いが大きいほど、対比効果により、近景感が高まるように補正ゲインを設定し、注目画素についての奥行き情報が遠景であることを示す度合いが大きいほど、対比効果により、遠景感が高まるように補正ゲインを設定する。
これにより、輪郭強調データやその平均化データを用いることなく、奥行き情報に応じて色補正を行うことで、この画像処理装置により処理される画像において、奥行き感向上を実現させることができる。さらに、人間の視覚特性の１つである色対比効果を、奥行き情報による効果と連動させて色補正（色情報補正）を行うことができるので、この画像処理装置により処理された画像において、人間の関心の高い色の奥行き感をより強めることができる。

第３の発明は、第２の発明であって、色情報補正部は、注目画素の色情報および注目画素の周辺画素の色情報に基づいて色対比量を算出する色特性算出部と、補正ゲインおよび色対比量に基づいて、色情報を補正するための対比補正係数を算出する補正量算出部と、対比補正係数に基づいて、色情報を補正する補正部と、を有する。
この画像処理装置では、対比補正係数を変更することで、色情報の補正を行うので、実現させたい特性に応じて、対比補正係数を変更させるだけで、簡単に、所望の色情報補正を実現させることができる。
第４の発明は、第３の発明であって、色特性算出部は、注目画素の色情報Ｃｉおよび周辺画素の色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）を色対比量として算出する。補正量制御部は、奥行き情報により、対比補正係数ＫＬｉの上限値および下限値を決定し、色対比量ＲＣｉが「１」である場合、対比補正係数ＫＬｉを「０」に設定し、対比補正係数ＫＬｉが色対比量ＲＣｉに対して単調となるように、対比補正係数ＫＬｉを設定する。補正部は、色情報補正量ｄＣｉを、対比補正係数ＫＬｉと色情報Ｃｉ、定数α１で制御することで求め、注目画素の補正後の補正色情報Ｃｉ＿ｎｅｗを、Ｃｉ＿ｎｅｗ＝（色情報Ｃｉ）＋（色情報補正量ｄＣｉ）とすることで、注目画素の色情報を補正する。

この画像処理装置では、補正量制御部により、奥行き情報により、対比補正係数ＫＬｉの上限値および下限値が決定されるので、近景に属する画素に対して、近景領域にある画素に適した対比効果を実現させる色情報補正を行うことができ、遠景に属する画素に対して、遠景領域にある画素に適した対比効果を実現させる色情報補正を行うことができる。
なお、「単調」とは、単調増加または単調減少のことをいう。「対比補正係数ＫＬｉが色対比量ＲＣｉに対して単調となる」とは、対比補正係数ＫＬｉが色対比量ＲＣｉに対して単調増加または単調減少となることを指しているが、対比補正係数ＫＬｉが色対比量ＲＣｉに対して、全体として単調となる特性を有していればよく、局所的に単調とならない部分が含まれてもよい。
なお、色対比量としては、注目画素の色情報Ｃｉおよび周辺画素の色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）以外であってもよく、例えば、ＲＣｉ（＝Ｃｉ−ＡＣｉ）による値を用いるようにしてもよい。

また、色情報補正量ｄＣｉを、例えば、ｄＣｉ＝（対比補正係数ＫＬｉ）×（色情報Ｃｉ）×α１（α１：定数）として求めてもよいし、また、（数式８）および（数式９）により求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。
第５の発明は、第４の発明であって、色特性算出部は、注目画素の彩度Ｓｉおよび周辺画素の彩度の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）を色対比量として算出する。
補正量制御部は、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第１近景用閾値（＞０）より小さな正の値に対比補正係数Ｋｉを設定し、対比量が「１」以下のとき、第２近景用閾値（＜０）より大きな負の値に対比補正係数Ｋｉを設定し、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第１近景用閾値より小さな値である第１遠景用閾値（＞０）より小さな正の値に対比補正係数Ｋｉを設定し、対比量が「１」以下のとき、第２近景用閾値より大きな値である第２遠景用閾値（＜０）より大きな負の値に対比補正係数Ｋｉを設定する。

補正部は、彩度補正量ｄＳｉを、対比補正係数Ｋｉと彩度Ｓｉ、定数α２で制御することで求め、注目画素の補正後の補正色情報Ｓｉ＿ｎｅｗを、Ｓｉ＿ｎｅｗ＝（彩度Ｓｉ）＋（彩度補正量ｄＳｉ）とすることで、注目画素の色情報を補正する。
この画像処理装置では、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、つまり、注目画素が最も遠景に属すると判断された場合、例えば、対比補正係数Ｋｉが、−Ｔｈ１≦Ｋｉ≦Ｔｈ１（Ｔｈ１＞０）の範囲の値をとるように設定しつつ、対比補正係数Ｋｉの色対比量ＲＳｉに対する特性曲線が、（ＲＳｉ，Ｋｉ）＝（１，０）なる点を通り、対比補正係数Ｋｉが色対比量ＲＳｉについて単調増加となるように設定することができる。さらに、この画像処理装置では、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、つまり、注目画素が最も近景に属すると判断された場合、例えば、対比補正係数Ｋｉが、−Ｔｈ２≦Ｋｉ≦Ｔｈ２（Ｔｈ２＞０，Ｔｈ２＞Ｔｈ１）の範囲の値をとるように設定しつつ、対比補正係数Ｋｉの色対比量ＲＳｉに対する特性曲線が、（ＲＳｉ，Ｋｉ）＝（１，０）なる点を通り、対比補正係数Ｋｉが色対比量ＲＳｉについて単調増加となるように設定することができる。

このように、注目画素が遠景領域に含まれる場合よりも、近景領域に含まれる場合の対比補正係数がとる範囲が大きくするように設定できるので、近景領域に属する画素の彩度対比効果を強め、遠景領域に属する画素の彩度対比効果を弱める（近景に比べて彩度対比効果の強める程度を小さくする）ことで、この画像処理装置により処理される画像の遠近感・奥行き感を適切に向上させることができる。
なお、色対比量としては、注目画素の色情報（彩度）Ｓｉおよび周辺画素の色情報（彩度）の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）以外であってもよく、例えば、ＲＳｉ（＝Ｓｉ−ＡＳｉ）による値を用いるようにしてもよい。
また、彩度補正量ｄＳｉを、ｄＳｉ＝（対比補正係数Ｋｉ）×（彩度Ｓｉ）×α２（α２：定数）として求めてもよいし、また、（数式８）および（数式９）により求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。なお、ここで、（数式８）、（数式９）、（数式１１）、（数式１２）を用いる場合、ＣｉがＳｉとなることは言うまでもない。

第６の発明は、第４の発明であって、色特性算出部は、注目画素の色相Ｈｉおよび周辺画素の色相の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）を色対比量として算出する。
補正量制御部は、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第３近景用閾値（＞０）より小さな正の値に対比補正係数Ｌｉを設定し、対比量が「１」以下のとき、第４近景用閾値（＜０）より大きな負の値に対比補正係数Ｌｉを設定し、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第３近景用閾値より大きな値である第３遠景用閾値（＞０）より小さな正の値に対比補正係数Ｌｉを設定し、対比量が「１」以下のとき、第４近景用閾値より小さな値である第４遠景用閾値（＜０）より大きな負の値に対比補正係数Ｌｉを設定する。

補正部は、色相補正量ｄＨｉを、対比補正係数Ｌｉと色相Ｈｉ、定数α３で制御することで求め、注目画素の補正後の補正色情報Ｈｉ＿ｎｅｗを、Ｈｉ＿ｎｅｗ＝（色相Ｈｉ）＋（色相補正量ｄＨｉ）とすることで、注目画素の色情報を補正する。
この画像処理装置では、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、つまり、注目画素が最も遠景に属すると判断された場合、例えば、対比補正係数Ｌｉが、−Ｔｈｈ１≦Ｌｉ≦Ｔｈｈ１（Ｔｈｈ１＞０）の範囲の値をとるように設定しつつ、対比補正係数Ｌｉの色対比量ＲＳｉに対する特性曲線が、（ＲＨｉ，Ｌｉ）＝（１，０）なる点を通り、対比補正係数Ｌｉが色対比量ＲＨｉについて単調増加となるように設定することができる。さらに、この画像処理装置では、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、つまり、注目画素が最も近景に属すると判断された場合、例えば、対比補正係数Ｌｉが、−Ｔｈｈ２≦Ｌｉ≦Ｔｈｈ２（Ｔｈｈ２＞０，Ｔｈｈ２＜Ｔｈｈ１）の範囲の値をとるように設定しつつ、対比補正係数Ｌｉの色対比量ＲＨｉに対する特性曲線が、（ＲＨｉ，Ｌｉ）＝（１，０）なる点を通り、対比補正係数Ｌｉが色対比量ＲＨｉについて単調増加となるように設定することができる。

このように、、注目画素が近景領域に含まれる場合よりも、遠景領域に含まれる場合の対比補正係数がとる範囲が大きくするように設定できるので、遠景領域に属する画素の色相対比効果（例えば、大気遠近（青み）効果を強調する色相対比効果）を強め、近景領域に属する画素の色相対比効果を弱める（遠景に比べて色相対比効果の強める程度を小さくする）ことで、この画像処理装置により処理される画像の遠近感・奥行き感を適切に向上させることができる。
なお、この画像処理装置では、色相Ｈｉが赤色度を示すものとしているが、例えば、色相Ｈｉが赤以外の色の色度（例えば、青色度）によるものであれば、それに対応させて修正することで、この画像処理装置を適用させることができることは言うまでもない。
なお、色対比量としては、注目画素の色情報（色相）Ｈｉおよび周辺画素の色情報（色相）の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）以外であってもよく、例えば、ＲＨｉ（＝Ｈｉ−ＡＨｉ）による値を用いるようにしてもよい。

また、色相補正量ｄＨｉを、例えば、ｄＨｉ＝（対比補正係数Ｌｉ）×（色相Ｈｉ）×α３（α３：定数）として求めてもよいし、また、（数式８）および（数式９）により求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。なお、ここで、（数式８）、（数式９）、（数式１１）、（数式１２）を用いる場合、ＣｉがＨｉとなることは言うまでもない。
第７の発明は、第２の発明であって、色情報補正部は、注目画素の色情報および注目画素の周辺画素の色情報に基づいて色対比量を算出する色特性算出部と、色対比量および色情報に基づいて対比補正係数制御量α４を求める対比補正量制御部と、補正ゲインおよび色対比量に基づいて、色情報を補正するための対比補正係数を算出する補正量算出部と、対比補正係数および対比補正係数制御量に基づいて、色情報を補正する補正部と、を有する。

この画像処理装置では、対比補正量制御部により、色対比量および色情報に基づいて対比補正係数制御量α４が決定されるので、過剰な色補正（色飽和等）や大きな色情報の低下を抑制することができる。特に、この画像処理装置では、対比補正係数制御量α４を変更することで、肌色領域での過剰な補正による印象低下を防止する色補正や、空色領域や緑色領域において印象向上効果を発揮させるために、強めの色補正を、簡単に行うことができる。
第８の発明は、第７の発明であって、色情報補正部は、注目画素の明るさ情報および周辺画素の明るさ情報に基づいて明るさ対比量を算出する明るさ特性算出部をさらに有する。対比補正量制御部は、色対比量および明るさ対比量に基づいて対比補正係数制御量α４を求める。

この画像処理装置では、対比補正量制御部により、色対比量および明るさ対比量に基づいて対比補正係数制御量α４が求められるので、人間の関心が高い画素をより精度良く補正することができる。
第９の発明は、第７の発明であって、色特性算出部は、注目画素の色情報Ｃｉおよび周辺画素の色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）を色対比量として算出する。補正量制御部は、奥行き情報により、対比補正係数ＫＬｉの上限値および下限値を決定し、色対比量ＲＣｉが「１」である場合、対比補正係数ＫＬｉを「０」に設定し、対比補正係数ＫＬｉが色対比量ＲＣｉに対して単調となるように、対比補正係数ＫＬｉを設定する。補正部は、色情報補正量ｄＣｉを、対比補正係数ＫＬｉと色情報Ｃｉ、補正係数制御量α４で制御することで求め、注目画素の補正後の補正色情報Ｃｉ＿ｎｅｗを、Ｃｉ＿ｎｅｗ＝（色情報Ｃｉ）＋（色情報補正量ｄＣｉ）とすることで、注目画素の色情報を補正する。

なお、色対比量としては、注目画素の色情報Ｃｉおよび周辺画素の色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）以外であってもよく、例えば、ＲＣｉ（＝Ｃｉ−ＡＣｉ）による値を用いるようにしてもよい。
また、色情報補正量ｄＣｉを、ｄＣｉ＝（対比補正係数ＫＬｉ）×（色情報Ｃｉ）×（補正係数制御量α４）として求めてもよいし、また、（数式８）および（数式９）により求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。
第１０の発明は、第８の発明であって、色特性算出部は、注目画素の色情報Ｃｉおよび周辺画素の色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）を色対比量として算出する。補正量制御部は、奥行き情報により、対比補正係数ＫＬｉの上限値および下限値を決定し、色対比量ＲＣｉが「１」である場合、対比補正係数ＫＬｉを「０」に設定し、対比補正係数ＫＬｉが色対比量ＲＣｉに対して単調となるように、対比補正係数ＫＬｉを設定する。補正部は、色情報補正量ｄＣｉを、対比補正係数ＫＬｉと色情報Ｃｉ、補正係数制御量α４で制御することで求め、注目画素の補正後の補正色情報Ｃｉ＿ｎｅｗを、Ｃｉ＿ｎｅｗ＝（色情報Ｃｉ）＋（色情報補正量ｄＣｉ）とすることで、注目画素の色情報を補正する。

なお、色対比量としては、注目画素の色情報Ｃｉおよび周辺画素の色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）以外であってもよく、例えば、ＲＣｉ（＝Ｃｉ−ＡＣｉ）による値を用いるようにしてもよい。
色情報補正量ｄＣｉを、ｄＣｉ＝（対比補正係数ＫＬｉ）×（色情報Ｃｉ）×（補正係数制御量α４）として求めてもよいし、また、（数式８）および（数式９）により求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。
第１１の発明は、第９の発明であって、色特性算出部は、注目画素の彩度Ｓｉおよび周辺画素の彩度の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）を色対比量として算出する。補正量制御部は、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第１近景用閾値（＞０）より小さな正の値に対比補正係数Ｋｉを設定し、対比量が「１」以下のとき、第２近景用閾値（＜０）より大きな負の値に対比補正係数Ｋｉを設定し、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第１近景用閾値より小さな値である第１遠景用閾値（＞０）より小さな正の値に対比補正係数Ｋｉを設定し、対比量が「１」以下のとき、第２近景用閾値より大きな値である第２遠景用閾値（＜０）より大きな負の値に対比補正係数Ｋｉを設定する。補正部は、彩度補正量ｄＳｉを、対比補正係数Ｋｉと彩度Ｓｉ、補正係数制御量α４で制御することで求め、注目画素の補正後の補正色情報Ｓｉ＿ｎｅｗを、Ｓｉ＿ｎｅｗ＝（彩度Ｓｉ）＋（彩度補正量ｄＳｉ）とすることで、注目画素の色情報を補正する。

なお、色対比量としては、注目画素の色情報（彩度）Ｓｉおよび周辺画素の色情報（彩度）の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）以外であってもよく、例えば、ＲＳｉ（＝Ｓｉ−ＡＳｉ）による値を用いるようにしてもよい。
また、彩度補正量ｄＳｉを、ｄＳｉ＝（対比補正係数Ｋｉ）×（彩度Ｓｉ）×（補正係数制御量α４）として求めてもよいし、また、（数式８）および（数式９）により求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。なお、ここで、（数式８）、（数式９）、（数式１１）、（数式１２）を用いる場合、ＣｉがＳｉとなることは言うまでもない。
第１２の発明は、第１０の発明であって、色特性算出部は、注目画素の彩度Ｓｉおよび周辺画素の彩度の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）を色対比量として算出する。補正量制御部は、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第１近景用閾値（＞０）より小さな正の値に対比補正係数Ｋｉを設定し、対比量が「１」以下のとき、第２近景用閾値（＜０）より大きな負の値に対比補正係数Ｋｉを設定し、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第１近景用閾値より小さな値である第１遠景用閾値（＞０）より小さな正の値に対比補正係数Ｋｉを設定し、対比量が「１」以下のとき、第２近景用閾値より大きな値である第２遠景用閾値（＜０）より大きな負の値に対比補正係数Ｋｉを設定する。補正部は、彩度補正量ｄＳｉを、対比補正係数Ｋｉと彩度Ｓｉ、補正係数制御量α４で制御することで求め、注目画素の補正後の補正色情報Ｓｉ＿ｎｅｗを、Ｓｉ＿ｎｅｗ＝（彩度Ｓｉ）＋（彩度補正量ｄＳｉ）とすることで、注目画素の色情報を補正する。

また、彩度補正量ｄＳｉを、ｄＳｉ＝（対比補正係数Ｋｉ）×（彩度Ｓｉ）×（補正係数制御量α４）として求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。なお、ここで、（数式８）、（数式９）、（数式１１）、（数式１２）を用いる場合、ＣｉがＳｉとなることは言うまでもない。
第１３の発明は、第９の発明であって、色特性算出部は、注目画素の色相Ｈｉおよび周辺画素の色相の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）を色対比量として算出する。補正量制御部は、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第３近景用閾値（＞０）より小さな正の値に対比補正係数Ｌｉを設定し、対比量が「１」以下のとき、第４近景用閾値（＜０）より大きな負の値に対比補正係数Ｌｉを設定し、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第３近景用閾値より大きな値である第３遠景用閾値（＞０）より小さな正の値に対比補正係数Ｌｉを設定し、対比量が「１」以下のとき、第４近景用閾値より小さな値である第４遠景用閾値（＜０）より大きな負の値に対比補正係数Ｌｉを設定する。補正部は、色相補正量ｄＨｉを、対比補正係数Ｌｉと色相Ｈｉ、補正係数制御量α４で制御することで求め、注目画素の補正後の補正色情報Ｈｉ＿ｎｅｗを、Ｈｉ＿ｎｅｗ＝（色相Ｈｉ）＋（色相補正量ｄＨｉ）とすることで、注目画素の色情報を補正する。

なお、この画像処理装置では、色相Ｈｉが赤色度を示すものとしているが、例えば、色相Ｈｉが赤以外の色の色度（例えば、青色度）によるものであれば、それに対応させて修正することで、この画像処理装置を適用させることができることは言うまでもない。
なお、色対比量としては、注目画素の色情報（色相）Ｈｉおよび周辺画素の色情報（色相）の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）以外であってもよく、例えば、ＲＨｉ（＝Ｈｉ−ＡＨｉ）による値を用いるようにしてもよい。
また、色相補正量ｄＨｉを、ｄＨｉ＝（対比補正係数Ｌｉ）×（色相Ｈｉ）×（補正係数制御量α４）として求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。なお、ここで、（数式８）、（数式９）、（数式１１）、（数式１２）を用いる場合、ＣｉがＨｉとなることは言うまでもない。

第１４の発明は、第１０の発明であって、色特性算出部は、注目画素の色相Ｈｉおよび周辺画素の色相の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）を色対比量として算出する。補正量制御部は、注目画素についての奥行き情報が近景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第３近景用閾値（＞０）より小さな正の値に対比補正係数Ｌｉを設定し、対比量が「１」以下のとき、第４近景用閾値（＜０）より大きな負の値に対比補正係数Ｌｉを設定し、注目画素についての奥行き情報が遠景であることを示す度合いが最大である場合、対比量が「１」より大きいとき、第３近景用閾値より大きな値である第３遠景用閾値（＞０）より小さな正の値に対比補正係数Ｌｉを設定し、対比量が「１」以下のとき、第４近景用閾値より小さな値である第４遠景用閾値（＜０）より大きな負の値に対比補正係数Ｌｉを設定する。補正部は、色相補正量ｄＨｉを、対比補正係数Ｌｉと色相Ｈｉ、補正係数制御量α４で制御することで求め、注目画素の補正後の補正色情報Ｈｉ＿ｎｅｗを、Ｈｉ＿ｎｅｗ＝（色相Ｈｉ）＋（色相補正量ｄＨｉ）とすることで、注目画素の色情報を補正する。

なお、この画像処理装置では、色相Ｈｉが赤色度を示すものとしているが、例えば、色相Ｈｉが赤以外の色の色度（例えば、青色度）によるものであれば、それに対応させて修正することで、この画像処理装置を適用させることができることは言うまでもない。
なお、色対比量としては、注目画素の色情報（色相）Ｈｉおよび周辺画素の色情報（色相）の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）以外であってもよく、例えば、ＲＨｉ（＝Ｈｉ−ＡＨｉ）による値を用いるようにしてもよい。
また、色相補正量ｄＨｉを、ｄＨｉ＝（対比補正係数Ｌｉ）×（色相Ｈｉ）×（補正係数制御量α４）として求めてもよいし、また、（数式１１）および（数式１２）により求めてもよい。なお、ここで、（数式８）、（数式９）、（数式１１）、（数式１２）を用いる場合、ＣｉがＨｉとなることは言うまでもない。

第１５の発明は、画素からなる画像を形成することができる画像信号から、画像信号の色情報を算出する色情報算出ステップと、入力された奥行き情報に基づいて画像信号の色情報を補正するための補正ゲインを求める補正量制御ステップと、補正ゲインに基づいて、色情報を補正する色情報補正ステップと、を備える画像処理方法である。
これにより、第１の発明と同様の効果を奏する画像処理方法を実現することができる。
第１６の発明は、コンピュータを、画素からなる画像を形成することができる画像信号から、画像信号の色情報を算出する色情報算出部、入力された奥行き情報に基づいて画像信号の色情報を補正するための補正ゲインを求める補正量制御部、補正ゲインに基づいて、色情報を補正する色情報補正部、として機能させるためのプログラムである。
これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。

第１７の発明は、コンピュータを、画素からなる画像を形成することができる画像信号から、画像信号の色情報を算出する色情報算出部、入力された奥行き情報に基づいて画像信号の色情報を補正するための補正ゲインを求める補正量制御部、補正ゲインに基づいて、色情報を補正する色情報補正部、として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体である。
これにより、第１の発明と同様の効果を奏するプログラムを記録したコンピュータで読み取り可能な記録媒体を実現することができる。
第１８の発明は、画素からなる画像を形成することができる画像信号から、画像信号の色情報を算出する色情報算出部と、入力された奥行き情報に基づいて画像信号の色情報を補正するための補正ゲインを求める補正量制御部と、補正ゲインに基づいて、色情報を補正する色情報補正部と、を備える集積回路である。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
第１９の発明は、第１の発明であって、ユーザの指示により処理モードを選択させるユーザモード選択部と、出力部からの出力を画像として表示させる表示部と、をさらに備える。
これにより、この画像処理装置において、ユーザは、処理モードを選択することができる。
第２０の発明は、第１９の発明であって、ユーザモード選択部は、少なくとも、色情報の補正の強度に関する情報を含む処理モードを選択させる。
これにより、この画像処理装置において、ユーザは、色情報の補正の強度を選択して、この画像処理装置での色情報補正の強度を変えることができる。例えば、この画像処理装置において、色情報の補正の強度を設定させる処理モードとして、「強モード」、「中モード」、および「弱モード」を設け、ユーザがそのいずれかのモードを選択することで、ユーザの所望の色情報補正が実現される。

本発明によれば、輪郭強調データやその平均化データを使い分けることなく、奥行き情報に応じて色補正を行うことで奥行き感向上を実現することができ、特に、人間の視覚特性の１つである色対比効果を、奥行き情報による効果と連動させて補正することで、人間の関心の高い色の奥行き感をより強めることができる画像処理装置、画像処理方法、画像処理装置、プログラム、記録媒体および集積回路を実現することができる。
また、本発明によれば、微分信号による輪郭抽出を用いることなく、色対比特性や明るさ対比特性に基づき、推定した奥行き情報を使うことで、人間にとって関心の高い色をより強め、人間にとって関心度の低い色を弱めることで、奥行き感を向上された画像を取得する画像処理装置、画像処理方法、画像処理装置、プログラム、記録媒体および集積回路を実現することができる。

以下、本発明の最良の形態としての第１〜第１７実施形態について説明する。
第１実施形態では、奥行き情報による補正制御パラメータで色対比効果による色補正効果を制御する画像処理装置および画像処理方法について説明する。
第２実施形態では、第１実施形態における色対比効果による補正量を色対比量と色情報で制御する画像処理装置および画像処理方法について説明する。
第３実施形態では、第１実施形態における色対比効果による補正量を色対比量と対象画素の色相で制御する画像処理装置および画像処理方法について説明する。
第４実施形態では、第１〜第３実施形態と比較して、奥行き情報に応じて色情報を補正する際に、明るさ情報も利用した画像処理装置および画像処理方法について説明する。
第５実施形態では、第４実施形態における色対比効果による補正量を色対比量と明るさ対比量で制御する画像処理装置および画像処理方法について説明する。

第６実施形態では、第４実施形態における色対比効果による補正量を色対比量、明るさ、明るさ対比量、色相、補正対象である色情報の複数で制御する画像処理装置および画像処理方法について説明する。
第７実施形態では、色対比量を所定の近似関数に導入して奥行き度を算出し、奥行き感向上のための色補正の補正ゲインとする画像処理装置および画像処理方法について説明する。
第８実施形態では、色対比量より注目度の高い複数画素を選択し近景位置を推定し、その近景位置を中心として奥行き感向上のための色補正の補正ゲインを決定する画像処理装置および画像処理方法について説明する。
第９実施形態では、第８実施形態において画素単位で実施していた近景判定を、分割された各ブロック内の平均色情報をもとに色対比量を求め、所定の条件を満足するブロックを近景候補と判断することとした画像処理装置および画像処理方法について説明する。

第１０実施形態では、第９実施形態における各ブロックの近景候補かどうかの判定をの代わりに、各ブロックの色対比量をもとにそのブロックによる対象画素間への補正ゲイン値を求める方式を導入し、全ブロックによる補正ゲイン値を合成することで最終的な補正ゲイン値を求める画像処理装置および画像処理方法について説明する。
第１１実施形態では、明るさ対比量と色対比量の２つの特徴量を所定の近似関数に導入して奥行き度を算出し、奥行き感向上のための色補正の補正ゲインを決定する画像処理装置および画像処理方法について説明する。
第１２実施形態では、明るさ対比量と色対比量の２つの特徴量により注目度の高い複数画素を選択し近景位置を推定し、その近景位置を中心として奥行き感向上のための色補正の補正ゲインを決定する画像処理装置および画像処理方法について説明する。

第１３実施形態では、第１２実施形態において画素単位で実施していた近景判定を、分割された各ブロック内の平均色情報や平均明るさ情報をもとに色対比量と明るさ対比量を求め、所定の条件を満足するブロックを近景候補と判断することとした画像処理装置および画像処理方法について説明する。
第１４実施形態では、第１３実施形態における各ブロックの近景候補かどうかの判定を行う代わりに、各ブロックの色対比量と明るさ対比量をもとにそのブロックによる対象画素への補正ゲイン値を求める方式を導入し、全ブロックによる補正ゲイン値を合成することで最終的な補正ゲイン値を求める画像処理装置および画像処理方法について説明する。
第１５実施形態では、ブロック内の平均明るさによる対比量と平均色情報による対比量、そして周波数成分量の３つの特徴量により注目度の高いブロックを近景候補ブロックとして選択し近景位置を推定し、その近景位置を中心として奥行き感向上のための色補正の補正ゲインを決定する画像処理装置および画像処理方法について説明する。

第１６実施形態では、ブロック内の平均明るさによる対比量と平均色情報による対比量、そして周波数成分量の３つの特徴量により各ブロックによる対象画素への補正ゲイン値を求め、全ブロックによる補正ゲイン値を合成することで最終的な補正ゲイン値を求める画像処理装置および画像処理方法について説明する。
第１７実施形態では、第１から第１６実施形態の画像処理装置を画像処理部として、その補正レベル等の処理モードをユーザが選択する画像処理装置と方法について説明する。
［第１実施形態］
図１から図１１を用いて、本発明の第１実施形態として、奥行き情報に応じて画素における色情報の補正を行う画像処理方法及び画像処理装置１００について説明する。
図１に、第１実施形態に係る画像処理装置１００の構成を示す。図５に、色情報補正部１２の構成を示す。図２に、この第１実施形態である画像処理方法の処理フローチャートを示す。また、図６に、色情報補正部のフローチャート、および色対比量データ算出のフローチャートを示す。

この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。
＜１．１：画像処理装置の構成＞
画像処理装置１００は、主に、入力画像信号ｖＩｉから色情報ｖＣｉを算出する色情報算出部１１と、奥行き情報ｆｂｉから補正ゲインＧｉを決定させる補正量制御部１０と、補正量制御部１０により決定された補正ゲインＧｉに基づいて色情報算出部１１から出力された色情報ｖＣｉを補正する色情報補正部１２と、色情報補正部１２により補正された補正色情報ｖＣｉ＿ｎｅｗを各種画像フォーマットに変換して出力する出力部１３とから構成される。

色情報算出部１１は、入力画像信号ｖＩｉを入力とし、入力画像信号ｖＩｉから色情報ｖＣｉを算出し、算出した色情報ｖＣｉを色情報補正部１２に出力する。
補正量制御部１０は、奥行き情報ｆｂｉを入力とし、奥行き情報ｆｂｉから補正ゲインＧｉを決定させる。そして、補正量制御部１０は、決定した補正ゲインＧｉを色情報補正部１２に出力する。
色情報補正部１２は、補正量制御部１０により決定された補正ゲインＧｉに基づいて色情報算出部１１から出力された色情報ｖＣｉを補正した補正色情報ｖＣｉ＿ｎｅｗを取得し、取得した補正色情報ｖＣｉ＿ｎｅｗを出力部１３に出力する。
色情報補正部１２は、図５に示すように、色特性算出部２０と、補正量算出部２１と、補正部２２と、を有する。

色特性算出部２０は、周辺色情報算出部２３と色対比量算出部２４とを有する。
色特性算出部２０は、色情報ｖＣｉを入力とし、色情報ｖＣｉから色対比量ｖＲＣｉを求め、求めた色対比量ｖＲＣｉを補正量算出部２１に出力する。
周辺色情報算出部２３は、色情報ｖＣｉを入力とし、色情報ｖＣｉから対象画素Ｐｉの周囲の代表色情報ＡＣｉを対象画素Ｐｉごとに算出し、ＡＣｉのベクトルデータ（ＡＣｉの集合データ）であるｖＡＣｉを色対比量算出部２４に出力する。ここで、色情報ｖＣｉ等の変数の頭文字が「ｖ」であるベクトルデータは、対象画素Ｐｉについて複数の情報（データ）を有していることを示す。例えば、色情報ｖＣｉは、注目画素Ｐｉについて、色差データＣｂおよびＣｒの２つの情報（データ）を有する情報であってもよく、また、注目画素Ｐｉについて、彩度の情報（データ）、明度の情報(データ）および色相の情報（データ）の３つの情報（データ）を有する情報であってもよい。

色対比量算出部２４は、色情報ｖＣｉおよび代表色情報ｖＡＣｉを入力とし、色情報ｖＣｉについての色対比量ｖＲＣｉを算出し、算出した色対比量ｖＲＣｉを補正量算出部２１に出力する。
補正量算出部２１は、色対比量ｖＲＣｉおよび補正ゲインＧｉを入力とし、色対比量ｖＲＣｉおよび補正ゲインＧｉに基づいて、色情報ｖＣｉを補正するための補正量を算出し、算出した補正量を補正部２２に出力する。
補正部２２は、色情報ｖＣｉおよび補正量算出部２１で算出された補正量を入力とし、補正量算出部２１で算出された補正量に基づき、色情報ｖＣｉを補正し、補正した色情報を補正色情報ｖＣｉ＿ｎｅｗとして、出力部１３に出力する。具体的には、補正部２２は、例えば、色情報として彩度Ｓｉを補正する場合、
ｄＳｉ＝Ｋｉ（ＲＳｉ，ＧＳｉ）×Ｓｉ×α
Ｓｉ＿ｎｅｗ＝Ｓｉ＋ｄＳｉ
なる処理を行うことで、補正色情報Ｓｉ＿ｎｅｗを取得し、
色情報として色相Ｈｉを補正する場合、
ｄＨｉ＝Ｌｉ（ＲＨｉ，ＧＨｉ）×Ｈｉ×α
Ｈｉ＿ｎｅｗ＝Ｈｉ＋ｄＨｉ
なる処理を行うことで、補正色情報Ｈｉ＿ｎｅｗを取得する。なお、ここで、Ｋｉ（ＲＳｉ，ＧＳｉ）およびＬｉ（ＲＨｉ，ＧＨｉ）は、対比補正係数であり、αは、所定の定数である。

出力部１３は、色情報補正部１２により補正された補正色情報ｖＣｉ＿ｎｅｗを各種画像フォーマットに変換して出力する。
＜１．２：画像処理装置の動作＞
図２および図６の処理フローチャートを参照して、画像処理装置１００の処理の概要を示す。
画像処理装置１００に画素ｉ（処理対象画素のことを指し、以下、「注目画素」ということもある。）における画素値Ｉｉ（画素値ＩｉのベクトルデータがｖＩｉである。）をもつ画像データが入力されると、色情報算出部１１において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換する。ここでは、入力画像データを、色情報を扱いやすい色相Ｈ、彩度Ｓおよび明度Ｖより構成されるＨＳＶ空間データ（や、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データや、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像入力データをそのまま扱うことも可能である。つまり、入力画像データを、例えば、色相Ｈ、彩度Ｓおよび明度Ｖの３つのデータにより構成される色情報ｖＣｉに変換するようにしてもよい。また、入力画像データを、例えば、色相Ｈのみのデータにより構成される色情報Ｃｉ（この場合、色情報Ｃｉは単独データであり、ベクトルデータとはならない。）に変換するようにしてもよい。

一方、画素ｉにおける奥行き情報ｆｂｉが補正量制御部１０へ入力される。画素ｉにおける奥行き情報ｆｂｉの例としては、多くのフォーマットや表現がある。例えば、図３に示すようなものが考えられる。図３（ａ）に示すように、奥行き感が異なる２台の車の画像があったとする。なお、画素ｉにおける奥行き情報ｆｂｉは「０．０」から「１．０」の値を取り、「１．０」に近いほど近景に属するものとする。
図３（ｂ）は、図３（ａ）の画像の画素位置における各画素の奥行き情報の値を、対応する画素位置にマッピングさせて表示したものの一例を示している。
例えば、図３（ｂ）に示すように、近景の車に含まれる画素ｓより手前の三角領域内の画素は、近景に位置するものとしてその奥行き情報ｆｂｉは「１．０」と設定される。また、遠景の車に含まれる画素ｔより上側の三角領域内の画素は、遠景に位置するものとしてその奥行き情報ｆｂｉは「０．１」に設定される。また、左右両脇の三角領域内の画素も遠景に位置するものとしてｆｂｉ＝０．１が設定される。一方、中心の矩形内の画素では奥行き情報が線形的に変化すると仮定して、例えば、画素ｓと画素ｔを結ぶ線分の距離ＬＥＮ、対象画素ｕと画素ｓとの間の距離をｌとした場合、（数式１）に示すように画素ｕの奥行き情報ｆｂｉが設定される。（数式１）でｆｂｓは画素ｓにおける奥行き情報を、ｆｂｔは画素ｔにおける奥行き情報を、そして、ｆｂｕは画素ｕにおける奥行き情報を示している。

このように定義された入力画像データｖＩｉに応じて用意された奥行き情報ｆｂｉが入力画像とは別に補正量制御部１０へ入力される。なお、奥行き情報は、様々な定義が可能である。また、その入力の仕方も多くの方法が考えられる。補正量制御部１０では、この奥行き情報ｆｂｉにより、画素ｉの色情報ｖＣｉ内の補正対象Ｃｉについての補正ゲインＧＣｉ（この補正ゲインを単に「Ｇｉ」と表記するこもある。）を決定する。そして、補正量算出部２１において、この補正ゲインＧＣｉおよび色対比量ｖＲＣｉにより、色情報ｖＣｉに対する補正量が決定される。
例えば、色情報算出部１１により、入力画像データｖＩｉがＨＳＶ系データ（ＨＳＶ空間データ）に変換された場合で、色情報補正部１２により、彩度Ｓを、彩度対比量をもとに補正するときは、補正量制御部１０により彩度Ｓに関する対比補正ゲインＧＳｉが算出される。また、色情報補正部１２により、色相Ｈを、色相対比量をもとに補正するときは、補正量制御部１０により色相Ｈに関する対比補正ゲインＧＨｉが算出される。

図４は、対比補正ゲイン値による補正量の決定方法の一例を説明するための模式図である。
図４（ｂ）は、図３で示した奥行き情報ｆｂｉを示している。図４（ｃ）は、補正量制御部１０で得られた、画素ｉにおける奥行き情報ｆｂｉをもとに、色対比効果で補正される彩度Ｓｉや色相Ｈｉの補正量を制御する対比補正ゲイン値ＧＳｉ、ＧＨｉの算出方法を説明するための図である。なお、図４（ｃ）の画素位置は、図４（ｂ）の画素位置と対応している。
図４（ｃ）では、彩度補正の場合、近景になるほど、彩度対比による補正効果を強くすることを示している。また、遠景になるほど、彩度対比による補正効果を弱めることを示している。色相を、色相対比による効果をもとに補正する場合についても同様である。こうすることで、単なる奥行き情報のみで彩度や色相を補正する場合に比べて、色対比効果を奥行き情報に基づいて制御し、彩度や色相等を補正することが可能となる。これにより、この画像処理装置１００で処理した画像（映像）において、よりメリハリがつき視覚的に自然な奥行き感・遠近感を向上させることができる。

色特性算出部２０では、色情報算出部１１で得られた色情報ｖＣｉを構成する色情報Ｃｉの中で、補正対象となる色情報Ｃｉに対する色対比量ＲＣｉが算出される。例えば、入力画像ｖＩｉをＨＳＶ系に変換した色情報ｖＣｉの場合で、補正対象となる色情報Ｃｉが彩度Ｓであるときは、彩度Ｓに関する特性情報が、色特性算出部２０により算出される。ここでは、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとする。
色特性算出部２０は、図６の右図のフローチャートに示す処理を行う。つまり、周辺色情報算出部２３と色対比量算出部２４とにより、各画素に対する色対比量ＲＣｉが算出される。この色対比量としては、多くのものが考えられるが、より人間の見た目に近いような補正を実現するために、人間の視覚特性に対応した情報を用いることが好ましい。ここでは、人間の視覚特性として、多くのものがあるが、色特性に関する色対比特性を用いることとしたが、これ以外にも明るさ対比や、大きさ（同様の特性を有する複数の画素により形成される領域の大きさ）や画素特性等も用いることができる。

図７は、色対比特性の概念を模式的に示したものである。
この図７では、薄い黄色の背景の中に中心部分が開いた赤と青の２つの円が描かれている。なお、２つの円の中心領域は、背景と同じ薄い黄色であるものとする。人が、これらの円を、図7に示す星印にある視線位置に注目して観察した場合、人は、赤色円の中心をやや青く感じる傾向があり、また、青色円の中心をやや赤く感じる傾向がある。この現象は、視覚心理より明らかとされており、色対比特性により生じる現象である。色対比特性とは、対象物体の周囲を異なる彩度や色相が取り囲む場合に、対象物体の彩度や色相に与える影響のことをいう。そして、以下の（１）および（２）に示す特性が明らかになっている。
（１）対象物体の色相と異なる色相が対象物体を取り囲む場合、対象物体に周囲の色相の補色が加わって感じられる。
（２）対象物体の彩度よりも対象物体の周囲を取り囲む彩度が高い場合、対象物体の彩度は、低く感じられる。逆に、対象物体の彩度よりも対象物体の周囲を取り囲む彩度が低い場合、対象物体の彩度は高く感じられる。

本発明では、この色対比特性を用いて、画素の色情報補正を行うことでより、人間の視覚に近い印象を与える（人間が画像（映像）を見たときに人間の視覚特性上自然と感じる）画像補正を行う。例えば、色情報ｖＣｉの中から彩度Ｓｉを補正対象Ｃｉとした場合、図８に模式的に示すように、彩度補正を行うことで人間の視覚に近い印象を促進できると考えられる。つまり、図８の左円のように円の中心に対象画素Ｐｉがあり、Ｐｉの彩度Ｓｉが、対象画素Ｐｉの周囲の画素（複数の画素）の代表彩度ＡＳｉ（例えば、周囲の画素の彩度の（重み付き）平均値）よりも低い場合には、対象画素Ｐｉの彩度Ｓｉを減少させることで、良好な画像補正（色情報補正）が実現される。逆に、右円のように対象画素Ｐｉの彩度Ｓｉが、対象画素Ｐｉの周囲の画素（複数の画素）の代表彩度ＡＳｉよりも高い場合には、対象画素Ｐｉの彩度Ｓｉを上昇させることで、良好な画像補整（色情報補正）が実現される。以上のような処理を行うことで、人間の視覚特性上、好ましい画像（映像）補正（色情報補正）が実現される。対象画素Ｐｉの周囲の画素の代表彩度ＳｉＲとしては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均彩度を、対象画素Ｐｉの周囲の画素の代表彩度ＡＳｉとすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の彩度についてのヒストグラム（彩度ヒストグラム）を求め、その彩度ヒストグラムにおいて、最も度数の多い彩度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表彩度や、視野領域内の平均彩度等を代表彩度ＳｉＲとすることも可能である。上記のように、彩度による色情報補正を行う場合、各画素Ｐｉにおける彩度以外の色情報を保存する（変更しない）ことで、処理した（色情報補正した）画像のバランスを保つことができ、視覚特性上、自然な色情報補正が実現される。

また、色情報ｖＣｉの中から色相Ｈｉを補正対象Ｃｉとした場合、図９に模式的に示すように、色相補正を行うことで人間の視覚に近い印象を促進できると考えられる。つまり、図９の左円のように円の中心に対象画素Ｐｉがあり、対象画素Ｐｉの色相Ｈｉよりも対象画素Ｐｉの周囲の画素（複数の画素）の代表色相ＡＨｉ（例えば、周囲の画素の色相の（重み付き）平均値）が赤い（色相が赤方向により近い）場合には、対象画素Ｐｉの色相Ｈｉを青方向へ動かすことで、良好な画像補正（色情報補正）が実現される。この際、色相以外の色情報は保存される（変更されない）。また、色相に関しても、色相を急激に変化させることで画像上に発生する弊害を抑制するために、色相の移動量（変化量）を抑制することで、画像のバランス（色のバランス）をできるだけ保持することができる。つまり、色相の移動量（変化量）を抑制することで、視覚特性上、画像の色が不自然になることを防止することができる。逆に、右円のように対象画素Ｐｉの色相Ｈｉが、対象画素Ｐｉの周囲の画素の代表色相ＡＨｉよりも青い（色相が青方向により近い）場合には、対象画素Ｐｉの色相Ｈｉを赤方向へ動かすことで、良好な画像補正（色情報補正）が実現される。対象画素Ｐｉの周囲の画素の代表色相ＡＨｉとしては、人間の視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均色相を、対象画素Ｐｉの周囲の画素の代表色相ＨＳｉとすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の色相についてのヒストグラム（色相ヒストグラム）を求め、その色相ヒストグラムにおいて、最も度数の多い色相値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表色相や、視野領域内の平均色相等を代表色相ＡＨｉとすることも可能である。なお、ここでは、色相Ｈｉを所定の方向へ動かすことにより、色情報補正を行う場合について説明したが、ＹＣｂＣｒ空間における色差ＣｂとＣｒとを変化させることでも色相を動かす(変化させる）ことも可能である。この場合、定性的には、色差Ｃｂの成分を大きくすることで青成分が発生し、色差Ｃｒの成分を大きくすることで赤成分が発生する。

本発明の画像処理装置１００では、図６の左図のフローチャートに示す処理が実行される。画像処理装置１００では、色対比による色補正量を奥行き情報ｆｂｉより得られた対比補正ゲインＧＳｉやＧＨｉを使って制御することで、人間が、視覚特性上、自然に感じる奥行き感・遠近感を画像に効果的に付加させることが可能となる。
色特性算出部２０では、各画素の色対比量データＲＣｉを算出する。
まず、周辺色情報算出部２３により、対象画素Ｐｉの周囲の画素の代表色情報ＡＣｉが算出される。この場合、画像（全画像領域）の１／６から１／３程度の領域を周辺領域（視野領域）として、その中での重み付き平均色情報ＡＣｉが求められる。色対比量算出部２４により、画素Ｐｉの色対比量ＲＣｉが求められる。ここでは、対象画素Ｐｉの対象色情報Ｃｉの代表色情報ＡＣｉに対する比を色対比量ＲＣｉと定義し、この定義による色対比量ＲＣｉが色対比量算出部２４により、算出される。これ以外にも、色対比量（色対比情報データ）ＲＣｉを（Ｃｉ−ＡＣｉ）で定義し、この色対比量ＲＣｉを用いて、色特性算出部２０での処理を実行することも可能である。

色情報補正部１２では、奥行き情報ｆｂｉによる各画素の対比補正ゲイン値ＧＳｉ、ＧＨｉを使って、図１０や図１１に示すように、色対比効果に基づいて補正量を制御する。
（１．２．１：彩度補正について）
図１０は、彩度補正についての説明図である。図１０の左上図に、近景および遠景の位置に、彩度の高い水色の中心円の周囲に、彩度の低い青色円がある図を示す。つまり、図１０左上図において、遠景にある領域Ａ、および近景にある領域Ｂは、ともに、中心円の彩度Ｓｉが周辺の代表彩度ＡＳｉよりも高い。
この場合、図１０の左上図に示すように、人間の視覚特性上、領域Ａにおける色対比効果の方が、領域Ｂにおける色対比効果よりも強くなる傾向にある。つまり、遠景にある領域Ｂにおいて、人間が中心円の彩度が中心円の実際の彩度よりも高くなったと感じる程度（色対比効果のレベル）よりも、近景Ａある領域Ａにおいて、人間が中心円の彩度が中心円の実際の彩度よりも高くなったと感じる程度（色対比効果のレベル）の方が大きい。

色情報補正部１２では、まず、補正量制御部１０で奥行き情報ｆｂｉから求められた彩度対比補正ゲイン値ＧＳｉに基づいて、色情報ｖＣｉを補正し、補正色情報ｖＣｉ＿ｎｅｗを生成する。色情報補正部１２では、彩度対比補正ゲインＧＳｉに基づいて、彩度対比量ＲＳｉによる彩度補正量ｄＳｉを制御するための対比補正係数Ｋｉ（ＲＳｉ、ＧＳｉ）の最大値Ｋｍａｘ（ＧＳｉ）および最小値Ｋｍｉｎ（ＧＳｉ）、そして、ＲＳｉ＝１における対比補正係数Ｋｉ（ＲＳｉ、ＧＳｉ）の微分値ＫＳｌｏｐ（ＧＳｉ）を、制御する。図１０（ａ）〜（ｃ）に、これらの制御量と彩度対比補正ゲインＧＳｉとの関係を表すグラフを示す。具体的には、図１０（ａ）に、彩度対比補正ゲインＧＳｉと対比補正係数Ｋｉ（ＲＳｉ、ＧＳｉ）の最小値Ｋｍｉｎ（ＧＳｉ）との関係を、図１０（ｂ）に、彩度対比補正ゲインＧＳｉと対比補正係数Ｋｉ（ＲＳｉ、ＧＳｉ）の最大値Ｋｍａｘ（ＧＳｉ）との関係を、図１０（ｃ）に、彩度対比補正ゲインＧＳｉとＲＳｉ＝１における対比補正係数Ｋｉ（ＲＳｉ、ＧＳｉ）の微分値ＫＳｌｏｐ（ＧＳｉ）との関係を、それぞれ、示す。また、図１０（ｄ）に、彩度対比量ＲＳｉと対比補正係数Ｋｉ（ＲＳｉ，ＧＳｉ）との関係を示す。

そして、彩度対比補正ゲインＧＳｉに基づいて得られたＫｍａｘ（ＧＳｉ）、Ｋｍｉｎ（ＧＳｉ）、およびＫＳｌｏｐ（ＧＳｉ）を用いて、図１０（ｃ）に示すように、彩度対比量ＲＳｉに対して単調増加する関数により、対比補正係数Ｋｉ（ＲＳｉ、ＧＳｉ）を求める。
（数式２）および（数式３）は、Ｋｍａｘ（ＧＳｉ）、Ｋｍｉｎ（ＧＳｉ）、ＫＳｌｏｐ（ＧＳｉ）、およびＫｉ（ＲＳｉ、ＧＳｉ）の一例を示している。
この値をもとに、彩度補正量ｄＳｉは、例えば、（数式４）で定義される。ここで、αは予め設定された値であり、０．０≦α≦１．０を満たす。
また、図１０（ａ）〜（ｃ）における、ＫｍｉｎＭａｘ、ＫｍｉｎＭｉｎ、ＫｍａｘＭａｘ、ＫｍａｘＭｉｎ、およびＫＳＭａｘも予め設定された値であり、
−１．０＜ＫｍｉｎＭａｘ＜０．０、
−１．０＜ＫｍｉｎＭｉｎ＜０．０、
ＫｍｉｎＭａｘ＞ＫｍｉｎＭｉｎ、

０．０＜ＫｍａｘＭａｘ＜１．０、
０．０＜ＫｍａｘＭｉｎ＜１．０、
ＫｍａｘＭａｘ＞ＫｍａｘＭｉｎ、

０．０＜ＫＳＭａｘ＜γ
を満足する。γ、ａ、ｂは所定の正定数である。

また、ＴＨＯ、ＴＨ１は、
ＴＨ０＝Ｋｍｉｎ／ＫＳｌｏｐ＋１、
ＴＨ１＝Ｋｍａｘ／ＫＳｌｏｐ＋１、
ＴＨ１＞１．０＞ＴＨ０＞０．０
を満足する。

（数式３）、は、彩度対比補正ゲイン値がＧＳｉであり、彩度対比量がＲＳｉである場合の、彩度補正量ｄＳｉの彩度Ｓｉに対する比率を示しており、ＲＳｉが「１」より大きい値となるほど（対象画素の彩度が周辺の代表彩度よりも高いほど）、対比補正係数Ｋｉの値が大きくなることを意味する。
また、（数式２）は、彩度対比補正ゲイン値ＧＳｉが大きいほど、（数式３）における対比により彩度補正量を決定させる対比補正係数Ｋｉが大きく変動することを意味する。これにより、対比補正係数に比例する彩度補正量ｄＳｉも大きく変動させることができる。つまり、（数式２）は、彩度対比補正ゲイン値ＧＳｉが大きい値であるほど（近景であるほど）、彩度対比による補正効果（彩度を増す方向の補正効果も減らす方向の補正効果も含めて）を強くすることを意味している。

画像処理装置１００により、以上による処理を実行させることで、彩度についての適切な色情報補正が実現され、画像処理装置１００により処理された画像（映像）に、人間が、視覚特性上、自然に感じる奥行き感・遠近感を効果的に付加させることが可能となる。
（１．２．２：色相補正について）
また、図１１は、色相補正についての説明図である。ここで、画素ｉの色相Ｈｉは赤色度を表すものとして定義し、Ｈｉが大きいほど赤色が強く感じられることとする。この場合、近景と遠景の位置に、オレンジ色の中心円の周囲に、中心円の色相より赤い色相である円が存在する図を、図１１の左上図に示す。周辺代表色相ＡＨｉの方が中心円の赤よりも強い場合（周辺代表色相ＡＨｉの方が中心円の色相よりも赤に近い色相である場合）、色相対比量ＲＨｉは「１」より小さい値となり、中心円の赤を弱める色相対比が発生する。この場合、赤の補色であるシアン色（青緑）が逆に強まる（人間の視覚において、シアン色が強調されたように感じる）こととなり、図１１における近景Ａよりも遠景Ｂの方で、色相対比効果を強めることで、大気遠近効果を強めることとなり、図１１に示すような画像において、奥行き感を向上させることができる。

逆に、近景Ａにおける青緑を強調する色相対比効果、つまり色相対比量ＲＨｉが「１」より小さい場合に発生する「赤を弱める色相対比効果」を弱めることで、図１１に示すような画像において、さらに奥行き感を与える（向上させる）ことも可能となる。
このように、色相対比効果の場合は、色相対比量ＲＨｉが「１」より大きい場合に発生する赤を強める（青を弱める）効果の場合、大気遠近効果を満足するように、遠景ではその色相対比による対比補正量（対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ））を大きくすることで、色相対比効果を強め、「赤を弱める」効果を実現させる。また、近景では、その色相対比による対比補正量（対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ））を小さくすることで、遠景の場合に比べて色相対比効果を強める程度を低くし、「赤を弱める」効果を、遠景の場合よりも小さくさせる。なお、ここで、色相対比効果を強める程度の限界値（上限値および下限値の少なくとも一方の値）を設定し、色相対比効果を強める程度を所定の範囲内に収めるようにしてもよい。

また、色相対比量ＲＨｉが「１」より小さい場合に発生する赤を弱める（青を強める）効果の場合、大気遠近効果を満足するように、遠景では、その色相対比による対比補正量（対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ））を小さくする（絶対値の大きなマイナスの値とする）ことで、色相対比効果を強め、「赤を強める」効果を実現させる。また、近景では、その色相対比による対比補正量（対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ））を大きくする（絶対値の小さいマイナスの値とする）ことで、遠景の場合に比べて色相対比効果を強める程度を低くし、「赤を強める」効果を、遠景の場合よりも小さくさせる。なお、ここで、色相対比効果を強める程度の限界値（上限値および下限値の少なくとも一方の値）を設定し、色相対比効果を強める程度を所定の範囲内に収めるようにしてもよい。
この場合、色情報補正部１２では、まず、補正量制御部１０で奥行き情報ｆｂｉから求められた色相対比補正ゲイン値ＧＨｉに基づいて、色情報ｖＣｉを補正し、補正色情報ｖＣｉ＿ｎｅｗを生成する。色情報補正部１２では、色相対比補正ゲインＧＨｉに基づいて、色相対比量ＲＨｉによる色相補正量ｄＨｉを制御するための対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ）の最大値Ｌｍａｘ（ＧＨｉ）および最小値Ｌｍｉｎ（ＧＨｉ）、そして、ＲＨｉ＝１における対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ）の微分値ＬＳｌｏｐ（ＧＨｉ）を、制御する。図１１（ａ）〜（ｃ）に、これらの制御量と色相対比補正ゲインＧＨｉとの関係を表すグラフを示す。具体的には、図１１（ａ）に、色相対比補正ゲインＧＨｉと対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ）の最小値Ｋｍｉｎ（ＧＨｉ）との関係を、図１０（ｂ）に、色相対比補正ゲインＧＨｉと対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ）の最大値Ｋｍａｘ（ＧＨｉ）との関係を、図１０（ｃ）に、色相対比補正ゲインＧＨｉとＲＨｉ＝１における対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ）の微分値ＬＳｌｏｐ（ＧＨｉ）との関係を、それぞれ、示す。また、図１０（ｄ）に、色相対比量ＲＨｉと対比補正係数Ｌｉ（ＲＨｉ，ＧＨｉ）との関係を示す。なお、色相Ｈｉは赤程度を示すものである。

そして、色相対比補正ゲインＧＨｉに基づいて得られたＬｍａｘ（ＧＨｉ）、Ｌｍｉｎ（ＧＨｉ）、およびＬＳｌｏｐ（ＧＨｉ）を用いて、図１１（ｃ）に示すように、色相対比量ＲＨｉに対して単調増加する関数により、対比補正係数Ｌｉ（ＲＨｉ、ＧＨｉ）を求める。
（数式５）および（数式６）は、Ｌｍａｘ（ＧＨｉ）、Ｌｍｉｎ（ＧＨｉ）、ＬＳｌｏｐ（ＧＨｉ）、およびＬｉ（ＲＨｉ、ＧＨｉ）の一例を示している。
この値をもとに、色相補正量ｄＨｉは、例えば、（数式７）で定義される。ここで、βは予め設定された値であり、０．０≦β≦１．０を満たす。
また、図１１（ａ）〜（ｃ）におけるＬｍｉｎＭａｘ、ＬｍｉｎＭｉｎ、ＬｍａｘＭａｘ、ＬｍａｘＭｉｎ、およびＬＳＭａｘも予め設定された値であり、
−１．０＜ＬｍｉｎＭａｘ＜０．０、
−１．０＜ＬｍｉｎＭｉｎ＜０．０、
ＬｍｉｎＭａｘ＞ＬｍｉｎＭｉｎ、

０．０＜ＬｍａｘＭａｘ＜１．０、
０．０＜ＬｍａｘＭｉｎ＜１．０、
ＬｍａｘＭａｘ＞ＬｍａｘＭｉｎ、

０．０＜ＬＳＭａｘ＜η
を満足する。η、ｃ，ｄは所定の正定数である。

また、ＴＨ２、ＴＨ３は、
ＴＨ２＝Ｌｍｉｎ／ＬＳｌｏｐ＋１、
ＴＨ３＝Ｌｍａｘ／ＬＳｌｏｐ＋１、
ＴＨ３＞１．０＞ＴＨ２＞０．０
を満足する。

（数式６）は、対比補正ゲイン値がＧＨｉであり、色相対比量ＲＨｉである場合の、色相補正量ｄＨｉの色相Ｈｉに対する比率を示しており、ＲＨｉが「１」より大きい値となるほど（対象画素の色相が周辺の代表色相よりも赤いほど（赤方向に近いほど））、対比補正係数Ｌｉの値が大きくなり、対象画素の色情報補正において、赤色が強くなるということを意味する。
また、（数式５）は、色相対比補正ゲイン値ＧＨｉが大きいほど、（数式６）における対比により色相補正量を決定させる対比補正係数Ｌｉが大きく変動することを意味する。これにより、対比補正係数に比例する色相補正量ｄＨｉも大きく変動させることができる。つまり、（数式５）は、色相対比補正ゲイン値ＧＨｉが大きい値であるほど（近景であるほど）、色相対比による赤への補正効果で、赤を増す方向（青を弱くする方向）をある程度強めるとともに、赤を減らす方向（青を強める方向）を弱くすることを意味している。逆に、ＧＨｉが小さい値であるほど（遠景になるほど）、色相対比による赤への補正効果で、赤を増す方向（青を弱くする方向）を弱くするとともに、赤を減らす方向（青を強める方向）をある程度強くすることを意味している。

画像処理装置１００により、以上による処理を実行させることで、色相についての適切な色情報補正が実現され、画像処理装置１００により処理された画像（映像）に、人間が、視覚特性上、自然に感じる奥行き感・遠近感を効果的に付加させることが可能となる。
なお、色相Ｈｉを赤色度の代わりに青色度で表現することも可能であり、この場合、ＬｍｉｎやＬｍａｘを、色相Ｈｉを赤色度とした場合と逆の方向に制御することになる。
最後に、出力部１３では、色情報補正部１２で得られた各画素Ｐｉの対象色情報Ｃｉの補正値とそれ以外の色情報値とをそのまま出力画像データとして出力するようにしてもよい。また、色情報補正部１２で得られた各画素Ｐｉの対象色情報Ｃｉ（例えば、彩度）の補正値とそれ以外の色情報値（例えば、色相と明度）とを、使用機器により扱うことのできる画像フォーマットに変換し、出力画像データとして出力するようにしてもよい。

人間の視覚特性において、色対比効果による強調・抑制効果が確認されているとともに、人間が3次元物体を認知する場合、両眼視差以外に単眼情報を手掛かりとして認知するということがすでに指摘されている。その単眼情報の１つに、彩度等の色情報があり、人間は、彩度が鮮やかな場合や印象深い色の領域を近景と感じる傾向にあり、彩度が薄い場合や印象の少ない色領域を近景と感じない傾向にあることが指摘されている。
本発明は、人間の色対比効果による強調・抑制効果を用いた色補正に、人間の３次元認知における特性を考慮した制御を適用させたものである。本発明では、与えられた奥行き情報（近景に含まれる画素か遠景に含まれる画素かの情報）に応じて、その画素の対象色情報における色対比効果の補正ゲイン値を制御し、その対象色情報の色対比効果による補正量を制御する。これにより、本発明では、人間の単眼情報の手掛かりによる３次元認知特性に加えて、画像に奥行き感・遠近感を効果的に付与することが簡易に実現できる。また、本発明では、従来技術のように、明るさ・輝度の平均化処理を実施することがないので、本発明により処理した画像において解像度低下による画質劣化も発生しない。

なお、本発明において色相補正を行う場合の説明で、特定の色の割合をもとに説明したが、例えば、通常のＨＳＶ空間における色味を示す情報を用いることも可能である。
（１．２．３：その他）
また、本発明において、色情報補正部１２における色情報Ｃｉの補正（色情報補正）として、対比補正ゲイン値ＧＣｉを使って色対比による補正量を制御する場合、上記で説明したもの以外に（数式８）および（数式９）で表現される処理により色情報補正を実現させることも可能である。
（数式８）において、Ｃｉが画素ｉの補正対象色情報であり、ＡＣｉが画素Ｐｉの周囲の代表色情報であり、αは正定数であるとする。
また（数式９）において、ｄＴＨ０、Ｇｍａｘは、所定の正定数であり、μは０＜μ＜１を満たす所定の正定数である。

この（数式８）でＣｉ／ＡＣｉが色対比情報データＲＣｉに相当する。ＧＦ（ｘ）は、（数式９）に限定されることはなく（数式９）以外に、なめらかで連続かつＲＣｉの変化に応じて単調増加する非線形関数を（数式９）の代わりに用いるようにしてもよい。
なお、色対比による補正量ｄＣｉとして、（数式１０）による補正量ｄＣｉを採用し、（数式１０）による補正量ｄＣｉにより本発明の処理を実行させることで、補正対象の色情報Ｃｉの急激な変化による飽和現象等を抑制することができる。

さらに、本発明において、色対比情報データＲＣｉを（Ｃｉ−ＡＣｉ）で定義して、その色対比による補正量ｄＣｉを（数式１１）および（数式１２）に示す所定の関数により変換して得られた値を用いることで、対象画素Ｐｉの色情報Ｃｉの補正を実行することも可能である。
（数式１１）および（数式１２）で、
ｄＴＨ１＞０、
ｄＴＨ２＞０、
Ｆｍａｘ＞０．０、
Ｆｍｉｎ＜０．０、
０＜α＜１．０
を満足する定数であるとする。

本発明において、（数式１１）および（数式１２）による処理を実行させることで、補正量の上下限を設定することができるとともに、色対比情報ＲＣｉを所定の範囲において線形的に変化させることができる。（数式１１）および（数式１２）に関しても、これらに限定されるものではなく、他の線形関数や非線形関数を用いて、本発明の処理を実行させるようにしてもよい。

ここで、（数式１）から（数式１２）で使用する正定数等のパラメータは、テーブルデータとして保持されるものとして、外部入力やユーザ指示により当該パラメータによる制御を本発明において実行させることで、本発明における色の補正程度を変更させることも可能である。
最後に、出力部１３では、色情報補正部１２で得られた各画素Ｐｉの対象色情報Ｃｉの補正値とそれ以外の色情報値とをそのまま出力画像データとして出力するようにしてもよい。また、色情報補正部１２で得られた各画素Ｐｉの対象色情報Ｃｉの補正値とそれ以外の色情報値とを、使用機器により扱うことのできる画像フォーマットに変換し、出力画像データとして出力するようにしてもよい。

また、上記説明において、対象色情報Ｃｉを１つとした場合（彩度単独の場合と色相単独の場合）の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報からの色特性情報データは別々に求められ、色情報補正部１２では、対応する色情報に適した補正関数が設定される。
また、上記説明では、奥行き情報ｆｂｉによる対比補正ゲインＧＣｉを算出し、算出した対比補正ゲインＧＣｉと色対比量とにより補正量を修正する方式を本発明で実行させる場合について説明したが、これ以外にも、例えば、奥行き情報ｆｂｉによる色補正量と色対比による色補正量とを合わせることで色情報補正を実行させる方式により本発明を実現させてもよい。

なお、（数式３）は、（数式１３）のように、なめらかに連続な１つの非線形関数を用いてもよい。ここで、ｇは所定の正定数である。同様に、（数式６）も（数式１４）のような１つの非線形関数を用いてもよい。ここで、ｋは正定数である。

［第２実施形態］
図１２から図１４を用いて、本発明の第２実施形態として、奥行き情報に応じて画素における色情報の補正を行う画像処理方法及び画像処理装置について説明する。
＜２．１：画像処理装置の構成＞
第２実施形態に係る画像処理装置は、第１実施形態に係る画像処理装置１００と同様の構成をしており、画像処理装置１００の色情報補正部１２が、本実施形態に係る画像処理装置では色情報補正部２０１２に置換されている点のみが相違する。本実施形態に係る画像処理装置において、画像処理装置１００と同様の部分については、同一の符号を付し、説明を省略する。なお、本実施形態に係る画像処理装置については、図１において、色情報補正部１２を色情報補正部２０１２に置き換えただけのものであるため、本実施形態に係る画像処理装置の全体構成図についての図示を省略する。

図１２に、本発明の第２実施形態に係る画像処理装置の色情報補正部２０１２の構成を示す。また、図１３に、第２実施形態に係る画像処理方法（本実施形態に係る画像処理装置で実行される画像処理方法）の処理フローチャートを示す。
本実施形態に係る画像処理装置は、画像データを処理することで、画像内の色情報を補正する装置である。本実施形態に係る画像処理装置は、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。
第２実施形態に係る本実施形態に係る画像処理装置および画像処理方法の特徴は、第１実施形態において、一定数とした、色対比による補正量を決定する補正係数制御量αを、第２実施形態では、補正係数制御量αを定数（一定値）とせず、色対比量ＲＣｉと補正対象色情報Ｃｉとで制御する点にある。

色情報補正部２０１２は、補正量制御部１０により決定された補正ゲインＧｉに基づいて色情報算出部１１から出力された色情報ｖＣｉを補正した補正色情報ｖＣｉ＿ｎｅｗを取得し、取得した補正色情報ｖＣｉ＿ｎｅｗを出力部１３に出力する。
色情報補正部２０１２は、図１２に示すように、色特性算出部２０と、対比補正量制御部３０と、補正量算出部２１と、補正部２０２２と、を有する。
補正量算出部２１は、色対比量ｖＲＣｉおよび補正ゲインＧｉを入力とし、色対比量ｖＲＣｉおよび補正ゲインＧｉに基づいて、色情報ｖＣｉを補正するための補正量を算出し、算出した補正量を補正部２０２２に出力する。
対比補正量制御部３０は、色情報ｖＣｉおよび色対比量ｖＲＣｉを入力とし、色情報ｖＣｉおよび色対比量ｖＲＣｉに基づいて、対比補正係数制御量αｉを求め、求めた対比補正係数制御量αｉを補正部２０２２に出力する。

補正部２０２２は、色情報ｖＣｉ、補正量算出部２１で算出された補正量、および対比補正量制御部３０により求められた対比補正係数制御量αｉを入力とし、補正量算出部２１で算出された補正量および対比補正係数制御量αｉに基づき、色情報ｖＣｉを補正し、補正した色情報を補正色情報ｖＣｉ＿ｎｅｗとして、出力部１３に出力する。
＜２．２：画像処理装置の動作＞
図１３の処理フローチャートをもとに、本実施形態に係る画像処理装置での処理について説明する。
本実施形態に係る画像処理装置に画像データが入力され、各画素のデータを所定の色情報ｖＣｉへ変換するまでの処理は、第１実施形態と同様である。また、画素ｉにおける色対比量ＲＣｉの算出処理までも第１実施形態を同様であるので省略する。

色特性算出部では、色情報算出部１１で取得された色情報ｖＣｉを構成する色情報Ｃｉの中で、補正対象となる色情報Ｃｉが算出される。対比補正量制御部３０では、色特性算出部２０により取得された色対比量ＲＣｉと、補正対象となる色情報Ｃｉ（ベクトルデータの場合はｖＣｉ）とから、対比補正係数制御量αｉ（ベクトルデータの場合はｖαｉ）を算出する。
補正量算出部２１では、奥行き情報から得られた対比補正ゲイン値ＧＣｉおよび色対比量ＲＣｉに基づいて、対比補正係数（例えば、彩度の場合Ｋｉ（ＲＳｉ，ＧＳｉ）、色相の場合Ｌｉ（ＲＨｉ，ＧＨｉ）。）を算出する。
補正部２０２２では、補正量算出部２１で算出された対比補正量と対比補正量制御部３０で算出された対比補正係数αｉとに基づいて、補正対象となる色情報Ｃｉを補正する。つまり、補正量ｄＣｉ（＝（対比補正係数）×（補正対象色情報Ｃｉ）×αｉ）を制御する補正係数制御量αｉの制御を、対比補正量制御部３０が実施している。この制御を模式的に示したものが図１４である。なお、図１４では、彩度Ｓｉを補正対象とする場合について、示しているが、これに限定されることはなく、例えば、色相補正のように色対比が利用できる色情報Ｃｉについても同様の考え方を本発明に適用させることができる。

まず、図１４において、ｄｅｆαを補正係数制御量αの基準値（デフォルト値）とする。また、色対比量ＲＣｉとして補正対象の色情報Ｃｉ（対象画素Ｐｉの色情報Ｃｉ）のその周辺（対象画素Ｐｉの周辺画素）を代表する色情報ＡＣｉに対する比で定義する。その場合、次の（Ｐ１）および（Ｐ２）に示す点の考慮が必要である。
（Ｐ１）色対比量ＲＣｉ＞１．０で、補正対象である色情報Ｃｉが高い（色情報Ｃｉの値が大きい）場合、色対比による補正量ｄＣｉ２が過剰に大きくなる傾向がある。結果として、得られた色補正量Ｃｉ＿ｎｅｗにおいて、飽和現象が発生する恐れがあるため、この場合の補正係数制御量α（対象画素Ｐｉにおける補正係数制御量をαｉと表記することがあるが、対象画素Ｐｉを意識しない場合は、単に補正係数制御量αと表記する。）を抑制する必要がある。（数式１５）は、その抑制処理を実行させる補正係数制御量αを算出する式の一例を示している。

（Ｐ２）色対比量ＲＣｉ＜１．０で、補正対象である色情報Ｃｉが低い（色情報Ｃｉの値が小さい）場合、色対比による補正量ｄＣｉ２の低下量が大きくなることで画質劣化が生じる可能性がある。この場合の補正係数制御量αを抑制する必要がある。（数式１５）は、その抑制処理を実行させる補正係数制御量αを算出する式の一例を示している。

ここで、ｄＡ１は正定数であり、ｄＡ１＜ｄｅｆαを満足する小さい値である。ＴＨＣｉは色情報Ｃｉに関する閾値である。本発明において、色情報Ｃｉをより細かく分離して補正係数制御量αを制御するようにしてもよい。また、対比量ＲＣｉについても「１．０」以外の複数の閾値を設けて分割し、αを細分領域で制御するようにしてもよい。なお、図１４および（数式１５）では、補正係数制御量αは、分割されたＣｉとＡＣｉとで構成される２次元領域が一定となる（図１４の右図において、４つの分割領域が全て平面となる）ように設定されているが、これに限定されることはなく、例えば、補正係数制御量αは、２つの従属変数であるＣｉとＡＣｉとに応じて連続的に変化するように設定されるものであってもよい。また、（数式１５）において、図１４に示す分割された領域の境界で連続するように色対比による色補正のための補正係数制御量αを変化させて分割領域の境界面をつなげることで、分割領域の境界付近で生じる可能性がある色補正の不具合を改善することも考えられる。

補正部２０２２では、補正量制御部１０により奥行き情報ｆｂｉから算出された対比補正ゲイン値ＧＣｉと色特性算出部２０により算出された色対比量ｖＲＣｉとを用いて、補正量算出部２１で算出された対比補正係数、および、上記のようにして、対比補正量制御部３０により算出された補正係数制御量αを用いて、補正量ｄＣｉを求め、求めた補正量ｄＣｉを補正前の色情報Ｃｉに加算することで補正後の色情報Ｃｉ＿ｎｅｗを求める。つまり、補正部２０２２では、
Ｃｉ＿ｎｅｗ＝Ｃｉ＋ｄＣｉ
なる処理を行う。
出力部１３では、色情報補正部１２で得られた各画素Ｐｉの対象色情報Ｃｉの補正値とそれ以外の色情報値とをそのまま出力画像データとして出力するようにしてもよい。また、色情報補正部１２で得られた各画素Ｐｉの対象色情報の補正値Ｃｉとそれ以外の色情報値とを、使用機器により扱うことのできる画像フォーマットに変換し、出力画像データとして出力するようにしてもよい。

このように、本実施形態に係る画像処理装置では、色対比により各画素の対象色情報のみを補正する補正量を、色情報Ｃｉと色対比量ＲＣｉで制御することで、第１実施形態に係る画像処理装置１００で発生する可能性がある過剰補正を改善することができる。さらに、本実施形態に係る画像処理装置では、本実施形態に係る画像処理装置での処理された画像において、人間が、視覚特性上、自然に感じる奥行き感を向上させる色補正（色情報補正）を実現させることができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報からの色特性情報データは別々に求められ、色情報補正部１２では、対応する色情報に適した補正関数が設定される。

また、上記説明では、奥行き情報ｆｂｉによる補正ゲインＧＣｉを算出し、算出した補正ゲインＧＣｉと色対比量とにより補正量を修正する方式を本発明で実行させる場合について説明したが、これ以外にも、例えば、奥行き情報ｆｂｉによる色補正量と色対比による色補正量とを合わせることで色情報補正を実行させる方式により本発明を実現させてもよい。
［第３実施形態］
図１５〜図１９を用いて、本発明の第３実施形態として、奥行き情報に応じて画素における色情報の補正を行う画像処理方法及び画像処理装置３００について説明する。
＜３．１：画像処理装置の構成＞
図１５に、画像処理装置３００の構成図を示す。また、図１６に、色相対応色情報補正部４２の構成図を示す。

画像処理装置３００は、主に、入力画像信号ｖＩｉから色情報ｖＣｉを算出する色情報算出部１１と、入力画像信号ｖＩｉから色相情報Ｈｉを算出する色相情報算出部４０と、奥行き情報ｆｂｉから補正ゲインＧｉを決定させる補正量制御部１０と、補正量制御部１０により決定された補正ゲインＧｉおよび色相情報算出部４０から出力された色相情報Ｈｉに基づいて、色情報算出部１１から出力された色情報ｖＣｉを補正する色相対応色情報補正部４２と、色相対応色情報補正部４２により補正された補正色情報ｖＣｉ＿ｎｅｗを各種画像フォーマットに変換して出力する出力部１３とから構成される。
なお、第３実施形態に係る画像処理装置３００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
色相情報算出部４０は、入力画像信号ｖＩｉを入力とし、入力画像信号ｖＩｉから色相情報Ｈｉを算出し、算出した色相情報Ｈｉを色相対応色情報補正部４２に出力する。

色相対応色情報補正部４２は、図１２に示すように、色特性算出部２０と、対比補正量制御部３０３０と、補正量算出部２１と、補正部３０２２と、を備える。なお、色特性算出部２０と、補正量算出部２１とは、前述の実施形態と同様であるので、説明を省略する。
対比補正量制御部３０３０は、色相情報算出部４０により算出された色相情報Ｈｉおよび色特性算出部２０により算出された色対比量ｖＲＣｉを入力とし、色対比量ｖＲＣｉおよび色相情報Ｈｉに基づいて、対比補正係数制御量αｉを求め、求めた対比補正係数制御量αｉを補正部３０２２に出力する。
補正部３０２２は、色情報ｖＣｉ、補正量算出部２１により算出された対比補正係数および対比補正量制御部３０３０から出力された対比補正係数制御量αｉを入力とし、対比補正係数および対比補正係数制御量αｉに基づいて、色情報ｖＣｉを補正し、補正した色情報を補正色情報ｖＣｉ＿ｎｅｗとして出力部１３に出力する。

＜３．２：画像処理装置の動作＞
図１７に、第３実施形態に係る画像処理方法（画像処理装置３００での画像処理方法）の処理フローチャートを示す。画像処理装置３００は、画像データを処理することで、画像内の色情報を補正する装置である。画像処理装置３００は、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。
第３実施形態に係る画像処理装置３００および画像処理方法の特徴は、第１実施形態において、一定数とした、色対比による補正量を決定する補正係数制御量αを、色対比量ＲＣｉと色相Ｈｉとで制御する点にある。図１７の処理フローチャートをもとに、画像処理装置３００の処理概要について説明する。

画像処理装置３００に画像データが入力され、各画素のデータを所定の色情報ｖＣｉへ変換するまでの処理は前述の実施形態と同様である。また、画素ｉにおける色対比量ＲＣｉの算出処理までも前述の実施形態と同様であるので、説明を省略する。本実施形態では、色情報ｖＣｉより色相情報Ｈｉが、色相情報算出部４０により、求められる。この色相情報Ｈｉは、色の種類（赤、青、緑等）を表す情報であり、この色相情報Ｈｉとして、たとえば、ＨＳＶ空間変換におけるＨ成分（色相Ｈ成分）を利用することも可能である。また、この色相情報ＨｉをＹＣｂＣｒ空間のＣｂ、Ｃｒにより定義することも可能である。ここでは、ＨＳＶ空間変換における色相Ｈを色相情報Ｈｉとして用いる場合について、以下、説明する。このＨＳＶ空間の場合、画素ｉの色相は、０度から３６０度の値を持つ。例えば、純色の赤色が１１３度付近、純色の緑色が２２５度付近、純色の青色が３５３度付近で表現されるが、各色の明確な境界はない。本発明では、色相Ｈｉに関して、色相がＨｈ０度からＨｈ１度の領域を肌色の領域とし、色相がＨｓ１度からＨｓ２度の領域を空色の領域とし、色相がＨｇ１度からＨｇ２度の領域を緑色の領域と定義することとする。肌色、空色、緑色ともに領域は一義で決定できないが、該当する色もしくはそれに近い色が含まれるような領域を設定することとする。

色特性算出部２０では、色情報算出部１１により取得された色情報ｖＣｉを構成する色情報Ｃｉの中で、補正対象となる色情報Ｃｉが算出される。対比補正量制御部３０３０では、色特性算出部２０により取得された色対比量ＲＣｉと、色相情報Ｈｉとから対比補正係数制御量αｉ（ベクトルデータの場合はｖαｉ）を算出する。
補正量算出部２１では、奥行き情報から得られた対比補正ゲイン値ＧＣｉおよび色対比量ＲＣｉに基づいて、対比補正係数（例えば、彩度の場合Ｋｉ（ＲＳｉ，ＧＳｉ）、色相の場合Ｌｉ（ＲＨｉ，ＧＨｉ）。）を算出する。
補正部３０２２では、補正量算出部２１で算出された対比補正量と対比補正量制御部３０３０で算出された対比補正係数αｉとに基づいて、補正対象となる色情報Ｃｉを補正する。つまり、補正量ｄＣｉ（＝（対比補正係数）×（補正対象色情報Ｃｉ）×αｉ）を制御する補正係数制御量αｉの制御を、対比補正量制御部３０３０が実施している。この制御を模式的に示したものが図１８である。なお、図１８では、彩度Ｓｉを補正する際の例について示しているが、これに限定されることはなく、例えば、色相補正のように色対比が利用できる色情報Ｃｉについても同様の考え方を本発明に適用させることができる。

まず、図１８において、ｄｅｆαを補正係数制御量αの基準値（デフォルト値）とする。また、色対比量ＲＣｉとして補正対象の色情報Ｃｉ（対象画素Ｐｉの色情報Ｃｉ）のその周辺（対象画素Ｐｉの周辺画素）を代表する色情報ＡＣｉに対する比で定義する。その場合、次の（Ｑ１）〜（Ｑ３）に示す点の考慮が必要である。
（Ｑ１）色相Ｈｉが肌色の領域に含まれる場合、この肌色領域での補正は、ユーザに大きく影響を与える（視覚特性上、肌色領域での色の変化は、感度が高く、肌色領域の僅かな色の変化をユーザが認識しやすい。）。そのため、この肌色領域での過剰補正を抑えるために、補正係数制御量αを抑制する必要がある。
（Ｑ２）色相Ｈｉが緑色、あるいは空色の領域に含まれる場合、より色をはっきりさせる方向や鮮やかにする方向へ補正することがユーザに望まれる傾向が強い。空色領域や緑色領域の場合、色対比量ＲＣｉは「１．０」の付近になるため、（数式５）等で表現される補正処理では、補正量が小さくなる。そこで、色対比量ＲＣｉがＲＣｉ＞１．０の場合、補正係数制御量αを大きくする必要がある。

（Ｑ３）色相Ｈｉが緑色、あるいは空色領域に含まれる場合、より色をはっきりさせる方向や鮮やかにする方向へ補正することがユーザに望まれる傾向が強い。空色領域や緑色領域の場合、色対比量ＲＣｉは「１．０」の付近になるため、（数式５）等で表現される補正処理では、補正量が小さくなる。そこで、色対比量ＲＣｉがＲＣｉ＜１．０の場合、補正係数制御量αをやや小さくする方がよい。
図１８は、色相情報Ｈｉが肌色領域に含まれる場合の対比補正係数制御量αの制御を示すものである。この対比補正係数制御量αの制御において、肌色と他の色相の境界では、ｄｅｆαになるようにして、そこから肌色領域の中心Ｈｈｃに向けてαを減少させるように制御する。（数式１６）は、その抑制処理を実行させる補正係数制御量αを算出する式の一例を示している。なお、Ｈｈｃ＝（Ｈｈ１＋Ｈｈ２）／２とする。また、ｄｓｋｉｎは正定数である。

また、図１９は、色相Ｈｉが空色領域に含まれる場合の補正係数制御量αの制御を示すものであり、この２つの領域（（数式１７）の上式および下の式で表される領域）に含まれる画素で色対比量ＲＣｉに応じて補正係数制御量αの値を変化させたものを示している。（数式１７）は、緑色領域の場合（Ｈｇ１＜Ｈｉ＜Ｈｇ２）の補正係数制御量αを算出する式である。

（数式１８）は、空色領域の場合（Ｈｓ１＜Ｈｉ＜Ｈｓ２）の補正係数制御量αを算出する式である。

ここで、ｄＡ２、ｄＡ３は正定数であり、ｄＡ２＜ｄｅｆα、ｄＡ３＜ｄｅｆαを満足する値である。ＲＣ１、ＲＣ２は、緑色領域、空色領域内における色対比量の低い領域と高い領域をつなぐ中間領域の境界を決定させる値であり、
０．０＜ＲＣ１＜１．０、
１．０＜ＲＣ２＜ＲＣＭａｘ
を満足する。ここで、ＲＣＭａｘは色対比量の最大値とする。
本発明において、肌色領域、空色領域および緑色領域における色相Ｈｉをより細かく分離して補正係数制御量αを制御するようにしてもよい。また、本発明において、肌色領域でも色対比量ＲＣｉに応じて、領域を分割して補正係数制御量αを制御することも可能である。また、本発明において、空色領域および緑色領域における色対比量ＲＣｉをもっと細分化して補正係数制御量αを制御するようにしてもよい。

なお、図１９では、不連続な境界（ＲＣｉ＝ＲＣ１である境界面およびＲＣｉ＝ＲＣ２である境界面）が存在するが、色相情報Ｈｉと色対比量ＲＣｉに応じて連続的に変化させて滑らかな境界となるように補正係数制御量αの値を制御させることも可能である。また、（数式１６）および（数式１７）において、ＲＣｉ＝ＲＣ１である境界面、およびＲＣｉ＝ＲＣ２である境界面で滑らかに連続するような関数を用いることで、本発明において、これらの境界付近で発生する可能性がある不具合を改善することができる。
このような補正係数制御量αを用いて、奥行き情報ｆｂｉによる対比補正ゲイン値ＧＣｉで制御した色対比ＲＣｉによる補正量ｄＣｉを求め、補正前の色情報Ｃｉに加算することで補正後の色情報Ｃｉ＿ｎｅｗを求める。つまり、補正部２０２２では、
Ｃｉ＿ｎｅｗ＝Ｃｉ＋ｄＣｉ
なる処理を行う。

出力部１３での処理は、前述の実施形態と同様であるため、説明を省略する。
このように、、画像処理装置３００では、色対比により各画素の対象色情報のみを補正する補正量を、色相情報Ｈｉと色対比量ＲＣｉで制御することで、前述の実施形態に係る画像処理装置で発生する可能性がある過剰補正を改善することができる。さらに、画像処理装置３００では、画像処理装置３００での処理された画像において、人間が、視覚特性上、自然に感じる奥行き感を向上させる色補正（色情報補正）を実現させることができる。また、画像処理装置３００では、従来技術のような解像度低下によるぼけ領域は発生せず、解像度低下による大きな画質劣化を抑制することができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報からの色特性情報データは別々に求められ、色相対応色情報補正部４２では、対応する色情報に適した補正関数が設定される。また、画像処理装置３００において、対象色情報Ｃｉに色相情報Ｈｉを含んだ場合、色相情報算出部４０の処理をそのまま実施するようにしてもよいが、色相情報算出部４０の処理を実施させないで、色情報算出部１１で算出された色相情報Ｈｉを利用するようにしてもよい。

また、上記説明では、奥行き情報ｆｂｉによる補正ゲインＧＣｉを算出し、算出した補正ゲインＧＣｉと色対比量とにより補正量を修正する方式を本発明で実行させる場合について説明したが、これ以外にも、例えば、奥行き情報ｆｂｉによる色補正量と色対比による色補正量とを合わせることで色情報補正を実行させる方式により本発明を実現させてもよい。
［第４実施形態］
図２０〜図２３を用いて、本発明の第４実施形態として、奥行き情報に応じて画素における色情報の補正を行う画像処理方法及び画像処理装置４００について説明する。
＜４．１：画像処理装置の構成＞
図２０に、本発明の第４実施形態に係る画像処理装置４００の構成図を示す。また、図２１に、明るさ対応色情報補正部５２の構成図を示す。

画像処理装置４００は、主に、入力画像信号ｖＩｉから色情報ｖＣｉを算出する色情報算出部１１と、入力画像信号ｖＩｉから明るさ情報Ｙｉを算出する明るさ情報算出部５０と、奥行き情報ｆｂｉから補正ゲインＧｉを決定させる補正量制御部１０と、補正量制御部１０により決定された補正ゲインＧｉおよび明るさ情報算出部５０から出力された明るさ情報Ｙｉに基づいて、色情報算出部１１から出力された色情報ｖＣｉを補正する明るさ対応色情報補正部５２と、明るさ対応色情報補正部５２により補正された補正色情報ｖＣｉ＿ｎｅｗを各種画像フォーマットに変換して出力する出力部１３とから構成される。
なお、第４実施形態に係る画像処理装置４００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
明るさ情報算出部５０は、入力画像信号ｖＩｉを入力とし、入力画像信号ｖＩｉから明るさ情報Ｙｉを算出し、算出した明るさ情報Ｙｉを明るさ対応色情報補正部５２に出力する。

明るさ対応色情報補正部５２は、図２１に示すように、色特性算出部２０と、対比補正量制御部４０３０と、補正量算出部２１と、補正部４０２２と、を備える。なお、色特性算出部２０と、補正量算出部２１とは、前述の実施形態と同様であるので、説明を省略する。
対比補正量制御部４０３０は、明るさ情報算出部５０により算出された明るさ情報Ｙｉおよび色特性算出部２０により算出された色対比量ｖＲＣｉを入力とし、色対比量ｖＲＣｉおよび明るさ情報Ｙｉに基づいて、対比補正係数制御量αｉを求め、求めた対比補正係数制御量αｉを補正部４０２２に出力する。
補正部４０２２は、色情報ｖＣｉ、補正量算出部２１により算出された対比補正係数および対比補正量制御部４０３０から出力された対比補正係数制御量αｉを入力とし、対比補正係数および対比補正係数制御量αｉに基づいて、色情報ｖＣｉを補正し、補正した色情報を補正色情報ｖＣｉ＿ｎｅｗとして出力部１３に出力する。

＜４．２：画像処理装置の動作＞
図２２に、第４実施形態に係る画像処理方法（画像処理装置４００での画像処理方法）の処理フローチャートを示す。画像処理装置４００は、画像データを処理することで、画像内の色情報を補正する装置である。画像処理装置４００は、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。
第４実施形態に係る画像処理装置４００および画像処理方法の特徴は、第１実施形態において、一定数とした、色対比による補正量を決定する補正係数制御量αを、色対比量ＲＣｉと明るさ情報Ｙｉとで制御する点にある。図２２の処理フローチャートをもとに、画像処理装置４００の処理概要について説明する。

画像処理装置４００に画像データが入力され、各画素のデータを所定の色情報ｖＣｉへ変換するまでの処理は前述の実施形態と同様である。また、画素ｉにおける色対比量ＲＣｉの算出処理までも前述の実施形態と同様であるので、説明を省略する。本実施形態では、入力画像データｖＩｉより明るさ情報Ｙｉが、明るさ情報算出部５０により求められる。明るさ情報としては、多くの例があり、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データの輝度Ｙや、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データの明度Ｌ等がその代表例である。ここでは、ＹＣｂＣｒ空間データにおける輝度Ｙを画素ｉで計算して明るさ情報Ｙｉとする場合について説明する。
対比補正量制御部４０３０は、この明るさ情報Ｙｉと色対比量ＲＣｉとをもとに、補正係数制御量αを算出する。そして、この補正係数制御量αを変化させることで、画像処理装置４００において、より望む画像を生成することが可能となる。

図２２は、画像処理装置４００において、補正係数制御量αを制御することで実現される色情報補正処理の処理フローを示している。ここで、ｄｅｆαは補正係数制御量αの基準値（デフォルト値）とする。また、色対比量ＲＣｉとして補正対象の色情報Ｃｉ（対象画素Ｐｉの色情報Ｃｉ）のその周辺（対象画素Ｐｉの周辺画素）を代表する色情報ＡＣｉに対する比で定義する。その場合、次の（Ｒ１）および（Ｒ２）に示す点の考慮が必要である。
（Ｒ１）対象画素ｉの明るさ情報Ｙｉの値が高い（大きい）場合、色補正した結果生じる効果が、人間の視覚特性上、過剰な色補正であると感じられる可能性がある。特に、色対比量ＲＣｉがＲＣｉ＞１．０の場合は、補正係数制御量αを抑制することが好ましい。
（Ｒ２）対象画素ｉの明るさ情報Ｙｉの値が低い（小さい）場は、色補正した結果生じる効果があまり感じられない可能性がある。特に、色対比量ＲＣｉ＜１．０の場合、色対比効果により周囲よりも色情報を抑えることによる色情報補正の効果が、明るさ情報が低いため（つまり、対象画素の周辺の領域の明るさが暗いため）に感じられにくい。そのため、明るさ情報Ｙｉの値が低く（小さく）、色対比量ＲＣｉ＜１．０のときは、補正係数制御量αを大きくするのが好ましい。一方、明るさ情報Ｙｉの値が低く（小さく）、色対比量ＲＣｉ＞１．０の場合は、補正係数制御量αは基準値、もしくは、やや大きめの値にするのが好ましい。（数式１９）は、上記考え方を考慮して、補正係数制御量αを算出する式の一例である。

ここで、ｄＡ３、ｄＡ３ｓは正定数であり、ｄＡ３＜ｄｅｆα、ｄＡ３ｓ＜α、ｄＡ３ｓ＜ｄＡ３を満足する小さい値である。また、Ｙｈは、明るさ情報Ｙｉが大きいかどうか判定をおこなう閾値であり、複数のＹｈで分割するようにしてもよい。同様に、色対比量ＲＣｉも「１．０」以外に複数の閾値を設けて分割してもよい。なお、図２３および（数式１９）では、補正係数制御量αｉは、分割されたＹｉとＡＣｉとで構成される２次元領域が一定となるように設定されているが、これに限定されることはなく、例えば、補正係数制御量αは、２つの従属変数であるＹｉとＡＣｉとに応じて連続的に変化するように設定されるものであってもよい。また、（数式１９）において、図２３に示す分割された領域の境界で連続するように色対比による色補正のための補正係数制御量αを変化させて分割領域の境界面をつなげることで、分割領域の境界付近で生じる可能性がある色補正の不具合を改善することも考えられる。

このように、画像処理装置４００では、色対比により各画素の対象色情報のみを補正する補正量を、明るさ情報Ｙｉと色対比量ＲＣｉとで制御することで、前述の実施形態に係る画像処理装置で発生する可能性がある過剰補正を改善することができる。さらに、画像処理装置４００では、画像処理装置４００により処理された画像において、色情報補正の効果の小さい低明るさ領域（暗い領域）でも、色情報補正を適切に行うことができ、かつ、奥行き感を向上させる色補正（色情報補正）を行うことができる。また、画像処理装置４００では、従来技術のような解像度低下によるぼけ領域を発生させることはなく、解像度低下による大きな画質劣化を抑制することができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報からの色特性情報データは別々に求められ、明るさ対応色情報補正部５２では、対応する色情報に適した補正関数が設定される。

また、上記説明では、奥行き情報ｆｂｉによる補正ゲインＧＣｉを算出し、算出した補正ゲインＧＣｉと色対比量とにより補正量を修正する方式を本発明で実行させる場合について説明したが、これ以外にも、例えば、奥行き情報ｆｂｉによる色補正量と色対比による色補正量とを合わせることで色情報補正を実行させる方式により本発明を実現させてもよい。
［第５実施形態］
図２４〜図２８を用いて、本発明の第５実施形態として、奥行き情報に応じて画素における色情報の補正を行う画像処理方法及び画像処理装置について説明する。
＜５．１：画像処理装置の構成＞
図２４に、本発明の第５実施形態に係る本実施形態に係る画像処理装置の明るさ対応色情報補正部５０５２の構成を示す。なお、第５実施形態に係る本実施形態に係る画像処理装置は、第4実施形態に係る画像処理装置４００と同様の構成を有しており、画像処理装置４００の明るさ対応色情報補正部５２を明るさ対応色情報補正部５０５２に置換した点のみが異なる。

また、第５実施形態に係る本実施形態に係る画像処理装置において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
明るさ対応色情報補正部５０５２は、図２４に示すように、色特性算出部２０と、明るさ特性算出部６０と、対比補正量制御部５０３０と、補正量算出部２１と、補正部５０２２と、を備える。なお、色特性算出部２０と、補正量算出部２１とは、前述の実施形態と同様であるので、説明を省略する。
明るさ特性算出部６０は、明るさ情報算出部５０からの明るさ情報Ｙｉを入力とし、明るさ情報Ｙｉとその周辺を代表する代表明るさ情報ＡＹｉとの比較より明るさ対比量ＲＹｉを算出し、算出した明るさ対比量ＲＹｉを対比補正量制御部５０３０に出力する。
対比補正量制御部５０３０は、明るさ特性算出部６０により算出された明るさ対比量ＲＹｉおよび色特性算出部２０により算出された色対比量ｖＲＣｉを入力とし、色対比量ｖＲＣｉおよび明るさ対比量ＲＹｉに基づいて、対比補正係数制御量αｉを求め、求めた対比補正係数制御量αｉを補正部５０２２に出力する。

補正部５０２２は、色情報ｖＣｉ、補正量算出部２１により算出された対比補正係数および対比補正量制御部５０３０から出力された対比補正係数制御量αｉを入力とし、対比補正係数および対比補正係数制御量αｉに基づいて、色情報ｖＣｉを補正し、補正した色情報を補正色情報ｖＣｉ＿ｎｅｗとして出力部１３に出力する。
＜５．２：画像処理装置の動作＞
図２６は、第５実施形態に係る画像処理方法（本実施形態に係る画像処理装置での画像処理方法）の処理フローチャートを示す。図２７は、本実施形態に係る画像処理装置による処理における明るさ対比量の算出過程を示す処理フローチャートである。本実施形態に係る画像処理装置は、画像データを処理することで、画像内の色情報を補正する装置である。本実施形態に係る画像処理装置は、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。

第５実施形態に係る本実施形態に係る画像処理装置および画像処理方法の特徴は、第１実施形態において、一定数とした、色対比による補正量を決定する補正係数制御量αを、色対比量ＲＣｉと明るさ対比量ＲＹｉとで制御する点にある。図２６および図２７の処理フローチャートをもとに、本実施形態に係る画像処理装置の処理概要について説明する。
本実施形態に係る画像処理装置に画像データが入力され、各画素のデータを所定の色情報ｖＣｉへ変換するまでの処理は前述の実施形態と同様である。また、画素ｉにおける色対比量ＲＣｉの算出処理までも前述の実施形態と同様であるので省略する。本実施形態では、色情報ｖＣｉより明るさ情報Ｙｉが、明るさ情報算出部５０により求められることも前述の実施形態と同じであるので、説明を省略する。

明るさ特性算出部６０により、明るさ情報Ｙｉとその周辺を代表する代表明るさ情報ＡＹｉとの比較より明るさ対比量ＲＹｉが算出される。図２７のフローチャートおよび図２５の構成要素図に示すように、各画素に対して、周辺明るさ情報算出部７０と明るさ対比量算出部７１を経て、明るさ対比量ＲＹｉが生成される。この明るさ対比量としては、多くのものが考えられるが、より人間の見た目に近いような補正を実現するために、人間の視覚特性に対応した情報を用いることとした。人間の視覚特性として、多くのものがあり、本実施形態の本実施形態に係る画像処理装置では、明るさ特性に関する明るさ対比特性を考慮し、明るさ対比量を用いることとした。色に対する色対比が明るさ情報についても生じることが知られており、明るさ対比量は、その程度を数値化したものである。例えば、明るさがの低い大きな円中心部分に、その周囲よりも明るさが高い小さな中心円がある例を考える。この場合、大きな円の中心部は、人間には、実際の明るさよりもより明るく感じる傾向があることが視覚心理より明らかとされている。この現象は、明るさ対比特性により生じる現象であり、対象物体の周囲を異なる明るさが取り囲む場合に、物体の明るさが、その周囲の明るさに影響を受けることにより発生する現象である。

つまり、物体自体の明るさよりもその物体の周囲を取り囲む明るさが高い場合、物体の明るさは低く感じられる。逆に、物体自体の明るさよりもその物体の周囲を取り囲む明るさが低い場合、物体の明るさは高く感じられる。
本発明では、この明るさ対比特性を、前述の実施形態で使用した色対比特性と組み合わせることで、前述の実施形態に係る画像処理装置よりも高精度に人間の関心度が高い部分の色補正を行い、さらに、その結果を奥行き情報による色補正と融合させる。これにより本発明では、人間が自然に感じる奥行き感を向上させる画像を生成することができる。
なお、本実施形態に係る画像処理装置では、明るさ対比量ＲＹｉを求める際の周辺領域として、色対比の場合と同じように人間の視野に相当する画像の１／６から１／３程度を占める画素範囲（領域）を用いて処理することとした。この際、対象画素Ｐｉの周囲の画素の代表明るさＡＹｉとしては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均明るさを、対象画素Ｐｉの周囲の画素の代表明るさＡＹｉとすることとが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の明るさ（輝度）についてのヒストグラム（輝度ヒストグラム）を求め、その輝度ヒストグラムにおいて、最も度数の多い輝度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表輝度や、視野領域内の平均輝度度等を、代表明るさＡＹｉとすることも可能である。

また、明るさ対比量ＲＹｉの定義として、
（１）補正対象の明るさ情報Ｙｉの、その周辺を代表する明るさ情報ＡＹｉに対する比、
（２）補正対象の明るさ情報Ｙｉから、その周辺を代表する明るさ情報ＡＹｉを減算した値、
等の定義を採用することができる。なお、これ以外にも多くの定義があることは、色対比量ＲＣｉの場合と同様である。
対比補正量制御部５０３０は、この明るさ対比量ＲＹｉと色対比量ＲＣｉとをもとに、補正係数制御量αを算出する。そして、この補正係数制御量αを変化させることで、本実施形態に係る画像処理装置において、より望む画像を生成することが可能となる。
図２８は、補正係数制御量αの制御を模式的に示したものである。ここで、ｄｅｆαは補正係数制御量αの基準値（デフォルト値）とする。また、色対比量ＲＣｉを、補正対象の色情報Ｃｉの、その周辺を代表する色情報ＡＣｉに対する比で定義する。また、明るさ対比量ＲＹｉとして、補正対象の明るさ情報Ｙｉの、その周辺を代表する明るさ情報ＡＹｉに対する比で定義する。この場合、次の（Ｓ１）〜（Ｓ３）に示す点の考慮が必要である。

（Ｓ１）対象画素ｉの明るさ対比量ＲＹｉおよび色対比量ＲＣｉがともに高い（大きな値である）場合、その画素ｉは、注目されやい領域に含まれる可能性がある。そこで、より効果を出すために、補正係数制御量αを大きくする方がよい。
（Ｓ２）対象画素ｉの明るさ対比量ＲＹｉおよび色対比量ＲＣｉがともに低い（小さな値である）場合、その画素ｉは、あまり注目されない領域に含まれる可能性がある。そこで、効果を抑えるために、補正係数制御量αを抑えた方がよい。
（Ｓ３）（Ｓ１）と（Ｓ２）との間の領域では、両方の領域における中庸に属する補正係数制御量αの値を用いるか、あるいは補正係数制御量αのデフォルト値を用いる。
（数式２０）は、上記考え方に基づいて、補正係数制御量αを算出する式の一例である。そして、（数式２０）は、上記（Ｓ３）で説明した領域では、デフォルト値であるｄｅｆαを用いている式である。

ここで、ｄＡ４は正定数であり、ｄＡ４＜ｄｅｆαを満足する小さい値である。色対比量ＲＣｉおよび明るさ対比量ＲＹｉは、「１．０」で、その取り得る範囲を分割したが、これ以外にも色対比量ＲＣｉおよび明るさ対比量ＲＹｉが取り得る範囲を分割するための閾値を複数設けて分割してもよい。なお、図２８および（数式２０）では、補正係数制御量αｉは、分割されたＲＹｉとＲＣｉとで構成される２次元領域が一定となるように設定されているが、これに限定されることはなく、例えば、補正係数制御量αは、この２つの従属変数であるＲＹｉとＲＣｉとに応じて連続的に変化するように設定されるものであってもよい。また、（数式２０）において、図２８に示す分割された領域の境界で連続するように色対比による色補正のための補正係数制御量αを変化させて分割領域の境界面をつなげることで、分割領域の境界付近で生じる可能性がある色補正の不具合を改善することも考えられる。

このように、本実施形態に係る画像処理装置では、色対比により各画素の対象色情報のみを補正する補正量を、明るさ対比量ＲＹｉと色対比量ＲＣｉとで制御し、より注目度の高い領域での色補正の効果を高め、注目度の低い領域での色補正を抑えることで、奥行き感を向上させる効果をさらに高める。また、本実施形態に係る画像処理装置では、従来技術のような解像度低下によるぼけ領域は発生することはなく、解像度低下による大きな画質劣化を抑制することができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報からの色特性情報データは別々に求められ、明るさ対応色情報補正部５０５２では、対応する色情報に適した補正関数が設定される。

また、上記説明では、奥行き情報ｆｂｉによる補正ゲインＧＣｉを算出し、算出した補正ゲインＧＣｉと色対比量とにより補正量を修正する方式を本発明で実行させる場合について説明したが、これ以外にも、例えば、奥行き情報ｆｂｉによる色補正量と色対比による色補正量とを合わせることで色情報補正を実行させる方式により本発明を実現させてもよい。
［第６実施形態］
図２９〜図３１を用いて、本発明の第６実施形態として、奥行き情報に応じて画素における色情報の補正を行う画像処理方法及び画像処理装置６００について説明する。
＜６．１：画像処理装置の構成＞
図２９に、本発明の第７実施形態である画像処理装置６００の構成図を示す。また、図３０に、拡張色情報補正部８０の構成図を示す。

画像処理装置６００は、入力画像信号ｖＩｉから色情報ｖＣｉを算出する色情報算出部１１と、入力画像信号ｖＩｉから明るさ情報Ｙｉを算出する明るさ情報算出部５０と、入力画像信号ｖＩｉから色相情報Ｈｉを算出する色相情報算出部４０と、奥行き情報ｆｂｉから補正ゲインＧｉを決定させる補正量制御部１０と、を備える。また、画像処理装置６００は、補正量制御部１０により決定された補正ゲインＧｉ、明るさ情報Ｙｉおよび色相情報Ｈｉに基づいて、色情報算出部１１から出力された色情報ｖＣｉを補正する拡張色情報補正部８０と、拡張色情報補正部８０により補正された補正色情報ｖＣｉ＿ｎｅｗを各種画像フォーマットに変換して出力する出力部１３とから構成される。
なお、第６実施形態に係る画像処理装置６００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。

拡張色情報補正部８０は、図３０に示すように、色特性算出部２０と、明るさ特性算出部６０と、対比補正量制御部６０３０と、補正量算出部２１と、補正部６０２２と、を備える。なお、色特性算出部２０と、補正量算出部２１、明るさ特性算出部５０とは、前述の実施形態と同様であるので、説明を省略する。
対比補正量制御部６０３０は、明るさ情報算出部５０により算出された明るさ情報Ｙｉと、明るさ特性算出部６０により算出された明るさ対比量ＲＹｉと、色相情報算出部４０により算出された色相情報Ｈｉと、色情報算出部１１により算出された色情報ｖＣｉと、を入力とし、明るさ情報Ｙｉ、明るさ対比量ＲＹｉおよび色相情報Ｈｉにに基づいて、対比補正係数制御量αｉを求め、求めた対比補正係数制御量αｉを補正部６０２２に出力する。

補正部６０２２は、色情報ｖＣｉ、補正量算出部２１により算出された対比補正係数および対比補正量制御部６０３０から出力された対比補正係数制御量αｉを入力とし、対比補正係数および対比補正係数制御量αｉに基づいて、色情報ｖＣｉを補正し、補正した色情報を補正色情報ｖＣｉ＿ｎｅｗとして出力部１３に出力する。
＜６．２：画像処理装置の動作＞
図３１に、第７実施形態に係る画像処理方法（画像処理装置６００での画像処理方法）の処理フローチャートを示す。画像処理装置６００は、画像データを処理することで、画像内の色情報を補正する装置である。画像処理装置６００は、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。

第６実施形態に係る画像処理装置６００および画像処理方法の特徴は、第１実施形態において、一定数とした、色対比による補正量を決定する補正係数制御量αを、色対比量ＲＣｉ、色相Ｈｉ、明るさ情報Ｙｉ、明るさ対比量ＲＹｉ、および補正対象色情報Ｃｉで制御する点にある。つまり、第6実施形態は、第１実施形態に、第２から第５実施形態の特徴を加えたものである。よって、図３１に示す処理フローチャートでも明らかのように、画像処理装置６００に画像データが入力され、各画素のデータを所定の色情報ｖＣｉへ変換される。それとともに、明るさ情報Ｙｉの算出を明るさ情報算出部５０が行い、色相情報Ｈｉの算出を色相情報算出部４０が行う。
次に、明るさ対比量ＲＹｉの算出を明るさ特性算出部６０が行い、色対比量ＲＣｉの算出を色特性算出部２０が行う。これらの結果を受けて、対比補正量制御部６０３０が、補正係数制御量αの制御を行う。つまり、対比補正量制御部６０３０は、明るさ情報Ｙｉ、明るさ対比量ＲＹｉ、色相情報Ｈｉに基づいて、補正係数制御量αを算出する。そして、この補正係数制御量αを変化させることで、画像処理装置６００において、より望む画像を生成することが可能となる。

出力部１３では、拡張色情報補正部８０で得られた各画素Ｐｉの対象色情報Ｃｉの補正値とそれ以外の色情報値とをそのまま出力画像データとして出力するようにしてもよい。また、拡張色情報補正部８０で得られた各画素Ｐｉの対象色情報Ｃｉ（例えば、彩度）の補正値とそれ以外の色情報値（例えば、色相と明度）とを、使用機器により扱うことのできる画像フォーマットに変換し、出力画像データとして出力するようにしてもよい。
なお、補正係数制御量αは、例えば、第２から第５実施形態での制御を組み合わせることで実施が可能である。また、前述した各パラメータと補正係数制御量αとで構成される空間において、その空間に属する領域を分割して各領域で適正な補正係数制御量αを定義するようにしてもよい。この場合、各領域の境界付近をなめらかになるように、各領域の境界を接続させて境界付近で生じる可能性がある色補正の不具合を改善するようにしてもよい。

さらに、補正係数制御量αを、色対比量ＲＣｉ、色相Ｈｉ、明るさ情報Ｙｉ、明るさ対比量ＲＹｉ、および補正対象色情報Ｃｉの関数とみなして、なめらかに変化する連続関数で定義するようにしてもよい。
このようにすることで、色対比による補正量を、より柔軟かつ詳細に制御することが可能となる。つまり、画像処理装置６００により処理を行うことで、奥行き感の向上した画像を、より柔軟に作り出すことが可能となる。また、画像処理装置６００では、従来技術において課題となっている解像度低下による大きな画質劣化や印象の低下を発生させることもない。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報からの色特性情報データは別々に求められ、拡張色情報補正部８０では、対応する色情報に適した補正関数が設定される。

また、上記説明では、奥行き情報ｆｂｉによる補正ゲインＧＣｉを算出し、算出した補正ゲインＧＣｉと色対比量とにより補正量を修正する方式を本発明で実行させる場合について説明したが、これ以外にも、例えば、奥行き情報ｆｂｉによる色補正量と色対比による色補正量とを合わせることで色情報補正を実行させる方式により本発明を実現させてもよい。
［第７実施形態］
図３２から図３７を用いて、本発明の第７実施形態として、画素における色対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置７００について説明する。
図３２に、本発明の第７実施形態に係る画像処理装置７００の構成を示す。また、図３３に画像処理装置７００の奥行き推定部１００６の構成を示す。

図３４に、第７実施形態に係る画像処理方法の処理フローチャートを示し、図３５に、第７実施形態に係る画像処理方法内の奥行き推定ステップの処理フローチャートを示す。
第７実施形態に係る画像処理装置７００は、主に、色情報算出部１００４と、奥行き推定部１００６と、奥行き補正部１００８と、出力部１０１０とにより構成される。また、奥行き推定部１００６は、色特性算出部１０２０と、奥行き度算出部１０２３と、を備える。また、色特性算出部１０２０は、周辺代表色算出部１０２１と、色対比量算出部１０２２と、を有する。
画像処理装置７００は、画像データを処理することで、画像内の奥行き情報を推定して奥行き補正する装置である。画像処理装置７００は、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。

図３４、図３５に従い、本発明の第７実施形態に係る画像処理方法及び画像処理装置７００について説明する。
まず、画像処理装置７００に画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換される。ここでは、画像入力データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像入力データをそのまま扱うことも可能である。
奥行き推定部１００６は、色情報ｖＣｉを受けて、画像内の奥行き情報を推定する。その際、まず、色特性算出部１０２０で、色情報算出部１００４で得られた色情報ｖＣｉのうちで、補正対象である色情報Ｃｉに対する特性情報が算出される。例えば、ＨＳＶ系に変換した場合で、彩度Ｓの補正を行う場合は、彩度Ｓに関する特性情報が算出される。ここでは、画素Ｐｉにおける色情報ｖＣｉのうちで補正対象である色情報をＣｉとする。

色特性算出部１０２０は、図３３に示すように、各画素に対して、周辺代表色算出部１０２１と色対比量算出部１０２２とを経て、色特性情報データを生成する。この色特性情報データｉとしては、多くのものが考えられるが、より人間の見た目に近い視覚特性を表現するために、人間の視覚特性に対応した色対比量ＲＣｉを用いることとする。なお、人間の視覚特性として、多くのものがあり、色対比量以外にも明るさ対比量や、大きさ・画素特性等も用いることができる。
色特性算出部１０２０では、各画素の色対比量データＲＣｉが算出される。
まず、周辺代表色算出部１０２１で対象画素Ｐｉの周囲の代表色情報ＡＣｉが算出される。この場合、画像（全画像領域）の１／６から１／３程度の領域を周辺領域（視野領域）として、その中での重み付き平均色情報ＡＣｉが求められる。

色対比量算出部１０２２では、画素Ｐｉの色対比量ＲＣｉが求められる。ここでは、対象画素Ｐｉの対象色情報Ｃｉの代表色情報ＡＣｉに対する比を色対比量ＲＣｉと定義する。これ以外にも、色対比情報データＲＣｉとして（Ｃｉ−ＡＣｉ）で定義することが可能である。
次に、奥行き度算出部１０２３が、この色対比量ＲＣｉを用いて、画像内の奥行き情報を推定する。図３６に、その考え方を模式的に示す。図３６では、色対比として、彩度による対比について説明しているが、他の色相対比等についても定性的には同様に考えることができる。図３６の中に２つの花弁がある。２つの花弁の花びらは同じ色情報である彩度を持つ。それに対して、左の花弁の中心は周囲の花びらより彩度が高く、右の花弁の中心は周囲の花びらより彩度が低いと仮定する。この場合、左の花弁中心部内の画素Ｐｃで得られる彩度対比量ＲＳＰｃと右の花弁中心部内の画素Ｑｃで得られる彩度対比量ＲＳＱｃとを比較すると、ＲＳＰＣ＞ＲＳＱｃとなる。その結果、この彩度対比の影響により、左の花弁中心部では、視覚特性上、実際の彩度ＳＰｃよりも鮮やかに感じられることとなり、右の花弁中心部では実際の彩度ＳＱｃよりも薄く感じられることとなる。そのため、左の花弁中心部では、より人間の注目度が高くなることで、近景に含まれる可能性が高いと判断できる。一方、右の花弁中心部では、人間の注目度が落ちることで、近景に含まれる可能性が低いと判断できる。

本発明では、以上のような事実に基づき、対象画素の色対比量ＲＣｉが高い画素は、注目度の高い領域に含まれる画素、つまり近景領域に含まれる画素とみなして、その画素の奥行き度ｆｂｉに高い値を設定する。なお、奥行き度ｆｂｉは、０．０≦ｆｂｉ≦１．０を満たし、ｆｂｉ＝１．０で近景の可能性が最も高いことを示し、ｆｂｉ＝０．０で近景の可能性が最も低い（遠景）ことを示すものと定義した。図３７は、色対比量ＲＣｉと奥行き度ｆｂｉとの間の関係を示すものである。色対比量ＲＣｉがＲＣｉ＝１．０の画素では近景・遠景の中間距離にあるものとみなして、奥行き度ｆｂｉを「０．５」に設定する。色対比量ＲＣｉが最大色対比量ＭａｘＲＣｉに向かって増大するにしたがい、近景に属する可能性が大きくなるとして、その奥行き度ｆｂｉも「１．０」へ向かって単調増加させる。逆に、色対比量ＲＣｉが「０．０」に向かって減少するにしたがい、近景に属する可能性が小さくなるものとして、その奥行き度ｆｂｉも「０．０」へ向かって単調減少させる。このようにして、各画素の奥行き度ｆｂｉを定義した後、この値を奥行き補正部１００８で実施される補正対象色情報Ｃｉの色補正を行う際の補正ゲインとする。なお、この色補正としては、例えば、所定の変動量ＤｅｆＣｉをもとに（数式２１）のように変化させることで、補正色情報Ｃｉ＿ｎｅｗを求めるようにしてもよい。

ここで、Ｃｉ＿ｎｅｗが補正対象色情報の補正後の値になる。βは所定の正定数である。
また、色対比による色補正を行うことも可能であり、その場合、一例として、（数式２２）、（数式２３）により、補正色情報Ｃｉ＿ｎｅｗを求めるようにすることも可能である。

ＴＨ０、Ｇｍａｘ、βは、所定の正定数であり、μは０＜μ＜１を満たす所定の正定数である。（数式２２）は、色対比による補正量に補正対象Ｃｉ項を加えることで（（数式２２）の２項目にＣｉを乗算させることで）、補正対象の色情報Ｃｉの急激な変化により発生する処理画像上での飽和現象を抑制するように、補正色情報Ｃｉ＿ｎｅｗを求める式の一例である。なお、ここで示した奥行き向上のために色補正は一例であり、多くの手法が考えられる。
最後に、出力部１０１０では、奥行き補正部１００８で得られた各画素Ｐｉの対象色情報Ｃｉの補正値とそれ以外の色情報値とをそのまま出力画像データとして出力するようにしてもよい。また、奥行き補正部１００８で得られた各画素Ｐｉの対象色情報Ｃｉ（例えば、彩度）の補正値とそれ以外の色情報値（例えば、色相と明度）とを、使用機器により扱うことのできる画像フォーマットに変換し、出力画像データとして出力するようにしてもよい。

画像処理装置７００では、このように色対比量を用いて奥行き度を推定することで、テクスチャパターンのような弱い輪郭部や周囲外光等の撮影条件により適切に抽出できなかった輪郭部に対しても、奥行き推定が可能である。さらに、画像処理装置７００では、従来技術のように輪郭部と思われる画素の２次微分信号に対して、さらに閾値処理を行う必要がないため、奥行き情報判定の際にも閾値判定精度の影響を受けることはない。
また、従来技術のように２次微分信号を用いる場合に問題であった奥行き感に影響を及ぼさない（奥行き感に関係がない）ぼけ領域があったとしても、周囲より対象部分の色情報が大きいかどうかを示す色対比を求めることは可能であるため、色対比が高い部分を抽出することはできる。このように色対比が高い領域では、人間が注目する傾向が高いことも指摘されており、本発明では、色対比が高い領域を近景とみなすことで、画像内の奥行き情報を簡易に推定することができる。

また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。
［第８実施形態］
図３８から図４０を用いて、本発明の第８実施形態として、画素における色対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置について説明する。

図３８に、本発明の第８実施形態である画像処理装置内の奥行き推定部８０６の構成を示す。図３９に、第８実施形態である画像処理方法の奥行き推定処理のフローチャートを示す。
第８実施形態に係る画像処理装置は、第7実施形態に係る画像処理装置７００において、奥行き推定部１００６を奥行き推定部８０６に置換したものである。この点のみが、第８実施形態に係る画像処理装置と、第7実施形態に係る画像処理装置７００との差異点であり、他の部分については同様であるので、同様である部分については、説明を省略する。
第８実施形態の画像処理装置内の奥行き推定部８０６は、主に、色特性算出部１０２０と、近景画素判定部１０３０と、近景位置推定部１０３１と、ゲイン算出部１０３２とから構成される。前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。

図３２、図３８に従い、本発明の第８実施形態である画像処理装置及び画像処理方法について説明する。
本実施形態の画像処理装置に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換される。ここでは、画像入力データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像入力データをそのまま扱うことも可能である。また、周辺代表色算出部１０２１では、画素ｉの周辺領域内の対象色情報Ｃｉの代表色情報ＡＣｉを求め、色対比量算出部１０２２が、色対比量ＲＣｉを求めることも前述の実施形態と同様である。

そして、近景画素判定部１０３０が近景画素候補より構成される画素グループＧｒを決定する。図４０の左図は、この候補選択処理について、模式的に説明するための図である。画素グループＧｒの決定の方法としては、多くの方法がある。例えば、所定の閾値ＴｈＲＣを設定して、その値よりも大きなＲＣｉを持つ画素ｉをＧｒに含めるという方法を採用してもよい。また、図４０の左図に示すように、画像内の色対比量ＲＣｉのヒストグラムより閾値ＴｈＲＣを決定して、その閾値より大きなＲＣｉを持つ画素をＧｒに含める方法を採用してもよい。さらに、画像内の色対比量ＲＣｉの平均値ＡＲＣとその標準偏差ｄＲＣを求め、
Ｇｒ＝｛ｉ｜ＡＲＣ−ｄＲＣ≦ＲＣｉ≦ＡＲＣ＋ｄＲＣ、０≦ｉ≦ＮＮＮ−１｝
として求める方法を採用することも可能である。

ここでは、図４０の左図の方法で近景画素候補Ｇｒを求めたとする。
次に、近景位置推定部１０３１が、このＧｒを使って、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を求める。図４０に示すように、Ｇｒに属する画素数ＮＧｒであった場合、（数式２４）のようにして、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を求める。なお、これ以外にも、Ｇｒで最大の色対比量をもつ画素位置や、Ｇｒ内での色対比量に対するヒストグラムより、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を決める方法を採用することも可能である。（数式２４）で、（Ｘｋ、Ｙｋ）は画素ｋの（Ｘ座標、Ｙ座標）を示す。

この（ＣｅｎＸ、ＣｅｎＹ）は、近景に含まれる可能性が高いものの平均座標に相当する。近景画素判定処理には、閾値処理が含まれるが、近景画素判定処理において近景に含まれる可能性が高いと判定された複数画素の代表値や平均値を、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）とすることで、画像内の変動による近景位置推定誤差をある程度抑えることができる。
ゲイン算出部１０３２は、図４０の右下図に示すように、この近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を中心に凸形状をしている関数を画素ｉ（Ｘ、Ｙ）に対して当てはめて、画素ｉにおける補正ゲイン値Ｇｉを求める。図４０の右下図に示すように、補正ゲインＧｉを連続関数で近似することで、急激に補正ゲインＧｉが変化することを回避することができ、補正画像に与える弊害を緩和することができる。また、近景位置ｖＣｅｎは、注目が高い領域とみなせるため、注目が高い領域の周辺は、ある程度近景であると判断できる。その一方で、ｖＣｅｎからの距離が離れるほど、注目度が低くなり、遠景に向かう可能性が高くなる。よって、図４０もしくは（数式２５）に示すような凸関数により補正ゲインＧｉを決定させるようにした。なお、この特性にあう関数であれば、補正ゲインＧｉを決定させる関数は、（数式２５）に限定されるものではなく、他の線形関数や非線形関数であってもよいし、上に凸の２次曲面関数であってもよい。

ここで、ｌｅｎは、画素ｉ（Ｘ、Ｙ）と近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）と間の２乗距離を示し、ＴｈＤｅｌｔａは所定の正定数をし、この凸関数の広がり程度を示すものである。
このようにして決定された補正ゲインＧｉを受けて、本発明により、奥行き補正部１００８が対象色情報Ｃｉに所定の色補正が行われ、奥行き感向上させた画像が生成される。
最後に、出力部１０１０において、前述の実施形態と同様の処理がなされる。
本発明では、上記で説明した処理を行うことで、従来例のようにテクスチャパターンのような弱い輪郭部や周囲外光等の撮影条件によりうまく抽出できなかった輪郭部に対して、そして、ぼけ画像領域があっても、奥行き推定が十分可能である。また、近景候補の選択処理には、閾値処理が含まれるが、選択された複数候補の代表座標や平均座標を近景位置とすることで、本発明において、閾値判定精度の影響を抑制することができる。

さらに、本発明では、大きな色対比量を持つ画素が、注目度が高く近景領域に含まれる可能性が高いものとして近景候補画素として選択され、選択された近景候補画素から近景位置を推定することで、第７実施形態の場合に問題となる画像内のノイズ等による変動の影響が色対比量に存在する場合でも、ある程度精度よく近景領域を推定することができる。これにより、本発明では、より人間の関心度に応じた奥行き感推定と、その奥行き感推定による色補正とを適切に実現することができるので、本発明により、奥行き感を向上させた画像を取得することができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

［第９実施形態］
図４１から図４３を用いて、本発明の第９実施形態として、画素における色対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置について説明する。
図４１に、本発明の第９実施形態である画像処理装置内の奥行き推定部９０６の構成を示す。図４２に、第９実施形態である画像処理方法の奥行き推定処理のフローチャートを示す。
第９実施形態に係る画像処理装置は、第7実施形態に係る画像処理装置７００において、奥行き推定部１００６を奥行き推定部９０６に置換したものである。この点のみが、第９実施形態に係る画像処理装置と、第7実施形態に係る画像処理装置７００との差異点であり、他の部分については同様であるので、同様である部分については、説明を省略する。

第９実施形態である処理装置内の奥行き推定部１００６は、主に、ブロック分割部１０４０と、ブロック内色平均部１０４１と、ブロック色特性算出部１０４２と、近景ブロック判定部１０４３と、近景位置推定部１０３１と、ゲイン算出部１０３２とから構成される。そして、ブロック色特性算出部１０４２は、主に、ブロック周辺代表色算出部１０４４と、ブロック色対比量算出部１０４５とから構成される。なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
本実施形態の画像処理装置に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換される。ここでは、画像入力データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像入力データをそのまま扱うことも可能である。

ブロック分割部１０４０は、処理対象としている画像を所定の一定サイズのブロックで分割し、ブロック内色平均部１０４１は、ブロック分割部１０４０により各細分されたブロックｋ内の補正対象である色情報Ｃｉの平均値ＡＣｋを求める。
ブロック色特性算出部１０４２は、第７実施形態における色特性算出部１０２０が画素単位で色対比量ＲＣｉを求めていたのに対して、ブロック単位での色対比量ＢＲＣｋ（ｋは対象ブロック番号）を求める。そのため、ブロック周辺代表色算出部１０４４は、対象ブロックｋの周囲領域にあるブロックｍ内の平均色情報ＡＣｍの代表値（重み付き平均値でもよいし、ヒストグラムにより算出された値であってもよい）ＡＢＣｋを求める。
ブロック色対比量算出部１０４５は、対象ブロックｋの平均色情報ＡＣｋのＡＢＣｋに対する比や差分等で定義されるブロック色対比量ＲＢＣｋを求める。これらの処理は、全てのブロックｋについて行われる。

そして、近景ブロック判定部１０４３は、第８実施形態における近景画素判定部１０３０が行う近景候補処理をブロック単位で実施する。ここで、選ばれた近景候補ブロック集合をＧＢｒとすると、近景位置推定部１０３１は、選ばれた近景候補ブロックｋの重心座標（ＸＢｋ、ＹＢｋ）の平均値より、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を求める。
その後、第８実施形態の場合と同じように、画像内の画素ｉ（Ｘ、Ｙ）と近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）との間の２乗距離ｌｅｎをもとに、（数式６）を使って画素ｉの補正ゲイン値Ｇｉを求める処理を、ゲイン算出部１０３２が行う。
この補正ゲインＧｉを受けて、奥行き補正部１００８が対象色情報Ｃｉに所定の色補正を行い、奥行き感向上した画像が生成される。

最後に出力部１０１０において、前述の実施形態と同様の処理がなされる。
このように、第９実施形態の画像処理装置では、画素単位で実施した奥行き推定を、ブロック単位で行うことが特徴であり、その効果として処理の高速化が挙げられる。また、本実施形態の画像処理装置では、画素の色情報Ｃｉを、その画素が属するブロックｋ内の平均値ＡＣｋに変更することで、色情報Ｃｉに対してローパスフィルタ処理を行うのと同じ効果を実現することができる。これにより、本実施形態の画像処理装置では、照明条件等によるゆらぎや部分的照明による色かぶりを抑えることができ、奥行き推定精度を向上させることができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

さらに、ブロック分割部１０４０では、各ブロックのサイズを可変にすることも可能である。また、本実施形態の画像処理装置において、ブロック色対比量を求める際の周囲ブロックに関して、第７や第８実施形態で行った画素単位での周囲領域をブロック単位に拡張して対応させるようにしてもよい。また、第７実施形態や第８実施形態において、画素と周辺領域画素サイズとの関係（画素数の関係）（画素：周辺領域画素サイズ＝１：Ｎ）と一致させるように、本実施形態において、ブロックと周囲ブロックの領域のサイズ（ブロック：周辺領域ブロックサイズ＝１：Ｎ）との関係を設定するようにしてもよい。
［第１０実施形態］
図４４から図４６を用いて、本発明の第１０実施形態として、画素における色対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置について説明する。

図４４に、本発明の第１０実施形態である画像処理装置内の奥行き推定部１０００６の構成を示す。図４５に、第１０の実施形態である画像処理方法の奥行き推定処理のフローチャートを示す。
第１０実施形態に係る画像処理装置は、第7実施形態に係る画像処理装置７００において、奥行き推定部１００６を奥行き推定部１０００６に置換したものである。この点のみが、第１０実施形態に係る画像処理装置と、第7実施形態に係る画像処理装置７００との差異点であり、他の部分については同様であるので、同様である部分については、説明を省略する。
第１０の実施形態の画像処理装置内の奥行き推定部１０００６は、主に、ブロック分割部１０４０と、ブロック内色平均部１０４１と、ブロック色特性算出部１０４２と、ブロック内ゲイン算出部１０５０と、合成ゲイン算出部１０５１とから構成される。なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。

本実施形態の画像処理装置に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換される。ここでは、画像入力データを、色情報を扱いやすい色相Ｈ、彩度Ｓ、明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データ、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データ等に変換することとするが、画像入力データをそのまま扱うことも可能である。
ブロック分割部１０４０は、処理対象としている画像を所定の一定サイズのブロックで分割し、ブロック内色平均部１０４１は、ブロック分割部１０４０により各細分されたブロックｋ内の補正対象である色情報Ｃｉの平均値ＡＣｋを求める。
ブロック色特性算出部１０４２は、ブロック単位での色対比量ＢＲＣｋ（ｋは対象ブロック番号）を求める。ここまでの処理は、前述の実施形態と同様である。

ブロック内ゲイン算出部１０５０では、次のような処理を行う。
（ｉ）まず、ブロック内ゲイン算出部１０５０は、ブロックｋの色対比量ＢＲＣｋより得られたＭａｘＲＣｋをブロックｋの重心ｖＣｅｎｋ（ＣｅｎＸｋ、ＣｅｎＹｋ）の補正ゲインとして設定する。ここでＭａｘＲＣｋは、「０．０」から「１．０」の範囲の値を出力する変換関数ＭａｘＲＣｋ＝ＦＦｕｎｃ（ＢＲＣｋ）を用いて計算される。この変換関数ＭａｘＲＣｋ＝ＦＦｕｎｃ（ＢＲＣｋ）は、ＢＲＣｋの取り得る最大値ＭａｘＲＣでの出力が「１」となり、ＢＲＣｋ＝０での出力が「０」となる単調線形増加関数で定義される。なお、この関数は、線形関数に限定されず、非線形関数であってもよい。また、この関数を、所定の最大色対比量ＭａｘＲＣとの比較を行い、ＢＲＣｋがＭａｘＲＣに対して所定の割合ＣＲａｔｅ以下の場合は、ＭａｘＲＣｋ＝ＢＲＣｋとし、ＢＲＣｋがＭａｘＲＣに対して所定の割合ＣＲａｔｅより大きい場合には、ＭａｘＲＣｋ＝１．０となるように設定することも可能である。
（ｉｉ）ブロック内ゲイン算出部１０５０では、ブロックｋの色対比量ＢＲＣｋによる画素ｉ（Ｘ、Ｙ）に対する補正ゲイン値Ｇｋ＿ｉが（数式２６）のように定義される。つまり、補正ゲイン値Ｇｋ＿ｉを求める関数は、ｖＣｅｎｋ（ＣｅｎＸｋ、ＣｅｎＹｋ）で最大値ＭａｘＲＣｋを持ち、ｖＣｅｎｋとｉ間の２乗距離ｌｅｎｋに従い変化する凸関数で定義される。この関数は、色対比量ＢＲＣｋによる近景の可能性がｖＣｅｎｋを中心に遠景へ向かうことで減少していくことを示している。なお、（数式２６）でＴｈＤｅｌｔａは、この関数の広がりを示すものであり、ここではブロックに関係なく一定とするが、ブロックの大きさやＢＲＣｋに応じて変化させてもよい。

ブロック内ゲイン算出部１０５０が、以上の処理を行う。
（ｉｉｉ）全てのブロックによる画素ｉについての補正ゲインＧｋ＿ｉの和を求め、この求められた値を「０」から「１」の範囲へ正規化したものを補正ゲインＧｉとする。

合成ゲイン算出部１０５１がこの（数式２７）に相当する処理を行う。
図４６は、以上のことを模式的に示した説明図である。
図４６に示すように、本実施形態の画像処理装置では、ブロックｋによる色対比量ＢＲＣｋの場合の画素ｉの近景の可能性を表す補正ゲインＧｋ＿ｉを、全てのブロックによる影響を考慮して、最終的に画素ｉの補正ゲインＧｉを求めることとなる。
第９実施形態の場合において、画像内の色情報Ｃｉの変動やゆらぎによる色対比量ＲＣｉの変動が近景位置推定にゆらぎを与える可能性がある。第９実施形態の場合、特に、動画像の場合、連続するフレームであってシーンが変化していなくても、照明条件や符号化等の課題により、同じ画素ｉの色対比量ＲＣｉがゆらぐことがある。この場合、近景画素もしくは近景ブロック候補選択時の閾値ＴｈＲＣによっては、近景位置ｖＣｅｎのずれが発生する可能性があり、近景位置ｖＣｅｎを中心とした特定の１つの凸関数で近似した関数により処理を行う場合、画像のちらつきが発生する恐れがある。しかし、本実施形態の画像処理装置では、特定の近景位置ｖＣｅｎを求めないで、各ブロック中心にそのブロックの色対比量ＢＲＣｋをもとにしたサブの補正ゲインＧｋ＿ｉを設定し、全てのブロックによるサブ補正ゲインＧｋ＿ｉを考慮することで、奥行き補正に必要な補正ゲインＧｉのゆらぎを抑えることができる。

この補正ゲインＧｉを受けて、奥行き補正部１００８が対象色情報Ｃｉに所定の色補正を行い、奥行き感向上した画像が生成される。
最後に出力部１０１０において、前述の実施形態と同様の処理がなされる。
このように第１０実施形態での処理を用いることにより、ブロック単位で行うことで処理の高速化が期待できる。また、本実施形態の画像処理装置では、上記説明した処理により、補正画像のちらつき、特に動画像の連続フレームでありシーン変更のないフレーム画像で、第９実施形態の場合に生じる可能性があった近景位置の微小なゆらぎとそれが原因である補正ゲインのゆらぎとを、より効果的に抑えることができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

さらに、ブロック分割部１０４０では、各ブロックのサイズを可変にすることも可能である。また、本実施形態の画像処理装置において、ブロック色対比量を求める際の周囲ブロックに関して、第７や第８実施形態で行った画素単位での周囲領域をブロック単位に拡張して対応させるようにしてもよい。また、第７実施形態や第８実施形態において、画素と周辺領域画素サイズとの関係（画素数の関係）（画素：周辺領域画素サイズ＝１：Ｎ）と一致させるように、本実施形態において、ブロックと周囲ブロックの領域のサイズ（ブロック：周辺領域ブロックサイズ＝１：Ｎ）との関係を設定するようにしてもよい。
［第１１実施形態］
図４７から図５３を用いて、本発明の第１１実施形態として、画素における色対比情報と明るさ対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置１１００について説明する。

図４７に、本発明の第１１実施形態に係る画像処理装置１１００の構成を示す。
画像処理装置１１００は、主に、明るさ情報算出部１１０１と、色情報算出部１００４と、第２奥行き推定部１１０３と、奥行き補正部１００８と、出力部１０１０とから構成される。
図４８に、画像処理装置１１００内の第２奥行き推定部１１０３の構成を示す。
第２奥行き推定部１１０３は、主に、色特性算出部１０２０と、明るさ特性算出部１１１０と、等が押奥行き度算出部１１１３とから構成される。
明るさ特性算出部１１１０は、周辺代表明るさ算出部１１１１と明るさ対比量算出部１１１２より構成される。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。

第２奥行き推定部１１０３は、明るさ情報算出部１１０１で算出された明るさ情報Ｙｉと色情報算出部１００４により算出された色情報ｖＣｉとを入力とし、明るさ情報Ｙｉおよび色情報ｖＣｉに基づいて、補正ゲインＧｉを算出し、算出した補正ゲインＧｉを奥行き補正部１００８に出力する。
図４９に、本発明の全体の処理フローチャートを示す。図５０に、奥行き推定ステップの処理フローチャートを示す。さらに、図５１に、色特性算出ステップの処理フローと明るさ特性算出ステップの処理フローとを示す。なお、色特性算出ステップの処理および色特性算出部については、第７実施形態から第１０実施形態と同様である。
本実施形態の発明の特徴は、第７実施形態において、色特性情報である色特性量ＲＣｉにより奥行き度を算出していたのを、視覚特性の１つである明るさ特性（明るさ対比量ＲＹｉ）をさらに用いて奥行き度を算出するようにし、奥行き推定精度の向上を実現させた点にある。

まず、本実施形態の画像処理装置に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへ変換されることは第７実施形態と同様である。
次に、ｖＩｉより明るさ情報Ｙｉが明るさ情報算出部１１０１により求められる。明るさ情報としては多くの例があり、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データの輝度Ｙや、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データの明度Ｌ等もその１つである。ここでは、ＹＣｂＣｒ空間データにおける輝度Ｙを画素ｉで計算して明るさ情報Ｙｉとする。
第２奥行き推定部１１０３では、色情報ｖＣｉと明るさ情報Ｙｉとを受けて処理を開始する。まず、色特性算出部１０２０がｖＣｉより補正・推定対象とした色情報Ｃｉの色対比量を第７実施形態７と同様にして求める。一方、明るさ情報Ｙｉに対しても、明るさ特性算出部１１１０が視覚特性に応じた明るさ特性を示す情報を求める。この明るさ特性を示すものとしては、多くのものが考えられるが、より人間の見た目に近いような補正を実現するために、人間の視覚特性に対応した情報を用いることとした。人間の視覚特性として、多くのものがあり、明るさ対比特性を用いることとした。

図５２は、明るさ対比特性を説明するための模式図である。
本実施形態の画像処理装置１１００では、明るさ特性に関する明るさ対比特性を考慮し、明るさ対比量を用いることとした。色に対する色対比が明るさ情報についても生じることが知られており、明るさ対比量は、その程度を数値化したものである。例えば、明るさがの低い大きな円中心部分に、その周囲よりも明るさが高い小さな中心円がある例を考える。この場合、大きな円の中心部は、人間には、実際の明るさよりもより明るく感じる傾向があることが視覚心理より明らかとされている。この現象は、明るさ対比特性により生じる現象であり、対象物体の周囲を異なる明るさが取り囲む場合に、物体の明るさが、その周囲の明るさに影響を受けることにより発生する現象である。
つまり、物体自体の明るさよりもその物体の周囲を取り囲む明るさが高い場合、物体の明るさは低く感じられる。逆に、物体自体の明るさよりもその物体の周囲を取り囲む明るさが低い場合、物体の明るさは高く感じられる。

本発明では、この明るさ対比量を色対比量と融合して奥行き推定に利用することで、人間が感じるような奥行き感情報をより精度よく求める。なお、明るさ対比量ＲＹｉを求める際の周辺領域として、色対比の場合と同じように人間の視野に相当する画像の１／６から１／３程度を占める画素範囲（領域）を用いて処理することとした。この際、対象画素Ｐｉの周囲の画素の代表明るさＡＹｉとしては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均明るさを、対象画素Ｐｉの周囲の画素の代表明るさＡＹｉとすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の明るさ（輝度）についてのヒストグラムを求め、その輝度ヒストグラムにおいて、最も度数の多い輝度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表輝度や、視野領域内の平均輝度度等を、代表明るさＡＹｉとすることも可能である。

また、明るさ対比量ＲＹｉの定義として、
（１）補正対象の明るさ情報Ｙｉの、その周辺を代表する明るさ情報ＡＹｉに対する比、
（２）補正対象の明るさ情報Ｙｉから、その周辺を代表する明るさ情報ＡＹｉを減算した値、
等の多くの定義を採用することができる。なおこれ以外にも多くの定義が可能であることは、色対比量ＲＣｉの場合と同様である。
周辺代表明るさ算出部１１１１が、周囲の代表明るさＡＹｉを求め、明るさ対比量算出部１１１２が、明るさ対比量ＲＹｉを求める。
統合奥行き度算出部１１１３は、色対比量ＲＣｉと明るさ対比量ＲＹｉを使って、対象画素の奥行き度ｆｂｉを求める。その方法の一例についての説明図が、図５３である。統合奥行き度算出部１１１３は、（数式２８）や図５３に示すように、色対比による奥行き度ｆｂ１＿ｉと明るさ対比による奥行き度ｆｂ２＿ｉとを求め、この２つの積をとることで画素ｉの奥行き度ｆｂｉを算出する。

ここでの奥行き度ｆｂ１＿ｉは、前述の実施形態と同様に、対象画素の色対比量ＲＣｉが高い画素は、注目度の高い領域に含まれる画素、つまり近景領域に含まれる画素と見なして、その画素の奥行き度ｆｂ＿ｉに高い値を設定する。なお、奥行き度ｆｂ１＿ｉは０．０≦ｆｂ１＿ｉ≦１．０の間の値を取り、ｆｂ１＿ｉ＝１．０で近景の可能性が最も高く、ｆｂ１＿ｉ＝０．０で近景の可能性が最も低い（遠景）と定義する。
また、図５３の右下図に示すように、明るさ対比量ＲＹｉが高い画素は、注目度の高い領域に含まれる可能性が高く、近景領域に含まれるものとみなして、明るさ対比量ＲＹｉによる奥行き度ｆｂ２＿ｉを高い値に設定する。色対比ＲＣｉによる奥行き度ｆｂ１＿ｉと同様に、奥行き度ｆｂ２＿ｉは、０．０≦ｆｂ２＿ｉ≦１．０の間の値を取り、ｆｂ２＿ｉ＝１．０で近景の可能性が最も高く、ｆｂ２＿ｉ＝０．０で近景の可能性が最も低い（遠景）と定義する。明るさ対比量ＲＹｉがＲＹｉ＝１．０の画素では、近景・遠景の中間距離にあるものと見なして、奥行き度ｆｂ２＿ｉを「０．５」に設定し、明るさ対比量ＲＹｉが最大明るさ対比量ＭａｘＲＹｉに向かって増大するにつれ近景に属する可能性が大きくなるとして、その奥行き度ｆｂ２＿ｉも「１．０」へ向かって単調増加させる。逆に、ＲＣｉが「０．０」に向かって減少するにつれ近景に属する可能性が小さくなるものとして、その奥行き度ｆｂ２＿ｉも「０．０」へ向かって単調減少させる。以上に基づき、各画素の明るさ対比による奥行き度ｆｂ２＿ｉが定義される（決定される）。

（数式２８）に示すように、奥行き度ｆｂｉが算出された後、この算出された奥行き度ｆｂｉを補正対象色情報Ｃｉの色補正する際の補正ゲインＧｉとする。つまり、
（補正ゲインＧｉ）＝ｆｂ１＿ｉ×ｆｂ２＿ｉ
とする。
なお、画素ｉの奥行き度ｆｂｉつまり補正ゲインＧｉは、ここでの例に限定されるものではなく、色対比量ＲＣｉと明るさ対比量ＲＹｉとを変数とする関数により近似された値を用いることも可能である。この場合、ＲＣｉ、ＲＹｉがもっとも高い位置に最大の補正ゲイン「１．０」を設定し、そこを中心になだらかに減衰する関数等（線形関数でも非線形関数でもよい）により補正ゲインＧｉの値を設定（算出）することが考えられる。また、ＲＣｉとＲＹｉとで定義される２次元空間において、その２次元空間内の領域を分割して、各領域内は一定の補正ゲインに設定して、その領域を分割する境界でなめらかに連続となる特性を有する関数を用いて補正ゲインＧｉの値を設定（算出）するようにしてもよい。

この補正ゲインＧｉを受けて、奥行き補正部１００８が対象色情報Ｃｉに所定の色補正を行い、奥行き感向上した画像が生成される。
最後に出力部１０１０において、前述の実施形態と同様の処理がなされる。
本発明では、このような処理を行うことで、第７実施形態と同様に色対比が高い部分が近景である可能性が高いと判定させるとともに、さらに、明るさ対比についても考慮して奥行き度を算出するようにしたので、人間がより強く感じる領域を、適切に近景領域と見なすことができ、奥行き推定つまり奥行き補正を行うための補正ゲインＧｉの算出精度をさらに向上させることができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

［第１２実施形態］
図５４から図５６を用いて、本発明の第１２実施形態として、画素における色対比情報と明るさ対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置について説明する。
図５４に、本発明の第１２実施形態に係る画像処理装置内の第２奥行き推定部１２０３の構成を示す。図５５に、第１２実施形態に係る画像処理方法の奥行き推定処理のフローチャートを示す。
第１２実施形態に係る画像処理装置は、第１１実施形態に係る画像処理装置１１００において、第２奥行き推定部１１０３を第２奥行き推定部１２０３に置換したものである。この点のみが、第１２実施形態に係る画像処理装置と、第１１実施形態に係る画像処理装置１１００との差異点であり、他の部分については同様であるので、同様である部分については、説明を省略する。

第１２実施形態の画像処理装置内の第２奥行き推定部１２０３は、主に、色特性算出部１０２０と、明るさ特性算出部１１１０、統合近景画素判定部１１３０と、近景位置推定部１０３１と、ゲイン算出部１０３２とから構成される。前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
本実施形態の発明の特徴は、第８実施形態において、画素ｉの色対比量ＲＣｉにより近景画素か否かの判定を行っていた点を、明るさ対比量ＲＹｉと色対比量ＲＣｉの２つの特徴量を用いて近景画素が否かの判定を行うようにした点である。
本実施形態の画像処理装置において、色情報算出部１００４、明るさ情報算出部１１０１、色特性算出部１０２０、および明るさ特性算出部１１１０による処理は、前述の実施形態と同様であるので、説明を省略する。

統合近景画素判定部１１３０は、図５６に示すように、画素ｉの色対比量ＲＣｉと明るさ対比量ＲＹｉを受けて、その画素ｉが近景画素候補か否かの判断をする。そして、近景画素候補より構成される画素グループＧｒが決定される。図５６の左図は、この候補選択について模式的に説明するための図である。この画素グループＧｒの決定の方法としては多くの方法がある。例えば、所定の閾値ＴｈＲＣ、ＴｈＲＹを設定して、その値よりも大きなＲＣｉ、ＲＹｉを持つ画素ｉを画素グループＧｒに含めるという方法を採用してもよい。また、図５６の左図に示すように、画像内の色対比量ＲＣｉのヒストグラムより閾値ＴｈＲＣを決定し、画像内の明るさ対比量ＲＹｉのヒストグラムおり閾値ＴｈＲＹを決定して、２つの閾値より大きなＲＣｉと大きなＲＹｉを持つ画素をＧｒに含める方法を採用してもよい。さらに、画像内の色対比量ＲＣｉの平均値ＡＲＣとその標準偏差ｄＲＣとを求め、さらに、明るさ対比量ＲＹｉの平均値ＡＲＹとその標準偏差ｄＲＹとを求め、
Ｇｒ＝｛ｉ｜ＡＲＣ−ｄＲＣ≦ＲＣｉ≦ＡＲＣ＋ｄＲＣ、ＡＲＹ−ｄＲＹ≦ＲＹｉ≦ＡＲＹ＋ｄＲＹ、０≦ｉ≦ＮＮＮ−１｝
として、画素グループＧｒを求める方法を採用することも可能である。

ここでは、図５６の左図の方法で近景画素候補Ｇｒを求めることとする。
次に、近景位置推定部１０３１が、このＧｒを使って、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を求める。図５６では、Ｇｒに属する画素数がＮＧｒであった場合、（数式２４）のようにして、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）が求められる。なお、これ以外にも、Ｇｒで最大の色対比量をもつ画置や、Ｇｒ内での色対比量に対するヒストグラムより近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を決める方法を採用することも可能である。この近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）は、近景に含まれる可能性が高いものの平均座標に相当する。
ゲイン算出部１０３２が、図５６の右下図のような関数を用いて、画素ｉの補正ゲインＧｉを求める。これは（数式２５）で表される関数と同じ凸関数を用いている。なお、図５６の右下図と同様の特性を有する関数であれば、（数式２５）による関数に限定されることはなく、線形関数や、上に凸の２次曲面関数を用いて、補正ゲインＧｉを算出し、本発明での処理を行うようにしてもよい。

この補正ゲインＧｉを受けて、奥行き補正部１００８が対象色情報Ｃｉに所定の色補正を行い、奥行き感向上した画像が生成される。
最後に、出力部１０１０において、前述の実施形態と同様の処理がなされる。
本実施形態の画像処理装置では、このように２つの特徴量により近景候補の選択を行うので、第８実施形態の場合よりも精度よく、かつ、より人間の注目度の高い部分を適切に近景領域候補に選ぶことができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

［第１３実施形態］
図５７から図５９を用いて、本発明の第１３実施形態として、画素における色対比情報と明るさ対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置について説明する。
図５７に、本発明の第１３実施形態に係る画像処理装置内の第２奥行き推定部１３０３の構成を示す。図５８に、第１３の実施形態である画像処理方法の奥行き推定処理のフローチャートを示す。
第１３実施形態に係る画像処理装置は、第１１実施形態に係る画像処理装置１１００において、第２奥行き推定部１１０３を第２奥行き推定部１３０３に置換したものである。この点のみが、第１３実施形態に係る画像処理装置と、第１１実施形態に係る画像処理装置１１００との差異点であり、他の部分については同様であるので、同様である部分については、説明を省略する。

第１３実施形態の画像処理装置内の第２奥行き推定部１３０３は、主に、ブロック分割部１０４０と、ブロック内色平均部１０４１と、ブロック内明るさ平均部１１６０と、ブロック色特性算出部１０４２と、ブロック明るさ特性算出部１１６１と、統合近景ブロック判定部１１６２と、近景位置推定部１０３１と、ゲイン算出部１０３２とから構成される。前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
本実施形態の発明の特徴は、図５９で模式的に示されるように、第９実施形態において、ブロックｋで得られた平均色に関するブロック色対比量ＢＲＣｋにより近景画素か否かの判定を行う点を、同じブロックｋで得られた平均明るさに関するブロック対比量ＢＲＹｋとブロック色対比量ＢＲＣｋとの２つの特徴量により近景か否かの判定を行うようにした点である。

本発明の第１３実施形態の画像処理方法及び画像処理装置について説明する。
まず、本実施形態の画像処理装置に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへの変換処理、明るさ情報Ｙｉへの変換処理が行われる。
次に、第９実施形態と同じように、ブロック分割部１０４０は、処理対象としている画像を所定の一定サイズのブロックで分割し、ブロック内色平均部１０４１は、ブロック分割部１０４０により各細分されたブロックｋ内の補正対象である色情報Ｃｉの平均値ＡＣｋを求める。
ブロック内明るさ平均部１１６０は、各細分化されたブロックｋ内の明るさ情報Ｙｉの平均値ＡＹｋを求める。

ブロック色特性算出部１０４２は、ブロック内色平均部１０４１からブロックｋのブロック内色平均値ＡＣｋを受けて、その周囲ブロックと対象ブロックｋの平均色ＢＣｋの比で表されるブロック色対比量ＢＲＣｋを求める。
また、ブロック明るさ特性算出部１１６１は、第１１および１２実施形態における明るさ特性算出部１１１０において画素単位で実施される処理を、ブロック単位で実施して、ブロックｋの明るさ対比量ＢＲＹｋを求める。
統合近景ブロック判定部１１６２は、このブロック色対比量ＢＲＣｋとブロック明るさ対比量ＢＲＹｋとをもとに、近景ブロック候補の集団ＧＢｒを求める。統合近景ブロック判定部１１６２は、第１２実施形態における統合近景画素判定部１１３において画素単位で実施される処理をブロック単位で実施することにより、上記判定処理を行う。

近景位置推定部１０３１は、選ばれた近景候補ブロックｋの重心座標（ＸＢｋ、ＹＢｋ）の平均値より、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を求める。その後、第８実施形態と同じように、画像内の画素ｉ（Ｘ、Ｙ）と近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）と間の２乗距離ｌｅｎをもとに、（数式６）を用いて、画素ｉの補正ゲイン値Ｇｉを求める処理を、ゲイン算出部１０３２が行う。
この補正ゲインＧｉを受けて、奥行き補正部１００８が、対象色情報Ｃｉに所定の色補正を行い、奥行き感向上した画像が生成される。
最後に出力部１０１０において、前述の実施形態と同様の処理がなされる。
このように本実施形態の画像処理装置では、画素単位で実施した奥行き推定を、ブロック単位で行うことが特徴であり、その効果として処理の高速化が挙げられる。

また、本実施形態の画像処理装置では、画素の色情報Ｃｉや明るさ情報Ｙｉを、それが属するブロックｋ内の平均値ＡＣｋやＡＹｋに変更することで、色情報Ｃｉや明るさ情報Ｙｉに対してローパスフィルタ処理を行うのと同じ効果を実現することができる。これにより、本実施形態の画像処理装置では、照明条件等によるゆらぎや部分的照明による色かぶりを抑えることで、奥行き推定精度をさらに向上させることができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

さらに、ブロック分割部１０４０では、各ブロックのサイズを可変にすることも可能である。また、本実施形態の画像処理装置において、ブロック色対比量を求める際の周囲ブロックに関して、第７や第８実施形態で行った画素単位での周囲領域をブロック単位に拡張して対応させるようにしてもよい。また、第７実施形態や第８実施形態において、画素と周辺領域画素サイズとの関係（画素数の関係）（画素：周辺領域画素サイズ＝１：Ｎ）と一致させるように、本実施形態において、ブロックと周囲ブロックの領域のサイズ（ブロック：周辺領域ブロックサイズ＝１：Ｎ）との関係を設定するようにしてもよい。
［第１４実施形態］
図６０から図６２を用いて、本発明の第１４実施形態として、画素における色対比情報と明るさ対比情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置について説明する。

図６０に、本発明の第１４実施形態に係る画像処理装置内の第２奥行き推定部１４０３の構成を示す。図６１に、第１４の実施形態である画像処理方法の奥行き推定処理のフローチャートを示す。
第１４実施形態に係る画像処理装置は、第１１実施形態に係る画像処理装置１１００において、第２奥行き推定部１１０３を第２奥行き推定部１４０３に置換したものである。この点のみが、第１４実施形態に係る画像処理装置と、第１１実施形態に係る画像処理装置１１００との差異点であり、他の部分については同様であるので、同様である部分については、説明を省略する。
第１４実施形態の画像処理装置内の第２奥行き推定部１４０３は、主に、ブロック分割部１０４０と、ブロック内色平均部１０４１と、ブロック内明るさ平均部１１６０と、ブロック色特性算出部１０４２と、ブロック明るさ特性算出部１１６１と、個別ブロック内ゲイン算出部１１８０と、高度合成ゲイン算出部１１８１とから構成される。

前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
本実施形態の画像処理装置では、ブロックｋで得られた平均色に関するブロック色対比量ＢＲＣｉより得られた値をブロックｋの重心位置ｖＣｅｎｋ（ＣｅｎＸｋ、ＣｅｎＹｋ）での補正ゲインＧｋ＿ｉとして、画素ｉにおけるブロックｋの色対比量ＢＲＣｋによる補正ゲインＧｋ＿ｉを求めて、全ブロックの補正ゲインＧｋ＿ｉの総和を最終的に画素ｉの補正ゲインＧｉに設定する、第１０実施形態での処理において、図６２に示すように、ブロック色対比量ＢＲＣｋのみならず、ブロック明るさ対比量ＢＲＹｋでも同じようにして、補正ゲインＧｉを設定するようにした。この点に本実施形態の特徴がある。
本発明の第１４実施形態の画像処理方法及び画像処理装置について説明する。
まず、本実施形態の画像処理装置に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへの変換処理、明るさ情報Ｙｉへの変換処理が行われる。

次に、第９実施形態と同じように、ブロック分割部１０４０は、処理対象としている画像を所定の一定サイズのブロックで分割し、ブロック内色平均部１０４１は、ブロック分割部１０４０により各細分されたブロックｋ内の補正対象である色情報Ｃｉの平均値ＡＣｋを求める。
また、ブロック内明るさ平均部１０６０は、各細分化されたブロックｋ内の明るさ情報Ｙｉの平均値ＡＹｋを求める。
ブロック色特性算出部１０４２は、ブロック内色平均部１０４１からブロックｋのブロック内色平均値ＡＣｋを受けて、その周囲ブロックと対象ブロックｋの平均色ＢＣｋの比で表されるブロック色対比量ＢＲＣｋを求める。
また、ブロック明るさ特性算出部１１６１は、ブロックｋの明るさ対比量ＢＲＹｋを求める。以上の処理は第１３実施形態と同様である。

個別ブロック内ゲイン算出部１１８０は、第１０実施形態におけるブロック内ゲイン算出部１０５０の拡張版としての処理を行う。まず、個別ブロック内ゲイン算出部１１８０は、ブロックｋのブロック色対比量ＢＲＣｋに対して、次の処理を行う。
（Ｃ−ｉ）個別ブロック内ゲイン算出部１１８０は、ブロックｋの色対比量ＢＲＣｋより得られたＭａｘＲＣｋをブロックｋの重心ｖＣｅｎｋ（ＣｅｎＸｋ、ＣｅｎＹｋ）の補正ゲインとして設定する。ここで、ＭａｘＲＣｋは、「０．０」から「１．０」の範囲の値を出力する変換関数ＭａｘＲＣｋ＝ＦＦｕｎｃ（ＢＲＣｋ）を用いて計算する。この関数ＭａｘＲＣｋ＝ＦＦｕｎｃ（ＢＲＣｋ）は、ＢＲＣｋの取り得る最大値ＭａｘＲＣでの出力が「１」となり、ＢＲＣｋ＝０での出力が「０」となる単調線形増加関数で定義される。なお、この関数を、第１０実施形態の（ｉ）で示したようにも定義することは可能である。
（Ｃ−ｉｉ）個別ブロック内ゲイン算出部１１８０は、ブロックｋの色対比量ＢＲＣｋによる画素ｉ（Ｘ、Ｙ）に対する補正ゲイン値ＧＣｋ＿ｉを（数式２９）のように定義する。つまり、補正ゲイン値ＧＣｋ＿ｉは、ｖＣｅｎｋ（ＣｅｎＸｋ、ＣｅｎＹｋ）で最大値ＭａｘＲＣｋを持ち、ｖＣｅｎｋとｉ間の２乗距離ｌｅｎｋに従い変化する凸関数で定義される。補正ゲイン値ＧＣｋ＿ｉを求める関数は、色対比量ＢＲＣｋによる近景の可能性がｖＣｅｎｋを中心に遠景へ向かうことで減少していくことを示している。なお、（数式２９）でＴｈＤｅｌｔａは、この関数の広がりを示すものであり、ここではブロックに関係なく一定とするが、ブロックの大きさやＢＲＣｋに応じて変化させてもよい。また、ブロック色対比量とブロック明るさ対比量とで変えるようにしてもよい。

次に、ブロックｋのブロック明るさ対比量ＢＲＹｋに対して、次の処理を行なわれる。
（Ｙ−ｉ）ブロックｋの明るさ対比量ＢＲＹｋより得られたＭａｘＲＹｋが、ブロックｋの重心ｖＣｅｎｋ（ＣｅｎＸｋ、ＣｅｎＹｋ）の補正ゲインとして設定される。ここでＭａｘＲＹｋは、ＭａｘＲＣｋの設定と同じように、「０．０」から「１．０」の範囲の値を出力する変換関数ＭａｘＲＹｋ＝ＧＦｕｎｃ（ＢＲＹｋ）を用いて算出される。この関数ＭａｘＲＹｋ＝ＧＦｕｎｃ（ＢＲＹｋ）は、ＢＲＹｋの取り得る最大値ＭａｘＲＣでの出力が「１」となり、ＢＲＹｋ＝０での出力が「０」となる単調線形増加関数で定義される。なお、この変換関数は、（Ｃ−ｉ）でのＦＦｕｎｃ（ＢＲＣｋ）と同じものであっても、異なるものであってもよい。
（Ｙ−ｉｉ）ブロックｋの明るさ対比量ＢＲＹｋによる画素ｉ（Ｘ、Ｙ）に対する補正ゲイン値ＧＹｋ＿ｉが（数式３０）のように定義される。つまり、この補正ゲイン値ＧＹｋ＿ｉは、ｖＣｅｎｋ（ＣｅｎＸｋ、ＣｅｎＹｋ）で最大値ＭａｘＲＹｋを持ち、ｖＣｅｎｋとｉ間の２乗距離ｌｅｎｋに従い変化する凸関数で定義される。この補正ゲイン値ＧＹｋ＿ｉを求める関数は、明るさ対比量ＢＲＹｋによる近景の可能性がｖＣｅｎｋを中心に遠景へ向かうことで減少していくことを示している。なお、（数式３０）でＴｈＤｅｌｔａは、この関数の広がりを示すものであり、ここではブロックに関係なく一定とするが、ブロックの大きさやＢＲＹｋに応じて変化させてもよい。また、ブロック色対比量とブロック明るさ対比量とで変えるようにしてもよい。

最後に、次の処理が行なわれる。
（Ｔ−ｉ）ブロックｋにおける色対比量ＢＲＣｋによる画素ｉへのサブ補正ゲインＧＣｋ＿ｉと、明るさ対比量ＢＲＹｋによる画素ｉへのサブ補正ゲインＧＹｋ＿ｉとを用いて、（数式３１）に示すように、ブロックｋにおける２つの特徴量による画素ｉへのサブ補正ゲインＧｋ＿ｉが求められる。

（Ｔ−ｉｉ）全てのブロックによる画素ｉへのサブ補正ゲインＧｋ＿ｉの和を求められ、この求められた値を「０」から「１」の範囲へ正規化したものを補正ゲインＧｉとする。
（Ｃ−ｉ）、（Ｃ−ｉｉ）、（Ｙ−ｉ）、および（Ｙ−ｉｉ）の処理を個別ブロック内ゲイン算出部１１８０が行い、高度合成ゲイン算出部１１８１が（Ｔ−ｉ）、（Ｔ−ｉｉ）の処理を行う。
図６２は、以上の処理を模式的に説明するための図である。図６２に示すように、本実施形態の画像処理装置では、ブロックｋによる色対比量ＢＲＣｋの場合の画素ｉの近景の可能性と明るさ対比量ＢＲＹｋの場合の画素ｉの近景の可能性より、そのブロック内の特徴によるサブ補正ゲインＧｋ＿ｉを求め、全てのブロックによる影響を考慮して、最終的に画素ｉの補正ゲインＧｉを求める。これにより、本実施形態の画像処理装置では、画像内の色情報Ｃｉの変動やゆらぎによる色対比量ＲＣｉや明るさ対比量ＲＹｉの変動が近景位置推定にゆらぎを与える影響をより低減させることができる。

また、本実施形態の画像処理装置では、第１０実施形態と比べて、ブロック内の特徴量を色対比と明るさ対比に増やすことで、補正ゲインの推定精度向上を実現させるとともに、１つの特徴量ではうまく抽出できないようなパターンについても適切に対応することができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

さらに、ブロック分割部１０４０では、各ブロックのサイズを可変にすることも可能である。また、本実施形態の画像処理装置において、ブロック色対比量を求める際の周囲ブロックに関して、第７や第８実施形態で行った画素単位での周囲領域をブロック単位に拡張して対応させるようにしてもよい。また、第７実施形態や第８実施形態において、画素と周辺領域画素サイズとの関係（画素数の関係）（画素：周辺領域画素サイズ＝１：Ｎ）と一致させるように、本実施形態において、ブロックと周囲ブロックの領域のサイズ（ブロック：周辺領域ブロックサイズ＝１：Ｎ）との関係を設定するようにしてもよい。
［第１５実施形態］
図６３から図６７を用いて、本発明の第１５実施形態として、画素における色対比情報と明るさ対比情報、高域周波数成分量をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理装置１５００について説明する。

図６３に、本発明の第１５実施形態に係る画像処理装置１５００の構成を示す。
画像処理装置１５００は、主に、色情報算出部１００４と、明るさ情報算出部１１０１と、周波数成分算出部１２０１と、拡張奥行き推定部１５０３と、奥行き補正部１００８と、出力部１０１０とから構成される。
また、拡張奥行き推定部１５０３は、図６４に示すように、主に、ブロック分割部１０４０と、ブロック内色平均部１０４１と、ブロック内明るさ平均部１１６０と、ブロック内周波数情報算出部１３００と、ブロック色特性算出部１０４２と、ブロック明るさ特性算出部１１６１と、拡張近景ブロック判定部１３０１と、近景位置推定部１０３１と、ゲイン算出部１０３２とから構成される。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する
図６５に、第１５実施形態に係る画像処理方法の処理フローチャートを示す。また、図６６に、第１５実施形態に係る画像処理方法内の奥行き推定処理のフローチャートを示す。

本実施形態の発明の特徴は、図６３に示すように、第１３実施形態において、ブロックｋで得られた平均色に関するブロック色対比量ＢＲＣｋと平均明るさに関するブロック対比量ＢＲＹｋより近景ブロックかどうかの判定を行った点を、ブロックｋで得られた平均色に関するブロック色対比量ＢＲＣｋと平均明るさに関するブロック対比量ＢＲＹｋにブロックｋ内の高域周波数成分の和ＢＦｋを加えた３つの特徴量を用いた判定に変更した点である。
本発明の第１５実施形態の画像処理方法及び画像処理装置について説明する。
まず、画像処理装置１５００に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへの変換処理、明るさ情報Ｙｉへの変換処理が行われる。

次に、第９実施形態と同じように、ブロック分割部１０４０は、処理対象としている画像を所定の一定サイズのブロックで分割し、ブロック内色平均部１０４１は、各細分されたブロックｋ内の補正対象である色情報Ｃｉの平均値ＡＣｋを求める。また、ブロック内明るさ平均部１１６０は、各細分化されたブロックｋ内の明るさ情報Ｙｉの平均値ＡＹｋを求める。ブロック色特性算出部１０４２は、ブロック内色平均部１０４１からブロックｋのブロック内色平均値ＡＣｋを受けて、その周囲ブロックと対象ブロックｋの平均色ＢＣｋの比で表されるブロック色対比量ＢＲＣｋを求める。また、ブロック明るさ特性算出部１１６１は、第１１および１２実施形態における明るさ特性算出部１１１０で画素単位に対して実施した処理をブロック単位で実施して、ブロックｋの明るさ対比量ＢＲＹｋを求める。

一方で、周波数成分算出部１２０１は、入力画像ｖＩｉの周波数成分を算出する。ここで、周波数成分算出部１２０１は、２次元ＤＣＴ変換による周波数空間へのＤＣＴ係数算出を行う。通常、２次元ＤＣＴ変換は、処理時間等の関係で所定のブロックサイズに分割し各ブロックに対して実施される。ここでも、ブロック分割部１０４０のブロック化に応じて、各ブロックへの２次元ＤＣＴ変換が行なわれる。なお、ブロックの水平画素数ｎｐｗおよび垂直画素数ｎｐｈは、ｎｐｈ＝ｎｐｗ＝ｎｎｎとなり、８の倍数が取られることが多いので、ブロック分割部１０４０でも、このように分割するものとする。もし分割されたブロックのｎｐｗがｎｐｈと同じでない場合は、同じ画素数になるブロック画像へ一度解像度変換した後、２次元ＤＣＴ変換を実施する。また、各ブロックサイズも固定であることが望ましいので、本実施形態でもそのようにする。もしブロックサイズが可変である場合は、所定のブロックサイズｎｆ×ｎｆになるように各ブロック画像を解像度変換して後、２次元ＤＣＴ変換を行うこととする。ブロックｋ内の画素に対するＤＣＴ係数をＦｋ（ｓ、ｔ）（０≦ｓ、ｔ≦ｎｎｎ−１）のように定義する。Ｆｋ（０、０）は、直流成分を示し、画像の大まかな特徴を示す。また、Ｆｋ（ｓ、ｔ）（ｓ≠０、ｔ≠０）は、交流成分を示す。ここで、ｓ、ｔが大きいほどその係数は高周波成分を示すこととなり、微小変化（例えば、顔の皺の部分の変化）に相当する。

周波数成分算出部１２０１は、この計算を行い、ブロック内周波数情報算出部１３００は、ブロックｋ内の周波数成分Ｆｋ（ｓ、ｔ）において、ｓ≧ＴｈＦｒｅｑ、ｔ≧ＴｈＦｒｅｑとなるものの係数の和を求める。Ｆｋ（ｓ、ｔ）で、ｓ、ｔがともに「０」のものは、画像の大域的な輪郭等の情報に相当し、高域にいくにつれ細かい輪郭情報に相当するし、そのブロック内のＴｈＦｒｅｑ以上の周波数成分の和もしくは、平均により、ブロック内画像のぼけ程度を知ることができる。
そこで、本発明では、図６７で模式的に示すように、３つ目の特徴量として、対象ブロックｋ内画像がぼけ領域であるかどうかの判定に、２次元ＤＣＴ係数における所定のレベル以上のＤＣＴ係数の平均値ＢＦｋを利用することとした（数式３２参照）。

拡張近景ブロック判定部１３０１は、このブロック色対比量ＢＲＣｋ、ブロック明るさ対比量ＢＲＹｋ、および、ぼけ程度の判定とした周波数成分量ＢＦｋをもとに、近景ブロック候補の集団ＧＢｒを求める。ここでの判定処理は、第７実施形態における統合近景ブロック判定部１１６２で実施した条件に、周波数成分量ＢＦｋが閾値ＴｈＦｒｑより大きいという条件を加えたもので判定が実施される処理となる。近景位置推定部１０３１は、選ばれた近景候補ブロックｋの重心座標（ＸＢｋ、ＹＢｋ）の平均値より、近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）を求める。その後、第９実施形態と同じように、画像内の画素ｉ（Ｘ、Ｙ）と近景位置ｖＣｅｎ（ＣｅｎＸ、ＣｅｎＹ）と間の２乗距離ｌｅｎをもとに、（数式６）を用いて、画素ｉの補正ゲイン値Ｇｉを求める処理を、ゲイン算出部１０３２が行う。

この補正ゲインＧｉを受けて、奥行き補正部１００８は、対象色情報Ｃｉに所定の色補正を行い、奥行き感向上した画像が生成される。
最後に出力部１０１０において、前述の実施形態と同様の処理がなされる。
このように第１５実施形態の画像処理装置１５００では、第１３実施形態の近景ブロック判定条件に、判定精度を増すための条件として、周波数成分量より定義されるぼけ程度を加えた点が特徴である。これにより、画像処理装置１５００では、近景ブロック候補選択の精度向上の効果が期待できる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

さらに、ブロック分割部１０４０では、各ブロックのサイズを可変にすることも可能である。また、本実施形態の画像処理装置において、ブロック色対比量を求める際の周囲ブロックに関して、第７や第８実施形態で行った画素単位での周囲領域をブロック単位に拡張して対応させるようにしてもよい。また、第７実施形態や第８実施形態において、画素と周辺領域画素サイズとの関係（画素数の関係）（画素：周辺領域画素サイズ＝１：Ｎ）と一致させるように、本実施形態において、ブロックと周囲ブロックの領域のサイズ（ブロック：周辺領域ブロックサイズ＝１：Ｎ）との関係を設定するようにしてもよい。
また、画像処理装置１５００では、ブロック内の周波数情報として、ある程度の高周波成分のＤＣＴ係数の平均を利用したが、その和を用いることもできるし、直流成分、交流成分を含めたＤＣＴ係数の総和やその平均値を用いてもよい。

さらに、画像処理装置１５００では、周波数成分算出に２次元ＤＣＴ変換を用いたが、２次元フーリエ変換（ＤＦＴ）や２次元ウェーブレット変換のような周波数変換を用いることも可能である。また、それ以外の直交変換を用いて周波数成分を算出してもよい。さらに、ブロックの水平画素数ｎｐｗと垂直画素数ｎｐｈは同じでなくてもよい。
［第１６実施形態］
図６８、図６９を用いて、本発明の第１６実施形態として、画素における色対比情報、明るさ対比情報、周波数情報をもとに、奥行き情報を推定して、その結果に応じて色情報の補正を行う画像処理方法及び画像処理部について説明する。
図６８に、本発明の第１６実施形態に係る画像処理装置内の拡張奥行き推定部１６０３の構成を示す。図６９に、第１６実施形態に係る画像処理方法の拡張奥行き推定処理のフローチャートを示す。

第１６実施形態に係る画像処理装置は、第１５実施形態に係る画像処理装置１５００において、拡張奥行き推定部１５０３を拡張奥行き推定部１６０３に置換したものである。この点のみが、第１６実施形態に係る画像処理装置と、第１５実施形態に係る画像処理装置１５００との差異点であり、他の部分については同様であるので、同様である部分については、説明を省略する。
第１６実施形態の画像処理装置内の拡張奥行き推定部１６０３は、主に、ブロック分割部１０４０と、ブロック内色平均部１０４１と、ブロック内明るさ平均部１１６０と、ブロック色特性算出部１０４２と、ブロック明るさ特性算出部１１６１と、ブロック内周波数情報算出部１３００と、拡張ブロック内ゲイン算出部１４００と、拡張合成ゲイン算出部１４０１とから構成される。

本実施形態の発明の特徴は、ブロックｋで得られた平均色に関するブロック色対比量ＢＲＣｉ、ブロック明るさ対比量ＢＲＹｉを用いて各ブロックｋ内の画素ｉに対するサブ補正ゲインＧｋ＿ｉを求めた後、全ブロックの画素ｉに対するＧｋ＿ｉの総和を求め、最終的に補正ゲインＧｉにした、第１４実施形態での処理において、各ブロックｋ内の特徴量としてぼけ程度を表す周波数情報ＢＦｋを加えた用いて処理を行うようにした点にある。
本発明の第１６実施形態の画像処理方法及び画像処理装置について説明する。
まず、本実施形態の画像処理装置に画素ｉにおける画素値ｖＩｉをもつ画像データが入力されると、色情報算出部１００４において、画像データｖＩｉを構成する各画素のデータを所定の色情報ｖＣｉへの変換処理、明るさ情報Ｙｉへの変換処理が行われる。
また、第１５実施形態と同じように、所定のブロック分割を行い、その中での２次元ＤＣＴ変換によるＤＣＴ係数算出が周波数成分算出部１２０１により実施される。その後、画像内を所定の一定サイズのブロックで分割し、ブロック内色平均部１０４１で、各細分されたブロックｋ内の補正対象である色情報Ｃｉの平均値ＡＣｋが求められ、ブロック内明るさ平均部１１６０では、各細分化されたブロックｋ内の明るさ情報Ｙｉの平均値ＡＹｋが求められる。そして、周波数情報ＢＦｋがブロック内周波数情報算出部１３００で得られる。なお、ブロック分割部１０４０におけるブロック分割は、周波数成分算出部１２０１で使用したブロックサイズにより行ってもよいし、別のサイズで行ってもよい。

ブロック色特性算出部１０４２は、ブロック内色平均部１０４１からブロックｋのブロック内色平均値ＡＣｋを受けて、その周囲ブロックと対象ブロックｋの平均色ＢＣｋの比で表されるブロック色対比量ＢＲＣｋを求める。
また、ブロック明るさ特性算出部１１６１は、第１１、１２実施形態における明るさ特性算出部１１１０で画素単位で実施した処理をブロック単位で実施して、ブロックｋの明るさ対比量ＢＲＹｋを求める。
拡張ブロック内ゲイン算出部１４００は、第１４実施形態における図６２に示すブロックｋ内の特徴による画素ｉへのサブ補正ゲイン値Ｇｋ＿ｉに、周波数情報量ＢＦｋによる画素ｉへのサブ補正ゲインＧＦｋ＿ｉを（数式３３）を用いて求める。
拡張合成ゲイン算出部１４０１は、（数式３４）を用いて、３つの特徴量によるサブ補正ゲインＧＣｋ＿ｉ、ＧＹｋ＿ｉ、およびＧＦｋ＿ｉの積を求め、全ブロックｋによる画素ｉへのサブ補正ゲイン値Ｇｋ＿ｉの総和を求め、最終的な画素ｉへの補正ゲイン値Ｇｉを求める。

ここで、ＭａｘＦｋは、ブロックｋ内のぼけ程度を示す周波数情報量ＢＦｋより得られる値であり、「０．０」から「１．０」の値をとるものとする。

この補正ゲインＧｉを受けて、奥行き補正部１００８は、対象色情報Ｃｉに所定の色補正を行い、奥行き感向上した画像が生成される。
最後に出力部１０１０において、前述の実施形態と同様の処理がなされる。
本実施形態の画像処理装置では、第１４実施形態の特徴量に、ぼけ程度を表すブロック内周波数情報を加えることで、補正ゲインの推定精度向上になるとともに、色や明るさの特徴量ではうまく抽出できないようなパターンについても対応することができる。
また、上記説明において、対象色情報Ｃｉを１つとした場合の本発明の処理について説明したが、例えば、本発明において、彩度および色相の２つの色情報補正を組み合わせることで、色情報補正を実行させることも可能である。この場合、各々の色情報（Ｃｉ１、Ｃｉ２）からの色特性情報データ（色対比量ＲＣｉ１、ＲＣｉ２）は別々に求められ、色対比量ＲＣｉ１に応じた補正ゲインＧｉ１とＲＣｉ２とに応じた補正ゲインＧｉ２をもとに１つの補正ゲインＧｉに変換する変換関数が設定される。

さらに、ブロック分割部１０４０では、各ブロックのサイズを可変にすることも可能である。また、本実施形態の画像処理装置において、ブロック色対比量を求める際の周囲ブロックに関して、第７や第８実施形態で行った画素単位での周囲領域をブロック単位に拡張して対応させるようにしてもよい。また、第７実施形態や第８実施形態において、画素と周辺領域画素サイズとの関係（画素数の関係）（画素：周辺領域画素サイズ＝１：Ｎ）と一致させるように、本実施形態において、ブロックと周囲ブロックの領域のサイズ（ブロック：周辺領域ブロックサイズ＝１：Ｎ）との関係を設定するようにしてもよい。
また、本実施形態の画像処理装置では、ブロック内の周波数情報として、ある程度の高周波成分のＤＣＴ係数の平均を利用したが、その和を用いることもできるし、直流成分、交流成分を含めたＤＣＴ係数の総和やその平均値を用いてもよい。

さらに、本実施形態の画像処理装置では、周波数成分算出に２次元ＤＣＴ変換を用いたが、２次元フーリエ変換（ＤＦＴ）や２次元ウェーブレット変換のような周波数変換を用いることも可能である。また、それ以外の直交変換を用いて周波数成分を算出してもよい。さらに、ブロックの水平画素数ｎｐｗと垂直画素数ｎｐｈは同じでなくてもよい。
［第１７実施形態］
図７１に示された第１７実施形態の画像処理装置１７００について説明する。
この発明は、画像内の特徴より奥行き情報（近景領域・遠景領域）を推定するか入力された奥行き情報に応じて画像内の色情報を補正する装置において、ユーザが処理モードを選択するユーザモード選択部３００１を加えたものである。
図７１に示すように、この画像処理装置１７００は、主に、本発明の第１実施形態から第１６実施形態での処理を実現する画像処理部３００２と、その処理結果を表示する表示デバイス３０００、そしてユーザが処理モードを選択するユーザモード選択部３００１より構成される。

この発明では、画像処理部３００２で行われた奥行き推定による色補正処理画像または入力された奥行き情報による色補正処理画像を表示デバイス３０００に表示する。この画像処理装置は、ユーザが表示デバイス３０００での処理画像を視覚的に確認して、処理モードをユーザモード選択部３００１により選択することができるようにしたものであり、より個々人の特性に応じた色補正ができるような構成を有している。ここで、表示デバイス３０００としては、ＴＶのメイン画面でもサブ画面でもよい。ユーザモード選択部３００１として、例えば、補正効果の場合、（１）強モード、（２）中モード、（３）弱モード、（４）デフォルトモードのようなメニュー選択方式を用いるものが好ましい。また、本実施形態の画像処理装置において、第１実施形態１から第６実施形態に示した奥行き情報を入力する場合は、マウス等のポインタで近景領域候補をユーザが指定するようにしてもよい。本実施形態の画像処理装置において、第７実施形態から第１６実施形態における奥行き推定を行う場合は、ユーザによって指定された領域を近景領域候補とし、その範囲内で奥行き推定部が近景位置を推定する方式を用いるようにしてもよい。

ユーザは、表示デバイス３０００を確認して、ユーザモード選択部３００１に用意された補正効果に対するメニュー内の（１）強モード、（２）中モード、（３）弱モード、（４）デフォルトモードより選択する。また、ユーザは、マウスで近景候補領域を予め指定する。
この選択に応じて、ユーザモード選択部３００１より、画像処理部３００２で適用された奥行き効果のある色補正処理のためのパラメータの制御や、推定される近景位置をより好ましい位置へ移動させる制御が可能となる。これにより、本実施形態の画像処理装置では、人間の視覚特性より注目される可能性が高いとともに、各個人の見た目に応じた奥行き情報（近景位置）の推定が可能となるとともに、その推定結果より得られる色補正のための補正ゲインをより適切に制御することができる。

なお、ここでは、本実施形態の画像処理装置において、補正効果に対してメニュー選択方式を用いる例を示したが、これに限定されることはなく、各補正強度レベルに応じたスイッチやボタンを用いるものであっても良い。また、スライダバーのように連続的に動くインターフェースによる強度選択を用いることも可能であり、そのバーはアナログ的に動くバーでもデジタル的に動くバーであってもよい。また、本実施形態の画像処理装置において、第７実施形態から第１６実施形態における奥行き推定が実行される場合も、予め領域をブロック化しておき、その対応する番号を入力・選択する方式を用いることも可能である。さらに、本実施形態の画像処理装置において、奥行き推定時に、第７〜９実施形態、第１１〜１３実施形態、および第１５実施形態で示した処理を行う場合、近景かどうかの判定を行う閾値を変えることで、推定結果も変動する。したがって、本実施形態の画像処理装置において、例えば、推定精度を（Ａ）厳密モード、（Ｂ）中間モード、（Ｃ）緩和モードに応じて、閾値レベルを緩和するようにしてもよい。また、本実施形態の画像処理装置において、得られた近景位置をもとに設定される補正ゲイン関数のパラメータを上記メニューに応じて変化させるようにすることも可能である。

一方、本実施形態の画像処理装置において、第１０、１４、１６実施形態の処理を行う場合、得られた特徴量をもとに各ブロックによる補正ゲイン関数が設定され、対象画素における各補正ゲイン関数の和や積等で最終的な補正ゲインが決定される。この場合は、各ブロックに設定される補正ゲイン関数のパラメータを上記メニューに連動させることで、ユーザによる奥行き推定結果の制御が可能となる。
［他の実施形態］
第１実施形態から第６実施形態において、奥行き情報ｆｂｉは、画像データと別に入力される例について説明したが、画像データ内のタグ情報やファイルフォーマット情報に付加されて、奥行き情報ｆｂｉが入力されるものであってもよい。奥行き情報の入力方法も、ＲＯＭやＲＡＭのような外部メモリにより入力されてもよいし、予め用意されたテーブル内に保持されていてもよい。また、ユーザによるマウスやポインタでの指摘（近景ポイント・遠景ポイント）による入力であってもよいし、大まかにブロック分割された場合のブロック番号より近景ブロック番号をユーザに入力してもらってもよい。

上記実施形態において説明した本発明の画像処理方法および画像処理装置は色対比特性を利用した処理方法及び処理装置を含む。よって、この特性に効果が大きく影響される。
図７０は、色対比現象の特性を示したものであり、薄い黄色の背景にある赤円中心部にある背景と同じ薄い黄色円のサイズに依存して効果が変動することがわかっている。例えば、中心の薄い黄色円の半径が赤円と比較して小さい場合、赤円中心の薄い黄色円が青く感じる色対比現象は強まる。それに対して、中心の薄い黄色円の半径が大きくなり赤円に近づくにつれ、赤円中心の薄い黄色円が青く感じる色対比現象は弱まるのである。また、彩度対比の場合では、薄い水色の背景にある彩度の高い青色中心部にある背景と同じ薄い水色円のサイズに依存して効果が変動することがわかっている。この場合は、中心の彩度の薄い水色円の半径が彩度の高い青色円と比較して小さい場合、彩度の高い青色中心の薄い水色円の彩度がより薄く感じる色対比現象は強まる。それに対して、中心の薄い水円の半径が大きくなり彩度の高い青色円に近づくにつれ、彩度の高い青円中心の薄い水円の彩度がより薄く感じる色対比現象は弱まるのである。このように図７０にあるような大きさの異なる単純パターンを提示した場合、色補正効果が変動する特徴を本発明で説明した画像処理方法および画像処理装置は、持っている。

また、対象とする色情報の色対比量データＲＣｉとして、本発明の第１から第１６実施形態で示した、（１）周辺の代表色情報に対する対象画素の色情報の比と、（２）対象画素の色情報と周辺の代表色情報の差分量以外にも、これら（１）と（２）を所定の関数により変換して得られる値を用いることも可能である。同様に、明るさ情報の明るさ対比量データＲＹｉとして、本発明の第５から第７実施形態等で示した（１）周辺の代表明るさ情報に対する対象画素の明るさ情報の比と、（２）対象画素の明るさ情報と周辺の代表明るさ情報の差分量以外にも、これら（１）と（２）を所定の関数により変換して得られる値を用いることも可能である。また、画像に対する所定の領域を、代表色情報および代表明るさ情報を求める周辺領域としたが、周辺領域を固定にする必要はなく、例えば、対象画素ｉの色Ｃｉと周辺領域内の画素ｋの色情報Ｃｋとの差分や、画素ｉと画素ｋの距離ｌｅｎｇｔｈに応じて、周辺領域を可変させるようにし、適応的に周辺領域を変えるようにしてもよい。また、代表色情報として周辺領域内の平均を用いる場合、対象画素ｉの色Ｃｉと周辺領域内の画素ｋの色情報Ｃｋとの差分や、画素ｉと画素ｋの距離ｌｅｎｇｔｈに応じて、周辺領域画素ｋのＣｋにかかる重み係数を弱めたり、強めたりするようにしてもよい。この周辺領域についての設定の方法は、明るさ対比量の算出の場合にも同様に適用できる。

また、第７実施形態から第１６実施形態における奥行き推定部で推定された画素ｉの補正ゲインＧｉは「０．０」から「１．０」の範囲内の値をとることを前提とした。しかし、予め設定されたＭｉｎＧｉからＭａｘＧｉ（０．０≦ＭｉｎＧｉ≦１．０、０．０≦ＭａｘＧｉ≦１．０、ＭｉｎＧｉ＜ＭａｘＧｉ）に変換してもよい。また、そのＭｉｎＧｉやＭａｘＧｉがユーザにより指定入力されるようにすることも可能である。
本発明の第７実施形態から第１６実施形態において、奥行き補正部１００８は、奥行き推定部１００６、第２奥行き推定部１１０３、拡張奥行き推定部１２０３で得られた画像ｉの補正ゲインＧｉを用いて、入力画像の色情報ｖＣｉ内の補正対象色情報Ｃｉを補正することとしたが、ｖＣｉ内の複数の色情報の補正をするようにすることも可能である。この場合、色対比量ＲＣｉも当然、複数となるため、ｖＲＣｉのようなベクトルデータとして処理することとなる。

また、入力画像の色情報ｖＣｉ内の補正対象色情報Ｃｉを補正することとしたが色情報以外に、補正ゲインＧｉを使って、輝度等の明るさ情報Ｙｉを補正するようにしてもよい。
また、入力画像の色情報ｖＣｉと明るさ情報Ｙｉの両方を同時に補正することも可能である。さらに、従来例（従来技術）のように、画像内のエッジ強調処理における強度を補正ゲインＧｉで制御することも可能であるし、補正ゲインＧｉに応じて、陰影付加量の制御をすることも可能である。このように、奥行き推定部１００６で得られた補正ゲインＧｉを、人間の３次元知覚に利用する単眼情報の１つまたはその複数を制御して補正する処理に適用するようにしてもよい。
また、各処理装置内の推定に利用するパラメータは、処理装置内に構成されているが、ＲＡＭのような外部メモリや外部からの入力部でこれらのデータを提供するようにすることも可能である。

上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置として実現されるものであり、ＬＳＩなどの集積回路としても実現される。
上記各実施形態で説明した各種処理を実現する各機能ブロックの一部または全部は、個別に１チップ化させてもよいし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路の手法にはＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。

さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
［付記］
本発明は、次のように表現することも可能である。
（付記２３）
入力された画像データを補正する画像処理方法において、
入力された画像内に含まれる画素の奥行き情報を推定し、前記推定された奥行き情報に基づき対象画素の色情報を補正する、
画像処理方法。
（付記２４）
付記２３に記載の奥行き情報推定は、対象画素の色情報を周辺画素の色情報と比較することで得られる色対比量により推定される、
画像処理方法。

（付記２５）
付記２３に記載の奥行き情報推定は、対象画素の色情報を周辺画素の色情報と比較することで得られる色対比量と、
対象画素の明るさ情報を周辺画素の明るさ情報と比較することで得られる明るさ対比量により推定される、
画像処理方法。
（付記２６）
付記２３に記載の奥行き情報推定は、対象画素の色情報を周辺画素の色情報と比較することで得られる色対比量と、
対象画素の明るさ情報を周辺画素の明るさ情報と比較することで得られる明るさ対比量と、
対象画素値の周波数成分により推定される、
画像処理方法。

（付記２７）
奥行き情報は、対象画素の奥行き情報は近景を表すほど大きい値で定義されており、対象画素の色対比量、明るさ対比量、周波数成分から選択された複数の組合せで定義される値が大きいほど、奥行き情報は大きい値を示すように推定される、
付記２４、２５、２６のいずれかに記載の画像処理方法。
（付記２８）
奥行き情報は、対象画素の奥行き情報は遠景を表すほど小さい値で定義されており、対象画素の色対比量、明るさ対比量、周波数成分から選択された複数の組合せで定義される値が小さいほど、奥行き情報は小さい値を示すように推定される、
付記２４、２５、２６のいずれかに記載の画像処理方法。

（付記２９）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の色情報を算出する色情報算出ステップと、
前記色情報より奥行き情報を推定する奥行き推定ステップと、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正ステップと、
前記奥行き補正ステップで得られた補正後の色情報を所定の画像データで出力する出力ステップと、
を備える画像処理方法。
（付記３０）
奥行き推定ステップは、対象とする画素の色情報を、その周囲の領域内の色情報を代表する周囲色情報と比較して得られる色対比量を求め、
その色対比量をもとに奥行き度の推定を行い、
推定された奥行き度に従い、各画素の補正ゲイン値を算出する、
付記２９に記載の画像処理方法。

（付記３１）
奥行き推定ステップは、対象とする画素の色情報を、その周囲の領域内の色情報を代表する周囲色情報と比較して得られる色対比量を求め、
その色対比量をもとに近景に含まれる画素の判定を行い、
その判定結果より近景位置の推定を行い、
推定された近景位置に従い、各画素の補正ゲイン値を算出する、
付記２９に記載の画像処理方法。
（付記３２）
奥行き推定ステップは、画像内のブロック対象分割を行い、
各ブロック内の平均色情報を求め、
対象とするブロックの平均色情報を、その周囲にある複数ブロック内の平均色情報を代表する周囲ブロック平均色情報と比較して得られるブロック色対比量を求め、
そのブロック色対比量をもとに近景に含まれるブロックの判定を行い、
その判定結果より近景位置の推定を行い、
推定された近景位置に従い、各画素の補正ゲイン値を算出する、
付記２９に記載の画像処理方法。

（付記３３）
奥行き推定ステップは、画像内のブロック対象分割を行い、
各ブロック内の平均色情報を求め、
対象とするブロックの平均色情報を、その周囲にある複数ブロック内の平均色情報を代表する周囲ブロック平均色情報と比較して得られるブロック色対比量を求め、
そのブロック色対比量をもとに各ブロックによる補正ゲイン値を算出し、
対象画素に対する全ブロックからの補正ゲイン値を合成して補正ゲイン値を求めることで各画素の補正ゲイン値を算出する、
付記２９に記載の画像処理方法。
（付記３４）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の色情報を算出する色情報算出ステップと、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記色情報と明るさ情報より奥行き情報を推定する高度奥行き推定ステップと、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正ステップと、
前記奥行き補正ステップで得られた補正後の色情報を所定の画像データで出力する出力ステップと、
を備える画像処理方法。

（付記３５）
高度奥行き推定ステップは、
対象とする画素の色対比量を求める色特性算出ステップと、
対象画素の明るさ対比量を求める明るさ特性算出ステップと、
前記色対比量と前記明るさ対比量より奥行き度を推定する高度奥行き度算出ステップを行う、
付記３４に記載の画像処理方法。
（付記３６）
高度奥行き推定ステップは、
対象とする画素の色対比量を求める色特性算出ステップと、
対象画素の明るさ対比量を求める明るさ特性算出ステップと、
色対比量と明るさ対比量より近景に含まれる画素の判定を行い、
その判定結果より近景位置の推定を行い、
推定された近景位置に従い、各画素の補正ゲイン値を算出する、
付記３４に記載の画像処理方法。

（付記３７）
高度奥行き推定ステップは、画像内のブロック対象分割を行い、
各ブロック内の平均色情報、平均明るさ情報を求め、
対象とするブロックの平均色情報についてブロック色対比量を求め、
対象とするブロックの平均明るさ情報についてブロック明るさ対比量を求め、
そのブロック色対比量およびブロック明るさ対比量をもとに近景に含まれるブロックの判定を行い、
その判定結果より近景位置の推定を行い、
推定された近景位置に従い、各画素の補正ゲイン値を算出する、
付記３４に記載の画像処理方法。

（付記３８）
高度奥行き推定ステップは、画像内のブロック対象分割を行い、
各ブロック内の平均色情報、平均明るさ情報を求め、
対象とするブロックの平均色情報についてブロック色対比量を求め、
対象とするブロックの平均明るさ情報についてブロック明るさ対比量を求め、
そのブロック色対比量とブロック明るさ対比量をもとに各ブロックによる補正ゲイン値を算出し、
対象画素に対する全ブロックからの補正ゲイン値を合成して補正ゲイン値を求めることで各画素の補正ゲイン値を算出する、
付記３４に記載の画像処理方法。

（付記３９）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の色情報を算出する色情報算出ステップと、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
入力された画像信号の周波数成分を算出する周波数成分算出ステップと、
前記色情報と明るさ情報、周波数成分より奥行き情報を推定する拡張奥行き推定ステップと、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正ステップと、
前記奥行き補正ステップで得られた補正後の色情報を所定の画像データで出力する出力ステップと、
を備える画像処理方法。

（付記４０）
拡張奥行き推定ステップが、画像内のブロック対象分割を行い、
各ブロック内の平均色情報、平均明るさ情報を求め、
各ブロック内の周波数成分情報を求め、
対象とするブロックの平均色情報についてブロック色対比量を求め、
対象とするブロックの平均明るさ情報についてブロック明るさ対比量を求め、
そのブロック色対比量、ブロック明るさ対比量、ブロック内周波数成分をもとに近景に含まれるブロックの判定を行い、
その判定結果より近景位置の推定を行い、
推定された近景位置に従い、各画素の補正ゲイン値を算出する、
付記３９に記載の画像処理方法。

（付記４１）
拡張奥行き推定ステップが、画像内のブロック対象分割を行い、
各ブロック内の平均色情報、平均明るさ情報を求め、
各ブロック内の周波数成分情報を求め、
対象とするブロックの平均色情報についてブロック色対比量を求め、
対象とするブロックの平均明るさ情報についてブロック明るさ対比量を求め、
そのブロック色対比量、ブロック明るさ対比量とブロック内周波数成分をもとに各ブロックによる補正ゲイン値を算出し、
対象画素に対する全ブロックからの補正ゲイン値を合成して補正ゲイン値を求めることで各画素の補正ゲイン値を算出する、
付記３９に記載の画像処理方法。

（付記４２）
入力されたカラー画像データを補正するカラー画像処理方法において、
ユーザが所定の方法で提示されたメニューやボタンより処理モードを選択するユーザ処理選択ステップと、
前記ユーザ処理選択ステップで得られた処理モードに応じて、付記２９、３４、３９のいずれかに記載の画像処理方法の処理制御を行うステップと、
前記画像処理方法による結果を所定の表示機器に表示するステップと、
前記表示ステップで得られた処理済み画像が良好である場合、その画像を所定の方法で出力することを指示するユーザ出力指示ステップと、
前記ユーザ出力ステップで出力指示がされた時点で所定の方法で処理済画像を出力する出力ステップと、
をさらに備える、
付記２９、３４、３９のいずれかに記載の画像処理方法。

（付記４３）
ユーザ処理選択ステップは、付記２９、３４、３９のいずれかに記載の画像処理方法における処理において色補正を行う際の強度を、強モード、中モード、弱モードのように設定された複数モードより選択する、
付記４２に記載の画像処理方法。
（付記４４）
付記２９、３４、３９のいずれかに記載の画像処理方法における色補正は、色対比現象の発生する所定のパターンの大きさ変動に応じて効果が増減するように動作する、
付記２９、３４、３９のいずれかに記載の画像処理方法。
（付記４５）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の色情報を算出する色情報算部と、
前記色情報より奥行き情報を推定する奥行き推定部と、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正部と、
前記奥行き補正部で得られた補正後の色情報を所定の画像データで出力する出力部と、
を備える画像処理装置。

（付記４６）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の色情報を算出する色情報算出部と、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
前記色情報と明るさ情報より奥行き情報を推定する高度奥行き推定部と、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正部と、
前記奥行き補正部で得られた補正後の色情報を所定の画像データで出力する出力部と、
を備える画像処理装置。
（付記４７）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の色情報を算出する色情報算出部と、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
入力された画像信号の周波数成分を算出する周波数成分算出部と、
前記色情報と明るさ情報、周波数成分より奥行き情報を推定する拡張奥行き推定部と、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正部と、
前記奥行き補正部で得られた補正後の色情報を所定の画像データで出力する出力部と、
を備える画像処理装置。

（付記４８）
入力されたカラー画像データを補正するカラー画像処理装置において、
ユーザが所定の方法で提示されたメニューやボタンより処理モードを選択するユーザ処理選択部と、
前記ユーザ処理選択部で得られた処理モードに応じて所定の画像処理を実施する、付記２３から４１のいずれかに記載の画像処理部と、
前記画像処理部による結果を所定の表示機器に表示する表示部と、
を備える画像処理装置。
（付記４９）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の色情報を算出する色情報算出ステップと、
前記色情報より奥行き情報を推定する奥行き推定ステップと、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正ステップと、
前記奥行き補正ステップで得られた補正後の色情報を所定の画像データで出力する出力ステップと、
を備える画像処理方法である画像処理プログラム。

（付記５０）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の色情報を算出する色情報算出ステップと、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記色情報と明るさ情報より奥行き情報を推定する高度奥行き推定ステップと、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正ステップと、
前記奥行き補正ステップで得られた補正後の色情報を所定の画像データで出力する出力ステップと、
を備える画像処理方法である画像処理プログラム。

（付記５１）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の色情報を算出する色情報算出ステップと、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
入力された画像信号の周波数成分を算出する周波数成分算出ステップと、
前記色情報と明るさ情報、周波数成分より奥行き情報を推定する拡張奥行き推定ステップと、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正ステップと、
前記奥行き補正ステップで得られた補正後の色情報を所定の画像データで出力する出力ステップと、
を備える画像処理方法である画像処理プログラム。

（付記５２）
入力された画像信号の色情報を算出する色情報算出部と、
前記色情報より奥行き情報を推定する奥行き推定部と、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正部と、
前記奥行き補正部で得られた補正後の色情報を所定の画像データで出力する出力部と、を備える集積回路。
（付記５３）
入力された画像信号の色情報を算出する色情報算出部と、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
前記色情報と明るさ情報より奥行き情報を推定する第２奥行き推定部と、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正部と、
前記奥行き補正部で得られた補正後の色情報を所定の画像データで出力する出力部と、
を備える集積回路。

（付記５４）
入力された画像信号の色情報を算出する色情報算出部と、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
入力された画像信号の周波数成分を算出する周波数成分算出部と、
前記色情報と明るさ情報、周波数成分より奥行き情報を推定する拡張奥行き推定部と、
前記奥行き情報により画像内の色情報に対して奥行き補正を行う奥行き補正部と、
前記奥行き補正部で得られた補正後の色情報を所定の画像データで出力する出力部と、
を備える集積回路。

本発明に係る画像処理装置等は、近景・遠景を示す奥行き情報に応じて色情報（彩度、色相等）を変化させることで、２Ｄ画像の奥行き感向上を簡易かつ３Ｄ画像表示のように特殊デバイスを必要としないで実現することができるので、映像機器関連産業分野において、有用であり、本発明に係る画像処理装置等は、当該分野において実施することができる。

本発明の第１実施形態に係る画像処理装置の構成を示すブロック図。 本発明の第１実施形態に係る画像処理方法の処理フローチャート図。 奥行き情報例を模式的に示す図。 本発明における奥行き情報に応じた彩度補正を行う制御係数例を示す図。 本発明の第１実施形態に係る画像処理装置における色情報補正部の構成を示すブロック図。 本発明の第１実施形態に係る画像処理方法の色情報補正部の処理のフローチャート図。 本発明における第１実施形態の発明の特徴である色対比の概要を示す図。 彩度対比を利用した彩度補正の概要を模式的に示す図。 色相対比を利用した色相補正の概要を模式的に示す図。 本発明における第１実施形態に係る画像処理方法における、奥行き情報による補正制御パラメータによる彩度対比を利用した彩度補正の制御を模式的に表す図。 本発明における第１実施形態に係る画像処理方法における、奥行き情報による補正制御パラメータによる色相対比を利用した色相補正の制御を模式的に表す図。 本発明における第２実施形態に係る画像処理装置における色情報補正部の構成を示すブロック図。 本発明における第２実施形態に係る画像処理方法の処理フローチャート図。 第２実施形態に係る発明による彩度補正内での対比効果を制御する補正係数の変動を示す図。 本発明における第３実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第３実施形態に係る画像処理装置における色相対応色情報補正部の構成を示すブロック図。 本発明における第３実施形態に係る画像処理方法の処理フローチャート図。 第３実施形態に係る発明による彩度補正内での対比効果を制御する補正係数の変動を示す図（肌色領域対象）。 第３実施形態に係る発明による彩度補正内での対比効果を制御する補正係数の変動を示す図（空、緑領域対象）。 本発明における第４実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第４実施形態に係る画像処理装置内の明るさ対応色情報補正部の構成を示すブロック図。 本発明における第４実施形態に係る発明である画像処理方法の処理フローチャート図。 第４実施形態に係る発明による彩度補正内での対比効果を制御する補正係数の変動を示す図。 本発明における第５実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第５実施形態に係る画像処理装置内の明るさ特性算出部の構成を示すブロック図。 本発明における第５実施形態に係る画像処理方法の処理フローチャート図。 本発明における第５実施形態に係る画像処理方法内の明るさ特性算出ステップの処理フローチャート図。 第５実施形態に係る発明による彩度補正内での対比効果を制御する補正係数の変動を示す図。 本発明における第６実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第６実施形態に係る画像処理装置内の拡張色情報補正部の構成を示すブロック図。 本発明における第６実施形態に係る画像処理方法の処理フローチャート図。 本発明における第７実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第７実施形態に係る画像処理装置の奥行き推定部の構成を示すブロック図。 本発明における第７実施形態に係る画像処理方法の処理フローチャート図。 本発明における第７実施形態に係る画像処理手法内の奥行き情報推定ステップの処理フローチャート図。 本発明における第７実施形態に係る画像処理方法での、奥行き推定アルゴリズムの概要を模式的に表す図。 推定された奥行き情報から得られる補正ゲイン値の制御例を示す関数図。 本発明における第８実施形態に係る画像処理装置の奥行き推定部の構成を示すブロック図。 本発明における第８実施形態に係る画像処理手法内の奥行き情報推定ステップの処理フローチャート図。 本発明における第８実施形態に係る画像処理方法内の奥行き推定ステップで実施される補正ゲインを模式的に示す図。 本発明における第９実施形態に係る画像処理装置の奥行き推定部の構成を示すブロック図。 本発明における第９実施形態に係る画像処理方法内の奥行き推定ステップの処理フローチャート図。 本発明における第９実施形態に係る画像処理方法でのブロック分割による奥行き推定で使用される特徴量（色対比）を模式的に示す図。 本発明における第１０実施形態に係る画像処理装置内の奥行き推定部の構成を示すブロック図。 本発明における第１０実施形態に係る画像処理方法の奥行き推定ステップの処理フローチャート図。 各ブロック内に設定された補正ゲインを統合して対象画素における補正ゲインを決定する様子を示す模式図。 本発明における第１１実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１１実施形態に係る画像処理装置内の高度奥行き推定部の構成を示すブロック図。 本発明における第１１実施形態に係る画像処理方法内の奥行き情報推定ステップの処理フローチャート図。 本発明における第１１実施形態に係る画像処理方法内の高度奥行き推定ステップの処理フローチャート図。 本発明における第１１実施形態に係る画像処理方法内の色対比量算出ステップと明るさ対比量算出ステップの処理フローチャート図。 本発明で使用する明るさ対比の概要を示す図。 推定された奥行き情報から得られる補正ゲイン値の制御例を示す図。 本発明における第１２実施形態に係る画像処理装置内の高度奥行き推定部の構成を示すブロック図。 本発明における第１２実施形態に係る画像処理手法内の高度奥行き情報推定ステップの処理フローチャート図。 近景位置推定とそこから得られる補正ゲイン関数を模式的に示す図。 本発明における第１３実施形態に係る画像処理装置内の高度奥行き推定部の構成を示すブロック図。 本発明における第１３実施形態に係る画像処理手法内の高度奥行き情報推定ステップの処理フローチャート図。 各ブロックより奥行き推定に使用される特徴量（色対比と明るさ対比）を模式的に示す図。 本発明における第１４実施形態に係る画像処理装置内の高度奥行き情報推定部の構成を示すブロック図。 本発明における第１４実施形態に係る画像処理方法の高度奥行き推定ステップの処理フローチャート図。 各ブロック内に設定された補正ゲインを統合して対象画素における補正ゲインを決定する様子を示す模式図。 本発明における第１５実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１５実施形態に係る画像処理装置内の拡張奥行き推定部の構成を示すブロック図。 本発明における第１５実施形態に係る画像処理手法の処理フローチャート図。 本発明における第１５実施形態に係る画像処理手法内の拡張奥行き情報推定ステップの処理フローチャート図。 各ブロックより奥行き推定に使用される特徴量（色対比と明るさ対比、周波数成分）を模式的に示す図。 本発明における第１６実施形態に係る画像処理装置内の拡張奥行き推定部の構成を示すブロック図。 本発明における第１６実施形態に係る画像処理手法内の拡張奥行き情報推定ステップの処理フローチャート図。 本発明における画像処理方法での色対比効果の変動を示すための図。 本発明の第１７実施形態に係る画像処理装置の構成を示す図。 従来例１の画像処理装置の構成を示すブロック図。 従来例２の画像処理装置の構成を示すブロック図。

符号の説明

１００、３００、４００、６００、７００、１１００、１５００、１７００ 画像処理装置
３００２ 画像処理部
１０ 補正制御部
１１ 色情報算出部
１２、２０１２ 色情報補正部
１３ 出力部
２０ 色特性算出部
２１ 補正量算出部
２２、２０２２、３０２２、４０２２、５０２２、６０２２ 補正部
２３ 周辺色情報算出部
２４ 色対比量算出部
３０、３０３０、５０３０、６０３０ 対比補正量制御部
４０ 色相算出部
４２ 色相対応色情報補正部
５０ 明るさ情報算出部
５２ 明るさ対応色情報補正部
６０ 明るさ特性算出部
７０ 周辺明るさ情報算出部
７１ 明るさ対比量算出部
８０ 拡張色情報補正部
１００２ 画像処理部
１００４ 色情報算出部
１００６、８０６、９０６、１０００６、 奥行き推定部
１００８ 奥行き補正部
１０１０ 出力部
１０２０ 色特性算出部
１０２１ 周辺代表色算出部
１０２２ 色対比量算出部
１０２３ 奥行き度算出部
１０３０ 近景画素判定部
１０３１ 近景位置推定部
１０３２ ゲイン算出部
１０４０ ブロック分割部
１０４１ ブロック内平均部
１０４２ ブロック色特性算出部
１０４３ 近景ブロック判定部
１０４４ ブロック周辺代表色算出部
１０４５ ブロック色対比量算出部
１０５０ ブロック内ゲイン算出部
１０５１ 合成ゲイン算出部
１１０１ 明るさ情報算出部
１１０３、１２０３、１３０３、１４０３、１５０３、１６０３ 第２奥行き推定部
１１１０ 明るさ特性算出部
１１１１ 周辺代表明るさ算出部
１１１２ 明るさ対比量算出部
１１１３ 統合奥行き度算出部
１１３０ 統合近景画素判定部
１１６０ ブロック内明るさ平均部
１１６１ ブロック色特性算出部
１１６２ 統合近景ブロック判定部
１１８０ 個別ブロック内ゲイン算出部
１１８１ 高度合成ゲイン算出部
１２００ 第３画像処理部
１２０１ 周波数成分算出部
１２０２ 周波数情報
１２０３ 拡張奥行き推定部
１３００ ブロック内周波数情報算出部
１３０１ 拡張近景ブロック判定部
１４００ 拡張ブロック内ゲイン算出部
１４０１ 拡張合成ゲイン算出部
３０００ 表示デバイス（表示部）
３００１ ユーザモード選択部

Claims (20)

1. 画素からなる画像を形成することができる画像信号から、前記画像信号の色情報を算出する色情報算出部と、
   入力された奥行き情報に基づいて前記画像信号の前記色情報を補正するための補正ゲインを求める補正量制御部と、
   前記補正ゲインに基づいて、前記色情報を補正する色情報補正部と、
   前記色情報補正部により補正された前記色情報を所定の形式により出力させる出力部と、
   を備える画像処理装置。
2. 前記補正量制御部は、前記画像信号において処理対象とされている前記画素である注目画素についての前記奥行き情報が近景であることを示す度合いが大きいほど、対比効果により、近景感が高まるように前記補正ゲインを設定し、前記注目画素についての前記奥行き情報が遠景であることを示す度合いが大きいほど、対比効果により、遠景感が高まるように前記補正ゲインを設定する、
   請求項１に記載の画像処理装置。
3. 前記色情報補正部は、
   前記注目画素の前記色情報および前記注目画素の周辺画素の前記色情報に基づいて色対比量を算出する色特性算出部と、
   前記補正ゲインおよび前記色対比量に基づいて、前記色情報を補正するための対比補正係数を算出する補正量算出部と、
   前記対比補正係数に基づいて、前記色情報を補正する補正部と、
   を有する、
   請求項２に記載の画像処理装置。
4. 前記色特性算出部は、前記注目画素の前記色情報Ｃｉおよび前記周辺画素の前記色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）を前記色対比量として算出し、
   前記補正量制御部は、前記奥行き情報により、前記対比補正係数ＫＬｉの上限値および下限値を決定し、前記色対比量ＲＣｉが「１」である場合、前記対比補正係数ＫＬｉを「０」に設定し、前記対比補正係数ＫＬｉが前記色対比量ＲＣｉに対して単調となるように、前記対比補正係数ＫＬｉを設定し、
   前記補正部は、色情報補正量ｄＣｉを、前記対比補正係数ＫＬｉと前記色情報Ｃｉ、定数α１で制御することで求め、前記注目画素の補正後の補正色情報Ｃｉ＿ｎｅｗを、Ｃｉ＿ｎｅｗ＝（前記色情報Ｃｉ）＋（前記色情報補正量ｄＣｉ）とすることで、前記注目画素の前記色情報を補正する、
   請求項３に記載の画像処理装置。
5. 前記色特性算出部は、前記注目画素の彩度Ｓｉおよび前記周辺画素の彩度の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）を前記色対比量として算出し、
   前記補正量制御部は、前記注目画素についての前記奥行き情報が近景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、第１近景用閾値（＞０）より小さな正の値に前記対比補正係数Ｋｉを設定し、前記対比量が「１」以下のとき、第２近景用閾値（＜０）より大きな負の値に前記対比補正係数Ｋｉを設定し、
   前記注目画素についての前記奥行き情報が遠景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、前記第１近景用閾値より小さな値である第１遠景用閾値（＞０）より小さな正の値に前記対比補正係数Ｋｉを設定し、前記対比量が「１」以下のとき、前記第２近景用閾値より大きな値である第２遠景用閾値（＜０）より大きな負の値に前記対比補正係数Ｋｉを設定し、
   前記補正部は、彩度補正量ｄＳｉを、前記対比補正係数Ｋｉと前記彩度Ｓｉ、定数α２で制御することで求め、前記注目画素の補正後の補正色情報Ｓｉ＿ｎｅｗを、Ｓｉ＿ｎｅｗ＝（前記彩度Ｓｉ）＋（前記彩度補正量ｄＳｉ）とすることで、前記注目画素の前記色情報を補正する、
   請求項４に記載の画像処理装置。
6. 前記色特性算出部は、前記注目画素の色相Ｈｉおよび前記周辺画素の色相の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）を前記色対比量として算出し、
   前記補正量制御部は、前記注目画素についての前記奥行き情報が近景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、第３近景用閾値（＞０）より小さな正の値に前記対比補正係数Ｌｉを設定し、前記対比量が「１」以下のとき、第４近景用閾値（＜０）より大きな負の値に前記対比補正係数Ｌｉを設定し、
   前記注目画素についての前記奥行き情報が遠景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、前記第３近景用閾値より大きな値である第３遠景用閾値（＞０）より小さな正の値に前記対比補正係数Ｌｉを設定し、前記対比量が「１」以下のとき、前記第４近景用閾値より小さな値である第４遠景用閾値（＜０）より大きな負の値に前記対比補正係数Ｌｉを設定し、
   前記補正部は、色相補正量ｄＨｉを、前記対比補正係数Ｌｉと前記色相Ｈｉ、定数α３で制御することで求め、前記注目画素の補正後の補正色情報Ｈｉ＿ｎｅｗを、Ｈｉ＿ｎｅｗ＝（前記色相Ｈｉ）＋（前記色相補正量ｄＨｉ）とすることで、前記注目画素の前記色情報を補正する、
   請求項４に記載の画像処理装置。
7. 前記色情報補正部は、
   前記注目画素の前記色情報および前記注目画素の周辺画素の前記色情報に基づいて色対比量を算出する色特性算出部と、
   前記色対比量および前記色情報に基づいて対比補正係数制御量α４を求める対比補正量制御部と、
   前記補正ゲインおよび前記色対比量に基づいて、前記色情報を補正するための対比補正係数を算出する補正量算出部と、
   前記対比補正係数および前記対比補正係数制御量に基づいて、前記色情報を補正する補正部と、
   を有する、
   請求項２に記載の画像処理装置。
8. 前記色情報補正部は、
   前記注目画素の明るさ情報および前記周辺画素の前記明るさ情報に基づいて明るさ対比量を算出する明るさ特性算出部をさらに有し、
   前記対比補正量制御部は、前記色対比量および前記明るさ対比量に基づいて前記対比補正係数制御量α４を求める、
   請求項７に記載の画像処理装置。
9. 前記色特性算出部は、前記注目画素の前記色情報Ｃｉおよび前記周辺画素の前記色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）を前記色対比量として算出し、
   前記補正量制御部は、前記奥行き情報により、前記対比補正係数ＫＬｉの上限値および下限値を決定し、前記色対比量ＲＣｉが「１」である場合、前記対比補正係数ＫＬｉを「０」に設定し、前記対比補正係数ＫＬｉが前記色対比量ＲＣｉに対して単調となるように、前記対比補正係数ＫＬｉを設定し、
   前記補正部は、色情報補正量ｄＣｉを、前記対比補正係数ＫＬｉと前記色情報Ｃｉ、補正係数制御量α４で制御することで求め、前記注目画素の補正後の補正色情報Ｃｉ＿ｎｅｗを、Ｃｉ＿ｎｅｗ＝（前記色情報Ｃｉ）＋（前記色情報補正量ｄＣｉ）とすることで、前記注目画素の前記色情報を補正する、
   請求項７に記載の画像処理装置。
10. 前記色特性算出部は、前記注目画素の前記色情報Ｃｉおよび前記周辺画素の前記色情報の代表値ＡＣｉとの比ＲＣｉ（＝Ｃｉ／ＡＣｉ）を前記色対比量として算出し、
    前記補正量制御部は、前記奥行き情報により、前記対比補正係数ＫＬｉの上限値および下限値を決定し、前記色対比量ＲＣｉが「１」である場合、前記対比補正係数ＫＬｉを「０」に設定し、前記対比補正係数ＫＬｉが前記色対比量ＲＣｉに対して単調となるように、前記対比補正係数ＫＬｉを設定し、
    前記補正部は、色情報補正量ｄＣｉを、前記対比補正係数ＫＬｉと前記色情報Ｃｉ、前記補正係数制御量α４で制御することで求め、前記注目画素の補正後の補正色情報Ｃｉ＿ｎｅｗを、Ｃｉ＿ｎｅｗ＝（前記色情報Ｃｉ）＋（前記色情報補正量ｄＣｉ）とすることで、前記注目画素の前記色情報を補正する、
    請求項８に記載の画像処理装置。
11. 前記色特性算出部は、前記注目画素の彩度Ｓｉおよび前記周辺画素の彩度の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）を前記色対比量として算出し、
    前記補正量制御部は、前記注目画素についての前記奥行き情報が近景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、第１近景用閾値（＞０）より小さな正の値に前記対比補正係数Ｋｉを設定し、前記対比量が「１」以下のとき、第２近景用閾値（＜０）より大きな負の値に前記対比補正係数Ｋｉを設定し、
    前記注目画素についての前記奥行き情報が遠景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、前記第１近景用閾値より小さな値である第１遠景用閾値（＞０）より小さな正の値に前記対比補正係数Ｋｉを設定し、前記対比量が「１」以下のとき、前記第２近景用閾値より大きな値である第２遠景用閾値（＜０）より大きな負の値に前記対比補正係数Ｋｉを設定し、
    前記補正部は、彩度補正量ｄＳｉを、前記対比補正係数Ｋｉと前記彩度Ｓｉ、前記補正係数制御量α４で制御することで求め、前記注目画素の補正後の補正色情報Ｓｉ＿ｎｅｗを、Ｓｉ＿ｎｅｗ＝（前記彩度Ｓｉ）＋（前記彩度補正量ｄＳｉ）とすることで、前記注目画素の前記色情報を補正する、
    請求項９に記載の画像処理装置。
12. 前記色特性算出部は、前記注目画素の彩度Ｓｉおよび前記周辺画素の彩度の代表値ＡＳｉとの比ＲＳｉ（＝Ｓｉ／ＡＳｉ）を前記色対比量として算出し、
    前記補正量制御部は、前記注目画素についての前記奥行き情報が近景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、第１近景用閾値（＞０）より小さな正の値に前記対比補正係数Ｋｉを設定し、前記対比量が「１」以下のとき、第２近景用閾値（＜０）より大きな負の値に前記対比補正係数Ｋｉを設定し、
    前記注目画素についての前記奥行き情報が遠景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、前記第１近景用閾値より小さな値である第１遠景用閾値（＞０）より小さな正の値に前記対比補正係数Ｋｉを設定し、前記対比量が「１」以下のとき、前記第２近景用閾値より大きな値である第２遠景用閾値（＜０）より大きな負の値に前記対比補正係数Ｋｉを設定し、
    前記補正部は、彩度補正量ｄＳｉを、前記対比補正係数Ｋｉと前記彩度Ｓｉ、前記補正係数制御量α４で制御することで求め、前記注目画素の補正後の補正色情報Ｓｉ＿ｎｅｗを、Ｓｉ＿ｎｅｗ＝（前記彩度Ｓｉ）＋（前記彩度補正量ｄＳｉ）とすることで、前記注目画素の前記色情報を補正する、
    請求項１０に記載の画像処理装置。
13. 前記色特性算出部は、前記注目画素の色相Ｈｉおよび前記周辺画素の色相の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）を前記色対比量として算出し、
    前記補正量制御部は、前記注目画素についての前記奥行き情報が近景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、第３近景用閾値（＞０）より小さな正の値に前記対比補正係数Ｌｉを設定し、前記対比量が「１」以下のとき、第４近景用閾値（＜０）より大きな負の値に前記対比補正係数Ｌｉを設定し、
    前記注目画素についての前記奥行き情報が遠景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、前記第３近景用閾値より大きな値である第３遠景用閾値（＞０）より小さな正の値に前記対比補正係数Ｌｉを設定し、前記対比量が「１」以下のとき、前記第４近景用閾値より小さな値である第４遠景用閾値（＜０）より大きな負の値に前記対比補正係数Ｌｉを設定し、
    前記補正部は、色相補正量ｄＨｉを、前記対比補正係数Ｌｉと前記色相Ｈｉ、前記補正係数制御量α４で制御することで求め、前記注目画素の補正後の補正色情報Ｈｉ＿ｎｅｗを、Ｈｉ＿ｎｅｗ＝（前記色相Ｈｉ）＋（前記色相補正量ｄＨｉ）とすることで、前記注目画素の前記色情報を補正する、
    請求項９に記載の画像処理装置。
14. 前記色特性算出部は、前記注目画素の色相Ｈｉおよび前記周辺画素の色相の代表値ＡＨｉとの比ＲＨｉ（＝Ｈｉ／ＡＨｉ）を前記色対比量として算出し、
    前記補正量制御部は、前記注目画素についての前記奥行き情報が近景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、第３近景用閾値（＞０）より小さな正の値に前記対比補正係数Ｌｉを設定し、前記対比量が「１」以下のとき、第４近景用閾値（＜０）より大きな負の値に前記対比補正係数Ｌｉを設定し、
    前記注目画素についての前記奥行き情報が遠景であることを示す度合いが最大である場合、前記対比量が「１」より大きいとき、前記第３近景用閾値より大きな値である第３遠景用閾値（＞０）より小さな正の値に前記対比補正係数Ｌｉを設定し、前記対比量が「１」以下のとき、前記第４近景用閾値より小さな値である第４遠景用閾値（＜０）より大きな負の値に前記対比補正係数Ｌｉを設定し、
    前記補正部は、色相補正量ｄＨｉを、前記対比補正係数Ｌｉと前記色相Ｈｉ、前記補正係数制御量α４で制御することで求め、前記注目画素の補正後の補正色情報Ｈｉ＿ｎｅｗを、Ｈｉ＿ｎｅｗ＝（前記色相Ｈｉ）＋（前記色相補正量ｄＨｉ）とすることで、前記注目画素の前記色情報を補正する、
    請求項１０に記載の画像処理装置。
15. 画素からなる画像を形成することができる画像信号から、前記画像信号の色情報を算出する色情報算出ステップと、
    入力された奥行き情報に基づいて前記画像信号の前記色情報を補正するための補正ゲインを求める補正量制御ステップと、
    前記補正ゲインに基づいて、前記色情報を補正する色情報補正ステップと、
    を備える画像処理方法。
16. コンピュータを、
    画素からなる画像を形成することができる画像信号から、前記画像信号の色情報を算出する色情報算出部、
    入力された奥行き情報に基づいて前記画像信号の前記色情報を補正するための補正ゲインを求める補正量制御部、
    前記補正ゲインに基づいて、前記色情報を補正する色情報補正部、
    として機能させるためのプログラム。
17. コンピュータを、
    画素からなる画像を形成することができる画像信号から、前記画像信号の色情報を算出する色情報算出部、
    入力された奥行き情報に基づいて前記画像信号の前記色情報を補正するための補正ゲインを求める補正量制御部、
    前記補正ゲインに基づいて、前記色情報を補正する色情報補正部、
    として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
18. 画素からなる画像を形成することができる画像信号から、前記画像信号の色情報を算出する色情報算出部と、
    入力された奥行き情報に基づいて前記画像信号の前記色情報を補正するための補正ゲインを求める補正量制御部と、
    前記補正ゲインに基づいて、前記色情報を補正する色情報補正部と、
    を備える集積回路。
19. ユーザの指示により処理モードを選択させるユーザモード選択部と、
    前記出力部からの出力を画像として表示させる表示部と、
    をさらに備える、
    請求項１に記載の画像処理装置。
20. 前記ユーザモード選択部は、少なくとも、前記色情報の補正の強度に関する情報を含む前記処理モードを選択させる、
    請求項１９に記載の画像処理装置。

Images