JP2009284009A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】結像光学系の色収差に起因して、取得した画像内の明るい部分の周囲に出現する色滲みを効果的に除去する。
【解決手段】画像処理装置は、撮像装置１００により被写体を撮像して得られた画像であって輝度飽和画素を含む第１の画像と、該撮像装置により該被写体を撮像して得られた画像であって第１の画像よりも輝度飽和画素を多く含む第２の画像とを用いて、色滲みを低減した画像を生成する。該画像処理装置は、第２の画像における輝度飽和画素を含む色滲み候補領域を抽出する抽出部１５７と、第１の画像のうち色滲み候補領域に対応する領域に対して空間演算を行って該第１の画像における色滲み推定量を算出する推定部１５１，１５３，１５２と、第１の画像の処理領域に対して色滲み推定量を用いた色滲み低減処理を行う処理部１５４，１５５とを有する。
【選択図】図７

Description

本発明は、デジタルスチルカメラやビデオカメラ等の撮像装置により得られた画像の色滲みを低減する画像処理技術に関する。

カラー撮像系では結像光学系の色収差により、画像上の明るい部分の周囲に本来存在しない青や赤、或いは双方が混じった紫色のアーチファクトが滲み状に生じる。これを色滲みもしくはパープルフリンジと称する。

色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に低減することができる。しかし、デジタルカメラの小型化が進行し、イメージセンサ（撮像素子）の高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学のみで十分に低減することが困難となってきている。このため、画像処理によるアーチファクトの低減が求められている。

色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、図１に示すように、光源１０から発した光が結像光学系１１によって焦点面１２に結像するとき、波長４５０ｎｍ付近のＢ光線１３、波長５５０ｎｍ付近のＧ光線１４、波長６５０ｎｍのＲ光線１５の結像位置が像面方向にずれる現象である。

縦色収差は、図２に示すように、光源２０から発した光が結像光学系２１によって焦点面２２に結像するとき、Ｂ光線２３、Ｇ光線２４、Ｒ光線２５の結像位置が光軸方向にずれる現象である。

横色収差による色滲みは、原色系のデジタル撮像系であれば、特許文献１にて開示されているように、ＲＧＢの各色プレーンに対して異なる歪曲を加える幾何変換によって補正することが可能である。

一方、縦色収差による色滲みは、幾何変換で補正することが困難である。このため、特許文献２には、原色フィルタを備えたデジタル撮像系において、原色フィルタの各色プレーンに対してdeconvolution及び近似的な輪郭強調処理を加えることで色滲みを低減する方法が開示されている。また、特許文献３には、色滲みが生じる領域での彩度を下げることによ色滲みを目立たなくする方法が開示されている。さらに、特許文献４には、色滲みのある画像と色滲みのない画像との差から色滲み量を推定し、該色滲み量を色滲みのある画像から差し引く方法が開示されている。
米国特許第６，７２４，７０２明細書 特開２００３−０１８４０７号公報 特開２００１−１４５１１７号公報 特開２０００−３３３０７６号公報

しかしながら、特許文献２において開示された方法では、良好な結果を得るために必要な、正確な収差関数を得にくいという問題がある。すなわち、結像光学系のズーム位置、絞り値、フォーカス位置、個々のレンズの寸法、組み立て状態といった膨大な撮像条件の１つ１つに対応する収差関数を正確に把握することは難しい。また、deconvolutionは、撮像装置に搭載されたイメージセンサの線形反応境域でしか用いることができず、輝度飽和画素の周囲の色滲みを軽減できない。

また、特許文献３において開示された方法では、色滲みの色を消し、不自然さを減らす効果はあるが、被写体本来の色もグレーに変えてしまうという問題がある。

さらに、特許文献４において開示された方法では、色滲みのある画像と色滲みのない画像とを時間差を持って得る際の被写体のわずかな移動によって、処理結果が左右されるという問題がある。

本発明は、結像光学系の色収差に起因して、取得した画像内の明るい部分の周囲に出現する色滲みを効果的に除去し、本来の色を再現できるようにした画像処理装置、撮像装置及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、撮像装置により被写体を撮像して得られた画像であって輝度飽和画素を含む第１の画像と、該撮像装置により該被写体を撮像して得られた画像であって第１の画像よりも輝度飽和画素を多く含む第２の画像とを用いて、色滲みを低減した画像を生成する。該画像処理装置は、第２の画像における輝度飽和画素を含む色滲み候補領域を抽出する抽出部と、第１の画像のうち色滲み候補領域に対応する領域に対して空間演算を行って該第１の画像における色滲み推定量を算出する推定部と、第１の画像の処理領域に対して色滲み推定量を用いた色滲み低減処理を行う処理部とを有することを特徴とする。

なお、撮像系と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明のさらに他の一側面としての画像処理方法は、撮像装置により被写体を撮像して得られた画像であって輝度飽和画素を含む第１の画像と、該撮像装置により該被写体を撮像して得られた画像であって第１の画像よりも輝度飽和画素を多く含む第２の画像とを用いて、色滲みを低減した画像を生成する方法である。該方法は、第２の画像における輝度飽和画素を含む色滲み候補領域を抽出するステップと、第１の画像のうち色滲み候補領域に対応する処理領域に対して空間演算を行って該処理領域での色滲み推定量を算出するステップと、第１の画像の処理領域に対して色滲み推定量を用いた色滲み低減処理を行うステップとを有することを特徴とする。

本発明によれば、第１の画像のうち、第２の画像から抽出された色滲み候補領域に対応する領域に限定して色滲み低減処理を行うことで、色滲み低減処理が不要な領域の本来の色を損なうことなく、色滲みが良好に低減された画像を得ることができる。また、第２の画像は色滲み候補領域を抽出するために利用されるだけであるので、第１の画像と第２の画像との間の像のぶれは色滲み推定量にほとんど影響しない。このため、第１の画像と第２の画像の取得に時間差があっても、良好な色滲み低減効果を得ることができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

実施例の具体的な説明に先立って、実施例の概要について以下に説明する。

実施例の画像処理装置（画像処理方法）は、カラー撮像系において撮影された複数の色プレーンからなるカラー画像に対して色滲みを低減する画像処理を行い、以下の構成を有する。

（１）輝度飽和画素を含む第１の画像と、該第１の画像よりも輝度飽和画素数の多い第２の画像とを取得する取得部を有する。第１及び第２の画像は、同一被写体（シーン）を撮像して得られた画像である。第１及び第２の画像の取得方法については後述する。

（２）第２の画像において、輝度飽和画素及びその周辺画素を含む色滲み候補領域を演算により抽出する抽出部を有する。

（３）第１の画像のうち、色滲み候補領域に対応する領域（以下、処理領域という）に限定して空間演算を行い、色滲み推定量を算出する推定部を有する。空間演算は、処理領域における強度傾斜（輝度傾斜）を算出する処理である。具体的には、空間演算では、除去対象色プレーンと基準プレーンを参照し、除去対象色プレーンと基準プレーンの強度傾斜を演算する。基準プレーンとは、結像光学系の色収差を良好に補正した波長域の強度を示す色プレーンや輝度を示すプレーンであり、一般には、ＧプレーンやＹプレーンである。

そして、推定部は、算出された強度傾斜に依存した値を色滲み推定量として出力する。単純に、強度傾斜に比例した値を出力とすることもできる。

なお、推定部は、除去対象色プレーン内の輝度飽和画素の有無により推定部での推定方法を切り替えたり、得られる複数の色滲み推定量から１つを選択したり、得られる複数の色滲み推定量を用いた補間演算により１つの色滲み推定量を得たりすることもできる。

従来の処理で得られる色滲み推定量は必ずしも正確ではなく、青空等の自然な輝度傾斜を、輝度飽和画素周辺の色滲みによる輝度傾斜と同様に扱う可能性がある。そこで、実施例では、第２の画像から抽出した色滲み候補領域を用いて、第１の画像における色滲みが発生している可能性が高い処理領域を特定する。そして、その処理領域に限定して色滲み低減処理を行うことにより、青空等の自然な輝度傾斜までを除去することなく、正確に色滲みを低減する。

（４）第１の画像の処理領域に対して色滲み推定量を用いた色滲み低減処理を行う処理部を有する。具体的には、処理部は、除去対象色プレーンから色滲み推定量に対応する強度を減算する。除去対象となる色プレーンは、Ｒプレーン又はＢプレーンである。ただし、これらに対応する色味を表す色差プレーンＵ／Ｖとすることもできる。

また、処理部は、色滲み推定量に過不足があった場合に備え、過除去抑制部を有してもよい。過除去抑制部は、一定の色域の画素のみを色滲み除去対象とし、かつ色滲み除去後の画素の色が該一定の色域に留まるようにする。この過除去抑制処理を、色相角を一定の角度内に留まらせることにより実現してもよい。また、除去対象色プレーン強度が基準プレーン強度より大きい画像範囲のみを除去対象としてもよい。

色滲み推定量が不足している場合は、色滲みの除去不足によって若干の色滲みが残る。一方、色滲み推定量が過大である場合は、色滲みの過除去によって色相が反転する。発明者の実験によれば、除去不足よりも過除去の画像が、不自然に感じられる。また、多少色滲みを残すことで、被写体本来の明るさや色をより識別し易くなる。

第１及び第２の画像の取得方法について説明する。これら輝度飽和画素数の異なる画像は、例えば撮像装置の焦点距離を異ならせて撮像を行うことで得られる。青空のような自然な輝度傾斜は、焦点距離を変えて撮像しても輝度飽和が生じないので、色滲み低減処理の対象から除外される。

また、強い光源を含むシーンを撮像装置のフォーカス状態を異ならせて撮像してもよい。すなわち、合焦状態で第１の画像を取得し、非合焦状態で第２の画像を取得してもよい。非合焦状態では、合焦状態に比べて、光源の強度が画素の飽和レベルを上回ったまま光源像が拡大するので、第２の画像における輝度飽和画素領域が第１の画像中の輝度飽和領域（色滲み領域）をほぼ含む。

したがって、実施例では、非合焦状態での撮像により得られた飽和輝度画素数の多い第２画像において、輝度飽和画素とその周辺を色滲み候補領域とする。そして、合焦状態での撮像により得られた輝度飽和画素数の少ない第１の画像において色滲み候補領域に対応する処理領域に限って色滲み低減処理を行う。これにより、色滲みのみを低減させることができる。このように、撮像装置のフォーカス状態及び焦点距離のうち少なくとも一方を異ならせて第１及び第２の画像を取得することができる。

さらに、第１及び第２の画像は、撮像装置での露出時間（イメージセンサの電荷蓄積換時間）や絞り値を異ならせた撮像により得ることもできる。

複数の色プレーンのうち少なくとも１つの色プレーンに対応する波長域の色収差を結像光学系での補正により抑え、他の色プレーンでの色収差を実施例の画像処理によって抑えることで、より色滲みが良好に低減された画像を得ることができる。

図３には、本発明の実施例１である画像処理装置を搭載した又は画像処理方法を使用するカラー撮像装置１００を示す。

カラー撮像装置１００は、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み除去部１５０とを有する。また、撮像装置１００は、視覚補正部１６０と、圧縮部１７０と、記録部１８０とを有する。

なお、図３中に示した写野９０（撮像領域、被写体）及びＲ（赤）光線９１，Ｇ（緑）光線９２，Ｂ（青）光線９３はカラー撮像装置１００の構成要素ではないが、説明のため図示する。

図３において、撮像された写野９０は、結像光学系１１０を経てイメージセンサ１２０上に結像する。一般に、カラー撮像装置に装着される結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、ＲとＧの波長域の縦色収差が良好に補正され、Ｂの波長域の縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。

イメージセンサ１２０は、一般的な原色系カラーフィルタを備える単板カラーイメージセンサである。原色系カラーフィルタは、図４に示すように、それぞれ６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類のカラーフィルタ４１，４２，４３により構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。

単板カラーイメージセンサでは、これらのカラーフィルタを図５に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。

なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。

ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。

デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有するカラー画像を生成する。なお、この補間手法には単純な線形補間から、 E. Chang, S. Cheung, and D. Pan, “Color filter array recovery using a threshold-based variable number of gradients.” Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999.にて紹介されている複雑な手法まで多くの手法が提案されている。本実施例における補間手法はこれら又はこれら以外のいずれでもよい。

なお、本実施例では、イメージセンサ１２０のカラーフィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。

デモザイク部１４０で生成されたカラー画像におけるＢプレーン（青プレーン）の解像度は、結像光学系１１０の色収差によって、Ｒプレーン（赤プレーン）やＧプレーン（緑プレーン）に比べて劣っている。このため、図６に示すように、Ｒ，Ｇプレーンの像６１よりもＢプレーンの像６２がぼやけ、明部の周囲に青い縁取りのような色滲み６３が生じる。

色滲み除去部１５０は、カラー画像からこの青い縁取りのような色滲みを除去（低減）する。色滲み除去部１５０での色滲み除去処理（色滲み低減処理）については、後で詳しく説明する。

視覚補正部１６０は、主として画像の見栄えを改善するようにカラー画像を処理する。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像処理を行う。

処理の最後として、圧縮部１７０は、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。

圧縮処理が行われたカラー画像は、記録部１８０にて、ハードディスク、ＤＶＤ、磁気テープ、フラッシュメモリ等の記録媒体に記録される
これらイメージセンサ１２０から記録部１８０までの処理部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。

次に、色滲み除去部１５０での処理（画像処理方法）を図７のフローチャートを用いて説明する。色滲み除去部１５０での処理は、画像取得ステップ１５６と、マスク演算ステップ１５７と、空間演算ステップ１５１と、推定ステップ１５３と、領域判定ステップ１５２と、過除去抑止ステップ１５４と，除去ステップ１５５とを含む。該処理は、コンピュータプログラムにより実行される。

ここで、上記ステップ１５１〜１５７は、色滲み除去部１５０の構成と考えることもできる。画像取得ステップ１５６とマスク演算ステップ１５７により抽出部が構成され、空間演算ステップ１５１と推定ステップ１５３と領域判定ステップ１５２とにより推定部が構成される。また、過除去抑止ステップ１５４と除去ステップ１５５により処理部が構成される。

本実施例では、Ｂプレーンを色滲みを除去する対象の色プレーンとし、Ｇプレーンを色滲み除去において参照する基準プレーンとする。

図８には、高輝度な被写体の典型的なＢプレーンのプロファイル８１と、Ｇプレーンのプロファイル８２を示す。ＲはＧと同じプロファイルであるので、ここでの説明は省略する。

図８の上側の図において、横軸は画像上の断面を示し、縦軸は強度（輝度）を示す。また、中心部にイメージセンサの飽和レベルを超える高輝度被写体８３を示す。高輝度被写体８３の周囲も、高輝度被写体８３から結像光学系１１０の収差やフレアによって滲んだ光によって強度分布を持つ。この強度分布は、高輝度被写体８３の強度に依存し、さらに高輝度被写体８３から離れるにしたがって指数関数的に弱くなる。Ｇプレーンの強度分布範囲は、Ｂプレーンに比べて小さい。

イメージセンサ１２０によって図８の上図に示す高輝度被写体８３を撮像すると、図８の下図に示すような画像が得られる。イメージセンサ１２０は、飽和レベル以上の強度を測定できないため、高輝度被写体８３より一回り大きなＧとＢの飽和した白飽和領域８４が形成される。そして、白飽和領域８４の周囲に、Ｂが飽和してＧが減衰していく水色飽和領域８５と、ＢとＧがともに減衰する水色領域８６と、Ｇが消えてＢのみが強度を持つ青領域８７とが形成される。

このうち、水色飽和領域８５、水色領域８６及び青領域８７の青滲みが不自然に感じられる。仮に、Ｂの滲みがＧと同程度であれば、滲みは高輝度被写体８３の色と認識され、自然な滲みとなる。

以上のように、滲みはイメージセンサ１２０の飽和レベルを超えた高輝度被写体８３の明るさを示す有益な画像表現である。

本実施例においては、このＢプレーンのプロファイルの傾きによって、カラー画像におけるＢの滲み量（色滲み推定量）を算出（推定）する。

画像取得ステップ１５６では、撮像装置１００のシャッターボタンが押されることに応じて生成された２つの入力画像を取り込む。一方の入力画像は、高輝度被写体（光源）に対して結像光学系１１０を合焦状態として撮像を行うことで得られた合焦画像（第１の画像）である。他方の入力画像は、上記高輝度被写体に対して結像光学系１１０を非合焦状態として撮像を行うことで得られた非合焦画像（第２の画像）である。すなわち、該２つの入力画像は、結像光学系１１０のフォーカス状態を異ならせた撮像によって得られた画像である。

なお、合焦画像と非合焦画像は、同一被写体（シーン）を撮像して得られたものである。また、前述したように、非合焦画像は、合焦画像に比べて輝度飽和画素数が多い画像である。

画像取得ステップ１５６は、非合焦画像をマスク演算ステップ１５７に渡す。また、合焦画像を空間演算ステップ１５１に渡す。なお、非合焦画像と合焦画像の取得順序は、どちらが先であってもよい。

マスク演算ステップ１５７は、非合焦画像を構成する各画素での強度（以下、画素値ともいう）と閾値（所定値）Ａとを比較する。判定値Ａ以上の画素値を有する画素が、色滲み候補領域を構成する画素（以下、色滲み候補画素という）となる。そして、色滲み候補画素に対して１を割り当て、色滲み候補画素以外の画素に０を割り当てたマスク（Mask）を作成する。判定値Ａは、画素の飽和強度値の８０〜１００％に設定するとよい。１が割り当てられた画素群、すなわち色滲み候補領域は、非合焦画像において輝度飽和画素及びその周囲の画素を含む。

なお、マスクを、１と０の二値により作成するのではなく、強度に応じて１と０の間でなだらかに変化する値を用いて作成してもよい。

このようにして抽出された色滲み候補領域を示すマスクは、推定ステップ１５３で参照される。

ここで、図９の上側には、高輝度被写体に対する合焦状態で得られた合焦画像の典型的なプロファイル２９１を示す。また、図９の下側には、高輝度被写体に対する非合焦状態で得られた非合焦画像の典型的なプロファイル２９２を示す。図９において、横軸は画像上の断面であり、縦軸は強度（輝度）である。

非合焦画像において判定値（所定値）Ａ以上の強度を持つ画素群、すなわち色滲み候補領域２９４は、合焦画像において飽和レベル以上の強度を持つ画素群により構成される色滲み領域２９３を包含している。また、非合焦画像のプロファイルでのピーク強度は、合焦画像のプロファイルでのピーク強度よりも低いものの、飽和レベルを超過している。

空間演算ステップ１５１では、Ｂプレーン及びＧプレーンに対する輝度傾斜（強度傾斜）マップをそれぞれ∇Ｂ，∇Ｇとすると、∇Ｂ，∇Ｇを以下の式を用いた空間演算により計算する。

ここで、
Ｇ（ｘ＋１，ｙ）とＢ（ｘ＋１，ｙ）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の右隣の画素の値である。

Ｇ（ｘ−１，ｙ）とＢ（ｘ−１，ｙ）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の左隣の画素の値である。

Ｇ（ｘ，ｙ＋１）とＢ（ｘ，ｙ＋１）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の下隣の画素の値である。

Ｇ（ｘ，ｙ−１）とＢ（ｘ，ｙ−１）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の上隣の画素の値である。

推定ステップ１５３では合焦画像の各画素に対して、色滲みとなっている余計なＢプレーンの強度である色滲み推定量を算出（推定）する。推定手法は、Ｂが飽和しているかしていないかによって異なるが、双方の場合に備えて推定ステップ１（１５８）及び推定ステップ２（１５９）により２種類の色滲み推定量Ｅ_１，Ｅ_２を計算する。

Ｂが飽和していない水色領域８６及び青領域８７においては、推定ステップ１（１５８）により色滲み推定量Ｅ_１を算出する。推定ステップ１（１５８）は、以下の式で示すように、Ｂの輝度傾斜∇Ｂの絶対値に対して係数ｋ_１と係数Maskとを乗じて色滲み推定量Ｅ_１とする。

E₁=Mask・k₁・|∇Ｂ|
ここで、係数ｋ_１は正値であり、３前後が好ましい。

また、係数Maskは、マスク演算ステップ１５７で計算したマスクであり、色滲み処理対象画素に対しては１が、それ以外の画素に対しては0が乗じられることになる。係数Maskを乗じることで、色滲み処理対象画素以外の画素は、色滲み推定量及び除去量が０になり、色滲み除去処理が行われない画素となる。つまり、合焦画像のうち、非合焦画像から抽出された色滲み候補領域に対応する領域（以下、処理領域という）に含まれる画素に限って色滲み除去処理が行われることになる。

一方、Ｂが飽和している水色飽和領域８５では、Ｂの輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。このような領域の色滲み推定量Ｅ_２を推定ステップ２（１５９）により算出する。推定ステップ２（１５９）は、以下の式で示すように、Ｇの輝度傾斜∇Ｇと、係数ｋ_２と、係数Maskとを用いて色滲み推定量Ｅ_２を求める。

E₂= Mask・k₂・|∇G|
ここで、係数ｋ_２は正値であり、３前後が好ましい。また、係数Maskは、マスク演算ステップ１５７で計算したマスクである。

領域判定ステップ１５２では、まずＢプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この飽和度Ｓは、図１０に示すように、Ｂが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１になり、Ｂの強度が小さい領域では０となる。そして、この飽和度Ｓを用いて推定ステップ１５３で算出したＥ_１又はＥ_２を選択する。すなわち、新たな色滲み推定量Ｅを、

とする。なお、飽和度Ｓを０〜１において連続的に変化する値としてもよく、この場合は、新たな色滲み推定量Ｅを、
Ｅ＝（１−Ｓ）Ｅ_１＋ＳＥ_２
とする。

過除去抑制ステップ１５４では、上記比較制限ステップ１５７から渡された色滲み推定量Ｅをさらに修正し、実際に除去する色滲み量である色滲み除去量Ｅ′を決める。推定ステップ１５３で推定した色滲み量は一定のモデルに沿ったものであり、実際の滲み量とは必ずしも一致しない。例えば、同じＢプレーンで検出される光であっても、波長４５０ｎｍの光と波長４００ｎｍの光では滲み方が変化するが、推定ステップ１５３ではこれを考慮していない。除去量が過小である場合、除去後も若干の青みが残る。

一方、除去量が過大であると、灰色の背景に対してＢを減らしすぎ、黄緑色になってしまう。特に、後者は不自然で、観察者に大きな違和感を与える。そこで、過除去抑制ステップ１５４では、一定の色相範囲内でのみ色滲み除去が作用するよう制限する。

このため、まず、画素の色度を計算する。Ｒ，Ｇ，Ｂの各プレーンの強度に対し、

とする。

この色度座標ａｂ面を図１１に示す。青色は第４象限にあり、Ｂプレーン強度から推定量Ｅを除去すると、点線矢印３２１のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が推定量Ｅを除去した後の色度である。

このことから、色滲み除去が作用する色相範囲をａ＞０、かつｂ＜０に制限すると、
Ｂ＞０．２２Ｒ＋０．６８Ｇ、かつＢ＞−１．８４Ｒ＋３．３０Ｇ
となる。

このため、ステップ１５４では、この条件を満たさない画素に対してＥ′＝０とし、除去対象から外す。これにより、これらの画素は除去ステップ１５５によって変化せず、色滲み除去部１５０によって画素値が影響を受けることがない。すなわち、この条件を満たす画素のみが除去対象となる。

さらに、条件を満たす画素に対しても色滲み除去量Ｅ′を、
Ｅ′＝min(E，B-(0.22R+0.68G)，B-(-1.84R+3.30G))
として、除去ステップ１５５に渡す。この色滲み除去量Ｅ′に対応する滲みの除去による色度変化は、図１１に実線矢印３２２で示すように、第４象限内に留まる。これにより、除去ステップ１５５により色相制限範囲を超えてＢが減少されるのを防ぐ。

除去ステップ１５５では、上記色滲み除去量Ｅ′をＢプレーンの強度から差し引いて、新たなＢプレーン強度を、
Ｂ＝Ｂ−Ｅ′
とする。

このようにして、合焦画像のうち処理領域に限って、色滲み推定量を用いた色滲み除去処理（色滲み低減処理）が行われる。こうしてＢプレーンを修正したカラー画像（合焦画像）を、色滲み除去部１５０の出力として視覚補正部１６０に渡す。

以上説明した撮像装置によれば、青滲みが効果的に除去され、また自然で違和感のない撮影画像（合焦画像）が得られる。また、結像光学系１１０においてはB波長域における縦色収差の制限を緩めることができ、その他の収差補正や小型化をより高い水準で実現できる。

本発明の実施例２について説明する。実施例１では輝度飽和画素数が異なる２つの画像を、結像光学系１１０のフォーカス状態を異ならせた撮像によって得たが、本実施例では、イメージセンサ１２０の電荷蓄積時間、すなわち露出時間を異ならせた撮像によって得る。その他については実施例１と基本的に同じであるので、ここでは実施例１と異なる点を中心に説明する。

本実施例においては、実施例１で説明した画像取得ステップ１５６において、撮像装置１００のシャッターボタンが押されることに応じて生成された２つの入力画像として、通常時間露出画像（第１の画像）と長時間露出画像（第２の画像）を取り込む。通常時間露出画像は、高輝度被写体に対して適正露出が得られる通常の露出時間で撮像して得られた画像であり、長時間露出画像は、上記高輝度被写体を通常の露出時間よりも長い露出時間で撮像して得られた画像である。なお、通常時間露出画像と長時間露出画像は、同一被写体（シーン）を撮像して得られたものである。また、長時間露出画像は、通常時間露出画像に比べて輝度飽和画素数が多い画像である。

図１２の上側には、通常時間露出画像の典型的なプロファイル３３１を示す。また、図１２の下側には、長時間露出画像の典型的なプロファイル３３２をに示す。図１２において、横軸は画像上の断面であり、縦軸は強度（輝度）である。

長時間露出画像において判定値Ａ以上の強度を持つ画素群、すなわち色滲み候補領域３３４は、通常時間露出画像において飽和レベル以上の強度を持つ画素群により構成される色滲み領域３３３を包含している。

画像取得ステップ１５６は、長時間露出画像と通常時間露出画像とをマスク演算ステップ１５７に渡す。また、画像取得ステップ１５６は、通常時間露出画像を空間演算ステップ１５１に渡す。

マスク演算ステップ１５７は、実施例１にて説明したマスクと同様のマスクを作成する。ただし、長時間露出画像では、通常露出時間では輝度が飽和しない画素、すなわち色滲みが本来ない領域でも、露出時間が長くなることで輝度が飽和してしまい、長時間露出画像のみから作成したマスクを使用すると、不必要な色滲み除去処理が行われてしまう。

これを防止するため、本実施例におけるマスク演算ステップ１５７は、長時間露出画像から実施例１と同様にしてマスクを作成した後、該マスクと通常時間露出画像とを比較する。図１３には、輝度飽和画素３５３を含む通常時間露出画像とマスクにおける色滲み候補領域３５１，３５２とを示す。色滲み候補領域３５１，３５２のうち通常時間露出画像の輝度飽和画素３５３を含む色滲み候補領域３５１を真の色滲み候補領域とし、その色滲み候補領域を構成する画素に対して１を割り当てる。一方、通常時間露出画像の輝度飽和画素３５３を含まない色滲み候補領域３５２を構成する画素には０を割り当てる。このようにして、色滲みが本来ない領域を除外した色滲み候補領域を示すマスク（Mask）が作成される。

このようにして抽出された色滲み候補領域を示すマスクは、実施例１と同様に、推定ステップ１５３で参照される。

本発明の実施例３について説明する。実施例１，２では輝度飽和画素数が異なる２つの画像を、結像光学系１１０のフォーカス状態を異ならせた撮像や露出時間を異ならせた撮像によって得た。しかし、本実施例では、結像光学系１１０の絞り値を異ならせた撮像によって得る。その他については実施例１と基本的に同じであるので、ここでは実施例１と異なる点を中心に説明する。

本実施例においては、実施例１で説明した画像取得ステップ１５６において、撮像装置１００のシャッターボタンが押されることに応じて生成された２つの入力画像として、通常絞り画像（第１の画像）と拡大絞り画像（第２の画像）を取り込む。通常絞り画像は、高輝度被写体に対して適正露出が得られる通常の絞り値で撮像して得られた画像であり、拡大絞り画像は、上記高輝度被写体を通常の絞り値よりも大きな絞り開口に対応する絞り値で撮像して得られた画像である。なお、通常絞り画像と拡大絞り画像は、同一被写体（シーン）を撮像して得られたものである。また、拡大絞り画像は、通常絞り画像に比べて輝度飽和画素数が多い画像である。

図１４の上側には、通常絞り画像の典型的なプロファイル３６１を示す。また、図１４の下側には、拡大絞り画像の典型的なプロファイル３６２をに示す。図１４において、横軸は画像上の断面であり、縦軸は強度（輝度）である。

拡大絞り画像における判定値Ａ以上の強度を持つ画素群、すなわち色滲み候補領域３６４は、通常絞り画像における飽和レベル以上の強度を持つ画素群により構成される色滲み領域３６３を包含している。

画像取得ステップ１５６は、拡大絞り画像と通常絞り画像とをマスク演算ステップ１５７に渡す。また、画像取得ステップ１５６は、通常絞り画像を空間演算ステップ１５１に渡す。

マスク演算ステップ１５７は、実施例１にて説明したマスクと同様のマスクを作成する。ただし、拡大絞り画像では、通常の絞り値では輝度が飽和しない画素、すなわち色滲みが本来ない領域でも、絞り開口が広がることで輝度が飽和してしまい、拡大絞り画像のみから作成したマスクを使用すると、不必要な色滲み除去処理が行われてしまう。

これを防止するため、本実施例におけるマスク演算ステップ１５７は、拡大絞り画像から実施例１と同様にしてマスクを作成した後、該マスクと通常絞り画像とを比較する。そして、実施例２と同様に、色滲み候補領域のうち通常絞り画像の輝度飽和画素を含む色滲み候補領域を真の色滲み候補領域とし、その色滲み候補領域を構成する画素に対して１を割り当てる。一方、通常絞り画像の輝度飽和画素を含まない色滲み候補領域を構成する画素には０を割り当てる。このようにして、色滲みが本来ない領域を除外した色滲み候補領域を示すマスク（Mask）が作成される。

このようにして抽出された色滲み候補領域を示すマスクは、実施例１と同様に、推定ステップ１５３で参照される。

上記各実施例によれば、第１の画像のうち、第２の画像から抽出された色滲み候補領域に対応する処理領域に限定して色滲み低減処理が行われる。このため、色滲み除去（低減）処理が不要な領域の本来の色を損なうことなく、色滲みが良好に低減された画像を得ることができる。

また、第２の画像は色滲み候補領域を抽出するために利用されるだけであるので、第１の画像と第２の画像との間に像のぶれがあっても、色滲み推定量の算出にほとんど影響しない。このため、第１の画像と第２の画像の取得に時間差があっても、良好な色滲み低減効果を得ることができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

例えば、上記実施例１〜３では、結像光学系１１０から記録部１８０までの全部を備えたカラー撮像装置について説明した。しかし、カラー撮像装置とは別の装置として、少なくとも色滲み除去部（抽出部、推定部及び除去部）１５０を有する画像処理装置（パーソナルコンピュータ等）を構成してもよい。この場合、カラー撮像装置により撮像されて半導体メモリ、磁気／光ディスク等の記録媒体に格納されたカラー画像が画像処理装置に入力されるようにすればよい。また、カラー撮像装置と画像処理装置とをケーブルや無線ＬＡＮ等によって接続し、カラー撮像装置から画像処理装置に画像が送信されるようにしてもよい。

横色収差の説明図。 縦色収差の説明図。 本発明の実施例１である画像処理装置を備えたカラー撮像装置のブロック図。 実施例１におけるカラーフィルタの分光透過率を示すグラフ。 実施例１におけるカラーフィルタの配置を示す図。 明暗境界での像強度を示す図。 実施例１における色滲み除去部での処理を示すフローチャート。

高輝度被写体を撮像して得られた画像のプロファイルを示す図。

実施例１における合焦画像と非合焦画像のプロファイルを示す図。

実施例１におけるＢ強度と飽和度Ｓとの関係を示すグラフ。

色滲み除去による色度図上の変化を説明する図。

本発明の実施例２における通常時間露出画像と長時間露出画像のプロファイルを示す図。 実施例２における色滲み除去部でのマスク作成方法を示す図。

本発明の実施例３における通常絞り画像と拡大絞り画像のプロファイルを示す図。

符号の説明

９０ 写野
１１０ 結像光学系
１２０ イメージセンサ
１３０ ＡＤ変換部
１４０ デモザイク部
１５０ 色滲み除去部
１５１ 空間演算ステップ
１５２ 領域判定ステップ
１５３ 推定ステップ
１５４ 過除去抑制ステップ
１５５ 除去ステップ
１５６ 画像取得ステップ
１５７ マスク演算ステップ
１６０ 視覚補正部
１７０ 圧縮部
１８０ 記録部
１０，９０ 光源
１１０ 結像光学系

Claims (6)

1. 撮像装置により被写体を撮像して得られた画像であって輝度飽和画素を含む第１の画像と、前記撮像装置により前記被写体を撮像して得られた画像であって前記第１の画像よりも輝度飽和画素を多く含む第２の画像とを用いて、色滲みを低減した画像を生成する画像処理装置であって、
   前記第２の画像における前記輝度飽和画素を含む色滲み候補領域を抽出する抽出部と、
   前記第１の画像のうち前記色滲み候補領域に対応する処理領域に対して空間演算を行って該処理領域での色滲み推定量を算出する推定部と、
   前記第１の画像の前記処理領域に対して前記色滲み推定量を用いた色滲み低減処理を行う処理部とを有することを特徴とする画像処理装置。
2. 前記第１及び第２の画像は、前記
   撮像装置のフォーカス状態及び焦点距離のうち少なくとも一方を異ならせて得られた画像であることを特徴する請求項１に記載の画像処理装置。
3. 前記第１及び第２の画像は、前記撮像装置における露出時間を異ならせて得られた画像であることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１及び第２の画像は、前記撮像装置の絞り値を異ならせて得られた画像であることを特徴とする請求項１に記載の画像処理装置。
5. 被写体を撮像して画像を生成する撮像系と、
   請求項１から４のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
6. 撮像装置により被写体を撮像して得られた画像であって輝度飽和画素を含む第１の画像と、前記撮像装置により前記被写体を撮像して得られた画像であって前記第１の画像よりも輝度飽和画素を多く含む第２の画像とを用いて、色滲みを低減した画像を生成する画像処理方法であって、
   前記第２の画像における前記輝度飽和画素を含む色滲み候補領域を抽出するステップと、
   前記第１の画像のうち前記色滲み候補領域に対応する処理領域に対して空間演算を行って該処理領域での色滲み推定量を算出するステップと、
   前記第１の画像の前記処理領域に対して前記色滲み推定量を用いた色滲み低減処理を行うステップとを有することを特徴とする画像処理方法。