JP2012134630A - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 - Google Patents

Abstract

【課題】輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずにフレア色成分を撮影画像から抽出する。
【解決手段】撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順（Ｓ２３１）と、前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順（Ｓ２３３）と、前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順（Ｓ２３７）とを含む。
【選択図】 図４

Description

本発明は、撮影画像からフレアの情報を抽出する画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置に関する。

回折光学素子（ＤＯＥ：Diffractive Optical Element）を有する撮影光学系で撮影を行う際、極めて高輝度な物体（輝点）が撮影画角内に存在していた場合には、撮影画像上の輝点像の周辺に色滲みを伴うフレア（色フレア）が発生する。この色フレアは無色のフレアと比較すると著しく不自然である。

因みに、特許文献１には、撮影光学系の結像特性データを予め記憶し、そのデータと、撮影画像上の輝点の位置とに基づきフレア成分を推定し、それを撮影画像から除去する電子カメラが開示されている。

特許第４２５０５１３号公報

しかしながら撮影画像に実際に発生するフレア成分は、撮影光学系の結像特性に依存するだけでなく、輝点が有している波長スペクトルにも依存するので、特許文献１に記載の電子カメラがフレア成分を十分な精度で推定することは難しい。

また、特許文献１に記載のフレア除去方法をコンピュータのソフトウエアで実行しようとしても、通常の撮影画像（例えばＪＰＥＧ画像）にはフレア成分を推定するのに十分なデータが付与されていないため、その実行は不可能である。

そこで本発明は、輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずに、色フレアの色付き分布（以下、「フレア色成分」と称す。）を撮影画像から抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供する。

本発明の画像処理方法の一態様は、撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順とを含む。

本発明の画像処理プログラムの一態様は、撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、をコンピュータに実行させる。

本発明の画像処理装置の一態様は、撮影光学系により取得されたカラーの処理対象画像を入力する入力手段と、色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手段と、前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手段と、前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分を推定する推定手段と、を備える。

本発明の撮像装置の一態様は、撮影光学系が結像した被写体像を撮像する撮像素子と、本発明の画像処理装置の一態様とを備える。

本発明によれば、輝点の波長スペクトルデータや撮影光学系の結像特性データなどの撮影条件データを使用せずにフレア色成分を撮影画像から抽出することの可能な画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。

第１実施形態の画像処理装置の構成例を示すブロック図である。 ＣＰＵ１４によるフレア色成分除去処理の動作フローチャートである。 色補正成分抽出処理部２２による色補正成分抽出処理のフローチャートである。 フレア色成分抽出処理部２１によるフレア抽出処理のフローチャートである。 入力画像の例である。 検出された高輝度領域の例である。 フレアに起因した高輝度領域（飽和領域）の例である。 ラベリングされた飽和領域の例である。 飽和領域Ｓ_ｉとフレア領域Ａ_ｉと処理領域Ａ_ｉ’との関係を説明する図である。 彩度強調前の或る処理領域Ａ_ｉ’の画素プロファイルと、彩度強調後の同じ処理領域Ａ_ｉ’の画素プロファイルとを比較する図である。 基準画像の作成手順を説明する模式図である。 色補正成分の抽出手順を説明する模式図である。 二値のマスク画像を説明する図である。 グレースケールマスク画像を説明する図である。 処理領域Ａ_ｉ’のＲ成分（フレア色成分有り）とＧ成分との関係を示す図である。 フレア色成分の抽出手順を説明する模式図である。 処理領域Ａ_ｉ’のＲ成分（フレア色成分無し）とＧ成分との関係を示す図である。 色補正成分の抽出手順の変形例を説明する模式図である。 第２実施形態の電子カメラの構成例を示すブロック図である。

［第１実施形態］
以下、本発明の第１実施形態を説明する。

図１は、本実施形態の画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置は、画像処理プログラムがインストールされたコンピュータ１１で構成される。

図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、画像処理対象となる画像データを外部から読み込むときに用いられる。例えば、データ読込部１２は、データ読込部１２に挿入された記憶媒体から画像データを取得する読込デバイス（光ディスクドライブ、磁気ディスクドライブ、光磁気ディスクドライブなど）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、画像処理プログラムが記録されている。なお、記憶装置１３には、データ読込部１２から読み込まれた画像データを記憶しておくこともできる。

ＣＰＵ１４は、記憶装置１３に記憶された画像処理プログラムを実行し、コンピュータ１１の各部を統括的に制御するプロセッサである。ここで、本実施形態の画像処理プログラムにはフレア色成分除去処理の機能が搭載されており、フレア色成分除去処理を実行する際、ＣＰＵ１４は、各部を制御する制御部として機能する他に、フレア色成分抽出処理部２１、色補正成分抽出処理部２２としても機能する（フレア色成分抽出処理部２１、色補正成分抽出処理部２２の動作は後述する）。

メモリ１５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

図２は、ＣＰＵ１４によるフレア色成分除去処理の動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ１１：ＣＰＵ１４は、ユーザがフレア色成分除去処理の対象として指定したカラー画像の画像データを、メモリ１５上に読み込む（以下、これを「入力画像」と称す。）。この入力画像は、例えば、データ読込部１２の記憶媒体に書き込まれていた画像である。

ここで、入力画像は、色フレアの発生した画像である。色フレアの発生した画像は、ＤＯＥを含む撮影光学系で撮影された画像であって、例えば図５に示すとおりである（但し、図５はモノクロ画像なので、色フレアの色付きは現れていない。）。色フレアは通常、輪帯状又はそれに近いパターンをしているが、そのパターンは完全な輪帯状になるとは限らず、撮影条件（画像の撮影に使用された撮影光学系の結像特性、撮影時に画角内に存在していた輝点の波長スペクトルなど）に依存する。また、色フレアの色づき分布（フレア色成分）も、撮影条件に依存する。

しかし、本実施形態のフレア色成分除去処理は色フレアのパターン及び色付き分布が未知であっても実行可能であるので、入力画像には、撮影条件データが付随していなくても構わない。

ステップＳ１２：ＣＰＵ１４は、メモリ１５上へ読み込んだ入力画像に対してサイズ縮小処理を施す。以下、サイズ縮小後の入力画像を「縮小画像」と称す。なお、入力画像に対してサイズ縮小処理を施すのは、続くステップＳ１３〜Ｓ１９、Ｓ２３の演算負荷を軽減するためである。

ステップＳ１３：ＣＰＵ１４は、縮小画像の各画素の輝度を所定値（ここでは飽和レベルとする。）と比較することにより、輝度が所定値を超過するような明るい領域（高輝度領域）を縮小画像から検出する（図６参照）。図６に示すとおり、検出された高輝度領域の中には、フレアに起因した高輝度領域だけでなく、フレアとは無関係な高輝度領域も混在している可能性がある。

なお、本ステップでは演算負荷を軽減するため、各画素の輝度の指標として、各画素の輝度値（Ｒ、Ｇ、Ｂの重み付け和）を使用する代わりに、各画素の各色成分の和（Ｒ、Ｇ、Ｂの和）を使用してもよい。或いは、各画素の輝度の指標として、各画素を代表する色成分の値（Ｇ強度）を使用してもよい。また、このような演算負荷の軽減方法は、画素の輝度を扱う他のステップでも採用することができる。

ステップＳ１４：ＣＰＵ１４は、ステップＳ１３で検出された高輝度領域の各々がフレアに起因したものであるか否かを判別し、フレアに起因したもの以外を排除する（図７参照。）。

なお、個々の高輝度領域がフレアに起因したものであるか否かの判定は、例えば次のとおり行われる。すなわち、ＣＰＵ１４は、高輝度領域と予め用意した円形パターンとを比較し、両者の相関度が一定以上である場合には、その高輝度領域をフレアに起因したものとみなし、相関度が一定未満である場合には、その高輝度領域をフレアに起因したものではないとみなす。なお、比較対象となる円形パターンとしては、フレアに起因した高輝度領域として平均的なものを使用すればよい。

或いは、個々の高輝度領域がフレアに起因したものであるか否かの判定は、次のとおり行われてもよい。すなわち、ＣＰＵ１４は、高輝度領域の中心から所定半径を有した円形領域を設定し、その円形領域の全域に高輝度領域が存在していた場合には、その高輝度領域をフレアに起因したものとみなし、円形領域の少なくとも１部が高輝度領域から外れていた場合には、その高輝度領域をフレアに起因したものではないとみなす。なお、円形領域の半径は、フレアに起因した高輝度領域として最も小さいものの半径と同程度に設定される。

したがって、本ステップで除外されなかった高輝度領域は、フレアの中心部における飽和領域に相当する。以下、本ステップで除外されなかった高輝度領域を、単に「飽和領域」と称す。

ステップＳ１５：ＣＰＵ１４は、ステップＳ１４で検出された１又は複数の飽和領域に対してラベリングを行い、通し番号（フレア番号ｉ＝１、２、…）を付与する（図８参照）。これによって、入力画像に発生しているフレアの総数（すなわち、フレア番号ｉの最終値）が確定する。

ステップＳ１６：ＣＰＵ１４は、フレア番号ｉを初期値（１）に設定する。

ステップＳ１７：ＣＰＵ１４は、図９に示すとおり、縮小画像上でフレア番号ｉに対応する飽和領域Ｓ_ｉに着目すると、飽和領域Ｓ_ｉの輝度重心に相当する座標ｇ_ｉを算出し、座標ｇ_ｉから飽和領域Ｓ_ｉの輪郭までの平均距離を飽和領域Ｓ_ｉの半径ｒ_ｉとして算出する。さらに、ＣＰＵ１４は、縮小画像上で座標ｇ_ｉを中心とし、かつ半径が（α×ｒ_ｉ）である円形領域を、フレア番号ｉに対応したフレア領域Ａ_ｉに設定する（但し、α＞１）。

ここで仮に、フレア領域Ａ_ｉに発生しているフレアが色フレアであった場合、図９の斜線部で示す領域にフレア色成分が重畳されると考えられる。

さらに、ＣＰＵ１４は、縮小画像上でフレア領域Ａ_ｉの全体を包含し、かつ一定のマージンγを持った包含領域を、フレア番号ｉに対応した処理領域Ａ_ｉ’に設定する（但し、γ＞０）。

なお、ここでは、処理領域Ａ_ｉ’のサイズをフレア番号ｉ毎に設定したが、処理領域Ａ_ｉ’がフレア領域Ａ_ｉを包含できるのであれば、処理領域Ａ_ｉ’のサイズを全てのフレア番号ｉの間で共通としてもよい。また、処理領域Ａ_ｉ’の形状は、円形でも矩形でも構わない。また、処理領域Ａ_ｉ’の中心は、フレア領域Ａ_ｉの中心から外れていても構わない。また、ここでは、飽和領域Ｓ_ｉの輝度重心を座標ｇ_ｉとしたが、演算負荷を軽減するために、飽和領域Ｓ_ｉの中心を座標ｇ_ｉとしてもよい。

ステップＳ１８：ＣＰＵ１４は、フレア番号ｉに対応するフレア領域Ａ_ｉに着目すると、そのフレア領域Ａ_ｉに発生しているフレアが色フレアであるか否かを判別し、色フレアであった場合は、処理領域Ａ_ｉ’に関する色補正成分抽出処理及びフレア色抽出処理を実行するべくステップＳ１９へ移行し、色フレアでなかった場合は、処理領域Ａ_ｉ’に関する色補正成分抽出処理及びフレア色成分抽出処理を省略するべく、ステップＳ２６へ移行する。

ここで、フレア領域Ａ_ｉに発生しているフレアが色フレアであるか否かの判別は、例えば次のとおり行われる。すなわちＣＰＵ１４は、フレア領域Ａ_ｉの平均値を色成分毎に（ＲＧＢ別に）算出し、それら平均値の色成分間のばらつきが所定範囲を超過していた場合には、フレア領域Ａ_ｉのフレアは色フレアであるとみなし、超過していなかった場合には、そのフレアは色フレアではない（無色のフレアである）とみなす。

ステップＳ１９：ＣＰＵ１４は、フレア番号ｉに対応する処理領域Ａ_ｉ’に対して色補正成分抽出処理を施すよう色補正成分抽出処理部２２へ指示を与える。色補正成分抽出処理部２２は、色補正成分抽出処理を実行し、処理領域Ａ_ｉ’に対して予め施されていた色補正（彩度強調処理、色バランス調整、色変換処理など）の色補正成分を推定する。なお、本ステップで推定される色補正成分は、１色又は２色の色補正成分からなる。本ステップの詳細は、後述する。

ステップＳ２０：ＣＰＵ１４は、ステップＳ１９で推定された色補正成分（１色又は２色の色補正成分）を、処理領域Ａ_ｉ’から減算する。これによって、処理領域Ａ_ｉ’の色が、色補正前の状態に復元される。

ステップＳ２１：ＣＰＵ１４は、ステップＳ１９で推定された色補正成分（１色又は２色の色補正成分）へサイズ拡大処理を施す。なお、前述したステップＳ１２のサイズ縮小処理で入力画像のサイズを１／Ｍ倍にした場合、本ステップにおけるサイズ拡大処理では色補正成分（１色又は２色の色補正成分）のサイズをＭ倍にする。よって、本ステップでは、入力画像に対応するサイズの色補正成分（１色又は２色の色補正成分）が取得される。

ステップＳ２２：ＣＰＵ１４は、サイズ拡大処理後の色補正成分（１色又は２色の色補正成分）を、入力画像上で処理領域Ａ_ｉ’に対応する領域から減算する。但し、減算に当たりＣＰＵ１４は、縮小画像上の座標ｇ_ｉと前述した倍率Ｍとに基づき、座標ｇ_ｉに対応する入力画像上の座標ｇ_ｉ’を求め、その座標ｇ_ｉ’に対して色補正成分（１色又は２色の色補正成分）の中心を一致させておく。これによって、入力画像上で処理領域Ａ_ｉ’に対応する領域の色が、色補正前の状態に復元される。

ステップＳ２３：ＣＰＵ１４は、フレア番号ｉに対応する処理領域Ａ_ｉ’（復元後の処理領域Ａ_ｉ’）に対してフレア色成分抽出処理を施すようフレア色成分抽出処理部２１へ指示を与える。フレア色成分抽出処理部２１は、フレア色成分抽出処理を実行し、処理領域Ａ_ｉ’に発生しているフレア色成分を推定する。なお、本ステップで推定されるフレア色成分は、２色のフレア色成分からなる。本ステップの詳細は、後述する。

ステップＳ２４：ＣＰＵ１４は、ステップＳ２３で推定されたフレア色成分（２色のフレア色成分）へサイズ拡大処理を施す。なお、前述したステップＳ１２のサイズ縮小処理で入力画像のサイズを１／Ｍ倍にした場合、本ステップにおけるサイズ拡大処理ではフレア色成分（２色分のフレア色成分）のサイズをＭ倍にする。よって、本ステップでは、入力画像に対応するサイズのフレア色成分（２色のフレア色成分）が取得される。

ステップＳ２５：ＣＰＵ１４は、サイズ拡大処理後のフレア色成分（２色のフレア色成分）を、入力画像（復元後の入力画像）上で処理領域Ａ_ｉ’に対応する領域から減算する。但し、減算に当たりＣＰＵ１４は、縮小画像上の座標ｇ_ｉと前述した倍率Ｍとに基づき、座標ｇ_ｉに対応する入力画像上の座標ｇ_ｉ’を求め、その座標ｇ_ｉ’に対してフレア色成分（２色のフレア色成分）の中心を一致させておく。これによって、入力画像上で処理領域Ａ_ｉ’に対応する領域に発生していた色フレアのフレア色成分が除去される。つまり、その領域に発生していた色フレアは、無色のフレアとなる。

ステップＳ２６：ＣＰＵ１４は、フレア番号ｉが最終値に達したか否かを判別し、達していなかった場合はステップＳ２７へ移行し、達していた場合はステップＳ２８へ移行する。

ステップＳ２７：ＣＰＵ１４は、フレア番号ｉをインクリメントしてからステップＳ１７へ移行する。したがって、全てのフレア番号の色補正成分及びフレア色成分が、入力画像から順次に除去されることになる。

ステップＳ２８：ＣＰＵ１４は、色補正成分及びフレア色成分の除去された入力画像（以下、「最終画像」と称す。）をモニタ１９へ表示する。その後、ユーザから保存指示が入力された場合には、最終画像をユーザが指定した保存先（例えば、データ読込部１２に挿入された記憶媒体）へ保存し、フローを終了する。

図３は、色補正成分抽出処理部２２による色補正成分抽出処理のフローチャートである。以下、各ステップを順に説明する。

ステップＳ１９１：色補正成分抽出処理部２２は、フレア番号ｉに対応するフレア領域Ａ_ｉの各色成分（Ｒ成分、Ｇ成分、Ｂ成分）を参照すると、そのフレア領域Ａ_ｉの中に色補正画素が存在するか否かを判別し、色補正画素が少なくとも１つ存在する場合には、色補正成分抽出処理を実行するべくステップＳ１９２へ移行し、色補正画素が１つも存在しない場合には色補正成分抽出処理のフローを終了する。

ここで、色補正画素とは、色補正前のフレア領域Ａ_ｉの画素としては不自然な色を有した画素のことである。以下、色補正が彩度強調であった場合を想定して説明する。

図１０（Ａ）は、彩度強調前の或る処理領域Ａ_ｉ’の画素プロファイル（中心線上の画素プロファイル）であり、図１０（Ｂ）は、彩度強調後の同じ処理領域Ａ_ｉ’の画素プロファイルである。この処理領域Ａ_ｉ’に施された彩度強調は、Ｇ成分及びＢ成分をＲ成分に比して相対的に強調するための彩度強調である。

図１０（Ａ）に示すとおり、彩度強調前の処理領域Ａ_ｉ’には、全色成分がノイズレベルＴ１以上となった画素しか存在していないのに対し、図１０（Ｂ）に示すとおり、彩度強調後の処理領域Ａ_ｉ’には、Ｒ成分がノイズレベルＴ１未満となった画素が発生している。しかも、そのような画素の少なくとも一部の画素は、Ｇ成分とＢ成分との少なくとも一方が飽和レベルＴ２に達している。このように、少なくとも１つの色成分が飽和レベルＴ２に達しており、かつ他の少なくとも１つの色成分がノイズレベルＴ１未満となっているような画素が、色補正画素である。

因みに、色補正画素が発生するのは、図１０（Ｂ）に示すとおり、フレア領域Ａ_ｉの内側かつ飽和領域Ｓ_ｉの外側の領域であって、この領域は、フレア色成分の重畳された領域に相当する。なぜなら、この領域の多くの画素のＧ成分及びＢ成分は、彩度強調前の時点で飽和レベルＴ２に達していたので、彩度強調では、そのような画素のＧ成分及びＢ成分を相対的に強調するために、Ｒ成分の値をノイズレベルＴ１以下に押し下げる必要があったからである。このような色補正画素は、処理領域Ａ_ｉ’に色フレアが発生していたからこそ発生するものである。

但し、色補正画素を含んだままの処理領域Ａ_ｉ’に対して後述するフレア色成分抽出処理を施しても、フレア色成分を正しく推測できない虞があるので、本実施形態では、色補正成分を予め抽出・除去しておく必要がある。

ステップＳ１９２：色補正成分抽出処理部２２は、フレア領域Ａ_ｉから全ての色補正画素を検出し、その中から、ノイズレベルＴ１未満となった画素の個数を色成分毎に（ＲＧＢ別に）算出し、その個数が一定以上（ここではゼロ以上とする。）である１又は２つの色成分を見出し、その１又は２つの色成分を、補正対象色成分に定める。なお、図１０に示した例では、Ｒ成分のみが補正対象色成分に定められる。以下では、補正対象色成分がＲ成分のみであったと仮定する。

ステップＳ１９３：色補正成分抽出処理部２２は、図１１（Ａ）の左側に示すとおり処理領域Ａ_ｉ’のＲ成分に着目し、そのＲ成分のうち周辺と比較して値の低い領域のみを平滑化することにより、図１１（Ｂ）に示すような基準画像Ｉ_Ｒ”を作成する。この基準画像Ｉ_Ｒ”は、色補正成分の算出基準として使用される。ここで、基準画像Ｉ_Ｒ”の作成は、図１１（Ａ）→図１１（Ｂ）に示す手順によって行うことができる。

すなわち、色補正成分抽出処理部２２は、先ず、図１１（Ａ）の左側に示したＲ成分Ｉ_Ｒを、ガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図１１（Ｂ）に示すようなＲ成分Ｉ_Ｒ’を取得する。この平滑化によると、周辺と比較して値の低い領域（点線枠部分）の画素値は、平滑化前よりも高めになり、周辺と比較して値の高い領域の画素値は、平滑化前よりも低めになる。続いて、色補正成分抽出処理部２２は、平滑化前後の２つのＲ成分Ｉ_Ｒ、Ｉ_Ｒ’を画素毎に比較し、値の高かった方の画素を集めて１枚の合成画像を作成し、その合成画像を基準画像Ｉ_Ｒ”とする（図１１（Ｂ））。この基準画像Ｉ_Ｒ”は、元のＲ成分Ｉ_Ｒにおいて周辺と比較して値の低かった領域（点線枠部分）のみを平滑化したものに相当する。

ステップＳ１９４：色補正成分抽出処理部２２は、図１２（Ａ）に示すとおり、元のＲ成分Ｉ_Ｒから基準画像Ｉ_Ｒ”を差し引くことにより、図１２（Ｂ）に示すような色補正成分Ｉ_Ｄを算出する。但し、ここで算出された色補正成分Ｉ_Ｄには、高周波数の誤差が残存している。

ステップＳ１９５：色補正成分抽出処理部２２は、色補正成分Ｉ_Ｄをガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図１２（Ｃ）に示すような色補正成分Ｉ_Ｃを算出する。この色補正成分Ｉ_Ｃが、Ｒ成分に関する色補正成分である。

ステップＳ１９６：色補正成分抽出処理部２２は、色補正成分Ｉ_Ｃの推定が、全ての補正対象色成分について完了したか否かを判別し、完了していなかった場合にはステップＳ１９３へ戻り、残った補正対象色成分に関する推定を行い、完了していた場合には、図３のフローを終了する（以上、ステップＳ１９６）。

図４は、フレア色成分抽出処理部２１によるフレア抽出処理のフローチャートである。以下、各ステップを順に説明する。

ステップＳ２３１：フレア色成分抽出処理部２１は、フレア番号ｉに対応する復元後のフレア領域Ａ_ｉの平均値を色成分毎に（ＲＧＢ別に）算出し、平均値が最小であった１つの色成分を、基準色成分に定める。以下、Ｇ成分が基準色成分に設定されたと仮定する。その場合、フレア色成分の推定は、Ｇ成分以外の色成分、すなわちＲ成分及びＢ成分の各々に関して行われる。

ステップＳ２３２：フレア色成分抽出処理部２１は、フレア番号ｉに対応したマスク画像を作成する。マスク画像は、図１３に示すとおり、処理領域Ａ_ｉ’と同形同サイズのマスク画像であって、フレア領域Ａ_ｉに対応する領域に開口部を設けた二値のマスク画像である。さらに、フレア色成分抽出処理部２１は、そのマスク画像を、ガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図１４に示すようなグレースケールマスク画像を作成する。グレースケールマスク画像は、二値のマスク画像において、開口部と非開口部との境界のコントラストを意図的に低下させたものに相当する。このグレースケールマスク画像の単位面積当たりの平均値は、処理領域Ａ_ｉ’の中央から周辺に向かって低下している。

なお、本ステップで使用される平滑化フィルタのサイズ（フィルタ径）は、フレア領域Ａ_ｉのサイズが大きいときほど大きく設定されることが望ましい。

ステップＳ２３３：フレア色成分抽出処理部２１は、基準色成分（ここではＧ成分）以外の１つの色成分を着目色成分に設定する。以下、Ｒ成分が着目色成分に設定されたと仮定する。図１５は、或る処理領域Ａ_ｉ’のＲ成分と、同じ処理領域Ａ_ｉ’のＧ成分との関係を示す図（画素プロファイル）である。図１５に示すとおり、Ｒ成分においては、フレア領域Ａ_ｉの内側かつ飽和領域Ｓ_ｉの外側の領域に、フレア色成分が重畳されている。つまり、その領域のＲ成分は、同じ領域のＧ成分と比較して著しく高い値となっている。

本ステップのフレア色成分抽出処理部２１は、処理領域Ａ_ｉ’のＲ成分を処理領域Ａ_ｉ’のＧ成分で画素毎に除算することにより、Ｇ成分を基準としたＲ成分の相関色分布画像Ｉ_ＧＲを作成する。図１６（Ａ）の左側に示すのは、相関色分布画像Ｉ_ＧＲの模式図である。

ここで、相関色分布画像Ｉ_ＧＲの中央領域ａの多くの画素は、１に近い画素値を有しており、中央領域ａの周辺に位置するリング状領域ｂの多くの画素は、１よりも高い画素値を有しており、リング状領域ｂの外側に位置する最周辺領域ｃの多くの画素は、リング状領域ｂよりも低い画素値を有している。このうち、中央領域ａは、図１５に示した飽和領域Ｓ_ｉに対応しており、リング状領域ｂは、図１５に示したフレア領域Ａ_ｉの内側かつ飽和領域Ｓ_ｉの外側の領域、すなわち、フレア色成分の重畳された領域に対応している。

ステップＳ２３４：フレア色成分抽出処理部２１は、相関色分布画像Ｉ_ＧＲのうち、周辺と比較して値の低い領域（中央領域ａ及び最周辺領域ｃ）のみを平滑化することにより、図１６（Ｂ）に示すような相関色分布画像Ｉ_ＧＲ”を取得する。なお、相関色分布画像Ｉ_ＧＲ”の取得は、図１６（Ａ）→図１６（Ｂ）に示す手順によって行うことができる。

すなわち、フレア色成分抽出処理部２１は、先ず、図１６（Ａ）の左側に示した相関色分布画像Ｉ_ＧＲの全体を、ガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図１６（Ａ）の右側に示すような相関色分布画像Ｉ_ＧＲ’を取得する。この平滑化によると、周辺と比較して値の低い領域の値は、平滑化前よりも高めになり、周辺と比較して値の高い領域の値は、平滑化前よりも低めになる。続いて、フレア色成分抽出処理部２１は、平滑化前後の２つの相関色分布画像Ｉ_ＧＲ、Ｉ_ＧＲ’を画素毎に比較し、値の高かった方の画素を集めて１枚の合成画像を作成し、その合成画像を相関色分布画像Ｉ_ＧＲ”とする（図１６（Ｂ））。この相関色分布画像Ｉ_ＧＲ”は、元の相関色分布画像Ｉ_ＧＲにおいて、フレア色成分の重畳されていなかった領域（点線枠部分）のみを平滑化したものに相当する。

ステップＳ２３５：フレア色成分抽出処理部２１は、相関色分布画像Ｉ_ＧＲ”に対して最小値フィルタ等による収縮処理を施すことにより、相関色分布画像Ｉ_ＧＲ”において周辺と比較して値の高い領域の面積を収縮し、図１６（Ｃ）に示すような相関色分布画像Ｉ_Ｈを取得する。さらに、フレア色成分抽出処理部２１は、相関色分布画像Ｉ_Ｈをガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図１６（Ｄ）に示すような相関色分布画像Ｉ_Ｈ’を取得する。この相関色分布画像Ｉ_Ｈ’は、元の相関色分布画像Ｉ_ＧＲにおいてフレア色成分の重畳されていた領域を周辺の領域（点線枠部分）によって補間したものに相当する。

ステップＳ２３６：フレア色成分抽出処理部２１は、処理領域Ａ_ｉ’の基準色成分（ここではＧ成分）に対して相関色分布画像Ｉ_Ｈ’を画素毎に乗算することにより、フレア色成分の除去されたＲ成分Ｉ_Ｒｎｅｗを算出する。これによって、処理領域Ａ_ｉ’からＲ成分に関するフレア色成分が除去されたことになる。なお、図１７は、除去後の処理領域Ａ_ｉ’の画素プロファイルである。

この図１７を図１５と比較すれば明らかなとおり、除去後には、フレア色成分の重畳されていた領域（フレア領域Ａ_ｉの内側かつ飽和領域Ｓ_ｉの外側の領域）のＲ強度は、同じ領域のＧ強度に近づけられているのがわかる。また、除去後には、フレア色成分の重畳されていた領域のＲ／Ｇ強度は、フレア領域Ａ_ｉの外側の領域のＲ／Ｇ強度と、飽和領域Ｓ_ｉの内側のＲ／Ｇ強度とによって補間されているのがわかる。また、除去後には、フレア色成分の重畳されていた領域のＲ強度分布形状は、同じ領域のＧ強度分布形状に対応した形状となっているのがわかる。

なお、本ステップのフレア色成分抽出処理部２１は、フレア色成分の除去されたＲ成分Ｉ_Ｒｎｅｗを、元のＲ成分から差し引くことにより、Ｒ成分に関するフレア色成分Ｉ_ＦＲを算出しておく（フレア色成分の除去されたＲ成分Ｉ_Ｒｎｅｗを、フレア色成分Ｉ_ＦＲに換算しておく。）。なぜなら、本実施形態では、最終画像を算出する前に、フレア色成分Ｉ_ＦＲに対して幾つかの処理（マスク処理やサイズ拡大処理など）を施す必要があるからである。

ステップＳ２３７：フレア色成分抽出処理部２１は、ステップＳ２３６で取得したフレア色成分Ｉ_ＦＲに対してステップＳ２３２で作成したグレースケールマスクを適用することにより、フレア色成分Ｉ_ＦＲの周辺部をぼかす。このように周辺部をぼかしておけば、処理領域Ａ_ｉ’のＲ成分からフレア色成分Ｉ_ＦＲを除去（減算）した際に、処理領域Ａ_ｉ’に不自然な階調段差が発生することを防げるからである。また、上述したとおり、グレースケールマスクの作成時に使用された平滑化フィルタのサイズは、フレア領域Ａ_ｉのサイズに応じたサイズに設定されたので、マスク適用後のフレア色成分Ｉ_ＦＲの周辺部は、より自然なものとなる。これによって、Ｒ成分に関するフレア色成分Ｉ_ＦＲの推定は、完了である。

ステップＳ２３８：フレア色成分抽出処理部２１は、基準色成分以外の全ての色成分（ここではＲ成分、Ｂ成分）に関する推定が完了したか否かを判別し、完了していなければ未推定である色成分の推定を行うべくステップＳ２３３へ移行し、完了していればフローを終了する。なお、ここでは、Ｒ成分に関する推定しか説明しなかったが、Ｂ成分に関する推定は、Ｒ成分に関する推定と同様なので、説明を省略する（以上、ステップＳ２３８）。

以上、本実施形態では、フレア領域Ａ_ｉに重畳されたフレア色成分の推定を、フレア領域Ａ_ｉの色分布に基づき行うが、その推定に先立ち、フレア領域Ａ_ｉに色補正が施されているか否かを判別し、色補正が施されていた場合には、フレア領域Ａ_ｉの色分布を色補正前の状態に復元するので、フレア色成分の推定に失敗する可能性は抑えられる。

因みに、フレア色成分の推定前に色分布の復元を行わなかった場合には、フレア色成分が誤って推定され、その結果、不自然な黒いリング状のノイズが最終画像上に発生してしまう。

また、本実施形態の色分布の復元では、フレア領域Ａ_ｉを包含する処理領域Ａ_ｉ’を設定し、処理領域Ａ_ｉ’の補正対象色成分において周辺と比較して値の低い領域を平滑化し、平滑化前後における補正対象色成分の差分に基づき、補正対象色成分に関する色補正成分を推定するので（図１１、図１２参照。）、正確な復元が可能である。

また、本実施形態のフレア色成分の推定では、フレア領域Ａ_ｉを包含する処理領域Ａ_ｉ’を設定すると共に、フレア領域Ａ_ｉの各色成分の中で基準となる基準色成分を特定し、処理領域Ａ_ｉ’における基準色成分と着目成分との間の相関と、フレア領域Ａ_ｉの基準色成分とに基づき、フレア領域Ａ_ｉに含まれるフレア色成分を推定する。すなわち、本実施形態では、フレア成分それ自体を抽出する代わりに、フレア色成分（＝色フレアの色付き分布）を抽出する。このフレア色成分を使用すれば、色フレアを無色のフレアにすることができるので、色フレアに特有の不自然さを確実に解消することができる。

また、本実施形態のフレア色成分の推定では、処理領域Ａ_ｉ’の相関色分布を算出し、その相関色分布のうち周辺と比較して値の低い領域を平滑化し、平滑化後の相関色分布のうち周辺と比較して値の高い領域の面積を収縮し、収縮後の相関色分布を、処理領域Ａ_ｉ’の基準色成分へ乗算することにより、処理領域Ａ_ｉの非フレア色成分を算出する（図１６、図１７参照。）。したがって、本実施形態では、非フレア色成分をほぼ正確に推定することができる。

また、本実施形態では、非フレア色成分を処理領域Ａ_ｉ’から減算することにより、処理領域Ａ_ｉ’に含まれるフレア色成分を算出し、そのフレア色成分に対してフレア領域Ａ_ｉと同じ形状の開口部を有したマスクを適用してから、フレア色成分を処理領域Ａ_ｉ’から減算する。そして、本実施形態では、そのマスクとして、開口部の輪郭部の値が平滑化されたグレースケールマスク（図１４）を使用する。したがって、本実施形態では、不自然な階調段差が最終画像に発生することを防げる。

また、本実施形態の色補正成分の推定及びフレア色成分の推定では、入力画像を使用する代わりに入力画像のサイズ縮小版を使用するので、演算負荷を抑えることができる。

［第１実施形態の変形例］
なお、第１実施形態の色補正成分抽出処理部２２は、ステップＳ１９３〜Ｓ１９５において基準画像Ｉ_Ｒ”を作成したが、基準画像Ｉ_Ｒ”の作成を省略してもよい。その場合、色補正成分抽出処理部２２は、ステップＳ１９３〜１９５の代わりに、以下のステップＳ１９３’〜Ｓ１９５’を実行すればよい。なお、ここでも、補正対象色成分がＲ成分であったと仮定する。

ステップＳ１９３’：色補正成分抽出処理部２２は、フレア領域Ａ_ｉの内側かつ飽和領域Ｓ_ｉの外側におけるＲ成分を参照すると、そのＲ成分の最大値を算出し、その値を基準値Ｔに設定する。この基準値Ｔは、色補正成分の算出基準として使用される。

ステップＳ１９４’：色補正成分抽出処理部２２は、図１８（Ａ）に示すとおり、処理領域Ａ_ｉ’のＲ成分Ｉ_Ｒから基準値Ｔを差し引くことにより、図１８（Ｂ）に示すようなオフセットＲ成分Ｉ_Ｒ’を算出する。そして、色補正成分抽出処理部２２は、オフセットＲ成分Ｉ_Ｒ’において正の値を有する画素の値をゼロへと置換することにより、図１８（Ｃ）に示すような色補正成分Ｉ_Ｄを取得する。但し、ここで算出された色補正成分Ｉ_Ｄには、高周波数の誤差が残存している。

ステップＳ１９５’：色補正成分抽出処理部２２は、色補正成分Ｉ_Ｄをガウシアンフィルタなどの平滑化フィルタで空間的に平滑化することにより、図１８（Ｄ）に示すような色補正成分Ｉ_Ｃを算出する。この色補正成分Ｉ_Ｃが、Ｒ成分に関する色補正成分である（以上、ステップＳ１９５’）。

また、第１実施形態の色補正成分抽出処理部２２は、フレア領域Ａ_ｉに色補正が施されているか否かをフレア領域Ａ_ｉに基づき自動的に判定したが、入力画像がＲＡＷ画像（現像処理前の画像）であった場合には、色補正が施されている可能性は無いので、フレア領域Ａ_ｉに基づくことなく即座に色補正が施されていないと判定して構わない。

また、入力画像がＲＡＷ画像でなかったとしても、色補正の内容を表すパラメータが入力画像に付加されていた場合は、色補正成分抽出処理部２２は、フレア領域Ａ_ｉに基づく代わりに、そのパラメータに基づくことにより、色補正成分を算出してもよい。

また、第１実施形態のフレア色成分抽出処理部２１は、フレア色成分の推定を基準色成分以外の２つの色成分の各々について行ったが、２つの色成分のうち一方の色成分に関する推定を省略してもよい。Ｇ成分が基準色成分であると仮定したならば、例えば、フレア領域Ａ_ｉにおけるＧ成分の平均値とＢ成分の平均値との差が所定範囲内であった場合、つまり、Ｇ成分とＢ成分とに差異が無かった場合には、Ｂ成分に関する推定を省略してもよい。

また、第１実施形態のフレア色成分抽出処理部２１は、基準色成分を自動的に設定したが、ユーザに指定させてもよい。

また、上述したフレア色成分除去処理では、ステップＳ１３〜Ｓ１９、Ｓ２３における演算負荷を軽減するために、入力画像をそのまま使用する代わりに入力画像のサイズ縮小版（縮小画像）を使用したが、演算負荷の軽減よりも精度向上を優先させたい場合には、入力画像をそのまま使用してもよい。なお、その場合、ステップＳ２１、Ｓ２２、Ｓ２４の処理は省略される。

また、上述したフレア色成分除去処理では、入力画像におけるフレアの発生位置をＣＰＵ１４が自動的に検出したが、ユーザに指定させてもよい。

また、上述したフレア色成分除去処理では、フレア領域Ａ_ｉをＣＰＵ１４が自動的に検出したが、ユーザに指定させてもよい。

また、上述したフレア色成分除去処理では、処理領域Ａ_ｉ’をＣＰＵ１４が自動的に設定したが、ユーザに設定させてもよい。

また、上述したフレア色成分除去処理では、フレア領域Ａ_ｉに発生しているフレアが色フレアであるか否かをＣＰＵ１４が自動的に判別したが、ユーザに判別させてもよい。

また、本実施形態のフレア色成分抽出処理部２１は、フレア領域Ａ_ｉのフレア色成分を、処理領域Ａ_ｉにおける基準色成分と着目色成分との間の相関と、フレア領域Ａ_ｉの基準色成分とに基づき推定したが、フレア領域Ａ_ｉの色分布に基づく他の手法により推定しても構わない。

［第２実施形態］
以下、本実施形態の第２実施形態を説明する。

図１９は、電子カメラの概略構成を示すブロック図である。図１９に示すとおり、電子カメラ１１１は、撮像光学系１１２と、レンズ駆動部１１３と、絞り１１４と、絞り駆動部１１５と、カラー撮像素子１１６と、ＡＦＥ１１７と、画像処理エンジン１１８と、第１メモリ１１９と、第２メモリ１２０と、メディアＩ／Ｆ１２１と、通信Ｉ／Ｆ１２２と、モニタ１２３と、レリーズ釦１２４とを有しており、この中でレンズ駆動部１１３、絞り駆動部１１５、ＡＦＥ１１７、第１メモリ１１９、第２メモリ１２０、メディアＩ／Ｆ１２１、通信Ｉ／Ｆ１２２、モニタ１２３、レリーズ釦１２４の各々は、画像処理エンジン１１８に接続されている。また、撮影光学系１１２は、例えば、ＤＯＥレンズを含んだ高機能な撮影光学系である。

第１メモリ１１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、画像処理エンジン１１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。一方、第２メモリ１２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成されており、画像処理エンジン１１８によって実行されるプログラムを長期的に記憶する。

この第１メモリ１１９には、画像処理エンジン１１８が実行すべき画像処理プログラムが格納されており、この画像処理プログラムには、第１実施形態と同様のフレア色成分除去処理の機能が搭載されている。フレア色成分除去処理を実行する際、画像処理エンジン１１８は、フレア色成分抽出処理部１２５、色補正成分抽出処理部１２６として機能する。このフレア色成分抽出処理部１２５、色補正成分抽出処理部１２６は、第１実施形態のフレア色成分抽出処理部２１と同様に動作する。

したがって、本実施形態の画像処理エンジン１１８は、電子カメラ１１１が撮影で取得した画像や、メディアＩ／Ｆ１２１（又は通信I／F１２２）を介して読み込まれた画像に対して、第１実施形態と同様のフレア色成分除去処理を施すことができる。

なお、本実施形態のフレア色成分除去処理は、撮影条件データを必要としないので、図１９において点線で示した部分は、電子カメラ１１１に対して交換可能であっても構わない。また、言うまでもないが、本実施形態のフレア色成分除去処理は、撮影条件データを必要としないので、撮影光学系１１２の結像特性データを画像処理エンジン１１８が読み込む必要も無い。

また、本実施形態のフレア色成分除去処理も、第１実施形態のそれと同様に変形することが可能である。

１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス

Claims (11)

1. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
   色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
   前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
   前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
   前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、
   を含むことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記基準色設定手順では、
   前記発生領域の各色成分の中で最も低い値を有した色成分を前記基準色成分に設定する
   ことを特徴とする画像処理方法。
3. 請求項１又は請求項２に記載の画像処理方法において、
   前記相関算出手順では、
   前記処理領域における基準色成分を基準とした着目色成分の値である相関色分布を、前記相関情報として算出し、
   前記フレア色成分推定手順は、
   前記相関色分布のうち周辺と比較して値の低い領域を平滑化する平滑化手順と、
   平滑化後の前記相関色分布のうち周辺と比較して値の高い領域の面積を収縮する収縮手順と、
   収縮後の前記相関色分布を前記処理領域の基準色成分へ乗算することにより、前記処理領域の非フレア色成分を算出する非フレア成分算出手順と
   を含むことを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法において、
   前記平滑化手順では、
   ガウシアンフィルタを使用する
   ことを特徴とする画像処理方法。
5. 請求項３又は請求項４に記載の画像処理方法において、
   前記フレア色成分推定手順は、
   算出された前記非フレア色成分を前記処理領域から減算することにより、前記処理領域に含まれるフレア色成分を算出するフレア色成分算出手順と、
   算出された前記フレア色成分に対して前記発生領域と同じ形状の開口部を有したマスクを適用するマスク手順と、
   マスク適用後の前記フレア色成分を前記処理領域から減算することにより、前記発生領域に含まれるフレア色成分を除去するフレア除去手順とを更に含み、
   前記マスクは、
   前記開口部の輪郭の値が平滑化されたグレースケールマスクである
   ことを特徴とする画像処理方法。
6. 請求項１〜請求項５の何れか一項に記載の画像処理方法において、
   前記相関算出手順及び前記フレア色成分推定手順では、
   前記処理対象画像を使用する代わりに前記処理対象画像のサイズ縮小版を使用する
   ことを特徴とする画像処理方法。
7. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手順と、
   色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手順と、
   前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手順と、
   前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
   前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分推定手順と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
8. 撮影光学系により取得されたカラーの処理対象画像を入力する入力手段と、
   色フレアの発生領域を包含する処理領域を、前記処理対象画像上に設定する領域設定手段と、
   前記発生領域の各色成分の中で基準となる基準色成分を設定する基準色設定手段と、
   前記処理領域における基準色成分と着目色成分との間の相関を示す相関情報を算出する相関算出手順と、
   前記色フレアの色付き分布であるフレア色成分を、前記処理領域の前記相関情報と前記発生領域の基準色成分とに基づき推定するフレア色成分を推定する推定手段と、
   を備えることを特徴とする画像処理装置。
9. 撮影光学系が結像した被写体像を撮像する撮像素子と、
   請求項８に記載の画像処理装置と、
   を備えたことを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    回折光学素子を含む撮影レンズを更に備えた
    ことを特徴とする撮像装置。
11. 請求項９に記載の撮像装置において、
    回折光学素子を含む撮影レンズを装着可能である
    ことを特徴とする撮像装置。