JP2017126952A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】画像回復処理時の色付きを適切に抑制し、かつ処理時間の増大を抑える。
【解決手段】画像処理装置１０４は、光学系１０１を用いた撮像により生成された撮影画像を取得する画像取得手段１１５と、該撮影画像から得られる入力画像に対して画像処理を行う処理手段１１１〜１１３とを有する。処理手段は、画像処理として、入力画像に対して第１のホワイトバランス処理を行い、該第１のホワイトバランス処理後の第１のホワイトバランス処理画像における色に関する第１の特徴量を取得し、入力画像に対して、光学系の光学伝達関数を用いて画像回復処理を行い、画像回復処理後の第１の回復画像に対して第２のホワイトバランス処理を行い、第２のホワイトバランス処理後の第２のホワイトバランス処理画像における色に関する第２の特徴量を取得し、第１の特徴量と第２の特徴量との比較結果に応じて、第１の回復画像に対して色補正処理を行う。
【選択図】図１

Description

本発明は、撮像により生成された画像の劣化を低減するための画像回復処理を行う画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮影光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（Point Spread Function：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

撮像により劣化した劣化画像（入力画像）における振幅成分（ＭＴＦ）の劣化と位相成分（ＰＴＦ）の劣化を補正する方法として、光学系の光学伝達関数の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系の光学伝達関数の情報を用いて劣化画像を補正（低減）する処理を画像回復処理と称する。画像回復処理の方法の１つとして、光学伝達関数の逆特性を有する実空間の画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

ただし、通常の撮像では、被写体空間には互いに被写体距離が異なる複数の被写体が含まれる。このとき、合焦物体は鮮鋭に撮像されるが、非合焦物体はその距離に応じたぼけ量を有して撮像される。被写体距離に関する情報がこの合焦物体の被写体距離（合焦距離）のみである場合には、画像回復フィルタはその被写体距離に最適なものが選択または生成される。このため、画像回復処理後の画像において合焦物体については所望の鮮鋭度が得られるが、非合焦物体についてはぼけたままとなる。

しかも、合焦距離用に作成され、非合焦物体に対して最適ではない画像回復フィルタを用いて非合焦物体を回復処理した際に、原理的に色付きが発生する場合がある。この色付きとは、例えば非合焦物体のエッジ部において色成分ごとのぼけ方の関係が画像回復処理を行う前と後で異なることによって、非合焦物体には無い色が画像回復処理後の画像に発生することである。さらに、このような色付きは、合焦の有無に関わらず、光学系の製造ばらつきや撮像時の光源の分光変動等に起因して、実際の撮像状態での収差の状態と、画像回復処理が対象としている収差の状態とが異なるときにも発生する。

このような画像回復処理時の色付きを抑制する方法として、画像回復処理を行う前の画像の色情報に基づいて画像回復処理を行なった後の画像の色を補正する方法がある。これは画像の各画素において画像回復処理による色の変化を判定し、画像回復処理による色付きを抑制するという方法である。

一方、特許文献１には、ホワイトバランス処理または色再現処理後の画像に対して画像回復処理を行う画像処理方法が開示されている。

特許第５５６４９７７号

しかしながら、上述した画像回復処理時の色付き抑制方法では、画像回復処理の前後の色の変化を判定して画像回復処理後の画像の画素値を調整するため、被写体の色味が正しく再現されていない状態では適切な色付き抑制を行うことができない。

また、特許文献１にて開示された方法では、ホワイトバランス処理の設定が変わるごとに画像回復処理を行う必要がある。このため、例えばユーザが撮像済みの画像の色味をモニタで確認しながら最適なホワイトバランス処理の設定を選択する場合に該設定を変えるごとに画像回復処理が行われると、モニタへの画像表示のリアルタイム性が大きく欠けるおそれがある。また、カメラによる撮像時にホワイトバランス処理を予め設定した数パターンで行う場合に、そのパターン数分の画像回復処理が必要となり、処理時間が増大する。

本発明は、画像回復処理時の色付きを適切に抑制し、かつ処理時間の増大を抑えることができるようにした画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、光学系を用いた撮像により生成された撮影画像を取得する画像取得手段と、該撮影画像から得られる入力画像に対して画像処理を行う処理手段とを有する。処理手段は、画像処理として、入力画像に対して第１のホワイトバランス処理を行い、該第１のホワイトバランス処理後の第１のホワイトバランス処理画像における色に関する第１の特徴量を取得し、入力画像に対して、光学系の光学伝達関数を用いて画像回復処理を行い、画像回復処理後の第１の回復画像に対して第２のホワイトバランス処理を行い、第２のホワイトバランス処理後の第２のホワイトバランス処理画像における色に関する第２の特徴量を取得し、第１の特徴量と第２の特徴量との比較結果に応じて、第１の回復画像に対して色補正処理を行うことを特徴とする。

なお、光学系を用いて撮像を行う撮像手段と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、コンピュータを上記画像処理装置として動作させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、画像回復処理時の色付きを適切に抑制することができるとともに、処理時間の増大を抑えることができる。

本発明の各実施例の画像処理装置を搭載した撮像装置の構成を示すブロック図。 色付き抑制処理を行った場合の色味変化を説明する図。 本発明の実施例１らおける画像処理部の構成を示すブロック図。 実施例１における画像処理を示すフローチャート。 各実施例におけるベイヤー配列と色成分を説明する図。 実施例１における画像処理部の構成を示すブロック図。 実施例１における画像処理を示すフローチャート。 実施例の画像処理装置を搭載した撮像装置の構成を示すブロック図。 本発明の実施例２における画像処理部の構成を示すブロック図。 実施例２における画像処理を示すフローチャート。 実施例２における白検出領域を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先だって各実施例に共通する事項について説明する。

最初に、画像回復処理時の色付きの発生原因およびその抑制処理について説明する。図２は、撮像画角内に点光源が存在するシーンを撮像することで生成された撮影画像における点光源部分の断面の画素値（輝度）を示している。図２（ａ），（ｂ）はいずれも上段に点光源部分の断面におけるＲ成分とＧ成分を示しており、横軸は画素位置を、縦軸は画素値を示す。また、下段には、上段で示したＲ成分とＧ成分の差分、つまりは色差を示している。

図２（ａ）は合焦状態での点光源部分の断面を示す。（ａ）−１は画像回復処理を行わずに各収差が残存している画像（ＲＡＷ画像）を示す。Ｇ成分およびＲ成分ともにぼけており、さらにＧ成分とＲ成分のぼけ方が異なっているため色にじみが発生している。この例では、色差は左右のエッジ部分で正の値を持っている。一方（ａ）−２はＲＡＷ画像に画像回復処理を行うことで得られた画像を示しており、収差が補正され、ぼけ成分が除去されている。ここで示した合焦状態での画像には、画像回復処理による色付きが発生していない。

図２（ｂ）は非合焦状態での点光源部分の断面を示している。（ｂ）−１は画像回復処理を行なわずに各収差が残存しているＲＡＷ画像を示している。Ｇ成分およびＲ成分ともにぼけているが、Ｇ成分とＲ成分のぼけ方が一致している。このため、色差は全領域で０となっている。一方、（ｂ）−２はＲＡＷ画像に画像回復処理を行うことで得られた画像を示しており、収差が補正され、ぼけ成分が低減されている。しかし、Ｇ成分とＲ成分のぼけ方が異なっているために色にじみが発生している。色差は左右のエッジ部分で負の値を持っている。このような色付きに対して、画像回復処理前よりも画像回復処理後の色差の絶対値が増加しないようにＲ成分の画素値を補正することで色付きを抑制する。（ｂ）−３は色付き抑制処理によって画像回復処理による色付きが適切に抑制された画像を示しており、色差は（ｂ）−１と同様に全領域で０となっている。

また、ほとんどのデジタルカメラと同様に、各実施例でも、画像に対するホワイトバランス処理を行う。ホワイトバランス処理は、被写体における無彩色部分が出力画像において無彩色になるように、撮像素子が出力するＲＧＢ成分の信号レベルを合わせるために色成分別にゲイン処理を行うものである。ホワイトバランス処理を行わない場合は、撮像素子の色特性によって被写体の色味が正しく再現されず、実際の被写体とは異なる色の画像が生成される。各実施例では、色別のゲイン値（ホワイトバランス調整値）をホワイトバランス係数といい、このホワイトバランス係数を、画像回復処理において色付き抑制処理を行う場合に適切な値となるように自動で設定する。

次に各実施例にて行われる画像回復処理について説明する。撮像装置により生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の画像（劣化していない画像）をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式（１）が成り立つ。ただし、＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （１）
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）に相当する。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （２）
撮像装置により生成された劣化画像から元の画像を得るためには、以下の式（３）ように、上記式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）である回復画像が得られる。

ここで、１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （４）
Ｒ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。

画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。この点については、例えばウィナーフィルタ（Wiener Filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

図１には、本発明の実施例１であるデジタルカメラやビデオカメラ等の撮像装置の構成を示す。不図示の被写体からの光は、撮影光学系（以下、単に光学系という）１０１により撮像素子１０２上に結像される。光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む。絞り１０１ａは、その開口径が制御されることで撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。また、光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであってもよい。

撮像素子１０２は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成され、結像した光（被写体像）を電気信号に変換する。撮像素子１０２からの出力されたアナログ信号は、Ａ／Ｄコンバータ１０３によりデジタル信号に変換され、画像処理装置である画像処理部１０４に入力される。これにより、画像処理部１０４における画像取得部（画像取得手段）１１５は、撮影画像として、図５に示すように各画素に１色の色成分を持つベイヤー形式のＲＡＷ画像を取得する。

画像処理部１０４は、上記画像取得部１１５と、画像回復処理部１１１と、画素値調整部１１２と、ホワイトバランス処理部１１３と、一般画像処理部１１４とを含む。画像回復処理部１１１、画素値調整部１１２およびホワイトバランス処理部１１３により処理手段が構成される。

画像処理部１０４は、状態検知部１０７から撮像装置の状態（以下、撮像条件という）の情報を得る。状態検知部１０７は、システムコントローラ１１０から直接に撮像条件の情報を得てもよい。また、光学系に関する撮像条件の情報は、光学系制御部１０６から得ることもできる。

画像回復処理部１１１、撮像条件に応じた画像回復フィルタを記憶部１０８から選択し、処理対象画像に対して画像回復処理を行う。記憶部１０８で保持するデータは画像回復フィルタではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報でもよい。この場合、画像回復処理部１１１は、撮像条件に応じたＯＴＦに関する情報（以下、ＯＴＦ情報という）を記憶部１０８から選択し、撮像条件に応じた画像回復フィルタを生成する。そして、この画像回復フィルタを用いて、画像処理部１０４に入力された処理対象画像に対して画像回復処理を行う。

また、光学系１０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよいが、ローパスフィルタ等のＯＴＦの特性に影響を与える光学素子を挿入する場合には、画像回復フィルタを作成する時点での考慮が必要になる。赤外カットフィルタにおいても、分光波長のＰＳＦの積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる。

画素値調整部１１２およびホワイトバランス処理部１１３が行う処理については後述する。一般画像処理部１１４は、画素補間、ガンマ補正およびカラーバランス調整等の一般的な画像処理を行い、さらにＪＰＥＧ等の画像ファイルを生成する。

画像処理部１０４で生成された出力画像は、画像記録媒体１０９に所定のフォーマットで保存されたり、表示部１０５に表示されたりする。表示部１０５には、画像回復処理後の画像に所定の表示用処理を行った画像を表示してもよいし、画像回復処理を行っていない画像を表示してもよい。

撮像装置における上記各部の制御はシステムコントローラ１１０が行い、光学系の機械的な駆動はシステムコントローラ１１０の指示により光学系制御部１０６が行う。

次に、図３および図４を用いて、画素値調整部１１２およびホワイトバランス処理部１１３が行う処理を含めて、本実施例における画像処理（第１の画像処理）について説明する。図３には、本実施例の画像処理の概要を示している。

画像取得部１１５は、図５に示したＲＡＷ画像の各色成分について画素補間処理を行うことでＲ、ＧおよびＢの３つの色プレーンの画像（色プレーン画像）を作成する。これら３つの色プレーン画像が図３に示した「画像データ１」に相当する。画像取得部１１５は、該３つの色プレーン画像を入力画像として画像回復処理部１１１に入力するとともに、画像回復処理部１１１を経ずにホワイトバランス処理部１１３（以下、第１のホワイトバランス処理部１１３ａという）に入力する。

第１のホワイトバランス処理部１１３ａは、画像データ１に対して前述したホワイトバランス処理（以下、第１のホワイトバランス処理という）を行う。第１のホワイトバランス処理後の画像データ（以下、第１のホワイトバランス処理画像という）は、画素値調整部１１２に入力される。画素値調整部１１２は、第１のホワイトバランス処理画像から色に関する特徴量（以下、第１の特徴量という）を取得する。

一方、画像回復処理部１１１は、画像データ１に対して、前述した画像回復処理を行う。画像回復処理後の画像データ（第１の回復画像）である「画像データ２」は、ホワイトバランス処理部１１３（以下、第２のホワイトバランス処理部１１３ｂという）に入力される。第２のホワイトバランス処理部１１３ｂは、画像データ２に対して前述したホワイトバランス処理（以下、第２のホワイトバランス処理という）を行う。第２のホワイトバランス処理後の画像データ（以下、第２のホワイトバランス処理画像という）は、画素値調整部１１２に入力される。画素値調整部１１２は、第２のホワイトバランス処理画像から色に関する特徴量（以下、第２の特徴量という）を取得する。

そして、画素値調整部１１２は、第１および第２の特徴量の比較結果から画像データ２に対して色補正処理を行うか否かを判定し、色補正処理を行った場合は該色補正処理後の画像データである「画像データ３」を出力する。

以上の画像処理が、図４に示すフローチャートに従って行われる。画像処理用コンピュータとしての画像処理部１０４は、コンピュータプログラムである画像処理プログラムに従って本画像処理を行う。

ステップＳ２０１では、画像処理部１０４（画像回復処理部１１１）は、画像データ１（３つの色プレーン画像）、つまりは撮影画像を生成するための撮像時における撮像条件に適した画像回復フィルタを選択する。このとき、選択された画像回復フィルタを必要に応じて補正してもよい。例えば、予め記憶部１０８に離散的な撮像条件に対応する画像回復フィルタを用意しておき、実際に画像回復処理を行う際に該記憶部１０８に用意された画像回復フィルタを撮像条件に応じて補正する。これにより、記憶部１０８に予め用意しておく画像回復フィルタのデータ数を低減することができる。なお、前述したように、画像回復フィルタを生成するために必要なＯＴＦに関する情報を記憶部１０８に用意しておき、撮像条件に応じたＯＴＦ情報を読み出して画像回復フィルタを生成してもよい。

次にステップＳ２０２では、画像処理部１０４（画像回復処理部１１１）は、選択（または生成）した画像回復フィルタを用いて３つの色プレーン画像（画像データ１）の各画素に対して画像回復処理、すなわち画像回復フィルタのコンボリューション処理を行う。この処理により、光学系１０１の収差による非対称な劣化成分を補正したりぼけ成分を除去または低減したりすることができる。画像処理部１０４は、画像回復処理後の画像データ２を記憶部１０８に格納する。

次にステップＳ２０３では、画像処理部１０４（第１のホワイトバランス処理部１１３ａ）は、画像回復処理前の画像データ１に対して第１のホワイトバランス処理を行う。第１のホワイトバランス処理において、Ｒ、Ｇ、Ｂのホワイトバランス係数をそれぞれＷｂＧａｉｎＲ、ＷｂＧａｉｎＧ、ＷｂＧａｉｎＢとし、画像回復処理前の画像データ１のＲ、Ｇ、Ｂの画素値をＲ０、Ｇ０、Ｂ０とする。ホワイトバランス処理後の画素値をＲ、Ｇ、Ｂとする。このとき、第１のホワイトバランス処理は以下の式（５）〜（７）で表すことができる。これらの式（５）〜（７）の演算を画像データ１内の全画素に対して行うことで第１のホワイトバランス処理が行われる。式（５）〜（７）において、（ｘ，ｙ）は画像上の座標を示す。
Ｒ（ｘ，ｙ） ＝ＷｂＧａｉｎＲ×Ｒ０（ｘ，ｙ） （５）
Ｇ（ｘ，ｙ） ＝ＷｂＧａｉｎＧ×Ｇ０（ｘ，ｙ） （６）
Ｂ（ｘ，ｙ） ＝ＷｂＧａｉｎＢ×Ｂ０（ｘ，ｙ） （７）
次にステップＳ２０４では、画像処理部１０４（第２のホワイトバランス処理部１１３ｂ）は、画像回復処理後の画像データ２に対して第２のホワイトバランス処理を行う。第２のホワイトバランス処理において、Ｒ、Ｇ、Ｂのホワイトバランス係数は第１のホワイトバランス処理と同じく、ＷｂＧａｉｎＲ、ＷｂＧａｉｎＧ、ＷｂＧａｉｎＢである。画像回復処理後のＲ、Ｇ、Ｂの画素値をＲ０′、Ｇ０′、Ｂ０′とし、第２のホワイトバランス処理後の画素値をＲ′、Ｇ′、Ｂ′とする。このとき、第２のホワイトバランス処理は、以下の式（８）〜（１０）により表すことができる。式（８）〜（１０）の演算を画像データ２内の全画素に対して行うことで第２のホワイトバランス処理が行われる。
Ｒ′（ｘ，ｙ） ＝ＷｂＧａｉｎＲ×Ｒ０′（ｘ，ｙ） （８）
Ｇ′（ｘ，ｙ） ＝ＷｂＧａｉｎＧ×Ｇ０′（ｘ，ｙ） （９）
Ｂ′（ｘ，ｙ） ＝ＷｂＧａｉｎＢ×Ｂ０′（ｘ，ｙ） （１０）
次にステップＳ２０５では、画像処理部１０４（画素値調整部１１２）は、第１のホワイトバランス処理後（画像回復処理未実施）の第１のホワイトバランス処理画像のＲＧＢ成分から第１の特徴量としての色差を取得する。ここでは、色差を、基準色成分であるＧ成分に対する補正対象色成分であるＲおよびＢ成分の画素値（信号値）の差分と定義する。すなわち、色差は以下の式（１１）および（１２）により計算される。式（１１）および（１２）において、（ｘ，ｙ）は画像上の座標であり、Ｃｒ、Ｃｂは第１のホワイトバランス処理後のＲおよびＢ成分のＧ成分に対する色差である。
Ｃｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）−Ｇ（ｘ，ｙ） （１１）
Ｃｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）−Ｇ（ｘ，ｙ） （１２）
次にステップＳ２０６では、画像処理部１０４（画素値調整部１１２）は、第２のホワイトバランス処理後（画像回復処理後）の第２のホワイトバランス処理画像のＲＧＢ成分から第２の特徴量としての色差の情報を取得する。ここでの色差は、以下の式（１３）および（１４）により計算される。式（１３）および（１４）において、（ｘ，ｙ）は画像上の座標であり、Ｃｒ′、Ｃｂ′は第２のホワイトバランス処理後のＲおよびＢ成分のＧ成分に対する色差である。
Ｃｒ′（ｘ，ｙ）＝Ｒ′（ｘ，ｙ）−Ｇ′（ｘ，ｙ） （１３）
Ｃｂ′（ｘ，ｙ）＝Ｂ′（ｘ，ｙ）−Ｇ′（ｘ，ｙ） （１４）
次にステップＳ２０７では、画像処理部１０４（画素値調整部１１２）は、色差ＣｒとＣｒ′を比較し、色差ＣｂとＣｂ′を比較する。そして、これらの比較結果に応じて、画像回復処理後の第２のホワイトバランス処理画像に対して色付き抑制のための画素値調整が必要か否かを判定する。この判定は、以下に示すように、第２のホワイトバランス処理画像において、画像回復処理が行われていない第１のホワイトバランス処理画像に比べて色差が増加したか否か又は色差の符号が反転したか否かで行う。Ｒ成分とＢ成分のそれぞれに対してこの判定を行い、以下に示す判定条件１と判定条件２のいずれかを満足する場合は、その色成分の画素に対して色付き抑制のための画素値調整を行うためにステップＳ２０８に進む。判定条件１は色差が増加したことを示し、判定条件２は色差の符号が判定したことを示す。

Ｒ成分に対する判定
判定条件１：Ｃｒ（ｘ，ｙ）とＣｒ′（ｘ，ｙ）が同符号、
かつ｜Ｃｒ（ｘ，ｙ）｜ ＜ ｜Ｃｒ′（ｘ，ｙ）｜
判定条件２：Ｃｒ（ｘ，ｙ）とＣｒ′（ｘ，ｙ）が異符号
Ｂ成分に対する判定
判定条件１：Ｃｂ（ｘ，ｙ）とＣｂ′（ｘ，ｙ）が同符号、
かつ｜Ｃｒ（ｘ，ｙ）｜ ＜ ｜Ｃｒ′（ｘ，ｙ）｜
判定条件２：Ｃｂ（ｘ，ｙ）とＣｂ′（ｘ，ｙ）が異符号
ステップ２０８では、画像処理部１０４（画素値調整部１１２）は、第２のホワイトバランス処理画像に対して色付き抑制のための画素値調整（色補正処理）を行う。画素値調整は、以下のＲ成分用の式（１５）、（１６）およびＢ成分用の式（１７）、（１８）に示すように行う。すなわち、色差が増加した場合は画像回復処理前の色差（第１の特徴量）を用いた画素値調整、具体的には補正対象色成分の画素値を、基準色成分の画素値に画像回復処理前の色差を加算する処理を行う。また、色差の符号が反転した場合は色差を０とする画素値調整、言い換えれば補正対象色成分の画素値を基準色成分の画素値に一致させる処理を行う。

Ｒ成分に対する画素値調整
判定条件１を満足（色差増加）：
Ｒ′（ｘ，ｙ）＝ Ｇ′（ｘ，ｙ）＋ Ｃｒ（ｘ，ｙ） （１５）
判定条件２を満足（色差反転）：
Ｒ′（ｘ，ｙ）＝ Ｇ′（ｘ，ｙ） （１６）
Ｂ成分に対する画素値調整
判定条件１を満足（色差増加）：
Ｂ′（ｘ，ｙ）＝ Ｇ′（ｘ，ｙ）＋ Ｃｂ（ｘ，ｙ） （１７）
判定条件２を満たす場合（色差反転）：
Ｂ′（ｘ，ｙ）＝ Ｇ′（ｘ，ｙ） （１８）
画像処理部１０４は、以上のように第２のホワイトバランス処理画像に対して画素値調整が行われることで得られた色補正画像としての画像データ３を、記憶部１０８に格納する。なお、ステップＳ１０７で判定条件１，２のいずれも満足せずに画素値調整が行われなかった第２のホワイトバランス処理画像についても、記憶部１０８に格納される。この後は、記憶部１０８から読み出された画像データ３（または画素値調整が行われなかった第２のホワイトバランス処理画像）は、一般画像処理部１１４での画像処理が行われて出力画像として出力される。

次に、撮影画像としてのＲＡＷ画像をユーザが設定した現像パラメータに応じた現像処理を行う場合について説明する。ユーザは、撮像装置の表示部１０５に表示された画像の変化を確認しながらホワイトバランス等の現像条件を示す現像パラメータを変更する。この場合に、その変更後の現像パラメータに応じた現像処理を行う。

ユーザがホワイトバランスに関する現像パラメータ（ホワイトバランス処理用パラメータ）を変更した場合は、画像処理部１０４は、画像回復処理前の画像データ１に対して図４のステップＳ２０３の第１のホワイトバランス処理を再度行う。また、画像回復処理後の画像データ２に対してステップＳ２０４の第２のホワイトバランス処理を再度行う。このときの画像データ１および画像データ２は、ホワイトバランス処理用パラメータが変更される前の画像処理において記憶された画像データである。したがって、ステップＳ２０１およびＳ２０２における画像データ１に対する画像回復処理は行わない。

このように、長い処理時間が必要な画像回復処理を再度行うことなく画像データ２に対する第２のホワイトバランス処理を行うことで、ユーザがホワイトバランスに関する設定を変更した結果の画像が表示されるまでに要する時間が短縮される。さらに、ユーザが色調整（画素値調整）に関する現像パラメータを変更した場合は、画像データ３に対してステップＳ２０８の画素値調整を行うことで更なる時間短縮が可能となる。

また、撮像装置が、１回の撮像でホワイトバランスの設定を数パターン変えて現像し、複数の画像を出力する機能（ここではホワイトバランスブラケット撮像という）を有する場合は、以下のようにするとよい。すなわち、図４のステップＳ２０１およびＳ２０２の処理を１回だけ行い、ステップＳ２０３以降の処理はホワイトバランスを設定した数の分だけ行う。この場合も、画像回復処理は１回だけ行えばよいので、一連の処理時間を短縮することができる。

また、ホワイトバランスブラケット撮像では、図４のフローチャートに示した第１の画像処理を行い、ホワイトバランスブラケット撮像ではない通常撮像時は他の画像処理（第２の画像処理）を行うことも可能である。

図６には、第２の画像処理の概要を示している。図７のフローチャートには、第２の画像処理のより詳しい流れを示している。

ステップＳ３０１では、画像処理部１０４（ホワイトバランス処理部１１３）は、画像データ１に対して、図４のステップＳ２０３において示した式（５）〜（７）を用いてホワイトバランス処理を行う。ホワイトバランス処理後の画像（ホワイトバランス処理画像）は、画像回復処理部１１１と画素値調整部１１２とに入力される。

次にステップＳ３０２では、画像処理部１０４（画像回復処理部１１１）は、図４のステップＳ２０１と同様に、撮像時における撮像条件に適した画像回復フィルタを選択または生成する。

次にステップ３０３では、画像処理部１０４（画像回復処理部１１１）は、ホワイトバランス処理画像に対して画像回復処理を行い、回復画像を画素値調整部１１２に入力する。

次にステップ３０４では、画像処理部１０４（画素値調整部１１２）は、ホワイトバランス処理後（画像回復処理未実施）のホワイトバランス処理画像のＲＧＢ成分から、図４のステップＳ２０５と同様に式（１１）、（１２）により色差（第３の特徴量）を取得する。

次にステップ３０５では、画像処理部１０４（画素値調整部１１２）は、画像回復処理後の回復画像のＲＧＢ成分から、図４のステップＳ２０６と同様に、式（１３）、（１４）により色差（第４の特徴量）を取得する。

そして、ステップＳ３０６では、画像処理部１０４（画素値調整部１１２）は、図４のステップＳ２０７と同様に、ステップＳ３０４およびＳ３０５で取得した色差を比較して色付き抑制のための画素値調整を行うか否かを判定する。画素値調整を行う場合はステップＳ３０７に進み、図４のステップＳ２０８と同様に、画像回復処理前の色差（色差が増加した場合）または色差０（色差の符号が反転した場合）を用いた画素値調整を行う。

画像回復処理前の色差 回復画像に対して画素値調整を行う。こうして得られた色補正画像（または画素値調整が行われなかった回復画像）は、画像データ３として記憶部１０８に格納される。この時点で、図３に示した画像データ２は不要となるため、記憶部１０８から消去してもよい。この後は、記憶部１０８から読み出された画像データ３（または画素値調整が行われなかった回復画像）は、一般画像処理部１１４での画像処理が行われて出力画像として出力される。

このように、ホワイトバランスブラケット撮像ではない通常撮像においては一度だけ現像処理を行えばよいので、ホワイトバランスブラケット撮像時よりも処理に使用される記憶容量を削減することができる。また、１回の通常撮像ではホワイトバランス処理が１回で済むため、処理時間の短縮も可能となる。

ホワイトバランスブラケット撮像では、図４に示した画像処理が有効である。これは、ゲイン処理を行うホワイトバランス処理の回数を減らすよりも、コンボリューション処理を行う画像回復処理の回数を減らす方が処理時間を短縮することができるためである。

以上説明したように、ホワイトバランスブラケット撮像と通常撮像、すなわち撮像モードに応じて画像処理の内容を変えることで、それぞれの撮像モードに最適な画像処理を行うことができる。

なお、本実施例では、色の特徴量として色差を用いる場合について説明したが、色差以外の特徴量、例えば彩度や色相を用いて、画像回復処理による色の変化を判定してもよい。また、色の特徴量として基準色成分であるＧ成分と、補正対象色成分であるＲおよびＢとの差を用いる代わりに、これらの比を用いるようにしてもよい。

次に、本発明の実施例２について説明する。図８には、本実施例の撮像装置の構成を示す。実施例１の撮像装置との違いは、画像処理部１０４にホワイトバランス係数算出部１１６を有する点である。本実施例の他の構成は実施例１と同じであり、共通する構成要素には実施例１と同符号を付す。

図９には、本実施例における画像処理の概要を示している。図１０のフローチャートには、本実施例における画像処理のより詳しい流れを示している。
ステップＳ４０１およびＳ４０２では、画像処理部１０４（画像回復処理部１１１）は、実施例１（図４）のステップＳ２０１およびＳ２０２と同様に、画像回復フィルタの選択または生成と画像データ１に対する画像回復処理を行い、画像データ２を生成する。
次にステップＳ４０３では、画像処理部１０４（ホワイトバランス係数算出部１１６）は、画像回復処理後の画像データ２からホワイトバランス係数を算出する。すなわち、自動でホワイトバランス係数を算出するオートホワイトバランス処理（以下、ＡＷＢと記す）を行う。

ＡＷＢは、一般に画像中の白い被写体を白に再現する（言い換えればＲ、Ｇ、Ｂの画素値を互いに一致させる）ためのホワイトバランス係数を算出する。ＡＷＢには様々な手法があるが、１つの方法として、画像から白い被写体の画像領域(白領域)を検出し、その画像領域を白にするようにホワイトバランス係数を決定する方法がある。画像から白領域を検出する場合、一般には色空間において白として判定する白検出領域を設け、その範囲に収まるか否かで白領域を検出する。

本実施例で行うＡＷＢの方法について説明する。図１１には、白領域の例を示している。ホワイトバランス処理前の画像データ2を構成する各画素において、ＲＧＢをＹＵＶに変換したＵＶ値が、図に示した領域Ａまたは領域Ｂに含まれる画素を白領域として扱う。画像データ2から白領域に含まれる画素を全て検出し、検出された画素のＲＧＢ値のそれぞれの平均を求めることでホワイトバランス係数を算出する。この際、領域Ａと領域Ｂで重みを変えた重み付き平均を用いる。具体的には以下の式（１９）〜（２１）により算出する。以下の式で、ＷｂＧａｉｎＲ、ＷｂＧａｉｎＧ、ＷｂＧａｉｎＢは算出したＲＧＢそれぞれのホワイトバランス係数を示す。Ｒａ、Ｇａ、Ｂａは白検出領域の領域Ａに属する画素のＲＧＢ値をそれぞれの平均、Ｒｂ、Ｇｂ、Ｂｂは白検出領域の領域Ｂに属する画素のＲＧＢ値をそれぞれの平均、ｗＡ、ｗＢは領域Ａと領域Ｂに対する重みを示す。
ＷｂＧａｉｎＲ ＝（Ｇａ×ｗＡ＋Ｇｂ×ｗＢ）／（Ｒａ×ｗＡ＋Ｒｂ×ｗＢ）
（１９）
ＷｂＧａｉｎＧ ＝１ （２０）
ＷｂＧａｉｎＢ ＝（Ｇａ×ｗＡ＋Ｇｂ×ｗＢ）／（Ｂａ×ｗＡ＋Ｂｂ×ｗＢ）
（２１）
次にステップＳ４０４では、画像処理部１０４（第１のホワイトバランス処理部１１３ａ）は、画像回復処理前の画像データ１に対して、ステップＳ４０３で算出したホワイトバランス係数を用いて式（５）〜（７）による第１のホワイトバランス処理を行う。

次にステップＳ４０５では、画像処理部１０４（第２のホワイトバランス処理部１１３ｂ）は、画像回復処理後の画像データ２に対して、ステップＳ４０３で算出したホワイトバランス係数を用いて式（８）〜（１０）による第２のホワイトバランス処理を行う。ここで用いるホワイトバランス係数は、ステップＳ４０４で用いるホワイトバランス係数と同じものを用いる。

ステップＳ４０６以降の処理は、実施例１のステップＳ２０５以降の処理と同じであるので、説明を省略する。

画像回復処理はＲＧＢごとに行われ、収差により画像データのエッジ部等に発生する色のにじみも補正する。このため、画像データからホワイトバランス係数を算出する場合は、本来の被写体の色ではない色にじみが補正された状態の画像データから算出することがＡＷＢの精度向上につながる。

本実施例によれば、処理対象画像(画像データ2)から自動でホワイトバランス係数を算出するＡＷＢを行う場合において、画像回復処理で発生する色付きを良好に抑制し、かつ現像処理時間の増大を抑えることができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮影光学系
１０４ 画像処理部
１１１ 画像回復処理部
１１２ 画素値調整部
１１３ ホワイトバランス処理部

Claims (9)

1. 光学系を用いた撮像により生成された撮影画像を取得する画像取得手段と、
   前記撮影画像から得られる入力画像に対して画像処理を行う処理手段とを有し、
   前記処理手段は、前記画像処理として、
   前記入力画像に対して第１のホワイトバランス処理を行い、
   該第１のホワイトバランス処理後の第１のホワイトバランス処理画像における色に関する第１の特徴量を取得し、
   前記入力画像に対して、前記光学系の光学伝達関数を用いて画像回復処理を行い、
   前記画像回復処理後の第１の回復画像に対して第２のホワイトバランス処理を行い、
   前記第２のホワイトバランス処理後の第２のホワイトバランス処理画像における色に関する第２の特徴量を取得し、
   前記第１の特徴量と前記第２の特徴量との比較結果に応じて、前記第１の回復画像に対して色補正処理を行うことを特徴とする画像処理装置。
2. 前記色補正処理として、前記第２の特徴量が前記第１の特徴量に対して増加した場合と前記第２の特徴量の符号が前記第１の特徴量の符号に対して判定した場合とで異なる処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の特徴量が前記第１の特徴量に対して増加した場合に、前記色補正処理として、補正対象色の画素値を、基準色の画素値に前記第１の特徴量を加算した画素値にする処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の特徴量の符号が前記第１の特徴量の符号に対して反転した場合に、前記色補正処理として、補正対象色の画素値を基準色の画素値に一致させる処理を行うことを特徴とする請求項２に記載の画像処理装置。
5. 前記処理手段は、ホワイトバランス処理用パラメータが変更された場合に、前記入力画像に対する前記第１のホワイトバランス処理を再度行うとともに、前記入力画像に対する前記画像回復処理を行うことなく前記第１の回復画像に対する前記第２のホワイトバランス処理を再度行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記第１の回復画像からホワイトバランス調整値を取得し、
   該ホワイトバランス調整値を用いて前記第１および第２のホワイトバランス処理を行うことを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記処理手段は、前記画像処理と該画像処理とは別の画像処理とを選択して行い、
   前記別の画像処理として、
   前記入力画像に対してホワイトバランス処理を行い、
   前記ホワイトバランス処理後のホワイトバランス処理画像における色に関する第３の特徴量を取得し、
   前記ホワイトバランス処理画像に対して前記画像回復処理を行い、
   前記画像回復処理後の第２の回復画像における色に関する第４の特徴量を取得し、
   前記第３の特徴量および前記第４の特徴量との比較結果に応じて、前記第２の回復画像に対して前記色補正処理を行うことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 光学系を用いて撮像を行う撮像手段と、
   請求項１から７のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
9. コンピュータに、光学系を用いた撮像により生成された撮影画像から得られる入力画像に対する画像処理を行わせるコンピュータプログラムであって、
   前記コンピュータに、
   前記入力画像に対して第１のホワイトバランス処理を行わせ、
   該第１のホワイトバランス処理後の第１のホワイトバランス処理画像における色に関する第１の特徴量を取得させ、
   前記入力画像に対して、前記光学系の光学伝達関数を用いて画像回復処理を行わせ、
   前記画像回復処理後の第１の回復画像に対して第２のホワイトバランス処理を行わせ、
   前記第２のホワイトバランス処理後の第２のホワイトバランス処理画像における色に関する第２の特徴量を取得させ、
   前記第１の特徴量と前記第２の特徴量との比較結果に応じて、前記第１の回復画像に対して色補正処理を行わせることを特徴とする画像処理プログラム。