JP2011155422A - 撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】違和感が軽減された画像生成に係る処理の高速化を図り、撮像時のリアルタイムの処理に適用する。
【解決手段】撮像装置１００であって、ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像を取得する画像取得部５ａと、ストロボを発光せずに撮像した画像に基づいて、ストロボ発光画像内における外部光源に対応する色相を特定する色相特定部５ｂと、ストロボ発光画像の複数の画素の中で、色相が外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する画素特定部５ｃと、外部光源判定条件を満たす各画素の画素値を、外部光源に対応したホワイトバランス調整が施された画素値となるように補正する画素値補正部５ｅとを備えている。
【選択図】図１

Description

本発明は、撮像装置、画像処理方法及びプログラムに関する。

従来、ホワイトバランス調整を行う撮像装置が知られており、蛍光灯などのホワイトバランス調整が必要な色温度を有する外部光源下でストロボを発光して撮像を行った場合に、当該撮像装置近傍にて外部光源よりもストロボ光の方が明るいと、ストロボ光の色温度に近い色でホワイトバランス調整を行う。
このとき、人物などの近景にはストロボ光が十分に届くのでホワイトバランス調整を適正に行うことができるが、遠景の蛍光灯に照らされている部分にはストロボ光が十分に届かないのでホワイトバランス調整を適正に行うことができない。かといって、遠景の蛍光灯の色温度に合わせてホワイトバランス調整を行うと、人物などの近景に対するホワイトバランスが崩れてしまう。

そこで、複数の光源下で撮像された画像であっても、画像処理により色味を調整することで違和感を軽減させた画像を生成する技術が知られている（例えば、特許文献１、２参照）。

特開２００５−３４７９３５号公報 特開２００９−４９６６号公報

しかしながら、 上記特許文献１のように複数の画像を用いたり、特許文献２のように複数の周辺画素を用いて画像解析を行う場合、大きな作業用メモリや大規模な電子回路が必要となってしまう。このため、処理能力のあまり高くない演算装置を搭載した撮像装置などでは処理の高速化を図ることが困難となり、撮像時のリアルタイムの処理に適用することができないといった問題がある。

そこで、本願発明の課題は、違和感が軽減された画像生成に係る処理の高速化を図ることができ、撮像時のリアルタイムの処理に適用することができる撮像装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の撮像装置は、
ストロボを発光して撮像した画像に対して当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像を取得する取得手段と、ストロボを発光せずに撮像した画像に基づいて、前記取得手段により取得されたストロボ発光画像内における外部光源に対応する色相を特定する色相特定手段と、前記ストロボ発光画像の複数の画素の中で、色相が前記色相特定手段により特定された前記外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する画素特定手段と、この画素特定手段により特定された前記外部光源判定条件を満たす各画素の画素値を、前記外部光源に対応したホワイトバランス調整が施された画素値となるように補正する補正手段と、を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記外部光源判定条件は、更に、前記ストロボ発光画像の各画素の色相が肌色に対応する所定範囲内に存しないという条件を含み、前記画素特定手段は、更に、前記ストロボ発光画像の複数の画素の中で、色相が肌色に対応する所定範囲内に存しないという条件を含む前記外部光源判定条件を満たす画素を特定することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、
前記画素特定手段は、前記ストロボ発光画像の複数の画素の各々について前記外部光源判定条件を満たす度合いを段階的に数値化し、前記補正手段は、前記画素特定手段により数値化された値が大きい画素ほど補正する度合いが強くなるように画素値を補正する度合いを段階的に変化させることを特徴としている。

請求項４に記載の発明は、請求項３に記載の撮像装置において、
前記画素特定手段は、前記ストロボ発光画像の複数の画素の各々が所定の明るさ条件を満たす度合いを数値化することを特徴としている。

請求項５に記載の発明は、請求項３又は４に記載の撮像装置において、
前記画素特定手段は、前記ストロボ発光画像の複数の画素の各々のＲＧＢ色成分の最大値がより大きいほど、また、ＲＧＢ色成分の最小値がより小さいほど大きい値となるように数値化することを特徴としている。

請求項６に記載の発明は、請求項３〜５の何れか一項に記載の撮像装置において、
前記画素特定手段は、前記外部光源判定条件を満たす度合い数値化した値について、数値化可能最大値に対して所定割合以上となる値を最大値とするように正規化することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の撮像装置において、
前記ストロボ発光画像の複数の画素の各々について、前記ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理を行った後、前記外部光源に対応したホワイトバランス調整を施すことで、擬似ストロボ非発光画像の複数の画素の画素値を算出する算出手段と、前記画素特定手段により特定された前記外部光源判定条件を満たす各画素については、前記算出手段により算出された前記擬似ストロボ非発光画像の画素値を選択し、一方、前記外部光源判定条件を満たさない各画素については、前記ストロボ発光画像の画素値を選択する選択手段と、を更に備えることを特徴としている。

請求項８に記載の発明は、請求項７に記載の撮像装置において、
前記取得手段は、前記ストロボ発光画像のＹＵＶ色空間の画像データを取得し、前記算出手段は、前記取得手段により取得された前記ストロボ発光画像のＹＵＶ画像データをＲＧＢ色空間の画像データに変換した後、当該ＲＧＢ画像データに対して前記ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理を行った後、前記外部光源に対応したホワイトバランス調整を施し、その後、ＹＵＶ色空間の画像データに変換して前記擬似ストロボ非発光画像のＹＵＶ画像データの各画素の画素値を算出し、前記選択手段は、前記画素特定手段による特定結果に基づいて、前記算出手段により算出された前記擬似ストロボ非発光画像のＹＵＶ画像データの各画素の画素値及び前記ストロボ発光画像のＹＵＶ画像データの各画素の画素値を選択する処理を行うことを特徴としている。

請求項９に記載の発明は、請求項３〜６の何れか一項に記載の撮像装置において、
前記取得手段により取得された前記ストロボ発光画像の複数の画素の各々について、前記ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理を行った後、前記外部光源に対応したホワイトバランス調整を施すことで、擬似ストロボ非発光画像の複数の画素の画素値を算出する算出手段と、前記画素特定手段により前記外部光源判定条件を満たす度合いが数値化された値に応じて、前記算出手段により算出された前記擬似ストロボ非発光画像の画素の画素値と前記ストロボ発光画像の画素の画素値との合成割合を決定する決定手段と、を更に備えることを特徴としている。

請求項１０に記載の発明は、請求項１〜９の何れか一項に記載の撮像装置において、
前記画素特定手段は、更に、ストロボを発光せずに撮像した画像のグレー成分の画素の色相に基づいて、前記ストロボ発光画像の各画素の色相が前記色相特定手段により特定された前記外部光源に対応する色相を基準とした所定範囲内に存するか否かを判定することを特徴としている。

請求項１１に記載の発明は、請求項１〜１０の何れか一項に記載の撮像装置において、
前記補正手段による補正後の各画素の画素値に対して、グレー引き込み処理及び／又はストロボ発光画像足し込み処理を行うことを特徴としている。

請求項１２に記載の発明の画像処理方法は、
撮像手段を備える撮像装置を用いた画像処理方法であって、前記撮像手段によりストロボを発光して撮像した画像に対して当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像を取得する処理と、ストロボを発光せずに撮像した画像に基づいて、前記ストロボ発光画像内における外部光源に対応する色相を特定する処理と、前記ストロボ発光画像の複数の画素の中で、色相が前記外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する処理と、特定された前記外部光源判定条件を満たす各画素の画素値を、前記外部光源に対応したホワイトバランス調整が施された画素値となるように補正する処理と、を実行することを特徴としている。

請求項１３に記載の発明のプログラムは、
撮像手段を備える撮像装置のコンピュータを、前記撮像手段によりストロボを発光して撮像した画像に対して当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像を取得する取得手段、ストロボを発光せずに撮像した画像に基づいて、前記取得手段により取得されたストロボ発光画像内における外部光源に対応する色相を特定する色相特定手段、前記ストロボ発光画像の複数の画素の中で、色相が前記色相特定手段により特定された前記外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する画素特定手段、この画素特定手段により特定された前記外部光源判定条件を満たす各画素の画素値を、前記外部光源に対応したホワイトバランス調整が施された画素値となるように補正する補正手段、として機能させることを特徴としている。

本発明によれば、複数の異なる光源下で撮像を行う場合に、違和感が軽減された画像生成に係る処理の高速化を図ることができ、撮像時のリアルタイムの処理に適用することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像補正処理に係る動作の一例を示すフローチャートである。 図２の画像補正処理における擬似ストロボ非発光画像生成処理に係る動作の一例を示すフローチャートである。 図２の画像補正処理に係るデータの流れの一例を模式的に示す図である。 図２の画像補正処理に係る画像の一例を模式的に示す図である。 図２の画像補正処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、ストロボ発光画像Ｇ１（図５（ａ）参照）内における外部光源に対応する色相を特定して、当該ストロボ発光画像Ｇ１の複数の画素の中で、色相が外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する。そして、撮像装置１００は、外部光源判定条件を満たす各画素の画素値を、外部光源に対応したホワイトバランス調整が施された画素値となるように補正する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、撮像部２と、ストロボ発光部３と、ＣＤＳ／ＡＤＣ部４と、画像処理部５と、メモリ６と、表示制御部７と、表示部８と、画像記録部９と、操作入力部１０と、中央制御部１１とを備えている。

レンズ部１は、例えば、図示は省略するが、ズームレンズ群、フォーカスレンズ群を含み、レンズ駆動機構（例えば、モータ等）により光軸方向の位置が調整可能となっている。

撮像部２は、例えば、図示は省略するが、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等から構成された電子撮像部を備えている。そして、撮像部２は、レンズ部１の各種レンズや絞り（図示略）を通過した光学像を電子撮像部により二次元の画像信号（ＲＧＢ画像データ）に変換して、ＣＤＳ／ＡＤＣ部４に出力する。

ストロボ発光部３は、図示しない撮像制御部の制御下にて駆動し、撮像モードがストロボ撮像モードに設定されている場合に、ユーザによる操作入力部１０のシャッタボタンの所定操作に基づいて所定のタイミングで発光する。

ＣＤＳ／ＡＤＣ部４は、撮像部２から出力された被写体の光学像に応じたＲＧＢ色成分よりなる画像信号が入力され、必要に応じて、ＹＵＶ色空間に対応する画像データ（ＹＵＶ画像データ）やＨＳＶ色空間に対応する画像データ（ＨＳＶ画像データ）に変換して中央制御部１１に出力する。

また、ＣＤＳ／ＡＤＣ部４は、入力された画像のＲＧＢ成分のゲイン量を調整するゲイン調整部４ａを具備しており、このゲイン調整部４ａにより調整されたＲＧＢの各色成分毎のゲイン量に基づいて画像のホワイトバランスを調整する。
具体的には、ゲイン調整部４ａは、撮像モードに対応したグレー画素推定条件に基づいて撮像画像に含まれるグレー成分を特定して、当該グレー成分の画素のＲＧＢの各色成分のうち、Ｒ成分及びＢ成分の平均値がＧ成分の平均値と略等しくなるようにＲ成分及びＢ成分のゲイン量を調整する。
そして、ＣＤＳ／ＡＤＣ部４は、ゲイン調整部４ａにより調整されたＲＧＢの各色成分毎のゲイン量に基づいて、ＲＧＢ画像データを増幅することで撮像画像のホワイトバランスを調整する。

画像処理部５は、ＣＤＳ／ＡＤＣ部４から出力された画像データの記録時に、中央制御部１１から出力された画像データを受け取って、当該画像データに対して各種の画像処理や圧縮等を施してファイル化する。そして、画像処理部５は、ファイル化された画像データを画像記録部９に転送する。

また、画像処理部５は、画像取得部５ａと、色相特定部５ｂと、画素特定部５ｃと、擬似ストロボ非発光画像生成部５ｄと、画素値補正部５ｅとを具備している。

画像取得部５ａは、ストロボ撮像モードにて、ＣＤＳ／ＡＤＣ部４によりホワイトバランス調整されたストロボ発光画像Ｇ１（図５（ａ）参照）を取得する。
具体的には、画像取得部５ａは、ホワイトバランス調整後のＲＧＢ画像データがＣＤＳ／ＡＤＣ部４によりＹＵＶ色空間に対応する画像データに変換されたストロボ発光画像Ｇ１のＹＵＶ画像データ、即ち、輝度Y_MAP（x, y）、色差U_MAP（x, y）,V_MAP（x, y）を取得する（図４参照）。なお、ストロボ発光画像Ｇ１の輝度Y_MAP（x, y）、色差U_MAP（x, y）,V_MAP（x, y）は、例えば、それぞれ階調が8bit[0〜255]程度のデータである。
ここで、〜MAP（x, y）との表記は、２次元画像内の各画素位置をｘ（横方向）、ｙ（縦方向）としたとき、各画素位置（x, y）に対応するデータが記憶された２次元配列データであることを表している。また、以下の記載では、各画素位置（x, y）に対応するデータが０〜２５５の範囲の値で示されていることを、〜MAP（x, y）[0〜255]と表すこともある。
ここで、画像取得部５ａは、ストロボを発光して撮像した画像に対してＣＤＳ／ＡＤＣ部４により当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像Ｇ１を取得する取得手段を構成している。

色相特定部５ｂは、ストロボ発光画像Ｇ１内における外部光源に対応する色相を特定する。
具体的には、色相特定部５ｂは、先ず、ホワイトバランスを外部光源（例えば、蛍光灯）に対応させたライブビュー画像のＲ成分及びＢ成分のゲイン量TRG,TBGと、実際に撮像されたストロボ発光画像Ｇ１のＲ成分及びＢ成分のゲイン量CRG,CBGとを取得する。続けて、色相特定部５ｂは、ストロボ発光画像Ｇ１におけるライブビュー画像中のグレー成分に対応する色相位置GHVを算出する。即ち、例えば、外部光源が蛍光灯である場合には、蛍光灯の色温度によって見た目ではグレー成分が黄色に近い色相に変化することから（図５（ａ）参照）、色相特定部５ｂは、ストロボ発光画像Ｇ１のＲ成分及びＢ成分のゲイン量CRG,CBGとライブビュー画像のＲ成分及びＢ成分のゲイン量TRG,TBGに基づいて、ストロボ発光画像Ｇ１におけるグレー成分の色相位置GHVを演算して特定する。
なお、図５（ａ）にあっては、ストロボ発光画像Ｇ１における黄色に近い色相を表すグレー成分の位置を破線Ｌ１で囲んで模式的に示すものとする。
また、外部光源として蛍光灯を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
ここで、色相特定部５ｂは、ストロボを発光せずに撮像したライブビュー画像に基づいて、ストロボ発光画像Ｇ１内における外部光源（例えば、蛍光灯）に対応する色相を特定する色相特定手段を構成している。

画素特定部５ｃは、ストロボ発光画像Ｇ１の複数の画素の中で、外部光源判定条件を満たす画素を特定する。このとき、画素特定部５ｃは、8bit[0〜255]のストロボ発光画像Ｇ１のＹＵＶ画像データや光源推定マップGHV_MAP（x, y）（後述）を用いて、当該ストロボ発光画像Ｇ１の複数の画素の中で外部光源判定条件を満たす画素を特定していくことで、外部光源判定条件を満たす度合いを段階的に数値化する。

即ち、画素特定部５ｃは、先ず、ストロボ発光画像Ｇ１のＹＵＶ画像データをＨＳＶ色空間に対応する画像データに変換して、色相H_MAP（x, y）[0〜359]、彩度S_MAP（x, y）[0〜255],明度VのRGB最大値Vh_MAP（x, y）[0〜255]を算出する（図４参照）。また、画素特定部５ｃは、ストロボ発光画像Ｇ１のＲＧＢの各色成分の中で最小の値をとるRGB最小値RGBmin_MAP（x, y）[0〜255]を算出する（図４参照）。また、画素特定部５ｃは、彩度S_MAP（x, y）[0〜255],明度VのRGB最大値Vh_MAP（x, y）[0〜255]に基づいて、彩度Sと明度Vの平均値SV_AVE_MAP（x, y）[0〜255]を算出する（図４参照）。
そして、画素特定部５ｃは、色相H_MAP（x, y）[0〜359]及びグレー成分の色相位置GHVに基づいて、下記式（１）に従って光源推定マップGHV_MAP（x, y）[0〜255]を生成する。即ち、画素特定部５ｃは、ストロボ発光画像Ｇ１の色相H_MAP（x, y）[0〜359]内でグレー成分の色相位置GHVを中心とする所定範囲内GHV±GHRange（グレーの色相範囲）の色を抽出して、光源推定マップGHV_MAP（x, y）[0〜255]を生成する。

また、画素特定部５ｃは、下記式（２）に従って光源推定マップGHV_MAP（x, y）[0〜255]に対して肌色保護処理を行う。即ち、ストロボ発光画像Ｇ１の色相H_MAP（x, y）[0〜359]内で肌色に対応する所定範囲内VskinCenter（肌色の中心色相）±SkinRange（肌色の色相範囲）の画素（例えば、色相Hの値が8〜48）を抽出して、肌色保護マップSKIN_MAP（x, y）[0〜255]を生成する。そして、画素特定部５ｃは、肌色保護マップSKIN_MAP（x, y）[0〜255]に基づいて、下記式（２）に従って光源推定マップGHV_MAP（x, y）[0〜255]に対して肌色保護処理を行う。
これにより、画素特定部５ｃは、光源推定マップGHV_MAP（x, y）から色相Hの値がSkin_Valueと一致する画素（例えば、色相Hの値が23）を除外（保護）し、肌色の境界側に近くなる画素（例えば、色相Hの値が8や48に近付く画素）ほど除外（保護）する度合いを漸次低下させる。

また、画素特定部５ｃは、光源推定マップGHV_MAP（x, y）[0〜255]内で彩度S及び明度Vが高い部分を保護するように、当該光源推定マップGHV_MAP（x, y）[0〜255]に対して明るさ調整処理を行う。具体的には、画素特定部５ｃは、RGB最小値RGBmin_MAP（x, y）[0〜255]及び明度VのRGB最大値Vh_MAP（x, y）[0〜255]に基づいて、下記式（３）に従って光源推定マップGHV_MAP（x, y）[0〜255]に対して明るさ調整処理を行う。
これにより、画素特定部５ｃは、光源推定マップGHV_MAP（x, y）[0〜255]におけるRGB最小値RGBmin_MAP（x, y）[0〜255]が小さい画素、即ち、彩度Sが高い画素を保護し、RGB最小値RGBmin_MAP（x, y）[0〜255]が大きくなる画素（彩度Sが低くなる画素）ほど保護する度合いを漸次低下させる。また、画素特定部５ｃは、光源推定マップGHV_MAP（x, y）[0〜255]における明度VのRGB最大値Vh_MAP（x, y）[0〜255]が大きい画素、即ち、明るい画素を保護し、RGB最大値Vh_MAP（x, y）[0〜255]が小さくなる画素（暗くなる画素）ほど保護する度合いを漸次低下させる。

このように、画素特定部５ｃは、ストロボ発光画像Ｇ１の複数の画素の各々が所定の明るさ条件を満たす度合いを数値化する。また、画素特定部５ｃは、ストロボ発光画像Ｇ１の複数の画素の各々のＲＧＢ色成分の最大値がより大きいほど、また、ＲＧＢ色成分の最小値がより小さいほど大きい値となるように数値化する。

また、画素特定部５ｃは、外部光源判定条件を満たす度合い数値化した光源推定マップGHV_MAP（x, y）について、数値化可能最大値に対して所定割合以上となる値を最大値とするように正規化する引き伸ばし処理を行う。具体的には、画素特定部５ｃは、肌色保護処理や明るさ調整処理後の8bitの光源推定マップGHV_MAP（x, y）[0〜255]について、下記式（４）に従って、最大値「255」に対して所定割合以上となる値を最大値「255」とするように所定値でクリップして正規化する。
なお、上記式（４）にあっては、クリップするための所定値は、適宜任意に変更可能となっている。

また、画素特定部５ｃは、光源推定マップGHV_MAP（x, y）[0〜255]内で彩度Sがあまりにも高い部分は外部光源の影響が少ないものとして、ストロボ発光画像Ｇ１の当該彩度Sが高い部分の色を変えないようにする。具体的には、画素特定部５ｃは、彩度Sと明度Vの平均値SV_AVE_MAP（x, y）[0〜255]に基づいて、下記式（５）に従って光源推定マップGHV_MAP（x, y）[0〜255]内で彩度Sがあまりにも高い部分を除外する。
これにより、画素特定部５ｃは、光源推定マップGHV_MAP（x, y）[0〜255]から平均値SV_AVE_MAP（x, y）[0〜255]が所定値よりも大きくなる彩度Sが高い部分の色を除外（保護）し、平均値SV_AVE_MAP（x, y）[0〜255]が小さくなる画素（彩度Sが低くなる画素）ほど保護する度合いを漸次低下させる。
なお、上記式（５）にあっては、クリップするための所定値は、適宜任意に変更可能となっている。

このように、画素特定部５ｃは、ストロボ発光画像Ｇ１の複数の画素の中で、色相Hが色相特定部５ｂにより特定された外部光源に対応する色相Hを基準とした所定範囲内に存し、且つ、彩度Sが所定値以下で、且つ、明度Vが所定値以上であるという外部光源判定条件を満たす画素を特定する画素特定手段を構成している。
また、画素特定部５ｃは、ストロボを発光せずに撮像したライブビュー画像のグレー成分の画素の色相に基づいて、ストロボ発光画像Ｇ１の各画素の色相が色相特定部５ｂにより特定された外部光源に対応する色相を基準とした所定範囲内に存するか否かを判定する。
つまり、光源推定マップGHV_MAP（x, y）は、基本的には、撮影画像内の各画素が、外部光源に対応する色相を持つか否かを識別するための情報である。しかしながら、外部光源に対応する色相を持つ画素であっても、必ずしも、外部光源に対応するホワイトバランス補正を施した方がよいとは限らず、例えば、人物の肌などの元々が外部光源の色相に近い色を持つ画素部分に関しては補正対象から除外すべきであり、同様に、彩度が高い部分や、明度の低い部分なども補正対象から除外すべきであり、光源推定マップGHV_MAP（x, y）は、このような部分を識別する情報でもある。また、これらの部分を識別するだけであれば２値データで表すことも可能であるが、補正すべきことが明確な色と補正対象から除外すべきことが明確な色の中間に位置する色に関しては、２値データで切り分けてしまうと補正後の画像が滑らかでは無くなってしまう場合があるので、このような中間に位置する色に関しては、補正の度合いを多値で徐々に変化させるようにするための情報でもある。

擬似ストロボ非発光画像生成部５ｄは、ストロボ非発光状態の画像として擬似ストロボ非発光画像Ｇ２（図５（ｂ）参照）を演算により生成する。
即ち、擬似ストロボ非発光画像生成部５ｄは、画像取得部５ａにより取得されたストロボ発光画像Ｇ１のＹＵＶ画像データに基づいて、擬似ストロボ非発光画像生成部５ｄのＹＵＶ画像データを生成する。具体的には、擬似ストロボ非発光画像生成部５ｄは、8bit[0〜255]のストロボ発光画像Ｇ１のＹＵＶ画像データ（輝度Y_MAP（x, y）、色差U_MAP（x, y）,V_MAP（x, y））をＲＧＢ色空間の画像データに変換して、R_MAP（x, y）、G_MAP（x, y）、B_MAP（x, y）を生成する。そして、擬似ストロボ非発光画像生成部５ｄは、ＲＧＢ画像データ（R_MAP（x, y）、G_MAP（x, y）、B_MAP（x, y））に対して、ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理として、逆ガンマ補正を施して、Rg_MAP（x, y）、Gg_MAP（x, y）、Bg_MAP（x, y）を生成する。これにより、擬似ストロボ非発光画像生成部５ｄは、ストロボ発光に対応したホワイトバランス調整が施されていないストロボ発光画像を取得する。
次に、擬似ストロボ非発光画像生成部５ｄは、逆ガンマ補正処理後のＲＧＢ画像データ（Rg_MAP（x, y）、Gg_MAP（x, y）、Bg_MAP（x, y））に対してゲイン調整処理を下記式（６）に従って行う。具体的には、擬似ストロボ非発光画像生成部５ｄは、ライブビュー画像のＲ成分及びＢ成分のゲイン量TRG,TBGと、ストロボ発光画像のＲ成分及びＢ成分のゲイン量CRG,CBGに基づいて、Rg_MAP（x, y）、Bg_MAP（x, y）のゲイン調整を行って、Rg’_MAP（x, y）、Gg’_MAP（x, y）、Bg’_MAP（x, y）を生成する。
その後、擬似ストロボ非発光画像生成部５ｄは、ゲイン調整後のＲＧＢ画像データ（Rg’_MAP（x, y）、Gg’_MAP（x, y）、Bg’_MAP（x, y））に対してガンマ補正を施した後、ＹＵＶ色空間の画像データに変換して、8bit[0〜255]の擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データ（輝度Ystb_MAP（x, y）、色差Ustb_MAP（x, y）,Vstb_MAP（x, y））を生成する。

このように、擬似ストロボ非発光画像生成部５ｄは、ストロボ発光画像Ｇ１の複数の画素の各々について、ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理を行った後、外部光源に対応したホワイトバランス調整を施すことで、擬似ストロボ非発光画像Ｇ２の複数の画素の画素値を算出する算出手段を構成している。

画素値補正部５ｅは、補正手段として、ストロボ発光画像Ｇ１の各画素のうち、外部光源判定条件を満たす各画素の画素値を、外部光源に対応したホワイトバランス調整が施された画素値となるように補正する。
具体的には、画素値補正部５ｅは、合成割合決定部５ｆと、画素値合成部５ｇとを具備しており、合成割合決定部５ｆにより決定された各画素についてのストロボ発光画像Ｇ１のＹＵＶ画像データと擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データとの合成割合に基づいて、画素値合成部５ｇによりストロボ発光画像Ｇ１と擬似ストロボ非発光画像Ｇ２との対応する画素どうしの画素値を合成する。
このとき、画素値補正部５ｅは、8bit[0〜255]の光源推定マップGHV_MAP（x, y）並びにストロボ発光画像Ｇ１及び擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データを用いることで、外部光源判定条件を満たす各画素について、画素特定部５ｃにより数値化された値が大きい画素ほど補正する度合いが強くなるように画素値を補正する度合いを段階的に変化させる。

合成割合決定部５ｆは、決定手段として、ストロボ発光画像Ｇ１のＹＵＶ画像データの画素の画素値と擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データの画素の画素値との合成割合を決定する。即ち、合成割合決定部５ｆは、外部光源判定条件を満たす各画素（例えば、図６（ａ）中のより黒い部分）については、擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データ（色差Ustb_MAP（x, y）,Vstb_MAP（x, y））の各画素の画素値を選択する一方で、外部光源判定条件を満たさない各画素（例えば、図６（ａ）中のより白い部分）については、ストロボ発光画像Ｇ１のＹＵＶ画像データ（色差U_MAP（x, y）,V_MAP（x, y））の各画素の画素値を選択するために、ストロボ発光画像Ｇ１の色差U_MAP（x, y）,V_MAP（x, y）と擬似ストロボ非発光画像Ｇ２の色差Ustb_MAP（x, y）,Vstb_MAP（x, y）との合成割合の設定に係る基準マップORI_MAP、調整用マップADJ_MAPを生成する。
具体的には、合成割合決定部５ｆは、先ず、擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データをＨＳＶ色空間に対応する画像データに変換して、彩度Sstb_MAP（x, y）[0〜255]を算出する。そして、合成割合決定部５ｆは、光源推定マップGHV_MAP（x, y）[0〜255]、ストロボ発光画像Ｇ１の彩度S_MAP（x, y）[0〜255]及び擬似ストロボ非発光画像Ｇ２の彩度Sstb_MAP（x, y）[0〜255]に基づいて、下記式（７）に従って基準マップORI_MAP及び調整用マップADJ_MAPを生成する。
これにより、合成割合決定部５ｆは、外部光源判定条件を満たす各画素については、ストロボ発光画像Ｇ１の彩度S_MAP（x, y）[0〜255]を用いて基準マップORI_MAPを生成するとともに、外部光源判定条件を満たさない各画素については、擬似ストロボ非発光画像Ｇ２の彩度Sstb_MAP（x, y）[0〜255]を用いて調整用マップADJ_MAPを生成する。

画素値合成部５ｇは、合成割合決定部５ｆにより生成された基準マップORI_MAP及び調整用マップADJ_MAPを用いて、ストロボ発光画像Ｇ１と擬似ストロボ非発光画像Ｇ２との対応する画素どうしの画素値を合成する。具体的には、画素値合成部５ｇは、下記式（８）に従って、基準マップORI_MAPにより擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データ（色差Ustb_MAP（x, y）,Vstb_MAP（x, y））の各画素の画素値を選択するとともに、調整用マップADJ_MAPによりストロボ発光画像Ｇ１のＹＵＶ画像データ（色差U_MAP（x, y）,V_MAP（x, y））の各画素の画素値を選択することで、補正画像Ｇ３（図６（ｂ）参照）のＹＵＶ画像データの色差成分Udst_MAP（x, y）,Vdst_MAP（x, y）を生成する。

このように、画素値合成部５ｇは、ストロボ発光画像Ｇ１の複数の画素のうち、外部光源判定条件を満たす各画素については、擬似ストロボ非発光画像Ｇ２の画素値を選択し、一方、外部光源判定条件を満たさない各画素については、当該ストロボ発光画像Ｇ１の画素値を選択する選択手段を構成している。

また、画像処理部５は、画素値補正部５ｅによる補正後の画像の各画素の画素値に対して、色差成分U，Vの調整処理を行う。具体的には、画像処理部５は、基準マップORI_MAP及び調整用マップADJ_MAPに基づいて、補正画像Ｇ３のＹＵＶ画像データの色差成分Udst_MAP（x, y）,Vdst_MAP（x, y）に対するグレー引き込み処理を下記式（９）に従って行う。
また、画像処理部５は、ストロボ発光画像Ｇ１（オリジナル画像）のＹＵＶ画像データ（色差U_MAP（x, y）,V_MAP（x, y））に基づいて、補正画像Ｇ３のＹＵＶ画像データの色差成分Udst_MAP（x, y）,Vdst_MAP（x, y）に対してオリジナル画像を所定の割合足し込む処理を下記式（１０）に従って行う。
なお、上記式（１０）にあっては、所定の割合に関する値Ａは、適宜任意に変更可能となっている。

メモリ６は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１１等によって処理されるデータ等を一時的に記憶する。

表示制御部７は、メモリ６に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている（何れも図示略）。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にてメモリ６から読み出されてＶＲＡＭに記録されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。

表示部８は、例えば、液晶表示装置であり、表示制御部７からのビデオ信号に基づいて撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部２による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。

画像記録部９は、例えば、不揮発性メモリ等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記録する。

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。

中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００によりストロボを発光させて被写体を撮像する場合の画像補正処理について、図２〜図６を参照して説明する。
図２は、画像補正処理に係る動作の一例を示すフローチャートである。

画像補正処理は、ユーザによる操作入力部１０の所定操作に基づいて、表示部８に表示されたメニュー画面内の複数のモードの中からストロボを発光させて撮像を行う「ストロボ撮像モード」が選択指示された後、ストロボ発光部３によりストロボを発光させて被写体を撮像した後に画像処理部５によって実行される処理である。
なお、被写体の撮像は、例えば、蛍光灯（外部光源）下で行ったものとし、ホワイトバランスを蛍光灯に合わせて調整したものとする。

図２に示すように、先ず、画像取得部５ａは、ＣＤＳ／ＡＤＣ部４によってホワイトバランス調整後のＲＧＢ画像データがＹＵＶ色空間に対応する画像データに変換されたストロボ発光画像Ｇ１のＹＵＶ画像データ（輝度Y_MAP（x, y）、色差U_MAP（x, y）,V_MAP（x, y））を取得する（ステップＳ１；図４参照）。
次に、色相特定部５ｂは、ホワイトバランスを蛍光灯に対応させたライブビュー画像のＲ成分及びＢ成分のゲイン量TRG,TBGと、実際に撮像されたストロボ発光画像Ｇ１のＲ成分及びＢ成分のゲイン量CRG,CBGとを取得した後（ステップＳ２）、ストロボ発光画像Ｇ１におけるライブビュー画像中のグレー成分に対応する色相位置GHVを算出する（ステップＳ３）。

続けて、画素特定部５ｃは、ストロボ発光画像Ｇ１のＹＵＶ画像データをＨＳＶ色空間に対応する画像データに変換して、色相H_MAP（x, y）[0〜359]、彩度S_MAP（x, y）[0〜255],明度VのRGB最大値Vh_MAP（x, y）[0〜255]を算出する（ステップＳ４；図４参照）。
また、このとき、画素特定部５ｃは、ストロボ発光画像Ｇ１のＲＧＢの各色成分の中で最小の値をとるRGB最小値RGBmin_MAP（x, y）[0〜255]や、彩度Sと明度Vの平均値SV_AVE_MAP（x, y）[0〜255]を算出しても良い（図４参照）。

次に、画素特定部５ｃは、下記式（１）に従って、ストロボ発光画像Ｇ１の色相H_MAP（x, y）[0〜359]内でグレー成分の色相位置GHVを中心とする所定範囲内GHV±GHRangeの色を抽出して、光源推定マップGHV_MAP（x, y）[0〜255]を生成する（ステップＳ５；図４参照）。

続けて、画素特定部５ｃは、ストロボ発光画像Ｇ１の色相H_MAP（x, y）[0〜359]内で肌色に対応する所定範囲内Skin_Value±SkinRangeの画素（例えば、色相Hの値が8〜48）を抽出して、肌色保護マップSKIN_MAP（x, y）[0〜255]を生成した後、下記式（２）に従って光源推定マップGHV_MAP（x, y）[0〜255]に対して肌色保護処理を行う（ステップＳ６；図４参照）。

次に、画素特定部５ｃは、光源推定マップGHV_MAP（x, y）[0〜255]内で彩度S及び明度Vが高い部分を保護するように、RGB最小値RGBmin_MAP（x, y）[0〜255]及び明度VのRGB最大値Vh_MAP（x, y）[0〜255]に基づいて、下記式（３）に従って光源推定マップGHV_MAP（x, y）[0〜255]に対して明るさ調整処理を行う（ステップＳ７；図４参照）。

その後、画素特定部５ｃは、明るさ調整処理後の8bitの光源推定マップGHV_MAP（x, y）[0〜255]について、下記式（４）に従って、最大値「255」に対して所定割合以上となる値を最大値「255」とするように所定値でクリップして正規化する引き伸ばし処理を行う（ステップＳ８；図４参照）。

続けて、画素特定部５ｃは、ストロボ発光画像Ｇ１の彩度Sが高い部分の色を変えないように、彩度Sと明度Vの平均値SV_AVE_MAP（x, y）[0〜255]に基づいて、下記式（５）に従って光源推定マップGHV_MAP（x, y）[0〜255]内で彩度Sがあまりにも高い部分を除外する（ステップＳ９）。

次に、画像処理部５の擬似ストロボ非発光画像生成部５ｄは、ストロボ非発光状態の画像として擬似ストロボ非発光画像Ｇ２を演算により生成する擬似ストロボ非発光画像生成処理を行う（ステップＳ１０；図４参照）。

以下に、擬似ストロボ非発光画像生成処理について図３を参照して詳細に説明する。
ここで、図３は、擬似ストロボ非発光画像生成処理に係る動作の一例を示すフローチャートである。

図３に示すように、擬似ストロボ非発光画像生成処理では、擬似ストロボ非発光画像生成部５ｄは、先ず、8bit[0〜255]のストロボ発光画像Ｇ１のＹＵＶ画像データ（輝度Y_MAP（x, y）、色差U_MAP（x, y）,V_MAP（x, y））を取得した後（ステップＳ２１）、当該ＹＵＶ画像データをＲＧＢ色空間の画像データに変換して、R_MAP（x, y）、G_MAP（x, y）、B_MAP（x, y）を生成する（ステップＳ２２）。

次に、擬似ストロボ非発光画像生成部５ｄは、ＲＧＢ画像データ（R_MAP（x, y）、G_MAP（x, y）、B_MAP（x, y））に対して逆ガンマ補正を施して、Rg_MAP（x, y）、Gg_MAP（x, y）、Bg_MAP（x, y）を生成する（ステップＳ２３）。
そして、擬似ストロボ非発光画像生成部５ｄは、逆ガンマ補正処理後のＲＧＢ画像データ（Rg_MAP（x, y）、Gg_MAP（x, y）、Bg_MAP（x, y））に対してゲイン調整処理を下記式（６）に従って行い、Rg’_MAP（x, y）、Gg’_MAP（x, y）、Bg’_MAP（x, y）を生成する（ステップＳ２４）。

その後、擬似ストロボ非発光画像生成部５ｄは、ゲイン調整後のＲＧＢ画像データ（Rg’_MAP（x, y）、Gg’_MAP（x, y）、Bg’_MAP（x, y））に対してガンマ補正を施した後（ステップＳ２５）、ＹＵＶ色空間の画像データに変換して、8bit[0〜255]の擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データ（輝度Ystb_MAP（x, y）、色差Ustb_MAP（x, y）,Vstb_MAP（x, y））を生成する（ステップＳ２６）。
これにより、擬似ストロボ非発光画像生成処理を終了する。

図２に示すように、続けて、画素値補正部５ｅの合成割合決定部５ｆは、擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データをＨＳＶ色空間に対応する画像データに変換して、彩度Sstb_MAP（x, y）[0〜255]を算出した後、光源推定マップGHV_MAP（x, y）[0〜255]、ストロボ発光画像Ｇ１の彩度S_MAP（x, y）[0〜255]及び擬似ストロボ非発光画像Ｇ２の彩度Sstb_MAP（x, y）[0〜255]に基づいて、下記式（７）に従って基準マップORI_MAP及び調整用マップADJ_MAPを生成する（ステップＳ１１；図４参照）。

次に、画素値補正部５ｅの画素値合成部５ｇは、下記式（８）に従って、基準マップORI_MAPにより擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データ（色差Ustb_MAP（x, y）,Vstb_MAP（x, y））の各画素の画素値を選択するとともに、調整用マップADJ_MAPによりストロボ発光画像Ｇ１のＹＵＶ画像データ（色差U_MAP（x, y）,V_MAP（x, y））の各画素の画素値を選択することで、補正画像Ｇ３のＹＵＶ画像データの色差成分Udst_MAP（x, y）,Vdst_MAP（x, y）を生成する（ステップＳ１２；図４参照）。

その後、画像処理部５は、画素値補正部５ｅによる補正後の画像の各画素の画素値に対して、色差成分U，Vの調整処理を行う（ステップＳ１３；図４参照）。具体的には、画像処理部５は、下記式（９）に従って、補正画像Ｇ３のＹＵＶ画像データの色差成分Udst_MAP（x, y）,Vdst_MAP（x, y）に対するグレー引き込み処理を行う。また、画像処理部５は、下記式（１０）に従って補正画像Ｇ３のＹＵＶ画像データの色差成分Udst_MAP（x, y）,Vdst_MAP（x, y）に対してオリジナル画像を所定の割合足し込む処理を行う。

このようにして、ストロボ発光画像Ｇ１の複数の画素のうち、外部光源判定条件を満たす各画素（例えば、図６（ａ）における光源推定マップGHV_MAP（x, y）[0〜255]のより黒い部分）の画素値が外部光源（例えば、蛍光灯）に対応したホワイトバランス調整が施された画素値となるように補正された補正画像Ｇ３（図６（ｂ）参照）のＹＵＶ画像データ（輝度Ydst_MAP（x, y）、色差Udst_MAP（x, y）,Vdst_MAP（x, y））を生成して、当該画像補正処理を終了する。これにより、図６（ｂ）に示すように、ストロボ発光画像Ｇ１にて蛍光灯の影響により黄色に近い色相を表していた領域Ｌ２の黄色味を低減して、違和感が軽減された補正画像Ｇ３を生成することができる。

以上のように、本実施形態の撮像装置１００によれば、ストロボ発光画像Ｇ１内における外部光源（例えば、蛍光灯）に対応する色相Hを特定して、当該ストロボ発光画像Ｇ１の複数の画素の中で、色相Hが外部光源に対応する色相Hを基準とした所定範囲内に存し、且つ、彩度Sが所定値以下で、且つ、明度Vが所定値以上であるという外部光源判定条件を満たす画素を特定する。より具体的には、ライブビュー画像のグレー成分の画素の色相Hに基づいて、ストロボ発光画像Ｇ１におけるライブビュー画像中のグレー成分に対応する色相位置GHVを算出して、当該グレー成分の色相位置GHVを利用して、ストロボ発光画像Ｇ１の各画素の色相Hが外部光源に対応する色相Hを基準とした所定範囲内に存するか否かを判定する。
そして、撮像装置１００は、外部光源判定条件を満たす各画素の画素値を、外部光源に対応したホワイトバランス調整が施された画素値となるように補正するので、ストロボ以外の外部光源を含む複数の異なる光源下で撮像を行う場合に、外部光源の影響を受けて色味が見た目とは異なるような色に変化した画素値に対して、外部光源に対応したホワイトバランス調整が施された画素値となるように補正することができ、見た目に近くなるように違和感が軽減された補正画像Ｇ３を生成することができる。
このとき、一のストロボ発光画像Ｇ１のみを利用して画像処理を行うので、複数の画像を用いる場合のように位置合わせが不要となるだけでなく、被写体ぶれや手ぶれの影響を排除することができ、補正画像Ｇ３の生成を好適に行うことができる。さらに、複数の周辺画素を用いて画像解析を行う場合のように画素値の補間が不要となり、補正画像Ｇ３の生成を簡便に行うことができる。
従って、補正画像Ｇ３の生成に大きな作業用メモリや大規模な電子回路が不要となり、処理能力のあまり高くない演算装置を搭載した撮像装置であっても、局所的にホワイトバランスが調整されることで違和感が軽減された補正画像Ｇ３の生成処理の高速化を図ることができる。この結果、当該補正画像Ｇ３の生成に係る画像処理を撮像時のリアルタイムの処理に適用することができる。

また、ストロボ発光画像Ｇ１の複数の画素の中で、色相Hが肌色に対応する所定範囲内に存しないという条件を含む外部光源判定条件を満たす画素を特定するので、ストロボ発光画像Ｇ１内の色相Hの値が肌色に対応する画素を保護することができ、より違和感が軽減された見た目が自然な補正画像Ｇ３を生成することができる。
さらに、補正画像Ｇ３の各画素の画素値に対して、グレー引き込み処理及びストロボ発光画像の足し込み処理を行うので、補正画像Ｇ３が見た目に近くなるように当該補正画像Ｇ３の色差成分U，Vをより適正に調整することができ、より違和感が軽減された見た目が自然な補正画像Ｇ３を生成することができる。

また、ストロボ発光画像Ｇ１の複数の画素の各々について外部光源判定条件を満たす度合いを段階的に数値化し、より具体的には、ストロボ発光画像Ｇ１の複数の画素の各々が所定の明るさ条件を満たす度合いを数値化したり、ストロボ発光画像Ｇ１の複数の画素の各々のＲＧＢ色成分の最大値がより大きいほど、また、ＲＧＢ色成分の最小値がより小さいほど大きい値となるように数値化する。そして、数値化された値が大きい画素ほど補正する度合いが強くなるように画素値を補正する度合いを段階的に変化させるので、外部光源判定条件を満たす各画素に対する当該外部光源に対応したホワイトバランス調整が施された画素値となるような補正処理を段階的に施すことができ、より違和感が軽減された見た目が自然な補正画像Ｇ３を生成することができる。
このとき、外部光源判定条件を満たす度合い数値化した値について、数値化可能最大値（例えば、8bitの場合における最大値「255」等）に対して所定割合以上となる値を最大値とするように正規化するので、上記の外部光源判定条件を満たす各画素に対する補正処理をより適正に行うことができる。

また、ストロボ発光画像Ｇ１に基づいて擬似ストロボ非発光画像Ｇ２の複数の画素の画素値を算出した後、ストロボ発光画像Ｇ１の複数の画素の中で、外部光源判定条件を満たす各画素については、擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データの対応する画素の画素値を選択し、一方、外部光源判定条件を満たさない各画素については、ストロボ発光画像Ｇ１のＹＵＶ画像データの対応する画素の画素値を選択するので、外部光源判定条件を満たすか否かに応じて擬似ストロボ非発光画像Ｇ２とストロボ発光画像Ｇ１の画素値のうちの何れを用いるかを判別することができる。
より具体的には、外部光源判定条件を満たす度合いが数値化された値に応じて、擬似ストロボ非発光画像Ｇ２の画素の画素値とストロボ発光画像Ｇ１の画素の画素値との合成割合を決定するので、擬似ストロボ非発光画像Ｇ２とストロボ発光画像Ｇ１の各画素の画素値を利用して、上記の外部光源判定条件を満たす各画素に対する補正処理を段階的に施すことができ、より違和感が軽減された見た目が自然な補正画像Ｇ３を生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態においては、画像補正処理にて、外部光源が電球であるか否かを判定して、当該判定の結果、外部光源が電球であると判定された場合には、画像補正処理を終了させるようにしても良い。即ち、電球は、色温度がオレンジ色に近いため顔や肌の色温度に近く、画像補正処理により血色が悪くなってしまうのを防止するためである。

また、上記実施形態にあっては、ストロボ発光画像Ｇ１及び擬似ストロボ非発光画像Ｇ２のＹＵＶ画像データを用いて画像補正処理を行うようにしたが、これに限られるものではなく、例えば、ストロボ発光画像Ｇ１及び擬似ストロボ非発光画像Ｇ２のＲＧＢ画像データ（例えば、ベイヤ画像データ）を用いて画像補正処理を行った後、ＹＵＶ画像データに変換して記録媒体９に記録するようにしても良い。

さらに、上記実施形態にあっては、ホワイトバランスブラケット撮影によって取得した連写画像を用いて、一のストロボ発光画像Ｇ１内における外部光源に対応する色相を特定し、その後の処理に適用しても良い。

また、上記実施形態の画像補正処理（図２参照）にあっては、ステップＳ６の肌色保護処理、ステップＳ７の明るさ調整処理、ステップＳ８の引き伸ばし処理、ステップＳ１３の色差成分U，Vの調整処理を全て行うようにしたが、必ずしも全ての処理を行う必要はなく、各処理を行うか否かは適宜任意に変更することができる。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。

加えて、上記実施形態にあっては、取得手段、色相特定手段、画素特定手段、補正手段としての機能を、中央制御部１１の制御下にて、画像処理部５の画像取得部５ａ、色相特定部５ｂ、画素特定部５ｃ、画素値補正部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、色相特定処理ルーチン、画素特定処理ルーチン、補正処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１１のＣＰＵを、撮像手段によりストロボを発光して撮像した画像に対して当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像Ｇ１を取得する取得手段として機能させるようにしても良い。また、色相特定処理ルーチンにより中央制御部１１のＣＰＵを、ストロボを発光せずに撮像した画像に基づいて、取得手段により取得されたストロボ発光画像Ｇ１内における外部光源に対応する色相を特定する色相特定手段として機能させるようにしても良い。また、画素特定処理ルーチンにより中央制御部１１のＣＰＵを、ストロボ発光画像Ｇ１の複数の画素の中で、色相が色相特定手段により特定された外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する画素特定手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部１１のＣＰＵを、画素特定手段により特定された外部光源判定条件を満たす各画素の画素値を、外部光源に対応したホワイトバランス調整が施された画素値となるように補正する補正手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００ 撮像装置
２ 撮像部
３ ストロボ発光部
４ ＣＤＳ／ＡＤＣ部
４ａ ゲイン調整部
５ 画像処理部
５ａ 画像取得部
５ｂ 色相特定部
５ｃ 画素特定部
５ｄ 擬似ストロボ非発光画像生成部
５ｅ 画素値補正部
５ｆ 合成割合決定部
５ｇ 画素値合成部
１１ 中央制御部

Claims (13)

1. ストロボを発光して撮像した画像に対して当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像を取得する取得手段と、
   ストロボを発光せずに撮像した画像に基づいて、前記取得手段により取得されたストロボ発光画像内における外部光源に対応する色相を特定する色相特定手段と、
   前記ストロボ発光画像の複数の画素の中で、色相が前記色相特定手段により特定された前記外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する画素特定手段と、
   この画素特定手段により特定された前記外部光源判定条件を満たす各画素の画素値を、前記外部光源に対応したホワイトバランス調整が施された画素値となるように補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記外部光源判定条件は、更に、前記ストロボ発光画像の各画素の色相が肌色に対応する所定範囲内に存しないという条件を含み、
   前記画素特定手段は、更に、
   前記ストロボ発光画像の複数の画素の中で、色相が肌色に対応する所定範囲内に存しないという条件を含む前記外部光源判定条件を満たす画素を特定することを特徴とする請求項１に記載の撮像装置。
3. 前記画素特定手段は、前記ストロボ発光画像の複数の画素の各々について前記外部光源判定条件を満たす度合いを段階的に数値化し、
   前記補正手段は、前記画素特定手段により数値化された値が大きい画素ほど補正する度合いが強くなるように画素値を補正する度合いを段階的に変化させることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記画素特定手段は、前記ストロボ発光画像の複数の画素の各々が所定の明るさ条件を満たす度合いを数値化することを特徴とする請求項３に記載の撮像装置。
5. 前記画素特定手段は、前記ストロボ発光画像の複数の画素の各々のＲＧＢ色成分の最大値がより大きいほど、また、ＲＧＢ色成分の最小値がより小さいほど大きい値となるように数値化することを特徴とする請求項３又は４に記載の撮像装置。
6. 前記画素特定手段は、前記外部光源判定条件を満たす度合い数値化した値について、数値化可能最大値に対して所定割合以上となる値を最大値とするように正規化することを特徴とする請求項３〜５の何れか一項に記載の撮像装置。
7. 前記ストロボ発光画像の複数の画素の各々について、前記ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理を行った後、前記外部光源に対応したホワイトバランス調整を施すことで、擬似ストロボ非発光画像の複数の画素の画素値を算出する算出手段と、
   前記画素特定手段により特定された前記外部光源判定条件を満たす各画素については、前記算出手段により算出された前記擬似ストロボ非発光画像の画素値を選択し、一方、前記外部光源判定条件を満たさない各画素については、前記ストロボ発光画像の画素値を選択する選択手段と、を更に備えることを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
8. 前記取得手段は、前記ストロボ発光画像のＹＵＶ色空間の画像データを取得し、
   前記算出手段は、前記取得手段により取得された前記ストロボ発光画像のＹＵＶ画像データをＲＧＢ色空間の画像データに変換した後、当該ＲＧＢ画像データに対して前記ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理を行った後、前記外部光源に対応したホワイトバランス調整を施し、その後、ＹＵＶ色空間の画像データに変換して前記擬似ストロボ非発光画像のＹＵＶ画像データの各画素の画素値を算出し、
   前記選択手段は、前記画素特定手段による特定結果に基づいて、前記算出手段により算出された前記擬似ストロボ非発光画像のＹＵＶ画像データの各画素の画素値及び前記ストロボ発光画像のＹＵＶ画像データの各画素の画素値を選択する処理を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記取得手段により取得された前記ストロボ発光画像の複数の画素の各々について、前記ストロボ発光に対応したホワイトバランス調整と反対の逆調整処理を行った後、前記外部光源に対応したホワイトバランス調整を施すことで、擬似ストロボ非発光画像の複数の画素の画素値を算出する算出手段と、
   前記画素特定手段により前記外部光源判定条件を満たす度合いが数値化された値に応じて、前記算出手段により算出された前記擬似ストロボ非発光画像の画素の画素値と前記ストロボ発光画像の画素の画素値との合成割合を決定する決定手段と、を更に備えることを特徴とする請求項３〜６の何れか一項に記載の撮像装置。
10. 前記画素特定手段は、更に、
    ストロボを発光せずに撮像した画像のグレー成分の画素の色相に基づいて、前記ストロボ発光画像の各画素の色相が前記色相特定手段により特定された前記外部光源に対応する色相を基準とした所定範囲内に存するか否かを判定することを特徴とする請求項１〜９の何れか一項に記載の撮像装置。
11. 前記補正手段による補正後の各画素の画素値に対して、グレー引き込み処理及び／又はストロボ発光画像足し込み処理を行うことを特徴とする請求項１〜１０の何れか一項に記載の撮像装置。
12. 撮像手段を備える撮像装置を用いた画像処理方法であって、
    前記撮像手段によりストロボを発光して撮像した画像に対して当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像を取得する処理と、
    ストロボを発光せずに撮像した画像に基づいて、前記ストロボ発光画像内における外部光源に対応する色相を特定する処理と、
    前記ストロボ発光画像の複数の画素の中で、色相が前記外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する処理と、
    特定された前記外部光源判定条件を満たす各画素の画素値を、前記外部光源に対応したホワイトバランス調整が施された画素値となるように補正する処理と、
    を実行することを特徴とする画像処理方法。
13. 撮像手段を備える撮像装置のコンピュータを、
    前記撮像手段によりストロボを発光して撮像した画像に対して当該ストロボ発光に対応したホワイトバランス調整が施されたストロボ発光画像を取得する取得手段、
    ストロボを発光せずに撮像した画像に基づいて、前記取得手段により取得されたストロボ発光画像内における外部光源に対応する色相を特定する色相特定手段、
    前記ストロボ発光画像の複数の画素の中で、色相が前記色相特定手段により特定された前記外部光源に対応する色相を基準とした所定範囲内に存し、且つ、彩度が所定値以下で、且つ、明度が所定値以上であるという外部光源判定条件を満たす画素を特定する画素特定手段、
    この画素特定手段により特定された前記外部光源判定条件を満たす各画素の画素値を、前記外部光源に対応したホワイトバランス調整が施された画素値となるように補正する補正手段、
    として機能させることを特徴とするプログラム。