JP2013255189A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 本発明は、上述した問題点を解決するためのものであり、ホワイトバランス情報の誤検出が生じやすいシーンにおいても、適切なホワイトバランス制御を可能とする。
【解決手段】 前面撮像手段により得られた撮影画像からホワイトバランス補正値を算出し（Ｓ１００１）、背面撮像手段により得られた撮影画像からホワイトバランス補正値を算出し（Ｓ１００２）、前面撮像手段の撮影画像のホワイトバランス補正値と背面撮像手段の撮影画像のホワイトバランス補正値を合成することにより、前面撮像手段の撮影画像に適用するホワイトバランス補正値を算出する（Ｓ１００４）。
【選択図】 図１０

Description

本発明は画像処理装置及び画像処理方法に関し、特に撮影画像に対するホワイトバランス制御に関する。

デジタルカメラやデジタルビデオカメラなどの撮像機能を有する画像処理装置は、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御には、撮像した画像から白色と思われる部分を自動検出し、検出された白色部分の評価値からホワイトバランス係数を求め、算出したホワイトバランス係数を画面全体に適用するオートホワイトバランス制御がある。また、特許文献１には、メイン電子撮像ユニットとは別に設けられた電子ファインダユニットが撮像機能を有し、メイン電子撮像ユニットで得られたホワイトバランス情報を利用するよう構成された撮像装置が開示されている。

特登録４６６５８３３号

しかしながら、従来のホワイトバランス制御では、撮影シーンによっては、白色の誤検出のため適切なホワイトバランス制御を行うことができないという問題がある。すなわち、従来のホワイトバランス制御では、あらゆる光源に対して白を検出する必要があるため、白検出の範囲を予め広めに設定している。そのために、光源の種類によっては有彩色の色評価値が白検出の範囲内に含まれる場合が存在し、有彩色を白と誤検出してしまう。例えば、蛍光灯下におけるフローリングやダンボールをズームして撮影する場合など、肌色系の被写体が画像データ内の大部分を占めるシーンにおいては、ホワイトバランスの白検出で肌色系有彩色を白と誤検出してしまうことがある。その結果、見た目の色味に対して寒色気味の画像が生成されてしまう。引用文献１に開示の撮像装置では、他の撮像ユニットのホワイトバランス情報を利用しているため誤検出による画質への影響を緩和させることも可能である。しかし、２つの撮像ユニットの間で撮影画角は重複しているため、両方の撮影ユニットがホワイトバランス制御において誤検出を招く被写体を撮影している場合は、上記問題は解決されない。

本発明は、上述した問題点を解決するためのものであり、ホワイトバランス情報の誤検出が生じやすいシーンにおいても、適切なホワイトバランス制御を可能とする。

上記目的を達成するために、本発明の画像処理装置は、筐体に対して前面に位置する被写体を撮像する前面撮像手段と、筐体に対して背面に位置する被写体を撮像する背面撮像手段と、を有する画像処理装置であって、前記前面撮像手段により得られた撮影画像からホワイトバランス補正値を算出する第１の補正値算出手段と、前記背面撮像手段により得られた撮影画像からホワイトバランス補正値を算出する第２の補正値算出手段と、前記前面撮像手段の撮影画像のホワイトバランス補正値と前記背面撮像手段の撮影画像のホワイトバランス補正値を合成することにより、前記前面撮像手段の撮影画像に適用するホワイトバランス補正値を算出する第３の補正値算出手段と、を有する。

本発明によれば、ホワイトバランス情報の誤検出が生じやすいシーンにおいても、適切なホワイトバランス制御が可能となる。

本発明の実施形態に係るデジタルカメラの構成を示すブロック図 前面画像処理部及び背面画像処理部の詳細な構成を示すブロック図 本発明の実施形態におけるデジタルカメラの外観を示す図 第１のＷＢ補正値を算出する処理を示すフローチャート 白検出のためのブロック分割を説明するための図 白検出範囲の一例を示す図 第１のＷＢ補正値を算出する処理を示すフローチャート 色座標系における肌色領域及び肌色補正対象領域を示す図１ 色座標系における肌色領域及び肌色補正対象領域を示す図２ 最終的に適用されるＷＢ制御について説明するためのフローチャート 第２の実施形態における白検出率とＷＢ信頼度との関係を示すグラフ 第３の実施形態におけるズームポジションとＷＢ信頼度との関係を示すグラフ 第５の実施形態における背面モニタの表示例を示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１の実施形態）
図１は、本実施の形態におけるデジタルカメラの構成を示すブロック図である。

図１において、操作部１０１は、デジタルカメラの操作者がデジタルカメラに対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１の中には、シャッタースイッチや、タッチセンサ（表示装置をタッチすることで操作が可能となるもの）も含む。制御部１０２は、同図に示す各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。前面センサ部１０３は、レンズ１０８ａ、レンズ１２１ａ、メカ機構１０９ａを介して入射される光を受け、その光量に応じた電荷を出力するものである。前面Ａ／Ｄ変換部１０４は、前面センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。前面画像処理部１０５は、前面Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。前面画像処理部１０５の詳細については後述する。

表示部１０６は、液晶画面などにより構成され、画像合成部１１５から出力された画像信号を表示する。また、前述のように、操作部１０１の一部としてのタッチセンサとともにタッチパネルを構成している。外部接続部１０７は、画像合成部１１５から出力された画像信号を外部機器に対して出力する。例えば、パーソナルコンピュータに出力するためにＵＳＢインタフェースの機能を有し、また、ＴＶへ出力するためにＨＤＭＩインタフェースとしての機能も有する。

前面ＡＦ処理部１０８は前面画像処理部１０５によって得られた画像をもとにレンズ１０８ａを制御し、ピントを合わせる。前面ＡＥ処理部１０９は前面画像処理部１０５によって作成された画像から適正輝度との差分を算出し、メカ機構１０９ａを制御する。ズーム処理部１２１は、制御部１０２から受けたズームポジションの指示に応じて、レンズ１２１ａを制御し、光学像の倍率を拡大させる。

背面センサ部１１８は、背面レンズ１１６ａ、背面メカ機構１１７ａを介して入射される光を受け、その光量に応じた電荷を出力するものである。背面Ａ／Ｄ変換部１１９は、背面センサ部１１８から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。背面画像処理部１２０は、背面Ａ／Ｄ変換部１１９から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。前面画像処理部１０５の詳細については後述する。

背面ＡＦ処理部１１６は背面画像処理部１２０によって得られた画像をもとに背面レンズ１１６ａを制御し、ピントを合わせる。背面ＡＥ処理部１１７は背面画像処理部１２０によって作成された画像から適正輝度との差分を算出し、背面メカ機構１１７ａを制御する。

ＥＦ処理部１１０では、発光判断がされた場合に被写体が適正となりうる光量をフラッシュ部１１１に発光させる。画像合成部１１５は前面画像処理部１０５により処理された撮影画像および背面画像処理部１２０により処理された撮影画像を受け取り、画像合成を行う。エンコーダー部１１２は、出力されたディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力するものである。画像記録部１１３は、エンコーダー部１１２から受けたフォーマット変換済みの画像データを、デジタルカメラ内の不図示のメモリや、デジタルカメラに挿入されている外部メモリなどに記録する処理を行う。

図２は、前面画像処理部１０５及び背面画像処理部１２０の詳細な構成を示すブロック図である。これら２つの画像処理部の内部構成は、共通している。

メモリ２０１は、前面Ａ／Ｄ変換部１０４又は背面Ａ／Ｄ変換部１１９から出力された撮影画像の画像信号を一時的に保持する。ホワイトバランス（ＷＢ）制御部２０２は、メモリ２０１に記憶された画像信号からの情報に基づいてＷＢ補正値を算出して保持するとともに、制御部１０２に対して出力する。また、ＷＢ制御部２０２は、制御部１０２の制御のもと、算出したＷＢ補正値を用いて、メモリ２０１に記憶された画像信号に対してＷＢ補正を行う。なお、このＷＢ制御部２０２の詳細構成およびＷＢ補正値の算出方法については、後述する。

色変換ＭＴＸ（マトリックス）回路２０３はＷＢ制御部２０２によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路２０４は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Ｃｈｒｏｍａ Ｓｕｐｒｅｓｓ）回路２０５はＬＰＦ回路２０４で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧する。輝度信号（Ｙ）生成回路２０６は、ＷＢ制御部２０２によりＷＢ補正された画像信号から輝度信号Ｙを生成する。エッジ強調回路２０７は、生成された輝度信号Ｙに対してエッジ強調処理を行う。

ＲＧＢ変換回路２０８は、ＣＳＵＰ回路２０５から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路２０７から出力される輝度信号Ｙとを、ＲＧＢ信号に変換する。ガンマ補正回路２０９は、変換されたＲＧＢ信号に対して階調補正を施す。色輝度変換回路２１０は、ＲＧＢ信号をＹＵＶ信号に変換して出力する。顔検出回路２１１は、メモリ２０１に格納された画像信号を用いて顔を検出する。

ここで、顔検出回路２１１における処理について説明する。顔検出回路２１１は、テキスチャー検出等の公知の方法で人顔を検出すると、顔部分の領域及び中心を表す座標値、左右の目の座標値、及び顔検出信頼度ＦａｃｅＲｅｌ等から成る顔情報を生成する。顔検出信頼度ＦａｃｅＲｅｌとは、顔以外のものを顔であると誤検出していないことの信頼性を示す度合を示す。

ここで、顔検出信頼度ＦａｃｅＲｅｌの求める方法について説明する。まず、顔部分を、画像信号から抽出する。具体的には、例えば以下のような方法で抽出する。まず、顔部分の抽出は、画面に、水平及び垂直方向のバッドパスフィルタをかけ、エッジを検出する。その後、エッジを２値化し、テキスチャー検出をする。検出されたテキスチャーを、顔部分のパーツである、顔の輪郭や目、鼻、口などのパターン認識回路にかけ、顔パーツ候補を絞り込む。次に、上記で抽出された顔パ−ツ候補を非顔フィルタで、パーツを絞り込む。具体的には、例えば、検出された顔パーツを、複数の非顔フィルタを通し、点数をつけ、予め設定した点数以上のパーツを顔パーツとする。例えば、１）検出された目の候補のパーツは、１組あるか否か、２）一組の目のパーツにおいて、目の大きさと、目の距離に不自然さはないか、３）目と目の中心から下に、鼻や口のパーツがあるか、４）目のまわりの色が肌色であるか、のようなフィルタ準備する。そして、各フィルタ毎に予め設定した閾値で点数をつける。そして、上記顔パーツである点数以上のものを顔として出力する。ここで、上記点数を信頼度に反映させ、例えば点数が何点以上ならば顔検出信頼度ＦａｃｅＲｅｌを１．０、点数が何点以上ならば、０．５のようにする（ＦａｃｅＲｅｌ：最大１．０〜最低０）。

顔検出回路２１１は、検出した顔部分についての情報（顔部分の領域及び中心を表す座標値、左右の目の座標値、及び顔検出信頼度ＦａｃｅＲｅｌ）を制御部１０２とＷＢ制御部２０２に送る。一方、人顔を検出できなかった場合には、検出できなかったことを示す情報を送る。なお、“人顔が検出できない”とは、目や鼻などのパーツ自体が検出されない状態のみならず、これらパーツが検出されても顔検出信頼度ＦａｃｅＲｅｌが所定値（例えば０．２）以下である状態も含んでいて良い。また、制御部１０２やＷＢ制御部２０２が、顔情報を受け取った後に、制御部１０２やＷＢ制御部２０２が、顔検出信頼度ＦａｃｅＲｅｌが所定値（例えば０．２）以下であるか否かを調べ、“人顔が検出できない”と判断するようにしても良い。

図３は、本実施形態におけるデジタルカメラの外観を示す図である。本実施形態のカメラは、この背面カメラ３０１で撮影された画像を前面カメラ３０２で撮影された画像に合成し、背面モニタ３０３に表示する。ここで、前面カメラ３０２とは、レンズ１０８ａ、ズームレンズ１２１ａ、メカ機構１０９ａ、前面ＡＦ処理部１０８、ズーム処理部１２１、前面ＡＥ処理部１０９、前面センサ部１０３、及び前面Ａ／Ｄ変換部１０４から構成された前面撮像を行うユニットに相当する。また、背面カメラ３０１とは、レンズ１１６ａ、メカ機構１１７ａ、背面ＡＦ処理部１１６、背面ＡＥ処理部１１７、背面センサ部１１８、及び背面Ａ／Ｄ変換部１１９から構成された背面撮像を行うユニットに相当する。また、背面モニタ３０３は、図１における、表示部１０６と操作部１０１の一部に相当する。操作キー３０６は、図１における、操作部１０１の一部に相当する。

背面モニタ３０３に示されるように、メインウインドウ３０４の全体に前面カメラ３０２の撮影画像が配置され、サブウインドウ３０５に背面カメラ３０１の撮影画像が配置されるように合成及び表示される。この様な表示態様を採用することで、前面カメラのみでは伝えきれなかった周囲の状況、例えば、カメラのユーザの撮影時の表情を加味した撮影画像をユーザに提供することができる。前面カメラ３０２はデジタルカメラの筐体に対して前面に位置し、背面カメラ３０１はデジタルカメラの筐体に対して背面に位置している。前面カメラ３０２と背面カメラ３０１は、デジタルカメラの筐体に対して、互いに逆の光軸を向いているため、撮影画角は重複していない。

本実施形態では、静止画撮影の準備動作であるライブビュー表示の際に、既に図３の背面モニタに示される態様で合成画像が生成されており、ライブビュー動画の各フレームに対して後述のホワイトバランス制御が実行されている。また、操作キー３０６を操作することにより静止画撮影が行われるが、この際に記録される画像も図３の態様の合成画像であり、静止画フレームに対して後述のホワイトバランス制御が行われる。なお、ライブビュー動作時と同様に動画記録時において、同様の撮影画像の記録及びホワイトバランス制御が行われても良い。

次に、ＷＢ制御部２０２における補正値算出（第１の補正値算出、第２の補正値算出、第３の補正値算出）機能について具体的に説明する。まず、第１のＷＢ補正値（第１のホワイトバランス補正値）を算出する処理について、図４に示すフローチャートを用いて詳細に述べる。

メモリ２０１に記憶された画像信号を読み出し、図５に示すように、その画面を任意のｍ個のブロックに分割する（Ｓ４０１）。そして、各ブロック（１〜ｍ）毎に、画素値を各色に加算平均して色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を算出し、式（１）を用いて色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）を算出する（Ｓ４０２）。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４ ・・・（１）
ただし、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

次に、図６に示す座標軸を持つグラフを用いて白検出を行う（Ｓ４０３）。ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。

ステップＳ４０３では、ステップＳ４０４で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が、図６に示す予め設定した白検出範囲６０１に含まれるかどうかを判断する。黒体放射軸に沿った白検出範囲６０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲は撮影モードによって別設定できるものとする。算出した色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）がこの白検出範囲６０１に含まれる場合には（ステップＳ４０３でＹＥＳ）そのブロックが白色であると判断して、そのブロックの色平均値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）を積算していく（Ｓ４０４）。一方、白検出範囲６０１に含まれない場合には加算せずにステップＳ４０５に進む。このステップＳ４０３及びステップＳ４０４の処理は、式（２）により表すことができる。

式（２）において、色評価値（Ｃｘ［ｉ］、Ｃｙ［ｉ］）が白検出範囲（図６の６０１）に含まれる場合はＳｗ［ｉ］を１に、含まれない場合にはＳｗ［ｉ］を０とする。これにより、ステップＳ４０３の判断により色評価値（Ｒ［ｉ］、Ｇ［ｉ］、Ｂ［ｉ］）加算を行うか、行わないかの処理を実質的に行っている。

ステップＳ４０５では、すべてのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ４０２に戻って上記処理を繰り返し、すべてのブロックの処理が終了していればステップＳ４０６に進む。

ステップＳ４０６では、全画素に対する白検出範囲に含まれる画素の割合を示す白検出率を算出する。そして、得られた色評価値の積分値（ＳｕｍＲ１、ＳｕｍＧ１、ＳｕｍＢ１）から、以下の式（３）を用いて、第１のＷＢ補正値（ＷＢＣｏｌ＿Ｒ１、ＷＢＣｏｌ＿Ｇ１、ＷＢＣｏｌ＿Ｂ１）を算出する。
ＷＢＣｏｌ＿Ｒ１＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１
ＷＢＣｏｌ＿Ｇ１＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１ ・・・（３）
ＷＢＣｏｌ＿Ｂ１＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１
ただし、ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４

次に、第２のＷＢ補正値（第２のホワイトバランス補正値）を算出する処理について、図７を用いて詳細に述べる。第２のＷＢ補正値とは、顔検出機能を有効にした場合に、顔検出の結果を利用して算出される補正値である。第１のＷＢ補正値は、画面全体に含まれる白色の特性に基づき算出されるに過ぎないが、第２のＷＢ補正値は、検出された顔領域の画素の色合い（肌色）も加味された補正値である。

まず、ＷＢ制御部２０２は、顔検出回路２１１から送られた情報に基づき、撮影画像から顔（顔領域）が検出されているかどうかを判断する。なお、ここでの顔領域の検出はホワイトバランス補正の対象の画像と同一の画像を用いることが適切であるが、それ以前に撮影された他のフレーム画像（例えば電子ビューファインダの画像）に基づき検出してもよい。顔が検出されていなければ（ステップＳ７０１でＮＯ）、既に算出した第１のＷＢ補正値を第２のＷＢ補正値として決定し（Ｓ７０７）、処理を終了する。

一方、顔が検出されていれば（ステップＳ７０１でＹＥＳ）、ステップＳ７０２に移行する。ステップＳ７０２において、ＷＢ制御部２０２は、図５に示したブロックの中で顔領域に対応するブロック（例えば顔領域に全体が含まれるブロック）の全てについての色平均値（ＦＲ、ＦＧ、ＦＢ）を取得する。なお、顔領域がブロック単位で検出されない場合には、顔領域に完全に含まれるブロックだけでなく、所定割合（例えば５０％以上）が顔領域であるブロックを顔領域に対応するブロックに含めてよい。

次に、ステップＳ７０３でＷＢ制御部２０２は、ステップＳ７０２で取得した色平均値（ＦＲ、ＦＧ、ＦＢ）に、第１のＷＢ補正値（ＷＢＣｏｌ＿Ｒ、ＷＢＣｏｌ＿Ｇ、ＷＢＣｏｌ＿Ｂ）をそれぞれ乗じ、肌色平均値を求める。肌色平均値は、顔領域の色平均値を第１のＷＢ補正値により補正した値であり、肌色評価値の一例である。
すなわち、肌色平均値（ＳＲ，ＳＧ，ＳＢ）を、
ＳＲ＝ＦＲ×ＷＢＣｏｌ＿Ｒ
ＳＧ＝ＦＧ×ＷＢＣｏｌ＿Ｇ ・・・（４）
ＳＢ＝ＦＢ×ＷＢＣｏｌ＿Ｂ
として求める。次に、ＷＢ制御部２０２は、肌色平均値（ＳＲ，ＳＧ，ＳＢ）が、予め決められた肌色補正対象領域内にあるか否かを判別する（Ｓ７０４）。

図８は、肌色領域、肌色補正対象領域及び肌色補正対象外領域の例を示す図である。ここで、図８においては、所定の色空間座標系としてＣｘ、Ｃｙ座標系が用いられているので、ＲＧＢデータを、算定式Ｃｘ＝ＳＲ−ＳＢ、Ｃｙ＝ＳＲ＋ＳＢ−２ＳＧにより、色差信号に変換してから、領域の判別を行う。

ここで、図８に示す肌色領域（Ａ）及び肌色補正対象領域（Ｂ）は、例えば、太陽光（昼光）などの白色光下で予め肌色を複数撮影し、統計的な手法を用いて設定することができる。また、肌色領域（Ａ）及び肌色補正対象領域（Ｂ）を特定する情報は、ＷＢ制御部２０２に予め登録しておいても、別の記憶装置に記憶しておき、必要な際にＷＢ制御部２０２が参照しても良い。

算出された肌色平均値が図７の肌色領域（Ａ）に入っている場合、第１のＷＢ補正値により肌色が適正にＷＢ補正されたと判別できるため、ＷＢ制御部２０２は、第１のＷＢ補正値を第２のＷＢ補正値に決定する（Ｓ７０７）。

また、肌色平均値が肌色補正対象外領域（Ｃ）にある場合は、ＷＢ制御部２０２は、肌色平均値が人の肌を表していないと判別し、やはり第１のＷＢ補正値を最終的に使用する第２のＷＢ補正値に決定する（Ｓ７０７）。

一方、肌色平均値が肌色補正対象領域（Ｂ）内にある場合、第１のＷＢ補正値では、肌色が適正にＷＢ補正されなかったと判別できる。従って、ＷＢ制御部２０２は、肌色平均値と肌色領域（Ａ）との差分値を補正するＷＢ補正量を算出する（Ｓ７０５）。

ここでは、図９に示すように、肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなるような補正量を算出するものとする。すなわち、肌色平均値の座標（Ｃｘ１，Ｃｙ１）、肌色領域内で、かつ肌色平均値に最も近い点（肌色目標値）の座標（Ｃｘ２，Ｃｙ２）を用いて、補正量は式（５）のように算出する。
ΔＣｘ＝Ｃｘ２−Ｃｘ１
ΔＣｙ＝Ｃｙ２−Ｃｙ１ ・・・（５）
そして、この補正量（ΔＣｘ，ΔＣｙ）を差分補正値ΔＦＷとする。

なお、ここで肌色目標値を肌色平均値から肌色領域（Ａ）への移動距離が最も小さくなる座標にしているのは、第１のＷＢ補正値による過補正があっても適正な肌色の範囲内に入るようにするためである。従って、この例に限らず、肌色目標値の座標（Ｃｘ２，Ｃｙ２）が肌色領域（Ａ）の内部に設定されてもよい。

このようにして算出された差分補正値ΔＦＷと、第１のＷＢ補正値の合計を、第２のＷＢ補正値と決定する（Ｓ７０６）。第２のＷＢ補正値は、顔の肌色を基準にもとめた補正値であるので、白色を基準に算出する第１のＷＢ補正値と比較して、顔が存在した場合の補正値として精度の高いものである。

以上説明したように、ＷＢ制御部２０２は、画面全体の白色画像に基づく第１のＷＢ補正値と、検出された顔領域の画像に基づく第２のＷＢ補正値を算出する。本実施形態では、前面カメラのＷＢ制御部２０２と背面カメラのＷＢ制御部２０２が、それぞれの撮影画像について、第１のＷＢ補正値と第２の補正値を算出することができる。なお、第２のＷＢ補正値の算出処理における差分補正値ΔＦＷに関しては、前面カメラにおける差分補正値ΔＦＷよりも、背面カメラにおける差分補正値ΔＦＷを相対的に大きくしてもよい。これは、背面カメラに人物の顔が存在する確率が、前面カメラと比較して相対的に大きいためである。算出されたＷＢ補正値は、ＷＢ制御部２０２が保持するとともに、制御部１０２に転送される。

次に、前面カメラ３０２により得られた撮影画像と背面カメラ３０１により得られた画像とに対して最終的に前面カメラ３０２に適用されるＷＢ制御について、図１０のフローチャートを用いて説明する。本フローチャートに基づく動作は、制御部１０２により実行される。

本実施形態で想定する撮影シーンは、図３に示されるように、前面カメラ３０２の主被写体が人物であり、背面カメラ３０１の主被写体も人物であるシーンである。このシーンにおいて、顔検出機能は、自動又は手動でオン設定されており、両撮影画像において、顔が検出されているものとする。

まず、ステップＳ１００１において、前面カメラ３０２により得られた撮影画像を用いてＷＢ補正値を取得する。顔が検出されているので、ここで取得されるＷＢ補正値は第２のＷＢ補正値である。次にステップＳ１００２では、背面カメラ３０１により得られた撮影画像を用いて第２のＷＢ補正値を算出する。

次に、ステップＳ１００３において、前面カメラ３０２と背面カメラ３０１のＷＢ補正値の合成比率を設定する。本実施形態では、合成比率の設定のために、前面カメラ３０２の第２のＷＢ補正値におけるホワイトバランス（ＷＢ）信頼度ＷＢＲｅｌの算出処理を行う。前面カメラ３０２の第２のＷＢ補正値におけるＷＢ信頼度ＷＢＲｅｌは、顔検出における顔情報を基に算出する。前面カメラ３０２による撮影画像の顔検出により、顔が存在すると判定された場合には、前面カメラ３０２のＷＢ補正値の信頼度が高いとし、ＷＢ信頼度ＷＢＲｅｌ＝１．０とする。

一方、前面カメラ３０２による撮影画像において顔が存在しないと判定された場合には、図７のステップＳ７０７に示したように、前面カメラ３０２のＷＢ補正値として、実質的に第１のＷＢ補正値を使用する。さらに、背面カメラ３０１の撮影画像の顔検出情報を用いる。背面カメラ３０１による撮影画像の顔検出により、顔が存在すると判定された場合には、背面カメラ３０１のＷＢ補正値における信頼度が高いとし、相対的に前面カメラ３０２のＷＢ補正値における信頼度を下げて、ＷＢ信頼度ＷＢＲｅｌ＝α（０＜α＜１）とする。

また、背面カメラ３０１の撮影画像の顔検出により、顔が存在しないと判定された場合、背面カメラ３０１の撮影画像に顔が存在すると判定された場合と比較し、相対的に前面カメラ３０２のＷＢ補正値のＷＢ信頼度を上げ、ＷＢＲｅｌ＝β（α＜β＜＝１）とする。α及びβの値としては、例えば、α＝０．６，β＝０．８というように、予め記憶しておいた固定値を設定することができる。また、背面カメラ３０１で顔が検出されている状態において、背面カメラ３０１の顔検出信頼度ＦａｃｅＲｅｌが高い場合はαの値を低くする（例えばα＝０．５）。また、顔検出信頼度ＦａｃｅＲｅｌが低い場合はαの値を高くする（例えばα＝０．７）、よう制御する。

ステップＳ１０４では、前面カメラ３０２のＷＢ補正値（Ｃｘ＿ｆ，Ｃｙ＿ｆ）と背面カメラ３０１のＷＢ補正値（Ｃｘ＿ｒ，Ｃｙ＿ｒ）を、ステップＳ１０３で算出した前面カメラ３０２のＷＢ補正値のＷＢ信頼度ＷＢＲｅｌを用いて合成する。具体的には、式（６）を用いて、補正に用いる最終ＷＢ補正値（Ｃｘ，Ｃｙ）を算出する。
Ｃｘ＝Ｃｘ＿ｆ×ＷＢＲｅｌ＋Ｃｘ＿ｒ×（１−ＷＢＲｅｌ）
Ｃｙ＝Ｃｙ＿ｆ×ＷＢＲｅｌ＋Ｃｙ＿ｒ×（１−ＷＢＲｅｌ） ・・・（６）

制御部１０２は、得られた最終ＷＢ補正値を前面カメラ３０２及び背面カメラ３０１のＷＢ制御部２０２に送る。それぞれのＷＢ制御部２０２は、メモリ２０１に記憶されている画像信号を読み出して、取得した最終ＷＢ補正値を用いて読み出した画像信号を補正する。

以上説明した制御を行うことにより、誤検出の発生により前面カメラの単独でのホワイトバランス制御が困難なシーンであっても、背面カメラのホワイトバランス制御の情報を適度に反映させることができる。特に前面カメラと背面カメラの顔の有無の条件に着目し、顔が検出されていない場合よりも顔が検出されている場合のほうが、背面カメラにより得られた撮影画像に基づくＷＢ補正値の反映の度合いを高くした。これにより、前面カメラにおいても顔の有無に応じた適切なホワイトバランス制御が可能となる。

（第２の実施形態）
本実施形態では、合成比率の設定に用いるホワイトバランス（ＷＢ）信頼度ＷＢＲｅｌの算出処理について、別の処理例を説明する。本実施形態では、前面カメラのＷＢ補正値における信頼度ＷＢＲｅｌは、前面カメラの撮影画像における白検出率を基に算出する。

白検出率は、図５に示した全画面の分割領域に関して、図６の白検出領域の中に含まれる分割領域の数ｋを、全画面の分割領域の総数ｍで割った値である。ＷＢ制御部２０２は、この値を制御部１０２に対して送る。

図１０のステップＳ１００３において、制御部１０２は、例えば、図１１に示すような、白検出率に対するＷＢ信頼度ＷＢＲｅｌを表すグラフを用い、前面カメラ３０２の撮影画像のＷＢ信頼度ＷＢＲｅｌを算出する。ここで、“ｒ１”は白色が全く存在しない場合のＷＢ信頼度の値を示し、“Ｔｈ”はＷＢ信頼度を“１．０”とするときの白検出率の値を示す。これらの値は、各種シーンを統計的に撮影及び評価して適切な値に決め、予め記憶している。

その他のステップについては、第１の実施形態と同様の制御を行うので、ここでは説明を省略する。

以上説明した制御を行うことにより、誤検出の発生により前面カメラの単独でのホワイトバランス制御が困難なシーンであっても、背面カメラのホワイトバランス制御の情報を適度に反映させることができる。特に前面カメラの白検出率に着目し、撮影画像における白色の割合が低いほど、背面カメラのＷＢ補正値の反映の度合いを高くするようにした。これにより、前面カメラにおいても白色被写体に応じた適切なホワイトバランス制御が可能となる。

（第３の実施形態）
本実施形態では、合成比率の設定に用いるホワイトバランス（ＷＢ）信頼度ＷＢＲｅｌの算出処理について、別の処理例を説明する。本実施形態では、前面カメラのＷＢ補正値における信頼度ＷＢＲｅｌは、前面カメラの撮影時におけるズーム制御部１２１によるズームポジションを基に算出してもよい。

図１０のステップＳ１００３において、制御部１０２は、例えば、図１２に示すような、ズームポジションに対するＷＢ信頼度を表すグラフを用い、ＷＢ信頼度ＷＢＲｅｌを算出する。ここで、“ｒ１”はズームポジションが望遠側に至った場合の最少のＷＢ信頼度の値を示し、“Ｔｈ２”はＷＢ信頼度を“ｒ１”とするときのズームポジションの値を示す。“Ｔｈ１”はＷＢ信頼度を“１．０”として保持するズームポジション値を示す。これらの値は、各種シーンを統計的に撮影及び評価して適切な値に決め、予め記憶している。

その他のステップについては、第１の実施形態と同様の制御を行うので、ここでは説明を省略する。

以上説明した制御を行うことにより、誤検出の発生により前面カメラの単独でのホワイトバランス制御が困難なシーンであっても、背面カメラのホワイトバランス制御の情報を適度に反映させることができる。特に前面カメラのズームポジションに着目し、ズームポジションが望遠側であるほど、背面カメラのＷＢ補正値の反映の度合いを高くするようにした。これにより、前面カメラにおいてもズームポジションに応じた適切なホワイトバランス制御が可能となる。

（第４の実施形態）
本実施形態では、合成比率の設定に用いるホワイトバランス（ＷＢ）信頼度ＷＢＲｅｌの算出処理について、別の処理例を説明する。本実施形態では、前面カメラのＷＢ補正値における信頼度ＷＢＲｅｌは、前面カメラ及び背面カメラの撮影画像における顔検出信頼度を基に算出する。

図１０のステップＳ１００３において、制御部１０２は、例えば、下記の式（７）示すような算出式を用いて、ＷＢ信頼度ＷＢＲｅｌを算出する。
ＷＢＲｅｌ＝ＦａｃｅＲｅｌ＿ｆ／（ＦａｃｅＲｅｌ＿ｆ＋ＦａｃｅＲｅｌ＿ｒ） ・・・（７）

ここで、ＦａｃｅＲｅｌ＿ｆは前面カメラの撮影画像に関する顔検出信頼度、ＦａｃｅＲｅｌ＿ｒは背面カメラの撮影画像に関する顔検出信頼度である。

その他のステップについては、第１の実施形態と同様の制御を行うので、ここでは説明を省略する。

以上説明した制御を行うことにより、特に第１の実施形態と同様な構成において、顔検出の信頼度が高いほど、背面カメラのＷＢ補正値の反映の度合いを高くするようにした。これにより、前面カメラ及び背面カメラの両方に顔が検出されている場合において、顔の有無のみでなく顔の信頼度の高さに応じた細やかなホワイトバランス制御が可能となる。

（第５の実施形態）
本実施形態では、ホワイトバランス（ＷＢ）信頼度ＷＢＲｅｌを用いない、別の合成比率の設定例を説明する。図３に示されるように、カメラの背面モニタ３０３には、前面カメラ３０２の撮影画像と背面カメラ３０１の撮影画像が合成されて表示される。第１〜第４の実施形態では、ＷＢ信頼度を自動的に算出することで、ユーザが現在のカメラのホワイトバランス制御の信頼性を判断する手間を省きかつ困難性を回避した。

しかし、ユーザ（撮影者）のホワイトバランスに関する知識や撮影技術が高い場合、また、比較的大画面の背面モニタを有するカメラの場合、ユーザは、現在のカメラのホワイトバランス制御が信頼性のおけるものか、ある程度判断できる。また、カメラにより自動制御されたとしても、ユーザは、自己の好みに応じて微調整を行いたい場合もある。

したがって、本実施形態では、図１３に示すように、前面カメラ３０２のホワイトバランス補正値に対して背面カメラの３０１のホワイトバランス補正値を反映させる度合いをユーザの操作入力により設定可能とした。

図１３において、モニタに表示されたスライダーバー１３０１は、前面カメラ３０２と背面カメラの３０１のホワイトバランス補正値の合成比率を表示する機能と、反映の度合い、ここでは合成比率を変更する機能を有する。すなわち、スライダーバー１３０１のツマミ１３０２が上端に位置しているときは、前面カメラ３０２の合成比率が１．０となり、背面カメラ３０１の合成比率は０となる。また、ツマミ１３０２が下端に位置しているときは、背面カメラ３０１の合成比率が１．０となり、背面カメラ３０１の合成比率は０となる。ツマミ１３０２が丁度中間に位置しているときは、前面カメラ３０２の合成比率が０．５となり、背面カメラ３０１の合成比率は０．５となる。この表示画面は、ライブビュー動作時に操作キー３０６を操作することにより表示され、ツマミ１３０２は所定の初期位置、例えば上端に表示される。ユーザは操作キー３０６を操作することにより、ツマミ１３０２を上下に動かすことにより、合成比率を変更することができる。

上記第１〜４の実施形態による自動調整を実行後であれば、その実行により設定された合成比率の位置、すなわち、ＷＢ信頼度ＷＢＲｅｌの値に相当する位置をツマミ１３０２の初期位置としても良い。これにより、ユーザは、その位置を基準とした反映の度合いの変更が可能となり、自己の好みに応じた、自動調整後の微調整が可能となる。

（第６の実施形態）
上記第１〜第５の実施形態では、図３に示されるような、一般的なカメラの形状を有した撮像装置に、本発明を適用した場合について説明した。しかし、本発明は、この形状の撮像装置に限るものではない。

例えば、前面カメラと背面カメラを有する撮像装置として、タブレット、スマートフォン、及び携帯電話等が存在し、これらの装置においても、上記第１〜第５の実施形態に表わされた発明を実施することができる。これらの装置は、図３に示されるような、操作キー３０６を有さず背面モニタがタッチパネルが操作手段としてとして機能する。

したがって、第５の実施形態を適用するにしても、スライダーバー１３０１をパネル上で直接接触することにより、位置変更を行えるように構成する。なお、合成比率の変更はスライダーバーを操作する場合に限らず、例えば各カメラの主被写体領域（例えば顔領域）を長く接触するほどそのカメラの合成比率を上げる等、ユーザの直感的な操作性を意識した、様々な態様を適用してもよい。

（他の実施形態）
本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムを適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明の目的は、以下のようにして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

１０２ 制御部
１０５ 前面画像処理部
１２０ 背面画像処理部
３０１ 背面カメラ
３０２ 前面カメラ

Claims (16)

1. 筐体に対して前面に位置する被写体を撮像する前面撮像手段と、筐体に対して背面に位置する被写体を撮像する背面撮像手段と、を有する画像処理装置であって、
   前記前面撮像手段により得られた撮影画像からホワイトバランス補正値を算出する第１の補正値算出手段と、
   前記背面撮像手段により得られた撮影画像からホワイトバランス補正値を算出する第２の補正値算出手段と、
   前記前面撮像手段の撮影画像のホワイトバランス補正値と前記背面撮像手段の撮影画像のホワイトバランス補正値を合成することにより、前記前面撮像手段の撮影画像に適用するホワイトバランス補正値を算出する第３の補正値算出手段と、
   を有することを特徴とする画像処理装置。
2. 前記前面撮像手段の撮影画像のホワイトバランス補正値の信頼度に基づき、前記前面撮像手段の撮影画像のホワイトバランス補正値と前記背面撮像手段の撮影画像のホワイトバランス補正値の合成比率を設定する第１の設定手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記背面撮像手段により得られた撮影画像から顔を検出する顔検出手段をさらに有し、
   前記第１の設定手段は、前記顔検出手段により顔が検出されたか否かの情報に基づき前記ホワイトバランス補正値の信頼度を決めることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の設定手段は、前記第１の補正値算出手段によるホワイトバランス補正値の算出における白検出率に応じて、前記ホワイトバランス補正値の信頼度を決めることを特徴とする請求項２に記載の画像処理装置。
5. 前記前面撮像手段は、前記前面に位置する被写体を撮像するに際して倍率を変更するズーム手段をさらに有し、
   前記第１の設定手段は、前記ズーム手段によるズームポジションに応じて、前記ホワイトバランス補正値の信頼度を決めることを特徴とする請求項２に記載の画像処理装置。
6. 前記前面撮像手段により得られた撮影画像から顔を検出する第１の顔検出手段と、前記背面撮像手段により得られた撮影画像から顔を検出する第２の顔検出手段と、をさらに有し、
   前記第１の設定手段は、前記第１の顔検出手段及び前記第２の顔検出手段による顔検出の信頼度に基づき前記ホワイトバランス補正値の信頼度を決めることを特徴とする請求項２に記載の画像処理装置。
7. ユーザからの操作入力を受け付ける操作入力手段と、前記操作入力に基づき、前記背面撮像手段の撮影画像のホワイトバランス補正値の反映の度合いを設定する第２の設定手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
8. 前記第１の補正値算出手段及び前記第２の補正値算出手段は、前記ホワイトバランス補正値として、黒体放射軸を用いた白検出に基づく第１のホワイトバランス補正値を算出することを特徴とする請求項１に記載の画像処理装置。
9. 前記前面撮像手段により得られた撮影画像から顔を検出する第１の顔検出手段と、前記背面撮像手段により得られた撮影画像から顔を検出する第２の顔検出手段と、をさらに有し、
   前記第１の補正値算出手段及び前記第２の補正値算出手段は、
   前記顔検出手段から検出された顔領域に対して前記第１のホワイトバランス補正値を適用し、肌色評価値を取得し、前記肌色評価値が予め定めた肌色補正対象領域に含まれる場合、前記肌色評価値と予め定めた肌色目標値との差分値を補正する差分補正値を算出し、前記肌色評価値が前記予め定めた肌色補正対象領域に含まれる場合、前記ホワイトバランス補正値として、前記第１のホワイトバランス補正値と前記差分補正値に基づいた第２のホワイトバランス補正値を算出することを特徴とする請求項８に記載の画像処理装置。
10. 筐体に対して前面に位置する被写体を撮像する前面撮像手段と、筐体に対して背面に位置する被写体を撮像する背面撮像手段と、を有する画像処理装置であって、
    前記前面撮像手段の撮影画像に適用するホワイトバランス補正のために、前記背面撮像手段により得られた撮影画像に基づき算出されたホワイトバランス補正値を反映させる制御手段を有することを特徴とする画像処理装置。
11. 前記背面撮像手段により得られた撮影画像から顔を検出する顔検出手段をさらに有し、
    前記制御手段は、前記顔検出手段により顔が検出されていない場合よりも前記顔検出手段により顔が検出されている場合のほうが、前記背面撮像手段により得られた撮影画像に基づき算出されたホワイトバランス補正値の反映の度合いを高くすることを特徴とする請求項１０に記載の画像処理装置。
12. 前記制御手段は、前記前面撮像手段により得られた撮影画像における白色の割合が低いほど、前記背面撮像手段により得られた撮影画像に基づき算出されたホワイトバランス補正値の反映の度合いを高くすることを特徴とする請求項１０に記載の画像処理装置。
13. 前記前面撮像手段は、前記前面に位置する被写体を撮像するに際して倍率を変更するズーム手段をさらに有し、
    前記制御手段は、前記ズーム手段によるズームポジションが望遠側であるほど、前記背面撮像手段により得られた撮影画像に基づき算出されたホワイトバランス補正値の反映の度合いを高くすることを特徴とする請求項１０に記載の画像処理装置。
14. 前記背面撮像手段により得られた撮影画像から顔を検出する顔検出手段をさらに有し、前記制御手段は、前記顔検出手段による顔検出の信頼度が高いほど、前記背面撮像手段により得られた撮影画像に基づき算出されたホワイトバランス補正値の反映の度合いを高くすることを特徴とする請求項１０に記載の画像処理装置。
15. 筐体に対して前面に位置する被写体を撮像する前面撮像手段と、筐体に対して背面に位置する被写体を撮像する背面撮像手段と、を有する画像処理装置の画像処理方法であって、
    前記前面撮像手段により得られた撮影画像からホワイトバランス補正値を算出する第１の補正値算出ステップと、
    前記背面撮像手段により得られた撮影画像からホワイトバランス補正値を算出する第２の補正値算出ステップと、
    前記前面撮像手段の撮影画像のホワイトバランス補正値と前記背面撮像手段の撮影画像のホワイトバランス補正値を所定の比率で合成することにより、前記前面撮像手段の撮影画像に適用するホワイトバランス補正値を算出する第３の補正値算出ステップと、
    を有することを特徴とする画像処理方法。
16. 筐体に対して前面に位置する被写体を撮像する前面撮像手段と、筐体に対して背面に位置する被写体を撮像する背面撮像手段と、を有する画像処理装置の画像処理方法であって、
    前記前面撮像手段の撮影画像に適用するホワイトバランス補正のために、前記背面撮像手段により得られた撮影画像に基づき算出されたホワイトバランス補正値を反映させる制御ステップを有することを特徴とする画像処理方法。

Images