JP2013058870A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数の光源が混在する場合であっても、適正な色味の画像データを生成する。
【解決手段】画像処理装置は、撮像された画像データにおける第１の光源に対応する第１のホワイトバランス補正値と、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値とを決定する（Ｓ４０２、Ｓ４０３）。画像処理装置は、第１のホワイトバランス補正値に基づいて、画像データから第１の画像データを現像するとともに、第２のホワイトバランス補正値に基づいて、画像データから第２の画像データを現像する（Ｓ４０４、Ｓ４０５）。画像処理装置は、画像データの色評価値を算出し、画像データの色評価値と第２の光源下の白の色評価値との差分に基づいて、第１の画像データと第２の画像データとの合成比率を決定する（Ｓ４０７、Ｓ４０８）。画像処理装置は、当該合成比率に従って、第１の画像データと第２の画像データとを合成する（Ｓ４０９）。
【選択図】図４

Description

本発明は、画像データに対するホワイトバランス制御技術に関するものである。

従来、撮像素子から出力された信号に基づいてホワイトバランスを調整する方法が知られている。その一例として、オートホワイトバランス処理が知られている。オートホワイトバランス制御は、撮影した画像データから白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を算出し、算出したホワイトバランス係数を画面全体に適用する。

しかし、このようなオートホワイトバランス制御には次のような問題があった。画面内に異なる複数の光源が存在するシーンでは、算出したホワイトバランス係数を画面全体に適用するため、各光源をともに適正な色味とするホワイトバランス制御を行うことが困難であった。例えば、夜景シーンにおいて主被写体は水銀灯で照らされているが、背景となるビル群の光源は蛍光灯であることが想定される。このようなシーンにおいて、水銀灯光源下の主被写体のホワイトバランスを適正にすると、背景の蛍光灯光源部分は赤みを帯びてしまう。同様に、背景のホワイトバランスを適正にすると、主被写体の水銀灯光源部分のホワイトバランスが適正から外れてしまう。また、それぞれの光源が適正となるホワイトバランスの中間に合わせてホワイトバランス制御をすると、どちらの光源も色味が残る結果となってしまう。

さらに付け加えると、水銀灯光源下における各ブロックの色評価値は通常光源下の白検出範囲では検出できない場合が多く、水銀灯の単一光源のシーンであったとしても、適正なホワイトバランスを求めることは困難である。

ここで、特許文献１には次のような技術が開示されている。即ち、特許文献１に開示される技術は、第１の白検出範囲で白と判定されたブロックが一定数より少ない場合、低色温度光源下での撮影か否かを判別し、低色温度光源下での撮影と判別された場合に低色温度側の白検出範囲を広げて第２の白検出範囲とする。そして、第２の白検出範囲によって白と判定されるブロックが一定数以上である場合、白と判定されたブロックに基づいてホワイトバランス補正係数を算出する。

特開２００９−２１２６４１号公報

しかしながら、特許文献１に開示される技術は、低色温度光源下での撮影である場合に白検出範囲を広げ、新たに白と判定されたブロックに基づいてホワイトバランス補正係数を算出するものであり、結局複数の光源が存在した場合には対応できない。

そこで、本発明の目的は、複数の光源が混在する場合であっても、適正な色味の画像データを生成することにある。

本発明の画像処理装置は、撮像された画像データにおける第１の光源に対応する第１のホワイトバランス補正値と、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値とを決定する補正値決定手段と、前記第１のホワイトバランス補正値に基づいて、前記画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記画像データから第２の画像データを現像する現像手段と、前記画像データの色評価値を算出する色評価値算出手段と、前記画像データの色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記第１の画像データと前記第２の画像データとの合成比率を決定する合成比率決定手段と、前記合成比率決定手段により決定された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成する合成手段とを有することを特徴とする。

本発明によれば、複数の光源が混在する場合であっても、適正な色味の画像データを生成することができる。

本発明の実施形態に係る画像処理装置の構成を示す図である。 第１のホワイトバランス補正値(第１のＷＢ補正値)の算出方法を示すフローチャートである。 白検出の際に使用されるグラフを示す図である。 画像処理回路による画像データの合成処理を示すフローチャートである。 合成比率算出の際に用いられる色評価値の関係を示す図である。 顔検出時における合成比率算出の際に用いられる色評価値の関係を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下に説明する実施形態は、飽くまでも本発明の一適用例である。即ち、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

図１は、本発明の実施形態に係る画像処理装置の構成を示す図である。図１において、１００は画像処理装置である。１０は撮影レンズである。１２は絞り機能を備えるシャッタである。１４は光学像を電気信号に変換する撮像素子である。１６は撮像素子１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４、Ａ／Ｄ変換器１６及びＤ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は、画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０及び測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０及び圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０及びメモリ制御回路２２を介して、或いは、直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリである。２６はＤ／Ａ変換器である。２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。

３０は、撮影された静止画像データや動画像データを格納するためのメモリであり、所定の枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像データを連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッタ１２を制御する露光制御部であり、ストロボ（フラッシュ）４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部である。４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４６はバリアである保護手段１０２の動作を制御するバリア制御部である。

４８はストロボであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。ストロボ４８は一つでもよいし、閃光発光用にＸｅ管、微小長秒発光用にＬＥＤ等のように複数個用意してもよい。露光制御部４０及び測距制御部４２は、ＴＴＬ方式を用いて制御されており、システム制御回路５０は、撮像した画像データを画像処理回路２０によって演算した結果に基づいて、露光制御部４０及び測距制御部４２に対して制御を行う。

システム制御回路５０は、画像処理装置１００全体を制御する。メモリ５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶する。また、メモリ５２はＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッタ速度の制御値との関係を定義したテーブルである。

５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置２８等の表示部である。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４の一部の機能は光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。

また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、等がある。

５６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６２、６４及び６６は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。６２はシャッタスイッチＳＷ１であり、不図示のシャッタボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタスイッチＳＷ２であり、不図示のシャッタボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は、各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロボタン、画像表示ＯＮ／ＯＦＦボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタである。８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる電源手段である。９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では、記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、何れの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用することなしに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信部であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４及び画像処理装置１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４及び画像処理装置１００と接続を行うコネクタ２１６を備えている。

次に、本実施形態に係る画像処理回路２０におけるＷＢ補正値の算出方法について説明する。本処理は、黒体放射軸を用いたＷＢ制御に基づいてＷＢ補正値を算出する処理である。先ず、図２を参照しながら、第１のホワイトバランス補正値(第１のＷＢ補正値)の算出方法について説明する。ここで、第１のＷＢ補正値とは、第１の光源に対する通常のホワイトバランス制御により算出される補正値である。

ステップＳ２０１において、画像処理回路２０は、メモリ３０に記憶された画像データを読み出し、当該画像データを任意のｍ個のブロックに分割する。ステップＳ２０２において、画像処理回路２０は、ブロック（１〜ｍ）毎に、画素値を色毎に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出し、次の式を用いて色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
但し、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

ステップＳ２０３において、画像処理回路２０は、ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、図３に示す予め設定される白検出範囲３０１に含まれるか否かを判定する。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。この白検出範囲は撮影モードに対応して個別に設定できるものとする。図３におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表している。また、ｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなる。

ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれる場合、処理はステップＳ２０４に移行する。一方、ｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が予め設定される白検出範囲３０１に含まれない場合、処理はステップＳ２０４をスキップして、ステップＳ２０５に移行する。

ステップＳ２０４において、画像処理回路２０は、ｉ番目のブロックが白色であると判定して、当該ブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分する。なお、ステップＳ２０３、Ｓ２０４の処理は次の式によって表すことができる。

ここで、上記式において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれる場合にはＳｗ［ｉ］を１とし、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれない場合にはＳｗ［ｉ］を０とする。これにより、ステップＳ２０３．Ｓ２０４において、色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分するか、積分しないかを実質的に行っている。

ステップＳ２０５において、画像処理回路２０は、全てのブロックについて上記処理を行ったか否かを判定する。未処理のブロックが存在する場合、処理はステップＳ２０２に戻って上記処理を繰り返す。一方、全てのブロックについて処理を行った場合、処理はステップＳ２０６に移行する。

ステップＳ２０６において、画像処理回路２０は、得られた平均値の積分値（ＳｕｍＲ１，ＳｕｍＧ１，ＳｕｍＢ１）から、次の式を用いて、第１のＷＢ補正値（ＷＢＣｏ１＿Ｒ１，ＷＢＣｏ１＿Ｇ１，ＷＢＣｏ１＿Ｂ１）を算出する。
ＷＢＣｏ１＿Ｒ１＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１
ＷＢＣｏ１＿Ｇ１＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１
ＷＢＣｏ１＿Ｂ１＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１
但し、ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４

次に、第２の光源に対する第２のホワイトバランス補正値(第２のＷＢ補正値)の決定方法について説明する。第２のＷＢ補正値（ＷＢＣｏ２＿Ｒ，ＷＢＣｏ２＿Ｇ，ＷＢＣｏ２＿Ｂ）は、特定光源毎に予め決められた値を用いて決定する。即ち、この値は予め特定光源下で白を撮影して算出した値を用いる。例えば、光源に水銀灯が使われているシーンであれば、水銀灯用に予め決められているＷＢ補正値を第２のＷＢ補正値として用いる。ここで、光源に複数の種類がある場合、光源の種類に応じて第２のＷＢ補正値を可変にしてもよい。例えば、水銀灯に２つの種類がある場合には、それぞれの水銀灯に応じてＷＢ補正値を可変にしてもよい。

次に、図４を参照しながら、画像処理回路２０による画像データの合成処理について説明する。ステップＳ４０１において、画像処理回路２０は、特殊光源対応を行うか否かを判定する。このとき、画像処理回路２０は、メモリ３０に記憶された画像データから光源推定を行い、その推定結果に応じて特殊光源対応を行うか否かを判定してもよいし、ユーザが予め指定しておいた結果に応じて特殊光源対応を行うか否かを判定してもよい。特殊光源対応を行う場合、処理はステップＳ４０２に移行する。一方、特殊光源対応を行わない場合、処理はステップＳ４１０に移行する。

ステップＳ４０２において、画像処理回路２０は、図２を用いて説明した方法により、第１のＷＢ補正値ＷＢＣｏ１を算出する。ステップＳ４０３において、画像処理回路２０は、上述した方法により、第２のＷＢ補正値ＷＢＣｏ２を算出する。ステップＳ４０４において、画像処理回路２０は、第１のＷＢ補正値ＷＢＣｏ１を用いて、メモリ３０に記憶された画像データから現像画像データＹｕｖ１を現像する。ステップＳ４０５において、画像処理回路２０は、第２のＷＢ補正値ＷＢＣｏ２を用いて、メモリ３０に記憶された画像データから現像画像データＹｕｖ２を現像する。なお、現像画像データＹｕｖ１は第１の画像データ、現像画像データＹｕｖ２は第２の画像データの例である。

ステップＳ４１０において、画像処理回路２０は、ステップＳ４０２と同様の方法により第１のＷＢ補正値ＷＢＣｏ１を算出する。ステップＳ４１１において、画像処理回路２０は、第１のＷＢ補正値ＷＢＣｏ１を用いて、メモリ３０に記憶された画像データから現像画像データＹｕｖ１を現像する。つまり、画像処理回路２０は通常のホワイトバランス制御を行う。

ステップＳ４０６において、画像処理回路２０は、メモリ３０に記憶されている画像データ、現像画像データＹｕｖ１及び現像画像データＹｕｖ２をそれぞれｎ個のブロックに分割する。

ステップＳ４０７において、画像処理回路２０は、メモリ３０に記憶されている画像データに対してブロック毎に画素値を各色に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出する。そして、画像処理回路２０は、ステップＳ２０２と同様に色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。なお、ステップＳ４０７においては、ステップＳ２０２で算出された色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）をそのまま用いてもよい。このとき、飽和画素が存在する場合には、その飽和画素の画素値とその画素に対応する別色の画素の画素値とを加算処理に含めなくてもよい。例えば、或るＲ画素が飽和画素である場合には、Ｒ画素の画素値とそのＲ画素に対応するＧ画素の画素値及びＢ画素の画素値とを加算処理に含めないようにする。

ステップＳ４０８において、画像処理回路２０は、各光源に応じて後述の評価枠及び内枠を設定して、上記の第２のＷＢ補正値と各ブロックの色評価値との差分に基づいて、ブロック毎の合成比率を算出する。例えば、光源に水銀灯を用いたシーンでは、図５に示すように、予め決められた水銀灯光源下の白の色評価値を重心とした水銀灯用の評価枠５０１及び内枠５０２を設定する。そして画像処理回路２０は、予め決められた水銀灯光源下の白の色評価値と各ブロックの色評価値との距離に基づいて、各ブロックの合成比率を算出する。なお、評価枠５０１は、予め水銀灯光源下で白の被写体を撮影して算出された色評価値に基づき設定されたものである。

先ず、色評価値と水銀灯光源下の白の色評価値との差分が小さく、図５に示す内枠５０２の内部に色評価値が存在するブロックに対しては、画像処理回路２０は、当該ブロックの合成比率α［ｉ］を１とする。次に、図５に示す評価枠５０１と内枠５０２との間の領域に色評価値が存在するブロックに対しては、画像処理回路２０は以下のように合成比率α［ｉ］を算出する。即ち、画像処理回路２０は、内枠５０２を合成比率α［ｉ］＝１とし、評価枠５０１を合成比率α［ｉ］＝０とするように、内枠５０２から評価枠５０１に向かって合成比率を線形的に減少させ、当該ブロックの合成比率α［ｉ］を算出する。そして、評価枠５０１の外部に色評価値が存在するブロックに対しては、画像処理回路２０は合成比率α［ｉ］を０とする。

ここで、予め複数の評価枠と内枠とを保持しておき、特定の条件に応じて選択可能としてもよい。例えば、特定の条件として水銀灯光源下で顔が検出された場合について図６を用いて説明する。水銀灯光源下の顔が含まれたブロックは範囲６０３に示すように図５の評価枠５０１の範囲外に分布する傾向にある。このような新しい分布を考慮して、顔が検出された場合は新しい評価枠６０１と内枠６０２とにそれぞれ変更する。さらに評価枠６０１と内枠６０２とを選択するための条件としては、顔の有無の他にも、ユーザが指定した特殊光源補正度合い(例えば、ユーザが補正の強さとして強、中、弱の何れかを選択する)や被写体輝度や光源推定を行った場合は光源推定の確からしさ(例えば、水銀灯なら画像信号中に含まれる緑領域の割合や緑領域の分布する座標から判断)等に関する条件を同時に使用してもよい。

ここで、評価枠と内枠との設定は、図６に示すような四角形ではなく任意の形にしてもよい。また例えば、電球色光源のような低色温度光源を用いたシーンの場合においても、光源に適した評価枠や内枠を設定し、水銀灯を光源としたシーンにおける合成比率算出方法と同様の処理により、合成比率を算出することができる。

ステップＳ４０９において、画像処理回路２０は、ブロック毎の合成比率α［ｉ］を用いて現像画像データＹｕｖ１と現像画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。合成画像データＹｕｖ３の色評価値（Ｙ３［ｉ］，ｕ３［ｉ］，ｖ３［ｉ］）を算出する際に、現像画像データＹｕｖ１の色評価値（Ｙ１［ｉ］，ｕ１［ｉ］，ｖ１［ｉ］）と現像画像データＹｕｖ２の色評価値（Ｙ２［ｉ］，ｕ２［ｉ］，ｖ２［ｉ］）とを用いる。即ち、画像処理回路２０は、次の式により、合成画像データＹｕｖ３の色評価値（Ｙ３［ｉ］，ｕ３［ｉ］，ｖ３［ｉ］）を算出する。

ここで、ブロックの境界部分に生じる色味ずれを緩和するために、ステップＳ４０８でさらに画素補間処理を行うことにより、ブロック毎の合成比率α［ｉ］から画素毎の合成比率α´［ｊ］を算出してもよい。例えば、画像処理回路２０は、画素補間処理としてバイリニア補間を用い、ブロック毎の合成比率α［ｉ］から画素毎の合成比率α´［ｊ］を算出する。このとき、ステップＳ４０９において、画像処理回路２０は、画素毎の合成比率α´［ｊ］を用いて、現像画像データＹｕｖ１と現像画像データＹｕｖ２とを合成し、合成画像データＹｕｖ３を生成する。画像処理回路２０は、合成画像データＹｕｖ３の色評価値（Ｙ３［ｊ］，ｕ３［ｊ］，ｖ３［ｊ］）を算出する際に、現像画像データＹｕｖ１の色評価値（Ｙ１［ｊ］，ｕ１［ｊ］，ｖ１［ｊ］）と現像画像データＹｕｖ２の色評価値（Ｙ２［ｊ］，ｕ２［ｊ］，ｖ２［ｊ］）とを用いる。即ち、画像処理回路２０は、次の式により合成画像データＹｕｖ３の色評価値（Ｙ３［ｊ］，ｕ３［ｊ］，ｖ３［ｊ］）を算出する。

また、画像処理回路２０における計算量を低減するために、色成分であるｕ成分及びｖ成分のみを合成してもよい。例えば、画像処理回路２０は合成画像データＹｕｖ３の色評価値（Ｙ３［ｉ］，ｕ３［ｉ］，ｖ３［ｉ］）を次の式により算出する。

また、上述した画像合成処理において現像画像データはＹｕｖ形式を用いたが、例えば、画像形式としてＲＧＢ形式を用いた場合、ステップＳ４０９において用いた式の代わりに、次の式を用いる。つまり、画像処理回路２０は、第１のＷＢ補正値を用いて現像した現像画像データＲＧＢ１の色評価値（Ｒ１［ｉ］，Ｇ１［ｉ］，Ｂ１［ｉ］）と、第２のＷＢ補正値を用いて現像した現像画像データＲＧＢ２の色評価値（Ｒ２［ｉ］，Ｇ２［ｉ］，Ｂ２［ｉ］）とを算出する。そして、画像処理回路２０は、合成画像データＲＧＢ３の色評価値（Ｒ３［ｉ］，Ｇ３［ｉ］，Ｂ３［ｉ］）を次の式により算出する。

また、上述した画像合成処理では、光源が２種類以上存在する場合に、現像画像データを２枚以上にして合成してもよい。例えば、水銀灯を用いたシーンにおいてストロボ光を発光した場合、画像処理回路２０は、上記第１のＷＢ補正値、第２のＷＢ補正値に加えて、上記第２のＷＢ補正値を決定する方法と同様にストロボ光に対応した第３のＷＢ補正値を決定する。そして画像処理回路２０は、３つのＷＢ補正値をそれぞれ用いて３枚の画像データを現像して画像合成処理を行う。

以上のように、本実施形態によれば、異なる複数の光源が混在するシーンにおいて、主被写体と背景とをともに適正な色味とする画像データを生成し、ユーザにとって好ましい画像を提供することができる。

次に、本発明の他の実施形態について説明する。本実施形態における画像データを合成するまでの処理手順は、上述した実施形態とステップＳ４０８を除いて同様である。

水銀灯を用いたシーンを例にした場合、上述した実施形態では顔が検出されると、図５に示す評価枠５０１及び内枠５０２ではなく、図６に示す評価枠６０１及び内枠６０２を使用して合成比率を算出していた。これに対し、本実施形態では、顔領域を含むブロック乃至は顔領域を含むブロックとその近傍のブロックの合成比率を算出するときのみに評価枠６０１及び内枠６０２を使用し、それ以外は評価枠５０１及び内枠５０２を使用する。これにより、人物とは関係のないブロックに対してより適性にＷＢ補正を行うことができる。

なお、上述した実施形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置であってもよい。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：撮影レンズ、１２：シャッタ、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：画像圧縮・伸長回路、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、４６：バリア制御部、４８：ストロボ、５０：システム制御回路、５２：メモリ、５４：表示部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタスイッチＳＷ１、６４：シャッタスイッチＳＷ２、６６：操作部、８０：電源制御部、８２：コネクタ、８４：コネクタ、８６：電源、９０：インタフェース、９２：コネクタ、９４：インタフェース、９６：コネクタ、９８：記録媒体着脱検知部、１００：画像処理装置、１０２：保護手段、１０４：光学ファインダ、１１０：通信部、１１２：コネクタ（またはアンテナ）、２００：記録媒体、２０２：記録部、２０４：インタフェース、２０６：コネクタ、２１０：記録媒体、２１２：記録部、２１４：インタフェース、２１６：コネクタ

Claims (14)

1. 撮像された画像データにおける第１の光源に対応する第１のホワイトバランス補正値と、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値とを決定する補正値決定手段と、
   前記第１のホワイトバランス補正値に基づいて、前記画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記画像データから第２の画像データを現像する現像手段と、
   前記画像データの色評価値を算出する色評価値算出手段と、
   前記画像データの色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記第１の画像データと前記第２の画像データとの合成比率を決定する合成比率決定手段と、
   前記合成比率決定手段により決定された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成する合成手段とを有することを特徴とする画像処理装置。
2. 前記合成比率決定手段は、前記画像データが所定の条件を満たす場合、前記所定の条件に対応する前記合成比率を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データから所定の領域を検出する検出手段を更に有し、
   前記合成比率決定手段は、前記検出手段により前記画像データから前記所定の領域が検出された場合、前記所定の領域に対応する前記合成比率を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記合成比率決定手段は、前記所定の領域に対応する前記合成比率を、前記所定の領域、又は、前記所定の領域及びその近傍の領域に対して決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記色評価値算出手段は、前記画像データの色評価値をブロック毎に算出し、前記合成比率決定手段は、前記ブロック毎の前記画像データの色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記合成比率を前記ブロック毎に決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記合成比率決定手段は、画素補間処理により、前記ブロック毎の前記合成比率から画素毎の合成比率を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記補正値決定手段は、黒体放射軸を用いたホワイトバランス制御に基づいて、前記第１のホワイトバランス補正値を決定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記補正値決定手段は、光源毎に予め決められた値を用いて、前記第２のホワイトバランス補正値を決定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記画像データにおける光源を推定する推定手段と、
   前記推定手段による光源の推定結果に応じて、前記合成手段による合成処理を行うか否かを判定する判定手段とを更に有することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記色評価値算出手段は、前記画像データの色評価値を算出する際に、飽和画素の画素値と当該画素に対応する別色の画素の画素値とを色平均値の算出に含めないことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記合成手段は、前記第１の画像データと前記第２の画像データとの色成分のみを合成することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記所定の条件は、ユーザによって指定された特殊光源補正度合い、被写体輝度、及び、光源推定の確からしさ、のうちの少なくとも何れか一つに係る条件であることを特徴とする請求項２に記載の画像処理装置。
13. 画像処理装置によって実行される画像処理方法であって、
    撮像された画像データにおける第１の光源に対応する第１のホワイトバランス補正値と、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値とを決定する補正値決定ステップと、
    前記第１のホワイトバランス補正値に基づいて、前記画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記画像データから第２の画像データを現像する現像ステップと、
    前記画像データの色評価値を算出する色評価値算出ステップと、
    前記画像データの色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記第１の画像データと前記第２の画像データとの合成比率を決定する合成比率決定ステップと、
    前記合成比率決定ステップにより決定された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成する合成ステップとを有することを特徴とする画像処理方法。
14. 撮像された画像データにおける第１の光源に対応する第１のホワイトバランス補正値と、前記画像データにおける第２の光源に対応する第２のホワイトバランス補正値とを決定する補正値決定ステップと、
    前記第１のホワイトバランス補正値に基づいて、前記画像データから第１の画像データを現像するとともに、前記第２のホワイトバランス補正値に基づいて、前記画像データから第２の画像データを現像する現像ステップと、
    前記画像データの色評価値を算出する色評価値算出ステップと、
    前記画像データの色評価値と前記第２の光源下の白の色評価値との差分に基づいて、前記第１の画像データと前記第２の画像データとの合成比率を決定する合成比率決定ステップと、
    前記合成比率決定ステップにより決定された前記合成比率に従って、前記第１の画像データと前記第２の画像データとを合成する合成ステップとをコンピュータに実行させるためのプログラム。

Images