JP2010258854A

JP2010258854A - ゲイン算出装置

Info

Publication number: JP2010258854A
Application number: JP2009107541A
Authority: JP
Inventors: Kazunobu Takahashi; 和伸高橋
Original assignee: AOF IMAGING TECHNOLOGY Ltd
Current assignee: AOF IMAGING TECHNOLOGY Ltd
Priority date: 2009-04-27
Filing date: 2009-04-27
Publication date: 2010-11-11

Abstract

【課題】ホワイトバランス処理の精度を向上したゲイン算出装置を提供する。
【解決手段】被写体の輝度に基づいて基本補正値を算出する。基本補正値を、撮影した画像に対するフラッシュ光の寄与度及び被写体の撮影状況に応じて重み付けして最終寄与度を算出する。最終寄与度に基づいてホワイトバランスゲインを算出する。ホワイトバランスゲインを、被写体の輝度、フラッシュ光の寄与度、及び、被写体の撮影状況に応じて設定できるので、フラッシュ撮影時のホワイトバランスゲインの算出精度を向上できる。
【選択図】図１

Description

本発明は、少なくともフラッシュ撮影された画像に対するホワイトバランスゲインを算出するゲイン算出装置に関する。

従来、カメラの分野では、画像を撮影した際の光源の種類(色温度)などに応じて画像の色を補正するホワイトバランス(ＷＢ)技術が用いられている。このようなホワイトバランス技術においては、例えばフラッシュ(ストロボ)撮影時、周辺光及びフラッシュ光の寄与度を推定して、その推定された寄与度に応じてホワイトバランスゲインを調整する。そして、フラッシュ光の寄与度を推定する際には、被写体距離及びフラッシュ光に関する情報の他に、撮影された画像から算出した被写体の輝度を用いることにより、フラッシュ光の寄与度の推定精度を向上できる(例えば、特許文献１及び２参照。)。

しかしながら、周辺光とフラッシュ光との最適なバランスは、被写体の撮影状況、すなわちシーンに応じて異なっている。このため、上述のようなフラッシュ光の寄与度の推定方法では、シーンに応じた最適なホワイトバランスゲインを設定することが容易でないという問題点を有している。

この点、例えば画像中の人の顔の有無を検出し、その検出した人の顔の白目の色が正しくなるようにホワイトバランスを制御する方法が知られている(例えば、特許文献３参照。)。しかしながら、このような方法では、ホワイトバランスの制御が人の白目の色に限定され、汎用性に乏しいという問題点を有している。

特開２００７−１８４７２９号公報 (第７−１３頁、図２) 特開２００８−７９１４３号公報 (第１０−１６頁、図３) 特開２００８−１８２３６８号公報 (第５−７頁、図３−４)

上述のように、従来の技術では、フラッシュ撮影時の最適なホワイトバランスゲインの算出が容易でないという問題点を有している。

本発明は、このような点に鑑みなされたもので、フラッシュ撮影時のホワイトバランスゲインの算出精度を向上したゲイン算出装置を提供することを目的とする。

請求項１記載のゲイン算出装置は、少なくともフラッシュ撮影された画像に対するホワイトバランスゲインを算出するゲイン算出装置であって、被写体の輝度に基づいて基本補正値を算出する基本補正値算出手段と、この基本補正値算出手段により算出した基本補正値を、撮影された画像に対するフラッシュ光の寄与度及び被写体の撮影状況に応じて重み付けした最終寄与度を算出する最終寄与度算出手段と、この最終寄与度算出手段により算出した最終寄与度に基づいてホワイトバランスゲインを算出するゲイン算出手段とを具備したものである。

請求項２記載のゲイン算出装置は、請求項１記載のゲイン算出装置において、最終寄与度算出手段は、基本補正値算出手段により算出した基本補正値を、撮影された画像に対するフラッシュ光の寄与度及び画像中の顔の有無に応じて重み付けして最終寄与度を算出するものである。

請求項３記載のゲイン算出装置は、請求項１または２記載のゲイン算出装置において、最終寄与度算出手段は、撮影された画像中に顔が検出されたとき、周辺光の寄与度を相対的に低減して最終寄与度を算出するものである。

請求項１記載のゲイン算出装置によれば、被写体の輝度に基づいて算出した基本補正値を、撮影された画像に対するフラッシュ光の寄与度及び被写体の撮影状況に応じて重み付けした最終寄与度を算出し、この最終寄与度に基づいてホワイトバランスゲインを算出することで、ホワイトバランスゲインを、被写体の輝度、フラッシュ光の寄与度、及び、被写体の撮影状況に応じて設定できるので、フラッシュ撮影時のホワイトバランスゲインの算出精度を向上できる。

請求項２記載のゲイン算出装置によれば、請求項１記載のゲイン算出装置の効果に加えて、算出した基本補正値を、撮影された画像に対するフラッシュ光の寄与度及び画像中の顔の有無に応じて重み付けして最終寄与度を算出することで、画像中に顔を検出した場合と検出しない場合とに応じて適切にホワイトバランスゲインを算出できる。

請求項３記載のゲイン算出装置によれば、請求項１または２記載のゲイン算出装置の効果に加えて、撮影された画像中に顔が検出されたとき、周辺光の寄与度を相対的に低減して最終寄与度を算出することで、画像中に顔を検出した場合のホワイトバランスゲインの算出精度をより向上できる。

本発明の一実施の形態のゲイン算出方法を示すフローチャートである。同上ゲイン算出装置を備えたカメラのブロック図である。

以下、本発明の一実施の形態の構成を、図面を参照して説明する。

図２において、10はカメラで、このカメラ10は、いわゆるデジタルスチルカメラであり、撮像手段12で撮影した画像データを、デジタルデータとして記録媒体14に記録するものである。そして、このカメラ10は、ケース20を備え、このケース20に、絞り装置21、レンズ22、フラッシュ装置23、電荷結合素子(ＣＣＤ)である撮像手段12、二重相関サンプリング回路(ＣＤＳ)24、増幅回路(ＡＭＰ)25、アナログデジタル変換器(Ａ／Ｄ)26、第１の画像データメモリ27、画像データ処理部28、第２の画像データメモリ29、圧縮伸長回路31、タイミングジェネレータ(ＴＧ)32、メモリコントローラ33、ＣＰＵを備えた制御手段34、及び、図示しない電源回路などが収納されている。また、制御手段34には、作業用のＲＡＭや予め設定された値あるいはプログラムなどを記録したＲＯＭなどのメモリ35が接続されている。さらに、このケース20には、液晶パネル(ＬＣＤ)である表示装置36及び操作部37などが備えられている。そして、このカメラ10は、制御手段34が、増幅回路25、圧縮伸長回路31、及びメモリコントローラ33をそれぞれ制御する。また、このカメラ10は、制御手段34が、メモリコントローラ33を介して第１の画像データメモリ27、及び第２の画像データメモリ29を制御する。さらに、このカメラ10は、制御手段34の制御部であるＡＥ／ＡＦ／フラッシュ制御部41が、絞り装置21、レンズ22、フラッシュ装置23、及びタイミングジェネレータ32をそれぞれ制御する。また、このカメラ10は、ＡＥ／ＡＦ／フラッシュ制御部41が、タイミングジェネレータ32を介して、撮像手段12、二重相関サンプリング装置回路24、及びアナログデジタル変換器26をそれぞれ制御する。さらに、このカメラ10は、制御手段34のゲイン算出装置としてのゲイン取得部であるホワイトバランスゲイン取得部42が、画像データ処理部28を制御する。また、このカメラ10は、制御手段34の特性取得部であるブロック特性取得部43が、第１の画像データメモリ27に記録された画像データを取得し、この取得した画像データをホワイトバランスゲイン取得部42と、撮影状況判定手段であるシーン判定部44とにそれぞれ供給する。

そして、このカメラ10は、絞り装置21及びレンズ22を介して取り込まれた被写界光を撮像手段12で電気信号に変換する。この電気信号の変換のタイミングは、タイミングジェネレータ32により制御される。そして、撮像手段12から出力された電気信号は、二重相関サンプリング回路24で信号処理され、増幅回路25により増幅処理された後、アナログデジタル変換器26でデジタルデータに変換される。そして、このデジタルデータは、画像データとして第１の画像データメモリ27に一時記録される。そして、第１の画像データメモリ27に一時記録された画像データは、画像データ処理部28のＲＧＢ分離部46により多数のＲ(赤)、Ｇ(緑)、Ｂ(青)の画素の輝度データ(階調値)に分離される。分離されたデータは、ホワイトバランス(ＷＢ)処理部47、γ補正部48及び色補正部49に順次送られ、所定の画像処理が施される。このうち、ホワイトバランス処理部47では、制御手段34のホワイトバランスゲイン取得部42で算出されたホワイトバランスゲイン、すなわちＲゲイン、Ｇゲイン及びＢゲインを、対応する色成分データに乗算することによりホワイトバランス処理を行う。

画像処理が施された画像データは、表示装置36で表示されるとともに、第２の画像データメモリ29に記録される。さらに、第２の画像データメモリ29に記録された画像データは、圧縮伸長回路31で圧縮処理され、記録媒体14に画像データとして記録される。なお、この記録媒体14に記録された画像データは、操作者からの指示に応じて、圧縮伸長回路31で伸長処理された後、表示装置36で表示できる。

そして、このカメラ10は、使用者が操作部37を操作することにより、状態が切り替えられ、例えば本撮影前のプレビューモードでは、撮像手段12は一定間隔で連続的に電気信号を出力し、画像データ処理部28から出力された画像データが表示装置36に表示される。そして、制御手段34は、自動露出制御(ＡＥ)として、適正露出となるように絞り装置21の開口度を制御するとともに、撮像手段12の露光時間を設定し、また、自動焦点制御(ＡＦ)として、目的の被写体の像が撮像手段12で焦点を結ぶようにレンズ22を制御する。

ここで、制御手段34のＡＥ／ＡＦ／フラッシュ制御部41は、ブロック特性取得部43により解析された第１の画像データメモリ27に記録された画像データを利用し、自動的に、あるいは操作者の操作部37の操作に応じて、自動露出制御及び自動焦点制御を行う。すなわち、ブロック特性取得部43は、多数の画素の輝度データからなる画像データを縦横所定数のブロックに分割し、ブロック毎にＲＧＢの輝度データ及び色データの平均値などを算出し、ブロック毎の輝度データ及び色データなどのブロック特性を算出する。そして、ＡＥ／ＡＦ／フラッシュ制御部41は、ブロック特性取得部43により算出されたブロック特性を用いてシーン判定部44にて撮影状況(シーン)及び被写体の位置(距離)などに基づいて算出された適正な露光量、レンズ駆動量、フラッシュ照射のタイミング及び照射量などにより、被写体に応じた適切な自動露出制御及び自動焦点制御を行う。すなわち、ＡＥ／ＡＦ／フラッシュ制御部41は、得られた露光量などに基づいてタイミングジェネレータ32のタイミング制御を制御し、得られたレンズ駆動量に応じてレンズ22の駆動を制御し、得られたフラッシュ照射のタイミングや照射量に基づいてフラッシュ装置23を制御する。

そして、使用者が操作部37のシャッタボタン(レリーズスイッチ)を半押し操作することにより、撮影準備の状態となり、露出及び焦点を確定し、さらに、使用者が操作部37のシャッタボタンを全押し操作することにより、本撮影の状態となり、必要に応じてフラッシュ装置23が制御手段34のＡＥ／ＡＦ／フラッシュ制御部41により設定されたタイミング及び照射量でフラッシュ光を被写体に向けて照射して被写界の光量不足を補い、撮像手段12は制御手段34に制御された所定の露光時間だけ露光を行い、蓄積した電荷による電気信号を出力し、第１の画像データメモリ27を介し、画像データ処理部28で処理された画像データを第２の画像データメモリ29を介して記録媒体14に記録する。

ここで、制御手段34は、第１の画像データメモリ27あるいは第２の画像データメモリ29に記録された画像データを解析して画像データの状況を把握し、自動的に、あるいは操作者の操作部37の操作に応じて、画像データ処理部28を制御し、ホワイトバランス補正、γ補正及び色補正などの適切な画像データ処理を行い、好ましい画像データを提供する。

ホワイトバランスゲイン取得部42は、ゲイン算出手段であるゲイン算出部51と、基本補正値算出手段及び最終寄与度算出手段を構成する寄与度算出部52とを備えている。

ゲイン算出部51は、撮影された画像データ及びメモリ35に記憶されている基準ゲインテーブルなどに基づいて、ホワイトバランスゲインを算出する。また、このゲイン算出部51は、フラッシュ撮影された場合には、寄与度算出部52により算出されたフラッシュ光の寄与度も加味してホワイトバランスゲインを算出する。

また、寄与度算出部52は、フラッシュ撮影した際のフラッシュ光の寄与度、すなわち、周辺光とフラッシュ光との混在度を推定して算出する。その際、寄与度算出部52は、シーン判定部44により判定した撮影情況に応じて寄与度を補正する。

なお、画像データ処理部28及び制御手段34の各部は、便宜的にブロックとして分離したものであり、いずれかが互いに一体となっている構成でもよいし、制御手段34と画像データ処理部28との一方のブロックが他方に適宜組み込まれていてもよい。

次に、上記一実施の形態のホワイトバランスゲイン取得部42によるホワイトバランスゲインの算出方法を図１のフローチャートを参照して説明する。

まず、寄与度算出部52では、被写体の輝度により基本補正値BSCを算出する(ステップ１)。この計算には、周知の各種技術を用いることができるので、ここでは一例を簡単に説明する。

寄与度算出部52では、ブロック特性取得部43により取得されたブロック特性から、フラッシュ光の色に類似するブロックを検出し、それらブロックの中で最も高輝度のブロックをフラッシュ色ブロックとして特定する。このようなフラッシュ色ブロックが特定された場合には、このフラッシュ色ブロックの位置に基づいて仮寄与度を算出し、この仮寄与度に対して、このフラッシュ色ブロックと他のブロックとの輝度差などに基づいて重み付けして基本補正値BSCとする。また、フラッシュ色ブロックが特定されない場合には、複数のブロックのうち輝度データが最も高い最高輝度ブロックの位置に基づいて仮寄与度を算出し、この仮寄与度に対して適宜重み付けして基本補正値BSCとする。

次いで、寄与度算出部52では、被写体距離に基づいて補正係数DWを算出する(ステップ２)。一般に、被写体距離が遠くなるほどフラッシュ光の寄与度が小さくなることが予想される。そのため、このステップ２では、被写体距離が大きくなるほど値が小さくなるような関数、あるいはテーブルを予めメモリ35に用意しておき、被写体距離に対応した関数値あるいはテーブル値を補正係数DWとする。

さらに、寄与度算出部52では、フラッシュ光の照射前後での環境輝度に基づいて補正係数LWを算出する(ステップ３)。一般に、フラッシュ光の照射前後で、環境輝度が大きく変化した場合にはフラッシュ光の寄与度は高いと考えられる。逆に、フラッシュ光の照射前後で、環境輝度が大きく変化しない場合には、フラッシュ光は被写体に殆ど到達しない、あるいは被写界に影響を与えないことが予想される。したがって、このステップ３では、フラッシュ光の照射前、及び、フラッシュ光の照射時のそれぞれの撮影画像の平均輝度値を算出し、その輝度差に基づいて補正係数LWを算出する。

ここで、フラッシュ照射前の撮影画像としては、例えばプレビュー画像を用いることができる。プレビュー画像は、一定間隔で随時取得されるため、これらプレビュー画像のうち、フラッシュ撮影の直前に取得されたプレビュー画像、すなわち、操作者によりシャッタボタンの全押し動作がなされる直前に取得されたプレビュー画像を用いることにより、フラッシュ照射前の撮影画像を得ることができる。

そして、寄与度算出部52では、フラッシュ照射前のプレビュー画像と、フラッシュ照射時の撮影画像とがそれぞれ得られれば、まず、各画像の平均輝度値を算出し、さらにそれらの輝度差を算出する。この輝度差が大きいほど、フラッシュ光の寄与度が大きいと考えられるため、輝度差が大きいほど補正係数LWは大きくなるように算出される。具体的には、予め輝度差が大きいほど大きくなるような関数、あるいはテーブルをメモリ35に用意しておき、プレビュー画像とフラッシュ撮影画像との平均輝度値の差に対応した関数値あるいはテーブル値を補正係数LWとする。なお、上記補正係数LWを求める際には、プレビュー画像の平均輝度値を用いてフラッシュ照射前の環境輝度を推定したが、フラッシュ照射前の環境輝度が推定できる値であれば、例えばフラッシュ発光を行うか否かの輝度値、すなわちフラッシュ発光条件輝度値など、任意の値をフラッシュ照射前の環境輝度値として用いてもよい。

そして、シーン判定部44では、被写体の撮影状況(シーン)を検出し(ステップ４)、この検出した撮影状況に応じて補正係数SWを算出する(ステップ５)。ステップ４に示すシーン判定には、周知の各種技術を用いることができるので、ここでは一例を簡単に説明する。

シーン判定部44でのシーン判定は、例えば人物撮影に好適なポートレートシーン、夜景中での人物撮影に好適な夜景ポートレートシーン、逆光下での撮影に好適な逆光シーン、花などの撮影に好適なフラワーシーン、夜景の撮影に好適な夜景シーン、あるいは、これらシーンのいずれにも該当しない通常シーンのいずれであるかを判断する。

ここで、シーン判定部44は、操作者による操作部37の操作により手動で撮影状況が設定されている場合には、その設定された撮影状況を、上記判定の結果とする。また、操作者により手動で撮影状況が設定されていない場合には、撮影状況を自動判定する。

この自動判定は、例えば被写体距離、環境輝度、画像中の人物(顔)の有無、光源の種類、光源と主要被写体との関係、及び、各撮影状況において特徴的となる被写体が存在するかどうか(例えばフラワーシーンでは画像中に花が存在するかどうか)などに基づいてシーン判定部44により行われる。

そして、シーン判定部44では、これら判定した撮影状況に応じて補正係数SWを算出する。この補正係数SWは、例えば判定した撮影状況のそれぞれに対応して予めメモリ35に用意された固定値とする。

具体的に、例えばポートレートシーン、夜景ポートレートシーン及びフラワーシーンなど、被写体が重視される撮影状況においては、フラッシュ光が被写体に比較的強く当たるため、補正係数SWを相対的に大きい値とする。また、例えば周辺光の影響が比較的強い逆光シーンでは、フラッシュ光の寄与度を高くすると画像に違和感が生じるおそれがあるため、補正係数SWを中程度の値とする。さらに、例えばフラッシュ光が被写体に届きにくい夜景シーンでは、補正係数SWを相対的に小さい値とする。そして、シーン判定部44がこれらの撮影状況のいずれにも該当しない通常シーンと判定した場合には、補正係数SWを、例えば夜景シーンと同程度の相対的に小さい値とする。

なお、ステップ１ないしステップ３は、それぞれ任意の順番とすることができ、また並行して行うこともできる。同様に、ステップ４及びステップ５は、ステップ１ないしステップ３のそれぞれと任意の順番とすることができ、また並行して行うこともできる。

この後、寄与度算出部52では、最終寄与度FSCを算出する(ステップ６)。この最終寄与度FSCは、ステップ１で算出した基本補正値BSCに対してステップ２で算出した補正係数DWにより距離に応じた重み付けをした値と、ステップ１で算出した基本補正値BSCに対してステップ３で算出した補正係数LWにより発光輝度差に応じた重み付けをした値との加算平均値に対して、ステップ５で算出した補正係数SWにより撮影情況に応じた重み付けをしたものである。すなわち、この最終寄与度FSCは、次式で表される。

FSC＝(((BSC・DW)＋(BSC・LW))／２)・SW

そして、ゲイン算出部51では、ステップ６において寄与度算出部52で算出した最終寄与度FSCに基づいてホワイトバランスゲインを算出する(ステップ７)。このホワイトバランスゲインの算出の際には、例えば、まず、ブロック特性取得部43により取得された各ブロック特性に基づいて、各ブロックの光源種類及び信頼度(対応する光源種類の光が照射されている可能性)を算出し、光源種類毎に信頼度の加算値を算出して重み係数とする。ここで、フラッシュ光の重み係数に対しては、上記最終寄与度FSCを乗算する。また、画像中に顔を検出した場合には、周辺光の重み係数に対して所定値を乗算して重み付けし、この周辺光の寄与度を相対的に小さくする。次いで、光源種類毎の重み係数と予め設定された光源種類毎の基準ゲイン値との加重平均値(予め設定された光源種類毎の基準ゲイン値に光源種類毎の重み係数で重み付けをした値の加算平均値)とを算出し、この加重平均値をＲＧＢ値に変換することにより、フラッシュ光の寄与度を考慮したホワイトバランスゲインが得られる。

上述したように、上記一実施の形態によれば、被写体の輝度に基づいて算出した基本補正値BSCを、撮影された画像に対するフラッシュ光の寄与度及び被写体の撮影状況に応じて重み付けした最終寄与度FSCを算出し、この最終寄与度FSCに基づいてホワイトバランスゲインを算出することで、ホワイトバランスゲインを、被写体の輝度、フラッシュ光の寄与度、及び、被写体の撮影状況に応じて設定できるので、フラッシュ撮影時のホワイトバランスゲインの算出精度を向上できる。

また、撮影された画像中に顔が検出されたとき、周辺光の寄与度を相対的に低減して最終寄与度を算出することで、画像中に顔を検出した場合のホワイトバランスゲインの算出精度をより向上できる。

例えば、一般にフラッシュ光の青成分が強いことにより、人物をポートレートシーンでフラッシュ撮影したホワイトバランス処理前の画像中では、フラッシュ光が主として作用する人物の顔色や服などに青色が強く出る。これに対して、上記のように撮影状況に応じてホワイトバランスを補正することにより、人物の顔色や服において、青成分が相対的に弱く、青成分の補色である黄成分が強い周辺光が主として作用する背景において、黄成分が相対的に強くなる補正なども可能となり、撮影状況(被写体の種類)に対応した、より自然な補正が可能になる。

この結果、被写体の撮影状況及び種類に適したホワイトバランス処理が可能となり、より自然な(操作者が撮影したい画像の感覚に近い)画像を撮影できる。

なお、上記一実施の形態において、図１に示すステップ４及びステップ５に代えて、撮影された画像中に顔があるかどうかを検出するステップと、撮影された画像中に顔がある場合と撮影された画像中に顔がない場合とで補正係数SWを異なる値に設定するステップを備えていてもよい。すなわち、算出した基本補正値BSCを、撮影された画像に対するフラッシュ光の寄与度及び画像中の顔の有無に応じて重み付けして最終寄与度を算出することで、画像中に顔を検出した場合と検出しない場合とに応じて適切にホワイトバランスゲインを算出できる。

本発明は、フラッシュ機能を有するデジタルスチルカメラ、あるいはデジタルビデオなどに好適に用いられる。

42 ゲイン算出装置としてのホワイトバランスゲイン取得部
51 ゲイン算出手段であるゲイン算出部
52 基本補正値算出手段及び最終寄与度算出手段を構成する寄与度算出部

Claims

少なくともフラッシュ撮影された画像に対するホワイトバランスゲインを算出するゲイン算出装置であって、
被写体の輝度に基づいて基本補正値を算出する基本補正値算出手段と、
この基本補正値算出手段により算出した基本補正値を、撮影された画像に対するフラッシュ光の寄与度及び被写体の撮影状況に応じて重み付けした最終寄与度を算出する最終寄与度算出手段と、
この最終寄与度算出手段により算出した最終寄与度に基づいてホワイトバランスゲインを算出するゲイン算出手段と
を具備したことを特徴とするゲイン算出装置。
最終寄与度算出手段は、基本補正値算出手段により算出した基本補正値を、撮影された画像に対するフラッシュ光の寄与度及び画像中の顔の有無に応じて重み付けして最終寄与度を算出する
ことを特徴とする請求項１記載のゲイン算出装置。
最終寄与度算出手段は、撮影された画像中に顔が検出されたとき、周辺光の寄与度を相対的に低減して最終寄与度を算出する
ことを特徴とする請求項１または２記載のゲイン算出装置。