JP2009063674A - 撮像装置及びフラッシュ制御方法 - Google Patents

Abstract

【課題】 逆光またはトップライト現象が起きている場合であっても、被写体と背景の露出が共に適正な画像を得ること。
【解決手段】 撮像素子（１０１）から得られる画像信号から顔領域を検出する顔検出部（１１４）と、前記撮像素子を複数に分割した各分割領域の内、前記顔検出部により検出された顔領域に対応する前記分割領域の画像信号が示す輝度が、予め設定された条件を満たしているかどうかを判定する判定手段（１１５）と、光源を推定する推定手段（１０３、１１５）と、前記予め設定された条件を満たしている場合であって、且つ、前記推定された光源が予め設定された光源である場合に、フラッシュ撮影を行うことを決定する決定手段（１１５）と、前記決定手段によりフラッシュ撮影を行うと決定された場合に、フラッシュを発光するように制御する制御手段（１１５）とを有する。
【選択図】 図１

Description

本発明は撮像装置及びフラッシュ制御方法に関し、更に詳しくは、撮影した画像から検出した顔領域に応じて、フラッシュの発光制御を行う撮像装置及びフラッシュ制御方法に関する。

従来、デジタルカメラにおいて、撮影して得られた画像データに基づいて自動的に露出を決定する自動露出制御機能を備えた撮像装置がある。自動露出制御の為に行われる測光方式として、例えば、画面全体を考慮して行う測光や、画面内の測光領域を複数のブロックに分割し、各ブロックの測光を行う多分割測光がある。他にも、画面の中央部に重点を置いて測光を行う中央重点測光や、画面の中央部の任意の範囲のみ測光するスポット測光などがある。しかしながら、これらの測光方式では、一般的に主被写体となることが多い、人物を適正に露光できないことがあった。

そこで、主被写体の輝度が適正になるようにするために、ユーザーに主被写体が存在するエリアを指示させ、指示されたエリアの輝度に合わせて露出を調節するものがある。更に、撮影して得られた画像データの中から形状解析等の手法によって主被写体として例えば顔を自動的に検出し、検出された顔が適正な露出になるように、露出制御を行うカメラが提案されている（例えば、特許文献１を参照）。このカメラでは、画面全体の輝度が適正でも、顔が露出アンダーであれば画面全体を明るくし、顔がオーバーであれば画面全体を暗くする。このように、どのようなシーンにおいても、主被写体の輝度が適正になるように撮影を行うことができる。

また、フラッシュ撮影時においても、テスト発光して得た画像から顔を検出し、顔領域が適正な露出になるように露出制御を行うカメラも提案されている（例えば、特許文献２を参照）。

更に、逆光であるかどうかを判断し、逆光であると判断した場合に、自動的にフラッシュ撮影を行う撮像装置も従来市販されている。

特開２００３−１０７５５５号公報 特開２００４−１８４５０８号公報

しかしながら、上記特許文献１に開示されている方法では、検出した顔の輝度が適正になるように露出を制御するため、顔の輝度は適正になっても、背景の露出がオーバーまたはアンダーになってしまうことがある。図９は、顔が露出アンダーで背景がオーバーである場合に、顔の輝度が適正になるように露出制御することにより、背景のオーバーが悪化する例を示している。このような場合、画像全体として見た場合には失敗画像となってしまうといった問題があった。

また、逆光時に自動的にフラッシュ撮影を行う撮像装置では、上部からの照明（トップライト）により顔領域に影が生じる現象（以下、「トップライト現象」と呼ぶ。）では顔の一部が明るいために「逆光」と判断されないことがあった。その結果、フラッシュ撮影が行われず、顔の輝度が十分とならない場合があった。例えば、日中の屋外で帽子を被った場合には、逆光でなくても顔領域に大きく影が生じ、顔が暗く写ってしまうことがある。

また、特許文献２に開示されている発明では、日中の屋外で人物撮影を行う通常の撮影ではフラッシュ撮影が必要であると判断されず、逆光時やトップライト現象が起きている場合には顔が暗く写ってしまう。

本発明は上記問題に鑑みてなされたものであり、本発明の撮像装置は、撮像素子から得られる画像信号から顔領域を検出する顔検出手段と、前記撮像素子を複数に分割した各分割領域の内、前記顔検出手段により検出された顔領域に対応する前記分割領域の画像信号が示す輝度が、予め設定された条件を満たしているかどうかを判定する判定手段と、光源を推定する推定手段と、前記検出された顔領域に対応する前記分割領域の内、予め設定された割合の前記分割領域の輝度が露出アンダーを示している場合であって、且つ、前記推定された光源が予め設定された光源である場合に、フラッシュ撮影を行うことを決定する決定手段と、前記決定手段によりフラッシュ撮影を行うと決定された場合に、フラッシュを発光するように制御する制御手段とを有する。

また、本発明のフラッシュ制御方法は、撮像素子から得られる画像信号から顔領域を検出する顔検出工程と、前記撮像素子を複数に分割した各分割領域の内、前記顔検出工程で検出された顔領域に対応する前記分割領域の画像信号が示す輝度が、予め設定された条件を満たしているかどうかを判定する判定工程と、光源を推定する推定工程と、前記検出された顔領域に対応する前記分割領域の内、予め設定された割合の前記分割領域の輝度が露出アンダーを示している場合であって、且つ、前記推定された光源が予め設定された光源である場合に、フラッシュ撮影を行うことを決定する決定工程と、前記決定工程でフラッシュ撮影を行うと決定された場合に、フラッシュを発光するように制御する制御工程とを有する。

本発明によれば、逆光またはトップライト現象が起きている場合であっても、被写体と背景の露出が共に適正な画像を得ることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、画像処理装置の一例として、本発明の第１の実施形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。

図１において、１０１はＣＣＤセンサやＣＭＯＳセンサ等から成る固体撮像素子であり、その表面は、例えばベイヤー配列のＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。１０２はメモリで、撮像素子１０１から得られた画像信号を一旦記憶する。

１１４は顔検出部であり、メモリ１０２に記憶された画像信号から、顔領域を検出する。なお、顔領域を検出する技術としては様々な手法が提案されており、顔の位置およびサイズ情報を取得できればどのような手法を用いてもよく、本発明は、顔検出の手法により制限されるものではない。例えば、ニューラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば、特開平１０−２３２９３４号公報、特開２０００−４８１８４号公報を参照）。他に、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。

ここで、顔検出の手法として、パターン認識の一つであるテンプレートマッチングについて説明する。パターン認識とは、観測されたパターンをあらかじめ定められた概念（クラス）の一つに対応させる処理である。図２は、パターン認識処理のフローチャートであり、顔検出部１１４によって実行される。

先ず、メモリ１０２から画像データを読み出して前処理し（ステップＳ１）、前処理された画像データから特徴的部分のパターンを抽出する（ステップＳ２）。そして、抽出されたパターンをテンプレート（標準パターン）に対応させる（テンプレートマッチング）。例えば、図３に示すように特徴的部分のパターン６３が抽出された場合、テンプレート６１の中心点６２を取得したパターン６３のある座標点（ｉ，ｊ）に置く。そして、中心点６２のパターン６３における位置をずらしながら、テンプレート６１とパターン６３との重なり部分の類似度を計算していき、類似度が最大になる位置を決定する。パターン６３を例えば目や耳等の形状を含むテンプレート６１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。

このようにして、認識パターンを取得して（ステップＳ３）、取得した認識パターンを出力し（ステップＳ４）、パターン認識処理を終了する。

図１の説明に戻る。ＣＰＵ１１５では、顔検出部１１４から送られた信号に基づいて、顔が検出されていれば、顔が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算し、また顔に合焦するようにフォーカスレンズ駆動量を計算する。更に、フラッシュ１１６の発光／非発光の判断も行う。一方、顔が検出されていなければ、ＣＰＵ１１５は画像全体が最適な明るさになるようなシャッタースピードＴｖ、絞り値Ａｖを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズ駆動量を計算する。ＣＰＵ１１５で計算された露出値（Ｔｖ、Ａｖ）及びフォーカスレンズ駆動量、フラッシュ１１６の発光／非発光の判断結果は制御回路１１３に送られる。そして、これら各値に基づいて不図示のレンズや絞り、シャッター、撮像素子１０１、フラッシュ１１６がそれぞれ制御される。

１０３はホワイトバランス（ＷＢ）制御部であり、メモリ１０２に記憶された画像信号及び顔検出部１１４から得られる顔情報に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正を行う。なお、このＷＢ制御部１０３で用いられるＷＢ補正値の算出方法については、詳細に後述する。

１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する色変換マトリックス（ＭＴＸ）回路である。１０５は色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するローパスフィルタ（ＬＰＦ）回路、１０６はＬＰＦ回路１０５で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するＣＳＵＰ（Chroma Supress）回路である。

一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成され、生成された輝度信号Ｙに対してエッジ強調回路１１２にてエッジ強調処理が施される。

ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ補正回路１０８にて階調補正が施される。その後、色輝度変換回路１０９にてＹＵＶ信号に変換され、更に圧縮回路１１０にて例えばＪＰＥＧ圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。

次に、本実施の形態におけるＷＢ補正値の算出方法について図４を参照して説明する。

まず、ＷＢ制御部１０３はメモリ１０２に記憶された画像信号を読み出し、その画面を図５のような任意のm個のブロック（分割領域）に分割する（ステップＳ１０１）。そして、各ブロック（１〜ｍ）毎に、画素値を色毎に加算平均して色平均値（R[i]、G[i]、B[i]）を算出し、式（１）を用いて色評価値（Cx[i]、Cy[i]）を算出する（ステップＳ１０２）。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …（１）
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号

次に、ステップＳ１０２で算出したｉ番目のブロックの色評価値（Cx[i]、Cy[i]）が、図６に示す予め設定した白検出範囲３０１に含まれるかどうかを判断する（ステップＳ１０３）。白検出範囲３０１は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。図６におけるｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧ成分が大きくなり、つまり光源が蛍光灯であることを示している。

図６のＡ領域は外光（Daylight）時の白分布であり、Ｂ領域はタングステンなどの低色温度光源分布、Ｃ領域は蛍光灯類の分布である。算出した色評価値（Cx[i]、Cy[i]）がこの白検出範囲３０１に含まれる場合には（ステップＳ１０３でＹＥＳ）そのブロックが白色であると判断する。この時、各ブロックがどの領域に多く含まれるかにより、照明を推定することができる。従って、ＷＢ制御部１０３が推定手段を構成している。そして、そのブロックの色平均値（R[i]、G[i]、B[i]）を積算していき（ステップＳ１０４）、含まれない場合には加算せずにステップＳ１０５に進む。このステップＳ１０３及びステップＳ１０４の処理は、式（２）により表すことができる。

ここで、式（２）において、色評価値（Cx[i]、Cy[i]）が白検出範囲３０１に含まれる場合はSw[i]を１に、含まれない場合にはSw[i]を０とする。このようにして、ステップＳ１０３の判断により色平均値（R[i]、G[i]、B[i]）の加算を行うか、行わないかの処理を実質的に行っている。
ステップＳ１０５では、全てのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップＳ１０２に戻って上記処理を繰り返し、全てのブロックの処理が終了していればステップＳ１０６に進む。

ステップＳ１０６では、得られた色評価値の積分値（sumR、sumG、sumB）から、以下の式（３）を用いて、ＷＢ補正値（WBCo1_R、WBCo1_Ｇ、WBCo1_Ｂ）を算出する。
WBCo1_R = sumY × 1024 / sumR
WBCo1_G = sumY × 1024 / sumG …（３）
WBCo1_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4

次に、本実施の形態におけるフラッシュ１１６の発光制御処理について図７のフローチャートを参照して説明する。この図７に示す処理は、撮影前の電子ビューファインダ（ＥＶＦ）用画像取得時に画像全体の露出が適正となるように制御されている場合に、不図示のシャッターボタンをユーザが操作することによる撮影指示に応じて、ＣＰＵ１１５の制御により実行される。即ち、ＣＰＵ１１５が判定手段、決定手段、制御手段として機能する。

先ず、ステップＳ２０１においてメモリ１０２に記憶された画像信号を読み出し、ステップＳ２０２において、顔検出部１１４により顔が検出されたか否かを判定する。顔が検出されなかった場合は、ステップＳ２０８に進んで通常撮影を行う。

一方、顔が検出された場合、顔検出部１１４は、メモリ１０２にから読み出した画像信号の内、顔領域の画像信号を抽出してＣＰＵ１１５に送り、ＣＰＵ１１５では、送られた画像信号の輝度値を、図５に示す各ブロック毎に算出する。算出された輝度信号Ｙの内、顔領域の輝度値を抽出し（ステップＳ２０３）、顔領域における暗部の割合が、閾値を超えているかどうかを判定する（ステップＳ２０４）。ここで行われる判定について、以下に説明する。

本実施の形態では、顔検出部１１４で検出された顔領域について、図５に示すブロック毎に輝度値を算出し、算出した輝度値が露出アンダーであるかどうかを判断することにより、顔領域の暗部を検知する。逆光状態では、画面全体を適正露出にした場合、図８（ａ）に示すように顔領域全体が露出アンダーになり、トップライト現象で顔の一部に影が生じている場合は、図８（ｂ）に示すように顔領域の一部が露出アンダーになる。逆光の場合は顔領域全体が暗くなるので容易に逆光の可能性があると判断できる。トップライトの場合は、顔領域において暗分が占める割合で判断する。すなわち、顔領域のあるブロックが暗部と判定され、顔領域における暗部と判定されたブロックの割合が、例えば、２割以上、８割以下である場合に、トップライト現象が起きている可能性があると判断することができる。トップライト現象を判断するための暗部ブロックの割合については、２割以上８割以下で無くても良く、顔の大きさや構図に応じて、或いは実験によって得られた好適な数値に設定しても良い。

ステップＳ２０４で暗部の割合が閾値を超えていない場合は、ステップＳ２０８に進んで、通常撮影を行い、超えている場合はステップＳ２０５に進む。

ステップＳ２０５では、ＷＢ制御部１０３はＷＢ補正値を算出する。先にも述べたように、日中の屋外で人物撮影を行う通常の撮影では、画面全体の輝度が十分に高くフラッシュ撮影が必要であると判断されないため、逆光時やトップライト現象が起きている場合には顔がアンダーに撮影されてしまう。ＷＢ制御部１０３におけるホワイトバランス演算結果を逆光、トップライト現象の判断基準として適用する。上述したように、白ブロックを検出する時に、撮影下の光源を予測することができる。例えば、「白点」であると判断されたブロックが、図６の領域Ａに多く分布している場合には、日中の日向のような外光（Daylight）下で撮影が行われていると判断する。従って、ホワイトバランス演算の結果、ＷＢ制御部１０３において日中の日向（Daylight）と判断された場合に（ステップＳ２０６でＹＥＳ）、逆光またはトップライト現象が起きていると判断する。そして、ステップＳ２０７に進んでフラッシュ１１６を用いたフラッシュ撮影を行う。日中の日向（Daylight）と判断されなかった場合には、ステップＳ２０８に進んで通常撮影を行う。

以上のように本実施の形態によれば、顔領域における暗部の割合及びホワイトバランス演算結果が外光（Daylight）であるか否かに応じて、逆光及びトップライト現象の判別を行い、フラッシュを発光制御する。これにより、日中の屋外で逆光及びトップライト現象が起きている場合であっても、人物と背景が共に適正に露出された画像を得ることができる。

なお、上記実施の形態においては、光源を推定するために、ホワイトバランスの演算結果を利用する場合について説明したが、これに限るものではなく、どのように光源を推定しても構わない。例えば、光源を推定するための構成を追加してもよい。

＜変形例＞
上記例では、ステップＳ２０４における処理において、顔領域における暗部が占める割合に応じて、逆光またはトップライト現象を判断したが、例えば、以下のような判断条件を用いてもよい。

先ず、顔検出結果から目を含むブロックを判断し、そのブロックが暗部である場合に、トップライト現象が起きている可能性があると判断しても良い。これは、頭上に光源が有る場合に、トップライト現象によって目が影になるためである。

また、顔検出結果から目及び口を示すブロックを判断し、これらブロックの輝度差が閾値以上である場合に、トップライト現象が起きている可能性があると判断しても良い。

本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。 テンプレートマッチングによるパターン認識処理を説明するフローチャートである。 テンプレートマッチングの概念を説明する図である。 本発明の実施の形態におけるＷＢ補正値の算出処理を示すフローチャートである。 画面を任意の複数ブロックに分割した例を示す図である。 白検出範囲を示す図である。 本発明の実施の形態におけるフラッシュの発光制御処理を説明するフローチャートである。 逆光及びトップライト現象が起きている場合の輝度分布の一例を示す概略図である。 従来の顔検出を利用した露出制御の問題点を説明するための概念図である。

符号の説明

１０１ 撮像素子
１０２ メモリ
１０３ ＷＢ制御部
１０４ 色変換ＭＴＸ回路
１０５ ＬＰＦ回路
１０６ ＣＳＵＰ回路
１０７ ＲＧＢ変換回路
１０８ ガンマ補正回路
１０９ 色輝度変換回路
１１０ 圧縮回路
１１１ Ｙ生成回路
１１２ エッジ強調回路
１１３ 制御回路
１１４ 顔検出部
１１５ ＣＰＵ
１１６ フラッシュ

Claims (6)

1. 撮像素子から得られる画像信号から顔領域を検出する顔検出手段と、
   前記撮像素子を複数に分割した各分割領域の内、前記顔検出手段により検出された顔領域に対応する前記分割領域の画像信号が示す輝度が、予め設定された条件を満たしているかどうかを判定する判定手段と、
   光源を推定する推定手段と、
   前記検出された顔領域に対応する前記分割領域の内、予め設定された割合の前記分割領域の輝度が露出アンダーを示している場合であって、且つ、前記推定された光源が予め設定された光源である場合に、フラッシュ撮影を行うことを決定する決定手段と、
   前記決定手段によりフラッシュ撮影を行うと決定された場合に、フラッシュを発光するように制御する制御手段と
   を有することを特徴とする撮像装置。
2. 前記予め設定された条件は、前記検出された顔領域に対応する前記分割領域の内、目を含む前記分割領域の輝度が露出アンダーを示すことであることを特徴とする請求項１に記載の撮像装置。
3. 前記予め設定された条件は、前記検出された顔領域に対応する前記分割領域の内、目を含む前記分割領域と口を含む前記分割領域との輝度差が予め設定された閾値以上であることを特徴とする請求項１に記載の撮像装置。
4. 前記予め設定された光源は、日中の外光であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記推定手段は、ホワイトバランスの補正値を算出するために前記画像信号から検出される白色の領域の検出結果に基づいて、光源を推定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 撮像素子から得られる画像信号から顔領域を検出する顔検出工程と、
   前記撮像素子を複数に分割した各分割領域の内、前記顔検出工程で検出された顔領域に対応する前記分割領域の画像信号が示す輝度が、予め設定された条件を満たしているかどうかを判定する判定工程と、
   光源を推定する推定工程と、
   前記検出された顔領域に対応する前記分割領域の内、予め設定された割合の前記分割領域の輝度が露出アンダーを示している場合であって、且つ、前記推定された光源が予め設定された光源である場合に、フラッシュ撮影を行うことを決定する決定工程と、
   前記決定工程でフラッシュ撮影を行うと決定された場合に、フラッシュを発光するように制御する制御工程と
   を有することを特徴とするフラッシュ制御方法。