JP2010107938A - 撮像装置、撮像方法、及びプログラム - Google Patents

Abstract

【課題】フラッシュ発光を伴う撮像を適切に制御することを可能とする。
【解決手段】顔領域特定部５３は、上記撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域を特定し、
撮像処理部５２は、上記顔領域の明るさを求め、
上記顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさを求め、
上記顔領域の明るさ及び上記背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像を実行させる。
【選択図】図２

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

フラッシュ発光を伴う撮像が可能なデジタルカメラには、被写体の輝度に応じて、フラッシュの発光を自動的に制御する、自動フラッシュ撮像機能を有するものがある（特許文献１参照）。

特開平０７−２０５２４号公報

しかしながら、従来の自動フラッシュ撮像機能のように、被写体の輝度に基づいてフラッシュの発光を単に自動的に制御するだけでは、適切に被写体を撮像することができないことがあった。

本発明は、上述した従来の課題を解決するためになされたものであり、フラッシュ発光を伴う撮像処理を適切に制御することを目的とする。

本発明の一側面の撮像装置は、撮像素子と、撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域を特定する顔領域特定手段と、顔領域の明るさを求める顔領域明るさ算出手段と、顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさを求める背景領域明るさ算出手段と、顔領域の明るさ及び背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像を実行する撮像制御手段とを有することを特徴とする。

撮像制御手段は、少なくとも顔領域の明るさに応じて、発光を伴う撮像又は発光を伴わない撮像を実行することができる。

撮像制御手段は、顔領域の明るさが所定の明るさより暗く、かつ背景領域の明るさが所定の明るさより明るい場合、感度又は露出度を下げ、顔領域の明るさが所定の明るさより暗く、かつ背景領域の明るさも所定の明るさより暗い場合、感度又は露出度を上げることができる。

撮像制御手段による撮像の結果得られた撮像画像を補正する補正手段をさらに有し、補正手段は、顔領域の明るさ及び背景領域の明るさに応じて補正条件を決定することができる。

補正手段は、顔領域の明るさが所定の明るさより暗く、かつ背景領域の明るさが所定の明るさより明るい場合、ノイズ除去処理を行わず、顔領域の明るさが所定の明るさより暗く、かつ背景領域の明るさが所定の明るさより暗い場合、ノイズ除去処理を実行することができる。

顔領域特定手段は、撮像素子を用いて得られた画像の明るさが所定の明るさより暗い場合、撮像素子を用いて得られた画像の明るさを一定量明るくし、その明るくなった画像から、顔領域を特定することができる。

顔領域が複数特定された場合において、複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、顔領域明るさ算出手段は、エッジ強度が所定のエッジ強度より大きい顔領域の明るさを求めることができる。

顔領域が複数特定された場合において、複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きいとき、顔領域明るさ算出手段は、大きさが所定の大きさより大きい顔領域の明るさを求めることができる。

顔領域が複数特定された場合において、複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きく、かつ、複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、顔領域明るさ算出手段は、大きさが所定の大きさより大きい顔領域であって、エッジ強度が所定のエッジ強度より大きい顔領域の明るさを求めることができる。

顔領域の大きさを用いて、被写体までの距離を算出する距離算出手段をさらに有し、撮像制御手段は、顔領域の明るさが所定の明るさより暗く、かつ、被写体までの距離が発光された光が到達する距離以下である場合、発光を伴う撮像を実行し、顔領域の明るさが所定の明るさより暗いが、被写体までの距離が発光された光が到達する距離よりも長い場合、発光を伴う撮像を実行しない旨を提示して、発光を伴わない撮像を実行することができる。

撮像制御手段は、顔領域の明るさが所定の明るさより暗いが、被写体までの距離が発光された光が到達する距離よりも長い場合、撮像感度を上げて、発光を伴わない撮像を実行することができる。

顔領域が複数特定された場合において、複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、顔領域明るさ算出手段は、エッジ強度が所定のエッジ強度より大きい顔領域の明るさを算出し、距離算出手段は、エッジ強度が所定のエッジ強度より大きい顔領域の大きさを用いて、被写体までの距離を算出する

顔領域が複数特定された場合において、複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きいとき、顔領域明るさ算出手段は、大きさが所定の大きさより大きい顔領域の明るさを求め、距離算出手段は、大きさが所定の大きさより大きい顔領域の大きさを用いて、被写体までの距離を算出することができる。

顔領域が複数特定された場合において、複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きく、かつ、複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、顔領域明るさ算出手段は、大きさが所定の大きさより大きい顔領域であって、エッジ強度が所定のエッジ強度より大きい顔領域の明るさを求め、距離算出手段は、大きさが所定の大きさより大きい顔領域であって、エッジ強度が所定のエッジ強度より大きい顔領域の大きさを用いて、被写体までの距離を算出することができる。

本発明の一側面の撮像方法は、撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域を特定する顔領域特定ステップと、顔領域の明るさを求める顔領域明るさ算出ステップと、顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさを求める背景領域明るさ算出ステップと、顔領域の明るさ及び背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像を実行させる撮像制御ステップとを含むことを特徴とする。

本発明の一側面のプログラムは、撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域を特定する顔領域特定ステップと、顔領域の明るさを求める顔領域明るさ算出ステップと、顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさを求める背景領域明るさ算出ステップと、顔領域の明るさ及び背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像を実行させる撮像制御ステップとを含む画像処理をコンピューターに実行させることを特徴とする。

本発明の一側面の撮像装置、撮像方法、又はプログラムにおいては、撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域が特定され、顔領域の明るさが求められ、顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさが求められ、顔領域の明るさ及び背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像が実行される。

本発明によれば、フラッシュ発光を伴う撮像処理を適切に制御することができる。

本発明の実施の形態に係るデジタルカメラのハードウェアの構成例を示すブロック図である。 フラッシュ制御処理を実行するためのデジタルカメラの機能的構成例を示すブロック図である。 フラッシュ制御処理の流れを示すフローチャートである。 図３のステップＳ２の顔領域特定処理の流れを示すフローチャートである。 第１の画像データに基づいて第２の画像データを生成する方法を示すヒストグラムである。 検出窓の例を示す図である。 複数段階のステージを経て顔領域の特定がなされる流れを模式的に示した図である。 図７のあるステージで用いられる矩形フィルタの例を示す図である。 被写体距離の演算で用いられる係数を説明する図である。 図３のステップＳ４の対象顔領域決定処理の流れを示すフローチャートである。 ８方向のラプラシアンフィルタの例を示す図である。 図３のステップＳ４の他の対象顔領域決定処理の流れを示すフローチャートである。 顔領域の大きさを模式的に表した図である。 図３のステップＳ４の他の対象顔領域決定処理の流れを示すフローチャートである。 他のフラッシュ制御処理の流れを示すフローチャートである。 撮像／補正条件設定処理（図１５のステップ２５８の処理）の流れを示すフローチャートである。 他のフラッシュ制御処理の流れを示すフローチャートである。

図１は、本発明の実施形態のデジタルカメラ１の構成例を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）１１には、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：電気消去可能プログラマブル読出し専用メモリー）１１Ａ、ＲＯＭ（ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：読出し専用メモリー）１１Ｂが内蔵されている。ＥＥＰＲＯＭ１１Ａは、書き換え可能な不揮発性メモリーで構成されている。ＲＯＭ１１Ｂには、プログラムが格納されている。このプログラムの手順に従ってデジタルカメラ１の動作がＣＰＵ１１により制御される。

例えばＣＰＵ１１は、自動フラッシュモードが設定されているか否かを判定し、自動フラッシュモードが設定されている場合には、人物の顔が写っているときのその顔部分の画像の明るさや被写体までの距離に応じてフラッシュ発光を伴う撮像又はフラッシュ発光を伴わない撮像を実行する。以下において、この一連の処理を、フラッシュ制御処理Ｚ１と称する。

操作部１２は、デジタルカメラ１の背面及び上面に備えられているシャッターボタン等の各操作子（図示せず）の操作を受け付けて、その操作内容を示す信号をＣＰＵ１１に出力する。

撮像部１３は、ズームレンズ１３Ａ、フォーカスレンズ１３Ｂ、及びアイリス１３Ｃ、並びにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）１３Ｄから構成されている。

ズームレンズ１３Ａに入射した被写体光は、フォーカスレンズ１３Ｂを経て、被写体光の光量を調整するアイリス１３Ｃを通過した後、ＣＣＤ１３Ｄに結像する。この例では、焦点距離の変更に係わるレンズをズームレンズ１３Ａ、ピントの調節に係わるレンズをフォーカスレンズ１３Ｂとして、それぞれ模式的に示している。

光学制御部１４は、ＣＰＵ１１からの指示に従って、図示せぬモーターを制御して、ズームレンズ１３Ａ、フォーカスレンズ１３Ｂを駆動させる。また、光学制御部１４は、ＣＰＵ１１からの指示に従って、図示せぬモーターを制御して、アイリス１３Ｃの開口径を変化させる。

ＣＤＳ（Ｃｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）１５は、ＣＣＤ１３Ｄから出力された画像信号の雑音を低減する処理等を行う。

Ａ／Ｄ変換部１６は、アナログ信号をデジタル化したＲＧＢ信号に変換する。

ホワイトバランス調整部１７は、Ａ／Ｄ変換部１６で変換されたＲＧＢ信号のＲ成分、Ｇ成分、Ｂ成分のバランスを調整することにより、画像データの白色のバランスを調整する。このホワイトバランス調整部１７には、ＣＣＤ１３Ｄからの画像信号の増幅率（ゲイン）を変える図示せぬ増幅器が設けられている。

γ処理部１８は、被写体像の階調特性（いわゆるγカーブ）を調整する。バッファメモリー１９は、ホワイトバランス調整部１７での画像処理を経てγ処理部１８において画像処理が施されたＲＧＢ信号を一時的に記憶する。

ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ：オートフォーカス）検出部２０は、ＣＰＵ１１から測距領域が指示されて、撮影画像を表す画像信号に基づいてその測距領域での合焦状態を検出する。その検出された合焦状態と、その時点におけるフォーカスレンズ１３Ｂの位置とに基づいて測距領域における被写体距離が算出される。ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：自動露出）検出部２１は、ＣＰＵ１１から測光領域が指示されて、輝度信号（Ｙ）に基づいて、その測定領域内における被写体輝度を検出する。

ＹＣ処理部２２は、ＡＥ検出部２１へ輝度信号（Ｙ）を提供するために、バッファメモリー１９に記憶されたＲＧＢ信号を輝度信号（Ｙ）と色信号（Ｃ）とからなるＹＣ信号に変換する。

ＹＣ／ＲＧＢ処理部２３は、ＹＣ処理部２２で生成されたＹＣ信号をスルー画像表示用のＲＧＢ信号に変換する。このＲＧＢ信号は、ＲＧＢ信号を高速に処理するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示）制御部２４を介して液晶表示パネル２５に伝えられ、液晶表示パネル２５上にスルー画像として表示される。

圧縮／伸張部２６は、ＹＣ信号に変換された画像データを圧縮若しくは伸長処理する。インターフェース（Ｉ／Ｆ）部２７は、圧縮された画像データを記録媒体２８Ａに記録できるように、通信インターフェースを提供する。媒体記録装置２８は、画像データを物理的に記録媒体２８Ａに記録する。

フラッシュ発光制御部２９は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：発光ダイオード）をフラッシュ光源とし、ＣＰＵ１１からの指示に従って、撮影補助光（所謂フラッシュ光）を発光する。

図２は、フラッシュ制御処理Ｚ１を実行するためのデジタルカメラ１の機能的構成例を示すブロック図である。この機能は、ＣＰＵ１１がＲＯＭ１１Ｂに記憶されている所定のプログラムを実行することより実現される。

撮像操作部５１は、ユーザからの撮影操作を受け付けて、その内容を示す信号を撮像処理部５２に通知する。

撮像処理部５２は、撮像処理全般を制御する。例えば撮像処理部５２は、撮像操作部５１から図示せぬシャッターボタンの全押し操作が伝えられると、撮像素子上に被写体像を結像させ、その被写体信号を表わすＲＧＢ信号を出力したり、スルー画像を表わすＲＧＢ信号を出力する処理を行う。

また、撮像処理部５２は、シャッターボタンの半押し操作が伝えられたとき、フラッシュ制御処理を実行する。このフラッシュ制御処理では、そのときの入力画像に顔の画像がある場合、その顔の画像の明るさが所定の明るさより暗く、かつ、被写体までの距離がフラッシュ光が到達する距離以下である場合、フラッシュ発光を伴う撮像が実行され、顔の画像の明るさが所定の明るさより暗いが、被写体までの距離がフラッシュ光が到達する距離よりも長い場合、フラッシュ発光を伴う撮像を実行しない旨が提示され、フラッシュ発光を伴わない撮像が実行される。

顔領域特定部５３は、撮像処理部５２からの指示を受けて、撮影画角内で人物の顔部分が写っている画像の中の顔の少なくとも一部の画像が含まれる領域（以下、顔領域と称する）を特定する。

顔領域情報記憶部５４は、顔領域特定部５３により特定された顔領域に関する顔領域情報（例えば、撮影画角内における顔領域の位置を特定するための座標データ、及び大きさ（水平幅、垂直幅）、焦点距離、デジタルズーム倍率等）を記憶する。

対象顔領域決定部５５は、顔領域特定部５３により特定された顔領域の中から、フラッシュのオンオフの判定に用いる顔領域（以下、対象顔領域と称する）を決定する。具体的には、対象顔領域決定部５５は、顔領域情報記憶部５４に記憶されている顔領域情報の中から、所定の条件を満たしていない顔領域の顔領域情報を削除する。即ち最終的に顔領域情報記憶部５４に顔領域情報が記憶されている顔領域が対象顔領域とされる。

感度設定部５６は、撮像処理部５２の制御に従って、撮像時のパラメータを変更する。

図３は、フラッシュ制御処理Ｚ１の流れを示すフローチャートである。このフローチャートを参照してフラッシュ制御処理Ｚ１について説明する。

ユーザにより図示せぬ電源ボタンが押され電源が投入されると、ＣＰＵ１１では、デジタルカメラ１の初期化として、ＲＯＭ１１Ｂ内のプログラムの実行が開始され、液晶表示パネル２５にスルー画像が表示されるとともに、撮影条件の設定操作や図示せぬシャッターボタンの操作を受け付ける状態となる。

そこでシャッターボタンが半押されると、ステップＳ１において、撮像処理部５２は、自動フラッシュモードが設定されているか否かを判定し、設定されていると判定した場合、処理は、ステップＳ２に進む。

ステップＳ２において、顔領域特定処理が行われる。図４は、この顔領域特定処理の流れを示すフローチャートである。このフローチャートを参照して顔領域特定処理について説明する。

ステップＳ３１において、顔領域特定部５３は、顔領域特定の対象となる画像、即ち顔領域が含まれている可能性がある画像（以下、適宜、対象画像と称する）から作業用の画像データ（以下、第１の画像データと称する）を生成する。この例の場合、撮像部１３により取り込まれているスルー画像全体が対象画像となり、そのデモザイク前（即ちA/D変換後であって、ホワイトバランス等の処理前）の画像データが取得される。そしてそのデモザイク前の画像データがサンプリングされて、例えば３２０画素×２４０画素の画像データが、第１の画像データとして生成される。

デモザイク前の画像データ（所謂現像前の画像データ）は、１画素に、Ｒ、Ｇ、又はＢのいずれか１種類の色成分しか有していない。ＲＧＢのセットの画素データは、デモザイク（所謂現像によって）で設定される。

ステップＳ３２において、顔領域特定部５３は、対象画像全体の明るさが所定の明るさより暗いか否かを判定する。具体的には、第１の画像データの全画素の平均輝度値Ｙh1が所定の閾値Ｙp1（例えば、７０）より小さいか否かが判定される。なお平均輝度値Ｙh1は、式（１）に示すように、第１の画素データを構成するＧ成分の値によって算出される。
Ｙ＝０．５８７Ｇ・・・（１）

ステップＳ３２で、対象画像全体の明るさが所定の明るさより暗いと判定された場合（即ち平均輝度値Ｙh1が閾値Ｙp1より小さいと判定された場合）、処理は、ステップＳ３３に進む。

ステップＳ３３において、顔領域特定部５３は、対象画像全体を明るくする。具体的には、第１の画像データの画素の輝度を、それぞれより明るいものに置き換えて第２の画像データが生成される。

図５は、第１の画像データに基づいて第２の画像データを生成する方法を示すヒストグラムである。図５には、第１の画像データにおける画素の明度の分布Ｄ１と、第２の画像データにおける画素の明度の分布Ｄ２ａが示されている。図５中、横軸は、０〜２５５の明度であり、縦軸は、画像データにおける各明度の画素数（頻度）である。なお、分布Ｄ１及び分布Ｄ２ａは離散的となるが、理解を容易にするため、ここでは曲線として示す。

この例では第２の画像データは、第１の画像データの各画素の明度を２倍の明度に置き換えることによって生成される。その結果、例えば、第１の画像データにおいて、例えば、０〜７０の明度の範囲Ｒ１に含まれる明度Ｙ１を有していた画素の明度は、０〜１４０の明度の範囲Ｒ２ａに含まれる明度Ｙ２（Ｙ２＝Ｙ１×２）に変換される。

なお、２倍した結果、２５５を越えることとなる明度については、全て２５５に置き換えられる。すなわち、第１の画像データの画像中において１２６以上の明度で表現されている部分の明度については、全て２５５に置き換えられる。

図４に戻りステップＳ３４において、顔領域特定部５３は、第２の画像データに基づいて、顔領域を特定する顔領域特定処理を行う。

ここで顔領域特定処理について説明する。この例の場合、作業画像データ（いまの場合、第２の画像データ）に検出窓を移動させながら、作業画像データの検出窓に対応する領域が顔領域であるか否かが判定される。

図６は、検出窓ＳＷの例を示す図である。検出窓ＳＷによって取り出されたデータの画像領域（以下、画像領域ＩＤＷと称する）が顔領域であるか否かが判定される。そしてその判定は、複数段階のステージを経て結論づけられる。

図７は、複数段階のステージを経て顔領域が特定される流れを模式的に示した図である。図７の例では、Ｓｔ1〜Ｓｔ24の２４段階のステージを経て顔領域が特定される。

各ステージにおいては、矩形フィルタを使った判定が行われる。

図８は、あるステージで用いられる矩形フィルタＦ１１，Ｆ１２（以下、個々に区別する必要がない場合、矩形フィルタＦと称する）の例を示す図である。矩形フィルタＦは、画像領域ＩＤＷの一部の領域（図８においてハッチを付して示す領域）に含まれる画素の明度の情報を取り出すために使用される。

なお図８には、矩形フィルタＦが適用される画像領域ＩＤＷの画像と、矩形フィルタＦとが重ねて表示されている。画像領域ＩＤＷの画像は、人間の顔の目と鼻と口の画像を含む顔の画像である。

矩形フィルタＦは、この例の場合、２０画素×２０画素の大きさを有する。ここでは、説明を簡略にするために、検出窓ＳＷによって取り出されたデータの画像領域ＩＤＷの大きさと、矩形フィルタＦの大きさとは同じであるものとする。すなわち、画像領域ＩＤＷも、２０画素×２０画素の大きさを有する。

矩形フィルタＦ１１を使用した判定について説明する。矩形フィルタＦ１１を使用して、画像領域ＩＤＷのデータのうち、領域Ａ１１ａの各画素の明度のデータＹ１１ａが取り出される。領域Ａ１１ａは、画像領域ＩＤＷにおいて高さ方向の中央よりも上側にあって画像領域ＩＤＷの左右幅と等しい幅を有する長方形の領域である。また、同様に、領域Ａ１１ｂの各画素の明度のデータＹ１１ｂも取り出される。領域Ａ１１ｂは、画像領域ＩＤＷにおいて高さ方向の中央よりも下側にあって画像領域ＩＤＷの左右幅と等しい幅を有する長方形の領域である。

なお、領域Ａ１１ａは、画像領域ＩＤＷが顔領域である場合に、人間の目があると推定される領域である。また、領域Ａ１１ｂは、画像領域ＩＤＷが顔領域である場合に、人間の口があると推定される領域である。

そして、領域Ａ１１ａの各画素の明度Ｙ１１ａの合計をα１１ａ倍した値と（α１１ａは定数）、領域Ａ１１ｂの各画素の明度Ｙ１１ｂの合計をα１１ｂ倍した値と（α１１ｂは定数）、の合計値が所定の基準値θ１１よりも大きいか否かが判定される。合計値がθ１１よりも大きい場合には、矩形フィルタＦ１１を用いた判定の結果の値Ａ１１として、値Ｄ１１ｙが返される。合計値がθ１１以下である場合には、矩形フィルタＦ１１を用いた判定の結果の値Ａ１１として、値Ｄ１１ｎが返される（図８の上段右側参照）。値Ｄ１１ｙ，Ｄ１１ｎは、所定の定数である。

次に矩形フィルタＦ１２を使用した判定について説明する。矩形フィルタＦ１２を使用して、画像領域ＩＤＷのデータのうち、領域Ａ１２ａの各画素の明度のデータＹ１２ａが取り出される。領域Ａ１２ａは、領域Ａ１１ａの左半分の領域Ａ１１ａｌの一部であって、領域Ａ１１ａｌの中心を含む領域である。また、同様に、画像領域ＩＤＷのデータのうち、領域Ａ１２ｂの各画素の明度のデータＹ１２ｂが取り出される。領域Ａ１２ｂは、領域Ａ１１ａの右半分の領域Ａ１１ａｒの一部であって、領域Ａ１１ａｒの中心を含む領域である。

なお、領域Ａ１２ａは、画像領域ＩＤＷが顔領域である場合に、人間の右目があると推定される領域である。また、領域Ａ１２ｂは、画像領域ＩＤＷが顔領域である場合に、人間の左目があると推定される領域である。

そして、領域Ａ１２ａの各画素の明度Ｙ１２ａの合計をα１２ａ倍した値と（α１２ａは定数）、領域Ａ１２ｂの各画素の明度Ｙ１２ｂの合計をα１２ｂ倍した値と（α１２ｂは定数）、の合計値が所定の基準値θ１２よりも大きいか否かが判定される。合計値がθ１２よりも大きい場合には、矩形フィルタＦ１２を用いた判定の結果の値Ａ１２として、値Ｄ１２ｙが返される。合計値がθ１２以下である場合には、矩形フィルタＦ１２を用いた判定の結果の値Ａ１２として、値Ｄ１２ｎが返される（図８の中段右側参照）。値Ｄ１２ｙ，Ｄ１２ｎは、所定の定数である。

以上のように、一つのステージの処理において、１以上の矩形フィルタＦを用いた判定が行われる。そして、各矩形フィルタＦの判定結果の値Ａ１１，Ａ１２．．．の合計値が所定の基準値Θ１よりも大きいか否かが判定される（図８の下段参照）。合計値がΘ１よりも大きい場合には、画像領域ＩＤＷは、このステージの判定条件を満たしたと判定される。合計値がΘ１以下である場合には、画像領域ＩＤＷは、このステージの判定条件を満たさないと判定される。画像領域ＩＤＷが、このステージの判定条件を満たさない場合には、画像領域ＩＤＷは、顔領域ではないと判定され、処理が終了する。一方、画像領域ＩＤＷが、このステージの判定条件を満たした場合には、次のステージの判定が行われる（図７参照）。

このようにして各ステージの判定が順次行われ、その各ステージの判定結果に基づいて画像領域ＩＤＷが顔領域であるか否かが判定される。

ところで上述した画像領域ＩＤＷが顔領域であるか否かの判定は、画素の明度に基づいて行われる。各画素の明度で表される画像中において被写体は各画素の明度差で表される。すなわち、この判定は、画像の一部の領域（図８の領域Ａ１１ａ，Ａ１１ｂ，Ａ１２ａ，Ａ１２ｂ参照）と他の一部の領域の画素の明度の差に基づいて行われる。このため、全体に暗く写っている人物の顔の領域については、「顔領域である」と判定されない可能性がある。

そこで対象画像全体が暗い場合（ステップＳ３２でのＹＥＳ判定）、第１の画像データの画素の輝度を、それぞれより明るいものに置き換えて第２の画像データを生成し（ステップＳ３３）、例えば、第１の画像データにおける明度の差を、第２の画像データにおいてその２倍となるようにしたので、顔領域を、正確に特定することができる（ステップＳ３４）。例えば、第１の画像データの明度２０の画素と明度３０の画素との明度の差１０は、変換後の第２の画像データにおいて２倍の２０となる。

また、例えば、第１の画像データの明度２０の画素と明度３０の画素との明度の差１０と、第１の画像データの明度１２０の画素と明度１３０の画素との明度の差１０とは、変換後の第２の画像データにおいてもそれぞれ２倍の２０となる。すなわち、等しい量の明度差は、変換後も等しい量の明度差となる。よって、第２の画像データにおいても、第１の画像データと同様に、正確に顔領域の特定を行うことができる。

なお、第１の画像データの画像中において１２６以上の明度で表現されている部分の明度については、明度を２倍にする上記の処理によって２５５となり、明度差が小さくなることがある。しかしながら、第２の画像データの生成は、画像データの平均明度が７０以下の場合にのみ行われる。このため、対象となる画像中において図４の処理によって明度差がなくなる部分は大きくはない。さらに、明度が１２６以上の部分については、後述するように第２の画像データではなく第１の画像データに対する顔領域の特定の処理（図４のステップＳ３５）によって、顔領域が特定される。

図４に戻りステップＳ３２で、対象画像全体の明るさが所定の明るさより明るいと判定された場合（即ち、平均輝度値Ｙh1が閾値Ｙp1以上であると判定された場合）、又はステップＳ３４で、第２の画像データに基づいて顔領域が特定された後、処理は、ステップＳ３５に進む。ステップＳ３５において、顔領域特定部５３は、第１の画像データに基づいて、顔領域を特定する処理を行う。具体的には、ステップＳ３４における場合と同様にして、顔領域が特定される。

次にステップＳ３６において、顔領域特定部５３は、ステップＳ３５で特定された顔領域、又はステップＳ３４で特定された顔領域及びステップＳ３５で特定された顔領域に基づいて、第１の画像データが表す画像ＰＩ１中の顔領域の集合を決定し、決定した第１の画像データが表す画像ＰＩ１中の顔領域を示す情報（例えば、撮影画角内における顔領域の位置を特定するための座標データ、及び大きさ（水平幅、垂直幅）、焦点距離、デジタルズーム倍率等）を顔領域情報記憶部５４に記憶させる。

なお画像ＰＩ１中の顔領域の集合を決定する際には、例えば、互いに７５％以上の画素を共有するＮ個（Ｎは２以上の整数）の顔領域については、その中から一つの顔領域が選択され、他の顔領域は廃棄される。選択される顔領域は、例えば、その中心が、それらＮ個の顔領域によって共有される領域の中心と、最も近い顔領域である。なお、本実施例においては、顔領域は長方形の領域である。長方形の領域の中心は、その長方形の対角線の交点である。そのようにして選択された顔領域によって構成される顔領域の集合が、画像ＰＩ１中の顔領域の集合とされる。

以上のようにして顔領域特定処理が行われ、処理は、図３のステップＳ３に進む。

ステップＳ３において、撮像処理部５２は、ステップＳ２の処理で、顔領域が特定されたか否かを判定し、顔領域が特定されたと判定した場合、ステップＳ４に進み、後述するフラッシュ制御に用いる顔領域（即ち対象顔領域）を決定する。この処理については、後述する。

次にステップＳ５において、撮像処理部５２は、ステップＳ４で決定された対象顔領域の平均輝度値Ｙh2を算出する。

ステップＳ６において、撮像処理部５２は、対象顔領域の明るさが所定の明るさより暗いか否かを判定する。具体的には、ステップＳ５で算出した対象顔領域の平均輝度値Ｙh2が、フラッシュを発して外光の光量不足を補わなくてもよい明るさの限界輝度値Ｙp2より小さいか否かが判定される。

ステップＳ６で、対象顔領域の明るさがフラッシュを発して外光の光量不足を補わなくてもよい明るさより暗いと判定された場合（即ち平均輝度値Ｙh2が閾値Ｙp2より小さいと判定された場合）、ステップＳ７に進む。

ステップＳ７において、撮像処理部５２は、対象顔領域に基づいて、デジタルカメラ１から被写体までの距離を算出する。具体的には、初めに、対象顔領域の平均サイズ（例えば垂直幅の平均値）Ｃが算出され、その平均サイズＣに基づいて、式（２）が演算されて、被写体距離Ａが算出される。
被写体距離Ａ＝（Ｂ×Ｄ×Ｘ）／（Ｃ×２４×１００／２８３（ｍ）
・・・（２）

図９は、式（２）の演算に用いられる係数を示す図である。係数Ｂは、レンズ焦点距離ｍｍであり、係数Ｃは、上述したように対象顔領域の平均サイズであり、係数Ｄは、デジタルズーム倍率であり、係数Ｘは、実物の顔のサイズである。なお係数Ｂ及び係数Ｄは、デジタルカメラ１の設定により決定される。係数Ｃは、例えば顔領域の垂直方向のピクセル数である。また係数Ｘは、標準的な顔サイズとして２０ｃｍとしている。また２８３２は、画素数４２５６×２８３２ピクセルの垂直方向のピクセル数であり、２４は、センササイズ３６×２４ｍｍの垂直幅である。

次にステップＳ８において、撮像処理部５２は、被写体距離が、フラッシュ光が到達する距離（例えば、５ｍ）より長いか否かを判定し、それより長いと判定した場合、処理は、ステップＳ９に進む。

ステップＳ９において、撮像処理部５２は、ＬＣＤ制御部２４を介して、フラッシュを発光しない旨を示す警告を、液晶表示パネル２５に表示させる。

次に、ステップＳ１０において、撮像処理部５２は、フラッシュ発光制御部２９に対して、撮像時のフラッシュ発光の禁止を指示し、ステップＳ１１において、感度設定部５６を制御して、撮像時のパラメータを感度が上がる方向に設定させる。例えば撮像の結果得られた信号の増幅率が大きな値に設定される。

このように、撮像時のフラッシュ発光の禁止が指示され、感度が上がる方向に撮像時のパラメータが設定されると、ユーザによりシャッターボタンが全押しされたとき、高い感度で、フラッシュ発光を伴わない撮像が実行される。

ステップＳ８で、被写体距離が、フラッシュ光が到達する距離以下であると判定された場合、ステップＳ１２において、撮像処理部５２は、フラッシュ発光制御部２９に対して、撮像時のフラッシュ発光を指示する。

このように、撮像時のフラッシュ発光が指示されると、ユーザによりシャッターボタンが全押しされたとき、フラッシュを伴う撮像（フラッシュ光の発光と同調する撮像）が実行される。

ステップＳ６で、対象顔領域の明るさがフラッシュを発して外光の光量不足を補わなくてもよい明るさ以上であると判定された場合（即ち対象顔領域の平均輝度値Ｙh2が閾値Ｙp2以上であると判定された場合）、ステップＳ１３において、撮像処理部５２は、フラッシュ発光制御部２９に対して、撮像時のフラッシュ発光の禁止を指示する。このように、撮像時のフラッシュ発光の禁止が指示されると、ユーザによりシャッターボタンが全押しされたとき、フラッシュ発光を伴わない撮像（フラッシュが発光しない撮像）が実行される。

またステップＳ３で、顔領域が特定されなかったと判定された場合、撮像処理部５２は、ステップＳ１４〜ステップＳ１７において、対象画像全体の明るさに基づいてフラッシュのオンオフを決定する。

即ち撮像処理部５２は、ステップＳ１４において、対象画像全体の明るさを検出する。具体的には、図４のステップＳ３１における場合と同様に、撮像部１３により取り込まれている対象画像のデモザイク前の画像データが取得され、その画像データをサンプリングして、第１の画像データが生成される。そして第１の画像データの全画素の平均輝度値Ｙh1が検出される。なお平均輝度値Ｙh1は、式（１）に示すように、第１の画素データを構成するＧ成分の値によって算出される。

次にステップＳ１５において、撮像処理部５２は、対象画像全体の明るさが所定の明るさより暗いか否かを判定する。具体的には、ステップＳ１４で算出された第１の画像データの平均輝度値Ｙh1が、フラッシュを発して外光の光量不足を補わなくてもよい明るさの限界輝度値Ｙp3より小さいか否かが判定される。なおいまの例では、輝度値Ｙp3は、図４のステップＳ３２での判定に用いられた輝度値Ｙp1と同じものとする。即ちフラッシュを発して外光の光量不足を補わなくてはならない場合、第２の画像データが生成される。

ステップＳ１５で、対象画像全体の明るさがフラッシュを発して外光の光量不足を補わなくてもよい明るさより暗いと判定された場合（即ち第１の画像データの全画素の平均輝度値Ｙh1が閾値Ｙp3より小さいと判定された場合）、ステップＳ１６に進み、撮像処理部５２は、フラッシュ発光制御部２９に対して、撮像時のフラッシュ発光を指示する。このように、撮像時のフラッシュ発光が指示されると、ユーザによりシャッターボタンが全押しされたとき、フラッシュを伴う撮像（フラッシュ光の発光と同調する撮像）が実行される。

ステップＳ１５で、対象画像全体の明るさがフラッシュを発して外光の光量不足を補わなくてもよい明るさ以上であると判定された場合（即ち第１の画像データの全画素の平均輝度値Ｙh1が閾値Ｙp1以上であると判定された場合）、ステップＳ１７に進み、撮像処理部５２は、フラッシュ発光制御部２９に対して、撮像時のフラッシュ発光の禁止を指示する。このように、撮像時のフラッシュ発光の禁止が指示されると、ユーザによりシャッターボタンが全押しされたとき、フラッシュ発光を伴わない撮像（フラッシュ光が発光しない撮像）が実行される。

なおこの例の場合、閾値Ｙp2，Ｙｐ3は、フラッシュを発して外光の光量不足を補わなくてもよい明るさの限界輝度値であるが、注目する領域が（対象画像領域又は対象画像全体と）違うので、異なる値とすることもできるし、同じ値とすることもできる。

以上のように、自動フラッシュモードが設定されている場合においても（図３のステップＳ１でのＹＥＳ判定）、顔領域の明るさが暗ければ（ステップＳ６でのＹＥＳ判定）、フラッシュをオンすることができるので（ステップＳ１２）、例えば周りは明るいが逆光によって顔の部分が暗くなっている場合にはフラッシュ発光を伴う撮像が行われ、顔を適切な露出で撮像することができる。

また顔領域が特定されない場合は（ステップ３でのＮＯ判定）、全体の明るさに基づいてフラッシュのオンオフが制御されるので（ステップ１４からＳ１７）、顔領域が特定されない場合においても、適切にフラッシュのオンオフを制御することができる。

また以上のように、フラッシュをオンする必要がある場合でも（ステップＳ６でのＹＥＳ判定）、フラッシュ光が被写体に到達しないようなときは（ステップＳ８でのＹＥＳ判定）、フラッシュをオフするようにしたので（ステップＳ１０）、無駄にフラッシュが焚かれることを防止することができ、例えば電力の消費を抑えることができる。またそのとき、フラッシュをオフする旨を提示するようにしたので（ステップＳ９）、ユーザは、その提示によって、撮像の停止や撮像条件の変更を行うことができ、適切な撮像を行うことができる。なおこの例では警告を表すメッセージが表示されるものとしたが、ライトが点滅したり、ブザーが出力されるようにすることもできる。また感度を上げるようにしたので（ステップＳ１１）、フラッシュがオフされても比較的良好な画像を撮像することができる。

また以上のように、顔領域の明るさを判定するに当たり、現像前の画像データを利用したので（図３のステップＳ１４、図４のステップＳ３１）、より迅速にフラッシュ制御を行うことができる。なお以上の例では、Ｇ成分を利用して輝度値を算出したが、例えばＲ成分を利用することもできる。また現像後の画像データを利用することもできる。

なお以上においては、シャッタスピードを遅くすることによって感動を上げるようにしたが、他の撮像条件を変更することによって感度を上げることもできる。

図１０は、図３の対象顔領域決定処理の流れを示すフローチャートである。このフローチャートを参照して、対象顔領域決定処理について説明する。

ステップＳ１０１において、対象顔領域決定部５５は、複数の顔領域が特定されたか否かを判定し、複数の顔領域が特定されたと判定した場合、処理は、ステップＳ１０２に進む。

ステップＳ１０２において、対象顔領域決定部５５は、各顔領域のエッジ強度を検出する。具体的には、例えば、ラプラシアンフィルタを用いて、各顔領域のエッジ強度が検出される。

図１１は、エッジ強度検出に用いられる８方向のラプラシアンフィルタの例を示す図である。このラプラシアンフィルタには、中央の係数が最も大きく、かつ全て足し合わせると０となる係数が３×３で配置されている。このラプラシアンフィルタを顔領域に重ね合わせて配置し、ラプラシアンフィルタに対応する顔領域の画素とラプラシアンフィルタの係数が乗算されて、足し合わされる。この演算を、ラプラシアンフィルタを１画素ずつ移動させながら行い、その演算結果得られた値の中で、最も大きな値がその顔領域のエッジ強度となる。この処理が、全ての顔領域に対して行われる。

ステップＳ１０３において、対象顔領域決定部５５は、ステップＳ１０２で検出された各顔領域のエッジ強度について、最大強度と最小強度の差分が所定の閾値Ｈ1より大きいか否かを判定し、大きいと判定した場合、ステップＳ１０４に進む。

ステップＳ１０４において、対象顔領域決定部５５は、複数の顔領域の中から１つの顔領域を選択し、ステップＳ１０５において、その顔領域のエッジ強度が所定の閾値Ｈ2より小さいか否かを判定し、小さいと判定した場合、ステップＳ１０６において、いま選択されている顔領域に関する顔領域情報を、顔領域情報記憶部５４から削除する。

次にステップＳ１０７において、対象顔領域決定部５５は、検出された複数の顔領域が全て選択されたか否かを判定し、まだ選択されていない顔領域が残っていると判定した場合、ステップＳ１０４に戻り、他の顔領域を選択し、ステップＳ１０５以降の処理を同様に行う。

ステップＳ１０１で、複数の顔領域が検出されていないと判定された場合、若しくはステップＳ１０３で、エッジ強度の最大強度と最小強度の差分が閾値Ｈ1以下であると判定された場合、又はステップＳ１０７で、複数の顔領域が全て選択されたと判定された場合、処理は、終了する。

以上のようにして対象顔領域決定処理が行われる。即ち所定の条件を満たさない顔領域の顔領域情報は削除されるので、図３のステップＳ５では、顔領域情報記憶部５４に、削除されずに顔領域情報が残っている顔領域が対象顔領域として処理される。

本来撮像対象である顔とともに、例えば通行人の顔など本来撮像対象ではない顔が撮影画角内に入っている場合、ピントは、通常、撮像対象である顔に合わせられ、撮像対象ではない顔には合わせられない。従ってそのような場合、そのとき得られる画像には、エッジ強度が高い顔領域（撮像対象である顔の画像を含む顔領域）と、エッジ強度が低い顔領域（撮像対象ではない顔の画像を含む顔領域）が存在する。

そこでピントが合ってエッジ強度が高い顔領域（撮像対象である顔の画像を含む顔領域）と、ピントが合っておらずエッジ強度が低い顔領域（撮像対象ではない顔の画像を含む顔領域）が共に存在する場合（ステップＳ１０３でのＹＥＳ判定）、ピントが合っておらずエッジ強度が低い顔領域（撮像対象ではない顔の画像を含む顔領域）が排除されて（ステップＳ１０５，１０６）、残ったエッジ強度が高い顔領域（撮像対象の顔の画像を含む顔領域）（即ち対象顔領域）に基づいて、フラッシュ制御が行われる（図３のステップＳ５〜Ｓ１３）。即ち撮像対象である顔の画像に基づいて、フラッシュ制御を行うことができる。

なおステップＳ１０１で、複数の顔領域が検出されていないと判定された場合は、顔領域が１個だけ特定されているので、その場合は、その１個の顔領域が対象顔領域とされる。またステップＳ１０３で、エッジ強度の最大強度と最小強度の差分が所定の閾値Ｈ1以下であると判定された場合は、全ての顔領域にピントが合わされ、全てが撮像の対象とされている可能性があるので、その複数の顔領域の全てが対象顔領域とされる。

図１２は、他の対象顔領域決定処理の流れを示すフローチャートである。このフローチャートを参照して、この対象顔領域決定処理について説明する。

ステップＳ１５１において、対象顔領域決定部５５は、複数の顔領域が特定されたか否かを判定し、複数の顔領域が特定されたと判定した場合、処理は、ステップＳ１５２に進む。

ステップＳ１５２において、対象顔領域決定部５５は、各顔領域の大きさを検出する。なおこの例では、顔領域の垂直幅（例えば、ピクセル数）が、顔領域の大きさとされる。

ステップＳ１５３において、対象顔領域決定部５５は、ステップＳ１５２で検出された顔領域の中の最大の大きさ（即ち、最大サイズ）が、その最小の大きさ（即ち最小サイズ）の２倍より大きいか否かを判定し、大きいと判定した場合、ステップＳ１５４に進む。

図１３は、顔領域の大きさを模式的に表した図である。図１３には、大きさがそれぞれ異なる４つの顔領域ＦＡ１〜ＦＡ4が、大きさの順に並んでいる。この例の場合、最大サイズとなる顔領域ＦＡ4の垂直幅Ｓ4が、最小サイズとなる顔領域ＦＡ１の垂直幅Ｓ1の２倍より大きいか否かが判定される。最大サイズである顔領域ＦＡ4の垂直幅Ｓ4は、最小サイズである顔領域ＦＡ１の垂直幅Ｓ1の２倍より大きいので、ステップＳ１５４に進む。

ステップＳ１５４において、対象顔領域決定部５５は、複数の顔領域の中から１つの顔領域を選択する。

ステップＳ１５５において、対象顔領域決定部５５は、いま選択した顔領域の大きさが、顔領域の最小サイズに、最大サイズと最小サイズの差分の半分を加算した結果得られた値（式（３））より小さいか否かを判定し、小さいと判定された場合、ステップＳ１５６において、いま選択されている顔領域に関する顔領域情報を、顔領域情報記憶部５４から削除する。
顔領域の大きさ＜最小サイズ＋（最大サイズ−最小サイズ）／２
・・・（３）

図１３の例において、いま顔領域ＦＡ2が選択されているものとすると、顔領域ＦＡ2のサイズＳ2は、最小サイズ（Ｓ1）に、最大サイズ（Ｓ4）と最小サイズ（Ｓ1）の差分（Ｓ4-1）の半分のサイズ（Ｓ'4-1）を加算して得られた値（図中、点線までの高さ）より小さいので、顔領域ＦＡ2の顔領域情報は、顔領域情報記憶部５４から削除される。

次にステップＳ１５７において、対象顔領域決定部５５は、検出された複数の顔領域が全て選択されたか否かを判定し、まだ選択されていない顔領域が残っていると判定した場合、ステップＳ１５４に戻り、他の顔領域を選択し、ステップＳ１５５以降の処理を同様に行う。

ステップＳ１５１で、複数の顔領域が検出されていないと判定された場合、若しくはステップＳ１５３で、顔領域の最大サイズが、最小サイズの２倍以下であると判定された場合、又はステップＳ１５７で、複数の顔領域が全て選択されたと判定された場合、処理は、終了する。

以上のようにして対象顔領域決定処理が行われる。この例の場合も、所定の条件を満たさない顔領域の顔領域情報は削除されるので、図３のステップＳ５では、顔領域情報記憶部５４に、削除されずに顔領域情報が残っている顔領域が対象顔領域として処理される。

撮像対象である顔はクローズアップされていることが多いので、撮像対象である顔とともに、例えば通行人の顔など本来撮像対象ではない顔が撮影画角内に入っている場合、そのとき得られる画像には、大きな顔領域（撮像対象である顔の画像を含む顔領域）と、小さな顔領域（撮像対象ではない顔の画像を含む顔領域）が存在する。

そこで、大きな顔領域（撮像対象である顔の画像を含む顔領域）と、小さな顔領域（撮像対象ではない顔の画像を含む顔領域）が共に存在する場合（ステップＳ１５３でのＹＥＳ判定）、小さな顔領域（撮像対象ではない顔の画像を含む顔領域）が排除され、残った大きな顔領域（撮像対象である顔の画像を含む顔領域）（即ち対象顔領域）に基づいて（ステップＳ１５６，１５７）、フラッシュ制御が行われる（図３のステップＳ５〜Ｓ１３）。即ち撮像対象である顔の画像に基づいて、フラッシュ制御を行うことができる。

図１３の例では、４つの顔領域ＦＡ1〜ＦＡ4のうちの２個の顔領域ＦＡ3とＦＡ4が対象顔領域とされ、それらに基づいてフラッシュ制御が行われる。

なおステップＳ１５１で、複数の顔領域が検出されていないと判定された場合は、顔領域が１個だけ特定されているので、その場合は、その１個の顔領域が対象顔領域とされる。またステップＳ１５３で、最大サイズが、最小サイズの２倍より大きくないと判定された場合、全ての顔を同じように撮ろうとしており、全てが撮像の対象とされている可能性があるので、その複数の顔領域の全てが対象顔領域とされる。

図１０及び図１２を参照して説明したように、撮像対象である顔と撮像対象ではない顔が含まれている可能性がある場合、撮像対象である顔の可能性がある画像を含む顔領域に基づいて、フラッシュ制御を行うようにしたので、より効果的なフラッシュ制御を行うことができる。例えば撮像対象ではない顔の画像を含む顔領域は排除されるので、そのような顔領域の影響を受けずに、フラッシュのオンオフの判定（図３のステップＳ６）、又フラッシュ光が到達するか否かの判定（ステップＳ８）を行うことができる。

なお以上においては、対象顔領域決定処理として、エッジ強度による方法（図１０）又は大きさによる方法（図１２）のいずれか一方が実行される場合を例として説明したが、エッジ強度による方法（図１０）及び大きさによる方法（図１２）をそれぞれ組み合わせて行うこともできる。

図１４は、エッジ強度による方法で顔領域を選択した後に大きさによる方法でさらに顔領域を選択するようにして対象顔領域を決定する場合の対象顔領域決定処理の流れを示すフローチャートである。

基本的は、図１０に示した処理が行われ、その後図１２に示した処理が行われるので、その詳細な説明は省略するが、この例の場合、エッジ強度による対象顔領域決定処理で残った顔領域を対象に、大きさによる対象顔領域決定処理が行われる。

図１５は、他のフラッシュ制御処理Ｚ１の流れを示すフローチャートである。このフラッシュ制御処理Ｚ１では、対象顔領域の明るさが所定の明るさより暗い場合（ステップＳ２５６）、フラッシュがオンされることを前提として（ステップＳ２５７）、背景の明るさに応じて、撮像条件等が変更される（ステップＳ２５８）。

ステップＳ２５１からステップＳ２５６においては、図３のステップＳ１からステップＳ６における場合と同様の処理が実行され、ステップＳ２５９からステップＳ２６３においては、図３のステップＳ１３からステップＳ１７における場合と同様の処理が実行させるので、その説明は適宜省略する。

ステップＳ２５６において、対象顔領域の明るさが所定の明るさより暗いと判定された場合、ステップＳ２５７において、撮像処理部５２は、フラッシュ発光制御部２９に対して、撮像時のフラッシュ発光を指示する。このように、撮像時のフラッシュ発光が指示されると、ユーザによりシャッターボタンが全押しされたとき、フラッシュを伴う撮像（フラッシュ光の発光と同調する撮像）が実行される。

ステップＳ２５８において、撮像／補正条件決定処理が実行される。図１６は、この撮像／補正条件決定処理の流れを示すフローチャートである。このフローチャートを参照して、撮像／補正条件決定処理について説明する。

ステップＳ３０１において、撮像処理部５２は、対象画像の中の、ステップＳ２５４で決定された対象顔領域以外の領域（以下、背景領域と称する）の平均輝度値Ｙh3を算出する。

ステップＳ３０２において、撮像処理部５２は、背景領域の明るさが所定の明るさより暗いか否かを判定する。具体的には、ステップＳ３０１で算出された背景領域の平均輝度値Ｙh3が、フラッシュを発して外光の光量不足を補わなくてもよい明るさの限界輝度値Ｙp3より小さいか否かが判定される。

ステップＳ３０２で、背景領域の明るさが所定の明るさより暗いと判定された場合、ステップＳ３０３において、撮像処理部５２は、感度設定部５６を制御して、撮像時のパラメータを、感度及び露出が上がる方向に設定させる。例えば増幅率が大きな値に設定されたり、絞りやシャッタースピードが調整される。撮像処理部５２はまた、図示せぬ画像処理部を制御して、ノイズ除去処理をオンに設定させる。このように、ノイズ除去処理がオンに設定されると、撮像の結果得られた画像に対して、例えばノイズを除去するためのフィルタリング処理が施されるようになる。

ステップＳ３０２で、背景領域の明るさが所定の明るさより暗くないと判定された場合（即ち明るい場合）、ステップＳ３０４において、撮像処理部５２は、感度設定部５６を制御して、撮像時のパラメータを、感度及び露出が下がる方向に設定させる。このときノイズ除去処理はオフに設定させる。

ステップＳ３０３又はステップＳ３０４で、パラメータが変更されると、処理は、図１５のフラッシュ制御処理Ｚ１は終了する。

以上のように、対象顔領域が暗く、かつ背景領域が暗い場合（例えば、夜の撮影の場合）は、感度及び露出を上げるように撮像条件を設定し、フラッシュを伴う撮像を行うようにしたので、例えばフラッシュの光が十分に届かない背景も綺麗に撮像することができる。また感度が上がるのでノイズが乗りやすいが、ノイズ除去処理をオンに設定するようにしたので、ノイズを除去することができる。

また対象顔領域が暗く、かつ背景領域が明るい場合（例えば、逆光での撮影の場合）は、感度及び露出を下げて、フラッシュを伴う撮像を行うようにしたので、例えば背景の色飛びを防止することができる。

なお図１５の例では、対象顔領域の明るさが所定の明るさより暗い場合、フラッシュをオンすることを前提としたが、図３の例の場合のように、対象顔領域の明るさが所定の明るさより暗い場合においても、被写体距離に応じてフラッシュのオンオフを制御することもできる。即ち図３と図１５のフラッシュ制御処理Ｚ１を組み合わせることができる。図１７は、図３と図１５の処理を組み合わせたフラッシュ制御処理Ｚ１の流れを示すフローチャートである。

ステップＳ３５１からステップＳ３６２においては、図３のステップＳ１からステップＳ１２における場合と同様の処理が実行され、ステップＳ３６４からステップＳ３６８においては、図３のステップＳ１３からステップＳ１７における場合と同様の処理が実行させるので、その説明は適宜省略する。

即ちこのフラッシュ制御処理Ｚ１では、ステップＳ３５８において、被写体距離が、フラッシュ光が到達する距離（例えば、５ｍ）以下であると判定され、ステップＳ３６２において、フラッシュ発光制御部２９に対して、撮像時のフラッシュ発光が指示された後に、撮像／補正条件決定処理（図１６）が実行される。

なおフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。例えば図１５のステップＳ２５４の処理や、図１７のステップＳ３５４の処理は、適宜省略することもできる。即ち特定された顔領域を、そのまま対象顔領域とすることができる。

なお上述した機能の処理内容を記述したプログラムが提供される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc ROM）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバコンピューターから他のコンピューターにそのプログラムを転送することもできる。

プログラムを実行するコンピューターは、例えば、可搬型記録媒体に記録されたプログラム若しくはサーバコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

５１ 撮影操作部， ５２ 撮像処理部， ５３ 顔領域特定部， ５４ 顔領域情報記憶部， ５５ 対象顔領域決定部， ５６ 感度設定部

Claims (16)

1. 撮像素子と、
   上記撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域を特定する顔領域特定手段と、
   上記顔領域の明るさを求める顔領域明るさ算出手段と、
   上記顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさを求める背景領域明るさ算出手段と、
   上記顔領域の明るさ及び上記背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像を実行する撮像制御手段と
   を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像制御手段は、少なくとも前記顔領域の明るさに応じて、発光を伴う撮像又は発光を伴わない撮像を実行する
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記撮像制御手段は、
   前記顔領域の明るさが所定の明るさより暗く、かつ前記背景領域の明るさが所定の明るさより明るい場合、感度又は露出度を下げ、
   前記顔領域の明るさが所定の明るさより暗く、かつ前記背景領域の明るさも所定の明るさより暗い場合、感度又は露出度を上げる
   ことを特徴とする撮像装置。
4. 請求項２に記載の撮像装置であって、
   前記撮像制御手段による撮像の結果得られた撮像画像を補正する補正手段をさらに有し、
   上記補正手段は、前記顔領域の明るさ及び前記背景領域の明るさに応じて補正条件を決定する
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記補正手段は、
   前記顔領域の明るさが所定の明るさより暗く、かつ前記背景領域の明るさが所定の明るさより明るい場合、ノイズ除去処理を行わず、
   前記顔領域の明るさが所定の明るさより暗く、かつ前記背景領域の明るさが所定の明るさより暗い場合、ノイズ除去処理を実行する
   ことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記顔領域特定手段は、前記撮像素子を用いて得られた画像の明るさが所定の明るさより暗い場合、前記撮像素子を用いて得られた画像の明るさを一定量明るくし、その明るくなった画像から、前記顔領域を特定する
   ことを特徴とする撮像装置。
7. 請求項３又は４に記載の撮像装置であって、
   前記顔領域が複数特定された場合において、上記複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、前記顔領域明るさ算出手段は、エッジ強度が所定のエッジ強度より大きい前記顔領域の明るさを求める
   ことを特徴とする撮像装置。
8. 請求項３又は４に記載の撮像装置であって、
   前記顔領域が複数特定された場合において、上記複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きいとき、前記顔領域明るさ算出手段は、大きさが所定の大きさより大きい前記顔領域の明るさを求める
   ことを特徴とする撮像装置。
9. 請求項３又は４に記載の撮像装置であって、
   前記顔領域が複数特定された場合において、上記複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きく、かつ、上記複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、前記顔領域明るさ算出手段は、大きさが所定の大きさより大きい前記顔領域であって、エッジ強度が所定のエッジ強度より大きい前記顔領域の明るさを求める
   ことを特徴とする撮像装置。
10. 請求項２に記載の撮像装置であって、
    前記顔領域の大きさを用いて、被写体までの距離を算出する距離算出手段をさらに有し、
    前記撮像制御手段は、
    前記顔領域の明るさが所定の明るさより暗く、かつ、上記被写体までの距離が発光された光が到達する距離以下である場合、発光を伴う撮像を実行し、
    前記顔領域の明るさが所定の明るさより暗いが、上記被写体までの距離が発光された光が到達する距離よりも長い場合、発光を伴う撮像を実行しない旨を提示して、発光を伴わない撮像を実行する
    ことを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置であって、
    前記撮像制御手段は、前記顔領域の明るさが所定の明るさより暗いが、前記被写体までの距離が発光された光が到達する距離よりも長い場合、撮像感度を上げて、発光を伴わない撮像を実行する
    ことを特徴とする撮像装置。
12. 請求項１０に記載の撮像装置であって、
    前記顔領域が複数特定された場合において、上記複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、前記顔領域明るさ算出手段は、エッジ強度が所定のエッジ強度より大きい前記顔領域の明るさを算出し、前記距離算出手段は、エッジ強度が所定のエッジ強度より大きい前記顔領域の大きさを用いて、上記被写体までの距離を算出する
    ことを特徴とする撮像装置。
13. 請求項１０に記載の撮像装置であって、
    前記顔領域が複数特定された場合において、上記複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きいとき、前記顔領域明るさ算出手段は、大きさが所定の大きさより大きい前記顔領域の明るさを求め、前記距離算出手段は、大きさが所定の大きさより大きい前記顔領域の大きさを用いて、上記被写体までの距離を算出する
    ことを特徴とする撮像装置。
14. 請求項１０に記載の撮像装置であって、
    前記顔領域が複数特定された場合において、上記複数の顔領域の最大サイズと最小サイズの差分が所定の閾値より大きく、かつ、上記複数の顔領域のエッジの最大強度と最小強度の差分が所定の閾値より大きいとき、前記顔領域明るさ算出手段は、大きさが所定の大きさより大きい前記顔領域であって、エッジ強度が所定のエッジ強度より大きい前記顔領域の明るさを求め、前記距離算出手段は、大きさが所定の大きさより大きい前記顔領域であって、エッジ強度が所定のエッジ強度より大きい前記顔領域の大きさを用いて、上記被写体までの距離を算出する
    ことを特徴とする撮像装置。
15. 撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域を特定する顔領域特定ステップと、
    上記顔領域の明るさを求める顔領域明るさ算出ステップと、
    上記顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさを求める背景領域明るさ算出ステップと、
    上記顔領域の明るさ及び上記背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像を実行させる撮像制御ステップと
    を含むことを特徴とする撮像方法。
16. 画像処理を行うコンピュータに実行させるプログラムであって、
    撮像素子を用いて得られた画像から、その中の顔の少なくとも一部の画像が含まれる顔領域を特定する顔領域特定ステップと、
    上記顔領域の明るさを求める顔領域明るさ算出ステップと、
    上記顔領域以外の少なくとも一部の画像が含まれる背景領域の明るさを求める背景領域明るさ算出ステップと、
    上記顔領域の明るさ及び上記背景領域の明るさに応じて撮像条件を決定し、決定した撮像条件に応じた撮像を実行させる撮像制御ステップと
    を含む画像処理をコンピューターに実行させることを特徴とするプログラム。

Images