JP2015130615A - 撮像装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】顔領域の検出ができない環境において、より少ない撮影回数で確実に顔領域を検出し、検出された顔領域を適正な露出で撮影することを可能にする仕組みを提供する。
【解決手段】撮像装置は、撮影された第１の画像から人体領域検出部２４により人体領域が検出された場合に、前記検出された人体領域を適正露出にするための第１の露出量を決定し（Ｓ２０４ｙｅｓ，２０５）、第１の露出量で撮影された第２の画像から顔領域検出部２２により顔領域が検出された場合に、検出された顔領域を適正露出にして第３の画像を撮影するための第２の露出量を決定する決定手段（Ｓ２０６ｙｅｓ，２０７，２０８）を備える。
【選択図】図２

Description

本発明は、例えばデジタルカメラ等の撮像装置、その制御方法及びプログラムに関する。

デジタルカメラ等の撮像装置では、顔領域の検出ができない環境において、外部補助光や撮影感度などを変更することで顔領域の検出を可能にする技術が提案されている。

例えば、逆光シーン等で顔領域の検出ができなかった場合に、映像信号の調整レベル（ゲイン）を変更して、顔領域検出を可能にする技術が開示されている（特許文献１）。

また、顔領域の検出ができなかった場合に、顔領域の探索枠内の輝度の最大値と最小値から決定される階調変換カーブに従って階調変換を行って、再度顔領域を検出する技術が開示されている（特許文献２）。

更に、顔領域の検出ができなかった場合に、プリ発光して撮影した画像を基に顔領域を検出して、プリ発光による測光値に応じてメイン発光量を設定し、ストロボ発光する技術が開示されている（特許文献３）。

特開２００５−３４７８７３号公報 特開２００８−２８３５７３号公報 特開２００５−１８４５０８号公報

しかし、上記特許文献１，２では、顔領域を検出するために調整レベル（ゲイン）を変更して何度も撮影したり、階調変換カーブを変更して何度も顔領域を検出したりする必要がある。また、上記特許文献３では、プリ発光量を被写体までの距離や撮像素子の感度によって決定しているため、被写体までの距離が精度良く求められなかった場合には、顔が暗く撮影されて顔領域の検出ができないことがある。また、必ずプリ発光を行うので、ストロボ発光が禁止されているような場所では、顔領域を適正な露出で撮影することができないという問題がある。

そこで、本発明は、顔領域の検出ができない環境において、より少ない撮影回数で確実に顔領域を検出し、検出された顔領域を適正な露出で撮影することを可能にする仕組みを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、画像から人体領域を検出する人体領域検出手段と、画像から顔領域を検出する顔領域検出手段と、撮影された第１の画像から前記人体領域検出手段により人体領域が検出された場合に、前記検出された人体領域を適正露出にするための第１の露出量を決定し、前記第１の露出量で撮影された第２の画像から前記顔領域検出手段により顔領域が検出された場合に、検出された顔領域を適正露出にして第３の画像を撮影するための第２の露出量を決定する決定手段と、を備えることを特徴とする。

本発明の撮像装置は、画像から人体領域を検出する人体領域検出手段と、撮影された第１の画像から前記人体領域検出手段により人体が検出された場合に、前記検出された人体領域から顔領域を予測する予測手段と、前記予測手段により予測された顔領域を適正露出にして第２の画像を撮影するための露出量を決定する決定手段と、を備えることを特徴とする。

本発明によれば、例えば人物の顔が暗い等の顔領域の検出ができない環境において、より少ない撮影回数で確実に顔領域を検出し、検出された顔領域を適正な露出で撮影することができる。

本発明の撮像装置の第１の実施形態であるデジタルカメラの概略構成例を示すブロック図である。 図１に示すデジタルカメラの動作例を説明するためのフローチャート図である。 第１の画像の一例を示す図である。 第１の画像で検出された人体領域の一例を示す図である。 第２の画像の一例を示す図である。 複数の人体領域が検出された場合の人体領域の露出量の決定方法の一例を示す図である。 複数の人体領域が検出された場合の人体領域の露出量の決定方法の他の例を示す図である。 第３の画像の一例を示す図である。 本発明の撮像装置の第２の実施形態であるデジタルカメラの動作例を説明するためのフローチャート図である。 顔領域の予測方法の一例を説明するための図である。

以下、本発明の実施形態を図面を参照して説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラの概略構成例を示すブロック図である。

本実施形態のデジタルカメラは、図１に示すように、撮像レンズ１０を通過した被写体像を光学的に撮像素子１２に結像させる。撮像素子１２は、ＣＣＤセンサやＣＭＯＳセンサ等で構成され、複数の色フィルタを有して、結像した被写体像をアナログの電気信号に変換し、Ａ／Ｄ変換器１４に出力する。Ａ／Ｄ変換器１４は、撮像素子１２から出力されたアナログ信号をデジタル信号の画像データに変換する。

画像処理部１６は、画像データに対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行い、画像データを現像してメモリ１８に記憶させる。メモリ１８は、画像データを一時的に格納するための揮発性のメモリである。制御部２０は、不図示のＲＯＭ、ＲＡＭ及びＣＰＵ等で構成され、撮像素子１２による撮像動作の制御、Ａ／Ｄ変換器１４、メモリ１８、画像処理部１６、顔領域検出部２２、人体領域検出部２４の間のデータの流れの制御、及びストロボ発光部２６の制御を行う。

顔領域検出部２２は、画像データから顔を含む領域を検出する。顔領域の検出方法として、公知の方法、例えば、所定以上の大きさを有する肌色領域を顔領域と見なす方法や、輝度情報から顔の輪郭や目の形状を検出して顔領域と見なす方法などがある。いずれの場合においても、顔領域が暗い場合には、検出率が低下する。

人体領域検出部２４は、画像データから人体を含む領域を抽出する。人体領域の検出方法としては、公知の方法、例えば、人体領域のシルエットの特徴を辞書として検出する方法などがある。シルエットの特徴を辞書として検出する方法であれば、人体領域が暗く顔領域の検出が難しい逆光シーンにおいても、顔領域に比べて高精度に人体領域を検出することができる。

図２は、図１に示すデジタルカメラ１００の動作例を説明するためのフローチャート図である。図２での各処理は、制御部２０を構成するＲＯＭ等に格納されたプログラムがＲＡＭにロードされて、ＣＰＵにより実行される。

図２において、ステップＳ２０１では、制御部２０は、第１の画像を撮影し、ステップＳ２０２に進む。図３に、ステップＳ２０１で撮影した第１の画像の一例を示す。図３に示すように、第１の画像の中央に人物がいるが、逆光のために人物の領域が暗く、人物の周辺が明るく撮影されている。

ステップＳ２０２では、制御部２０は、ステップＳ２０１で撮影された第１の画像が逆光シーンであるかどうか判定する。そして、制御部２０は、逆光シーンでない場合は、ステップＳ２１０に進み、逆光シーンの場合は、ステップＳ２０３に進む。逆光シーンの判定方法は、公知の方法、例えば、画面の輝度分布を算出し、白とびしている領域の分布割合と黒つぶれしている領域の分布割合が共に閾値以上ある場合に、逆光シーンと判定する等が挙げられる。なお、逆光シーンの判定方法は、特に限定されない。

ステップＳ２１０（逆光シーンでない場合）では、制御部２０は、評価測光により露出量を決定し、ステップＳ２１１に進む。評価測光により露出量を決定する方法としては、画面全体の輝度の平均値を求め、その平均値が予め定められた輝度の目標値に達するように露出量を決定する方法が挙げられる。なお、評価測光の方法は、特に限定されない。

ステップＳ２１１では、制御部２０は、ステップＳ２１０で決定された露出量に基づいて第３の画像を撮影し、処理を終了する。

一方、ステップＳ２０３（逆光シーンの場合）では、制御部２０は、顔領域検出部２２を制御して、第１の画像に対して顔領域の検出処理を行う。そして、制御部２０は、顔領域検出部２２により、第１の画像で顔領域が検出された場合は、ステップＳ２２０に進み、顔領域が暗すぎる等の理由で顔領域が検出されない場合は、ステップＳ２０４に進む。

ステップＳ２２０では、制御部２０は、検出された顔領域が適正露出になるように露出量を決定し、ステップＳ２２１に進む。

ステップＳ２２１では、制御部２０は、第３の画像を撮影し、処理を終了する。

一方、ステップＳ２０４では、制御部２０は、人体領域検出部２４を制御して、第１の画像に対して人体領域検出処理を行う。人体領域検出部２４は、人体領域が検出された場合には、画像上での人体領域の位置、大きさ、検出結果の信頼度などを出力する。そして、制御部２０は、人体領域が検出された場合は、ステップＳ２０５に進み、検出されない場合は、ステップＳ２３０に進む。

ステップＳ２３０では、制御部２０は、白とびしている領域を除外した残りの領域に対してステップＳ２１０と同様に、評価測光で露出量を決定し、ステップＳ２３１に進む。

ステップＳ２３１では、制御部２０は、ステップＳ２３０で決定された露出量に基づいて、第３の画像を撮影し、処理を終了する。

一方、ステップＳ２０５では、制御部２０は、第１の画像で検出された人体領域４０１（図４参照）を適正露出にするように露出量を決定し、決定した露出量で第２の画像を撮影して、ステップＳ２０６に進む。図４に、第１の画像で検出された人体領域４０１の一例を示す。また、図５に、撮影された第２の画像の一例を示す。暗い人体領域に露出を合わせたために、図５に示す第２の画像は、図４に示す第１の画像に比べて画面全体が明るく撮影されている。

なお、第１の画像で複数の人体領域が検出された場合には、検出された人体領域の面積が大きいほど値が大きくなるように、面積に正の数をかけた値を評価値と定め、評価値が最も高い人体領域を適正露出にする人体領域として選択してもよい。より具体的には、図６に示すように、複数の人体領域９０１，９０２が検出された場合には、人体領域９０１の面積の方が人体領域９０２の面積より大きいので、人体領域９０１を適正露出にするように露出量を決定して第２の画像を撮影すればよい。

また、図７に示すように、画面中心から検出された人体領域の中心までの距離が近いほど値が大きくなるように、例えば距離の逆数を評価値と定め、評価値が最も高い人体領域９０２を適正露出にするように露出量を決定して第２の画像を撮影してもよい。

更に、人体領域の検出結果の信頼度を評価値として、評価値が最も高くなる人体領域を適正露出になるように露出量を決定してもよい。また、上記方法で算出された各評価値を加重加算して新たな評価値を算出し、その評価値が最も高い人体領域を適正露出にするように露出量を決定して第２の画像を撮影してもよい。

更に、いずれか１つの人体領域を選択せずに、全ての人体領域の平均値を適正露出にするように露出量を決定してもよい。

ステップＳ２０６では、制御部２０は、顔領域検出部２２を制御して第２の画像に対して顔領域の検出処理を行う。第２の画像は、人体領域に適正な露出で撮影しているため、顔領域が極端に明るすぎたり暗すぎたりすることが少なく、顔領域を検出できる確率が高まる。そして、制御部２０は、顔領域が検出されなかった場合は、ステップＳ２４０に進み、検出された場合は、ステップＳ２０７に進む。

ステップＳ２４０では、制御部２０は、第１の画像で検出された人体領域４０１（図４参照）を適正露出にするように露出量を決定し、ステップＳ２４１に進む。

ステップＳ２４１では、制御部２０は、ステップＳ２４０で決定した露出量で第３の画像を撮影して、処理を終了する。なお、ステップＳ２４１で第３の画像を撮影する際には、制御部２０は、ストロボ発光部２６を制御して、人体領域４０１が適正露出になるように発光量を決定し、ストロボ発光により撮影してもよい。

一方、ステップＳ２０７では、制御部２０は、検出された顔領域５０１（図５参照）が適正露出になるように露出量を決定し、ステップＳ２０８に進む。なお、複数の顔領域が検出された場合には、いずれか１つの顔が適正露出になるように露出量を決定してもよいし、それぞれの顔に重み付けをして複数の顔が全体として適正露出になるように露出量を決定してもよい。

ステップＳ２０８では、制御部２０は、ステップＳ２０７で決定された露出量で第３の画像を撮影し、処理を終了する。なお、ステップＳ２０８で第３の画像を撮影する際、制御部２０は、ストロボ発光部２６を制御して、顔領域が適正露出になるように発光量を決定して、ストロボ発光により撮影してもよい。図８に、このとき撮影された第３の画像の一例を示す。図８に示すように、第３の画像の顔領域が適正な露出で画像が撮影されているのが判る。

ステップＳ２０８と比較して、ステップＳ２４１のように、顔領域を考慮せずに人体領域が適正露出になるように撮影すると、人が着ている服の分光反射率によっては顔領域が適正露出より明るくなったり暗くなったりする場合がある。つまり、分光反射率の低い服を着ている人体領域を適正露出で撮影すると、顔領域が適正露出より明るく撮影される場合がある。また、分光反射率の高い服を着ている人体領域を適正露出で撮影すると、顔領域が適正露出より暗く撮影される場合がある。これに対し、ステップＳ２０８においては、顔領域の露出に合わせて第３の画像を撮影しているので、人の着ている服の分光反射率の影響を受けることなく、顔領域を適正な露出で撮影することができる。

以上説明したように、本実施形態では、例えば人物の顔が暗い等の顔領域の検出ができない環境において、より少ない撮影回数で確実に顔領域を検出し、検出された顔領域を適正な露出で撮影することができる。

（第２の実施形態）
次に、図９及び図１０を参照して、本発明の撮像装置の第２の実施形態であるデジタルカメラについて説明する。なお、上記第１の実施形態に対して重複又は相当する部分については、図及び符号を流用して説明する。

図９は、本実施形態のデジタルカメラの動作例を説明するためのフローチャート図である。図９での各処理は、制御部２０を構成するＲＯＭ等に格納されたプログラムがＲＡＭにロードされて、ＣＰＵにより実行される。

図９において、ステップＳ２０１では、制御部２０は、第１の画像（図３参照）を撮影し、ステップＳ２０２に進む。

ステップＳ２０２では、制御部２０は、ステップＳ２０１で撮影された第１の画像が逆光シーンであるかどうか判定する。そして、制御部２０は、逆光シーンでない場合は、ステップＳ２１０に進み、逆光シーンの場合は、ステップＳ２０４に進む。逆光シーンの判定方法は、上記第１の実施形態と同様である。

ステップＳ２１０（逆光シーンでない場合）では、制御部２０は、評価測光により露出量を決定し、ステップＳ７１１に進む。評価測光により露出量を決定する方法は、上記第１の実施形態と同様である。

ステップＳ７１１では、制御部２０は、ステップＳ２１０で決定された露出量に基づいて第２の画像を撮影し、処理を終了する。

一方、ステップＳ２０４（逆光シーンの場合）では、制御部２０は、人体領域検出部２４を制御して、第１の画像に対して人体領域検出処理を行う。そして、制御部２０は、人体領域が検出された場合は、ステップＳ７４０に進み、検出されない場合は、ステップＳ２３０に進む。

ステップＳ２３０では、制御部２０は、上記第１の実施形態のステップＳ２１０（図２参照）と同様に、白とびしている領域を除外した残りの領域に対して評価測光で露出量を決定し、ステップＳ７３１に進む。

ステップＳ７３１では、制御部２０は、ステップＳ２３０で決定された露出量に基づいて、第２の画像を撮影し、処理を終了する。

一方、ステップＳ７４０では、制御部２０は、検出された人体領域４０１の位置から顔領域を予測し、ステップＳ７４１に進む。図１０は、顔領域の予測方法の一例を説明するための図である。図１０において、ステップＳ２０４で検出された第１の画像の人体領域４０１の水平方向の位置を人体領域水平位置８０２とし、垂直方向の位置を人体領域垂直位置８０４とする。このときの顔予測領域水平位置８０３を、人体領域水平位置８０２の所定の範囲（例えば、中央８０％の位置）と定める。同様にして、顔予測領域垂直位置８０５を人体領域垂直位置８０４の所定の範囲（例えば、上部９０％から６０％の位置）と定める。そして、顔予測領域水平位置８０３と顔予測領域垂直位置８０５で囲まれた領域を顔予測領域８０１と定める。

ステップＳ７４１では、制御部２０は、顔予測領域８０１が適正露出になるように露出量を決定し、ステップＳ７４２に進む。

ステップＳ７４２では、制御部２０は、ステップＳ７４１で決定された露出量で第２の画像を撮影し、処理を終了する。このとき撮影された画像は、上記第１の実施形態の図８に示す画像と同様である。

以上説明したように、本実施形態では、顔領域検出を行わずに人体領域検出のみを行い、人体領域検出結果から顔領域を予測している。これにより、顔領域及び人体領域の両方を検出する場合に比べて撮影回数や処理時間を少なくすることができ、顔領域検出部２２を搭載しない場合においても、顔領域を適正な露出で撮影することが可能になる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０ 撮像レンズ
１２ 撮像素子
１４ Ａ／Ｄ変換器
１６ 画像処理部
１８ メモリ
２０ 制御部
２２ 顔領域検出部
２４ 人体領域検出部
２６ ストロボ発光部
１００ デジタルカメラ

Claims (9)

1. 画像から人体領域を検出する人体領域検出手段と、
   画像から顔領域を検出する顔領域検出手段と、
   撮影された第１の画像から前記人体領域検出手段により人体領域が検出された場合に、前記検出された人体領域を適正露出にするための第１の露出量を決定し、前記第１の露出量で撮影された第２の画像から前記顔領域検出手段により顔領域が検出された場合に、検出された顔領域を適正露出にして第３の画像を撮影するための第２の露出量を決定する決定手段と、を備えることを特徴とする撮像装置。
2. 画像から人体領域を検出する人体領域検出手段と、
   撮影された第１の画像から前記人体領域検出手段により人体が検出された場合に、前記検出された人体領域から顔領域を予測する予測手段と、
   前記予測手段により予測された顔領域を適正露出にして第２の画像を撮影するための露出量を決定する決定手段と、を備えることを特徴とする撮像装置。
3. 前記人体領域検出手段により複数の人体領域が検出された場合に、検出された複数の人体領域に対して、それぞれあらかじめ決められた方法により評価値を定める評価手段を備え、
   前記決定手段は、前記第１の露出量を決定する際に、前記評価手段により定められた評価値に基づいて前記人体領域を選択することを特徴とする請求項１に記載の撮像装置。
4. 前記画像が逆光シーンであるか否かを判定する判定手段を更に有し、
   前記人体領域検出手段は、前記判定手段により前記画像が逆光シーンであると判定された場合に、前記画像から人体領域を検出することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記人体領域検出手段は、シルエットの特徴に基づいて、前記画像から人体領域を検出することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 画像から人体領域を検出する人体領域検出手段と、画像から顔領域を検出する顔領域検出手段と、を備える撮像装置の制御方法であって、
   撮影された第１の画像から前記人体領域検出手段により人体領域が検出された場合に、前記検出された人体領域を適正露出にするための第１の露出量を決定する第１の決定ステップと、
   前記第１の露出量で撮影された第２の画像から前記顔領域検出手段により顔領域が検出された場合に、検出された顔領域を適正露出にして第３の画像を撮影するための第２の露出量を決定する第２の決定ステップと、を備えることを特徴とする撮像装置の制御方法。
7. 画像から人体領域を検出する人体領域検出手段を備える撮像装置の制御方法であって、
   撮影された第１の画像から前記人体領域検出手段により人体が検出された場合に、前記検出された人体領域から顔領域を予測する予測ステップと、
   前記予測ステップで予測された顔領域を適正露出にして第２の画像を撮影するための露出量を決定する決定ステップと、を備えることを特徴とする撮像装置の制御方法。
8. 画像から人体領域を検出する人体領域検出手段と、画像から顔領域を検出する顔領域検出手段と、を備える撮像装置を制御するプログラムであって、
   撮影された第１の画像から前記人体領域検出手段により人体領域が検出された場合に、前記検出された人体領域を適正露出にするための第１の露出量を決定する第１の決定ステップと、
   前記第１の露出量で撮影された第２の画像から前記顔領域検出手段により顔領域が検出された場合に、検出された顔領域を適正露出にして第３の画像を撮影するための第２の露出量を決定する第２の決定ステップと、をコンピュータに実行させることを特徴とするプログラム。
9. 画像から人体領域を検出する人体領域検出手段を備える撮像装置を制御するプログラムであって、
   撮影された第１の画像から前記人体領域検出手段により人体が検出された場合に、前記検出された人体領域から顔領域を予測する予測ステップと、
   前記予測ステップで予測された顔領域を適正露出にして第２の画像を撮影するための露出量を決定する決定ステップと、をコンピュータに実行させることを特徴とするプログラム。