JP2009147605A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】被写体の動きやすさに応じて、被写体検出処理の効率を最適にすることである。
【解決手段】デジタルカメラ１は、被写体を撮像して順次画像データを得る撮像手段と、この撮像手段により得られる所定の画像データにおける被写体を検出する被写体検出手段と、前記検出された被写体の動きやすさを推定する推定手段と、前記推定された被写体の動きやすさに基づき、前記被写体検出手段が被写体を検出する探索範囲を設定する探索範囲設定手段と、前記撮像手段によって得られる画像データにおいて、前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する被写体検出制御手段と、を備える
【選択図】図１

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

従来、被写体を撮影してデジタルの画像データを得るデジタルカメラが知られている。また、画像における顔領域を検出するための探索窓のサイズを設定し、設定した探索窓のサイズに応じた探索範囲で探索窓を走査して顔領域を検出するカメラが考えられている（例えば、特許文献１参照）。そして、この従来のカメラでは、探索窓のサイズがしきい値以下の場合には、画像全域を探索せずに探索範囲を制限するため、顔領域の検出処理の高速化が図られる。
特開２００７−２６５１５０号公報

ここで、撮影時においては、大人と比べて子供がカメラの前で静止せずに動き回ることが多々あるため、被写体が子供である場合の顔領域検出の探索範囲を、被写体が大人である場合の探索範囲よりも大きくすることが望ましい。

しかしながら、上記従来のカメラでは、大人と子供とに探索範囲の大きさを異に設定できなかった。このため、被写体が大人である場合の探索範囲を、被写体が子供である場合の探索範囲と同じにすると、顔領域検出の効率が悪くなるという問題があった。

本発明の課題は、被写体の動きやすさに応じて、被写体検出処理の効率を最適にすることである。

上記課題を解決するために、請求項１に記載の発明の撮像装置は、
被写体を撮像して順次画像データを得る撮像手段と、
この撮像手段により得られる画像データにおける被写体を検出する被写体検出手段と、
前記検出された被写体の動きやすさを推定する推定手段と、
前記推定された被写体の動きやすさに基づき、前記被写体検出手段が被写体を検出する探索範囲を設定する探索範囲設定手段と、
前記撮像手段によって得られる画像データにおいて、前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する被写体検出制御手段と、
を備える。

請求項２に記載の発明は、請求項１記載の撮像装置において、
前記探索範囲設定手段は、前記推定手段によって推定された被写体の動きやすさが大きい場合に、前記動きやすさが小さい場合に設定される前記探索範囲よりも大きい前記探索範囲を設定する。

請求項３に記載の発明は、請求項１又は２記載の撮像装置において、
前記推定手段は、
前記被写体検出手段によって検出された被写体の年齢を推定する年齢推定手段を備え、
前記年齢推定手段の推定結果に基づき、前記動きやすさを推定する。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の撮像装置において、
前記被写体検出制御手段は、前記撮像手段によって所定のフレーム間隔ごとに得られる第１の画像データにおける全範囲の被写体を検出するよう前記被写体検出手段を制御するとともに、前記第１の画像データ以外の第２の画像データにおいて前記前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の撮像装置において、
被写体の角度に対応付けて被写体検出用データを記憶する記憶手段と、
前記推定された被写体の動きやすさに基づき、前記検出に用いる前記被写体検出用データの角度範囲を設定する角度範囲設定手段と、を備え、
前記被写体検出制御手段は、前記撮像手段によって得られる画像データにおいて、前記角度範囲設定手段に設定された角度範囲の前記記憶された被写体検出用データを用いて、前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する。

請求項６に記載の発明は、請求項５記載の撮像装置において、
前記角度範囲設定手段は、前記推定手段によって推定された被写体の動きやすさが大きい場合に、前記動きやすさが小さい場合に設定される前記角度範囲よりも大きい前記角度範囲を設定する。

請求項７に記載の発明の撮像方法は、
被写体を撮像して順次画像データを得る撮像手段により得られる所定の画像データにおける被写体を検出する被写体検出工程と、
前記検出された被写体の動きやすさを推定する推定工程と、
前記推定された被写体の動きやすさに基づき、前記被写体検出工程で被写体を検出する探索範囲を設定する探索範囲設定工程と、
前記撮像手段によって得られる画像データにおいて、前記探索範囲設定工程において設定された探索範囲内の被写体を検出するよう前記被写体検出を制御する被写体検出制御工程と、
を含む。

請求項７に記載の発明は、
コンピュータを、
被写体を撮像して順次画像データを得る撮像手段、
この撮像手段により得られる画像データにおける被写体を検出する被写体検出手段、
前記検出された被写体の動きやすさを推定する推定手段、
前記推定された被写体の動きやすさに基づき、前記被写体検出手段が被写体を検出する探索範囲を設定する探索範囲設定手段、
前記撮像手段によって得られる画像データにおいて、前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する被写体検出制御手段、
として機能させるためのプログラムである。

本発明によれば、被写体の動きやすさに応じて、被写体検出処理の効率を最適にできる。

以下、添付図面を参照して本発明に係る好適な実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

先ず、図１〜図３を参照して、本実施の形態の装置構成を説明する。図１を参照して、本実施の形態の撮像装置としてのデジタルカメラ１の外観を説明する。図１（ａ）に、本実施の形態のデジタルカメラ１の主に前面の構成を示す。図１（ｂ）に、デジタルカメラ１の主に背面の構成を示す。

図１（ａ）に示すように、デジタルカメラ１は、略矩形の薄板状ボディの前面に、撮影レンズ２、を配設し、上面には電源キー３及びシャッタキー４を配する。

撮影レンズ２は、合焦動作は行うためのフォーカスレンズとズーム動作を行うためのズームレンズとで構成される。電源キー３は、１回押圧操作する毎に電源をオン／オフするキーである。シャッタキー４は、撮影モード時にレリーズ（画像の記録）等を指示する一方で、メニュー選択等では設定／実行を指示するキーとしても機能するものとする。シャッタキー４は、撮影モード時に、半押しされることで、顔検出を指示し、全押しされることによりレリーズを指示する。

また、図１（ｂ）に示すように、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）５、メニューキー６、十字キー７及び表示部８を配する。

モードスイッチ５は、例えばスライドスイッチにより構成され、撮影モード「Ｒ」と再生モード「Ｐ」とを切換える。メニューキー６は、各種メニュー選択時に操作する。十字キー７は、各種選択時等に操作する。表示部８は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてモニタ表示（スルー画像表示）を行なう一方で、再生モード時には選択した画像を再生表示する。なお、デジタルカメラ１のボディ下面には蓋付きのメモリカードスロット（図示略）が設けられ、このデジタルカメラ１の記録媒体であるメモリカード２８が着脱自在に装着されるものとする。

次いで、図２を参照して、デジタルカメラ１の内部構成を説明する。図２に、デジタルカメラ１の内部構成を示す。

図２に示すように、デジタルカメラ１は、被写体検出手段、推定手段、探索範囲設定手段、被写体検出制御手段、年齢推定手段、角度範囲設定手段、としてのＣＰＵ（Central Processing Unit）２１と、入力部２２と、ＲＡＭ（Random Access Memory）２３と、表示部８と、撮像手段としての撮像部２４と、記憶手段としてのフラッシュメモリ２５と、通信部２６と、記録部２７と、を備えて構成され、各部がバス３０を介して接続される。

ＣＰＵ２１は、デジタルカメラ１の各部を中央制御する。また、ＣＰＵ２１は、フラッシュメモリ２５に記憶されたシステムプログラム及びアプリケーションプログラムの中から指定されたプログラムを読み出してＲＡＭ２３に展開し、展開されたプログラムとの協働で各種処理を実行する。

ＣＰＵ２１は、フラッシュメモリ２５に記憶された被写体検出撮影プログラムとの協働で、シャッタキー４の半押しで、フラッシュメモリ２５に記憶された顔検出用情報５０を用いて、撮像部２４で撮像されたフレームデータの画像（フレーム画像）の探索範囲から被写体の顔を検出するとともに、検出した被写体の年齢を推定し（大人か子供かを判別し）、被写体が子供である場合に、被写体が大人である場合よりも、次フレームの探索範囲を大きくし、シャッタキー４の全押しでその被写体を撮影する。本実施の形態では、被写体の動きやすさを示す情報として、被写体の年齢（大人か子供か）を用いる。年齢が低い（子供）の方が動きやすさが大きく、年齢が高い（大人）の方が動きやすさが小さい。

入力部２２は、ユーザからの操作入力を受け付けて操作信号をＣＰＵ２１に出力する。入力部２２は、電源キー３、シャッタキー４、モードスイッチ５、メニューキー６、十字キー７等を含み、各種キー、スイッチ等の操作入力を受け付ける。

ＲＡＭ２３は、情報を一時的に格納する揮発性のメモリであり、各種プログラム及び各種データが展開されるワークエリアを有する。また、ＲＡＭ２３は、撮像部２４で撮像された画像データが一時的に格納され、後述する履歴情報６０が格納される。

表示部８は、液晶ディスプレイであり、ＣＰＵ２１から入力される表示信号に基づいて各種情報を表示する。また、表示部８は、スルー画像、撮影画像等の情報を表示する。また、表示部８は、液晶ディスプレイに限定されるものではなく、ＥＬＤ（ElectroLuminescent Display）等としてもよい。

撮像部２４は、被写体を撮像してデジタルの画像データを出力する。撮像部２４は、撮影レンズ２などが含まれる。また、撮像部２４の内部構成を後述する。

フラッシュメモリ２５は、情報を読み込み及び書き込み可能な不揮発性の内部メモリである。フラッシュメモリ２５は、後述する被写体検出撮影プログラム、顔検出用情報５０を記憶する。

通信部２６は、ＰＣ（Personal Computer）等の外部機器とデータの送受信を行う。通信部２６は、通信ケーブルを介して外部機器と有線通信を行うものとするが、これに限定されるものではなく、赤外線や無線等で通信を行う構成としてもよい。

記録部２７は、メモリカード２８が着脱自在に接続（セット）され、ＣＰＵ２１から入力される制御信号に従い、接続されたメモリカード２８に画像データ等のデータを書き込み、あるいは接続されたメモリカード２８から画像データ等のデータを読み込んでＣＰＵ２１に出力する。メモリカード２８は、ＳＤ（Secure Digital）カード、メモリースティック等の記録媒体（記録メディア）である。

ここで、図３を参照して、撮像部２４の詳細な内部構成を説明する。図３に、撮像部２４の詳細な構成を示す。

撮像部２４は、レンズ光学系３１、絞り機構３２、撮像素子３３、光学系駆動部３４、センサ部３５、駆動回路３６、アナログ処理回路３７、Ａ／Ｄ（Analog to Digital）変換回路３８、バッファレジスタ３９、信号処理回路４０、圧縮伸長回路４１等を備えて構成される。

撮像部２４は、ＣＰＵ２１の制御に従い動作する。具体的には、撮像部２４は、撮影の際に、フォーカスレンズとズームレンズとで構成される撮影レンズ２を含むレンズ光学系３１の光束の開口量が絞り機構３２によって調整され、被写体像がレンズ光学系３１によってＣＣＤ（Charge Coupled Devices）等の撮像素子３３上に結像される。また、ＡＦ（Auto Focus）時に、合焦のためにフォーカスレンズが光学系駆動部３４によって光軸に沿って移動され、ＡＥ（Automatic Exposure）時に、適切な露出となるように絞り機構３２の開口量が光学系駆動部３４によって制御される。また、ズーム時に、ズームレンズが光学系駆動部３４によって光軸に沿って移動され、撮影範囲である画角が変更される。

また、測距センサや光量センサを含むセンサ部３５によって検出された検出値がバス３０を介してＣＰＵ２１に送られ、ＣＰＵ２１によって検出値に基づいて演算された移動量や開口量を示す信号が光学系駆動部３４に送られることによって、光学系駆動部３４によりレンズ光学系３１の移動や絞り機構３２の開口量を調整する。

撮像素子３３に被写体像が結像されることにより、撮像素子３３には入射光量に応じた電荷が蓄積され、蓄積された電荷は駆動回路３６から与えられる駆動パルス信号によって順次読み出されその信号がアナログ処理回路３７に送られる。アナログ処理回路３７では、入力された信号に対して色分離やゲイン調整、ホワイトバランスなどの各種処理が行われ、処理された信号がＡ／Ｄ変換回路３８を介してデジタルのフレームデータ（静止画データ）としてバッファレジスタ３９に記憶される。

バッファレジスタ３９に記憶されたフレームデータは、信号処理回路４０において輝度信号及び色差信号に変換されバス３０を介してＲＡＭ２３に順次記録される。また、このとき順次記録されているフレームデータの画像（フレーム画像）が表示部８にも表示され、撮影したスルー画像を確認できるようになっている。なお、静止画の撮影の場合には、バッファレジスタ３９に記憶されたフレームデータが圧縮伸長回路４１によってＪＰＥＧ（Joint Photographic Coding Experts Group）形式に圧縮され、バス３０を介してＲＡＭ２３に静止画データとして記録される。

次に、図４、図５及び図６を参照して、デジタルカメラ１で扱うデータを説明する。図４に、顔検出用情報５０の構成を示す。図５に、テンプレートテーブル５１の一例を示す。図６に、履歴情報６０の構成を示す。

図４に示す顔検出用情報５０は、フラッシュメモリ２５に記憶され、フレーム画像の顔の検出時に用いられる顔検出用のテンプレートに関する情報である。顔検出用情報５０は、テンプレートテーブル５１と、テンプレート部５４と、を含んで構成される。テンプレートテーブル５１は、テンプレート番号５２と、属性５３とが対応付けられて含められている。

テンプレート番号５２は、テンプレート部５４内の複数のテンプレートの識別情報である。属性５３は、テンプレート部５４内の各テンプレートの（被写体の）属性情報である。本実施の形態では、属性５３が、各テンプレートの登録人物（被写体）を識別する識別情報と、各テンプレートの登録人物が大人であるか子供であるかを示す情報と、各テンプレートの顔の撮影角度を示す角度情報（水平方向及び垂直方向の角度）と、を含むものとする。大人であるか子供であるかを示す情報は、例えば、所定年齢（１８歳等）より小さい人物を子供とし、その所定年齢以上の人物を大人とする。

テンプレート部５４は、属性５３毎にテンプレートを有し、テンプレート番号に対応付けられたテンプレートを有する。各テンプレートは、登録人物の顔を撮影した顔画像データであり、顔検出に用いられる。各テンプレートは、例えば、２０×２０ピクセルの画像データとする。テンプレート部５４には、同一の登録人物について、顔の撮影角度に応じたテンプレートが複数格納される。また、テンプレート部５４には複数の登録人物のテンプレートが格納されるものとする。

図５に示すテンプレートテーブル５１は、登録人物ａについてのテーブルである。登録人物ａは、属性５３としての登録人物名である。登録人物ａについて、属性５３としての顔の角度情報が、水平方向の-90°〜+90°と、垂直方向の-30°〜+30°とであり、それぞれ15°間隔で、テンプレート番号５２が１Ａ〜５Ａ，…，１Ｍ〜５Ｍのテンプレートがある。顔の向きが真正面である場合の角度情報を水平角度0°，垂直角度0°とする。

また、被写体検出撮影処理において図６に示す履歴情報６０が生成されてＲＡＭ２３に格納される。履歴情報６０は、顔を検出した検出結果の情報である。履歴情報６０は、フレーム番号６１、解像度６２、探索範囲６３、テンプレート番号６４等を含んで構成される。

フレーム番号６１は、撮像部２４で撮像されたフレームデータの識別情報である。解像度６２は、フレーム番号６１のテンプレートと照合を行った際のフレームデータの解像度である。探索範囲６３は、顔が検出されたフレーム番号６１のフレーム画像中の探索範囲を示す情報であり、探索範囲の中心の位置情報及び探索範囲の大きさ情報を含む。テンプレート番号６４は、フレーム番号６１のフレームデータと照合を行ったテンプレートのテンプレート番号である。

履歴情報６０の解像度６２に関し、ここで、図７を参照して、解像度ピラミッドを説明する。図７に、解像度ピラミッドの概念構成を示す。

解像度ピラミッドは、様々な大きさの入力画像（フレーム画像）に対してテンプレート照合を行うことで、入力画像の様々な大きさの顔検出を行うためのものである。図７に示すように、フレーム画像内に３人の顔の大きさが異なる被写体Ａ，Ｂ，Ｃが写っている場合を考える。顔の大きさは、顔Ａ＞顔Ｂ＞顔Ｃである。

フレーム画像内の被写体Ａ，Ｂ，Ｃの顔検出を行う場合に、テンプレートと照合を行う。その際にテンプレートと、当該テンプレートと同じ大きさ（解像度）の（テンプレート画像の）切り出し画像と、が照合される。このため、先ず、元となるテンプレート画像から解像度の異なるフレーム画像（解像度ピラミッド）が生成される。そして、テンプレートが被写体Ａ，Ｂ，Ｃの顔と同じ大きさとなるフレーム画像の切り出し画像と、テンプレートとが照合される。そして、フレーム画像から被写体の顔が検出されたときの解像度が履歴情報６０の解像度６２に設定される。解像度６２は、例えば、元のフレーム画像に対する解像度の割合で示され、８０％，６０％等で表される。

次に、図８及び図９を参照して、デジタルカメラ１の動作を説明する。図８に、被写体検出撮影処理の流れを示す。図９に、探索範囲を示す。

被写体検出撮影処理は、被写体の年齢（大人であるか子供であるか）に応じて顔の探索範囲を変更し、その探索範囲内で顔検出して撮影する処理である。デジタルカメラ１において、例えば、入力部２２を介して被写体検出撮影処理の実行指示が操作入力されたことをトリガとして、フラッシュメモリ２５から読み出されて適宜ＲＡＭ２３に展開された被写体検出撮影プログラムと、ＣＰＵ２１との協働で被写体検出撮影処理が実行される。

図８に示すように、先ず、撮像部２４で撮像されたフレームデータが順次ＲＡＭ２３に格納されて表示部８に表示され、スルー画像表示が開始される（ステップＳ１１）。フレームデータの撮像は、例えば、３０［ｆｐｓ］で行われる。そして、シャッタキー４の半押し入力が検知され、半押し入力されたか否かが判別される（ステップＳ１２）。シャッタキー４が半押し入力されていない場合（ステップＳ１２；ＮＯ）、ステップＳ１２に移行される。

シャッタキー４が半押し入力された場合（ステップＳ１２；ＹＥＳ）、フレーム番号Ｍに１が代入される（ステップＳ１３）。Ｍは、フレーム番号の変数である。フレーム番号は、ステップＳ１２の半押し検知後のフレームデータを初期値１として、フレームデータ生成ごとに１づつインクリメントされるものとする。

そして、フレーム番号Ｍが、予め設定された定数Ｎの倍数であるか否かが判別される（ステップＳ１５）。フレーム番号Ｍが定数Ｎの倍数である場合（ステップＳ１５；ＹＥＳ）、顔検出用情報５０がフラッシュメモリ２５から読み出され、履歴情報６０がＲＡＭ２３から読み出され、履歴情報６０のＭ番目のフレーム画像に対応する顔検出用情報５０のテンプレートを用いてフレーム番号Ｍのフレーム画像の全範囲で被写体の顔が検出される（ステップＳ１６）。

ここで、ステップＳ１６を詳細に説明する。ステップＳ１６においては、Ｍ＞１の場合に、履歴情報６０において、フレーム番号６１＝Ｍに対応して後述するステップＳ２１で選択された解像度６２が、フレーム番号Ｍの解像度として取得される。そして、ステップＳ１４で取得されたフレーム番号Ｍのフレーム画像を基にして、フレーム番号Ｍの解像度６２のフレームデータが生成される。そして、履歴情報６０において、フレーム番号６１＝Ｍに対応して後述するステップＳ２０で選択されたテンプレート番号６４が取得され、このテンプレート番号に対応するテンプレートが顔検出用情報５０のテンプレート部５４から取得される。

そして、上記取得された解像度に対応するフレーム番号Ｍのフレーム画像の全範囲から順に切り出し画像が切り出され、上記取得されたテンプレートと、各切り出し画像とが照合され、一致する場合にそのテンプレートの被写体の顔が検出される。また、被写体の顔検出時に、フレーム画像内における被写体が検出された顔領域の中心位置を示す位置情報が取得され、顔検出されたテンプレートのテンプレート番号及び顔の角度情報が、顔検出用情報５０のテンプレート番号５２及び属性５３から取得される。

フレーム番号Ｍのフレーム画像において、テンプレートと同じ大きさ（例えば２０×２０ピクセル）の画像が順次切り出されて切り出し画像とされる。切り出し画像は、例えば、フレーム番号Ｍのフレーム画像の探索範囲（ステップＳ１６では全範囲）において、左上→右上→１ピクセル下げた右端→同左端→１ピクセル下げた左端→…→右下又は左下に、順次１ピクセルづつずらして切り出されて、それぞれ照合に使われる。

但し、フレーム番号Ｍ＝１の場合に、ステップＳ１６においては、対応する履歴情報６０がない。このため、先ず、フレーム番号Ｍのフレーム画像の解像度の異なる全解像度のフレームデータ（解像度ピラミッド）が生成される。その全解像度のフレーム番号Ｍのフレーム画像に対して、そのフレーム画像の全範囲から切り出し画像が順に切り出され、顔検出用情報５０のテンプレート部５４の全てのテンプレートと、各切り出し画像とが照合され、一致する場合にそのテンプレートの被写体の顔が検出される。

図８に戻り、ステップＳ１６の実行後、顔検出用情報５０が参照され、ステップＳ１６で検出された被写体の顔の検出に用いたテンプレートのテンプレート番号５２に対応する属性５３から、被写体の年齢（大人であるか子供であるか）が判別（推定）される（ステップＳ１７）。そして、ステップＳ１６で検出された被写体の位置情報と、ステップＳ１７で判別された被写体の年齢情報とに基づいて、フレーム番号（Ｍ＋１）のフレーム画像の探索範囲が決定され、履歴情報６０のフレーム番号６１＝（Ｍ＋１）の探索範囲６３に設定され、又はそのフレーム番号６１＝（Ｍ＋１）の探索範囲６３を有する履歴情報６０がＲＡＭ２３に格納される（ステップＳ１８）。

ステップＳ１８においては、被写体が大人であるか子供であるかに応じて、探索範囲の大きさが変えられる。具体的には、図９に示すように、検出された顔領域の中心位置の座標を（x，y）とし、テンプレートの大きさをsizeとした時、以下の範囲に収まる探索範囲が選択されて決定される。KaとKcとは、探索範囲係数であり、値が大きいほど探索範囲が広くなる。Kaが大人用で、Kcが子供用である。Ka＜Kcになるように設定されている。ステップＳ１８においては、ステップＳ１６の位置情報から座標（x，y）が決定され、ステップＳ１７の年齢情報から大きさsize＊Ka又はsize＊Kcが決定され、その決定した中心位置及び大きさを有する探索範囲が決定される。

フレーム番号Ｍが定数Ｎの倍数でない場合（ステップＳ１５；ＮＯ）、顔検出用情報５０がフラッシュメモリ２５から読み出され、履歴情報６０がＲＡＭ２３から読み出され、履歴情報６０のＭ番目のフレーム画像に対応する顔検出用情報５０のテンプレートを用いてフレーム番号Ｍのフレーム画像の、フレーム番号が直近のＮの倍数の探索範囲６３で被写体の顔が検出される（ステップＳ１９）。

ここで、ステップＳ１９を詳細に説明する。ステップＳ１９においては、履歴情報６０において、フレーム番号６１＝Ｍに対応してステップＳ２１で選択された解像度６２が、フレーム番号Ｍの解像度として取得される。そして、ステップＳ１４で取得されたフレーム番号Ｍのフレーム画像を基にして、フレーム番号Ｍの解像度６２のフレームデータが生成される。そして、履歴情報６０において、フレーム番号６１＝Ｍに対応してステップＳ２０で選択されたテンプレート番号６４と、フレーム番号６１＝直近のＮの倍数に対応してステップＳ１８で決定された探索範囲６３とが取得され、このテンプレート番号に対応するテンプレートが顔検出用情報５０のテンプレート部５４から取得される。

そして、上記取得された解像度に対応するテンプレート番号（直近のＮの倍数）のフレーム画像の探索範囲６３から順に切り出し画像が切り出され、上記取得されたテンプレートと、各切り出し画像とが照合され、一致する場合にそのテンプレートの被写体の顔が検出される。また、被写体の顔検出時に、フレーム画像内における被写体が検出された切り出し画像の中心位置を示す位置情報が取得され、顔検出されたテンプレートのテンプレート番号及び顔の角度情報が、顔検出用情報５０のテンプレート番号５２及び属性５３から取得される。ステップＳ１９では、ステップＳ１６〜Ｓ１８のようなフレーム画像の全範囲の顔検出を行うことなく、フレーム番号Ｍの探索範囲６２の顔検出を行うため、処理負担が軽減される。また、ステップＳ１９では、ステップＳ１８と同様にして、被写体の年齢情報が判別（推定）される。

ステップＳ１８又はＳ１９の実行後、ステップＳ１６又はＳ１９で顔検出されたテンプレートのテンプレート番号と、ステップＳ１６で又はＳ１９で取得された被写体の年齢情報及び角度情報とに基づいて、フレーム番号（Ｍ＋１）のテンプレート番号が選択され、そのテンプレート番号が、履歴情報６０のフレーム番号６１＝（Ｍ＋１）のテンプレート番号６４に設定され、又はそのフレーム番号６１，テンプレート番号６４を有する履歴情報６０がＲＡＭ２３に格納される（ステップＳ２０）。

ステップＳ２０のテンプレートの決定ではスナップショットを撮影する際、大人に比べると子供はカメラの前で静止せず、動きが大きいという性質を利用する。子供は大人よりも動きが大きいので、顔の角度が変化する幅が大きくなる。そのため、大人よりも広い範囲の角度で検出処理を行なう必要がある。そこで、子供の場合は、大人よりも、識別可能な顔の角度の範囲を広げてテンプレートを選択する個数を増やす。

例えば、図３のテンプレートテーブル５１において、ステップＳ１６で検出された顔がテンプレート（水平角度0°、垂直角度0°：テンプレート番号３Ｇ）で照合された場合、大人の顔ならば、中心のテンプレート（水平角度0°、垂直角度0°：テンプレート番号３Ｇ）と、中心のテンプレートに隣接する８つのテンプレート（水平角度-15°，+15°、垂直角度-15°，+15°：テンプレート番号２Ｇ〜２Ｈ，３Ｆ，３Ｈ，４Ｇ〜４Ｈ）との合計９つのテンプレートのテンプレート番号が、フレーム番号（Ｍ＋１）のテンプレート番号として選択される。

ステップＳ１６で検出された顔がテンプレート（水平角度0°、垂直角度0°：テンプレート番号３Ｇ）で照合された場合、子供ならば、中心のテンプレート（水平角度0°、垂直角度0°：テンプレート番号３Ｇ）に隣接する８つのテンプレート（水平角度-15°，+15°、垂直角度-15°，+15°：テンプレート番号２Ｇ〜２Ｈ，３Ｆ，３Ｈ，４Ｇ〜４Ｈ）と、さらにその８つに隣接する１６のテンプレート（テンプレート番号１Ｅ〜１Ｉ，２Ｅ〜４Ｅ，２Ｉ〜４Ｉ，５Ｅ〜５Ｉ）との合計２５のテンプレートのテンプレート番号が、フレーム番号（Ｍ＋１）のテンプレート番号として選択される。

ステップＳ２０の実行後、ステップＳ１６又はＳ１９で顔検出されたテンプレートの解像度に基づいて、フレーム番号（Ｍ＋１）の解像度が選択され、そのテンプレート番号が、履歴情報６０のフレーム番号６１＝（Ｍ＋１）の解像度６２に設定され、又はそのフレーム番号６１，解像度６２を有する履歴情報６０がＲＡＭ２３に格納される（ステップＳ２１）。

ステップＳ２１においては、具体的には、ステップＳ１６又はＳ１９で顔検出されたテンプレートの解像度と同じ解像度と、一段大きい解像度と、一段小さい解像度とが、選択される。また、ステップＳ２０、Ｓ２１では、時間的に連続するフレーム間（フレーム番号Ｍ，（Ｍ＋１））において画像内容の変化は小さい、という性質を用いて、前回検出された顔と近いテンプレート及び解像度を選択するという手法を用いている。

ステップＳ２１の実行後、シャッタキー４の全押し入力が検知され、全押し入力されたか否かが判別される（ステップＳ２２）。そして、シャッタキー４が全押しされていない場合（ステップＳ２２；ＮＯ）、フレーム番号Ｍが１インクリメントされ（ステップＳ２３）、ステップＳ１４に移行される。

そして、シャッタキー４が全押しされた場合（ステップＳ２２；ＮＯ）、直前のステップＳ１６又はＳ１９で顔検出された被写体に対して、光学系駆動部３４、駆動回路３６を介してレンズ光学系３１、絞り機構３２、撮像素子３３が駆動されて、その顔検出された被写体（の顔）に対してＡＥ及びＡＦが実行されてロックされる（ステップＳ２４）。

そして、ステップＳ２４の状態で、撮像部２４により被写体が撮影されてその画像データが取得され、その取得された画像データが記録部２７を介してメモリカード２８に記録され（ステップＳ２５）、被写体検出撮影処理が終了する。

図１０（ａ）に、所定フレームの両親７１，７２及び子供７３のスルー画像及び顔領域８１，８２，８３を示す。図１０（ｂ）に、図１０（ａ）の次フレームの両親７１，７２及び子供７３のスルー画像及び探索範囲９１，９２，９３を示す。

両親（大人）７１，７２及び子供７３を撮影するケースを考える。図１０（ａ）に示すように、両親７１，７２及び子供７３が静止している際の所定フレームのスルー画像が撮像されたものとする。このとき、スルー画像の全範囲が顔検出されて、両親７１，７２及び子供７３の顔領域８１，８２，８３が検出されたものとする。

そして、図１０（ａ）の次フレームで、図１０（ｂ）に示すように、両親７１，７２は大人であるため静止しているものの、子供７３が大きく動いたものとする。図１０（ａ）の顔検出時に、次フレームの探索範囲９１，９２，９３が、それぞれ顔領域８１，８２，８３を中心にして設定されている。特に、子供７３の探索範囲９３は、両親７１，７２の探索範囲９１，９２よりも大きく設定され、子供７３が大きく動いてもその顔が探索範囲９３に収まっている。

以上、本実施の形態によれば、シャッタキー４の半押しで、フラッシュメモリ２５に記憶された顔検出用情報５０を用いて、撮像部２４で撮像されたフレームデータの画像の探索範囲から被写体の顔を検出するとともに、検出した被写体の年齢を推定し（大人か子供かを判別し）、被写体が子供である場合に、被写体が大人である場合よりも、次フレームの探索範囲を大きくする。このため、動きの少ない大人の探索範囲よりも、動きの激しい子供の探索範囲を広げることで、被写体の年齢（大人か子供か）に応じて、顔領域検出処理の効率を最適にできる。

また、シャッタキー４の全押しで、探索範囲で検出された被写体の顔に対してＡＥ及びＡＦを実行して撮像部２４で撮影する。このため、顔検出された被写体を最適に撮影することができる。

また、フレーム番号Ｍが定数Ｎの倍数になるごとに、探索範囲のフレーム画像の全範囲で顔検出を行う。このため、顔領域検出処理の精度を高めることができる。

また、フレーム番号Ｍが定数Ｎの倍数になるごとに、フレーム画像の探索範囲を決定する。このため、全フレームで探索範囲を決定する構成に比べて、顔領域検出処理の処理負担を低減できる。

また、被写体が子供である場合に、被写体が大人である場合よりも、次フレームで用いるテンプレートの顔の角度範囲を大きくする。このため、顔の動きが少ない大人の角度範囲よりも、顔の動きが激しい子供の角度範囲を広げることで、被写体の年齢（大人か子供か）に応じて、顔領域検出処理の効率をさらに最適にできる。

なお、上記実施の形態における記述は、本発明に係る撮像装置、撮像方法及びプログラムの一例であり、これに限定されるものではない。

上記実施の形態では、被写体の年齢の推定（大人であるか子供であるかの推定）を、予め登録された登録人物のテンプレートとを照合して同一人物とされた被写体の属性５３を参照して行っていたが、これに限定されるものではない。また、撮影時、顔検出用情報５０に登録されていない顔が出現した場合に、その顔の顔画像データを新しくテンプレートとして登録することにより顔検出用情報５０を更新していく手法としてもよい。

また、上記実施の形態では、フレームデータ中の切り出し画像とテンプレートとを照合するテンプレートマッチングの方式を用いる構成としたが、これに限定されるものではない。例えば、切り出し画像とテンプレートとの特徴を抽出し、その特徴同士を比較して類似度を算出し、その類似度により登録人物と被写体との照合を行う構成としてもよい。

また、テンプレートに代えて、識別器を用いる構成としてもよい。識別器とは、ある一定の大きさの画像（例えば２０×２０ピクセル、本実施の形態では切り出し画像）の特徴ベクトルを入力すると、その画像内容が顔であるか否かを識別し、その結果を出力するものである。より具体的には、顔の切り出し画像の特徴（ベクトル）を入力すると特定の登録人物と同一人物であるか否かの結果を出力する識別器を用いて登録人物と被写体との照合を行う構成としてもよい。顔識別器に用いられているアルゴリズムの代表的なものとしては、主成分分析（ＰＣＡ）、線形判別分析（ＬＤＡ）、ニューラル・ネットワーク（ＮＮ）、サポートベクターマシーン（ＳＶＭ）、ブースティング法等を応用したものがある。

また、子供識別器及び大人識別器を用いて、被写体の年齢を推定する構成としてもよい。子供識別器は、顔であると識別された切り出し画像の特徴を入力すると、その顔が子供なのか非子供なのか結果を返す識別器である。大人識別器も同様にして、大人／非大人を識別する。この２つの識別器のアルゴリズムには、どんな手法を用いても良いが、顔を識別する識別器と同様のアルゴリズムを用いても良い。

また、上記実施の形態では、対象として動画（スルー画像）から抽出したフレーム画像に関して顔検出する構成であったが、これに限定されるものではない。例えば、顔検出する画像の内容は銀鉛写真をスキャナで取り込んだものでも良いし、ＣＧ（Computer Graphics）でも良い。

また、上記実施の形態では、検出の対象が顔である場合を述べてきたが、これに限定されるものではなく、検出の対象が、顔ではなく、任意の物体としても良い。その場合は、顔認識の変わりに、任意の物体の認識を行う必要がある。

また、上記実施の形態では、年齢（大人or子供）によって探索範囲を変化させていたが、その他の分類によって探索範囲を変化させても良い。例えば、あらかじめ動きの早い人物の顔を登録しておいて、その人物（の顔）が検出された時に探索範囲を変化させても良い。あるいは、人の顔だけではなく、動物検出を行なう事を考えた場合に、動きやすさとして動きの早い動物と動きの遅い動物で探索範囲を変化させても良い。

また、上記実施の形態では、シャッタキー４を半押しすることで、フレーム画像の顔検出を行い、シャッタキー４を全押しすることで、顔検出した被写体にＡＥ，ＡＦを行って撮影を行う構成であるが、この構成に限定されるものではない。例えば、シャッタキー４を半押しすることで、フレーム画像の顔検出を行い、顔検出した被写体にＡＥ，ＡＦを行ってロックし、シャッタキー４を全押しすることで撮影を行う構成としてもよい。

また、上記実施の形態におけるデジタルカメラ１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。

（ａ）は、本発明に係る実施の形態のデジタルカメラの主に前面の構成を示す外観図である。（ｂ）は、デジタルカメラの主に背面の構成を示す外観図である。 デジタルカメラの内部構成を示すブロック図である。 撮像部の詳細な構成を示すブロック図である。 顔検出用情報の構成を示す図である。 テンプレートテーブルの一例を示す図である。 履歴情報の構成を示す図である。 解像度ピラミッドの概念図である。 被写体検出撮影処理を示すフローチャートである。 探索範囲を示す図である。 （ａ）は、所定フレームの両親及び子供のスルー画像及び顔領域を示す図である。（ｂ）は、（ａ）の次フレームの両親及び子供のスルー画像及び探索範囲を示す図である。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ 電源キー
４ シャッタキー
５ モードスイッチ
６ メニューキー
７ 十字キー
８ 表示部
２１ ＣＰＵ
２２ 入力部
２３ ＲＡＭ
２４ 撮像部
２５ フラッシュメモリ
２６ 通信部
２７ 記録部
２８ メモリカード
３０ バス

Claims (8)

1. 被写体を撮像して順次画像データを得る撮像手段と、
   この撮像手段により得られる画像データにおける被写体を検出する被写体検出手段と、
   前記検出された被写体の動きやすさを推定する推定手段と、
   前記推定された被写体の動きやすさに基づき、前記被写体検出手段が被写体を検出する探索範囲を設定する探索範囲設定手段と、
   前記撮像手段によって得られる画像データにおいて、前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する被写体検出制御手段と、
   を備える撮像装置。
2. 前記探索範囲設定手段は、前記推定手段によって推定された被写体の動きやすさが大きい場合に、前記動きやすさが小さい場合に設定される前記探索範囲よりも大きい前記探索範囲を設定する請求項１記載の撮像装置。
3. 前記推定手段は、
   前記被写体検出手段によって検出された被写体の年齢を推定する年齢推定手段を備え、
   前記年齢推定手段の推定結果に基づき、前記動きやすさを推定する請求項１又は２記載の撮像装置。
4. 前記被写体検出制御手段は、前記撮像手段によって所定のフレーム間隔ごとに得られる第１の画像データにおける全範囲の被写体を検出するよう前記被写体検出手段を制御するとともに、前記第１の画像データ以外の第２の画像データにおいて前記前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する請求項１から３のいずれか一項に記載の撮像装置。
5. 被写体の角度に対応付けて被写体検出用データを記憶する記憶手段と、
   前記推定された被写体の動きやすさに基づき、前記検出に用いる前記被写体検出用データの角度範囲を設定する角度範囲設定手段と、を備え、
   前記被写体検出制御手段は、前記撮像手段によって得られる画像データにおいて、前記角度範囲設定手段に設定された角度範囲の前記記憶された被写体検出用データを用いて、前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する請求項１から４のいずれか一項に記載の撮像装置。
6. 前記角度範囲設定手段は、前記推定手段によって推定された被写体の動きやすさが大きい場合に、前記動きやすさが小さい場合に設定される前記角度範囲よりも大きい前記角度範囲を設定する請求項５記載の撮像装置。
7. 被写体を撮像して順次画像データを得る撮像手段により得られる所定の画像データにおける被写体を検出する被写体検出工程と、
   前記検出された被写体の動きやすさを推定する推定工程と、
   前記推定された被写体の動きやすさに基づき、前記被写体検出工程で被写体を検出する探索範囲を設定する探索範囲設定工程と、
   前記撮像手段によって得られる画像データにおいて、前記探索範囲設定工程において設定された探索範囲内の被写体を検出するよう前記被写体検出を制御する被写体検出制御工程と、
   を含む撮像方法。
8. コンピュータを、
   被写体を撮像して順次画像データを得る撮像手段、
   この撮像手段により得られる画像データにおける被写体を検出する被写体検出手段、
   前記検出された被写体の動きやすさを推定する推定手段、
   前記推定された被写体の動きやすさに基づき、前記被写体検出手段が被写体を検出する探索範囲を設定する探索範囲設定手段、
   前記撮像手段によって得られる画像データにおいて、前記探索範囲設定手段によって設定された探索範囲内の被写体を検出するよう前記被写体検出手段を制御する被写体検出制御手段、
   として機能させるためのプログラム。

Images