JP2007336228A - 撮像装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】レリーズタイムラグを抑制しつつも、被写体検出機能を活用できる機能を提供する。
【解決手段】ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択部１２４と、選択部により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系１００のフォーカスを固定するフォーカスロック部１２３と、撮像装置の振れを検出する振れ検出部１１７と、振れ検出部の検出結果に基づいて、フォーカスロック部によりフォーカスを固定した時点から撮影を行なう時点までの間の目標被写体の画面上の位置ずれ量を算出し、目標被写体の画面上の位置を予測する予測部１２９と、撮像素子により撮影された画像から、予測部により予測された目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出部１１３とを具備する。
【選択図】図１

Description

本発明は、撮影した画像から顔の有無・位置・大きさ・顔の確からしさ等の情報を検出する技術に関するものである。

画面から顔を検出する技術は、以下に挙げる様に様々なシーンに応用することが出来る。

例えば、特開平５−１９６８５８号公報（特許文献１）に開示されている様に、画像から顔被写体の位置を検出し、その位置情報をもとに測距、測光を行うという技術が知られている。具体的には、最短測距点付近のエリアを主要被写体候補エリア（主要被写体である人物が存在すると予測される候補エリア）として抽出し、画像データの該当エリアから被写体輝度データを読み出す。そして、そのデータと予め用意してある顔パターンとのマッチングを行うことで画像から顔を検出し、その顔の位置情報を用いて測距、測光の制御を自動で行うというものである。顔検出のアルゴリズムには様々なものが考案されているが、実際に撮像装置に搭載した場合、検出精度はもちろんであるが、検出にかかる処理時間も重要となっている。この点において、特許文献１では、画像全体から顔パターンマッチングを行うのではなく、最短測距点付近のみパターンマッチングするため、画像全体から顔パターンのマッチングを行うより処理速度が速いという利点がある。
特開平５−１９６８５８号公報

しかしながら、処理速度が速くなったとはいえ、上記の被写体検出機能（顔検出機能）を用いて測距を行うと、被写体の距離情報やコントラスト情報を用いた従来の測距に比較して多くの時間を必要とする。そのため、素早く焦点をあわせて撮影を行いたい場合には被写体検出機能を用いないほうがユーザーの要望に沿うことがある。しかしながら、このような場合には、露光後に行われるＡＷＢ（オートホワイトバランス）等に対しても、顔検出機能を用いることができなくなってしまう。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、レリーズタイムラグを抑制しつつも、被写体検出機能を活用できる機能を提供することである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換する撮像素子を有する撮像装置であって、ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、前記選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、前記撮像装置の振れを検出する振れ検出手段と、前記振れ検出手段の検出結果に基づいて、前記フォーカスロック手段によりフォーカスを固定した時点から撮影を行なう時点までの間の前記目標被写体の画面上の位置ずれ量を算出し、前記目標被写体の画面上の位置を予測する予測手段と、前記撮像素子により撮影された画像から、前記予測手段により予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置は、被写体像を光電変換する撮像素子を有する撮像装置であって、ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、前記選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、被写体輝度を検出する複数の画素を有する測光センサと、前記フォーカスロック手段によりフォーカスを固定した前記目標被写体の位置付近の前記測光センサの出力パターンを切り出して記憶する記憶手段と、撮影時の前記測光センサの出力パターンと、前記記憶手段に記憶されている前記測光センサの出力パターンとを比較して、撮影時の前記目標被写体の画面上の位置を予測する予測手段と、前記撮像素子により撮影された画像から、前記予測手段により予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換する撮像素子と、ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、該選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、を有する撮像装置を制御する方法であって、前記撮像装置の振れを検出する振れ検出工程と、前記振れ検出工程の検出結果に基づいて、前記フォーカスロック手段によりフォーカスを固定した時点から撮影を行なう時点までの間の前記目標被写体の画面上の位置ずれ量を算出し、前記目標被写体の画面上の位置を予測する予測工程と、前記撮像素子により撮影された画像から、前記予測工程において予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出工程と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換する撮像素子と、ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、該選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、被写体輝度を検出する複数の画素を有する測光センサと、を有する撮像装置を制御する方法であって、
前記フォーカスロック手段によりフォーカスを固定した前記目標被写体の位置付近の前記測光センサの出力パターンを切り出して記憶する記憶工程と、撮影時の前記測光センサの出力パターンと、前記記憶工程において記憶された前記測光センサの出力パターンとを比較して、撮影時の前記目標被写体の画面上の位置を予測する予測工程と、前記撮像素子により撮影された画像から、前記予測工程において予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

本発明によれば、レリーズタイムラグを抑制しつつも、被写体検出機能を活用できる機能を提供することが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わるデジタルカメラの全体構成を示すブロック図である。

図１において、１００は撮影レンズ、１０１は絞り、１０２はシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ出力信号をデジタル信号に変換するＡ／Ｄ変換器である。タイミング発生部１０５は、撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給して、それらの動作を制御している。このタイミング発生部１０５はメモリ制御部１０８及びシステム制御部１２９により制御されている。画像処理部１１３は、Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御部１０８からのデータに対して所定の画素補間処理や色変換処理、そして後述する顔検出処理も行なう。また、画像処理部１１３は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基いてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御部１０８は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１１３、画像表示用メモリ１０９、Ｄ／Ａ変換器１０６、メモリ１１０、圧縮／伸張部１１１を制御する。これにより、Ａ／Ｄ変換器１０４でＡ／Ｄ変換されたデジタルデータは画像処理部１１３、メモリ制御部１０８を介して、或いは直接メモリ制御部１０８を介して、画像表示用メモリ１０９或いはメモリ１１０に書き込まれる。

画像表示用メモリ１０９は画像表示部１０７に表示するデータを記憶しており、この画像表示用メモリ１０９に記憶されているデータはＤ／Ａ変換器１０６を介してＴＦＴ，ＬＣＤ等の画像表示部１０７に出力されて、表示される。

メモリ１１０は撮影した静止画像を格納するためのメモリで、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。また、このメモリ１１０はシステム制御部１２９や画像処理部１１３の顔検出処理を行う際の作業領域としても使用することが可能である。圧縮／伸張部１１１は画像データを圧縮及び伸張することができ、メモリ１１０に格納された画像データを読み込んで圧縮処理を行ったり、或いは圧縮された画像データを読み込んで伸張処理を行い、その処理を終えたデータをメモリ１１０に書き込む。外部記憶装置１１２はＣＦカードやＳＤカードといった着脱可能な外付けの記録媒体である。メモリ１１０に一時的に記録された画像データは最終的にこの外部記憶装置１１２に記録される。

多分割測光センサ１１９は横３００×縦２００画素に分割されている。多分割測光センサ１１９は、撮影画面と共役に関係付けられたそれぞれの画素の輝度を測定することが出来る。本実施形態では多分割測光センサ１１９の画素数を３００×２００としているが、これに限るものではない。また、輝度だけでなく、画素にＲＧＢ等のカラーフィルターを設け色情報を得る方式であってもよい。

この測光センサ１１９の出力に応じて、システム制御部１２９にて適切な露光量が算出されると、露光制御部１１４は、算出された露光量に応じて絞り１０１とシャッター１０２を制御する。

不図示の光学ファインダ内には図２に示したように７点の測距点（焦点検出エリア）を設けている。これら７点の測距点は操作部１２４を用いて、撮影者が自由に任意の場所を選択する事が出来る。測距センサ１１８はユーザにより任意に選択された前記測距点の距離情報を検出する。測距制御部１１５は測距センサ１１８の出力によりレンズ１００のフォーカシングを制御する。測距点は撮影者が任意に選択する以外にも、測距センサにより、自動で最短距離の被写体にフォーカスが合うようにすることも可能である。また本実施形態では測距点を７点設けているがこの数に限るものではない。

ズーム制御部１１６は手動で行われたレンズ１００のズーミング量（焦点距離）を検知する。または、ズーミングをカメラの操作部１２４を用いて自動で行う場合にレンズのズーム量を制御する。

自動ストロボユニット１２５は、ＡＦ補助光の投光機能、ストロボ調光機能も有する。

角速度センサ１１７はカメラの水平／垂直方向の振れを検知するセンサで、周知の手ぶれ補正処理や後に説明する顔検出処理等に用いられる。

システム制御部１２９はこのデジタルカメラ全体の動作を制御している。メモリ１２０は、このシステム制御部１２９の動作用の定数、変数プログラム等を記憶しており、ワークメモリとしても使用される。表示部１２１は、システム制御部１２９でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージなどを表示する液晶表示ユニット、スピーカ等を含んでいる。この表示部１２１の表示内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示等がある。また、シャッタースピード表示、絞り値表示、露出補正表示、電池残量表示、エラー表示、外部記録メモリ１１２の着脱状態表示等もある。

不揮発性メモリ１２２は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。操作部１２４は、システム制御部１２９の各種の動作指示を入力するための操作ユニットである。レリーズ釦１２３はＳＷ１とＳＷ２の２段階のスイッチを備えている。ＳＷ１はレリーズ釦１２３の第１ストロークでＯＮし、測光、測距を開始するスイッチとなる。ＳＷ２はレリーズ釦１２３の第２ストロークでＯＮし、露光動作を開始するスイッチとなる。また、操作部１２４はシングルショット／連写撮影／セルフタイマーの切り替え、マニュアルフォーカス／オートフォーカス切り替え、シャッタースピード、絞り値、露出補正の設定等で使用される。また、電源スイッチ１２６は、本実施形態のデジタルカメラのメイン電源をＯＮ／ＯＦＦするスイッチである。電源制御部１２７は電池検出部、ＤＣ−ＤＣコンバーター、通電するブロック等を切り替えるスイッチ部等を備えている。そして、電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御部１２９の指示に基いてＤＣ−ＤＣコンバーターを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源１２８には、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、或いはＡＣアダプタ等を備える。

次に、図３は、本実施形態のデジタルカメラの全体動作を示すフローチャートである。

尚、図３のフローチャートでは撮影処理開始から顔検出処理終了までの工程を説明する。また、撮影処理を開始する前に予め、電源１２８と外部記憶装置１１２が装着されており、電源スイッチ１２６もオンされているものとする。また、撮影時の露出は予め適正に制御されているものとする。

レリーズ釦１２３のＳＷ１がＯＮされると撮影処理が始まる。

次にレリーズ釦１２３のＳＷ１をＯＮした状態で、撮影者が図２に示す７点の測距点（焦点検出エリア）の内、操作部１２４を操作して任意の点を選択する。例えば、図４の様に主被写体である人物が中央にいたとすると、撮影者は中央部の測距点を選択する（ステップＳ３０１）。なお、人物が複数の測距点にかかっているようであれば、それら複数の測距点を選択する。

選択された測距点に対して、測距センサ１１８を用いてシステム制御部１２９で演算を行い、測距制御部１１５を介してレンズのフォーカスを制御し、主要被写体である人物にフォーカスをあわせる。この時、一度任意選択された測距点にフォーカスが合うとフォーカスはロックされる（ステップＳ３０２）。この状態での角速度センサ１１７の水平方向と垂直方向の振れ情報を検出しておきメモリ１１０に記憶しておく（ステップＳ３０３）。

その後撮影者によって、カメラの向きをずらしたりズーミング動作により構図が変更されると、図５に示したように任意選択された中央部測距点の位置と主被写体の位置が一致しなくなる（ステップＳ３０４）。この状態（撮影者がカメラの向きをずらしたとき）での角速度センサ１１７の水平方向と垂直方向の振れ情報を再度検出し、メモリ１１０のステップＳ３０３で記録した場所とは異なる場所に記憶しておく（ステップＳ３０５）。同様に、ズーム位置情報（焦点距離情報）も検出し、メモリ１１０に記憶しておく（ステップＳ３０６）。

その後ＳＷ２が押され撮影が行われるまで、ステップＳ３０４，Ｓ３０５，Ｓ３０６は繰り返される。但し、ステップＳ３０５の振れ情報とステップＳ３０６のズーム位置情報（焦点距離情報）のメモリ１１０への記録はその都度上書きで行われる。ここで、ＳＷ２が押されると撮影処理が行われる（ステップＳ３０７）。

撮影処理が行われると撮像素子１０３で電気信号に変換された光学像はＡ／Ｄ変換器１０４を介してデジタル信号に変換され、色補間等の処理を施す前のＲＡＷデータの状態で一度メモリ１１０に記録される。

次に、予めメモリ１１０に記録しておいたフォーカスロック時の水平／垂直方向の振れ情報、ズーム位置情報（焦点距離情報）と、撮影直前の水平／垂直方向の振れ情報、ズーム位置情報（焦点距離情報）とレンズの焦点距離情報を比較演算する。そして、撮影が行われた時の主被写体の位置を予測する。撮影画像中における水平／垂直方向の主被写体画素位置は、具体的には以下の式により算出される（ステップＳ３０８）。

水平方向の画素位置 ＝ Dh ＋ f × tan（θh ）／Ph
垂直方向の画素位置 ＝ Dv ＋ f × tan（θv ）／Pv
この式において、各記号は以下のものを表わす。

Dh ＝選択された測距点位置に対応した水平方向の画素位置
Dv ＝選択された測距点位置に対応した垂直方向の画素位置
f ＝ 撮影時の焦点距離
θh ＝フォーカスロック時から撮影時までに変化した水平方向の振れ角
θv ＝フォーカスロック時から撮影時までに変化した垂直方向の振れ角
Ph ＝水平方向の撮像素子の画素間距離
Pv ＝垂直方向の撮像素子の画素間距離
ここで、焦点距離やカメラの振れ量から、主被写体の予測位置が撮影画角内にある場合はステップＳ３１０に移行するが、主被写体の予測位置が撮影画面内になかった場合はステップＳ３１１の処理に移行する（ステップＳ３０９）。

メモリ１１０に記録されている撮影された画像は画像処理部１１３にて図６の点線部分の様に、予測された主被写体位置付近のデータのみ切り出される。この点線エリアの大きさは、測距センサ１１８により演算される撮影時の被写体までの距離とレンズ１００の焦点距離の組み合わせに対する撮影画像の切り出しエリアサイズのルックアップテーブル（ＬＵＴ）により決定する。このＬＵＴは被写体までの距離とレンズ１００の焦点距離の組み合わせで、人物の顔が画像に現実的なサイズに納まるようなエリアとして予め作成しておきメモリ１１０に記録しておく。ここで、撮影画像はまだ色補間処理が施されていないため、輝度信号成分のみを用いる。具体的には、例えばＲＧＢのベイヤー配列の撮像素子が用いられているとするとＧ信号のみを使用する（ステップＳ３１０）。

次にここで切り出されたデータは後の顔検出処理の処理速度を上げるため、所定のサイズにリサイズされる。但し、ステップ３０９で主被写体の予測位置が撮影画面内になかった場合には、切り出した画像をリサイズするのではなく、撮影全画像をリサイズする（ステップＳ３１１）。

次に、リサイズされた輝度信号データに対して、画像処理部１１３内の顔検出処理部で顔検出処理が行われる（ステップＳ３１２）。ここでは顔検出処理の具体的な手法は明記しないが、様々な手法が文献等で提案されている。複雑な演算を行うことでより精度の高い顔検出結果が得られるが、処理時間が長くかかる。本実施形態のような撮像システムでは精度だけでなく処理速度も重視される。この処理速度を上げる手法として例えば、顔検出に用いる画像サイズを小さくする、検出する顔のサイズを大きなものだけに制限する、等の手法が挙げられる。本実施形態では少しでも処理速度を速めるために、画像のリサイズ、画像の切り出し等を行っており、ここで処理速度を上げた分だけ時間をかけて精度の良い複雑な処理を行うことが出来る。

顔検出処理が終了すると、画像中の顔の有無、顔の大きさ、顔の位置、目、鼻、口の位置、検出された顔が本当に顔である確からしさ等の情報が結果として出力される（ステップＳ３１３）。

以上が、撮影処理開始から顔検出結果出力までの処理である。

この後に顔検出結果を応用する処理としては、例えば以下のような応用が考えられる。

本実施形態のデジタルカメラの構成では、ＴＴＬ方式によるＡＷＢ（オートホワイトバランス）が用いられているが、この方式の苦手なシーンとして、顔をアップにしたシーン等が挙げられる。ＴＴＬ方式のＡＷＢでは撮影画像の中から、光源色の可能性が高い黒体放射軌跡付近の色のデータを抽出し、そのデータを無彩色にするというのが一般的な手法の一つである。しかしこの手法では、顔も光原色と誤認識してしまい無彩色になってしまう場合があるという問題がある。このような場合に、本実施形態で説明したような顔検出処理があれば、例えば顔と判断されたものは無彩色にしないという処理をアルゴリズムに組み込むことで、ＡＷＢの演算精度を向上させることが出来る。この時、顔検出結果の確からしさが高いほど、ＡＷＢに顔検出結果を用いる重みを増やすことで、より精度の高いＡＷＢ結果を得ることが出来る。

また、撮影された画像に関しては上記のフローでは現像処理が終了していないが、メモリ１１０に記録されている撮影画像は、顔検出処理終了後に画像処理部に読み出され、色補間、ホワイトバランス、ガンマ処理、エッジ処理等が施され現像が行われる。ここでのホワイトバランスの制御値は前述した顔検出処理が応用され、精度の向上したＡＷＢ処理により演算された結果が用いられる。

このようにして現像された画像は圧縮／伸張部１１１で圧縮処理が施された後、外部記憶装置１１２に記録される。

（第２の実施形態）
第２の実施形態のデジタルカメラの構成も、第１の実施形態で示した図１のブロック図と同様の構成であるため説明は割愛する。

第２の実施形態の動作について、図７のフローチャートを参照して説明する。

尚、フローチャートでは撮影処理開始から顔検出処理終了までの工程を説明する。また、撮影処理を開始する前に予め、電源１２８と外部記憶装置１１２が装着されており、電源スイッチ１２６もオンされているものとする。また、撮影時の露出は予め適正に制御されているものとする。

レリーズ釦１２３のＳＷ１がＯＮされると撮影処理が始まる。

レリーズ釦１２３のＳＷ１がＯＮされると撮影処理が始まる。このＳＷ１をＯＮした状態で、撮影者が図２に示した９点の測距点の内、操作部１２４を用いて任意の点を選択する。例えば、図４の様に主被写体である人物が中央にいたとすると、撮影者は中央部の測距点を選択する（ステップＳ７０１）。

選択された中央部の測距点に対して、測距センサ１１８を用いてシステム制御部１２９で演算を行い、測距制御部１１５を介してレンズのフォーカスを制御し、主要被写体である人物にフォーカスをあわせる。一度任意選択された測距点にフォーカスが合うとフォーカスはロックされる（ステップＳ７０２）。この時のズーム位置（焦点距離）をメモリ１１０に記憶しておく（ステップＳ７０３）。

次に、この状態での多分割測光センサ１１９の任意選択された測距点付近に対応した部分のデータ（以下、主被写体のパターンとする）を切り出し、メモリ１１０に記憶しておく。図８に多分割測光センサ１１９と本実施形態における切り出し部分を太線で示した。この太線エリアの大きさは、測距センサ１１８により演算される撮影時の被写体までの距離とレンズ１００の焦点距離の組み合わせに対する多分割測光センサ１１９の出力データの切り出しエリアサイズのルックアップテーブル（ＬＵＴ）により決定する。また、このＬＵＴは被写体までの距離とレンズ１００の焦点距離の組み合わせで、人物の顔が画像に現実的なサイズに納まるようなエリアとして予め作成しておきメモリ１１０に記録しておく（ステップＳ７０４）。

その後撮影者によってカメラをずらしたり、ズーミングにより構図が変更されると、図５に示したように任意選択された中央部測距点の位置と主被写体の位置が一致しなくなる（ステップＳ７０５）。この状態での多分割測光センサ１１９の出力をメモリ１１０に記憶しておく。ここでは、ステップＳ７０４のように切り出したデータではなく、３００×２００画素全ての情報を記憶しておく（ステップＳ７０６）。同様に、ズーム位置情報（焦点距離情報）も検出し、メモリ１１０に記憶しておく（ステップＳ７０７）。

その後ＳＷ２が押され撮影が行われるまで、ステップＳ７０５，Ｓ７０６，Ｓ７０７は繰り返される。但し、ステップＳ７０６の測光センサ出力データとステップＳ７０７のズーム位置情報（焦点距離情報）のメモリ１１０への記録はその都度上書きで行われる。ここで、ＳＷ２が押されると撮影処理が行われる（ステップＳ７０８）。撮影処理が行われると撮像素子１０３で電気信号に変換された光学像はＡ／Ｄ変換器１０４を介してデジタル信号に変換され、色補間等の処理を施す前のＲＡＷデータの状態で一度メモリ１１０に記憶される。

次に、ステップＳ７０３でメモリ１１０に記録しておいたフォーカスロック時のズーム位置（焦点距離）に対する撮影直前のズーム位置（焦点距離）の倍率を演算する。そして、そのズーム倍率（拡大／縮小倍率）に応じて、ステップＳ７０４で記録しておいた主被写体パターンのデータの大きさを変更する。例えばフォーカスロック時のズーム倍率（焦点距離）が１００ｍｍ、撮影時のズーム倍率（焦点距離）が５０ｍｍだったとすると、ズーム倍率としては０．５倍されたことになるため、主被写体パターンの縦横の画素数も０．５倍に縮小する。本実施形態では１倍以下のズーミング処理により、主被写体のサイズがフォーカスロック時の状態よりも小さくなっているが、１倍以上のズーミング処理で、フォーカスロック時の状態よりも大きくなる場合もある。その際は、主被写体パターンは拡大処理される。この主被写体パターンの縮小／拡大処理は周知の技術を用いて行われる。

その後、メモリ１１０に記録されている撮影時の測光センサ１１９の出力データから、拡大／縮小処理された主被写体パターンデータと同一のパターンを検出し、撮影時の主被写体位置を予測する。このパターン検出は具体的には、以下の手法にて行われる。まず、撮影時の測光センサ１１９の出力データから、拡大／縮小処理された主被写体パターンデータのサイズのエリアを切り出し、各画素のデータを比較する。そして、主被写体パターンの不一致度として、各画素のデータの差を積分する。それを撮影時の測光センサ１１９の出力データ全エリアについて行い、パターン不一致度が最も小さいエリアを撮影時の主被写体位置とする。但し、ここで最小のパターン不一致度が所定値よりも大きかった場合には主被写体位置検出不可と判断する（ステップＳ７０９）。

ここで主被写体位置が検出できた場合は次のステップＳ３１１に移行し、検出できなかった場合にはステップＳ３１２の処理に移行する（ステップＳ７１０）。

メモリ１１０に記録されている撮影された画像は画像処理部１１３にて図６の点線部分の様に、予測された主被写体位置付近のデータのみ切り出される。第１の実施形態と同様、図６の点線エリアの大きさは、測距センサ１１８により演算される撮影時の被写体までの距離とレンズ１００の焦点距離の組み合わせに対する撮影画像の切り出しエリアサイズのルックアップテーブル（ＬＵＴ）により決定される。ここで、撮影画像にはまだ色補間処理が施されていないため、輝度信号成分のみを用いる。具体的には、例えばＲＧＢのベイヤー配列の撮像素子が用いられているとするとＧ信号のみを使用する（ステップＳ７１１）。

ここで切り出されたデータは後の顔検出の処理速度を上げるため、所定のサイズにリサイズされる。但し、ステップＳ７１０で主被写体位置が検出できなかった場合には、切り出した画像をリサイズするのではなく、撮影全画像をリサイズする（ステップＳ７１２）。次に、リサイズされた輝度信号データに対して、画像処理部１１３内の顔検出処理部で顔検出処理が行われる（ステップＳ７１３）。ここでは顔検出処理の具体的な手法は明記しないが、様々な手法が文献等で提案されている。複雑な演算を行い顔検出を行うことでより精度の高い検出結果が得られるが、処理時間が長くかかる。本実施形態のような撮像システムでは精度だけでなく処理時間も重視されるため、本実施形態では画像のリサイズ、画像の切り出し等を行い処理時間を短縮している。ここで処理時間を早めた分だけ、時間をかけて精度の良い複雑な処理を行うことが出来る。

顔検出処理が終了すると、画像中の顔の有無、顔の大きさ、顔の位置、目、鼻、口の位置、検出された顔が本当に顔である確からしさ等の情報が結果として出力される。

ここで、この顔の確からしさの情報について詳細を説明する。顔の確からしさ情報は、例えば０〜１０段階で出力され、１０に近いほど検出された顔が本当に顔である確率が高いことを意味する。確からしさが高ければ、ＡＷＢ等の後の処理に顔検出結果を有効に使用することが出来るため、検出結果の確からしさは高いほうが良い。そこでこの確からしさ情報の演算に、ステップＳ３１０で主被写体の位置が検出できたかどうかということを加味する。例えば同一のシーンを処理する場合、主被写体位置が検出できた場合のほうが、その位置に顔がある可能性が高くなるので、検出できなかった場合よりも確からしさを常に＋１する（ステップＳ７１４）。

以上が、撮影処理開始から顔検出結果出力までの処理である。

この後の処理については、第１の実施形態と同様のため、ここでは説明を割愛する。

続いて、第２の実施形態において更に連続撮影が行われた時の動作について、図９のフローチャートを参照して説明する。

撮影モードは操作部１２４で予め連続撮影モードにセットしてあるものとする。ここで、１駒目の撮影終了後レリーズ釦１２３のＳＷ２が押され続けていた場合、自動的に次駒の撮影動作に移行する。２駒目の撮影が行われる際に撮影者によってカメラの向きをずらしたり、ズーミングにより構図が変更されることが想定される（ステップＳ９００）。

次に、多分割測光センサ１１９の出力をメモリ１１０に記憶しておく。ここでは、３００×２００画素全ての情報を記憶しておく。この際ステップＳ７０６で１駒目に記録してあった測光センサ１１９のデータに対して上書きする（ステップＳ９０１）。同様に、ズーム位置情報（焦点距離情報）も検出し、メモリ１１０のステップＳ７０７で記録した場所に上書きしておく（ステップＳ９０２）。次に、撮影が行われる（ステップＳ９０３）。撮影が行われたら、１駒目と同様、主被写体の位置を予測するために、ステップＳ７０３で予めメモリ１１０に記録しておいた主被写体のパターンと、ステップＳ９０１で撮影直前に記録しておいた測光センサの出力結果を比較する。この際、１駒目と同様、予めメモリ１１０に記録しておいたズーム位置情報（焦点距離情報）から、フォーカスロック時のズーム位置（焦点距離）に対する撮影直前のズーム位置（焦点距離）の倍率を演算する。そして、そのズーム倍率に応じて主被写体パターンの拡大又は縮小処理をする。これらの主被写体位置予測方法に関しては１駒目の方法と同様のため説明を割愛する（ステップＳ９０５）
次に、主被写体位置を検出する。ここで、主被写体位置が検出できた場合は次のステップＳ９０７に移行するが、検出できなかった場合はステップＳ９０８の処理に移行する（ステップＳ９０６）。

その後１駒目の撮影と同様、メモリ１１０に記録されている撮影された画像は画像処理部１１３にて図６の点線部分の様に、予測された主被写体位置付近のデータのみ切り出される（ステップＳ９０７）。また、切り出されたデータは１駒目と同様に、所定のサイズにリサイズされる。但し、ステップＳ９０６で主被写体位置を検出できなかった場合には、切り出した画像をリサイズするのではなく、撮影全画像をリサイズする（ステップＳ９０８）。次に、リサイズされた輝度信号データに対して、画像処理部１１３内の顔検出処理部で顔検出処理が行われる（ステップＳ９０９）。そして、１駒目と同様に顔検出結果が出力される（ステップＳ９１０）。

その後の処理は１駒目と同様のため説明を割愛する。この後更に連続撮影が継続された場合はここで述べた２駒目の処理（図９のフローチャート）と同様の処理が繰り返される。

以上説明したように、上記の実施形態によれば、撮影画像の主被写体位置付近のデータのみ切り出して顔検出を行うことで、顔検出精度向上、処理速度向上を図ることが出来る。

また、角速度センサの情報を用いることで、フォーカスロックした時から実際に撮影されるまでに、撮像装置の向きをずらすことで構図が変更されても主被写体位置を予測することができる。

さらに、撮影時の主被写体までの距離とレンズの焦点距離に応じて顔検出用の画像切り出し範囲の大きさを変更ことで、フォーカスロック後にズーミング動作が行われても撮影画像から主被写体付近の画像を切り出すことが出来る。

また、フォーカスロック時の測距点付近の多分割測光センサの出力パターンを切り出し、撮影時の多分割測光センサの出力とのパターンマッチングを行う。これにより、フォーカスロックした時から実際に撮影されるまでに撮像装置の向きをずらすことで構図が変更されても主被写体位置を予測することができる。

さらに、撮影時の主被写体までの距離とレンズの焦点距離に応じて顔検出用の画像切り出し範囲の大きさを変更することで、フォーカスロック後にズーミング動作が行われても撮影画像から主被写体付近の画像を切り出すことが出来る。

また、連続撮影時に１駒目に切り出したフォーカスロック時の多分割測光センサの出力パターンを２駒目以降に用いてパターンマッチングを行うことで、連続撮影２駒目以降に、主被写体位置が測距点付近に無い場合にも、主被写体位置を予測することが出来る。

さらに、撮影時の主被写体までの距離とレンズの焦点距離に応じて顔検出用の画像切り出し範囲の大きさを変更することで、連続撮影中にズーミング動作が行われても撮影画像から主被写体付近の画像を切り出すことが出来る。

また、マニュアルフォーカス時は主被写体付近の画像の切り出しはしないで、撮影画像全画面で顔検出を行うため、マニュアルフォーカスで測距点情報が得られない場合にも、顔検出を行うことが出来る。

また、上記のパターンマッチングで一致した部分が検出できなかった場合に、主被写体付近の画像の切り出しはしないで撮影画像全画面で顔検出を行う。これにより、パターンマッチングで多分割測光センサの出力から一致した部分が得られない場合にも、顔検出を行うことが出来る。

また、顔検出結果として顔の確からしさ情報を出力する撮像装置において、主被写体付近と予測された部分のほうが他の部分よりも顔がある可能性が高い。そのため、撮影画像全画面で顔検出を行った場合よりも、主被写体付近を切り出した画像から顔検出した場合のほうが、顔の確からしさ情報を高くすることが出来る。この顔の確からしさが高いほうが、後の様々な処理で顔検出結果を応用し易くなる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わるデジタルカメラの全体構成を示すブロック図である。 ファインダー内の測距点の位置を示した図である。 第１の実施形態におけるデジタルカメラの動作を示したフローチャートである。 フォーカスロック時の測距点位置と主被写体位置の関係を示した図である。 フォーカスロック後の構図変更後の測距点位置と主被写体位置の関係を示した図である。 測光センサ出力の切り出し領域を示した図である。 第２の実施形態におけるデジタルカメラの動作を示したフローチャートである。 多分割測光センサ切り出し部分を示した図である。 第２の実施形態における連続撮影時のデジタルカメラの動作を示したフローチャートである。

符号の説明

１００ レンズ
１０２ 絞り
１０３ シャッター
１０４ Ａ／Ｄ変換器
１０５ タイミング発生部
１０６ Ｄ／Ａ変換器
１０７ 画像表示部
１０８ メモリ制御部
１０９ 画像表示用メモリ
１１０ メモリ
１１１ 圧縮／伸張部
１１２ 外部記憶装置
１１３ 画像処理部
１１４ 露光制御部
１１５ 測距制御部
１１６ ズーム制御部
１１７ 角速度センサ
１１８ 測距センサ
１１９ 測光センサ
１２０ メモリ
１２１ 表示部
１２２ 不揮発性メモリ
１２３ レリーズ釦
１２４ 操作部
１２５ ストロボ
１２６ 電源スイッチ
１２７ 電源制御部
１２８ 電源
１２９ システム制御部

Claims (13)

1. 被写体像を光電変換する撮像素子を有する撮像装置であって、
   ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、
   前記選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、
   前記撮像装置の振れを検出する振れ検出手段と、
   前記振れ検出手段の検出結果に基づいて、前記フォーカスロック手段によりフォーカスを固定した時点から撮影を行なう時点までの間の前記目標被写体の画面上の位置ずれ量を算出し、前記目標被写体の画面上の位置を予測する予測手段と、
   前記撮像素子により撮影された画像から、前記予測手段により予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出手段と、
   を具備することを特徴とする撮像装置。
2. 前記撮像装置による撮影時の前記目標被写体までの距離と、前記撮影光学系の焦点距離とに応じて、前記切り出す画像領域の大きさを変更することを特徴とする請求項１に記載の撮像装置。
3. 被写体像を光電変換する撮像素子を有する撮像装置であって、
   ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、
   前記選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、
   被写体輝度を検出する複数の画素を有する測光センサと、
   前記フォーカスロック手段によりフォーカスを固定した前記目標被写体の位置付近の前記測光センサの出力パターンを切り出して記憶する記憶手段と、
   撮影時の前記測光センサの出力パターンと、前記記憶手段に記憶されている前記測光センサの出力パターンとを比較して、撮影時の前記目標被写体の画面上の位置を予測する予測手段と、
   前記撮像素子により撮影された画像から、前記予測手段により予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出手段と、
   を具備することを特徴とする撮像装置。
4. 前記撮像装置による撮影時の前記目標被写体までの距離と、前記撮影光学系の焦点距離とに応じて、前記記憶手段に記憶する前記測光センサの出力パターンと、前記撮像素子により撮影された画像から切り出す切り出し画像領域の大きさを変更することを特徴とする請求項３に記載の撮像装置。
5. 連写撮影を行なう場合に、前記顔検出手段は、１駒目に切り出して前記記憶手段に記憶した前記測光センサの出力パターンを、２駒目以降に使用して人物の顔を検出することを特徴とする請求項３に記載の撮像装置。
6. 前記撮像装置による撮影時の前記目標被写体までの距離と、前記撮影光学系の焦点距離とに応じて、２駒目以降に使用する、前記記憶手段に記憶した前記測光センサの出力パターンと、前記撮影された画像から切り出す切り出し画像領域の大きさを変更することを特徴とする請求項５に記載の撮像装置。
7. 前記撮影光学系をマニュアルで操作してフォーカスを合わせる場合は、前記目標被写体の位置付近の画像の切り出しを行なわず、撮影した画像の全画面で人物の顔を検出することを特徴とする請求項３に記載の撮像装置。
8. 撮影時の前記測光センサの出力パターンと、前記記憶手段に記憶されている前記測光センサの出力パターンとを比較して、撮影時の前記目標被写体の画面上の位置を予測することが出来なかった場合に、前記目標被写体の位置付近の画像の切り出しを行なわず、撮影した画像の全画面で人物の顔を検出することを特徴とする請求項３に記載の撮像装置。
9. 前記撮影した画像の全画面で人物の顔を検出した場合に比べて前記目標被写体の位置付近の画像を切り出した画像から人物の顔を検出した場合のほうが、顔の確からしさを高く設定することを特徴とする請求項７または８に記載の撮像装置。
10. 被写体像を光電変換する撮像素子と、ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、該選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、を有する撮像装置を制御する方法であって、
    前記撮像装置の振れを検出する振れ検出工程と、
    前記振れ検出工程の検出結果に基づいて、前記フォーカスロック手段によりフォーカスを固定した時点から撮影を行なう時点までの間の前記目標被写体の画面上の位置ずれ量を算出し、前記目標被写体の画面上の位置を予測する予測工程と、
    前記撮像素子により撮影された画像から、前記予測工程において予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出工程と、
    を具備することを特徴とする撮像装置の制御方法。
11. 被写体像を光電変換する撮像素子と、ファインダー上の複数の焦点検出エリアからいずれかの焦点検出エリアを選択する選択手段と、該選択手段により選択された焦点検出エリアに対応する位置に存在する被写体である目標被写体に、撮影光学系のフォーカスを固定するフォーカスロック手段と、被写体輝度を検出する複数の画素を有する測光センサと、を有する撮像装置を制御する方法であって、
    前記フォーカスロック手段によりフォーカスを固定した前記目標被写体の位置付近の前記測光センサの出力パターンを切り出して記憶する記憶工程と、
    撮影時の前記測光センサの出力パターンと、前記記憶工程において記憶された前記測光センサの出力パターンとを比較して、撮影時の前記目標被写体の画面上の位置を予測する予測工程と、
    前記撮像素子により撮影された画像から、前記予測工程において予測された前記目標被写体の位置付近の画像を切り出して人物の顔を検出する顔検出工程と、
    を具備することを特徴とする撮像装置の制御方法。
12. 請求項１０または１１に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images