JP2013219615A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 連続して撮影された画像について特定の被写体を順次検出する被写体追尾機能を有する撮像装置およびその制御方法において、誤検出の影響を受けづらい被写体追尾機能を実現する。
【解決手段】 被写体の追尾中、追尾の信頼度を判定する。検出された顔がテンプレート画像に設定されている場合（Ｓ１１２）、追尾の信頼度が予め定められた複数回連続して低いと判定される（Ｓ１１３）までは、テンプレート画像を変更しない。
【選択図】 図１

Description

本発明は撮像装置およびその制御方法に関し、特に被写体追尾機能を持つ撮像装置およびその制御方法に関する。

従来、固体撮像素子を搭載したカメラにおいて、ライブビュー画像のような動画像のあるフレームから任意の被写体を検出し、後続するフレームでその被写体を追尾する機能が実用化されている。このような被写体追尾機能を有するカメラでは、画像中における被写体の位置を検出することによって、被写体に対して適切な自動焦点調節や自動露出演算を行うことが可能である。例えば、人物の顔を検出して追尾対象とすることで、検出した顔に合焦させ続けるカメラが製品化されている。また、被写体追尾中に被写体を見失った場合、追尾対象を再設定して追尾を再開するものも存在する。

例えば特許文献１には、画像中に人物の顔が検出されれば、検出された顔の中で最も大きい顔を追尾対象として自動的に選択するカメラが開示されている。
また、特許文献２には、顔検出動作後に追尾対象を設定して追尾動作を開始し、追尾対象を見失った場合は、顔検出動作を再度実行して追尾対象を再設定する機能を持ったカメラが開示されている。
また、特許文献１、特許文献２とも、顔が検出されなかった場合は、設定されている自動焦点検出領域内の被写体を追尾対象としている。

特開２０１１−２７８４７号公報 特開２００９−１２４５６５号公報

しかしながら、特許文献１，２に開示された従来技術では、顔の誤検出についての対処がなされていないため、誤検出された領域を顔の検出領域として追尾対象としてしまう可能性がある。

本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、連続して撮影された画像について特定の被写体を順次検出する被写体追尾機能を有する撮像装置およびその制御方法において、誤検出の影響を受けづらい被写体追尾機能を実現することを目的とする。

上述の目的は、画像中に含まれる顔を検出する顔検出手段と、撮影によって得られた画像から、テンプレート画像と類似した領域を検出する被写体検出手段と、連続して撮影された画像について、被写体検出手段によって領域を順次検出することにより、テンプレート画像に設定された被写体を追尾する機能を実現する制御手段と、を有する撮像装置であって、制御手段は、被写体の追尾中、被写体検出手段による検出の信頼度を判定し、テンプレート画像に顔検出手段が検出した顔が設定されている場合、被写体検出手段による検出の信頼度が予め定められた複数回連続して低いと判定されるまでは、テンプレート画像を変更しないことを特徴とする撮像装置によって達成される。

本発明によれば、連続して撮影された画像について特定の被写体を順次検出する被写体追尾機能を有する撮像装置およびその制御方法において、誤検出の影響を受けづらい被写体追尾機能を実現することができる。

本発明の実施形態に関る撮像装置における、顔検出結果と追尾の信頼性に基づく追尾モードの遷移制御の例を示す図 本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラの側断面図 本発明の実施形態に係るデジタル一眼レフカメラの機能構成例を示すブロック図 図２のＡＦ制御部、システム制御部、およびＡＥ制御部の処理手順と相互関係を説明するための図 図２のＡＦ制御部、システム制御部、およびＡＥ制御部の処理手順と相互関係を説明するための図 本発明の実施形態に関る撮像装置における、被写体追尾中の光学ファインダー像の例を示す図 本発明の実施形態に関る撮像装置における、テンプレート画像生成処理動作を説明するためのフローチャート 本発明の実施形態に関る撮像装置における、顔検出領域と測光領域との関係例を示す図

以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。
図２は、本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラ（ＤＳＬＲ）の主要な構成部品の配置例を示す側断面図である。ＤＳＬＲは、本体２０１と本体２０１の前面に装着される撮影レンズ２０２を有する。撮影レンズ２０２は交換可能であり、また本体２０１と撮影レンズ２０２は、不図示のレンズマウントにより機械的および電気的に接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞り２１４があり、レンズマウント接点群２１５を介した、本体２０１による電気的な制御に従って動作する。

メインミラー２０３はハーフミラーであり、背面にはサブミラー２０４が設けられている。図示した、ミラーアップされていない状態では、撮影レンズ２０２からの光束の一部を反射して上方のファインダー光学系へ入射させ、透過光をサブミラー２０４で反射して下方のＡＦ装置２０５へ入射させる。露光時などミラーアップされた状態では、光路から退避する。

ＡＦ装置２０５は位相差検出方式のＡＦセンサである。撮影レンズ２０２の二次結像面を、ＡＦ装置２０５が有する焦点検出ラインセンサ上に形成することによって、撮影レンズ２０２のデフォーカス量と焦点方向を検出し、検出結果をもとにフォーカシングレンズ２１３を駆動して自動焦点調節を行う。位相差検出方式による合焦制御については公知であり、本発明とは直接関係しないため、ＡＦ装置２０５の詳細な構成や合焦制御についての説明は省略する。

ピント板２０６はファインダー光学系としての撮影レンズ２０２の予定結像面に配置された透過型の液晶ディスプレイであり、撮影レンズ２０２が形成する視野の光学像に、測距点などの情報を重畳表示する。ユーザは、アイピース２０９からファインダー光路変更用のペンタプリズム２０７を通じてピント板２０６を観察することにより、撮影される視野や測距点を確認することができる。

ＡＥ装置２０８は、被写体の明るさを観測するため、複数画素を持つＡＥセンサで光学ファインダー像を測光画像データに変換する。ＡＥセンサは画素数を除いて撮像素子２１１と同様の構成であってよいが、主に被写体輝度の検出に用いられるためＡＥセンサと呼ぶ。測光画像データは、Ｒ、Ｇ、およびＢ成分を有する。ＡＥ装置２０８は、生成された測光画像データを用いて、被写体の明るさ検出と露出演算、被写体追尾および顔検出を行う。
。

撮像素子２１１はＣＭＯＳイメージセンサやＣＣＤイメージセンサなどであり、光電変換素子を有する画素が複数配列されている。メインミラー２０３およびサブミラー２０４を撮影光路から退避させ、フォーカルプレーンシャッター２１０を開くことにより、撮像素子２１１が露光され、被写体光学像が撮影される。

ディスプレイ２１２は例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー画像を表示して電子ビューファインダーとして用いたり、各種の設定値、撮影情報、装置情報、ＧＵＩ画面、撮影済み画像などの表示に用いたりする。

図３は、本実施形態のＤＳＬＲの機能的な構成例を示すブロック図である。なお、図２と同じ構成要素については、同一符号を付してある。

操作部３０１は、ユーザが本体２０１や撮影レンズ２０２に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０６に出力する。操作部３０１は、レリーズボタンの押下量によってＳＷ１信号とＳＷ２信号を送信する。具体的には、レリーズボタンが半分程度押下されるとＳＷ１信号を、レリーズボタンがさらに所定量押されるとＳＷ２信号を、それぞれシステム制御部３０６に出力する。なお、ＳＷ１信号が出力されるレリーズボタンの押下状態を「半押し」、ＳＷ２信号が出力されるレリーズボタンの押下状態を「全押し」と呼ぶ。また、レリーズボタンの半押し状態が維持されている状態を「ＳＷ１保持状態」と呼び、全押し状態が維持されている状態を「ＳＷ２保持状態」と呼ぶ。また、操作部３０１は、レリーズボタンの押下量がＳＷ１信号を送信するに満たない状態になるとＳＷ１解除信号を、ＳＷ２信号を送信するに満たない状態になるとＳＷ２解除信号を、それぞれシステム制御部３０６に出力する。

上述の通り、ＡＦ装置２０５は位相差検出方式による自動焦点検出および、焦点検出結果に基づく、フォーカシングレンズ２１３の合焦位置への駆動（自動焦点調節）を行う。ＡＦ装置２０５は、ＡＦ制御部３０４および測距センサ３０５で構成される。測距センサ３０５は例えば図６（ａ）に示す６１点の測距点配置に対応するラインセンサで構成され、サブミラー２０４を介して入射される光を電気信号に変換し、各測距点に対して一対の像信号をＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、測距センサ３０５から出力された一対の像信号の位相差に基づいて、図６（ａ）に示す各測距点のデフォーカス量を計算し、合焦させる測距点を１つ選択する。そして、各測距点のデフォーカス量をデータとして持つデフォーカスマップと、選択した測距点の位置情報をシステム制御部３０６に出力する。システム制御部３０６は、選択測距点位置およびデフォーカスマップに基づいて焦点調節演算を行い、選択された測距点に合焦するようにフォーカシングレンズ２１３の位置を制御する。

ＡＥ装置２０８は自動露出演算および被写体追尾を行う。ＡＥ装置２０８はＡＥ制御部３０２および測光センサ３０３で構成される。ＡＥ制御部３０２は測光センサ３０３から連続し読み出した測光画像データに基づいて自動露出演算を行い、結果をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された自動露出演算の結果に基づいて、絞り２１４の値（開口の大きさ）を制御し、本体２０１に入射する光量を調節する。

また、ＳＷ１保持状態および連写中において、ＡＥ制御部３０２は測光センサ３０３で連続して撮影された測光画像データを用いて被写体を順次検出することにより、被写体の追尾を実現し、検出した被写体の位置情報をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された被写体の位置情報をＡＦ制御部３０４に出力する。

ＡＦ制御部３０４は、システム制御部３０６から出力された被写体の位置もしくはその近傍にある測距点のデフォーカス量を計算し、計算結果をあらかじめ設定された閾値と比較する。比較の結果デフォーカス量が閾値以下であれば、システム制御部３０６に出力する選択測距点位置データを、ＡＦ制御部３０４が各測距点におけるデフォーカス量に基づいて選択した測距点から、被写体またはその近傍にある測距点に更新する。

システム制御部３０６は、操作部３０１からＳＷ２信号が出力されると、メインミラー２０３（およびサブミラー２０４）をアップし、光路から退避させる。そして、フォーカルプレーンシャッター２１０を駆動し、撮像素子２１１を自動露出演算の結果に基づく時間、露光する。露光時間が終了すると、システム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。

撮像素子２１１は露光時間中に撮影レンズ２０２を通して入射する光を各画素で電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６は撮像素子２１１から出力された画像データに対して所定の画像処理などを適用し、ディスプレイ２１２で表示させたり、画像記憶装置３０７へ書き込んだりする。

続いて、本実施形態におけるＤＳＬＲの動作について説明する。
図４および図５は、ＡＦ制御部３０４、システム制御部３０６、ＡＥ制御部３０２の動作シーケンスを示す図であり、図４がＳＷ１保持状態における動作シーケンスを、図５がＳＷ２保持状態の動作シーケンスを示している。なお、図４および図５は各制御部における処理の手順や動作のタイミングを示すことを目的としたものであり、異なる制御部が行う処理はもちろん、同一の制御部が行う処理であっても、処理ブロックの大きさ（高さ）と処理時間の長さとはなんら関連性を有さない。

Ｓ４４１は、レリーズボタンが半押しされ、操作部３０１からシステム制御部３０６へＳＷ１信号が出力されたタイミングを示している。ＳＷ１信号の入力を受けたシステム制御部３０６はＡＦ制御部３０４へＡＦ開始信号Ｄ０１を出力し、ＡＥ制御部３０２へＡＥ開始信号Ｄ０２を出力する。

ＳＷ１保持状態においてＡＥ制御部３０２は、Ｓ４０１からＳ４０６の処理を画像の１フレーム（コマ）対する処理の１単位として繰り返し実行する。同様にＡＦ制御部３０４は、Ｓ４２１からＳ４２５の処理を画像の１フレーム（コマ）対する処理の１単位として繰り返し実行する。ただし、ＡＥ制御部３０２、ＡＦ制御部３０４とも、システム制御部３０６から出力される開始信号（ＡＦ開始信号およびＡＥ開始信号）の受信に応じて１単位の処理を開始する。また、１単位の処理に含まれる被写体追尾処理（Ｓ４０３）および測距点再選択処理（Ｓ４２４）は、ＡＥ制御部３０２およびＡＦ制御部３０４が処理を開始した最初のフレームでは実行されず、２フレーム目以降に実行される。これは、最初のフレームでは追尾対象が確定していないためである。

まず、ＡＥ制御部３０２で行うＳ４０１からＳ４０６の処理について説明する。
Ｓ４０１でＡＥ制御部３０２は、システム制御部３０６からＡＥ開始信号Ｄ０２を受信すると、測光センサ３０３の蓄積（測光センサ３０３による撮影）を行う。この蓄積（撮影）動作は、ＡＦ開始信号Ｄ０１をシステム制御部３０６から受信したＡＦ制御部３０４による測距センサ３０５の蓄積動作と同時に開始される。そのため、測距センサ３０５および測光センサ３０３で得られる像信号は同じタイミングで撮影されたものとなる。

Ｓ４０２でＡＥ制御部３０２は、測光センサ３０３から測光画像データを読み出し、ＲＧＢの色情報を持つ検出対象画像のデータを生成する。

Ｓ４０３でＡＥ制御部３０２は、検出対象画像中における追尾対象の位置（被写体座標）を検出する被写体追尾処理を行う。具体的には、ＡＥ制御部３０２は、過去に実行した追尾テンプレート生成処理（Ｓ４０６）で生成されたテンプレート画像を追尾対象画像とし、Ｓ４０２で生成した検出対象画像とテンプレートマッチングを行う。テンプレートマッチングとは、画像の輝度情報や色情報に基づいて相関性を評価することで、検出対象画像中に含まれる、テンプレート画像と同一または類似した画像領域を検出する手法である。

また、ＡＥ制御部３０２は、テンプレート画像と、検出対象画像で追尾対象であると検出された領域の画像との相関量に基づき、追尾の信頼度を算出する。相関が高いほど高い信頼性が算出される。そして、ＡＥ制御部３０２は、被写体追尾処理結果として、追尾対象位置と追尾信頼度のデータＤ０３をシステム制御部３０６に出力する。このデータは、システム制御部３０６を通じてＡＦ制御部３０４にデータＤ０４として送られる。

Ｓ４０４でＡＥ制御部３０２は、Ｓ４０２で生成した検出対象画像に基づいて露出演算を行い、演算結果を露出演算データＤ０６としてシステム制御部３０６に出力する。このとき、ＡＥ制御部３０２は、１フレーム前の画像に対する顔検出処理（Ｓ４０５）で顔が検出されていれば、同じく１フレーム前の検出対象画像における、検出された顔の領域の輝度情報に基づいて、顔が適正露出で撮影できるよう、露出演算結果を補正する。本実施形態では、検出された顔のうち選択測距点に近いものから最大５つを選択し、顔領域の輝度の平均値から撮影条件を決定するための被写体輝度値（ＢＶ値）を計算する。

Ｓ４０５でＡＥ制御部３０２は、Ｓ４０２で読み出した画像データに対して顔検出処理を行い、顔の検出位置（顔領域の代表座標）を出力する。顔が複数検出された場合には、後述する選択測距点データＤ０８と顔の検出位置に基づいて、選択測距点に最も近い顔を選択し、追尾対象の候補とする。

Ｓ４０６でＡＥ制御部３０２は、後述する選択測距点データＤ０８および顔検出処理Ｓ４０５の結果に基づいて、追尾テンプレートの生成または更新を行う。この処理の詳細については後述する。
以上がＡＥ制御部３０２の処理である。ただし、上述の通り、追尾テンプレートが生成されていない場合（たとえば１フレーム目）には、Ｓ４０３における被写体追尾処理は行わない。

続いて、ＡＦ制御部３０４がＳ４２１からＳ４２５で行う処理について説明する。
Ｓ４２１でＡＦ制御部３０４は、システム制御部３０６から出力されるＡＦ開始信号Ｄ０１を受信すると、測距センサ３０５による電荷蓄積（撮影）を開始させる。

Ｓ４２２でＡＦ制御部３０４は、測距センサ３０５から像信号を読み出す。
Ｓ４２３でＡＦ制御部３０４は、Ｓ４２２で読み出した像信号に基づいて焦点検出演算を行い、測距点についての焦点状態（デフォーカス量）を算出する。なお、ＳＷ１信号が出力され初めて１フレーム目では、予めユーザ設定などによって選択されている測距点、２フレーム目以降は直前のフレームで選択された測距点とその周辺の測距点について焦点検出を行う。

Ｓ４２４でＡＦ制御部３０４は、ＡＥ制御部がＳ４０３で行った被写体検出処理の結果である追尾対象位置および追尾信頼度のデータＤ０４を、システム制御部３０６から受信する。そして、追尾対象位置および追尾信頼度に基づいて測距点を再選択する。まずＡＦ制御部３０４は、選択可能な測距点のうち、追尾対象位置（検出された被写体位置）に最も近い測距点とその上下左右の計５つの測距点についてデフォーカス量を計算する。そして、ＡＦ制御部３０４は、計算された最小デフォーカス量が所定値以下であれば、最小デフォーカス量が計算された１つの測距点を、Ｓ４２３で選択した測距点と置き換えて新たな選択測距点とする。

一方、５つの測距点のデフォーカス量がいずれも所定値よりも大きい場合、ＡＦ制御部３０４は、Ｓ４２３で選択した測距点を変更しない。このように、追尾対象位置に最も近い測距点だけでなく、その周辺の測距点も再選択の候補とすることで、追尾対象位置に最も近い測距点のコントラストが低くデフォーカス量を計算できなかった場合にも、主被写体の焦点検出が可能となる。

選択測距点が確定すると、ＡＦ制御部３０４は選択測距点位置と対応するデフォーカス量の情報を含むデータＤ０５をシステム制御部３０６に出力する。これにより、システム制御部による焦点調節が開始される（Ｓ４４２）。

Ｓ４２５でＡＦ制御部３０４は、選択可能な測距点全てについて焦点状態（デフォーカス量）を計算してデフォーカスマップを更新し、更新したデフォーカスマップをデータＤ０７としてシステム制御部３０６に出力する。

システム制御部３０６は、データＤ０５で受信した選択測距点位置およびデータＤ０７で受信したデフォーカスマップを、データＤ０８でＡＥ制御部３０２に出力する。なお、選択測距点位置は具体的な測距点の位置を表す情報であってもいいが、測距点ごとの位置に関する情報が別途利用できる場合には、測距点番号など、測距点を特定できる情報であってもよい。

全測距点に対するデフォーカス量の計算は処理に時間がかかるため、システム制御部３０６がＳ４４２で行う焦点調節処理を、デフォーカスマップの更新処理の完了を待って行うようにすると、レスポンスが悪化してしまう。そこで、選択測距点に焦点調節するために必要な情報をＳ４２３でシステム制御部３０６にまず出力し、焦点調節処理を行うようにすることで、焦点調節のレスポンス低下を抑制し、その後、デフォーカスマップを改めてシステム制御部３０６に供給している。

以上がＡＦ制御部３０４の処理である。ただし１フレーム目については、ＡＥ制御部３０２が被写体追尾処理Ｓ４０３をスキップし、追尾対象位置データＤ０４を出力しないため、ＡＦ制御部３０４は測距点再選択処理Ｓ４２４をスキップする。この時は、ＡＦ制御部３０４が焦点検出演算と測距点選択処理Ｓ４２３で選択した測距点を選択測距点とし、データＤ０５としてシステム制御部３０６に出力する。

最後に、システム制御部３０６の処理について説明する。
Ｓ４４２でシステム制御部３０６は、ＡＦ制御部３０４からデータＤ０５で受信した、選択測距点位置とデフォーカス量の情報に基づいてフォーカシングレンズ２１３を駆動し、選択測距点に合焦するように焦点調節を行う。

またシステム制御部３０６は、ＡＥ制御部３０２とＡＦ制御部３０４の動作開始タイミングを同期させたり、ＡＥ制御部３０２とＡＦ制御部３０４との間でデータを中継したりする。

このようなシステム制御部３０６の動作は、具体的には、以下の通りである。
測光センサ３０３と測距センサ３０５の蓄積動作を同期させるため、処理のＡＦ開始信号Ｄ０１、ＡＥ開始信号Ｄ０２を同時に出力する。
追尾対象位置と追尾信頼度データＤ０３をＡＥ制御部３０２より受信し、所定のタイミングで追尾対象位置データＤ０４としてＡＦ制御部３０４へ出力する。
ＡＦ制御部３０４より選択測距点位置の情報をデータＤ０５で、また全測距点分のデフォーカスマップをデータＤ０７で受信し、これらを所定のタイミングでデータＤ０８としてＡＥ制御部３０２へ出力する。

図５は、レリーズボタンが全押しされ、ＳＷ２信号の出力が開始されてからの、連続撮影（連写撮影）時における、ＡＦ制御部３０４、システム制御部３０６、ＡＥ制御部３０２の動作シーケンスを示す図である。
図４と同様、図５も各制御部における処理の手順や動作のタイミングを示すことを目的としたものであり、異なる制御部が行う処理はもちろん、同一の制御部が行う処理であっても、処理ブロックの大きさ（高さ）と処理時間の長さとはなんら関連性を有さない。また、図５において図４と同じ番号を付した処理は図４で説明した処理と同じであることを示し、重複する説明は省略する。

Ｓ５０１でシステム制御部３０６は、操作部３０１からＳＷ２信号が出力されたことを検出すると、ミラーアップ動作（Ｓ５０２）、本撮影動作（Ｓ５０３）、およびミラーダウン動作（Ｓ５０４）の一連の動作を開始する。各処理の詳細は後述する。

また、システム制御部３０６は、ＡＦ制御部３０４にレリーズ開始信号Ｄ０９、ＡＥ制御部３０２にレリーズ開始信号Ｄ１０をそれぞれ出力する。レリーズ開始信号Ｄ０９およびＤ１０を受信したＡＦ制御部３０４およびＡＥ制御部３０２は、その時点で行っていた処理を中断する。システム制御部はＳ５０４のミラーダウン動作を完了すると、ＡＦ制御部３０４へＡＦ開始信号Ｄ０１を出力し、ＡＥ制御部３０２へＡＥ開始信号Ｄ０２を出力する。

ＡＦ開始信号Ｄ０１を受信したＡＦ制御部３０４はＳ４２１からＳ４２５の処理を実行し、ＡＥ開始信号Ｄ０２を受信したＡＥ制御部３０２はＳ４０１からＳ４０６の処理を実行する。ＳＷ２保持状態の間、システム制御部３０６は各コマのミラーダウン動作Ｓ５０２が完了したタイミングで、ＡＦ制御部３０４へＡＦ開始信号Ｄ０１を出力し、ＡＥ制御部３０２へＡＥ開始信号Ｄ０２を出力する。

次に、Ｓ５０２〜Ｓ５０４の処理の詳細を説明する。
Ｓ５０２でシステム制御部３０６は、メインミラー２０３およびサブミラー２０４をアップさせ、光路から退避させる。また、システム制御部３０６は、ＡＥ制御部３０２から直近にデータＤ０６として受信した露出演算結果に基づいて絞り２１４を駆動し、絞りの口径調節を行う。

Ｓ５０３でシステム制御部３０６は、露出演算結果に基づいておよびフォーカルプレーンシャッター２１０を駆動し、撮像素子２１１を露出演算結果に基づく時間露光する。
Ｓ５０４でシステム制御部３０６は、メインミラー２０３およびサブミラー２０４をダウンさせる。

撮像素子２１１は露光時間中に撮影レンズ２０２を通して各画素に入射する光により発生する電荷を蓄積して電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６は撮像素子２１１から出力された画像データに対して所定の画像処理などを適用し、ディスプレイ２１２で表示させたり、画像記憶装置３０７へ書き込んだりする。
ＳＷ２状態が継続される限り、システム制御部３０６はＳ４４２からＳ５０４の処理を１単位として繰り返し、連続撮影を実現する。

続いて、Ｓ４０６でＡＥ制御部３０２が行う追尾テンプレート生成処理の動作手順について、図７に示すフローチャートを用いて説明する。
Ｓ７０１でＡＥ制御部３０２は、顔追尾開始判定フラグをＦａｌｓｅに設定する。このフラグは、Ｓ７０８でテンプレート画像を更新するかどうかの判定に用いられる。

Ｓ７０２でＡＥ制御部３０２は、現在のフレームがＳＷ１信号の出力開始から１コマ目かどうか判定する。１コマ目ならテンプレート画像は生成されていないため、ＡＥ制御部３０２はＳ７１１で、測光画像の選択測距点領域をテンプレート画像として抽出し、追尾テンプレート生成処理を終了する。

一方、Ｓ７０２において、２コマ目以降と判定されれば、Ｓ７０３でＡＥ制御部３０２は、現在のテンプレート画像が顔検出領域に基づいて生成されたものかどうかを判定する。テンプレート画像が顔検出領域に基づいて生成されたものでなければ、ＡＥ制御部３０２はＳ７０７で顔追尾開始判定フラグをＴｒｕｅに設定し、Ｓ７０８へ処理を進める。テンプレート画像が顔検出領域で生成されたものであれば、ＡＥ制御部３０２は処理をＳ７０４に進める。

これは、テンプレート画像が顔検出領域に基づいて生成されている場合（すなわち、顔である場合）、追尾処理中に新たに顔が検出されても、テンプレート画像の更新を行わないようにするためである。これにより、検出対象の顔が途中で変化してしまうことを抑制している。

Ｓ７０４でＡＥ制御部３０２は、最後にテンプレート画像を生成してからの経過時間が所定時間以上かどうかを判定する。ここでは、経過時間を、撮影されたコマ（フレーム）数によって判定しているが、タイマなどを用いて経過時間を測定してもよい。ＡＥ制御部３０２は経過時間が所定時間以上ならＳ７０５へ、所定時間未満ならＳ７０８へ処理を進める。なお、ＳＷ１保持状態においてはライブビュー画像（動画像）が撮影されているため「フレーム」数（記録用の動画撮影時も同様）であり、ＳＷ２保持状態においては連写されている静止画の「コマ」数となる。一般に、動画撮影時のフレームレートと連写時の撮影間隔とが異なる場合、フレーム数とコマ数が同じでも経過時間は異なるため、必要であれば実時間に換算してもよい。いずれにせよ、ここでの判定は、テンプレート画像を更新した方が良いかどうかを経過時間によって判定することを目的とし、具体的な手法には依存しない。以下では便宜上、動画フレームおよび静止画のコマをまとめて「コマ」という。

Ｓ７０５でＡＥ制御部３０２は、直近の所定数のコマにおける追尾の信頼度が所定値以下であるかどうかを判定する。直近の所定数コマ全てで追尾の信頼度が所定値以下であった場合、ＡＥ制御部３０２は追尾対象を見失ったと判断し、Ｓ７０６で顔追尾開始判定フラグをＴｒｕｅに設定してＳ７０８へ処理を進める。追尾の信頼度が所定値を超えるコマがある場合、ＡＥ制御部３０２はなにもせずに処理をＳ７０８に進める。

Ｓ７０８でＡＥ制御部３０２は、Ｓ７０１、Ｓ７０６、Ｓ７０７で設定された顔追尾開始判定フラグがＴｒｕｅであればＳ７０９へ処理を進め、Ｆａｌｓｅであれば追尾テンプレート生成処理を終了する。

Ｓ７０９でＡＥ制御部３０２は、現在のコマおよび一つ前のコマにおける顔検出処理Ｓ４０５で顔が連続して検出されたかどうかを判定する。連続して顔が検出されていれば、ＡＥ制御部３０２はＳ７１０でテンプレート画像に測光画像の顔検出領域の画像を設定（更新）し、追尾テンプレート生成処理Ｓ４０６を終了する。いずれかのコマで顔が検出されていなければ、ＡＥ制御部３０２はテンプレート画像を設定（更新）せずに追尾テンプレート生成処理Ｓ４０６を終了する。
以上が、追尾テンプレート生成処理Ｓ４０６で行われる処理の説明である。

なお、Ｓ７０５の動作により、追尾信頼度の低い状態が所定数コマ続くまでは、顔検出位置でのテンプレート画像の更新を行わないことで、例えば背景の通行人などの主被写体以外の顔に追尾対象を変更してしまうことを防ぐことができる。また、主被写体が障害物の裏に隠れたり、向きを変えたりして一時的に検出されなくなった場合でも、所定数コマはテンプレート画像を保持し続けるので、主被写体が再び検出されるようになった場合に追尾を再開することができる。

一方、追尾信頼度の低い状態が所定数コマ続いた場合には追尾対象を見失ったと判断し、Ｓ７０９の動作により、新しく検出された顔を直ちに次の追尾対象としてテンプレート画像に設定するため、追尾対象を自動的に変更することができる。

続いて、図１、図６、図８を参照して、本実施形態における被写体追尾処理の結果と追尾テンプレート生成処理の動作との関係についてさらに説明する。
図１は、ＳＷ１保持状態でＡＥ制御部３０２が実施する、顔検出結果と追尾の信頼性に基づく追尾モードの遷移制御の例を示す図である。本実施形態において、被写体追尾処理および追尾テンプレート生成処理には、追尾対象となる被写体によって３つの追尾モードが存在する。顔追尾モード１０６、ＡＦ追尾モード１０７、追尾ＯＦＦモード１０８である。

顔追尾モード１０６は、顔が検出された領域を中心とする画像領域をテンプレート画像に設定して追尾を行うモードである。ＡＦ追尾モード１０７は、ＡＦが選択した測距点を中心とする画像領域をテンプレート画像として追尾を行うモードである。追尾ＯＦＦモード１０８は、追尾処理を行わないモードである。

図１において、レリーズ動作１０１はレリーズボタンの状態を表す。レリーズボタンの半押しによりＳＷ１信号の出力が検知されたタイミングを、”ＳＷ１ ＯＮ”として示している。

ＡＥのコマ番号１０２は、ＡＥ制御部３０２がＡＥ開始信号Ｄ０２を最初に受信して動作を開始してから経過したコマ数を表す。
追尾信頼度１０３は、Ｓ４０４の被写体追尾処理で計算された被写体追尾結果の信頼性を模式的に示している。ある閾値を境に信頼度が高いと判定された場合を○、低いと判定された場合を×で示している。追尾信頼度１０３の計算方法については後述する。
顔検出結果１０４は、Ｓ４０５の顔検出処理で少なくとも１つは顔が検出されたかどうかを示す。１つ以上検出されれば○、１つも検出されなければ×としている。

Ｓ１１０〜Ｓ１１５は追尾対象のモードの変化に関係するコマを示している。
Ｓ１１０は、ＡＥ制御部３０２が動作開始してから最初のコマである。この時点では追尾テンプレート生成処理が一度も実行されておらず、追尾用のテンプレート画像が生成されていない。そのため、追尾ＯＦＦモード１０８の状態が維持され追尾処理は行われない。

Ｓ１１１は、次のコマ（番号２）の状態を示す。最初のコマで実行された図４のセンサ読み出し処理（Ｓ４０２）で生成された測光画像から、追尾テンプレート生成処理（Ｓ４０６）で生成されたテンプレート画像を用いて被写体追尾が開始される。このコマにおいては顔が検出されていないため、ＡＦ追尾モード１０７へ移行する。この場合、追尾対象は選択測距点の位置に存在する被写体となる。このように、顔が検出されない場合でも任意の被写体を追尾することが可能である。

Ｓ１１０のコマで生成されたテンプレート画像を用いたＡＦ追尾モードにおける光学ファインダー像の例を図６（ａ）に模式的に示す。上述の通り、図６（ａ）に示す矩形は設定可能な測距点を示す枠（測距枠）であり、点線の矩形は表示されない。
図６（ａ）で太い実線で示したユーザ選択測距点６１１は、レリーズボタンが半押しされた時点でユーザによって選択されている測距点である。レリーズボタンが半押しされ、図４のＡＦ開始信号Ｄ０１を受信したＡＦ制御部３０４は、図４の測距点選択処理（Ｓ４２３）において、ユーザ選択測距点６１１を選択測距点とする。

ユーザ選択測距点６１１の下に示される実線の測距枠は、選択測距点の上下左右にある測距点のうち、デフォーカス量の差が既定の閾値以下の測距点を示す。
実線で示される測距枠は、図２に示すピント板２０６に表示されるため、ユーザはファインダーを通して、選択測距点および、選択測距点とデフォーカス量の差が小さい周囲の測距点を確認することができる。点線で示す測距枠はピント板２０６には表示されない。

図４の追尾テンプレート生成処理Ｓ４０６は、ユーザ選択測距点６１１の位置を追尾対象としてＳ１１１から追尾を開始する。
Ｓ１１２は、４コマ目の状態を示す。顔検出結果１０４が３コマ目と４コマ目で連続して○となっており、２回連続で顔が検出されている。このような場合、ＡＥ制御部３０２は図４の追尾テンプレート生成処理（Ｓ４０６）において、テンプレート画像を、顔の検出領域を切り出した画像に更新する。

２回連続で検出された顔でなければ追尾対象としないのは、図４の顔検出処理（Ｓ４０５）で顔を誤検出した場合に、誤検出された領域を追尾対象とする確率を小さくするためである。顔として誤検出されてしまう物体よりも、本物の顔の方が検出率は高くなるため、連続検出の回数を増やせば増やすほど、誤検出された物体を追尾対象とする確率は小さくなる。ただし、連続検出の条件を増やすと、本物の顔を追尾対象に設定するまでの時間が長くなるため、ここでは経験的に２回に設定している。

顔の検出領域を新たな追尾対象としたため、顔追尾モード１０６へ移行する。
これにより、ＳＷ１保持状態および連写中（ＳＷ２保持状態）において顔が検出された場合、ユーザが手動で測距点を設定しなおさなくても、自動的に顔に合焦されるようになる。

Ｓ１１２での追尾対象時の光学ファインダー像の変化を図６（ｂ）、図６（ｃ）に模式的に示す。図１の例では２コマ目までは顔が検出されていないため、図６（ｂ）のようにＳ１１０（１コマ目）で設定されたテンプレート画像６０１を用いて追尾を行っており、測距点も人物の胴体部分を選択したままである。

４コマ目のＳ１１２では、３コマ目、４コマ目で連続して検出された顔がテンプレート画像に設定されているため、図６（ｃ）のように、新たなテンプレート画像６０２を用いて顔が追尾されている。その結果、測距点も顔へ移動し、顔にピントが合った画像が撮影できるようになる。

Ｓ１１３は、６コマ目を示し、５コマ目で×であった顔検出結果１０４が○となっている。しかし、Ｓ１１２で検出された顔の人物と同一人物とは限らない。顔が新たに検出されるたびにテンプレート画像を更新していたのでは、追尾対象となる人物が頻繁に切り替わってしまう恐れがある。
特に、測光センサで撮影した画像で顔検出する場合、測光センサで得られる画像には測距枠の表示が含まれるため、図６（ｄ）に示すような場合、測距枠の表示によって追尾中の人物の顔を検出できず、追尾対象とは別の人物の顔だけが検出される場合がある。

これは、図２に示したように、ＡＥ装置２０８は、透過型の表示装置であるピント板２０６に投影あるいは表示されている視野の画像に基づいて顔を検出するからである。つまり、測距枠の表示が透過型の表示装置であるピント板２０６に行われるため、ＡＥ装置２０８が観察する画像では、追尾対象となっている主被写体の一部が測距枠に隠れて見えづらくなってしまう場合がある。

ピント板２０６上に表示される測距枠は１コマ前の選択測距点であり、追尾対象となっている顔は１コマ前の選択測距点の近傍にある可能性が高い。そのため、ＡＥ装置２０８による顔検出処理において、追尾対象となっている顔は測距枠の影響を受ける可能性が高く、追尾対象でない顔は追尾対象の顔よりも測距枠の影響を受ける可能性が低くなる。従って、選択測距枠の表示を含んだ視野を観察するＡＥ装置２０８で顔検出する場合、顔追尾中は追尾対象の顔が測距枠表示に隠れて検出できず、他の顔だけが検出されるという状況が発生しやすくなる。

また、選択測距枠の表示有無とは無関係に、顔でない部分を顔と誤検出する可能性がある。追尾する対象を誤った場合、ユーザの望む被写体とは異なる被写体に合焦され続けてしまう。

そこで、本実施形態では、顔追尾モード１０６の場合、テンプレート画像は更新しない。具体的には、追尾テンプレート生成処理（Ｓ４０６）において、顔検出処理（Ｓ４０５）の結果を参照しなくする。これにより、最初にテンプレート画像に設定された人物の顔を追尾し続けることが可能となる。

一方で、顔検出機能を有効に利用するため、図４の露出演算処理（Ｓ４０４）では、検出された顔のうち選択測距点に近いものから最大５つを選択し、それらの平均値から撮影条件の決定に用いる被写体輝度値（ＢＶ値）を計算する。そして、このＢＶ値に基づいて撮影条件を決定することにより、複数の顔に対して適切な露出を設定することができる。

例えば、図８のように、２人の人物を主被写体とし、背景が明るい空であるシーンでの撮影を考える。このようなシーンでは、測光領域１２０１全体の測光情報（輝度値）に基づいて露出演算を行うと、ＢＶ値は明るい背景を反映したものとなるため、主被写体については露出不足となる撮影条件が決定されてしまうであろう。このような状況において、顔検出領域１２０２に基づいてＢＶ値を求めることで、主被写体の顔が適正露出で撮影される撮影条件を決定することができる。なお、顔検出領域に基づくＢＶ値だけに依存して撮影条件を決める以外に、測光領域１２０１に基づくＢＶ値を、顔検出領域１２０２に基づくＢＶ値との差が少なくなるように補正するように構成してもよい。

このように、露出演算に顔領域の情報を利用するため、図４の追尾テンプレート生成処理が顔検出結果を参照しない場合でも、顔検出処理は各コマに対して実行する。
Ｓ１１２で検出した顔を追尾し続ける様子を、図６（ｄ）に示す。Ｓ１１３では、Ｓ１１２で生成されたテンプレート画像６０２を用いて追尾を行う。

Ｓ１１４は１３コマ目の状態を示す。Ｓ１１４では、１１コマ目から続けて３コマ、追尾の信頼度が低い（×）。このように、追尾の信頼度が閾値を下回る状態が所定数コマ（ここでは３コマ）連続で続いた場合、ＡＥ制御部３０２は被写体追尾処理（Ｓ４０３）において追尾対象を見失ったと判断し、追尾ＯＦＦモード１０８へ移行する。ただし、図１に示すように、現在のコマ（１３コマ目）と１つ前のコマ（１２コマ目）においていずれも（２回連続で）顔が検出されている場合、ＡＥ制御部３０２は、検出されている顔を新たに追尾対象として設定する。そして、顔追尾モード１０６に再度移行する（Ｓ１１５）。

このように、所定コマ数連続（複数回連続）して追尾の信頼性が低く、追尾対象を見失ったと判断される場合、現在のコマを含めて処理コマ数連続して顔が検出されていれば、検出対象を現在検出されている顔に変更する。このため、実質的に追尾ＯＦＦモード１０８に移行することなく、追尾対象を変えて顔追尾モードが継続される。

一方、追尾対象を見失ったと判断される場合に、顔が所定コマ数連続（複数回連続）して検出されていない場合には、現在のコマで顔が検出されていても検出されている顔を新たな追尾対象としない。そのため、誤検出やたまたま視野に入った人物を追尾対象としてしまう可能性を抑制し、顔の誤検出や意図しない人物の登場といった、追尾動作を誤らせやすい要因に対しても頑健な被写体追尾を行うことができる。

顔が検出されておらず、ＡＥ制御部３０２が被写体追尾を行わない間、ＡＦ制御部３０４は焦点検出演算と測距点選択処理（Ｓ４２３）の結果に従って主被写体（選択する測距点）を決定する。追尾の信頼度が低い状態が所定コマ数続いた場合、ユーザが望む追尾対象を正しく追尾できていない可能性が高い。そのため、ＡＦ制御部３０４の測距点再選択処理（Ｓ４２４）に悪影響を与えかねないため、ＡＥ制御部３０２は追尾ＯＦＦモードに移行して被写体追尾処理を一時的に停止する。この場合、ＡＥ制御部３０２はテンプレート画像を消去して１コマ目からと同様に追尾モードを遷移させるか、顔が所定コマ数連続（複数回連続）して検出された時点でテンプレート画像を新たな顔で変更して顔追尾モードを再開させることができる。

このように、本実施形態によれば、被写体追尾機能を有する撮像装置において、顔が検出されていない場合には、自動焦点検出装置が選択した測距点に基づいて生成したテンプレート画像を用いて被写体追尾を行う。そのため、人物以外の被写体について追尾が可能である。また、顔が検出されていない状態から顔が所定コマ数連続して検出されると、検出された顔に基づいて生成したテンプレート画像を用いて被写体追尾を行うため、同一人物が連続して検出されると自動的にその人物（顔）を追尾することができる。

さらに、人物（顔）の追尾中は、追尾の信頼性が所定コマ数連続して低いと判定されなければ、顔が検出されていてもテンプレート画像を変更しない。そのため、追尾中の顔が一時的に隠れて、復帰した場合には、同じ顔を追尾し続けることができ、追尾対象の顔が頻繁に切り替わることを抑制した安定した追尾が可能である。さらに、人物（顔）の追尾中に、追尾の信頼性が所定連続コマ数連続して低いと判定された場合であって、顔が所定コマ数連続して検出されていない場合には、追尾動作を中止する。そのため、意図しない被写体に対して連続的に焦点調節が行われることを防止できる。また、人物（顔）の追尾中に、追尾の信頼性が所定連続コマ数連続して低いと判定された場合であって、顔が所定コマ数連続して検出されている場合には、検出されている顔に基づいてテンプレート画像を更新する。これにより、追尾対象を見失った場合には、現在安定して検出されている顔の追尾に自動的かつ速やかに切り替えることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
以上、本発明を例示的な実施形態について説明したが、本発明の範囲は実施形態に説明した特定の構成に限定されず、特許請求の範囲に規定された範囲内で種々の変形及び変更が可能である。

Claims (7)

1. 画像中に含まれる顔を検出する顔検出手段と、
   撮影によって得られた画像から、テンプレート画像と類似した領域を検出する被写体検出手段と、
   連続して撮影された画像について、前記被写体検出手段によって前記領域を順次検出することにより、前記テンプレート画像に設定された被写体を追尾する機能を実現する制御手段と、を有する撮像装置であって、
   前記制御手段は、前記被写体の追尾中、前記被写体検出手段による検出の信頼度を判定し、前記テンプレート画像に前記顔検出手段が検出した顔が設定されている場合、前記被写体検出手段による検出の信頼度が予め定められた複数回連続して低いと判定されるまでは、前記テンプレート画像を変更しないことを特徴とする撮像装置。
2. 前記制御手段は、前記被写体の追尾中、前記テンプレート画像に前記顔検出手段が検出した顔が設定されている場合、前記被写体検出手段による検出の信頼度が予め定められた複数回連続して低いと判定された場合、予め定められた複数回連続して前記顔検出手段によって顔が検出されていれば、該検出されている顔を前記テンプレート画像に設定して被写体の追尾を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記被写体の追尾中、前記テンプレート画像に前記顔検出手段が検出した顔が設定されている場合、前記被写体検出手段による検出の信頼度が予め定められた複数回連続して低いと判定され、かつ予め定められた複数回連続して前記顔検出手段によって顔が検出されていない場合、前記テンプレート画像を用いた被写体の追尾を一時的に中止することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 複数の測距点について焦点状態を検出し、前記焦点状態に基づいて、合焦させる測距点を選択する焦点検出手段をさらに有し、
   前記制御手段は、前記テンプレート画像が設定されていない場合、前記焦点検出手段が選択した測距点に基づいて前記テンプレート画像を設定することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記焦点検出手段は、前記被写体検出手段により被写体が検出されている場合は、前記検出された被写体の位置に基づいて前記合焦させる測距点を選択することを特徴とする請求項４に記載の撮像装置。
6. 前記顔検出手段が、前記複数の測距点のうち、少なくとも前記合焦させる測距点を表示する透過型の表示装置を通じて観察される視野の画像に基づいて前記顔の検出を行う構成を有することを特徴とする請求項４または請求項５に記載の撮像装置。
7. 画像中に含まれる顔を検出する顔検出手段と、撮影によって得られた画像から、テンプレート画像と類似した領域を検出する被写体検出手段とを有する撮像装置の制御方法であって、
   制御手段が、連続して撮影された画像について、前記被写体検出手段によって前記領域を順次検出することにより、前記テンプレート画像に設定された被写体を追尾する機能を実現する制御工程を有し、
   前記制御工程において前記制御手段は、前記被写体の追尾中、前記被写体検出手段による検出の信頼度を判定し、前記テンプレート画像に前記顔検出手段が検出した顔が設定されている場合、前記被写体検出手段による検出の信頼度が予め定められた複数回連続して低いと判定されるまでは、前記テンプレート画像を変更しないことを特徴とする撮像装置の制御方法。

Images