JP2013200530A

JP2013200530A - 撮像装置およびその制御方法

Info

Publication number: JP2013200530A
Application number: JP2012070295A
Authority: JP
Inventors: Shohei FUNAMOTO; 将平船本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-03-26
Filing date: 2012-03-26
Publication date: 2013-10-03
Anticipated expiration: 2032-03-26
Also published as: JP5930792B2

Abstract

【課題】追尾対象のコントラストの高低に関わらず精度の高い被写体追尾処理と焦点検出を実現すること。
【解決手段】撮像装置は、撮像画面上に設定した測定点群を用いて焦点状態検出を行う焦点状態検出センサ３０５と、被写体の測光画像データを検出する測光センサ３０３を備える。ＡＦ制御部３０４は各測定点での焦点ずれ量を演算する。ＡＥ制御部３０２は測光画像データを取得して被写体の追尾用領域を決定する。追尾用領域内の画像のコントラスト値が閾値を超える場合、ＡＥ制御部３０２は、ＡＦ制御部３０４により選択された測定点に隣接する測定点を含む追尾用領域を決定し、当該追尾用領域内に被写体の追尾対象位置を設定する。ＡＦ制御部３０４は、追尾対象位置から測定点を再選択して当該測定点の位置情報および焦点ずれ量をシステム制御部３０６に出力する。システム制御部３０６はフォーカスレンズ２１３を駆動して焦点調節動作を制御する。
【選択図】図２

Description

本発明は、撮像装置における被写体追尾処理および焦点検出の技術に関するものである。

従来、固体撮像素子を搭載したカメラにおいて、連続して撮像される画像から任意の被写体像を抽出し、連続するコマ間で被写体を追尾し続ける機能が実用化されている。連続撮影中の各画像における被写体像の位置検出によって、適切な自動焦点調節と自動露出演算が可能となる。被写体追尾法としては、画像内における被写体像の領域をテンプレートとしてテンプレートマッチングを行って被写体を探索する方法が知られている。しかし、被写体が、例えば無地のシャツを着た人物である場合のように、コントラストの低い領域が追尾対象に設定されると、当該領域が検出され続けるため、焦点検出が困難になることがある。一方で、コントラストの高さを優先し、主被写体と背景の境目の領域等を追尾対象に設定すれば、焦点検出は容易になる。しかし、背景画像に対するマッチングの相関度が高くなるため、誤った追尾動作が起こる可能性がある。
上記の問題に対し、特許文献１には、追尾対象の被写体に対する焦点検出が不能である場合に、被写体の追尾動作を禁止するという方法が開示されている。

特開２００９−１８６９１４号公報

特許文献１に開示された従来技術では、追尾対象の被写体に対する焦点検出が不能となった瞬間に追尾動作が止まってしまうため、それ以降の追尾対象の位置を検出できなくなる。また、コントラストの高い領域をテンプレートとしてマッチング処理を行う場合に生じる誤った追尾動作の問題を解決することはできない。
本発明の目的は、追尾対象のコントラストの高低に関わらず精度の高い被写体追尾処理および焦点検出を実現できる撮像装置とその制御方法を提供することである。

上記課題を解決するために、本発明に係る装置は、撮像画面上に設定した複数の測定点を用いて焦点状態検出を行う焦点状態検出手段と、被写体の色情報を含む測光画像データを検出する測光手段と、焦点調節に用いる光学部材を有する撮像装置であって、前記焦点状態検出手段の検出情報を取得して焦点調節に用いる前記測定点の選択および前記測定点での焦点ずれ量の演算を行う第１演算処理手段と、前記測光手段が検出した前記測光画像データを取得して被写体の追尾用領域を決定して追尾処理の演算を行う第２演算処理手段と、前記第１演算処理手段の演算結果を取得して前記光学部材を駆動して焦点調節動作を制御する制御手段を備える。前記第２演算処理手段は、前記第１演算処理手段により選択された前記測定点の位置を含む第１追尾用領域内の画像データを前記測光画像データから抽出し、前記第１追尾用領域内の画像のコントラスト値が閾値を超える場合、選択された前記測定点に隣接する測定点の位置を含む第２追尾用領域内に、前記被写体の追尾対象位置を設定して追尾処理の演算を行い、前記第１演算処理手段は、前記第２演算処理手段が設定した前記追尾対象位置から前記測定点を再選択して当該測定点の位置情報および焦点ずれ量を前記制御手段に出力する。

本発明によれば、追尾対象のコントラストの高低に関わらず精度の高い被写体追尾処理および焦点検出を実現することができる。

図２ないし図９と併せて本発明の実施形態を説明するために、被写体追尾に関連する処理例を示すフローチャートである。撮像装置の構成例を示す図である。撮像装置の撮影準備状態での処理例を示すシーケンス図である。撮像装置の連写撮影時の処理例を示すシーケンス図である。測定点群の配置および測定点の選択を説明する図である。テンプレート生成処理例を説明する図である。テンプレート領域を説明する図である。被写体追尾処理例を説明する図である。追尾対象の特徴色の抽出に用いるＲＧＢヒストグラム空間を例示した図である。

以下、添付図面を参照して、本発明の実施形態に係る撮像装置について説明する。なお、デジタル一眼レフカメラを例示して実施形態を説明するが、本発明は被写体の追尾機能を有する監視カメラ等の各種撮像装置へ適用可能である。
図１に示す処理を説明する前に、図２（Ａ）を参照して本実施形態に係る撮像装置の構成を説明する。図２（Ａ）の構成例に示す撮像装置において、カメラ本体部２０１の前面には撮影レンズ２０２が装着される。撮影レンズ２０２は交換可能であり、カメラ本体部２０１と撮影レンズ２０２は、マウント接点群２１５を介して電気的に接続されている。撮影レンズ２０２は、内部にフォーカスレンズ２１３と絞りシャッタ２１４を備えており、マウント接点群２１５を介した制御により、カメラ内に取り込む光量とピントを調整する。

カメラ本体部２０１内に配置された可動のメインミラー２０３はハーフミラーであり、ファインダ観測状態で撮影光路上に斜設され、撮影レンズ２０２からの撮影光束をファインダ光学系へと反射する。一方、メインミラー２０３の透過光は可動のサブミラー２０４を介してＡＦ（オートフォーカス）装置２０５に入射する。ＡＦ装置２０５は焦点状態検出センサを備え、撮影レンズ２０２の二次結像面を焦点検出ラインセンサ上に形成することで、位相差検出方式により撮影レンズ２０２の焦点調節状態を検出する。ピント板２０６はファインダ光学系を構成し、撮影レンズ２０２の予定結像面に配置されている。ペンタプリズム２０７はファインダ光路を変更し、アイピース２０９からユーザがピント板２０６を観察することで撮影画面を確認できる。

ＡＥ（自動露出）装置２０８は測光センサを備え、これに照射される光信号から測光画像データを生成する。測光画像データは輝度データと色差データを有する。ＡＥ装置２０８は、測光画像データを用いて被写体の明るさを検出し、露出演算および被写体追尾処理を行う。サブミラー２０４の背後にはフォーカルプレーンシャッタ２１０が配置され、さらに撮像素子２１１が位置する。メインミラー２０３およびサブミラー２０４が撮影光束上から退避し、フォーカルプレーンシャッタ２１０が開くことにより、撮像素子２１１が露光される。カメラ本体部２０１の背面には表示手段としてディスプレイユニット２１２が設けられており、ユーザが撮影情報や撮影画像を確認できる。

次に、本実施形態の撮像装置の機能について、図２（Ａ）の模式図および図２（Ｂ）の構成図を用いて説明する。なお、図２（Ｂ）は本発明に関連する構成要素のみを示す。
操作部３０１はユーザが操作する操作部材を備えており、カメラ本体部２０１に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介してユーザが行った操作を検知し、操作指示に応じた信号をシステム制御部３０６へ送る。操作部３０１は、ユーザがレリーズボタンを半押し操作した場合に発する指示信号（以下、ＳＷ１信号という）と、レリーズボタンを深く押し込む全押し操作を行った場合に発する指示信号（以下、ＳＷ２信号という）をシステム制御部３０６に出力する。ここで、ユーザがレリーズボタンの半押し操作を維持した状態を「ＳＷ１保持状態」と呼び、レリーズボタンの全押し操作を維持した状態を「ＳＷ２保持状態」と呼ぶこととする。また、操作部３０１は、ユーザがＳＷ１保持状態にてレリーズボタンを離した瞬間にＳＷ１解除信号をシステム制御部３０６に出力し、ＳＷ２保持状態にてユーザがレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部３０６に出力する。

自動焦点検出を行うＡＦ装置２０５は、ＡＦ制御部３０４および焦点状態検出センサ３０５を備える。第１演算処理手段を構成するＡＦ制御部３０４は、焦点状態検出センサ３０５の検出情報を取得して焦点調節に用いる測定点での焦点ずれ量を演算する。焦点状態検出センサ３０５は、図５に示すように、複数の検出位置に対応するラインセンサで構成される。図示の例では、撮像画面上での６１個の検出位置に対応する複数のラインセンサが設けられており、サブミラー２０４を介した入射光を電気信号に変換し、像信号をＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、焦点状態検出センサ３０５が出力する像信号に基づいて、各ラインセンサに対応する測定点での焦点ずれ量、つまりデフォーカス量を計算し、焦点調節に用いる測定点を１つ選択する。そして、ＡＦ制御部３０４は、各測定点でのデフォーカス量をデータとして持つデフォーカスマップと、選択した測定点の位置情報をシステム制御部３０６に出力する。システム制御部３０６は、選択された測定点の位置情報およびデフォーカスマップのデータに基づいて焦点調節制御を行い、不図示の駆動部を介して可動の光学部材であるフォーカスレンズ２１３を駆動制御する。なお、焦点調節制御では、選択された測定点でのデフォーカス量に対応したフォーカスレンズ２１３の駆動量が算出される。あるいは、光学部材の駆動に伴って撮像素子等の位置制御を行う形態等でもよく、本発明の実施上、制御形態の如何は問わない。

自動露出演算および被写体追尾を行うＡＥ装置２０８は、ＡＥ制御部３０２および測光センサ３０３を備える。測光センサ３０３は、被写体の色情報を含む測光画像データを検出する。第２演算処理手段を構成するＡＥ制御部３０２は、測光センサ３０３が検出した測光画像データを取得して被写体の追尾用領域を決定して追尾処理の演算を行う。ＡＥ制御部３０２は、撮像画面に対応する測光画像データに対して追尾用領域内の画像との相関演算により追尾対象位置を設定する。連写撮影の場合、連続して取得される撮像信号に対応する測光画像データに対して、追尾用領域内の画像との相関演算が行われる。また、ＡＥ制御部３０２は、測光センサ３０３の測光画像データに基づいて自動露出演算を行い、演算結果をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２からの自動露出演算結果に基づいて、絞りシャッタ２１４の絞りを制御し、カメラ本体部２０１内の入射光量を調節する。さらに、自動露出演算結果に基づいて、レリーズ操作時にフォーカルプレーンシャッタ２１０の制御が行われ、撮像素子２１１の露光時間が調節される。また、ＳＷ１保持状態および連写撮影中において、ＡＥ制御部３０２は測光センサ３０３から取得した測光画像データを用いて被写体追尾処理を行い、追尾対象となる被写体の位置データをシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された追尾対象の位置データをＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、システム制御部３０６から出力された追尾対象の位置の近傍にある複数の測定点についてデフォーカス量をそれぞれ計算し、計算結果を予め設定された閾値と比較する。比較結果に応じて、ＡＦ制御部３０４は、システム制御部３０６に出力する測定点の位置データを、追尾対象位置の近傍にある何れかの測定点の位置データに再設定する。

システム制御部３０６は、操作部３０１の出力信号に基づいてメインミラー２０３、サブミラー２０４、およびフォーカルプレーンシャッタ２１０を制御する。システム制御部３０６は、操作部３０１の出力信号がＳＷ２信号である場合、メインミラー２０３およびサブミラー２０４のアップ動作制御を行って撮影光路上から退避させ、フォーカルプレーンシャッタ２１０を制御して撮像素子２１１へ光を照射させる。そして、シャッタ制御が終了すると、システム制御部３０６はメインミラー２０３およびサブミラー２０４のダウン動作制御を行う。

撮像素子２１１は撮影レンズ２０２を通して入射する被写体からの光を電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６は撮像素子２１１から取得した画像データに従ってディスプレイユニット２１２の画面上に画像を表示させるとともに、画像記憶装置３０７へ画像データを書き込む制御を行う。

次に、本実施形態における撮像装置の動作について、図３から図５を参照して説明する。撮像装置では、３つの制御演算部、つまりシステム制御部３０６、ＡＥ制御部３０２、ＡＦ制御部３０４のそれぞれが並列的に動作する。図３および図４は各制御部の動作シーケンスを説明する図である、これらの図は、処理手順やモジュール間の並列性を図解したものであり、各処理ブロックの大きさと処理時間との間に関連性はない。時間の経過方向は図３および図４の上から下に向かう方向とする。また、図５は撮像画面上の測定点群の配置と選択の様子を模式的に示した説明図である。図５（Ａ）は第Ｎ−１コマ目の画像６０１を示し、図５（Ｂ）は第Ｎコマ目の画像６０２を示す（Ｎは自然数変数とする）。

図３はＳＷ１保持状態における各制御部の動作シーケンスを例示する。
Ｓ４０１でユーザはレリーズボタンを操作し、操作部３０１はシステム制御部３０６へＳＷ１信号を出力する。ＳＷ１信号の入力を受け付けたシステム制御部３０６はＡＦ制御部３０４へＡＦ開始信号ＤＯ１を出力し、ＡＦ制御部３０４が動作を開始する。Ｓ４０２でシステム制御部３０６は、ＡＥ制御部３０２およびＡＦ制御部３０４から出力されるデータに基づいて焦点調節動作を制御する。Ｓ４０３でＡＦ制御部３０４は、焦点状態検出センサ３０５の電荷蓄積を行い、Ｓ４０４で焦点状態検出センサ３０５から像信号を読み出す。Ｓ４０５でＡＦ制御部３０４は、読み出した像信号に基づいて、ユーザが任意に選択した測定点について焦点検出演算を行い、デフォーカス量を算出する。この時、デフォーカス量を計算した測定点に対しては、対応するデフォーカスマップのデータを更新する処理が行われる。焦点検出演算の結果、ユーザが選択した測定点でデフォーカス量を計算できなかった場合には、全ての測定点に対してデフォーカス量が計算され、デフォーカスマップのデータが更新される。その後、近優先により、前記測定点の近傍に位置する測定点が選択される。ＡＦ制御用に選択された測定点（以下、選択測定点という）の位置情報およびデフォーカスマップのデータはデータＤＯ２としてシステム制御部３０６に出力される。システム制御部３０６はデータＤＯ２を取得してデフォーカスマップのデータおよび選択測定点の位置情報に基づいて焦点調節動作を制御する。焦点調節動作が完了すると、システム制御部３０６はＡＦ開始信号ＤＯ３をＡＦ制御部３０４に出力し、ＡＥ開始信号ＤＯ４をＡＥ制御部３０２に出力する。

Ｓ４０６では、ＡＥ開始信号ＤＯ４を受信したＡＥ制御部３０２が測光センサ３０３の電荷蓄積を行い、輝度信号および色差信号から画像データを生成する。測光センサ３０３の蓄積動作と焦点状態検出センサ３０５の蓄積動作は同時に開始されるため、それぞれのセンサから得られる像信号は同じシーンを撮像した信号となる。Ｓ４０７でＡＥ制御部３０２は、測光センサ３０３から信号を読み出し、測光画像データを取得する。Ｓ４０８でＡＥ制御部３０２は被写体追尾処理を行い、追尾対象の検出位置を示す追尾対象位置データＤＯ５をシステム制御部３０６に出力する。追尾テンプレート生成処理（Ｓ４１３参照）で生成されたテンプレート画像を追尾対象とし、Ｓ４０７で取得した画像データに対してテンプレートマッチングを行うことで、追尾対象の位置が検出される。処理の詳細については後述する。Ｓ４０９でＡＥ制御部３０２は、Ｓ４０７で取得した画像データに基づいて露出演算を行い、演算結果をデータＤＯ８としてシステム制御部３０６に出力する。

一方、システム制御部３０６からＡＦ開始信号ＤＯ３を受け取ったＡＦ制御部３０４は、焦点状態検出センサ３０５の蓄積（１セット目のＳ４０３参照）と信号読み出し（Ｓ４０４参照）を行い、Ｓ４１０に処理を進める。Ｓ４１０では、Ｓ４０５と同様の処理により焦点検出演算が行われる。但し、デフォーカス量の計算対象は、図５（Ｂ）に示すように、直前のコマで選択した測定点Ｐａ０と、その上下左右にそれぞれ位置する測定点Ｐａ１，Ｐａ２，Ｐａ３，Ｐａ４の合計５点である。図５（Ｂ）は、測定点Ｐａ０と、これに隣接する測定点Ｐａ１からＰａ４の位置関係を示す。測定点Ｐａ０からＰａ４のうち、中央に位置する測定点Ｐａ０のデフォーカス量が閾値以下である場合、測定点Ｐａ０が選択測定点となる。測定点Ｐａ０のデフォーカス量が閾値を超える場合には、測定点Ｐａ１からＰａ４のうちで最もデフォーカス量の小さい測定点が選択測定点となる。

Ｓ４１１でＡＦ制御部３０４は、システム制御部３０６から追尾対象位置データＤＯ６を受け取り、追尾対象位置に最も近い測定点Ｐｂ０とその上下左右の測定点Ｐｂ１，Ｐｂ２，Ｐｂ３，Ｐｂ４を特定する。図５（Ｂ）は、測定点Ｐｂ０と、これに隣接する測定点Ｐｂ１からＰｂ４の位置関係を示す。ＡＦ制御部３０４は各測定点でのデフォーカス量を計算し、測定点Ｐｂ０からＰｂ４のうちで最もデフォーカス量の小さい測定点を１つ選択する。選択された測定点のデフォーカス量が閾値以下である場合、ＡＦ制御部３０４は、この測定点を、Ｓ４１０で選択した測定点と置き換えることで新たな選択測定点とする。また、選択された測定点のデフォーカス量が閾値を超える場合には、Ｓ４１０で選択した測定点がそのまま選択測定点となる。このように測定点Ｐｂ０の周辺の測定点Ｐｂ１からＰｂ４についても選択対象とされる。これにより、追尾対象位置に最も近い測定点Ｐｂ０にてコントラストが低く、デフォーカス量を計算できない場合であっても、測定点Ｐｂ０の周辺の測定点を選択して主被写体の焦点検出を行うことが可能となる。

図５の撮影例では、図５（Ｂ）に示す第Ｎコマ目の画像６０２にて、被写体の追尾結果が位置Ｐｂ０であり、測定点の再選択が行われた結果、測定点Ｐｂ１が選択される。測定点Ｐｂ１が選択される理由は、測定点Ｐｂ０，Ｐｂ２ではコントラストが低いためデフォーカス量を計算できず、また、測定点Ｐｂ３は背景画像上にあるためデフォーカス量が大きくなるからであり、これらの測定点は選択から除外される。残る測定点Ｐｂ１，Ｐｂ４のうち、測定点Ｐｂ１は被写体の顔および胴体の画像部分と、背景の画像部分を測定領域内に含む。測定点Ｐｂ４は被写体の胴体の画像部分と、背景の画像部分を測定領域内に含んでいる。したがって、ほぼ同等のデフォーカス量を持つ顔と胴体の画像部分でコントラストが得られる測定点Ｐｂ１の方が、測定点Ｐｂ４よりもデフォーカス量が小さくなる。よって、再選択により測定点Ｐｂ１が選択測定点となる。なお、図５（Ｂ）において被写体追尾結果が測定点Ｐｂ０の位置となっている理由については、後述するＡＥ制御部３０２の被写体追尾処理Ｓ４０８および追尾テンプレート生成処理Ｓ４１３にて説明する。

測定点の再選択結果に応じて所定のフラグ（以下、測定点再選択フラグという）の値が設定される。図５の撮影例において、測定点Ｐａ０からＰａ４のいずれかが選択測定点となった場合、測定点再選択フラグはＦＡＬＳＥ（偽値）に設定される。また測定点Ｐｂ０からＰｂ４のいずれかが選択測定点となった場合、測定点再選択フラグはＴＲＵＥ（真値）に設定される。このフラグ値は、後述するＳ４１３の追尾テンプレート生成処理で用いる。

Ｓ４１１の処理の終わりでＡＦ制御部３０４は選択測定点、デフォーカスマップ、測定点再選択フラグの各情報を含むデータＤＯ７をシステム制御部３０６に出力する。システム制御部３０６はデータＤＯ７における、選択測定点およびデフォーカスマップの各情報に基づいて焦点調節動作を制御する。Ｓ４１１の後でＳ４１２に処理を進め、ＡＦ制御部は６１個の全測定点についてデフォーカス量を計算し、デフォーカスマップのデータを更新する。更新されたデフォーカスマップは、データＤＯ９としてシステム制御部３０６に出力される。システム制御部３０６は、データＤＯ７に含まれる選択測定点を示す情報および測定点再選択フラグと、データＤＯ９に含まれるデフォーカスマップデータの各情報を、データＤ１０としてＡＥ制御部３０２に出力する。Ｓ４１３でＡＥ制御部３０２は、データＤ１０に基づいて追尾テンプレート生成処理を行う。この処理の詳細については後述する。なお、図３には、第１セット目の処理が終了してから第２セット目の処理が同様に実行される様子を示す。

次に、図４を参照して連写撮影中の動作について説明する。図４は、連写撮影中における各制御部の動作シーケンスを例示する。図３と同様の処理については既に使用した符号および記号を用いることにより、それらの詳細な説明を省略し、主として相違点を説明する。
Ｓ５０１でユーザがレリーズボタンを操作し、操作部３０１はシステム制御部３０６へＳＷ２信号を出力する。システム制御部３０６はメインミラー２０３およびサブミラー２０４を駆動制御し、ミラーアップ動作制御を開始させる。また、システム制御部３０６はＡＦ制御部３０４にレリーズ開始信号Ｄ１１を出力し、ＡＥ制御部３０２にレリーズ開始信号Ｄ１２を出力する。レリーズ開始信号Ｄ１１，Ｄ１２をそれぞれ受信したＡＦ制御部３０４およびＡＥ制御部３０２は、その時点で行っていた処理を中断する。
Ｓ５０２ではメインミラー２０３およびサブミラー２０４が駆動され、ミラーアップ動作が行われる。また、システム制御部３０６は、測定点再選択フラグの情報を含む焦点検出データＤＯ７および露出演算データＤＯ８に基づいて、焦点調節動作の制御および露出制御を行う。Ｓ５０３でシステム制御部３０６は、撮像素子２１１の露光処理により撮像動作を制御する。撮像動作が完了すると、システム制御部３０６は撮像素子２１１から画像データを取得して画像記憶装置３０７に書き込む制御を行う。Ｓ５０４でシステム制御部３０６は、メインミラー２０３およびサブミラー２０４を駆動してミラーダウン動作を制御する。連写撮影中、すなわちＳＷ２保持状態において、システム制御部３０６はＳ４０２およびＳ５０２からＳ５０４の処理を繰り返す。

次に、図３および図４に示すＳ４０８およびＳ４１３の被写体追尾に関連する処理について図１、図６ないし図９を参照して説明する。
まず、追尾テンプレート生成処理Ｓ４１３について図１（Ａ）および図６を用いて説明する。図１（Ａ）は追尾テンプレート生成処理の手順を例示したフローチャートであり、Ｓ１０１ないしＳ１０９の処理はＡＥ制御部３０２が行う。
Ｓ１０１では、選択測定点の位置情報、デフォーカスマップのデータ、測定点再選択フラグの情報を含むデータＤ１０に基づいて、Ｓ４０７で取得した画像データからテンプレートとして抽出する領域が決定される。これは被写体の追尾用領域であり、以下、「テンプレート領域」という。ここで、測定点再選択フラグがＦＡＬＳＥ（偽値）の場合、直前の被写体追尾処理Ｓ４０８で検出した追尾対象位置を中心とする一定領域がテンプレート領域に設定される。一方、測定点再選択フラグがＴＲＵＥ（真値）の場合には、再選択後の選択測定点の位置を中心とする一定領域がテンプレート領域に設定される。この時点で設定された領域（第１追尾用領域）は、最終的に決定される追尾用領域の候補であることに注意を要する。

図６（Ａ）は選択測定点Ｐｔ０を中心とする一定領域を例示した図であり、主被写体となる人物の胴体の画像部分に選択測定点Ｐｔ０が存在する例を示す。領域Ａ０は選択測定点Ｐｔ０の位置を中心とするテンプレート領域を例示する。なお、測定点再選択フラグの値に応じてテンプレート領域を変更する理由は、被写体追尾処理の結果により測定点が選択測定点として採用されていない場合、追尾用に不適切なテンプレート領域が設定されないようにするためである。

図１（Ａ）のＳ１０２では、撮影した画像について、テンプレート領域内の画素の色分布が計算され、追尾対象の特徴色が検出される。特徴色の検出処理は以下の通りである。
・図９のようにＲ（赤）Ｇ（緑）Ｂ（青）のカラー信号について、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さを０から７の８段階に分割したＲＧＢヒストグラム空間を用意するステップ。
図９に例示するＲＧＢヒストグラム空間は、８×８×８＝５１２個のブロックを有する。
・テンプレート領域内の各画素の色信号をＲＧＢの色データに変換し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さに基づいて、ＲＧＢヒストグラム空間の各ブロックに画素を分類するステップ。
テンプレート領域内の全ての画素について上記の分類が行われた後、５１２個のブロックのうちで最も度数の多いブロックが決定される。このブロックに対応する色が、追尾対象の特徴色として選択される。

Ｓ１０３では、テンプレート領域内の画像のコントラストが検出される。コントラスト検出については、Ｓ１０２で求めた各画素のＲ信号、Ｇ信号、Ｂ信号に対してエッジ検出を行うことで判別できる。検出されたコントラスト値は閾値と比較され、テンプレート領域内に、閾値を超える高コントラスト部分が存在すると判定された場合、Ｓ１０４に処理を進める。図６（Ａ）の例では、テンプレート領域内において主被写体となる人物と背景との境界が存在するため、コントラストが高いと判定される。また、コントラスト値が閾値以下の場合、テンプレート領域内に高コントラスト部分が存在しないと判定され、Ｓ１０８の処理へ進む。なお、本実施形態におけるコントラストの検出方法については、前記の処理に限定されない。例えば、ＡＥ制御部３０２はＳ１０２で作成したＲＧＢヒストグラム空間から、テンプレート領域内の色の分布状態を解析してコントラストを検出してもよい。

Ｓ１０４では、図６（Ｂ）に示す選択測定点Ｐｔ０と、その上下左右に隣接して位置する測定点Ｐｔ１，Ｐｔ２，Ｐｔ３，Ｐｔ４について、デフォーカス量の比較処理が行われる。測定点Ｐｔ１からＰｔ４のうちで、測定点Ｐｔ０でのデフォーカス量との差が閾値以下の測定点を抽出する処理が実行される。図６（Ｂ）は各測定点の位置関係を例示する。この例では測定点Ｐｔ１，Ｐｔ２，Ｐｔ３が主被写体の画像上に存在するため、これらの測定点では選択測定点Ｐｔ０とのデフォーカス量の差は閾値以下となる。一方、測定点Ｐｔ４は背景画像上に存在するため、選択測定点Ｐｔ０でのデフォーカス量との差は閾値より大きくなる。従って、測定点Ｐｔ１，Ｐｔ２，Ｐｔ３が候補として抽出されることになる。

Ｓ１０５では、Ｓ１０４で抽出した各測定点の領域に対して、Ｓ１０２と同様の特徴色検出が行われる。図６（Ｂ）の例では、測定点Ｐｔ１，Ｐｔ２，Ｐｔ３をそれぞれ中心とする各領域に対して特徴色が検出される。その際、特徴色検出に用いるＲＧＢヒストグラム空間については、それぞれ別々の独立した空間が用いられる。Ｓ１０６では、Ｓ１０２で作成したＲＧＢヒストグラム空間において、少なくとも１以上の度数を持つブロックに、Ｓ１０５で作成した全てのＲＧＢヒストグラム空間中での対応するブロックの度数がそれぞれに加算される。そして、加算の結果、最も度数の高い色が追尾対象の特徴色として設定される。図６（Ｂ）では、特徴色検出に用いた測定点Ｐｔ０，Ｐｔ１，Ｐｔ２，Ｐｔ３をそれぞれ中心とする各領域の合計面積に応じて特徴色７０１が設定される。つまり、これらの領域については、人物の胴体の画像部分に位置する領域の合計面積が最も大きくなるため、人物の胴体の色が特徴色７０１となる。この処理により、選択測定点での色と同色の画像部分を含み、かつ選択測定点でのデフォーカス量との差が閾値以下である領域のみで特徴色検出を行うことができる。よって、選択測定点を中心とする領域内に背景色の画像部分が含まれる場合でも、精度良く主被写体の特徴色を検出できる。

Ｓ１０７では、Ｓ１０４で抽出した測定点の各領域のうち、最も特徴色を多く含む画像部分の領域が、新たなテンプレート領域として再設定される。図６（Ｂ）の例では、測定点Ｐｔ０，Ｐｔ１，Ｐｔ２，Ｐｔ３をそれぞれ含む、複数の領域（第２追尾用領域）のうち、特徴色７０１の画像部分を最も広く含む領域は、測定点Ｐｔ３の領域である。つまり、第２追尾用領域内の画像データに係る特徴色と、Ｓ１０２で検出した第１追尾用領域内の画像データに係る特徴色とが同色である画像部分の面積が算出される。算出された面積がＳ１０１で設定した第１追尾用領域内の画像データにて特徴色をもつ画像部分の面積に比べて大きいという条件を満たす場合、最大面積の画像部分を含む第２追尾用領域が最終的な追尾用領域として設定される。よって、図７（Ａ）に例示するように、測定点Ｐｔ３を含む領域が新たなテンプレート領域Ａ３として設定される。このように、追尾対象のコントラストが高く、かつテンプレート領域内に複数の色をもつ部分が存在する場合でも、周囲のコントラストの低い領域を探索してテンプレートとして採用することができる。その結果、被写体追尾処理の際、追尾対象と他の被写体とが判別し易くなる。

Ｓ１０８では、Ｓ１０１またはＳ１０７で設定されたテンプレート領域内の画像を入力画像から切り出す処理が行われ、テンプレート領域内の抽出画像のデータが作成される。図７（Ａ）では、図６（Ｂ）の測定点Ｐｔ３を含むテンプレート領域Ａ３にて、抽出画像７０２が得られる（図７（Ａ）の右下部参照）。次にＳ１０９では、抽出画像７０２に対して、特徴色の画像部分を高輝度に変換し、特徴色とは異なる色の画像部分を低輝度に変換する処理が行われ、輝度画像データが生成される。図７（Ｂ）は色変換処理を例示する。抽出画像７０２に対して、特徴色７０１の画像部分が高輝度に変換され、特徴色７０１でない画像部分が低輝度に変換されるので、追尾対象となる画像部分を強調したテンプレート画像７０３が生成される。図３および図４に示すＳ４０８の被写体追尾処理では、Ｓ１０９で生成したテンプレート画像７０３を用いてテンプレートマッチングが実行される。これにより、追尾対象の特徴色を強調した状態で輝度情報に反映させた輝度画像データによるテンプレートマッチングが行えるため、単にカラー画像によるテンプレートマッチングを行う場合に比べて演算負荷を軽減できる。

次に、図３および図４のＳ４０８の被写体追尾処理について図１（Ｂ）および図８を用いて説明する。図１（Ｂ）は被写体追尾処理を説明するフローチャートであり、Ｓ１２１およびＳ１２２の処理はＡＥ制御部３０２が行う。図８は入力画像８０１の色変換処理例を説明する図である。
Ｓ１２１では、測光センサ３０３から取得したカラー画像データに対して、以前のコマの追尾テンプレート生成処理Ｓ４１３で選択された特徴色７０１をもつ画像部分を高輝度に変換し、それ以外の色の画像部分を低輝度に変換する処理が行われる。これにより、図８に示す入力画像８０１から、テンプレートマッチング用の色変換画像８０２が生成される。Ｓ１２２では、現時点よりも前のコマの追尾テンプレート生成処理Ｓ４１３で作成したテンプレート画像７０３を用いてテンプレートマッチングが行われ、相関の高い色変換画像８０２の中で、テンプレート画像７０３と最も相関度の高い領域が検出される。図８の例では、最も相関度の高い領域が追尾対象位置８０３として設定される。ＡＥ制御部３０２は追尾対象位置８０３の情報を、図３および図４のデータＤＯ５としてシステム制御部３０６に出力する。システム制御部３０６は追尾対象位置８０３の情報を、データＤＯ６としてＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、図３および図４に示す測定点の再選択処理Ｓ４１１において、データＤＯ６の示す追尾対象位置に最も近い測定点を、追尾対象の画像上の測定点として設定する。図５（Ｂ）に示す測定点Ｐｂ０は追尾対象位置８０３に最も近い測定点であり、測定点Ｐａ０は、直前の第Ｎ−１コマでの選択測定点である。

図１（Ｂ）のＳ１２１で説明した色変換を施した画像データを用いてテンプレートマッチング処理を行うことにより、追尾対象の特徴色の情報を反映させた輝度画像を用いて被写体追尾処理を実行できる。このため、単にカラー画像によるテンプレートマッチングを行う場合に比べて演算負荷を小さくすることができる。
本実施形態では、テンプレートマッチングによる被写体追尾処理において、追尾対象の特徴色をより多く含む領域がテンプレート画像に設定されるので、追尾対象とそれ以外の物体との判別が容易になる。また、追尾用領域内の画像のコントラストが高い場合、追尾対象の画像部分をより多く含む領域での焦点検出情報を利用することで、誤った追尾動作を防止できるとともに、合焦制御の精度を高めることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２１３フォーカスレンズ
３０２ＡＥ制御部
３０３測光センサ
３０４ＡＦ制御部
３０５焦点状態検出センサ
３０６システム制御部

Claims

撮像画面上に設定した複数の測定点を用いて焦点状態検出を行う焦点状態検出手段と、被写体の色情報を含む測光画像データを検出する測光手段と、焦点調節に用いる光学部材を有する撮像装置であって、
前記焦点状態検出手段の検出情報を取得して焦点調節に用いる前記測定点の選択および前記測定点での焦点ずれ量の演算を行う第１演算処理手段と、
前記測光手段が検出した前記測光画像データを取得して被写体の追尾用領域を決定して追尾処理の演算を行う第２演算処理手段と、
前記第１演算処理手段の演算結果を取得して前記光学部材を駆動して焦点調節動作を制御する制御手段を備え、
前記第２演算処理手段は、前記第１演算処理手段により選択された前記測定点の位置を含む第１追尾用領域内の画像データを前記測光画像データから抽出し、前記第１追尾用領域内の画像のコントラスト値が閾値を超える場合、選択された前記測定点に隣接する測定点の位置を含む第２追尾用領域内に、前記被写体の追尾対象位置を設定して追尾処理の演算を行い、
前記第１演算処理手段は、前記第２演算処理手段が設定した前記追尾対象位置から前記測定点を再選択して当該測定点の位置情報および焦点ずれ量を前記制御手段に出力することを特徴とする撮像装置。
前記第２演算処理手段は、前記第１追尾用領域内の画像のコントラスト値が閾値以下である場合、前記測光画像データに対して前記第１追尾用領域内の画像との相関演算を行って前記被写体の追尾対象位置を設定して被写体追尾処理を行うことを特徴とする請求項１に記載の撮像装置。
前記第２演算処理手段は、連続して取得される撮像信号に係る前記測光画像データに対して前記相関演算を行って前記追尾対象位置を設定し、
前記第１演算処理手段は、前記複数の測定点のうちで前記第２演算処理手段が設定した追尾対象位置に近い測定点および該測定点に隣接して位置する測定点から測定点を再選択することを特徴とする請求項２に記載の撮像装置。
前記第２演算処理手段は、
前記第１追尾用領域内の画像の特徴色を検出し、
前記第１追尾用領域内の画像のコントラスト値が閾値を超える場合、前記第１演算処理手段により選択された前記測定点に隣接して位置する複数の測定点の位置をそれぞれ含む複数の前記第２追尾用領域を特定し、
前記複数の第２追尾用領域のうち、該第２追尾用領域内の画像の特徴色が前記第１追尾用領域内の画像の特徴色と同色である画像部分の面積を算出し、
算出された前記画像部分の面積が、前記第１追尾用領域内で前記特徴色をもつ画像部分の面積に比べて大きいと判定した前記第２追尾用領域を追尾用領域として設定することを特徴とする請求項３に記載の撮像装置。
前記第２演算処理手段は、前記第１追尾用領域内の画像のコントラスト値が閾値を超える場合、前記第１演算処理手段により選択された前記測定点での焦点ずれ量と、当該測定点に隣接して位置する複数の測定点での焦点ずれ量との差を算出し、当該焦点ずれ量の差が閾値以下である測定点の位置を含む前記第２追尾用領域を特定することを特徴とする請求項４に記載の撮像装置。
前記第２演算処理手段は、前記第１追尾用領域内の画像データまたは前記第２追尾用領域内の画像データに対し、前記特徴色の画像部分を高輝度に変換し、前記特徴色とは異なる色の画像部分を低輝度に変換する処理を行うことにより、追尾対象となる画像部分を強調した画像データを生成して被写体追尾処理を行うことを特徴とする請求項５に記載の撮像装置。
撮像画面上に設定した複数の測定点を用いて焦点状態検出を行う焦点状態検出手段と、被写体の色情報を含む測光画像データを検出する測光手段と、焦点調節に用いる光学部材を有する撮像装置にて実行される制御方法であって、
前記焦点状態検出手段の検出情報を取得して焦点調節に用いる前記測定点を選択して当該測定点での焦点ずれ量を演算するステップと、
選択された前記測定点の位置を含む第１追尾用領域内の画像データを前記測光画像データから抽出するステップと、
決定された前記第１追尾用領域内の画像のコントラスト値を閾値と比較する比較ステップと、
前記比較ステップにて前記第１追尾用領域内の画像のコントラスト値が閾値を超える場合、前記選択された測定点に隣接する測定点を含む第２追尾用領域内に、前記被写体の追尾対象位置を設定して追尾処理の演算を行うステップと、
設定された前記追尾対象位置から前記測定点を再選択して焦点ずれ量を算出し、前記光学部材を駆動して焦点調節動作を制御するステップを有することを特徴とする撮像装置の制御方法。