JP2018022128A - 焦点調節装置および方法、および撮像装置 - Google Patents

Abstract

【課題】 撮像画像から得られる画像特徴に基づく信頼度を用いて、予測困難な不規則な被写体の移動に対して追尾可能な状態をより多く実現すること。【解決手段】 画像信号に基づいて、複数の焦点検出領域の焦点状態を検出する焦点検出手段と、画像信号から、追尾する被写体の第１の領域、像面位置および信頼度を検出する追尾手段と、像面位置の履歴に基づいて、撮影時点の像面位置を予測し、予め決められた一部の焦点検出領域から、予測した像面位置の予測焦点状態に近い第２の領域を選択する予測手段と、第１の領域の焦点状態と予測焦点状態との差が大きく、第２の領域の焦点状態と予測焦点状態との差が小さい場合、信頼度が高い状態が予め決められた時間以上、継続していれば第１の領域を選択し、継続していなければ第２の領域を選択する選択手段と、前記選択した領域に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出手段と、を有する。【選択図】 図８

Description

本発明は焦点調節装置および方法、および焦点調節装置を備えた撮像装置に関し、特に被写体追尾により焦点調節を行う焦点調節装置および方法、および焦点調節装置を備えた撮像装置に関する。

近年、移動している被写体を高精度に追尾するための焦点調節装置が多く提案されている。光軸方向の被写体の移動を高精度に追尾するための一つの方式として、移動している被写体の将来の像面位置を予測することで追尾性能を向上させる焦点調節装置が特許文献１に開示されている。特許文献１では、過去複数回の焦点検出結果を記憶しておき、将来の被写体の像面位置の変化を予測するのに最も適した関数を選択する。

また、撮影画像の画像特徴を基に行う追尾位置と、過去の焦点検出結果の予測から得られる追尾位置と、任意の指定位置（開始検出点）とから、所定条件を満たす追尾位置を選択する方式が特許文献２に開示されている。

特開２００１−２１７９４号公報 特開２０１２−２０８５０７号公報

しかしながら、特許文献１では、これまでの検出結果から予測できないような動きを行うと、追尾に失敗する場合がある。一方、特許文献２では、予測できないような動きに対して、ユーザが撮影開始時に指定した位置を優先している。しかし、ユーザが画面の所定位置で追尾したい被写体を捉え続ける必要があるため、カメラの操作に慣れていないユーザには扱いが難しい。

本発明は上記問題点を鑑みてなされたものであり、撮像画像から得られる画像特徴に基づく信頼度を用いて、予測困難な不規則な被写体の移動に対して追尾可能な状態をより多く実現することを目的とする。また、追尾している被写体の領域をユーザに分かりやすく知らせることを更なる目的とする。

上記目的を達成するために、本発明の焦点調節装置は、入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号に基づいて、予め決められた複数の焦点検出領域の焦点状態を検出する焦点検出手段と、前記画像信号から、追尾する被写体の第１の領域、および当該第１の領域の像面位置および信頼度を検出する追尾手段と、前記追尾手段により検出された像面位置の履歴に基づいて、前記画像信号の撮影時点の像面位置を予測し、前記複数の焦点検出領域のうちの予め決められた一部の焦点検出領域から、前記予測した像面位置の予測焦点状態に近い第２の領域を選択する予測手段と、前記第１の領域の焦点状態と、前記予測焦点状態との差が予め決められた第１の範囲外にあり、前記第２の領域の焦点状態と、前記予測焦点状態との差が予め決められた第２の範囲内にある場合、前記信頼度が予め決められた第１の閾値よりも高い状態が予め決められた時間以上、継続している場合に、前記第１の領域の位置を主追尾位置として選択し、継続していない場合に、前記第２の領域の位置を前記主追尾位置として選択する選択手段と、前記主追尾位置に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出手段と、を有し、前記予測手段は、更に、予め決められた将来の時点での前記主追尾位置に対応する焦点検出領域に含まれる被写体の像面位置を予測し、前記算出手段は、前記予測された将来の時点での像面位置に焦点を合わせるように前記駆動量を算出する。

本発明によれば、撮像画像から得られる画像特徴に基づく信頼度を用いて、予測困難な不規則な被写体の移動に対して追尾可能な状態をより多く実現することができる。また、追尾している被写体の領域をユーザに分かりやすく知らせることができる。

本発明の実施形態における撮像装置の断面図と、撮像装置の機能構成を示すブロック図。 実施形態における撮像素子の構造を示す図。 実施形態における画素構造と瞳分割の概略説明図。 実施形態における焦点調節および撮像処理のフローチャート。 実施形態における焦点検出処理のフローチャート。 実施形態における被写体追尾処理のフローチャート。 実施形態におけるテンプレートマッチングの例を示す図。 実施形態における主追尾位置判別処理のフローチャート。 実施形態における撮影前予測処理のフローチャート。 実施形態における表示枠の表示例を示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

●全体構成
図１は、本発明の実施形態における撮像装置の全体構成を示す図であり、図１（ａ）は撮像装置の断面図、図１（ｂ）は機能構成を示すブロック図である。一般的にカメラには、ある時刻における被写体の像面に対してレンズを駆動するモード（ワンショット撮影モード）と、将来の被写体の像面を予測しながらレンズを駆動するモード（サーボ撮影モード）の２種類がある。本実施形態では、撮像装置がサーボ撮影モードに設定されたときの動きについて説明する。

本実施形態では、撮像装置として、ファインダ１０４および撮像素子１０３を有するカメラ本体１００と、撮影光学系を有する撮影レンズ１２０とを組み合わせて使用するレンズ交換式のデジタルスチルカメラについて説明する。しかしながら、本発明はレンズ交換式のデジタルスチルカメラに限るものではなく、画像信号に基づいて焦点調節を行うことのできる様々な光学機器に応用することが可能である。

カメラ本体１００は、撮像素子１０３、ファインダ１０４、表示器１０５、ＣＰＵ１１０、撮像素子制御回路１０２、メモリ回路１０１、インターフェース回路１０６、画像処理回路１０７、電気接点１０８、クイックリターンミラー１０９を備えている。

撮像素子１０３は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ、ＣＣＤ(Charge Coupled Device)イメージセンサ等により形成され、カメラ本体１００の撮影レンズ１２０の予定結像面に配置されている。なお、撮像素子１０３は、本実施形態ではＣＭＯＳイメージセンサであるものとして説明する。

ここで、図２を参照して、本実施形態における撮像素子１０３の画素構造について説明する。図２は、撮像素子１０３の画素構造を示す図であり、図２（ａ）は撮像素子１０３の画素配列の平面図、図２（ｂ）は画素２１０Ｇの断面図を示している。

図２（ａ）は、撮像素子１０３の画素配列を、４行×４列の画素範囲で示している。画素群２１０は２行×２列のベイヤー配列の画素からなり、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。また、画素２１０Ｒ、２１０Ｇ、２１０Ｂは、それぞれ、瞳分割用の２つの光電変換部２０１ａ、２０１ｂを有する。光電変換部２０１ａは、撮影レンズ１２０の射出瞳の第１瞳領域を通過した光束を受光して光電変換する。また、光電変換部２０１ｂは、第１瞳領域と異なる第２瞳領域を通過した光束を受光して光電変換する。上記構成を有する各画素は、撮像用画素および焦点検出用画素として機能する。

また、図２（ｂ）に示すように、光電変換部２０１ａ、２０１ｂは、ｐ型層２００およびｎ型層から構成されるフォトダイオードにより構成される。マイクロレンズ２０２は、受光面からＺ方向に所定の距離だけ離れた位置に、カラーフィルタ２０３上に形成されている。

本実施形態では、撮像素子１０３の全ての画素２１０Ｒ、２１０Ｇ、２１０Ｂに、瞳分割用の光電変換部２０１ａ、２０１ｂが設けられている。２つの光電変換部２０１ａ、２０１ｂは、マイクロレンズ２０２の光軸に対し、＋Ｘ方向および−Ｘ方向にそれぞれ偏心しているため、１つのマイクロレンズ２０２を用いて瞳分割を行うことが可能である。そのため、光電変換部２０１ａ、２０１ｂを含む画素は、焦点検出用画素として用いられる。なお、ここでは、全画素を焦点検出用画素で構成した場合について説明するが、本発明はこれに限定されるものではなく、焦点検出用画素が全画素のうちの一部の画素にのみ設けられている構成であってもよい。また、図２（ａ）に示す例では、光電変換部２０１ａ、２０１ｂは、マイクロレンズ２０２の光軸に対し、Ｘ方向に偏心した配置となっているが、Ｙ方向に偏心した配置としても良いし、Ｘ方向およびＹ方向に偏心した画素が混在するようにしても良い。これにより、Ｘ方向の輝度分布を有する被写体だけでは無く、Ｙ方向に輝度分布を有する被写体にも対応した構成とすることができる。

続いて図３を参照して、撮像素子１０３の瞳分割機能について説明する。図３は、撮像素子１０３の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。なお、図３において図２（ｂ）と同じ構成には同じ参照番号を付している。

図３の上方には、射出瞳３０２、および、開口枠３０３（例えば、絞り枠やレンズ枠）がそれぞれ示されている。射出瞳３０２のうち、瞳領域３０２ａは光電変換部２０１ａに対応し、瞳領域３０２ｂは光電変換部２０１ｂに対応する。像信号Ａは、−Ｘ方向に偏心したｎ型層に対応する光電変換部２０１ａで取得される。また、像信号Ｂは、＋Ｘ方向に偏心したｎ型層に対応する光電変換部２０１ｂで取得される。

本実施形態において、像信号Ａは、図２（ａ）に示されるように、Ｘ方向に規則的に配列した複数の光電変換部２０１ａから得られた信号である。すなわち像信号Ａは、撮影光学系の射出瞳領域の一部を通過し、絞り値に応じて基線長が異なる対の光束から得られた像信号の一方である。また、像信号Ｂは、図２（ａ）に示されるように、Ｘ方向に規則的に配列した複数の光電変換部２０１ｂから得られた信号である。すなわち像信号Ｂは、撮影光学系の異なる射出瞳領域を通過し、絞り値に応じて基線長が異なる対の光束から得た像信号の他方である。

図１に戻り、クイックリターンミラー１０９は、撮像素子１０３への光路上にあるときには、撮影レンズ１２０からの撮影光束をファインダ１０４方向へ反射する。ファインダ１０４は、クイックリターンミラー１０９が反射する被写体像を操作者が観察可能にする。また、撮影時およびライブビューモード時には、クイックリターンミラー１０９は、光路から退避し、撮影レンズ１２０を介して入射した光束が撮像素子１０３へ到達可能な状態とする。なお、図示しないが、クイックリターンミラー１０９と撮像素子１０３との間には、シャッタが設けられており、撮影時およびライブビューモード時にシャッタ開状態となる。

撮像素子制御回路１０２は、ＣＰＵ１１０の指示に従い、撮像素子１０３を駆動制御する。メモリ回路１０１は、撮像素子１０３により撮像された画像を記憶すると共に、撮像素子１０３の受光分布を記憶する。画像処理回路１０７は、撮像素子１０３により撮影した画像信号を画像処理する。インターフェース回路１０６は、画像処理回路１０７により画像処理された画像をカメラ外部に出力するために用いられる。電気接点１０８は、撮影レンズ１２０の電気接点１２４と接触して、電力および各種信号の通信に用いられる。

表示器１０５は、ＬＣＤ(Liquid Crystal Display)パネル等により形成され、撮影画像の表示や撮影情報等の情報の表示を行う。また表示器１０５は、ライブビューモード時には、撮影予定の領域をリアルタイムで動画表示する。ここで、ライブビューモードとは、撮影レンズ１２０を介して入射し、撮像素子１０３に結像された被写体像を、プレビュー用に低画素数の動画像として読み出し、表示器１０５にリアルタイムで表示するモードである。このライブビューモード時には、後述する撮像面における位相差ＡＦを実行することができる。さらに、連写撮影中には各連写時の低画素数の静止画像を表示器１０５に表示する。

ＣＰＵ１１０は、カメラ全体を統括的に制御する制御部である。ＣＰＵ１１０は、位相差検出部１１１、被写体追尾部１１６、デフォーカス量換算部１１２、主追尾位置判別部１１５、記憶部１１３、焦点調節部１１４、予測部１１９、表示枠選択部１１７を備え、撮影レンズ１２０の焦点状態の算出と駆動指示を行う。

位相差検出部１１１は、撮像素子１０３から得た一対の像信号Ａと像信号Ｂの相対的な位相差を検出し、デフォーカス量換算部１１２は、位相差検出部１１１が検出した位相差を、換算係数を用いてデフォーカス量へ換算する。被写体追尾部１１６は、撮像素子１０３から得た画像信号の特徴に基づいて、追尾する被写体の領域（以下、「追尾領域」と呼ぶ。）および位置（以下、「追尾位置」と呼ぶ。）と、追尾の信頼度を算出する。主追尾位置判別部１１５は、複数の追尾位置の中から焦点調節部１１４で焦点を合わせるための主追尾位置（合焦エリア）を判別する。記憶部１１３は、撮影時刻（撮影時点）と、換算したデフォーカス量から算出した被写体像面位置とをメモリ回路１０１に記憶させる。

焦点調節部１１４は、換算したデフォーカス量に基づいて焦点位置を移動させるようにレンズＣＰＵ１２２に指示を行う。さらに焦点調節部１１４は、将来の像面位置を予測部１１９を用いて予測し、撮影レンズ１２０の焦点位置が予測した像面位置に来るために必要なレンズ駆動量を算出し、レンズＣＰＵ１２２に指示を行う。

表示枠選択部１１７は、撮像された低画素静止画像を表示器１０５に表示する際に、重畳して表示させる追尾中の被写体の領域を示す枠の位置を選択する。

撮影レンズ１２０は、カメラ本体１００に対して着脱可能な交換レンズである。撮影レンズ１２０は、フォーカスレンズを含むレンズ群等から成る撮影光学系、レンズＣＰＵ１２２、撮影レンズ駆動機構１２１、絞り駆動機構１２３、絞り１２５、電気接点１２４を備えている。

撮影レンズ駆動機構１２１は、撮像素子１０３の撮像面付近にある焦点位置を光軸方向に移動させるように複数のレンズ群を駆動することで、撮影する被写体の光学像を撮像素子１０３上に結像させる。レンズＣＰＵ１２２は、カメラ本体１００のＣＰＵ１１０から送られてくる焦点調節情報を電気接点１２４を介して受信し、その焦点調節情報に基づいて撮影レンズ駆動機構１２１を駆動する。

絞り駆動機構１２３は、絞り１２５を駆動する機構およびそのアクチュエータを有し、カメラＣＰＵ１１０の指示に従って絞り１２５を駆動する。

●撮像処理
続いて、図４を用いて、本実施形態におけるサーボ撮影モードにおける焦点調節および撮像処理の流れについて説明する。この処理は、撮影準備スイッチがオンされて撮影準備が指示されると開始される。なお、一般的なカメラでは撮影ボタンのスイッチが半押しの状態で、撮影準備スイッチがオンとなる。

処理が開始されると、Ｓ１０１において、焦点検出処理を行う。なお、焦点検出処理の詳細については、図５を用いて後述する。続いてＳ１０２で、被写体追尾部１１６による被写体追尾処理を行う。なお、被写体追尾処理の詳細については、図６を用いて後述する。次にＳ１０３で、主追尾位置判別処理を行う。なお、主追尾位置判別処理の詳細については、図８を用いて後述する。

Ｓ１０４では、撮影前予測処理を行う。撮影前予測処理では、後述するように撮影開始スイッチがオン状態であれば、Ｓ１０１の焦点検出処理における位相差検出時から撮像素子１０３による撮影時までの被写体の像面位置を予測部１１９によって予測する。また、撮影開始スイッチがオフ状態であれば、次の位相差検出時までの被写体の像面位置を予測部１１９によって予測する。なお、予測方法の詳細については図９を用いて後述する。

Ｓ１０５で、Ｓ１０４で予測した被写体の像面位置に合焦するように撮影レンズ１２０を動かすために必要なレンズ駆動量を算出し、レンズＣＰＵ１２２に伝える。

次にＳ１０６で、撮影開始スイッチの状態を判定し、スイッチオン状態であれば、Ｓ１０７の撮影に移行し、スイッチオフ状態であれば、Ｓ１１０に移行する。なお、一般的なカメラでは撮影ボタンのスイッチが全押しの状態で、撮影開始スイッチがオンとなる。

Ｓ１０７で、撮像素子制御回路１０２に指示を行い、撮像素子１０３を駆動制御させ、撮像素子１０３により撮影された画像をメモリ回路１０１に記憶する。Ｓ１０８において、次の位相差検出時の被写体の像面位置を予測部１１９によって予測し、Ｓ１０９で、Ｓ１０８で予測した像面位置に合焦するように撮影レンズ１２０を動かすために必要なレンズ駆動量を算出し、レンズＣＰＵ１２２に伝える。

Ｓ１１０で、表示枠選択部１１７により撮影画面に表示する枠の選択を行う。なお、表示枠選択方法の詳細については図１０を用いて後述する。

Ｓ１１１で撮影準備スイッチオフ判定を行い、スイッチオフ状態であれば処理を終了し、スイッチオン状態であればＳ１０１へ戻って、上記処理を繰り返す。

（焦点検出処理）
次に、Ｓ１０１で行われる焦点検出処理の動作の一例を、図５のフローチャートに基づいて説明する。Ｓ２０１で、撮像素子１０３から出力される一対の像信号Ａ、像信号Ｂを取得する。そしてＳ２０２において、Ｓ２０１で取得した像信号Ａ、像信号Ｂの移動差（像ずれ量）を算出する。ここでは、例えば、図１０（ａ）に示すように、表示器１０５に表示される範囲７０１のうち、撮像素子１０３で撮像した画像内で位相差検出を行える範囲７０２を複数に分割した焦点検出領域（図１０（ａ）の例では、７×７の領域）それぞれについて算出する。ただし、処理速度の制約等により全ての焦点検出領域で像ずれ量を算出するのが難しい場合には、その一部の焦点検出領域について算出すればよい。

続いて、Ｓ２０３において、デフォーカス量換算部１１２により、Ｓ２０２で算出した像ずれ量をデフォーカス量に換算する。そしてＳ２０４において、得られた焦点検出情報をメモリ回路１０１に記憶する。ここでは、各焦点検出領域のデフォーカス量と、像信号Ａ、像信号Ｂの撮影時刻を記憶する。

（被写体追尾処理）
次にＳ１０２で行われる被写体追尾部１１６による被写体追尾処理の一例を図６のフローチャートを参照しながら説明する。

本実施形態の被写体追尾部１１６が行う処理として、目的とする被写体を示す部分画像をテンプレートとして、供給された画像の部分領域と照合し、照合する部分領域を変化させて、相違度が低い領域を推定する方法（テンプレートマッチング）を説明する。また、本実施形態では、目的とする被写体の時間方向のスケール変換に対応するため、被写体の特徴色を抽出し、撮影画像中の特徴色の分布状況に基づき被写体領域を推定する方法による推定も行うものとする。そして、推定された被写体領域に基づきテンプレートの更新を行う。

まず、Ｓ３０１において、撮像素子１０３により被写体からの反射光を電気信号に変換し、読み出すことで、画像情報を得る。読み出した画像情報は、デジタル信号に変換され、被写体追尾部１１６に送られる。

Ｓ３０２では、追尾対象の被写体が存在するか否かを判定する。追尾対象の被写体が存在する場合は、被写体の追尾処理をＳ３０５からＳ３０８で実施する。追尾対象の被写体が存在しない場合は、追尾対象の被写体を決定するため、Ｓ３０３で被写体検出を行う。

Ｓ３０３における被写体検出の方法としては、大きく分けて、撮影者の指示に基づく検出方法と、自動で検出する方法とがある。撮影者の指示に基づく検出方法では、タッチパネルやボタンなどを含む入力インターフェースを介して、撮影画像中の被写体の位置が指示され、指示された位置情報に基づいて被写体領域を抽出する。一方、自動で検出する方法としては、顔検出などが一般的である。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法と、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、検出率向上のためにこれらを組み合わせて顔検出を行うのが一般的である。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

Ｓ３０４では、抽出された被写体領域から、追尾対象の特徴量を抽出する。本実施形態では、テンプレートマッチングに基づく追尾処理を行うため、被写体領域の画像パターンを特徴量として保持しておく。また、特徴色の分布に基づいて被写体領域の推定を行うため、被写体領域の色ヒストグラムＨｉｎを保持しておく。その後、次回撮影のサンプリング周期まで待ち状態となる。

次に、Ｓ３０２において追尾対象の被写体が存在すると判定された場合の追尾処理について説明する。この場合、Ｓ３０５においてマッチング処理を行う。ここで、図７を参照して、テンプレートマッチングの詳細に関して説明する。図７（ａ）は、テンプレートマッチングにおける被写体モデル（テンプレート）の例を示す。６０１は追尾対象の被写体を示す部分画像（テンプレート）であり、この画像の画素パターンを特徴量として扱う。６０２はテンプレート６０１の特徴量を表現したものであり、画素データの輝度信号を特徴量とする。特徴量Ｔ(ｉ，ｊ)は、テンプレート領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（１）で表現される。
T(i, j) = {T(0, 0), T(1, 0), ... , T(W-1, H-1)} …（１）

図７（ｂ）は、追尾対象の被写体を探索する画像の情報を示す。６０３はマッチング処理を行う画像の範囲（探索範囲）を示す。探索範囲６０３における座標は（ｘ，ｙ）で表現する。６０４はマッチングの評価値を取得するための部分領域である。また、６０５は部分領域６０４の特徴量を表現したものであり、テンプレート６０１と同様に画像データの輝度信号を特徴量とする。特徴量Ｓ(ｉ，ｊ)は、部分領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（２）で表現される。
S(i, j) = {S(0, 0), S(1, 0), ... , S(W-1, H-1)} …（２）

テンプレート６０１と部分領域６０４との類似性を評価する演算方法として、差分絶対和、いわゆるＳＡＤ(Sum of Absolute Difference)値を用いる。ＳＡＤ値は、式（３）により算出される。

部分領域６０４を探索範囲６０３の左上から順に１画素ずつずらしながら、ＳＡＤ値Ｖ(ｘ，ｙ)を演算する。演算されたＶ(ｘ，ｙ)が最小値を示す座標（ｘ，ｙ）がテンプレート６０１と最も類似した位置を示す。つまり、最小値を示す位置が探索範囲６０３において目的とする追尾対象の被写体が存在する可能性の高い位置となる。

ここでは、特徴量として輝度信号の１次元の情報を用いる例を示したが、明度・色相・彩度の信号等の３次元の情報を特徴量として扱ってもよい。また、マッチングの評価値としてＳＡＤ値に関して説明したが、正規化相互相関、いわゆるＮＣＣ(Normalized Correlation Coefficient)等の異なる演算方法により得られた値を用いても良い。

次いで、Ｓ３０５のマッチング処理によって検出された位置に基づき、Ｓ３０６で追尾対象の被写体の領域（第１の領域。以下、追尾領域）を検出する。Ｓ３０４で保持した追尾領域内の色ヒストグラムと現在時刻の撮影画像の全体または一部の色ヒストグラムＨｏｕｔから、式（４）で表現される情報量を算出する。
I(a) = -log₂H_in(a) / H_out(a) …（４）

この情報量は、色ヒストグラムの各ビンにおいて、画像全体または一部に対して被写体領域内の生起確率を示す。この情報量に基づき現在時刻の撮影画像の各画素に対して適応することで、追尾対象の被写体である可能性を示すマップができる。このマップに基づき追尾領域を検出する。また、検出された追尾領域の重心位置が被写体追尾部１１６が出力する追尾位置となる。

次いで、Ｓ３０７において、Ｓ３０６で算出した追尾位置の信頼度を算出する。被写体追尾の確からしさを妨げる要因としては、被写体の変化、類似被写体の存在、追尾誤差の蓄積が挙げられる。これらの要因をマッチング処理や追尾領域の推定から取得される各種評価値を乗じることで信頼度を算出する。

まず、マッチング処理の式（３）によるＶ(ｘ，ｙ)の最小値が大きいほど、被写体の変化が大きいことを示す。従って、最小値が大きいほど信頼度が小さくなるようにする。また、マッチング処理の式（３）によるＶ(ｘ，ｙ)の最小値と類似した値が、被写体の推定位置と所定閾値以上離れた位置において存在する場合は、類似被写体が存在する可能性が高い。そのため、被写体の推定位置と所定閾値以上離れた位置に属するＳＡＤ値とＳＡＤ値の最小値の類似度が高いほど、信頼度を低くする。また、式（４）で示す被写体の色特徴を示す情報量の被写体領域内の平均値（期待値）であるエントロピーが小さいほど、被写体の変化が大きいことを示す。これは式（５）で表現される。

式（５）の値が小さいほど信頼度を小さくする。また、式（４）で示す被写体の色特徴を示す情報量の被写体領域外の平均値（期待値）であるエントロピーが大きいほど、類似対象が存在する可能性が高い。これは式（６）で表現される。

式（６）の値が大きいほど信頼度を小さくする。さらに被写体追尾の確からしさが一度低くなると、その後、追尾の信頼性も低くなる。そのため、信頼度算出において履歴の信頼度を加味する。例えば、所定期間の信頼度平均値を現在フレームの信頼度として扱う。以上のようにして追尾位置の信頼度を算出する。

次に、Ｓ３０８において、被写体特徴量の更新を行う。ここでは、Ｓ３０６で推定された追尾領域に基づいてテンプレートの更新を行うことで、被写体のスケール変化に対応できる。そして、処理が終了し、次回撮影のサンプリング周期まで待ち状態となる。

（主追尾位置判別処理）
続いて、Ｓ１０３で行われる主追尾位置判別処理について図８のフローチャートを用いて説明する。

まず、Ｓ４０１において、後述する前回の予測処理で算出された被写体の像面位置の予測式を用いて、撮像素子１０３が撮像を行った時刻における被写体の像面位置を予測する。次に、実際に撮像を行ったときのレンズの像面位置との差を求めることで、予測した像面位置までのデフォーカス量を予測する。そして、Ｓ１０１で検出した各分割領域のデフォーカス量のうち、前回選択された主追尾位置に基づいて予め決められた分割領域の中から、予測したデフォーカス量（予測焦点状態）に最も近いデフォーカス量（焦点状態）を有する分割領域を被写体の予測追尾位置（第２の領域）として選択する。

次にＳ４０２において、Ｓ１０２で被写体追尾部１１６が算出した追尾位置のデフォーカス量（焦点状態）と、Ｓ４０１で予測されたデフォーカス量（焦点状態）との差が、所定範囲Ｔ１内であるかどうかを判定する。所定範囲Ｔ１内であればＳ４０３に進み、Ｓ１０２で被写体追尾部１１６が算出した追尾位置を主追尾位置として設定する。所定範囲Ｔ１外であれば、Ｓ４０４に進む。

Ｓ４０４では、Ｓ１０２で求めた追尾位置の信頼度を判定する。信頼度が予め決められた閾値よりも高い場合はＳ４０５に進み、閾値以下の場合はＳ４０９に進む。

Ｓ４０５においては、Ｓ４０１で予測したデフォーカス量と、同じくＳ４０１で選択した予測追尾位置のデフォーカス量との差が、所定範囲Ｔ１内であるかどうかを判定する。この判定は、Ｓ４０１では、予め決められた分割領域の中から、予測したデフォーカス量に最も近いデフォーカス量を有する分割領域を予測追尾位置として選択したが、予測したデフォーカス量と必ずしも一致するわけではないために行う。ここでは、予測したデフォーカス量と、選択した予測追尾位置のデフォーカス量とを比較し、予測追尾位置の妥当性を判断する。所定範囲Ｔ１内であればＳ４０６に進み、所定範囲Ｔ１外であればＳ４０３に進んで、Ｓ１０２で被写体追尾部１１６が算出した追尾位置を主追尾位置として設定する。

Ｓ４０６では、タイマーが所定時間Ｔ２以上経過しているかどうかを判定する。このタイマーは、Ｓ４０６でＮＯとなった場合にＳ４０７でスタートされる。従って、初めてＳ４０６の判定を行う場合、タイマーはスタートしていないため、必ずＮＯとなる。このタイマーは、被写体追尾部１１６が算出した追尾位置の信頼度が高い状態がどれくらい継続しているかを判断するために用いられ、所定時間Ｔ２は追尾位置の信頼度の程度によって変えてもよい。この場合、信頼度が高い場合に、低い場合よりも所定時間Ｔ２を短くする。また、所定時間Ｔ２はＳ４０１で選択した予測追尾位置のデフォーカス量と予測されるデフォーカス量との差に応じて変化させてもよい。この場合、差が小さい場合に、大きい場合よりも所定時間Ｔ２を短くする。タイマーが所定時間Ｔ２未満の状態の場合は、Ｓ４０７において、Ｓ４０１で算出した予測追尾位置を主追尾位置として設定する。これにより、被写体移動が予測可能な場合は、予測部１１９を用いて設定した予測追尾位置を選択でき、予測困難な被写体移動に対しても被写体追尾部１１６の信頼度を用いて正解の追尾位置を判別し易くなる。タイマーが所定時間Ｔ２以上経過している場合にはＳ４０３に進んで、Ｓ１０２で被写体追尾部１１６が算出した追尾位置を主追尾位置として設定する。

一方、Ｓ４０４で被写体追尾部１１６が算出した追尾位置の信頼度が低いと判断すると、Ｓ４０９に進む。Ｓ４０９では、Ｓ４０５と同様に、Ｓ４０１において予測したデフォーカス量と、同じくＳ４０１で選択した予測追尾位置のデフォーカス量との差が、所定範囲Ｔ１内であるかどうかを判定する。所定範囲Ｔ１内である場合は、Ｓ４１０に進んでＳ４０１で算出した予測追尾位置を主追尾位置として設定する。一方、所定範囲Ｔ１外であった場合は、Ｓ４１１に進み、予測追尾位置と追尾位置のいずれも信頼性が低いため主追尾位置は新しく設定せず、焦点調節を行わないように設定する。

（撮影前予測処理）
続いて、Ｓ１０４で予測部１１９により行われる、過去複数回の像面位置とその撮影時刻の変化から、将来の像面位置を予測するための撮影前予測処理について説明する。将来の像面位置の予測方法は特許文献１に詳しく記載されているが、本実施形態では図９のフローチャートを用いて、統計演算を用いて予測を行う例について説明する。

まず、Ｓ５０１において、位相差検出部１１１によって検出した、Ｓ１０３で設定された主追尾位置に対応する分割領域における位相差から、デフォーカス量換算部１１２によってデフォーカス量を算出する。そして、次のＳ５０２にて、算出したデフォーカス量に対応する像面位置とその撮影時刻の算出を行う。一般的に、撮像素子１０３から像信号が得られるまでにある程度の電荷の蓄積時間を必要とする。そのため、蓄積開始時刻と終了時刻の中点を撮影時刻とし、撮影レンズ１２０の相対的な繰り出し量にこのデフォーカス量を加えることによって、被写体の像面位置を算出する。

そして、像面位置と撮影時刻の組のデータを、次のＳ５０３にてメモリ回路１０１に格納する。格納するメモリのデータ構造はキューとなっており、予め定められたデータの個数までは順に格納するがそれ以降のデータは、最も古いデータの上に最新のデータを上書きする。

その後、Ｓ５０４へ進み、メモリ回路１０１に格納されたデータ数が統計演算可能かどうかを判定する。この判定の結果、統計演算に必要なデータ数が十分であればＳ５０５へ進み、統計演算による予測式を決定する。

Ｓ５０５における統計演算による予測式の決定は特許文献１に詳しく記載されているため詳細は省略するが、式（７）に示すような予測関数ｆ（ｔ）において、重回帰分析によって各係数α、β、γを統計的に決定する。また、式（７）におけるｎは複数の代表的な動体予測撮影シーンのサンプルに対して予測を行ったとき、その予測誤差が最小となるｎの値を求めている。
f(t)= α + βt + γtⁿ …（７）

Ｓ５０５で予測式を決定した後はＳ５０６に進み、予め決められた将来時刻の像面位置を予測し、撮影レンズ１２０がその像面位置に合焦するために必要なレンズ駆動量を算出する。

一方、Ｓ５０４においてデータ数が十分でないと判定した場合、Ｓ５０７に進み、統計演算によらず算出したデフォーカス量によってレンズ駆動量を算出する。

（表示枠選択処理）
次に、表示枠選択部１１７によりＳ１１０で行われる表示器１０５に表示する枠の選択を行う表示枠選択処理について、図１０を用いて説明する。

本実施形態では、前回の主追尾位置を中心とした焦点検出範囲（例えば、３×３の分割領域）の中から主追尾位置を選ぶ場合と、被写体追尾部１１６で算出した位置から主追尾位置を選ぶ場合があり、各場合によって表示する枠の選択の仕方が異なる。各場合の表示枠の選択方法について図１０を用いて説明する。

まず、図１０（ａ）を用いて、前回の主追尾位置を中心とした焦点検出範囲から、予測追尾位置を主追尾位置として選んだ場合の表示枠について説明する。７０１は表示器１０５で表示される範囲であり、撮像素子１０３によって撮像した画像を表示する。７０２は撮像素子１０３で撮像した画像内で位相差検出部１１１を行うことのできる範囲であり、表示枠を表示可能な範囲である。被写体７０３に対して、前回の主追尾位置を中心とした焦点検出範囲が７０４である。この焦点検出範囲７０４は、Ｗ０からＷ８までの番号が割り当てられた焦点検出領域を含む。図１０（ａ）では、この焦点検出範囲７０４から選ばれた主追尾位置７０５のデフォーカス量と焦点検出領域Ｗ０からＷ８の各デフォーカス量との差が所定値Ｔ３よりも小さい領域に対応する枠を表示枠として選択する。

図１０（ｂ）は、被写体追尾部１１６による追尾位置が、主追尾位置７０６として選択され、焦点検出範囲７０４内にある場合の一例を示す図である。このとき、主追尾位置７０６を包括する焦点検出範囲７０４（Ｗ０からＷ８）の中で、主追尾位置７０６のデフォーカス量と、焦点検出領域Ｗ０からＷ８の各デフォーカス量との差が所定値Ｔ３よりも小さい領域に対応する枠を表示枠として選択する。

図１０（ｃ）は、被写体追尾部１１６による追尾位置が、主追尾位置７０７として選択され、焦点検出範囲７０４外にある場合の一例を示す図である。このとき、各焦点検出領域（Ｗ０からＷ８）のデフォーカス量に対し、主追尾位置７０７と焦点検出範囲７０４との距離による重み付けを行う。焦点検出範囲７０４（Ｗ０からＷ８）の中で、主追尾位置７０７のデフォーカス量と、重み付けを行った焦点検出領域Ｗ０からＷ８の各デフォーカス量との差が所定値Ｔ４よりも小さい領域に対応する枠を表示枠として選択する。図１０（ｅ）は、このような場合に、表示器１０５を通してユーザに画像に重畳表示される表示枠の例を示す。

上記の通り本実施形態によれば、被写体が予測困難な移動を行った場合でも、追跡信頼度に応じて所定時間内に追跡方法を切り替えることができ、加えて主追尾位置と焦点検出範囲から被写体の表示枠を連続的に表示させる。これにより、追跡可能な状態をより多く実現することができる。

なお、本実施形態においては、被写体追尾部１１６が図６のＳ３０５でＳＡＤ値を用いたマッチング処理を行ってから、Ｓ３０６で追尾位置を決定し、Ｓ３０７で様々な要因を考慮して信頼度を算出している。しかしながら、Ｓ３０７を省略し、Ｓ３０５で求めたＳＡＤ値の逆数を信頼度（ＳＡＤ値が小さいほど信頼度が高くなる）として用いても良い。

また、図８のＳ４０６では、追尾位置の信頼度が高い状態がどれくらい継続しているかを判断しているが、これに限られるものではない。たとえば、図６のＳ３０５で得られたＳＡＤ値が閾値以下であれば追尾に成功したものと判断し、この追尾に成功している時間が所定時間Ｔ２以上経過していれば、Ｓ４０３に進むようにしてもよい。さらに、Ｓ４０６でタイマーが所定時間Ｔ２以上経過しているか否かを判定しているが、追尾対象の被写体のサイズや数によって追尾処理に要する時間に差が生じる場合には、時間の代わりに回数を用いて判定を行ってもよい。すなわち、閾値以上となる信頼度が所定回数以上連続して得られた場合や、追尾に所定回数以上連続して成功した場合に、Ｓ４０６からＳ４０３に進むようにしてもよい。あるいは、予め定められた時間や回数の中で、所定割合以上において信頼度が高いと判定された、あるいは、追尾に成功したと判定した場合に、Ｓ４０６からＳ４０３に進むようにしてもよい。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：カメラ本体、１０３：撮像素子、１０５：表示部、１１０：ＣＰＵ、１１１：位相差検出部、１１２：デフォーカス量換算部、１１３：記憶部、１１４：焦点調節部、１１５：主追尾位置判別部、１１６：被写体追尾部、１１７：表示枠選択部、１１９：予測部、１２０：撮影レンズ

上記目的を達成するために、本発明の焦点調節装置は、光学系による被写体像を撮像して画像信号を出力する撮像素子から出力された前記画像信号から、追尾する被写体の第１の領域および追尾位置の信頼度を検出する追尾手段と、前記撮像素子から出力された前記画像信号に基づいて、複数の焦点検出領域の焦点状態を検出する焦点検出手段と、前記光学系の焦点調節を行うべき合焦領域を決定する決定手段と、前記合焦領域に対応する焦点検出領域における、前記焦点検出手段により検出された焦点状態の履歴に基づいて、次の焦点検出における焦点状態を予測する予測手段と、前記複数の焦点検出領域から、第２の領域を選択する選択手段と、を有し、前記決定手段は、前記信頼度が予め決められた第１の閾値よりも高い状態が予め決められた時間以上、継続している場合に、前記第１の領域を前記合焦領域として決定し、継続していない場合に、前記第２の領域を前記合焦領域として決定する。

Claims (14)

1. 入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号に基づいて、予め決められた複数の焦点検出領域の焦点状態を検出する焦点検出手段と、
   前記画像信号から、追尾する被写体の第１の領域、および当該第１の領域の像面位置および信頼度を検出する追尾手段と、
   前記追尾手段により検出された像面位置の履歴に基づいて、前記画像信号の撮影時点の像面位置を予測し、前記複数の焦点検出領域のうちの予め決められた一部の焦点検出領域から、前記予測した像面位置の予測焦点状態に近い第２の領域を選択する予測手段と、
   前記第１の領域の焦点状態と、前記予測焦点状態との差が予め決められた第１の範囲外にあり、前記第２の領域の焦点状態と、前記予測焦点状態との差が予め決められた第２の範囲内にある場合、前記信頼度が予め決められた第１の閾値よりも高い状態が予め決められた時間以上、継続している場合に、前記第１の領域の位置を主追尾位置として選択し、継続していない場合に、前記第２の領域の位置を前記主追尾位置として選択する選択手段と、
   前記主追尾位置に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出手段と、を有し、
   前記予測手段は、更に、予め決められた将来の時点での前記主追尾位置に対応する焦点検出領域に含まれる被写体の像面位置を予測し、前記算出手段は、前記予測された将来の時点での像面位置に焦点を合わせるように前記駆動量を算出することを特徴とする焦点調節装置。
2. 前記選択手段は、前記第１の領域の焦点状態と、前記予測焦点状態との差が前記第１の範囲内にある場合に、前記第１の領域の位置を前記主追尾位置として選択することを特徴とする請求項１に記載の焦点調節装置。
3. 前記選択手段は、前記信頼度が前記第１の閾値よりも高く、前記第２の領域の焦点状態と、前記予測焦点状態との差が前記第２の範囲外にある場合に、前記第１の領域の位置を前記主追尾位置として選択することを特徴とする請求項１または２に記載の焦点調節装置。
4. 前記選択手段は、前記信頼度が前記第１の閾値以下であって、前記第２の領域の焦点状態と、前記予測焦点状態との差が前記第２の範囲内にある場合に、前記第２の領域の位置を前記主追尾位置として選択することを特徴とする請求項１乃至３のいずれか１項に記載の焦点調節装置。
5. 前記選択手段は、前記信頼度が前記第１の閾値以下であって、前記第２の領域の焦点状態と、前記予測焦点状態との差が前記第２の範囲外にある場合に、前回選択された主追尾位置を前記主追尾位置として選択することを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
6. 前記予め決められた時間は、前記信頼度、および、前記第２の領域の焦点状態と、前記予測焦点状態との差の少なくともいずれか一方に応じて変更されることを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。
7. 前記画像信号に基づいて、画像を表示する表示手段と、
   前記選択手段により選択された主追尾位置に対応する領域、および、予め決められた条件を満たす領域を設定する設定手段と、を更に有し、
   前記表示手段は、前記設定手段により設定された領域を表す表示を、前記画像に重畳表示することを特徴とする請求項１乃至６のいずれか１項に記載の焦点調節装置。
8. 前記予め決められた条件は、前記一部の焦点検出領域それぞれの焦点状態と、前記主追尾位置に対応する領域の焦点状態との差が予め決められた閾値よりも小さいことを特徴とする請求項７に記載の焦点調節装置。
9. 前記予め決められた条件は、前記主追尾位置からの距離に応じて重み付けした前記一部の焦点検出領域それぞれの焦点状態と、前記主追尾位置に対応する領域の焦点状態との差が予め決められた閾値よりも小さいことを特徴とする請求項７に記載の焦点調節装置。
10. 入射する光を光電変換して画像信号を出力する撮像手段と、
    請求項１乃至９のいずれか１項に記載の焦点調節装置と
    を有することを特徴とする撮像装置。
11. 焦点検出手段が、入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号に基づいて、予め決められた複数の焦点検出領域の焦点状態を検出する焦点検出工程と、
    追尾手段が、前記画像信号から、追尾する被写体の第１の領域、および当該第１の領域の像面位置および信頼度を検出する追尾工程と、
    予測手段が、前記追尾工程で検出された像面位置の履歴に基づいて、前記画像信号の撮影時点の像面位置を予測し、前記複数の焦点検出領域のうちの予め決められた一部の焦点検出領域から、前記予測した像面位置の予測焦点状態に近い第２の領域を選択する予測工程と、
    選択手段が、前記第１の領域の焦点状態と、前記予測した像面位置の予測焦点状態との差が予め決められた第１の範囲外にあり、前記第２の領域の焦点状態と前記予測焦点状態との差が予め決められた第２の範囲内にある場合、前記信頼度が予め決められた第１の閾値よりも高い状態が予め決められた時間以上、継続している場合に、前記第１の領域の位置を主追尾位置として選択し、継続していない場合に、前記第２の領域の位置を前記主追尾位置として選択する選択工程と、
    算出手段が、前記主追尾位置に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出工程と、を有し、
    前記予測工程では、更に、予め決められた将来の時点での前記主追尾位置に対応する焦点検出領域に含まれる被写体の像面位置を予測し、前記算出工程は、前記予測された将来の時点での像面位置に焦点を合わせるように前記駆動量を算出することを特徴とする焦点調節方法。
12. 設定手段が、前記選択工程で選択された主追尾位置に対応する領域、および、予め決められた条件を満たす領域を設定する設定工程と、
    表示手段が、前記画像信号に基づいて画像を表示すると共に、前記設定工程で設定された領域を表す表示を、前記画像に重畳表示する表示工程と
    を更に有することを特徴とする請求項１１に記載の焦点調節方法。
13. コンピュータを、請求項１乃至９のいずれか１項に記載の焦点調節装置の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images