JP2020181147A - 焦点調整装置、撮像装置、焦点調整方法、およびプログラム - Google Patents

Abstract

【課題】安定した焦点調整を実行可能な焦点調整装置、撮像装置、焦点調整方法、および焦点調整プログラムを提供すること。【解決手段】焦点調整装置は、被写体像を光電変換して生成された撮像用信号および焦点検出用信号の変化に基づいて被写体が動体であるかどうかを判定する判定手段と、操作手段による操作に応じて、焦点検出用信号に基づいて生成された情報を用いて焦点調整を行う焦点調整手段とを有し、判定手段は、操作手段による操作前、第１閾値を用いて被写体が動体であるかどうかを判定し、操作手段による操作後、第２閾値を用いて被写体が動体であるかどうかを判定し、焦点調整手段は、操作手段による操作前に被写体が動体であると判定された場合、焦点調整を連続して行う第１焦点調整を行うとともに、焦点調整を１回行う第２焦点調整を行った後、被写体が動体であると判定された場合、第１焦点調整を行う。【選択図】図１３

Description

本発明は、焦点調整機能を有する電子スチルカメラなどに適用される焦点調整装置、撮像装置、焦点調整方法、およびプログラムに関する。

従来からカメラには、所謂ワンショットモードとサーボモードが設けられており、対象の動きにより使い分けられている。例えばワンショットモードは、主に静止した被写体に対して使用され、一旦合焦した後はレンズ駆動が禁止され（ＡＦロック状態）、もし必要ならその後にフレーミングを行うモードである。それに対してサーボモードは、主に動く被写体に対して使用され、被写体距離の変化に追従して連続したレンズ駆動を行い、被写体の動きにあわせて焦点調節を行うことのできるモードである。

近年では、撮影者がカメラに不慣れな場合であっても、ピント合わせを気にせずにすむように、カメラが被写体の動きに応じてワンショットモードやサーボモードを切り替える自動モードが搭載されたものも製品化されている。特許文献１には、ワンショットモードにおいても被写体の焦点検出情報を観察し、被写体が移動したことを検知すると自動的にサーボモードに設定を変更する機能を有するカメラが開示されている。また、特許文献２には、不用意にサーボモードに変更するときの問題をあげ、的確な動き判断を行うことを目的として、カメラを操作する撮影者の視線を監視し、その視線の動きから被写体を判断し、その被写体領域の動きを検出するカメラが開示されている。

特開平８−２４８５１０号公報 特開２００１−１８８１６４号公報

しかしながら、撮影待機中の、特にフレーミングのために被写体とカメラの位置関係などを設定している場合に、被写体の動きをとらえたからといって、サーボモードに入り、フォーカス動作が始まってしまうと、フレーミング操作に困ることがある。また、撮影準備としてＡＦボタンを押すなどのフォーカス動作指示をして、一旦被写体に合焦した後に、被写体とカメラの相対距離が変わって、フォーカスが外れては撮影画像が不鮮明なものとなってしまう。また、一旦被写体に合焦した時に、撮影者に合焦したことを知らせる表示や、音による通知がカメラから行われるが、サーボモードに入ると、被写体の動きを常時追いかけるため、どのタイミングで合焦しているのかわかりにくい。したがって、被写体とカメラの相対位置の変化に応じてすぐにフォーカス動作をサーボモードに移行してしまうのは好ましくない。

本発明は、安定した焦点調整を実行可能な焦点調整装置、撮像装置、焦点調整方法、およびプログラムを提供することを目的とする。

本発明の一側面としての焦点調整装置は、光軸に沿って進退可能なフォーカスレンズを含む光学系を通して結像された被写体像を光電変換して生成された撮像用信号および焦点検出用信号の変化に基づいて被写体が動体であるかどうかを判定する判定手段と、操作手段による操作に応じて、焦点検出用信号に基づいて生成されたフォーカスレンズの駆動に関する情報を用いて焦点調整を行う焦点調整手段とを有し、判定手段は、操作手段による操作前、第１の閾値を用いて被写体が動体であるかどうかを判定し、操作手段による操作後、第１の閾値とは異なる第２の閾値を用いて被写体が動体であるかどうかを判定し、焦点調整手段は、操作手段による操作前に判定手段により被写体が動体であると判定された場合、焦点調整を連続して行う第１の焦点調整を行うとともに、焦点調整を１回行う第２の焦点調整を行った後、判定手段により被写体が動体であると判定された場合、第１の焦点調整を行うことを特徴とする。

また、本発明の他の側面としての焦点調整装置は、光軸に沿って進退可能なフォーカスレンズを含む光学系を通して結像された被写体像を光電変換して生成された撮像用信号および焦点検出用信号の変化に基づいて被写体が動体であるかどうかを判定する判定手段と、操作手段による操作に応じて、焦点検出用信号に基づいて生成されたフォーカスレンズの駆動に関する情報を用いて焦点調整を行う焦点調整手段とを有し、判定手段は、操作手段による操作前、第１の閾値を用いて被写体が動体であるかどうかを判定し、操作手段による操作後、被写体に対応する追尾領域の焦点検出用信号の変化、および第１の閾値とは異なる第２の閾値を用いて被写体が動体であるかどうかを判定し、焦点調整手段は、操作手段による操作前に判定手段により被写体が動体であると判定された場合、焦点調整を連続して行う第１の焦点調整を行うとともに、焦点調整を１回行う第２の焦点調整を行い、第２の焦点調整の結果が合焦状態となった後、判定手段により被写体が動体であると判定された場合、第１の焦点調整を行うことを特徴とする。

本発明によれば、安定した焦点調整を実行可能な焦点調整装置、撮像装置、焦点調整方法、およびプログラムを提供することができる。

レンズ交換式カメラシステムのブロック図である。 撮像面位相差ＡＦにおける画素構成を示す図である。 焦点検出処理を示すフローチャートである。 焦点検出領域の一例を示す図である。 ＡＦ用信号の一例を示す図である。 シフト量と相関量との関係の説明図である。 シフト量と相関変化量との関係の説明図である。 カメラ本体の動作を示すフローチャート図である。 撮影準備前処理を示すフローチャートである。 撮影準備処理を示すフローチャート図 ワンショットＡＦ動作を示すフローチャートである。 サーボＡＦ動作を示すフローチャートである。 実施例１の動き判定を示すフローチャートである。 主被写体座標動き判定を示すフローチャートである。 主被写体座標動きの説明図である。 ＸＹ動き判定閾値算出処理を示すフローチャートである。 距離方向動き判定を示すフローチャートである。 Ｚ動き判定閾値算出処理を示すフローチャートである。 実施例２の撮影準備処理を示すフローチャートである。 実施例２の被写体の撮像素子上での移動を示す図である。 実施例２の動き判定を示すフローチャートである。 実施例２の動き判定範囲の説明図である。 実施例２の動き判定範囲の変形例の説明図である。 実施例２の動き判定範囲の変形例の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の実施形態に係る撮像装置の一例としてのレンズ交換式カメラシステム（以下、カメラシステム）のブロック図である。カメラシステムは、レンズユニット１０およびカメラ本体２０から構成されている。レンズユニット１０全体の動作を統括制御するレンズ制御部１０６と、レンズユニット１０を含むカメラシステム全体の動作を統括制御するカメラ制御部２１２とは、レンズマウントに設けられた端子を通じて相互に通信可能である。

まず、レンズユニット１０の構成について説明する。固定レンズ１０１、絞り１０２、およびフォーカスレンズ１０３は、撮影光学系を構成する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は撮影光学系の光軸に沿って進退可能にフォーカスレンズ駆動部１０５によって駆動され、フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。

レンズ操作部１０７は、ユーザがレンズユニット１０の動作に関する設定を行うための入力デバイス群である。レンズユニット１０の動作に関する設定とは、例えばＡＦ（オートフォーカス）／ＭＦ（マニュアルフォーカス）モードの切り替え、ＭＦによるフォーカスレンズ１０３の位置調整、フォーカスレンズ１０３の動作範囲設定、手ブレ補正モードの設定などである。レンズ操作部１０７が操作された場合、レンズ制御部１０６が操作に応じた制御を行う。

レンズ制御部１０６は、カメラ制御部２１２から受信した制御命令や制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御し、絞り１０２の開口量やフォーカスレンズ１０３の位置を決定する。また、レンズ制御部１０６は、レンズ制御情報をカメラ制御部２１２に送信する。

次に、カメラ本体２０の構成について説明する。カメラ本体２０は、レンズユニット１０の撮影光学系を通過した光束から撮像用信号を取得できるように構成されている。撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成される。撮影光学系から入射した光束は、撮像素子２０１の受光面上に結像し、撮像素子２０１に配列された画素に設けられたフォトダイオードにより、入射光量に応じた信号電荷に光電変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令に従ってタイミングジェネレータ２１４が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ，Ｂとこれら一対のフォトダイオードＡ，Ｂに対して設けられた１つのマイクロレンズとより構成されている。各画素は、入射する光をマイクロレンズで分割して一対のフォトダイオードＡ，Ｂ上に一対の光学像を形成し、該一対のフォトダイオードＡ，Ｂから後述するＡＦ用信号に用いられる、Ａ信号とＢ信号からなる一対の画素信号（焦点信号）を出力する。また、一対のフォトダイオードＡ，Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）を得ることができる。

複数の画素から出力された複数のＡ信号はＡ信号同士、複数のＢ信号はＢ信号同士でそれぞれ合成することによって、撮像面位相差検出方式によるＡＦ（以下、撮像面位相差ＡＦ）に用いられるＡＦ用信号（焦点検出用信号）としての一対の像信号が生成される。ＡＦ信号処理部２０４は、該一対の像信号に対する相関演算を行って、これら一対の像信号のずれ量である位相差（以下、像ずれ量）を算出し、さらに該像ずれ量から撮影光学系のデフォーカス量（およびデフォーカス方向）を算出する。

図２（ａ）には撮像面位相差ＡＦに対応していない画素構成を、図２（ｂ）は撮像面位相差ＡＦに対応した画素構成を示している。いずれの図においても、ベイヤー配列が用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ，Ｇｂは緑のカラーフィルタを示している。図２（ｂ）に示される画素構成では、図２（ａ）にされる画素構成における１画素（実線で囲んで示す）に相当する画素内に、図の水平方向において２分割された２つのフォトダイオードＡ，Ｂが設けられている。なお、図２（ｂ）に示される画素の分割方法は例に過ぎず、図の垂直方向において分割したり、水平方向および垂直方向において２分割ずつ（計４分割）したりしてもよい。また、同じ撮像素子内に互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

ＣＤＳ／ＡＧＣ／ＡＤコンバータ（以下、コンバータ）２０２は、撮像素子２０１から読み出されたＡＦ用信号および撮像用信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲイン調節およびＡＤ変換を行う。コンバータ２０２は、これらの処理を行った撮像用信号およびＡＦ用信号をそれぞれ、画像入力コントローラ２０３およびＡＦ信号処理部２０４に出力する。

画像入力コントローラ２０３は、コンバータ２０２から出力された撮像用信号を、バス２１を介してＳＤＲＡＭ２０９に画像信号として格納する。ＳＤＲＡＭ２０９に格納された画像信号は、バス２１を介して表示制御部２０５によって読み出され、表示部２０６に表示される。また、画像信号の記録を行う録画モードでは、ＳＤＲＡＭ２０９に格納された画像信号は記録媒体制御部２０７によって半導体メモリ等の記録媒体２０８に記録される。

ＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラムや処理プログラム、およびこれらの実行に必要な各種データ等が格納されている。フラッシュＲＯＭ２１１には、ユーザにより設定されたカメラ本体２０の動作に関する各種設定情報等が格納されている。

カメラ制御部（焦点調整装置）２１２は、マイクロコンピュータにより構成され、ＲＯＭ２１０に記憶されたコンピュータプログラムを実行することで、レンズユニット１０を含むカメラシステム全体の制御を司る。カメラ制御部２１２は、被写体検出部２１２１、被写体追尾部２１２２、ＡＦ制御部（焦点調整手段）２１２３、ＡＦ制御切替部２１２４、予測部２１２５、記憶部２１２６、および動き判定部（判定手段）２１２７を有する。

被写体検出部２１２１は、画像入力コントローラ２０３から入力された撮像用信号を基に特定の被写体を検出して、撮像用信号内での特定の被写体の位置を決定する。また、被写体検出部２１２１は、画像入力コントローラ２０３から連続的に撮像用信号を取得し、特定の被写体が移動した場合には移動先の位置を判断し、特定の被写体の位置を検出する。特定の被写体とは、例えば顔被写体や、カメラ操作部（操作手段）２１３でユーザによって撮像画面内で指定された位置に存在する被写体などである。被写体追尾部２１２２は、被写体検出部２１２１で検出された被写体をＡＦ対象とする場合において、被写体検出部２１２１とは異なる方法、例えば色情報などによって同一被写体の位置を特定し追尾する。

ＡＦ信号処理部２０４は、コンバータ２０２から出力されたＡＦ用信号である一対の像信号に対して相関演算を行い、これら一対の像信号の像ずれ量（検出量）や信頼性を算出する。信頼性は、後述する二像一致度と相関変化量の急峻度を用いて算出される。また、ＡＦ信号処理部２０４は、撮像画面内で焦点検出およびＡＦを行う領域である焦点検出領域（測距領域）の位置および大きさの設定を行う。ＡＦ信号処理部２０４は、焦点検出領域で算出した像ずれ量および信頼性の情報をカメラ制御部２１２に出力する。ＡＦ信号処理部２０４が行う処理の詳細については後述する。

ＡＦ制御部２１２３は、デフォーカス量に基づいて焦点位置を移動させるようにレンズ制御部１０６に指示を出し焦点調整動作を行う。ＡＦ制御部２１２３により行われる焦点調整動作の方式は、動き判定部２１２７やカメラ操作部２１３の動作に基づいてＡＦ制御切替部２１２４により切り替えられる。また、ＡＦ制御部２１２３は、予測部２１２５を用いて将来の像面位置を予測し、フォーカスレンズ１０３が予測した像面位置に来るために必要なレンズ駆動量を算出し、レンズ制御部１０６に指示を行う。これは、ＡＦ制御部２１２３で行う焦点調整動作において、動いている被写体などに対し、連続的に焦点調整動作を行う方式が選択されている場合に行われる。

記憶部２１２６は、撮影時刻とでフォーカス量から算出した被写体像面位置をメモリ回路２１５に記憶させる。

動き判定部２１２７は、メモリ回路２１５に記憶された撮像時刻と被写体像面位置の情報をもとに、被写体が動体であるか否かの判定を行う。動き判定部２１２７が行う処理の詳細については後述する。

カメラ制御部２１２は、ユーザ操作に基づくカメラ操作部（操作手段）２１３からの入力に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、撮像処理、ＡＦ処理、および記録画像の再生処理等、ユーザ操作に対応する様々な処理を実行する。カメラ操作部２１３は、レリーズスイッチを備えている。レリーズスイッチが１段階操作（半押し）されると、第１のレリーズスイッチＳＷ１がＯＮとなって、カメラ制御部２１２は焦点調整および測光などの撮影準備動作を開始する。また、レリーズスイッチが２段階操作（全押し）されると、第２のレリーズスイッチＳＷ２がＯＮとなって、カメラ制御部２１２は露光および現像処理などの撮影記録を開始する。また、カメラ制御部２１２は、レンズユニット１０（レンズ制御部１０６）に対する制御命令やカメラ本体２０の情報をレンズ制御部１０６に送信したり、レンズユニット１０の情報をレンズ制御部１０６から取得したりする。カメラ制御部２１２は、ＡＦ信号処理部２０４にて算出された焦点検出領域での像ずれ量を用いてデフォーカス量を算出し、該デフォーカス量に基づいてレンズ制御部１０６を通じてフォーカスレンズ１０３の駆動を制御する。

以下、カメラ制御部２１２により実行される焦点検出処理について説明する。カメラ制御部２１２は、コンピュータプログラムに従って図３の処理を行う。図３は、焦点検出処理を示すフローチャートである。Ｓはステップを意味する。

Ｓ３０１では、カメラ制御部２１２の指示によりＡＦ信号処理部２０４は焦点検出領域を設定する。設定する焦点検出領域の位置、大きさ、数などは、カメラ制御部２１２が選択しているＡＦ方式や、ＡＦ制御部２１２３の制御状態によって異なる。

Ｓ３０２では、ＡＦ信号処理部２０４は、撮像素子２０１における焦点検出領域に含まれる複数の画素からＡＦ用信号としての一対の像信号を取得する。図４は、撮像素子２０１の画素アレイ４０１上での焦点検出領域４０２の一例を示している。焦点検出領域４０２の両側のシフト領域４０３は、相関演算に必要な領域である。このため、焦点検出領域４０２とシフト領域４０３とを合わせた領域４０４が相関演算に必要な画素領域である。図中のｐ、ｑ、ｓ、ｔはそれぞれ、水平方向（ｘ軸方向）での座標を表し、ｐとｑはそれぞれ領域４０４の始点と終点のｘ座標を、ｓとｔはそれぞれ焦点検出領域４０２の始点と終点のｘ座標を示している。

図５は、図４の焦点検出領域４０２に含まれる複数の画素から取得したＡＦ用信号としての一対の像信号（Ａ像信号とＢ像信号）の一例を示している。実線５０１がＡ像信号であり、破線５０２がＢ像信号である。図５（ａ）はシフト前のＡ像信号とＢ像信号を示し、図５（ｂ），（ｃ）はＡ像信号とＢ像信号を図５（ａ）の状態からプラス方向およびマイナス方向へシフトした状態を示している。

Ｓ３０３では、ＡＦ信号処理部２０４は、取得した一対の像信号を１画素（１ビット）ずつ相対的にシフトさせながら一対の像信号の相関量を算出する。焦点検出領域内に設けた複数の画素ライン（以下、走査ライン）のそれぞれにおいて、図５（ｂ），（ｃ）のようにＡ像信号とＢ像信号の両方を矢印の方向へ１ビットずつシフトしていくことで一対の像信号の相関量を算出する。そして、それぞれの相関量を加算平均することで１つの相関量として算出する。ここでは、相関量算出にあたって一対の像信号を１画素ずつ相対的にシフトさせる構成としたが、例えば２画素ずつ相対的にシフトさせる等、より多くの画素単位でシフトさせる構成でも構わない。また、各走査ラインの相関量を加算平均することで１つの相関量を算出したが、例えば各走査ラインの一対の像信号に対して加算平均を行い、その後、加算平均した一対の像信号に対して相関量の算出を行う構成でも構わない。シフト量をｉ、最小シフト量をｐ−ｓ、最大シフト量をｑ−ｔ、ｘを焦点検出領域４０２の開始座標、ｙを焦点検出領域４０２の終了座標とするとき、相関量ＣＯＲは以下の式（１）によって算出することができる。

図６（ａ）は、シフト量ｉと相関量ＣＯＲとの関係の一例を示している。横軸はシフト量ｉ、縦軸は相関量ＣＯＲである。シフト量ｉとともに変化する相関量６０１における極値付近６０２，６０３のうち、より小さい相関量に対応するシフト量において一対の像信号の一致度が最も高くなる。

Ｓ３０４では、ＡＦ信号処理部２０４は、Ｓ３０３で算出した相関量から相関変化量を算出する。図６（ａ）では、相関量６０１の波形における１シフトおきの相関量の差を相関変化量として算出する。シフト量をｉ、最小シフト量をｐ−ｓ、最大シフト量をｑ−ｔとするとき、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。

Ｓ３０５では、ＡＦ信号処理部２０４は、Ｓ３０４で算出した相関変化量を用いて像ずれ量を算出する。図７（ａ）は、シフト量ｉと相関変化量ΔＣＯＲとの関係の一例を示している。横軸はシフト量、縦軸は相関変化量ΔＣＯＲである。シフト量ｉとともに変化する相関変化量７０１は、７０２，７０３の部分でプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号の一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量となる。図７（ｂ）は、図７（ａ）中の７０２で示した部分を拡大した図である。７０４は相関変化量７０１の一部分である。ゼロクロスを与えるシフト量（ｋ−１＋α）は、整数部分βと小数部分αとに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）によって算出することができる。

また整数部分βは、図７（ｂ）から以下の式（４）によって算出することができる。

β＝ｋ−１ （４）
すなわち、小数部分αと整数部分βの和から像ずれ量ＰＲＤを算出することができる。図７（ａ）に示されるように、相関変化量ΔＣＯＲのゼロクロスが複数存在する場合は、その付近での相関変化量ΔＣＯＲの変化の急峻性がより大きい方を第１のゼロクロスとする。急峻性はＡＦの行い易さを示す指標であり、値が大きいほど精度良いＡＦを行い易い点であることを示す。急峻性ｍａｘｄｅｒは、以下の式（５）によって算出することができる。

本実施例では、相関変化量ΔＣＯＲのゼロクロスが複数存在する場合は、その急峻性によって第１のゼロクロスを決定し、第１のゼロクロスを与えるシフト量を像ずれ量とする。

Ｓ３０６では、ＡＦ信号処理部２０４は、Ｓ３０５で算出された焦点検出領域の像ずれ量を用いて焦点検出領域のデフォーカス量を算出する。

Ｓ３０７では、カメラ制御部２１２は、得られた焦点検出情報をメモリ回路２１５に記憶させる。ここでは、メモリ回路２１５は、各焦点検出領域のデフォーカス量と、Ａ像信号とＢ像信号の撮影時刻および像面速度とを記憶する。

ここで、像ずれ量の信頼性の算出方法について説明する。像ずれ量の信頼性は、一対の像信号の一致度（以下、二像一致度）ｆｎｃｌｖｌと相関変化量の急峻性によって定義することができる。二像一致度は、像ずれ量の精度を表す指標であり、本実施形態における相関演算ではその値が小さいほど精度が良いことを示す。

図６（ｂ）は、図６（ａ）中の６０２で示した部分を拡大した図で、６０４が相関量６０１の一部分である。二像一致度ｆｎｃｌｖｌは、以下の式（６）によって算出することができる。
（ｉ）｜ΔＣＯＲ［ｋ−１］｜×２≦ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ−１］＋ΔＣＯＲ［ｋ−１］／４
（ｉｉ）｜ΔＣＯＲ［ｋ−１］｜×２＞ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ］−ΔＣＯＲ[ｋ]／４ （６）
次に、図８から図１０のフローチャートを用いて、カメラ本体２０の基本的なフォーカス動作概要を説明する。図８は、カメラ本体２０の動作を示すフローチャートである。

カメラ本体２０が操作されて電源が投入されると、撮像素子２０１からの読み出しや表示部２０６への画像表示など一通りの初期化処理が行われる。

Ｓ８０１では、カメラ制御部２１２は、ユーザのカメラ操作による撮影準備開始指示がなされたかどうかを判断する。すなわち、第１のレリーズスイッチＳＷ１がＯＮされているかどうかを判断する。撮影準備開始指示がなされた場合、Ｓ８０２に進み、撮影準備開始指示がなされていない場合、Ｓ８０５に進む。

Ｓ８０２では、カメラ制御部２１２は、後述する撮影準備処理を行う。

Ｓ８０５では、カメラ制御部２１２は、後述する撮影準備前処理を行う。本ステップでは、カメラ本体２０の設定に応じて自動露光調整や、ホワイトバランス調整なども行われる。

Ｓ８０３では、カメラ制御部２１２は、ユーザのカメラ操作による撮影記録開始指示がなされたかどうかを判断する。すなわち、第２のレリーズスイッチＳＷ２がＯＮされているかどうかを判断する。撮影記録開始指示がなされた場合、Ｓ８０４に進み、撮影記録開始指示がなされていない場合、Ｓ８０１に戻る。

Ｓ８０４では、カメラ制御部２１２は、撮影処理として撮像用信号を用いて静止画記録などの処理が行われる。Ｓ８０４の処理の後、Ｓ８０１に戻る。

以下、図９を参照して、撮影準備前処理について説明する。図９は、撮影準備前処理を示すフローチャートである。撮影準備前処理は、第１のレリーズスイッチＳＷ１の操作前の処理である。

Ｓ９０１では、カメラ制御部２１２は、焦点検出処理を行い、主に設定されているＡＦ枠のデフォーカス量を取得する。

Ｓ９０２では、カメラ制御部２１２は、カメラ本体２０のフォーカス動作の設定が連続動作設定（ＡＦコンティ）であるかどうかを判断する。連続動作設定である場合、Ｓ９０３に進み、連続動作設定でない場合、Ｓ９０４に進む。

Ｓ９０３では、カメラ制御部２１２は、デフォーカス量にしたがって、フォーカスレンズ駆動を行い、ユーザ操作がない場合でも自動的に合焦動作を行う。

Ｓ９０４では、カメラ制御部２１２は、動き判定処理を行い、撮影対象が動きのある被写体（動体）であるかどうかが、判定結果として保持される。動き判定処理に関しては、後述する。

以下、図１０を参照して、撮影準備処理について説明する。図１０は、撮影準備処理を示すフローチャートである。撮影準備処理は、第１のレリーズスイッチＳＷ１の操作後の処理であり、第１のレリーズスイッチＳＷ１が操作されている間行われる。

Ｓ１００１では、カメラ制御部２１２は、図９のＳ９０４において撮影対象が動体であると判定されているかどうかを判断する。動体と判定されている場合、Ｓ１００２に進み、動体と判定されていない場合、Ｓ１００３に進む。

Ｓ１００２では、カメラ制御部２１２は、焦点調整を連続して行うサーボＡＦ（第１の焦点調整）を行う。

Ｓ１００３では、カメラ制御部２１２は、焦点調整を１回行うワンショットＡＦ（第２の焦点調整）を行う。

Ｓ１００４では、カメラ制御部２１２は、動き判定処理を行う。

以下、図１１を参照して、ワンショットＡＦについて説明する。図１１は、ワンショットＡＦ動作を示すフローチャートである。

Ｓ１１０１では、カメラ制御部２１２は、フォーカス動作前に撮像面位相差ＡＦに適した露出になるようにＩＳＯ（ゲイン）や絞り、シャッタースピードなどの露出設定（露出補正処理）を行う。

Ｓ１１０２では、カメラ制御部２１２は、ユーザによる撮影準備開始指示がなされているかどうかを判断する。撮影準備開始指示がなされている場合、Ｓ１１０３に進み、撮影準備開始指示がなされていない場合、撮影準備処理を終了する。

Ｓ１１０３では、カメラ制御部２１２は、焦点検出処理を行う。

Ｓ１１０４では、カメラ制御部２１２は、被写体に合焦したかどうかを判断する。被写体に合焦した場合、Ｓ１１０５に進み、被写体に合焦していない場合、Ｓ１１０７に進む。

Ｓ１１０５では、カメラ制御部２１２は、表示部２０６に合焦表示させる。その後、フォーカス制御のための合焦フラグをＯＮにして本フローを終了する。

Ｓ１１０７では、カメラ制御部２１２は、焦点検出処理を終了させるかどうかを判断する。焦点検出が問題なく行われて、信頼性が良好で正しいと思われるデフォーカス量が取得されていれば、その焦点検出処理結果を用いて、フォーカスレンズ駆動を行い（Ｓ１１０６）、Ｓ１１０２に戻る。一方、Ｓ１１０７において、焦点検出結果が正しく得られない場合には、サーチなどのレンズ動作に切り替えるために取得結果を用いないフォーカスレンズ駆動動作を行い、Ｓ１１０２に戻る。このように焦点検出とフォーカスレンズ駆動動作が繰り返しになり、合焦状態と判断できないが、焦点検出に時間がかかりすぎるとＳ１１０７において焦点検出処理を終了させる判断がなされる。このようなときにはステップＳ１１０８に移行に移行し、カメラ制御部２１２は表示部２０６に非合焦表示を行わせ、フォーカス制御のための非合焦フラグをＯＮにして本フローを終了する。

以下、図１２を参照して、サーボＡＦについて説明する。図１２は、サーボＡＦ動作を示すフローチャートである。

Ｓ１２０１では、カメラ制御部２１２は、ユーザによる撮影準備開始指示がなされているかどうかを判断する。撮影準備開始指示がなされている場合、Ｓ１２０２に進み、撮影準備開始指示がなされていない場合、本処理を終了する。

Ｓ１２０２では、カメラ制御部２１２は、焦点検出処理を行う。

Ｓ１２０３では、カメラ制御部２１２は、デフォーカス量を時系列方向に監視して、動き判定を行う。

Ｓ１２０４では、カメラ制御部２１２は、撮影対象が動体であるかどうかを判断する。動体である場合、Ｓ１２０５に進み、動体でない場合、Ｓ１２０６に進む。

Ｓ１２０５では、カメラ制御部２１２は、デフォーカス量および現在フォーカスレンズ位置の情報をもとに次のフレームでの被写体位置または被写体の像面位置を予測計算して、次のレンズ駆動量を求める予測演算処理を行う。

Ｓ１２０６では、カメラ制御部２１２は、被写体に合焦したかどうかを判断する。被写体に合焦した場合、Ｓ１２０７に進み、被写体に合焦していない場合、Ｓ１２１１に進む。

Ｓ１２０７では、カメラ制御部２１２は、フォーカス制御のための合焦フラグをＯＮにする。

Ｓ１２０８では、カメラ制御部２１２は、ユーザのカメラ操作による撮影記録開始指示がなされたかどうかを判断する。撮影記録開始指示がなされた場合、Ｓ１２０９に進み、撮影記録開始指示がなされていない場合、Ｓ１２０２に戻る。

Ｓ１２０９では、カメラ制御部２１２は、焦点検出処理や予測演算処理の結果を用いて、撮影前のフォーカスレンズ駆動を行う。

Ｓ１２１１では、カメラ制御部２１２は、焦点検出処理を終了させるかどうかを判断する。焦点検出が問題なく行われて、信頼性が良好で正しいと思われるデフォーカス量が算出されていれば、動き検出および予測演算処理の結果を踏まえたフォーカスレンズ駆動量をもとに、フォーカスレンズ駆動を行い（ステップＳ１２１０）、Ｓ１２０１に戻る。一方、Ｓ１２１１において、焦点検出結果が正しく得られない場合や、被写体を見失う、切り替わるなどの要因で焦点検出処理を終了する判断がなされると、Ｓ１２１２に進む。Ｓ１２１２では、カメラ制御部２１２は表示部２０６に非合焦表示を行わせ、フォーカス制御のための非合焦フラグをＯＮにして処理を終了する。

以下、図１３を参照して、Ｓ９０４、Ｓ１００４、およびＳ１２０３の動き判定の概要について説明する。図１３は、動き判定を示すフローチャートである。

Ｓ１３０１では、カメラ制御部２１２は、カメラ本体２０と被写体との平行方向（ｘ軸方向およびｙ軸方向）の動き（以下、ＸＹ動き）を検出する主被写体座標動き判定を行う。

Ｓ１３０２では、カメラ制御部２１２は、カメラ本体２０と被写体との距離方向（ｚ軸方向）の動き（以下、Ｚ動き）を検出する距離方向動き判定を行う。

Ｓ１３０３では、カメラ制御部２１２は、ＸＹ動き、およびＺ動きの少なくとも１つが動き判定されたかどうかを判断する。動き判定された場合、Ｓ１３０４に進み、動き判定されていない場合、Ｓ１３０５に進む。

Ｓ１３０４では、カメラ制御部２１２は、焦点調整動作の切り替え判断用の動き判定フラグにＴＲＵＥ設定を行う。

Ｓ１３０５では、カメラ制御部２１２は、動き判定フラグにＦＡＬＳＥ設定を行う。

Ｓ１３０６では、カメラ制御部２１２は、動き判定結果を通知するが、ズームレンズ動作している場合には、今回の動き検出結果ではなく、保持してあった１フレーム前またはズームレンズ動作前の被写体の動き検出結果を返す。

以下、図１４を参照して、主被写体座標動き判定について説明する。図１４は、主被写体座標動き判定処理を示すフローチャートである。

Ｓ１４０１では、カメラ制御部２１２は、主被写体枠（主枠）があるかどうかを判断する。主被写体枠がある場合、Ｓ１４０２に進み、主被写体枠がない場合、動き検出を行えないため、Ｓ１４０７に進む。

Ｓ１４０２では、カメラ制御部２１２は、今回フレームの主枠位置とサイズを算出して、その結果を保持しておく。

Ｓ１４０３では、カメラ制御部２１２は、前回フレームで検出された主枠位置とサイズを抽出して、今回フレームとの差分を算出しておく。

Ｓ１４０４では、カメラ制御部２１２は、ＸＹ動き判定閾値算出処理を行う。

Ｓ１４０５では、カメラ制御部２１２は、Ｓ１４０３で算出された差分がＳ１４０４で算出された閾値Ｔｘｙより大きいかどうかを判断する。差分が閾値Ｔｘｙより大きい場合、Ｓ１４０６に進み、差分が閾値Ｔｘｙより小さい場合、Ｓ１４０７に進む。なお、差分が閾値Ｔｘｙと等しい場合、どちらのステップに進むかは任意である。

Ｓ１４０６では、カメラ制御部２１２は、図１３のＳ１３０３で使用されるＸＹ動き判定フラグをＴＲＵＥにする。

Ｓ１４０７では、カメラ制御部２１２は、ＸＹ動きなしとして、ＸＹ動き判定フラグをＦＡＬＳＥにする。

以下、図１５および図１６を参照して、図１４のＳ１４０４のＸＹ動き判定閾値算出処理について説明する。図１５は、主被写体座標動きの説明図である。図１６は、ＸＹ方向動き判定閾値算出処理を示すフローチャートである。

Ｓ１６０１では、カメラ制御部２１２は、撮影準備前処理中であるかどうかを判断する。撮影準備前処理中である場合、Ｓ１６０２に進み、撮影準備前処理中でない場合、Ｓ１６０３に進む。

Ｓ１６０２では、カメラ制御部２１２は、主枠サイズの半分の値を閾値Ｔｘｙとして決定する。図１５（ａ）は、所定のフレーム（Ｎフレーム）の表示部２０６の画像イメージである。１５０１が画像全体として、人の顔のみ描画したものである。１５０３は人の顔、１５０２はカメラ本体２０が人の顔を認識して表示した主枠であり、１５０４は主枠１５０２の中心を示している。図１５（ｂ）は、次のフレーム（Ｎ＋１フレーム）の表示部２０６の画像イメージであり、撮影対象がＸＹ方向へ動いた前提で、顔のサイズ（＝主枠サイズ）も変わらずＸＹ方向へ移動した例を示している。１５０５はＮ＋１フレームの主枠、１５０６はＮ＋１フレームの主枠の中央を示している。図１５（ｃ）は、図１５（ａ）と図１５（ｂ）の主枠と主枠の中心の状態のみ、合成して示した図である。補助線ＡからＤはそれぞれ、Ｎフレームの主枠左端、Ｎフレームの主枠の中心、Ｎフレームの主枠右端、Ｎ＋１フレームの主枠の中心を指している。図１５において、主枠サイズの半分の値とは、補助線Ａ，Ｂの間隔に相当する。また、ステップＳ１４０３で算出された差分が主枠サイズの半分の値（閾値Ｔｘｙ）より大きくなり、ＸＹ動き判定フラグがＴＲＵＥになる場合というのは、図１５（ａ）の状態から図１５（ｂ）の状態になる場合である。具体的には、今回フレームの中心が前回フレームの主枠の外側に位置する場合である。このような場合、焦点検出や露光調整などの監視対象はＮフレームの主枠１５０２から外れていくと想定されるため、動き検出をして追いかける処理に移行する。なお、本実施例では主枠がＸ，Ｙ方向において同じサイズ、すなわち正方形として記述しているが、Ｘ，Ｙ方向において異なるサイズであれば、Ｘ，Ｙ方向で異なる閾値を設けて上記同等の処理を行うようにしてもよい。

Ｓ１６０３では、カメラ制御部２１２は、撮影準備処理中であるかどうかを判断する。撮影準備処理中である場合、Ｓ１６０４に進み、撮影準備処理中でない場合、Ｓ１６０６に進む。

Ｓ１６０４では、カメラ制御部２１２は、カメラシステムのパンニング成分の抽出を行い、カメラシステム全体がどのように振られているかの情報を取得する。本実施例では、撮像素子２０１から読み出された連続する画像をもとに画像の動きベクトルを抽出して、カメラシステム全体の動きを検出する方法が利用されている。また、カメラ本体２０に速度センサや加速度センサなどを取り付けて、カメラシステム全体の動きを検出する方法を利用してもよい。

Ｓ１６０５では、カメラ制御部２１２は、パンニング情報と主枠サイズをもとに、その足し算結果を閾値Ｔｘｙとして決定する（なお、ＸＹ方向のベクトル別に分離したものとする）。本ステップで決定される閾値Ｔｘｙは、ステップＳ１６０２で決定された閾値Ｔｘｙよりも大きい値としている。すなわち、撮影準備前処理中よりも撮影準備処理中の方がＸＹ方向の動き検出は動きと判定されにくいものとなっている。

Ｓ１６０６では、カメラ制御部２１２は、動体検出されない値を閾値Ｔｘｙとして決定する。

以下、図１７を参照して、距離方向動き判定を行う。図１７は、距離方向動き判定を示すフローチャートである。

Ｓ１７０１では、カメラ制御部２１２は、今回フレームでのデフォーカス量と、前回フレームでのデフォーカス量を取得する（０フレームであれば、０とする）。

Ｓ１７０２では、カメラ制御部２１２は、Ｓ１７０１で取得した前回と今回のデフォーカス量からデフォーカス変化量を算出する。

Ｓ１７０３では、カメラ制御部２１２は、デフォーカス変化量が５００μｍ未満であるかどうかを判断する。デフォーカス変化量が５００μｍ未満である場合、Ｓ１７０４に進む。一方、デフォーカス変化量が５００μｍ以上である場合、横切りなど異なる被写体をとらえてしまった場合や、誤ったデフォーカス算出がなされた懸念があり、Ｓ１７１５に進む。

Ｓ１７０４では、カメラ制御部２１２は、焦点距離変化が２０％未満であるかどうかを判断する。焦点距離変化が２０％未満である場合、Ｓ１７０５に進む。一方、焦点距離変化が２０％以上である場合、デフォーカス変化などの結果が焦点距離変化に依存するもので、被写体の動きではないと判断して、Ｓ１７１５に進む。

Ｓ１７０５では、カメラ制御部２１２は、今回のデフォーカスの変化方向が前回と同じであるかどうかを判断する。今回のデフォーカスの変化方向が前回と同じである場合、Ｓ１７０６に進む。一方、今回のデフォーカスの変化方向が前回と同じでない場合、デフォーカス検出結果のノイズである場合や、被写体の反転などの可能性が高いので、Ｓ１７１５に進む。

Ｓ１７０６では、カメラ制御部２１２は、前回のデータ（前回のデフォーカス量、および前回のデフォーカス変化量）を今回のデータ（今回のデフォーカス量、および今回のデフォーカス変化量）に更新する。

Ｓ１７０７では、カメラ制御部２１２は、Ｚ動き判定閾値算出処理を行う。Ｚ動き判定に使う閾値は３つあり、デフォーカス変化の閾値Ｔｄｅｆと、デフォーカス変化量の閾値Ｔｄｉｆｄｅｆと、動きが何回続いたのかをカウントする動きカウント値Ｔｃｎｔである。

Ｓ１７０８では、カメラ制御部２１２は、今回のデフォーカス量が閾値Ｔｄｅｆより大きいかどうかを判断する。今回のデフォーカス量が閾値Ｔｄｅｆより大きい場合、Ｓ１７０９に進み、今回のデフォーカス量が閾値Ｔｄｅｆより小さい場合、Ｓ１７１０に進む。なお。今回のデフォーカス量が閾値Ｔｄｅｆと等しい場合、どちらのステップに進むかは任意である。

Ｓ１７０９では、カメラ制御部２１２は、動き検知カウント値をカウントアップする。

Ｓ１７１０では、カメラ制御部２１２は、デフォーカス量が閾値Ｔｄｉｆｄｅｆより大きいかどうかを判断する。デフォーカス変化量が閾値Ｔｄｉｆｄｅｆより大きい場合、Ｓ１７１１に進み、デフォーカス変化量が閾値Ｔｄｉｆｄｅｆより小さい場合、Ｓ１７１２に進む。なお。デフォーカス変化量が閾値Ｔｄｉｆｄｅｆと等しい場合、どちらのステップに進むかは任意である。

Ｓ１７１１では、カメラ制御部２１２は、動き検知カウント値をカウントアップする。本実施例では、デフォーカス量と、デフォーカス変化量をそれぞれ独立にカウントするものとしている。そのため、デフォーカス量と、デフォーカス変化量がそれぞれ閾値Ｔｄｅｆと、閾値Ｔｄｉｆｄｅｆを超えない場合は動き検知カウント値をカウントアップせずに、Ｓ１７１２に進むことになる。

Ｓ１７１２では、カメラ制御部２１２は、動き検知カウント値が閾値Ｔｃｎｔ以上であるかどうかを判断する。動き検知カウント値が閾値Ｔｃｎｔ以上である場合、Ｓ１７１３に進み、動き検知カウント値が閾値Ｔｃｎｔ未満である場合、Ｓ１７１４に進む。

Ｓ１７１３では、カメラ制御部２１２は、Ｚ動き判定結果をＴＲＵＥとして返す。

Ｓ１７１４では、カメラ制御部２１２は、Ｚ動き判定結果をＦＡＬＳＥとして返す。

Ｓ１７１５では、カメラ制御部２１２は、デフォーカス量、デフォーカス変化量、および動き検知カウント値をリセットする。

なお、本実施例では、動き検知カウント値は、リセットされる（０になる）条件にならなければ、次のフレームに引き継がれ、数フレームかけて動きとして検出される。

以下、図１８を参照して、図１７のステップＳ１７０７のＺ動き判定閾値算出処理について説明する。図１８は、Ｚ動き判定閾値算出処理を示すフローチャートである。

Ｓ１８０１では、カメラ制御部２１２は、カメラシステムの許容錯乱円と設定時の絞り値を用いて、焦点深度Ｆδを算出する。

Ｓ１８０２では、カメラ制御部２１２は、撮影準備前処理中であるかどうかを判断する。撮影準備前処理中である場合、Ｓ１８０３に進み、撮影準備前処理中でない場合、Ｓ１８０４に進む。

Ｓ１８０３では、カメラ制御部２１２は、閾値Ｔｄｅｆを焦点深度の８倍（８Ｆδ）、閾値Ｔｄｉｆｄｅｆを８０μｍ、閾値Ｔｃｎｔを７とあらかじめ指定してある固定値に設定する。これは使用しているレンズユニット１０の特定条件に依存しており、閾値Ｔｄｅｆは被写体検出（例えば、顔検出）ができなくなるデフォーカス状態に至らないように実験的に決めておけばよい。また、閾値Ｔｄｉｆｄｅｆは、焦点距離と被写体距離の関係で被写体移動による像面移動変化が大きい条件において実験的に事前に決めておけばよい。また、閾値Ｔｃｎｔは、比較的動きが連続的に大きいときに発動させるための条件となっている。撮影準備前の閾値は総じて撮影準備前の段階で必ずしも距離方向を重要視せず、カメラシステムのフレーミングを優先するための設定としている。

Ｓ１８０４では、カメラ制御部２１２は、撮影準備処理中であるかどうかを判断する。撮影準備処理中である場合、Ｓ１８０５に進み、撮影準備処理中でない場合、Ｓ１８０７に進む。

Ｓ１８０５では、カメラ制御部２１２は、次のフレーム読み出しまでにフォーカスレンズ駆動を行ってデフォーカスを解消可能な範囲ＤＥＦ１を算出する。例えば６０ｆｐｓでフレームの読み出しを行う場合、フォーカスレンズ駆動は１６．６ｍｓ内で動ける範囲が算出される。フォーカスレンズ１０３の駆動量が決まると、レンズユニット１０の特性から像面の移動量を算出できる。

Ｓ１８０６では、カメラ制御部２１２は、閾値Ｔｄｅｆを焦点深度（Ｆδ）と範囲ＤＥＦ１のうち大きい方に設定する。また、カメラ制御部２１２は、閾値ＴｄｉｆｄｅｆをＳ１８０３で設定された値の半分の値４０μｍと、焦点深度Ｆδのうち小さい方に設定する。さらに、カメラ制御部２１２は、閾値Ｔｃｎｔを３に設定する。撮影準備中での閾値は総じて撮影準備として次の撮影に備えて距離方向の動きを重要視して、動きを検出するための設定としている。

Ｓ１８０７では、カメラ制御部２１２は、動き検出されない値を各閾値として設定する。

以上説明したように、本実施例の構成によれば、安定した焦点調整を実現することが可能である。

なお、本実施例では動き判定が有効となっている場合のカメラ動作について説明したが、動き判定を行わない制御が存在していてもよい。

被写体の位置の変化や、焦点検出領域内の距離（デフォーカス）変化によって動き検出を行い、サーボモードに切り替えてしまう場合がある。この場合、ワンショットモードで被写体に合焦した後、被写体との距離関係は変化していなくても、ユーザが構図の調整のためなどの理由でカメラを動かしただけでサーボモードに切り替わってしまい、ピントを固定させることができない。

そこで、本実施例では、ワンショットモードで合焦した後、被写体を追尾させ、その追尾被写体の光軸方向の変化のみで動きの検出を行い、その検出結果によってサーボモードへの切り替えを行う。これにより、ユーザによるパンニングやフレーミング動作などに左右されず、撮影したい被写体の動きのみで適切にＡＦ動作を切り替えることで、安定した焦点調整機能を提供することを可能とする。

以下、本実施例のカメラシステムについて図面を用いて説明するが、図１〜図９、図１１〜図１２、図１５については実施例１と同様のため説明は省略し、異なる部分の説明を行う。

まず、本実施例における撮影準備処理、および動き判定について説明する。図１９は、撮影準備処理を示すフローチャートである。図２０（ａ）は、ワンショットＡＦで合焦した際の被写体２００１と焦点検出領域２００２の関係を示している。図２０（ｂ）は、ワンショットＡＦで合焦した後、ＳＷ１を保持した状況が継続されている間に、被写体２００１が撮像素子２０１上で移動した状態を示している。図２０（ｂ）において、点線で囲まれた追尾領域２００３は、被写体２００１に対応している。

Ｓ１９０１からＳ１９０３までの処理はそれぞれ実施例１の図１０のＳ１００１からＳ１００３までの処理と同様であるため、説明は省略する。

Ｓ１９０４では、カメラ制御部２１２は、追尾被写体を決定する。図２０の例では、被写体２００１に合焦して終了する。なお、決定される被写体は、カメラシステムにより自動的に選択されてもよいし、カメラ操作部２１３を介したユーザにより選択されてもよい。本実施例では、カメラシステムにより自動的に選択された被写体２００１を追尾被写体として決定したものとして説明を行う。

Ｓ１９０５では、カメラ制御部２１２は、焦点検出処理を行う。本ステップで行う焦点検出処理は、Ｓ１９０４で決定した追尾被写体に対して行うため、図２１（ｂ）の焦点検出領域２００２と追尾領域２００３のように、ワンショットＡＦ中に焦点検出処理を行った領域と必ずしも一致するわけではない。

Ｓ１９０６では、カメラ制御部２１２は、Ｓ１９０５での焦点検出処理の結果を用いて、動き判定を行う。

以下、図２１を参照して、図１９のＳ１９０６での動き判定について説明する。図２１は、図１９のＳ１９０６での動き判定を示すフローチャートである。

Ｓ２１０１では、カメラ制御部２１２は、図１９のＳ１９０３で行ったワンショットＡＦの結果が合焦状態であるかどうかを判断する。ワンショットＡＦの結果が合焦状態である場合、Ｓ２１０２に進み、ワンショットＡＦの結果が非合焦状態である場合、本フローを終了する。

Ｓ２１０２では、カメラ制御部２１２は、被写体が動体であるかどうかを判定するための動き判定範囲を設定する。動き判定範囲は、ＡＦモードや、被写体の大きさ、距離、種類、手振れ補正などの光軸の変化を抑制する機構の制御状態、これらのうち少なくとも１つの要素によって変更することも可能である。

Ｓ２１０３では、カメラ制御部２１２は、追尾領域が動き判定範囲の内側にあるかどうかを判断する。追尾領域が動き判定範囲の内側である場合、Ｓ２１０４に進み、追尾領域が動き判定範囲の外側である場合、本処理を終了する。なお、本実施例では、追尾領域の全てが動き判定範囲の内側であるかどうかを判断しているが、追尾領域の少なくとも一部が動き判定範囲の内側であるかどうかを判断してもよい。

Ｓ２１０４では、カメラ制御部２１２は、図１７のフローチャートに従って距離方向動き判定を行う。

Ｓ２１０５では、カメラ制御部２１２は、Ｚ動きが動き判定されたかどうかを判断する。動き判定された場合、Ｓ２１０６に進み、動き判定されていない場合、Ｓ２１０７に進む。

Ｓ２１０６からＳ２１０８までの処理はそれぞれ、図１３のＳ１３０４からＳ１３０６までの処理と同様であるため、説明は省略する。

以上説明したように、本実施例では、ワンショットＡＦ後の動体かどうかによる切り替え判定は、追尾領域で行われ、かつＺ方向でのみ動き判定が行われる。そのため、第１のレリーズスイッチＳＷ１合焦後に、ユーザによるパンニングやフレーミング動作などを行ったとしても、被写体との距離関係が変化していなければ、ピントを固定させることができる。また、被写体との距離関係が変化した場合には、速やかにサーボモードに切り替えることが可能となる。

以下、図２２を参照して、図２１のＳ２１０２の動き判定範囲の設定について説明する。図２２は、動き判定範囲の説明図である。図２２（ａ）と図２２（ｂ）はそれぞれ、図２０（ａ）の第１のレリーズスイッチＳＷ１合焦時の状態を経た、第１のレリーズスイッチＳＷ１合焦後（第１のレリーズスイッチＳＷ１保持中）の状態を示している。図２２（ａ）では追尾領域２００３は動き判定範囲２００４の内側であるため、動き判定部２１２７によって動体であると判定された場合、ＡＦ制御切替部２１２４によってサーボＡＦに切り替えられる。図２２（ｂ）では追尾領域２００３は動き判定範囲２００４外であるため、被写体２００１がＺ方向へ変化したとしても、動き判定部２１２７による動き判定は行われず、ＡＦ制御切替部２１２４によるサーボＡＦへの切り替えも行われない。

以下、図２３を参照して、ＡＦモードの違いによる動き判定範囲の変形例について説明する。図２３は、動き判定範囲の変形例の説明図である。多くのカメラには、焦点検出を行う範囲、または対象の少なくともどちらかが異なるＡＦモード（焦点検出方式）が存在する。例えば、１つの焦点検出領域を用いる１点ＡＦモード、複数の焦点検出領域を用いるゾーンＡＦモード、画面全体で焦点検出を行う自動選択モードなどである。例えば、図２３（ａ）の１点ＡＦモードでは、焦点検出領域２３０１と動き判定範囲を２３０２が使用される。図２３（ｂ）のゾーンＡＦモードでは、９つの矩形領域で構成される焦点検出領域２３０３と１点ＡＦモードの動き判定範囲より広い動き判定領域２２０４を使用する。図２３（ｃ）の自動選択モードでは、画面全体で焦点検出を行うため、動き判定領域２３０５も画面全体とする。また、図２３（ａ’）に示されるように、焦点検出領域２３０１が存在する位置を基準として、動き判定範囲２３０２を決定することも可能である。これにより、ユーザが焦点検出を行いたい範囲に対応した動き検出を行うことが可能となる。

以下、図２４を参照して、追尾被写体の大きさ、距離、種類による動き判定範囲の変形例について説明する。図２４は、動き判定範囲の変形例の説明図である。図２４（ａ）〜（ｄ）のいずれについても、１点ＡＦモードが設定され、焦点検出領域が画面中央に位置している状態で、ワンショットＡＦが合焦して終了したものとして説明する。

まず、図２４（ａ），（ｂ）を用いて、大きさと距離の違いによる動き判定範囲の変形について説明する。被写体２４０１と被写体２４０３では、被写体２４０３のほうが画面上に大きく写っている。このような状態が発生する場合というのは、単純に被写体が大きい場合や、同じ大きさの被写体でも、その距離がより近い場合が考えられる。被写体の動き量やカメラシステムの動き量が同一であっても、被写体距離が近い場合、画面上での動き量はより大きくなる。そのため、被写体の大きさに比例する係数α_ｓｉｚｅを積算、または被写体距離に比例する係数γ_{ｄｉｓｔａｎｃｅ}を除算することで、被写体の大きさと距離に応じて、適切な動き判定範囲を設定することができる。図２４（ａ），（ｂ）では、動き判定範囲２４０４は動き判定範囲２４０２よりも広くなるように設定されている。なお、係数γ_{ｄｉｓｔａｎｃｅ}を除算するだけでも適切な動き判定範囲を適切に設定することは可能であるが、被写体距離を取得するために専用のユニットが必要である場合や、検出精度に課題があるなど、いくつかの制約が存在する場合がある。一方、被写体の大きさは被写体を検出することさえできれば得られる情報であるため専用のユニットは不要であり、検出精度も被写体距離に比べて高いことから、係数α_ｓｉｚｅを組み合わせることで、より条件に適した係数を算出することができる。

次に、図２４（ｃ），（ｄ）を用いて、被写体の種類による動き判定範囲の変形について説明する。図２４（ｃ）では、追尾被写体２４０５として建物が選択されている。図２４（ｄ）では、追尾被写体２４０７として車が選択されている。追尾被写体２４０５として建物が選択された場合、建物は通常動くことはないため、追尾を開始した点から移動したということは、ユーザがフレーミングなどを行った可能性が高い。また、距離方向の変化が発生した場合も、ユーザが意図的に変化させた可能性が高いため、サーボＡＦに切り替える必要性は低い。これは建物以外の人による設置物や植物などにおいても同様のことが考えられる。

一方、追尾被写体２４０７として車が選択された場合、動いているときの速さは人などが動くときの速さに比べて速いため、画面内の同一の領域でとらえ続けることは非常に難しく、ユーザによるフレーミング技術に左右される。そのため、動き判定範囲を広く設定した方が、より適切に動き判定を行うことができる。このように動き判定範囲を拡大する必要があるものは、車以外にも、動きの速い乗り物全般、また、動きの予測しづらい動物などが考えられる。

このように、被写体の種類によって決まる係数β_ｔｙｐｅを積算することで、被写体の種類に応じて動き判定範囲を適切に設定することができる。係数β_ｔｙｐｅの一例として、人を基準の１とした場合、建物などを０．５、車などを１．３とすればよい。したがって、図２４（ｃ），（ｄ）のように、追尾被写体２４０５が追尾被写体２４０７よりも大きい場合でも、その種類によっては、動き判定範囲２４０６のほうが動き判定範囲２３０８よりも狭くなる場合もある。

以上より、画面上に占める割合である動き判定範囲Ａｒｅａは、ＡＦモードによって決まる動き判定範囲の基準値Ａｒｅａ_Ｂａｓｅを用いて、式（７）によって算出できる。基準値Ａｒｅａ_Ｂａｓｅは例えば、１点ＡＦモードで３０％、ゾーンＡＦモードで６０％、自動選択モードで１００％とする

また、動き判定範囲と同様に、図１７のＳ１７０７のＺ方向動き判定閾値算出処理において、追尾被写体の大きさ、距離、種類を加味して、閾値Ｔｈを式（８）によって算出してもよい。

また、焦点検出装置が光軸ずれの抑制手段を備えている場合、その制御状態、つまり防振量に比例する係数δを除算することで、式（９），（１０）のように動き判定範囲Ａｒｅａと、動き判定閾値Ｔｈを算出することも可能である。

光軸ずれの抑制手段としては、レンズユニット内の防振機構における、いわゆるレンズ内防振制御、撮像素子自体をシフトさせることによるカメラ内防振制御、撮像素子から読み出される領域を光軸ずれ量に合わせてシフトさせる電子的な防振制御などがある。

また、本実施例では、ワンショットＡＦ終了後、初めて動き判定範囲を設定する際に、動き判定範囲や動き判定閾値を切り替える例を説明したが、本発明はこれに限定されない。例えば、動き判定範囲の基準点以外の要素であれば、図２１のＳ２１０２を通るたび、つまり、ＳＷ１を保持している最中の被写体の状態やカメラの制御状態に合わせて動き判定範囲や動き判定閾値を都度更新してもよい。

以上説明したように、本実施例の構成によれば、安定した焦点調整を実現することが可能である。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ フォーカスレンズ
２１２ カメラ制御部（焦点調整装置）
２１２３ ＡＦ制御部（焦点調整手段）
２１２７ 動き判定部（判定手段）
２１３ カメラ操作部（操作手段）

Claims (16)

1. 光軸に沿って進退可能なフォーカスレンズを含む光学系を通して結像された被写体像を光電変換して生成された撮像用信号および焦点検出用信号の変化に基づいて被写体が動体であるかどうかを判定する判定手段と、
   操作手段による操作に応じて、前記焦点検出用信号に基づいて生成された前記フォーカスレンズの駆動に関する情報を用いて焦点調整を行う焦点調整手段とを有し、
   前記判定手段は、前記操作手段による操作前、第１の閾値を用いて前記被写体が動体であるかどうかを判定し、前記操作手段による操作後、前記第１の閾値とは異なる第２の閾値を用いて前記被写体が動体であるかどうかを判定し、
   前記焦点調整手段は、前記操作手段による操作前に前記判定手段により前記被写体が動体であると判定された場合、前記焦点調整を連続して行う第１の焦点調整を行うとともに、前記焦点調整を１回行う第２の前記焦点調整を行った後、前記判定手段により前記被写体が動体であると判定された場合、前記第１の焦点調整を行うことを特徴とする焦点調整装置。
2. 前記判定手段は、前記撮像用信号の変化に基づいて前記被写体の前記光軸に垂直な方向における動きを検出した場合、および前記焦点検出用信号の変化に基づいて前記被写体の前記光軸における動きを検出した場合の少なくとも一方の場合に前記被写体が動体であると判定することを特徴とする請求項１に記載の焦点調整装置。
3. 前記第１の閾値は、前記被写体の前記光軸に垂直な方向の動きを検出する際に使用される第３の閾値、および前記被写体の前記光軸における動きを検出する際に使用される第４の閾値を含み、
   前記第２の閾値は、前記被写体の前記光軸に垂直な方向の動きを検出する際に使用され、前記第３の閾値より大きい第５の閾値、および前記被写体の前記光軸における動きを検出する際に使用され、前記第４の閾値より小さい第６の閾値を含むことを特徴とする請求項２に記載の焦点調整装置。
4. 光軸に沿って進退可能なフォーカスレンズを含む光学系を通して結像された被写体像を光電変換して生成された撮像用信号および焦点検出用信号の変化に基づいて被写体が動体であるかどうかを判定する判定手段と、
   操作手段による操作に応じて、前記焦点検出用信号に基づいて生成された前記フォーカスレンズの駆動に関する情報を用いて焦点調整を行う焦点調整手段とを有し、
   前記判定手段は、前記操作手段による操作前、第１の閾値を用いて前記被写体が動体であるかどうかを判定し、前記操作手段による操作後、前記被写体に対応する追尾領域の前記焦点検出用信号のみの変化、および前記第１の閾値とは異なる第２の閾値を用いて前記被写体が動体であるかどうかを判定し、
   前記焦点調整手段は、前記操作手段による操作前に前記判定手段により前記被写体が動体であると判定された場合、前記焦点調整を連続して行う第１の焦点調整を行うとともに、前記焦点調整を１回行う第２の焦点調整を行い、前記第２の焦点調整の結果が合焦状態となった後、前記判定手段により前記被写体が動体であると判定された場合、前記第１の焦点調整を行うことを特徴とする焦点調整装置。
5. 前記判定手段は、前記第１の焦点調整が行われ、前記第２の焦点調整の結果が非合焦状態となった場合、前記被写体が動体であるかどうかを判定しないことを特徴とする請求項４に記載の焦点調整装置。
6. 前記判定手段は、前記被写体が動体であるかどうかを判定するための判定範囲を設定し、前記追尾領域が前記判定範囲より外側である場合、前記被写体が動体であるかどうかを判定しないことを特徴とする請求項４または５に記載の焦点調整装置。
7. 前記判定手段は、互いに焦点検出を行う範囲、または前記焦点検出の対象の少なくとも一方が異なる複数の焦点検出方式ごとに、前記判定範囲を設定することを特徴とする請求項６に記載の焦点調整装置。
8. 前記判定手段は、焦点検出領域が存在する位置を基準として前記判定範囲を設定することを特徴とする請求項６または７に記載の焦点調整装置。
9. 前記判定手段は、前記被写体の大きさ、距離、および種類の少なくとも１つに基づいて前記判定範囲を設定することを特徴とする請求項６から８のいずれか１項に記載の焦点調整装置。
10. 前記判定手段は、前記被写体の大きさ、距離、および種類の少なくとも１つに基づいて前記第２の閾値を設定することを特徴とする請求項６から９のいずれか１項に記載の焦点調整装置。
11. 前記判定手段は、前記光学系に対する光軸の変化を抑制する抑制手段の制御状態に応じて前記判定範囲を設定することを特徴とする請求項６から１０のいずれか１項に記載の焦点調整装置。
12. 前記判定手段は、前記光学系に対する光軸の変化を抑制する抑制手段の制御状態に応じて前記第２の閾値を設定することを特徴とする請求項６から１１のいずれか１項に記載の焦点調整装置。
13. 光軸に沿って進退可能なフォーカスレンズを含む光学系を通して結像された被写体像を光電変換して撮像用信号および焦点検出用信号を出力する撮像手段と、
    請求項１から１２のいずれか１項に記載の焦点調節装置とを有することを特徴とする撮像装置。
14. 操作手段による操作前、光軸に沿って進退可能なフォーカスレンズを含む光学系を通して結像された被写体像を光電変換して生成された撮像用信号および焦点検出用信号の変化と、第１の閾値に基づいて被写体が動体であるかどうかを判定する第１判定ステップと、
    前記第１判定ステップにおいて、前記被写体が動体であると判定された場合、前記操作手段による操作後、前記焦点検出用信号に基づいて生成された前記フォーカスレンズの駆動に関する情報を用いて焦点調整を連続して行う第１の焦点調整を行う第１調整ステップと、
    前記第１判定ステップにおいて、前記被写体が動体でないと判定された場合、前記操作手段による操作後、前記フォーカスレンズの駆動に関する情報を用いて前記焦点調整を１回行う第２の焦点調整を行う第２調整ステップと、
    前記第２調整ステップの後、前記撮像用信号および前記焦点検出用信号の変化と、前記第１の閾値とは異なる第２の閾値に基づいて前記被写体が動体であるかどうかを判定する第２判定ステップと、
    前記第２判定ステップにおいて、前記被写体が動体であると判定された場合、前記フォーカスレンズの駆動に関する情報を用いて前記第２の焦点調整を行う第３調整ステップとを有することを特徴とする焦点調整方法。
15. 操作手段による操作前、光軸に沿って進退可能なフォーカスレンズを含む光学系を通して結像された被写体像を光電変換して生成された撮像用信号および焦点検出用信号の変化と、第１の閾値に基づいて被写体が動体であるかどうかを判定する第１判定ステップと、
    前記第１判定ステップにおいて、前記被写体が動体であると判定された場合、前記操作手段による操作後、前記焦点検出用信号に基づいて生成された前記フォーカスレンズの駆動に関する情報を用いて焦点調整を連続して行う第１の焦点調整を行う第１調整ステップと、
    前記第１判定ステップにおいて、前記被写体が動体でないと判定された場合、前記操作手段による操作後、前記フォーカスレンズの駆動に関する情報を用いて前記焦点調整を１回行う第２の焦点調整を行う第２調整ステップと、
    前記第２調整ステップの後、前記被写体に対応する追尾領域の前記焦点検出用信号のみの変化と、前記第１の閾値とは異なる第２の閾値に基づいて前記被写体が動体であるかどうかを判定する第２判定ステップと、
    前記第２判定ステップにおいて、前記被写体が動体であると判定された場合、前記フォーカスレンズの駆動に関する情報を用いて前記第２の焦点調整を行う第３調整ステップとを有することを特徴とする焦点調整方法。
16. 請求項１４または１５に記載の焦点調整方法をコンピュータに実行させるプログラム。