JP2020190653A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】移動する被写体を連続撮影するサーボ連写において、二次光学系による焦点検出と撮像面位相差検出方式とを有効に利用して焦点を合わせることができる撮像装置を提供する。【解決手段】撮影画面内の第１の範囲において焦点検出が可能な第１の焦点検出部と、撮影画面内の第１の範囲よりも広い第２の範囲において焦点検出が可能な第２の焦点検出部と、撮影画面内の第２の焦点検出部のみにより焦点検出が可能な、第１の範囲と第２の範囲の差の領域に動体が存在する状態から第１の範囲に動体が移動した場合に、第１の焦点検出部の検出結果の履歴が所定数だけ取得できるまで、第２の焦点検出部の検出結果の履歴を用いて、動体への撮影光学系の合焦位置を予測し、動体に撮影光学系の焦点を合わせるように制御する制御部とを備える。【選択図】 図１１

Description

本発明は、撮像装置における焦点検出技術に関するものである。

従来より、撮像装置の焦点検出方式として、位相差検出方式が一般に広く知られている。レンズ交換式のカメラにおける位相差検出方式を用いた焦点検出方法には、光学ファインダ使用時に使用される二次光学系による焦点検出方法と、所謂撮像面位相差検出方式と呼ばれる撮像素子の撮像面での位相差焦点検出方法とがある。

二次光学系による焦点検出は、光学ファインダに撮影光束を導く第１のミラーの半透過部分を透過した光束を第２のミラーで分離し、撮像光学系の射出瞳のうち異なる瞳領域を通過した一対の光束を焦点検出用センサに導いてピントのズレ量を検出する方式である。

また、撮像面位相差検出方式は、撮像光学系の射出瞳のうち異なる瞳領域を通過した一対の光束に対応する焦点検出信号を撮像素子が出力し、その信号に基づいてピントのズレ量を検出する方式である。

二次光学系による焦点検出は、光学ファインダーをユーザーが観測しながら焦点検出を同時に行うことができるという長所があるが、ミラーや二次光学系の制約から光学ファインダーの中心付近でしか焦点検出を行えないという欠点がある。

一方で、撮像面位相差検出方式では、第１のミラーをアップして撮像素子で撮像しているときにしか焦点検出を行えない。そのため、焦点検出の実行中はユーザーが光学ファインダーを観測することができないという欠点がある。しかし、二次光学系よりも広い範囲で焦点検出を行うことができるという長所がある。

例えば、特許文献１には、これらの２つの方式の焦点検出を行う機能を有する撮像装置において、２つの焦点検出方式を、温度、湿度、光学系の形状変化などに基づいて使い分ける動作シーケンスが開示されている。

特開２０１４−１４２３７２号公報

しかしながら、上述の特許文献１に開示された従来技術では、移動する被写体を連続撮影するサーボ連写において、フレーム外から動体がフレームインしてきた場合などに、２つの焦点検出方式をどのように使うかについては言及されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、移動する被写体を連続撮影するサーボ連写において、二次光学系による焦点検出と撮像面位相差検出方式とを有効に利用して焦点を合わせることができる撮像装置を提供することである。

本発明に係わる撮像装置は、撮影画面内の第１の範囲において焦点検出が可能な第１の焦点検出手段と、前記撮影画面内の前記第１の範囲よりも広い第２の範囲において焦点検出が可能な第２の焦点検出手段と、撮影画面内の前記第２の焦点検出手段のみにより焦点検出が可能な、前記第１の範囲と前記第２の範囲の差の領域に動体が存在する状態から前記第１の範囲に前記動体が移動した場合に、前記第１の焦点検出手段の検出結果の履歴が所定数だけ取得できるまで、前記第２の焦点検出手段の検出結果の履歴を用いて、前記動体への撮影光学系の合焦位置を予測し、前記動体に前記撮影光学系の焦点を合わせるように制御する制御手段と、を備えることを特徴とする。

本発明によれば、移動する被写体を連続撮影するサーボ連写において、二次光学系による焦点検出と撮像面位相差検出方式とを有効に利用して焦点を合わせることができる撮像装置を提供することが可能となる。

本発明の撮像装置の第１の実施形態であるレンズ交換式のカメラシステムの構成を示すブロック図。 撮像素子の画素配置を示す図。 撮像素子内での各焦点検出領域の配置例を示す図。 静止画撮影を行う際のカメラシーケンスを説明するフローチャート。 ＡＦセンサによる焦点検出の原理について説明する図。 撮像素子による焦点検出処理の動作を示すフローチャート。 焦点検出処理で取り扱う焦点検出範囲を示す図。 図７で設定した焦点検出領域から取得した像信号を示した図。 相関量と相関変化量を示した図。 被写体とレンズと撮像素子の関係を示す図。 図４のＳ５１７で実行される焦点調節制御を示すフローチャート。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本発明の撮像装置の一実施形態であるレンズ交換式のカメラシステム１００の構成を示すブロック図である。

図１に示すように、本実施形態のカメラシステム１００は、着脱可能なレンズ１０とカメラ２０とから構成されている。レンズ１０がカメラ２０に装着されることにより、レンズ１０全体の動作を統括制御するレンズ制御部１０６と、カメラ２０全体の動作を統括制御するカメラ制御部２１２とが通信可能に接続される。

まず、レンズ１０の構成について説明する。レンズ１０は、固定レンズ１０１、絞り１０２、フォーカスレンズ１０３、絞り駆動部１０４、フォーカスレンズ駆動部１０５、レンズ制御部１０６、レンズ操作部１０７を備える。固定レンズ１０１、絞り１０２、フォーカスレンズ１０３は、撮影光学系を構成する。絞り１０２は、絞り制御部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、撮影光学系の焦点調節を行う。

絞り駆動部１０４、フォーカスレンズ駆動部１０５はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３の位置を制御する。レンズ制御部１０６は、後述するカメラ制御部２１２から受信した制御命令及び制御情報に応じて、絞り駆動部１０４やフォーカスレンズ駆動部１０５の制御を行う。また、レンズ制御情報をカメラ制御部２１２に送信する。

次に、カメラ２０の構成について説明する。カメラ２０はレンズ１０内の撮影光学系を通過した光束を受光し、画像信号を生成する機能を有する。

まず、被写体により反射されレンズ１０内の撮影光学系を通過した光束は回動可能なクイックリターンミラー２５２に導かれる。クイックリターンミラー２５２の中央部はハーフミラーになっており、クイックリターンミラー２５２がダウンした状態（図１に図示した状態）において、一部の光束を透過させる。クイックリターンミラー２５２を透過した光束は、後方のサブミラー２５３で反射され、ＡＦセンサ（焦点検出センサ）２５４に導かれる。ＡＦセンサ２５４は焦点検出回路２５５によって駆動される。図５においても説明するが、ＡＦセンサ２５４は、セパレータレンズと受光素子が画面内で縦横に配置されて構成されている。ＡＦセンサ２５４を用いたこの焦点検出方法を本実施形態では「ＡＦセンサによる焦点検出」と呼ぶこととする。

一方、クイックリターンミラー２５２で反射された撮影光束は、マットスクリーン２５０に結像され、ユーザーは、その像をペンタプリズム２５１、接眼レンズ２５６を介して観測することができる。

また、クイックリターンミラー２５２がアップした状態（矢印Ａで示す方向に上昇した状態）においては、レンズ１０からの光束は、機械シャッタであるフォーカルプレーンシャッタ２５８、フィルタ２５９を介して撮像素子２０１に入射し結像される。フィルタ２５９は２つの機能を有している。１つは赤外線や紫外線などをカットし可視光線のみを撮像素子２０１へ導く機能であり、もう１つは、光学ローパスフィルタとしての機能である。また、フォーカルプレーンシャッタ２５８は、先幕及び後幕を有し、開閉することによりレンズ１０からの光束を透過させる状態と遮断する状態を切り替える。

レンズ１０の撮影光学系を通過した光束は撮像素子２０１の受光面上に結像され、受光面に配置された各画素のフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１２の指令により、タイミングジェネレータ２１５から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。

ここで、撮像素子２０１の画素配置について図２を参照して説明する。撮像素子２０１は、図２（ｂ）のように撮像面位相差ＡＦを行うために、一つのマイクロレンズ２９２について２つのフォトダイオード（光電変換素子）２９３，２９４を有する単位画素を複数有する。

光束をマイクロレンズ２９２で分離し、２つのフォトダイオード２９３，２９４に結像させることにより、撮像用とＡＦ用の２つの信号を取り出すことができる。２つのフォトダイオードの信号を加算した信号（Ａ＋Ｂ）が撮像信号であり、個々のフォトダイオードの信号（Ａ，Ｂ）がＡＦ用の２つの像信号である。後述するＡＦ信号処理部２０４において、２つのＡＦ用の像信号に対して相関演算を行い、像ずれ量や各種信頼性情報を算出する。この撮像素子２０１を用いた焦点検出方法を、本実施形態では「撮像素子による焦点検出」と呼ぶこととする。

図１の説明に戻って、撮像素子２０１から読み出された撮像信号及びＡＦ用信号はＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２に入力され、リセットノイズを除去するための相関二重サンプリング、ゲインの調節、信号のデジタル化が行われる。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は撮像信号を画像入力コントローラ２０３に出力する。画像入力コントローラ２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された撮像信号をＳＤＲＡＭ２０９に格納する、またＡＦ用信号をＡＦ信号処理部２０４に出力する。

ＳＤＲＡＭ２０９に格納された撮像信号は、バス２１を介して、表示制御部２０５に入力され、表示制御部２０５の制御により表示部２０６に表示される。また、撮像信号の記録を行うモードの場合には、撮像信号は記録媒体制御部２０７に入力され、記録媒体制御部２０７の制御により記録媒体２０８に記録される。また、バス２１を介して接続されたＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラム及び制御に必要な各種データ等が格納されている。フラッシュＲＯＭ２１１には、ユーザ設定情報等のカメラ２０の動作に関する各種設定情報等が格納されている。

ＡＦ信号処理部２０４は、ＡＦ用信号について画素加算、相関演算を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。算出した像ずれ量と、信頼性情報をカメラ制御部２１２へ出力する。また、カメラ制御部２１２は、取得した像ずれ量や信頼性情報に基づいて、これらを算出する設定の変更をＡＦ信号処理部２０４に通知する。例えば、像ずれ量が大きい場合に相関演算を行う領域を広く設定したり、コントラスト情報に応じてバンドパスフィルタの種類を変更したりする。相関演算の詳細については後述する。

なお、本実施形態では、撮像信号及び２つのＡＦ用信号の計３つの信号を撮像素子２０１から取り出しているが、このような方法に限定されない。撮像素子２０１の負荷を考慮し、例えば撮像信号と１つのＡＦ用信号の計２つを取り出し、画像入力コントローラ２０３内で撮像信号とＡＦ用信号の差分を取ることにより、もう一つのＡＦ用信号を生成するような制御にしてもよい。

カメラ制御部２１２は、カメラ２０内の各部と情報をやり取りして制御を行う。カメラ２０内の処理だけでなく、カメラ操作部２１４からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、静止画／動画記録の開始、ＡＦ制御の開始、記録映像の確認等の、ユーザーが操作したさまざまなカメラ機能を実行する。また、前述したように、レンズ１０内のレンズ制御部１０６と通信し、レンズの制御命令及び制御情報を送り、またレンズ内の情報を取得する。なお、カメラ操作部２１４には、カメラ２０の撮像動作を実行させるためのレリーズボタンが配置されている。レリーズボタンは、２段階の押しボタンとなっており、半押しされることによりスイッチＳＷ１がＯＮとなり、撮影準部動作が行われる。また、全押しされることによりスイッチＳＷ２ＯＮとなり、撮影動作が行われる。

（焦点検出領域の配置例）
図３は、撮像素子２０１の撮影画面内での各焦点検出領域の配置例を示す図である。撮像領域３００は、撮像素子２０１の撮像できる範囲を示す。

図３（ａ）において、点線の四角３０１は、ＡＦセンサ２５４で焦点検出可能な枠であり、点線の四角９か所で焦点検出することができる。実線の四角３０２は、撮像素子２０１で焦点検出可能な枠であり、実線の四角４５か所で焦点検出することができる。

また、図３（ｂ）において、点線及び実線の四角は図３（ａ）と同じものである。斜め線の領域３１１が、ＡＦセンサ２５４による焦点検出と、撮像素子２０１による焦点検出の両方が可能な領域となる。縦線の領域３１２が、撮像素子２０１による焦点検出だけが可能な領域となる。

（基本的な動作）
次に、図１に示すカメラ２０の動作について説明する。本実施形態では、ＡＦセンサ２５４によって焦点検出するシーケンスと、撮像素子２０１によって焦点検出するシーケンスを用いる。

ＡＦセンサ２５４と撮像素子２０１のどちらをＡＦに用いるかの選択方法は数々の特許文献に開示されている。本実施形態では、例として図３（ｂ）の領域３１１のように両方のセンサによって焦点検出できる範囲に被写体が存在する場合は、ＡＦセンサ２５４を優先的に用いるものとする。また、図３（ｂ）の領域３１２のように撮像素子２０１のみにより焦点検出できる範囲に被写体が存在する場合は、撮像素子２０１を用いることとする。

図４は、静止画撮影を行う際のカメラシーケンスを説明するフローチャートである。

Ｓ５０１では、カメラ制御部２１２は、カメラ操作部２１４に配置されたレリーズボタンが半押し（スイッチＳＷ１がＯＮ）されたか否かを判別する。ＯＮされていればＳ５０２へ移行する。ＯＮされるまではＳ５０１を繰り返す。

Ｓ５０２では、カメラ制御部２１２は、レンズ１０を通りクイックリターンミラー２５２で反射され、ペンタプリズム２５１を通過した光束を、不図示の測光回路により測光する。

Ｓ５０３では、カメラ制御部２１２は、ＡＦセンサ２５４、焦点検出回路２５５を用いて、焦点検出を行う。ＡＦセンサ２５４による焦点検出の詳細は後述する。

Ｓ５０４では、カメラ制御部２１２は、焦点検出結果に基づき、レンズ制御部１０６にレンズ駆動量を送信する。レンズ制御部１０６は送信されたレンズ駆動量に基づきフォーカスレンズ駆動部１０５を制御し、フォーカスレンズ駆動部１０５は撮影レンズ１０３を合焦位置へと駆動する。

Ｓ５０５では、カメラ制御部２１２は、カメラ操作部２１４に配置されたレリーズボタンが全押し（スイッチＳＷ２がＯＮ）されたか否かを判別する。ＯＮされていればＳ５０６へ移行し、連写撮影を開始する。ＯＮされていなければＳ５０１に戻り、Ｓ５０１からＳ５０５を繰り返す。

Ｓ５０６では、カメラ制御部２１２は、クイックリターンミラー２５２を制御し、ミラーアップを行う。Ｓ５０７では、カメラ制御部２１２は、Ｓ５０２の測光により得られた絞り値情報をレンズ制御部１０６へ送信する。レンズ制御部１０６は、絞り駆動部１０４を駆動して、絞り１０２を設定された絞り値まで絞り込む。この絞り駆動は、Ｓ５０６のミラーアップとほぼ同時に行われる。

Ｓ５０８では、カメラ制御部２１２は、フォーカルプレーンシャッタ２５８を開くよう制御する。Ｓ５０９では、撮影レンズ１０３からの光束により撮像素子２０１が所定時間露光され、電荷が蓄積される。Ｓ５１０では、カメラ制御部２１２は、フォーカルプレーンシャッタ２５８を閉じる。さらに、次回の動作に備えてフォーカルプレーンシャッタ２５８のチャージ動作を行う。

Ｓ５１１では、カメラ制御部２１２は、撮像素子２０１の画像データを読み出し、画像入力コントローラ２０３に出力する。この画像データは、図２で説明したＡ像、Ｂ像、Ａ＋Ｂ像を全て読み出すこととする。画像入力コントローラ２０３は、撮像素子２０１から画像データを取り込み、画像圧縮を行い、記憶媒体２０８へ記録する。撮像素子２０１による焦点検出の詳細は後述する。

Ｓ５１２では、カメラ制御部２１２は、レンズ制御部１０６へ絞りを開放するよう指示し、レンズ制御部１０６は、絞り駆動部１０４を駆動して絞り１０２を開放状態へ移行させる。Ｓ５１３では、カメラ制御部２１２は、クイックリターンミラー２５２をダウン駆動する。

Ｓ５１４では、カメラ制御部２１２は、レリーズボタンが全押しされ続けているか否かを判別する。全押しされ続けていればＳ５１５へ移行する。離されていれば、これ以降の静止画撮影が指示されていないと判断して、連写処理を終了する。

Ｓ５１５では、Ｓ５０２と同様に、カメラ制御部２１２は、再度測光回路による測光を行い、Ｓ５１６へ移行する。Ｓ５１６では、Ｓ５０３と同様に、カメラ制御部２１２は、ＡＦセンサ２５４を用いて焦点検出を行い、Ｓ５１７へ移行する。Ｓ５１７では、本実施形態の特徴部分である焦点検出制御が実行される。焦点検出制御の詳細は後述する。

Ｓ５１８では、Ｓ５０４と同様に、カメラ制御部２１２は、Ｓ５１７で行われた焦点検出の結果に基づき、レンズ制御部１０６にレンズ駆動量を送信する。レンズ制御部１０６は送信されたレンズ駆動量に基づいてフォーカスレンズ駆動部１０５を制御し、フォーカスレンズ駆動部１０５は撮影レンズ１０３を合焦位置へと駆動してＳ５０６に進む
（ＡＦセンサによる焦点検出の説明）
図５を参照して、ＡＦセンサ２５４による焦点検出、デフォーカス量検出（ピント位置ズレ量検出）の原理について説明する。

図５は、デフォーカス量検出の原理説明図である。図５に示すように、ＡＦセンサ２５４の受光素子上にピントが合っているとき、ラインセンサ上のＡＦ用の２像の間隔はある値をとる。この値は設計上求めることができるが、実際には、部品の寸法バラツキや組立て上の誤差によって設計値と同じとはならない。したがって、実際には測定しなければこの２像間隔（基準２像間隔Ｌｏ）を求めることは困難である。図５（ａ）より明らかなように、この基準２像間隔Ｌｏより２像間隔が狭まければ、前ピンであり、Ｌｏより広ければ後ピンである。図５（ｂ）は、不図示のＡＦセンサモジュールの光学系を、コンデンサレンズを省いてモデル化して示した図である。

図５（ｂ）に示すように、主光線の角度をθ、セパレータレンズの倍率をβ、像の移動量をΔＬ，ΔＬ’とすると、デフォーカス量ｄは以下の式で求まる。

ｄ＝ΔＬ／tanθ＝ΔＬ’／（β・tanθ）
ここでβｔａｎθは、ＡＦセンサモジュール５の設計上定まるパラメータである。ΔＬ’は基準２像間隔（Ｌｏ）と現在の２像間隔（Ｌｘ）から求めることができる。

実際の演算では、図５（ａ）の受光素子から得られる像は、後述の撮像面焦点検出における図７の７０１と７０２にあたり、同様の演算で相関量ＣＯＲを算出する。そこから後述の撮像面位相差検出と同様にフォーカス量を算出する。

ＡＦセンサ２５４は、撮影画面の複数の位置で焦点検出できるように、上記構成を複数備えている。

（撮像素子による焦点検出の説明）
図６から図９を参照して、撮像面焦点検出処理について詳細に説明する。図６は、撮像素子による焦点検出処理の動作を示すフローチャートである。

Ｓ４０１では、カメラ制御部２１２は、ユーザーが任意に設定した焦点検出範囲から像信号を取得する。この処理については、図７を用いて後述する。Ｓ４０２では、カメラ制御部２１２は、Ｓ４０１で取得された像信号を加算する。この処理については、同じく図７を用いて後述する。

Ｓ４０３では、カメラ制御部２１２は、像信号から相関量を算出する。この処理については、図８を用いて後述する。Ｓ４０４では、カメラ制御部２１２は、Ｓ４０３において算出した相関量から相関変化量を算出する。この処理については、図９を用いて後述する。Ｓ４０５では、カメラ制御部２１２は、Ｓ４０４において算出した相関変化量からピントずれ量を算出する。この処理については、同じく図９を用いて後述する。

これらの処理を、焦点検出領域の数だけ行う。そして、Ｓ４０６では、カメラ制御部２１２は、焦点検出領域毎にピントずれ量をデフォーカス量に変換する。以上で、焦点検出処理を終了する。

図７は、焦点検出処理で取り扱う焦点検出範囲を示す図である。

図７（ａ）は、撮像素子２０１の画素アレイ上の焦点検出範囲を示す図である。８０１が画素アレイであり、８０２が焦点検出範囲である。また、８０３が相関演算に必要なシフト領域である。８０４は、焦点検出範囲８０２とシフト領域８０３を合わせた演算領域であり、相関演算を行うために必要な領域である。図中のｐ、ｑ、ｓ、ｔはそれぞれｘ軸方向の座標を表し、座標ｐからｑは演算領域８０４を表し、座標ｓからｔは焦点検出範囲８０２を表す。

焦点検出範囲８０２、シフト領域８０３の高さの説明をわかりやすくするため、ここでは１ライン分として説明する。もし、焦点検出領域８１１のように複数ライン分のエリアで焦点検出を行う場合、事前に画素信号を縦方向に加算する。相関量の加算については後述する。

図７（ｂ）は、焦点検出範囲を５つに分割した焦点検出領域を示す図である。一例として、本実施形態では、この焦点検出領域単位でピントずれ量を算出し、焦点検出を行う。焦点検出領域８０５から８０９が、焦点検出範囲８０２を５分割した１つの焦点検出領域である。本実施形態では、一例として、分割した複数の焦点検出領域の中から最も信頼できる領域の焦点検出結果を選び、その領域で算出したピントずれ量を用いる。

図７（ｃ）は、図７（ｂ）に示した焦点検出領域を連結した仮の焦点検出領域を示す図である。

連結領域８１０が、焦点検出領域８０５から８０９を連結した領域である。上記の説明では、焦点検出領域８０５から８０９で得られたピントずれ量から信頼性の高いものを選択した。しかし、これに限定されず、このように焦点検出領域を連結した領域から算出したピントずれ量を用いてもよい。

焦点検出領域の配置の仕方、領域の広さ等は、本実施形態に挙げた内容に限られるものではなく、発明の要旨を逸脱しない範囲で他の形式を採用してもよいことは言うまでもない。

図８は、図７で設定した焦点検出領域から取得した像信号を示した図である。座標ｓからｔが焦点検出範囲を表し、座標ｐからｑがシフト量を踏まえた焦点検出演算に必要な範囲（演算領域）である。また座標ｘからｙは、分割した１つ分の焦点検出領域を表す。

図８（ａ）は、シフト前のＡＦ用の像信号を波形で表した図である。実線７０１が像信号Ａ、破線７０２が像信号Ｂである。焦点検出領域７０５から７０９は、図７の分割した各焦点検出領域を表す。

図８（ｂ）は、図８（ａ）のシフト前の像信号に対し、各像信号をプラス方向にシフトした図であり、図８（ｃ）は、図８（ａ）のシフト前の像信号に対し、各像信号をマイナス方向にシフトした図である。相関量を算出する際には、像信号７０１、像信号７０２を、それぞれ矢印の方向に１ビットずつシフトする。

続いて相関量ＣＯＲの算出法について説明する。まず、図８（ｂ）、図８（ｃ）で説明したように、像信号Ａと像信号Ｂを１ビットずつシフトしていき、その時の像信号Ａと像信号Ｂの差の絶対値の和を算出する。この時、シフト量をｉで表し、マイナス方向の最大シフト数は図８中のｐ−ｓ、プラス方向の最大シフト数は図８中のｑ−ｔである。またｘは焦点検出領域の開始座標、ｙは焦点検出領域の終了座標である。これらを用い、以下の式によって相関量ＣＯＲを算出することができる。

さらにここで、相関量ＣＯＲを縦方向に加算してもよい。図７（ｃ）において、先に画素信号を縦に加算する例について前述した。それ以外の例として、ここでは、図７（ｃ）の連結領域８１０についてＣＯＲ［ｉ］を算出したとして、実際に焦点検出したい領域が焦点検出領域８１１であった場合、ラインごとにＣＯＲ［ｉ］を算出して、その後にそれらを加算してもよい。

図９（ａ）は相関量を波形で示した図である。グラフの横軸はシフト量を示し、縦軸は相関量を示す。９ａ０１は相関量波形を示し、９ａ０２，９ａ０３は極値近傍を示している。この中でも、相関量が小さい方ほど、Ａ像とＢ像の一致度が高いといえる。続いて相関変化量ΔＣＯＲの算出方法について説明する。

まず、図９（ａ）の相関量波形について、１シフト飛ばしの相関量の差から相関変化量ΔＣＯＲを算出する。この時、シフト量をｉで表し、マイナス方向の最大シフト数を図８中のｐ−ｓ、プラス方向の最大シフト数を図８中のｑ−ｔとする。これらを用い、以下の式によって相関変化量を算出することができる。

ΔＣＯＲ［ｉ］＝ＣＯＲ［ｉー１］−ＣＯＲ［ｉ＋１］
ただし、ｉは、（ｐ−ｓ＋１）＜ｉ＜（ｑ−ｔ−１）
図９（ｂ）は、相関変化量ΔＣＯＲを波形で示した図である。グラフの横軸はシフト量を示し、縦軸は相関変化量を示す。９ｂ０１は相関変化量波形を示し、９ｂ０２，９ｂ０３は相関変化量がプラスからマイナスになる近傍領域を示す。この近傍領域９ｂ０２において、相関変化量が０となる点をゼロクロスと呼び、Ａ像とＢ像の一致度が最も高く、そのときのシフト量がピントずれ量となる。

図９（ｃ）は、図９（ｂ）の近傍領域９ｂ０２を拡大した図で、一部分９ｃ０１は相関変化量波形９ｂ０１の一部である。この図に基づいて、ピントずれ量ＰＲＤの算出方法について説明する。

まず、ピントずれ量は、整数部分βと小数部分αに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥの相似の関係から、以下の式によって算出することができる。

ＡＢ：ＡＤ＝ＢＣ：ＤＥ
ΔＣＯＲ［ｋ−１］：ΔＣＯＲ［ｋ−１］−ΔＣＯＲ［ｋ］＝α：ｋ−（ｋ−１）
α＝ΔＣＯＲ［ｋ−１］／（ΔＣＯＲ［ｋ−１］−ΔＣＯＲ［ｋ］）
続いて整数部分βは、図９（ｃ）より以下の式によって算出することができる。

β＝ｋ−１
以上のようにして算出されたαとβの和からピントずれ量ＰＲＤを算出することができる。実際には、ＰＲＤの量に実際にレンズ駆動量を算出する係数Ｋをかけ、デフォーカス量に変換する必要がある。この係数Ｋについては、図１０を用いて説明する。

図１０は、被写体とレンズ１０と撮像素子２０１の位置関係を示す模式図である。図１０を用いて、係数Ｋの算出方法について説明する。ＡＦセンサ２５４によるＡＦであっても撮像素子２０１によるＡＦであっても、瞳領域１００１、瞳領域１００２の形状は変わるものの、計数Ｋの算出方法は同じである。レンズ１０は通常は複数枚のレンズからなるが、図では簡略化して凸レンズ１枚で表現している。

射出瞳距離Ａ：レンズ固有の値
基線長Ｂ：撮像素子の画素Ａ（例えば図２（ｂ）の２９３）、画素Ｂ（例えば図２（ｂ ）の２９４）がレンズに投影された瞳領域１００１，１００２に基づく
像ずれ量Ｃ：図９（ａ）のグラフで表されていた量
とするとデフォーカス量Ｄは２つの三角形の相似の関係から以下のように計算できる。

Ｄ＝（Ａ／Ｂ）＊Ｃ
したがって、先述の係数Ｋは以下のように計算できる。

Ｋ＝Ａ／Ｂ
この係数を像ずれ量に掛けることによりデフォーカス量を算出することができる。

(焦点調節制御)
以下、本実施形態の特徴部分である、図４のＳ５１７で実行される焦点調節制御について図１１のフローチャートを用いて説明する。なお、図４のＳ５１７では、その前のＳ５１３でクイックリターンミラー２５２がダウンしているので、撮像素子２０１を用いた焦点検出を行うことはできない。そのため、図１１のフローチャートでの撮像素子２０１を用いた焦点検出の結果は、図４のＳ５１７の前のＳ５１１のステップで行われた焦点検出の結果を指すものとし、Ｓ５１１のステップで行われた焦点検出の結果は、所定回数分をＳＤＲＡＭ２０８に記憶しておくものとする。また、図４のＳ５１７で行われたＡＦセンサ２５４による焦点検出の結果も、所定回数分をＳＤＲＡＭ２０８に記憶しておくものとする。

Ｓ１１０１では、カメラ制御部２１２は、ＡＦセンサ２５４による焦点検出の結果を用いた動体検出を行い、Ｓ１１０２に進む。動体検出は、焦点検出結果が一定方向に移動していることを検出することなどにより行うことができる。

Ｓ１１０２では、カメラ制御部２１２は、Ｓ１１０１でのＡＦセンサ２５４による動体検出の結果の判定を行い、動体でないと判定した場合はＳ１１０３に進み、動体であると判断した場合はＳ１１１３に進む。

Ｓ１１０３では、カメラ制御部２１２は、撮像素子２０１による焦点検出の結果を用いた動体検出を行い、Ｓ１１０４に進む。

Ｓ１１０４では、カメラ制御部２１２は、Ｓ１１０３での撮像素子２０１による動体検出の結果の判定を行い、動体でないと判定した場合はＳ１１０５に進み、動体であると判定した場合はＳ１１０６に進む。

Ｓ１１０５では、ＡＦセンサ２５４による焦点検出の結果が動体ではなく、且つ撮像素２０１による焦点検出の結果も動体ではないので、カメラ制御部２１２は、ＡＦセンサ２５４による焦点検出の結果を最終的な焦点検出結果として設定し、このフローを終了する。

Ｓ１１０６では、ＡＦセンサ２５４による焦点検出の結果が動体ではなく、撮像素子２０１による焦点検出の結果が動体であると判定されたので、カメラ制御部２１２は、撮像素子２０１による焦点検出の履歴の取得を行う。また、同時に、履歴の取得数が合焦位置の予測演算に必要な数だけ取得でき予測演算が可能かの判定を行う。さらに合焦位置の予測演算が可能であれば、予測演算を行う。なお、撮像素子２０１による焦点検出の履歴は、ＳＤＲＡＭ２０８から取得する。

Ｓ１１０７では、カメラ制御部２１２は、Ｓ１１０６での検出結果に基づいて、合焦位置の予測演算が可能でなければＳ１１０８に進むと判断し、予測演算可能であればＳ１１０９に進むと判断する。

Ｓ１１０８では、ＡＦセンサ２５４による焦点検出の結果が動体ではなく、撮像素子２０１による焦点検出の結果が動体であると判定されたが、撮像素子２０１での焦点検出による予測演算がまだ予測可能ではない。そのため、カメラ制御部２１２は、予測可能になるまで撮像素子２０１による焦点検出の履歴を取得する動作を継続する。そして、ＡＦセンサ２５４による焦点検出の結果を最終的な焦点検出結果として設定し、このフローを終了する。ここで、合焦位置が予測可能でない状態で撮像素子２０１による焦点検出を最終的な焦点検出結果として設定してしまうと動体予測が加味されないピントの合わない写真が撮影されてしまう。

Ｓ１１０９では、ＡＦセンサ２５４による焦点検出の結果が動体ではなく、撮像素子２０１による焦点検出の結果が動体であると判定され、撮像素子２０１による焦点検出の予測演算が可能となっている。そのため、カメラ制御部２１２は、予測演算を行った撮像素子２０１による焦点検出の結果を最終的な焦点検出結果として設定し、このフローを終了する。この場合、予測演算された撮像素子２０１による焦点検出の結果を用いるので、ピントが合った写真を撮影することが可能となる。

Ｓ１１１０では、ＡＦセンサ２５４による焦点検出の結果が動体であると判定されたので、カメラ制御部２１２は、ＡＦセンサ２５４による焦点検出の履歴の取得を行う。また、同時に、履歴の取得数が合焦位置の予測演算に必要な数である所定数だけ取得でき予測演算が可能かの判定を行う。さらに合焦位置の予測演算が可能であれば、予測演算を行う。なお、ＡＦセンサ２５４による焦点検出の履歴は、ＳＤＲＡＭ２０８から取得する。

Ｓ１１１１では、カメラ制御部２１２は、撮像素子２０１による焦点検出の結果を用いた動体検出を行い、Ｓ１１１２に進む。Ｓ１１１２では、カメラ制御部２１２は、Ｓ１１１１での撮像素子２０１による動体検出の結果の判定を行い、動体でないと判定した場合はＳ１１１３に進み、動体であると判断した場合はＳ１１１４に進む。

Ｓ１１１３では、ＡＦセンサ２５４による焦点検出の結果が動体であり、撮像素子２０１による焦点検出の結果が動体ではないので、カメラ制御部２１２は、ＡＦセンサ２５４による焦点検出の結果を最終的な焦点検出結果として設定し、このフローを終了する。

Ｓ１１１４では、カメラ制御部２１２は、Ｓ１１１０での検出結果に基づいて、合焦位置の予測演算が可能でなければＳ１１１５に進むと判断し、予測演算可能であればＳ１１１６に進むと判断する。

Ｓ１１１５では、ＡＦセンサ２５４による焦点検出の結果が動体であり、撮像素子２０１による焦点検出の結果も動体と判定されており、且つＳ１１１４でＡＦセンサ２５４による合焦位置の予測演算が可能でないと判断されている。そのため、カメラ制御部２１２は、撮像素子２０１による焦点検出の結果を最終的な焦点検出結果として設定し、このフローを終了する。ここでは、ＡＦセンサ２５４による焦点検出が予測可能となるまで撮像素子２０１の焦点検出結果を設定することにより、ピントが合った状態で写真を撮影することが可能となる。

Ｓ１１１６では、ＡＦセンサによる焦点検出の結果が動体であり、撮像素子による焦点検出の結果も動体と判定されており、且つＳ１１１４でＡＦセンサ２５４による合焦位置の予測演算が可能と判断されている。そのため、カメラ制御部２１２は、予測演算されたＡＦセンサ２５４による焦点検出の結果を最終的な焦点検出結果として設定し、このフローを終了する。ここでは、ＡＦセンサ２５４による合焦位置の予測が可能となってから焦点検出の結果を用いることにより、ピントが合った状態で写真を撮影することが可能となる。

以上説明したように、上記の実施形態によれば、フレーム外から動体の被写体がフレームインしてきた場合、Ｓ１１０２でＡＦセンサ２５４は動体ではないと判断し、Ｓ１１０４で撮像素子２０１の焦点検出結果で動体と判断される。その後、Ｓ１１０７で撮像素子２０１で合焦位置の予測が可能になってから、予測演算された撮像素子２０１での焦点検出結果を最終的な焦点検出結果として設定する。そのため、ピントが合った写真を撮影することが可能となる。その後、被写体がＡＦセンサ２５４の焦点検出結果で動体と判定できる程度までフレームの中心に近寄ると、Ｓ１１１４でＡＦセンサ２５４が合焦位置を予測可能となってからＡＦセンサ２５４の焦点検出結果を最終的な焦点検出結果として設定する。そのため、ピントが合った状態で写真を撮影することが可能となる。

また、ＡＦセンサ２５４が動体の被写体を捉えている状態で被写体がフレームアウトしていく場合、Ｓ１１０２でＡＦセンサ２５４は動体であると判断し、Ｓ１１１２で撮像素子２０１で動体でないと判断されると、Ｓ１１１３でＡＦセンサ２５４の焦点検出結果を最終的な焦点検出結果として設定して、ピントが合った状態で写真を撮影することができる。また、Ｓ１１１２で撮像素子２０１で動体であると判断されても、ＡＦセンサ２５４の焦点検出結果を最終的な焦点検出結果として設定してピントが合った状態で写真を撮影することができる。その後、更に被写体がフレームアウトすると、Ｓ１１０２でＡＦセンサ２５４の焦点検出結果で動体と判断できなくなる。しかし、Ｓ１１０４で撮像素子２０１の焦点検出結果で動体と判断され、Ｓ１１０７において撮像素子２０１で合焦位置の予測が可能な状態となる。そのため、Ｓ１１０９で撮像素子２０１の焦点検出結果を最終的な焦点検出結果として設定することにより、継続してピントが合った状態で写真を撮影することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：レンズ、２０：カメラ、１００：カメラシステム、１０６：レンズ制御部、２０１：撮像素子、２０９：ＳＤＲＡＭ、２１０：ＲＯＭ、２１２：カメラ制御部、２５２：クイックリターンミラー、２５３：サブミラー、２５４：ＡＦセンサ、２５５：焦点検出回路

Claims (14)

1. 撮影画面内の第１の範囲において焦点検出が可能な第１の焦点検出手段と、
   前記撮影画面内の前記第１の範囲よりも広い第２の範囲において焦点検出が可能な第２の焦点検出手段と、
   撮影画面内の前記第２の焦点検出手段のみにより焦点検出が可能な、前記第１の範囲と前記第２の範囲の差の領域に動体が存在する状態から前記第１の範囲に前記動体が移動した場合に、前記第１の焦点検出手段の検出結果の履歴が所定数だけ取得できるまで、前記第２の焦点検出手段の検出結果の履歴を用いて、前記動体への撮影光学系の合焦位置を予測し、前記動体に前記撮影光学系の焦点を合わせるように制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の焦点検出手段は、二次光学系と焦点検出センサとを備えた焦点検出手段であり、前記第２の焦点検出手段は、被写体を撮像する撮像素子の信号を用いた焦点検出手段であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、１つのマイクロレンズに対して複数の光電変換素子を有する画素を複数有することを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記撮像装置が連写撮影を行う場合に、前記第１の焦点検出手段または前記第２の焦点検出手段の検出結果の履歴を用いて、前記動体への撮影光学系の合焦位置を予測し、前記動体に前記撮影光学系の焦点を合わせるように制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記連写撮影において、前記第１の焦点検出手段は、前記撮像装置が備えるクイックリターンミラーが下がっている状態において焦点を検出し、前記第２の焦点検出手段は、前記クイックリターンミラーが上がっている状態において焦点を検出することを特徴とする請求項４に記載の撮像装置。
6. 前記第２の焦点検出手段の検出結果の履歴を記憶する記憶手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の焦点検出手段の検出結果の履歴を記憶する記憶手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記動体が前記第１の範囲に存在する場合に、前記第１の焦点検出手段の検出結果の履歴を用いて、前記動体への撮影光学系の合焦位置を予測し、前記動体に前記撮影光学系の焦点を合わせるように制御することを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記第１の焦点検出手段と前記第２の焦点検出手段のいずれの検出結果においても動体が検出されなかった場合に、前記第１の焦点検出手段の検出結果を用いて前記撮影光学系の焦点を合わせるように制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記第１の焦点検出手段により動体が検出され、前記第２の焦点検出手段により前記動体が検出されなかった場合に、前記第１の焦点検出手段の検出結果を用いて前記撮影光学系の焦点を合わせるように制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
11. 前記制御手段は、前記第１の焦点検出手段と前記第２の焦点検出手段のいずれの検出結果においても前記動体が検出された場合に、前記第１の焦点検出手段と前記第２の焦点検出手段のうち、前記動体への撮影光学系の合焦位置を予測するための焦点の検出結果の履歴が揃っている方の焦点検出手段の履歴を用いて、前記動体への撮影光学系の合焦位置を予測し、前記動体に前記撮影光学系の焦点を合わせるように制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
12. 撮影画面内の第１の範囲において焦点検出が可能な第１の焦点検出手段と、前記撮影画面内の前記第１の範囲よりも広い第２の範囲において焦点検出が可能な第２の焦点検出手段と、を備える撮像装置を制御する方法であって、
    撮影画面内の前記第２の焦点検出手段のみにより焦点検出が可能な、前記第１の範囲と前記第２の範囲の差の領域に動体が存在する状態から前記第１の範囲に前記動体が移動した場合に、前記第１の焦点検出手段の検出結果の履歴が所定数だけ取得できるまで、前記第２の焦点検出手段の検出結果の履歴を用いて、前記動体への撮影光学系の合焦位置を予測し、前記動体に前記撮影光学系の焦点を合わせるように制御する制御工程を有することを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images