JP2022166801A - 撮像装置、制御方法、および記憶媒体 - Google Patents

Abstract

【課題】複数の被写体のデフォーカス情報に応じた最適なピント制御を行うことにより、高速かつ高精度に複数被写体に合焦させることが可能な撮像装置を提供する。【解決手段】撮像装置は、撮像素子の撮像面および撮像光学系の主面の間の角度を変更するために、前記撮像素子または前記撮像光学系の少なくとも一つの傾きを変更するあおり駆動部（１１６）と、前記撮像光学系のフォーカスレンズを駆動するフォーカス駆動部（１１７）と、撮影画像内における複数の被写体領域を設定する被写体領域設定部（１１３）と、前記複数の被写体領域ごとに、デフォーカス情報を検出するデフォーカス情報検出部（１１２）と、前記複数の被写体領域ごとの前記デフォーカス情報に基づいて、前記あおり駆動部と前記フォーカス駆動部の少なくとも一つを用いて合焦制御を行うための複数の制御モードから一つの制御モードを選択する制御部（１１５）と、を有する。【選択図】図１

Description

本発明は、あおり制御が可能な撮像装置に関する。

近年、セキュリティ目的や工場のレーンなどの場所において、撮像装置が設置されている。このような撮像装置においては、被写界深度の深い映像を取得することが要求される。そこで、被写体を撮影する撮影光軸と直交する面に対して撮像面を傾ける（あおり制御を行う）ことで焦点面を調整し、撮影シーンの被写界深度を深くするシャインプルーフの原理と呼ばれる技術が知られている。

特許文献１には、コントラスト評価値に基づいて複数の被写体それぞれの合焦位置を検出し、複数の被写体に合焦するようにフォーカス位置とあおり制御量を決定する撮像装置が開示されている。特許文献２には、フォーカス位置とあおり角度の少なくとも一つを制御する複数の制御モードを有し、被写体の数に応じて複数の制御モードの一つを選択することで複数の被写体に合焦させる撮像装置が記載されている。これらの技術においては、撮像面位相差方式によりデフォーカス量を瞬時に検出することで、さらなる高速化が見込まれる。

特開２００３－７５７１６号公報 特開２０２０－１５４２８３号公報 特開２００４－１３４８６７号公報

しかしながら、特許文献１及び特許文献２に開示された撮像装置では、コントラスト評価値に基づく制御において、複数の合焦位置を検出する過程で一時的に被写体がぼけたり、合焦までに時間を要することがある。また、撮像面位相差方式を用いる場合においては、必ずしも高精度なデフォーカス量が検出されるとは限らない点が考慮されておらず、特許文献１及び特許文献２には、その際の制御方法に関して開示がない。

そこで本発明は、複数の被写体のデフォーカス情報に応じた最適なピント制御を行うことにより、高速かつ高精度に複数の被写体に合焦させることが可能な撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、撮像素子の撮像面および撮像光学系の主面の間の角度を変更するために、前記撮像素子または前記撮像光学系の少なくとも一つの傾きを変更するあおり駆動部と、前記撮像光学系のフォーカスレンズを駆動するフォーカス駆動部と、撮影画像内における複数の被写体領域を設定する被写体領域設定部と、前記複数の被写体領域ごとに、デフォーカス情報を検出するデフォーカス情報検出部と、前記複数の被写体領域ごとの前記デフォーカス情報に基づいて、前記あおり駆動部と前記フォーカス駆動部の少なくとも一つを用いて合焦制御を行うための複数の制御モードから一つの制御モードを選択する制御部と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、複数の被写体のデフォーカス情報に応じた最適なピント制御を行うことにより、高速かつ高精度に複数被写体に合焦させることが可能な撮像装置を提供することができる。

撮像装置の構成を示すブロック図である。 撮像素子の画素構成を示す図である。 ビットずれ量の算出方法を説明する図である。 変換係数Ｋの算出方法を説明する図である。 あおり制御を説明する図である。 実施形態１に係るデフォーカス情報とその信頼度に基づく制御の一覧表である。 フォーカスあおり算出モードを説明する図である。 実施形態１に係る処理のフローチャートである。 ピント維持あおりモードを説明する図である。 ピント維持あおりモードを説明する図である。 実施形態２に係るデフォーカス情報とその信頼度に基づく制御の一覧表である。 実施形態２に係る処理のフローチャートである。 実施形態３に係る処理のフローチャートである。 実施形態３に係る処理のフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づき実施例を用いて詳細に説明する。
（全体構成）
図１は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像光学系としてのレンズユニットは、光軸方向に移動して焦点距離を変更するズームレンズ１０１と、光軸方向に移動してピントの制御を行うフォーカスレンズ１０２と、光量を調整する絞りユニット１０３とを有する。

撮像光学系を通過した光は、バンドパスフィルタ（ＢＰＦ）１０４及びカラーフィルタ１０５を介して撮像素子１０６上に光学像としての被写体像を形成する。ＢＰＦ１０４は撮像光学系の光路に対し進退可能であってもよい。被写体像は、撮像素子１０６により光電変換され撮像信号を形成する。撮像素子１０６から出力されたアナログ電気信号（撮像信号）は、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）１０７によりゲイン調整され、ＡＤ変換器１０８によりデジタル撮像信号に変換された後、カメラ信号処理部１０９に入力される。

カメラ信号処理部１０９では、デジタル撮像信号に対して各種画像処理（例えばガンマ処理やホワイトバランス調整など）を行って映像信号を生成する。この映像信号を不図示の表示部に画像として表示することによって撮影画像を表示することができる。映像信号は、通信部１１０を介して、撮像装置に有線または無線通信により接続された監視モニタ装置１１１に出力される。また通信部１１０は、外部ＰＣ等の外部制御装置からのコマンドを受けて撮像装置内のあおり／フォーカス制御部（制御部）１１５にコマンドなどの制御信号を渡す。

本実施形態では、監視モニタ装置１１１まで含めたシステムを撮像装置と呼ぶ。一方、図１において監視モニタ装置１１１以外は、一つの筐体に収納されており監視カメラを構成している。

焦点検出部（デフォーカス情報検出部）１１２は、対象となる被写体領域ごとにカメラ信号処理部１０９から得られる焦点検出用データを用いて位相差検出方式で焦点検出を行う。より具体的には、カメラ信号処理部１０９が、撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成する。そして、焦点検出部１１２は、この一対の像データのずれ量に基づいてデフォーカス量やデフォーカス方向、またそれらの信頼性等を検出する。このように、焦点検出部１１２は、専用のＡＦセンサを用いず、撮像素子１０６の出力に基づく撮像面位相差方式により焦点検出を行う。なお、焦点検出部１１２の撮像面位相差方式による焦点検出動作については後で詳細に説明する。

被写体判定部（被写体領域設定部）１１３は、カメラ信号処理部１０９からの映像信号を画像認識して、撮影画像内から特定の被写体の検出を行う。特定の被写体としては、ユーザにより任意に指定された、もしくは予めデフォルトとして設定された被写体（例えば人物、顔、車など）である。

あおり／フォーカス駆動量算出部１１４は、焦点検出部１１２からのデフォーカス情報と被写体判定部１１３からの被写体情報が入力される。また、あおり／フォーカス駆動量算出部１１４は、デフォーカス情報、被写体情報とあおり／フォーカス制御部１１５からのあおり角度とフォーカス位置を用いて、シーンに応じた最適なあおり角度とフォーカス位置の算出を行う。算出されたあおり角度とフォーカス位置をあおり／フォーカス制御部１１５に伝えて、あおり角度とフォーカス位置が制御される。あおり／フォーカス制御部１１５は、コンピュータとしてのＣＰＵが内蔵されており、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を制御手段として実行する。あおり／フォーカス制御部１１５は、通信部１１０を介して外部ＰＣなどの外部制御装置からの指示に基づき、ＡＦやマニュアルフォーカス（ＭＦ）での合焦制御を行う。また、あおり／フォーカス制御部１１５は、撮像素子駆動部１１６やフォーカス駆動部１１７から現在の位置情報を受け取り、あおり／フォーカス駆動量算出部１１４に現在の位置情報を伝える。また、あおり／フォーカス制御部１１５は、あおり／フォーカス駆動量算出部１１４で算出されたあおり角度、フォーカス位置を撮像素子駆動部１１６、フォーカス駆動部１１６に対して送り、駆動位置を指示する。

撮像素子駆動部１１６は、あおり駆動部として機能し、あおり／フォーカス制御部１１５から指示されたあおり角度に基づいて撮像素子１０６を傾ける。即ち、撮像素子１０６を傾けて、撮像素子１０６の撮像面と撮像光学系の主面の間の角度であるあおり角度を変更する。本実施形態では、撮像素子１０６を傾ける回転軸は撮影画像の中心を通る水平方向の（撮像素子１０６の長手方向に沿った）軸である。この回転軸を中心に撮像素子１０６は、撮像光学系に対して相対的に傾く。なお、あおり制御をするためには、撮像素子側ではなく撮像光学系の一部のレンズを撮像素子１０６に対して相対的に傾けてもよい。

フォーカス駆動部１１７は、あおり／フォーカス制御部１１５から指示されたフォーカスの設定位置に基づいてフォーカスレンズ１０２の位置を制御する。
（撮像面位相差方式による焦点検出動作の説明）
図２を用いて、撮像素子１０６の画素構成について説明する。図２は、撮像素子１０６の画素構成図である。

撮像素子１０６では、すべての画素２０１のそれぞれが光電変換部２０１ａ、２０１ｂの２つにＸ方向に２分割されている。また、撮像素子１０６は、光電変換部２０１ａ、２０１ｂそれぞれの光電変換信号と、２つの光電変換部２０１ａ、２０１ｂの光電変換信号の和とがそれぞれ独立して読み出し可能である。

また、２つの光電変換部２０１ａ、２０１ｂの光電変換信号の和から一方の光電変換部（例えば光電変換部２０１ａ）の光電変換信号を減じることで、他方の光電変換部（光電変換部２０１ｂ）の光電変換信号に相当する信号を得ることができる。光電変換部２０１ａ、２０１ｂそれぞれにおける光電変換信号は、位相差ＡＦのための焦点検出用データとして用いられる。また、２つの光電変換部２０１ａ、２０１ｂの光電変換信号の和は、通常の撮影画像データとして用いられる。

焦点検出部１１２は、このように生成されたＡ像とＢ像との相対的な像ずれ量を相関演算により算出する。これにより、焦点検出部１１２は、一対の像信号の相関度であるビットずれ量［ｂｉｔ］を検出することができる。ビットずれ量に変換係数を乗ずることで、ビットずれ量は所定領域のデフォーカス量［ｍｍ］に変換される。

本実施形態では、各画素から光電変換部２０１ａ、２０１ｂの一方の出力と２つの光電変換部２０１ａ、２０１ｂの出力信号の和を撮像素子１０６から読み出すものとする。例えば光電変換部２０１ａの出力信号と、光電変換部２０１ａ，２０１ｂの出力信号の和とが読み出される場合、光電変換部２０１ｂの出力信号は光電変換部２０１ａ、２０１ｂの出力信号の和から光電変換部２０１ａの出力信号を減じることで取得できる。これにより、Ａ像とＢ像の両方を得ることができ、撮像面位相差方式での焦点検出を実現できる。また、光電変換部２０１ａ、２０１ｂの出力信号の和は、一般的には、出力画像の１画素（出力画素）を形成する。なお、このような撮像素子は、特許文献３に開示されるように公知であるため、詳細に関する説明は省略する。

次に、撮像面位相差方式による焦点検出動作について説明する。以下の焦点検出動作は、焦点検出部１１２が主体となって実行する。まず、焦点検出部１１２は、焦点検出位置を設定する。次に、焦点検出部１１２は、設定された焦点検出位置から焦点検出用データの読み出しを行う。焦点検出部１１２で設定された焦点検出位置内の画素から読み出した信号を用いることで、焦点検出部１１２は、Ａ像およびＢ像のそれぞれの信号を生成する。次に、焦点検出部１１２は、Ａ像とＢ像の相対的な像ずれ量を相関演算により求めることで、ビットずれ量Ｐ［ｂｉｔ］を検出する。

ここで図３を用いて、相関演算方法の一例を説明する。図３は、相関演算方法（ビットずれ量の算出方法）の説明図である。図３において、縦軸は信号値、ヨコ軸はビット（位置）をそれぞれ示す。

撮像素子１０６の画素（焦点検出画素）からＡ像とＢ像の信号が読み出されたとする。カメラ信号処理部１０９は、ノイズの低減のため、Ａ像とＢ像のそれぞれに対してデジタルフィルタ処理を行う。図３（ａ）は、フィルタ処理後の波形を示す。焦点検出部１１２は、図３（ａ）～（ｄ）に示されように、Ａ像信号とＢ像信号いずれか、もしくはＡ像信号とＢ像信号の両方をビットシフトしながら、その時の相関量ＣＯＲを算出する。相関量ＣＯＲは、Ａ像とＢ像とを重ねたときの面積、Ａ像の面積からＢ像の面積を減算した値、または、相関度を表す計算値などであるが、これらに限定されるものではない。以下、相関量ＣＯＲが、Ａ像とＢ像を重ねたときの面積である場合で説明する。

Ａ像とＢ像とが一致した場合、Ａ像とＢ像との重なりが大きくなるため、最も相関が高く、相関量ＣＯＲは大きくなる。ここでは、相関量ＣＯＲが最大値をとるときのシフト量［ｂｉｔ］がビットずれ量Ｐ［ｂｉｔ］となる。

次に、焦点検出部１１２は、変換係数Ｋを取得する。変換係数Ｋをビットずれ量Ｐに乗じることでデフォーカス量ＤＥＦが求められる。

ここで、図４を参照して、変換係数Ｋの算出について説明する。図４は、変換係数Ｋの算出の説明図である。図４において、Ｚ軸は、撮影光学系の光軸方向を示し、Ｚ＝０は撮像素子１０６の面（撮像面）を示す。

Ｚｅｐは、射出瞳距離を示す。Ｚ＝Ｚｅｐ上のＡ像、Ｂ像の焦点検出光束の光量分布である瞳強度分布ＰＩ＿Ａ、瞳強度分布ＰＩ＿Ｂは、光電変換部２０１ａ，２０１ｂのそれぞれから出力された焦点検出用信号を射出瞳面上に投影した投影像である。

図４中のＰＩ＿Ａ、ＰＩ＿Ｂは、一次元の瞳強度分布を示す。瞳強度分布ＰＩ＿Ａ、ＰＩ＿Ｂの重心間隔を基線長ＢＬとする。このとき、射出瞳距離Ｚｅｐと基線長ＢＬとの比で、Ａ像とＢ像のビットずれ量［ｂｉｔ］に対する光軸方向の変化量［ｍｍ］を求めることができる。

従って、変換係数Ｋは以下の式（１）で表すことができる。

Ｋ＝Ｚｅｐ／ＢＬ （１）
次に、焦点検出部１１２は、以下の式（２）により、デフォーカス量ＤＥＦ［ｍｍ］を算出する。

ＤＥＦ＝Ｐ×Ｋ （２）
また、焦点検出部１１２は、デフォーカス量の信頼度判定を行う。信頼度判定の一例として、焦点検出部１１２は、Ａ像とＢ像の一致度（以下、二像一致度）に基づく判定を行う。Ａ像信号およびＢ像信号のコントラストが高く、Ａ像信号とＢ像信号の形が似ている（二像一致度レベルが高い）場合、またはすでに主被写体に合焦している場合、焦点検出部１１２は、信頼度が高い、すなわちデフォーカス量が確かな状態であると判定する。

二像一致度が所定値よりも低いものの、Ａ像信号およびＢ像信号を相対的にシフトさせて得られる相関に一定の傾向がある場合、焦点検出部１１２は、デフォーカス量は確かではないがデフォーカス方向は信頼できる状態であると判定する。たとえば、主被写体に対して小ボケしている状態に多い判定である。

上述のいずれにも当てはまらない場合、焦点検出部１１２は、デフォーカス量もデフォーカス方向も信頼できない状態と判定する。たとえば、Ａ像信号およびＢ像信号のコントラストが低く、二像一致度も低い状態であり、被写体に対して大きくボケているときに多い判定である。
（あおり制御の説明）
図５を参照して、あおり制御について説明する。図５は、あおり制御の説明図である。図５(ａ)は、光学系（撮像光学系）と撮像素子１０６とが平行である状態を示している。フォーカス距離Ｌにピントが合っており、ピント面は光学系および撮像素子１０６のそれぞれと平行である。図５(ｂ)は、図５(ａ)の状態から撮像素子１０６を撮像素子回転軸を中心に回転させ、あおり制御が行われた状態を示している。あおり制御が行われると、シャインプルーフの原理に基づいて、ピント面も撮像素子回転軸に対応したピント面回転軸を中心に回転する。このため、ある平面に関して近距離から遠距離まですべての被写体にピントを合わせることが可能となる。シャインプルーフの原理は、光学系の主面と撮像素子１０６の撮像面とがある１つの直線で交わるとき、ピント面も同じ直線上で交わるという原理である。

あおり角ｂは、焦点距離f、フォーカス距離Ｌ、および、俯角αを用いて、シャインプルーフの原理より、以下の式（３）で算出される。

ｂ＝ｔａｎ^－１（ｆ／（Ｌｔａｎα）） （３）
図５（ｃ）は、被写体Ｘおよび被写体Ｙが存在するシーンを示している。この場合、図５（ｃ）に示されるように、被写体Ｘ、Ｙの顔にピントが合うようなピント面に制御するのが望ましい。ここで、被写体とは、被写体の顔のような被写体の一部も含むものとする。このため、あおり制御のみではなく、フォーカスレンズ１０２を駆動するフォーカス制御も合わせて行うことが必要である。また、被写体ごとに最適なピント面（すなわち、最適なあおり角度および最適なフォーカス位置）は異なっており、ユーザが手動で調整するのは困難である。そこで、あおり／フォーカス制御部１１５）は、２つの被写体Ｘ、Ｙに共に合焦するピント面となるように、最適なあおり角度および最適なフォーカス位置へ自動で合焦制御を行う。
（実施形態１）
以下、実施形態１に係る撮像装置が実行する処理について説明する。本実施形態１の撮像装置は、フォーカスモード（第１モード）、あおりモード（第２モード）、フォーカスあおり算出モード（第３モード）の３つのピント制御モード（制御モード）を有する。

フォーカスモードとは、フォーカスレンズ１０２を駆動することで被写体に合焦させる制御である。あおりモードとは、撮像素子１０６をあおり駆動することで被写体に合焦させる制御である。フォーカスあおり算出モードとは、フォーカス位置とあおり角度それぞれの目標値を計算によって求め、該目標値に基づいて被写体に合焦させる制御である。焦点検出部１１２が検出した被写体ごとのデフォーカス情報とその信頼度に基づいて、あおり／フォーカス制御部１１５は、最適なピント制御モードを選択しながら２つの被写体に対して合焦制御を行う。

本実施形態の具体的な制御方法について説明する。図６は、２つの被写体Ｘ、Ｙのデフォーカス情報とその信頼度に基づく制御の一覧表である。

２つの被写体Ｘ、Ｙのデフォーカス量が共に確かである場合、あおり／フォーカス制御部１１５は、フォーカスあおり算出モードで合焦制御を行う。ここで、フォーカスあおり算出モードにおけるあおり角度およびフォーカス位置を算出する一例を、図７を用いて説明する。図７は、フォーカスあおり算出モードの説明図である。対象とする被写体として、図５（ｃ）と同様に、被写体Ｘおよび被写体Ｙが存在する。現在のあおり角度とフォーカスレンズ１０２の位置が図７の上部の位置関係になっている。ｘは被写体Ｘに対してピントを合わせるために必要なピント面上でのデフォーカス量、ｙは被写体Ｙに対してピントを合わせるために必要なピント面上でのデフォーカス量である。また、撮像素子１０６上でのあおり軸から被写体までの距離を、被写体Ｘに対してｋ１[ｕｍ]、被写体Ｙに対してｋ２[ｕｍ]とする。

ここで、被写体Ｘ、Ｙに同時に合焦させるためのあおり角度をα[°]とし、フォーカスレンズ１０２の移動によるピント面上でのフォーカス補正量をβとすると、以下の式（４）、（５）が成立する。

ｘ－β＝ｋ１×ｔａｎα＋β （４）
ｙ＝ｋ２×ｔａｎα－β （５）
式（４）、（５）の連立方程式を解くと、あおり角度αおよびフォーカス補正量βはそれぞれ、以下の式（６）、（７）のように表される。

α＝ｔａｎ^－１（（ｘ＋ｙ）／（ｋ１＋ｋ２）） （６）
β＝（ｋ２×ｘ－ｋ１×ｙ）／（ｋ１＋ｋ２） （７）
フォーカスレンズ１０２の駆動量は、簡易的には、フォーカス補正量βをフォーカスレンズ１０２の敏感度ＦＳで除算することで算出できる。

一方、フォーカスレンズ１０２の駆動量を正確に算出するには、敏感度ＦＳに応じた高次方程式や多項式を解くことで可能となる。ただし、本実施形態は、これに限定されるものではなく、他の方法で算出してもよい。

このように、２つの被写体Ｘ、Ｙのデフォーカス量（ｘ、ｙ）が共に確かであれば、あおり角度およびフォーカス位置が算出でき、瞬時に被写体Ｘ、Ｙに合焦させることができる。なお、２つの被写体Ｘ、Ｙのデフォーカス量が所定未満である場合には、合焦済と判断できるので処理を終了させる。

次に、２つの被写体Ｘ、Ｙのデフォーカス量が共に確かではない場合について説明する。ここで、２つの被写体のデフォーカス方向であれば共に確かである場合、あおり／フォーカス制御部１１５は、その方向に応じてフォーカスモードかあおりモードかを選択する。デフォーカス方向が一致（同方向）の場合には、あおり／フォーカス制御部１１５は、フォーカスレンズ１０２を駆動することで、被写体Ｘ、Ｙが共に合焦する方向へピントを制御できるため、フォーカスモードで制御を行う。一方、デフォーカス方向が不一致（逆方向）の場合には、あおり／フォーカス制御部１１５は、撮像素子１０６をあおり駆動することで、被写体Ｘ、Ｙが共に合焦する方向へピントを制御できるため、あおりモードで制御を行う。

被写体Ｘ、Ｙのうちデフォーカス量もデフォーカス方向も確かではない被写体がある場合、あおり／フォーカス制御部１１５は、フォーカスモードまたはあおりモードで制御を行う。一方の被写体のデフォーカス量またはデフォーカス方向が確かである場合、あおり／フォーカス制御部１１５は、その被写体に対して合焦する方向にフォーカスモードまたはあおりモードで制御を行う。両方ともデフォーカス量またはデフォーカス方向が確かでない場合、あおり／フォーカス制御部１１５は、予め決められた方向にフォーカスモードまたはあおりモードで制御を行う。いずれの場合においても、制御中にデフォーカス方向が確かではない被写体に対するデフォーカス変化やコントラスト変化を確認することで、焦点検出部１１２は、デフォーカス方向を判定することができる。なお、本実施形態では、デフォーカス方向が確かである被写体が１つである場合において、その被写体が合焦済である場合には、あおり／フォーカス制御部１１５は、あおりモードを選択し、それ以外の場合にはフォーカスモードを選択している。このように制御を異ならせることによって、本実施形態では、他方の被写体のピント変化を大きくし、デフォーカス変化やコントラスト変化を確認しやすくしている。

図８は、上述した本実施形態における処理を示したフローチャートである。

ステップＳ８０１では、被写体判定部１１３は、２つの被写体（被写体領域）を設定する。顔検出、自動検出などにより自動で２つの被写体は設定されてもよいし、ユーザによって指定されてもよい。

ステップＳ８０２では、焦点検出部１１２は、ステップＳ８０１で設定された被写体毎のデフォーカス情報（デフォーカス量およびデフォーカス方向）を検出し、その信頼度（デフォーカス量およびデフォーカス方向それぞれが確かであるか否か）の判定を行う。

ステップＳ８０３では、焦点検出部１１２は、２つの被写体に対して検出されたデフォーカス量が両方とも確かであるか否かを判定する。両方とも確かである場合、ステップＳ８０４に進む。ステップＳ８０４で、焦点検出部１１２は、そのデフォーカス量が両方とも所定値未満であるか否かを判定する。両方とも所定値未満である場合は、合焦済と判断できるため、処理を終了する。いずれかが所定値以上である場合、ステップＳ８０５に進む。ステップＳ８０５では、あおり／フォーカス制御部１１５は、フォーカスあおり算出モードによりフォーカス位置とあおり角度それぞれの目標値を算出し、該目標値に基づいて２つの被写体に対して合焦制御を行う。その後、再びステップＳ８０２へ戻る。

ステップＳ８０３でｎｏと判定される場合、ステップＳ８０６に進む。ステップＳ８０６では、焦点検出部１１２は、２つの被写体に対して検出されたデフォーカス方向が両方とも確かであるか否かを判定する。両方とも確かである場合、ステップＳ８０７に進む。ステップＳ８０７では、焦点検出部１１２は、検出されたデフォーカス方向が一致しているか否かを判定する。検出されたデフォーカス方向が一致している場合には、ステップＳ８０８に進み、あおり／フォーカス制御部１１５は、フォーカスモードで制御を行う。検出されたデフォーカス方向が不一致の場合には、ステップＳ８０９に進み、あおり／フォーカス制御部１１５は、あおりモードで制御を行う。その後、再びステップＳ８０２へ戻る。ステップＳ８０８またはステップＳ８０９のピント制御モードで合焦方向へと制御を続けることで、次第にそれぞれの被写体に対して確かなデフォーカス量が得られるようになり、ステップＳ８０３の判定において、ｙｅｓであると判定されやすくなる。

ステップＳ８０６でｎｏと判定される場合、ステップＳ８１０に進み、焦点検出部１１２は、２つの被写体のうちどちらかのデフォーカス量が所定値未満であるか否かを判定する。これは、既に合焦済の被写体があるか否かの判定に相当する。合焦済の被写体がある場合には、ステップＳ８１１に進み、あおり／フォーカス制御部１１５は、あおりモードで制御を行い、合焦済の被写体がない場合にはステップＳ８１２に進み、あおり／フォーカス制御部１１５は、フォーカスモードで制御を行う。その後、再びステップＳ８０２へ戻る。ステップＳ８１１またはステップＳ８１２のピント制御モードで合焦方向へと制御を続けることで、次第にそれぞれの被写体に対して確かなデフォーカス量が得られるようになる。また、デフォーカス変化やコントラスト変化を確認することでデフォーカス方向が得られるようになる。したがって、ステップＳ８０３やステップＳ８０６の判定において、ｙｅｓであると判定されやすくなる。

以上説明した実施形態１では、２つの被写体のデフォーカス情報を検出し、その信頼度に応じて、フォーカスモード、あおりモード、フォーカスあおり算出モードの３つのピント制御モードを切り替えながら合焦制御を行う。２つの被写体のデフォーカス量が確かである場合にはフォーカスあおり算出モードによって高速で合焦制御を行い、そうでない場合においても２つの被写体のデフォーカス方向に基づいてフォーカスモードとあおりモードから最適なモードを選択している。これにより、より高速、高精度に２つの被写体に対して合焦制御を行うことができる。なお、実施形態１では確実に２つの被写体に合焦させるために、デフォーカス量が共に所定値未満となることで合焦制御を終了させたが、例えば、合焦制御開始から所定時間が経過した場合に合焦制御を終了させても良い。また、フォーカス駆動またはあおり駆動の反転回数によって合焦制御を終了させても良い。合焦制御を終了させる処理として、これらの他に様々な変形が可能である。

また本実施形態では、複数の被写体として、被写体の数が２つである場合について説明したが、被写体の数は３つ以上であっても良い。

例えば、３つ以上の被写体がある場合において、２つ以上の被写体のデフォーカス量が確かである場合、あおり／フォーカス制御部１１５は、フォーカスあおり算出モードで合焦制御を行う。

３つ以上の被写体がある場合において、２つ以上の被写体のデフォーカス方向が確かである場合、あおり／フォーカス制御部１１５は、その方向に応じてフォーカスモードかあおりモードかを選択する。デフォーカス方向がすべて一致の場合には、あおり／フォーカス制御部１１５は、フォーカスモードで制御を行う。一方、デフォーカス方向が不一致の場合には、あおり／フォーカス制御部１１５は、あおりモードで制御を行う。

３つ以上の被写体のうち、デフォーカス方向が確かである被写体が２つ未満である場合、あおり／フォーカス制御部１１５は、フォーカスモードまたはあおりモードで制御を行う。デフォーカス方向が確かである被写体が１つである場合において、その被写体が合焦済である場合には、あおり／フォーカス制御部１１５は、あおりモードを選択し、それ以外の場合にはフォーカスモードを選択する。

３つ以上の被写体がある場合、すべての被写体に合焦するように合焦制御を行うことは必ずしも可能ではない。すべての被写体が同一のピント面上にある場合のみすべての被写体が合焦状態にある。しかし、一般に近距離と遠距離では遠距離側の方があおり制御に対する被写界深度が深くなるため、近距離の被写体を優先して合焦制御を行えば、すべての被写体が合焦するように合焦制御を行うことができる場合がある。このため、被写体の数が３つ以上の場合には、あおり／フォーカス制御部１１５は、被写体判定部１１３に近距離の被写体を優先して２つ設定させても良い。その後、あおり／フォーカス制御部１１５は、焦点検出部１１２に該２つの被写体それぞれのデフォーカス情報を検出させ、これら２つの被写体に対して、上述した２つの被写体Ｘ，Ｙがある場合の処理を適用しても良い。また、ユーザが注目した２つの被写体を選択するようにしても良い。このように、３つ以上の被写体があった場合において、２つの被写体を選択すれば、すべての被写体に対してデフォーカス情報を検出する必要がないため、検出負荷を軽減することができる。
（実施形態２）
以下、実施形態２に係る撮像装置が実行する処理について説明する。本実施形態の撮像装置は、合計４つのピント制御モードとして、実施形態１の撮像装置が有したフォーカスモード（第１モード）、あおりモード（第２モード）、フォーカスあおり算出モード（第３モード）に加え、ピント維持あおりモード（第４モード）有する。焦点検出部１１２が検出した被写体ごとのデフォーカス情報とその信頼度に基づいて、あおり／フォーカス制御部１１５は、最適なピント制御モードを選択しながら２つの被写体に対して合焦制御を行う。

ピント維持あおりモードについて説明する。ピント維持あおりモードとは、２つの被写体のうち特定の被写体におけるピント変化を抑制するようにあおり駆動部を用いて合焦制御を行うモードである。つまり、ピント維持あおりモードとは、あおり制御と同時にフォーカスレンズ１０２を駆動するフォーカス制御を行うことで、特定の被写体に合焦させたままピント面を回転させるモードである。

図９、図１０は、ピント維持あおりモードの説明図である。図９は、地点Ａの被写体に合焦した状態から、あおり制御を行った例である。図９(ａ)は、光学系と撮像素子１０６とが平行である状態を示している。図９(ｂ)は、図９(ａ)の状態からあおり制御を行った状態を示している。前述のように、あおり制御を行うと、ピント面はあおり回転軸に対応した位置を中心に回転する。このため、回転軸上ではない地点Ａの被写体は、ピント面から外れ、ぼけが生じてしまう。このように、あおり回転軸上ではない被写体に合焦させた状態であおり制御を行う場合には、ぼけが生じないようにフォーカス制御を行うことが好ましい。図９（ｃ）は、図９(ａ)の状態からあおり制御とフォーカス制御を行った状態を示している。フォーカス制御によって、地点Ａの被写体のピント状態を維持しつつ、ピント面を回転させることができる。

あおり制御に応じて行うフォーカス制御のフォーカス補正量を算出する一例を図１０を用いて説明する。撮影画像であおり回転軸の位置よりも下部に存在する被写体領域に対して、あおり制御を行ってもピント状態を維持するためのフォーカス補正量を算出する。あおり制御前後のフォーカスレンズ１０２と撮像素子１０６の位置関係が、それぞれ図１０の上部と下部に示されている。ここで、撮像素子１０６上でのあおり軸から被写体までの距離をｋ[ｕｍ]とし、あおり制御によりあおり角度をα１[°]（ここではレンズと平行のため０[°]）からα２[°]まで駆動するとき、ピント面上での変化量βがフォーカス補正量となる。このフォーカス補正量βは、以下の式（８）で算出される。

β＝（ｔａｎα２－ｔａｎα１）×ｋ （８）
本実施形態の具体的な制御方法について説明する。図１１は、２つの被写体Ｘ、Ｙのデフォーカス情報とその信頼度に基づく制御の一覧表である。ここでは、実施形態１との差分のみ説明する。本実施形態では、２つの被写体Ｘ、Ｙのデフォーカス量の両方が確かではなく、フォーカスあおり算出モードが使用できない場合において、一方の被写体のデフォーカス量が所定値未満（すなわち、合焦済）である場合に、ピント維持あおりモードが選択される。ピント維持あおりモードで制御を行うことにより、上述した通り合焦済の被写体をぼかすことなく、他方の被写体に対して合焦制御を行うことができる。このため、実施形態２では、実施形態１に対して合焦品位が向上する。

図１２は、上述した本実施形態における処理を示したフローチャートである。実施形態１と同様である部分については同符号を付し、説明を省く。

ステップＳ８０３でｎｏと判定される場合、ステップＳ１２０１に進む。ステップＳ１２０１で、焦点検出部１１２は、２つの被写体Ｘ、Ｙのうちどちらかの被写体のデフォーカス量が所定値未満であるか否かを判定する。これは、既に合焦済の被写体があるか否かの判定に相当する。合焦済の被写体がある場合には、ステップＳ１２０２に進み、あおり／フォーカス制御部１１５は、ピント維持あおりモードで制御を行う。その後、再びステップＳ８０２へ戻る。ステップＳ１２０２のピント維持あおりモードでもう一方の被写体の合焦方向に向かって制御を続けることで、次第にその被写体に対して確かなデフォーカス量が得られるようになり、ステップＳ８０３の判定において、ｙｅｓであると判定されやすくなる。

ステップＳ１２０１でｎｏと判定される場合、ステップＳ１２０３に進む。ステップＳ１２０３で、焦点検出部１１２は、２つの被写体Ｘ、Ｙに対して検出されたデフォーカス方向が両方とも確かである否かを判定する。デフォーカス方向が両方とも確かである場合、ステップＳ１２０４に進む。ステップＳ１２０４では、焦点検出部１１２は、検出されたデフォーカス方向が一致しているか否かを判定する。デフォーカス方向が一致している場合には、ステップＳ１２０５に進み、あおり／フォーカス制御部１１５は、フォーカスモードで制御を行う。デフォーカス方向が不一致の場合には、ステップＳ１２０６に進み、あおり／フォーカス制御部１１５は、あおりモードで制御を行う。その後、再びステップＳ８０２へ戻る。ステップＳ１２０５またはステップＳ１２０６のピント制御モードで合焦方向に向かって制御を続けることで、次第にそれぞれの被写体に対して確かなデフォーカス量が得られるようになる。これにより、ステップＳ８０３やステップＳ１２０１の判定において、ｙｅｓであると判定されやすくなる。

ステップＳ１２０３でｎｏと判定される場合、ステップＳ１２０７に進み、あおり／フォーカス制御部１１５は、フォーカスモードで制御を行う。その後、再びステップＳ８０２へ戻る。ステップＳ１２０７においてフォーカスモードで合焦方向に向かって制御を続けることで、次第にそれぞれの被写体に対して確かなデフォーカス量が得られるようになる。また、デフォーカス変化やコントラスト変化を確認することでデフォーカス方向が得られるようになる。したがって、ステップＳ８０３、ステップＳ１２０１、ステップ１２０３の判定において、ｙｅｓであると判定されやすくなる。

以上に説明した実施形態２では、２つの被写体Ｘ、Ｙのデフォーカス情報を検出し、その信頼度に応じて、フォーカスモード、あおりモード、フォーカスあおり算出モード、ピント維持あおりモードの４つのピント制御モードを切り替えながら合焦制御を行う。実施形態２では、ピント維持あおりモードを用いることで、合焦済の被写体をぼかすことなく他方の被写体に対して合焦制御を行うことができるため、実施形態１に対して合焦品位が向上する。

なお、実施形態２でも、被写体の数が２つである場合について説明したが、被写体の数は３つ以上であっても良い。３つ以上の被写体のうちデフォーカス量が確かである被写体が１つである場合において、その被写体が合焦済であるとき、あおり／フォーカス制御部１１５は、ピント維持あおりモードで制御を行う。それ以外の場合については、実施形態１と同様である。
（実施形態３）
以下、実施形態３に係る撮像装置が実行する処理について説明する。本実施形態は、実施形態１または実施形態２で述べた撮像装置において、デフォーカス量が小さくなりきらない場合やデフォーカス量が検出できない場合の合焦制御停止処理を加えたものである。

図１３および図１４は、本実施形態における処理を示したフローチャートである。実施形態１と同様である部分ついては同符号を付し、説明を省く。

まず図１３を参照する。ステップＳ８０５、ステップＳ８０８、ステップＳ８０９、ステップＳ８１１、ステップＳ８１２にて各種ピント制御モードによる制御を実行後、ステップＳ１３０１にて合焦処理の停止判定に移行する。ステップＳ１３０１の停止判定の具体的な処理を図１４に示している。

まずステップＳ１４０１にて、ピント制御モードがフォーカスあおり算出モードであるか否かを判定する。ピント制御モードがフォーカスあおり算出モードである場合、ステップＳ１４０２にて、フォーカスあおり算出モードの実行回数としてカウントする。フォーカスあおり算出モードは計算上デフォーカス量がゼロになるように制御されるが、例えば駆動系の精度不足や閾値設定によっては、何度繰り返してもデフォーカス量が所定未満にならず合焦制御が終了しない懸念がある。そのため、ここでフォーカスあおり算出モードの実行回数をカウントしておき、後の停止判定（ステップＳ１４０９）で使用できるようにする。

ステップＳ１４０１でピント制御モードがフォーカスあおり算出モードではないと判定された場合（すなわちフォーカスモードまたはあおりモードである場合）、ステップＳ１４０３にて前回とピント制御モードが異なるか否かを判定する。前回とピント制御モードが異なる場合、ステップＳ１４０４にて、ピント制御モード切替え回数としてカウントする。ピント制御モードが頻繁に切り替わることは合焦近辺でハンチングしていると考えられるため、ここでピント制御モード切替え回数をカウントしておき、後の停止判定（ステップＳ１４０９）で使用できるようにする。

ステップＳ１４０３でピント制御モードが前回と同じと判定された場合（すなわちフォーカスモードのまま、またはあおりモードのままである場合）、ステップＳ１４０５にて、駆動方向が前回と異なるか否かを判定する。駆動方向が前回と異なる場合、ステップＳ１４０６にて、フォーカス駆動またはあおり駆動の反転回数としてカウントする。フォーカス駆動またはあおり駆動が頻繁に反転することは合焦近辺でハンチングしていると考えられるため、ここで反転回数をカウントしておき、後の停止判定（ステップＳ１４０９）で使用できるようにする。

ステップＳ１４０５で駆動方向が前回と同じと判定された場合、さらにステップＳ１４０７にてこの状態が所定以上連続しているか否か判定する。連続している場合は、フォーカスモードまたはあおり制御モードのままで同一方向への駆動が続いていて合焦に向かっている途中である（合焦付近ではない）と考えられるため、ステップＳ１４０８にてピント制御モード切替え回数と反転回数をゼロリセットする。

ステップＳ１４０９は、合焦処理の停止判定を行う。具体的には、ステップＳ１４０２、ステップＳ１４０４、ステップＳ１４０６でカウントしたフォーカスあおり算出モードの実行回数、ピント制御モード切替え回数、フォーカス駆動またはあおり駆動の反転回数を、各々に対応した閾値（ＴＨ１，ＴＨ２，ＴＨ３）と比較する。いずれかが閾値を上回っていれば停止判定し、ステップＳ１４１０で合焦処理を停止させる。

以上に説明した実施形態３では、デフォーカス量が小さくなりきらない場合やデフォーカス量が検出できない場合の合焦制御停止処理を加えた。これにより無駄に合焦制御を継続してしまうことがなくなり、ピント変化のハンチング防止や駆動部の耐久性を向上させる効果がある。

なお、合焦制御を終了させる処理として、これらの他に様々な変形が可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、撮影手段のブレを高精度に評価することが可能なブレ評価装置、ブレ評価方法、およびプログラムを提供することができる。また各実施形態によれば、高精度にブレ補正が可能な撮影手段の製造方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１１６ あおり駆動部
１１７ フォーカス駆動部
１１３ 被写体領域設定部
１１２ デフォーカス情報検出部
１１５ 制御部

Claims (21)

1. 撮像素子の撮像面および撮像光学系の主面の間の角度を変更するために、前記撮像素子または前記撮像光学系の少なくとも一つの傾きを変更するあおり駆動部と、
   前記撮像光学系のフォーカスレンズを駆動するフォーカス駆動部と、
   撮影画像内における複数の被写体領域を設定する被写体領域設定部と、
   前記複数の被写体領域ごとに、デフォーカス情報を検出するデフォーカス情報検出部と、
   前記複数の被写体領域ごとの前記デフォーカス情報に基づいて、前記あおり駆動部と前記フォーカス駆動部の少なくとも一つを用いて合焦制御を行うための複数の制御モードから一つの制御モードを選択する制御部と、を有することを特徴とする撮像装置。
2. 前記複数の制御モードは、
   前記フォーカス駆動部を用いて前記合焦制御を行う第１モード、
   前記あおり駆動部を用いて前記合焦制御を行う第２モード、
   前記デフォーカス情報に基づいて算出されるフォーカス位置とあおり角度それぞれの目標値に基づいて前記合焦制御を行う第３モード、
   前記複数の被写体領域のうち特定の被写体領域におけるピント変化を抑制するように前記あおり駆動部を用いて前記合焦制御を行う第４モード、
   のうち少なくとも２つのモードを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記第４モードにおいて、前記あおり駆動部と前記フォーカス駆動部を同時に制御することで、前記特定の被写体領域に合焦させたまま前記合焦制御を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記複数の被写体領域においてデフォーカス量が確かである領域が２つ以上であるとき、前記制御部は、前記第３モードで前記合焦制御を行うことを特徴とする請求項２または３に記載の撮像装置。
5. 前記複数の被写体領域においてデフォーカス方向が確かである領域が２つ以上である場合において、
   前記制御部は、
   該２つ以上の領域のデフォーカス方向が一致しているとき、前記第１モードで前記合焦制御を行い、
   該２つ以上の領域のデフォーカス方向が不一致であるとき、前記第２モードで前記合焦制御を行うことを特徴とする請求項２から４のいずれか一項に記載の撮像装置。
6. 前記複数の被写体領域においてデフォーカス方向が確かである領域が２つ未満であるとき、前記制御部は、前記第１モードまたは前記第２モードで前記合焦制御を行うことを特徴とする請求項２から５のいずれか一項に記載の撮像装置。
7. 前記複数の被写体領域においてデフォーカス方向が確かである領域が１つである場合において、該領域のデフォーカス量が確かでかつ所定値未満であるとき、前記制御部は、前記第２モードで前記合焦制御を行うことを特徴とする請求項２から６のいずれか一項に記載の撮像装置。
8. 前記複数の被写体領域においてデフォーカス量が確かである領域が１つである場合において、該領域のデフォーカス量が所定値未満であるとき、前記制御部は、前記第４モードで前記合焦制御を行うことを特徴とする請求項２から６のいずれか一項に記載の撮像装置。
9. 前記制御部は、前記複数の被写体領域のデフォーカス量がすべて所定値未満となった場合に前記合焦制御を終了することを特徴とする請求項１から８のいずれか一項に記載の撮像装置。
10. 前記制御部は、合焦制御開始から所定時間が経過した場合に前記合焦制御を終了することを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
11. 前記複数の被写体領域は、ユーザにより指定された領域、または、被写体像の中から自動検出された領域であることを特徴とする請求項１から１０のいずれか一項に記載の撮像装置。
12. 前記デフォーカス情報は、デフォーカス量およびデフォーカス方向を含む特徴とする請求項１から１１のいずれか一項に記載の撮像装置。
13. 前記複数の被写体領域の数は、２つであることを特徴とする請求項１から１２のいずれか一項に記載の撮像装置。
14. 前記制御部は、
    前記被写体領域設定部に前記複数の被写体領域の中から２つの被写体領域を設定させ、
    前記デフォーカス情報検出部に該２つの被写体領域それぞれのデフォーカス情報を検出させ、
    前記２つの被写体領域ごとの前記デフォーカス情報に基づいて、前記複数の制御モードから一つの制御モードを選択することを特徴とする請求項１から１３のいずれか一項に記載の撮像装置。
15. 前記制御部は、前記第３モードによる制御実行回数が所定以上となったとき前記合焦制御を終了することを特徴とする請求項２から８のいずれか一項に記載の撮像装置。
16. 前記制御部は、前記複数の制御モードの切り替わり回数が所定以上となったとき、前記合焦制御を終了することを特徴とする請求項１５に記載の撮像装置。
17. 前記制御部は、前記複数の被写体領域すべてのデフォーカス方向が反転した回数が所定以上となったとき、前記合焦制御を終了することを特徴とする請求項１６に記載の撮像装置。
18. 前記制御部は、前記フォーカス駆動部と前記あおり駆動部の少なくとも一つの反転回数が所定以上となったとき、前記合焦制御を終了することを特徴とする請求項１７に記載の撮像装置。
19. 前記制御部は、前記第１モードまたは前記第２モードにおいて同一方向に所定回数以上連続して駆動した場合、前記複数の制御モードの切り替わり回数、前記デフォーカス方向が反転した回数、前記フォーカス駆動部とあおり駆動部の少なくとも一つの反転回数のうち少なくとも１つをリセットすることを特徴とする請求項１８に記載の撮像装置。
20. 撮像素子の撮像面および撮像光学系の主面の間の角度を変更するために、前記撮像素子または前記撮像光学系の少なくとも一つの傾きを変更するあおり駆動部と、
    前記撮像光学系のフォーカスレンズを駆動するフォーカス駆動部と、を備える撮像装置の制御方法であって、
    撮影画像内における複数の被写体領域を設定するステップと、
    前記複数の被写体領域ごとに、デフォーカス情報を検出するステップと、
    前記複数の被写体領域ごとの前記デフォーカス情報に基づいて、前記あおり駆動部と前記フォーカス駆動部の少なくとも一つを用いて合焦制御を行うための複数の制御モードから一つの制御モードを選択するステップと、を有することを特徴とする制御方法。
21. 撮像装置のコンピュータに、請求項２０に記載の制御方法に従う処理を実行させるコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images