JP2022145453A - 撮像装置、制御方法および記憶媒体 - Google Patents

Abstract

【課題】複数の被写体があった場合に、適切な被写体を選択することで、あおり角とフォーカス位置を高精度に算出することが可能な撮像装置を提供する。【解決手段】撮像装置（１００）は、撮像素子を傾けてあおり角を変更するあおり駆動部（１１６）と、フォーカス位置を変更するフォーカス駆動部（１１８）と、撮像画像内で被写体を検出する被写体検出部（１１３）と、測距を行う測距部（１１２）と、測距結果に基づいてあおり角及びフォーカス位置を決定する決定部（１１４）と、あおり駆動部及びフォーカス駆動部を制御する制御部（１１５）を有し、制御部は、検出された被写体の検出サイズ、検出位置、および測距された被写体の測距結果の精度の少なくとも一つに基づいて、検出された複数の被写体から被写体を選択し、決定部は、選択された被写体の測距結果に基づいて、あおり角及びフォーカス位置を決定する。【選択図】図１

Description

本発明は、あおり制御が可能な撮像装置に関する。

従来、監視カメラを高所に設置し、監視カメラの光軸を斜め下側に向け、道路を通行する人を監視したり、車やそのナンバープレートを撮影したりすることがある。

撮像を行う際のピントが合うピント面は光軸に垂直な面である。監視カメラの光軸が斜め下向きとなる場合、撮像を行う際のピントが合うピント面は、実際に撮像を行う対象となる被写体の撮像面とは合致しない。そのため、ピントが合う領域は画面の一部となり、その他の領域はピントがぼけた状態となる。

この問題に対し、光学系の絞りを絞ることにより被写界深度を深くし、ピントぼけを防ぐ方法がある。

しかしながら、低照度下で撮影を行う監視カメラでは、絞りを開放近くまで開いての撮影も多い。この結果、被写界深度は浅くなってしまい、画面全体でピントが合わず、ピントがぼけた状態で撮影が行われてしまう。

このような課題に対し、レンズもしくは撮像素子を相対的に傾けることで被写界深度範囲を広げるシャインプルーフの定理と呼ばれる技術が一般的に知られている。

特許文献１には、複数の被写体に合焦するようにフォーカス位置とあおり制御量を決定する技術が開示されている。この技術においては、被写体毎に合焦位置を検出することが必要である。合焦位置の検出方法として、コントラスト評価値が最大となるようにフォーカス位置を制御する処理を被写体毎に実行する方法が記載されている。特許文献１に開示された撮像装置では、２点の被写体距離と像高から、あおり角とフォーカス位置の制御量を算出している。

特開２００３－７５７１６号公報

しかしながら、特許文献１には、あおり角とフォーカス位置の制御を行う際に、使用する２点の位置についての言及が無い。したがって、複数の被写体があった場合に、２点の選択によってはあおり角とフォーカス位置の制御量が正しく算出できない場合がある。

そのため、理想のあおり面の位置からズレが生じてしまう。近年では、撮像素子の高画素化、および表示機器の大型化に伴い、より高精細な映像が求められている。このため、特許文献１の方法では、４Ｋや８Ｋカメラを使用した場合、十分にピントを合わすことができない。

そこで本発明は、複数の被写体があった場合に、適切な被写体を選択することで、あおり角とフォーカス位置を高精度に算出することが可能な撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、撮像素子を傾けて、前記撮像素子の撮像面と撮像光学系の光軸と直交する直交面との間の角度であるあおり角を変更するあおり駆動部と、前記撮像光学系のフォーカスレンズを駆動して、フォーカス位置を変更するフォーカス駆動部と、撮像装置によって撮像された画像内で被写体を検出する被写体検出部と、前記被写体検出部により検出された前記被写体までの測距を行う測距部と、前記測距部による測距結果に基づいて、前記あおり角および前記フォーカス位置を決定する決定部と、前記決定部により決定された前記あおり角および前記フォーカス位置に基づいて、前記あおり駆動部および前記フォーカス駆動部を制御する制御部と、を有し、前記制御部は、前記被写体検出部により検出された前記被写体の検出サイズ、検出位置、および前記測距部により測距された前記被写体の前記測距結果の精度の少なくとも一つに基づいて、前記被写体検出部により検出された複数の前記被写体から、前記あおり角および前記フォーカス位置を決定するために用いる被写体を選択し、前記決定部は、選択された前記被写体の測距結果に基づいて、前記あおり角および前記フォーカス位置を決定することを特徴とする。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、複数の被写体があった場合に、適切な被写体を選択することで、あおり角とフォーカス位置を高精度に算出することが可能な撮像装置を提供することができる。

撮像装置の構成を示すブロック図である。 撮像素子の画素構成を示す図である。 ビットずれ量の算出方法を説明する図である。 変換係数Ｋの算出方法を説明する図である。 あおり制御を説明する図である。 あおり制御およびフォーカス制御を説明する図である。 第１の実施形態に係るあおり／フォーカス制御を説明するフローチャートである。 第１の実施形態の課題のシチュエーションの図である。 図８のシチュエーションを撮像面位相差方式で測距した場合の撮像面上のピント位置を表す図である。 信頼度のテーブルである。 第２の実施形態に係るあおり／フォーカス制御を説明するフローチャートである。 第３の実施形態の課題のシチュエーションの図である。 図１２のシチュエーションを撮像面位相差方式で測距した場合の撮像面上のピント位置を表す図である。 第３の実施形態に係るあおり／フォーカス制御を説明するフローチャートである。 第４の実施形態に係るあおり／フォーカス制御を説明するフローチャートである。 第４の実施形態の課題のシチュエーションの図である。 図１６のシチュエーションを撮像面位相差方式で測距した場合の撮像面上のピント位置を表す図である。 信頼度のテーブルである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
（全体構成）
まず、図１を参照して、本実施形態における撮像装置について説明する。図１は、撮像装置（制御装置）１００のブロック図である。ズームレンズ１０１は、光軸方向に移動して焦点距離を変更する。フォーカスレンズ１０２は、光軸方向に移動してピントの制御（フォーカス制御）を行う。

絞りユニット１０３は、光量を調整する。本実施形態において、ズームレンズ１０１、フォーカスレンズ１０２、および、絞りユニット１０３により撮像光学系が構成される。

撮像光学系を通過した光は、バンドパスフィルタ（ＢＰＦ）１０４およびカラーフィルタ１０５を介して、撮像素子１０６に受光される。バンドパスフィルタ１０４は、撮像光学系の光路に対して進退可能であってもよい。

撮像素子１０６は、ＣＭＯＳセンサなどを有し、撮像光学系を介して形成された光学像（被写体像）を光電変換する。

撮像素子１０６から出力されたアナログ電気信号（撮像信号）は、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）１０７によりゲイン調整される。Ａ／Ｄ変換器１０８は、アナログ電気信号をデジタル信号（デジタル撮像信号）に変換する。

カメラ信号処理部１０９は、デジタル撮像信号に対して各種の画像処理（例えばガンマ変換やホワイトバランス調整）を行い、映像信号を生成する。映像信号は、通信部１１０を介して、撮像装置１００に有線または無線通信により接続された監視モニタ装置１１１に出力される。

また、通信部１１０は、外部ＰＣ等の外部装置からのコマンドを受けて撮像装置１００内のあおり／フォーカス制御部（制御部）１１５にコマンドなどの制御信号を出力する。

本実施形態では監視モニタ装置１１１まで含めたシステムを撮像装置と呼ぶ。一方、図１において監視モニタ装置１１１以外は一つの筐体に収納されており監視カメラを構成している。

測距情報算出部（測距部）１１２は、対象となる被写体領域ごとにカメラ信号処理部１０９からＲＧＢの画素値または輝度値を受け取り、位相差による距離情報を取得する。

被写体検出部１１３は、カメラ信号処理部１０９からの結果を受けて、撮影画像内において被写体を検出する。被写体検出部１１３は、ユーザにより指定された被写体または予め設定された被写体、例えば人物や車の検出も行うことが可能である。

あおり／フォーカス駆動量算出部（決定部）１１４は、測距情報算出部１１２からの測距情報と被写体検出部１１３からの被写体情報を取得する。

また、あおり／フォーカス駆動量算出部１１４は、測距情報および被写体情報と、制御部１１５からのあおり角およびフォーカス位置とに基づいて、シーンに応じた適切な（最適な）あおり角およびフォーカス位置を算出する。

制御部１１５は、コンピュータとしてのＣＰＵが内蔵されており、メモリ１２０に記憶されたコンピュータプログラムに基づき装置全体の各種動作を制御手段として実行する。制御部１１５は、あおり／フォーカス駆動量算出部１１４により算出されたあおり角およびフォーカス位置に基づいて、あおり角およびフォーカス位置を制御する。

制御部１１５は、通信部１１０を介して外部ＰＣなどの外部装置からの指示に従って、オートフォーカス（ＡＦ）やマニュアルフォーカス（ＭＦ）でのフォーカス制御、ズーム制御、および、絞り制御を行う。また制御部１１５は、撮像素子駆動部１１６、絞り駆動部１１７、フォーカス駆動部１１８、および、ズーム駆動部１１９から現在の位置情報を受け取り、あおり／フォーカス駆動量算出部１１４に現在の位置情報を出力する。

また制御部１１５は、あおり／フォーカス駆動量算出部１１４で算出されたあおり角およびフォーカス位置を、撮像素子駆動部１１６およびフォーカス駆動部１１８にそれぞれ指示する。

撮像素子駆動部１１６は、あおり駆動部として機能し、制御部１１５から指示されたあおり角に基づいて、撮像素子１０６を傾け、あおり角を制御する。すなわち、撮像素子駆動部１１６は、撮像素子１０６を傾けて、撮像素子１０６の撮像面と撮像光学系の光軸と直交する直交面との間の角度であるあおり角を変更する。

通常、撮像素子１０６を傾ける回転軸は、撮影画像の中心を通る水平方向の（撮像素子の長手方向に沿った）軸であり、この回転軸を中心に撮像素子１０６は撮像光学系に対して相対的に傾く。しかし、本実施形態はこれに限定されるものではない。

絞り駆動部１１７は、制御部１１５から伝達された絞りの設定値に基づいて、絞りユニット１０３の位置を制御する。フォーカス駆動部１１８は、制御部１１５から指示されたフォーカスの設定値に基づいて（デフォーカス量に基づいて）、フォーカスレンズ１０２の位置を制御する（フォーカス制御を行う）。ズーム駆動部１１９は、制御部１１５から伝達されたズームの設定値に基づいて、ズームレンズ１０１の位置を制御する。

測距情報算出部１１２は、カメラ信号処理部１０９により得られる焦点検出用データを用いて、位相差検出方式で測距情報算出処理を行う。より具体的には、カメラ信号処理部１０９は、撮像光学系の一対の瞳領域を通過する光束により形成される一対の像データを焦点検出用データとして生成する。測距情報算出部１１２は、一対の像データのずれ量に基づいて測距結果としてのデフォーカス量を検出する。このように測距情報算出部１１２は、専用のＡＦセンサを用いず、撮像素子１０６の出力に基づく撮像面位相差検出方式により測距（焦点検出）を行う。

なお、測距情報算出部１１２の撮像面位相差検出方式による測距情報算出動作の詳細については、後述する。また測距情報算出部１１２は、特定周波数のコントラストに係る評価値（コントラスト評価値）を取得し、元のフォーカス位置とコントラスト評価値がピークとなるフォーカス位置との差分に基づいてデフォーカス量を算出してもよい。

メモリ（記憶手段）１２０は、制御部１１５が実行するプログラムに関するデータを記憶しているとともに、シェーディング補正係数に関するデータや変換係数に関するデータを記憶している。
（撮像面位相差検出方式による測距情報算出動作）
次に、図２を参照して、撮像素子１０６の画素構成について説明する。図２は、撮像素子１０６の画素構成図である。

撮像素子１０６は、全ての画素２０１のそれぞれが光電変換部２０１ａ、２０１ｂの２つにＸ方向に分割されている。また撮像素子１０６は、光電変換部２０１ａ、２０１ｂそれぞれの光電変換信号と、２つの光電変換部２０１ａ、２０１ｂの光電変換信号の和とがそれぞれ独立して読み出し可能である。

また、２つの光電変換部２０１ａ、２０１ｂの光電変換信号の和から一方の光電変換部（例えば光電変換部２０１ａ）の光電変換信号を減じることで、他方の光電変換部（例えば光電変換部２０１ｂ）の光電変換信号に相当する信号を得ることができる。

光電変換部２０１ａ、２０１ｂそれぞれにおける光電変換信号は、位相差ＡＦのための焦点検出用データとして用いられる。また、２つの光電変換部２０１ａ、２０１ｂの光電変換信号の和は、通常の撮影画像データとして用いられる。

測距情報算出部１１２は、このように生成された光電変換部２０１ａの光電変換信号に相当する信号（Ａ像）と光電変換部２０１ｂの光電変換信号に相当する信号（Ｂ像）との相対的な像ずれ量を相関演算により算出する。これにより、測距情報算出部１１２は、一対の像信号の相関度であるビットずれ量［ｂｉｔ］を算出することができる。ビットずれ量に変換係数を乗ずることで、ビットずれ量は所定領域のデフォーカス量［ｍｍ］に変換される。

本実施形態では、各画素２０１から光電変換部２０１ａ、２０１ｂの一方の出力信号と２つの光電変換部２０１ａ、２０１ｂの出力信号の和を撮像素子１０６から読み出すものとする。例えば、光電変換部２０１ａの出力信号と、光電変換部２０１ａ、２０１ｂの出力信号の和とが読み出される場合、光電変換部２０１ｂの出力信号は、光電変換部２０１ａ、２０１ｂの出力信号の和から光電変換部２０１ａの出力を減じることで取得できる。これにより、Ａ像とＢ像の両方を得ることができ、撮像面位相差検出方式での測距（焦点検出）を実現することができる。また、光電変換部２０１ａ、２０１ｂの出力信号の和は、一般的には、出力画像の１画素（出力画素）を形成する。なお、このような撮像素子は公知であるため、詳細な説明は省略する。

次に、撮像面位相差検出方式による測距情報算出動作について説明する。以下の測距情報算出動作は、測距情報算出部１１２が主体となって実行される。

まず、測距情報算出部１１２は、焦点検出位置を設定する。続いて測距情報算出部１１２は、設定された焦点検出位置から焦点検出用データを読み出す。測距情報算出部１１２で設定された焦点検出位置内の画素から読み出した信号を用いることで、測距情報算出部１１２は、Ａ像およびＢ像のそれぞれの信号を生成する。続いて、測距情報算出部１１２は、Ａ像とＢ像の相対的な像ずれ量を相関演算により求めることで、ビットずれ量Ｐ［ｂｉｔ］を取得する。

ここで、図３を参照して、相関演算方法の一例を説明する。図３は、相関演算方法（ビットずれ量の算出方法）の説明図である。

図３において、縦軸は信号値、ヨコ軸はビット（位置）をそれぞれ示す。撮像素子１０６の画素（焦点検出画素）からＡ像とＢ像の信号が読み出されたとする。カメラ信号処理部１０９は、まず、ノイズの低減のため、Ａ像とＢ像のそれぞれに対してデジタルフィルタ処理を行う。図３（ａ）は、フィルタ処理後の波形を示す。

測距情報算出部１１２は、図３（ａ）～（ｄ）に示されるように、Ａ像信号とＢ像信号のいずれか、またはＡ像信号とＢ像信号の両方をビットシフトしながら、そのときの相関量ＣＯＲを算出する。相関量ＣＯＲは、Ａ像とＢ像とを重ねたときの面積、Ａ像の面積からＢ像の面積を減算した値、または、相関度を表す計算値などであるが、これらに限定されるものではない。以下、相関量ＣＯＲが、Ａ像とＢ像とを重ねたときの面積である場合について説明する。

Ａ像とＢ像とが一致した場合、Ａ像とＢ像との重なりが大きくなるため、最も相関が高く、相関量ＣＯＲは大きくなる。ここでは、相関量ＣＯＲが最大値をとるときのシフト量［ｂｉｔ］がビットずれ量Ｐ［ｂｉｔ］となる。

続いて、測距情報算出部１１２は、変換係数Ｋを取得する。変換係数Ｋをビットずれ量Ｐに乗じることでデフォーカス量ＤＥＦが求められる。

ここで、図４を参照して、変換係数Ｋの算出について説明する。図４は、変換係数Ｋの算出の説明図である。図４において、Ｚ軸は、撮像光学系の光軸方向を示し、Ｚ＝０は撮像素子１０６の面（撮像面）を示す。Ｚｅｐは、射出瞳距離を示す。Ｚ＝Ｚｅｐ上のＡ像、Ｂ像の焦点検出光束の光量分布である瞳強度分布ＰＩ＿Ａ、瞳強度分布ＰＩ＿Ｂは、光電変換部２０１ａ、２０１ｂのそれぞれから出力された信号（焦点検出用信号）を射出瞳面上に投影した投影像である。

図４中のＰＩ＿Ａ、ＰＩ＿Ｂは、一次元の瞳強度分布を示す。瞳強度分布ＰＩ＿Ａ、ＰＩ＿Ｂの重心間隔を基線長ＢＬとする。このとき、射出瞳距離Ｚｅｐと基線長ＢＬとの比で、Ａ像とＢ像のビットずれ量Ｐ［ｂｉｔ］に対する光軸方向の変化量［ｍｍ］を求めることができる。

従って、変換係数Ｋは、以下の式（１）のように表すことができる。

Ｋ＝Ｚｅｐ／ＢＬ （１）
次に、測距情報算出部１１２は、以下の式（２）により、デフォーカス量ＤＥＦ［ｍｍ］を算出する。

ＤＥＦ＝Ｐ×Ｋ （２）
焦点検出位置で合焦させる場合、あおり／フォーカス駆動量算出部１１４は、デフォーカス量ＤＥＦに基づいて、以下の式（３）によりフォーカスレンズ１０２の駆動量Ｍ［ｌｅｎｓｍｍ］を算出する。そして制御部１１５は、フォーカス駆動部１１８を制御してフォーカスレンズ１０２を駆動する。

Ｍ＝ＤＥＦ×ＦＳ （３）
式（３）において、ＦＳは、デフォーカス量ＤＥＦ［ｍｍ］をレンズ駆動量Ｍ［ｌｅｎｓｍｍ］に変換するための敏感度である。

制御部１１５は、レンズ駆動量Ｍを設定し、フォーカス駆動部１１８は、設定されたレンズ駆動量Ｍに基づいてフォーカスレンズ１０２を光軸方向に駆動させる。これにより、焦点検出位置でピントの合った画像が得られる。

このように、測距情報算出部１１２は、撮像面位相差検出方式で得られた測距情報に基づいてデフォーカス量ＤＥＦを算出し、あおり／フォーカス駆動量算出部１１４は、デフォーカス量ＤＥＦに基づいてフォーカス駆動量を算出する。
（あおり制御の説明）
図５を参照して、あおり制御について説明する。図５は、あおり制御の説明図である。図５（ａ）は、光学系（撮像光学系）と撮像素子１０６とが平行である状態を示している。フォーカス距離Ｌにピントが合っており、ピント面は光学系および撮像素子１０６のそれぞれと平行である。

図５（ｂ）は、図５（ａ）の状態から撮像素子１０６を撮像素子回転軸を中心に回転させ、あおり制御が行われた状態を示している。あおり制御が行われると、シャインプルーフの原理に基づいて、ピント面も撮像素子回転軸に対応したピント面回転軸を中心に回転する。このため、ある平面に関して近距離から遠距離まで全ての被写体にピントを合わせることが可能となる。シャインプルーフの原理は、光学系の主面と撮像素子１０６の撮像面とがある１つの直線で交わるとき、ピント面も同じ直線上で交わるという原理である。

あおり角ｂは、焦点距離ｆ、フォーカス距離Ｌ、および、俯角ａを用いて、シャインプルーフの原理により、以下の式（４）で算出される。

ｂ＝ｔａｎ^－１（ｆ／（Ｌｔａｎ（ａ））） （４）
図５（ｃ）は、複数の被写体として被写体Ｘおよび被写体Ｙが存在するシーンを示している。この場合、図５（ｃ）に示されるように、被写体Ｘ、Ｙの顔にピントが合うようなピント面に制御することが望ましい。ここで、被写体とは、被写体の顔のような被写体の一部も含むものとする。このため、あおり制御のみではなく、フォーカス制御を行うことが必要である。また、被写体ごとに最適なピント面（すなわち、最適なあおり角および最適なフォーカス位置）は異なっており、ユーザが手動で調整するのは困難である。

そこで、図６を参照して、被写体に応じて最適なあおり角および最適なフォーカス位置を算出する一例を説明する。

図６は、あおり制御およびフォーカス制御の説明図である。対象とする被写体として、図５（ｃ）と同様に、被写体Ｘおよび被写体Ｙが存在する。

現在のあおり角とフォーカスレンズ１０２の位置が図６の上部の位置関係になっている。ｘは被写体Ｘに対してピントを合わせるために必要な、撮像光学系のピント面からの補正量、ｙは被写体Ｙに対してピントを合わせるために必要な、撮像光学系のピント面からの補正量である。

また、撮像素子１０６上でのあおり軸から被写体までの距離（像高）を、被写体Ｘに対してｋ１［ｕｍ］、被写体Ｙに対してｋ２［ｕｍ］とする。

ここで、被写体Ｘ、Ｙに同時に合焦させるためのあおり角をα［°］とし、フォーカスレンズ１０２の移動によるピント面上でのフォーカス補正量（フォーカス位置）をβとすると、以下の式（５）、（６）が成立する。

ｘ－β＝ｋ１×ｔａｎ（α）＋β （５）
ｙ＝ｋ２×ｔａｎ（α）－β （６）
式（５）、（６）の連立方程式を解くと、あおり角αおよびフォーカス補正量βはそれぞれ、以下の式（７）、（８）のように表される。

α＝ｔａｎ^－１（（ｘ＋ｙ）／（ｋ１＋ｋ２）） （７）
β＝（ｋ２×ｘ－ｋ１×ｙ）／（ｋ１＋ｋ２） （８）
フォーカスレンズ１０２の駆動量は、簡易的には、フォーカス補正量βをフォーカスレンズ１０２の敏感度ＦＳで除算することで算出できる。

一方、フォーカスレンズ１０２の駆動量を正確に算出するには、敏感度ＦＳに応じた高次方程式や多項式を解くことで可能となる。ただし本実施形態は、これに限定されるものではなく、他の方法で算出してもよい。

このように、撮像素子１０６上でのあおり軸から被写体までの距離を正確に算出しなければ、フォーカス位置とあおり角の補正を行っても、被写体のピントが甘くなってしまう。
［第１の実施形態］
次に、図７を参照して、第１の実施形態におけるあおり／フォーカス位置制御の方法について説明する。

図７は、本実施形態におけるあおり／フォーカス位置制御処理のフローチャートである。本実施形態の処理は、制御部１１５により、コンピュータプログラムとしての処理プログラムに従って実行される。なお処理プログラムは、例えば、コンピュータに読み取り可能な記憶媒体（メモリ１２０等）に記憶されている。

ステップＳ７０１において、通信部１１０は、制御部１１５にあおり制御開始命令を送る。

ステップＳ７０２において、被写体検出部１１３は、撮像装置１００が撮像する画像内で被写体を検出する。被写体検出は人体検出でも良いし、物体検出でも良い。

ステップＳ７０３において、制御部１１５は、被写体数をカウントし、被写体数が３つ以上かを判断する。

被写体数が３つ以上の場合は、ステップＳ７０４に進む。ステップＳ７０４において、制御部１１５は、被写体検出部１１３で検出された被写体の検出位置（像高）と検出サイズ（大きさ）を取得する。ここで、検出位置（像高）は、センサの回転軸から被写体までの距離である。また、検出サイズ（大きさ）は、人体認識や顔認識によって判定する。

ステップＳ７０５において、測距情報算出部１１２は、ステップＳ７０２において検出された各被写体に対して、各被写体の検出位置での測距結果としてデフォーカス量（距離）を測定する。具体的には、各被写体に枠を合わせて、デフォーカス量（距離）を測定する。なお、ここでの枠はＡＦ枠とするが、これに限らない。このデフォーカス量の測定には、位相差方式を使用しても良いし、コントラスト方式を使用しても良い。ステップＳ７０５においてデフォーカス量を測定するが、位相差方式での測距の場合には現在のピント位置から被写体までの距離が遠くなるほど測距精度は低下するという特徴がある。また、被写体の画像中心からの距離が遠い場合、レンズのシェーディングなどの影響を受けて測距精度が低下する。そのため、安易に画像中心からの距離が遠い被写体（または、被写体枠）を測距の枠として選ぶと、この後のフォーカス位置とあおり角の補正精度が低くなり、結果としてピントの甘い画になる場合がある。コントラスト方式においても、合焦したフォーカス位置から被写体距離を算出するのでメカ誤差（ガタ）・停止精度誤差が乗り、被写体距離の算出に誤差が生じる。そのため、２つの被写体（または、２枠）の距離が近いと誤差の割合が大きくなり、フォーカス位置とあおり角の補正精度が低くなり、結果としてピントの甘い画になる場合がある。

例えば、図８は被写体が３つある場合のシチュエーションの図である。そして図９は、図８のシチュエーションを撮像面位相差方式で測距した場合の撮像面上のピント位置を表した図である。被写体Ｚは像高が高く（センサの回転軸からの距離が長く）、センサからも遠い位置にピント面がある。そのため、位相差方式で測距したデフォーカス量が上述した影響により、実際の距離と大きく異なる場合がある。この場合、被写体Ｚのデフォーカス量を使用してフォーカス位置とあおり角の補正を行うとピント面が甘い画になる。上記の理由により、あおり／フォーカス位置制御を精度良く実施するためには、あおり角およびフォーカス位置の算出に使用する被写体を適切に選択する必要がある。

ステップＳ７０６において、制御部１１５は、被写体の検出サイズ、検出位置（像高）、デフォーカス量の精度（測距精度）から被写体毎（被写体の枠毎）に信頼度（適合度）を算出（判定）する。信頼度の算出については、図１０のようなテーブルを参照してもよい。図１０は一例であり、テーブルの作成方法に関してはその要旨の範囲内で種々の変形及び変更が可能である。図１０では、被写体の検出サイズ、検出位置、デフォーカス量の精度のすべてを考慮し、信頼度を算出（決定）している。制御部１１５は、信頼度を、被写体の検出サイズ、検出位置、およびデフォーカス量の精度の少なくとも一つを用いて算出してもよい。信頼度を算出する要素や重みづけは、デフォーカス量を算出した測距方式や撮影環境に応じて変更させてもよい。

図１０は、各要素である検出サイズＴａ、検出位置Ｔｂ、デフォーカス量の精度Ｔｃを０～１で評価した場合を示している。信頼度は、式（９）で表される。

Ｔ＝Ｔａ×Ｔｂ×Ｔｃ （９）
信頼度の算出式はあくまでも一例であり、各要素に対する重みづけ（比重）を、デフォーカス量を算出した測距方式や撮影環境に応じて変更させてもよいし、各要素を加算してもよい。信頼度の算出方法に関しては、その要旨の範囲内で種々の変形及び変更が可能である。これを、被写体ごとに行い、被写体ごとの信頼度を算出する。なお、図１０の場合には、信頼度が高いＸ，Ｙが選択される。また、図１０では、画像中心からの距離が、ＸよりＹの方が近いため、Ｙの測距精度がＸの測距精度より高くなっている。

ステップＳ７０７において、制御部１１５は、信頼度の高い上位２つの被写体（または、被写体枠）を選択する。上述の被写体選択の際に、２つの被写体の像高差を考慮に入れてもよい。

ステップＳ７０８において、選択した２つの被写体（または、被写体枠）に対する測距結果としてのデフォーカス量ＤＥＦ１、ＤＥＦ２から、あおり／フォーカス駆動量算出部１１４はフォーカス駆動量ｄ、あおり角駆動量θを算出する。

ステップＳ７０９において、ステップＳ７０８であおり／フォーカス駆動量算出部１１４が算出した駆動量に応じて、制御部１１５は、フォーカス駆動部１１８、撮像素子駆動部１１６を駆動させる。

ステップＳ７０３において、被写体数が３つ以上でなければ、ステップＳ７１０に進む。

ステップＳ７１０において、制御部１１５は、被写体数が２つかどうかを判別する。被写体数が２つの場合は、ステップＳ７０８に進む。被写体数が１つの場合は、ステップＳ７１１に進む。

ステップＳ７１１において、測距情報算出部１１２は、被写体までのデフォーカス量を測定する。

ステップＳ７１２において、ステップＳ７１１において測定されたデフォーカス量に応じて、制御部１１５は、フォーカス駆動部１１８を駆動させる。

被写体が１つの場合は、撮像素子駆動部１１６は駆動させず、フォーカス駆動部１１８のみを駆動させる。

ステップＳ７１３において、制御部１１５は、本制御処理を終了する。

本実施形態によれば、信頼度に応じて、あおり／フォーカス位置制御を実施するための２つの被写体（または、２枠）を選択することで、あおり／フォーカス位置制御に適した被写体（または、被写体枠）の選択が可能になる。よって、あおり角、フォーカス位置の算出を高精度に行うことが可能となる。
［第２の実施形態］
第１の実施形態では、信頼度に基づいた選択でのあおり／フォーカス位置制御の方法を実施する例について説明した。

以下では、図１１に示すフローチャートを参照して、本発明の第２の実施形態によるあおり／フォーカス位置制御処理を説明する。本実施形態では、あおり／フォーカス位置制御中に新たな被写体が認識された場合や画像内の被写体が動いた場合の制御方法を説明する。なお、第１の実施形態と同様の構成については、詳細な説明を省略する。

第１の実施形態と異なるのは、ステップＳ１１１３、ステップＳ１１１４の一連の処理である。

ステップＳ１１１３において、制御部１１５は、被写体検出部１１３が新たな被写体を画像内で検出していないか、または被写体が最初の検出時から動いていないかどうかを判定する。

新たな被写体を検出していない場合、または被写体が最初の検出時から動いていない場合はステップＳ１１１５に進み、本制御処理を終了する。新たな被写体を検出した場合、または被写体が最初の検出時から動いた場合は、ステップＳ１１１４に進む。

ステップＳ１１１４において、制御部１１５は、測距方式がコントラスト方式かどうか判別する。

測距方式がコントラスト方式の場合、測距を行うために、フォーカスレンズ１０２を駆動させなければならず、品位に欠ける。そのため、再測距は行わず、ステップＳ１１１５に進む。測距方式が像面位相差方式の場合、測距のためにフォーカスレンズ１０２を駆動させずに済むため、ステップＳ１１０３に戻る。つまり、制御部１１５は、測距方式に応じて、信頼度を再算出（再判定）するか否かを判断する。

本実施形態では、あおり／フォーカス位置制御中に新たな被写体が画像内で検出されたり、画像内の被写体が動いた場合に、該被写体の信頼度が高い場合、最初に算出したあおり角、フォーカス位置より、高精度にあおり／フォーカス位置制御を行える。
［第３の実施形態］
第１の実施形態では、信頼度に基づいた選択でのあおり／フォーカス位置制御の方法を実施する例について説明した。

しかし、実環境において、被写体検出されたものが全てあおりピント面上にいるとは限らない。例えば、図１２は、道路を歩く被写体Ａ～Ｄ、ビルの看板などの人物のポスターである被写体Ｅがあるシチュエーションを示した図である。また、図１３は、図１２のシチュエーションを撮像面位相差方式で測距した場合の撮像面上のピント位置を表した図である。このように、被写体Ｅと他の被写体Ａ～Ｄを同じピント面上にすることは不可能である。その場合、被写体Ｅを除外した被写体Ａ～Ｄを用いて、あおり／フォーカス位置制御を行わなければならない。

以下、図１４に示すフローチャートを参照して、本発明の第３の実施形態によるあおり／フォーカス位置制御処理を説明する。本実施形態では、被写体検出においてピント面が明らかに合わない（ピント面上に明らかに乗らない）被写体が検出された場合のあおり／フォーカス位置制御方法を説明する。なお、第１の実施形態と同様の構成については、詳細な説明を省略する。

第１の実施形態と異なるのは、ステップＳ１４０６の処理である。

ステップＳ１４０６において、制御部１１５は、被写体検出部１１３により検出された被写体の検出位置と測距情報算出部１１２による被写体の測距結果とに基づく被写体の相関を判断する。これにより、被写体検出でピント面が明らかに合わない（ピント面上でない）被写体を検出する。このような被写体の検出についてはスミルノフグラブス検定など一般的なものを使用する。スミルノフグラブス検定において、外れ値に該当する被写体を除外する。

また、相関係数が閾値以上になるように外れ値を検出しても良い。

制御部１１５は、外れ値に該当する被写体Ｅを除外して、ステップ１４０７において信頼度を算出する。

本実施形態によれば、検出された被写体の中に、あおり／フォーカス位置制御を実施しても同一ピント面上にならない被写体があった場合、相関を利用し、該被写体を除外する。同一ピント面上にならない被写体を除外することにより、高精度なあおり／フォーカス位置制御が可能となる。
［第４の実施形態］
第１の実施形態では、信頼度に基づいた選択でのあおり／フォーカス位置制御の方法を実施する例について説明した。

しかし、被写体（または、被写体枠）の選択時に信頼度が低い被写体しかなく、選択した被写体の測距が実際の被写体距離と違うと、その被写体で算出したあおり角では、被写体から大きくピントを外す可能性がある。

上記のように信頼度が低い被写体しかない場合、複数被写体（または、被写体枠）の情報の平均を取り、平均の像高と被写体距離を持った仮想枠を設定する。その仮想枠を用いてあおり角を算出することで、被写体から大きくピントを外すことを回避する。

以下、図１５に示すフローチャートを参照して、本発明の第４の実施形態によるあおり／フォーカス位置制御処理を説明する。本実施形態では、信頼度が低い被写体（または、被写体枠）しかない場合のあおり／フォーカス位置制御方法を説明する。なお、第１の実施形態と同様の構成については、詳細な説明を省略する。

第１の実施形態と異なるのは、ステップＳ１５０７、ステップＳ１５０８の一連の処理である。

ステップＳ１５０７において、制御部１１５は、ステップＳ１５０６で算出した信頼度が閾値以下か判別する。

これにより信頼度が高い場合でも低い場合でも、被写体から大きくピントを外すことを回避する。

信頼度が閾値より低い場合、ステップＳ１５０８に進み、高い場合はステップＳ１５０９に進む。

ステップＳ１５０８では、制御部１１５は、複数被写体（または、被写体枠）の情報から仮想枠を作成し、選択する。仮想枠は、複数被写体の像高と被写体距離について平均して算出する。

例えば、図１６は被写体が４つある場合のシチュエーションの図である。そして図１７は、図１６のシチュエーションを撮像面位相差方式で測距した場合の撮像面上のピント位置を表した図である。

図１８では、被写体の検出サイズ、検出位置、デフォーカス量の精度のすべてを考慮して、信頼度を算出（決定）している。

図１６の被写体Ａ～Ｄの信頼度は低いため、被写体Ａと被写体Ｂを平均した仮想枠Ｘ、被写体Ｃと被写体Ｄを平均した仮想枠Ｙを作成する。

仮想枠Ｘの像高、被写体距離情報と仮想枠Ｙの像高、被写体距離情報からあおり角を算出することにより、被写体から大きくピントを外すことを回避する。

本実施例では、仮想枠の像高、被写体距離について、被写体（実枠）の情報を平均したが、信頼度の高さに応じて重みづけを行って算出しても良い。また、仮想枠の作成にあたり、被写体（実枠）を選択する場合、あおり角の回転軸の上下で分けて選択を行っても良い。回転軸の上下で分かれた被写体（被写体枠）を選択すると、仮想枠の像高が低くなり、誤差が大きくなって、ピント面算出精度が落ちる可能性がある。上記のように、回転軸の上下で分けることにより、仮想枠の像高を保つことができ、あおり角の精度低下を抑制することが可能となる。

本実施形態によれば、信頼度が低い被写体（被写体枠）しかない場合、複数被写体（被写体枠）の情報の平均を取り、平均の像高と被写体距離を持った仮想枠を設定する。その仮想枠であおり角を算出することで、被写体から大きくピントを外すことを回避することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、撮影手段のブレを高精度に評価することが可能なブレ評価装置、ブレ評価方法、およびプログラムを提供することができる。また各実施形態によれば、高精度にブレ補正が可能な撮影手段の製造方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１１６ あおり駆動部
１１８ フォーカス駆動部
１１３ 被写体検出部
１１２ 測距部
１１４ 決定部
１１５ 制御部

Claims (18)

1. 撮像素子を傾けて、前記撮像素子の撮像面と撮像光学系の光軸と直交する直交面との間の角度であるあおり角を変更するあおり駆動部と、
   前記撮像光学系のフォーカスレンズを駆動して、フォーカス位置を変更するフォーカス駆動部と、
   撮像装置によって撮像された画像内で被写体を検出する被写体検出部と、
   前記被写体検出部により検出された前記被写体までの測距を行う測距部と、
   前記測距部による測距結果に基づいて、前記あおり角および前記フォーカス位置を決定する決定部と、
   前記決定部により決定された前記あおり角および前記フォーカス位置に基づいて、前記あおり駆動部および前記フォーカス駆動部を制御する制御部と、を有し、
   前記制御部は、前記被写体検出部により検出された前記被写体の検出サイズ、検出位置、および前記測距部により測距された前記被写体の前記測距結果の精度の少なくとも一つに基づいて、前記被写体検出部により検出された複数の前記被写体から、前記あおり角および前記フォーカス位置を決定するために用いる被写体を選択し、
   前記決定部は、選択された前記被写体の測距結果に基づいて、前記あおり角および前記フォーカス位置を決定することを特徴とする撮像装置。
2. 前記制御部は、前記被写体検出部により検出された前記被写体の検出サイズ、検出位置、および前記測距部により測距された前記被写体の前記測距結果の精度に基づいて、信頼度を判定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記複数の被写体の中から前記信頼度の高い上位２つの被写体を選択することを特徴とする請求項２に記載の撮像装置。
4. 前記制御部は、前記被写体検出部により検出された前記被写体の検出サイズ、検出位置、および前記測距部により測距された前記被写体の前記測距結果の精度の比重を測距方式に応じて変更することを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記制御部は、
   前記被写体検出部により検出された前記被写体の検出位置と前記測距部による前記被写体の測距結果とに基づく前記被写体の相関を判断し、
   前記相関に基づいて、前記被写体検出部により検出された前記複数の被写体から、除外する被写体を決定することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記除外する被写体の決定には、スミルノフグラブス検定を用いることを特徴とする請求項５に記載の撮像装置。
7. 前記制御部は、前記フォーカス位置と前記あおり角を算出した後に、
   前記撮像装置が撮像する画像内において新たな被写体が検出された場合、または前記画像内の被写体が動いたと判断した場合、
   測距方式に応じて、前記信頼度を再判定するか否かを判断することを特徴とする請求項２または３に記載の撮像装置。
8. 前記測距方式は、位相差方式およびコントラスト方式を含むことを特徴とする請求項７に記載の撮像装置。
9. 前記制御部は、前記測距方式が位相差方式である場合に、前記信頼度を再判定させることを特徴とする請求項８に記載の撮像装置。
10. 前記制御部は、前記撮像装置によって撮像される画像内の被写体の数が３つ以上の場合に、前記被写体検出部により検出された前記被写体の検出サイズ、検出位置、および前記測距部により測距された前記被写体の前記測距結果の精度の少なくとも一つに基づいて、前記複数の被写体から前記あおり角および前記フォーカス位置を決定するために用いる被写体を選択することを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
11. 前記制御部は、前記撮像装置によって撮像される画像内における被写体毎に前記信頼度を決定することを特徴とする請求項２または３に記載の撮像装置。
12. 前記測距結果はデフォーカス量であることを特徴とする請求項１から１１のいずれか一項に記載の撮像装置。
13. 前記制御部は、前記被写体検出部によって検出された前記複数の被写体毎に枠を合わせ、該枠から、前記あおり角および前記フォーカス位置を決定するために用いる被写体枠を選択することを特徴とする請求項１から１２のいずれか一項に記載の撮像装置。
14. 撮像素子を傾けて、前記撮像素子の撮像面と撮像光学系の光軸と直交する直交面との間の角度であるあおり角を変更するあおり駆動部と、前記撮像光学系のフォーカスレンズを駆動して、フォーカス位置を変更するフォーカス駆動部と、を備える撮像装置の制御方法であって、
    前記撮像装置によって撮像された画像内で被写体を検出する被写体検出ステップと、
    前記被写体検出ステップにより検出された前記被写体までの測距を行う測距ステップと、
    前記被写体検出ステップにより検出された前記被写体の検出サイズ、検出位置、および前記測距ステップにより測距された前記被写体の測距結果の精度の少なくとも一つに基づいて、前記被写体検出ステップにより検出された複数の前記被写体から、前記あおり角および前記フォーカス位置を決定するために用いる被写体を選択する選択ステップと、
    前記選択ステップにより選択された前記被写体の前記測距ステップによる測距結果に基づいて、前記あおり角および前記フォーカス位置を決定する決定ステップと、
    前記決定ステップにより決定された前記あおり角および前記フォーカス位置に基づいて、前記あおり駆動部および前記フォーカス駆動部を制御する制御ステップと、を有することを特徴とする制御方法。
15. 撮像光学系により形成された光学像を撮像する撮像素子を備える撮像装置のコンピュータに、請求項１４に記載の制御方法に従う処理を実行させるコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
16. 前記制御部は、
    前記被写体の前記信頼度が閾値より低い場合、仮想枠を生成し、
    複数の前記被写体の情報から、前記仮想枠の像高および前記仮想枠の被写体距離情報を算出することを特徴とする請求項２に記載の撮像装置。
17. 前記制御部は、前記被写体の前記信頼度に応じて、重みづけを行うことにより前記仮想枠を生成することを特徴とする請求項１６に記載の撮像装置。
18. 前記制御部は、前記あおり角の回転軸の上下に応じて、前記仮想枠の生成に用いる被写体を選択することを特徴とする請求項１６または１７に記載の撮像装置。

Images